DE102019105276A1

DE102019105276A1 - Method and system for detecting an object in the passenger compartment of a vehicle

Info

Publication number: DE102019105276A1
Application number: DE102019105276.9A
Authority: DE
Inventors: Ciaran Hughes; Jonathan Horgan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-03-01
Filing date: 2019-03-01
Publication date: 2020-09-03

Abstract

Die vorliegende Erfindung stellt ein Verfahren und ein System zum Detektieren eines Objekts im Fahrgastraum eines Fahrzeugs bereit. Ein Prozessor ist zum Empfangen eines oder mehrerer Bilder von einer Bildaufnahmeeinrichtung ausgelegt. Der Prozessor ist ferner zum Subtrahieren eines im Speicher gespeicherten vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder ausgelegt. Der Prozessor ist ferner zum Verfolgen des Gebiets von Interesse ausgelegt, um ein oder mehrere Objekte innerhalb des Fahrzeugs basierend auf einer Differenz in der Pixelintensität zu detektieren. Für jedes detektierte Objekt extrahiert der Prozessor ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden. Des Weiteren klassifiziert der Prozessor jedes der detektierten Objekte basierend auf dem extrahierten Bild des Objekts unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells, das im Speicher gespeichert ist. Der Prozessor ist ferner zum Warnen eines Benutzers des Fahrzeugs unter Verwendung der Audioausgabeeinrichtung basierend auf der Klassifikation ausgelegt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse gehört.The present invention provides a method and a system for detecting an object in the passenger compartment of a vehicle. A processor is designed to receive one or more images from an image recording device. The processor is further configured to subtract a predetermined background stored in memory from a predetermined area of interest of the one or more images. The processor is also configured to track the area of interest to detect one or more objects within the vehicle based on a difference in pixel intensity. For each detected object, the processor extracts an image of the detected object from the one or more images that are received by the image recording device. Further, the processor classifies each of the detected objects based on the extracted image of the object using a pre-trained neural network object classifier model that is stored in memory. The processor is further designed to warn a user of the vehicle using the audio output device based on the classification if at least one detected object belongs to a predetermined class.

Description

Gebietarea

Die vorliegende Offenbarung betrifft das Detektieren eines Objekts, das versehentlich im Fahrgastraum eines Fahrzeugs zurückgelassen wurde.The present disclosure relates to detecting an object that has been accidentally left in the passenger compartment of a vehicle.

Hintergrundbackground

Es geschieht sehr häufig, dass ein Benutzer eines Fahrzeugs persönliche Objekte (z. B. eine Handtasche, einen Geldbeutel, ein Telefon, einen Laptop, eine Getränkedose usw.) auf dem Armaturenbrett, dem Vorder- oder Rücksitz eines Fahrzeugs zurücklässt. Ein Straftäter könnte durch das wertvolle persönliche Objekt dazu verleitet werden, das wertvolle Objekt zu stehlen. Bei diesem Prozess würde der Straftäter einen Schaden am Fahrzeug verursachen (ein Glasfenster zerbrechen) müssen, um Zugriff auf das wertvolle Objekt zu erlangen. Somit besteht ein Bedarf, den Benutzer des Fahrzeugs zu warnen, falls ein wertvolles Objekt im Fahrgastraum des Fahrzeugs zurückgelassen wird. Es ist jedoch auch wichtig, dass der Benutzer des Fahrzeugs nicht unnötig gewarnt wird, wenn das zurückgelassene Objekt bzw. die zurückgelassenen Objekte nicht wertvoll ist bzw. sind.It is very common for a vehicle user to leave personal items (e.g., a handbag, wallet, phone, laptop, beverage can, etc.) on the dashboard, front or back seat of a vehicle. The valuable personal item could mislead a criminal into stealing the valuable item. In this process, the criminal would have to cause damage to the vehicle (break a glass window) in order to gain access to the valuable object. Thus, there is a need to warn the user of the vehicle if a valuable object is left in the passenger compartment of the vehicle. However, it is also important that the user of the vehicle is not unnecessarily warned if the object or objects left behind is or are not valuable.

Die japanische Patentanmeldung JP2006338535A offenbart, dass das Vergleichen des gesamten oder eines Teils des Autoinnenraumbildes mit einem zuvor gespeicherten Referenzbild verwendet wird, um im Fahrgastraum des Fahrzeugs zurückgelassene Objekte zu detektieren.The Japanese patent application JP2006338535A discloses that comparing all or part of the car interior image with a previously stored reference image is used to detect objects left in the passenger compartment of the vehicle.

Die japanische Patentanmeldung JP2005115911A offenbart, dass der Zustand des Innenraums des Fahrzeugs zu der Zeit, zu der der Fahrer in das Fahrzeug einsteigt, und der Zustand des Innenraums des Fahrzeugs zu der Zeit, zu der der Fahrer aus dem Fahrzeug aussteigt, verglichen werden und eine Beurteilung vorgenommen wird, ob eine Sache zurückgelassen wird.The Japanese patent application JP2005115911A discloses that the state of the interior of the vehicle at the time the driver gets into the vehicle and the state of the interior of the vehicle at the time the driver gets out of the vehicle are compared and a judgment is made, whether a thing is left behind.

Daher wird ein Benutzer bei dem oben erwähnten Stand der Technik gewarnt werden, selbst wenn ein Blatt Papier oder ein Kleidungsstück im Fahrzeug zurückgelassen wird. Somit würde der Benutzer unnötig gewarnt werden. Daher ist es dem Stand der Technik nicht möglich, den Benutzer eines Fahrzeugs nur zu warnen, wenn wertvolle persönliche Objekte im Fahrzeug zurückgelassen werden. Mit anderen Worten wird der Stand der Technik den Benutzer möglicherweise unnötig über alle zurückgelassenen Objekte, selbst jene mit geringem Wert, warnen.Therefore, in the above-mentioned prior art, a user will be warned even if a sheet of paper or an item of clothing is left in the vehicle. Thus, the user would be warned unnecessarily. Therefore, it is not possible in the prior art to only warn the user of a vehicle when valuable personal objects are left in the vehicle. In other words, the prior art may unnecessarily warn the user about any objects left behind, even those of little value.

Daher besteht ein Bedarf an einem Verfahren und einem System, das den Fahrer des Fahrzeugs nur warnt, falls ein wertvolles Objekt zurückgelassen wird.There is therefore a need for a method and system that will only warn the driver of the vehicle if a valuable object is left behind.

Kurzfassungshort version

Ausführungsformen der vorliegenden Erfindung sind auf ein Verfahren und ein System zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, ausgerichtet, wie in den angehängten Ansprüchen dargelegt.Embodiments of the present invention are directed to a method and system for detecting an object left in the passenger compartment of the vehicle as set out in the appended claims.

Das Verfahren beginnt mit dem Empfangen eines oder mehrerer Bilder von mindestens einer Bildaufnahmeeinrichtung, die im Fahrgastraum eines Fahrzeugs installiert ist, und Subtrahieren eines vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder. Des Weiteren wird das Gebiet von Interesse der aufgenommenen Bilder zum Detektieren eines oder mehrerer Objekte innerhalb des Fahrzeugs zum Beispiel basierend auf einer Differenz in der Pixelintensität verarbeitet. Für jedes detektierte Objekt wird ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden, extrahiert. Jedes Bild der detektierten Objekte wird unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells klassifiziert. Eine Warnung wird dem Benutzer basierend auf der Klassifikation bereitgestellt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.The method begins by receiving one or more images from at least one image capture device installed in the passenger compartment of a vehicle and subtracting a predetermined background from a predetermined area of interest from the one or more images. Furthermore, the area of interest of the captured images is processed to detect one or more objects within the vehicle based on, for example, a difference in pixel intensity. For each detected object, an image of the detected object is extracted from the one or more images that are received by the image recording device. Each image of the detected objects is classified using a pre-trained neural network object classifier model. A warning is provided to the user based on the classification if at least one detected object belongs to a predetermined class, i. H. belongs to a class of valuable objects with objects such as jewelry, mobile phone, wallet, etc.

Das System zum Detektieren eines Objekts im Fahrgastraum des Fahrzeugs umfasst mindestens eine Bildaufnahmeeinrichtung, die innerhalb des Fahrgastraums eines Fahrzeugs installiert ist, einen Prozessor, einen Speicher und eine Audioausgabeeinrichtung. Der Prozessor ist funktionsfähig mit der Bildaufnahmeeinrichtung, dem Speicher und der Audioausgabeeinrichtung gekoppelt. Der Prozessor ist zum Empfangen eines oder mehrerer Bilder von der Bildaufnahmeeinrichtung ausgelegt. Der Prozessor ist ferner zum Subtrahieren eines im Speicher gespeicherten vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder ausgelegt. Der Prozessor ist ferner zum Verarbeiten des Gebiets von Interesse ausgelegt, um ein oder mehrere Objekte innerhalb des Fahrzeugs zum Beispiel basierend auf einer Differenz in der Pixelintensität zu detektieren. Für jedes detektierte Objekt extrahiert der Prozessor ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden. Ferner klassifiziert der Prozessor jedes der detektierten Objekte basierend auf dem extrahierten Bild des Objekts unter Verwendung eines im Speicher gespeicherten vortrainierten Neuronalnetzwerk-Objektklassifizierermodells. Der Prozessor ist ferner zum Warnen eines Benutzers des Fahrzeugs unter Verwendung der Audioausgabeeinrichtung basierend auf der Klassifikation ausgelegt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.The system for detecting an object in the passenger compartment of the vehicle comprises at least one image recording device installed inside the passenger compartment of a vehicle, a processor, a memory and an audio output device. The processor is operatively coupled to the image capture device, the memory and the audio output device. The processor is designed to receive one or more images from the image recording device. The processor is further configured to subtract a predetermined background stored in memory from a predetermined area of interest of the one or more images. The processor is further configured to process the area of interest to detect one or more objects within the vehicle based on, for example, a difference in pixel intensity. For each detected object, the processor extracts an image of the detected object from the one or more images that are received by the image recording device. Further, the processor classifies each of the detected objects based on the extracted image of the object using a pre-trained neural network object classifier model stored in memory. Of the Processor is further designed to warn a user of the vehicle using the audio output device based on the classification when at least one detected object belongs to a predetermined class, ie a class of valuable objects with objects such as jewelry, mobile phone, wallet, etc.

Somit stellt das Verfahren und das System zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, dem Benutzer des Fahrzeugs eine Warnung bereit, falls ein wertvolles Objekt zurückgelassen wird, und vermeidet ein unnötiges Warnen des Benutzers, falls das im Fahrzeug zurückgelassene Objekt als nicht wertvoll kategorisiert wird.Thus, the method and system for detecting an object left in the passenger compartment of the vehicle provides the user of the vehicle with a warning if a valuable object is left behind and avoids unnecessarily warning the user if the object left in the vehicle is considered to be is not categorized as valuable.

Es ist auch ein Computerprogramm bereitgestellt, das Programmanweisungen umfasst, um zu bewirken, dass ein Computerprogramm das obige Verfahren ausführt, die auf einem Aufzeichnungsmedium, Trägersignal oder Nurlesespeicher umgesetzt sein können.A computer program is also provided which comprises program instructions for causing a computer program to carry out the above method which may be implemented on a recording medium, carrier signal or read-only memory.

FigurenlisteFigure list

Die Erfindung wird aus der folgenden Beschreibung einer Ausführungsform davon, die nur beispielshalber gegeben ist, unter Bezugnahme auf die begleitenden Zeichnungen besser verständlich, in denen gilt:

1 veranschaulicht beispielhaft ein Fahrzeug gemäß manchen Ausführungsformen der vorliegenden Erfindung;
2 ist ein Flussdiagramm, das eine Ausführungsform des erfindungsgemäßen Verfahrens oder Prozesses zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht;
3 veranschaulicht ein typisches Beispiel für ein Begrenzungskasten-Faltungs-Neuronalnetzwerk (CNN: Convolutional Neural Network) für eine Szene, um eine spezielle Klasse von Objekt zu identifizieren; und
4 ist ein Funktionsblockdiagramm, das die primären Komponenten eines Systems/einer Vorrichtung zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht.

The invention will be better understood from the following description of an embodiment thereof, given by way of example only, with reference to the accompanying drawings, in which:

1 exemplifies a vehicle according to some embodiments of the present invention;
2 FIG. 3 is a flow diagram illustrating one embodiment of the method or process of the present invention for detecting an object left in the passenger compartment of the vehicle, in accordance with some embodiments of the present invention;
3 Figure 3 illustrates a typical example of a bounding box convolutional neural network (CNN) for a scene to identify a particular class of object; and
4th Figure 13 is a functional block diagram illustrating the primary components of a system / apparatus for detecting an object left in the passenger compartment of the vehicle, in accordance with some embodiments of the present invention.

Ausführliche Beschreibung der ZeichnungenDetailed description of the drawings

1 veranschaulicht beispielhaft ein Fahrzeug 101 gemäß manchen Ausführungsformen der vorliegenden Erfindung. Das Fahrzeug umfasst eine Bildaufnahmeeinrichtung, die als 102 oder 103 bezeichnet ist, oder mehrere Bildaufnahmeeinrichtungen 102, 103, die im Innenraum des Fahrzeugs installiert sind. Die Bildaufnahmeeinrichtungen sind dazu ausgelegt, ein Bild des Innenraums des Fahrzeugs oder des Fahrgastraums des Fahrzeugs 101 aufzunehmen. Des Weiteren, wie beispielhaft veranschaulicht, wird eine mobile Einrichtung 104 auf dem Vordersitz des Fahrzeugs 101 zurückgelassen. Ein Kleidungsstück 105 wird auch beispielhaft als auf dem Rücksitz des Fahrzeugs 101 zurückgelassen dargestellt. Bei einer bevorzugten Ausführungsform sollen das System und das Verfahren den Benutzer des Fahrzeugs warnen, falls ein wertvoller Gegenstand zurückgelassen wird. Eine Warnung wird zum Beispiel bereitgestellt, falls das Mobiltelefon 104 zurückgelassen wird, und es wird keine Warnung bereitgestellt, falls nur das Kleidungsstück 105 zurückgelassen wird. Eine Warnung wird außerdem bereitgestellt, wenn mehrere Objekte als zurückgelassen detektiert werden, wenn mindestens eines der mehreren Objekte als wertvoll klassifiziert wird. 1 illustrates an example of a vehicle 101 according to some embodiments of the present invention. The vehicle includes an image capture device, designated 102 or 103, or multiple image capture devices 102 , 103 installed in the interior of the vehicle. The image recording devices are designed to take an image of the interior of the vehicle or of the passenger compartment of the vehicle 101 record. Furthermore, as illustrated by way of example, a mobile device 104 in the front seat of the vehicle 101 left behind. An article of clothing 105 is also exemplified as being in the back seat of the vehicle 101 depicted left behind. In a preferred embodiment, the system and method are intended to warn the user of the vehicle if a valuable item is left behind. A warning is provided, for example, if the mobile phone 104 will be left behind and no warning will be provided if only the garment 105 is left behind. A warning is also provided when multiple objects are detected as abandoned when at least one of the multiple objects is classified as valuable.

2 ist ein Flussdiagramm, das eine Ausführungsform des erfindungsgemäßen Verfahrens oder Prozesses zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht. 2 FIG. 13 is a flowchart illustrating an embodiment of the method or process of the present invention for detecting an object left in the passenger compartment of the vehicle in accordance with some embodiments of the present invention.

Das Verfahren beginnt mit dem Empfangen 201 eines oder mehrerer Bilder von mindestens einer Bildaufnahmeeinrichtung 103, die im Fahrgastraum eines Fahrzeugs 101 installiert ist, und Subtrahieren 202 eines vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder. Es versteht sich, dass andere Verfahren verwendet werden können, um ein Objekt als vom Hintergrund verschieden zu identifizieren. Der vorbestimmte Hintergrund wird unter Verwendung von mindestens einem Bild des Fahrgastraums des Fahrzeugs erzeugt, während keine Objekte innerhalb des Fahrgastraums des Fahrzeugs platziert sind.The process begins with receiving 201 one or more images from at least one image recording device 103 that are in the passenger compartment of a vehicle 101 is installed and subtract 202 a predetermined background from a predetermined area of interest of the one or more images. It will be understood that other methods can be used to identify an object as different from the background. The predetermined background is created using at least one image of the passenger compartment of the vehicle while no objects are placed within the passenger compartment of the vehicle.

Einem Fachmann ist klar, dass das Gebiet von Interesse das Gebiet des durch die Bildaufnahmeeinrichtung 103 aufgenommenen Bildes beinhalten kann, dass die Vordersitze, die Rücksitze und das Armaturenbrett des Fahrzeugs 101 abdeckt, wo ein Benutzer des Fahrzeugs ein Objekt am wahrscheinlichsten platzieren wird. Das Gebiet von Interesse kann jedoch ein anderer Bereich des Bildes sein, in dem es für einen Benutzer des Fahrzeugs möglich ist, ein Objekt zu platzieren, wie etwa eine hintere Ablage hinter dem Rücksitz des Fahrzeugs.One skilled in the art will understand that the area of interest is the area of the image capture device 103 The captured image may include the front seats, the rear seats and the dashboard of the vehicle 101 covers where a user of the vehicle is most likely to place an object. However, the area of interest may be another area of the image in which it is possible for a user of the vehicle to place an object, such as a rear shelf behind the rear seat of the vehicle.

Des Weiteren werden die Gebiete von Interesse der aufgenommenen Bilder zum Detektieren eines oder mehrerer Objekte innerhalb des Fahrzeugs basierend auf einer Differenz in der Pixelintensität verarbeitet 203. Für jedes detektierte Objekt wird ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden, extrahiert 204.Furthermore, the areas of interest of the recorded images are used to detect one or more objects within the vehicle processed based on a difference in pixel intensity 203 . For each detected object, an image of the detected object is extracted from the one or more images that are received by the image recording device 204 .

Jedes Bild der detektierten Objekte wird unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells oder eines Maschinenlernalgorithmus klassifiziert 205. Das Bild des detektierten Objekts wird durch Zuschneiden des Gebiets des Bildes, in dem das Objekt detektiert wird, abgeleitet. Das Bild des detektierten Objekts wird durch das vortrainierte Neuronalnetzwerk-Objektklassifizierermodell oder ein Modell, das einen Maschinenlernalgorithmus einsetzt, gegeben. Das Modell klassifiziert das Objekt, d. h. eine Handtasche, einen Geldbeutel, ein Kleidungsstück, Schmuck usw., und einem Fachmann ist klar, dass Schmuck gewöhnlich das wertvollste und ein Kleidungsstück das am wenigsten wertvolle Objekt ist.Each image of the detected objects is classified using a pre-trained neural network object classifier model or a machine learning algorithm 205 . The image of the detected object is derived by cropping the area of the image in which the object is detected. The image of the detected object is given by the pre-trained neural network object classifier model or a model employing a machine learning algorithm. The model classifies the object, that is, a handbag, a purse, an item of clothing, jewelry, etc., and it is clear to a person skilled in the art that jewelry is usually the most valuable item and clothing is the least valuable item.

Neuronalnetzwerke, zum Beispiel Faltungs-Neuronalnetzwerke, können zum Detektieren und Unterscheiden einer beliebigen Klasse von Szenenobjekt trainiert werden. 3 veranschaulicht ein typisches Beispiel für ein Begrenzungskasten-Faltungs-Neuronalnetzwerk (CNN) für eine Büroszene, die eine Maus, einen Vogel und eine Flasche zeigt, die als ein Objekt mit niedrigem Wert klassifiziert werden können. Ein Mobiltelefon und/oder ein Laptop können als ein Objekt mit hohem Wert klassifiziert werden. Das System klassifiziert die Objekte nur bei einer Ausführungsform direkt basierend dem Erscheinungsbild. Mit anderen Worten, falls ein Mobiltelefon die visuellen Charakteristiken eines Mobiltelefons aufweist, detektiert das System somit ein Mobiltelefon als ein Objekt mit hohem Wert, was dann verwendet werden kann, um eine geeignete Warnung für den Fahrer erstellen. Neural networks, for example convolutional neural networks, can be trained to detect and distinguish any class of scene object. 3 Figure 10 illustrates a typical example of a bounding box convolutional neural network (CNN) for an office scene showing a mouse, bird and bottle that can be classified as a low value object. A cell phone and / or a laptop can be classified as an object of high value. The system classifies the objects directly based on appearance in only one embodiment. In other words, if a cell phone has the visual characteristics of a cell phone, the system thus detects a cell phone as a high value object, which can then be used to provide an appropriate warning to the driver.

Bei der vorliegenden Anmeldung wird eine Begrenzungskastendetektion bevorzugt, da das System nur das Vorhandensein des wertvollen Objekts detektieren will. CNNs mit einer anderen Konfiguration können die Verwendung einer semantischen Segmentierung ermöglichen, bei der eine Pro-Pixel-Kennzeichnung des Objekttyps durchgeführt wird. Allgemein sind semantische Segmentierungsnetzwerke typischerweise größer als Begrenzungskastennetzwerke (für eine gegebene Leistungsfähigkeitsmetrik) und können erheblich mehr Rechenressourcen erfordern.In the present application, bounding box detection is preferred because the system only wants to detect the presence of the valuable object. CNNs with a different configuration can allow the use of semantic segmentation, in which per-pixel labeling of the object type is performed. In general, semantic segmentation networks are typically larger than bounding box networks (for a given performance metric) and can require significantly more computational resources.

Eine Warnung wird für den Benutzer basierend auf der Klassifikation bereitgestellt 206, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.An alert is provided to the user based on the classification 206 if at least one detected object belongs to a predetermined class, ie a class of valuable objects with objects such as jewelry, mobile phone, wallet, etc.

Bei einer Ausführungsform kann der Benutzer unter Verwendung einer dringenden Audiowarnung gewarnt werden, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem ersten Schwellenwert liegt. Die Audiowarnung ist eine nicht dringende Audiowarnung, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem zweiten Schwellenwert, aber unter dem ersten Schwellenwert liegt. Der Wert des detektierten Gegenstands von einer Klasse von Gegenständen, z. B. Taschen und Handtaschen, kann als weniger wertvoll als Schmuck, Uhren usw. angesehen werden.In one embodiment, the user can be warned using an urgent audio warning when it is estimated that the at least one detected object is above a first threshold. The audio warning is a non-urgent audio warning when it is estimated that the at least one detected object is above a second threshold value but below the first threshold value. The value of the detected item from a class of items, e.g. B. bags and handbags, can be considered less valuable than jewelry, watches, etc.

4 ist ein Funktionsblockdiagramm, das die primären Komponenten eines Systems/einer Vorrichtung 300 zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs 101 zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht. Die Bildaufnahmeeinrichtung ist entweder eine Weitwinkelkamera oder eine Fischaugenkamera. 4th Figure 3 is a functional block diagram showing the primary components of a system / device 300 for detecting an object that is in the passenger compartment of the vehicle 101 is illustrated in accordance with some embodiments of the present invention. The image recording device is either a wide-angle camera or a fisheye camera.

Der Prozessor 301 ist funktionsfähig mit der Bildaufnahmeeinrichtung 304, dem Speicher 302, dem Sendeempfänger und der Audioausgabeeinrichtung 305 gekoppelt. Der Prozessor 301 ist zum Empfangen eines oder mehrerer Bilder von der Bildaufnahmeeinrichtung 304 ausgelegt. Der Prozessor 301 ist ferner zum Subtrahieren eines vorbestimmten Hintergrunds, der im Speicher 302 gespeichert ist, von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder ausgelegt. Der Prozessor erzeugt den vorbestimmten Hintergrund basierend auf mindestens einem Bild des Fahrgastraums des Fahrzeugs und speichert den vorbestimmten Hintergrund im Speicher.The processor 301 is functional with the image acquisition device 304 , the memory 302 , the transceiver and the audio output device 305 coupled. The processor 301 is for receiving one or more images from the image capture device 304 designed. The processor 301 is also for subtracting a predetermined background that is in memory 302 is stored, laid out from a predetermined area of interest of the one or more images. The processor generates the predetermined background based on at least one image of the passenger compartment of the vehicle and stores the predetermined background in memory.

Der Prozessor 301 ist ferner zum Verfolgen des Gebiets von Interesse ausgelegt, um ein oder mehrere Objekte innerhalb des Fahrzeugs 101 basierend auf einer Differenz in der Pixelintensität zu detektieren. Für jedes detektierte Objekt extrahiert der Prozessor 301 ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung 304 empfangen werden. Ferner klassifiziert der Prozessor 301 jedes der detektierten Objekte basierend auf dem extrahierten Bild des Objekts unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells, das im Speicher 302 gespeichert ist. Das vortrainierte Neuronalnetzwerk-Objektklassifizierermodell kann aktualisiert werden, indem ein aktualisiertes vortrainiertes Neuronalnetzwerk-Objektklassifizierermodell über den Sendeempfänger 303 empfangen wird, und der Prozessor 301 ist zum Speichern des aktualisierten vortrainierten Neuronalnetzwerk-Objektklassifizierermodells im Speicher 302 ausgelegt. The processor 301 is also designed to track the area of interest to one or more objects within the vehicle 101 based on a difference in pixel intensity. The processor extracts for each detected object 301 an image of the detected object from the one or more images taken by the image recording device 304 be received. The processor also classifies 301 each of the detected objects based on the extracted image of the object using a pre-trained neural network object classifier model stored in memory 302 is stored. The pre-trained neural network object classifier model can be updated by adding an updated pre-trained neural network object classifier model via the transceiver 303 is received and the processor 301 is for storing the updated pre-trained neural network object classifier model in memory 302 designed.

Der Prozessor 301 ist ferner zum Warnen eines Benutzers des Fahrzeugs 101 unter Verwendung der Audioausgabeeinrichtung 305 basierend auf der Klassifikation ausgelegt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.The processor 301 is also for warning a user of the vehicle 101 using the audio output device 305 designed based on the classification if at least one detected object belongs to a predetermined class, ie a class of valuable objects with objects, such as jewelry, mobile phones, wallets, etc.

Bei einer bevorzugten Ausführungsform ist der Prozessor ferner zum Bereitstellen einer dringenden Audiowarnung unter Verwendung der Audioausgabeeinrichtung ausgelegt, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem ersten Schwellenwert liegt, und zum Bereitstellen einer nicht dringenden Audiowarnung unter Verwendung der Audioausgabeeinrichtung ausgelegt, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem zweiten Schwellenwert, aber unter dem ersten Schwellenwert liegt. Der Prozessor 301 ist zum Schätzen des Werts des klassifizierten Objekts durch Nachschlagen einer im Speicher 302 gespeicherten Datenbank ausgelegt, die einen geschätzten Wert für jedes Objekt speichert, für das das vortrainierte Neuronalnetzwerk-Objektklassifizierermodell trainiert ist.In a preferred embodiment, the processor is further designed to provide an urgent audio warning using the audio output device when it is estimated that the at least one detected object is above a first threshold value, and to provide a non-urgent audio warning using the audio output device, if estimated it becomes that the at least one detected object is above a second threshold value but below the first threshold value. The processor 301 is used to estimate the value of the classified object by looking up one in memory 302 stored database that stores an estimated value for each object for which the pre-trained neural network object classifier model is trained.

Somit stellt das System zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, dem Fahrer des Fahrzeugs eine Warnung bereit, falls ein wertvolles Objekt zurückgelassen wird, und vermeidet somit ein unnötiges Warnen des Benutzers, falls das im Fahrzeug zurückgelassene Objekt nicht wertvoll ist.Thus, the system for detecting an object left in the passenger compartment of the vehicle provides the driver of the vehicle with a warning if a valuable object is left and thus avoids unnecessarily warning the user if the object left in the vehicle is not valuable .

Des Weiteren wird ein Durchschnittsfachmann verstehen, dass die verschiedenen illustrativen logischen/funktionellen Blöcke, Module, Schaltungen, Techniken/Algorithmen und Prozessschritte, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben sind, als elektronische Hardware oder eine Kombination aus Hardware und Software implementiert werden können. Um diese Austauschbarkeit von Hardware und einer Kombination aus Hardware und Software zu verdeutlichen, sind verschiedene illustrative Komponenten, Blöcke, Module, Schaltungen und Schritte oben allgemein hinsichtlich ihrer Funktionalität beschrieben worden. Ob eine derartige Funktionalität als Hardware oder eine Kombination aus Hardware und Software implementiert wird, hängt von der Gestaltungswahl eines Durchschnittsfachmanns ab. Derartige Fachleute können die beschriebene Funktionalität auf verschiedene Weisen für jede spezielle Anwendung implementieren, aber derartige offensichtliche Gestaltungswahlen sollten nicht so interpretiert werden, dass sie ein Abweichen vom Schutzumfang der vorliegenden Erfindung bewirken.Furthermore, one of ordinary skill in the art will understand that the various illustrative logical / functional blocks, modules, circuits, techniques / algorithms, and process steps described in connection with the embodiments disclosed herein can be implemented as electronic hardware or a combination of hardware and software . In order to illustrate this interchangeability of hardware and a combination of hardware and software, various illustrative components, blocks, modules, circuits and steps have been described above generally with regard to their functionality. Whether such functionality is implemented as hardware or a combination of hardware and software depends on the design choices made by one of ordinary skill in the art. Those skilled in the art could implement the functionality described in various ways for any particular application, but such obvious design choices should not be interpreted as departing from the scope of the present invention.

Der in der vorliegenden Offenbarung beschriebene Prozess kann unter Verwendung verschiedener Mittel implementiert werden. Der in der vorliegenden Offenbarung beschriebene Prozess kann zum Beispiel in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert werden. Für eine Hardwareimplementierung können die Verarbeitungseinheiten oder Prozessoren innerhalb einer/eines oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs: Application Specific Integrated Circuits), Digitalsignalprozessoren (DSPs), digitaler Signalverarbeitungseinrichtungen (DSPDs: Digital Signal Processing Devices), programmierbarer Logikeinrichtungen (PLDs: Programmable Logic Devices), feldprogrammierbarer Gate-Arrays (FPGAs: Field Programmable Gate Arrays), Prozessoren, Steuerungen, Mikrocontrollern, Mikroprozessoren, elektronischer Einrichtungen, anderer elektronischer Einheiten, die zum Durchführen der hierin beschriebenen Funktionen konstruiert sind, oder einer Kombination davon implementiert werdenThe process described in the present disclosure can be implemented using various means. For example, the process described in the present disclosure can be implemented in hardware, firmware, software, or any combination thereof. For a hardware implementation, the processing units or processors can be within one or more application-specific integrated circuits (ASICs: Application Specific Integrated Circuits), digital signal processors (DSPs), digital signal processing devices (DSPDs: Digital Signal Processing Devices), programmable logic devices (PLDs: Programmable Logic Devices ), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, other electronic devices designed to perform the functions described herein, or a combination thereof

Für eine Firmware- und/oder Softwareimplementierung können Softwarecodes in einem Speicher gespeichert und durch einen Prozessor ausgeführt werden. Ein Speicher kann innerhalb der Prozessoreinheit oder extern zu der Prozessoreinheit implementiert werden. Wie hierin verwendet, bezieht sich der Ausdruck „Speicher“ auf eine beliebige Art von flüchtigem Speicher oder nichtflüchtigem Speicher.For firmware and / or software implementation, software codes can be stored in memory and executed by a processor. A memory can be implemented within the processor unit or external to the processor unit. As used herein, the term “memory” refers to any type of volatile memory or non-volatile memory.

Weiterhin wird, obwohl Elemente der Erfindung im Singular beschrieben oder beansprucht sein können, der Plural in Betracht gezogen, es sei denn, dass eine Beschränkung auf den Singular ausdrücklich angegeben ist.Furthermore, although elements of the invention may be described or claimed in the singular, the plural is contemplated unless a singular limitation is expressly stated.

Die unter Bezugnahme auf die Zeichnungen beschriebenen Ausführungsformen in der Erfindung umfassen eine Computervorrichtung und/oder Prozesse, die in einer Computervorrichtung durchgeführt werden. Die Erfindung erstreckt sich jedoch auch auf Computerprogramme, insbesondere Computerprogramme, die auf oder in einem Träger gespeichert sind, der dazu eingerichtet ist, die Erfindung in die Praxis umzusetzen. Das Programm kann die Form von Sourcecode, Objektcode oder eines Codes zwischen Source- und Objektcode aufweisen, wie etwa in teilweise kompilierter Form oder in einer beliebigen anderen Form, die sich zur Verwendung bei der Implementierung des Verfahrens gemäß der Erfindung eignet. Der Träger kann ein Speicherungsmedium, wie etwa ROM, umfassen, z. B. einen Speicherstick oder eine Festplatte. Der Träger kann ein elektrisches oder optisches Signal sein, das über ein elektrisches oder ein optisches Kabel oder durch Funk oder andere Mittel übertragen werden kann.The embodiments in the invention described with reference to the drawings comprise a computing device and / or processes performed in a computing device. However, the invention also extends to computer programs, in particular computer programs, which are stored on or in a carrier which is set up to put the invention into practice. The program may take the form of source code, object code, or code between source and object code, such as in partially compiled form or in any other form suitable for use in implementing the method according to the invention. The carrier may comprise a storage medium such as ROM, e.g. B. a memory stick or a hard drive. The carrier can be an electrical or optical signal that can be transmitted via an electrical or an optical cable or by radio or other means.

In der Spezifikation werden die Ausdrücke „umfassen, umfasst, eingeschlossen und umfassend“ oder eine beliebige Variation davon und die Ausdrücke „beinhalten, beinhaltet, enthalten und einschließlich“ oder eine beliebige Variation davon als vollständig austauschbar angesehen und allen sollte die größtmögliche Interpretation gewährt werden, und umgekehrt.In the specification, the terms “comprise, encompass, include and comprising "or any variation thereof and the terms" including, including, including and including "or any variation thereof are to be considered wholly interchangeable and accorded the widest possible interpretation, and vice versa.

Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern kann sowohl in der Konstruktion als auch in den Einzelheiten variiert werden.The invention is not limited to the embodiments described above, but can be varied both in construction and in details.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

JP 2006338535 A [0003]
JP 2005115911 A [0004]

Claims

A method for detecting an object in the passenger compartment of a vehicle, comprising: Receiving one or more images from at least one image capturing device installed in the passenger compartment of a vehicle; Identifying a predetermined area of interest from the one or more images; Processing the area of interest to detect one or more objects within the vehicle; for each detected object, extracting an image of the detected object from the one or more images that are received by the image recording device; Classifying each of the detected objects based on the extracted image using a pre-trained neural network object classifier model or machine learning algorithm; Warning a user of the vehicle based on the classification when at least one detected object belongs to a predetermined class.

Procedure according to Claim 1 comprising the step of generating a predetermined background based on at least one image of the passenger compartment of the vehicle and detecting one or more objects within the vehicle based on a difference in pixel intensity with the background.

Procedure according to Claim 1 or 2 wherein the alert to the user comprises an audio alert.

A method according to any preceding claim, wherein the predetermined class comprises a plurality of valuable items.

Procedure according to the Claims 1 , 3 and 4th wherein the audio warning is an urgent audio warning when it is estimated that the at least one detected object is above a first threshold.

Procedure according to the Claims 1 , 3 , 4th and 5 wherein the audio warning is a non-urgent audio warning when it is estimated that the at least one detected object is above a second threshold value but below the first threshold value.

A method according to any preceding claim, further comprising subtracting a predetermined background from the predetermined area of interest of the one or more images.

A method according to any preceding claim, wherein the area of interest is a dashboard of the vehicle and / or the front seat of the vehicle and / or the rear seats of the vehicle.

A system for detecting an object in the passenger compartment of a vehicle, comprising: at least one image pickup device installed within the passenger compartment of a vehicle; a processor; a memory; an audio output device; wherein the processor is operably coupled to the image capture device, the memory and the audio output device, the processor being configured to: Receiving one or more images from the image capture device; Identifying a predetermined area of interest from the one or more images; Processing the area of interest to detect one or more objects within the vehicle; for each detected object, extracting an image of the detected object from the one or more images that are received by the image recording device; Classifying each of the detected objects based on the extracted image of the object using a pre-trained neural network object classifier model, or Machine learning algorithm model stored in memory; and Warn a user of the vehicle using the audio output device based on the classification if at least one detected object belongs to a predetermined class.

System according to Claim 9 wherein the processor is further configured to generate a predetermined background based on at least one image of the passenger compartment of the vehicle and detect one or more objects within the vehicle based on a difference in pixel intensity with the background.

System according to Claim 9 or 10 wherein the predetermined class includes several valuable items.

System according to one of the Claims 9 to 11 wherein the processor is further configured to provide an urgent audio warning using the audio output device when it is estimated that the at least one detected object is above a first threshold value.

System according to one of the Claims 9 to 11 , wherein the processor is further for providing a non-urgent audio warning using the audio output device is designed when it is estimated that the at least one detected object is above a second threshold value, but below the first threshold value.

System according to one of the Claims 9 to 13 , wherein the image recording device is a wide-angle camera and / or a fisheye camera.

System according to one of the Claims 9 to 14th wherein the processor is further configured to subtract a predetermined background from the predetermined area of interest of the one or more images.

A computer program which comprises instructions which, when the program is executed by a data processing device / a computer, cause the data processing device / the computer to carry out the steps of the method according to one of the Claims 1 to 9 executes.

A computer readable medium comprising instructions which, when executed by a computer, cause the computer to perform the method of any of the Claims 1 to 9 executes.