DE102022004540A1

DE102022004540A1 - System and method for detecting the presence of a child seat in a vehicle

Info

Publication number: DE102022004540A1
Application number: DE102022004540.0A
Authority: DE
Inventors: Vasudev Singh; Shuaib AHMED
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-12-15
Filing date: 2022-12-05
Publication date: 2023-06-15

Abstract

Es wird ein System (200) zum Erfassen des Vorhandenseins von Kindersitzen in Fahrzeugen offenbart, das Folgendes aufweist: Bildsensoren (202) zum Erfassen von Bildern eines Innenraums des Fahrzeugs und eine Recheneinheit (204), die mit einem neuronalen Faltungsnetzwerk (CNN) (210) zum Schätzen von Begrenzungsrechtecken konfiguriert ist, die zu Teilen eines Kindersitzes gehören, der eine Rückenlehne, eine Sitzbasis und eine Kopfstütze umfasst, die auf den Bildern vorhanden sind. Das CNN (210) sagt das Zentrum, die Höhe und die Breite jedes der Begrenzungsrechtecke voraus. Das CNN (210) bestimmt ferner, basierend auf dem vorhergesagten Zentrum, der Höhe und der Breite jedes der Begrenzungsrechtecke, die Position jedes der Begrenzungsrechtecke in den aufgenommenen Bildern. Ferner erfasst die Recheneinheit (204) bzw. das CNN (210) anhand der Anzahl, der relativen Position und der Überlappung der geschätzten Begrenzungsrechtecke das Vorhandensein eines Kindersitzes und bestimmt ferner die Position des erfassten Kindersitzes. Eine Nachverarbeitungslogik (212) bestätigt das Vorhandensein des Kindersitzes.A system (200) for detecting the presence of child seats in vehicles is disclosed, comprising: image sensors (202) for detecting images of an interior of the vehicle and a computing unit (204) which is connected to a convolutional neural network (CNN) (210 ) is configured to estimate bounding rectangles associated with parts of a child seat including a backrest, a seat base, and a headrest present in the images. The CNN (210) predicts the center, height, and width of each of the bounding boxes. The CNN (210) further determines the position of each of the bounding rectangles in the captured images based on the predicted center, height and width of each of the bounding rectangles. Furthermore, the computing unit (204) or the CNN (210) uses the number, the relative position and the overlapping of the estimated boundary rectangles to detect the presence of a child seat and also determines the position of the detected child seat. Post processing logic (212) confirms the presence of the child seat.

Description

Die vorliegende Offenbarung bezieht sich allgemein auf das technische Gebiet der Personenkraftwagen. Insbesondere betrifft sie ein effizientes, zuverlässiges und kostengünstiges System und Verfahren zur Erfassung des Vorhandenseins von Kindersitzen in Personenkraftwagen.The present disclosure generally relates to the technical field of passenger vehicles. In particular, it relates to an efficient, reliable and inexpensive system and method for detecting the presence of child seats in passenger cars.

Kindersitze werden verwendet, um Kleinkinder oder Kinder in Fahrzeugen zu halten. Ein typischer Kindersitz umfasst eine Rückenlehne, die mit einem Basisteil gekoppelt und über diesem angeordnet ist. Ferner weisen einige Kindersitze eine Kopfstütze auf, die mit der Rückenlehne des Kindersitzes gekoppelt und über dieser angeordnet ist. Außerdem sind Sicherheitsgurte vorgesehen, um das Kind auf dem Kindersitz sicher zurückzuhalten. Der Kindersitz kann in Bezug auf die Fahrzeugsitze nach hinten oder nach vorne gerichtet sein und ist an den Fahrzeugsitzen befestigt.Child seats are used to restrain infants or children in vehicles. A typical child safety seat includes a seat back coupled to and positioned over a base. Also, some child seats include a headrest coupled to and positioned over the seat back of the child seat. Seat belts are also provided to securely restrain the child in the child seat. The child seat can face backwards or forwards with respect to the vehicle seats and is attached to the vehicle seats.

Die Erfassung des Vorhandenseins eines Kindersitzes ist sowohl die grundlegende Anforderung als auch ein großes Problem für bestehende Systeme der künstlichen Intelligenz (KI), die in Fahrzeugen eingesetzt werden. Beispielsweise müssen die Airbags von der Kl ausgeschaltet werden, wenn der Kindersitz im Fahrzeug erfasst wird. Ferner muss die KI bei einem nicht angeschnallten Kindersitz eine Warnung auslösen, um die Sicherheit des Kindes zu gewährleisten. Es kann auch verlangt werden, dass die KI automatisch das Licht einschaltet, wenn ein Insasse nach dem Kindersitz greift.Detecting the presence of a child seat is both the basic requirement and a major problem for existing artificial intelligence (AI) systems deployed in vehicles. For example, the airbags must be switched off by the A/C if the child seat is detected in the vehicle. Furthermore, the AI must trigger a warning if a child seat is not buckled in order to ensure the safety of the child. You can also request that the AI automatically turn on the lights when an occupant reaches for the child seat.

In der Vergangenheit wurden Anstrengungen unternommen, um die Sicherheit von Säuglingen und Kindern während der Fahrt in Fahrzeugen zu gewährleisten und die Anforderungen in Bezug auf die Erfassung des Vorhandenseins von Kindersitzen in Fahrzeugen zu erfüllen. Beispielsweise offenbart das Patentdokument US7379195 eine Vorrichtung zur Erfassung eines Objekts auf einem Fahrzeugsitz, die eine Kamera und eine Verarbeitungseinheit zur Erzeugung einer zweidimensionalen Darstellung des Objekts aufweist. Die Vorrichtung umfasst ferner mindestens zwei Beleuchtungsquellen, die so angeordnet sind, dass das Objekt aus unterschiedlichen Richtungen beleuchtet werden kann, und die Verarbeitungseinheit ist dafür geeignet, aus zweidimensionalen Darstellungen, die jeweils unter unterschiedlichen Beleuchtungsbedingungen erzeugt werden, eine dreidimensionale Darstellung des Objekts zu erzeugen.Efforts have been made in the past to ensure the safety of infants and children while traveling in vehicles and to meet the requirements for detecting the presence of child seats in vehicles. For example, patent document discloses US7379195 a device for detecting an object on a vehicle seat, which has a camera and a processing unit for generating a two-dimensional representation of the object. The device further comprises at least two illumination sources arranged in such a way that the object can be illuminated from different directions, and the processing unit is suitable for generating a three-dimensional representation of the object from two-dimensional representations, each generated under different illumination conditions.

Ein weiteres Patentdokument, US7188898 , offenbart ein Kinderrückhaltesystem mit einer Steuereinheit zur Auswertung der Gurtverstellung. Das Kinderrückhaltesystem umfasst einen Gurt, der sich durch einen einer Vielzahl von Schlitzen in der Schale erstreckt, um einen Kinderinsassen innerhalb des Kinderrückhaltesystems zurückzuhalten, und eine Steuereinheit zur Bestimmung, ob der Gurt in Abhängigkeit von der Größe des Kindes richtig eingestellt ist. An den Schlitzen sind Gurtpositionssensoren angeordnet, um das Vorhandensein eines Hosenträgergurtes zu erfassen. Das Kinderrückhaltesystem umfasst auch Temperatursensoren, die auf die Körpertemperatur des Kindes reagieren. Die Steuereinheit verarbeitet die Signale der Gurtpositionsensoren und der Näherungssensoren und gibt ein Warnsignal aus, wenn die Gurtposition nicht die empfohlene Gurtposition aufgrund der Größe des Kindes ist.Another patent document US7188898 , discloses a child restraint system with a control unit for evaluating the belt adjustment. The child restraint system includes a strap that extends through one of a plurality of slots in the shell to restrain a child occupant within the child restraint system and a controller for determining if the strap is properly adjusted based on the child's size. Belt position sensors are located at the slots to detect the presence of a harness belt. The child restraint system also includes temperature sensors that react to the child's body temperature. The control unit processes the signals from the belt position sensors and the proximity sensors and emits a warning signal if the belt position is not the recommended belt position based on the child's size.

Darüber hinaus gibt es andere Lösungen, die auf Deep Learning basieren und für die Erfassung des Vorhandenseins von Kindersitzen implementiert sind, jedoch sind die größten Herausforderungen die Zuverlässigkeit und die rechnerischen Einschränkungen und Nachteile der bestehenden Lösungen. In bestehenden Lösungen, wie in 1A und 1B gezeigt, wird ein Belegungserfassungsmodul verwendet, um Kindersitze in Fahrzeugen zu erfassen, wobei für jeden Sitz ein solches Klassifizierungsmodul erforderlich ist. Dies hat zur Folge, dass für eine Anzahl von „n“ Sitzen in einem Fahrzeug „n“ solcher Belegungserfassungsmodule erforderlich sind. Dies belastet die Verarbeitungshardware bestehender Lösungen erheblich und macht sie langsam und ineffizient bei der Erfassung des Vorhandenseins von Kindersitzen. Außerdem verwenden einige der bestehenden Lösungen eine große Anzahl von Prozessoren, um diese große Anzahl von Belegungserfassungsmodulen auszuführen, wobei die erhöhte Anzahl von Prozessoren die bestehende Gesamtlösung kostspielig macht.In addition, there are other solutions based on deep learning implemented for detecting the presence of child seats, however, the main challenges are the reliability and the computational limitations and disadvantages of the existing solutions. In existing solutions, as in 1A and 1B shown, an occupancy detection module is used to detect child seats in vehicles, such a classification module being required for each seat. The consequence of this is that for a number of “n” seats in a vehicle “n” such occupancy detection modules are required. This puts a significant strain on the processing hardware of existing solutions, making them slow and inefficient at detecting the presence of child seats. Additionally, some of the existing solutions use a large number of processors to execute this large number of occupancy sensing modules, and the increased number of processors makes the overall existing solution expensive.

Die Belegungserfassungsmodule sind im Allgemeinen Klassifizierungsmodule, die Pseudowahrscheinlichkeiten von Klassen vorhersagen. Daher ist die Unsicherheit in Bezug auf das Vertrauen in Klassifizierungsmodelle hoch, außerdem ist die klassifizierungsbasierte Deep Learing KI nicht erklärbar. In produktionsfähiger Software, die kamerabasierte Sensoren verwendet, ist die unerklärliche KI am wenigsten bevorzugt, da viele Anwendungsfälle sicherheitskritisch sind.The occupancy detection modules are generally classification modules that predict pseudo-probabilities of classes. Therefore, the uncertainty in terms of trust in classification models is high, and the classification-based deep learning AI is unexplainable. In production-ready software that uses camera-based sensors, unexplained AI is least preferred because many use cases are safety-critical.

Des Weiteren versäumen es die bestehenden Lösungen, irrelevante oder falsche Daten bei der Erfassung von Kindersitzen in Fahrzeugen zu verwerfen. Die Verwendung irrelevanter oder falscher Daten durch die Verarbeitungshardware macht die bestehende Lösung nicht nur ungenau und unzuverlässig bei der Erfassung von Kindersitzen in Fahrzeugen, sondern erhöht auch die Rechenlast auf den Verarbeitungssystemen, wodurch diese langsam und ineffizient werden.Furthermore, the existing solutions fail to discard irrelevant or incorrect data when detecting child seats in vehicles. The use of irrelevant or incorrect data by the processing hardware not only makes the existing solution inaccurate and unreliable when detecting child seats in vehicles, but also increases the computational load on the processing systems, making them slow and inefficient.

Während die genannten Patentdokumente verschiedene Arten von Kindersitz-Erfassungssystemen offenbaren, gibt es einen Spielraum für weitere Verbesserungen und die Bereitstellung eines verbesserten, kostengünstigen, effizienten und zuverlässigen Systems und Verfahrens zur Erfassung des Vorhandenseins von Kindersitzen in Fahrzeugen.While the cited patent documents disclose various types of child seat detection systems, there is scope for further improvement and the provision of an improved, inexpensive, efficient, and reliable system and method for detecting the presence of child seats in vehicles.

Es besteht daher die Notwendigkeit, die oben genannten Nachteile, Unzulänglichkeiten und Einschränkungen im Zusammenhang mit den Systemen zur Erfassung des Vorhandenseins von Kindersitzen zu überwinden und eine effiziente, zuverlässige und kostengünstige Plattform zur Erfassung des Vorhandenseins von Kindersitzen in Fahrzeugen bereitzustellen.There is therefore a need to overcome the above disadvantages, shortcomings and limitations associated with child seat presence detection systems and to provide an efficient, reliable and cost effective platform for detecting the presence of child seats in vehicles.

Eine allgemeine Aufgabe der vorliegenden Offenbarung ist es, das Vorhandensein von Kindersitzen im Inneren von Fahrzeugen zu erfassen.A general objective of the present disclosure is to detect the presence of child seats inside vehicles.

Eine Aufgabe der vorliegenden Offenbarung ist es, eine effiziente, zuverlässige und kostengünstige Plattform zur Erfassung von Kindersitzen in Fahrzeugen bereitzustellen.An object of the present disclosure is to provide an efficient, reliable, and cost-effective platform for detecting child seats in vehicles.

Eine weitere Aufgabe der vorliegenden Offenbarung ist die Verringerung der Rechenlast und derZeit, die von Verarbeitungssystemen bei der Erfassung von Kindersitzen in Fahrzeugen benötigt wird.Another object of the present disclosure is to reduce the computational load and time required by processing systems in detecting child seats in vehicles.

Eine weitere Aufgabe der vorliegenden Offenbarung ist es, das Vorhandensein von Kindersitzen zu bestätigen und die Effizienz des gesamten Kindersitzerfassungsprozesses zu verbessern.Another object of the present disclosure is to confirm the presence of child seats and improve the efficiency of the entire child seat detection process.

Eine weitere Aufgabe der vorliegenden Offenbarung ist es, falsche oder irrelevante Begrenzungsrechtecke zu identifizieren und zu verwerfen, während das Vorhandensein von Kindersitzen im Fahrzeug erfasst wird.Another object of the present disclosure is to identify and discard incorrect or irrelevant bounding boxes while detecting the presence of child seats in the vehicle.

Aspekte der vorliegenden Offenbarung beziehen sich auf das technische Gebiet der Kindersitz-Erfassungssysteme. Sie betrifft ein effizientes, zuverlässiges und kostengünstiges System und Verfahren zur Erfassung des Vorhandenseins von Kindersitzen in Fahrzeugen.Aspects of the present disclosure relate to the technical field of child seat detection systems. It concerns an efficient, reliable and inexpensive system and method for detecting the presence of child seats in vehicles.

In einem Aspekt stellt die vorliegende Offenbarung ein System zur Erfassung des Vorhandenseins von Kindersitzen in einem Fahrzeug bereit. Das System kann einen oder mehrere Bildsensoren umfassen, um einen Satz von Bildern zu erfassen, die mit einem Bereich von Interesse (Region Of Interest, ROI) im Innenraum des Fahrzeugs verbunden sind. Ferner kann das System eine Recheneinheit umfassen, die mit dem einen oder den mehreren Bildsensoren kommuniziert. Die Recheneinheit kann einen Prozessor umfassen, der mit einem tiefen neuronalen Netzwerk konfiguriert und operativ mit einem Speicher gekoppelt ist, der Anweisungen speichert, die von dem Prozessor ausgeführt werden können. Die Recheneinheit ist so konfiguriert, dass sie eine oder mehrere Begrenzungsrechtecke schätzt, die sich auf eine oder eine Kombination aus einer Rückenlehne, einer Sitzbasis, einem Sitzgurt und einer Kopfstütze beziehen, die in dem einen oder den mehreren aufgenommenen Bildern vorhanden sind, und das Zentrum sowie die Höhe und Breite jeder der geschätzten Begrenzungsrechtecke vorhersagt. Die Recheneinheit kann ferner, basierend auf dem vorhergesagten Zentrum und der vorhergesagten Höhe und Breite jeder der geschätzten Begrenzungsrechtecke, eine Position jeder der einen oder mehreren Begrenzungsrechtecke in dem einen oder den mehreren Bildern bestimmen. Ferner, basierend auf einer Anzahl der geschätzten Begrenzungsrechtecke, der relativen Position der geschätzten Begrenzungsrechtecke und der Überlappung zwischen den geschätzten Begrenzungsrechtecke kann die Recheneinheit das Vorhandensein mindestens eines Kindersitzes in dem Fahrzeug erfassen und kann ferner die Position des mindestens einen erfassten Kindersitzes in dem Fahrzeug bestimmen.In one aspect, the present disclosure provides a system for detecting the presence of child seats in a vehicle. The system may include one or more image sensors to capture a set of images associated with a region of interest (ROI) within the interior of the vehicle. Furthermore, the system can include a computing unit that communicates with the one or more image sensors. The computing unit may include a processor configured with a deep neural network and operatively coupled to a memory storing instructions executable by the processor. The computing unit is configured to estimate one or more bounding rectangles related to one or a combination of a backrest, a seat base, a seat belt, and a headrest present in the one or more captured images, and the center and predicts the height and width of each of the estimated bounding boxes. The computing unit may further determine a position of each of the one or more bounding rectangles in the one or more images based on the predicted center and the predicted height and width of each of the estimated bounding rectangles. Furthermore, based on a number of the estimated bounding rectangles, the relative position of the estimated bounding rectangles and the overlap between the estimated bounding rectangles, the computing unit can detect the presence of at least one child seat in the vehicle and can further determine the position of the at least one detected child seat in the vehicle.

Die Recheneinheit kann so konfiguriert sein, dass sie unter den geschätzten Begrenzungsrechtecken ein falsches Begrenzungsrechteck (falls vorhanden) identifiziert, basierend auf der relativen Position zwischen dem geschätzten Begrenzungsrechteck in Bezug auf die Rückenlehne, die Sitzbasis, den Sicherheitsgurt und die Kopfstütze. Ferner kann die Recheneinheit das identifizierte falsche Begrenzungsrechteck (falls vorhanden) aus den geschätzten Begrenzungsrechtecken aussondern, während sie das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst.The computing unit may be configured to identify an incorrect bounding box (if any) among the estimated bounding box based on the relative position between the estimated bounding box with respect to the backrest, the seat base, the seat belt, and the headrest. Furthermore, the computing unit may separate the identified incorrect bounding box (if any) from the estimated bounding box while detecting the presence and position of the at least one child seat.

Wenn festgestellt wird, dass das zur Kopfstütze gehörende Begrenzungsrechteck über dem Begrenzungsrechteck der Rückenlehne liegt, und dass das Begrenzungsrechteck der Rückenlehne über dem Begrenzungsrechteck der Sitzbasis liegt, kann die Recheneinheit die entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis berücksichtigen, während sie das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst.If it is determined that the bounding box associated with the headrest lies above the bounding box of the backrest, and that the bounding box of the backrest lies above the bounding box of the seat base, the computing unit can take into account the corresponding bounding box of the headrest, the backrest and the seat base while determining the presence and detecting the position of the at least one child seat.

Wenn festgestellt wird, dass das Begrenzungsrechteck der Kopfstütze unterhalb der Begrenzungsrechtecke der Rückenlehne und der Sitzbasis liegt, und/oder wenn festgestellt wird, dass das Begrenzungsrechteck der Rückenlehne unterhalb des Begrenzungsrechtecks der Sitzbasis liegt, kann die Recheneinheit die entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis als falsches Begrenzungsrechteck basierend auf der relativen Position identifizieren, und kann das identifizierte falsche Begrenzungsrechteck verwerfen, während sie das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst.If it is determined that the delimiting rectangle of the headrest is below the delimiting rectangles of the backrest and the seat base, and/or if it is determined that the delimiting rectangle of the backrest is below the delimiting rectangle of the seat base, the computing unit can calculate the corresponding delimiting rectangles of the headrest, the backrest and of the seat base as a false bounding box based on the relative position, and may discard the identified incorrect bounding box while detecting the presence and position of the at least one child seat.

Die Recheneinheit kann das Zentrum sowie die Höhe und Breite der Begrenzungsrechtecke mittels Gradientenabstieg vorhersagen. Die Recheneinheit kann das vorhergesagte Zentrum und die vorhergesagte Höhe und Breite der einen oder mehreren Begrenzungsrechtecke zum Bestimmen der Position der entsprechenden Begrenzungsrechtecke verwenden, wenn das vorhergesagte Zentrum und die vorhergesagte Höhe und Breite der entsprechenden Begrenzungsrechtecke über einem Schwellenwert liegen.The computing unit can predict the center as well as the height and width of the bounding rectangles using gradient descent. The computing unit may use the predicted center and the predicted height and width of the one or more bounding rectangles to determine the position of the corresponding bounding rectangles if the predicted center and the predicted height and width of the corresponding bounding rectangles are above a threshold.

Die Recheneinheit kann das eine oder die mehreren Begrenzungsrechtecke in dem aufgenommenen Bild oder den aufgenommenen Bildern basierend auf einem oder mehreren Merkmalen schätzen, die mit der Rückenlehne, der Sitzbasis, dem Sitzgurt und der Kopfstütze eines Kindersitzes verbunden sind. Das eine oder die mehreren Merkmale werden von der Recheneinheit aus dem einen oder den mehreren aufgenommenen Bildern extrahiert.The computing unit may estimate the one or more bounding rectangles in the captured image or images based on one or more features associated with the backrest, seat base, seat belt, and headrest of a child safety seat. The one or more features are extracted from the one or more recorded images by the computing unit.

In einem Aspekt stellt die vorliegende Offenbarung ein Verfahren zum Erkennen des Vorhandenseins eines Kindersitzes in einem Fahrzeug bereit. Das vorgeschlagene Verfahren kann Folgendes umfassen: einen Schritt des Erfassens, durch einen oder mehrere Bildsensoren, eines Satzes von Bildern, die mit einem Bereich von Interesse (ROI) in einem Innenraum des Fahrzeugs verbunden sind, gefolgt von einem weiteren Schritt des Identifizierens und Extrahierens, durch eine Recheneinheit, die mit einem tiefen neuronalen Netzwerk konfiguriert ist, eines oder mehrerer Merkmale, die mit einer Rückenlehne, einer Sitzbasis, einem Sitzgurt und einer Kopfstütze eines Kindersitzes verbunden sind, aus dem erfassten einen oder mehreren Bildern, und dann einen weiteren Schritt des Schätzens, durch die Recheneinheit, basierend auf den extrahierten Merkmalen, eines oder mehrerer Begrenzungsrechtecke, die zu der Rückenlehne, der Sitzbasis, dem Sitzgurt und der Kopfstütze gehören, die in dem erfassten einen oder den mehreren Bildern vorhanden sind. Das Verfahren kann ferner Folgenes umfassen: einen Schritt der Vorhersage, durch die Recheneinheit, eines Zentrums, einer Höhe und einer Breite jedes der geschätzten Begrenzungsrechtecke, gefolgt von der Bestimmung, durch die Recheneinheit, basierend auf dem vorhergesagten Zentrum, und der vorhergesagten Höhe und Breite jedes der geschätzten Begrenzungsrechtecke, einer Position jedes der einen oder mehreren Begrenzungsrechtecke in dem einen oder den mehreren Bildern, und schließlich das Erfassen des Vorhandenseins und Bestimmen der Position, durch die Recheneinheit, mindestens eines Kindersitzes innerhalb des Fahrzeugs, basierend auf einer Anzahl der Begrenzungsrechtecke, der relativen Position der Begrenzungsrechtecke und der Überlappung zwischen den Begrenzungsrechtecken.In one aspect, the present disclosure provides a method for detecting the presence of a child seat in a vehicle. The proposed method may include: a step of acquiring, by one or more image sensors, a set of images associated with a region of interest (ROI) in an interior of the vehicle, followed by a further step of identifying and extracting, by a computing unit configured with a deep neural network, one or more features associated with a backrest, a seat base, a seat belt and a headrest of a child safety seat from the captured one or more images, and then a further step of estimating, by the computing unit, based on the extracted features, one or more bounding rectangles associated with the backrest, the seat base, the seat belt and the headrest present in the captured one or more images. The method may further comprise: a step of predicting, by the computing unit, a center, a height and a width of each of the estimated bounding rectangles, followed by determining, by the computing unit, based on the predicted center and the predicted height and width each of the estimated bounding rectangles, a position of each of the one or more bounding rectangles in the one or more images, and finally detecting the presence and determining the position, by the computing unit, of at least one child seat inside the vehicle, based on a number of the bounding rectangles, the relative position of the bounding rectangles and the overlap between the bounding rectangles.

Wenn festgestellt wird, dass das zur Kopfstütze gehörende Begrenzungsrechteck über dem Begrenzungsrechteck der Rückenlehne liegt, und dass das Begrenzungsrechteck der Rückenlehne über dem Begrenzungsrechteck der Sitzbasis liegt, kann das vorgeschlagene Verfahren den Schritt des Berücksichtigens, durch die Recheneinheit, der entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis umfassen, während sie das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst.If it is determined that the delimiting rectangle belonging to the headrest lies above the delimiting rectangle of the backrest, and that the delimiting rectangle of the backrest lies above the delimiting rectangle of the seat base, the proposed method can include the step of taking into account, through the computing unit, the corresponding delimiting rectangles of the headrest, the Backrest and seat base include while detecting the presence and position of at least one child seat.

Wenn festgestellt wird, dass das Begrenzungsrechteck der Kopfstütze unterhalb der Begrenzungsrechtecke der Rückenlehne und der Sitzbasis liegt, und/oder wenn festgestellt wird, dass das Begrenzungsrechteck der Rückenlehne unterhalb des Begrenzungsrechtecks der Sitzbasis liegt, kann das vorgeschlagene Verfahren folgende Schritte umfassen: Identifizieren, durch die Recheneinheit, der entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis als falsche Begrenzungsrechtecke basierend auf ihrer relativen Position, und Verwerfen der identifizierten falschen der Begrenzungsrechtecke beim Erfassen des Vorhandenseins und der Position des mindestens einen Kindersitzes.If the head restraint bounding box is determined to be below the seat back and seat base bounding box, and/or the seat back bounding box is determined to be below the seat base box bounding box, the proposed method may include the steps of: Identifying by which calculating unit, the corresponding bounding boxes of the headrest, the backrest and the seat base as wrong bounding boxes based on their relative position, and discarding the identified wrong bounding boxes when detecting the presence and the position of the at least one child seat.

Die Recheneinheit kann das Zentrum sowie die Höhe und Breite einer oder mehrerer Begrenzungsrechtecke mittels Gradientenabstieg vorhersagen. Die Recheneinheit kann das entsprechende vorhergesagte Zentrum und die vorhergesagte Höhe und Breite der Begrenzungsrechtecke für den Schritt des Bestimmens der Position der Begrenzungsrechtecke verwenden, wenn festgestellt wird, dass das entsprechende vorhergesagte Zentrum und die Höhe und Breite über einem Schwellenwert liegen.The computing unit can predict the center and the height and width of one or more bounding boxes using gradient descent. The computing unit can use the corresponding predicted center and the predicted height and width of the bounding rectangles for the step of determining the position of the bounding rectangles if it is determined that the corresponding predicted center and the height and width are above a threshold.

Verschiedene Objekte, Merkmale, Aspekte und Vorteile des Erfindungsgegenstandes werden aus der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen zusammen mit den beigefügten Zeichnungen, in denen gleiche Ziffern gleiche Komponenten darstellen, deutlicher.Various objects, features, aspects and advantages of the subject invention will become more apparent from the following detailed description of preferred embodiments taken in conjunction with the accompanying drawings in which like numerals represent like components.

Die beigefügten Zeichnungen dienen dem weiteren Verständnis der vorliegenden Offenbarung und sind Bestandteil dieser Beschreibung. Die Zeichnungen zeigen beispielhafte Ausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung zur Erläuterung der Grundsätze der vorliegenden Offenbarung.

1A und 1B zeigen eine beispielhafte Darstellung des bestehenden Kindersitzerfassungsverfahrens, bei dem ein Computervisions- und ein Belegungserfassungsmodul eingesetzt werden.
2 zeigt eine beispielhafte Architektur des vorgeschlagenen Systems, gemäß einer Ausführungsform der vorliegenden Offenbarung.
3 zeigt beispielhafte Schritte des vorgeschlagenen Verfahrens gemäß einer Ausführungsform der vorliegenden Offenbarung.
4A zeigt ein beispielhaftes Prozessflussdiagramm des vorgeschlagenen Systems und Verfahrens, das den Ansatz der Begrenzungsrechteck-Schätzung und die Nachverarbeitungslogik für die Erfassung des Vorhandenseins eines Kindersitzes gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst.
4B zeigt ein beispielhaftes Prozessflussdiagramm für die Schätzung der Begrenzungsrechtecke durch das vorgeschlagene System und Verfahren, gemäß einer Ausführungsform der vorliegenden Offenbarung.
5 zeigt eine beispielhafte Darstellung des geschätzten Begrenzungsrechtecks für einen Kindersitz gemäß einer Ausführungsform der vorliegenden Offenbarung.

The accompanying drawings are provided for further understanding of the present disclosure and are a part of this specification. The drawings illustrate exemplary embodiments of the present disclosure and serve together with the description explaining the principles of the present disclosure.

1A and 1B show an exemplary representation of the existing child seat detection method, in which a computer vision and an occupancy detection module are used.
2 FIG. 1 shows an exemplary architecture of the proposed system, according to an embodiment of the present disclosure.
3 shows exemplary steps of the proposed method according to an embodiment of the present disclosure.
4A 12 shows an example process flow diagram of the proposed system and method including the bounding box estimation approach and post-processing logic for child seat presence detection, according to an embodiment of the present disclosure.
4B 12 shows an example process flow diagram for the estimation of the bounding rectangles by the proposed system and method, according to an embodiment of the present disclosure.
5 12 shows an example representation of the estimated bounding rectangle for a child seat, according to an embodiment of the present disclosure.

Es folgt eine ausführliche Beschreibung der in den begleitenden Zeichnungen dargestellten Ausführungsformen der Offenbarung. Die Ausführungsformen sind so ausführlich, dass die Offenbarung klar vermittelt wird. Jedoch soll die angebotene Ausführlichkeit die vorhersehbaren Variationen von Ausführungsformen nicht einschränken; im Gegensatz dazu wird beabsichtigt, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der vorliegenden Offenbarung fallen, wie sie durch die beigefügten Ansprüche definiert sind.A detailed description of the embodiments of the disclosure illustrated in the accompanying drawings follows. The embodiments are detailed in order to clearly convey the disclosure. However, the detail provided is not intended to limit the foreseeable variations of embodiments; on the contrary, it is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the present disclosure as defined by the appended claims.

Die hierin erläuterten Ausführungsformen beziehen sich auf das technische Gebiet der Kindersitzerfassungssysteme. Insbesondere betrifft sie ein effizientes, zuverlässiges und kostengünstiges System und Verfahren zur Erfassung des Vorhandenseins von Kindersitzen in Fahrzeugen.The embodiments discussed herein relate to the technical field of child seat detection systems. In particular, it relates to an efficient, reliable, and inexpensive system and method for detecting the presence of child seats in vehicles.

In einem Aspekt umfasst die vorliegende Erfindung einen oder mehrere Bildsensoren, um einen Satz von Bildern zu erfassen, die mit einem Bereich von Interesse (ROI) im Innenraum des Fahrzeugs verbunden sind. Ferner umfasst die vorliegende Erfindung eine Recheneinheit, die mit einem tiefen neuronalen Netzwerk konfiguriert ist und die so konfiguriert ist, dass sie eine oder mehrere Begrenzungsrechtecke schätzt, die sich auf eine oder eine Kombination aus einer Rückenlehne, einer Sitzbasis, einem Sitzgurt und einer Kopfstütze beziehen, die in dem einen oder den mehreren aufgenommenen Bildern vorhanden sind, und ein Zentrum sowie die Höhe und Breite jeder der geschätzten Begrenzungsrechtecke vorhersagt. Die Recheneinheit bestimmt ferner, basierend auf dem vorhergesagten Zentrum und der vorhergesagten Höhe und Breite jedes der geschätzten Begrenzungsrechtecke, eine Position jedes der Begrenzungsrechtecke in den aufgenommenen Bildern. Ferner erfasst die Recheneinheit, basierend auf einer Anzahl der geschätzten Begrenzungsrechtecke, der relativen Position der geschätzten Begrenzungsrechtecke und der Überlappung zwischen den geschätzten Begrenzungsrechtecken, das Vorhandensein mindestens eines Kindersitzes in dem Fahrzeug und bestimmt ferner die Position des erfassten Kindersitzes innerhalb des Fahrzeugs.In one aspect, the present invention includes one or more image sensors to capture a set of images associated with a region of interest (ROI) in the interior of the vehicle. Further, the present invention includes a computing unit configured with a deep neural network and configured to estimate one or more bounding boxes related to one or a combination of a backrest, a seat base, a seat belt, and a headrest present in the one or more captured images and predicts a center, height and width of each of the estimated bounding rectangles. The computing unit further determines a position of each of the bounding rectangles in the captured images based on the predicted center and the predicted height and width of each of the estimated bounding rectangles. Furthermore, based on a number of the estimated bounding rectangles, the relative position of the estimated bounding rectangles and the overlap between the estimated bounding rectangles, the computing unit detects the presence of at least one child seat in the vehicle and also determines the position of the detected child seat within the vehicle.

Die Recheneinheit ist so konfiguriert, dass sie das falsche Begrenzungsrechteck unter den geschätzten Begrenzungsrechtecken basierend auf der relativen Position zwischen dem geschätzten Begrenzungsrechteck, das sich auf die Rückenlehne, die Sitzbasis, den Sicherheitsgurt und die Kopfstütze bezieht, identifiziert und ferner das identifizierte Begrenzungsrechteck aus den geschätzten Begrenzungsrechtecken verwirft, während das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst wird.The computing unit is configured to identify the wrong bounding box among the estimated bounding boxes based on the relative position between the estimated bounding box related to the backrest, the seat base, the seat belt and the headrest and further the identified bounding box from the estimated ones Discards bounding boxes while detecting the presence and position of the at least one child seat.

Wenn festgestellt wird, dass das zur Kopfstütze gehörende Begrenzungsrechteck über dem Begrenzungsrechteck der Rückenlehne liegt, und dass das Begrenzungsrechteck der Rückenlehne über dem Begrenzungsrechteck der Sitzbasis liegt, berücksichtigt die Recheneinheit die entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis, während sie das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst. Wenn ferner festgestellt wird, dass das Begrenzungsrechteck der Kopfstütze unterhalb der Begrenzungsrechtecke der Rückenlehne und der Sitzbasis liegt, und/oder wenn festgestellt wird, dass das Begrenzungsrechteck der Rückenlehne unterhalb des Begrenzungsrechtecks der Sitzbasis liegt, identifiziert die Recheneinheit die entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis als falsche Begrenzungsrechtecke basierend auf ihrer relativen Position, und verwirft das identifizierte falsche Begrenzungsrechteck, während es das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst.If it is determined that the bounding box associated with the headrest lies above the bounding box of the backrest, and that the bounding box of the backrest lies above the bounding box of the seat base, the computing unit takes into account the corresponding bounding boxes of the headrest, the backrest and the seat base, while determining the presence and detects the position of the at least one child seat. If it is also determined that the bounding rectangle of the headrest is below the bounding rectangles of the backrest and the seat base, and / or if it is determined that the bounding rectangle of the backrest is below the bounding rectangle of the seat base, the computing unit identifies the corresponding bounding rectangles of the headrest, the backrest and the seat base as incorrect bounding boxes based on their relative position, and discards the identified incorrect bounding box while detecting the presence and position of the at least one child seat.

Bezugnehmend auf 2, 4A, 4B und 5 umfasst das vorgeschlagene System 200 einen oder mehrere Bildsensoren 202 (hierin kollektiv als Bildsensoren 202 bezeichnet), um einen Satz von Bildern oder Videos zu erfassen, die mit einem Bereich von Interesse (ROI) in einem Innenraum des Fahrzeugs verbunden sind. Der ROI kann Vorder- und Rücksitze des Fahrzeugs sein. Das System 200 umfasst eine Recheneinheit 204, die mit den Bildsensoren 204 kommuniziert. Die Recheneinheit 204 umfasst einen Prozessor 206, der mit einem tiefen neuronalen Netzwerk oder einem modifizierten neuronalen Faltungsnetzwerk (bezeichnet als 210) konfiguriert ist und operativ mit einem Speicher 208 gekoppelt ist, der Anweisungen speichert, die von dem Prozessor 206 ausgeführt werden können. Die Recheneinheit 204 erfasst zunächst Teile des Kindersitzes 500, die eine Kopfstütze 502, eine Rückenlehne 504, eine Basis 506, einen Sicherheitsgurt und dergleichen umfassen. Diese Teile definieren das grundlegende bauliche Begrenzungsrechteck (502' bis 506') für den Kindersitz 500. Ferner leitet die Recheneinheit 204 eine Nachverarbeitung auf Basis dieser Teile ein, um das Vorhandensein eines Kindersitzes 500 zu bestätigen. In einer beispielhaften Ausführungsform extrahiert die Recheneinheit 204 ein oder mehrere Merkmale aus den aufgenommenen Bildern und vergleicht dann die extrahierten Merkmale mit Merkmalen vofiandener vorgespeicherter Bilder von Teilen der Kindersitze, die in einer Datenbank 214 gespeichert sind, um die Teile zu erfassen und zu identifizieren und dementsprechend die Begrenzungsrechtecke (502' bis 506') zu definieren.Referring to 2 , 4A , 4B and 5 includes the proposed system 200 one or more image sensors 202 (collectively referred to herein as image sensors 202) to capture a set of images or videos associated with a region of interest (ROI) in an interior of the vehicle. The ROI can be the front and back seats of the vehicle. The system 200 includes a computing unit 204 that communicates with the image sensors 204 . The computing unit 204 includes a processor 206 configured with a deep neural network or a modified convolutional neural network (referred to as 210) and operatively coupled to a memory 208 storing instructions executable by the processor 206. The processing unit 204 first detects parts of the child seat 500, which include a headrest 502, a backrest 504, a base 506, a seat belt and the like. These parts define the basic structural bounding box (502' to 506') for the child seat 500. Furthermore, the computing unit 204 initiates post-processing based on these parts to confirm the presence of a child seat 500. In an exemplary embodiment, the computing unit 204 extracts one or more features from the captured images and then compares the extracted features with features of existing pre-stored images of parts of the child seats stored in a database 214 to detect and identify the parts and accordingly to define the bounding rectangles (502' to 506').

Wie dargestellt, ist die Recheneinheit 204 bzw. das tiefe neuronale Netzwerk 210 so konfiguriert, dass es die erfassten Bilder von den Bildsensoren 204 in Echtzeit empfängt. Das tiefe neuronale Netzwerk 210 ermöglicht dann der Recheneinheit 204, ein oder mehrere Begrenzungsrechtecke (502' bis 506') zu schätzen, die zu jedem Teil des Kindersitzes 500 gehören, der eine beliebige oder eine Kombination aus der Rückenlehne 502, der Sitzbasis 506, dem Sicherheitsgurt und der Kopfstütze 504 umfasst, die in den erfassten Bildern vorhanden sind. Das vorgeschlagene System 200 verarbeitet dann die Lokalisierung der geschätzten Begrenzungsrechtecke (502' bis 506') verschiedener Teile des Kindersitzes 500 in den aufgenommenen Bildern oder Videos, um das Vorhandensein mindestens eines Kindersitzes 500 im Innenraum des Fahrzeugs zu erfassen.As shown, the computing unit 204 or deep neural network 210 is configured to receive the captured images from the image sensors 204 in real time. The deep neural network 210 then enables the computing unit 204 to estimate one or more bounding rectangles (502' to 506') associated with each part of the child seat 500, which is any one or a combination of the backrest 502, the seat base 506, the seat belt and the headrest 504 present in the captured images. The proposed system 200 then processes the location of the estimated bounding rectangles (502' to 506') of various parts of the child seat 500 in the captured images or videos to detect the presence of at least one child seat 500 in the interior of the vehicle.

Das tiefe neuronale Netzwerk 210 ermöglicht es der Recheneinheit 204, das Zentrum, die Höhe und die Breite jedes der geschätzten Begrenzungsrechtecke (502' bis 506') vorherzusagen. Das tiefe neuronale Netzwerk 210 ermöglicht der Recheneinheit 204 dann, basierend auf dem vorhergesagten Zentrum und der vorhergesagten Höhe und Breite jedes der geschätzten Begrenzungsrechtecke (502' bis 506') eine Position jedes der Begrenzungsrechtecke (502' bis 506') in den aufgenommenen Bildern oder Videos zu bestimmen. Dementsprechend werden die verschiedenen Begrenzungsrechtecke (502' bis 506') für jeden Teil eines Kindersitzes 500 durch das tiefe neuronale Netzwerk 210 geschätzt, das weiter verwendet wird, um das Vorhandensein eines Kindersitzes im Fahrzeug zu erfassen und zu bestätigen.The deep neural network 210 allows the computing unit 204 to predict the center, height, and width of each of the estimated bounding rectangles (502' through 506'). The deep neural network 210 then allows the computing unit 204, based on the predicted center and the predicted height and width of each of the estimated bounding rectangles (502' to 506') a position of each of the bounding rectangles (502' to 506') in the captured images or determine videos. Accordingly, the various bounding rectangles (502' through 506') for each portion of a child seat 500 are estimated by the deep neural network 210, which is further used to detect and confirm the presence of a child seat in the vehicle.

Die lokalen Funktionen zwischen dem Zentrum der Begrenzungsrechtecke (502' bis 506') und der entsprechenden Höhe und Breite werden von der Recheneinheit 204 mittels Gradientenabstieg bestimmt. Das tiefe neuronale Netz 210 umfasst zwei Zweige, einen zur Vorhersage des Zentrums des Begrenzungsrechtecks (502' bis 506') als Gaußsche Verteilung und den anderen Zweig zur Vorhersage der entsprechenden Höhe und Breite der Begrenzungsrechtecke (502' bis 506'). Die Recheneinheit 204 verwendet das vorhergesagte Zentrum und die vorhergesagte Höhe und Breite der Begrenzungsrechtecke (502' bis 506'), um die Position der entsprechenden Begrenzungsrechtecke zu bestimmen, wenn das vorhergesagte Zentrum und die vorhergesagte Höhe und Breite der entsprechenden Begrenzungsrechtecke über einem Schwellenwert liegen.The local functions between the center of the bounding rectangles (502' to 506') and the corresponding height and width are determined by the computing unit 204 using gradient descent. The deep neural network 210 includes two branches, one to predict the center of the bounding rectangle (502' to 506') as a Gaussian distribution and the other branch to predict the corresponding height and width of the bounding rectangles (502' to 506'). The computing unit 204 uses the predicted center and the predicted height and width of the bounding rectangles (502' to 506') to determine the position of the corresponding bounding rectangles when the predicted center and the predicted height and width of the corresponding bounding rectangles are above a threshold.

In einer beispielhaften Ausführungsform kann die Recheneinheit 204 ein modifiziertes neuronales Faltungsnetzwerk (CNN) 210 umfassen, das den Sanduhr-Ansatz implementiert. Das Design der Sanduhr ist durch die Notwendigkeit motiviert, Informationen in jedem Maßstab zu erfassen. Das CNN 210 führt eine wiederholte Bottom-up- und Top-down-Verarbeitung durch. Das CNN 210 verwendet Skip-Verbindungen, um räumliche Informationen in jeder Auflösung zu erhalten, und gibt sie für ein Up-Sampling weiter, das weiter unten in der Sanduhr stattfindet.In an exemplary embodiment, the computing unit 204 may include a modified convolutional neural network (CNN) 210 that implements the hourglass approach. The hourglass design is motivated by the need to capture information at any scale. The CNN 210 performs repeated bottom-up and top-down processing. The CNN 210 uses skip connections to get spatial information at any resolution and passes it on for upsampling that occurs further down the hourglass.

Während der Nachverarbeitungsphase nimmt die Nachverarbeitungslogik 212 der Recheneinheit 204 verschiedene Begrenzungsrechtecke (502' bis 506'), die von dem tiefen neuronalen Netzwerk oder CNN 210 erfasst wurden, als Eingabe. Weiterhin werden eine Anzahl der geschätzten Begrenzungsrechtecke, die relative Position der geschätzten Begrenzungsrechtecke und die Überlappung zwischen den geschätzten Begrenzungsrechtecken von der Nachverarbeitungslogik 212 oder der Recheneinheit 204 berücksichtigt, um das Vorhandensein mindestens eines Kindersitzes in dem Fahrzeug zu erfassen und ferner die Position des mindestens einen erfassten Kindersitzes innerhalb des Fahrzeugs zu bestimmen.During the post-processing phase, the post-processing logic 212 of the arithmetic unit 204 takes as input various bounding boxes (502' through 506') acquired from the deep neural network or CNN 210. FIG. Furthermore, a number of the estimated bounding rectangles, the relative position of the estimated bounding rectangles and the overlap between the estimated bounding rectangles are taken into account by the post-processing logic 212 or the computing unit 204 in order to detect the presence of at least one child seat in the vehicle and also the position of the at least one detected To determine child seat inside the vehicle.

In einer Ausführungsform ist die Recheneinheit 204 so konfiguriert, dass sie unter den geschätzten Begrenzungsrechtecken ein falsches Begrenzungsrechteck (falls vorhanden) identifiziert, basierend auf der relativen Position zwischen dem geschätzten Begrenzungsrechteck in Bezug auf die Rückenlehne, die Sitzbasis, den Sicherheitsgurt und die Kopfstütze. Das CNN 210 verwirft dann das identifizierte falsche Begrenzungsrechteck aus den geschätzten Begrenzungsrechtecken, während es das Vorhandensein und die Position des Kindersitzes erkennt.In one embodiment, the computing unit 204 is configured to select an incorrect bounding box among the estimated bounding rectangles tongue rectangle (if any) identified based on the relative position between the estimated bounding rectangle with respect to the seat back, seat base, seat belt and head restraint. The CNN 210 then discards the identified incorrect bounding box from the estimated bounding boxes while recognizing the presence and position of the child seat.

Wenn in einer beispielhaften Ausführungsform festgestellt wird, dass das zur Kopfstütze 502 gehörende Begrenzungsrechteck 502' über dem Begrenzungsrechteck 504' der Rückenlehne 504 liegt, und das Begrenzungsrechteck 504' der Rückenlehne 504 über dem Begrenzungsrechteck 506' der Sitzbasis 506 liegt, berücksichtigt das CNN 210 die entsprechenden Begrenzungsrechtecke (502' bis 506') der Kopfstütze, der Rückenlehne und der Sitzbasis, während es das Vorhandensein und die Position des mindestens einen Kindersitzes 500 erfasst.In an exemplary embodiment, if it is determined that the bounding rectangle 502' associated with the headrest 502 overlies the bounding rectangle 504' of the backrest 504, and the bounding rectangle 504' of the backrest 504 overlays the bounding rectangle 506' of the seat base 506, the CNN 210 considers the corresponding bounding boxes (502' to 506') of the headrest, the backrest and the seat base while detecting the presence and position of the at least one child seat 500.

Wenn in einer weiteren beispielhaften Ausführungsform festgestellt wird, dass das zur Kopfstütze 502 gehörende Begrenzungsrechteck 502' unterhalb der Begrenzungsrechtecke 504', 506' der Rückenlehne 504 und der Sitzbasis 506 liegt, und/oder das zur Rückenlehne 504 gehörende Begrenzungsrechteck 504' unterhalb des Begrenzungsrechtecks 506' der Sitzbasis 506 liegt, identifiziert das CNN 210 die entsprechenden Begrenzungsrechtecke (502' bis 506') der Kopfstütze, der Rückenlehne und der Sitzbasis als falsche Begrenzungsrechtecke basierend auf ihrer relativen Position, und verwirft dann das identifizierte falsche Begrenzungsrechteck, während es das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst. Selbst wenn also nur wenige falsche Positivwerte von der Recheneinheit 204 identifiziert werden, können diese nicht die vollständige Struktur eines Kindersitzes 500 bilden; wenn beispielsweise die Kopfstütze 502 unterhalb der Basis 506 erfasst wird, verwirft die Nachverarbeitungslogik 210 diese.If, in another exemplary embodiment, it is determined that the bounding rectangle 502' associated with the headrest 502 lies below the bounding rectangles 504', 506' of the backrest 504 and the seat base 506, and/or the bounding rectangle 504' associated with the backrest 504 lies below the bounding rectangle 506 ' of the seat base 506, the CNN 210 identifies the corresponding bounding boxes (502' through 506') of the headrest, seat back, and seat base as incorrect bounding boxes based on their relative position, and then discards the identified incorrect bounding box while verifying the presence and detects the position of the at least one child seat. So even if only a few false positives are identified by the computing unit 204, they cannot form the complete structure of a child seat 500; For example, if headrest 502 is detected below base 506, post-processing logic 210 discards it.

Bezugnehmend auf 3 umfasst das vorgeschlagene Verfahren 300 den Schritt 302 des Erfassens, durch einen oder mehrere Bildsensoren, eines Satzes von Bildern, die mit einem Bereich von Interesse (ROI) in einem Innenraum des Fahrzeugs verbunden sind. Weiterhin umfasst das Verfahren 300 den Schritt 303 des Identifizierens und Extrahierens, durch eine Recheneinheit, die mit einem tiefen neuronalen Netzwerk konfiguriert ist, eines oder mehrerer Merkmale, die mit einer Rückenlehne, einer Sitzbasis, einem Sitzgurt und einer Kopfstütze eines Kindersitzes verbunden sind, aus den in Schritt 302 aufgenommenen Bildern. Darüber hinaus umfasst das Verfahren 300 den Schritt 306 des Schätzens, durch die Recheneinheit, basierend auf den in Schritt 304 extrahierten Merkmalen eines oder mehrerer Begrenzungsrechtecke, die sich auf die Rückenlehne, die Sitzbasis, den Sitzgurt oder die Kopfstütze beziehen, die in den aufgenommenen Bildern vorhanden sind.Referring to 3 the proposed method 300 includes the step 302 of acquiring, by one or more image sensors, a set of images associated with a region of interest (ROI) in an interior of the vehicle. Furthermore, the method 300 includes the step 303 of identifying and extracting, by a computing unit configured with a deep neural network, one or more features associated with a backrest, a seat base, a seat belt and a headrest of a child safety seat the images captured in step 302. In addition, the method 300 includes the step 306 of estimating, by the computing unit, based on the features extracted in step 304, one or more bounding rectangles relating to the backrest, the seat base, the seat belt or the headrest, which are present in the captured images available.

Das Verfahren 300 umfasst den Schritt 308 des Vorhersagens eines Zentrums, einer Höhe und einer Breite jedes der in Schritt 306 geschätzten Begrenzungsrechtecke durch die Recheneinheit. Ferner umfasst das Verfahren 300 den Schritt 310 des Bestimmens, durch die Recheneinheit, basierend auf dem vorhergesagten Zentrum und der vorhergesagten Höhe und Breite jedes der geschätzten Begrenzungsrechtecke, einer Position jedes der einen oder mehreren Begrenzungsrechtecke in dem einen oder den mehreren Bildern. Ferner umfasst das Verfahren 300 den Schritt 312 des Erkennens des Vorhandenseins und des Bestimmens der Position, durch die Recheneinheit, von mindestens einem Kindersitz innerhalb des Fahrzeugs, basierend auf einer Anzahl der Begrenzungsrechtecke, der relativen Position der Begrenzungsrechtecke und der Überlappung zwischen den Begrenzungsrechtecken.The method 300 includes the step 308 of the computing unit predicting a center, a height and a width of each of the bounding rectangles estimated in step 306 . Furthermore, the method 300 comprises the step 310 of determining, by the computing unit, based on the predicted center and the predicted height and width of each of the estimated bounding rectangles, a position of each of the one or more bounding rectangles in the one or more images. Furthermore, the method 300 includes the step 312 of detecting the presence and determining the position, by the computing unit, of at least one child seat within the vehicle, based on a number of the bounding rectangles, the relative position of the bounding rectangles and the overlap between the bounding rectangles.

Wenn in einer Ausführungsform festgestellt wird, dass das zur Kopfstütze gehörende Begrenzungsrechteck über dem Begrenzungsrechteck der Rückenlehne liegt, und dass das Begrenzungsrechteck der Rückenlehne über dem Begrenzungsrechteck der Sitzbasis liegt, kann das Verfahren 300 den Schritt des Berücksichtigens, durch die Recheneinheit, der entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis umfassen, während sie das Vorhandensein und die Position des mindestens einen Kindersitzes erfasst.If it is determined in one embodiment that the bounding rectangle associated with the headrest lies above the bounding rectangle of the backrest, and that the bounding rectangle of the backrest lies above the bounding rectangle of the seat base, the method 300 can include the step of taking into account, by the computing unit, the corresponding bounding rectangles of the Headrest, the backrest and the seat base include while detecting the presence and position of at least one child seat.

Wenn in einer weiteren Ausführungsform festgestellt wird, dass das zur Kopfstütze gehörende Begrenzungsrechteck unterhalb der Begrenzungsrechtecke der Rückenlehne und der Sitzbasis liegt, und/oder das Begrenzungsrechteck der Rückenlehne unterhalb des des Begrenzungsrechtecks der Sitzbasis liegt, umfasst das Verfahren folgende Schritte: Identifizieren, durch die Recheneinheit, der entsprechenden Begrenzungsrechtecke der Kopfstütze, der Rückenlehne und der Sitzbasis als falsche Begrenzungsrechtecke basierend auf ihrer relativen Position, und Verwerfen der identifizierten falschen der Begrenzungsrechtecke beim Erfassen des Vorhandenseins und der Position des mindestens einen Kindersitzes.If it is determined in a further embodiment that the delimiting rectangle belonging to the headrest is below the delimiting rectangle of the backrest and the seat base, and/or the delimiting rectangle of the backrest is below that of the delimiting rectangle of the seat base, the method comprises the following steps: identification, by the processing unit , the corresponding bounding boxes of the headrest, the backrest and the seat base as wrong bounding boxes based on their relative position, and discarding the identified wrong one of the bounding boxes when detecting the presence and the position of the at least one child seat.

Bezugnehmend auf 5 sind die Begrenzungsrechtecke (502' bis 506') für jedes Teil (502 bis 506), das zu dem Kindersitz gehört, wie er von dem vorgeschlagenen System 200 und dem Verfahren 300 erfasst wird, dargestellt. Die Anzahl der geschätzten Begrenzungsrechtecke (502' bis 506'), die relative Position der geschätzten Begrenzungsrechtecke (502' bis 506') und die Überlappung zwischen den geschätzten Begrenzungsrechtecken (502' bis 506') helfen, das Vorhandensein des Kindersitzes 500 im Fahrzeug zu erfassen. Wie dargestellt, muss das Begrenzungsrechteck der Kopfstütze über dem Begrenzungsrechteck der Rückenlehne liegen, und das Begrenzungsrechteck der Rückenlehne muss über dem Begrenzungsrechteck der Sitzbasis liegen, wobei der relative Abstand und die Überlappung zwischen diesen Begrenzungsrechtecken in einem bestimmten Bereich liegen muss, um das Vorhandensein des Kindersitzes zu bestätigen.Referring to 5 the bounding rectangles (502' to 506') for each part (502 to 506) belonging to the child seat as detected by the proposed system 200 and method 300 are shown. The number of estimated bounding rectangles (502' to 506'), the relative position of the estimated bounding rectangles (502'-506') and the overlap between the estimated bounding rectangles (502'-506') help detect the presence of the child seat 500 in the vehicle. As illustrated, the head restraint bounding box must lie above the backrest bounding box, and the backrest bounding box must lie above the seat base bounding box, with the relative distance and overlap between these bounding boxes being within a specified range to permit the presence of the child seat to confirm.

Somit überwindet die vorliegende Offenbarung die Nachteile, Unzulänglichkeiten und Einschränkungen, die mit den bestehenden Verfahren zur Erfassung des Vorhandenseins von Kindersitzen verbunden sind, und bietet eine effiziente, zuverlässige und kostengünstige Plattform zur Erfassung des Vorhandenseins von Kindersitzen in Fahrzeugen.Thus, the present disclosure overcomes the disadvantages, deficiencies, and limitations associated with existing methods for detecting the presence of child seats and provides an efficient, reliable, and cost-effective platform for detecting the presence of child seats in vehicles.

Während das Vorstehende verschiedene Ausführungsformen der Erfindung beschreibt, können andere und weitere Ausführungsformen der Erfindung erdacht werden, ohne vom grundsätzlichen Umfang der Erfindung abzuweichen. Der Umfang der Erfindung wird durch die folgenden Ansprüche bestimmt. Die Erfindung ist nicht auf die beschriebenen Ausführungsformen, Varianten oder Beispiele beschränkt, die enthalten sind, um eine Person mit normalem Fachwissen auf dem Gebiet der Technik in die Lage zu versetzen, die Erfindung herzustellen und zu verwenden, wenn sie mit Informationen und Wissen kombiniert wird, die der Person mit normalem Fachwissen auf dem Gebiet der Technik zur Verfügung stehen.While the foregoing describes various embodiments of the invention, other and further embodiments of the invention may be devised without departing from the basic scope of the invention. The scope of the invention is determined by the following claims. The invention is not limited to the described embodiments, variants or examples, which are included to enable a person of ordinary skill in the art to make and use the invention when combined with information and knowledge available to the person of ordinary skill in the art.

Die vorliegende Offenbarung erfasst das Vorhandensein eines Kindersitzes im Innenraum von Fahrzeugen.The present disclosure detects the presence of a child seat in the interior of vehicles.

Die vorliegende Offenbarung bietet eine effiziente, zuverlässige und kostengünstige Plattform zur Erfassung von Kindersitzen in Fahrzeugen.The present disclosure provides an efficient, reliable, and cost-effective platform for detecting child seats in vehicles.

Die vorliegende Offenbarung reduziert den Rechenaufwand und die Zeit, die Verarbeitungssysteme benötigen, um das Vorhandensein von Kindersitzen in Fahrzeugen zu erfassen.The present disclosure reduces the computational effort and time required by processing systems to detect the presence of child seats in vehicles.

Die vorliegende Offenbarung bestätigt das Vorhandensein von Kindersitzen und erhöht die Effizienz des gesamten Kindersitz-Erfassungsprozesses.The present disclosure confirms the presence of child seats and increases the efficiency of the overall child seat detection process.

Die vorliegende Offenbarung identifiziert und verwirft falsche oder irrelevante Begrenzungsrechtecke während der Erfassung des Vorhandenseins von Kindersitzen im Fahrzeug.The present disclosure identifies and discards incorrect or irrelevant bounding boxes during the detection of the presence of child seats in the vehicle.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US7379195 [0004]
US7188898 [0005]

Claims

A system (200) for detecting the presence of a child seat (500) in a vehicle, the system (200) comprising: one or more image sensors (202) to capture a set of images associated with a region of interest (ROI) in an interior of the vehicle; and a computing unit (204) in communication with the one or more image sensors (202), the computing unit (204) comprising a processor (206) configured with a deep neural network (210) and operatively connected to a memory ( 208) storing instructions executable by the processor, wherein the computing unit is configured to: Estimating one or more bounding rectangles (502' through 506') associated with any one or combination of a backrest (504), a base (506) of a seat (500), a tether of a seat (500), and a headrest (502 ) present in the one or more captured images; predicting a center, a height and a width of each of the estimated bounding rectangles (502' to 506'); determining, based on the predicted center and the predicted height and width, each of the estimated bounding rectangles (502' to 506'), a position of each of the one or more bounding rectangles (502' to 506') in the one or more images; and wherein, based on a number of the estimated bounding rectangles (502' to 506'), the relative position of the estimated bounding rectangles (502' to 506') and the overlap between the estimated bounding rectangles (502' to 506'), the computing unit (204) detects the presence of at least one child seat (500) in the vehicle and further determines the position of the at least one detected child seat (500) within the vehicle.

system (200) after claim 1 wherein the computing unit (204) is configured to identify, among the estimated bounding rectangles (502'-506'), an incorrect bounding rectangle, if any, based on the relative position between the estimated bounding rectangle (502'-506') with respect the backrest (504), the base (506) of the seat (500), the seat belt (500) and the headrest (502), and wherein the computing unit (204) selects the incorrect bounding box, if one has been identified discards the estimated bounding rectangles while detecting the presence and position of the at least one child seat (500).

system (200) after claim 2 , wherein if it is determined that the delimiting rectangle (502') belonging to the headrest (502) lies above the delimiting rectangle (504') of the backrest (504), and the delimiting rectangle (504') of the backrest (504) lies above the delimiting rectangle (506 ') of the seat base (506), the computing unit (204) takes into account the corresponding bounding rectangles (502' to 506') of the headrest, the backrest and the seat base (506) while determining the presence and position of the at least one child seat (500 ) recorded.

system (200) after claim 2 , whereby if it is determined that the delimiting rectangle (502') belonging to the headrest (502) lies below the delimiting rectangles (504', 506') of the backrest (504) and the seat base (506), and/or that to the backrest (504 ) belonging bounding rectangle (504 ') is below the bounding rectangle (506') of the seat base (506), the computing unit (204) identifies the corresponding bounding rectangles of the headrest (502), the backrest (504) and the seat base (506) as incorrect bounding rectangles based on their relative position, and discards the identified incorrect bounding box while detecting the presence and position of the at least one child seat (500).

system (200) after claim 1 , wherein the computing unit (204) predicts the center, height, and width of the bounding rectangles (502'-506') using gradient descent, and wherein the computing unit (204) predicts the predicted center, height, and width of the one or more using bounding rectangles (502'-506') to determine the location of the corresponding bounding rectangles (502'-506') when the predicted center, height and width of the corresponding bounding rectangles (502'-506') are above a threshold.

system (200) after claim 1 , wherein the computing unit (204) estimates the one or more bounding rectangles (502' to 506') in the captured image or images based on one or more features associated with the backrest (504), the seat base (506), the belt of the seat (500) and the headrest (502) of a child seat (500), wherein the one or more features are extracted by the computing unit (204) from the one or more recorded images.

A method (300) for detecting the presence of a child seat in a vehicle, the method (300) comprising the steps of: acquiring (302), by one or more image sensors, a set of images associated with a region of interest (ROI) in connected to an interior of the vehicle; identifying and extracting (304), by a computing unit configured with a deep neural network, one or more features associated with a seat back, seat base, seat belt or headrest of a child safety seat from the captured one or more images ; estimating (306), by the computing unit, based on the extracted features, one or more bounding boxes related to the backrest, the seat base, the seat belt or the headrest present in the captured one or more images; predicting (308), by the computing unit, a center, a height and a width of each of the estimated bounding rectangles; determining (310), by the computing unit, based on the predicted center and the predicted height and width of each of the estimated bounding rectangles, a position of each of the one or more bounding rectangles in the one or more images; and detecting the presence and determining the position (312), by the computing unit, of at least one child seat within the vehicle based on a number of the bounding rectangles, the relative position of the bounding rectangles and the overlap between the bounding rectangles.

Method (300) according to claim 7 , where it is determined that the delimiting rectangle belonging to the headrest lies above the delimiting rectangle of the backrest, and that the delimiting rectangle of the backrest lies above the delimiting rectangle of the seat base, the method includes the step of taking into account, by the computing unit, the corresponding delimiting rectangles of the headrest, the backrest and the seat base while detecting the presence and position of the at least one child seat.

Method (300) according to claim 7 , wherein when the head restraint bounding box is determined to be below the seat back and seat base bounding box, and/or when the seat back bounding box is determined to be below the seat base box bounding box, the method comprises the steps of: identifying by which calculating unit, the corresponding bounding boxes of the headrest, the backrest and the seat base as wrong bounding boxes based on their relative position, and discarding the identified wrong bounding boxes when detecting the presence and the position of the at least one child seat.

Method (300) according to claim 7 , wherein the computing unit predicts the center, height and width of the one or more bounding rectangles using gradient descent, and wherein the computing unit uses the corresponding predicted center and the predicted height and width of the bounding rectangles for the step of determining the position of the bounding rectangles, when the corresponding predicted center and height and width are determined to be above a threshold.