DE102015120014A1 - Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera - Google Patents
Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera Download PDFInfo
- Publication number
- DE102015120014A1 DE102015120014A1 DE102015120014.7A DE102015120014A DE102015120014A1 DE 102015120014 A1 DE102015120014 A1 DE 102015120014A1 DE 102015120014 A DE102015120014 A DE 102015120014A DE 102015120014 A1 DE102015120014 A1 DE 102015120014A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- alarm
- input image
- position information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 title claims abstract description 14
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 238000012806 monitoring device Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000003702 image correction Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
Die vorliegende Erfindung betrifft ein Überwachungsverfahren und eine Überwachungsvorrichtung unter Verwendung einer Kamera. Gemäß einer Ausführungsform der vorliegenden Erfindung umfasst ein Überwachungsverfahren unter Verwendung einer Kamera: Empfangen eines fotografierten Eingangsbilds von der Kamera; Erkennen eines auf dem Eingangsbild vorhandenen Objekts und von Positionsinformationen des Objekts; Erzeugen eines korrigierten Bildes durch Korrigieren eines verzerrten Bereichs des Eingangsbilds; und Erzeugen eines synthetisierten Bildes durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild und Ausgeben des synthetisierten Bilds über ein Display.
Description
- Allgemeiner Stand der Technik
- 1. Technisches Gebiet
- Die vorliegende Erfindung betrifft ein Überwachungsverfahren und eine Überwachungsvorrichtung unter Verwendung einer Kamera.
- 2. Stand der Technik
- Zur Verbesserung des Fahrerkomforts werden in jüngster Zeit verschiedene elektronische Anwendungstechnologien in einem Kraftfahrzeug aufgenommen. Ein Rundumsicht-Überwachungssystem, das einen Fahrer die Fahrzeugumgebung bequem, genau und sichtbar erkennen lässt, indem es die Fahrzeugumgebung zum Zwecke der Anzeige fotografiert, ist unter den elektronischen Anwendungstechnologien weitverbreitet. Das Rundumsicht-Überwachungssystem kann eine Umgebung unter Verwendung von Kameras fotografieren, die jeweils an der Front und am Heck sowie an der rechten und linken Seite des Fahrzeugs vorgesehen sind, und die fotografierte Umgebung auf einem Bildschirm anzeigen.
- Der Fahrer kann insbesondere ein rückwärtiges Hindernis und eine Parkfläche über eine Fahrzeugumgebung, die von einer Rückfahrkamera fotografiert wird, welche das Rückwärtseinparken leitet, genau erkennen und das Fahrzeug bequem und mühelos einparken, ohne in einen Seitenspiegel oder Rückspiegel zu sehen.
- Da jedoch ein herkömmliches Rückfahrkamerasystem ein Bild unter Verwendung einer Weitwinkelkamera, die einen weiten Bildwinkel aufweist, fotografiert und das entsprechend erzeugte verzerrte Bild korrigiert, wird ein Hindernis nicht gesehen, weil es klein ist oder ein toter Winkel auftritt. Das heißt, beim herkömmlichen Rückfahrkamerasystem besteht ein Problem darin, dass es dem Fahrer keine genauen Bildinformationen zur Verfügung stellen kann. Demgemäß sieht ein Fahrer, der ein Fahrzeug einzuparken versucht, ein Umgebungshindernis nicht, und es besteht daher das Unfallrisiko eines möglichen Kollidierens mit dem Hindernis. Auch wenn es sich um einen guten Fahrer handelt, kann dieser zudem nur für die Sicht sorgen. Somit ist das Einparken schwierig, und es kommt aufgrund vieler Verkehrsunfälle zu Unfallverlusten, weil der Fahrer ein von hinten herannahendes Fahrzeug nicht erkennt.
- Zusammenfassung
- Die vorliegende Erfindung stellt ein Überwachungsverfahren und eine Überwachungsvorrichtung unter Verwendung einer Kamera bereit, die ein Unfallrisiko aufgrund eines toten Winkels während der Bewegung eines Fahrzeugs verringern, indem sie einen Fußgänger oder ein Hindernis eines Eingangsbilds vor der Verzerrungskorrektur als Objekt erkennen und Alarmanzeigeinformationen entsprechend dem Objekt mit einem durch die Verzerrungskorrektur erzeugten korrigierten Bild zum Zwecke der Anzeige synthetisieren.
- Die Aufgaben der vorliegenden Erfindung sind nicht auf die vorstehend beschriebene Aufgabe beschränkt. Weitere vorstehend nicht beschriebene Aufgaben und Vorteile der vorliegenden Erfindung sind der nachfolgenden Beschreibung zu entnehmen und werden anhand von Ausführungsformen der vorliegenden Erfindung klarer verständlich. Außerdem versteht es sich, dass sich die Aufgaben und Vorteile der vorliegenden Erfindung mit den in den Ansprüchen beschriebenen Mitteln und einer Kombination daraus verwirklichen lassen.
- Gemäß einer Ausführungsform der vorliegenden Erfindung umfasst ein Überwachungsverfahren unter Verwendung einer Kamera: Empfangen eines fotografierten Eingangsbilds von der Kamera; Erkennen eines auf dem Eingangsbild vorhandenen Objekts und von Positionsinformationen des Objekts; Erzeugen eines korrigierten Bildes durch Korrigieren eines verzerrten Bereichs des Eingangsbilds; und Erzeugen eines synthetisierten Bildes durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild und Ausgeben des synthetisierten Bilds über ein Display.
- Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung umfasst ferner eine Überwachungsvorrichtung unter Verwendung einer Kamera: eine Eingabeeinheit, die ein fotografiertes Eingangsbild von der Kamera empfängt; eine Objekterkennungseinheit, die ein auf dem Eingangsbild vorhandenes Objekt und Positionsinformationen des Objekts erkennt; eine Verzerrungsbild-Korrektureinheit, die ein korrigiertes Bild durch Korrigieren eines verzerrten Bereichs des Eingangsbilds erzeugt; und eine Synthesebild-Ausgabeeinheit, die ein synthetisiertes Bild durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild erzeugt und das synthetisierte Bild über ein Display ausgibt.
- Kurzbeschreibung der Zeichnungen
-
1 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung nach dem Stand der Technik. -
2 ist ein Beispiel eines Eingangsbilds und eines korrigierten Bilds der in1 dargestellten Überwachungsvorrichtung. -
3 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung gemäß einer ersten Ausführungsform. -
4 stellt ein Beispiel dar, bei dem die Überwachungsvorrichtung gemäß der ersten Ausführungsform ein Objekt, ein korrigiertes Bild und ein synthetisiertes Bild erzeugt. -
5 ist ein Beispiel einer Funktionsweise einer Objekterkennungseinheit gemäß der ersten Ausführungsform. -
6 ist ein Beispiel, das ein Verfahren zur Ermittlung einer Position von auf dem korrigierten Bild anzuzeigenden Alarmanzeigeinformationen darstellt. -
7 ist ein Ablaufdiagramm, das eine Funktionsweise der Überwachungsvorrichtung gemäß einer zweiten Ausführungsform darstellt. - Ausführliche Beschreibung der Ausführungsformen
- Die obengenannten Aufgaben, Merkmale und Vorteile werden unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. Dementsprechend wird ein Fachmann, an den sich die vorliegende Erfindung richtet, den technischen Sinngehalt der vorliegenden Erfindung mühelos verwirklichen. Wenn bei der Beschreibung der vorliegenden Erfindung festgestellt wird, dass die ausführliche Darstellung von bekannten Technologien, die die vorliegende Erfindung betreffen, den Sinngehalt der vorliegenden Erfindung verunklart, wird auf deren Darstellung verzichtet. Nachfolgend werden bevorzugte Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. In den Zeichnungen werden gleiche Zeichen oder Bezugsziffern verwendet, um gleiche oder ähnliche Konfigurationselemente zu kennzeichnen.
-
1 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung nach dem Stand der Technik.2 ist ein Beispiel eines Eingangsbilds und eines korrigierten Bilds der in1 dargestellten Überwachungsvorrichtung. - Gemäß
1 und2 empfängt eine Überwachungsvorrichtung101 nach dem Stand der Technik ein fotografiertes Eingangsbild12 über eine Kamera11 und kann einen Verzerrungsbereich des Eingangsbilds12 korrigieren. Dabei kann ein Fußgänger oder ein Hindernis13 im Verzerrungsbereich des Eingangsbilds12 geortet werden. Um jedoch einem Fahrer ein nicht verzerrtes Rückfahrbild zur Verfügung zu stellen, korrigiert die Überwachungsvorrichtung101 den Verzerrungsbereich, der den Fußgänger oder das Hindernis13 enthält. Der Fußgänger oder das Hindernis13 , der oder das im Verzerrungsbereich während des Korrekturvorgangs enthalten ist, wird entfernt. Gemäß dem Stand der Technik wird folglich ein Bild102 , auf dem der Fußgänger oder das Hindernis13 nicht vorhanden ist, einfach auf einem Bildschirm angezeigt, obwohl der Fußgänger oder das Hindernis13 auf einer Fahrzeugrückseite tatsächlich vorhanden ist, weshalb ein sehr hohes Unfallrisiko besteht. -
3 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung gemäß einer ersten Ausführungsform.4 stellt ein Beispiel dar, bei dem die Überwachungsvorrichtung gemäß der ersten Ausführungsform ein Objekt, ein korrigiertes Bild und ein synthetisiertes Bild erzeugt. - Gemäß
3 und4 umfasst eine Überwachungsvorrichtung100 eine Eingabeeinheit30 , eine Objekterkennungseinheit40 , eine Verzerrungsbild-Korrektureinheit50 und eine Synthesebild-Ausgabeeinheit60 . - Das bedeutet im Einzelnen, die Eingabeeinheit
30 kann ein fotografiertes Eingangsbild31 von einer Kamera10 empfangen. Hier enthält die Kamera10 eine Linse11 , die das Umfeld eines Fahrzeugs fotografieren kann, und einen Bildsensor12 , der das Eingangsbild31 unter Verwendung eines fotografierten Bilds über die Linse11 erzeugt. Gemäß der ersten Ausführungsform kann es sich bei der Kamera10 um eine Frontkamera, eine Heckkamera oder eine Seitenkamera handeln. - Des Weiteren kann die Objekterkennungseinheit
40 einen Fußgänger oder ein Hindernis32 , der oder das auf dem von der Eingabeeinheit30 empfangenen Eingangsbild31 vorhanden ist, als Objekt42 erkennen und Positionsinformationen von dem erkannten Objekt42 erhalten. Hier können die Positionsinformationen des Objekts42 eine Position sein, die dem Fußgänger oder Hindernis32 entspricht, wenn der Mittelpunkt des Eingangsbilds31 als Bezugspunkt verwendet wird. Beispielsweise sind die Positionsinformationen des in4 dargestellten Objekts42 links vom Mittelpunkt des Eingangsbilds31 angegeben. Genauer bedeutet dies, dass die Objekterkennungseinheit40 einen Abstand zwischen dem Objekt42 und einem Fahrzeug unter Verwendung einer Ultraschallmesseinheit45 messen und die gemessenen Abstandsinformationen erfassen kann. Hierbei kann die Ultraschallmesseinheit45 ein Ultraschallsignal an das erkannte Objekt42 übertragen und Informationen bezüglich eines Abstands zwischen dem Objekt42 und einem Fahrzeug auf der Grundlage der Zeit des Ultraschallsignals, das durch das Objekt42 reflektiert wird und dann zurückkehrt, erfassen. -
5 ist ein Beispiel einer Funktionsweise einer Objekterkennungseinheit gemäß der ersten Ausführungsform. - Gemäß
5 kann die Objekterkennungseinheit40 das Eingangsbild31 in mehrere Bereiche41-1 bis41-6 unterteilen, die im Voraus festgelegt werden, und in den Peripheriebereichen41-1 und41-6 mit Ausnahme der Zentralbereiche41-2 bis41-5 innerhalb der unterteilten mehreren Bereiche41-1 bis41-6 den Fußgänger oder das Hindernis32 suchen. Wenn der Fußgänger oder das Hindernis32 in den Peripheriebereichen41-1 und41-6 gesucht wird, kann dabei die Objekterkennungseinheit40 den Fußgänger oder das Hindernis32 als Objekt42 erkennen. - Gemäß
3 und4 kann die Verzerrungsbild-Korrektureinheit50 ein korrigiertes Bild51 durch Korrigieren eines verzerrten Bereichs des von der Eingabeeinheit30 empfangenen Eingangsbilds31 erzeugen. Mit dem korrigierten Bild51 kann hier ein Bild gemeint sein, das durch Korrigieren einer Bildschirmverzerrung erlangt wird. Das heißt, die Verzerrungsbild-Korrektureinheit50 kann das korrigierte Bild51 , auf dem das Objekt42 entfernt wird, erzeugen, indem sie einen verzerrten Bereich des von der Eingabeeinheit30 empfangenen Eingangsbilds31 korrigiert. - Gemäß der ersten Ausführungsform kann die Verzerrungsbild-Korrektureinheit
50 das korrigierte Bild51 erzeugen, indem sie den verzerrten Bereich des Eingangsbilds31 mittels einer Wertetabelle korrigiert, die einen Verzerrungskorrekturalgorithmus, einen Affintransformationsalgorithmus und einen Zeitkonvertierungsalgorithmus enthält, welche zur Korrektur des verzerrten Bereichs des Eingangsbilds31 im Voraus gespeichert werden. Mit Wertetabelle kann dabei eine Datentabelle gemeint sein, die sich auf den verzerrten Bereich des Eingangsbilds31 bezieht, oder Daten, die im Voraus festgelegt sind. - Anschließend kann die Synthesebild-Ausgabeeinheit
60 Alarmanzeigeinformationen62 auf der Grundlage des von der Objekterkennungseinheit40 erkannten Objekts42 und der Positionsinformationen des Objekts42 erzeugen und ein synthetisiertes Bild61 durch Synthetisieren des korrigierten Bilds51 , das von der Verzerrungsbild-Korrektureinheit50 korrigiert wird, mit den Alarmanzeigeinformationen62 ausgeben. Die Alarmanzeigeinformationen62 umfassen hierbei mindestens ein Alarmbild und einen Alarmtext. - Gemäß eine weiteren Ausführungsform kann die Synthesebild-Ausgabeeinheit
60 Informationen bezüglich eines Abstands zwischen dem von der Objekterkennungseinheit40 erkannten Objekt42 und einem Fahrzeug mit den Alarmanzeigeinformationen62 synthetisieren. Dabei umfassen die Alarmanzeigeinformationen62 ein Alarmbild oder einen Alarmtext sowie einen Abstand zwischen dem Objekt42 und einem Fahrzeug. - Die Synthesebild-Ausgabeeinheit
60 kann eine Position der auf dem korrigierten Bild51 anzuzeigenden Alarmanzeigeinformationen62 entsprechend den Positionsinformationen des von der Objekterkennungseinheit40 erkannten Objekts42 ermitteln. - Nachfolgend wird eine Position, in der die Alarmanzeigeinformationen
62 angezeigt sind, unter Bezugnahme auf6 beschrieben. -
6 ist ein Beispiel, das ein Verfahren zur Ermittlung einer Position der auf dem korrigierten Bild anzuzeigenden Alarmanzeigeinformationen darstellt. - Gemäß
6 kann die Synthesebild-Ausgabeeinheit60 eine Position der Alarmanzeigeinformationen62 als einen oberen linken Bereich des synthetisierten Bilds61 ermitteln, wenn sich die Positionsinformationen des von der Objekterkennungseinheit40 erkannten Objekts42 links befinden. Befinden sich die Positionsinformationen des von der Objekterkennungseinheit40 erkannten Objekts42 rechts, kann des Weiteren die Synthesebild-Ausgabeeinheit60 die Position der Alarmanzeigeinformationen62 als einen oberen rechten Bereich des synthetisierten Bilds61 ermitteln. - Darüber hinaus kann die Synthesebild-Ausgabeeinheit
60 die Position der auf dem synthetisierten Bild61 anzuzeigenden Alarmanzeigeinformationen62 entsprechend den Positionsinformationen des von der Objekterkennungseinheit40 erkannten Objekts42 anpassen. Das heißt, wenn sich die Positionsinformationen des von der Objekterkennungseinheit40 erkannten Objekts42 rechts befinden, kann die Synthesebild-Ausgabeeinheit60 die Position der Alarmanzeigeinformationen62 als einen unteren rechten Bereich des synthetisierten Bilds61 ermitteln. Befinden sich die Positionsinformationen des von der Objekterkennungseinheit40 erkannten Objekts42 links, kann die Synthesebild-Ausgabeeinheit60 eine Position der Alarmanzeigeinformationen62 als einen unteren linken Bereich des synthetisierten Bilds61 ermitteln. - Dementsprechend kann die Synthesebild-Ausgabeeinheit
60 das synthetisierte Bild61 erzeugen, indem sie die Alarmanzeigeinformationen62 mit einem im korrigierten Bild51 anzuzeigenden Bereich synthetisiert, und das synthetisierte Bild61 über ein Display200 ausgeben. Das heißt, auch wenn der Fußgänger oder das Hindernis32 von der Verzerrungsbild-Korrektureinheit50 aufgrund einer Verzerrungskorrektur entfernt wird, kann die Synthesebild-Ausgabeeinheit60 die Alarmanzeigeinformationen62 entsprechend dem von der Kamera10 fotografierten Fußgänger oder Hindernis32 einem Benutzer über das Display200 zur Verfügung stellen. Nachfolgend wird ein Überwachungsverfahren gemäß der vorliegenden Ausführungsform unter Bezugnahme auf6 beschrieben. -
7 ist ein Ablaufdiagramm, das eine Funktionsweise der Überwachungsvorrichtung darstellt. - Gemäß
7 empfängt die Eingabeeinheit30 das fotografierte Eingangsbild31 von der Kamera10 (S100). Des Weiteren erkennt die Objekterkennungseinheit40 das auf dem Eingangsbild31 vorhandene Objekt42 und Positionsinformationen des Objekts42 (S110). Dabei erzeugt die Verzerrungsbild-Korrektureinheit50 das korrigierte Bild51 durch Korrigieren des verzerrten Bereichs des Eingangsbilds31 (S120). Anschließend erzeugt die Synthesebild-Ausgabeeinheit60 das korrigierte Bild51 durch Synthetisieren der auf der Grundlage des Objekts42 und der Positionsinformationen des Objekts42 erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild51 und gibt das synthetisierte Bild61 über das Display200 aus (S130). - Gemäß der vorliegenden Ausführungsform kann die Überwachungsvorrichtung
100 den Fußgänger oder das Hindernis32 auf dem Eingangsbild31 vor der Verzerrungskorrektur als Objekt42 erkennen und ein synthetisiertes Bild61 durch Synthetisieren des korrigierten Bilds51 , das durch die Verzerrungskorrektur erzeugt wird, mit den Alarmanzeigeinformationen62 entsprechend dem Objekt42 ausgeben. Demgemäß kann die Überwachungsvorrichtung100 bewirken, dass sich das Unfallrisiko während der Bewegung eines Fahrzeugs verringern lässt. - Gemäß der vorstehend beschriebenen vorliegenden Erfindung kann das Unfallrisiko während der Bewegung eines Fahrzeugs verringert werden, indem ein Fußgänger oder ein Hindernis eines Eingangsbilds vor der Verzerrungskorrektur als Objekt erkannt wird und Alarmanzeigeinformationen entsprechend dem Objekt mit einem durch die Verzerrungskorrektur erzeugten korrigierten Bild synthetisiert werden.
- Die vorstehend beschriebene vorliegende Erfindung soll für einen Fachmann, an den sich die vorliegende Erfindung richtet, verschiedene Ersetzungen, Abwandlungen und Änderungen in einem Umfang umfassen, der nicht vom technischen Sinngehalt der vorliegenden Erfindung abweicht. Sie ist nicht auf die vorstehend beschriebenen Ausführungsformen und die begleitenden Zeichnungen beschränkt.
Claims (10)
- Überwachungsverfahren unter Verwendung einer Kamera, umfassend: Empfangen eines fotografierten Eingangsbilds von der Kamera (S100); Erkennen eines auf dem Eingangsbild vorhandenen Objekts und von Positionsinformationen des Objekts (S110); Erzeugen eines korrigierten Bildes durch Korrigieren eines verzerrten Bereichs des Eingangsbilds (S120); und Erzeugen eines synthetisierten Bildes durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild und Ausgeben des synthetisierten Bilds über ein Display (S130).
- Überwachungsverfahren nach Anspruch 1, wobei die Alarmanzeigeinformationen mindestens ein Alarmbild und einen Alarmtext enthalten.
- Überwachungsverfahren nach Anspruch 1, wobei die Alarmanzeigeinformationen mit einem Bereich, der den Positionsinformationen entspricht, auf dem korrigierten Bild angezeigt werden.
- Überwachungsverfahren nach Anspruch 1, wobei das Erkennen der Positionsinformationen des Objekts (S110) umfasst: Unterteilen des Eingangsbilds in mehrere Bereiche, die im Voraus festgelegt werden; und Suchen eines Fußgängers oder eines Hindernisses durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche.
- Überwachungsverfahren nach Anspruch 1, des Weiteren umfassend: Messen der Zeit eines Ultraschallsignals, das an das erkannte Objekt übertragen wird und antwortet, unter Verwendung eines Ultraschallsensors; und Erkennen von Informationen bezüglich eines Abstands zwischen dem Objekt und einem Fahrzeug auf der Grundlage der gemessenen Zeit.
- Überwachungsvorrichtung unter Verwendung einer Kamera, umfassend: eine Eingabeeinheit (
30 ), die ein fotografiertes Eingangsbild von der Kamera (10 ) empfängt; eine Objekterkennungseinheit (40 ), die ein auf dem Eingangsbild vorhandenes Objekt und Positionsinformationen des Objekts erkennt; eine Verzerrungsbild-Korrektureinheit (50 ), die ein korrigiertes Bild durch Korrigieren eines verzerrten Bereichs des Eingangsbilds erzeugt; und eine Synthesebild-Ausgabeeinheit (60 ), die ein synthetisiertes Bild durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild erzeugt und das synthetisierte Bild über ein Display (200 ) ausgibt. - Überwachungsvorrichtung nach Anspruch 6, wobei die Alarmanzeigeinformationen mindestens ein Alarmbild und einen Alarmtext enthalten.
- Überwachungsvorrichtung nach Anspruch 6, wobei die Alarmanzeigeinformationen mit einem Bereich, der den Positionsinformationen entspricht, auf dem korrigierten Bild angezeigt werden.
- Überwachungsvorrichtung nach Anspruch 6, wobei die Objekterkennungseinheit (
40 ) das Eingangsbild in mehrere Bereiche, die im Voraus festgelegt werden, unterteilt und einen Fußgänger oder ein Hindernis durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche sucht. - Überwachungsvorrichtung nach Anspruch 6, wobei die Objekterkennungseinheit (
40 ) die Zeit eines Ultraschallsignals, das an das erkannte Objekt übertragen wird und antwortet, unter Verwendung eines Ultraschallsensors (45 ) misst und Informationen bezüglich eines Abstands zwischen dem Objekt und einem Fahrzeug auf der Grundlage der gemessenen Zeit erkennt.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140177857A KR101629577B1 (ko) | 2014-12-10 | 2014-12-10 | 카메라를 이용한 모니터링 방법 및 장치 |
KR10-2014-0177857 | 2014-12-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102015120014A1 true DE102015120014A1 (de) | 2016-06-16 |
DE102015120014B4 DE102015120014B4 (de) | 2017-05-11 |
Family
ID=56081929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015120014.7A Active DE102015120014B4 (de) | 2014-12-10 | 2015-11-18 | Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera |
Country Status (4)
Country | Link |
---|---|
US (1) | US9818033B2 (de) |
KR (1) | KR101629577B1 (de) |
CN (1) | CN105691300B (de) |
DE (1) | DE102015120014B4 (de) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101794993B1 (ko) * | 2016-09-26 | 2017-11-07 | 현대오트론 주식회사 | 영상 왜곡 보정 장치 및 방법 |
JP6470335B2 (ja) * | 2017-03-15 | 2019-02-13 | 株式会社Subaru | 車両の表示システム及び車両の表示システムの制御方法 |
JP6445607B2 (ja) * | 2017-03-15 | 2018-12-26 | 株式会社Subaru | 車両の表示システム及び車両の表示システムの制御方法 |
TWM593949U (zh) * | 2019-04-19 | 2020-04-21 | 帷享科技股份有限公司 | 用於車輛之影像整合警示系統 |
CN112793509B (zh) * | 2021-04-14 | 2021-07-23 | 天津所托瑞安汽车科技有限公司 | 一种盲区监测方法、设备、介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6043971A (ja) * | 1983-08-22 | 1985-03-08 | Sony Corp | 黒レベル再生回路 |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
JP2004354236A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | ステレオカメラ支持装置およびステレオカメラ支持方法ならびにステレオカメラシステム |
CN1985266B (zh) * | 2004-07-26 | 2010-05-05 | 奥普提克斯晶硅有限公司 | 全景视觉系统和方法 |
EP1916846B1 (de) * | 2005-08-02 | 2016-09-14 | Nissan Motor Company Limited | Einrichtung und verfahren zur überwachung einer fahrzeugumgebung |
JP4687411B2 (ja) * | 2005-11-15 | 2011-05-25 | 株式会社デンソー | 車両周辺画像処理装置及びプログラム |
JP4846426B2 (ja) * | 2006-04-20 | 2011-12-28 | パナソニック株式会社 | 車両周囲監視装置 |
JP4714174B2 (ja) * | 2007-03-27 | 2011-06-29 | 富士フイルム株式会社 | 撮像装置 |
JP4955471B2 (ja) * | 2007-07-02 | 2012-06-20 | 株式会社デンソー | 画像表示装置及び車載用画像表示装置 |
JP2009126493A (ja) * | 2007-11-28 | 2009-06-11 | Clarion Co Ltd | 障害物検出装置 |
DE102008034594B4 (de) * | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
US9064293B2 (en) * | 2010-06-15 | 2015-06-23 | Mitsubishi Electric Corporation | Vehicle surroundings monitoring device |
JP5765995B2 (ja) * | 2011-03-31 | 2015-08-19 | 富士通テン株式会社 | 画像表示システム |
EP2720458A4 (de) * | 2011-06-09 | 2015-02-25 | Aisin Seiki | Bilderzeugungsvorrichtung |
JP5411976B1 (ja) * | 2012-09-21 | 2014-02-12 | 株式会社小松製作所 | 作業車両用周辺監視システム及び作業車両 |
KR20140048539A (ko) * | 2012-10-16 | 2014-04-24 | 에스케이텔레콤 주식회사 | 차량의 주변영상을 이용한 객체 인식장치 및 방법 |
US20150042799A1 (en) * | 2013-08-07 | 2015-02-12 | GM Global Technology Operations LLC | Object highlighting and sensing in vehicle image display systems |
-
2014
- 2014-12-10 KR KR1020140177857A patent/KR101629577B1/ko active IP Right Grant
-
2015
- 2015-11-18 DE DE102015120014.7A patent/DE102015120014B4/de active Active
- 2015-12-07 US US14/961,149 patent/US9818033B2/en active Active
- 2015-12-07 CN CN201510888069.7A patent/CN105691300B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105691300B (zh) | 2018-05-22 |
KR101629577B1 (ko) | 2016-06-13 |
DE102015120014B4 (de) | 2017-05-11 |
CN105691300A (zh) | 2016-06-22 |
US9818033B2 (en) | 2017-11-14 |
US20160171317A1 (en) | 2016-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10030421B4 (de) | Fahrzeugumgebungsüberwachungssystem | |
DE102015120014B4 (de) | Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera | |
DE102005056645B4 (de) | Fahrzeugumgebungsüberwachungsvorrichtung | |
DE102016212405A1 (de) | Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem | |
DE69932021T2 (de) | Dreidimensionales Darstellungssystem mit einer einzelnen Kamera für Fahrzeuge | |
DE102016100030B4 (de) | Gerät zum sicheren führen eines fahrzeugs | |
DE102008001363B4 (de) | Verfahren zum Erfassen einer Parkfläche unter Verwendung eines Entfernungssensors | |
DE102020002994B4 (de) | Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung | |
DE102013223039B4 (de) | Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes | |
DE102005056647B4 (de) | Fahrzeugumgebungsüberwachungsvorrichtung | |
DE10201523A1 (de) | Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen | |
DE102016206493A1 (de) | Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug | |
DE102012001554A1 (de) | Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug | |
DE102012223481A1 (de) | Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs | |
EP3078015B1 (de) | Verfahren und vorrichtung zum erzeugen einer warnung mittels zweier durch kameras erfasster bilder einer fahrzeugumgebung | |
DE102018108751B4 (de) | Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten | |
DE102013226476A1 (de) | Bildverarbeitungsverfahren und -system eines rundumsichtüberwachungssystems | |
DE102011014368A1 (de) | Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem | |
DE102005056664A1 (de) | Fahrzeugumgebungsüberwachungsvorrichtung | |
DE102009003220B4 (de) | Verfahren zur Kollisionswarnung sowie Kollisionswarneinrichtung | |
DE102005056665A1 (de) | Fahrzeugumgebungsüberwachungsvorrichtung | |
DE102014116812A1 (de) | Vorrichtung zur Kamerabildkompensation und zugehöriges Verfahren zum Betreiben der Vorrichtung | |
EP2163429B1 (de) | Verfahren zur bildgestützten Überwachung einer Fahrzeugumgebung, insbesondere einer Umgebung eines Nutzfahrzeuges | |
DE102006020930B4 (de) | Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug | |
DE10063756A1 (de) | Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R081 | Change of applicant/patentee |
Owner name: HYUNDAI MOBIS CO., LTD., KR Free format text: FORMER OWNER: HYUNDAI AUTRON CO., LTD., SEONGNAM-SI, GYEONGGI-DO, KR |
|
R082 | Change of representative |
Representative=s name: LS-MP VON PUTTKAMER BERNGRUBER LOTH SPUHLER PA, DE |