DE102021131051B4 - Bildaufnahmesystem und Bildaufnahmevorrichtung - Google Patents

Bildaufnahmesystem und Bildaufnahmevorrichtung Download PDF

Info

Publication number
DE102021131051B4
DE102021131051B4 DE102021131051.2A DE102021131051A DE102021131051B4 DE 102021131051 B4 DE102021131051 B4 DE 102021131051B4 DE 102021131051 A DE102021131051 A DE 102021131051A DE 102021131051 B4 DE102021131051 B4 DE 102021131051B4
Authority
DE
Germany
Prior art keywords
vehicle
image
area
viewing angle
camera sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021131051.2A
Other languages
English (en)
Other versions
DE102021131051A1 (de
Inventor
Tomoaki IIDA
Sho HORIUCHI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of DE102021131051A1 publication Critical patent/DE102021131051A1/de
Application granted granted Critical
Publication of DE102021131051B4 publication Critical patent/DE102021131051B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

Bildaufnahmesystem für ein Fahrzeug, wobei das Bildaufnahmesystem aufweist:einen Frontkamerasensor (30) mit einem vorbestimmten ersten horizontalen Betrachtungswinkel, bei dem ein horizontaler Betrachtungswinkel weniger als 180 Grad beträgt, wenn eine Orientierung einer Referenzachse, die eine Achse parallel zu einer Längsachse eines Fahrzeugs ist, als eine Referenzorientierung eingestellt ist, wobei der Frontkamerasensor (30) konfiguriert ist, um an dem Fahrzeug derart montiert zu sein, dass der erste horizontale Betrachtungswinkel in einem Bereich auf einer Frontseite des Fahrzeugs in Bezug auf Azimutwinkel enthalten ist, die einer seitlichen Richtung des Fahrzeugs entsprechen, wobei der Frontkamerasensor (30) weiterhin konfiguriert ist, um eine photoelektrische Umwandlung von Licht von einem innerhalb des ersten horizontalen Betrachtungswinkels positionierten Objekt unter den vor dem Fahrzeug positionierten Objekten in ein elektrisches Signal durchzuführen, um dadurch vordere Schmalgebietbilddaten zu erfassen, die für die Fahrunterstützungssteuerung des Fahrzeugs verwendet werden; undeinen Kamerasensor zur Bilderzeugung (20F, 120L, 120R) mit einem vorbestimmten zweiten horizontalen Betrachtungswinkel, bei dem der horizontale Betrachtungswinkel 180 Grad oder mehr beträgt, wobei der Kamerasensor zur Bilderzeugung (20F, 120L, 120R) konfiguriert ist, um an dem Fahrzeug montiert zu werden, und weiterhin konfiguriert ist, um eine photoelektrische Umwandlung von Licht von einem innerhalb des zweiten horizontalen Betrachtungswinkels positionierten Objekt unter den im Umfeld des Fahrzeugs positionierten Objekten in ein elektrisches Signal durchzuführen, um dadurch Umgebungs-Weitgebietbilddaten zu erfassen, die zur Erzeugung eines Überkopfansichtsbildes des Fahrzeugs verwendet werden,wobei der Kamerasensor zur Bilderzeugung (20F, 120L, 120R) umfasst:einen Bildsensor (22, 122L, 122R) mit einer Bildaufnahmefläche (22a, 122aL, 122aR), auf der eine Vielzahl von Pixeln, die jeweils zur Durchführung der photoelektrischen Umwandlung konfiguriert sind, zweidimensional angeordnet sind; undein optisches System (21, 121L, 121R), das ein Objektiv (21a, 121aL, 121aR) enthält und konfiguriert ist, um das Licht von den Objekten auf die Bildaufnahmefläche (22a, 122aL, 122aR) abzubilden,wobei der Bildsensor (22, 122L, 122R) aufweist:einen spezifischen Bereich, in dem Licht von einem Objekt, das sich innerhalb einer diagonalen seitlichen Azimutwinkelspanne befindet, auf die Bildaufnahmefläche (22a, 122aL, 122aR) abzubilden ist, wobei die diagonale seitliche Azimutwinkelspanne eine Spanne von einem vorbestimmten Azimutwinkel bis zu einem Azimutwinkel ist, der einer diagonalen Vorwärtsrichtung des Fahrzeugs entspricht, wobei der vorbestimmte Azimutwinkel auf der Grundlage eines Grenzazimutwinkels bestimmt wird, der ein Azimutwinkel an einer Grenzlinie ist, die den ersten horizontalen Betrachtungswinkel definiert; undeinen Restbereich, in dem Licht von einem Objekt, das sich innerhalb einer Rest-Azimutwinkelspanne befindet, auf die Bildaufnahmefläche (22a, 122aL, 122aR) abzubilden ist, wobei die Rest-Azimutwinkelspanne erhalten wird, indem die diagonale laterale Azimutwinkelspanne von dem zweiten horizontalen Betrachtungswinkel ausgeschlossen wird,wobei das Objektiv (21a, 121aL, 121aR) ein Objektiv mit einer gekrümmten Oberfläche ist, die so geformt ist, dass eine horizontale Pixeldichte in dem spezifischen Bereich größer wird als die horizontale Pixeldichte in dem restlichen Bereich, wobei die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels ist, undwobei die von dem Kamerasensor zur Bilderzeugung (20F, 120L, 120R) bezogenen Umgebungs-Weitgebietbilddaten ausgebildet sind, um für die Fahrunterstützungssteuerung des Fahrzeugs nutzbar zu sein.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Bildaufnahmesystem und eine Bildaufnahmevorrichtung, die in der Lage sind, ein Bild eines dreidimensionalen Objekts, das sich schräg vor einem Fahrzeug befindet, aufzunehmen.
  • 2. Beschreibung des Standes der Technik
  • Bisher ist eine Technologie zur Durchführung einer Steuerung (Kollisionsvermeidungssteuerung) bekannt, bei der ein vor einem Fahrzeug befindliches dreidimensionales Objekt erfasst wird, um eine Kollision des Fahrzeugs mit dem dreidimensionalen Objekt zu vermeiden oder einen durch die Kollision zu verursachenden Aufprall zu reduzieren (siehe beispielsweise die japanische Patentanmeldungsveröffentlichung Nr. JP 2017-043262 A ). Ferner zeigt die DE 102 53 378 A1 ein visuelles Fahrzeugumgebungserkennungssystem mit einer Kamera zur gleichzeitigen Aufnahme von Bildern von einer Mehrzahl von Blickfeldern, sowie einer Fahrzeugumgebungs-Überwachungsvorrichtung, die die Kamera verwendet.
  • Die Erkennung des dreidimensionalen Objekts erfolgt durch Aufnahme eines Bildes einer Frontseite des Fahrzeugs mit Hilfe einer Bildaufnahmevorrichtung und Analyse der durch die Bildaufnahmevorrichtung erhaltenen Bilddaten. Eine optische Achse der Bildaufnahmevorrichtung ist parallel zu einer Längsachse des Fahrzeugs (Achse, die eine senkrechte Halbierende einer Breite des Fahrzeugs ist und auch parallel zu einer Lauffläche ist), und ein horizontaler Betrachtungswinkel der Bildaufnahmevorrichtung ist zum Beispiel 100 Grad.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß dem Stand der Technik beträgt der horizontale Betrachtungswinkel der Bildaufnahmevorrichtung beispielsweise 100 Grad, und daher ist es schwierig, die Kollisionsvermeidungssteuerung in Bezug auf ein dreidimensionales Objekt, das sich in einem Bereich außerhalb dieses Betrachtungswinkels befindet (Bereich von einer diagonalen Frontseite des Fahrzeugs bis zu einer Richtung nahe der Fahrzeugseite), angemessen auszuführen.
  • In Anbetracht der obigen Ausführungen kann die Bildaufnahmevorrichtung beispielsweise so konfiguriert sein, dass sie einen größeren horizontalen Betrachtungswinkel als im Stand der Technik aufweist (z.B. 180 Grad). Wenn jedoch der horizontale Betrachtungswinkel vergrößert wird, während die Anzahl der Pixel der Bildaufnahmevorrichtung (genau genommen die Anzahl der Pixel eines in der Bildaufnahmevorrichtung enthaltenen Bildsensors) beibehalten wird, verringert sich die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels. Infolgedessen wird die Auflösung eines Bildes (die Fähigkeit, ein dreidimensionales Objekt durch Analyse der Bilddaten zu erkennen) verringert und somit der Grenzwert für den erkennbaren Abstand des dreidimensionalen Objekts (Erkennungsgrenzabstand) verkürzt.
  • Daher ist es denkbar, eine Bildaufnahmevorrichtung zu verwenden, bei der der horizontale Betrachtungswinkel erweitert und auch die Anzahl der Pixel des Bildsensors erhöht wird. Wenn jedoch die Anzahl der Pixel des Bildsensors stark erhöht wird, ergeben sich die Probleme, dass die Kosten der Bildaufnahmevorrichtung stark ansteigen, die Größe der Bildaufnahmevorrichtung zunimmt und der Stromverbrauch und die Wärmeentwicklung steigen.
  • Die vorliegende Erfindung wurde gemacht, um die oben genannten Probleme zu lösen. Das heißt, es ist eine Aufgabe der vorliegenden Erfindung, ein Bildaufnahmesystem und eine Bildaufnahmevorrichtung bereitzustellen, die in der Lage sind, ein Bild eines dreidimensionalen Objekts, das sich diagonal vor einem Fahrzeug befindet, in geeigneter Weise aufzunehmen, ohne die Anzahl der Pixel eines Bildsensors stark zu erhöhen.
  • Diese Aufgabe wird erfindungsgemäß durch ein Bildaufnahmesystem gemäß Anspruch 1, alternativ durch eine Bildaufnahmevorrichtung gemäß Anspruch 2, und alternativ durch eine Bildaufnahmevorrichtung gemäß Anspruch 4 gelöst. Weitere Merkmale und vorteilhafte Weiterbildungen sind in den abhängigen Patentansprüchen gezeigt.
  • Gemäß mindestens einem Ausführungsbeispiel der vorliegenden Erfindung wird ein Bildaufnahmesystem für ein Fahrzeug bereitgestellt (im Folgenden auch als „erstes erfindungsgemäßes System“ bezeichnet), wobei das Bildaufnahmesystem umfasst: einen Frontkamerasensor (30) mit einem vorbestimmten ersten horizontalen Betrachtungswinkel (100 Grad), bei dem ein horizontaler Betrachtungswinkel kleiner als 180 Grad ist, wenn eine Orientierung einer Referenzachse (A), die eine Achse parallel zu einer Längsachse eines Fahrzeugs (V) ist, als eine Referenzorientierung eingestellt ist, wobei der Frontkamerasensor (30) konfiguriert ist, um an dem Fahrzeug (V) so montiert zu werden, dass der erste horizontale Betrachtungswinkel (100 Grad) in einem Bereich bzw. einer Spanne auf einer Frontseite des Fahrzeugs (V) in Bezug auf Azimutwinkel (90 Grad, -90 Grad), die einer seitlichen Richtung des Fahrzeugs (V) entsprechen, enthalten ist, wobei der Frontkamerasensor (30) ferner so konfiguriert ist, dass er eine photoelektrische Umwandlung von Licht von einem innerhalb des ersten horizontalen Betrachtungswinkels (100 Grad) positionierten Objekt unter den vor dem Fahrzeug (V) positionierten Objekten in ein elektrisches Signal durchführt, um dadurch vordere Schmalgebietbilddaten zu erfassen, die für die Fahrunterstützungssteuerung des Fahrzeugs (V) verwendet werden; und einen Kamerasensor zur Bilderzeugung (20F, 120L, 120R) mit einem vorbestimmten zweiten horizontalen Betrachtungswinkel (180 Grad), bei dem der horizontale Betrachtungswinkel 180 Grad oder mehr beträgt, wobei der Kamerasensor zur Bilderzeugung (20F, 120L, 120R) so konfiguriert ist, dass er an dem Fahrzeug (V) angebracht werden kann, und ferner so konfiguriert ist, dass er eine photoelektrische Umwandlung von Licht von Objekten, die um das Fahrzeug (V) herum positioniert sind, ein Objekt, das innerhalb des zweiten horizontalen Betrachtungswinkels (180 Grad) positioniert ist, in ein elektrisches Signal umzuwandeln, um dadurch Umgebungs-Weitgebietbilddaten zu erfassen, die zum Erzeugen eines Überkopfansichtbildes des Fahrzeugs (V) zu verwenden sind, wobei der Kamerasensor zur Bilderzeugung (20F, 120L, 120R) umfasst: einen Bildsensor (22, 122L, 122R) mit einer Bildaufnahmefläche (22a, 122aL, 122aR), auf der eine Vielzahl von Pixeln, die jeweils so konfiguriert sind, dass sie die photoelektrische Umwandlung durchführen, zweidimensional angeordnet sind; und ein optisches System (21, 121L, 121R), das ein Objektiv bzw. eine Linse (21a, 121aL, 121aR) enthält und so konfiguriert ist, dass es das Licht von den Objekten auf die Bildaufnahmefläche abbildet, wobei der Bildsensor (22, 122L, 122R) aufweist: einen spezifischen Bereich (S1, S3, S5), in dem Licht von einem Objekt, das innerhalb eines diagonalen lateralen bzw. seitlichen Azimutwinkelbereichs (erster Bereich, dritter Bereich, fünfter Bereich) positioniert ist, auf die Bildaufnahmefläche abgebildet werden soll, wobei der diagonale laterale Azimutwinkelbereich ein Bereich bzw. eine Spanne von einem vorbestimmten Azimutwinkel (52 Grad, (52 Grad, -52 Grad) bis zu einem Azimutwinkel (80 Grad, -80 Grad) ist, der einer diagonalen Vorwärtsrichtung des Fahrzeugs (V) entspricht, wobei der vorbestimmte Azimutwinkel auf der Grundlage eines Grenzazimutwinkels (50 Grad, -50 Grad) bestimmt wird, der ein Azimutwinkel an einer Grenzlinie ist, die den ersten horizontalen Betrachtungswinkel (100 Grad) definiert; und einen Restbereich (S2, S4, S6), in dem Licht von einem Objekt, das innerhalb eines Rest-Azimutwinkelbereichs (zweiter Bereich, vierter Bereich, sechster Bereich) positioniert ist, auf die Bildaufnahmefläche abgebildet werden soll, wobei der Rest-Azimutwinkelbereich erhalten wird, indem der diagonale laterale Azimutwinkelbereich von dem zweiten horizontalen Betrachtungswinkel (180 Grad) ausgeschlossen wird, wobei das Objektiv (21a, 121aL, 121aR) ein Objektiv mit einer gekrümmten Oberfläche ist, die so ausgebildet ist, dass eine horizontale Pixeldichte in dem spezifischen Bereich (S1, S3, S5) größer wird als die horizontale Pixeldichte in dem Restbereich (S2, S4, S6), wobei die horizontale Pixeldichte die Anzahl von Pixeln pro Einheit des horizontalen Betrachtungswinkels ist, und wobei die Umgebungs-Weitgebietbilddaten, die durch den Kamerasensor zur Bilderzeugung (20F, 120L, 120R) erfasst werden, so ausgebildet sind, dass sie für die Fahrunterstützungssteuerung des Fahrzeugs verwendbar sind.
  • Gemäß dem ersten erfindungsgemäßen System ist eine Auflösung im spezifischen Bereich höher als eine Auflösung im Restbereich, und daher ist ein Erfassungsgrenzabstand für das dreidimensionale Objekt im diagonalen seitlichen Azimutwinkelbereich größer als der Erfassungsgrenzabstand für das dreidimensionale Objekt im Rest-Azimutwinkelbereich. Dabei ist der diagonale seitliche Azimutwinkelbereich ein Bereich, der einer diagonalen Frontseite des Fahrzeugs entspricht. Dementsprechend kann das erfindungsgemäße System ein Bild eines dreidimensionalen Objekts, das sich schräg vor dem Fahrzeug befindet, über eine relativ große Entfernung erfassen.
  • Darüber hinaus ist die horizontale Pixeldichte in der Restregion bzw. dem Restbereich kleiner als die horizontale Pixeldichte in der spezifischen Region bzw. dem spezifischen Bereich, so dass im Vergleich zu einer Konfiguration, bei der die horizontale Pixeldichte in dem Restbereich gleich der horizontalen Pixeldichte in dem spezifischen Bereich gesetzt wird, eine starke Zunahme der Anzahl der Pixel des Bildsensors unterdrückt werden kann.
  • Daher kann gemäß der Konfiguration des ersten erfindungsgemäßen Systems das Bild des dreidimensionalen Objekts, das sich diagonal vor dem Fahrzeug befindet, in geeigneter Weise aufgenommen werden, ohne die Anzahl der Pixel des Bildsensors stark zu erhöhen.
  • Insbesondere wird gemäß dem ersten erfindungsgemäßen System das Objektiv mit der oben erwähnten gekrümmten Oberfläche auf den Kamerasensor zur Bilderzeugung aufgebracht, wodurch ein Bild eines dreidimensionalen Objekts, das sich diagonal vor dem Fahrzeug befindet, über eine relativ große Entfernung aufgenommen werden kann. Hier ist der Kamerasensor zur Bilderzeugung ein Kamerasensor, der im Stand der Technik am Fahrzeug vorgesehen ist. Dementsprechend ist ein Kamerasensor, der so konfiguriert ist, dass er ein Bild der diagonalen Vorderseite aufnimmt, nicht neu einzuführen, und das erste erfindungsgemäße System kann mit relativ geringen Kosten realisiert werden.
  • Darüber hinaus werden gemäß dem ersten erfindungsgemäßen System die Umgebungs-Weitgebietbilddaten so gebildet, dass sie für die Fahrunterstützungssteuerung verwendet werden können. Dementsprechend kann die Fahrunterstützungssteuerung auch in Bezug auf ein dreidimensionales Objekt, das sich in einem Bereich befindet, für den es im Stand der Technik schwierig war, die Fahrunterstützungssteuerung (z.B. Kollisionsvermeidungssteuerung) angemessen auszuführen (typischerweise ein Bereich diagonal vor dem Fahrzeug), angemessen ausgeführt werden.
  • Gemäß mindestens einem Ausführungsbeispiel der vorliegenden Erfindung wird eine Bildaufnahmevorrichtung (im Folgenden auch als „zweite erfindungsgemäße Vorrichtung“ bezeichnet) bereitgestellt, die an einem linken Seitenteil (P2) eines Fahrzeugs (V) angebracht werden kann, wobei die Bildaufnahmevorrichtung Folgendes umfasst: einen Bildsensor (122L) mit einer Bildaufnahmefläche (122aL), auf der eine Vielzahl von Pixeln zweidimensional angeordnet ist, wobei die Vielzahl von Pixeln jeweils so konfiguriert ist, dass sie eine photoelektrische Umwandlung von empfangenem Licht in ein elektrisches Signal durchführen und das elektrische Signal ausgeben; und ein optisches System (121L), das ein Objektiv (121aL) enthält und so konfiguriert ist, dass es Licht von einem Objekt auf die Bildaufnahmefläche (122aL) abbildet, wobei die Abmessungen der Bildaufnahmefläche (122aL) und eine Brennweite des Objektivs (121aL) so eingestellt sind, dass ein horizontaler Betrachtungswinkel 180 Grad oder mehr beträgt.
  • Wenn eine Ausrichtung einer Referenzachse (A1), die eine Achse ist, die durch eine Montageposition (P2) zu dem Fahrzeug (V) verläuft und parallel zu einer Längsachse des Fahrzeugs (V) ist, als eine Referenzausrichtung festgelegt wird, in einem Fall, in dem in dem horizontalen Betrachtungswinkel ein Azimutwinkel (θl) auf einer linken Seite der Referenzachse (A1) definiert ist, um einen positiven Wert zu haben, und ein Azimutwinkel (θl) auf einer rechten Seite der Referenzachse (A1) definiert ist, um einen negativen Wert zu haben: die Referenzachse (A1) in einem vertikalen Betrachtungswinkel enthalten ist; und die Bildaufnahmefläche (122aL) aufweist: einen dritten Bereich (S3), der ein Bereich ist, der einem dritten Bereich (52°≤θl≤θ80°) entspricht, und einen vierten Bereich (S4), der ein Bereich ist, der einem vierten Bereich (0°≤θl< 52°, 80°< θl≤90°) entspricht, wobei der dritte Bereich in einem Azimutwinkelbereich enthalten ist, der größer als 45 Grad und kleiner als 90 Grad ist, wobei der vierte Bereich ein Azimutwinkelbereich des horizontalen Betrachtungswinkels mit Ausnahme des dritten Bereichs ist, und wobei das Objektiv (121aL) eine gekrümmte Oberfläche aufweist, die so ausgebildet ist, dass eine horizontale Pixeldichte in dem dritten Bereich (S3) größer wird als die horizontale Pixeldichte in dem vierten Bereich (S4), wobei die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels ist.
  • Gemäß der zweiten erfindungsgemäßen Vorrichtung ist der Erfassungsgrenzabstand für das dreidimensionale Objekt im dritten Bereich größer als der Erfassungsgrenzabstand für das dreidimensionale Objekt im vierten Bereich. Dabei ist der dritte Bereich ein Bereich, der in einem Azimutwinkelbereich enthalten ist, der größer als 45 Grad und kleiner als 90 Grad ist, also ein Bereich, der der schräg nach vorne links gerichteten Seite des Fahrzeugs entspricht. Dementsprechend kann die zweite erfindungsgemäße Vorrichtung ein Bild eines „dreidimensionalen Objekts, das sich schräg links vor dem Fahrzeug befindet“, über eine größere Entfernung im Vergleich zu „dreidimensionalen Objekten, die sich vor dem Fahrzeug befinden“, aufnehmen.
  • Darüber hinaus ist die horizontale Pixeldichte im vierten Bereich kleiner als die horizontale Pixeldichte im dritten Bereich, so dass im Vergleich zu einer Konfiguration, bei der die horizontale Pixeldichte im vierten Bereich der horizontalen Pixeldichte im dritten Bereich entspricht, ein starker Anstieg der Pixelanzahl des Bildsensors unterdrückt werden kann.
  • Daher kann gemäß der Konfiguration der zweiten erfindungsgemäßen Vorrichtung das Bild des dreidimensionalen Objekts, das sich schräg vorne links vom Fahrzeug befindet, in geeigneter Weise aufgenommen werden, ohne die Anzahl der Pixel des Bildsensors stark zu erhöhen.
  • Gemäß einem Aspekt der vorliegenden Erfindung ist die zweite erfindungsgemäße Vorrichtung (120L) so konfiguriert, dass sie Umgebungs-Weitgebietbilddaten erfasst, die zur Erzeugung eines Überkopfansichtbildes des Fahrzeugs (V) verwendet werden.
  • Gemäß dieser Konfiguration fungiert die zweite erfindungsgemäße Vorrichtung auch als Bildaufnahmevorrichtung, die zur Erzeugung des Überkopfansichtbildes verwendet wird. Dementsprechend ist es nur erforderlich, teilweise die Spezifikation zu ändern (zum Beispiel, ändern des Objektivs auf das Objektiv der zweiten erfindungsgemäßen Vorrichtung) der Bildaufnahmevorrichtung für die Erzeugung des Überkopfansichtbildes, das auf dem linken seitlichen Teil des Fahrzeugs in der verwandten Kunst montiert wurde, und es ist nicht erforderlich, neu einzuführen ein Bildaufnahmegerät. Daher kann die zweite erfindungsgemäße Vorrichtung mit relativ geringen Kosten realisiert werden.
  • Gemäß mindestens einem Ausführungsbeispiel der vorliegenden Erfindung wird eine Bildaufnahmevorrichtung (im Folgenden auch als „dritte erfindungsgemäße Vorrichtung“ bezeichnet) bereitgestellt, die an einem rechten Seitenteil (P3) eines Fahrzeugs (V) angebracht werden kann, wobei die Bildaufnahmevorrichtung Folgendes umfasst: einen Bildsensor (122R) mit einer Bildaufnahmefläche (122aR), auf der eine Vielzahl von Pixeln zweidimensional angeordnet ist, wobei die Vielzahl von Pixeln jeweils so konfiguriert ist, dass sie eine photoelektrische Umwandlung von empfangenem Licht in ein elektrisches Signal durchführen und das elektrische Signal ausgeben; und ein optisches System (121R), das ein Objektiv (121aR) enthält und so konfiguriert ist, dass es Licht von einem Objekt auf die Bildaufnahmefläche (122aR) abbildet, wobei die Abmessungen der Bildaufnahmefläche (122aR) und eine Brennweite des Objektivs (121aR) so eingestellt sind, dass ein horizontaler Betrachtungswinkel 180 Grad oder mehr beträgt.
  • Wenn eine Ausrichtung einer Referenzachse (A2), die eine Achse ist, die durch eine Montageposition (P3) zu dem Fahrzeug (V) verläuft und parallel zu einer Längsachse des Fahrzeugs (V) ist, als eine Referenzausrichtung festgelegt wird, in einem Fall, in dem in dem horizontalen Betrachtungswinkel ein Azimutwinkel (θr) auf einer rechten Seite der Referenzachse (A2) definiert ist, um einen positiven Wert zu haben, und ein Azimutwinkel (θr) auf einer linken Seite der Referenzachse (A2) definiert ist, um einen negativen Wert zu haben: die Referenzachse (A2) in einem vertikalen Betrachtungswinkel enthalten ist; und die Bildaufnahmefläche (122aR) aufweist: einen fünften Bereich (S5), der ein Bereich ist, der einem fünften Bereich (52°≤θr≤80°) entspricht, und einen sechsten Bereich (S6), der ein Bereich ist, der einem sechsten Bereich (0°≤θr< 52°, 80°< θr ≤ 90°) entspricht, wobei der fünfte Bereich in einem Azimutwinkelbereich enthalten ist, der größer als 45 Grad und kleiner als 90 Grad ist, wobei der sechste Bereich ein Azimutwinkelbereich des horizontalen Betrachtungswinkels mit Ausnahme des fünften Bereichs ist, und wobei das Objektiv (121aR) eine gekrümmte Oberfläche aufweist, die so ausgebildet ist, dass eine horizontale Pixeldichte in dem fünften Bereich (S5) größer wird als die horizontale Pixeldichte in dem sechsten Bereich (S6), wobei die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels ist.
  • Gemäß der dritten erfindungsgemäßen Vorrichtung ist der Erfassungsgrenzabstand für das dreidimensionale Objekt im fünften Bereich größer als der Erfassungsgrenzabstand für das dreidimensionale Objekt im sechsten Bereich. Dabei ist der fünfte Bereich ein Bereich, der in einem Azimutwinkelbereich enthalten ist, der größer als 45 Grad und kleiner als 90 Grad ist, also ein Bereich, der der schräg nach vorne rechts gerichteten Seite des Fahrzeugs entspricht. Dementsprechend kann die dritte erfindungsgemäße Vorrichtung ein Bild eines „dreidimensionalen Objekts, das sich schräg rechts vor dem Fahrzeug befindet“, über eine größere Entfernung im Vergleich zu „dreidimensionalen Objekten, die sich vor dem Fahrzeug befinden“, aufnehmen.
  • Darüber hinaus ist die horizontale Pixeldichte im sechsten Bereich kleiner als die horizontale Pixeldichte im fünften Bereich, so dass im Vergleich zu einer Konfiguration, bei der die horizontale Pixeldichte im sechsten Bereich der horizontalen Pixeldichte im fünften Bereich entspricht, ein starker Anstieg der Pixelanzahl des Bildsensors unterdrückt werden kann.
  • Daher kann gemäß der Konfiguration der dritten erfindungsgemäßen Vorrichtung das Bild des dreidimensionalen Objekts, das sich schräg rechts vorne am Fahrzeug befindet, in geeigneter Weise aufgenommen werden, ohne die Anzahl der Pixel des Bildsensors stark zu erhöhen.
  • Gemäß einem Aspekt der vorliegenden Erfindung ist die dritte erfindungsgemäße Vorrichtung (120R) so konfiguriert, dass sie Umgebungs-Weitgebietbilddaten erfasst, die zur Erzeugung eines Überkopfansichtbildes des Fahrzeugs (V) verwendet werden.
  • Gemäß dieser Konfiguration fungiert die dritte erfindungsgemäße Vorrichtung auch als Bildaufnahmevorrichtung, die zur Erzeugung des Überkopfansichtbildes verwendet wird.
  • Dementsprechend ist es nur erforderlich, die Spezifikation der Bildaufnahmevorrichtung zur Erzeugung des Überkopfansichtbildes, die im Stand der Technik am rechten Seitenteil des Fahrzeugs angebracht ist, teilweise zu ändern (z.B. das Objektiv in das Objektiv der dritten erfindungsgemäßen Vorrichtung zu ändern), und es ist nicht erforderlich, eine neue Bildaufnahmevorrichtung einzuführen.
  • Daher kann die dritte erfindungsgemäße Vorrichtung mit relativ geringen Kosten realisiert werden.
  • Um das Verständnis der Erfindung zu erleichtern, sind in der obigen Beschreibung die in einem Ausführungsbeispiel der vorliegenden Erfindung verwendeten Bezugszeichen in Klammern gesetzt und den einzelnen Merkmalen der Erfindung, die dem Ausführungsbeispiel entsprechen, zugeordnet. Allerdings ist nicht jedes der erfindungsgemäßen Merkmale auf das durch die Bezugszeichen beschriebene Ausführungsbeispiel beschränkt.
  • Figurenliste
    • 1 ist eine schematische Konfigurationsdarstellung einer Fahrunterstützungsvorrichtung, die einen Front-PVM-Kamerasensor gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung enthält.
    • 2 ist eine schematische Konfigurationsdarstellung des Front-PVM-Kamerasensors.
    • 3 ist eine Draufsicht auf einen Bildaufnahmebereich des Front-PVM-Kamerasensors.
    • 4 ist eine Ansicht zur Veranschaulichung, dass in einer Bildaufnahmefläche das linke erste Licht und das rechte erste Licht so abgebildet werden, dass sie im Vergleich zum zweiten Licht in horizontaler Richtung stärker ausgedehnt sind.
    • 5 ist eine Darstellung zur Darstellung der Beziehung zwischen einem Azimutwinkel und einer horizontalen Pixeldichte des Front-PVM-Kamerasensors.
    • 6 ist eine Draufsicht auf einen Bildaufnahmebereich eines Frontkamerasensors.
    • 7 ist eine Draufsicht zur Veranschaulichung einer relativen Verteilung verschiedener Arten dreidimensionaler Objekte in Bezug auf ein eigenes Fahrzeug, mit denen das eigene Fahrzeug beim Einfahren in eine Kreuzung nach Ablauf von drei Sekunden kollidieren soll.
    • 8 ist eine Draufsicht, in der der Bildaufnahmebereich des Front-PVM-Kamerasensors und die Bildaufnahmebereiche von zwei Kamerasensoren, die Vergleichsbeispiele darstellen, in 7 eingeblendet sind.
    • 9 ist eine schematische Konfigurationsdarstellung einer Fahrunterstützungsvorrichtung mit einem linken PVM-Kamerasensor und einem rechten PVM-Kamerasensor gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
    • 10 ist eine schematische Konfigurationsdarstellung des linken und rechten PVM-Kamerasensors.
    • 11 ist eine Draufsicht auf die Bildaufnahmebereiche des linken und rechten PVM-Kamerasensors.
    • 12A ist eine Ansicht zur Veranschaulichung, dass in der Bildaufnahmefläche drittes Licht so abgebildet wird, dass es im Vergleich zu viertem Licht in horizontaler Richtung stärker ausgedehnt ist.
    • 12B ist eine Ansicht zur Veranschaulichung, dass in der Bildaufnahmefläche das fünfte Licht so abgebildet wird, dass es im Vergleich zum sechsten Licht in horizontaler Richtung stärker ausgedehnt ist.
    • 13 ist eine Darstellung zur Darstellung der Beziehung zwischen einem Azimutwinkel und einer horizontalen Pixeldichte jedes der linken und rechten PVM-Kamerasensoren.
    • 14 ist eine Draufsicht, in der die Bildaufnahmebereiche des linken und rechten PVM-Kamerasensors und die Bildaufnahmebereiche von zwei Kamerasensoren, die Vergleichsbeispiele darstellen, in 7 eingeblendet sind.
  • BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
  • (Erstes Ausführungsbeispiel)
  • Unter Bezugnahme auf die Zeichnungen wird nun eine Fahrunterstützungsvorrichtung beschrieben, die einen vorderen bzw. Front-Panormaansichtüberwachungs-(PVM)-Kamerasensor enthält, der als Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung dient. Die Fahrunterstützungsvorrichtung wird an einem Fahrzeug angebracht. Im Folgenden wird dieses Fahrzeug zur Unterscheidung von anderen Fahrzeugen manchmal als „eigenes Fahrzeug“ bezeichnet.
  • Wie in 1 dargestellt, umfasst die Fahrunterstützungsvorrichtung eine Fahrunterstützungs-ECU 10 (im Folgenden einfach als „ECU 10“ bezeichnet). ECU steht für „elektronische Steuerungseinheit“ und umfasst einen Mikrocomputer als Haupteinheit. Der Mikrocomputer enthält eine CPU, einen ROM, einen RAM, eine Schnittstelle (I/F) und ähnliches. Die CPU ist so konfiguriert, dass sie im ROM gespeicherte Anweisungen (Programme oder Routinen) ausführt, um verschiedene Funktionen zu implementieren. Die Fahrunterstützungsvorrichtung umfasst ferner einen PVM-Kamerasensor 20, einen Frontkamerasensor 30, einen Fahrzeuggeschwindigkeitssensor 40, einen Gierratensensor 41, einen Schaltpositionssensor 42, einen PVM-Schalter 43, eine Kollisionsvermeidungsvorrichtung 50 und eine Anzeigevorrichtung 60, die jeweils mit der ECU 10 verbunden sind.
  • Die ECU 10 ist so konfiguriert, dass sie auf der Grundlage von Bilddaten, die von dem PVM-Kamerasensor 20, der an einer Vielzahl von Abschnitten des eigenen Fahrzeugs angebracht ist, ausgegeben werden, ein Überkopfansichtbild und ein Bild der Fahrtrichtung (die beide später beschrieben werden) erzeugt und diese Bilder auf einem Anzeige 60a, das in der Anzeigevorrichtung 60 enthalten ist, in Übereinstimmung mit einer Bedienung durch einen Fahrer des eigenen Fahrzeugs anzeigt. Darüber hinaus ist die ECU 10 so konfiguriert, dass sie in einem weiten Bereich dreidimensionale Objekte erkennt, die sich vor dem eigenen Fahrzeug, diagonal vor dem eigenen Fahrzeug und auf einer seitlichen Seite eines Frontmittelteils des eigenen Fahrzeugs befinden, und zwar auf der Grundlage von Bilddaten, die von dem Frontkamerasensor 30 und einem in dem PVM-Kamerasensor 20 enthaltenen Front-PVM-Kamerasensor 20F ausgegeben werden. Die ECU 10 ist so konfiguriert, dass sie auf der Grundlage der von den Sensoren 40 und 41 erfassten Signale bestimmt, ob die Möglichkeit besteht, dass das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidiert oder nicht. Wenn die ECU 10 feststellt, dass die Möglichkeit einer Kollision besteht, steuert die ECU 10 die Kollisionsvermeidungsvorrichtung 50, um eine Kollisionsvermeidungssteuerung durchzuführen. Das heißt, in der Fahrunterstützungsvorrichtung dem ersten Ausführungsbeispiel wird der Front-PVM-Kamerasensor 20F, der im Stand der Technik nur für die Erzeugung des Überkopfansichtbildes und des Fahrtrichtungsbildes verwendet wurde, auch für die Kollisionsvermeidungssteuerung verwendet. Wie später im Detail beschrieben wird, wird die Verwendung des Front-PVM-Kamerasensors 20F für die Kollisionsvermeidungssteuerung durch das Anbringen eines Objektivs 21a mit einer Freiformfläche an dem Front-PVM-Kamerasensor 20F ermöglicht.
  • Der PVM-Kamerasensor 20 umfasst den vorderen bzw. Front-PVM-Kamerasensor 20F, einen linken PVM-Kamerasensor 20L, einen rechten PVM-Kamerasensor 20R und einen hinteren bzw. Heck-PVM-Kamerasensor 20Re. Im Folgenden werden diese Kamerasensoren auch einfach als „Kamerasensor 20F“, „Kamerasensor 20L“, „Kamerasensor 20R“ bzw. „Kamerasensor 20Re“ bezeichnet.
  • Der Front-PVM-Kamerasensor 20F ist an einer Position P1 des vorderen Mittelteils des eigenen Fahrzeugs angebracht (siehe 3). Genauer gesagt ist der Kamerasensor 20F so angebracht, dass eine optische Achse eines optischen Systems 21 (später beschrieben) des Kamerasensors 20F um etwa 10 Grad in Bezug auf eine Längsachse des eigenen Fahrzeugs an der Position P1 nach unten gerichtet ist. Der Winkel, in dem der Kamerasensor 20F angebracht ist, ist nicht darauf beschränkt. Beispielsweise kann der Kamerasensor 20F so angebracht werden, dass die optische Achse in einem beliebigen Winkel von 0 Grad oder mehr bis 20 Grad oder weniger in Bezug auf die Längsachse an der Position P1 nach unten gerichtet ist.
  • Wie in 2 dargestellt, umfasst der Kamerasensor 20F das optische System 21, einen Bildsensor 22 und eine Signalverarbeitungsschaltung 23.
  • Das optische System 21 umfasst eine Fischaugenlinse 21a und ist so konfiguriert, dass es Licht von einem Objekt auf eine Bildaufnahmefläche 22a abbildet, die später beschrieben wird. Die Fischaugenlinse 21a ist ein Objektiv, das ein äquidistantes Projektionsverfahren anwendet, und ihre Außenfläche hat eine vorbestimmte gekrümmte Oberfläche (nicht-rotationssymmetrische Freiformfläche). Die detaillierte Konfiguration der Fischaugenlinse 21a wird später beschrieben.
  • Der Bildsensor 22 hat eine Bildaufnahmefläche 22a, auf der eine Vielzahl von Pixeln in gleichen Abständen in horizontaler und vertikaler Richtung (also zweidimensional) angeordnet sind. Die Abmessungen der Bildaufnahmefläche 22a sind so gewählt, dass die Anzahl der Pixel in horizontaler Richtung 1.920 [pix] und die Anzahl der Pixel in vertikaler Richtung 1.440 [pix] beträgt. Somit beträgt die Anzahl der Pixel des Bildsensors 22 etwa 2,8 M [pix]. Diese Pixel sind jeweils so konfiguriert, dass sie über das optische System 21 empfangenes Licht in ein elektrisches Signal umwandeln und das elektrische Signal ausgeben. Wenn im Folgenden die Anzahl der Pixel eines bestimmten Bildsensors als A×B [pix] beschrieben wird, steht A für die Anzahl der Pixel in horizontaler Richtung und B für die Anzahl der Pixel in vertikaler Richtung. Die Anzahl der Pixel des Bildsensors 22 ist nicht auf die obige Zahl beschränkt, sondern kann beispielsweise etwa 3 M (1.920×1.536) [pix] betragen. Vorzugsweise beträgt die Anzahl der Pixel in vertikaler Richtung 1.440 [pix] oder mehr.
  • Die Signalverarbeitungsschaltung 23 ist so konfiguriert, dass sie das vom Bildsensor 22 ausgegebene elektrische Signal einer Verarbeitung unterzieht, wie z.B. einer Gammakorrektur, einer Verzerrungskorrektur und dergleichen, um dadurch Bilddaten eines Objekts zu erzeugen (d. h. ein Bild eines Objekts aufzunehmen) und die Bilddaten über die Schnittstelle an die ECU 10 auszugeben (siehe 1). Die Signalverarbeitungsschaltung 23 führt diese Verarbeitung beispielsweise jedes Mal durch, wenn ein vorbestimmter Berechnungszyklus abläuft, und zwar während eines Zeitraums, in dem ein Zündschalter auf eine EIN-Position gestellt ist (im Folgenden auch als „Betätigungszeitraum“ bezeichnet).
  • Die Brennweite der Fischaugenlinse 21a und die Abmessungen der Bildaufnahmefläche 22a sind im Voraus so ausgelegt, dass der horizontale Betrachtungswinkel des Kamerasensors 20F 180 Grad und der vertikale Betrachtungswinkel 135 Grad beträgt. Auf diese Weise kann der Kamerasensor 20F Bilder von Objekten aufnehmen, die sich in Bereichen auf einer Vorderseite, einer diagonalen Vorderseite und einer seitlichen Seite (seitliche Richtung) des vorderen Mittelteils des eigenen Fahrzeugs befinden. Wie oben beschrieben, ist der horizontale Betrachtungswinkel des Kamerasensors 20F sehr groß. Dementsprechend werden im Folgenden die Bilddaten, die durch die Bildaufnahme des Kamerasensors 20F erhalten werden, als „Front-Weitgebietbilddaten" bezeichnet. „Der Kamerasensor 20F entspricht einem Beispiel für einen „Kamerasensor zur Bilderzeugung“ und entspricht auch einem Beispiel für eine „Bildaufnahmevorrichtung“, die an einem vorderen Teil des Fahrzeugs angebracht werden kann. Der horizontale Betrachtungswinkel des Kamerasensors 20F entspricht einem Beispiel für einen „zweiten horizontalen Betrachtungswinkel“, und die Front-Weitgebietbilddaten entsprechen einem Beispiel für „Umgebungs-Weitgebietbilddaten“.
  • Die Beschreibung wird fortlaufend unter Bezugnahme auf 1 gegeben. Der linke PVM-Kamerasensor 20L ist an einer Position P2 in der Nähe eines linken Seitenspiegels des eigenen Fahrzeugs angebracht (siehe 3). Genauer gesagt ist der Kamerasensor 20L so angebracht, dass eine optische Achse eines optischen Systems des Kamerasensors 20L um etwa 60 Grad in Bezug auf eine Seitenachse des eigenen Fahrzeugs an der Position P2 nach unten gerichtet ist. Dabei ist die Querachse eine Achse, die sich in Richtung der Fahrzeugbreite erstreckt. Das heißt, die Querachse ist orthogonal zur Längsachse und parallel zur Lauffläche.
  • Der rechte PVM-Kamerasensor 20R ist an einer Position P3 in der Nähe eines rechten Seitenspiegels des eigenen Fahrzeugs angebracht (siehe 3). Genauer gesagt ist der Kamerasensor 20R so angebracht, dass eine optische Achse eines optischen Systems des Kamerasensors 20R um etwa 60 Grad in Bezug auf die Querachse des eigenen Fahrzeugs an der Position P3 nach unten gerichtet ist.
  • Der Heck-PVM-Kamerasensor 20Re ist an einer Position P4 eines rückwärtigen Mittelteils des eigenen Fahrzeugs angebracht (siehe 3). Genauer gesagt ist der Kamerasensor 20Re so angebracht, dass eine optische Achse eines optischen Systems des Kamerasensors 20Re um etwa 10 Grad in Bezug auf die Längsachse des eigenen Fahrzeugs an der Position P4 nach unten gerichtet ist. Der Winkel, in dem der Kamerasensor 20Re angebracht ist, ist nicht darauf beschränkt. Beispielsweise kann der Kamerasensor 20Re so angebracht werden, dass die optische Achse in einem beliebigen Winkel von 0 Grad oder mehr bis 20 Grad oder weniger in Bezug auf die Längsachse an der Position P4 nach unten gerichtet ist.
  • Der Kamerasensor 20L umfasst ein optisches System, einen Bildsensor und eine Signalverarbeitungsschaltung (alle nicht dargestellt). Das optische System umfasst eine Fischaugenlinse (nicht dargestellt), das ein Äquidistanzprojektionsverfahren anwendet. Die Funktionen des optischen Systems, des Bildsensors und der Signalverarbeitungsschaltung des Kamerasensors 20L ähneln den Funktionen des optischen Systems 21, des Bildsensors 22 bzw. der Signalverarbeitungsschaltung 23 des Kamerasensors 20F, unterscheiden sich aber in den folgenden zwei Punkten davon.
    • -Die Fischaugenlinse des Kamerasensors 20L hat eine rotationssymmetrisch gekrümmte Oberfläche.
    • -Die Anzahl der Pixel des Bildsensors des Kamerasensors 20L beträgt etwa 1,2 M (1.280×960) [pix] und ist damit kleiner als die Anzahl der Pixel des Bildsensors 22 (etwa 2,8 M [pix]).
  • Im Folgenden wird die „Anzahl der Pixel des Bildsensors“ auch einfach als „Anzahl der Pixel des Kamerasensors“ bezeichnet."
  • Eine Brennweite der Fischaugenlinse und die Abmessungen einer Bildaufnahmefläche des Kamerasensors 20L sind im Voraus so ausgelegt, dass der horizontale Betrachtungswinkel des Kamerasensors 20L 180 Grad und der vertikale Betrachtungswinkel 135 Grad beträgt. Auf diese Weise kann der Kamerasensor 20L ein Bild eines Objekts aufnehmen, das sich in einem linken Seitenbereich des eigenen Fahrzeugs befindet. Im Folgenden werden die durch die Bildaufnahme durch den Kamerasensor 20L erhaltenen Bilddaten als „linke Weitgebietbilddaten“ bezeichnet.
  • Die Kamerasensoren 20R und 20Re haben im Wesentlichen die gleiche Konfiguration wie der Kamerasensor 20L, so dass auf eine detaillierte Beschreibung verzichtet wird. Die Kamerasensoren 20R und 20Re haben jeweils einen horizontalen Betrachtungswinkel von 180 Grad und einen vertikalen Betrachtungswinkel von 135 Grad. Auf diese Weise kann der Kamerasensor 20R ein Bild eines Objekts aufnehmen, das sich in einem rechten Seitenbereich des eigenen Fahrzeugs befindet. Der Kamerasensor 20Re kann Bilder von Objekten hinter dem eigenen Fahrzeug, diagonal hinter dem eigenen Fahrzeug und seitlich des hinteren Mittelteils des eigenen Fahrzeugs aufnehmen. Im Folgenden werden die Bilddaten, die durch die Aufnahme durch den Kamerasensor 20R erhalten werden, und die Bilddaten, die durch die Aufnahme durch den Kamerasensor 20Re erhalten werden, als „rechte Weitgebietbilddaten“ bzw. „hintere bzw. Heck-Weitgebietbilddaten“ bezeichnet. Der Kamerasensor 20L, der Kamerasensor 20R und der Kamerasensor 20Re entsprechen Beispielen für eine „linke Bildaufnahmevorrichtung“, eine „rechte Bildaufnahmevorrichtung“ bzw. eine „hintere bzw. Heck Bildaufnahmevorrichtung“.
  • Der Frontkamerasensor 30 (im Folgenden auch einfach als „Kamerasensor 30“ bezeichnet) ist an einer Position P5 einer Rückfläche eines Raumspiegels (Innenspiegel oder Rückspiegel) des eigenen Fahrzeugs angebracht, so dass der Kamerasensor 30 in der Fahrzeugbreitenrichtung des eigenen Fahrzeugs mittig positioniert ist (siehe 3). Genauer gesagt ist der Kamerasensor 30 so angebracht, dass eine optische Achse eines optischen Systems (später beschrieben) des Kamerasensors 30 im Wesentlichen parallel zur Längsachse des eigenen Fahrzeugs an der Position P5 verläuft. Der Kamerasensor 30 umfasst ein optisches System, einen Bildsensor und eine Signalverarbeitungsschaltung (alle nicht dargestellt). Das optische System umfasst eine Weitwinkellinse (nicht dargestellt) mit einer rotationssymmetrisch gekrümmten Oberfläche. Die Anzahl der Pixel des Bildsensors beträgt etwa 1,2 M (1.280×960) [pix], was der Anzahl der Pixel des Bildsensors eines jeden der Kamerasensoren 20L, 20R und 20Re entspricht. Die Funktionen des optischen Systems, des Bildsensors und der Signalverarbeitungsschaltung des Kamerasensors 30 sind den Funktionen des optischen Systems, des Bildsensors und der Signalverarbeitungsschaltung jedes der Kamerasensoren 20F, 20L, 20R und 20Re ähnlich.
  • Eine Brennweite des Weitwinkelobjektivs und die Abmessungen einer Bildaufnahmefläche des Kamerasensors 30 sind im Voraus so ausgelegt, dass der horizontale Betrachtungswinkel des Kamerasensors 30 100 Grad und der vertikale Betrachtungswinkel 75 Grad beträgt. Auf diese Weise kann der Kamerasensor 30 ein Bild von einem Objekt vor dem eigenen Fahrzeug aufnehmen. Der horizontale Betrachtungswinkel des Kamerasensors 30 ist schmaler als der horizontale Betrachtungswinkel des Kamerasensors 20F. Dementsprechend werden im Folgenden die Bilddaten, die durch die Bildaufnahme des Kamerasensors 30 gewonnen werden, als „vordere bzw. Front-Schmalgebietbilddaten“ bezeichnet. „Der Kamerasensor 20F und der Kamerasensor 30 bilden ein Bildaufnahmesystem. Der horizontale Betrachtungswinkel des Kamerasensors 30 entspricht einem Beispiel für einen „ersten horizontalen Betrachtungswinkel“.
  • Der Fahrzeuggeschwindigkeitssensor 40 ist so konfiguriert, dass er ein Signal erzeugt, das einer Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des eigenen Fahrzeugs entspricht. Die ECU 10 erfasst das von dem Fahrzeuggeschwindigkeitssensor 40 erzeugte Signal, um die Fahrzeuggeschwindigkeit auf der Grundlage des Signals zu berechnen.
  • Der Gierratensensor 41 ist so konfiguriert, dass er ein Signal erzeugt, das einer auf das eigene Fahrzeug wirkenden Gierrate entspricht. Die ECU 10 erfasst das von dem Gierratensensor 41 erzeugte Signal, um die Gierrate auf der Grundlage des Signals zu berechnen.
  • Der Schaltpositionssensor 42 ist so konfiguriert, dass er ein Signal erzeugt, das einer Schaltstellung (D, N, R oder P) eines Schalthebels (nicht dargestellt) entspricht. Die ECU 10 erfasst das vom Schaltpositionssensor 42 erzeugte Signal, um die Schaltstellung anhand des Signals zu erkennen.
  • Der PVM-Schalter 43 befindet sich in der Nähe eines Lenkrads (nicht dargestellt) und kann vom Fahrer gedrückt werden, wenn ein PVM-Bild (später beschrieben) auf der Anzeige 60a der Anzeigevorrichtung 60 angezeigt werden soll. Der PVM-Schalter 43 ist so konfiguriert, dass er ein EIN-Signal erzeugt, wenn er vom Fahrer gedrückt wird, und ein AUS-Signal erzeugt, wenn er nicht vom Fahrer gedrückt wird. Die ECU 10 erfasst das vom PVM-Schalter 43 erzeugte Signal, um anhand des Signals zu erkennen, ob sich der PVM-Schalter 43 im EIN-Zustand oder im AUS-Zustand befindet.
  • Die Kollisionsvermeidungsvorrichtung 50 ist so konfiguriert, dass sie die Kollisionsvermeidungssteuerung ausführt, wenn sie einen Kollisionsvermeidungsbefehl von der ECU 10 erhält. Die Kollisionsvermeidungssteuerung ist eine Steuerung zum Ausführen, wenn ein dreidimensionales Objekt, das mit dem eigenen Fahrzeug kollidieren kann, vor, diagonal vor oder auf der seitlichen Seite des Front-End-Mittelteils des eigenen Fahrzeugs vorhanden ist, einer Alarmsteuerung zum Erzeugen eines Alarms für den Fahrer, einer automatischen Bremssteuerung zum automatischen Anwenden einer Bremskraft auf das eigene Fahrzeug und/oder einer automatischen Lenksteuerung zum automatischen Ändern eines Lenkwinkels von gelenkten Rädern des eigenen Fahrzeugs. Diese Steuerungen sind alle bekannt, und daher wird auf eine detaillierte Beschreibung verzichtet.
  • Die Anzeigevorrichtung 60 umfasst die Anzeige 60a, das sich in einer für den Fahrer sichtbaren Position befindet. Die Anzeigevorrichtung 60 ist so konfiguriert, dass sie das PVM-Bild auf der Anzeige 60a anzeigt, wenn sie einen Anzeigebefehl zur Anzeige des PVM-Bildes (später beschrieben) von der ECU 10 erhält. In dem ersten Ausführungsbeispiel wird als Anzeige 60a ein Touchpanel verwendet, das in einem Navigationssystem (nicht dargestellt) enthalten ist. Die Auflösung der Anzeige 60a ist auf 1.280 [pix]x960 [pix] eingestellt. Als Anzeige 60a kann auch eine andere Anzeige als das Touchpanel des Navigationssystems verwendet werden.
  • Die ECU 10 ist so konfiguriert, dass sie von den Kamerasensoren 20F, 20L, 20R und 20Re und dem Kamerasensor 30 die „vorderen bzw. Front-Weitgebietbilddaten“, die „linken Weitgebietbilddaten“, die „rechten Weitgebietbilddaten“, die „hinteren bzw. Heck-Weitgebietbilddaten“ bzw. die „vorderen bzw. Front-Schmalgebietbilddaten“ erfasst, und (1) PVM-Bilderzeugung und Anzeigebefehlsübertragungsverarbeitung und (2) dreidimensionale Objekterkennung, Kollisionsbestimmung und Kollisionsvermeidungsbefehlsübertragungsverarbeitung auf der Grundlage der erfassten Bilddaten durchzuführen (d.h. indem die Bilddaten einer Bildverarbeitung unterzogen werden). Eine spezifische Beschreibung wird unten gegeben.
  • (1) PVM-Bilderzeugung und Übertragung von Anzeigebefehlen
  • Die ECU 10 erzeugt ein PVM-Bild. Hier bezieht sich ein PVM auf eine Funktion zur Anzeige eines Umgebungsbereichs des eigenen Fahrzeugs auf einem Anzeigebildschirm (in dem ersten Ausführungsbeispiel die Anzeige 60a), wenn das eigene Fahrzeug mit einer relativ niedrigen Geschwindigkeit durch den Fahrbetrieb eines Fahrers fährt. Das PVM-Bild bezieht sich auf ein für das PVM zu erzeugendes Bild und umfasst beispielsweise ein Überkopfansichtbild und ein Bild der Fahrtrichtung. Das Bild der Fahrtrichtung umfasst ein Bild der Vorwärtsrichtung und ein Bild der Rückwärtsrichtung.
  • Das Draufsicht- bzw. Überkopfansichtbild wird durch die Kombination der Front-Weitgebietbilddaten, der linken Weitgebietbilddaten, der rechten Weitgebietbilddaten, der hinteren Weitgebietbilddaten und eines ebenen Bildes des eigenen Fahrzeugs (Bild einer Draufsicht des eigenen Fahrzeugs), das im ROM der ECU 10 vorab gespeichert ist, erzeugt. Mit dem Überkopfansichtbild ist hier ein Bild gemeint, das so aussieht, als ob das eigene Fahrzeug und seine Umgebung direkt von oben betrachtet wird, und nicht ein Bild einer tatsächlichen Draufsicht. Die Steuerungsvorrichtung 10 erzeugt das Überkopfansichtbild jedes Mal, wenn der Berechnungszyklus während der Betätigungsperiode abläuft.
  • Das Bild der Vorwärtsrichtung wird auf der Grundlage der Daten des Front-Weitgebietbilddaten erzeugt. Das Bild der Vorwärtsrichtung ist ein aufgenommenes Bild der Vorderseite, der diagonalen Vorderseite und der seitlichen Seite des Frontmittelteils des eigenen Fahrzeugs. Die ECU 10 erzeugt das Bild der Vorwärtsrichtung jedes Mal, wenn der Berechnungszyklus abläuft, während einer Periode, in der das eigene Fahrzeug vorwärts fährt oder das eigene Fahrzeug, das vorwärts fährt, angehalten wird und der angehaltene Zustand beibehalten wird (das heißt, während einer Periode, in der die Schaltposition D oder N ist).
  • Das Bild der Rückwärtsrichtung wird auf der Grundlage der hinteren bzw. Heck-Umgebungs-Weitgebietbilddaten erzeugt. Das Bild der Rückwärtsrichtung ist ein aufgenommenes Bild der hinteren Seite, der diagonalen hinteren Seite und der seitlichen Seite des hinteren Mittelteils des eigenen Fahrzeugs. Die ECU 10 erzeugt das Rückwärtsrichtungsbild jedes Mal, wenn der Berechnungszyklus abläuft, während einer Periode, in der das eigene Fahrzeug rückwärts fährt, oder das eigene Fahrzeug, das rückwärts fährt, angehalten wird und der angehaltene Zustand beibehalten wird (d.h. während einer Periode, in der die Schaltposition R ist).
  • Die ECU 10 zeigt jedes dieser Bilder in einem vorbestimmten Bereich der Anzeige 60a unter einer vorbestimmten, unten beschriebenen Bedingung an. Insbesondere, wenn die ECU 10 bestimmt, dass der PVM-Schalter 43 in einem Fall gedrückt wurde, in dem die Fahrzeuggeschwindigkeit ein vorbestimmter Fahrzeuggeschwindigkeitsschwellenwert (z.B. 12 [km/h]) oder weniger ist und die Schaltposition D oder N ist, basierend auf den Informationen, die von dem Fahrzeuggeschwindigkeitssensor 40, dem Schaltpositionssensor 42 und dem PVM-Schalter 43 erfasst wurden, überträgt die ECU 10 an die Anzeigevorrichtung 60 den Anzeigebefehl, um das Überkopfansichtsbild und das Vorwärtsrichtungsbild anzuzeigen. Wenn die Anzeigevorrichtung 60 den Anzeigebefehl empfängt, zeigt die Anzeigevorrichtung 60 sowohl das Überkopfansichtbild als auch das Bild der Vorwärtsrichtung in dem vorbestimmten Bereich der Anzeige 60a (nicht dargestellt) an. Hier bezieht sich der „vorbestimmte Bereich“ auf einen vorselektierten Bereich mit einer festen Größe und in dem ersten Ausführungsbeispiel auf einen linken und einen rechten Bereich, die durch Unterteilung der Anzeige 60a in zwei Teile erhalten werden. Die Anzeigevorrichtung 60 zeigt das Überkopfansichtbild im linken Bereich und das Bild der Vorwärtsrichtung im rechten Bereich an.
  • Wenn indessen die ECU 10 feststellt, dass der PVM-Schalter 43 in einem Fall gedrückt wurde, in dem die Fahrzeuggeschwindigkeit dem Fahrzeuggeschwindigkeitsschwellenwert oder weniger entspricht und die Schaltposition R ist, basierend auf den Informationen, die von dem Fahrzeuggeschwindigkeitssensor 40, dem Schaltpositionssensor 42 und dem PVM-Schalter 43 erfasst wurden, überträgt die ECU 10 an die Anzeigevorrichtung 60 den Anzeigebefehl, um das Überkopfansichtsbild und das Rückwärtsrichtungsbild anzuzeigen. Wenn die Anzeigevorrichtung 60 den Anzeigebefehl empfängt, zeigt die Anzeigevorrichtung 60 das Überkopfansichtbild in dem oben erwähnten linken Bereich der Anzeige 60a an und zeigt das Bild der Rückwärtsrichtung in dem oben erwähnten rechten Bereich (nicht gezeigt) an.
  • Zu diesem Zeitpunkt wird eine Markierung zum Umschalten eines Anzeigebildes auf der Anzeige 60a angezeigt. Wenn ein Insasse die Markierung berührt, sendet die ECU 10 einen Anzeigebefehl zur Anzeige des Bildes in Rückwärtsrichtung an die Anzeigevorrichtung 60. Wenn die Anzeigevorrichtung 60 den Anzeigebefehl empfängt, zeigt die Anzeigevorrichtung 60 das Bild der Rückwärtsrichtung im gesamten Bereich der Anzeige 60a an (nicht dargestellt). Wenn der Insasse die oben erwähnte Markierung erneut berührt, werden das Überkopfansichtbild und das Bild der Rückwärtsrichtung erneut auf der Anzeige 60a angezeigt. Wie oben beschrieben, entspricht die Anzahl der Pixel des Kamerasensors 20Re der Auflösung der Anzeige 60a. Daher kann das Bild auch dann angemessen angezeigt werden, wenn nur das Bild in Rückwärtsrichtung auf der Anzeige 60a angezeigt wird.
  • (2) Dreidimensionale Objekterkennung, Kollisionsbestimmung und Befehlsübertragung zur Kollisionsvermeidung
  • Die ECU 10 analysiert die Front-Weitgebietbilddaten und die Front-Schmalgebietbilddaten, um das Vorhandensein oder Nichtvorhandensein eines dreidimensionalen Objekts und eine relative Beziehung zwischen dem eigenen Fahrzeug und dem dreidimensionalen Objekt zu berechnen (Abstand zwischen dem eigenen Fahrzeug und dem dreidimensionalen Objekt, Orientierung des dreidimensionalen Objekts in Bezug auf das eigene Fahrzeug, relative Geschwindigkeit des dreidimensionalen Objekts in Bezug auf das eigene Fahrzeug und dergleichen). Mit anderen Worten, die ECU 10 erkennt jedes der dreidimensionalen Objekte, die sich im Bildaufnahmebereich des Kamerasensors 20F und im Bildaufnahmebereich des Kamerasensors 30 befinden. Das dreidimensionale Objekt umfasst ein sich bewegendes Objekt (z.B. andere sich bewegende Fahrzeuge und sich bewegende Fußgänger) und ein stillstehendes Objekt (z.B. andere stillstehende Fahrzeuge, stillstehende Fußgänger und Gebäude). Im Folgenden werden zunächst die Bildaufnahmebereiche der Kamerasensoren 20F und 30 beschrieben und anschließend die Verarbeitung (2) der Steuerungsvorrichtung 10 beschrieben.
  • Ein Bereich RFw in 3 ist eine Draufsicht auf den Bildaufnahmebereich des Kamerasensors 20F (d.h. ein Bereich, in dem die ECU 10 das dreidimensionale Objekt auf der Grundlage der Front-Umgebungs-Weitgebietbilddaten erkennen kann). Wie in 3 dargestellt, wird eine Referenzausrichtung auf eine Ausrichtung einer Referenzachse A festgelegt, die eine Achse ist, die durch die Position P1 verläuft und parallel zu einer Längsachse eines eigenen Fahrzeugs V ist. Die Referenzachse A stimmt mit der optischen Achse des optischen Systems 21 in der Draufsicht auf das eigene Fahrzeug V überein. Im Folgenden wird für den horizontalen Betrachtungswinkel ein Azimutwinkel θf auf der linken Seite der Referenzachse A so definiert, dass er einen positiven Wert hat, und ein Azimutwinkel θf auf der rechten Seite der Referenzachse A wird so definiert, dass er einen negativen Wert hat. Darüber hinaus wird für den vertikalen Betrachtungswinkel ein Winkel oberhalb der optischen Achse mit einem positiven Wert und ein Winkel unterhalb der optischen Achse mit einem negativen Wert definiert. Wie oben beschrieben, ist die optische Achse des Kamerasensors 20F in Bezug auf die Längsachse um etwa 10 Grad nach unten geneigt, und der vertikale Betrachtungswinkel beträgt 135 Grad. Dementsprechend ist die Referenzachse A im vertikalen Betrachtungswinkel enthalten.
  • Der Bereich RFw hat die Form eines Fächers mit einem Radius r1 in einem linken ersten Bereich und einem rechten ersten Bereich. Der linke erste Bereich entspricht einem Azimutwinkelbereich von 52°≤θf≤80°, und der rechte erste Bereich entspricht einem Azimutwinkelbereich von -80°≤θf≤-52° (im Folgenden werden der linke erste Bereich und der rechte erste Bereich manchmal gemeinsam als „erster Bereich“ bezeichnet). Der Bereich RFw hat die Form eines Fächers mit einem Radius r2 in einem zweiten Bereich des horizontalen Betrachtungswinkels mit Ausnahme des ersten Bereichs (d. h. 0° ≤θf<52°, 80°<θf≤90°, -90°≤θf< -80° und -52°<θf≤0°). Bei der Form des Bereichs RFw ist eine Erfassungsgrenze (r1) für das dreidimensionale Objekt im ersten Bereich größer als eine Erfassungsgrenze (r2) für das dreidimensionale Objekt im zweiten Bereich. Dies ist durch die Konfiguration der Fischaugenlinse 21a bedingt. Der erste Bereich entspricht einem Beispiel für einen „diagonalen lateralen Azimutwinkelbereich“, und der zweite Bereich entspricht einem Beispiel für einen „Rest-Azimutwinkelbereich“. "
  • Eine spezifische Beschreibung wird unter Bezugnahme auf 4 gegeben. Wie in 4 dargestellt, umfasst die Bildaufnahmefläche 22a einen Bereich S1L, einen Bereich S1R und einen Bereich S2. Der Bereich S1L ist ein Bereich, in dem linkes erstes Licht, d.h. Licht von einem „Objekt, das im linken ersten Bereich und auch in einem vorbestimmten Winkelbereich im vertikalen Betrachtungswinkel vorhanden ist“, auf die Bildaufnahmefläche 22a abgebildet werden soll (der oben erwähnte vorbestimmte Winkelbereich wird im Folgenden als „erster spezifischer vertikaler Bereich“ bezeichnet). Der Bereich S1R ist ein Bereich, in dem rechtes erstes Licht, d.h. Licht von einem „Objekt, das im rechten ersten Bereich und auch im ersten spezifischen vertikalen Bereich vorhanden ist“, auf die Bildaufnahmefläche 22a abgebildet werden soll. Der Bereich S2 ist ein Bereich, in dem zweites Licht von einem „Objekt, das im verbleibenden Winkelbereich des horizontalen Betrachtungswinkels und des vertikalen Betrachtungswinkels vorhanden ist“, auf die Bildaufnahmefläche 22a abgebildet werden soll. Der erste spezifische vertikale Bereich kann als ein Bereich festgelegt werden, der die Referenzachse A und im Wesentlichen die Mitte des vertikalen Bildwinkels einschließt. In dem ersten Ausführungsbeispiel liegt der erste spezifische vertikale Bereich zwischen -34 Grad oder mehr und 34 Grad oder weniger. Das optische System 21 ist so konfiguriert, dass es Licht von einem Objekt auch auf einen umgebenden Bereich Sp (Bereich der Bildaufnahmefläche 22a an der Außenseite des Bereichs S2) abbildet. Der umgebende Bereich Sp ist jedoch anfällig für Rauschen, und daher werden elektrische Signale von Pixeln, die den umgebenden Bereich Sp bilden, nicht zur Erzeugung der Bilddaten verwendet.
  • Die Fischaugenlinse 21a ist so konfiguriert, dass sie, wenn Licht von einem Objekt über das optische System 21 auf die Bildaufnahmefläche 22a abgebildet werden soll, das linke erste Licht und das rechte erste Licht so auf die Bildaufnahmefläche 22a abbildet, dass es im Vergleich zu dem zweiten Licht in horizontaler Richtung stärker expandiert. Eine Ausdehnungsrate des linken ersten Lichts ist über den ersten spezifischen vertikalen Bereich konstant, und eine Ausdehnungsrate des rechten ersten Lichts ist über den ersten spezifischen vertikalen Bereich konstant. Die Ausdehnungsraten des linken ersten Lichts und des rechten ersten Lichts sind einander gleich. Dementsprechend haben der Bereich S1L und der Bereich S1R rechteckige Formen, die zueinander kongruent sind. Das linke erste Licht und das rechte erste Licht werden in vertikaler Richtung nicht gedehnt. Im Folgenden werden der Bereich S1L und der Bereich S1R manchmal gemeinsam als „Bereich S1“ bezeichnet. Der Bereich S1 entspricht einem Beispiel für einen „spezifischen Bereich“ oder einen „ersten Bereich“, und der Bereich S2 entspricht einem Beispiel für einen „Restbereich“ oder einen „zweiten Bereich“.
  • Mit anderen Worten, die Fischaugenlinse 21a hat eine Freiformfläche, die so bearbeitet ist, dass die horizontale Pixeldichte im Bereich S1 größer wird als die horizontale Pixeldichte in jedem Bereich des Bereichs S2. Dabei ist die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Bildwinkels. Im Allgemeinen wird die Auflösung in horizontaler Richtung (Fähigkeit zur Erkennung des dreidimensionalen Objekts durch die ECU 10, die die Bilddaten analysiert) erhöht, wenn die horizontale Pixeldichte erhöht wird. Dementsprechend wird bei der oben beschriebenen Konfiguration die Auflösung in horizontaler Richtung im Bereich S1 höher als die Auflösung in horizontaler Richtung im Bereich S2. Infolgedessen wird der Erfassungsgrenzabstand (r1) für das dreidimensionale Objekt im ersten Bereich länger als der Erfassungsgrenzabstand (r2) für das dreidimensionale Objekt im zweiten Bereich. Ein unterer Grenzazimutwinkel (52 Grad) des linken ersten Bereichs und ein oberer Grenzazimutwinkel (-52 Grad) des rechten ersten Bereichs werden auf der Grundlage von Grenzazimutwinkeln (50 Grad und -50 Grad) bestimmt, die Azimutwinkel (siehe 6) an Grenzlinien sind, die den horizontalen Betrachtungswinkel (100 Grad) des Front-Kamerasensors 30 definieren.
  • Eine Beziehung zwischen dem Grenzabstand für die Erkennung des dreidimensionalen Objekts und der horizontalen Pixeldichte wird insbesondere mit Bezug auf 5 beschrieben. 5 ist ein Diagramm zur Darstellung der Beziehung zwischen dem Azimutwinkel und der horizontalen Pixeldichte (genau genommen die horizontale Pixeldichte bei einem bestimmten Winkel (z.B. 10 Grad) innerhalb des ersten spezifischen vertikalen Bereichs) jedes Kamerasensors 20F und der Kamerasensoren C1 (siehe gestrichelte Linie) und C2 (siehe langgestrichelte, kurzgestrichelte Linie) als Vergleichsbeispiele.
  • Die in den optischen Systemen der Kamerasensoren C1 und C2 enthaltenen Objektive sind beide Fischaugenlinsen. Jedes dieser Fischaugenlinsen unterscheidet sich jedoch von dem Fischaugenlinse 21a des Kamerasensors 20F dadurch, dass Die Fischaugenlinse eine rotationssymmetrisch gekrümmte Oberfläche aufweist.
  • Die Anzahl der Pixel des Kamerasensors C1 beträgt etwa 1,2 M (1.280×960) [pix], und der horizontale Betrachtungswinkel beträgt 180 Grad. Das heißt, der Kamerasensor C1 hat im Wesentlichen die gleiche Konfiguration wie die Kamerasensoren 20L, 20R und 20Re.
  • Die Anzahl der Pixel des Kamerasensors C2 beträgt etwa 2,8 M (1.920×1.440) [pix], und der horizontale Betrachtungswinkel davon beträgt 180 Grad. Das heißt, der Kamerasensor C2 hat im Wesentlichen die gleiche Konfiguration wie der Kamerasensor 20F, mit der Ausnahme, dass Die Fischaugenlinse nicht die Freiformfläche hat.
  • Wie oben beschrieben, ist der Kamerasensor 20F so konfiguriert, dass die Ausdehnungsraten in horizontaler Richtung des linken ersten Lichts und des rechten ersten Lichts über den ersten bestimmten vertikalen Bereich konstant sind. Das Gleiche gilt auch für die Kamerasensoren C1 und C2. Dementsprechend ist die Beziehung zwischen dem Azimutwinkel und der horizontalen Pixeldichte jedes der Kamerasensoren 20F, C1 und C2 über den ersten spezifischen vertikalen Bereich hinweg unverändert.
  • Das optische System, das in jedem der Kamerasensoren 20F, C1 und C2 enthalten ist, ist so konfiguriert, dass es in der Lage ist, auch Licht von einem Objekt, das in Azimutwinkelbereichen von 90°< θf < etwa 110° und etwa -110°< θf < -90° vorhanden ist, auf jede Bildaufnahmefläche abzubilden. Dementsprechend zeigt die Darstellung in 5 auch die horizontalen Pixeldichten in diesen Azimutwinkelbereichen. Die elektrischen Signale der Pixel, die diesen Azimutwinkelbereichen auf der Bildaufnahmefläche entsprechen, werden jedoch nicht zur Erzeugung der Bilddaten verwendet.
  • Wie oben beschrieben, haben die Fischaugenlinsen der Kamerasensoren C1 und C2 rotationssymmetrisch gekrümmte Oberflächen. Dementsprechend sind, wie in 5 gezeigt, innerhalb des horizontalen Betrachtungswinkels (-90°≤θf≤90°) die Schwankungsgrade (Variationen) der horizontalen Pixeldichten der Kamerasensoren C1 und C2 relativ gering. Im Gegensatz dazu hat Die Fischaugenlinse 21a des Kamerasensors 20F eine Freiformfläche, die wie oben beschrieben bearbeitet wurde. Dementsprechend ist die horizontale Pixeldichte des Kamerasensors 20F größer als die horizontale Pixeldichte des Kamerasensors C2 (d. h. eines Kamerasensors mit der gleichen Anzahl von Pixeln wie der des Kamerasensors 20F) in den Azimutwinkelbereichen von 45°≤θf≤90° und - 90°≤θf≤-45°. Insbesondere im ersten Bereich ist die horizontale Pixeldichte des Kamerasensors 20F etwa 1,4-mal so groß wie die horizontale Pixeldichte des Kamerasensors C2. Im Allgemeinen sind innerhalb eines vorbestimmten Azimutwinkelbereichs der Erfassungsgrenzabstand für das dreidimensionale Objekt und die horizontale Pixeldichte bei jedem Winkel innerhalb des ersten spezifischen vertikalen Bereichs im Wesentlichen proportional zueinander. Dementsprechend ist im ersten Bereich der Erfassungsgrenzabstand r1 (siehe 3) für das dreidimensionale Objekt des Kamerasensors 20F etwa das 1,4-fache (etwa 42 [m]) des Erfassungsgrenzabstands (etwa 30 [m]) für das dreidimensionale Objekt des Kamerasensors C2.
  • Indessen wird im zweiten Bereich die horizontale Pixeldichte des Kamerasensors 20F so gehalten, dass sie der horizontalen Pixeldichte des Kamerasensors C1 entspricht oder größer ist als diese. Dementsprechend wird eine Verschlechterung der Bildqualität des PVM-Bildes aufgrund der Fischaugenlinse 21a mit der Freiformfläche verhindert. Im zweiten Bereich ist der Erfassungsgrenzabstand r2 (siehe 3) für das dreidimensionale Objekt des Kamerasensors 20F im Wesentlichen gleich dem Erfassungsgrenzabstand (etwa 20[m]) für das dreidimensionale Objekt des Kamerasensors C1.
  • Wie oben beschrieben, enthält der Kamerasensor 20F die Fischaugenlinse 21a mit der oben erwähnten Freiformfläche. Während also die Bildqualität des PVM-Bildes auf dem gleichen Niveau wie im Stand der Technik gehalten wird (mit anderen Worten, ohne dass die Anzahl der Pixel des Kamerasensors 20F zu einer Überleistung in Bezug auf die Auflösung der Anzeige 60a führt), kann in einem bestimmten Bereich des horizontalen Betrachtungswinkels (in dem ersten Ausführungsbeispiel der erste Bereich) der Erfassungsgrenzabstand für das dreidimensionale Objekt im Vergleich zu dem Kamerasensor C2 mit der gleichen Anzahl von Pixeln wie der des Kamerasensors 20F stark erweitert werden.
  • Ein Bereich RFn in 6 ist eine Draufsicht auf den Bildaufnahmebereich des Kamerasensors 30 (d.h. ein Bereich, in dem die ECU 10 das dreidimensionale Objekt auf der Grundlage der Front-Schmalgebietbilddaten erkennen kann). Wie in 6 dargestellt, hat der Bereich RFn die Form eines Fächers mit einem zentralen Winkel von 100 Grad und einem Radius „rf“ von etwa 35 [m]. Eine Winkelhalbierende des Zentralwinkels liegt auf der Referenzachse A.
  • Wie in 3 und 6 dargestellt, überschneiden sich der Bereich RFw und der Bereich RFn teilweise. Im überlappenden Teil erkennt die ECU 10 das dreidimensionale Objekt durch Integration (Verschmelzung) von Informationen, die auf der Grundlage der Front-Weitgebietbilddaten berechnet wurden, und Informationen, die auf der Grundlage der Front-Schmalgebietbilddaten berechnet wurden.
  • Anschließend bestimmt die ECU 10 für alle erfassten dreidimensionalen Objekte, ob die Möglichkeit besteht, dass das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidiert oder nicht. Insbesondere berechnet die ECU 10 einen Wenderadius des eigenen Fahrzeugs basierend auf der vom Fahrzeuggeschwindigkeitssensor 40 erfassten Fahrzeuggeschwindigkeit und der vom Gierratensensor 41 erfassten Gierrate und berechnet einen Weg des eigenen Fahrzeugs basierend auf dem Kurvenfahrradius. Darüber hinaus berechnet die ECU 10 einen Pfad jedes dreidimensionalen Objekts basierend auf dem Übergang einer Position (Orientierung und Entfernung) jedes dreidimensionalen Objekts. Die ECU 10 bestimmt, basierend auf dem Pfad des eigenen Fahrzeugs und dem Pfad jedes dreidimensionalen Objekts, ob das eigene Fahrzeug mit irgendeinem dreidimensionalen Objekt kollidiert oder nicht, wenn das eigene Fahrzeug fährt, während es den aktuellen Fahrzustand beibehält und jedes dreidimensionale Objekt sich bewegt, während es den aktuellen Bewegungszustand beibehält. Wenn das dreidimensionale Objekt ein stationäres Objekt ist, bestimmt die ECU 10, ob das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidiert oder nicht, basierend auf dem Pfad des eigenen Fahrzeugs und der aktuellen Position des dreidimensionalen Objekts.
  • Wenn die ECU 10 feststellt, dass das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidieren wird, berechnet die ECU 10 eine Zeit bis zur Kollision (Time to Collision, TTC), die eine geschätzte Zeit ist, die verbleibt, bis das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidiert. Die TTC kann berechnet werden, indem der Abstand zwischen dem eigenen Fahrzeug und der Position, an der die Kollision voraussichtlich stattfinden wird, durch die Fahrzeuggeschwindigkeit dividiert wird. Wenn die TTC einen vorbestimmten TTC-Schwellenwert oder weniger beträgt, bestimmt die ECU 10, dass eine Möglichkeit besteht, dass das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidiert. In diesem Fall sendet die ECU 10 einen Kollisionsvermeidungsbefehl an die Kollisionsvermeidungsvorrichtung 50. Wenn die Kollisionsvermeidungsvorrichtung 50 den Kollisionsvermeidungsbefehl empfängt, führt die Kollisionsvermeidungsvorrichtung 50 je nach Situation mindestens eine der oben erwähnten Kollisionsvermeidungssteuerungen (Alarmsteuerung, automatische Bremssteuerung und/oder automatische Lenksteuerung) aus. Wenn die TTC größer als der TTC-Schwellenwert ist, bestimmt die ECU 10, dass die Wahrscheinlichkeit, dass das eigene Fahrzeug mit dem dreidimensionalen Objekt kollidiert, gering ist, und sendet den Kollisionsvermeidungsbefehl nicht. Die ECU 10 führt die Verarbeitung (2) jedes Mal aus, wenn der Berechnungszyklus während der Betätigungsperiode abläuft.
  • Der Kamerasensor 20F mit dem oben beschriebenen Fischaugenlinse 21a ist besonders nützlich, wenn das eigene Fahrzeug an einer Kreuzung nach rechts oder links abbiegt oder wenn das eigene Fahrzeug geradeaus durch eine Kreuzung ohne Ampel fährt. Eine spezifische Beschreibung wird unter Bezugnahme auf 7 und 8 gegeben. 7 zeigt eine Situation, in der das eigene Fahrzeug V in eine Kreuzung einfährt. Auf die Darstellung von Straßen, Trennlinien und dergleichen wird verzichtet. Für das eigene Fahrzeug V wird ein xy-Koordinatensystem eingestellt, in dem die Position P1 als Ursprung festgelegt ist. Der Maßstab des eigenen Fahrzeugs V und der Maßstab der Teilungen des xy-Koordinatensystems sind voneinander verschieden. Die dreidimensionalen Objekte O1 bis O5 sind alle bewegliche Objekte. Insbesondere ist das dreidimensionale Objekt O1 ein Fahrrad, das sich in Richtung der +y-Achse (d. h. in dieselbe Richtung wie die aktuelle Fahrtrichtung des eigenen Fahrzeugs V) mit einer Durchschnittsgeschwindigkeit bewegt. Das dreidimensionale Objekt O2 ist ein Fußgänger, der sich mit einer Durchschnittsgeschwindigkeit in Richtung der +y-Achse bewegt. Das dreidimensionale Objekt O3 ist ein Elektromotorrad, das sich in Richtung der +x-Achse mit einer Fahrzeuggeschwindigkeit innerhalb eines vorgegebenen Geschwindigkeitsbereichs bewegt. Das dreidimensionale Objekt O4 ist ein Fahrzeug, das sich in Richtung der +x-Achse mit einer Fahrzeuggeschwindigkeit innerhalb eines Bereichs von 30 [km/h] bis 60 [km/h] bewegt. Das dreidimensionale Objekt O5 ist ein Fahrzeug, das sich in Richtung der +x-Achse mit einer relativ hohen Geschwindigkeit bewegt.
  • Die dreidimensionalen Objekte O1 und O2 sind dreidimensionale Objekte, mit denen das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidieren soll, wenn das eigene Fahrzeug V mit einer „durchschnittlichen Fahrzeuggeschwindigkeit zum Zeitpunkt des Linksabbiegens“ in die Kreuzung einbiegt. Das dreidimensionale Objekt O3 ist ein dreidimensionales Objekt, mit dem das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidieren soll, wenn es mit einer „durchschnittlichen Fahrzeuggeschwindigkeit zum Zeitpunkt des Geradeausfahrens durch eine Kreuzung ohne Ampeln“ geradeaus durch eine Kreuzung ohne Ampeln fährt. Das dreidimensionale Objekt O4 ist ein dreidimensionales Objekt, mit dem das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidieren soll, wenn es mit einer Geschwindigkeit zwischen 30 [km/h] und 60 [km/h] geradeaus durch die ampellose Kreuzung fährt. Das dreidimensionale Objekt O5 ist ein dreidimensionales Objekt, mit dem das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidieren soll, wenn das eigene Fahrzeug V die Kreuzung ohne Ampel mit einer relativ geringen Geschwindigkeit geradeaus durchfährt. Das heißt, 7 zeigt eine relative Verteilung in Bezug auf das eigene Fahrzeug V von verschiedenen Arten von dreidimensionalen Objekten, mit denen das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidiert, wenn das eigene Fahrzeug V an der Kreuzung links abbiegt oder wenn das eigene Fahrzeug V mit verschiedenen Fahrzeuggeschwindigkeiten geradeaus durch die Kreuzung ohne Ampel fährt.
  • 8 ist eine Ansicht, in der der Bereich RFw, ein Bereich RC1 und ein Bereich RC2 in einem Azimutwinkelbereich von 0°≤θf≤90° in 7 eingeblendet sind. Dabei sind der Bereich RC1 und der Bereich RC2 jeweils eine Draufsicht auf einen Bildaufnahmebereich in einem Fall, in dem jeder der Kamerasensoren C1 und C2 (siehe 5) an der Position P1 des eigenen Fahrzeugs V angebracht ist. Wie in 7 dargestellt, sind die dreidimensionalen Objekte O1 bis O5 in einem bestimmten Azimutwinkelbereich des eigenen Fahrzeugs V schräg verteilt. Mit Bezug auf 8 entspricht dieser spezifische Azimutwinkelbereich dem linken ersten Bereich. Obwohl in 7 und 8 nicht dargestellt, sind fast alle der verschiedenen Arten von dreidimensionalen Objekten, mit denen das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidieren soll, wenn das eigene Fahrzeug V an einer Kreuzung nach rechts abbiegt oder wenn das eigene Fahrzeug V mit verschiedenen Fahrzeuggeschwindigkeiten geradeaus durch eine Kreuzung ohne Ampel fährt, in einer voreingenommenen Weise in einem bestimmten Azimutwinkelbereich des eigenen Fahrzeugs V ähnlich wie die dreidimensionalen Objekte O1 bis O5 verteilt, und dieser bestimmte Azimutwinkelbereich wird als mit dem rechten ersten Bereich übereinstimmend angesehen.
  • Wie in 8 dargestellt, ist der Kamerasensor 20F so konfiguriert, dass er die Fischaugenlinse 21a mit der oben erwähnten Freiformfläche enthält, so dass der Erfassungsgrenzabstand für das dreidimensionale Objekt im ersten Bereich größer ist als der Erfassungsgrenzabstand für das dreidimensionale Objekt im zweiten Bereich. Dementsprechend kann der Kamerasensor 20F das Bild des „dreidimensionalen Objekts, das sich diagonal vor dem Fahrzeug befindet“, über eine größere Entfernung im Vergleich zu den „dreidimensionalen Objekten, die sich vor und auf der Seite des vorderen Mittelteils des Fahrzeugs befinden“, aufnehmen. Das Bild des „dreidimensionalen Objekts vor dem Fahrzeug“ kann von dem Kamerasensor 30 über eine relativ große Entfernung aufgenommen werden (siehe 6).
  • Darüber hinaus ist Die Fischaugenlinse 21a so konfiguriert, dass die horizontale Pixeldichte im Bereich S2 der Bildaufnahmefläche 22a kleiner wird als die horizontale Pixeldichte in ihrem Bereich S1. Dementsprechend kann im Vergleich zu einer Konfiguration, bei der die horizontale Pixeldichte im Bereich S2 so eingestellt ist, dass sie der horizontalen Pixeldichte im Bereich S1 entspricht, ein starker Anstieg der Anzahl der Pixel des Bildsensors 22 unterdrückt werden. Daher kann gemäß der Konfiguration des Kamerasensors 20F das Bild des dreidimensionalen Objekts, das sich diagonal vor dem eigenen Fahrzeug V befindet, in geeigneter Weise aufgenommen werden, ohne die Anzahl der Pixel des Bildsensors 22 stark zu erhöhen.
  • Genauer gesagt ist im Bereich RFw im Vergleich zum Bereich RC2 (Draufsicht auf den Bildaufnahmebereich des Kamerasensors C2 mit der gleichen Anzahl von Pixeln wie der des Kamerasensors 20F) der Erfassungsgrenzabstand für das dreidimensionale Objekt im ersten Bereich größer und im zweiten Bereich kleiner. Wie in 8 dargestellt, ist im zweiten Bereich fast kein dreidimensionales Objekt vorhanden, mit dem das eigene Fahrzeug V beim Einfahren in die Kreuzung kollidieren könnte. Wenn also, wie im Bereich RFw, der Erfassungsgrenzabstand in einem Azimutwinkelbereich, in dem die dreidimensionalen Objekte einseitig verteilt sind, vergrößert und der Erfassungsgrenzabstand in einem Azimutwinkelbereich, in dem fast kein dreidimensionales Objekt vorhanden ist, verkleinert wird, kann ein Bild eines dreidimensionalen Objekts, das in einem gewünschten Azimutwinkelbereich vorhanden ist (d.h., d.h. verschiedene Arten von dreidimensionalen Objekten, mit denen das eigene Fahrzeug V beim Rechts- oder Linksabbiegen an der Kreuzung oder beim Geradeausfahren durch die Kreuzung ohne Ampel bei verschiedenen Fahrzeuggeschwindigkeiten kollidieren kann) über eine relativ große Entfernung angemessen erfasst werden, ohne die Anzahl der Pixel des Bildsensors 22 stark zu erhöhen.
  • Hier wird der TTC-Schwellenwert, der für die Entscheidung, ob die Kollisionsvermeidungssteuerung ausgeführt wird oder nicht, verwendet wird, im Allgemeinen auf einen beliebigen Wert eingestellt, der gleich oder kleiner als drei Sekunden ist. Dementsprechend kann mit der oben erwähnten Konfiguration die Kollisionsvermeidungssteuerung in Bezug auf das dreidimensionale Objekt, das sich diagonal vor dem eigenen Fahrzeug befindet, in geeigneter Weise ausgeführt werden. Das heißt, dass die entsprechende Fahrunterstützungsvorrichtung nur das dreidimensionale Objekt erkennen kann, das sich vor dem eigenen Fahrzeug befindet (typischerweise im horizontalen Betrachtungswinkel von -50°≤θf≤50°). Dementsprechend können beispielsweise die dreidimensionalen Objekte O1 bis 05, die sich diagonal vor dem eigenen Fahrzeug V befinden, nicht erfasst werden, bis das eigene Fahrzeug nach links abbiegt, so dass das/die dreidimensionale(n) Objekt(e) O1 und/oder O2 vor dem eigenen Fahrzeug positioniert ist/sind, oder bis das eigene Fahrzeug weiter geradeaus fährt, so dass die dreidimensionalen Objekte O3 bis O5 vor dem eigenen Fahrzeug positioniert sind, und der TTC kann bereits gleich oder kleiner als der TTC-Schwellenwert zum Zeitpunkt der Erfassung sein. Im Gegensatz dazu kann bei der Fahrunterstützungsvorrichtung mit dem Kamerasensor 20F das dreidimensionale Objekt, das sich diagonal vor dem eigenen Fahrzeug befindet, erkannt werden, bevor die TTC gleich oder kleiner als der TTC-Schwellenwert wird. Dementsprechend kann die Kollisionsvermeidungssteuerung für diese dreidimensionalen Objekte angemessen ausgeführt werden.
  • Insbesondere fungiert der Kamerasensor 20F auch als Kamerasensor, der für die Erzeugung des PVM-Bildes verwendet wird. Dementsprechend ist es nur erforderlich, die Spezifikation der verwandten Kunst Front PVM Kamerasensor teilweise zu ändern (insbesondere, ändern der Fischaugenlinse auf die Fischaugenlinse 21a, und ändern der Anzahl der Pixel des Bildsensors von etwa 1,2 M [pix] auf etwa 2,8 M [pix]), und es ist nicht erforderlich, um eine neue Kamera-Sensor einzuführen. Daher kann der Kamerasensor 20F mit relativ geringen Kosten realisiert werden.
  • Darüber hinaus wird in dem Kamerasensor 20F, obwohl die Freiformfläche der Fischaugenlinse 21a so ausgebildet ist, dass die horizontale Pixeldichte in dem Bereich S1 der Bildaufnahmefläche 22a größer wird als die horizontale Pixeldichte in dem Bereich S2 davon, mit Bezug auf 5, die horizontale Pixeldichte in dem Bereich S2 beibehalten, um gleich oder größer als die horizontale Pixeldichte der Bildaufnahmefläche in dem Kamerasensor 20Re zu sein (d.h. ein Kamerasensor mit im Wesentlichen der gleichen Konfiguration wie die des Kamerasensors C1). Mit dieser Konfiguration wird verhindert, dass die Bildqualität des PVM-Bildes aufgrund der Fischaugenlinse 21a mit der oben erwähnten Freiformfläche verschlechtert wird.
  • (Zweites Ausführungsbeispiel)
  • Nachfolgend wird eine Fahrunterstützungsvorrichtung mit einem linken PVM-Kamerasensor und einem rechten PVM-Kamerasensor, die jeweils als Bildaufnahmevorrichtung gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung dienen, unter Bezugnahme auf die Zeichnungen beschrieben. Im Folgenden werden die gleichen Konfigurationen wie die dem ersten Ausführungsbeispiel durch die gleichen Bezugszeichen gekennzeichnet, und eine detaillierte Beschreibung davon entfällt.
  • Wie in 9 dargestellt, unterscheidet sich die Fahrunterstützungsvorrichtung dem zweiten Ausführungsbeispiel von der Fahrunterstützungsvorrichtung dem ersten Ausführungsbeispiel dadurch, dass die Fahrunterstützungsvorrichtung einen PVM-Kamerasensor 120 anstelle des PVM-Kamerasensors 20 enthält. Der PVM-Kamerasensor 120 umfasst einen vorderen bzw. Front-PVM-Kamerasensor 120F, einen linken PVM-Kamerasensor 120L, einen rechten PVM-Kamerasensor 120R und den hinteren bzw. Heck-PVM-Kamerasensor 20Re.
  • Der Kamerasensor 120F hat im Wesentlichen die gleiche Konfiguration wie die Kamerasensoren 20L, 20R und 20Re in dem ersten Ausführungsbeispiel, unterscheidet sich aber in den folgenden zwei Punkten von dem Kamerasensor 20F in dem ersten Ausführungsbeispiel.
  • Eine Fischaugenlinse (nicht dargestellt) des Kamerasensors 120F hat keine Freiformfläche, sondern eine rotationssymmetrisch gekrümmte Fläche.
  • Die Anzahl der Pixel des Kamerasensors 120F beträgt etwa 1,2 M (1.280×960) [pix].
  • Eine Brennweite der Fischaugenlinse und die Abmessungen einer Bildaufnahmefläche des Kamerasensors 120F sind im Voraus so ausgelegt, dass der horizontale Betrachtungswinkel des Kamerasensors 120F 180 Grad und der vertikale Betrachtungswinkel 135 Grad beträgt. Auf diese Weise kann der Kamerasensor 120F Bilder von Objekten aufnehmen, die sich in Bereichen auf der Vorderseite, der diagonalen Vorderseite und der seitlichen Seite des Frontmittelteils des eigenen Fahrzeugs befinden. Der Kamerasensor 120F entspricht einem Beispiel für eine „vordere bzw. Front-Bildaufnahmevorrichtung“.
  • Wie in 10 dargestellt, umfasst der Kamerasensor 120L ein optisches System 121L, einen Bildsensor 122L und die Signalverarbeitungsschaltung 23.
  • Das optische System 121L umfasst eine Fischaugenlinse 121aL. Die Fischaugenlinse 121aL ist ein Objektiv, die eine äquidistante Projektionsmethode anwendet und eine nicht-rotationssymmetrische Freiformfläche hat. Die detaillierte Konfiguration der Fischaugenlinse 121aL wird später beschrieben.
  • Der Bildsensor 122L hat eine Bildaufnahmefläche 122aL, auf der eine Vielzahl von Pixeln in gleichen Abständen in horizontaler und vertikaler Richtung (also zweidimensional) angeordnet sind. Die Abmessungen der Bildaufnahmefläche 122aL sind die gleichen wie die Abmessungen der Bildaufnahmefläche 22a in dem ersten Ausführungsbeispiel. Das heißt, die Anzahl der Pixel des Bildsensors 122L beträgt etwa 2,8 M (1.920×1.440) [pix].
  • Die Brennweite der Fischaugenlinse 121aL und die Abmessungen der Bildaufnahmefläche 122aL sind im Voraus so ausgelegt, dass der horizontale Betrachtungswinkel des Kamerasensors 120L 180 Grad und der vertikale Betrachtungswinkel 135 Grad beträgt. Auf diese Weise kann der Kamerasensor 120L Bilder von Objekten aufnehmen, die sich in einem linken Seitenbereich des eigenen Fahrzeugs befinden. Der Kamerasensor 120L entspricht einem Beispiel für einen „Kamerasensor zur Bilderzeugung“ und entspricht auch einem Beispiel für eine „Bildaufnahmevorrichtung“, die an einem linken Seitenteil des Fahrzeugs angebracht werden kann. Der horizontale Betrachtungswinkel des Kamerasensors 120L entspricht einem Beispiel für einen „zweiten horizontalen Betrachtungswinkel“. "
  • Der Kamerasensor 120R umfasst ein optisches System 121R, einen Bildsensor 122R und die Signalverarbeitungsschaltung 23.
  • Das optische System 121R umfasst eine Fischaugenlinse 121aR. Die Fischaugenlinse 121aR ist ein Objektiv, die eine äquidistante Projektionsmethode anwendet und eine nicht-rotationssymmetrische Freiformfläche hat. Die detaillierte Konfiguration der Fischaugenlinse 121aR wird später beschrieben.
  • Der Bildsensor 122R hat eine Bildaufnahmefläche 122aR, auf der eine Vielzahl von Pixeln in gleichen Abständen in horizontaler und vertikaler Richtung (also zweidimensional) angeordnet sind. Die Abmessungen der Bildaufnahmefläche 122aR sind die gleichen wie die Abmessungen der Bildaufnahmefläche 22a in dem ersten Ausführungsbeispiel. Das heißt, die Anzahl der Pixel des Bildsensors 122R beträgt etwa 2,8 M (1.920×1.440) [pix].
  • Die Brennweite der Fischaugenlinse 121aR und die Abmessungen der Bildaufnahmefläche 122aR sind im Voraus so ausgelegt, dass der horizontale Betrachtungswinkel des Kamerasensors 120R 180 Grad und der vertikale Betrachtungswinkel 135 Grad beträgt. Auf diese Weise kann der Kamerasensor 120R Bilder von Objekten aufnehmen, die sich in einem rechten Seitenbereich des eigenen Fahrzeugs befinden. Der Kamerasensor 120R entspricht einem Beispiel für einen „Kamerasensor zur Bilderzeugung“ und entspricht auch einem Beispiel für eine „Bildaufnahmevorrichtung“, die an einem rechten Seitenteil des Fahrzeugs angebracht werden kann. Der horizontale Betrachtungswinkel des Kamerasensors 120R entspricht einem Beispiel für einen „zweiten horizontalen Betrachtungswinkel“. „Der Kamerasensor 30 und die Kamerasensoren 120L und 120R bilden das Bildaufnahmesystem.
  • Die Beschreibung wird nun wiederum unter Bezugnahme auf 9 fortgesetzt. Die ECU 10 ist so konfiguriert, dass sie von den Kamerasensoren 120F, 120L, 120R und 20Re und dem Kamerasensor 30 die „vorderen bzw. Front-Weitgebietbilddaten“, die „linken Weitgebietbilddaten“, die „rechten Weitgebietbilddaten“, die „hinteren bzw. Heck-Weitgebietbilddaten“ und die „vorderen bzw. Front-Schmalgebietbilddaten“ erfasst und auf der Grundlage der erfassten Bilddaten eine ähnliche Verarbeitung wie die Verarbeitung (1) und die Verarbeitung (2) in dem ersten Ausführungsbeispiel durchführt. Die Verarbeitung (2) unterscheidet sich jedoch von der in dem ersten Ausführungsbeispiel in den Bilddaten, die zu verwenden sind, wenn das dreidimensionale Objekt erkannt wird. Im Folgenden wird dieser Unterschied speziell beschrieben. Die „linken Weitgebietbilddaten“ und die „rechten Weitgebietbilddaten“ entsprechen Beispielen für „Umgebungs-Weitgebietbilddaten“.
  • Die ECU 10 analysiert anstelle der Front-Weitgebietbilddaten die linken Weitgebietbilddaten und die rechten Weitgebietbilddaten zusammen mit den Front-Schmalgebietbilddaten und berechnet das Vorhandensein oder Nichtvorhandensein eines dreidimensionalen Objekts und eine relative Beziehung zwischen dem eigenen Fahrzeug und dem dreidimensionalen Objekt. Mit anderen Worten, die ECU 10 erkennt jedes der dreidimensionalen Objekte, die im Bildaufnahmebereich des Kamerasensors 120L, im Bildaufnahmebereich des Kamerasensors 120R und im Bildaufnahmebereich des Kamerasensors 30 vorhanden sind (siehe den Bereich RFn in 6).
  • Ein Bereich RL und ein Bereich RR von 11 sind Draufsichten von Bildaufnahmebereichen der Kamerasensoren 120L bzw. 120R (d.h. Bereiche, in denen die ECU 10 das dreidimensionale Objekt auf der Grundlage der linken großflächigen Bilddaten und der rechten großflächigen Bilddaten erfassen kann). Wie in 11 dargestellt, wird die Referenzausrichtung in Bezug auf den Kamerasensor 120L auf eine Ausrichtung einer Referenzachse A1 eingestellt, die eine Achse ist, die durch die Position P2 verläuft und parallel zur Längsachse des eigenen Fahrzeugs V ist. Die Referenzachse A1 ist orthogonal zu einer optischen Achse (nicht dargestellt) des optischen Systems 121L des Kamerasensors 120L. Im Folgenden wird für den horizontalen Betrachtungswinkel ein Azimutwinkel θl auf der linken Seite der Referenzachse A1 als positiver Wert und ein Azimutwinkel θl auf der rechten Seite der Referenzachse A1 als negativer Wert definiert. Darüber hinaus wird für den vertikalen Betrachtungswinkel ein Winkel oberhalb der optischen Achse mit einem positiven Wert und ein Winkel unterhalb der optischen Achse mit einem negativen Wert definiert. Die optische Achse des Kamerasensors 120L ist in Bezug auf die Querachse um etwa 60 Grad nach unten geneigt, und der vertikale Betrachtungswinkel beträgt 135 Grad. Dementsprechend ist die Referenzachse A1 im vertikalen Betrachtungswinkel enthalten.
  • In Bezug auf den Kamerasensor 120R wird die Referenzausrichtung auf eine Ausrichtung einer Referenzachse A2 festgelegt, die eine Achse ist, die durch die Position P3 verläuft und parallel zur Längsachse des eigenen Fahrzeugs V ist. Die Referenzachse A2 ist orthogonal zur optischen Achse (nicht dargestellt) des optischen Systems 121R des Kamerasensors 120R. Im Folgenden wird für den horizontalen Betrachtungswinkel ein Azimutwinkel θr auf der rechten Seite der Referenzachse A2 als positiver Wert und ein Azimutwinkel θr auf der linken Seite der Referenzachse A2 als negativer Wert definiert. Außerdem wird für den vertikalen Betrachtungswinkel ein Winkel oberhalb der optischen Achse mit einem positiven Wert und ein Winkel unterhalb der optischen Achse mit einem negativen Wert definiert. Die optische Achse des Kamerasensors 120R ist in Bezug auf die Querachse um etwa 60 Grad nach unten geneigt, und der vertikale Betrachtungswinkel beträgt 135 Grad. Dementsprechend ist die Referenzachse A2 im vertikalen Betrachtungswinkel enthalten.
  • Der Bereich RL hat eine Fächerform mit einem Radius r3 in einem dritten Bereich, der einem Azimutwinkelbereich von 52°≤θ1≤80° entspricht, und hat eine Fächerform mit einem Radius r4 in einem vierten Bereich des horizontalen Betrachtungswinkels, der den dritten Bereich ausschließt (d.h. 0°≤θl<52°, 80°<θl≤180°).
  • Der Bereich RR hat eine Fächerform mit einem Radius r5 (=r3) in einem fünften Bereich, der einem Azimutwinkelbereich von 52°≤θl≤80° entspricht, und hat eine Fächerform mit einem Radius r6 (=r4) in einem sechsten Bereich des horizontalen Betrachtungswinkels mit Ausnahme des fünften Bereichs (d. h. 0°≤θr<52°, 80°<θr≤180°).
  • Das heißt, der Bereich RL und der Bereich RR stehen in einer Beziehung, die in Bezug auf die Längsachse liniensymmetrisch ist. Bei den Formen des Bereichs RL und des Bereichs RR sind die Erfassungsgrenzabstände (r3 und r5) für das dreidimensionale Objekt im dritten Bereich und im fünften Bereich länger als die Erfassungsgrenzabstände (r4 und r6) für das dreidimensionale Objekt im vierten Bereich und im sechsten Bereich. Dies ist auf die Konfigurationen der Fischaugenlinsen 121aL und 121aR zurückzuführen. Der dritte Bereich und der fünfte Bereich entsprechen Beispielen für den „diagonalen lateralen bzw. seitlichen Azimutwinkelbereich“, und der vierte Bereich und der sechste Bereich entsprechen Beispielen für den „Rest-Azimutwinkelbereich“. "
  • Eine spezifische Beschreibung wird unter Bezugnahme auf 12A und 12B gegeben. Wie in 12A dargestellt, umfasst die Bildaufnahmefläche 122aL des Kamerasensors 120L einen Bereich S3 und einen Bereich S4. Der Bereich S3 ist ein Bereich, in dem drittes Licht, d. h. Licht von einem „Objekt, das sich im dritten Bereich und auch in einem zweiten spezifischen vertikalen Bereich (später beschrieben) befindet“, auf die Bildaufnahmefläche 122aL abgebildet werden soll. Der Bereich S4 ist ein Bereich, in dem viertes Licht, das von einem „Objekt im verbleibenden Winkelbereich des horizontalen Betrachtungswinkels und des vertikalen Betrachtungswinkels“ stammt, auf die Bildaufnahmefläche 122aL abgebildet werden soll.
  • Wie in 12B dargestellt, umfasst die Bildaufnahmefläche 122aR des Kamerasensors 120R einen Bereich S5 und einen Bereich S6. Der Bereich S5 ist ein Bereich, in dem fünftes Licht, das Licht von einem „Objekt, das im fünften Bereich und auch in einem zweiten spezifischen vertikalen Bereich vorhanden ist“, auf die Bildaufnahmefläche 122aR abgebildet werden soll. Der Bereich S6 ist ein Bereich, in dem sechstes Licht, das Licht von einem „Objekt, das im verbleibenden Winkelbereich des horizontalen Betrachtungswinkels und des vertikalen Betrachtungswinkels vorhanden ist“, auf die Bildaufnahmefläche 122aR abgebildet werden soll.
  • Der zweite spezifische vertikale Bereich kann als ein Bereich festgelegt werden, der die Referenzachse A1 oder A2 und auch die Oberseite des vertikalen Betrachtungswinkels einschließt. In dem zweiten Ausführungsbeispiel liegt der zweite spezifische vertikale Bereich zwischen 0 Grad oder mehr und 67,5 Grad oder weniger. Die optischen Systeme 121L und 121R sind jeweils so konfiguriert, dass sie Licht von einem Objekt auch auf den umgebenden Bereich Sp abbilden (Bereich der Bildaufnahmefläche 122aL an der Außenseite des Bereichs S4 und Bereich der Bildaufnahmefläche 122aR an der Außenseite des Bereichs S6). Die elektrischen Signale der Pixel, die den umgebenden Bereich Sp bilden, werden jedoch nicht zur Erzeugung der Bilddaten verwendet.
  • Wie in 12A dargestellt, ist die Fischaugenlinse 121aL so konfiguriert, dass sie, wenn Licht von einem Objekt über das optische System 121L auf die Bildaufnahmefläche 122aL abgebildet werden soll, das dritte Licht so auf die Bildaufnahmefläche 122aL abbildet, dass es im Vergleich zum vierten Licht in der horizontalen Richtung (Aufwärts-Abwärts-Richtung des Zeichenblatts) stärker expandiert. Die Ausdehnungsrate ist über den zweiten spezifischen vertikalen Bereich konstant. Das dritte Licht wird in der vertikalen Richtung (Rechts-Links-Richtung des Zeichenblatts) nicht ausgedehnt. Der Bereich S3 entspricht einem Beispiel für den „spezifischen Bereich“ oder den „dritten Bereich“, und der Bereich S4 entspricht einem Beispiel für den „Restbereich“ oder den „vierten Bereich“. "
  • Wie in 12B dargestellt, ist die Fischaugenlinse 121aR so konfiguriert, dass sie, wenn Licht von einem Objekt über das optische System 121R auf die Bildaufnahmefläche 122aR abgebildet werden soll, das fünfte Licht so auf die Bildaufnahmefläche 122aR abbildet, dass es im Vergleich zum sechsten Licht in horizontaler Richtung stärker expandiert. Die Ausdehnungsrate ist über den zweiten spezifischen vertikalen Bereich konstant. Das fünfte Licht wird in vertikaler Richtung nicht ausgedehnt. Der Bereich S5 entspricht einem Beispiel für den „spezifischen Bereich“ oder den „fünften Bereich“, und der Bereich S6 entspricht einem Beispiel für den „Restbereich“ oder den „sechsten Bereich“.
  • In dem zweiten Ausführungsbeispiel sind die Ausdehnungsrate des dritten Lichts und die Ausdehnungsrate des fünften Lichts einander gleich. Dementsprechend haben der Bereich S3 und der Bereich S5 rechteckige Formen, die zueinander kongruent sind. Die Ausdehnungsrate des dritten Lichts und die Ausdehnungsrate des fünften Lichts können unterschiedlich sein.
  • Mit anderen Worten, die Fischaugenlinse 121aL hat eine Freiformfläche, die so bearbeitet ist, dass die horizontale Pixeldichte in dem Bereich S3 größer wird als die horizontale Pixeldichte in jedem Bereich des Bereichs S4. Die Fischaugenlinse 121aR hat eine Freiformfläche, die so bearbeitet ist, dass die horizontale Pixeldichte im Bereich S5 größer wird als die horizontale Pixeldichte in jedem Bereich des Bereichs S6. Bei dieser Konfiguration sind die Auflösungen in horizontaler Richtung im Bereich S3 und im Bereich S5 höher als die Auflösungen in horizontaler Richtung im Bereich S4 bzw. im Bereich S6. Infolgedessen sind die Erfassungsgrenzabstände (r3 und r5) für das dreidimensionale Objekt im dritten Bereich und im fünften Bereich größer als die Erfassungsgrenzabstände (r4 und r6) für das dreidimensionale Objekt im vierten Bereich bzw. im sechsten Bereich. Ein unterer Grenzazimutwinkel (52 Grad) des dritten Bereichs und ein unterer Grenzazimutwinkel (52 Grad) des fünften Bereichs werden auf der Grundlage der Grenzazimutwinkel (50 Grad und -50 Grad) des Frontkamerasensors 30 bestimmt.
  • Eine Beziehung zwischen dem Grenzabstand für die Erkennung des dreidimensionalen Objekts und der horizontalen Pixeldichte wird insbesondere unter Bezugnahme auf 13 beschrieben. 13 ist ein Diagramm zur Darstellung einer Beziehung zwischen dem Azimutwinkel und der horizontalen Pixeldichte (genau genommen die horizontale Pixeldichte bei einem bestimmten Winkel (z.B. 60 Grad) innerhalb des zweiten spezifischen vertikalen Bereichs) jedes der Kamerasensoren 120L und 120R und der Kamerasensoren C3 (siehe die gestrichelte Linie) und C4 (siehe die langgestrichelte, kurzgestrichelte Linie) als Vergleichsbeispiele. Ein Azimutwinkelbereich von mehr als 90 Grad ist nicht dargestellt. In dem zweiten Ausführungsbeispiel sind die Fischaugenlinsen 121aL und 121aR so konfiguriert, dass die horizontale Pixeldichteverteilung der Bildaufnahmefläche 122aL und die horizontale Pixeldichteverteilung der Bildaufnahmefläche 122aR einander gleich werden. Dementsprechend stimmen in dem Diagramm von 13 das Verhalten des Kamerasensors 120L und das Verhalten des Kamerasensors 120R überein.
  • Die in den optischen Systemen der Kamerasensoren C3 und C4
    enthaltenen Objektive sind beide Fischaugenlinsen. Jede dieser Fischaugenlinsen unterscheidet sich jedoch von der Fischaugenlinse 121aL des Kamerasensors 120L und der Fischaugenlinse 121aR des Kamerasensors 120R dadurch, dass die Fischaugenlinse eine rotationssymmetrisch gekrümmte Oberfläche aufweist.
  • Die Anzahl der Pixel des Kamerasensors C3 beträgt etwa 1,2 M (1.280×960) [pix], und der horizontale Betrachtungswinkel beträgt 180 Grad. Das heißt, der Kamerasensor C3 hat im Wesentlichen die gleiche Konfiguration wie die Kamerasensoren 120F und 20Re.
  • Die Anzahl der Pixel des Kamerasensors C4 beträgt etwa 2,8 M (1.920×1.440) [pix], und der horizontale Betrachtungswinkel davon beträgt 180 Grad. Das heißt, der Kamerasensor C4 hat im Wesentlichen die gleiche Konfiguration wie die Kamerasensoren 120L und 120R, mit der Ausnahme, dass die Fischaugenlinse nicht die Freiformfläche hat.
  • Wie oben beschrieben, ist jeder der Kamerasensoren 120R und 120L so konfiguriert, dass die Ausdehnungsraten in horizontaler Richtung des dritten Lichts und des fünften Lichts über den zweiten spezifischen vertikalen Bereich konstant sind. Das Gleiche gilt auch für die Kamerasensoren C3 und C4. Dementsprechend ist die Beziehung zwischen dem Azimutwinkel und der horizontalen Pixeldichte jedes der Kamerasensoren 120L, 120R, C3 und C4 über den zweiten spezifischen vertikalen Bereich hinweg unverändert.
  • Das optische System, das in jedem der Kamerasensoren 120L, 120R, C3 und C4 enthalten ist, ist so konfiguriert, dass es in der Lage ist, auch Licht von einem Objekt, das in Azimutwinkelbereichen von etwa -20°<θ1 und θr<0° vorhanden ist, auf jede Bildaufnahmefläche abzubilden. Dementsprechend zeigt das Diagramm in 13 auch die horizontalen Pixeldichten in diesen Azimutwinkelbereichen. Die elektrischen Signale der Pixel, die diesen Azimutwinkelbereichen auf der Bildaufnahmefläche entsprechen, werden jedoch nicht zur Erzeugung der Bilddaten verwendet.
  • Wie in 13 gezeigt, enthalten die Kamerasensoren 120L und 120R im Gegensatz zu den Kamerasensoren C3 und C4 die Fischaugenlinsen 121aL und 121aR, die jeweils eine Freiformfläche aufweisen, die wie oben beschrieben bearbeitet wurde. Dementsprechend ist die horizontale Pixeldichte jedes der Kamerasensoren 120L und 120R größer als die horizontale Pixeldichte des Kamerasensors C4 (d.h. eines Kamerasensors mit der gleichen Anzahl von Pixeln wie die der Kamerasensoren 120L und 120R) in den Azimutwinkelbereichen von 45°≤θ1 und θr≤87°. Insbesondere im dritten Bereich und im fünften Bereich ist die horizontale Pixeldichte jedes der Kamerasensoren 120L und 120R etwa 1,6 mal so groß wie die horizontale Pixeldichte des Kamerasensors C4. Im Allgemeinen sind innerhalb eines vorbestimmten Azimutwinkelbereichs der Erfassungsgrenzabstand für das dreidimensionale Objekt und die horizontale Pixeldichte bei jedem Winkel innerhalb des zweiten spezifischen vertikalen Bereichs im Wesentlichen proportional zueinander. Dementsprechend sind im dritten und fünften Bereich die Erfassungsgrenzabstände r3 und r5 (siehe 11) für das dreidimensionale Objekt der Kamerasensoren 120L und 120R etwa das 1,6-fache (etwa 43 [m]) des Erfassungsgrenzabstandes (etwa 27 [m]) für das dreidimensionale Objekt des Kamerasensors C2.
  • Währenddessen wird im vierten und sechsten Bereich die horizontale Pixeldichte jedes der Kamerasensoren 120L und 120R so gehalten, dass sie der horizontalen Pixeldichte des Kamerasensors C3 entspricht oder größer ist als diese. Dementsprechend wird eine Verschlechterung der Bildqualität des PVM-Bildes aufgrund der Fischaugenlinsen 121aL und 121aR mit der Freiformfläche verhindert. Im vierten und sechsten Bereich sind die Erfassungsgrenzabstände r4 und r6 (siehe 11) für das dreidimensionale Objekt der Kamerasensoren 120L und 120R im Wesentlichen gleich dem Erfassungsgrenzabstand (etwa 20[m]) für das dreidimensionale Objekt des Kamerasensors C3.
  • Wie oben beschrieben, enthalten die Kamerasensoren 120L und 120R die Fischaugenlinsen 121aL und 121aR mit der oben erwähnten Freiformfläche. Während also die Bildqualität des PVM-Bildes auf dem gleichen Niveau wie im Stand der Technik gehalten wird (mit anderen Worten, ohne dass die Anzahl der Pixel jedes der Kamerasensoren 120L und 120R zu einer Überleistung in Bezug auf die Auflösung der Anzeige 60a führt), kann in einem bestimmten Bereich des horizontalen Betrachtungswinkels (in dem zweiten Ausführungsbeispiel der dritte oder fünfte Bereich) der Erfassungsgrenzabstand für das dreidimensionale Objekt im Vergleich zu dem Kamerasensor C4 mit der gleichen Anzahl von Pixeln wie die der Kamerasensoren 120L und 120R stark erweitert werden.
  • Die Kamerasensoren 120L und 120R einschließlich der Fischaugenlinsen 121aL und 121aR, wie oben beschrieben, sind besonders nützlich, wenn das eigene Fahrzeug an einer Kreuzung nach rechts oder links abbiegt oder wenn das eigene Fahrzeug geradeaus durch eine Kreuzung ohne Ampel fährt. Nun wird eine spezifische Beschreibung unter Bezugnahme auf 14 gegeben, wobei der Kamerasensor 120L als Beispiel angeführt wird. 14 ist eine Ansicht, in der der Bereich RL in einem Azimutwinkelbereich von 0°≤θl≤180°, ein Bereich RC3 und ein Bereich RC4 in 7 eingeblendet sind. Dabei sind der Bereich RC3 und der Bereich RC4 jeweils eine Draufsicht auf einen Bildaufnahmebereich in einem Fall, in dem jeder der Kamerasensoren C3 und C4 (siehe 13) an der Position P2 des eigenen Fahrzeugs V montiert ist. Mit Bezug auf 14 entspricht ein bestimmter Azimutwinkelbereich, in dem die dreidimensionalen Objekte O1 bis O5 verteilt sind, dem dritten Bereich. Obwohl in 14 nicht dargestellt, werden fast alle verschiedenen Arten von dreidimensionalen Objekten, mit denen das eigene Fahrzeug V nach Ablauf von drei Sekunden kollidieren soll, wenn das eigene Fahrzeug V an einer Kreuzung nach rechts abbiegt oder wenn das eigene Fahrzeug V mit verschiedenen Fahrzeuggeschwindigkeiten geradeaus durch eine Kreuzung ohne Ampel fährt, in einem bestimmten Azimutwinkelbereich des eigenen Fahrzeugs V ähnlich wie die dreidimensionalen Objekte O1 bis O5 in einer vorgespannten Weise verteilt, und dieser bestimmte Azimutwinkelbereich wird als mit dem sechsten Bereich des Kamerasensors 120R übereinstimmend betrachtet.
  • Mit den Kamerasensoren 120L und 120R können ähnliche Effekte wie mit dem Kamerasensor 20F in dem ersten Ausführungsbeispiel erzielt werden.
  • Im Vorstehenden wurden das Bildaufnahmesystem und die Bildaufnahmevorrichtung gemäß den Ausführungsbeispielen beschrieben, aber die vorliegende Erfindung ist nicht auf die oben erwähnten Ausführungsbeispiele beschränkt, und verschiedene Änderungen sind innerhalb des Bereichs möglich, die nicht vom Ziel der vorliegenden Erfindung abweichen.
  • Beispielsweise kann jeder der horizontalen Betrachtungswinkel des Kamerasensors 20F in dem ersten Ausführungsbeispiel und der horizontalen Betrachtungswinkel der Kamerasensoren 120L und 120R in dem zweiten Ausführungsbeispiel mehr als 180 Grad (z.B. 190 Grad) betragen.
  • Darüber hinaus muss bei dem ersten Ausführungsbeispiel der linke erste Bereich nur ein beliebiger Azimutwinkelbereich sein, der 45°< θf<90° erfüllt, und der rechte erste Bereich muss nur ein beliebiger Azimutwinkelbereich sein, der -90°< θf< -45° erfüllt. In ähnlicher Weise müssen in dem zweiten Ausführungsbeispiel der dritte Bereich und der vierte Bereich jeweils nur ein beliebiger Azimutwinkelbereich sein, der 45°< θl, θr<90° erfüllt.
  • Ferner ist es in dem ersten Ausführungsbeispiel nicht erforderlich, dass der Kamerasensor 20F für die Erzeugung des PVM-Bildes verwendet wird. Das heißt, der Kamerasensor 20F ist nicht erforderlich, auch die Funktion des Front-PVM-Kamerasensors zu haben, und kann zusätzlich zum Front-PVM-Kamerasensor neu eingeführt werden. Das Gleiche gilt auch für das zweite Ausführungsbeispiel.
  • In dem zweiten Ausführungsbeispiel ist es nicht erforderlich, dass die Kamerasensoren 120L und 120R als Paar an dem eigenen Fahrzeug V montiert sind, und jeder der Kamerasensoren 120L und 120R kann allein montiert werden. Wenn der Kamerasensor 120L an der Position P2 des eigenen Fahrzeugs V montiert ist, kann der Kamerasensor 20R (d. h. der rechte PVM-Kamerasensor der verwandten Art) an der Position P3 montiert werden. In ähnlicher Weise kann, wenn der Kamerasensor 120R an der Position P3 des eigenen Fahrzeugs V montiert ist, der Kamerasensor 20L (d.h. der zugehörige linke PVM-Kamerasensor) an der Position P2 montiert werden. Auch bei dieser Konfiguration kann ein Bild eines dreidimensionalen Objekts, das auf der diagonal vorderen linken oder der diagonal vorderen rechten Seite des eigenen Fahrzeugs V vorhanden ist, in geeigneter Weise aufgenommen werden.
  • Um ein Bild eines dreidimensionalen Objekts, das sich schräg vor einem Fahrzeug befindet, in geeigneter Weise aufzunehmen, ohne die Anzahl der Pixel eines Bildsensors stark zu erhöhen, ist ein Bildaufnahmesystem vorgesehen, das umfasst: einen Front-Kamerasensor (30) mit einem ersten horizontalen Betrachtungswinkel von weniger als 180 Grad; und einen Kamerasensor zur Bilderzeugung (20F) mit einem zweiten horizontalen Betrachtungswinkel von 180 Grad oder mehr. Der letztgenannte Kamerasensor umfasst: einen Bildsensor (22) mit einer Bildaufnahmefläche (22a); und ein optisches System (21), das ein Objektiv (21a) umfasst und so konfiguriert ist, dass es Licht von einem Objekt auf der Bildaufnahmefläche abbildet. Der Bildsensor hat: einen spezifischen Bereich, in dem Licht von einem Objekt, das sich innerhalb einer diagonalen lateralen Azimutwinkelspanne befindet, auf die Bildaufnahmefläche abzubilden ist, wobei die diagonale laterale Azimutwinkelspanne eine Spanne von einem Azimutwinkel, der auf der Grundlage eines Grenzazimutwinkels, der den ersten horizontalen Betrachtungswinkel definiert, bestimmt wird, bis zu einem Azimutwinkel ist, der einer diagonalen Vorwärtsrichtung des Fahrzeugs entspricht; und einen Restbereich, in dem Licht von einem Objekt, das sich innerhalb einer Rest-Azimutwinkelspanne befindet, auf die Bildaufnahmefläche abzubilden ist, wobei die Rest-Azimutwinkelspanne durch Ausschluss der diagonalen seitlichen Azimutwinkelspanne aus dem zweiten horizontalen Betrachtungswinkel erhalten wird. Das Objektiv hat eine gekrümmte Oberfläche, die so geformt ist, dass die horizontale Pixeldichte in dem spezifischen Bereich größer wird als die horizontale Pixeldichte in dem Restbereich.

Claims (5)

  1. Bildaufnahmesystem für ein Fahrzeug, wobei das Bildaufnahmesystem aufweist: einen Frontkamerasensor (30) mit einem vorbestimmten ersten horizontalen Betrachtungswinkel, bei dem ein horizontaler Betrachtungswinkel weniger als 180 Grad beträgt, wenn eine Orientierung einer Referenzachse, die eine Achse parallel zu einer Längsachse eines Fahrzeugs ist, als eine Referenzorientierung eingestellt ist, wobei der Frontkamerasensor (30) konfiguriert ist, um an dem Fahrzeug derart montiert zu sein, dass der erste horizontale Betrachtungswinkel in einem Bereich auf einer Frontseite des Fahrzeugs in Bezug auf Azimutwinkel enthalten ist, die einer seitlichen Richtung des Fahrzeugs entsprechen, wobei der Frontkamerasensor (30) weiterhin konfiguriert ist, um eine photoelektrische Umwandlung von Licht von einem innerhalb des ersten horizontalen Betrachtungswinkels positionierten Objekt unter den vor dem Fahrzeug positionierten Objekten in ein elektrisches Signal durchzuführen, um dadurch vordere Schmalgebietbilddaten zu erfassen, die für die Fahrunterstützungssteuerung des Fahrzeugs verwendet werden; und einen Kamerasensor zur Bilderzeugung (20F, 120L, 120R) mit einem vorbestimmten zweiten horizontalen Betrachtungswinkel, bei dem der horizontale Betrachtungswinkel 180 Grad oder mehr beträgt, wobei der Kamerasensor zur Bilderzeugung (20F, 120L, 120R) konfiguriert ist, um an dem Fahrzeug montiert zu werden, und weiterhin konfiguriert ist, um eine photoelektrische Umwandlung von Licht von einem innerhalb des zweiten horizontalen Betrachtungswinkels positionierten Objekt unter den im Umfeld des Fahrzeugs positionierten Objekten in ein elektrisches Signal durchzuführen, um dadurch Umgebungs-Weitgebietbilddaten zu erfassen, die zur Erzeugung eines Überkopfansichtsbildes des Fahrzeugs verwendet werden, wobei der Kamerasensor zur Bilderzeugung (20F, 120L, 120R) umfasst: einen Bildsensor (22, 122L, 122R) mit einer Bildaufnahmefläche (22a, 122aL, 122aR), auf der eine Vielzahl von Pixeln, die jeweils zur Durchführung der photoelektrischen Umwandlung konfiguriert sind, zweidimensional angeordnet sind; und ein optisches System (21, 121L, 121R), das ein Objektiv (21a, 121aL, 121aR) enthält und konfiguriert ist, um das Licht von den Objekten auf die Bildaufnahmefläche (22a, 122aL, 122aR) abzubilden, wobei der Bildsensor (22, 122L, 122R) aufweist: einen spezifischen Bereich, in dem Licht von einem Objekt, das sich innerhalb einer diagonalen seitlichen Azimutwinkelspanne befindet, auf die Bildaufnahmefläche (22a, 122aL, 122aR) abzubilden ist, wobei die diagonale seitliche Azimutwinkelspanne eine Spanne von einem vorbestimmten Azimutwinkel bis zu einem Azimutwinkel ist, der einer diagonalen Vorwärtsrichtung des Fahrzeugs entspricht, wobei der vorbestimmte Azimutwinkel auf der Grundlage eines Grenzazimutwinkels bestimmt wird, der ein Azimutwinkel an einer Grenzlinie ist, die den ersten horizontalen Betrachtungswinkel definiert; und einen Restbereich, in dem Licht von einem Objekt, das sich innerhalb einer Rest-Azimutwinkelspanne befindet, auf die Bildaufnahmefläche (22a, 122aL, 122aR) abzubilden ist, wobei die Rest-Azimutwinkelspanne erhalten wird, indem die diagonale laterale Azimutwinkelspanne von dem zweiten horizontalen Betrachtungswinkel ausgeschlossen wird, wobei das Objektiv (21a, 121aL, 121aR) ein Objektiv mit einer gekrümmten Oberfläche ist, die so geformt ist, dass eine horizontale Pixeldichte in dem spezifischen Bereich größer wird als die horizontale Pixeldichte in dem restlichen Bereich, wobei die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels ist, und wobei die von dem Kamerasensor zur Bilderzeugung (20F, 120L, 120R) bezogenen Umgebungs-Weitgebietbilddaten ausgebildet sind, um für die Fahrunterstützungssteuerung des Fahrzeugs nutzbar zu sein.
  2. Bildaufnahmevorrichtung, die an einem linken Seitenteil eines Fahrzeugs montierbar ist, wobei die Bildaufnahmevorrichtung aufweist: einen Bildsensor (122L) mit einer Bildaufnahmefläche (122aL), auf der eine Vielzahl von Pixeln zweidimensional angeordnet ist, wobei die Vielzahl von Pixeln jeweils konfiguriert ist, um eine photoelektrische Umwandlung von empfangenem Licht in ein elektrisches Signal durchzuführen und das elektrische Signal auszugeben; und ein optisches System (121L), das ein Objektiv (121aL) enthält und konfiguriert ist, um Licht von einem Objekt auf die Bildaufnahmefläche (122aL) abzubilden, wobei die Abmessungen der Bildaufnahmefläche (122aL) und die Brennweite des Objektivs (121aL) so eingestellt sind, dass der horizontale Betrachtungswinkel 180 Grad oder mehr beträgt, wobei, wenn eine Orientierung einer Referenzachse, die eine Achse ist, die durch eine Montageposition an dem Fahrzeug verläuft und parallel zu einer Längsachse des Fahrzeugs ist, als eine Referenzorientierung eingestellt ist, in einem Fall, in dem in dem horizontalen Betrachtungswinkel ein Azimutwinkel auf einer linken Seite der Referenzachse definiert ist, um einen positiven Wert zu haben, und ein Azimutwinkel auf einer rechten Seite der Referenzachse definiert ist, um einen negativen Wert zu haben: die Referenzachse in einem vertikalen Betrachtungswinkel enthalten ist; und die Bildaufnahmefläche (122aL) aufweist: einen dritten Bereich, der ein Bereich ist, der einer dritten Spanne entspricht, und einen vierten Bereich, der ein Bereich ist, der einer vierten Spanne entspricht, wobei die dritte Spanne in einer Azimutwinkelspanne enthalten ist, die größer als 45 Grad und kleiner als 90 Grad ist, wobei die vierte Spanne eine Azimutwinkelspanne des horizontalen Betrachtungswinkels mit Ausnahme der dritten Spanne ist, und wobei das Objektiv (121aL) eine gekrümmte Oberfläche aufweist, die so geformt ist, dass eine horizontale Pixeldichte in dem dritten Bereich größer wird als die horizontale Pixeldichte in dem vierten Bereich, wobei die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels ist.
  3. Bildaufnahmevorrichtung gemäß Anspruch 2, die konfiguriert ist, um Umgebungs-Weitgebietbilddaten zu erfassen, die zur Erzeugung eines Überkopfansichtbildes des Fahrzeugs zu verwenden sind.
  4. Bildaufnahmevorrichtung, die an einem rechten Seitenteil eines Fahrzeugs montierbar ist, wobei die Bildaufnahmevorrichtung aufweist: einen Bildsensor (122R) mit einer Bildaufnahmefläche (122aR), auf der eine Vielzahl von Pixeln zweidimensional angeordnet ist, wobei die Vielzahl von Pixeln jeweils konfiguriert ist, um eine photoelektrische Umwandlung von empfangenem Licht in ein elektrisches Signal durchzuführen und das elektrische Signal auszugeben; und ein optisches System (121R), das ein Objektiv (121aR) enthält und konfiguriert ist, um Licht von einem Objekt auf die Bildaufnahmefläche (122aR) abzubilden, wobei die Abmessungen der Bildaufnahmefläche (122aR) und die Brennweite des Objektivs (121aR) so eingestellt sind, dass der horizontale Betrachtungswinkel 180 Grad oder mehr beträgt, wobei, wenn eine Orientierung einer Referenzachse, die eine Achse ist, die durch eine Montageposition an dem Fahrzeug verläuft und parallel zu einer Längsachse des Fahrzeugs ist, als eine Referenzorientierung eingestellt ist, in einem Fall, in dem in dem horizontalen Betrachtungswinkel ein Azimutwinkel auf einer rechten Seite der Referenzachse definiert ist, um einen positiven Wert zu haben, und ein Azimutwinkel auf einer linken Seite der Referenzachse definiert ist, um einen negativen Wert zu haben: die Referenzachse in einem vertikalen Betrachtungswinkel enthalten ist; und die Bildaufnahmefläche (122aR) aufweist: einen fünften Bereich, der ein Bereich ist, der einer fünften Spanne entspricht, und einen sechsten Bereich, der ein Bereich ist, der einer sechsten Spanne entspricht, wobei die fünfte Spanne in einer Azimutwinkelspanne enthalten ist, die größer als 45 Grad und kleiner als 90 Grad ist, wobei die sechste Spanne eine Azimutwinkelspanne des horizontalen Betrachtungswinkels mit Ausnahme der fünften Spanne ist, und wobei das Objektiv (121aR) eine gekrümmte Oberfläche aufweist, die so geformt ist, dass eine horizontale Pixeldichte in dem fünften Bereich größer wird als die horizontale Pixeldichte in dem sechsten Bereich, wobei die horizontale Pixeldichte die Anzahl der Pixel pro Einheit des horizontalen Betrachtungswinkels ist.
  5. Bildaufnahmevorrichtung gemäß Anspruch 4, die konfiguriert ist, um Umgebungs-Weitgebietbilddaten zu beziehen, die zur Erzeugung eines Überkopfansichtbildes des Fahrzeugs zu verwenden sind.
DE102021131051.2A 2020-11-30 2021-11-26 Bildaufnahmesystem und Bildaufnahmevorrichtung Active DE102021131051B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-198575 2020-11-30
JP2020198575A JP7400705B2 (ja) 2020-11-30 2020-11-30 撮像システム及び撮像装置

Publications (2)

Publication Number Publication Date
DE102021131051A1 DE102021131051A1 (de) 2022-06-02
DE102021131051B4 true DE102021131051B4 (de) 2023-07-20

Family

ID=81585962

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021131051.2A Active DE102021131051B4 (de) 2020-11-30 2021-11-26 Bildaufnahmesystem und Bildaufnahmevorrichtung

Country Status (4)

Country Link
US (1) US11760275B2 (de)
JP (1) JP7400705B2 (de)
CN (1) CN114572113B (de)
DE (1) DE102021131051B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024025462A (ja) 2022-08-12 2024-02-26 トヨタ自動車株式会社 車両制御装置、車両制御方法及びそのプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10253378A1 (de) 2001-11-16 2003-06-05 Autonetworks Technologies Ltd Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
JP2017043262A (ja) 2015-08-28 2017-03-02 トヨタ自動車株式会社 衝突回避支援装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
CN107097721B (zh) * 2011-08-26 2020-03-06 松下知识产权经营株式会社 驾驶辅助装置
JP6561431B2 (ja) * 2014-05-14 2019-08-21 株式会社デンソー 境界線認識装置および境界線認識プログラム
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
DE102015215561A1 (de) * 2015-08-14 2017-02-16 Conti Temic Microelectronic Gmbh Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung zur Objekterkennung mit einer solchen Fahrzeugkameravorrichtung
EP3193305B1 (de) * 2016-01-12 2018-09-12 Continental Automotive GmbH Verfahren und vorrichtung zur anzeige der frontsicht einer fahrzeugumgebung und entsprechendes fahrzeug
US10868981B2 (en) * 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus
JP6459016B2 (ja) * 2016-07-22 2019-01-30 パナソニックＩｐマネジメント株式会社 撮像システム、および、移動体システム
US20200324713A1 (en) * 2016-09-22 2020-10-15 Lg Electronics Inc. Vehicular camera apparatus and method
KR101859040B1 (ko) * 2016-09-22 2018-05-17 엘지전자 주식회사 차량용 카메라 장치 및 방법
JP6349558B1 (ja) * 2017-05-12 2018-07-04 パナソニックＩｐマネジメント株式会社 撮像システム及び表示システム
JP2018195951A (ja) 2017-05-16 2018-12-06 パナソニックＩｐマネジメント株式会社 撮像システム及び移動体制御システム
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
DE102017218722A1 (de) 2017-10-19 2019-04-25 Robert Bosch Gmbh Umfelderfassungssystem zum Erfassen eines Umfelds eines Fahrzeugs und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
JP7096662B2 (ja) * 2017-12-06 2022-07-06 フォルシアクラリオン・エレクトロニクス株式会社 画像表示装置及び駐車支援システム
US10489666B2 (en) * 2017-12-18 2019-11-26 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging system
EP3547678B1 (de) * 2017-12-19 2022-07-20 Panasonic Intellectual Property Management Co., Ltd. Bildgebungsvorrichtung, bildgebungssystem und anzeigesystem
US10623618B2 (en) * 2017-12-19 2020-04-14 Panasonic Intellectual Property Management Co., Ltd. Imaging device, display system, and imaging system
JP7170167B2 (ja) 2017-12-19 2022-11-14 パナソニックＩｐマネジメント株式会社 撮像装置、表示システム、および撮像システム
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7243478B2 (ja) * 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
JP2022122379A (ja) * 2021-02-10 2022-08-23 トヨタ自動車株式会社 車両用画像処理システム、車両及び画像送信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10253378A1 (de) 2001-11-16 2003-06-05 Autonetworks Technologies Ltd Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
JP2017043262A (ja) 2015-08-28 2017-03-02 トヨタ自動車株式会社 衝突回避支援装置

Also Published As

Publication number Publication date
JP2022086516A (ja) 2022-06-09
DE102021131051A1 (de) 2022-06-02
US20220171275A1 (en) 2022-06-02
CN114572113B (zh) 2024-01-30
US11760275B2 (en) 2023-09-19
CN114572113A (zh) 2022-06-03
JP7400705B2 (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE102007014012B4 (de) Fahrzeugumgebung-Überwachungsgerät, Fahrzeugumgebung-Überwachungsverfahren und Fahrzeugumgebung-Überwachungsprogramm
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE60215718T2 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102008006375B4 (de) Überwachungssystem
DE102005056647B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE10301469A1 (de) Infrarotbildverarbeitungsvorrichtung
DE102005056645A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
EP1404545A1 (de) Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges
DE102015114403A1 (de) Annäherungsobjekterfassungsvorrichtung für ein Fahrzeug und Annäherungsobjekterfassungsverfahren dafür
DE102005056429A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102015223176A1 (de) Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
EP3078015B1 (de) Verfahren und vorrichtung zum erzeugen einer warnung mittels zweier durch kameras erfasster bilder einer fahrzeugumgebung
EP1028387B1 (de) Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102021131051B4 (de) Bildaufnahmesystem und Bildaufnahmevorrichtung
DE112009005352T5 (de) Distanzmessvorrichtung und Distanzmessverfahren
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102005056665A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs
DE102013220839A1 (de) Dynamische adaptive Rückspiegelabblendungs-Überlagerung durch Szenehelligkeitsschätzung
EP3997614A1 (de) Verfahren und vorrichtung zum kamerabasierten bestimmen eines abstandes eines bewegten objektes im umfeld eines kraftfahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001240000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R084 Declaration of willingness to licence