DE112018005975T5 - Image processing system and light distribution system - Google Patents

Image processing system and light distribution system Download PDF

Info

Publication number
DE112018005975T5
DE112018005975T5 DE112018005975.8T DE112018005975T DE112018005975T5 DE 112018005975 T5 DE112018005975 T5 DE 112018005975T5 DE 112018005975 T DE112018005975 T DE 112018005975T DE 112018005975 T5 DE112018005975 T5 DE 112018005975T5
Authority
DE
Germany
Prior art keywords
luminance
calculation formula
luminance calculation
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018005975.8T
Other languages
German (de)
Inventor
Koji Doi
Hiromichi Otsuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of DE112018005975T5 publication Critical patent/DE112018005975T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/33—Driving situation
    • B60Q2300/337—Tunnels or bridges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Erfindung schafft ein Bildverarbeitungssystem, das ein Detektionsziel mit einem hohen Grad der Genauigkeit identifizieren kann, ohne die Kosten zu erhöhen. Dieses Bildverarbeitungssystem ist mit einer Bildaufnahmevorrichtung 11 und einer Bildverarbeitungsvorrichtung 1 versehen, die eine Leuchtdichteberechnungseinheit 14, die eine Leuchtdichteberechnungsformel verwendet, um ein Leuchtdichtebild aus einem aufgenommenen Bild, das durch die Bildaufnahmevorrichtung aufgenommen wird, zu erzeugen, und eine Detektionseinheit 15, die ein vorgeschriebenes Zielobjekt auf der Grundlage des Leuchtdichtebilds detektiert, enthält, wobei die Bildverarbeitungsvorrichtung 1 zusätzlich mit einer Leuchtdichteberechnungsformel-Modifikationseinheit 13 versehen ist, die die durch die Leuchtdichteberechnungseinheit verwendete Leuchtdichteberechnungsformel in Übereinstimmung mit einem Leuchtdichteindexwert eines vorgeschriebenen Bereichs des Leuchtdichtebildes oder dem Typ des vorgeschriebenen Zielobjekts, das durch die Detektionseinheit detektiert wird, modifiziert.

Figure DE112018005975T5_0000
The present invention provides an image processing system that can identify a detection target with a high degree of accuracy without increasing the cost. This image processing system is provided with an image pickup device 11 and an image processing device 1 having a luminance calculation unit 14 that uses a luminance calculation formula to generate a luminance image from a captured image captured by the image pickup device, and a detection unit 15 that is a prescribed target object detected on the basis of the luminance image, and the image processing device 1 is additionally provided with a luminance calculation formula modification unit 13 which converts the luminance calculation formula used by the luminance calculation unit in accordance with a luminance index value of a prescribed range of the luminance image or the type of the prescribed target object by the Detection unit is detected, modified.
Figure DE112018005975T5_0000

Description

Technisches GebietTechnical field

Die vorliegende Erfindung bezieht sich auf ein fahrzeuginternes Bildverarbeitungssystem und ein Lichtverteilungssteuersystem, das die Lichtverteilung eines Fahrzeugscheinwerfers steuert.The present invention relates to an in-vehicle image processing system and a light distribution control system that controls the light distribution of a vehicle headlamp.

Technischer HintergrundTechnical background

Herkömmlich ist eine Erfindung bekannt gewesen, die sich auf ein fahrzeuginternes Bildverarbeitungssystem bezieht (siehe die PTL 1 im Folgenden). Das in der PTL 1 beschriebene Bildverarbeitungssystem enthält fahrzeuginterne Bildaufnahmemittel und Bildanalysemittel zum Aufnehmen eines durch die Bildaufnahmemittel aufgenommenen Bildes und zum Analysieren des Bildes. Diese Bildanalysemittel analysieren das von den Bildaufnahmemitteln aufgenommene Bild und detektieren die Position der Schlussleuchte des vorausfahrenden Fahrzeugs, die rot glüht.Conventionally, an invention has been known which relates to an in-vehicle image processing system (see PTL 1 below). The image processing system described in PTL 1 contains in-vehicle image recording means and image analysis means for recording an image recorded by the image recording means and for analyzing the image. These image analysis means analyze the image recorded by the image recording means and detect the position of the tail lamp of the vehicle in front, which glows red.

Dieses Bildverarbeitungssystem detektiert zuerst ein rotes Pixel aus einem aufgenommenen Bild und erzeugt durch das Verbinden benachbarter roter Pixel eine „Elementgruppe“ (= Lichtfleck). Als Nächstes werden das Fahrzeug (Schlussleuchte) und ein weiteres Objekt (Reflektor usw.) basierend auf der Merkmalsmenge der Elementgruppe unterschieden (z. B. der Größe eines in die Elementgruppe einbeschriebenen oder um die Elementgruppe umbeschriebenen Rechtecks, der maximalen und minimalen Leuchtdichte der in der Elementgruppe enthaltenen Pixel usw.).This image processing system first detects a red pixel from a captured image and creates an “element group” (= light spot) by connecting adjacent red pixels. Next, the vehicle (tail light) and another object (reflector, etc.) are distinguished based on the feature set of the element group (e.g. the size of a rectangle inscribed or rewritten in the element group, the maximum and minimum luminance of the in the element group, pixels, etc.).

Liste der EntgegenhaltungenList of citations

PatentliteraturPatent literature

PTL 1: JP 2014-232431 A PTL 1: JP 2014-232431 A

Zusammenfassung der ErfindungSummary of the invention

Technisches ProblemTechnical problem

Das Bildverarbeitungssystem nach PTL 1 weist ein Problem auf, ein Objekt in einer Farbe nah bei Rot, wie z. B. einen orangen Reflektor auf der Straßenoberfläche, fälschlicherweise als eine Schlussleuchte eines vorausfahrenden Fahrzeugs zu erkennen.The image processing system according to PTL 1 has a problem, an object in a color close to red, such as. B. incorrectly recognize an orange reflector on the road surface as a tail lamp of a vehicle in front.

Um die Genauigkeit der Schlussleuchtendetektion zu verbessern, ist es bevorzugt, ein Bild unter Belichtungsbedingungen aufzunehmen, die zum Verarbeiten des Unterscheidens der Farbe und der Helligkeit eines Zielobjekts geeignet sind. Wenn jedoch mehrere Erkennungsfunktionen gleichzeitig in einem System betrieben werden, sind eine teure Kamera und eine Schaltung erforderlich, um ein Bild unter den für jede Funktion optimalen Belichtungsbedingungen aufzunehmen. Andererseits gibt für den Zweck der Kostensenkung einen Fall, in dem es keine andere Wahl gibt, als die Belichtungsbedingungen mit den mehreren Erkennungsfunktionen zu teilen und durch das Eingeben eine Bilds der Helligkeit, das aus der Sicht der Schlussleuchtendetektion nicht notwendigerweise geeignet ist, einen Schlussleuchtendetektionsprozess auszuführen. Das gleiche Problem kann nicht nur auftreten, wenn das Detektionsziel die Schlussleuchte eines weiteren Fahrzeugs ist, sondern außerdem, wenn ein selbstleuchtender Lichtstrahler, wie z. B. ein Scheinwerfer eines entgegenkommenden Fahrzeugs und eine Ampel, detektiert werden soll. Zusätzlich kann das gleiche Problem nicht nur im Fall des Lichtstrahlers auftreten, sondern außerdem in dem Fall, in dem in einem aufgenommenen Bild an der Einfahrt oder Ausfahrt eines Tunnels oder dergleichen vom Schwarz ununterscheidbare dunkle Bereiche oder vollständig weiße helle Bereiche auftreten, wenn am Tag ein weiteres Fahrzeug detektiert wird.In order to improve the accuracy of the tail lamp detection, it is preferable to take an image under exposure conditions suitable for processing the discrimination of the color and the brightness of a target object. However, when multiple detection functions are operated simultaneously in one system, an expensive camera and circuitry are required to take an image under the optimal exposure conditions for each function. On the other hand, for the purpose of lowering the cost, there is a case where there is no other option than to share the exposure conditions with the multiple detection functions and by inputting an image of the brightness that is not necessarily suitable from the point of view of the tail lamp detection to perform a tail lamp detection process . The same problem can occur not only if the detection target is the tail lamp of another vehicle, but also if a self-illuminating light emitter, such as. B. a headlight of an oncoming vehicle and a traffic light to be detected. In addition, the same problem may arise not only in the case of the light emitter, but also in the case where dark areas indistinguishable from black or completely white bright areas occur in a captured image at the entrance or exit of a tunnel or the like when a day occurs additional vehicle is detected.

Die vorliegende Erfindung ist im Hinblick auf die obigen Probleme gemacht worden, wobei es ihre Aufgabe ist, ein Bildverarbeitungssystem zu schaffen, das ein zu detektierendes Zielobjekt mit einem hohen Grad der Genauigkeit ohne eine Zunahme der Kosten identifizieren kann.The present invention has been made in view of the above problems, and its object is to provide an image processing system that can identify a target object to be detected with a high degree of accuracy without an increase in cost.

Lösung des Problemsthe solution of the problem

Die vorliegende Anmeldung umfasst mehrere Mittel zum Lösen des obigen Problems, wobei ein Bildverarbeitungssystem ein Beispiel dafür ist, das mit einer Bildaufnahmevorrichtung und einer Bildverarbeitungsvorrichtung, die eine Leuchtdichteberechnungseinheit, die eine Leuchtdichteberechnungsformel verwendet, um ein Leuchtdichtebild aus einem aufgenommenen Bild, das durch die Bildaufnahmevorrichtung aufgenommen wird, zu erzeugen, und eine Detektionseinheit, die ein vorgeschriebenes Zielobjekt basierend auf dem Leuchtdichtebild detektiert, enthält, versehen ist, wobei die Bildverarbeitungsvorrichtung zusätzlich mit einer Leuchtdichteberechnungsformel-Modifikationseinheit versehen ist, die die durch die Leuchtdichteberechnungseinheit verwendete Leuchtdichteberechnungsformel in Übereinstimmung mit einem Leuchtdichteindexwert eines vorgeschriebenen Bereichs des Leuchtdichtebildes oder dem Typ des durch die Detektionseinheit detektierten vorgeschriebenen Zielobjekts modifiziert.The present application includes several means for solving the above problem, an example of an image processing system having an image pickup device and an image processing device using a luminance calculation unit that uses a luminance calculation formula to convert a luminance image from a captured image captured by the image pickup device is generated, and includes a detection unit that detects a prescribed target based on the luminance image, and the image processing apparatus is additionally provided with a luminance calculation formula modification unit that converts the luminance calculation formula used by the luminance calculation unit in accordance with a luminance index value of a prescribed one Modified area of the luminance image or the type of the prescribed target object detected by the detection unit.

Vorteilhafte Wirkungen der ErfindungAdvantageous effects of the invention

Gemäß der vorliegenden Erfindung kann die Detektionsrate eines Detektionszielobjektes sogar in einer Situation, in der unter einer für die Detektion des Detektionszielobjektes geeigneten Belichtungsbedingung kein aufgenommenes Bild erhalten werden kann, ohne eine Zunahme der Kosten verbessert werden.According to the present invention, the detection rate of a detection target can even be in a situation in which a captured image cannot be obtained under an exposure condition suitable for the detection of the detection target object can be improved without an increase in cost.

FigurenlisteFigure list

  • 1 ist ein schematisches Konfigurationsdiagramm eines Fahrzeugsteuersystems 100. 1 10 is a schematic configuration diagram of a vehicle control system 100 .
  • 2 ist eine erklärende Ansicht eines vorgeschriebenen Bereichs (Bereichs des vorderen Fahrzeugs) A, der in einem Leuchtdichtebild festgelegt ist. 2nd Fig. 12 is an explanatory view of a prescribed area (front vehicle area) A set in a luminance image.
  • 3 ist ein Ablaufplan der Lichtverteilungssteuerungsverarbeitung durch das Fahrzeugsteuersystem 100. 3rd Fig. 11 is a flowchart of light distribution control processing by the vehicle control system 100 .
  • 4 ist ein Ablaufplan der Bestimmungsverarbeitung (Modifikationsverarbeitung) einer Leuchtdichteberechnungsformel durch eine Leuchtdichteberechnungsformel-Modifikationseinheit 13. 4th Fig. 14 is a flowchart of determination processing (modification processing) of a luminance calculation formula by a luminance calculation formula modification unit 13 .
  • 5 ist ein Beispiel eines Bildes einer Schlussleuchte eines vorausfahrenden Fahrzeugs und eines Reflektors. 5 is an example of an image of a tail lamp of a preceding vehicle and a reflector.
  • 6 ist ein Diagramm, das eine Beziehung zwischen dem Abstand und dem Leuchtdichtewert der Pixel der Bilder 51 und 52 darstellt, die eine Schlussleuchte und einen Reflektor unter der gleichen Belichtungsbedingung betreffen. 6 Fig. 3 is a graph showing a relationship between the distance and the luminance value of the pixels of the images 51 and 52 represents that affect a tail lamp and a reflector under the same exposure condition.
  • 7 ist eine Ansicht, die ein Beispiel eines Leuchtdichtebildes und einer Leuchtdichteverteilung eines orangen Reflektors an einer Straße darstellt. 7 Fig. 12 is a view illustrating an example of a luminance image and a luminance distribution of an orange reflector on a road.
  • 8 ist ein Beispiel eines Ablaufplans der Bestimmungsverarbeitung (Modifikationsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel Modifikationseinheit 13. 8th is an example of a flowchart of determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 .
  • 9 ist ein Beispiel eines Ablaufplans der Bestimmungsverarbeitung (Modifizierungsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13. 9 is an example of a flowchart of determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 .
  • 10 ist ein Beispiel eines Ablaufplans der Bestimmungsverarbeitung (Modifizierungsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13. 10th is an example of a flowchart of determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 .
  • 11 ist eine Tabelle, die den Inhalt jeder Leuchtdichteberechnungsformel und die Bedingungen, unter denen jede Leuchtdichteberechnungsformel ausgewählt wird, zusammenfasst. 11 is a table summarizing the content of each luminance calculation formula and the conditions under which each luminance calculation formula is selected.

Beschreibung der AusführungsformenDescription of the embodiments

Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung bezüglich der Zeichnungen beschrieben.An embodiment of the present invention will be described below with reference to the drawings.

1 ist ein schematisches Konfigurationsdiagramm des Fahrzeugsteuersystems gemäß der vorliegenden Ausführungsform. Ein Fahrzeugsteuersystem 100 in dieser Figur ist in einem Fahrzeug (das manchmal als ein eigenes Fahrzeug bezeichnet wird) vorgesehen und mit einer Kamera 11, die in einem vorderen Abschnitt des Fahrzeugs als eine Bildaufnahmevorrichtung installiert ist, die periodisch ein Bild eines vorgeschriebenen Bereichs vor dem Fahrzeug in der Art einer zeitlichen Abfolge aufnimmt, einer Bildverarbeitungsvorrichtung 1, die ein durch die Kamera 11 aufgenommenes Bild (aufgenommenes Bild) verarbeitet, und einer Fahrzeugsteuervorrichtung 2, die das Fahrzeug basierend auf einem Verarbeitungsergebnis der Bildverarbeitungsvorrichtung 1 steuert, versehen. 1 10 is a schematic configuration diagram of the vehicle control system according to the present embodiment. A vehicle control system 100 in this figure is provided in a vehicle (sometimes referred to as a separate vehicle) and with a camera 11 installed in a front portion of the vehicle as an image pickup device that periodically captures an image of a prescribed area in front of the vehicle in the manner of a time sequence, an image processing device 1 who have a through the camera 11 processed image (captured image), and a vehicle control device 2nd that the vehicle based on a processing result of the image processing device 1 controls, provided.

Jede der Bildverarbeitungsvorrichtung 1 und der Fahrzeugsteuervorrichtung 2 ist ein Computer (z. B. ein Mikrocomputer), wobei jede z. B. eine Eingabeeinheit, eine Zentraleinheit (CPU oder MPU), die ein Prozessor ist, einen Festwertspeicher (ROM) und einen Schreib-Lese-Speicher (RAM), die Speichergeräte sind, und eine Ausgabeeinheit enthält. Die Eingabeeinheit setzt verschiedene Informationen, die in die Bildverarbeitungsvorrichtung 1 und die Fahrzeugsteuervorrichtung 2 eingegeben werden, so um, dass sie für die CPU berechenbar sind. Der ROM ist ein Aufzeichnungsmedium, das ein Steuerprogramm, das eine arithmetische Verarbeitung ausführt, die später geeignet beschrieben wird, verschiedene Informationen, die für die Ausführung der arithmetischen Verarbeitung erforderlich sind, und dergleichen speichert, während die CPU eine vorgeschriebene arithmetische Verarbeitung an einem Signal ausführt, das von der Eingabeeinheit, dem ROM und dem RAM in Übereinstimmung mit dem im ROM gespeicherten Steuerprogramm genommen wird. Die Ausgabeeinheit gibt einen Befehl zum Steuern eines Ausgabeziels, die vom Ausgabeziel verwendeten Informationen und dergleichen aus. Die Speichervorrichtung ist nicht auf die oben beschriebenen Halbleiterspeicher des ROM und des RAM eingeschränkt, sondern kann durch eine magnetische Speichervorrichtung, wie z. B. ein Festplattenlaufwerk, ersetzt sein.Each of the image processing devices 1 and the vehicle control device 2nd is a computer (e.g. a microcomputer), each e.g. B. an input unit, a central processing unit (CPU or MPU), which is a processor, a read-only memory (ROM) and a random access memory (RAM), which are storage devices, and an output unit. The input unit puts various information into the image processing device 1 and the vehicle control device 2nd must be entered so that they can be calculated by the CPU. The ROM is a recording medium that stores a control program that performs arithmetic processing, which will be suitably described later, various information required for performing the arithmetic processing and the like while the CPU performs prescribed arithmetic processing on a signal which is taken from the input unit, the ROM and the RAM in accordance with the control program stored in the ROM. The output unit issues a command to control an output target, the information used by the output target, and the like. The memory device is not limited to the semiconductor memories of the ROM and the RAM described above, but can be formed by a magnetic memory device such as. B. a hard drive to be replaced.

Die Bildverarbeitungsvorrichtung 1 ist ein Computer, der eine externe Erkennungsverarbeitung einschließlich einer Objektdetektion basierend auf einem aufgenommenen Bild (Farbbild) der Kamera 11 ausführt, und enthält eine Bildaufnahmeeinheit 12, eine Leuchtdichteberechnungsformel-Modifikationseinheit 13, eine Leuchtdichteberechnungseinheit 14 und eine Detektionseinheit 15. Die Fahrzeugsteuervorrichtung 2 ist ein Computer, der eine Fahrzeugsteuerungsverarbeitung basierend auf einem Detektionsergebnis der Detektionseinheit 15 ausführt, das von der Bildverarbeitungsvorrichtung 1 ausgegeben wird, und enthält eine Lichtverteilungssteuereinheit 16 und eine Konstantfahrgeschwindigkeits- und Fahrzeugabstandssteuereinheit 17. Während die Bildverarbeitungsvorrichtung 1 und die Fahrzeugsteuervorrichtung 2, die in 1 dargestellt sind, durch zwei verschiedene Computer ausgebildet sind, können sie durch einen integrierten Computer ausgebildet sein.The image processing device 1 is a computer that performs external recognition processing including object detection based on a captured image (color image) of the camera 11 executes, and includes an image pickup unit 12th , a luminance calculation formula modification unit 13 , a Luminance calculation unit 14 and a detection unit 15 . The vehicle control device 2nd is a computer that performs vehicle control processing based on a detection result of the detection unit 15 executes that from the image processing device 1 is output, and includes a light distribution control unit 16 and a constant speed and vehicle distance control unit 17th . While the image processing device 1 and the vehicle control device 2nd , in the 1 are formed by two different computers, they can be formed by an integrated computer.

Die Bildaufnahmeeinheit 12 steuert die Kamera 11, um periodisch eine Belichtungszeit (Verschlusszeit) festzulegen und ein Bild aufzunehmen, nimmt eine zeitliche Abfolge von Farbbildern auf und führt eine Verarbeitung des Speicherns dieser in der Bildverarbeitungsvorrichtung 1 aus. Das Farbbild ist durch das RGB-Farbmodell definiert, wobei die Farbe jedes Pixels, das das Farbbild bildet, durch die Kombination der Helligkeit von Rot (R), Grün (G) und Blau (B) definiert ist. In der vorliegenden Ausführungsform wird die Helligkeit jedes des R, G und B durch einen ganzzahligen Wert von 0 bis 255 (d. h., 256 Abstufungen) ausgedrückt, wobei die Farbe jedes Pixels durch die Kombination von drei Werten (R-Wert, G-Wert und B-Wert) definiert ist. Das Farbbild wird in einem vorgeschriebenen Zyklus aufgenommen, wobei z. B. 30 Rahmen pro Sekunde aufgenommen werden können.The image acquisition unit 12th controls the camera 11 to periodically set an exposure time (shutter speed) and take an image takes a time sequence of color images and performs processing of storing them in the image processing apparatus 1 out. The color image is defined by the RGB color model, and the color of each pixel that forms the color image is defined by the combination of the brightness of red (R), green (G) and blue (B). In the present embodiment, the brightness of each of the R, G and B is expressed by an integer value from 0 to 255 (ie, 256 gradations), the color of each pixel by the combination of three values (R value, G value and B value) is defined. The color image is recorded in a prescribed cycle, z. B. 30 frames per second can be recorded.

Die Leuchtdichteberechnungseinheit (Leuchtdichtebilderzeugungseinheit) 14 führt die Verarbeitung des Erzeugens eines Leuchtdichtebildes (Y) aus dem aufgenommenen Bild (Farbbild) der Kamera 11 unter Verwendung der Leuchtdichteberechnungsformel aus, die durch die Leuchtdichteberechnungsformei-Modifikationseinheit 13 bestimmt wird. Das hier erzeugte Leuchtdichtebild wird in der Bildverarbeitungsvorrichtung 1 gespeichert und an die Detektionseinheit 15 und die Leuchtdichteberechnungsformel-Modifikationseinheit 13 ausgegeben.The luminance calculation unit (luminance imaging unit) 14 performs the processing of generating a luminance image (Y) from the captured image (color image) of the camera 11 using the luminance calculation formula by the luminance calculation formula modification unit 13 is determined. The luminance image generated here is in the image processing device 1 saved and sent to the detection unit 15 and the luminance calculation formula modification unit 13 spent.

Die Leuchtdichteberechnungsformei-Modifikationseinheit 13 führt die Verarbeitung des Modifizierens und Bestimmens einer Leuchtdichteberechnungsformel, die durch die Leuchtdichteberechnungseinheit 14 verwendet wird, in Übereinstimmung mit einem Leuchtdichteindexwert eines vorgeschriebenen Bereichs A, der sich im mittleren Teil eines Leuchtdichtebildes befindet, das durch die Leuchtdichteberechnungseinheit 14 in der Vergangenheit (z. B. vor einem vorgeschriebenen Rahmen) erzeugt wurde, einer Ausgabe der Detektionseinheit 15, die die Informationen hinsichtlich eines vorgeschriebenen Zielobjekts enthält, das ein Detektionsziel der Detektionseinheit 15 ist, und einer Ausgabe der Fahrzeugsteuervorrichtung 2, die die Informationen hinsichtlich einer Anwendung enthält, die durch die Fahrzeugsteuervorrichtung 2 ausgeführt wird, aus. In der vorliegenden Ausführung werden die vier später beschriebenen Leuchtdichteberechnungsformeln (erste bis vierte Leuchtdichteberechnungsformel) verwendet, wobei die Leuchtdichteberechnungsformel-Modifikationseinheit 13 aus den vier Leuchtdichteberechnungsformeln eine auswählt. Jede Leuchtdichteberechnungsformel ist durch die Summe der Werte definiert, die durch das Multiplizieren jedes des R-Werts, des G-Werts und des B-Werts mit einem vorgeschriebenen Koeffizienten erhalten werden, wobei eine Leuchtdichteberechnungseinheit 14 die Leuchtdichte eines Pixels durch das Zuordnen eines R-Werts, eines G-Werts und eines B-Werts des Pixels, das das Farbbild bildet, zu dieser Formel berechnet. Ein Leuchtdichtebild wird durch das Berechnen und das Aggregieren der Leuchtdichte für jedes Pixel des aufgenommenen Bildes der Kamera 11 erhalten.The luminance calculation formula modification unit 13 performs the processing of modifying and determining a luminance calculation formula by the luminance calculation unit 14 is used in accordance with a luminance index value of a prescribed range A located in the central part of a luminance image by the luminance calculation unit 14 was generated in the past (e.g. before a prescribed frame), an output of the detection unit 15 which contains the information regarding a prescribed target object which is a detection target of the detection unit 15 and an output of the vehicle control device 2nd that contains the information regarding an application generated by the vehicle control device 2nd is running out. In the present embodiment, the four luminance calculation formulas described later (first to fourth luminance calculation formula) are used, and the luminance calculation formula modification unit 13 selects one from the four luminance calculation formulas. Each luminance calculation formula is defined by the sum of the values obtained by multiplying each of the R value, the G value and the B value by a prescribed coefficient, with a luminance calculation unit 14 calculates the luminance of a pixel by assigning an R value, a G value and a B value of the pixel that forms the color image to this formula. A luminance image is created by calculating and aggregating the luminance for each pixel of the captured image from the camera 11 receive.

Der vorgeschriebene Bereich A ist ein vorgeschriebener Bereich, der in jedem Leuchtdichtebild festgelegt wird. Der vorgeschriebene Bereich A kann basierend auf verschiedenen Regeln festgelegt werden, wobei der vorgeschriebene Bereich A bezüglich der Position des vor dem eigenen Fahrzeug fahrenden Fahrzeugs spezifisch als der Bereich A des vorderen Fahrzeugs bezeichnet werden kann. 2 ist eine erklärende Ansicht des vorgeschriebenen Bereichs A. In einem im oberen Teil dargestellten Leuchtdichtebild 71 wird ein vorderes Fahrzeug (vorausfahrendes Fahrzeug), das bis unmittelbar davor durch die Detektionseinheit 15 detektiert worden war, aber aufgrund vollständig weißer heller Bereiche des Bildes aufgrund der Tunnelausfahrt nicht detektierbar geworden ist, durch sein umbeschriebenes Rechteck 75 angegeben, wobei ein vorgeschriebener Bereich (Bereich des vorderen Fahrzeugs) A1 durch das Definieren eines Rechtecks einer vorgeschriebenen Größe bezüglich der Position des vorderen Fahrzeugs (umbeschriebenen Rechtecks 75) bestimmt wird. In einem im mittleren Teil dargestellten Leuchtdichtebild 72 wird ähnlich das vordere Fahrzeug, das aufgrund der vom Schwarz ununterscheidbaren dunklen Bereiche des Bildes aufgrund der Tunneleinfahrt nicht detektierbar geworden ist, durch sein umbeschriebenes Rechteck 76 angegeben, wobei der vorgeschriebene Bereich (Bereich des vorderen Fahrzeugs) A1 durch das Definieren eines Rechtecks einer vorgeschriebenen Größe bezüglich der Position des vorderen Fahrzeugs (um beschriebenes Rechteck 76) bestimmt wird. In dem im unteren Teil dargestellten Leuchtdichtebild 72 ist das umbeschriebene Rechteck 76 des vorderen Fahrzeugs ähnlich zu dem Leuchtdichtebild 72 im mittleren Teil dargestellt, wobei ein vorgeschriebener Bereich A2 als ein geschlossener Bereich (z. B. Rechteck) einer vorgeschriebenen Größe an einer vorgeschriebenen Position des mittleren Teils (d. h., des mittleren Teils des aufgenommenen Bildes, wenn die Kamera 11 in die Fahrtrichtung des eigenen Fahrzeugs gerichtet ist) des Leuchtdichtebildes direkt unabhängig von der Position des vorderen Fahrzeugs festgelegt ist. Obwohl hier nur ein Beispiel eines vorausfahrendes Fahrzeug, das in der gleichen Richtung wie das eigene Fahrzeug fährt, als ein vorderes Fahrzeug beschrieben worden ist, kann der vorgeschriebene Bereich A basierend auf der Position eines entgegenkommenden Fahrzeugs, das in der zum eigenen Fahrzeug entgegengesetzter Richtung fährt, festgelegt werden.The prescribed area A is a prescribed area that is set in each luminance image. The prescribed area A can be set based on various rules, and the prescribed area A with respect to the position of the vehicle traveling in front of the own vehicle can be specifically referred to as the area A of the front vehicle. 2nd Fig. 11 is an explanatory view of the prescribed area A. In a luminance image shown in the upper part 71 becomes a vehicle in front (vehicle in front) that is immediately in front by the detection unit 15 had been detected, but because of the completely white, light areas of the image it could not be detected due to the tunnel exit, by its rewritten rectangle 75 specified, with a prescribed area (area of the front vehicle) A1 by defining a rectangle of a prescribed size with respect to the position of the front vehicle (rewritten rectangle 75 ) is determined. In a luminance image shown in the middle part 72 similarly, the vehicle in front, which due to the dark areas of the image which are indistinguishable from black due to the tunnel entrance has not become detectable, becomes similar by its rewritten rectangle 76 specified, the prescribed area (area of the front vehicle) A1 by defining a rectangle of a prescribed size with respect to the position of the front vehicle (around the rectangle described 76 ) is determined. In the luminance image shown in the lower part 72 is the rewritten rectangle 76 of the front vehicle similar to the luminance image 72 shown in the middle part, with a prescribed range A2 as a closed area (e.g., rectangle) of a prescribed size at a prescribed position of the middle part (ie, the middle part of the captured image when the camera 11 in the direction of travel of the own vehicle is directed) of the luminance image is determined directly regardless of the position of the front vehicle. Here, although only one example of a preceding vehicle traveling in the same direction as the own vehicle has been described as a front vehicle, the prescribed range A may be based on the position of an oncoming vehicle traveling in the opposite direction to the own vehicle , be determined.

Die Leuchtdichteberechnungsformel-Modifikationseinheit 13 der vorliegenden Ausführungsform kann die Leuchtdichteberechnungsformel basierend auf dem Leuchtdichteindexwert des vorgeschriebenen Bereichs A modifizieren. Der Leuchtdichteindexwert ist ein Indexwert, der die Leuchtdichte als ein Aggregat mehrerer Pixel angibt, die in dem vorgeschriebenen Bereich A enthalten sind, wobei z. B. ein Durchschnittswert der Leuchtdichte aller in dem vorgeschriebenen Bereich A enthaltenen Pixel oder mehrerer geeignet ausgewählter Pixel, eine maximale Leuchtdichte oder eine minimale Leuchtdichte aller Pixel oder dergleichen verwendet werden kann. In der vorliegenden Ausführungsform wird die durchschnittliche Leuchtdichte aller im vorgeschriebenen Bereich A enthaltenen Pixel als der Leuchtdichteindexwert beschrieben.The luminance calculation formula modification unit 13 In the present embodiment, the luminance calculation formula can modify based on the luminance index value of the prescribed area A. The luminance index value is an index value that indicates the luminance as an aggregate of a plurality of pixels included in the prescribed area A, e.g. B. an average value of the luminance of all pixels contained in the prescribed area A or of a plurality of suitably selected pixels, a maximum luminance or a minimum luminance of all pixels or the like can be used. In the present embodiment, the average luminance of all pixels included in the prescribed area A is described as the luminance index value.

Die Detektionseinheit 15 führt die Verarbeitung des Detektierens eines vorgeschriebenen Zielobjekts basierend auf wenigstens einem des durch die Bildaufnahmeeinheit 12 aufgenommenen Farbbilds und des durch die Leuchtdichteberechnungseinheit 14 erzeugten Leuchtdichtebilds aus und gibt das Detektionsergebnis an die Fahrzeugsteuervorrichtung 2 aus. Das „vorgeschriebene Zielobjekt“, das das Detektionsziel der Detektionseinheit 15 ist, kann durch den Typ der durch die Fahrzeugsteuervorrichtung 2 ausgeführten Anwendung (Programm) bestimmt werden. Wenn die Anwendung der zur Lichtverteilungssteuereinheit 16 gehörenden Lichtverteilungssteuerung ausgeführt wird, können die Schlussleuchte (der Rotlichtstrahler) eines weiteren Fahrzeugs (vorausfahrenden Fahrzeugs, stehenden Fahrzeugs usw.) und der Scheinwerfer (Weißlichtstrahler) eines weiteren Fahrzeugs (entgegenkommenden Fahrzeugs) die vorgeschriebenen Zielobjekte werden, wobei, wenn diese Zielobjekte detektiert werden, berücksichtigt werden kann, dass das Fahrzeug detektiert worden ist. Wenn die Anwendung der Konstantfahrgeschwindigkeits- und Fahrzeugabstandssteuerung (adaptive Geschwindigkeitsregelung: ACC), die zur Konstantfahrgeschwindigkeits- und Fahrzeugabstandssteuereinheit 17 gehört, ausgeführt wird, können die Schlussleuchte (der Rotlichtstrahler) eines weiteren Fahrzeugs (vorausfahrenden Fahrzeugs, stehenden Fahrzeugs usw.) und die Schlussleuchte (der Rotlichtstrahler) eines weiteren Fahrzeugs (vorausfahrenden Fahrzeugs, stehenden Fahrzeugs usw.), das unter dunklen Belichtungsbedingungen (die Belichtungszeit ist z. B. relativ kurz) aufgenommen wird, die vorgeschriebenen Zielobjekte werden.The detection unit 15 performs the processing of detecting a prescribed target based on at least one of the by the image pickup unit 12th recorded color image and that by the luminance calculation unit 14 generated luminance image and outputs the detection result to the vehicle control device 2nd out. The “prescribed target object”, which is the detection target of the detection unit 15 can by the type of by the vehicle control device 2nd executed application (program) can be determined. When using the to the light distribution control unit 16 belonging to the light distribution control, the tail lamp (the red light emitter) of another vehicle (vehicle in front, stationary vehicle, etc.) and the headlight (white light emitter) of another vehicle (oncoming vehicle) can become the prescribed target objects, and if these target objects are detected, can be taken into account that the vehicle has been detected. If the application of the constant travel speed and vehicle distance control (adaptive cruise control: ACC), that to the constant travel speed and vehicle distance control unit 17th heard, is executed, the tail light (the red light emitter) of another vehicle (vehicle in front, stationary vehicle, etc.) and the tail light (the red light emitter) of another vehicle (vehicle in front, stationary vehicle, etc.) that is under dark exposure conditions (the Exposure time is e.g. relatively short) is recorded, the prescribed target objects.

Die Lichtverteilungssteuereinheit 16 in der Fahrzeugsteuervorrichtung 2 führt die Lichtverteilungssteuerung (Lichtverteilungssteueranwendung) des Scheinwerfers des eigenen Fahrzeugs basierend auf einem Detektionsergebnis (Fahrzeugdetektionsergebnis) der Detektionseinheit 15 der Bildverarbeitungsvorrichtung 1 aus. Als die Lichtverteilungssteuerung wird z. B., wenn sich kein vorausfahrendes oder kein entgegenkommendes Fahrzeug vor dem eigenen Fahrzeug befindet, der Scheinwerfer des eigenen Fahrzeugs auf Fernlicht festgelegt, während, wenn es ein vorausfahrendes oder ein entgegenkommendes Fahrzeug gibt, der Scheinwerfer des eigenen Fahrzeugs auf Abblendlicht festgelegt wird. Bei irgendeiner Lichtverteilungssteuerung wird, wenn ein weiteres Fahrzeug vor dem eigenen Fahrzeug detektiert wird, der Lichtabschirmbereich des Scheinwerfers des eigenen Fahrzeugs so bestimmt, dass das weitere Fahrzeug aus dem Bestrahlungsbereich des Scheinwerfers des eigenen Fahrzeugs ausgeschlossen ist, wobei die Lichtverteilungssteuerung des Scheinwerfers des eigenen Fahrzeugs basierend auf dem Lichtabschirmbereich ausgeführt wird. Im letzteren Fall sind im eigenen Fahrzeug ein Aktuator (z. B. mehrere Motoren), der die optischen Achsen mehrerer Scheinwerfer verändert, und ein Abschattungsmechanismus zum Abschirmen eines Teils des Lichts jedes Scheinwerfers vorgesehen, wobei ein Steuersignal für sie von der Lichtverteilungssteuereinheit 16 ausgegeben wird.The light distribution control unit 16 in the vehicle control device 2nd performs the light distribution control (light distribution control application) of the headlamp of the own vehicle based on a detection result (vehicle detection result) of the detection unit 15 the image processing device 1 out. As the light distribution control, e.g. B. if there is no preceding or oncoming vehicle in front of the own vehicle, the headlight of the own vehicle is set to high beam, while if there is a preceding or an oncoming vehicle, the headlight of the own vehicle is set to low beam. In any light distribution control, when another vehicle is detected in front of the own vehicle, the light shielding area of the headlight of the own vehicle is determined so that the other vehicle is excluded from the irradiation area of the headlight of the own vehicle, based on the light distribution control of the headlight of the own vehicle on the light shielding area. In the latter case, an actuator (e.g., multiple motors) that changes the optical axes of a plurality of headlights and a shading mechanism for shielding part of the light of each headlight are provided in the own vehicle, and a control signal for them from the light distribution control unit 16 is issued.

Basierend auf dem Detektionsergebnis (Fahrzeugdetektionsergebnis) der Detektionseinheit 15 der Bildverarbeitungsvorrichtung 1 führt die Konstantfahrgeschwindigkeits- und Fahrzeugabstandssteuereinheit 17 eine ACC (ACC-Anwendung) aus, die den Mechanismus (Lenksteuereinheit, Kraftmaschinensteuereinheit, Bremssteuereinheit) entsprechend der Lenksteuerung und der Geschwindigkeitssteuerung (Kraftmaschinensteuerung und Bremssteuerung) des eigenen Fahrzeugs geeignet steuert, um die Fahrgeschwindigkeit konstant aufrechtzuhalten, während der Abstand zwischen dem detektierten Fahrzeug und dem eigenen Fahrzeug konstant aufrechterhalten wird.Based on the detection result (vehicle detection result) of the detection unit 15 the image processing device 1 guides the constant speed and vehicle distance control unit 17th an ACC (ACC application) that appropriately controls the mechanism (steering control unit, engine control unit, brake control unit) according to the steering control and the speed control (engine control and brake control) of the own vehicle to maintain the driving speed constant while the distance between the detected vehicle and your own vehicle is constantly maintained.

- Lichtverteilungssteuerungsverarbeitung-- light distribution control processing -

Als Nächstes wird der Ablauf der Lichtverteilungssteuerungsverarbeitung durch das Fahrzeugsteuersystem 100 bezüglich 3 beschrieben. Das Fahrzeugsteuersystem 100 (die Bildverarbeitungsvorrichtung 1 und die Fahrzeugsteuervorrichtung 2) führt den Ablaufplan nach 3 in einem vorgeschriebenen Steuerzyklus wiederholt aus.Next, the flow of light distribution control processing by the vehicle control system 100 in terms of 3rd described. The vehicle control system 100 (the image processing device 1 and the vehicle control device 2nd ) follows the schedule 3rd repeatedly in a prescribed control cycle.

Wenn die Verarbeitung begonnen wird, legt die Bildaufnahmeeinheit 12 im Schritt S1 eine Belichtungszeit eines Bildes, das als Nächstes aufgenommen werden soll, für die Kamera 11 fest, wobei sie das Aufnehmen eines Bildes zu einem vorgeschriebenen Zeitpunkt ausführt und ein Farbbild (aufgenommenes Bild) aufnimmt. When processing is started, the imaging unit attaches 12th in step S1 an exposure time of an image to be taken next for the camera 11 firmly, taking an image at a prescribed time and taking a color image (captured image).

Im Schritt S2 führt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die Bestimmungsverarbeitung der Leuchtdichteberechnungsformel aus.In step S2 leads the luminance calculation formula modification unit 13 the determination processing of the luminance calculation formula.

Die Leuchtdichteberechnungsformel-Modifikationseinheit 13 der vorliegenden Ausführungsform modifiziert die Leuchtdichteberechnungsformel gemäß dem Typ des Detektionszielobjekts der Detektionseinheit 15. 4 ist ein Ablaufplan der Bestimmungsverarbeitung (Modifikationsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 gemäß der vorliegenden Ausführungsform.The luminance calculation formula modification unit 13 of the present embodiment modifies the luminance calculation formula according to the type of the detection target of the detection unit 15 . 4th Fig. 14 is a flowchart of determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 according to the present embodiment.

Hier wird eine Bezugs-Leuchtdichteberechnungsformel, die normalerweise durch die Leuchtdichteberechnungseinheit 14 verwendet wird, um ein Leuchtdichtebild zu erzeugen, als eine erste Leuchtdichteberechnungsformel bezeichnet. Die erste Leuchtdichteberechnungsformel in der vorliegenden Ausführungsform wird durch die folgende Formel (1) dargestellt. In der Formel (1) repräsentiert Y den Leuchtdichtewert, während R, G und B den R-Wert, den G-Wert und den B-Wert jedes Pixels repräsentieren. Das heißt, die erste Leuchtdichteberechnungsformel ist durch die Summe der Werte, die durch das Multiplizieren jedes des R-Werts, des G-Werts und des B-Werts irgendeines Pixels im aufgenommenen Bild mit einem vorgeschriebenen Koeffizienten erhalten werden, definiert. Die Summe der Koeffizienten von R, G und B ist 1. Y = 0,299 R + 0,587 G + 0,114 B

Figure DE112018005975T5_0001
Wenn die Verarbeitung nach 4 begonnen wird, gibt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 im Schritt S21 den Typ des Detektionszielobjekts der Detektionseinheit 15 basierend auf dem von der Detektionseinheit 15 eingegebenen Detektionsergebnis ein.Here is a reference luminance calculation formula that is normally provided by the luminance calculation unit 14 used to generate a luminance image is referred to as a first luminance calculation formula. The first luminance calculation formula in the present embodiment is represented by the following formula (1). In the formula (1), Y represents the luminance value, while R, G and B represent the R value, the G value and the B value of each pixel. That is, the first luminance calculation formula is defined by the sum of the values obtained by multiplying each of the R value, the G value and the B value of any pixel in the captured image by a prescribed coefficient. The sum of the coefficients of R, G and B is 1. Y = 0.299 R + 0.587 G + 0.114 B
Figure DE112018005975T5_0001
 If processing after 4th starts, the luminance calculation formula modification unit returns 13 in step S21 the type of the detection target of the detection unit 15 based on that from the detection unit 15 entered detection result.

Im Schritt S22 bestimmt die Leuchtdichteberechnungsformel-Modifikationseinheit 13, ob das Detektionszielobjekt im Schritt S21 der Scheinwerfer (Weißlichtstrahler) eines entgegenkommenden Fahrzeugs ist. Falls hier das Detektionszielobjekt der Scheinwerfer eines entgegenkommenden Fahrzeugs ist, geht der Verarbeitungsablauf zum Schritt S23 weiter; andernfalls geht der Verarbeitungsablauf zum Schritt S24 weiter.In step S22 determines the luminance calculation formula modification unit 13 whether the detection target in step S21 is the headlight (white light emitter) of an oncoming vehicle. Here, if the detection target is the headlight of an oncoming vehicle, the processing flow goes to step S23 further; otherwise the processing flow goes to step S24 further.

Im Schritt S23 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die zweite Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest. Die zweite Leuchtdichteberechnungsformel weist den B-Wert, dessen Koeffizient größer als der in der ersten Leuchtdichteberechnungsformel ist, und den R-Wert und den G-Wert, deren Koeffizienten kleiner als jene in der ersten Leuchtdichteberechnungsformel sind, auf. Die zweite Leuchtdichteberechnungsformel in der vorliegenden Ausführungsform wird durch die folgende Formel (2) dargestellt. Die Empfindlichkeit gegenüber weißem Licht einschließlich der Scheinwerfer ist zwischen den R-, G- und B-Pixeln verschieden, wobei es eine Beziehung „G > R > B“ gibt. Aus diesem Grund werden, wenn die zweite Leuchtdichteberechnungsformel verwendet wird, um ein Leuchtdichtebild zu erzeugen, die vollständig weißen hellen Bereiche mehr als in einem Fall verringert, in dem die erste Leuchtdichteberechnungsformel verwendet wird. Y = B

Figure DE112018005975T5_0002
Im Schritt S24 bestimmt die Leuchtdichteberechnungsformel-Modifikationseinheit 13, ob das Detektionszielobjekt im Schritt S21 die Schlussleuchte (der Rotlichtstrahler) des vorausfahrenden Fahrzeugs ist. Falls das Detektionszielobjekt die Schlussleuchte des vorausfahrenden Fahrzeugs ist, geht der Verarbeitungsablauf zum Schritt S25 weiter; andernfalls geht der Verarbeitungsablauf zum Schritt S26 weiter.In step S23 sets the luminance calculation formula modification unit 13 fixes the second luminance calculation formula as a luminance calculation formula. The second luminance calculation formula has the B value whose coefficient is larger than that in the first luminance calculation formula, and the R value and the G value whose coefficients are smaller than those in the first luminance calculation formula. The second luminance calculation formula in the present embodiment is represented by the following formula (2). The sensitivity to white light including the headlights differs between the R, G and B pixels, with a relationship "G>R>B". For this reason, when the second luminance calculation formula is used to form a luminance image, the completely white bright areas are reduced more than in a case where the first luminance calculation formula is used. Y = B
Figure DE112018005975T5_0002
 In step S24 determines the luminance calculation formula modification unit 13 whether the detection target in step S21 is the tail light (the red light emitter) of the vehicle in front. If the detection target is the tail lamp of the preceding vehicle, the processing flow goes to step S25 further; otherwise the processing flow goes to step S26 further.

Im Schritt S25 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die vierte Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest. Die vierte Leuchtdichteberechnungsformel weist den R-Wert, dessen Koeffizient größer als der in der ersten Leuchtdichteberechnungsformel ist, und den G-Wert und den B-Wert, deren Koeffizienten kleiner als jene in der ersten Leuchtdichteberechnungsformel sind, auf. Die vierte Leuchtdichteberechnungsformel in der vorliegenden Ausführungsform wird durch die folgende Formel (4) dargestellt. Die Empfindlichkeit gegenüber rotem Licht wird verbessert, indem der Koeffizient des R-Wertes größer als der der ersten Leuchtdichteberechnungsformel gemacht wird. Aus diesem Grund werden, wenn die vierte Leuchtdichteberechnungsformel verwendet wird, um ein Leuchtdichtebild zu erzeugen, die vom Schwarz ununterscheidbaren dunklen Bereiche des Rotlichtstrahlers mehr als in einem Fall verringert, in dem die erste Leuchtdichteberechnungsformel verwendet wird. Y = R

Figure DE112018005975T5_0003
Im Schritt S26 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die erste Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest.In step S25 sets the luminance calculation formula modification unit 13 the fourth luminance calculation formula as a luminance calculation formula. The fourth luminance calculation formula has the R value whose coefficient is larger than that in the first luminance calculation formula, and the G value and B value whose coefficients are smaller than those in the first luminance calculation formula. The fourth luminance calculation formula in the present embodiment is represented by the following formula (4). The sensitivity to red light is improved by making the coefficient of the R value larger than that of the first luminance calculation formula. For this reason, when the fourth luminance calculation formula is used to form a luminance image, the dark areas of the red light emitter indistinguishable from black are reduced more than in a case where the first luminance calculation formula is used. Y = R
Figure DE112018005975T5_0003
 In step S26 sets the luminance calculation formula modification unit 13 the first luminance calculation formula as a luminance calculation formula.

Wenn die Leuchtdichteberechnungsformel in irgendeinem der Schritte S23, S25 und S26 bestimmt worden ist, wie oben beschrieben worden ist, beendet die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die Verarbeitung nach 4, wobei sie die Verarbeitung des Schritts S3 nach 3 beginnt.If the luminance calculation formula in any of the steps S23 , S25 and S26 As has been determined as described above, the luminance calculation formula modification unit ends 13 the processing after 4th , processing the step S3 to 3rd begins.

Im Schritt S3 berechnet die Leuchtdichteberechnungseinheit 14 unter Verwendung der im Schritt S2 (d. h., irgendeinem der Schritte S23, S25 und S26) durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 bestimmten Leuchtdichteberechnungsformel die Leuchtdichtewerte Y für alle Pixel in dem im Schritt S1 durch die Bildaufnahmeeinheit 12 aufgenommenen Farbbild, wobei sie aus den berechneten Leuchtdichtewerten Y ein Leuchtdichtebild erzeugt. Das erzeugte Leuchtdichtebild wird an die Detektionseinheit 15 und die Leuchtdichteberechnungsformel-Modifikationseinheit 13 ausgegeben.In step S3 calculates the luminance calculation unit 14 using the in step S2 (ie, any of the steps S23 , S25 and S26 ) by the luminance calculation formula modification unit 13 determined luminance calculation formula the luminance values Y for all pixels in the step S1 through the image acquisition unit 12th recorded color image, generating a luminance image from the calculated luminance values Y. The generated luminance image is sent to the detection unit 15 and the luminance calculation formula modification unit 13 spent.

Im Schritt S4 detektiert die Detektionseinheit 15 einen Fahrzeug-Kandidatenlichtfleck aus dem durch die Bildaufnahmeeinheit 12 aufgenommenen Farbbild. Spezifisch wird zuerst die Bedingung einer im Farbbild zu suchenden Farbe in Übereinstimmung mit dem Typ des Detektionszielobjekts festgelegt, wobei die Pixel der der Bedingung entsprechenden Farbe durch das Abtasten des Farbbildes detektiert werden. Als Nächstes werden benachbarte Detektionspixel als dieselbe Gruppe verbunden, wobei der durch diese Pixelgruppen eingenommene Bereich als ein Lichtfleck betrachtet wird. In diesem Schritt können mehrere Lichtflecke detektiert werden, die für den Typ des Detektionszielobjekts geeignet sind.In step S4 detects the detection unit 15 a vehicle candidate light spot from that by the image pickup unit 12th recorded color image. Specifically, the condition of a color to be searched in the color image is first determined in accordance with the type of the detection target, and the pixels of the color corresponding to the condition are detected by scanning the color image. Next, adjacent detection pixels are connected as the same group, and the area occupied by these pixel groups is considered a light spot. In this step, several light spots that are suitable for the type of the detection target object can be detected.

Die Detektion des Fahrzeug-Kandidatenlichtflecks im Schritt S4 weist das folgende Problem auf. Das heißt, wenn die Schlussleuchte des vorausfahrenden Fahrzeugs (siehe das Innere des Rechtecks des Bildes 51 nach 5) das Detektionszielobjekt der Detektionseinheit 15 ist, wird der Lichtfleck durch das Suchen nach roter Farbe im Farbbild detektiert. Die rote Farbe, die die gleiche wie die Schlussleuchte ist, kann jedoch im Randbereich des Bildes (siehe das Innere des Rechtecks des Bildes 52 nach 5) des ursprünglich orangen Reflektors an der Straße erscheinen, wobei es schwierig ist, nur durch die Bestimmung basierend auf dem Rotgrad des Lichtflecks zwischen der Schlussleuchte und dem Reflektor zu unterscheiden. Deshalb wird in der vorliegenden Ausführungsform im nachfolgenden Schritt S5 die Bestimmung basierend auf der Leuchtdichte ausgeführt.The detection of the vehicle candidate light spot in the step S4 has the following problem. That is, if the tail lamp of the vehicle in front (see the inside of the rectangle of Figure 51 after 5 ) the detection target of the detection unit 15 the light spot is detected by searching for red color in the color image. However, the red color, which is the same as the tail light, can be found in the edge area of the image (see the inside of the rectangle of image 52) 5 ) of the originally orange reflector appear on the road, whereby it is difficult to distinguish between the rear light and the reflector only by the determination based on the degree of red of the light spot. Therefore, in the present embodiment, the following step S5 the determination is carried out based on the luminance.

Im Schritt S5 bestimmt die Detektionseinheit 15, ob jeder im Schritt S4 detektierte Lichtfleck eine Fahrzeugleuchte (der Scheinwerfer des entgegenkommenden Fahrzeugs oder die Schlussleuchte des vorausfahrenden Fahrzeugs) ist. Spezifisch wird ein repräsentatives Pixel (z. B. das hellste Pixel) unter den im Bereich des Lichtflecks enthaltenen Pixeln ausgewählt. Dann wird der Leuchtdichtewert des Pixels mit dem im Schritt S3 erzeugten Leuchtdichtebild bestätigt, wobei bestimmt wird, ob der Leuchtdichtewert des Pixels gleich einem oder größer als ein für jedes Detektionszielobjekt bestimmter vorgeschriebener Schwellenwert ist. Falls der Leuchtdichtewert des Pixels gleich dem oder größer als der vorgeschriebene Schwellenwert ist, geht der Verarbeitungsablauf zum Schritt S6 weiter, während, falls der Leuchtdichtewert kleiner als der vorgeschriebene Schwellenwert ist, der Verarbeitungsablauf zum Schritt S7 weitergeht.In step S5 determines the detection unit 15 whether everyone in the crotch S4 detected light spot is a vehicle lamp (the headlight of the oncoming vehicle or the tail lamp of the vehicle in front). Specifically, a representative pixel (e.g. the brightest pixel) is selected from the pixels contained in the area of the light spot. Then the luminance value of the pixel becomes that in step S3 generated luminance image, wherein it is determined whether the luminance value of the pixel is equal to or greater than a prescribed threshold value determined for each detection target. If the luminance value of the pixel is equal to or greater than the prescribed threshold, the processing flow goes to step S6 further, while if the luminance value is less than the prescribed threshold, the processing flow to the step S7 goes on.

Im Schritt S6 fügt die Detektionseinheit 15 zu dem Lichtfleck, der das Bestimmungsziel für den Leuchtdichtewert im Schritt S5 ist, die Informationen hinzu, die angeben, dass der Lichtfleck eine Fahrzeugleuchte (der Scheinwerfer des entgegenkommenden Fahrzeugs oder die Schlussleuchte des vorausfahrenden Fahrzeugs) ist und dass das zur Fahrzeugleuchte gehörende Fahrzeug das Abschirmziel des Scheinwerfers des eigenen Fahrzeugs ist, wobei sie die Informationen an die Lichtverteilungssteuereinheit 16 ausgibt.In step S6 adds the detection unit 15 to the light spot that is the destination for the luminance value in the step S5 is the information indicating that the light spot is a vehicle lamp (the headlamp of the oncoming vehicle or the tail lamp of the preceding vehicle) and that the vehicle belonging to the vehicle lamp is the shielding target of the headlamp of the own vehicle, and it provides the information to the Light distribution control unit 16 issues.

Im Schritt S7 fügt die Detektionseinheit 15 zu dem Lichtfleck, der das Bestimmungsziel für den Leuchtdichtewert im Schritt S5 ist, die Informationen hinzu, die angeben, dass der Lichtfleck keine Fahrzeugleuchte ist und dass das zur Fahrzeugleuchte gehörende Fahrzeug nicht das Abschirmobjekt des Scheinwerfers des eigenen Fahrzeugs ist, wobei sie die Informationen an die Lichtverteilungssteuereinheit 16 ausgibt.In step S7 adds the detection unit 15 to the light spot that is the destination for the luminance value in the step S5 is to add the information indicating that the light spot is not a vehicle lamp and that the vehicle belonging to the vehicle lamp is not the shielding object of the headlamp of the own vehicle, and the information to the light distribution control unit 16 issues.

Im Schritt S8 bestimmt die Lichtverteilungssteuereinheit 16 basierend auf den im Schritt S6 oder S7 erhaltenen Lichtfleckinformationen einen Lichtabschirmbereich des Scheinwerfers des eigenen Fahrzeugs, wobei sie eine Lichtverteilungssteuerung des Scheinwerfers des eigenen Fahrzeugs ausführt, so dass der Lichtabschirmbereich aus dem Bestrahlungsbereich des Scheinwerfers des eigenen Fahrzeugs ausgeschlossen ist.In step S8 determines the light distribution control unit 16 based on the in step S6 or S7 received light spot information a light shielding area of the headlamp of the own vehicle, wherein it carries out a light distribution control of the headlamp of the own vehicle, so that the light shielding area is excluded from the irradiation area of the headlamp of the own vehicle.

Folglich ist ein Zyklus der Lichtverteilungssteuerungsverarbeitung durch das Fahrzeugsteuersystem 100 abgeschlossen. Nach dem Warten während eines vorgeschriebenen Steuerzyklus führt das Fahrzeugsteuersystem 100 die Folge der Verarbeitung vom Schritt S1 abermals aus.Consequently, one cycle of the light distribution control processing by the vehicle control system 100 completed. After waiting during a prescribed control cycle, the vehicle control system performs 100 the sequence of processing from the step S1 again.

<Handlungen und Wirkungen> <Actions and Effects>

Als Nächstes werden die Handlungen und Wirkungen des Fahrzeugsteuersystems 100 beschrieben, das konfiguriert ist, wie oben beschrieben worden ist.Next, the actions and effects of the vehicle control system 100 that is configured as described above.

Zuerst wird das durch die vorliegende Erfindung zu lösende Problem beschrieben. Bei der Bestimmung basierend auf dem Leuchtdichtewert im bezüglich 3 beschriebenen Schritt S5 kann es schwierig sein, zwischen einem selbstleuchtenden Lichtstrahler (z. B. der Schlussleuchte eines vorausfahrenden Fahrzeugs und dem Scheinwerfer eines entgegenkommenden Fahrzeugs) und einem reflektierten Lichtstrahler (z. B. einem Reflektor) zu unterscheiden. 6 ist ein Diagramm, das eine Beziehung zwischen dem Abstand und dem Leuchtdichtewert der Pixel der Bilder 51 und 52 zeigt, die zu einer Schlussleuchte und einem Reflektor unter der gleichen Belichtungsbedingung gehören. Wie in dieser Figur dargestellt ist, erreichen in einer kurzen Entfernung (150 m oder weniger im Beispiel in der Figur) die Leuchtdichtewerte des Lichtflecks der Schlussleuchte und des Reflektors beide den Maximalwert (die Leuchtdichtewerte sind gesättigt), wobei die Unterscheidung durch die Größe des Leuchtdichtewertes nicht ausgeführt werden kann. Sie wird verbessert, falls das Bild unter einer Belichtungsbedingung aufgenommen wird, bei der der Leuchtdichtewert nicht gesättigt ist, wobei es aber praktisch schwierig ist, die Belichtungsbedingung zu ändern, weil das Bild mit anderen Funktionen des Fahrzeugsteuersystems geteilt wird.First, the problem to be solved by the present invention will be described. When determining based on the luminance value in terms 3rd described step S5 It can be difficult to distinguish between a self-illuminating light emitter (e.g. the tail light of a vehicle in front and the headlight of an oncoming vehicle) and a reflected light emitter (e.g. a reflector). 6 Fig. 3 is a graph showing a relationship between the distance and the luminance value of the pixels of the images 51 and 52 shows that belong to a tail lamp and a reflector under the same exposure condition. As shown in this figure, at a short distance (150 m or less in the example in the figure), the luminance values of the light spot of the tail lamp and the reflector both reach the maximum value (the luminance values are saturated), the distinction being made by the size of the luminance value cannot be executed. It is improved if the image is taken under an exposure condition where the luminance value is not saturated, but it is practically difficult to change the exposure condition because the image is shared with other functions of the vehicle control system.

Deshalb wird in der vorliegenden Ausführungsform wie in dem in 4 dargestellten Ablaufplan die beim Erzeugen des Leuchtdichtebildes verwendete Leuchtdichteberechnungsformel in Übereinstimmung mit dem Typ des Detektionszielobjekts der Detektionseinheit 15 modifiziert.Therefore, in the present embodiment, as in that in 4th shown flowchart the luminance calculation formula used in generating the luminance image in accordance with the type of the detection target of the detection unit 15 modified.

Wenn spezifisch der Scheinwerfer des entgegenkommenden Fahrzeugs das Detektionszielobjekt ist, wird im Schritt S23 die zweite Leuchtdichteberechnungsformel (Y = B) verwendet. 7 ist eine Ansicht, die ein Beispiel eines Leuchtdichtebilds und einer Leuchtdichteverteilung eines orangen Reflektors an einer Straße darstellt, wobei die linke Seite der Figur einen Fall darstellt, in dem die erste Leuchtdichteberechnungsformel verwendet wird, während die rechte Seite der Figur einen Fall darstellt, in dem die zweite Leuchtdichteberechnungsformel verwendet wird. Wie auf der linken Seite der 7 dargestellt ist, ist einer der Spitzenwerte der Verteilung der Leuchtdichtewerte beim Maximalwert (255) vorhanden, wenn die erste Leuchtdichteberechnungsformel verwendet wird, wodurch angegeben wird, dass es schwierig ist, bei der Verarbeitung des S5 basierend auf der Leuchtdichte von einem Scheinwerfer eines entgegenkommenden Fahrzeugs zu unterscheiden. Wie oben beschrieben worden ist, weist B von R, G und B die geringste Empfindlichkeit gegenüber weißem Licht auf. Wenn der Leuchtdichtewert unter Verwendung der zweiten Leuchtdichteberechnungsformel berechnet wird, bei der der Koeffizient des B-Werts größer als der der ersten Leuchtdichteberechnungsformel ist und die Koeffizienten des R-Werts und des G-Werts kleiner als jene der ersten Leuchtdichteberechnungsformel sind, wird der Leuchtdichtewert des Lichtflecks bei einem Wert verteilt, der kleiner als der ist, wenn die erste Leuchtdichteberechnungsformel verwendet wird, wie auf der rechten Seite der 7 dargestellt ist, wobei im Beispiel nach 7 die Verteilung des Leuchtdichtewertes bei einem Wert kleiner als 255 (Wert auf der linken Seite der Figur) zerstreut werden kann. Dies fördert die auf dem Leuchtdichtewert basierende Unterscheidung zwischen dem Scheinwerfer des entgegenkommenden Fahrzeugs und dem Reflektor und kann sogar in einer Situation, in der ein aufgenommenes Bild der Belichtungsbedingung, die für die Detektion des Scheinwerfers des entgegenkommenden Fahrzeugs, der ein weißer selbstleuchtender Lichtstrahler ist, geeignet ist, nicht erhalten werden kann, die Detektionsrate des Lichtstrahlers verbessern, ohne die Kosten zu erhöhen.If specifically the headlight of the oncoming vehicle is the detection target, in step S23 uses the second luminance calculation formula (Y = B). 7 Fig. 11 is a view illustrating an example of a luminance image and a luminance distribution of an orange reflector on a road, the left side of the figure showing a case in which the first luminance calculation formula is used, and the right side of the figure showing a case in which the second luminance calculation formula is used. As on the left side of the 7 there is one of the peak values of the distribution of luminance values at the maximum value (255) when the first luminance calculation formula is used, indicating that it is difficult to process the S5 based on the luminance of an oncoming vehicle headlight differentiate. As described above, B of R, G and B has the least sensitivity to white light. When the luminance value is calculated using the second luminance calculation formula in which the coefficient of the B value is larger than that of the first luminance calculation formula and the coefficients of the R value and the G value are smaller than those of the first luminance calculation formula, the luminance value of the Spots of light distributed at a value less than that when the first luminance calculation formula is used, as on the right side of the 7 is shown, in the example after 7 the distribution of the luminance value at a value less than 255 (value on the left side of the figure) can be dispersed. This promotes the distinction between the headlamp of the oncoming vehicle and the reflector based on the luminance value, and may even be suitable in a situation in which a captured image of the exposure condition suitable for the detection of the headlamp of the oncoming vehicle, which is a white self-illuminating light emitter is not obtainable, improve the detection rate of the light emitter without increasing the cost.

Ähnlich wird im Schritt S25 die vierte Leuchtdichteberechnungsformel (Y = R) verwendet, wenn die Schlussleuchte des vorausfahrenden Fahrzeugs das Detektionszielobjekt ist. Wenn die vierte Leuchtdichteberechnungsformel, bei der der Koeffizient des R-Werts größer als der der ersten Leuchtdichteberechnungsformel ist und die Koeffizienten des G-Werts und des B-Werts kleiner als jene der ersten Leuchtdichteberechnungsformel sind, verwendet wird, weisen die Pixel mit einem hohen R-Wert, die zur Schlussleuchte gehören, eine hohe Leuchtdichte auf, wobei sie verstärkt werden, wobei der Leuchtdichtewert des Lichtflecks bei einem Wert verteilt wird, der kleiner als der ist, wenn die erste Leuchtdichteberechnungsformel verwendet wird. Dies fördert die auf dem Leuchtdichtewert basierende Unterscheidung zwischen der Schlussleuchte des vorausfahrenden Fahrzeugs und dem Reflektor, wobei es die Detektionsrate der Schlussleuchte des vorausfahrenden Fahrzeugs, die ein roter selbstleuchtender Lichtstrahler ist, verbessern kann.The step becomes similar S25 uses the fourth luminance calculation formula (Y = R) when the tail lamp of the preceding vehicle is the detection target. When the fourth luminance calculation formula in which the coefficient of the R value is larger than that of the first luminance calculation formula and the coefficients of the G value and B value are smaller than that of the first luminance calculation formula, the pixels having a high R have -Values associated with the tail lamp have a high luminance while being amplified, and the luminance value of the light spot is distributed at a value smaller than that when the first luminance calculation formula is used. This promotes the distinction between the tail lamp of the preceding vehicle and the reflector based on the luminance value, whereby it can improve the detection rate of the tail lamp of the preceding vehicle, which is a red self-illuminating light emitter.

- Konstantfahrgeschwindigkeits- und Fahrzeugabstandssteuerung (ACC) -- Constant speed and vehicle distance control (ACC) -

Die oben beschriebene Modifikation der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 kann z. B. außerdem verwendet werden, wenn während der Ausführung der ACC im aufgenommenen Bild an der Tunneleinfahrt oder -ausfahrt vom Schwarz ununterscheidbare dunkle Bereiche oder vollständig weiße helle Bereiche auftreten und ein entferntes vorausfahrendes Fahrzeug verloren wird (siehe die Bilder 71 und 72 nach 2). 8 ist ein Beispiel eines Ablaufplans der Bestimmungsverarbeitung (Modifikationsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 in diesem Fall. Die Leuchtdichteberechnungsformel-Modifikationseinheit 13 führt diesen Ablaufplan in einem vorgeschriebenen Steuerzyklus wiederholt aus.The modification of the luminance calculation formula described above by the luminance calculation formula modification unit 13 can e.g. B. also be used if during the execution of the ACC in the captured image at the tunnel entrance or exit from the black indistinguishable dark areas or completely white bright areas occur and a distant vehicle in front is lost (see the pictures) 71 and 72 to 2nd ). 8th is an example of a flowchart of determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 in this case. The luminance calculation formula modification unit 13 repeatedly executes this schedule in a prescribed control cycle.

Wenn die Verarbeitung nach 8 begonnen wird, bestimmt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 im Schritt S31 basierend auf dem von der Detektionseinheit 15 eingegebenen Detektionsergebnis, ob sich ein Zustand, in dem ein weiteres Fahrzeug detektiert wird, in einen Zustand, in dem ein weiteres Fahrzeug nicht detektierbar ist, geändert hat. Dann geht der Verarbeitungsablauf zum Schritt S32 weiter, falls sich der Zustand in den Zustand geändert hat, in dem ein weiteres Fahrzeug nicht detektierbar ist, während der Verarbeitungsablauf zum Schritt S40 weitergeht, falls sich der Zustand nicht geändert hat (d. h., wenn die Detektion eines weiteren Fahrzeugs weitergeht).If processing after 8th is started, the luminance calculation formula modification unit determines 13 in step S31 based on that from the detection unit 15 entered detection result, whether a state in which another vehicle is detected has changed to a state in which another vehicle is not detectable. Then the processing flow goes to step S32 further, if the state has changed to the state in which another vehicle is undetectable, during the processing flow to the step S40 if the state has not changed (ie if the detection of another vehicle continues).

Im Schritt S32 liest die Leuchtdichteberechnungsformel-Modifikationseinheit 13 das letzte mögliche Leuchtdichtebild aus den Leuchtdichtebildern, die basierend auf dem durch die Kamera 11 in dem Zustand, in dem ein weiteres Fahrzeug detektiert wird, aufgenommenen Farbbild erzeugt wurden. Anstelle des Lesens des Leuchtdichtebilds kann ein Farbbild gelesen werden.In step S32 reads the luminance calculation formula modification unit 13 the last possible luminance image from the luminance images based on that by the camera 11 in the state in which another vehicle is detected. Instead of reading the luminance image, a color image can be read.

Im Schritt S33 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 den vorgeschriebenen Bereich (Bereich des vorderen Fahrzeugs) A bezüglich der Position eines weiteren Fahrzeugs in dem im Schritt S32 gelesenen Leuchtdichtebild fest. Die Beispiele für ein Festlegungsverfahren des vorgeschriebenen Bereichs A enthalten das eine, das in 2 beschrieben ist. Wenn im Schritt S32 ein Farbbild gelesen wird, kann der vorgeschriebene Bereich A basierend auf der Position eines weiteren Fahrzeugs in dem Bild festgelegt werden.In step S33 sets the luminance calculation formula modification unit 13 the prescribed area (area of the front vehicle) A with respect to the position of another vehicle in the in the step S32 read luminance image. The examples of a determination procedure of the prescribed area A include the one that is described in 2nd is described. If in step S32 When a color image is read, the prescribed area A can be set based on the position of another vehicle in the image.

Im Schritt S34 berechnet die Leuchtdichteberechnungsformel-Modifikationseinheit 13 den Leuchtdichteindexwert des vorgeschriebenen Bereichs A in dem im Schritt S32 gelesenen Leuchtdichtebild. Wenn im Schritt S32 ein Farbbild gelesen wird, wird der Leuchtdichteindexwert des vorgeschriebenen Bereichs A in dem dem Farbbild entsprechenden Leuchtdichtebild berechnet.In step S34 calculates the luminance calculation formula modification unit 13 the luminance index value of the prescribed area A in that in the step S32 read luminance image. If in step S32 when a color image is read, the luminance index value of the prescribed area A is calculated in the luminance image corresponding to the color image.

Im Schritt S35 bestimmt die Leuchtdichteberechnungsformel-Modifikationseinheit 13, ob der Leuchtdichteindexwert des vorgeschriebenen Bereichs A gleich einem oder kleiner als ein erster Schwellenwert (Y1) und gleich einem oder größer als ein zweiter Schwellenwert (Y2) ist. Der erste Schwellenwert (Y1) ist ein Schwellenwert der Leuchtdichte, der für die Annahme definiert ist, dass die vollständig weißen hellen Bereiche im Farbbild (aufgenommenen Bild) aufgetreten sind, während der zweite Schwellenwert (Y2) ein Schwellenwert der Leuchtdichte ist, der für die Annahme definiert ist, dass ähnlich vom Schwarz ununterscheidbare dunkle Bereiche aufgetreten sind.In step S35 determines the luminance calculation formula modification unit 13 whether the luminance index value of the prescribed range A is equal to or less than a first threshold value ( Y1 ) and equal to or greater than a second threshold ( Y2 ) is. The first threshold ( Y1 ) is a threshold level of luminance defined to assume that the completely white bright areas in the color image (captured image) have occurred, while the second threshold level ( Y2 ) is a luminance threshold defined for assuming that dark areas similar to black indistinguishable have occurred.

Der erste Schwellenwert (Y1) ist jedoch auf einen Wert festgelegt, der größer als der zweite Schwellenwert (Y2) ist (d. h., Y1 > Y2). Falls der Leuchtdichteindexwert des vorgeschriebenen Bereichs A gleich dem oder größer als der zweite Schwellenwert und gleich dem oder kleiner als der erste Schwellenwert ist, kann er als eine geeignete Leuchtdichte betrachtet werden. Falls der Leuchtdichteindexwert des vorgeschriebenen Bereichs A gleich dem oder kleiner als der erste Schwellenwert (Y1) und gleich dem oder größer als der zweite Schwellenwert (Y2) ist, geht der Verarbeitungsablauf zum Schritt S36 weiter; andernfalls geht der Verarbeitungsablauf zum Schritt S37 weiter.The first threshold ( Y1 ), however, is set to a value that is greater than the second threshold ( Y2 ) is (ie, Y1> Y2). If the luminance index value of the prescribed area A is equal to or larger than the second threshold value and equal to or smaller than the first threshold value, it can be regarded as a suitable luminance. If the luminance index value of the prescribed area A is equal to or less than the first threshold value ( Y1 ) and equal to or greater than the second threshold ( Y2 ), the processing flow goes to step S36 further; otherwise the processing flow goes to step S37 further.

Im Schritt S36 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die erste Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest.In step S36 sets the luminance calculation formula modification unit 13 the first luminance calculation formula as a luminance calculation formula.

Im Schritt S37 bestimmt die Leuchtdichteberechnungsformel-Modifikationseinheit 13, ob der Leuchtdichteindexwert des vorgeschriebenen Bereichs A größer als der erste Schwellenwert (Y1) ist. Falls der Leuchtdichteindexwert des vorgeschriebenen Bereichs A größer als der erste Schwellenwert (Y1) ist, geht der Verarbeitungsablauf zum Schritt S38 weiter; andernfalls (d. h., in dem Fall, in dem der Leuchtdichteindexwert des vorgeschriebenen Bereichs A kleiner als der zweite Schwellenwert (Y2) ist) geht der Verarbeitungsablauf zum Schritt S39 weiter.In step S37 determines the luminance calculation formula modification unit 13 whether the luminance index value of the prescribed range A is larger than the first threshold value ( Y1 ) is. If the luminance index value of the prescribed area A is larger than the first threshold value ( Y1 ), the processing flow goes to step S38 further; otherwise (i.e., in the case where the luminance index value of the prescribed area A is less than the second threshold value ( Y2 ) is) the processing flow goes to step S39 further.

Im Schritt S38 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die zweite Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest.In step S38 sets the luminance calculation formula modification unit 13 fixes the second luminance calculation formula as a luminance calculation formula.

Im Schritt S39 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 eine dritte Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest. Die dritte Leuchtdichteberechnungsformel weist den G-Wert, dessen Koeffizient größer als der in der ersten Leuchtdichteberechnungsformel ist, und den R-Wert und den B-Wert, deren Koeffizienten kleiner als jene in der ersten Leuchtdichteberechnungsformel sind, auf. Die dritte Leuchtdichteberechnungsformel in der vorliegenden Ausführungsform wird durch die folgende Formel (3) dargestellt. Wie oben beschrieben worden ist, ist die Empfindlichkeit gegenüber weißem Licht zwischen den R-, G- und B-Pixeln unterschiedlich, wobei es eine Beziehung „G > R > B“ gibt. Aus diesem Grund werden die vom Schwarz ununterscheidbaren dunklen Bereiche stärker als in einem Fall, in dem die erste Leuchtdichteberechnungsformel verwendet wird, verringert, wenn die dritte Leuchtdichteberechnungsformel verwendet wird, um ein Leuchtdichtebild zu erzeugen. Y = G

Figure DE112018005975T5_0004
Im Schritt S40 legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 die erste Leuchtdichteberechnungsformel als eine Leuchtdichteberechnungsformel fest.In step S39 sets the luminance calculation formula modification unit 13 a third luminance calculation formula as a luminance calculation formula. The third luminance calculation formula has the G value whose coefficient is larger than that in the first luminance calculation formula, and the R value and the B value whose coefficients are smaller than those in the first luminance calculation formula. The third luminance calculation formula in the present embodiment is represented by the following formula (3) shown. As described above, the sensitivity to white light is different between the R, G and B pixels, with a relationship "G>R>B". For this reason, when the third luminance calculation formula is used, the dark areas indistinguishable from black are reduced more than in a case in which the first luminance calculation formula is used to form a luminance image. Y = G
Figure DE112018005975T5_0004
 In step S40 sets the luminance calculation formula modification unit 13 the first luminance calculation formula as a luminance calculation formula.

<Handlungen und Wirkungen><Actions and Effects>

Es werden die Handlungen und Wirkungen in dem Fall beschrieben, in dem ein Leuchtdichtebild unter Verwendung der Leuchtdichteberechnungsformel erzeugt wird, die durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 bestimmt wird, die konfiguriert ist, wie oben beschrieben worden ist.The actions and effects in the case where a luminance image is generated using the luminance calculation formula by the luminance calculation formula modification unit will be described 13 is determined, which is configured as described above.

Wenn in dem Farbbild (aufgenommenen Bild) an der Tunnelausfahrt vollständig weiße helle Bereiche auftreten und ein weiteres entferntes Fahrzeug verloren worden ist, legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 im Schritt S38 zuerst die zweite Leuchtdichteberechnungsformel als die Leuchtdichteberechnungsformel fest, wobei die Leuchtdichteberechnungseinheit 14 ein Leuchtdichtebild unter Verwendung der zweiten Leuchtdichteberechnungsformel erzeugt. In diesem Leuchtdichtebild sind die vollständig weißen hellen Bereiche durch die zweite Leuchtdichteberechnungsformel verringert worden, wobei folglich die Möglichkeit des Detektierens des verlorenen Fahrzeugs im Farbbild verbessert ist. Dies kann die Detektionsrate eines weiteren Fahrzeugs sogar in einer Situation, in der das unter der Belichtungsbedingung, die für die Detektion eines weiteren Fahrzeugs geeignet ist, aufgenommene Bild zum Zeitpunkt des Auftretens vollständig weißer heller Bereiche nicht erhalten werden kann, verbessern, ohne die Kosten zu erhöhen.When completely white bright areas appear in the color image (captured image) at the tunnel exit and another distant vehicle is lost, the luminance calculation formula modification unit sets 13 in step S38 first fixes the second luminance calculation formula as the luminance calculation formula, the luminance calculation unit 14 generates a luminance image using the second luminance calculation formula. In this luminance image, the completely white bright areas have been reduced by the second luminance calculation formula, which consequently improves the possibility of detecting the lost vehicle in the color image. This can improve the detection rate of another vehicle even in a situation where the image taken under the exposure condition suitable for the detection of another vehicle cannot be obtained at the time of the appearance of completely white bright areas without the cost increase.

Wenn vom Schwarz ununterscheidbare dunkle Bereiche im Farbbild (aufgenommenen Bild) an der Tunneleinfahrt auftreten und ein weiteres entferntes Fahrzeug verloren worden ist, legt die Leuchtdichteberechnungsformel-Modifikationseinheit 13 im Schritt S39 die dritte Leuchtdichteberechnungsformel als die Leuchtdichteberechnungsformel fest, wobei die Leuchtdichteberechnungseinheit 14 ein Leuchtdichtebild unter Verwendung der dritten Leuchtdichteberechnungsformel erzeugt. In diesem Leuchtdichtebild sind die vom Schwarz ununterscheidbaren dunklen Bereiche durch die dritte Leuchtdichteberechnungsformel verringert worden, wobei folglich die Möglichkeit des Detektierens des verlorenen Fahrzeugs im Farbbild verbessert ist. Dies kann die Detektionsrate eines weiteren Fahrzeugs sogar in einer Situation, in der das unter der Belichtungsbedingung, die für die Detektion eines weiteren Fahrzeugs geeignet ist, aufgenommene Bild zum Zeitpunkt des Auftretens von vom Schwarz ununterscheidbaren dunklen Bereiche nicht erhalten werden kann, verbessern, ohne die Kosten zu erhöhen.If dark areas in the color image (recorded image) that are indistinguishable from black occur at the tunnel entrance and a further distant vehicle has been lost, the luminance calculation formula modification unit sets 13 in step S39 fixes the third luminance calculation formula as the luminance calculation formula, the luminance calculation unit 14 generates a luminance image using the third luminance calculation formula. In this luminance image, the dark areas that are indistinguishable from black have been reduced by the third luminance calculation formula, and consequently the possibility of detecting the lost vehicle in the color image has been improved. This can improve the detection rate of another vehicle even in a situation where the image taken under the exposure condition suitable for the detection of another vehicle cannot be obtained at the time of occurrence of dark areas indistinguishable from black without which Increase costs.

Wenn weder vollständig weiße helle Bereiche noch vom Schwarz ununterscheidbare dunkle Bereiche auftreten oder wenn kein weiteres Fahrzeug verloren worden ist, wird die erste Leuchtdichteberechnungsformel als normal festgelegt, wobei folglich bei der Modifikation der Leuchtdichteberechnungsformel keine Unannehmlichkeiten auftreten.If neither completely white bright areas nor dark areas indistinguishable from black occur or if no other vehicle has been lost, the first luminance calculation formula is set as normal, and consequently no inconvenience occurs when modifying the luminance calculation formula.

-Variation 1--Variation 1-

Im Beispiel nach 8 wird der vorgeschriebene Bereich A basierend auf der Position des verlorenen Fahrzeugs festgelegt, wobei aber ein Rechteck einer vorgeschriebenen Größe als der vorgeschriebene Bereich an einer vorgeschriebenen Position im mittleren Teil des Leuchtdichtebildes direkt unabhängig von der Position des Fahrzeugs festgelegt werden kann und die Leuchtdichteberechnungsformel bestimmt werden kann. 9 zeigt ein Beispiel eines Ablaufplans der Bestimmungsverarbeitung (Modifikationsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 in diesem Fall. Die Leuchtdichteberechnungsformel-Modifikationseinheit 13 führt diesen Ablaufplan in einem vorgegebenen Steuerzyklus wiederholt aus. Die gleiche Verarbeitung wie in 8 ist durch das gleiche Bezugszeichen bezeichnet, wobei deren Beschreibung weggelassen wird.In the example after 8th the prescribed area A is determined based on the position of the lost vehicle, but a rectangle of a prescribed size as the prescribed area at a prescribed position in the middle part of the luminance image can be set directly regardless of the position of the vehicle and the luminance calculation formula can be determined . 9 12 shows an example of a flowchart of the determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 in this case. The luminance calculation formula modification unit 13 executes this schedule repeatedly in a given control cycle. The same processing as in 8th is denoted by the same reference numeral, the description of which is omitted.

Wenn die Verarbeitung von 9 begonnen wird, liest die Leuchtdichteberechnungsformel-Modifikationseinheit 13 im Schritt S41 das letzte mögliche Leuchtdichtebild aus den Leuchtdichtebildern, die basierend auf dem durch die Kamera 11 aufgenommenen Farbbild erzeugt worden sind. Anstelle des Lesens des Leuchtdichtebilds kann ein Farbbild gelesen werden.If the processing of 9 starts, the luminance calculation formula modification unit reads 13 in step S41 the last possible luminance image from the luminance images based on that by the camera 11 recorded color image have been generated. Instead of reading the luminance image, a color image can be read.

Im Schritt S42 berechnet die Leuchtdichteberechnungsformel-Modifikationseinheit 13 den Leuchtdichteindexwert des vorgeschriebenen Bereichs A, der im Voraus in dem im Schritt S41 gelesenen Leuchtdichtebild bestimmt worden ist. Wenn im Schritt S41 ein Farbbild gelesen wird, wird der Leuchtdichteindexwert des vorgeschriebenen Bereichs A in dem dem Farbbild entsprechenden Leuchtdichtebild berechnet.In step S42 calculates the luminance calculation formula modification unit 13 the luminance index value of the prescribed area A, which is set in advance in the step S41 read luminance image has been determined. If in step S41 when a color image is read, the luminance index value of the prescribed area A is calculated in the luminance image corresponding to the color image.

Weil die Verarbeitung in und nach dem Schritt S35 die gleiche wie die in 8 ist, wird deren Beschreibung weggelassen. Because processing in and after the step S35 the same as that in 8th the description thereof is omitted.

Selbst wenn die Leuchtdichteberechnungsformel-Modifikationseinheit 13 in dieser Weise konfiguriert ist, kann die Detektionsrate eines weiteren Fahrzeugs sogar in einer Situation, in der das unter der Belichtungsbedingung, die für die Detektion eines weiteren Fahrzeugs geeignet ist, aufgenommene Bild zum Zeitpunkt des Auftretens von vollständig weißen hellen Bereichen oder vom Schwarz ununterscheidbaren dunklen Bereiche nicht erhalten werden kann, verbessert werden, ohne die Kosten zu erhöhen.Even if the luminance calculation formula modification unit 13 Configured in this way, the detection rate of another vehicle can be obtained even in a situation where the image captured under the exposure condition suitable for the detection of another vehicle at the time of appearance of completely white bright areas or dark indistinguishable from black Areas that cannot be maintained can be improved without increasing the cost.

-Variation 2 -- variation 2 -

Die Ablaufpläne nach den 8 und 9 können mit dem Ablaufplan nach 4 kombiniert werden. 10 stellt ein Beispiel eines Ablaufplans der Bestimmungsverarbeitung (Modifikationsverarbeitung) der Leuchtdichteberechnungsformel durch die Leuchtdichteberechnungsformel-Modifikationseinheit 13 in diesem Fall dar. In 10 ist der Ablauf der Verarbeitung so konfiguriert, dass er zum Schritt S21 nach 4 weitergeht, wenn im Schritt S31 nein bestimmt wird. Selbst wenn die Leuchtdichteberechnungsformel-Modifikationseinheit 13 in dieser Weise konfiguriert ist, kann die Detektionsrate eines vorgeschriebenen Detektionszielobjekts sogar in einer Situation, in der das unter der Belichtungsbedingung, die für die Detektion des vorgeschriebenen Detektionsziels geeignet ist, aufgenommene Bild nicht erhalten werden kann, verbessert werden, ohne die Kosten zu erhöhen. Obwohl 10 ein Beispiel darstellt, in dem die Ablaufpläne nach den 8 und 4 kombiniert sind, können natürlich die Ablaufpläne nach 9 und 4 kombiniert werden.The schedules according to the 8th and 9 can follow the schedule 4th be combined. 10th provides an example of a flowchart of determination processing (modification processing) of the luminance calculation formula by the luminance calculation formula modification unit 13 in this case 10th the processing flow is configured to go to step S21 to 4th continues when in step S31 no is determined. Even if the luminance calculation formula modification unit 13 Configured in this manner, the detection rate of a prescribed detection target can be improved without increasing the cost even in a situation where the image taken under the exposure condition suitable for the detection of the prescribed detection target cannot be obtained. Although 10th is an example in which the flowcharts according to the 8th and 4th are combined, the schedule can of course 9 and 4th be combined.

Schließlich werden die vier Leuchtdichteberechnungsformeln, die in jeder Ausführungsform verwendet werden, zusammengefasst. 11 ist eine Tabelle, die den Inhalt jeder Leuchtdichteberechnungsformel und die Bedingungen, unter denen jede Leuchtdichteberechnungsformel ausgewählt wird, zusammenfasst.Finally, the four luminance calculation formulas used in each embodiment are summarized. 11 is a table summarizing the content of each luminance calculation formula and the conditions under which each luminance calculation formula is selected.

Wie in dieser Tabelle dargestellt ist, enthalten die Bedingungen, unter denen die zweite Leuchtdichteberechnungsformel (Y = B), die zum Verringern vollständig weißer heller Bereiche verwendet wird, ausgewählt wird, z. B. einen Fall, in dem der Leuchtdichteindexwert des vorgeschriebenen Bereichs (Bereichs des vorderen Fahrzeugs) A höher als der erste Schwellenwert (Y1) ist, einen Fall, in dem das vorausfahrende Fahrzeug aufgrund vollständig weißer heller Bereiche des aufgenommenen Bildes nicht detektierbar wird (z. B. die Tunnelausfahrt), und einen Fall, in dem das Detektionszielobjekt der Detektionseinheit 15 der Scheinwerfer eines entgegenkommenden Fahrzeugs ist (d. h., in einem Fall, in dem der Scheinwerfer und der Reflektor voneinander unterschieden werden).As shown in this table, the conditions under which the second luminance calculation formula (Y = B) used to reduce completely white bright areas are selected, e.g. B. a case where the luminance index value of the prescribed area (front vehicle area) A is higher than the first threshold value ( Y1 ), a case in which the vehicle in front cannot be detected due to completely white bright areas of the recorded image (for example the tunnel exit), and a case in which the detection target object of the detection unit 15 is the headlamp of an oncoming vehicle (that is, in a case where the headlamp and the reflector are distinguished from each other).

Die Bedingungen, unter denen die dritte Leuchtdichteberechnungsformel (Y = G), die zum Verringern der vom Schwarz ununterscheidbaren dunklen Bereiche verwendet wird, gewählt wird, enthalten zusätzlich z. B. einen Fall, in dem der Leuchtdichteindexwert des vorgeschriebenen Bereichs (Bereichs des vorderen Fahrzeugs) A kleiner als der zweite Schwellenwert (Y2) ist, und einen Fall, in dem das vorausfahrende Fahrzeug aufgrund der vom Schwarz ununterscheidbaren dunklen Bereiche des aufgenommenen Bildes (z. B. die Tunneleinfahrt oder unter der Überführung) nicht detektierbar wird.The conditions under which the third luminance calculation formula (Y = G), which is used to reduce the dark areas which are indistinguishable from black, are additionally included, e.g. B. a case where the luminance index value of the prescribed area (front vehicle area) A is smaller than the second threshold value ( Y2 ), and a case in which the vehicle in front cannot be detected due to the dark areas of the recorded image that are indistinguishable from black (e.g. the tunnel entrance or under the overpass).

Die Bedingungen, unter denen die vierte Leuchtdichteberechnungsformel (Y = R), die zum Detektieren eines dunkelroten Lichts verwendet wird, gewählt wird, enthalten zusätzlich z. B. einen Fall, in dem das Detektionszielobjekt der Detektionseinheit 15 die Schlussleuchte eines entfernt fahrenden Fahrzeugs ist (z. B. eine Entfernung von 500 m oder mehr vom eigenen Fahrzeug), und einen Fall, in dem das Detektionszielobjekt der Detektionseinheit 15 die Schlussleuchte eines fahrenden Fahrzeugs in einer kurzen Entfernung (z. B. einer Entfernung von 50 m oder weniger vom eigenen Fahrzeug) ist (ein Fall, in dem die Belichtungsbedingung dunkler als die des erstgenannten Falls ist).The conditions under which the fourth luminance calculation formula (Y = R), which is used to detect dark red light, are additionally included, e.g. B. a case in which the detection target of the detection unit 15 is the tail lamp of a distant vehicle (e.g., a distance of 500 m or more from the own vehicle), and a case where the detection target of the detection unit 15 the tail lamp of a moving vehicle is a short distance (e.g., 50 m or less from the own vehicle) (a case where the exposure condition is darker than that of the former case).

Es sollte angegeben werden, dass der Koeffizient in der ersten Leuchtdichteberechnungsformel lediglich ein Beispiel ist, wobei er z. B. „Y = 0,3R + 0,6 + 0,1B“ sein kann, indem auf die zweite Dezimalstelle abgerundet wird. It should be noted that the coefficient in the first luminance calculation formula is only an example, e.g. B. "Y = 0.3R + 0.6 + 0.1B" can be by rounding down to the second decimal place.

- Andere -- Other -

Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform eingeschränkt und enthält verschiedene Variationen in dem Bereich, der nicht vom Schutzumfang der vorliegenden Erfindung abweicht. Die vorliegende Erfindung ist z. B. nicht auf eine, die alle in der obigen Ausführungsform beschriebenen Konfigurationen enthält, eingeschränkt und enthält außerdem eine, bei der ein Teil der Konfigurationen entfernt ist. Weiterhin kann ein Teil der Konfiguration gemäß einer Ausführungsform zu der Konfiguration gemäß einer weiteren Ausführungsform hinzugefügt oder durch die Konfiguration gemäß einer weiteren Ausführungsform ersetzt werden.The present invention is not limited to the embodiment described above and includes various variations in the range that does not depart from the scope of the present invention. The present invention is e.g. B. is not limited to one that includes all of the configurations described in the above embodiment, and also includes one with some of the configurations removed. Furthermore, part of the configuration according to one embodiment can be added to the configuration according to another embodiment or replaced by the configuration according to another embodiment.

Jede Konfiguration, die Verarbeitungsvorrichtung 1 und die Steuervorrichtung 2, die oben beschrieben worden sind, und die Funktionen und die Ausführungsverarbeitung jeder der Konfigurationen betrifft, kann teilweise oder ganz durch Hardware verwirklicht sein (die Logik zum Ausführen jeder Funktion ist z. B. in einer integrierten Schaltung oder dergleichen entworfen). Zusätzlich kann die Konfiguration, die die oben beschriebenen Vorrichtungen 1 und 2 betrifft, sein
ein Programm (Software), in dem jede Funktion, die die Konfiguration des Geräts betrifft, verwirklicht wird, indem sie durch eine Rechenverarbeitungsvorrichtung (z. B. CPU) gelesen und ausgeführt wird. Die Informationen, die das Programm betreffen, können z. B. in einem Halbleiterspeicher (Flash-Speicher, SSD usw.), einer Magnetspeichervorrichtung (Festplatte usw.), einem Aufzeichnungsmedium (Magnetplatte, optischen Platte usw.) und dergleichen gespeichert sein.Any configuration, the processing device 1 and the control device 2nd which have been described above and which relate to the functions and execution processing of each of the configurations may be partially or wholly by hardware be realized (the logic for performing each function is designed, for example, in an integrated circuit or the like). In addition, the configuration that the devices described above can 1 and 2nd concerns, be
a program (software) in which any function relating to the configuration of the device is realized by being read and executed by a computing device (e.g. CPU). The information relating to the program can e.g. B. in a semiconductor memory (flash memory, SSD, etc.), a magnetic storage device (hard disk, etc.), a recording medium (magnetic disk, optical disk, etc.) and the like.

Die Beschreibung jeder oben beschriebenen Ausführungsform stellt die Steuerleitungen und Informationsleitungen dar, die als für die Beschreibung jeder Ausführungsform notwendig erkannt werden, sie gibt aber nicht notwendigerweise alle Steuerleitungen und Informationsleitungen an, die das Produkt betreffen. In der Praxis kann in Betracht gezogen werden, dass fast alle Konfigurationen miteinander verbunden sind.The description of each embodiment described above represents the control lines and information lines which are recognized as necessary for the description of each embodiment, but does not necessarily indicate all control lines and information lines relating to the product. In practice, it can be considered that almost all configurations are interconnected.

BezugszeichenlisteReference list

11
BildverarbeitungsvorrichtungImage processing device
1111
Kameracamera
1212th
BildaufnahmeeinheitImage acquisition unit
1313
Leuchtdichteberechnungsformel-ModifikationseinheitLuminance calculation formula modification unit
1414
LeuchtdichteberechnungseinheitLuminance calculation unit
1515
FahrzeugdetektionseinheitVehicle detection unit
1616
LichtverteilungssteuereinheitLight distribution control unit
1717th
Konstantfahrgeschwindigkeits- und FahrzeugabstandssteuereinheitConstant speed and vehicle distance control unit
100100
FahrzeugsteuersystemVehicle control system

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • JP 2014232431 A [0004]JP 2014232431 A [0004]

Claims (11)

Bildverarbeitungssystem, das umfasst: eine Bildaufnahmevorrichtung; und eine Bildverarbeitungsvorrichtung, die eine Leuchtdichteberechnungseinheit, die eine Leuchtdichteberechnungsformel verwendet, um ein Leuchtdichtebild aus einem aufgenommenen Bild, das durch die Bildaufnahmevorrichtung aufgenommen wird, zu erzeugen, und eine Detektionseinheit, die ein vorgeschriebenes Zielobjekt basierend auf dem Leuchtdichtebild detektiert, enthält, wobei die Bildverarbeitungsvorrichtung zusätzlich mit einer Leuchtdichteberechnungsformel-Modifikationseinheit versehen ist, die die durch die Leuchtdichteberechnungseinheit verwendete Leuchtdichteberechnungsformel in Übereinstimmung mit einem Leuchtdichteindexwert eines vorgeschriebenen Bereichs des Leuchtdichtebildes oder dem Typ des durch die Detektionseinheit detektierten vorgeschriebenen Zielobjekts modifiziert.Image processing system that includes: an image pickup device; and an image processing device including a luminance calculation unit that uses a luminance calculation formula to generate a luminance image from a captured image captured by the image pickup device, and a detection unit that detects a prescribed target object based on the luminance image, wherein the image processing apparatus is additionally provided with a luminance calculation formula modification unit that modifies the luminance calculation formula used by the luminance calculation unit in accordance with a luminance index value of a prescribed area of the luminance image or the type of the prescribed target object detected by the detection unit. Bildverarbeitungssystem nach Anspruch 1, wobei wenn ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild einen ersten Schwellenwert übersteigt, die Leuchtdichteberechnungsformel-Modifikationseinheit die Leuchtdichteberechnungsformel zu einer zweiten Leuchtdichteberechnungsformel modifiziert, die vollständig weiße helle Bereiche des Leuchtdichtebildes mehr verringert, als es eine erste Leuchtdichteberechnungsformel macht, die die Leuchtdichteberechnungseinheit als die Leuchtdichteberechnungsformel verwendet, wenn ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild gleich einem oder größer als ein zweiter Schwellenwert ist, der kleiner als der erste Schwellenwert ist, und gleich dem oder kleiner als der erste Schwellenwert ist.Image processing system after Claim 1 , wherein when a luminance index value of a prescribed area in the luminance image exceeds a first threshold, the luminance calculation formula modification unit modifies the luminance calculation formula to a second luminance calculation formula that reduces completely white bright areas of the luminance image more than a first luminance calculation formula that the luminance calculation unit does as the luminance calculation form used when a luminance index value of a prescribed range in the luminance image is equal to or larger than a second threshold value that is smaller than the first threshold value and is equal to or smaller than the first threshold value. Bildverarbeitungssystem nach Anspruch 1, wobei wenn sich ein Zustand, in dem das vorgeschriebene Zielobjekt durch die Detektionseinheit detektiert wird, in einen Zustand geändert hat, in dem das vorgeschriebene Zielobjekt nicht detektierbar ist und ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild einen ersten Schwellenwert übersteigt, die Leuchtdichteberechnungsformel-Modifikationseinheit die Leuchtdichteberechnungsformel zu einer zweiten Leuchtdichteberechnungsformel modifiziert, die vollständig weiße helle Bereiche des Leuchtdichtebildes mehr verringert, als es eine Bezugs-Leuchtdichteberechnungsformel macht, die die Leuchtdichteberechnungseinheit als die Leuchtdichteberechnungsformel verwendet, wenn ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild gleich einem oder größer als ein zweiter Schwellenwert ist, der kleiner als der erste Schwellenwert ist, und gleich dem oder kleiner als der erste Schwellenwert ist.Image processing system after Claim 1 , and when a state in which the prescribed target is detected by the detection unit has changed to a state in which the prescribed target is not detectable and a luminance index value of a prescribed range in the luminance image exceeds a first threshold, the luminance calculation formula modification unit Modified luminance calculation formula to a second luminance calculation formula that completely reduces white bright areas of the luminance image than does a reference luminance calculation formula that the luminance calculation unit uses as the luminance calculation formula when a luminance index value of a prescribed area in the luminance image is equal to or greater than a second threshold that is less than the first threshold and is equal to or less than the first threshold. Bildverarbeitungssystem nach Anspruch 1, wobei wenn das vorgeschriebene Zielobjekt der Detektionseinheit ein Weißlichtstrahler ist, die Leuchtdichteberechnungsformel-Modifikationseinheit die Leuchtdichteberechnungsformel zu einer zweiten Leuchtdichteberechnungsformel modifiziert, die vollständig weiße helle Bereiche des Leuchtdichtebildes mehr verringert, als es eine erste Leuchtdichteberechnungsformel macht, die die Leuchtdichteberechnungseinheit normalerweise als die Leuchtdichteberechnungsformel verwendet.Image processing system after Claim 1 , where the prescribed target object of the detection unit is a white light emitter, the luminance calculation formula modification unit modifies the luminance calculation formula to a second luminance calculation formula that reduces completely white bright areas of the luminance image more than does a first luminance calculation formula that the luminance calculation unit normally uses as the luminance calculation formula. Bildverarbeitungssystem nach Anspruch 2, wobei das aufgenommene Bild durch ein RGB-Farbmodell definiert ist, die erste Leuchtdichteberechnungsformel durch eine Summe von Werten definiert ist, die durch das Multiplizieren jedes eines R-Werts, eines G-Werts und eines B-Werts irgendeines Pixels in dem aufgenommenen Bild mit einem vorgeschriebenen Koeffizienten erhalten wird, und die zweite Leuchtdichteberechnungsformel einen B-Wert, dessen Koeffizient größer als der in der ersten Leuchtdichteberechnungsformel ist, und einen R-Wert und einen G-Wert, deren Koeffizienten kleiner als jene in der ersten Leuchtdichteberechnungsformel sind, aufweist.Image processing system after Claim 2 , wherein the captured image is defined by an RGB color model, the first luminance calculation formula is defined by a sum of values by multiplying each of an R value, a G value and a B value of any pixel in the captured image a prescribed coefficient is obtained, and the second luminance calculation formula has a B value whose coefficient is larger than that in the first luminance calculation formula, and an R value and a G value whose coefficients are smaller than those in the first luminance calculation formula. Bildverarbeitungssystem nach Anspruch 1, wobei wenn ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild kleiner als ein zweiter Schwellenwert ist, die Leuchtdichteberechnungsformel-Modifikationseinheit die Leuchtdichteberechnungsformel zu einer dritten Leuchtdichteberechnungsformel modifiziert, die vom Schwarz ununterscheidbare dunkle Bereiche des Leuchtdichtebildes mehr verringert, als es eine erste Leuchtdichteberechnungsformel macht, die die Leuchtdichteberechnungseinheit als die Leuchtdichteberechnungsformel verwendet, wenn ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild gleich dem oder größer als der zweite Schwellenwert ist und gleich einem oder kleiner als ein erster Schwellenwert ist, der größer als der zweite Schwellenwert ist.Image processing system after Claim 1 , wherein when a luminance index value of a prescribed area in the luminance image is less than a second threshold, the luminance calculation formula modification unit modifies the luminance calculation formula to a third luminance calculation formula that reduces dark areas of the luminance image that are indistinguishable from black more than a first one Makes luminance calculation formula that the luminance calculation unit uses as the luminance calculation formula when a luminance index value of a prescribed area in the luminance image is equal to or larger than the second threshold value and is equal to or smaller than a first threshold value that is larger than the second threshold value. Bildverarbeitungssystem nach Anspruch 1, wobei wenn ein Zustand, in dem das vorgeschriebene Zielobjekt durch die Detektionseinheit detektiert wird, sich in einen Zustand geändert hat, in dem das vorgeschriebene Zielobjekt nicht detektierbar ist und ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild kleiner als ein zweiter Schwellenwert ist, die Leuchtdichteberechnungsformel-Modifikationseinheit die Leuchtdichteberechnungsformel zu einer dritten Leuchtdichteberechnungsformel modifiziert, die vom Schwarz ununterscheidbare dunkle Bereiche des Leuchtdichtebildes mehr verringert, als es eine erste Leuchtdichteberechnungsformel macht, die die Leuchtdichteberechnungseinheit als die Leuchtdichteberechnungsformel verwendet, wenn ein Leuchtdichteindexwert eines vorgeschriebenen Bereichs im Leuchtdichtebild gleich dem oder größer als der zweite Schwellenwert ist und gleich einem oder kleiner als ein erster Schwellenwert ist, der größer als der zweite Schwellenwert ist.Image processing system after Claim 1 , and when a state in which the prescribed target object is detected by the detection unit has changed to a state in which the prescribed target object is undetectable and a luminance index value of a prescribed range in the luminance image is smaller than a second threshold value, the luminance calculation formula Modification unit modifies the luminance calculation formula to a third luminance calculation formula that reduces dark areas of the luminance image indistinguishable from black more than a first luminance calculation formula that uses the luminance calculation unit as the luminance calculation formula when a luminance index value of a prescribed area in the luminance image is equal to or greater than the second Threshold and is equal to or less than a first threshold that is greater than the second threshold. Bildverarbeitungssystem nach Anspruch 6, wobei das aufgenommene Bild durch ein RGB-Farbmodell definiert ist, die erste Leuchtdichteberechnungsformel durch eine Summe von Werten definiert ist, die durch das Multiplizieren jedes eines R-Werts, eines G-Werts und eines B-Werts irgendeines Pixels in dem aufgenommenen Bild mit einem vorgeschriebenen Koeffizienten erhalten wird, und die dritte Leuchtdichteberechnungsformel einen G-Wert, dessen Koeffizient größer als der in der ersten Leuchtdichteberechnungsformel ist, und einen R-Wert und einen B-Wert, deren Koeffizienten kleiner als jene in der ersten Leuchtdichteberechnungsformel sind, aufweist.Image processing system after Claim 6 , wherein the captured image is defined by an RGB color model, the first luminance calculation formula is defined by a sum of values by multiplying each of an R value, a G value and a B value of any pixel in the captured image a prescribed coefficient is obtained, and the third luminance calculation formula has a G value whose coefficient is larger than that in the first luminance calculation formula, and an R value and a B value whose coefficients are smaller than those in the first luminance calculation formula. Bildverarbeitungssystem nach Anspruch 1, wobei wenn das vorgeschriebene Zielobjekt der Detektionseinheit ein Rotlichtstrahler ist, die Leuchtdichteberechnungsformel-Modifikationseinheit die Leuchtdichteberechnungsformel in eine vierte Leuchtdichteberechnungsformel modifiziert, die vom Schwarz ununterscheidbare dunkle Bereiche des Leuchtdichtebildes mehr verringert, als es eine erste Leuchtdichteberechnungsformel macht, die die Leuchtdichteberechnungseinheit normalerweise als die Leuchtdichteberechnungsformel verwendet.Image processing system after Claim 1 where the prescribed target object of the detection unit is a red light emitter, the luminance calculation formula modification unit modifies the luminance calculation formula into a fourth luminance calculation formula that reduces dark areas of the luminance image that are indistinguishable from black more than a first luminance calculation formula that the luminance calculation unit normally uses as the luminance calculation unit . Bildverarbeitungssystem nach Anspruch 9, wobei das aufgenommene Bild durch ein RGB-Farbmodell definiert ist, die erste Leuchtdichteberechnungsformel durch eine Summe von Werten definiert ist, die durch das Multiplizieren jedes eines R-Werts, eines G-Werts und eines B-Werts irgendeines Pixels in dem aufgenommenen Bild mit einem vorgeschriebenen Koeffizienten erhalten wird, und die vierte Leuchtdichteberechnungsformel einen R-Wert, dessen Koeffizient größer als der in der ersten Leuchtdichteberechnungsformel ist, und einen G-Wert und einen B-Wert, deren Koeffizienten kleiner als jene in der ersten Leuchtdichteberechnungsformel sind, aufweist.Image processing system after Claim 9 , wherein the captured image is defined by an RGB color model, the first luminance calculation formula is defined by a sum of values by multiplying each of an R value, a G value and a B value of any pixel in the captured image a prescribed coefficient is obtained, and the fourth luminance calculation formula has an R value whose coefficient is larger than that in the first luminance calculation formula, and a G value and a B value whose coefficients are smaller than those in the first luminance calculation formula. Lichtverteilungssteuersystem, das umfasst: eine Bildaufnahmevorrichtung; eine Bildverarbeitungsvorrichtung, die eine Leuchtdichteberechnungseinheit, die eine Leuchtdichteberechnungsformel verwendet, um ein Leuchtdichtebild aus einem durch die Bildaufnahmevorrichtung aufgenommenen ausgenommenen Bild zu erzeugen, und eine Detektionseinheit, die ein vorgeschriebenes Zielobjekt basierend auf dem Leuchtdichtebild detektiert, enthält; und eine Lichtverteilungssteuereinheit, die eine Lichtverteilungssteuerung basierend auf einem Lichtabschirmbereich eines Scheinwerfers des eigenen Fahrzeugs ausführt, der basierend auf einem Detektionsergebnis der Detektionseinheit bestimmt wird, wobei die Bildverarbeitungsvorrichtung zusätzlich mit einer Leuchtdichteberechnungsformel-Modifikationseinheit versehen ist, die eine durch die Leuchtdichteberechnungseinheit verwendete Leuchtdichteberechnungsformel in Übereinstimmung mit einem Leuchtdichteindexwert eines vorgeschriebenen Bereichs des Leuchtdichtebildes oder einem Typ des vorgeschriebenen Zielobjekts, das durch die Detektionseinheit detektiert wird, modifiziert.Light distribution control system that includes: an image pickup device; an image processing device including a luminance calculation unit that uses a luminance calculation formula to generate a luminance image from a captured image captured by the image pickup device, and a detection unit that detects a prescribed target object based on the luminance image; and a light distribution control unit that executes light distribution control based on a light shielding area of a headlamp of the own vehicle, which is determined based on a detection result of the detection unit, wherein the image processing apparatus is additionally provided with a luminance calculation formula modification unit that modifies a luminance calculation formula used by the luminance calculation unit in accordance with a luminance index value of a prescribed area of the luminance image or a type of the prescribed target object detected by the detection unit.
DE112018005975.8T 2018-01-17 2018-12-20 Image processing system and light distribution system Pending DE112018005975T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018005794 2018-01-17
JP2018-005794 2018-01-17
PCT/JP2018/046920 WO2019142586A1 (en) 2018-01-17 2018-12-20 Image processing system and light distribution control system

Publications (1)

Publication Number Publication Date
DE112018005975T5 true DE112018005975T5 (en) 2020-08-06

Family

ID=67300985

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018005975.8T Pending DE112018005975T5 (en) 2018-01-17 2018-12-20 Image processing system and light distribution system

Country Status (3)

Country Link
JP (1) JP6894536B2 (en)
DE (1) DE112018005975T5 (en)
WO (1) WO2019142586A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232431A (en) 2013-05-29 2014-12-11 富士重工業株式会社 Image processing apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311927A (en) * 1996-05-24 1997-12-02 De-Shisu:Kk Parked vehicle detection device and its method
JP3750959B2 (en) * 1997-09-19 2006-03-01 名古屋電機工業株式会社 Parked vehicle detection method and apparatus
JP3782322B2 (en) * 2001-07-11 2006-06-07 株式会社日立製作所 In-vehicle image processing camera device
JP4502577B2 (en) * 2002-12-19 2010-07-14 Ｈｏｙａ株式会社 Electronic endoscope device
JP4365352B2 (en) * 2005-07-06 2009-11-18 本田技研工業株式会社 Vehicle and lane mark recognition device
JP2012155612A (en) * 2011-01-27 2012-08-16 Denso Corp Lane detection apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232431A (en) 2013-05-29 2014-12-11 富士重工業株式会社 Image processing apparatus

Also Published As

Publication number Publication date
JP6894536B2 (en) 2021-06-30
WO2019142586A1 (en) 2019-07-25
JPWO2019142586A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
DE4410064C2 (en) Method and device for distance detection
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
DE102006005443B4 (en) Method and device for evaluating route types
DE102009015142B4 (en) Vehicle surroundings recognition device and control system for tracking a preceding vehicle
DE112008001990B4 (en) Exposure control for an imaging system
DE102010020867B4 (en) Road shape recognition device
DE102013205952B4 (en) Reconfigurable system and method for the detection of a free path
DE102016111307B4 (en) Vehicle exterior environment recognition device
DE102016117780B4 (en) Vehicle exterior environment recognition device
DE102011106052B4 (en) Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core
DE602004002643T2 (en) Image processing apparatus, image processing method and program
DE102016111304B4 (en) Vehicle External Environment Recognition Device
DE102014117102B4 (en) Lane change warning system and method for controlling the lane change warning system
DE102008012840A1 (en) Object detection system
DE60217589T2 (en) Apparatus and method for detecting white lines
DE102019101482A1 (en) DETECTION DEVICE FOR THE EXTERNAL ENVIRONMENT OF A VEHICLE
DE4235619A1 (en) DISTANCE DETERMINATION SYSTEM FOR VEHICLES
DE102011004006A1 (en) Lane mark recognition system with improved recognition behavior
DE102011106072A1 (en) SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS
DE102013205854B4 (en) Method for detecting a free path using temporary coherence
DE102011004463A1 (en) TRACE MARKING DETECTION SYSTEM WITH IMPROVED DETECTION BEHAVIOR
EP2028605A1 (en) Detection method for symmetric patterns
DE112017001789T5 (en) In-vehicle display device
DE102018109276A1 (en) SCREENING BASIC SUPPORT FOR DYNAMIC LIGHTING SCENARIOS
DE112014000910T5 (en) Road sign recognition device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: HITACHI ASTEMO, LTD., HITACHINAKA-SHI, JP

Free format text: FORMER OWNER: HITACHI AUTOMOTIVE SYSTEMS, LTD., HITACHINAKA-SHI, IBARAKI, JP