QUERVERWEISE AUF VERWANDTE ANMELDUNGENCROSS-REFERENCES TO RELATED APPLICATIONS
Diese internationale Anmeldung beansprucht eine Priorität der Japanischen Patentanmeldung Nr. 2016-104488 , die am 25. Mai 2016 beim Japanischen Patentamt eingereicht wurde; der gesamte Inhalt der Japanischen Patentanmeldung Nr. 2016-104488 ist hierin durch Bezugnahme enthalten.This international application claims priority Japanese Patent Application No. 2016-104488 filed with the Japanese Patent Office on May 25, 2016; the entire content of Japanese Patent Application No. 2016-104488 is incorporated herein by reference.
TECHNISCHES GEBIETTECHNICAL AREA
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung.The present invention relates to an image processing apparatus.
STAND DER TECHNIKSTATE OF THE ART
Es ist im Stand der Technik bekannt, ein Bild eines peripheren Gebiets eines Fahrzeuges unter Verwendung einer Kamera im Fahrzeug aufzunehmen und das erlangte Bild auf einem in einem Fahrzeuginnenraum bereitgestellten Display anzuzeigen. Die Kamera im Fahrzeug nimmt ein Bild auf, das beispielsweise eine blinde Zone bzw. ein toter Winkel für einen Fahrzeugfahrer ist. Es wird auch vorgeschlagen, ein System zu verwenden, das eine Kamera im Fahrzeug anstelle eines Rückspiegels oder von Seitenspiegeln aufweist. Diese Technologie ist in JP 2013-5234A offenbart.It is known in the art to take an image of a peripheral area of a vehicle using a camera in the vehicle and to display the acquired image on a display provided in a vehicle interior. The camera in the vehicle takes a picture, which is for example a blind zone or a blind spot for a vehicle driver. It is also proposed to use a system having a camera in the vehicle instead of a rearview mirror or side mirrors. This technology is in JP 2013-5234A disclosed.
LITERATUR IM STAND DER TECHNIKLITERATURE IN THE PRIOR ART
PATENTLITERATURPatent Literature
Patentliteratur 1: JP 2013-5234A Patent Literature 1: JP 2013-5234A
ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION
Gemäß einer eingehenden Studie der Erfinder wurde jedoch das folgende Problem gefunden. Das heißt, bei einer speziellen Umgebungsbedingung, wie etwa einer Schneefallzeit, ist ein Kontrast des durch die Kamera im Fahrzeug aufgenommenen Bildes niedrig und eine Sichtbarkeit ist niedrig.However, according to a detailed study by the inventors, the following problem has been found. That is, under a specific environmental condition such as a snowfall time, a contrast of the image taken by the camera in the vehicle is low and visibility is low.
In einem derartigen Fall ist es schwierig, eine Konkavität und Konvexität einer mit Schnee bedeckten Straßenfläche und eine Grenze zwischen einer Straßenfläche und einer Schneewand im angezeigten Bild zu erkennen, da ein Kontrast und eine Sichtbarkeit niedrig sind.In such a case, it is difficult to detect a concavity and convexity of a snow-covered road surface and a boundary between a road surface and a snow wall in the displayed image because contrast and visibility are low.
Gemäß einem Aspekt der vorliegenden Erfindung ist es vorzuziehen, eine Bildverarbeitungsvorrichtung bereitzustellen, die imstande ist, ein Bild mit hoher Sichtbarkeit zu generieren.According to one aspect of the present invention, it is preferable to provide an image processing apparatus capable of generating a high-visibility image.
Gemäß einer Ausführungsform der vorliegenden Erfindung weist eine Bildverarbeitungsvorrichtung auf: eine Bilderlangeinheit zum Erlangen eines Bildes, das ein peripheres Gebiet eines Fahrzeuges anzeigt, eine Sichtbarkeits-Beurteilungseinheit zum Beurteilen, ob eine Sichtbarkeit kleiner gleich einem vorgegeben Schwellwert in einer Beurteilungsregion ist, die ein Abschnitt des Bildes ist, und eine Helligkeitseinstelleinheit zum Einstellen einer Helligkeit im Bild, wenn die Sichtbarkeits-Beurteilungseinheit bestimmt, dass die Sichtbarkeit kleiner gleich dem Schwellwert ist.According to an embodiment of the present invention, an image processing apparatus comprises: an image length unit for acquiring an image indicating a peripheral area of a vehicle, a visibility judging unit for judging whether visibility is less than or equal to a predetermined threshold in a judgment region comprising a portion of the Is image, and a brightness setting unit for adjusting a brightness in the image when the visibility judgment unit determines that the visibility is less than or equal to the threshold value.
Die Helligkeitseinstelleinheit weist auf: eine Helligkeitserlangeinheit zum Erlangen einer Helligkeit a, die eine maximale Häufigkeit in einem Helligkeitshistogramm der Beurteilungsregion aufweist, eine Kategorisiereinheit zum Kategorisieren eines Helligkeitsbereichs im Bild in eine Vielzahl von Regionen, die eine Region A aufweist, zu der die Helligkeit a gehört, eine Region-X-Löscheinheit zum Löschen mindestens eines Abschnitts einer Region X, in der die Anzahl von Pixeln, die zu der Region gehören, kleiner gleich einem vorgegeben Schwellwert ist, unter der Vielzahl von Regionen, eine Region-A-Ausdehneinheit zum Ausdehnen der Region A auf die Region-X-Seite so weit wie mindestens eine Weite ΔX, die in der Region X gelöscht wurde, und eine Regionbewegeinheit zum Bewegen einer anderen Region zu der Region-X-Seite, wenn eine derartige Region zwischen der Region X und der Region A vorhanden ist.The brightness setting unit includes: a brightness extension unit for obtaining a brightness a having a maximum frequency in a brightness histogram of the judgment region, a categorizer for categorizing a brightness range in the image into a plurality of regions having a region A to which the brightness a belongs a region X erasing unit for erasing at least a portion of a region X in which the number of pixels belonging to the region is less than a predetermined threshold among the plurality of regions, a region A expanding unit for expanding the region A on the region X-side as far as at least a width ΔX, which was deleted in the region X, and a region moving unit for moving another region to the region X side, if such a region between the region X and Region A is present.
Die Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung dehnt die Region A aus. Aus diesem Grund wird ein Kontrast in der Region A verbessert und die Sichtbarkeit wird verbessert. Mindestens ein Abschnitt einer Ausdehnweite ΔA wird durch Löschen der Region X, die eine kleine Anzahl von Pixeln aufweist, erlangt. Aus diesem Grund ist es möglich, eine Reduktionsweite in einer Region, die eine andere als die Region A und die Region X ist, zu reduzieren. Eine Bildqualität des Bildes wird infolgedessen, sogar nach Einstellen der Helligkeit, weniger wahrscheinlich verschlechtert.The image processing apparatus according to an embodiment of the present invention expands the region A. For this reason, a contrast in the region A is improved and the visibility is improved. At least a portion of an extension ΔA is obtained by erasing the region X having a small number of pixels. For this reason, it is possible to reduce a reduction distance in a region other than the region A and the region X. As a result, an image quality of the image is less likely to deteriorate even after the brightness is adjusted.
Die Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung bewegt die andere Region in einem Fall zu der Region-X-Seite, dass die andere Region zwischen der Region X und der Region A vorhanden ist. Aus diesem Grund ist es möglich, die Region A zu der Region-X-Seite sogar in einem Fall auszudehnen, dass die Region X nicht zu der Region A benachbart ist.The image processing apparatus according to an embodiment of the present invention moves the other region to the region X side in a case that the other region exists between the region X and the region A. For this reason, it is possible to extend the region A to the region X side even in a case that the region X is not adjacent to the region A.
Es ist anzumerken, dass Bezugszeichen in Klammern, die in dieser Spalte und in den Ansprüchen verwendet werden, eine Entsprechungsbeziehung mit detaillierten Einheit anzeigen, die in später beschriebenen Ausführungsformen als ein Beispiel beschrieben werden, und den technischen Umfang der vorliegenden Erfindung nicht begrenzen.It should be noted that reference numerals in parentheses used in this column and in the claims indicate a correspondence relationship with detailed unit, which will be described in later-described embodiments as an example and do not limit the technical scope of the present invention.
Figurenlistelist of figures
-
1 zeigt ein Blockdiagramm, das eine Konfiguration einer Bildverarbeitungsvorrichtung zeigt. 1 FIG. 12 is a block diagram showing a configuration of an image processing apparatus. FIG.
-
2 zeigt ein Blockdiagramm, das eine funktionale Konfiguration der Bildverarbeitungsvorrichtung zeigt. 2 FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus. FIG.
-
3 zeigt ein Ablaufdiagramm, das eine gesamte Verarbeitung, die die Bildverarbeitungsvorrichtung ausführt, zeigt. 3 FIG. 12 is a flowchart showing an entire processing performed by the image processing apparatus. FIG.
-
4 zeigt ein Ablaufdiagramm, das eine Beurteilungsregion-Bestimmungsverarbeitung, die die Bildverarbeitungsvorrichtung ausführt, zeigt. 4 FIG. 12 is a flowchart showing a judgment region determination processing that the image processing apparatus executes. FIG.
-
5 zeigt ein Ablaufdiagramm, das eine Korrekturtabelle-Berechnungsverarbeitung, die die Bildverarbeitungsvorrichtung ausführt, zeigt. 5 FIG. 12 is a flowchart showing a correction table calculation processing that the image processing apparatus executes. FIG.
-
6 zeigt eine erklärende Ansicht, die ein Bild und eine Beurteilungsregion zeigt. 6 Fig. 12 is an explanatory view showing an image and a judgment region.
-
7 zeigt eine erklärende Ansicht, die ein Helligkeitshistogramm zeigt. 7 shows an explanatory view showing a brightness histogram.
-
8 zeigt eine erklärende Ansicht, die ein Helligkeitshistogramm zeigt. 8th shows an explanatory view showing a brightness histogram.
-
9 zeigt eine erklärende Ansicht, die eine Korrekturtabelle eines ersten Musters anzeigt. 9 Fig. 12 is an explanatory view indicating a correction map of a first pattern.
-
10 zeigt eine erklärende Ansicht, die eine Korrekturtabelle eines zweiten Musters anzeigt. 10 Fig. 12 is an explanatory view indicating a correction table of a second pattern.
-
11 zeigt eine erklärende Ansicht, die ein Verfahren zum Beurteilen eines Kontrasts anzeigt. 11 Fig. 10 is an explanatory view indicating a method of judging a contrast.
AUSFÜHRUNGSFORM ZUM AUSFÜHREN DER ERFINDUNGEMBODIMENT FOR CARRYING OUT THE INVENTION
Ausführungsformen der vorliegenden Erfindung werden mit Bezug auf beigefügte Figuren beschrieben.Embodiments of the present invention will be described with reference to attached figures.
<Erste Ausführungsform><First Embodiment>
Konfiguration einer Bildverarbeitungsvorrichtung 1Configuration of an image processing apparatus 1
Eine Konfiguration einer Bildverarbeitungsvorrichtung 1 wird mit Bezug auf 1 und 2 beschrieben. Die Bildverarbeitungsvorrichtung 1 ist eine Vorrichtung im Fahrzeug bzw. eine fahrzeugeigene Vorrichtung, die in einem Fahrzeug angebracht ist. Das Fahrzeug, in dem die Bildverarbeitungsvorrichtung 1 angebracht ist, wird als ein betreffendes Fahrzeug bezeichnet.A configuration of an image processing apparatus 1 is related to 1 and 2 described. The image processing device 1 is a device in the vehicle or an on-vehicle device that is mounted in a vehicle. The vehicle in which the image processing device 1 is attached is referred to as a respective vehicle.
Die Bildverarbeitungsvorrichtung 1 ist hauptsächlich aus einem konventionellen Mikrocomputer, der eine CPU 3 und Halbleiterspeicher (nachfolgend als ein Speicher 5 bezeichnet), wie etwa RAMs, ROMs und Flash-Speicher, aufweist, gebildet. Verschiedene Funktionen der Bildverarbeitungsvorrichtung 1 werden durch die CPU 3, die Programme ausführt, die in einem nicht-transitiven gegenständlichen Speichermedium gespeichert sind, realisiert. In diesem Beispiel ist der Speicher 5 das nicht-transitive gegenständliche Speichermedium, das die Programme speichert. Durch Ausführen der Programme werden Verfahren bzw. Methoden entsprechend den Programmen durchgeführt. Die Anzahl von Microcomputern, die die Bildverarbeitungsvorrichtung 1 bilden, kann eins oder mehr sein.The image processing device 1 is mainly from a conventional microcomputer, which is a CPU 3 and semiconductor memory (hereinafter referred to as a memory 5 ), such as RAMs, ROMs and flash memory. Various functions of the image processing apparatus 1 be through the CPU 3 implementing programs stored in a non-transitive physical storage medium. In this example, the memory is 5 the non-transitive physical storage medium that stores the programs. By executing the programs, methods are performed according to the programs. The number of microcomputers that make up the image processing device 1 can form one or more.
Die Bildverarbeitungsvorrichtung 1 weist, wie in 2 gezeigt, eine Bilderlangeinheit 7, eine Periphere-Information-Erlangeinheit 9 bzw. eine Erlangeinheit für eine periphere Information, eine Beurteilungsregion-Bestimmungseinheit 11, eine Sichtbarkeits-Beurteilungseinheit 12 und eine Helligkeitseinstelleinheit 13 als funktionale Strukturen, die durch Ausführen der Programme durch die CPU 3 ausgeführt werden, auf.The image processing device 1 points as in 2 shown a picture length unit 7 , a peripheral information obtaining unit 9 or a peripheral information obtaining unit, a judgment region determining unit 11 , a visibility assessment unit 12 and a brightness adjustment unit 13 as functional structures by running the programs through the CPU 3 be executed on.
Die Helligkeitseinstelleinheit 13 weist eine Helligkeitserlangeinheit 15, eine Kategorisiereinheit 17, eine Regioneinstelleinheit 19, eine Wetterinformation-Erlangeinheit 27 und eine Ausdehnweite-Festlegeinheit 29 auf. Diese Komponenten, die die Bildverarbeitungsvorrichtung 1 bilden, können durch Software realisiert werden. All diese Komponenten oder ein Teil davon können alternativ durch Hardware, die Logikschaltkreise, analoge Schaltkreise und dergleichen kombiniert, realisiert werden.The brightness adjustment unit 13 has a brightness extension unit 15 , a category unit 17 , a region setting unit 19 , a weather information obtaining unit 27 and an expander fixing unit 29 on. These components, which are the image processing device 1 can be realized by software. All of these components or part thereof may alternatively be realized by hardware combining logic circuits, analog circuits, and the like.
Die Regioneinstelleinheit 19 entspricht einer Region-X-Löscheinheit, einer Region-A-Ausdehneinheit, einer Regionbewegeinheit, einer Reduktionsweite-Festlegeinheit und einer Region-Y-Reduziereinheit. Das betreffende Fahrzeug weist zusätzlich zu der Bildverarbeitungsvorrichtung 1 eine Kamera 33, eine Fahrzeug-Signalleitung 35 und ein Display 37 auf.The region setting unit 19 corresponds to a region X deleting unit, a region A extension unit, a region moving unit, a reduction width setting unit, and a region Y reduction unit. The subject vehicle has in addition to the image processing device 1 a camera 33 , a vehicle signal line 35 and a display 37 on.
Die Kamera 33 nimmt ein Bild eines peripheren Gebiets des betreffenden Fahrzeugs auf und generiert ein Bild. Das Bild wird aus mehreren Pixeln bzw. Bildpunkten gebildet. Jedes Pixel weist eine Helligkeit auf. Die Helligkeit jedes Pixels ist innerhalb eines fixen Helligkeitsbereichs. Die Kamera 33 gibt das Bild an die Bildverarbeitungsvorrichtung 1 aus.The camera 33 captures an image of a peripheral area of the subject vehicle and generates an image. The image is made up of several pixels. Each pixel has a brightness. The brightness of each pixel is within a fixed range of brightness. The camera 33 gives the image to the image processing device 1 out.
Die Fahrzeug-Signalleitung 35 gibt verschiedene Informationen an die Bildverarbeitungsvorrichtung 1 aus. Die Information weist Sonarinformation, Lenkwinkelinformation, Geschwindigkeitsinformation, Beschleunigungsinformation, Getriebeinformation, Wetterinformation und dergleichen auf. Die Sonarinformation zeigt eine Position eines Objekts, die durch ein im betreffenden Fahrzeug bereitgestelltes Sonar erfasst wird, eine Distanz vom betreffenden Fahrzeug zum Objekt, eine Geschwindigkeit des Objekts, eine Bewegungsrichtung des Objekts und dergleichen an.The vehicle signal line 35 gives various information to the image processing device 1 out. The information includes sonar information, steering angle information, speed information, acceleration information, Gear information, weather information and the like. The sonar information indicates a position of an object detected by a sonar provided in the subject vehicle, a distance from the subject vehicle to the object, a speed of the object, a moving direction of the object, and the like.
Die Lenkinformation zeigt eine Größenordnung eines Lenkwinkels und eine Lenkrichtung des betreffenden Fahrzeugs an. Die Geschwindigkeitsinformation zeigt eine Geschwindigkeit des betreffenden Fahrzeugs an. Die Beschleunigungsinformation zeigt eine Beschleunigung des betreffenden Fahrzeugs an. Die Getriebeinformation zeigt einen Getriebezustand des betreffenden Fahrzeugs an. Die Wetterinformation zeigt Vorhandensein und Abwesenheit von Regen- oder Schneefall, Temperatur, Feuchtigkeit und dergleichen an einem Ort des betreffenden Fahrzeugs an.The steering information indicates an order of magnitude of a steering angle and a steering direction of the subject vehicle. The speed information indicates a speed of the vehicle in question. The acceleration information indicates acceleration of the subject vehicle. The transmission information indicates a transmission state of the vehicle in question. The weather information indicates presence and absence of rain or snowfall, temperature, humidity and the like at a location of the subject vehicle.
Das Display 37 ist in einem Fahrzeuginnenraum des betreffenden Fahrzeugs bereitgestellt. Das Display 37 empfängt das Bild von der Bildverarbeitungsvorrichtung 1 und zeigt es an. Das von der Bildverarbeitungsvorrichtung 1 empfangene Bild weist Bilder auf, deren Helligkeit jeweils eingestellt oder nicht eingestellt wurde.the display 37 is provided in a vehicle interior of the subject vehicle. the display 37 receives the image from the image processing device 1 and display it. That of the image processing device 1 picture received has pictures whose brightness has been set or not set.
Verarbeitung, die durch Bildverarbeitungsvorrichtung 1 ausgeführt wirdProcessing executed by image processing apparatus 1
Die Verarbeitung, die die Bildverarbeitungsvorrichtung 1 wiederholt in jedem vorgegeben Zeitintervall ausführt, wird mit Bezug auf 3 bis 10 beschrieben. In Schritt 1 in 3 erlangt die Bilderlangeinheit 7 ein Bild unter Verwendung der Kamera 33.The processing that the image processing device 1 is repeatedly executed every predetermined time interval will be described with reference to 3 to 10 described. In step 1 in 3 acquires the image length unit 7 a picture using the camera 33 ,
In Schritt 2 erlangt die Periphere-Information-Erlangeinheit 9 die Lenkwinkelinformation von der Fahrzeug-Signalleitung 35. Die Lenkwinkelinformation entspricht einer Peripheres-Gebiet-Information bzw. einer Information eines peripheren Gebiets. Die Lenkwinkelinformation entspricht einer Information über eine Form einer Straße, auf der das betreffende Fahrzeug fährt.In step 2 acquires the peripheral information obtaining unit 9 the steering angle information from the vehicle signal line 35 , The steering angle information corresponds to a peripheral area information or a peripheral area information. The steering angle information corresponds to information about a shape of a road on which the subject vehicle is running.
In Schritt 3 bestimmt die Beurteilungsregion-Bestimmungseinheit 11 eine Beurteilungsregion. Diese Verarbeitung wird mit Bezug auf 4 und 6 beschrieben. Die Beurteilungsregion 39 ist, wie in 6 gezeigt, ein Abschnitt eines Bildes 41, das in Schritt 1 erlangt wird. Die Beurteilungsregion 39 befindet sich an einer unteren Seite im Bild 41 und in einer Region, die die Straße hauptsächlich einnimmt.In step 3 determines the judgment region determination unit 11 a rating region. This processing is with reference to 4 and 6 described. The appraisal region 39 is how in 6 shown a section of an image 41 that in step 1 is obtained. The appraisal region 39 is located on a lower side in the picture 41 and in a region that occupies the main road.
In Schritt 21 in 4 werden eine Position und eine Größe der Beurteilungsregion 39 auf Ausgangswerte festgelegt. Die Position der Beurteilungsregion 39 ist eine relative Position im Bild 41. Die Größe der Beurteilungsregion 39 ist eine relative Größe relativ zum Bild 41. Im Speicher 5 werden eine Ausgangsposition und eine Ausgangsgröße der Beurteilungsregion 39 vorab gespeichert.In step 21 in 4 become a position and a size of the judgment region 39 set to initial values. The position of the appraisal region 39 is a relative position in the picture 41 , The size of the appraisal region 39 is a relative size relative to the image 41 , In the storage room 5 become a home position and an output of the judgment region 39 saved in advance.
In Schritt 22 wird unter Verwendung der in Schritt 2 erlangten Lenkwinkelinformation beurteilt, ob das betreffende Fahrzeug auf einer kurvigen Straße fährt oder nicht. Im Fall einer Bestimmung, dass das betreffende Fahrzeug auf der kurvigen Straße fährt, wird Schritt 23 ausgeführt. Im Fall einer Bestimmung, dass das betreffende Fahrzeug nicht auf der kurvigen Straße fährt, wird die gegenwärtige Verarbeitung beendet. In diesem Fall werden die Position und die Größe der Beurteilungsregion 39 auf die Ausgangswerte festgelegt.In step 22 is made using the in step 2 Obtained steering angle information judges whether the vehicle in question drives on a curved road or not. In the case of a determination that the subject vehicle is traveling on the winding road, step becomes 23 executed. In the case of a determination that the subject vehicle is not traveling on the winding road, the current processing is ended. In this case, the position and the size of the evaluation region become 39 set to the initial values.
In Schritt 23 wird unter Verwendung der in Schritt 2 erlangten Lenkwinkelinformation beurteilt, ob das betreffende Fahrzeug in einer Rechtskurve fährt. Im Fall einer Bestimmung, dass das betreffende Fahrzeug in der Rechtskurve fährt, wird Schritt 24 ausgeführt. Im Fall einer Bestimmung, dass das betreffende Fahrzeug nicht in der Rechtskurve fährt, wird Schritt 25 ausgeführt. Schritt 25 wird ausgeführt, wenn das betreffende Fahrzeug auf einer linkskurvigen Straße bzw. einer Straße mit einer Linkskurve fährt.In step 23 is made using the in step 2 obtained steering angle information judges whether the vehicle in question is in a right turn. In the case of a determination that the vehicle in question is in the right turn, step 24 executed. In the case of a determination that the vehicle in question is not in the right turn, step 25 executed. step 25 is executed when the vehicle in question turns on a left-curving road or a left-turning road.
In Schritt 24 wird die Beurteilungsregion 39, wie in 6 gezeigt, in eine rechte Richtung R bewegt. Der Betrag bzw. die Menge der Bewegung wird erhöht, da sich der Lenkwinkel erhöht. Ein Kennfeld bzw. eine Karte, das eine Beziehung zwischen dem Lenkwinkel und dem Betrag der Bewegung definiert, wird im Speicher 5 vorhergehend gespeichert. Die Größe der Beurteilungsregion 39 wird fixiert. Es wird dabei angenommen, dass sich das betreffende Fahrzeug in eine Vorwärtsrichtung bewegt. Im Fall, dass sich das betreffende Fahrzeug in eine Rückwärtsrichtung bewegt, wird die Beurteilungsregion 39 in Schritt 24 in eine linke Richtung bewegt.In step 24 becomes the appraisal region 39 , as in 6 shown moving in a right direction R. The amount or amount of movement is increased as the steering angle increases. A map defining a relationship between the steering angle and the amount of movement is stored 5 previously saved. The size of the appraisal region 39 is fixed. It is assumed that the vehicle in question moves in a forward direction. In the case that the vehicle in question moves in a backward direction, the judgment region becomes 39 in step 24 moved in a left direction.
In Schritt 25 wird die Beurteilungsregion 39, wie in 6 gezeigt, in die linke Richtung L bewegt. Der Betrag der Bewegung wird erhöht, da sich der Lenkwinkel erhöht. Ein Kennfeld, das eine Beziehung zwischen dem Lenkwinkel und dem Betrag der Bewegung definiert, wird im Speicher 5 vorhergehend gespeichert. Die Größe der Beurteilungsregion 39 wird fixiert. Es wird hier angenommen, dass sich das betreffende Fahrzeug in eine Vorwärtsrichtung bewegt. Im Fall, dass sich das betreffende Fahrzeug in eine Rückwärtsrichtung bewegt, wird die Beurteilungsregion 39 in Schritt 25 in eine rechte Richtung bewegt.In step 25 becomes the appraisal region 39 , as in 6 shown, moved in the left direction L. The amount of movement is increased as the steering angle increases. A map defining a relationship between the steering angle and the amount of movement is stored 5 previously saved. The size of the appraisal region 39 is fixed. It is assumed here that the vehicle in question moves in a forward direction. In the case that the vehicle in question moves in a backward direction, the judgment region becomes 39 in step 25 moved in a right direction.
Wieder zurückbezogen auf 3. Die Helligkeitserlangeinheit 15 generiert in Schritt 4 ein in 7 gezeigtes Helligkeitshistogramm 43 der in Schritt 3 bestimmten Beurteilungsregion 39. Die horizontale Achse des Helligkeitshistogramms 43 ist eine Helligkeit. Eine vertikale Achse des Helligkeitshistogramms 43 ist die Anzahl von Pixeln (nachfolgend als Häufigkeit bezeichnet), die eine entsprechende Helligkeit aufweist, unter allen Pixeln, die in der Beurteilungsregion 39 vorhanden sind.Back related again 3 , The brightness extension unit 15 generated in step 4 a in 7 shown brightness histogram 43 the one in step 3 certain assessment region 39 , The horizontal axis of the brightness histogram 43 is a brightness. A vertical axis of the brightness histogram 43 is the number of pixels (hereinafter referred to as frequency) having a corresponding brightness among all the pixels in the evaluation region 39 available.
In Schritt 5 erlangt die Helligkeitserlangeinheit 15 unter Verwendung des in Schritt 4 generierten Helligkeitshistogramms 43 eine Helligkeit a. Die Helligkeit a ist eine Helligkeit, die eine maximale Häufigkeit im Helligkeitshistogramm 43 aufweist. Da die Beurteilungsregion 39 eine Region ist, die im Wesentlichen eine Straßenfläche aufweist, ist die Helligkeit a die Helligkeit, die die maximale Häufigkeit in den Pixeln aufweist, die die Straßenfläche aufweisen. Im Fall, dass Schnee auf der Straßenfläche vorhanden ist, ist die Helligkeit a die Helligkeit der maximalen Häufigkeit in den Pixeln, die den Schnee, der die Straßenfläche bedeckt, anzeigen.In step 5 Obtains the brightness extension unit 15 using the in step 4 generated brightness histogram 43 a brightness a. The brightness a is a brightness that is a maximum frequency in the brightness histogram 43 having. As the appraisal region 39 is a region having substantially a road surface, the brightness a is the brightness having the maximum frequency in the pixels having the road surface. In the case of snow on the road surface, the brightness a is the brightness of the maximum frequency in the pixels indicating the snow covering the road surface.
In Schritt 6 beurteilt die Sichtbarkeits-Beurteilungseinheit 12, ob eine Größenordnung des Kontrasts in der Beurteilungsregion 39 kleiner gleich einem vorgegebenen Schwellwert ist. Diese Beurteilung wird auf Grundlage des folgenden Verfahrens gemacht. Als erstes wird ein Bereich berechnet, der ein Zentrum bei der Helligkeit a im Helligkeitshistogramm 43 aufweist und zu dem eine vorgegebene Rate von Pixeln unter all den Pixeln gehört, die in der Beurteilungsregion 39 vorhanden sind. Dann wird eine Weite im Bereich berechnet. Im Fall, dass der berechnete Weitenwert kleiner als der Schwellwert ist, wird bestimmt, dass der Kontrast niedrig ist. Im Fall, dass der berechnete Weitenwert größer gleich dem Schwellwert ist, wird bestimmt, dass der Kontrast hoch ist. Es ist anzumerken, dass ein hoher Kontrast einer hohen Sichtbarkeit entspricht.In step 6 assesses the visibility assessment unit 12 whether an order of magnitude of the contrast in the appraisal region 39 is less than a predetermined threshold. This judgment is made based on the following procedure. First, an area is calculated that is a center at the brightness a in the brightness histogram 43 and to which a predetermined rate of pixels among all the pixels belonging in the evaluation region belongs 39 available. Then a distance in the range is calculated. In case that the calculated width value is smaller than the threshold value, it is determined that the contrast is low. In case that the calculated width value is equal to or larger than the threshold value, it is determined that the contrast is high. It should be noted that a high contrast corresponds to a high visibility.
Im Fall einer Bestimmung, dass der Kontrast niedrig ist, wird Schritt 7 ausgeführt. Im Fall einer Bestimmung, dass der Kontrast hoch ist, wird Schritt 12 ausgeführt.In the case of a determination that the contrast is low, step 7 executed. In the case of a determination that the contrast is high, step 12 executed.
In Schritt 7 bestimmt die Kategorisiereinheit 17 die Region A im Helligkeitshistogramm 43. Die Region A ist, wie in 7 gezeigt, ein Bereich einer Helligkeit, der die Helligkeit a aufweist, und ein Bereich, in dem ein Betrag bzw. ein absoluter Wert einer Steigung einer Kurve, die das Histogramm darstellt, größer als ein vorgegebener Schwellwert ist. Die Region A ist ein Bereich, der eine Helligkeit von Pixeln aufweist, die die Straßenfläche anzeigen. Im Fall, dass Schnee auf der Straßenfläche vorhanden ist, ist die Region A ein Bereich, der die Helligkeit von Pixeln aufweist, die Schnee anzeigen, der die Straßenfläche bedeckt.In step 7 determines the category unit 17 the region A in the brightness histogram 43 , Region A is, as in 7 That is, a range of brightness having the brightness a and a range in which an absolute value of a slope of a curve representing the histogram is larger than a predetermined threshold. The region A is an area having a brightness of pixels indicating the road surface. In the case of snow on the road surface, the region A is an area having the brightness of pixels indicating snow covering the road surface.
In Schritt 8 generiert die Kategorisiereinheit 17 zuerst ein in 8 gezeigtes Helligkeitshistogramm 45 für ein in Schritt 1 erlangtes gesamtes Bild. Eine horizontale Achse des Helligkeitshistogramms 45 ist eine Helligkeit. Eine vertikale Achse des Helligkeitshistogramms 45 ist eine Häufigkeit von Pixeln, die eine entsprechende Helligkeit unter den Pixeln des gesamten Bildes aufweisen.In step 8th generates the category unit 17 first in 8th shown brightness histogram 45 for one in step 1 acquired overall picture. A horizontal axis of the brightness histogram 45 is a brightness. A vertical axis of the brightness histogram 45 is a frequency of pixels having a corresponding brightness among the pixels of the entire image.
Die Kategorisiereinheit 17 kategorisiert Helligkeitsbereiche im Helligkeitshistogramm 45 in mehrere Regionen A bis D. Die Region A ist die in Schritt 7 bestimmte Region. Die Regionen B bis D können auf Grundlage einer vorgegeben Regel kategorisiert werden. Weiten der Regionen A bis D werden jeweils als Weiten WA, WB, Wc und WD angenommen. Die Regionen B und C entsprechen jeweils Regionen Y1 und Y2, die andere als eine Region A sind. Die Regionen B und C sind zur Region A benachbart.The categorizer 17 categorizes brightness ranges in the brightness histogram 45 in several regions A to D. Region A is the one in step 7 certain region. The regions B to D may be categorized based on a predetermined rule. Widths of the regions A to D are respectively assumed as widths W A , W B , Wc and W D. The regions B and C correspond to regions Y 1 and Y 2 other than a region A, respectively. Regions B and C are adjacent to Region A.
In Schritt 9 berechnet die Helligkeitseinstelleinheit 13 eine Korrekturtabelle, die zum Einstellen der Helligkeit des Bildes verwendet werden soll. Diese Verarbeitung wird mit Bezug auf 5, 9 und 10 beschrieben.In step 9 calculates the brightness adjustment unit 13 a correction table to be used to adjust the brightness of the image. This processing is with reference to 5 . 9 and 10 described.
In Schritt 31 in 5 erlangt die Wetterinformation-Erlangeinheit 27 die Wetterinformation von der Fahrzeug-Signalleitung 35.In step 31 in 5 acquires the weather information obtaining unit 27 the weather information from the vehicle signal line 35 ,
In Schritt 32 bestimmt die Ausdehnweite-Festlegeinheit 29 eine Ausdehnrate RA der Region A gemäß der in Schritt 31 erlangten Wetterinformation. Die Ausdehnrate RA wird als die folgende Gleichung (2) ausgedrückt.
In step 32 determines the expansion-determining unit 29 an expansion rate R A of the region A according to the in step 31 obtained weather information. The expansion rate R A is expressed as the following equation (2).
In der Gleichung (2) ist WA' eine Weite der Region A, nachdem die Helligkeit eingestellt wurde.In the equation (2), W A 'is a width of the region A after the brightness is adjusted.
In Schritt 33 legt die Ausdehnweite-Festlegeinheit 29 eine Ausdehnweite ΔA fest. Die Ausdehnweite ΔA ist eine Weite, um die die Region A beim Einstellen der Helligkeit ausgedehnt wird. Die Ausdehnweite ΔA wird als die folgende Gleichung (3) ausgedrückt.
In step 33 sets the expander fixing unit 29 an expansion ΔA fixed. The extension ΔA is a width by which the region A is expanded in adjusting the brightness. The expansion width ΔA is expressed as the following equation (3).
Da WA und RA bekannte Werte sind, ist ΔA auch ein bekannter Wert.Since W A and R A are known values, ΔA is also a known value.
In Schritt 34 sucht die Regioneinstelleinheit 19 eine Region X im Helligkeitshistogramm 45. Die Region X ist eine der Regionen B bis D und eine Region, deren Anzahl von Pixeln kleiner gleich einem vorgegebenen Schwellwert ist. Es wird in der vorliegenden Ausführungsform angenommen, dass die Region D die Region X ist.In step 34 seeks the region setting unit 19 a region X in the brightness histogram 45 , The region X is one of the regions B to D and a region whose number of pixels is less than or equal to a predetermined threshold. It will be in the In this embodiment, it is assumed that the region D is the region X.
In Schritt 35 berechnet die Regioneinstelleinheit 19 eine Weite Wx der Region X. In der vorliegenden Ausführungsform ist die Weite Wx eine Weite WD.In step 35 calculates the region setting unit 19 a width Wx of the region X. In the present embodiment, the width Wx is a width W D.
In Schritt 36 beurteilt die Regioneinstelleinheit 19, ob die in Schritt 33 berechnete Ausdehnweite ΔA kleiner als die in Schritt 35 berechnete Weite Wx ist oder nicht. Im Fall, dass die Ausdehnweite ΔA kleiner als die Weite Wx ist, wird Schritt 37 ausgeführt. Im Fall, dass die Ausdehnweite ΔA größer gleich der Weite Wx ist, wird Schritt 39 ausgeführt.In step 36 judges the region setting unit 19 whether in step 33 calculated expansion ΔA smaller than that in step 35 calculated width Wx is or not. In the case that the extension width ΔA is smaller than the width Wx, step 37 executed. In the case that the extension width ΔA is greater than or equal to the width Wx, step 39 executed.
In Schritt 37 legt die Regioneinstelleinheit 19 den Wert der Weite ΔX so fest, dass sie die in Schritt 33 berechnete Ausdehnweite ΔA ist. Die Weite ΔX ist eine Weite, die in der Region X gelöscht werden soll.In step 37 sets the region setting unit 19 set the value of the width ΔX so that they are in step 33 calculated expansion distance ΔA. The width ΔX is a width to be erased in the region X.
In Schritt 38 berechnet die Regioneinstelleinheit 19 die Korrekturtabelle des ersten Musters. Die Korrekturtabelle des ersten Musters ist eine Korrekturtabelle, die die Helligkeit des Bildes, wie in 9 gezeigt, einstellt. In der Korrekturtabelle des ersten Musters, wird die Region X so weit wie die Weite ΔX gelöscht. Die Region A wird ferner in Richtung der Region-X-Seite so weit wie die Weite ΔX ausgedehnt. Die Weite der Region A nach der Ausdehnung ist (WA+ΔX). Die Region C wird ferner in Richtung der Region-X-Seite so weit wie die Weite ΔX bewegt. Die Region C ist eine Region, die zwischen der Region A und der Region X vorhanden ist.In step 38 calculates the region setting unit 19 the correction table of the first pattern. The correction map of the first pattern is a correction table that adjusts the brightness of the image, as in 9 shown. In the correction map of the first pattern, the region X is erased as far as the width ΔX. The region A is further extended toward the region X side as far as the width ΔX. The width of region A after expansion is (W A + ΔX). The region C is further moved toward the region X side as far as the width ΔX. Region C is a region that exists between Region A and Region X.
In Fall einer negativen Bestimmung in Schritt 36 wird Schritt 39 ausgeführt. In Schritt 39 legt die Regioneinstelleinheit 19 den Wert der Weite ΔX auf die Weite Wx fest.In case of a negative determination in step 36 will step 39 executed. In step 39 sets the region setting unit 19 determine the value of the width ΔX to the width Wx.
In Schritt 40 berechnet die Regioneinstelleinheit 19 die Weite ΔWBC, was durch die folgende Gleichung (4) dargestellt ist. Die Weite ΔWBC ist eine Summe einer Reduktionsweite in der Region B und einer Reduktionsweite in der Region C. Reduktion ist äquivalent zu Komprimierung.
In step 40 calculates the region setting unit 19 the width ΔW BC , which is represented by the following equation (4). The width ΔW BC is a sum of a reduction width in the region B and a reduction width in the region C. Reduction is equivalent to compression.
In der Gleichung (4) ist ΔA der in Schritt 33 berechnete Wert und ist ΔX der in Schritt 39 berechnete Wert.In the equation (4), ΔA is the one in step 33 calculated value and is ΔX in step 39 calculated value.
In Schritt 41 berechnet die Regioneinstelleinheit 19 die Weiten ΔWB und ΔWC, die die folgenden Gleichungen (5) und (6) erfüllen. Die Weite ΔWB ist eine Reduktionsweite in der Region B und die Weite ΔWC ist eine Reduktionsweite in der Region C. Die Gleichung (6) definiert ein Verhältnis zwischen den Weiten ΔWB und ΔWC.
In step 41 calculates the region setting unit 19 the widths ΔW B and ΔW C satisfying the following equations (5) and (6). The width ΔW B is a reduction width in the region B, and the width ΔW C is a reduction width in the region C. The equation (6) defines a relationship between the widths ΔW B and ΔW C.
In der Gleichung (6) ist NB die Anzahl von Pixeln, die zu der Region B gehören, unter den gesamten Pixeln des Bildes 41. Nc ist die Anzahl von Pixeln, die zu der Region C gehören, unter den gesamten Pixeln des Bildes 41. ΔWB entspricht ΔY1 und ΔWC entspricht ΔY2.In the equation (6), N B is the number of pixels belonging to the region B among the entire pixels of the image 41 , Nc is the number of pixels belonging to the region C among the entire pixels of the image 41 , ΔW B corresponds to ΔY 1 and ΔW C corresponds to ΔY 2 .
In Schritt 42 beurteilt die Regioneinstelleinheit 19, ob die Weite ΔWC kleiner als ein oberer Grenzwert Lc ist. Der obere Grenzwert Lc ist ein oberer Grenzwert der Reduktionsweite in der Region C und ein vorgegebener Wert. Im Fall, dass die Weite ΔWC kleiner als der obere Grenzwert Lc ist, wird Schritt 44 ausgeführt. Im Fall, dass die Weite ΔWC größer gleich dem oberen Grenzwert Lc ist, wird Schritt 43 ausgeführt.In step 42 judges the region setting unit 19 whether the width ΔW C is smaller than an upper limit value Lc. The upper limit value Lc is an upper limit of the reduction width in the region C and a predetermined value. In the case that the width ΔW C is smaller than the upper limit value Lc, step 44 executed. In the case that the width ΔW C is greater than or equal to the upper limit value Lc, step 43 executed.
In Schritt 43 schreibt die Regioneinstelleinheit 19 den Wert der Weite ΔWC auf den oberen Grenzwert Lc um. Die Regioneinstelleinheit 19 schreibt ferner den Wert der Weite ΔWC auf einen Wert um, der aus einer Subtraktion des oberen Grenzwerts Lc vom Wert der Weite ΔWC resultiert.In step 43 writes the region setting unit 19 the value of the width ΔW C to the upper limit Lc. The region setting unit 19 Further, it converts the value of the width ΔW C to a value resulting from subtracting the upper limit value Lc from the value of the width ΔW C.
In Schritt 44 beurteilt die Regioneinstelleinheit 19, ob die Weite ΔWB kleiner als ein oberer Grenzwert LB ist oder nicht. Der obere Grenzwert LB ist ein oberer Grenzwert der Reduktionsweite in der Region B und ein vorgegebener Wert. Im Fall, dass die Weite ΔWB kleiner als ein oberer Grenzwert Lc ist, wird Schritt 46 ausgeführt. Im Fall, dass die Weite ΔWB größer gleich dem oberen Grenzwert LB ist, wird Schritt 45 ausgeführt.In step 44 judges the region setting unit 19 Whether the width ΔW B is smaller than an upper limit value L B or not. The upper limit value L B is an upper limit of the reduction width in the region B and a predetermined value. In the case that the width ΔW B is smaller than an upper limit value Lc, step 46 executed. In the case that the width ΔW B is greater than or equal to the upper limit value L B , step 45 executed.
In Schritt 45 schreibt die Regioneinstelleinheit 19 den Wert der Weite ΔWB auf den oberen Grenzwert LB um.In step 45 writes the region setting unit 19 the value of the width ΔW B to the upper limit L B.
In Schritt 46 berechnet die Einheit eine Korrekturtabelle des zweiten Musters. Die Korrekturtabelle des zweiten Musters ist, wie in 10 gezeigt, eine Korrekturtabelle zum Einstellen der Helligkeit des Bildes.In step 46 the unit calculates a correction table of the second pattern. The correction table of the second pattern is as in 10 shown a correction table for adjusting the brightness of the image.
In der Korrekturtabelle des zweiten Musters wird die Region X gänzlich gelöscht. Die Region A wird ferner in Richtung der Region-X-Seite so weit wie eine Summe der Weiten ΔX+ΔWC ausgedehnt und wird in Richtung der Region-B-Seite so weit wie die Weite ΔWB ausgedehnt. Die Region A wird als ein Ganzes so weit wie eine Summe der Weiten ΔX+ΔWB+ΔWC ausgedehnt. Die Grenze zwischen der Region A und der Region B wird in Richtung der Region-B-Seite so weit wie die Weite ΔWB ausgedehnt. Die Region B wird so weit wie die Weite ΔWB reduziert. Die Grenze zwischen der Region A und der Region C wird in Richtung der Region-C-Seite so weit wie eine Summe der Weiten ΔX+ΔWC bewegt. Die Region C wird so weit wie die Weite ΔWC reduziert. Die Werte der Weite ΔWB und der Weite ΔWC sind Werte, die in einem der Schritte 41, 43 oder 45 festgelegt werden. Das Verfahren zum Festlegen der Weite ΔWB und der Weite ΔWC entspricht dem Verfahren zum Festlegen mindestens der Ausdehnweite ΔA.In the correction table of the second pattern, the region X is completely deleted. The region A is further extended toward the region X side as far as a sum of the widths ΔX + ΔW C , and is extended toward the region B side as far as the width ΔW B. The region A is expanded as a whole as far as a sum of the widths ΔX + ΔW B + ΔW C. The boundary between the region A and the region B is extended toward the region B side as far as the width ΔW B. The region B becomes as wide as the width ΔW B reduced. The boundary between the region A and the region C is moved toward the region C side as far as a sum of the widths ΔX + ΔW C. The region C is reduced as far as the width ΔW C. The values of the width ΔW B and the width ΔW C are values that are in one of the steps 41 . 43 or 45 be determined. The method for setting the width ΔW B and the width ΔW C corresponds to the method for setting at least the expansion width ΔA.
Wieder zurückbezogen auf 3. In Schritt 10 wird die Helligkeit des Bildes 41 auf Grundlage der in Schritt 9 berechneten Korrekturtabelle eingestellt. Das Histogramm in Bild 41 nach dem Einstellen, wird durch die Korrekturtabelle des ersten Musters oder der Korrekturtabelle des zweiten Musters dargestellt. Im Bild 41 mit eingestellter Helligkeit wird eine Helligkeit I irgendeines der Pixel, das zu der Region A gehört, als die folgende Gleichung (7) ausgedrückt.
Back related again 3 , In step 10 will the brightness of the picture 41 based on the in step 9 calculated correction table. The histogram in picture 41 after setting is represented by the correction pattern of the first pattern or the correction table of the second pattern. In the picture 41 With the brightness set, a brightness I of any of the pixels belonging to the region A is expressed as the following equation (7).
In der Gleichung (7) ist I0 eine Helligkeit desselben Pixels vor dem Einstellen der Helligkeit. KAB ist eine Helligkeit an der Grenze zwischen der Region A und der Region B vor dem Einstellen der Helligkeit. WA' ist eine Weite der Region A nach Einstellen der Helligkeit. KAB' ist eine Helligkeit an der Grenze zwischen der Region A und der Region B nach Einstellen der Helligkeit.In the equation (7), I 0 is a brightness of the same pixel before the brightness is adjusted. K AB is a brightness at the boundary between region A and region B before the brightness is adjusted. W A 'is a width of region A after adjusting the brightness. K AB 'is a brightness at the boundary between Region A and Region B after adjusting the brightness.
In Schritt 11 wird das Bild, dessen Helligkeit in Schritt 10 eingestellt wurde, an das Display 37 ausgegeben.In step 11 will the picture whose brightness is in step 10 has been set, to the display 37 output.
Im Fall einer negativen Bestimmung in Schritt 6, wird Schritt 12 ausgeführt. In Schritt 12 wird das in Schritt 1 erlangte Bild an das Display 37, so wie es ist, ausgegeben.In case of a negative determination in step 6 , will step 12 executed. In step 12 will that be in step 1 acquired image to the display 37 , as it is, spent.
Vorteil, der durch Bildverarbeitungsvorrichtung 1 bereitgestellt wirdAdvantage provided by image processing apparatus 1
(1A) Die Bildverarbeitungsvorrichtung 1 dehnt die Region A aus. Aus diesem Grund ist es möglich, den Kontrast in der Region A zu verbessern. Somit wird die Sichtbarkeit des Bildes verbessert. Mindestens ein Abschnitt der Ausdehnweite ΔA wird ferner durch Löschen der Region X, deren Anzahl von Pixeln klein ist, bereitgestellt. Aus diesem Grund ist es möglich, die Reduktionsweiten der Region B und der Region C zu reduzieren. Infolgedessen wird die Bildqualität des Bildes, sogar nach Einstellen der Helligkeit, weniger wahrscheinlich verschlechtert.(1A) The image processing apparatus 1 extends Region A For this reason, it is possible to improve the contrast in the region A. Thus, the visibility of the image is improved. At least a portion of the extension ΔA is further provided by erasing the region X whose number of pixels is small. For this reason, it is possible to reduce the reduction widths of the region B and the region C. As a result, the image quality of the image is less likely to deteriorate even after the brightness is adjusted.
(1B) Die Bildverarbeitungsvorrichtung 1 bewegt die Region C in Richtung der Region-X-Seite. Aus diesem Grund ist es möglich, die Region A in Richtung der Region X sogar im Fall auszudehnen, dass die Region X nicht zur Region A benachbart ist.(1B) The image processing apparatus 1 moves Region C towards the Region X side. For this reason, it is possible to extend the region A toward the region X even in the case that the region X is not adjacent to the region A.
(1C) Die Bildverarbeitungsvorrichtung 1 reduziert die Region B und die Region C. Es ist somit möglich, die Region A so weit wie derartige Reduktionen auszudehnen. Infolgedessen wird der Kontrast in der Region A weiter verbessert.(1C) The image processing apparatus 1 reduces the region B and the region C. It is thus possible to extend the region A as far as such reductions. As a result, the contrast in the region A is further improved.
(1D) Die Bildverarbeitungsvorrichtung 1 legt die Weite ΔWB und die Weite ΔWC entsprechend der Ausdehnweite ΔA fest. Aus diesem Grund ist es möglich, die Weite ΔWB und die Weite ΔWC genau festzulegen. Die Bildverarbeitungsvorrichtung 1 legt ferner die Weite ΔWB und die Weite ΔWC fest, um die Gleichung (5) und die Gleichung (6) zu erfüllen. Aus diesem Grund ist es möglich, nicht nur eine der Regionen, Region B und Region C, übermäßig zu reduzieren. Infolgedessen ist es weniger wahrscheinlich, dass die Bildqualität des Bildes verschlechtert wird, sogar nachdem die Helligkeit eingestellt wurde.(1D) The image processing device 1 sets the width ΔW B and the width ΔW C according to the expansion distance ΔA. For this reason, it is possible to set the width ΔW B and the width ΔW C accurately. The image processing device 1 Further, the width ΔW B and the width ΔW C are set to satisfy the equation (5) and the equation (6). For this reason, it is possible to over-reduce not only one of the regions, Region B and Region C. As a result, the image quality of the image is less likely to deteriorate even after the brightness is adjusted.
(1E) Die Bildverarbeitungsvorrichtung 1 erlangt Wetterinformationen und legt die Ausdehnweite ΔA entsprechend der Wetterinformation fest. Aus diesem Grund ist es möglich, die Ausdehnweite ΔA genau entsprechend dem Wetter festzulegen. Im Fall, dass es beispielsweise sehr wahrscheinlich ist, dass der Kontrast in der Region A aufgrund von Schneefall niedrig ist, ist es möglich, den Kontrast in der Region A weiter durch Festlegen der Ausdehnweite ΔA zu verbessern.(1E) The image processing apparatus 1 obtains weather information and sets the extension ΔA according to the weather information. For this reason, it is possible to set the expansion width ΔA exactly according to the weather. For example, in the case where it is very likely that the contrast in the region A is low due to snowfall, it is possible to further improve the contrast in the region A by setting the expansion width ΔA.
(1F) Die Bildverarbeitungsvorrichtung 1 legt die Weite ΔWB innerhalb des Bereichs, der kleiner gleich dem oberen Grenzwert LB ist, fest. Die Bildverarbeitungsvorrichtung 1 legt ferner die Weite ΔWC innerhalb des Bereichs, der kleiner gleich dem oberen Grenzwert Lc ist, fest. Es ist somit möglich, die Region B und die Region C nicht übermäßig zu reduzieren. Infolgedessen wird die Bildqualität des Bildes, sogar nach Einstellen der Helligkeit, weniger wahrscheinlich verschlechtert.(1F) The image processing apparatus 1 sets the width ΔW B within the range smaller than the upper limit L B. The image processing device 1 further sets the width ΔW C within the range smaller than the upper limit value Lc. It is thus possible not to excessively reduce region B and region C. As a result, the image quality of the image is less likely to deteriorate even after the brightness is adjusted.
(1G) Die Bildverarbeitungsvorrichtung 1 erlangt die Lenkwinkelinformation und beurteilt die Form der Straße, auf der das betreffende Fahrzeug fährt, auf Grundlage der Lenkwinkelinformation. Die Bildverarbeitungsvorrichtung 1 bestimmt ferner die Position der Beurteilungsregion 39 entsprechend der Form der Straße, auf der das betreffende Fahrzeug fährt. Aus diesem Grund ist es möglich, dass die Straßenfläche innerhalb der Beurteilungsregion 39 vorhanden ist. Es ist auch möglich, zu unterdrücken, dass der Beurteilungsregion 39 darin irgendwelche Objekte aufweist, die andere als die Straßenfläche sind.(1G) The image processing device 1 obtains the steering angle information and judges the shape of the road on which the vehicle is traveling based on the steering angle information. The image processing device 1 further determines the position of the judgment region 39 according to the shape of the road on which the vehicle in question drives. For this reason, it is possible that the road surface within the appraisal region 39 is available. It is also possible to suppress that of the appraisal region 39 it has any objects other than the road surface.
<Andere Ausführungsform> <Other Embodiment>
Obwohl eine Ausführungsform zum Ausführen der vorliegenden Erfindung oben beschrieben wurde, kann die vorliegende Erfindung mit verschiedenen Modifikationen ohne Begrenzung auf die oben beschriebene Ausführungsform ausgeführt werden.Although one embodiment for carrying out the present invention has been described above, the present invention may be embodied with various modifications without limitation to the above-described embodiment.
(1) Die Größe und die Position der Beurteilungsregion 39 können durch ein anderes Verfahren bestimmt werden. Es kann beispielsweise durch Erlangen einer Sonarinformation von der Fahrzeug-Signalleitung 35 beurteilt werden, ob sich irgendein Objekt dem betreffenden Fahrzeug nähert, und ob sich das Objekt dem betreffenden Fahrzeug nähert oder sich davon entfernt.(1) The size and position of the evaluation region 39 can be determined by another method. For example, it may obtain sonar information from the vehicle signal line 35 judgment is made as to whether any object is approaching the subject vehicle and whether the object is approaching or moving away from the subject vehicle.
Im Fall, dass sich das betreffende Fahrzeug vorwärts bewegt und das Objekt vorhanden ist, kann die Beurteilungsregion 39, wie unten erläutert, variiert werden.
- ■ Im Fall, dass sich das Objekt dem betreffendes Fahrzeug nähert, wird die obere Seitengrenzlinie 47 in der Beurteilungsregion 39 so verringert, dass sie unter einer Standardposition ist. Das heißt, die Beurteilungsregion 39 ist auf einen Bereich, der niedriger als der Standard ist, begrenzt.
- ■ Im Fall, dass sich das Objekt vom betreffenden Fahrzeug entfernt, wird die Position der oberen Seitengrenzlinie 47 auf die Standardposition zurückgesetzt.
In the case where the subject vehicle is moving forward and the object exists, the judgment region may 39 , as explained below. - ■ In case the object approaches the subject vehicle, the upper side boundary line becomes 47 in the appraisal region 39 reduced so that it is under a standard position. That is, the appraisal region 39 is limited to an area lower than the standard.
- ■ In the case where the object moves away from the vehicle, the position becomes the upper side boundary line 47 reset to the default position.
Im Fall, dass sich das betreffende Fahrzeug rückwärts bewegt und das Objekt vorhanden ist, wird die Beurteilungsregion 39 wie unten erläutert variiert.
- ■ Im Fall, dass sich das Objekt dem betreffenden Fahrzeug annähert, wird die obere Seitengrenzlinie 47 in der Beurteilungsregion 39 so erhöht, dass sie höher als eine Standardposition ist. Das heißt, die Beurteilungsregion 39 wird ausgedehnt, so dass sie weiter als der Standard ist.
- ■ Im Fall, dass sich das Objekt vom betreffenden Fahrzeug entfernt, wird die Position der oberen Seitengrenzlinie 47 auf die Standardposition zurückgesetzt.
In the case where the subject vehicle is moving backwards and the object exists, the judgment region becomes 39 varies as explained below.
- ■ In the case where the object approaches the vehicle in question, the upper side boundary line becomes 47 in the appraisal region 39 increased so that it is higher than a standard position. That is, the appraisal region 39 is stretched so that it is further than the standard.
- ■ In the case where the object moves away from the vehicle, the position becomes the upper side boundary line 47 reset to the default position.
(2) Die Größe und die Position der Beurteilungsregion 39 können durch ein anderes Verfahren bestimmt werden. Die Beurteilungsregion 39 kann beispielsweise durch Berechnen der Position des Objekts festgelegt werden, um das Objekt, von dem das Bild durch eine Seiten-Kamera oder eine Heck-Kamera aufgenommen wird, zu vermeiden.(2) The size and position of the appraisal region 39 can be determined by another method. The appraisal region 39 can be determined, for example, by calculating the position of the object to avoid the object from which the image is taken by a side camera or a rear camera.
(3) Die Größe und die Position der Beurteilungsregion 39 können durch ein anderes Verfahren bestimmt werden. Die Größe und die Position der Beurteilungsregion 39 können beispielsweise durch Abschätzen eines Zustandes der Straßenfläche auf Grundlage von Vibrationsdaten des betreffenden Fahrzeugs oder von Reifen des betreffenden Fahrzeugs bestimmt werden. Der Zustand der Straßenfläche kann beispielsweise ein Vorhandensein oder eine Abwesenheit von Schneefall sein.(3) The size and position of the appraisal region 39 can be determined by another method. The size and position of the appraisal region 39 may be determined, for example, by estimating a condition of the road surface based on vibration data of the subject vehicle or tires of the subject vehicle. The condition of the road surface may be, for example, a presence or absence of snowfall.
(4) Die Größe und die Position der Beurteilungsregion 39 können fixiert sein. Die Position der Beurteilungsregion 39 kann in der Nähe eines Zentrums des Bildes 41 oder an einer oberen Seite des Bildes 41 sein. Eine Form der Beurteilungsregion 39 kann ferner entsprechend der peripheren Information variiert werden, während die Größe und die Position der Beurteilungsregion 39 fixiert werden.(4) The size and position of the appraisal region 39 can be fixed. The position of the appraisal region 39 can be near a center of the picture 41 or on an upper side of the picture 41 be. A form of the appraisal region 39 can also be varied according to the peripheral information, while the size and position of the judgment region 39 be fixed.
Im Fall, dass Inhalte der peripheren Information beispielsweise anzeigen, dass eine Straßenumgebung des betreffenden Fahrzeugs eine gerade Straße ist, kann die Form der Beurteilungsregion 39 bestimmt werden, dass sie ein Trapez oder ein Dreieck ist. Im Fall, dass ferner Inhalte der peripheren Information anzeigen, dass eine Straßenumgebung des betreffenden Fahrzeugs eine kurvige Straße ist, kann die Form der Beurteilungsregion 39 bestimmt werden, dass sie eine Variationsform des Trapez oder des Dreiecks ist. In der Variationsform dehnt sich eine untere Seite des Trapez oder des Dreiecks in eine äußere Richtung der Kurve aus und erreicht eine äußere Kante der Kurve oder eine Nähe der äußeren Kante. In der oben beschriebenen Variationskurve, kann ferner eine äußere Grenzlinie der Kurve eine kurvige Linie oder eine polygonale Linie sein, die nach außen gekrümmt ist.For example, in the case that contents of the peripheral information indicate that a road environment of the subject vehicle is a straight road, the shape of the judging region 39 be determined that it is a trapezoid or a triangle. Further, in the case that contents of the peripheral information indicate that a road environment of the subject vehicle is a winding road, the shape of the judging region 39 be determined that it is a variation of the trapezoid or the triangle. In the variation form, a lower side of the trapezoid or triangle expands in an outer direction of the curve and reaches an outer edge of the curve or a vicinity of the outer edge. Further, in the variation curve described above, an outer boundary line of the curve may be a curved line or a polygonal line curved outward.
Die Form der Beurteilungsregion 39 kann ferner auch entsprechend der peripheren Information zusätzlich zur Bestimmung der Größe und der Position der Beurteilungsregion 39 entsprechend der peripheren Information bestimmt werden.The form of the appraisal region 39 Further, according to the peripheral information, in addition to determining the size and position of the judgment region 39 determined according to the peripheral information.
(5) Sogar im Fall, dass die Ausdehnweite ΔA kleiner als die Weite Wx ist, kann die Region X gänzlich gelöscht werden, und kann die Ausdehnweite ΔA festlegt werden, dass sie die Weite Wx ist.(5) Even in the case that the extension width ΔA is smaller than the width Wx, the region X can be completely erased, and the extension width ΔA can be set to be the width Wx.
(6) Die Region A kann durch ein anderes Verfahren festgelegt werden. Die Region A kann beispielsweise festgelegt werden, dass sie eine fixierte Weite von der Helligkeit a, die als ein Zentrum festgelegt ist, aufweist.(6) Region A may be determined by another procedure. For example, the region A may be set to have a fixed width of the brightness a set as a center.
(7) Die Anzahl von Regionen, die andere als die Region A sind, kann beliebig festgelegt werden. Die Anzahl ist beispielsweise 2, 4, 5, 6 und so weiter.(7) The number of regions other than the region A can be set arbitrarily. The number is for example 2, 4, 5, 6 and so on.
(8) Nur eine der Regionen, Region B und Region C, kann ohne Reduzieren der anderen Region, Region B und Region C, reduziert werden. (8) Only one of the regions, Region B and Region C, can be reduced without reducing the other region, Region B and Region C.
Im Fall, dass eine Region vorhanden ist, die nicht zur Region A benachbart ist, kann eine derartige Region reduziert werden.In the case where there is a region which is not adjacent to the region A, such a region can be reduced.
(9) Die Region B kann reduziert werden, während sie den oberen Grenzwert LB überschreitet. Die Region C kann ferner reduziert werden, während sie den oberen Grenzwert Lc überschreitet.(9) The region B can be reduced while exceeding the upper limit L B. The region C may be further reduced while exceeding the upper limit value Lc.
(10) Die Beurteilungsregion-Bestimmungseinheit 11 kann eines oder mehrere Elemente, die von einer Gruppe, die aus der Position, der Größe und der Form der Beurteilungsregion 39 besteht, ausgewählt werden, entsprechend der Wetterinformation bestimmen. Im Fall von bewölktem Wetter kann die Position der Beurteilungsregion 39 beispielsweise weiter als bei irgendeinem anderen Wetter verringert werden. Im Fall eines Blizzardwetters kann die Beurteilungsregion 39 ferner weiter vergrößert werden als bei irgendeinem anderen Wetter. Im Fall von Schneewetter kann die Form der Beurteilungsregion 39 festlegt werden, dass sie sogar noch gestreckter als eine Ausgangsform ist, was später beschrieben wird, und die Beurteilungsregion 39 kann bei einem anderen Wetter auf die Ausgangsform festgelegt werden.(10) The judgment region determination unit 11 can be one or more items by a group that consists of the position, size and shape of the appraisal region 39 is selected, determine according to the weather information. In the case of cloudy weather, the position of the appraisal region 39 for example, further reduced than in any other weather. In the case of a blizzard weather, the appraisal region 39 further increased further than any other weather. In the case of snowy weather, the shape of the appraisal region 39 be determined that it is even more elongated than an initial shape, which will be described later, and the judgment region 39 can be set to the starting form in a different weather.
(11) Die Sichtbarkeits-Beurteilungseinheit 12 kann den bei der Verarbeitung von Schritt 6 verwendeten Schwellwert entsprechend der Wetterinformation festlegen. Im Fall von Regenwetter kann der Schwellwert beispielsweise weiter als bei irgendeinem anderen Wetter erhöht werden. In diesem Fall entspricht die Sichtbarkeits-Beurteilungseinheit 12 einer Schwellwert-Festlegeinheit.(11) The visibility assessment unit 12 can be used during the processing of step 6 set the threshold value according to the weather information. For example, in the case of rainy weather, the threshold may be increased further than any other weather. In this case, the visibility judgment unit corresponds 12 a threshold setting unit.
(12) In Schritt 6 kann die Größenordnung von Kontrast in der Beurteilungsregion 39 durch das folgende Verfahren bestimmt werden. Der hohe Kontrast entspricht der hohen Sichtbarkeit.(12) In step 6 may be the order of magnitude of contrast in the appraisal region 39 be determined by the following procedure. The high contrast corresponds to the high visibility.
Als erstes wird, wie in 11 gezeigt, ein Bereich Z, der eine fixierte Weite relativ zur Helligkeit a aufweist, als das Zentrum im Helligkeitshistogramm 43 festgelegt. Dann wird eine Durchschnittshäufigkeit im Bereich Z berechnet. Im Fall, dass die Durchschnittshäufigkeit größer als ein Schwellwert ist, wird bestimmt, dass der Kontrast niedrig ist. Im Fall, dass die Durchschnittshäufigkeit kleiner gleich dem Schwellwert ist, wird bestimmt, dass der Kontrast hoch ist.First, as in 11 an area Z having a fixed width relative to the brightness a as the center in the brightness histogram 43 established. Then an average frequency in the range Z is calculated. In case that the average frequency is larger than a threshold value, it is determined that the contrast is low. In case that the average frequency is less than or equal to the threshold value, it is determined that the contrast is high.
(13) Im oben beschriebenen Schritt 6 kann ein Kontrastniveau in der Beurteilungsregion 39 durch das folgende Verfahren beurteilt werden. Der hohe Kontrast entspricht der hohen Sichtbarkeit.(13) In the step described above 6 can be a contrast level in the appraisal region 39 be judged by the following procedure. The high contrast corresponds to the high visibility.
Als erstes wird, wie in 11 gezeigt, eine Häufigkeit Fa bei der Helligkeit a im Helligkeitshistogramm 43 erlangt. Im Fall, dass die Häufigkeit Fa größer als ein Schwellwert ist, wird bestimmt, dass der Kontrast niedrig ist. Im Fall, dass die Häufigkeit Fa kleiner gleich dem Schwellwert ist, wird bestimmt, dass der Kontrast hoch ist.First, as in 11 shown, a frequency Fa at the brightness a in the brightness histogram 43 obtained. In the case where the frequency Fa is larger than a threshold, it is determined that the contrast is low. In the case where the frequency Fa is less than or equal to the threshold value, it is determined that the contrast is high.
(14) In Schritt 6 kann das Kontrastniveau in der Beurteilungsregion 39 durch das folgende Verfahren beurteilt werde. Der hohe Kontrast entspricht der hohen Sichtbarkeit.(14) In step 6 can the contrast level in the appraisal region 39 assessed by the following procedure. The high contrast corresponds to the high visibility.
Als erstes wird, wie in 11 gezeigt, ein Peak-Gebiet Sa in einem Bereich Z im Helligkeitshistogramm 43 berechnet. Im Fall, dass das Peak-Gebiet Sa größer als ein Schwellwert ist, wird bestimmt, dass der Kontrast niedrig ist. Im Fall, dass das Peak-Gebiet Sa kleiner gleich dem Schwellwert ist, wird bestimmt, dass der Kontrast hoch ist.First, as in 11 shown, a peak area Sa in a range Z in the brightness histogram 43 calculated. In the case where the peak area Sa is larger than a threshold, it is determined that the contrast is low. In the case that the peak area Sa is less than or equal to the threshold value, it is determined that the contrast is high.
(15) Es ist in der oben beschriebenen Ausführungsform anzumerken, dass mehrere Funktionen, die eine strukturelle Komponente aufweisen, durch mehrere strukturelle Komponenten realisiert werden können, oder eine Funktion, die eine strukturelle Komponente aufweist, kann durch mehrere strukturelle Komponenten realisiert werden. Mehrere Funktionen, die mehrere strukturelle Komponenten aufweisen, können ferner durch eine strukturelle Komponente realisiert werden, oder eine Funktion, die mehrere strukturelle Komponenten aufweist, kann durch eine strukturelle Komponente realisiert werden. Ein Abschnitt einer Konfiguration der oben beschriebenen Ausführungsform kann weggelassen werden. Mindestens ein Abschnitt der Konfiguration der oben beschriebenen Ausführungsform kann zu einer anderen Konfiguration der oben beschrieben Ausführungsform hinzugefügt werden oder kann mit einer anderen Konfiguration der oben beschriebenen Ausführungsform ersetzt werden. Die vorliegende Erfindung deckt alle Ausführungsformen, die in einem technischen Konzept enthalten sind, das durch Wörter spezifiziert ist, die in Ansprüchen definiert sind, ab.(15) It should be noted in the above-described embodiment that a plurality of functions having a structural component can be realized by a plurality of structural components, or a function having a structural component can be realized by a plurality of structural components. Further, a plurality of functions having a plurality of structural components may be realized by a structural component, or a function having a plurality of structural components may be realized by a structural component. A portion of a configuration of the above-described embodiment may be omitted. At least a portion of the configuration of the above-described embodiment may be added to another configuration of the above-described embodiment, or may be replaced with another configuration of the above-described embodiment. The present invention covers all embodiments contained in a technical concept specified by words defined in claims.
(16) Die vorliegende Erfindung kann nicht nur durch die oben beschriebene Bildverarbeitungsvorrichtung, sondern auch durch ein System, das die Bildverarbeitungsvorrichtung als eine strukturelle Komponente aufweist, ein Programm zum Betreiben eines Computers als die Bildverarbeitungsvorrichtung, ein nicht-transitives gegenständliches Speichermedium, wie etwa einen Halbleiterspeicher, der das Programm speichert, und ein Bildverarbeitungsverfahren realisiert werden.(16) The present invention can provide, not only by the image processing apparatus described above, but also by a system including the image processing apparatus as a structural component, a program for operating a computer as the image processing apparatus, a non-transitive subject storage medium such as a Semiconductor memory that stores the program, and an image processing method can be realized.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
-
JP 2016104488 [0001]JP 2016104488 [0001]
-
JP 2013005234 A [0003, 0004]JP 2013005234 A [0003, 0004]
