DE112021002254T5

DE112021002254T5 - STEREO CAMERA

Info

Publication number: DE112021002254T5
Application number: DE112021002254.7T
Authority: DE
Inventors: Naoki Fujiwara; Atsushi Ichige; Hiroto NAGOSHI; Keishi Shiomi; Yu Nakagawa
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-06-15
Filing date: 2021-02-05
Publication date: 2023-03-23
Also published as: JP7360549B2; JPWO2021255991A1; WO2021255991A1; CN115668962A

Abstract

Es ist eine Aufgabe der vorliegenden Erfindung, eine Stereokamera zu schaffen, die eine Komponente, bei der eine Anomalie oder ein Fehler aufgetreten ist, spezifizieren kann, ohne durch eine Umgebungstemperatur beeinflusst zu werden. Eine Stereokamera enthält Folgendes: ein erstes Bildgebungselement, das ein Bild einer äußeren Umgebung aufnimmt und erste Bilddaten ausgibt; ein zweites Bildgebungselement, das ein Bild einer äußeren Umgebung aufnimmt und zweite Bilddaten ausgibt; eine Bildverarbeitungsschaltung, die die ersten Bilddaten und die zweiten Bilddaten verarbeitet, um externe Informationen zu erfassen; einen ersten Temperatursensor, der in der Nähe des ersten Bildgebungselements vorgesehen ist; einen zweiten Temperatursensor, der in der Nähe des zweiten Bildgebungselements vorgesehen ist; einen dritten Temperatursensor, der in der Nähe der Bildverarbeitungsschaltung vorgesehen ist; und einen Steuerungs-Mikrocomputer, der auf der Grundlage einer Temperaturdifferenz zwischen den gemessenen Temperaturen der jeweiligen Temperatursensoren eine Anomalie des ersten Bildgebungselements, des zweiten Bildgebungselements oder der Bildverarbeitungsschaltung bestimmt.It is an object of the present invention to provide a stereo camera capable of specifying a component in which an abnormality or failure has occurred without being influenced by an ambient temperature. A stereo camera includes: a first imaging element that captures an image of an external environment and outputs first image data; a second imaging element that captures an image of an external environment and outputs second image data; an image processing circuit that processes the first image data and the second image data to acquire external information; a first temperature sensor provided in the vicinity of the first imaging element; a second temperature sensor provided in the vicinity of the second imaging element; a third temperature sensor provided near the image processing circuit; and a control microcomputer that determines abnormality of the first imaging element, the second imaging element, or the image processing circuit based on a temperature difference between the measured temperatures of the respective temperature sensors.

Description

Technisches Gebiettechnical field

Die vorliegende Erfindung bezieht sich auf eine Stereokamera, die einen anomalen Abschnitt im Inneren spezifizieren kann.The present invention relates to a stereo camera capable of specifying an abnormal portion inside.

Hintergrundgebietbackground area

Eine Fahrzeugbordvorrichtung, die an einem Kraftfahrzeug oder dergleichen angebracht ist, benötigt einen Sicherheitsmechanismus zum Vermeiden eines gefährlichen Ereignisses, das auftritt, wenn eine bestimmte Komponente versagt. Als eine Art einer Fahrzeugbordvorrichtung gibt es eine Fahrzeugbordkamera, die einer Fahrzeugsteuervorrichtung externe Informationen bereitstellt, die zur Fahrunterstützung und zum automatischen Fahren verwendet werden. Eine allgemeine Fahrzeugbordkamera enthält ein Bildgebungselement, das ein Bild einer äußeren Umgebung aufnimmt, eine Bildverarbeitungsschaltung, die die Bilddaten, die durch das Bildgebungselement aufgenommen werden, verarbeitet, um externe Informationen zu erhalten, und einen Steuerungs-Microcomputer, der die externen Informationen an eine Fahrzeugsteuervorrichtung überträgt. Wenn eine bestimmte Komponente einer derartigen Fahrzeugbordkamera versagt und keine regulären externen Informationen ausgegeben werden können, kann ein gefährliches Ereignis auftreten, wenn die Fahrzeugsteuervorrichtung, die die anomalen externen Informationen empfangen hat, irrtümlich eine Fahrzeugsteuerung durchführt und einen Lenkvorgang, eine Beschleunigung, einen Bremsvorgang oder dergleichen durchführt, die nicht der tatsächlichen äußeren Umgebung entsprechenAn on-vehicle device mounted on an automobile or the like needs a safety mechanism for avoiding a dangerous event that occurs when a certain component fails. As a kind of on-vehicle device, there is an on-vehicle camera that provides a vehicle control device with external information used for driving assistance and automatic driving. A general on-vehicle camera includes an imaging element that captures an image of an external environment, an image processing circuit that processes the image data captured by the imaging element to obtain external information, and a control microcomputer that transmits the external information to a vehicle control device transmits. When a certain component of such an on-vehicle camera fails and regular external information cannot be output, a dangerous event may occur when the vehicle control device that has received the abnormal external information erroneously performs vehicle control and performs steering, acceleration, braking, or the like performs that do not correspond to the actual external environment

Aus diesem Grund ist in der herkömmlichen Fahrzeugbordkamera wie etwa in PTL 1 ein Temperatursensor in der Nähe einer Hauptkomponente angeordnet, und wenn eine gemessene Temperatur des Temperatursensors einen vorgeschriebenen Schwellenwert erreicht, wird bestimmt, dass eine Anomalie oder ein Fehler vorliegt, und die Energie wird ausgeschaltet, um die Funktion der Fahrzeugbordkamera anzuhalten.For this reason, in the conventional on-vehicle camera such as PTL 1, a temperature sensor is arranged near a main component, and when a measured temperature of the temperature sensor reaches a prescribed threshold value, it is determined that there is an abnormality or failure, and the power is turned off to stop the vehicle on-board camera from working.

Entgegenhaltungslistecitation list

PTL 1: JP 2001-88609 A PTL 1: JP 2001-88609 A

Zusammenfassung der ErfindungSummary of the Invention

Technisches ProblemTechnical problem

Jedoch wird in PTL1 selbst dann, wenn ein anomaler Temperaturanstieg aufgrund eines Komponentenfehlers auftritt, eine Anomalie oder ein Fehler möglicherweise nicht detektiert, wenn die gemessene Temperatur des Temperatursensors kleiner oder gleich dem Schwellenwert ist, wenn die Umgebungstemperatur niedrig ist. Andererseits wird selbst dann, wenn tatsächlich kein Komponentenfehler auftritt, möglicherweise irrtümlich eine Anomalie oder ein Fehler detektiert, wenn die gemessene Temperatur des Temperatursensors den Schwellenwert überschreitet, wenn die Umgebungstemperatur hoch ist.However, in PTL1, even if an abnormal temperature rise occurs due to a component failure, an anomaly or failure may not be detected when the measured temperature of the temperature sensor is less than or equal to the threshold value when the ambient temperature is low. On the other hand, even if no component failure actually occurs, an abnormality or failure may be erroneously detected when the measured temperature of the temperature sensor exceeds the threshold value when the ambient temperature is high.

Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Stereokamera zu schaffen, die eine Komponente, bei der eine Anomalie oder ein Fehler aufgetreten ist, spezifizieren kann, ohne durch die Umgebungstemperatur beeinflusst zu werden.Therefore, an object of the present invention is to provide a stereo camera capable of specifying a component in which an abnormality or failure has occurred without being affected by the ambient temperature.

Lösung des Problemsthe solution of the problem

Um die obigen Probleme zu lösen, enthält eine Stereokamera der vorliegenden Erfindung Folgendes: ein erstes Bildgebungselement, das ein Bild einer äußeren Umgebung aufnimmt und erste Bilddaten ausgibt; ein zweites Bildgebungselement, das ein Bild einer äußeren Umgebung aufnimmt und zweite Bilddaten ausgibt; eine Bildverarbeitungsschaltung, die die ersten Bilddaten und die zweiten Bilddaten verarbeitet, um externe Informationen zu erfassen; einen ersten Temperatursensor, der in der Nähe des ersten Bildgebungselements. vorgesehen ist; einen zweiten Temperatursensor, der in der Nähe des zweiten Bildgebungselements vorgesehen ist; einen dritten Temperatursensor, der in der Nähe der Bildverarbeitungsschaltung vorgesehen ist; und einen Steuerungs-Mikrocomputer, der auf der Grundlage einer Temperaturdifferenz zwischen den gemessenen Temperaturen der jeweiligen Temperatursensoren eine Anomalie des ersten Bildgebungselements, des zweiten Bildgebungselements oder der Bildverarbeitungsschaltung bestimmt.In order to solve the above problems, a stereo camera of the present invention includes: a first imaging element that captures an image of an external environment and outputs first image data; a second imaging element that captures an image of an external environment and outputs second image data; an image processing circuit that processes the first image data and the second image data to acquire external information; a first temperature sensor proximate to the first imaging element. is provided; a second temperature sensor provided in the vicinity of the second imaging element; a third temperature sensor provided near the image processing circuit; and a control microcomputer that determines abnormality of the first imaging element, the second imaging element, or the image processing circuit based on a temperature difference between the measured temperatures of the respective temperature sensors.

Vorteilhafte Wirkungen der ErfindungAdvantageous Effects of the Invention

Gemäß der Stereokamera der vorliegenden Erfindung ist es möglich, eine Komponente, bei der eine Anomalie oder ein Fehler aufgetreten ist, zu spezifizieren, ohne durch die Umgebungstemperatur beeinflusst zu werden.According to the stereo camera of the present invention, it is possible to specify a component in which an abnormality or failure has occurred without being affected by the ambient temperature.

Figurenlistecharacter list

1 12 is a schematic configuration diagram of a stereo camera according to a first embodiment.
2A illustrates an example of an increase in the internal temperature of the stereo camera when the ambient temperature is low.
2 B illustrates an example of an increase in the internal temperature of the stereo camera when the ambient temperature is high.
3 12 illustrates an example of an anomaly detection threshold of a temperature difference ΔT.
4 illustrates an example of a fault detection method from the temperature difference ΔT.
5 12 illustrates an example of a start/release threshold value of an interrupt mode according to a temperature difference ΔT according to a second embodiment.
6 12 illustrates an example of setting a plurality of determination thresholds of the temperature difference ΔT according to a third embodiment.
7 12 illustrates an example of correcting a threshold value from past information about a temperature difference ΔT according to a fourth embodiment.
8th 12 illustrates an example of predicting a future error from a transition (change) of a temperature difference ΔT according to a fifth embodiment.

Beschreibung der AusführungsformenDescription of the embodiments

Eine Ausführungsform einer Stereokamera der vorliegenden Erfindung wird unter Bezugnahme auf die Zeichnungen im Einzelnen beschrieben. Die vorliegende Erfindung ist nicht auf die folgenden Ausführungsformen eingeschränkt und diverse Modifikationen und Anwendungen können im Umfang der technischen Ideen der vorliegenden Erfindung enthalten sein.An embodiment of a stereo camera of the present invention will be described in detail with reference to the drawings. The present invention is not limited to the following embodiments, and various modifications and applications can be included within the scope of the technical ideas of the present invention.

Erste AusführungsformFirst embodiment

Zuerst wird eine Stereokamera 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die 1 bis 4 beschrieben. In der vorliegenden Ausführungsform wird die Stereokamera 1, die zur Fahrassistenz oder zum automatischen Fahren eines Kraftfahrzeugs verwendet wird, als ein Beispiel beschrieben, jedoch kann die Stereokamera 1 z. B. an einem autonomen, mobilen Roboter, einem Industrieroboter oder dergleichen angebracht sein.First, a stereo camera 1 according to a first embodiment of the present invention will be described with reference to FIG 1 until 4 described. In the present embodiment, the stereo camera 1 used for driving assistance or automatic driving of an automobile is described as an example, but the stereo camera 1 may be used e.g. B. attached to an autonomous mobile robot, an industrial robot or the like.

Wie in 1 veranschaulicht ist, enthält die Stereokamera 1 der vorliegenden Ausführungsform ein linkes Bildgebungselement 2L, ein rechtes Bildgebungselement 2R, eine Bildverarbeitungsschaltung 3, einen linken Temperatursensor 4L, einen rechten Temperatursensor 4R, einen Haupttemperatursensor 4M, einen Steuerungs-Mikrocomputer 5, eine Stromversorgungsschaltung 6 und eine Speichereinheit 7.As in 1 As illustrated, the stereo camera 1 of the present embodiment includes a left imaging element 2L, a right imaging element 2R, an image processing circuit 3, a left temperature sensor 4L, a right temperature sensor 4R, a main temperature sensor 4M, a control microcomputer 5, a power supply circuit 6 and a storage unit 7.

Das linke Bildgebungselement 2L und das rechte Bildgebungselement 2R sind CCD-Bildsensoren oder dergleichen, die Bilder der äußeren Umgebung aufnehmen und Bilddaten ausgeben. Die Bildverarbeitungsschaltung 3 verarbeitet die Bilddaten und erfasst externe Informationen (z. B. ein vorausfahrendes Fahrzeug, einen Fußgänger, eine weiße Linie, ein Verkehrslichtsignal und dergleichen vor dem eigenen Fahrzeug) vor dem eigenen Fahrzeug.The left imaging element 2L and the right imaging element 2R are CCD image sensors or the like that capture images of the external environment and output image data. The image processing circuit 3 processes the image data and acquires external information (e.g., a preceding vehicle, a pedestrian, a white line, a traffic light, and the like in front of the own vehicle) in front of the own vehicle.

Der linke Temperatursensor 4L ist in der Nähe des linken Bildgebungselements 2L installiert und misst eine Temperatur T_L um den linken Temperatursensor 4L. Der rechte Temperatursensor 4R ist in der Nähe des rechten Bildgebungselements 2R installiert und misst eine Temperatur T_R um den rechten Temperatursensor 4R. Der Haupttemperatursensor 4M ist in der Nähe der Bildverarbeitungsschaltung 3 installiert und misst eine Temperatur TM um die Bildverarbeitungsschaltung 3.The left temperature sensor 4L is installed near the left imaging element 2L and measures a temperature T _L around the left temperature sensor 4L. The right temperature sensor 4R is installed near the right imaging element 2R and measures a temperature T _R around the right temperature sensor 4R. The main temperature sensor 4M is installed near the image processing circuit 3 and measures a temperature TM around the image processing circuit 3.

Der Steuerungs-Mikrocomputer 5 überträgt die externen Informationen, die durch die Bildverarbeitungsschaltung 3 verarbeitet werden, an eine Fahrzeugsteuervorrichtung 10, bestimmt auf der Grundlage der Temperaturen T_L, T_R und T_M, die durch die jeweiligen Temperatursensoren gemessen werden, das Vorhandensein oder Nichtvorhandensein einer Anomalie der Stereokamera 1 und spezifiziert eine anomale Komponente. Einzelheiten der Verarbeitung hier werden später beschrieben.The control microcomputer 5 transmits the external information processed by the image processing circuit 3 to a vehicle controller 10, determining the presence or absence based on the temperatures T _L , T _R and T _M measured by the respective temperature sensors an abnormality of the stereo camera 1 and specifies an abnormal component. Details of the processing here will be described later.

Als Antwort auf einen Befehl vom Steuerungs-Mikrocomputer 5 führt die Stromversorgungsschaltung 6 dem linken Bildgebungselement 2L, dem rechten Bildgebungselement 2R, der Bildverarbeitungsschaltung 3 und dergleichen Energie zu oder unterbricht die Stromversorgung für jede Einheit vorübergehend. im Folgenden ist die Funktion des teilweisen Unterbrechens der Stromversorgung als „Unterbrechung“ bezeichnet.In response to an instruction from the control microcomputer 5, the power supply circuit 6 supplies power to the left imaging element 2L, the right imaging element 2R, the image processing circuit 3 and the like or cuts off the power supply for each unit temporarily. hereinafter, the function of partially cutting off the power supply is referred to as "break".

Die Speichereinheit 7 ist ein EEPROM oder dergleichen, das den vergangenen Zustand der Stereokamera 1, der durch den Steuerungs-Mikrocomputer 5 bestimmt wird, die gemessene Temperatur T von jedem Temperatursensor und dergleichen speichert.The storage unit 7 is an EEPROM or the like, which stores the past state of the stereo camera 1 determined by the control microcomputer 5, the measured temperature T from each temperature sensor, and the like.

Die Fahrzeugsteuervorrichtung 10 ist eine Steuervorrichtung, die Fahrunterstützung und automatisches Fahren realisiert, indem ein Lenkungssystem, ein Antriebssystem und ein Bremssystem des Fahrzeugs auf der Grundlage von externen Informationen, die von der Stereokamera 1 übertragen werden, gesteuert werden, und wird im Allgemeinen eine elektronische Steuereinheit (ECU) genannt.The vehicle control device 10 is a control device that realizes driving assistance and automatic driving by controlling a steering system, a driving system, and a braking system of the vehicle based on external information transmitted from the stereo camera 1, and generally becomes an electronic control unit (ECU) called.

Als nächstes wird ein Beispiel für einen Anstieg der Innentemperatur der Stereokamera 1 unter Bezugnahme auf 2A und 2B beschrieben. Da die Anordnung der wärmeerzeugenden Komponenten um jeden Temperatursensor nicht gleichmäßig ist, weist die gemessene Temperatur T von jedem Temperatursensor in einem konstanten Zustand nach dem Verstreichen einer bestimmten Zeit ausgehend von der Aktivierung eine festgelegte Reihenfolge auf, wenn keine Anomalie und kein Fehler vorliegen, und z. B. wird die Beziehung T_L > T_R > T_M immer aufrechterhalten.Next, an example of an increase in the internal temperature of the stereo camera 1 will be given with reference to FIG 2A and 2 B described. Since the arrangement of the heat-generating components around each temperature sensor is not uniform, the measured temperature T of each temperature sensor has a fixed order in a constant state after the lapse of a certain time from activation when there is no abnormality and failure, and e.g . B. the relationship T _L > T _R > T _M is always maintained.

2A ist ein Beispiel für einen Anstieg der Innentemperatur, wenn die reguläre Stereokamera 1 aktiviert ist, wenn die Umgebungstemperatur eine niedrige Temperatur T₁ ist, und 2B ist ein Beispiel für einen Anstieg der Innentemperatur, wenn dieselbe Stereokamera 1 aktiviert ist, wenn die Umgebungstemperatur eine hohe Temperatur T₂ ist. Wie aus dem Vergleich zwischen den zwei Zeichnungen eindeutig hervorgeht, nehmen die Temperaturen T_L (unterbrochene Linie), T_R (durchgezogene Linie) und T_M (abwechselnd lang und kurz gestrichelte Linie) zu, wenn die Umgebungstemperatur zunimmt, während die relative Beziehung aufrechterhalten wird. Das bedeutet, dass es schwierig ist, eine Anomalie oder einen Fehler des linken Bildgebungselemenis 2L, des rechten Bildgebungselements 2R und der Bildverarbeitungsschaltung 3 aus den Temperaturen T_L, T_R und T_M selbst zu detektieren, die durch die Umgebungstemperatur beeinflusst werden. 2A FIG. 12 is an example of an increase in internal temperature when the regular stereo camera 1 is activated when the ambient temperature is a low temperature T ₁ , and 2 B FIG. 12 is an example of an increase in internal temperature when the same stereo camera 1 is activated when the ambient temperature is high temperature T ₂ . As is clear from the comparison between the two drawings, the temperatures T _L (broken line), T _R (solid line), and T _M (alternating long and short dashed line) increase as the ambient temperature increases while maintaining the relative relationship becomes. This means that it is difficult to detect an abnormality or failure of the left imaging element 2L, the right imaging element 2R and the image processing circuit 3 themselves from the temperatures T _L , T _R and T _M which are affected by the ambient temperature.

Hier ist eine Differenz zwischen der Temperatur T_L und der Temperatur T_R als eine Temperaturdifferenz ΔT_LR definiert, eine Differenz zwischen der Temperatur T_R und der Temperatur T_M ist als eine Temperaturdifferenz ΔT_MR definiert und eine Differenz zwischen der Temperatur T_L und der Temperatur T_M ist als eine Temperaturdifferenz ΔT_ML definiert. Wie aus dem Vergleich zwischen den zwei Zeichnungen eindeutig hervorgeht, erhält in diesem Fall jede Temperaturdifferenz ΔT ungeachtet der Umgebungstemperatur einen im Wesentlichen konstanten Wert aufrecht. Daher kann geschätzt werden, dass eine Anomalie in der Stereokamera 1 aufgetreten ist, wenn eine Anomalie der Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML auftritt.Here, a difference between the temperature T _L and the temperature T _R is defined as a temperature difference ΔT _LR , a difference between the temperature T _R and the temperature T _M is defined as a temperature difference ΔT _MR , and a difference between the temperature T _L and the Temperature T _M is defined as a temperature difference ΔT _ML . In this case, as is clear from the comparison between the two drawings, each temperature difference ΔT maintains a substantially constant value regardless of the ambient temperature. Therefore, it can be estimated that an abnormality has occurred in the stereo camera 1 when an abnormality occurs in the temperature differences ΔT _LR , ΔT _MR , and ΔT _ML .

Als nächstes wird ein Verfahren zum Bestimmen einer Anomalie jeder Temperaturdifferenz ΔT unter Bezugnahme auf 3 beschrieben. 3(a) veranschaulicht einen arithmetischen Wert (weißer Kreis) der Temperaturdifferenz ΔT_LR und einen oberen Schwellenwert und einen unteren Schwellenwert (schwarzer Kreis), die zur Anomaliebestimmung verwendet werden. 3(b) veranschaulicht einen arithmetischen Wert (weißer Kreis) der Temperaturdifferenz ΔT_MR und einen oberen Schwellenwert und einen unteren Schwellenwert (schwarzer Kreis), die zur Anomaliebestimmung verwendet werden. 3(c) veranschaulicht einen arithmetischen Wert (weißer Kreis) der Temperaturdifferenz ΔT_ML und einen oberen Schwellenwert und einen unteren Schwellenwert (schwarzer Kreis), die zur Anomaliebestimmung verwendet werden. Jede Temperaturdifferenz ΔT wird auf der Grundlage der gemessenen Temperatur T von jedem Temperatursensor durch den Steuerungs-Mikrocomputer 5 berechnet und jeder Schwellenwert ist durch eine entwerfende Person oder dergleichen unter Berücksichtigung einer angenommenen Temperaturdifferenz der gemessenen Temperatur T von jedem Temperatursensor in der Speichereinheit 7 registriert worden.Next, a method of determining an anomaly of each temperature difference ΔT will be described with reference to FIG 3 described. 3(a) 12 illustrates an arithmetic value (white circle) of the temperature difference ΔT _LR and an upper threshold and a lower threshold (black circle) used for abnormality determination. 3(b) 12 illustrates an arithmetic value (white circle) of the temperature difference ΔT _MR and an upper threshold and a lower threshold (black circle) used for abnormality determination. 3(c) 12 illustrates an arithmetic value (white circle) of the temperature difference ΔT _ML and an upper threshold and a lower threshold (black circle) used for abnormality determination. Each temperature difference ΔT is calculated based on the measured temperature T of each temperature sensor by the control microcomputer 5, and each threshold value has been registered in the storage unit 7 by a designer or the like in consideration of an assumed temperature difference of the measured temperature T of each temperature sensor.

Der Steuerungs-Mikrocomputer 5 vergleicht die berechneten Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML mit dem oberen Schwellenwert und dem unteren Schwellenwert, die für jede der Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML eingestellt sind, und bestimmt, dass die Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML regulär sind, wenn die Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML in einem regulären Bereich zwischen dem oberen Schwellenwert und dem unteren Schwellenwert angeordnet sind, und bestimmt, dass die Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML anomal sind, wenn die Temperaturdifferenzen ΔT_LR, ΔT_MR und ΔT_ML für eine vorgegebene Zeit oder länger in einem anomalen Bereich über dem oberen Schwellenwert oder unter dem unteren Schwellenwert aufrechterhalten werden.The control microcomputer 5 compares the calculated temperature differences ΔT _LR , ΔT _MR and ΔT _ML with the upper threshold and the lower threshold set for each of the temperature differences ΔT _LR , ΔT _MR and ΔT _ML and determines that the temperature differences ΔT _LR , ΔT _MR and ΔT _ML are regular when the temperature differences ΔT _LR , ΔT _MR and ΔT _ML are located in a regular range between the upper threshold and the lower threshold, and determines that the temperature differences ΔT _LR , ΔT _MR and ΔT _ML are abnormal are when the temperature differences ΔT _LR , ΔT _MR and ΔT _ML are maintained in an abnormal range above the upper threshold or below the lower threshold for a predetermined time or longer.

Da in dem Beispiel aus 3 der arithmetische Wert (z. B. 1,3 °C) der Temperaturdifferenz ΔT_LR und der arithmetische Wert (z. B. 1,2 °C) der Temperaturdifferenz ΔT_MR im regulären Bereich angeordnet sind, bestimmt der Steuerungs-Mikrocomputer 5, dass die Temperaturdifferenz ΔT_LR und die Temperaturdifferenz ΔT_MR regulär sind. Da andererseits der arithmetische Wert (z. B. 1,8 °C) der Temperaturdifferenz ΔT_ML im anomalen Bereich angeordnet ist, bestimmt der Steuerungs-Mikrocomputer 5, dass die Temperaturdifferenz ΔT_ML anomal ist, wenn das Verbleiben der Temperaturdifferenz ΔT_ML im anomalen Bereich die vorgegebene Zeit erreicht.Because in the example from 3 the arithmetic value (e.g. 1.3 °C) of the temperature difference ΔT _LR and the arithmetic value (e.g. 1.2 °C) of the temperature difference ΔT _MR are arranged in the regular range, the control microcomputer 5 determines, that the temperature difference ΔT _LR and the temperature difference ΔT _MR are regular. On the other hand, since the arithmetic value (e.g. 1.8°C) of the temperature difference ΔT _ML is located in the abnormal range, the control microcomputer 5 determines that the temperature difference ΔT _ML is abnormal if the remaining temperature difference ΔT _ML is in the abnormal range area reaches the specified time.

Nach dem Bestimmen des Vorhandenseins oder Nichtvorhandenseins der Anomalie jeder Temperaturdifferenz ΔT durch das obige Verfahren spezifiziert der Steuerungs-Mikrocomputer 5 auf der Grundlage einer Kombination von regulär und anomal den fehlerhaften Abschnitt der Stereokamera 1. 4 ist ein Beispiel für ein Fehlerdetektionsverfahren.After determining the presence or absence of the abnormality of each temperature difference ΔT by the above method, the control microcomputer 5 specifies based on a combination of regular and ano times the faulty section of the stereo camera 1. 4 is an example of an error detection method.

Wie in 4(a) veranschaulicht ist, bestimmt der Steuerungs-Mikrocomputer 5, dass in der Stereokamera 1 kein Fehler vorliegt, wenn alle Temperaturdifferenzen ΔT regulär sind. Andererseits spezifiziert der Steuerungs-Mikrocomputer 5, wie in 4(e) bis 4(g) veranschaulicht ist, eine anomale Komponente oder eine fehlerhafte Komponente der Stereokamera 1 gemäß einer Kombination der anomalen Temperaturdifferenzen ΔT, wenn beliebige zwei Temperaturdifferenzen ΔT anomal sind. Wenn irgendeine der Temperaturdifferenzen ΔT anomal ist (4(b) bis 4(d)) oder wenn alle Temperaturdifferenzen ΔT anomal sind (4(h)), kann das Auftreten einer Anomalie oder eines Fehlers selbst bestimmt werden, jedoch kann die zugehörige Komponente nicht spezifiziert werden.As in 4(a) 1, the control microcomputer 5 determines that there is no fault in the stereo camera 1 when all the temperature differences ΔT are regular. On the other hand, the control microcomputer 5 specifies, as in 4(e) until 4(g) illustrated, an abnormal component or a defective component of the stereo camera 1 according to a combination of the abnormal temperature differences ΔT when any two temperature differences ΔT are abnormal. If any of the temperature differences ΔT is anomalous ( 4(b) until 4(d) ) or if all temperature differences ΔT are anomalous ( 4(h) ), the occurrence of an anomaly or error can be determined by itself, but the associated component cannot be specified.

Wenn eine Anomalie oder ein Fehler detektiert werden, steuert der Steuerungs-Mikrocomputer 5 die Stromversorgungsschaltung 6 gemäß der Art, startet eine Unterbrechungsbetriebsart zum Unterbrechen der Stromversorgung für den anomalen Abschnitt und meldet der Fahrzeugsteuervorrichtung 10 die Art der Anomalie.When an abnormality or failure is detected, the control microcomputer 5 controls the power supply circuit 6 according to the type, starts an interruption mode for cutting off the power supply for the abnormal portion, and notifies the vehicle control device 10 of the type of the anomaly.

Wenn z. B., wie in 4(e) und 4(f) veranschaulicht ist, bestimmt werden kann, dass entweder das linke Bildgebungselement 2L oder das rechte Bildgebungselement 2R regulär ist, und bestimmt werden kann, dass das andere anomal ist, kann die Erfassung der externen Informationen auf der Grundlage der Bilddaten des regulären einen Bildgebungselements fortgesetzt werden. Daher kann die Fahrzeugsteuervorrichtung 10 nach dem Erkennen eines gewissen Grads der Verschlechterung der externen Informationen die Fahrassistenz und das automatische Fahren fortsetzen, wenn der Steuerungs-Mikrocomputer 5 der Fahrzeugsteuervorrichtung 10 meldet, dass die Stereokamera 1 als eine monokulare Kamera verwendet wird.if e.g. B., as in 4(e) and 4(f) is illustrated, it can be determined that either the left imaging element 2L or the right imaging element 2R is regular and it can be determined that the other is abnormal, the acquisition of the external information based on the image data of the regular one imaging element can be continued. Therefore, after detecting a certain degree of deterioration of the external information, the vehicle control device 10 can continue the driving assistance and automatic driving when the control microcomputer 5 notifies the vehicle control device 10 that the stereo camera 1 is used as a monocular camera.

Gemäß der oben beschriebenen Stereokamera der vorliegenden Ausführungsform ist es möglich, eine Komponente, bei der eine Anomalie oder ein Fehler aufgetreten ist, zu spezifizieren, ohne durch die Umgebungstemperatur beeinflusst zu werden. Als ein Ergebnis können die Stereokamera oder die Fahrzeugsteuervorrichtung die Steuerung gemäß der Art der Anomalie oder des Fehlers fortsetzen.According to the stereo camera of the present embodiment described above, it is possible to specify a component in which an abnormality or failure has occurred without being affected by the ambient temperature. As a result, the stereo camera or the vehicle control device can continue the control according to the type of abnormality or failure.

Zweite AusführungsformSecond embodiment

Als nächstes wird die Stereokamera 1 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf 5 beschrieben, Die Beschreibung einiger Punkte, die mit der ersten Ausführungsform gemeinsam sind, wird weggelassen.Next, the stereo camera 1 according to a second embodiment of the present invention will be explained with reference to FIG 5 described, the description of some points common to the first embodiment will be omitted.

Wenn der Steuerungs-Mikrocomputer 5 in der ersten Ausführungsform bestimmt, dass die Temperaturdifferenz ΔT anomal ist, wird die Stromversorgung für die spezifizierte anomale Komponente sofort unterbrochen (Unterbrechungsbetriebsart), und wenn bestimmt wird, dass die Temperaturdifferenz ΔT regulär ist, wird die Stromversorgung sofort erneut gestartet. Wenn jedoch die Temperaturdifferenz ΔT in der Nähe des Schwellenwerts liegt, wird die Bestimmung des Steuerungs-Mikrocomputers 5 innerhalb kurzer Zeit nacheinander umgeschaltet und es besteht eine Möglichkeit, dass die Durchgängigkeit der Verarbeitung in der Stereokamera 1 und der Fahrzeugsteuervorrichtung 10 nicht aufrechterhalten werden kann.In the first embodiment, when the control microcomputer 5 determines that the temperature difference ΔT is abnormal, the power supply for the specified abnormal component is immediately interrupted (interruption mode), and when it is determined that the temperature difference ΔT is regular, the power supply is immediately restarted started. However, when the temperature difference ΔT is close to the threshold value, the determination of the control microcomputer 5 is successively switched in a short time and there is a possibility that the continuity of the processing in the stereo camera 1 and the vehicle control device 10 cannot be maintained.

Daher ist in der vorliegenden Ausführungsform, wie in 5 veranschaulicht ist, eine Hysterese beim Unterbrechungs-Startschwellenwert und beim Unterbrechungs-Freigabeschwellenwert vorgesehen, um ein Pendeln, bei dem Unterbrechungs-Start/Freigabe wiederholt werden, zu unterbinden. Als ein Ergebnis wechselt die Stereokamera 1 lediglich dann in die Unterbrechungsbetriebsart, wenn die Temperaturdifferenz ΔT für einen bestimmten Zeitraum oder länger fortfährt, den Unterbrechungs-Startschwellenwert zu überschreiten, und die Unterbrechungs-Betriebsart kann lediglich dann beendet werden, wenn die Temperaturdifferenz ΔT nach einer Zeitspanne ausgehend vom Unterbrechungsbetriebsartzustand abnimmt und innerhalb des Unterbrechungs-Freigabeschwellenwerts abfällt. Obwohl in 5 lediglich die Temperaturdifferenz ΔT_LR veranschaulicht ist, können die Temperaturdifferenz ΔT_MR und die Temperaturdifferenz ΔT_ML ebenso bearbeitet werden.Therefore, in the present embodiment, as in 5 As illustrated, hysteresis is provided in the interrupt start threshold and the interrupt release threshold to eliminate hunting where interrupt start/release are repeated. As a result, the stereo camera 1 changes to the interrupt mode only when the temperature difference ΔT continues to exceed the interrupt start threshold for a certain period of time or longer, and the interrupt mode can be ended only when the temperature difference ΔT after a period of time decreases from the interrupt mode state and falls within the interrupt enable threshold. Although in 5 only the temperature difference ΔT _LR is illustrated, the temperature difference ΔT _MR and the temperature difference ΔT _ML can also be edited.

Dritte AusführungsformThird embodiment

Als nächstes wird die Stereokamera 1 gemäß einer dritten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf 6 beschrieben. Die Beschreibung einiger Punkte, die mit der oben beschriebenen Ausführungsform gemeinsam sind, wird weggelassen.Next, the stereo camera 1 according to a third embodiment of the present invention will be explained with reference to FIG 6 described. The description of some points common to the embodiment described above will be omitted.

Wenn in der ersten Ausführungsform die Temperaturdifferenz ΔT im anomalen Bereich angeordnet ist, wird dies einheitlich als Anomalie oder Fehler bestimmt, jedoch kann das Ausmaß der Anomalie oder des Fehlers nicht erfasst werden.In the first embodiment, when the temperature difference ΔT is located in the abnormal range, it is uniformly determined as an anomaly or a defect, but the extent of the anomaly or a defect cannot be grasped.

Daher sind in der vorliegenden Ausführungsform, wie in 6 veranschaulicht ist, mehrere Stufen von Fehlerbereichen für jede Temperaturdifferenz ΔT vorgesehen, um das Ausmaß der Anomalie oder des Fehlers zu erfassen. Als ein Ergebnis kann der Steuerungs-Mikrocomputer 5 der Fahrzeugsteuervorrichtung 10 das Auftreten des geringfügigen Fehlers melden, wenn der Zustand, in dem die Temperaturdifferenz ΔT im Bereich geringfügiger Fehler angeordnet ist, für einen bestimmten Zeitraum oder länger anhält. Wenn die Temperaturdifferenz ΔT andererseits für einen bestimmten Zeitraum oder länger fortgesetzt im Bereich bedeutender Fehler angeordnet ist, kann der Steuerungs-Mikrocomputer 5 die Stromversorgungsschaltung 6 ausschalten und der Fahrzeugsteuervorrichtung 10 das Auftreten des bedeutenden Fehlers melden. Obwohl in 6 lediglich die Temperaturdifferenz ΔT_LR veranschaulicht ist, können die Temperaturdifferenz ΔT_MR und die Temperaturdifferenz ΔT_ML ebenso bearbeitet werden.Therefore, in the present embodiment, as in 6 As illustrated, multiple levels of error ranges are provided for each temperature difference ΔT to determine the magnitude of the anomaly or to capture the error. As a result, the control microcomputer 5 can notify the vehicle control device 10 of the occurrence of the minor failure when the state in which the temperature difference ΔT is located in the minor failure range continues for a certain period of time or longer. On the other hand, when the temperature difference ΔT is continuously located in the major error region for a certain period of time or longer, the control microcomputer 5 can turn off the power supply circuit 6 and notify the vehicle control device 10 of the occurrence of the major error. Although in 6 only the temperature difference ΔT _LR is illustrated, the temperature difference ΔT _MR and the temperature difference ΔT _ML can also be edited.

Vierte AusführungsformFourth embodiment

Als nächstes wird die Stereokamera 1 gemäß einer vierten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf 7 beschrieben. Die Beschreibung einiger Punkte, die mit der oben beschriebenen Ausführungsform gemeinsam sind, wird weggelassen.Next, the stereo camera 1 according to a fourth embodiment of the present invention will be explained with reference to FIG 7 described. The description of some points common to the embodiment described above will be omitted.

In der ersten Ausführungsform muss die entwerfende Person oder dergleichen der Stereokamera 1 einen geeigneten Schwellenwert in der Speichereinheit 7 registrieren. Jedoch ist es denkbar, dass der Schwellenwert, der durch die entwerfende Person oder dergleichen registriert worden ist, nicht geeignet ist oder die Größe des geeigneten Schwellenwerts sich aufgrund des Einflusses der Alterung oder dergleichen der Stereokamera 1 ändert.In the first embodiment, the designer or the like of the stereo camera 1 needs to register an appropriate threshold value in the storage unit 7 . However, it is conceivable that the threshold registered by the designer or the like is not appropriate, or the size of the appropriate threshold changes due to the influence of aging or the like of the stereo camera 1 .

Daher kann in der vorliegenden Ausführungsform jeder Schwellenwert auf der Grundlage der tatsächlich gemessenen Temperaturdifferenz ΔT korrigiert werden. Wenn z. B. mehrere Einheiten vergangener Daten der Temperaturdifferenz ΔT zu der Zeit, wenn ein bestimmter Zeitraum ausgehend von der Aktivierung der Stereokamera verstrichen ist, in der Speichereinheit 7 der vorliegenden Ausführungsform gespeichert sind, kann der Steuerungs-Mikrocomputer 5 die Empfindlichkeit der Anomaliedetektion erhöhen, indem der Schwellenwert derart korrigiert wird, dass der Maximalwert und der Minimalwert der vergangenen Temperaturdifferenz ΔTenger als der Ausgangsschwellenwert sind, wenn der Maximalwert und der Minimalwert innerhalb des Ausgangsschwellenwertbereichs liegen. Obwohl in 7 lediglich die Temperaturdifferenz ΔT_LR veranschaulicht ist, können die Temperaturdifferenz ΔT_MR und die Temperaturdifferenz ΔT_ML ebenso bearbeitet werden.Therefore, in the present embodiment, each threshold can be corrected based on the actually measured temperature difference ΔT. if e.g. For example, when several units of past data of the temperature difference ΔT at the time when a certain period of time has elapsed from the activation of the stereo camera are stored in the storage unit 7 of the present embodiment, the control microcomputer 5 can increase the sensitivity of the anomaly detection by using the Threshold is corrected such that the maximum value and the minimum value of the past temperature difference ΔTenger are than the initial threshold value when the maximum value and the minimum value are within the initial threshold value range. Although in 7 only the temperature difference ΔT _LR is illustrated, the temperature difference ΔT _MR and the temperature difference ΔT _ML can also be edited.

Fünfte AusführungsförmFifth embodiment

Als nächstes wird die Stereokamera 1 gemäß einer fünften Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf 8 beschrieben. Die Beschreibung einiger Punkte, die mit der oben beschriebenen Ausführungsform gemeinsam sind, wird weggelassen.Next, the stereo camera 1 according to a fifth embodiment of the present invention will be explained with reference to FIG 8th described. The description of some points common to the embodiment described above will be omitted.

In der ersten Ausführungsform wird das Vorhandensein oder Nichtvorhandensein der aktuellen Anomalie aus der aktuellen Temperaturdifferenz ΔT bestimmt, jedoch kann in der vorliegenden Ausführungsform die Zeit des Auftretens der Anomalie auf der Grundlage der Änderung der Temperaturdifferenz ΔT von der Vergangenheit bis zur Gegenwart vorhergesagt werden. Wenn z. B. die vergangenen Daten der Temperaturdifferenz ΔT zu der Zeit, wenn ein bestimmter Zeitraum ausgehend von der Aktivierung der Stereokamera verstrichen ist, für einen bestimmten Zeitraum in der Speichereinheit 7 der vorliegenden Ausführungsform gespeichert sind, kann der Steuerungs-Mikrocomputer 5 die zukünftige Temperaturdifferenz ΔT aus dem Übergang der vergangenen Temperaturdifferenz ΔT vorhersagen. Als ein Ergebnis kann der Fahrzeugsteuervorrichtung 10 das Auftreten der Anomalie oder des Fehlers in der Zukunft selbst dann gemeldet werden, wenn die Temperaturdifferenz ΔT zur gegenwärtigen Zeit innerhalb des regulären Bereichs liegt, wenn eine Anomalie oder ein Fehler in der Zukunft aus der Vorhersagekurve vorhergesagt wird.In the first embodiment, the presence or absence of the current anomaly is determined from the current temperature difference ΔT, but in the present embodiment, the time of occurrence of the anomaly can be predicted based on the change in temperature difference ΔT from the past to the present. if e.g. For example, when the past data of the temperature difference ΔT at the time when a certain period of time has elapsed from the activation of the stereo camera is stored for a certain period of time in the storage unit 7 of the present embodiment, the control microcomputer 5 can calculate the future temperature difference ΔT predict the transition of the past temperature difference ΔT. As a result, the vehicle control device 10 can be notified of the occurrence of the anomaly or failure in the future even if the temperature difference ΔT at the current time is within the regular range when an anomaly or failure in the future is predicted from the prediction curve.

Bezugszeichenlistereference list

11: Stereokamerastereo camera
2L2L: linkes Bildgebungselementleft imaging element
2R2R: rechtes Bildgebungselementright imaging element
33: Bildverarbeitungsschaltungimage processing circuit
4L4L: linker Temperatursensorleft temperature sensor
4P4p: rechter Temperatursensorright temperature sensor
4M4M: Haupttemperatursensormain temperature sensor
55: Steuerungs-Mikrocomputercontrol microcomputer
66: Stromversorgungsschaltungpower supply circuit
77: Speichereinheitstorage unit
1010: Fahrzeugsteuervorrichtungvehicle control device

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

JP200188609A [0004]

Claims

Stereo camera, which includes: a first imaging element that captures an image of an external environment and outputs first image data; a second imaging element that captures an image of an external environment and outputs second image data; an image processing circuit that processes the first image data and the second image data to acquire external information; a first temperature sensor provided in the vicinity of the first imaging element; a second temperature sensor provided in the vicinity of the second imaging element; a third temperature sensor provided in the vicinity of the image processing circuit; and a control microcomputer that determines abnormality of the first imaging element, the second imaging element, or the image processing circuit based on a temperature difference between the measured temperatures of the respective temperature sensors.

stereo camera after claim 1 , wherein the control microcomputer determines that the temperature difference is abnormal when the temperature difference is greater than or equal to an upper threshold or less than or equal to a lower threshold and a state of the temperature difference continues for a predetermined time or longer.

stereo camera after claim 2 , wherein the upper threshold contains two values of an interrupt start threshold and an interrupt enable threshold that define a hysteresis range, and the lower threshold contains two values of an interrupt start threshold and an interrupt enable threshold that define a hysteresis range.

stereo camera after claim 2 , wherein the upper threshold includes two values of a first upper threshold that is a boundary between a regular range and a minor fault range, and a second upper threshold that is a boundary between a minor fault range and a major fault range, and the lower threshold contains two values of a first lower threshold which is a boundary between a regular range and a minor fault range, and a second lower threshold which is a boundary between a minor fault range and a major fault range.

stereo camera after claim 1 , wherein the control microcomputer identifies an abnormal component based on a combination of temperature difference abnormality determination results.

stereo camera after claim 5 wherein when the control microcomputer determines that one imaging element is regular and another imaging element is abnormal, the image processing circuit acquires the external information by processing only image data of the regular imaging element.

stereo camera after claim 2 , further comprising: a storage unit that stores multiple units of past data of the temperature difference after the lapse of a certain period of time from activation, wherein the control microcomputer calculates the upper threshold value and the lower threshold value based on a maximum value and a minimum value of the past Corrected temperature difference data stored in the storage unit.

stereo camera after claim 1 further comprising: a storage unit that stores past data of the temperature difference for a certain period of time after a lapse of a certain period of time from the activation, wherein the control microcomputer predicts the occurrence of an abnormality by determining from the past transition of the temperature difference, the is stored in the storage unit, a future change in the temperature difference is predicted.