DE112020002689T5

DE112020002689T5 - Feststeckungsbestimmungsvorrichtung und feststeckungsbestimmungsverfahren

Info

Publication number: DE112020002689T5
Application number: DE112020002689.2T
Authority: DE
Inventors: Nobuhiko Tanibata
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-06-03
Filing date: 2020-03-20
Publication date: 2022-04-07
Also published as: JP7247760B2; WO2020246117A1; CN113892259B; JP2020198551A; CN113892259A; US20220058412A1

Abstract

In einer Feststeckbestimmungsvorrichtung oder einem Feststeckbestimmungsverfahren sind eine CPU (48), eine GPU (46), ein Speicher (44) zusammen mit einem Bus (42) verbunden und es wird bestimmt, ob Bilddaten mit Pixelwerten von Pixeln, die ein Bild ausbilden, das durch eine Kamera (2) aufgenommen wird, feststecken. Eine Bilderlangungseinheit (41), die konfiguriert ist, um die Bilddaten von der Kamera zu erlangen und die Bilddaten in dem Speicher zu speichern. Ausgehend vom Speichern einer jeweiligen unterteilter Einheiten der Bilddaten in dem Speicher die Bilderlangungseinheit eine Speicherungsabschlussmitteilung sendet, die den Abschluss des Speicherns der jeweiligen der unterteilten Einheiten angibt. Ausgehend vom Empfangen der Speicherungsabschlussmitteilung sendet die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts mindestens eines Pixels an einer Feststeckbestimmungszielposition. Ausgehend vom Empfangen der Leseanweisung die GPU den Pixelwert des mindestens einen Pixels von dem Speicher liest und den gelesenen Pixelwert sendet. Die CPU führt eine Pixelwertvergleichsverarbeitung (S7) durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels in einem vorherigen Rahmen aus.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNG
Diese Anmeldung basiert auf der japanischen Patentanmeldung mit der Nummer 2019-103813 , eingereicht am 3. Juni 2019, deren Offenbarung hier durch Bezugnahme aufgenommen ist.
TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Feststeckbestimmungsvorrichtung und ein Feststeckbestimmungsverfahren zum Bestimmen, ob Daten eines Bilds, das durch eine Kamera aufgenommen wird, feststecken.
Stand der Technik
Eine Technik zum Anzeigen eines Bilds, das durch eine Kamera aufgenommen wird, auf einer Anzeigevorrichtung ist bekannt. Patentdokument 1 offenbart eine Technik zum automatischen Erfassen einer Anomalie von Daten des Bilds, das auf der Anzeigevorrichtung angezeigt wird. In der Technik, die in Patentdokument 1 offenbart ist, werden sich bewegende Objekte von den Bilddaten eines aufgenommenen Bereichs entfernt, nachdem die Bilddaten eines Rahmens von der Kamera erlangt werden. Anschließend werden die Bilddaten des aufgenommenen Bereichs in Stücke unterteilt und die Anomalie des Bilds wird basierend auf Luminanzwerten in jedem Stück oder einem Durchschnitt der Luminanzwerte in jedem Stück erfasst.
Dokument zum Stand der Technik
Patentdokument
Patentdokument 1: WO2015/182751
Überblick über die Erfindung
Es besteht ein Bedarf zum Bestimmen, ob Feststecken, das eine von Anomalien in Bilddaten ist, aufgetreten ist. Wenn die Bilddaten feststecken, ändern sich Luminanzwerte nicht. Im Gegensatz dazu, wenn die Bilddaten nicht feststecken, ändern sich die Luminanzwerte über die Zeit. Demnach kann bestimmt werden, dass die Bilddaten nicht feststecken, wenn sich die Luminanzwerte über die Zeit ändern.
In der Technik, die in Patentdokument 1 offenbart ist, werden Zielregionen festgelegt und ein Durchschnitt der Luminanzwerte in jeder Zielregion wird berechnet, um eine Last zum Verarbeiten von Signalen zu reduzieren. Hierbei wird angenommen, dass beispielsweise eine Kamera in einem Fahrzeug montiert ist. Sogar, wenn die Bilddaten nicht feststecken, wird die Änderung des Luminanzwerts jedes Pixels klein, während das Fahrzeug gestoppt ist. Demzufolge, wenn der Durchschnitt der Luminanzwerte in der Zielregion zum Erfassen des Feststeckens der Bilddaten wie in dem Patentdokument 1 verwendet wird, unterscheidet sich der Durchschnitt der Luminanzwerte unter einer normalen Bedingung geringfügig von dem unter einer Bedingung, in der die Bilddaten feststecken. Das heißt, es kann schwierig sein, das Feststecken basierend auf dem Durchschnitt zu erfassen.
Hinsichtlich des Vorstehenden kann erwogen werden, den Luminanzwert mit einem vorherigen Luminanzwert für jedes Pixel zu vergleichen. In der Technik, die in Patentdokument 1 offenbart ist, wird die Verarbeitung zum Erfassen der Anomalien in den gesamten Bilddaten des aufgenommenen Bereichs gestartet, nachdem die Bilddaten eines Rahmens abgerufen wurden.
In einer herkömmlichen Vorrichtung, die konfiguriert ist, um die Bilddaten anzuzeigen, die durch die Kamera aufgenommen werden, werden eine CPU, eine GPU und ein Speicher zusammen durch einen Bus verbunden. Wenn die Luminanzwerte jedes Pixels mit dem vorherigen Wert verglichen werden, können die Verarbeitungen (1) - (4) ausgeführt werden.
(1) Die Bilddaten, die durch die Kamera aufgenommen werden, werden in dem Speicher gespeichert. (2) Die CPU fordert die GPU durch den Bus auf, um von dem Speicher den Pixelwert des Pixels zu erlangen, das zu vergleichen ist. (3) Die GPU erlangt von dem Speicher durch den Bus den Pixelwert, der durch die CPU angefordert wird, und stellt der CPU den erlangten Pixelwert bereit. (4) Die CPU speichert den bereitgestellten Pixelwert und vergleicht ihn mit dem vorherigen Pixelwert. Die Verarbeitungen (1) - (4) werden für jedes Pixel ausgeführt.
Die CPU operiert in den vorstehenden Verarbeitungen (2) - (4). Demzufolge ist eine Last auf der CPU zum Ausführen der Verarbeitungen (2) - (4) hoch.
Es ist eine Aufgabe der vorliegenden Offenbarung, eine Feststeckbestimmungsvorrichtung und ein Feststeckbestimmungsverfahren bereitzustellen, die eine Last auf einer CPU reduzieren.
Gemäß einem ersten Aspekt beinhaltet eine Feststeckbestimmungsvorrichtung eine CPU, eine GPU, einen Speicher und einen Bus, der diese miteinander verbindet. Die Feststeckbestimmungsvorrichtung ist konfiguriert, um zu bestimmen, ob Bilddaten mit Pixelwerten von Pixeln, die ein Bild ausbilden, das durch eine Kamera aufgenommen wird, feststecken. Die Feststeckbestimmungsvorrichtung beinhaltet eine Bilderlangungseinheit, die konfiguriert ist, um die Bilddaten von der Kamera zu erlangen und die Bilddaten in dem Speicher zu speichern. Ausgehend vom Speichern einer jeweiligen unterteilter Einheiten der Bilddaten sendet die Bilderlangungseinheit an die CPU eine Speicherungsabschlussmitteilung, die den Abschluss des Speicherns der jeweiligen der unterteilten Einheiten angibt. Ausgehend vom Empfangen der Speicherungsabschlussmitteilung sendet die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts mindestens eines Pixels, das an einer Feststeckbestimmungszielposition ist. Ausgehend vom Empfangen der Leseanweisung von der CPU liest die GPU den Pixelwert des mindestens einen Pixels von dem Speicher und sendet den gelesenen Pixelwert an die CPU. Die CPU ist konfiguriert, um eine Pixelwertvergleichsverarbeitung zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels eines vorherigen Rahmens auszuführen.
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung dient ein Verfahren für eine Vorrichtung zum Bestimmen, ob Bilddaten mit Pixelwerten von Pixeln, die ein Bild ausbilden, das durch eine Kamera aufgenommen wird, feststecken. Die Vorrichtung beinhaltet eine CPU, eine GPU, einen Speicher und einen Bus, der diese miteinander verbindet. Die Vorrichtung beinhaltet eine Bilderlangungseinheit, die konfiguriert ist, um die Bilddaten zu erlangen und die Bilddaten in dem Speicher zu speichern. Ausgehend vom Speichern einer jeweiligen unterteilter Einheiten der Bilddaten sendet die Bilderlangungseinheit an die CPU eine Speicherungsabschlussmitteilung, die den Abschluss des Speicherns der jeweiligen der unterteilten Einheiten angibt. Ausgehend vom Empfangen der Speicherungsabschlussmitteilung sendet die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts mindestens eines Pixels, das an einer Feststeckbestimmungszielposition ist. Ausgehend vom Empfangen der Leseanweisung von der CPU liest die GPU den Pixelwert des mindestens einen Pixels von dem Speicher und sendet den gelesenen Pixelwert an die CPU. Die CPU ist konfiguriert, um eine Pixelwertvergleichsverarbeitung zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels eines vorherigen Rahmens auszuführen.
Gemäß der vorstehend beschriebenen Feststeckbestimmungsvorrichtung und dem vorstehend beschriebenen Feststeckbestimmungsverfahren sendet die Bilderlangungseinheit an die CPU die Speicherungsabschlussmitteilung, die den Abschluss des Speicherns angibt, an die unterteilte Einheit. Ausgehend vom Empfang der Speicherungsabschlussmitteilung sendet die CPU die Leseanweisung zum Starten der Verarbeitung (nachfolgend als eine Feststeckbestimmungsverarbeitung bezeichnet) zum Bestimmen, ob die Bilddaten feststecken. Demzufolge kann die Feststeckbestimmungsverarbeitung gestartet werden, bevor die gesamten Bilddaten eines Rahmens in dem Speicher gespeichert werden. Da die Feststeckbestimmungsverarbeitung früher gestartet werden kann, kann die Last für die Verarbeitung verglichen mit einem Fall separiert werden, in dem die Feststeckbestimmungsverarbeitung gestartet wird, nachdem die gesamten Bilddaten eines Rahmens in dem Speicher gespeichert sind. Durch Separieren der Last für die Verarbeitung kann die Last auf der CPU pro Zeiteinheit reduziert werden.
Gemäß einem dritten Aspekt beinhaltet eine Feststeckbestimmungsvorrichtung eine CPU, eine GPU, einen Speicher und einen Bus, der diese miteinander verbindet. Die Feststeckbestimmungsvorrichtung ist konfiguriert, um zu bestimmen, ob Bilddaten mit Pixelwerten von Pixeln, die ein Bild ausbilden, das durch eine Kamera aufgenommen wird, feststecken. Die Feststeckbestimmungsvorrichtung beinhaltet eine Bilderlangungseinheit, die konfiguriert ist, um die Bilddaten von der Kamera zu erlangen und die Bilddaten in dem Speicher zu speichern. Ausgehend vom Speichern eines Teils der Bilddaten oder der gesamten Bilddaten eines Rahmens in den Speicher sendet die Bilderlangungseinheit an die CPU eine Speicherungsabschlussmitteilung, die den Abschluss des Speicherns angibt. Ausgehend vom Empfangen der Speicherungsabschlussmitteilung sendet die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts mindestens eines Pixels, das an einer Feststeckbestimmungszielposition ist. Ausgehend vom Empfangen der Leseanweisung von der CPU liest die GPU den Pixelwert des mindestens einen Pixels von dem Speicher und sendet den gelesenen Pixelwert an die CPU. Die CPU ist konfiguriert, um eine Pixelwertvergleichsverarbeitung zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels eines vorherigen Rahmens auszuführen. Die CPU ist konfiguriert, um Positionen mancher Pixel der mehreren Pixel der Bilddaten jedes Rahmens als die Feststeckbestimmungszielposition zu verwenden.
Gemäß einem vierten Aspekt der vorliegenden Offenbarung dient ein Verfahren für eine Vorrichtung zum Bestimmen, ob Bilddaten mit Pixelwerten von Pixeln, die ein Bild ausbilden, das durch eine Kamera aufgenommen wird, feststecken. Die Vorrichtung beinhaltet eine CPU, eine GPU, einen Speicher und einen Bus, der diese miteinander verbindet. Die Vorrichtung beinhaltet eine Bilderlangungseinheit, die konfiguriert ist, um die Bilddaten zu erlangen und die Bilddaten in dem Speicher zu speichern. Ausgehend vom Speichern eines Teils der Bilddaten oder der gesamten Bilddaten eines Rahmens sendet die Bilderlangungseinheit an die CPU eine Speicherungsabschlussmitteilung, die einen Abschluss des Speicherns angibt. Ausgehend vom Empfangen der Speicherungsabschlussmitteilung sendet die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts mindestens eines Pixels, das an einer Feststeckbestimmungszielposition ist. Ausgehend vom Empfangen der Leseanweisung von der CPU liest die GPU den Pixelwert des mindestens einen Pixels von dem Speicher und sendet den gelesenen Pixelwert an die CPU. Die CPU ist konfiguriert, um eine Pixelwertvergleichsverarbeitung zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels eines vorherigen Rahmens auszuführen. Die CPU ist konfiguriert, um Positionen mancher Pixel der mehreren Pixel der Bilddaten jedes Rahmens als die Feststeckbestimmungszielposition zu verwenden.
Gemäß dieser Feststeckbestimmungsvorrichtung und diesem Feststeckbestimmungsverfahren werden die Positionen mancher Pixel der Bilddaten von jedem Rahmen als die Feststeckbestimmungszielpositionen verwendet. Demzufolge, da die Anzahl der Feststeckbestimmungspositionen kleiner als in einem Fall ist, in dem die Positionen aller Pixel der Bilddaten jedes Rahmens als die Feststeckbestimmungspositionen verwendet werden, kann die Last auf der CPU reduziert werden.
Figurenliste
Die vorstehenden und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der nachfolgenden detaillierten Beschreibung in Zusammenschau mit den Zeichnungen deutlicher. Es zeigen:

1 ein Diagramm, das eine Konfiguration eines Kamerabildanzeigesystems illustriert; und
2 ein Diagramm, das eine Feststeckbestimmungsverarbeitung, die durch eine CPU ausgeführt wird, und Verarbeitungen illustriert, die durch eine IPU und GPU in Relation zur Feststeckbestimmungsverarbeitung ausgeführt werden.

Ausführungsformen zum Einsetzen der Erfindung
Eine erste Ausführungsform wird nachfolgend gemäß den Zeichnungen beschrieben. 1 ein Diagramm, das eine Konfiguration eines Kamerabildanzeigesystems 1 illustriert. Das Kamerabildanzeigesystem 1 ist in einem Fahrzeug C montiert. Das Kamerabildanzeigesystem 1 beinhaltet eine Kamera 2, eine Anzeige 3 und eine Steuereinheit 4. Die Kamera 2, die Anzeige 3 und die Steuereinheit 4 sind mit einem fahrzeuginternen LAN-Bus 5 verbunden. Die Kamera 2, die Anzeige 3 und die Steuereinheit 4 sind konfiguriert, um Signale durch den fahrzeuginternen LAN-Bus 5 zu kommunizieren.
Die Kamera 2 ist außerhalb des Fahrzeugs C in einer Position installiert, um Bilder eines Bereichs vor dem Fahrzeug C aufzunehmen. Die Kamera 2 kann in einer Position installiert sein, um Bilder eines Bereichs hinter dem Fahrzeug C oder der Innenseite der Fahrgastzelle aufzunehmen. Die Kamera 2 ist konfiguriert, um aufeinanderfolgende Bilder aufzunehmen. Ein Bild, das durch die Kamera 2 aufgenommen wird, wird als ein Rahmen bezeichnet. Die Kamera 2 kann konfiguriert sein, um ein Video durch Aufnehmen von mehr als ein paar Dutzend Rahmen pro Sekunde aufzunehmen. Die Kamera 2 beinhaltet einen Bildsensor mit mehreren Pixeln. Die Kamera 2 ist konfiguriert, um das Bild durch einen Wert (nachfolgend als ein Bildwert bezeichnet) zu repräsentieren, der durch jeden Pixel des Bildsensors erfasst wird. Der Pixelwert ist ein Luminanzwert für jede Farbe. Die Kamera 2 ist konfiguriert, um Bilddaten einschließlich der Pixelwerte jedes Pixels zum Repräsentieren des aufgenommenen Bilds zu repräsentieren. Das Bild, das durch die Kamera 2 der vorliegenden Ausführungsform aufgenommen wird, hat eine rechteckige Form und die Kamera 2 ist konfiguriert, um jeweils eine horizontale Linie der Bilddaten zu einer Zeit auszugeben.
Die Anzeige 3 ist an einer Position angeordnet, die visuell durch einen Insassen in der Fahrgastzelle des Fahrzeugs C erkannt werden kann. Die Anzeige 3 ist konfiguriert, um unterschiedliche Bilder anzuzeigen. Als die Anzeige 3 kann eine Flüssigkristallanzeige oder einer OLED-Anzeige verwendet werden.
Wie in 1 gezeigt ist, beinhaltet die Steuereinheit 4 eine IPU (Bildverarbeitungseinheit) 41, einen Bus 42, einen Flash-Speicher 43, einen Hauptspeicher 44, einen Cache 45, eine GPU (Grafikverarbeitungseinheit) 46, einen Cache 47 und eine CPU (zentrale Verarbeitungseinheit) 48. Die Steuereinheit 4 ist konfiguriert, um das Bild, das durch die Kamera 2 aufgenommen wird, auf der Anzeige 3 anzuzeigen. Die Steuereinheit 4 ist konfiguriert, um sequentiell zu bestimmen, ob die Bilddaten feststecken. Das heißt, die Steuereinheit 4 ist eine Feststeckbestimmungsvorrichtung und ist konfiguriert, um ein Feststeckbestimmungsverfahren auszuführen. Das Feststecken ist ein Zustand, in dem der Pixelwert, der von einem bestimmten Pixel ausgegeben wird und der sich unter einer normalen Bedingung ändern sollte, sich nicht ändert.
Die IPU 41 ist eine Bilderlangungseinheit und hat einen Prozessor. Die IPU 41 ist konfiguriert, um die Bilddaten von der Kamera 2 zu erlangen und die Bilddaten in dem Hauptspeicher 44 zu speichern. Da die Kamera 2 konfiguriert ist, um die Bilddaten für jeweils eine horizontale Zeile zu einer Zeit auszugeben, erlangt die IPU 41 die Bilddaten jeweils für eine horizontale Linie. Die IPU 41 ist konfiguriert, um eine horizontale Linie der Bilddaten jedes Mal zu speichern, wenn die eine horizontale Linie erlangt wird. In der vorliegenden Ausführungsform ist eine horizontale Linie eine unterteilte Einheit, von denen viele die Bilddaten eines Rahmens ausbilden. Die IPU 41 ist konfiguriert, um eine Speicherungsabschlussmitteilung an die CPU 48 jedes Mal auszugeben, wenn die IPU 41 die eine horizontale Linie der Bilddaten in dem Hauptspeicher 44 speichert.
Der Bus 42 ist mit der IPU 41, dem Flash-Speicher 43, dem Hauptspeicher 44, dem Cache 45 und dem Cache 47 verbunden. Der Flash-Speicher 43 ist ein nichtflüchtiger Speicher. Der Flash-Speicher 43 speichert beispielsweise Programme, die durch die CPU 48 ausgeführt werden. Der Hauptspeicher 44 ist ein flüchtiger Speicher. Der Hauptspeicher 44 besteht beispielsweise aus einem DRAM. Der Hauptspeicher 44 speichert die Bilddaten. Die Bilddaten, die in dem Hauptspeicher 44 gespeichert sind, werden von dem Hauptspeicher 44 gelöscht, nachdem das Bild, das durch die Bilddaten repräsentiert ist, auf der Anzeige 3 angezeigt wird. Der Cache 45 ist konfiguriert, um die Daten mit der GPU 46 zu kommunizieren. Der Cache 45 besteht beispielsweise aus einem SRAM.
Die GPU 46 ist ein Prozessor zum Verarbeiten von Bildern und konfiguriert, um die Bilddaten, die in dem Hauptspeicher 44 gespeichert sind, zu lesen und das Bild auf der Anzeige 3 basierend auf den Bilddaten anzuzeigen. Wenn die GPU 46 eine Leseanweisung von der CPU 48 empfängt, liest die GPU 48 die Bilddaten von dem Hauptspeicher 44 gemäß der Leseanweisung. Die GPU 46 ist konfiguriert, um die gelesenen Bilddaten an die CPU 48 zu senden.
Der Cache 47 ist konfiguriert, um die Daten mit der CPU 48 zu kommunizieren. Der Cache 47 besteht beispielsweise aus einem SRAM. Die CPU 48 hat einen Prozessor und ist konfiguriert, um die GPU 46 anzuweisen, die Anzeige 3 zu veranlassen, das Bild anzuzeigen, das durch die Kamera 2 aufgenommen wird. Die CPU 48 ist konfiguriert, um als eine Feststeckbestimmungseinheit zu funktionieren, die konfiguriert ist, um eine Feststeckbestimmungsverarbeitung auszuführen. Die Feststeckbestimmungsverarbeitung ist eine Verarbeitung zum Bestimmen, ob die Bilddaten feststecken.
Die CPU 48 ist konfiguriert, um die Feststeckbestimmungsverarbeitung mit einer vorbestimmten Frequenz auszuführen. Beispielsweise ist die CPU 48 konfiguriert, um die Feststeckbestimmungsverarbeitung für jeden Rahmen auszuführen. Wenn die CPU 48 die Feststeckbestimmungsverarbeitung ausführt, gibt die CPU 48 die Leseanweisung an die GPU 46 aus. Die Leseanweisung ist eine Anweisung zum Lesen von dem Hauptspeicher 44 der Bilddaten des Bilds an einer Feststeckbestimmungszielposition. Die Feststeckbestimmungszielposition ist eine Position eines Pixels basierend auf dem bestimmt wird, ob die Bilddaten feststecken.
In der vorliegenden Ausführungsform beinhalten die Feststeckbestimmungszielpositionen keine Positionen von allen Pixeln eines Rahmens, sondern nur Positionen von manchen Pixeln. Insbesondere werden in der vorliegenden Ausführungsform die Positionen mancher Pixel in einer horizontalen Linie als die Feststeckbestimmungszielposition verwendet. Demzufolge beinhaltet in der vorliegenden Ausführungsform jede horizontale Linie Pixelpositionen, die nicht die Feststeckbestimmungszielpositionen sind und Pixelpositionen, die die Feststeckbestimmungszielposition sind.
2 zeigt die Feststeckbestimmungsverarbeitung, die durch die CPU 48 ausgeführt wird, und Verarbeitungen, die durch die IPU 41 und GPU 46 bezüglich der Feststeckbestimmungsverarbeitung ausgeführt werden. Die Verarbeitungen, die in 2 gezeigt sind, werden für jeden Rahmen ausgeführt. Bei Schritt S1 ruft die IPU 41 eine horizontale Linie der Bilddaten von der Kamera 2 ab.
Bei Schritt S2 speichert die IPU 41 die Bilddaten, die bei Schritt S1 abgerufen werden, in dem Hauptspeicher 44. Bei Schritt S3 sendet die IPU 41 die Speicherungsabschlussmitteilung an die CPU 48. Die Speicherungsabschlussmitteilung ist eine Mitteilung, die repräsentiert, dass eine horizontale Linie der Bilddaten abgerufen wurde, und enthält Informationen, die die Anzahl der abgerufenen horizontalen Daten in den Bilddaten angeben.
Die CPU 48 führt Schritt S4 ausgehend vom Empfang der Speicherungsabschlussmitteilung aus. Bei Schritt S4 wird die Leseanweisung an die GPU 46 gesendet. Die Leseanweisung enthält Informationen, die die Pixel identifizieren, deren Pixelwerte verglichen werden. In der vorliegenden Ausführungsform sind die Pixel, deren Pixelwerte verglichen werden, das gleiche Pixel ungeachtet des Rahmens.
Bei Schritt S5 erlangt die GPU 46 von dem Hauptspeicher 44 den Pixelwert des Pixels, das aus der Leseanweisung identifiziert wird, ausgehend vom Empfangen der Leseanweisung. Bei Schritt S6 sendet die GPU 46 den bei S5 erlangten Pixelwert an die CPU 48. Bei Schritt S7 vergleicht die CPU 48 den gegenwärtigen Pixelwert, der von der GPU 46 bei S6 gesendet wird, mit dem vorherigen Pixelwert des Pixels, dessen Pixelwert dieses Mal gelesen wird. Wenn der gegenwärtige Pixelwert als ein Ergebnis des Vergleichs gleich dem vorherigen Pixelwert ist, bestimmt die CPU 48, dass die Bilddaten feststecken. Die CPU 48 speichert den vorherigen Pixelwert in dem Cache 47 bis die Verarbeitung bei Schritt S7 abgeschlossen ist. Die Verarbeitung bei Schritt S7 ist eine Pixelwertvergleichsverarbeitung. Schritte von Schritt S4 bis S7 sind eine unterteilte Feststeckbestimmungsverarbeitung 50. Die unterteilte Feststeckbestimmungsverarbeitung 50 ist eine Verarbeitung zum Bestimmen, ob eine horizontale Linie, die die unterteilte Einheit der Bilddaten ist, feststeckt. Eine Feststeckbestimmungsverarbeitung ist eine Verarbeitung, in der die unterteilte Feststeckbestimmungsverarbeitung 50 für alle die unterteilten Einheiten, das heißt, in der vorliegenden Ausführungsform jede horizontale Linie, ausgeführt wird.
In 2 sind Schritte S4 bis S7 jeweils einmal illustriert. Jedoch, wenn mehrere Pixelpositionen als die Feststeckbestimmungszielpositionen in der einen horizontalen Linie verwendet werden, kann nur für manche Pixel, die in den Feststeckbestimmungszielpositionen beinhaltet sind, angewiesen werden, dass sie bei Schritt S4 gelesen werden. Beispielsweise wird bei Schritt S4 nur für ein Pixel angewiesen, dass es gelesen wird. Wenn nur für manche Pixel, die in den Feststeckbestimmungszielpositionen einer horizontalen Linie beinhaltet sind, angewiesen wird, dass sie bei S4 gelesen werden, werden Schritte S4 bis S7 wiederholt, bis die Pixelwertvergleichsverarbeitung für alle die Pixelwerte in den Feststeckbestimmungszielpositionen der einen horizontalen Linie abgeschlossen ist.
Schritt S11 ist die gleiche Verarbeitung wie Schritt S1, mit der Ausnahme, dass eine horizontale Linie der Bilddaten, die abzurufen sind, die nächste Linie der einen horizontalen Linie ist, die bei Schritt S1 abgerufen wird. Schritte S12, S13 sind die gleichen wie Schritte S2, S3. Die IPU 41 führt Schritt S11 nach Schritt S3 aus. Demzufolge werden Schritte S11, S12, S13 parallel zur unterteilten Feststeckbestimmungsverarbeitung 50 durch die CPU 48 und die GPU 46 ausgeführt. Da die IPU 41 Schritt S13 ausführt, können die CPU 48 und GPU 46 die unterteilte Feststeckbestimmungsverarbeitung 50 für eine horizontale Linie bei den Schritten S11 bis S13 unter Verwendung der abgerufenen einen Linie der Bilddaten ausführen.
Schritte Sn1, Sn2, Sn3 sind die gleichen wie Schritte S1, S2, S3. „n“ repräsentiert die Anzahl der horizontalen Linien, die den Rahmen bilden. Das heißt, bei Schritt Sn1 wird die letzte Linie der Bilddaten abgerufen. Schritte Sn2, Sn3 sind die gleichen wie Schritte S2, S3.
Wird als Ergebnis der unterteilten Feststeckbestimmungsverarbeitung 50 für alle horizontalen Linien bestimmt, dass mindestens eine Pixelposition feststeckt, bestimmt die CPU 48, dass die Bilddaten feststecken. Wird bestimmt, dass die Bilddaten feststecken, führt die CPU 48 eine vorfestgelegte Verarbeitung für eine Feststecksituation aus, das heißt, gibt ein Warnbild auf der Anzeige 3 aus.
[Zusammenfassung der Ausführungsform]
In der vorliegenden Ausführungsform, die vorstehend beschrieben ist, ist in der Steuereinheit 4 die IPU 41 konfiguriert, um die Speicherungsabschlussmitteilung an die CPU 48 ausgehend vom Speichern einer horizontalen Linie der Bilddaten in dem Hauptspeicher 44 zu senden. Die CPU 48 startet die unterteilte Feststeckbestimmungsverarbeitung 50 ausgehend vom Empfangen der Speicherungsabschlussmitteilung (S4). Demzufolge wird die unterteilte Feststeckbestimmungsverarbeitung 50, die ein Teil der Feststeckbestimmungsverarbeitung ist, die basierend auf der unterteilten Einheit unterteilt wird, bevor die gesamten Bilddaten eines Rahmens in dem Hauptspeicher 44 gespeichert werden. Das heißt, die Feststeckbestimmungsverarbeitung kann früher als in einem Fall gestartet werden, in dem die Feststeckbestimmungsverarbeitung gestartet wird, nachdem die gesamten Bilddaten eines Rahmens in dem Hauptspeicher 44 gespeichert sind.
Da die Feststeckbestimmungsverarbeitung früher gestartet werden kann, kann die Last für die Verarbeitung verglichen mit einem Fall separiert werden, in dem die Feststeckbestimmungsverarbeitung gestartet wird, nachdem die gesamten Bilddaten eines Rahmens in dem Hauptspeicher 44 gespeichert sind.
Dies wird im Detail beschrieben. Es wird angenommen, dass die Feststeckbestimmungsverarbeitung gestartet wird, nachdem die Verarbeitung bei Schritt Sn3 abgeschlossen ist. Die Feststeckbestimmungsverarbeitung sollte zur gleichen Zeit wie bei der vorliegenden Ausführungsform abgeschlossen sein. Beispielsweise soll die Feststeckbestimmungsverarbeitung abgeschlossen sein, bevor die Kamera 2 den nächsten Rahmen aufnimmt. Dies ist ein Vergleichsbeispiel. Im Gegensatz zu dem Vergleichsbeispiel ist in der vorliegenden Ausführungsform die Zeit, die für die unterteilte Feststeckbestimmungsverarbeitung 50 verfügbar ist, um die Zeitlänge länger von der Zeit, wenn die Verarbeitung bei Schritt S3 endet, bis zu der Zeit, wenn die Verarbeitung bei Schritt Sn3 endet. Das heißt, in dem Vergleichsbeispiel ist es erforderlich, die Feststeckbestimmungsverarbeitung in einer kürzeren Zeit abzuschließen, als die vorliegende Ausführungsform und demzufolge wird eine teure CPU 48 mit einer hohen Verarbeitungsgeschwindigkeit erforderlich.
Im Gegensatz ist in der vorliegenden Ausführungsform die Zeit, die für die unterteilte Feststeckbestimmungsverarbeitung 50 verfügbar ist, um die Zeitlänge länger von der Zeit, wenn die Verarbeitung bei Schritt S3 endet, bis zu der Zeit, wenn die Verarbeitung bei Schritt Sn3 endet, verglichen mit dem Vergleichsbeispiel. Das heißt, die Feststeckbestimmungsverarbeitung ist durch Starten der unterteilten Feststeckbestimmungsverarbeitung 50 (das heißt, ein Teil der Feststeckbestimmungsverarbeitung) zu der Zeit, wenn die Verarbeitung bei Schritt S3 endet, unterteilt. Demzufolge kann die Verarbeitung, die pro Zeiteinheit auszuführen ist, reduziert werden und demzufolge kann die Last auf der CPU 48 reduziert werden.
Bei Schritt S4, S5, S6, die in der unterteilten Feststeckbestimmungsverarbeitung 50 beinhaltet sind, werden die Bilddaten durch den Bus 42 gesendet. In dem Vergleichsbeispiel konzentrieren sich die Verarbeitungen in den Schritten S4, S5, S6 ebenso in einer bestimmten Periode. Demzufolge ist ein Bus 42 mit einer hohen Kommunikationsgeschwindigkeit erforderlich. Im Gegensatz dazu wird in der vorliegenden Ausführungsform, da die Verarbeitungen der CPU 48 über die Zeit durch die unterteilte Feststeckbestimmungsverarbeitung 50 separiert sind, die Last pro Zeiteinheit auf dem Bus 5 ebenso reduziert.
Ferner werden in der vorliegenden Ausführungsform nur manche Pixelpositionen in einem Rahmen als die Feststeckbestimmungszielpositionen in der Feststeckbestimmungsverarbeitung für einen Rahmen verwendet. Demzufolge wird die Anzahl der Feststeckbestimmungszielpositionen verglichen mit einem Fall reduziert, in dem alle der Pixelpositionen in einem Rahmen als die Feststeckbestimmungszielpositionen verwendet werden. In dieser Hinsicht kann die Last auf der CPU 48 ebenso reduziert werden.
Unabhängig davon, ob ein Abbildungsbereich der Kamera 2 außerhalb des Fahrzeugs oder innerhalb des Fahrzeugs ist, ist ein Abbildungsziel der Kamera 2 analoge Informationen. Demzufolge, wenn die Bilddaten nicht feststecken, ist der Pixelwert an der gleichen Pixelposition nicht konstant, sogar, wenn sich die Kamera 2 nicht bewegt. Wenn die Bilddaten feststecken, stecken Daten nur eines Pixels nicht fest, aber Daten mehrerer oder aller Pixel stecken für gewöhnlich fest.
Demzufolge, sogar, wenn manche der Pixelpositionen in einem Rahmen als die Feststeckbestimmungszielpositionen wie in der vorliegenden Ausführungsform verwendet werden, kann die Verschlechterung der Genauigkeit der Feststeckbestimmung unterdrückt werden. Gemäß der vorliegenden Ausführungsform kann die Last auf der CPU 48 reduziert werden, während die Verschlechterung der Genauigkeit der Feststeckbestimmung unterdrückt werden kann.
In der vorliegenden Ausführungsform ist die Kamera 2 in dem Fahrzeug C montiert. Wenn die Kamera 2 konfiguriert ist, um ein Bild eines Außenbereichs vor oder hinter dem Fahrzeug aufzunehmen, ist die Steuereinheit 4 konfiguriert, um für jeden Rahmen zu bestimmen, ob das Feststecken derart auftritt, dass die Fahrzeugsteuerung und Fahroperation sicher ausgeführt werden. Es kann auch erforderlich sein, den Aufwand bzw. die Kosten für die Steuereinheit 4 zu reduzieren. Demnach kann es schwierig sein, die Hochleistungs-CPU 48 zu verwenden.
In der vorliegenden Ausführungsform, da die Last auf der CPU 48 wie vorstehend beschrieben reduziert werden kann, ist eine teure CPU 48 mit einer hohen Verarbeitungsgeschwindigkeit nicht erforderlich. Gemäß der vorliegenden Ausführungsform kann das Feststecken für jeden Rahmen mit einer günstigen Steuereinheit 4 bestimmt werden.
Obwohl die Ausführungsform beschrieben wurde, ist die offenbarte Technologie nicht auf die vorstehend beschriebene Ausführungsform beschränkt und die folgenden Modifikationen sind in dem offenbarten Bereich beinhaltet und unterschiedliche Modifikationen können getätigt werden, ohne vom Geist abzuweichen, mit Ausnahme des nachfolgend beschriebenen. In der folgenden Beschreibung sind Elemente mit denselben Bezugszeichen wie die bisher verwendeten dieselben wie Elemente mit denselben Bezugszeichen in den vorherigen Ausführungsformen, außer wenn speziell erwähnt. Wenn nur einige Teile der Konfiguration beschrieben werden, kann die zuvor beschriebene Ausführungsform auf andere Teile der Konfiguration angewendet werden.
<Erste Modifikation>
In der Ausführungsform werden nur manche der Pixelpositionen als die Feststeckbestimmungszielpositionen in der unterteilten Feststeckbestimmungsverarbeitung 50 bezeichnet. Jedoch kann die Last auf der CPU 48 durch die unterteilte Feststeckbestimmungsverarbeitung 50 wie vorstehend beschrieben reduziert werden. Demzufolge können alle der Pixelpositionen als die Feststeckbestimmungszielpositionen verwendet werden, anstatt nur manche der Pixelpositionen als die Feststeckbestimmungszielpositionen zu verwenden.
<Zweite Modifikation>
Die Last auf der CPU 48 kann reduziert werden, indem nur manche Pixelpositionen als die Feststeckbestimmungszielpositionen verwendet werden. Demzufolge, wenn nur manche Pixelpositionen als die Feststeckbestimmungszielpositionen verwendet werden, kann die unterteilte Feststeckbestimmungsverarbeitung 50 weggelassen werden und der Pixelwert in jeder Feststeckbestimmungszielposition kann mit einem vorherigen Pixelwert verglichen werden, nachdem die gesamten Bilddaten in dem Hauptspeicher 44 gespeichert sind.
<Dritte Modifikation>
In der Ausführungsform sind die Feststeckbestimmungszielpositionen fixiert. Demzufolge ändert sich in der Ausführungsform die Anzahl der Pixelpositionen, die als die Feststeckbestimmungszielpositionen verwendet werden, nicht. Jedoch kann die Anzahl der Pixelpositionen, die als die Feststeckbestimmungszielpositionen verwendet werden, reduziert werden, wenn die Last auf der CPU 48 zunimmt. Die Anzahl der Pixelpositionen, die als Feststeckbestimmungszielpositionen verwendet werden, können in Schritten oder kontinuierlich basierend auf der Last auf der CPU 48 reduziert werden. Die Last auf der CPU 48 kann aus der Nutzung der CPU 48 bestimmt werden. Je geringer die Nutzung der CPU 48 ist, umso kleiner ist die Last auf der CPU 48.
Die CPU 48 ist konfiguriert, um die GPU 46 anzuweisen, Verarbeitungen (nachfolgend als andere Verarbeitungen bezeichnet) außer der Feststeckbestimmungsverarbeitung und der Verarbeitung zum Anzeigen des Bilds, das durch die Kamera 2 aufgenommen wird, auf der Anzeige 3 auszuführen. Demzufolge kann die Verzögerung der anderen Verarbeitungen unterdrückt werden, in dem die Anzahl der Pixelpositionen reduziert wird, die als die Feststeckbestimmungszielpositionen verwendet werden, wenn die Last auf der CPU 48 zunimmt, wie in der dritten Modifikation beschrieben ist.
In der dritten Modifikation wird die Anzahl der Pixelpositionen, die als die Feststeckbestimmungszielpositionen in der Feststeckbestimmungsverarbeitung verwendet werden, reduziert, wenn die Last auf der CPU 48 niedriger ist. Die Genauigkeit in der Feststeckbestimmung nimmt zu, wenn die Anzahl der Pixelpositionen, die als die Feststeckbestimmungszielpositionen verwendet werden, zunimmt. Demnach kann gemäß der dritten Modifikation die Genauigkeit in der Feststeckbestimmung verbessert werden, während die Verzögerung in den anderen Verarbeitungen unterdrückt werden.
Wenn die Anzahl der Pixelpositionen, die als die Feststeckbestimmungszielpositionen verwendet werden, gemäß der Last auf der CPU 48 geändert werden, müssen mindestens manche Feststeckbestimmungszielpositionen nicht in den vorherigen Feststeckbestimmungszielpositionen beinhaltet sein. In den folgenden Modifikationen müssen ebenso mindestens manche der gegenwärtigen Feststeckbestimmungszielpositionen nicht in den vorherigen Feststeckbestimmungszielpositionen beinhaltet sein.
Wenn mindestens manche der gegenwärtigen Feststeckbestimmungszielpositionen nicht in den vorherigen Feststeckbestimmungszielpositionen beinhaltet sind, werden die vorherigen Bilddaten in dem Hauptspeicher 44 zusätzlich zu den gegenwärtigen Bilddaten gespeichert und die GPU 46 erlangt die gegenwärtigen Pixelwerte und vorherigen Pixelwerte bei Schritt S5. In diesem Fall sendet die GPU 46 die gegenwärtigen Pixelwerte und die vorherigen Pixelwerte an die CPU 48 bei Schritt S6.
<Vierte Modifikation>
In der Ausführungsform sind die Feststeckbestimmungszielpositionen fixiert. Jedoch können mindestens manche der Pixelpositionen, die als die Feststeckbestimmungszielposition verwendet werden, für jeden Rahmen geändert werden. Die Pixelpositionen, die als die Feststeckbestimmungszielpositionen verwendet werden, können um ein Pixel horizontal von den vorherigen Feststeckbestimmungszielpositionen geändert werden. In diesem Fall, wenn die vorherigen Feststeckbestimmungszielpositionen eine Pixelposition an dem Ende einer horizontalen Linie beinhalten und das benachbarte Pixel nicht existiert, ist die nächste Feststeckbestimmungszielposition für diese Pixelposition die Pixelposition an dem anderen Ende der einen horizontalen Linie.
<Fünfte Modifikation>
Wenn mindestens manche Pixelpositionen, die als die Feststeckbestimmungszielpositionen jedes Mal geändert werden, können die geänderten Feststeckbestimmungszielpositionen für jeden Rahmen beliebig bzw. zufällig bestimmt werden.
<Sechste Modifikation>
Wenn die Feststeckbestimmungszielpositionen die gleichen ungeachtet der Rahmen sind, ist es nicht erforderlich, Pixelwerte für jede Pixelposition zu vergleichen. In der Feststeckbestimmungsverarbeitung für einen Rahmen kann ein Hash-Wert aus mehreren Pixelwerten berechnet werden, die sich in den Feststeckbestimmungszielpositionen befinden. In diesem Fall wird der Hash-Wert mit einem vorherigen Hash-Wert verglichen, der aus den vorherigen Pixelwerten berechnet wird, aus denen der gegenwärtige Hash-Wert berechnet wird. Wenn der gegenwärtige Hash-Wert der gleiche wie der vorherige Hash-Wert ist, wird bestimmt, dass die Bilddaten feststecken. Demzufolge kann die Last auf der CPU 48 weiter reduziert werden.
Die Pixel zum Berechnen des Hash-Werts können beispielsweise manche Pixel in einer horizontalen Linie sein. Die Pixel aus denen der Hash-Wert berechnet wird, können manche Pixel in einer vertikalen Linie sein.
<Siebte Modifikation>
In der Ausführungsform ist die unterteilte Einheit eine horizontale Linie. Jedoch muss die unterteilte Einheit nicht eine horizontale Linie sein. Die unterteilte Einheit kann bevorzugt eine Einheit zum Speichern der Bilddaten in dem Hauptspeicher 44 durch die IPU 41 sein. Wenn die IPU 41 konfiguriert ist, um die Bilddaten in einer kleineren Einheit als einer horizontalen Linie in dem Hauptspeicher 44 zu speichern, kann die unterteilte Einheit kleiner als eine horizontale Linie sein. Die geteilte Einheit kann mehrere Linien sein, solange die unterteilte Einheit kleiner als die Bilddaten eines Rahmens ist.
<Achte Modifikation>
Die CPU 48 und die GPU 46 sind Steuereinheiten. Die Steuereinheit und das Verfahren, die in der vorliegenden Offenbarung beschrieben sind, können durch einen Spezialcomputer implementiert sein, der einen Prozessor beinhaltet, der programmiert ist, um eine oder mehr Funktionen auszuführen, die durch ein Computerprogramm ausgebildet sind. Alternativ können die Steuereinheit und das Verfahren, die in der vorliegenden Offenbarung beschrieben sind, durch eine dedizierte Hardwarelogikschaltung implementiert werden. Alternativ können Steuereinheit und das Verfahren, die in der vorliegenden Offenbarung beschrieben sind, durch einen oder mehrere dedizierte Computer implementiert werden, die durch eine Kombination eines Prozessors, der ein Computerprogramm ausführt, und eine oder mehrere Hardwarelogikschaltungen konfiguriert sind. Die Hardwarelogikschaltung kann beispielsweise ein ASIC oder FPGA sein.
Das Speichermedium zum Speichern des Computerprogramms ist nicht auf das ROM beschränkt. Alternativ kann das Computerprogramm in einem computerlesbaren, nichtflüchtigen, greifbaren Speichermedium als Anweisungen, die durch einen Computer auszuführen sind, gespeichert werden. Beispielsweise kann das Programm in einem Flash-Speicher gespeichert werden.
Es ist zu beachten, dass ein Ablaufdiagramm oder die Verarbeitung des Ablaufdiagramms in der vorliegenden Offenbarung mehrere Abschnitte beinhaltet (ebenso als Schritte bezeichnet), die jeweils beispielsweise als S1 repräsentiert sind. Ferner kann jeder Schritt in mehrere Unterschritte unterteilt werden, während mehrere Schritte zu einem einzelnen Schritt kombiniert werden können.
Während die vorliegende Offenbarung unter Bezugnahme auf deren Ausführungsformen beschrieben wurde, ist zu verstehen, dass die Offenbarung nicht auf die Ausführungsformen und Konstruktionen beschränkt ist. Die vorliegende Offenbarung soll unterschiedliche Modifikationen und äquivalente Anordnungen abdecken. Darüber hinaus fallen neben den verschiedenen Kombinationen und Konfigurationen, andere Kombinationen und Konfigurationen einschließlich mehr, weniger oder nur einem einzigen Element ebenfalls in den Geist und den Umfang der vorliegenden Offenbarung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019103813 A [0001]
WO 2015/182751 [0004]

Claims

Feststeckbestimmungsvorrichtung (4), die konfiguriert ist, um zu bestimmen, ob Bilddaten mit Pixelwerten mehrerer Pixel, die ein Bild ausbilden, das durch eine Kamera (2) aufgenommen wird, feststecken, wobei die Feststeckbestimmungsvorrichtung aufweist: eine CPU (48); eine GPU (46); einen Speicher (44); einen Bus (42), der die CPU, die GPU und den Speicher verbindet; und eine Bilderlangungseinheit (41), die konfiguriert ist, um die Bilddaten von der Kamera zu erlangen und die Bilddaten in dem Speicher zu speichern, wobei die Bilddaten jedes Rahmens aus mehreren unterteilten Einheiten ausgebildet sind, ausgehend vom Speichern einer der mehreren unterteilten Einheiten in dem Speicher die Bilderlangungseinheit an die CPU eine Speicherungsabschlussmitteilung sendet, die den Abschluss des Speicherns der jeweiligen der mehreren unterteilten Einheiten angibt, ausgehend vom Empfangen der Speicherungsabschlussmitteilung die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts von mindestens einem Pixel der mehreren Pixel, das an einer Feststeckbestimmungszielposition ist, sendet, ausgehend vom Empfangen der Leseanweisung von der CPU die GPU den Pixelwert des mindestens einen Pixels von dem Speicher liest und den gelesenen Pixelwert an die CPU sendet, und die CPU konfiguriert ist, um eine Pixelwertvergleichsverarbeitung (S7) zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen auszuführen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels in einem vorherigen Rahmen.
Feststeckbestimmungsvorrichtung gemäß Anspruch 1, wobei die CPU konfiguriert ist, um Positionen mancher Pixel der mehreren Pixel der Bilddaten jedes Rahmens als die Feststeckbestimmungszielpositionen in einer Verarbeitung zum Bestimmen zu verwenden, ob die Bilddaten jedes Rahmens feststecken.
Feststeckbestimmungsvorrichtung gemäß Anspruch 2, wobei die Kamera in einem Fahrzeug (C) montiert ist, um das Bild eines Bereichs vor oder hinter dem Fahrzeug aufzunehmen, und die Feststeckbestimmungsvorrichtung konfiguriert ist, um für jeden Rahmen zu bestimmen, ob die Bilddaten feststecken.
Feststeckbestimmungsvorrichtung gemäß Anspruch 2, wobei die CPU konfiguriert ist, um basierend auf einer Last auf der CPU eine Anzahl der Pixel zu reduzieren, deren Positionen als die Feststeckbestimmungszielpositionen in der Verarbeitung zum Bestimmen verwendet werden, ob die Bilddaten jedes Rahmens feststecken.
Feststeckbestimmungsvorrichtung gemäß einem der Ansprüche 2 bis 4, wobei die CPU konfiguriert ist, um mindestens manche der Pixel zu ändern, deren Positionen als die Feststeckbestimmungszielpositionen für jeden Rahmen in der Verarbeitung zum Bestimmen verwendet werden, ob die Bilddaten jedes Rahmens feststecken.
Feststeckbestimmungsvorrichtung gemäß Anspruch 5, wobei die CPU konfiguriert ist, um die Feststeckbestimmungszielpositionen in dem gegenwärtigen Rahmen um ein Pixel von den Feststeckbestimmungszielpositionen in dem vorherigen Rahmen in der Verarbeitung zum Bestimmen, ob die Bilddaten in jedem Rahmen feststecken, zu ändern.
Feststeckbestimmungsvorrichtung gemäß Anspruch 5, wobei die CPU konfiguriert ist, um die Pixel, deren Positionen als die Feststeckbestimmungszielpositionen verwendet werden, beliebig für jeden Rahmen in der Verarbeitung zum Bestimmen, ob die Bilddaten jedes Rahmens feststecken, zu bestimmen.
Feststeckbestimmungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Feststeckbestimmungszielpositionen ungeachtet von Rahmen an gleichen Positionen mehrerer Zielpixel festgelegt werden, und die CPU konfiguriert ist, um in einer Verarbeitung zum Bestimmen, ob die Bilddaten jedes Rahmens feststecken, einen Hash-Wert aus den Pixelwerten der mehreren Zielpixel an den Feststeckbestimmungszielpositionen zu berechnen; und zu bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Hash-Werts, der aus den Pixelwerten in dem gegenwärtigen Rahmen berechnet wird, mit dem Hash-Wert, der aus den Pixelwerten in dem vorherigen Rahmen berechnet wird.
Feststeckbestimmungsvorrichtung gemäß Anspruch 8, wobei die CPU konfiguriert ist, um den Hash-Wert aus den Pixelwerten der Pixel in einer vertikalen oder horizontalen Linie zu berechnen.
Feststeckbestimmungsvorrichtung (4), die konfiguriert ist, um zu bestimmen, ob Bilddaten mit Pixelwerten mehrerer Pixel, die ein Bild ausbilden, das durch eine Kamera (2) aufgenommen wird, feststecken, wobei die Feststeckbestimmungsvorrichtung aufweist: eine CPU (48); eine GPU (46); einen Speicher (44); einen Bus (42), der die CPU, die GPU und den Speicher verbindet; und eine Bilderlangungseinheit (41), die konfiguriert ist, um die Bilddaten von der Kamera zu erlangen und die Bilddaten in dem Speicher zu speichern, wobei ausgehend vom Speichern eines Teils der Bilddaten oder der gesamten Bilddaten eines Rahmens in den Speicher die Bilderlangungseinheit an die CPU eine Speicherungsabschlussmitteilung sendet, die den Abschluss des Speicherns angibt, ausgehend vom Empfangen der Speicherungsabschlussmitteilung die CPU eine Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts von mindestens einem Pixel der mehreren Pixel, das an einer Feststeckbestimmungszielposition ist, sendet, ausgehend vom Empfangen der Leseanweisung von der CPU die GPU den Pixelwert des mindestens einen Pixels von dem Speicher liest und den gelesenen Pixelwert an die CPU sendet, die CPU konfiguriert ist, um eine Pixelwertvergleichsverarbeitung (S7) zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels in einem vorherigen Rahmen auszuführen, und die CPU konfiguriert ist, um Positionen mancher Pixel der mehreren Pixel der Bilddaten jedes Rahmens als die Feststeckbestimmungszielposition zu verwenden.
Feststeckbestimmungsvorrichtung gemäß Anspruch 10, wobei die CPU konfiguriert ist, um basierend auf einer Last auf der CPU eine Anzahl der Pixel zu reduzieren, deren Positionen als die Feststeckbestimmungszielpositionen in einer Verarbeitung zum Bestimmen verwendet werden, ob die Bilddaten jedes Rahmens feststecken.
Feststeckbestimmungsvorrichtung gemäß Anspruch 10 oder 11, wobei die CPU konfiguriert ist, um mindestens manche der Pixel zu ändern, deren Positionen als die Feststeckbestimmungszielpositionen für jeden Rahmen in einer Verarbeitung zum Bestimmen verwendet werden, ob die Bilddaten jedes Rahmens feststecken.
Feststeckbestimmungsvorrichtung gemäß Anspruch 12, wobei die CPU konfiguriert ist, um die Feststeckbestimmungszielpositionen in dem gegenwärtigen Rahmen um ein Pixel von den Feststeckbestimmungszielpositionen in dem vorherigen Rahmen in der Verarbeitung zum Bestimmen, ob die Bilddaten in jedem Rahmen feststecken, zu ändern.
Feststeckbestimmungsvorrichtung gemäß Anspruch 12, wobei die CPU konfiguriert ist, um die Pixel, deren Positionen als die Feststeckbestimmungszielpositionen verwendet werden, beliebig für jeden Rahmen in der Verarbeitung zum Bestimmen, ob die Bilddaten jedes Rahmens feststecken, zu bestimmen.
Feststeckbestimmungsvorrichtung gemäß Anspruch 10, wobei die Feststeckbestimmungszielpositionen ungeachtet von Rahmen an gleichen Positionen mehrerer Zielpixel festgelegt werden, und die CPU konfiguriert ist, um in einer Verarbeitung zum Bestimmen, ob die Bilddaten jedes Rahmens feststecken, einen Hash-Wert aus den Pixelwerten der mehreren Zielpixel an den Feststeckbestimmungszielpositionen zu berechnen; und zu bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Hash-Werts, der aus den Pixelwerten in dem gegenwärtigen Rahmen berechnet wird, mit dem Hash-Wert, der aus den Pixelwerten in dem vorherigen Rahmen berechnet wird.
Feststeckbestimmungsvorrichtung gemäß Anspruch 15, wobei die CPU konfiguriert ist, um den Hash-Wert aus den Pixelwerten der Pixel in einer vertikalen oder horizontalen Linie zu berechnen.
Verfahren für eine Vorrichtung zum Bestimmen, ob Bilddaten mit Pixelwerten mehrerer Pixel, die ein Bild ausbilden, das durch eine Kamera (2) aufgenommen wird, feststecken, wobei die Vorrichtung beinhaltet: eine CPU (48); eine GPU (46); einen Speicher (44); einen Bus (42), der die CPU, die GPU und den Speicher verbindet; und eine Bilderlangungseinheit (41), die konfiguriert ist, um die Bilddaten zu erlangen und die Bilddaten in dem Speicher zu speichern, wobei die Bilddaten jedes Rahmens aus mehreren unterteilten Einheiten ausgebildet sind, und das Verfahren umfasst: ausgehend vom Speichern einer der mehreren unterteilten Einheiten in dem Speicher durch die Bilderlangungseinheit Senden an die CPU durch die Bilderlangungseinheit einer Speicherungsabschlussmitteilung, die den Abschluss des Speicherns der jeweiligen der mehreren unterteilten Einheiten angibt, ausgehend vom Empfangen der Speicherungsabschlussmitteilung durch die CPU Senden durch die CPU einer Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts von mindestens einem Pixel der mehreren Pixel, das an einer Feststeckbestimmungszielposition ist, ausgehend vom Empfangen der Leseanweisung von der CPU durch die GPU Lesen durch die GPU des Pixelwerts des mindestens einen Pixels von dem Speicher, Senden des gelesenen Pixelwerts an die CPU durch die GPU, und Ausführen einer Pixelwertvergleichsverarbeitung (S7) durch die CPU zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels in einem vorherigen Rahmen.
Verfahren für eine Vorrichtung zum Bestimmen, ob Bilddaten mit Pixelwerten mehrerer Pixel, die ein Bild ausbilden, das durch eine Kamera (2) aufgenommen wird, feststecken, wobei die Vorrichtung beinhaltet: eine CPU (48); eine GPU (46); einen Speicher (44); einen Bus (42), der die CPU, die GPU und den Speicher verbindet; und eine Bilderlangungseinheit (41), die konfiguriert ist, um die Bilddaten zu erlangen und die Bilddaten in dem Speicher zu speichern, wobei das Verfahren umfasst: ausgehend vom Speichern eines Teils der Bilddaten oder der gesamten Bilddaten eines Rahmens in den Speicher durch die Bilderlangungseinheit Senden an die CPU durch die Bilderlangungseinheit einer Speicherungsabschlussmitteilung, die den Abschluss des Speicherns angibt, ausgehend vom Empfangen der Speicherungsabschlussmitteilung durch die CPU Senden durch die CPU einer Leseanweisung an die GPU zum Lesen von dem Speicher des Pixelwerts von mindestens einem Pixel der mehreren Pixel, das an einer Feststeckbestimmungszielposition ist, ausgehend vom Empfangen der Leseanweisung von der CPU durch die GPU Lesen durch die GPU des Pixelwerts des mindestens einen Pixels von dem Speicher, Senden des gelesenen Pixelwerts an die CPU durch die GPU, Ausführen einer Pixelwertvergleichsverarbeitung (S7) durch die CPU zum Bestimmen, ob die Bilddaten feststecken, durch Vergleichen des Pixelwerts des mindestens einen Pixels in einem gegenwärtigen Rahmen, der von dem Speicher gelesen wird, mit dem Pixelwert des mindestens einen Pixels in einem vorherigen Rahmen, wobei Positionen mancher Pixel der mehreren Pixel der Bilddaten jedes Rahmens als die Feststeckbestimmungszielposition verwendet werden.