-
Technisches Gebiet
-
Die vorliegende Erfindung bezieht sich auf eine Datensynchronisationsvorrichtung, ein Datensynchronisationsverfahren und ein Datensynchronisationsprogramm.
-
Allgemeiner Stand der Technik
-
In vergangenen Jahren haben bezüglich des autonomen Fahrens Entwickler in großem Rahmen eine Installation einer großen Anzahl von Sensoren und eine Analyse von daraus erhaltenen Daten durchgeführt. Beim autonomen Fahren erkennt ein Fahrzeug ein Hindernis in der Nähe des Fahrzeugs, indem verschiedene installierte Sensoren verwendet werden, und fährt unter Vermeidung des Hindernisses.
-
Zum Zeitpunkt des Erkennens des Hindernisses in der Nähe des Fahrzeugs ist es wichtig, dass jedes von jedem Sensor erhaltene Datenelement zeitsynchronisiert wurde. Wenn eine Zeitsynchronisation nicht durchgeführt wurde, stimmen das erhaltene Ergebnis und eine Beziehung zu einem aktuellen Hindernis in der Nähe nicht überein, was eine Datenanalyse beeinträchtigt.
-
Wenn Sensordaten nicht in Echtzeit verwendet werden, sondern die Sensordaten aufgezeichnet werden und die Sensordaten später offline verwendet werden, gibt es ein Problem in der Verwendung von Daten, die nicht zeitsynchronisiert wurden. Dies liegt darin, dass die Daten nicht konsistent mit einem Ereignis sind, das aktuell aufgetreten ist, wobei das Ereignis so sein kann, wie Hindernisse in der Nähe angeordnet sind.
-
Generell wird eine Synchronisation so durchgeführt, dass Sensoren zu einem selben System angeschlossen sind und ihm eine selbe Zeit gegeben wird. Wenn Datenelemente verwendet werden, die getrennt von einer Mehrzahl von Systemen beschafft werden, ist eine Synchronisation zwischen den Systemen notwendig.
-
Selbst wenn die Synchronisation zwischen den Systemen durchgeführt wurde, kann eine Lücke während des Betriebes des Systems auftreten und somit ist ein periodischer Synchronisationsvorgang notwendig.
-
Als ein Beispiel einer Datenbeschaffung durch eine Mehrzahl von Systemen gibt es eine Situation, bei der, während Daten eines an einem Fahrzeug befestigten Sensors im Vorhinein über einen CAN beschafft werden, ein Kamerabild von einem Festplattenrecorder beschafft wird, der getrennt in dem Fahrzeug installiert ist und nicht mit dem CAN verbunden ist. „CAN“ ist eine Abkürzung für Car Area Network. Neuere Fahrzeuge sind auch mit einem Verbindungselement ausgerüstet, das in der Lage ist, ein Datenelement aus Datenelementen von Sensordaten von dem CAN abzurufen, sodass ein Fahrer die Daten abrufen kann.
-
In dem Patentdokument 1 und Patentdokument 2 ist ein Verfahren zum Durchführen einer Synchronisation zu einem Zeitpunkt des Aufzeichnens von Sensordaten beschrieben.
-
In dem Patentdokument 3 ist ein Verfahren beschrieben, bei dem auf der Grundlage eines Ergebnisses eines Vergleichs zwischen einer relativen Geschwindigkeit eines Fahrzeugs und einer relativen Geschwindigkeit eines anderen Fahrzeugs ein Zeitverzögerungsbetrag von Daten der relativen Geschwindigkeit, die von dem anderen Fahrzeug empfangen wird, berechnet und basierend auf diesem Zeitverzögerungsbetrag werden extrahierte Daten einer Zustandsgröße des anderen Fahrzeugs korrigiert.
-
In dem Patentdokument 4 ist ein Verfahren zum Auflösen fehlerhafter Bewegungssignale und zum Bereitstellen von Navigationsanweisungen beschrieben. Das Verfahren umfasst das Empfangen von Daten von zwei oder mehr Sensoren, das Synchronisieren der empfangenen Daten, das Bestimmen einer ersten Teilmenge der synchronisierten Daten von der Kamera für einen bestimmten Zeitraum und einer zweiten Teilmenge der synchronisierten Daten von dem anderen Sensor für den bestimmten Zeitraum, Vergleichen der ersten Teilmenge mit der zweiten Teilmenge, um zu bestimmen, ob die erste Teilmenge und die zweite Teilmenge ein fehlerhaftes Bewegungssignal anzeigen, basierend auf der Bestimmung, dass die erste Teilmenge und die zweite Teilmenge ein fehlerhaftes Bewegungssignal anzeigen, Auswählen von Daten für einen von den Sensoren basierend auf einem Sensorprioritätsschema für die Sensoren, und Auflösen des fehlerhaften Bewegungssignals basierend auf den ausgewählten Daten für den einen der Sensoren.
-
Liste zitierter Schriften
-
Patentliteratur
-
- Patentdokument 1: JP2011-159093A
- Patentdokument 2: JP2014-011633A
- Patentdokument 3: JP2007-264884A
- Patentdokument 4: US 9 661 466 B1
-
Abriss der Erfindung
-
Technisches Problem
-
Die in den Patentdokumenten 1 und 2 beschriebenen Verfahren können nicht angewendet werden, wenn Sensordaten aufgezeichnet werden und die Sensordaten später offline verwendet werden.
-
Um von einer Mehrzahl von Systemen erhaltene Sensordatenelemente, die nicht synchronisiert wurden, zu synchronisieren, ist es notwendig, einen Synchronisationspunkt in irgendeiner Weise zu detektieren. In dem in Patentdokumente 3 beschriebenen Verfahren werden Datenelemente, die eine selbe Bedeutung haben, wie eine relative Geschwindigkeit, von der Mehrzahl von Systemen beschafft und die Synchronisation wird durch Abgleich der Datenelemente durchgeführt.
-
Für eine Synchronisation zwischen einer Mehrzahl von Systemen, die nicht dieselben Daten beschafft haben, ist es notwendig, den Synchronisationspunkt in einer zu einem einfachen Abgleich der Datenelemente unterschiedlicher Weise zu detektieren.
-
Die vorliegende Erfindung zielt darauf ab, eine Zeitsynchronisation zwischen unterschiedlichen Arten von Datenelementen durchzuführen.
-
Lösung des Problems
-
Diese Aufgabe wird gelöst durch den Gegenstand gemäß Anspruch 1, 13 bzw. durch ein Verfahren gemäß des Anspruches 12.
-
Eine Datensynchronisationsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung umfasst:
- eine erste Schätzeinheit zum Schätzen als einen ersten Datenbereich eines Datenbereichs, in dem ein Fahrzeug in einer gewissen Bewegung ist, in Zeitreihendaten von Bildern, die durch Aufnehmen des Außenraums des Fahrzeugs mit einer an dem Fahrzeug installierten Kamera erhalten werden;
- eine zweite Schätzeinheit zum Schätzen als einen zweiten Datenbereich eines Datenbereichs, bei dem ein Fahrzeug in der Bewegung ist, in Zeitreihendaten der Beschleunigung, die von einem an dem Fahrzeug installierten Beschleunigungssensor erhalten werden; und
- eine Synchronisationseinheit zum Durchführen einer Zeitsynchronisation zwischen den Zeitreihendaten der Bilder und den Zeitreihendaten der Beschleunigung basierend auf einem Zeitbereich entsprechend dem ersten Datenbereich, der von der ersten Schätzeinheit geschätzt wird, und einem Zeitbereich entsprechend dem zweiten Datenbereich, der von der zweiten Schätzeinheit geschätzt wird.
-
Vorteilhafte Wirkungen der Erfindung
-
In dem vorliegenden Erfindung bezieht sich auf einen Zeitbereich entsprechend einem Datenbereich, in dem ein Fahrzeug in einer gewissen „Bewegung“ ist, in Zeitreihendaten von durch eine Kamera erhaltenen Bildern und einen Zeitbereich entsprechend einem Datenbereich, bei dem das Fahrzeug in der „Bewegung“ ist, in Zeitreihendaten einer Beschleunigung, die von einem Beschleunigungssensor erhalten werden. Daher ist es entsprechend der vorliegenden Erfindung möglich, eine Zeitsynchronisation zwischen unterschiedlichen Arten von Datenelementen, die Zeitreihendaten von Bildern und Zeitreihendaten einer Beschleunigung sind, durchzuführen.
-
Figurenliste
-
- 1 ist eine Darstellung, die eine Konfiguration für ein Datensynchronisationssystem gemäß einem ersten Ausführungsbeispiel darstellt;
- 2 ist ein Blockschaltbild, das eine Konfiguration der Datensynchronisationsvorrichtung gemäß dem ersten Ausführungsbeispiel darstellt;
- 3 ist ein Flussdiagramm, das die Betriebsweise der Datensynchronisationsvorrichtung gemäß dem ersten Ausführungsbeispiel darstellt;
- 4 ist eine Darstellung, die ein Beispiel einer Klassifikation von Bewegungsrichtungen von charakteristischen Punkten zwischen Rahmen entsprechend dem ersten Ausführungsbeispiel darstellt;
- 5 ist eine Darstellung, die ein Beispiel von Änderungen in den Bewegungsrichtungen von charakteristischen Punkten zwischen den Rahmen entsprechend dem ersten Ausführungsbeispiel darstellt;
- 6 ist ein Blockschaltbild, das eine Konfiguration der Datensynchronisationsvorrichtung entsprechend einer beispielhaften Modifikation des ersten Ausführungsbeispiels darstellt; und
- 7 ist ein Blockschaltbild, das eine Konfiguration der Datensynchronisationsvorrichtung gemäß einem dritten Ausführungsbeispiel darstellt.
-
Beschreibung von Ausführungsbeispielen
-
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. In den nachstehend aufgeführten Zeichnungen sind die gleichen Bezugszeichen den gleichen oder korrespondierenden Teilen zugeordnet. In der Beschreibung der Ausführungsbeispiele wird auf die Beschreibungen gleicher oder entsprechender Teile zweckdienlich verzichtet oder sie werden vereinfacht. Nebenbei bemerkt ist die vorliegende Erfindung nicht auf die unten beschriebenen Ausführungsbeispiele beschränkt und es können gegebenenfalls verschiedene Modifikationen daran vorgenommen werden. So können beispielsweise zwei oder mehrere Ausführungsbeispiele unter den nachfolgend beschriebenen Ausführungsformen kombiniert und umgesetzt werden. Alternativ kann eine Ausführungsform oder eine Kombination von zwei oder mehreren Ausführungsformen aus den unten beschriebenen Ausführungsbeispielen teilweise umgesetzt werden.
-
Erstes Ausführungsbeispiel.
-
Das vorliegende Ausführungsbeispiel wird unter Bezugnahme auf die 1 bis 5 beschrieben.
-
*** Beschreibung einer Konfiguration ***
-
Eine Konfiguration eines Datensynchronisationssystems 10 entsprechend dem vorliegenden Ausführungsbeispiel wird unter Bezugnahme auf 1 erläutert.
-
Das Datensynchronisationssystems 10 umfasst eine Datensynchronisationsvorrichtung 20, eine an einem Fahrzeug 30 installierte Kamera 31, einen an dem Fahrzeug 30 installierten Beschleunigungssensor 32, ein Bewegungsbild-Aufzeichnungssystem 41, das ein von der Kamera 31 aufgenommenes Bewegungsbild aufzeichnet, und ein Beschleunigung-Aufzeichnungssystem 42, die einen von dem Beschleunigungssensor 32 beschafften Beschleunigungswert aufzeichnet.
-
Das Bewegungsbild-Aufzeichnungssystem 41 und das Beschleunigung-Aufzeichnungssystem 42 sind Computer. Das Bewegungsbild-Aufzeichnungssystem 41 und das Beschleunigung-Aufzeichnungssystem 42 sind beispielsweise PCs. „PC“ ist eine Abkürzung für Personal-Computer.
-
Wie oben beschrieben ist es für eine Synchronisation zwischen einer Mehrzahl von Systemen, die nicht dieselben Daten beschafft haben, notwendig, einen Synchronisationspunkt in einer zu einem einfachen Abgleich der Datenelemente unterschiedlichen Weise zu detektieren. Wenn es möglich ist, unter Verwendung von Sensordaten zu bestimmen, dass das Fahrzeug 30 eine Aktion, wie eine rechte oder linke Abbiegung, vornimmt, ist es möglich, eine Synchronisation basierend auf dieser Aktion vorzunehmen, wobei angenommen wird, dass Bereiche von Datenelementen von Sensordaten dieselbe Aktion angeben, die zum selben Zeitraum vorgenommen wurde.
-
Es ist auch möglich, von bestimmten Sensordaten einen Wert von vollständig unterschiedlichen Sensordaten zu vermuten und die Synchronisation auf der Grundlage des Ergebnisses durchzuführen. In dem vorliegenden Ausführungsbeispiel wird die Beschleunigung des Fahrzeugs 30 basierend auf Bildern der Kamera 31 geschätzt und mit dem Beschleunigungswert verglichen, der von dem Beschleunigungssensor 32 erhalten wird. Auf diese Weise können, selbst wenn Elemente von Sensordaten aufgezeichnet werden und später offline verwendet werden, Synchronisationspunkte aus den Elementen der Sensordaten erhalten werden, sodass die Synchronisation zu einem Zeitpunkt des Aufzeichnens unnötig ist. Als ein Ergebnis kann die Synchronisation selbst für Elemente von Daten durchgeführt werden, die zum Zeitpunkt des Aufzeichnens aufgrund eines Fehlers nicht synchronisiert werden konnten. Somit wird der Nutzen der Datenelemente verbessert.
-
Eine Konfiguration der Datensynchronisationsvorrichtung 20 entsprechend dem vorliegenden Ausführungsbeispiel wird unter Bezugnahme auf 2 erläutert.
-
Die Datensynchronisationsvorrichtung 20 ist ein Computer. Die Datensynchronisationsvorrichtung 20 beinhaltet einen Prozessor 21 und auch andere Hardwarekomponenten, wie etwa einen Speicher 22. Der Prozessor 21 ist über Signalleitungen mit den anderen Hardwarekomponenten verbunden und steuert die anderen Hardwarekomponenten.
-
Die Datensynchronisationsvorrichtung 20 umfasst eine erste Schätzeinheit 51, eine zweite Schätzeinheit 52 und eine Synchronisationseinheit 53 als Funktionselemente. Die erste Schätzeinheit 51 umfasst eine Bewegungsvektor-Berechnungseinheit 61, eine Hauptrichtung-Entscheidungseinheit 62 und eine Aktionsrahmen-Entscheidungseinheit 63. Die Synchronisationseinheit 53 umfasst eine Lückenbetrag-Berechnungseinheit 64 und eine Lückenanpassungseinheit 65.
-
Die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 werden durch Software realisiert. Im Einzelnen sind die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 durch einen Datensynchronisationsprogramm implementiert. Das Datensynchronisationsprogramm ist ein Programm, das einen Computer veranlasst, Prozesse auszuführen, die von der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 jeweils als ein erster Schätzprozess, ein zweiter Schätzprozess und ein Synchronisationsprozess ausgeführt werden. Das Datensynchronisationsprogramm kann durch Speicherung auf einem computerlesbaren Speichermedium vorgesehen sein, kann nachdem es in einem Speichermedium gespeichert ist, bereitgestellt sein oder kann als ein Programmprodukt vorgesehen sein.
-
Der Prozessor 21 ist eine Vorrichtung, die das Datensynchronisationsprogramm ausführt. Der Prozessor 21 ist beispielsweise eine CPU. „CPU“ ist eine Abkürzung für Central Processing Unit (zentrale Verarbeitungseinheit).
-
Der Speicher 22 ist eine Vorrichtung, die das Datensynchronisationsprogramm im Voraus oder vorübergehend speichert. Der Speicher 22 ist beispielsweise ein RAM, ein Flash-Speicher oder eine Kombination aus diesen. „RAM“ ist eine Abkürzung für Random Access Memory (Arbeitsspeicher).
-
In dem Speicher 22 werden Bewegungsbilddaten 33 und Beschleunigungsdaten 34 gespeichert. Die Bewegungsbilddaten 33 sind Zeitreihendaten von Bildern, die durch Aufnehmen eines Außenraums des Fahrzeugs 30 mit einer an dem Fahrzeug 30 installierten Kamera 31 erhalten werden. Die Beschleunigungsdaten 34 sind Zeitreihendaten von Beschleunigungen, die von einem an dem Fahrzeug 30 installierten Sensor 32 erhalten werden. Die Bewegungsbilddaten 33 und die Beschleunigungsdaten 34 werden jeweils von dem Bewegungsbild-Aufzeichnungssystem 41 und dem Beschleunigung-Aufzeichnungssystem 42 übertragen und werden von einer nicht dargestellten Kommunikationsvorrichtung empfangen.
-
Die Kommunikationsvorrichtung umfasst einen Empfänger, der dem Datensynchronisationsprogramm eingegebene Daten empfängt, und einen Sender, der von dem Datensynchronisationsprogramm ausgegebene Daten überträgt. Die Kommunikationsvorrichtung ist zum Beispiel ein Kommunikationschip oder eine NIC. „NIC“ ist eine Abkürzung für Network Interface Card (Netzwerkkarte).
-
Das Datensynchronisationsprogramm wird aus dem Speicher 22 in den Prozessor 21 eingelesen und vom Prozessor 21 ausgeführt. Zusätzlich zu dem Datensynchronisationsprogramm speichert der Speicher 22 auch ein OS. „OS“ ist eine Abkürzung für Operating System (Betriebssystem). Der Prozessor 21 führt das Datensynchronisationsprogramm während der Ausführung des OS aus. Außerdem können ein Teil oder das gesamte Datensynchronisationsprogramm im OS eingebunden sein.
-
Das Datensynchronisationsprogramm und das OS können in einer Hilfsspeichervorrichtung gespeichert sein. Die Hilfsspeichervorrichtung ist beispielsweise eine HDD, ein Flash-Speicher oder eine Kombination aus diesen. „HDD“ ist eine Abkürzung für Hard Disk Drive (Festplattenlaufwerk). Wenn das Datensynchronisationsprogramm und das OS in der Hilfsspeichervorrichtung gespeichert sind, werden das Datensynchronisationsprogramm und das OS in den Speicher 22 geladen und vom Prozessor 21 ausgeführt.
-
Die Datensynchronisationsvorrichtung 20 kann eine Mehrzahl von Prozessoren umfassen, die den Prozessor 21 ersetzen. Die Mehrzahl von Prozessoren führen das Datensynchronisationsprogramm gemeinsam aus. Jeder Prozessor ist beispielsweise eine CPU.
-
Daten, Informationen, ein Signalwert und ein Variablenwert, die vom Datensynchronisationsprogramm verwendet, verarbeitet oder ausgegeben werden, werden im Speicher 22, der Hilfsspeichervorrichtung oder einem Register oder einem Cache-Speicher im Prozessor 21 gespeichert.
-
Die Bewegungsbilddaten 33 und die Beschleunigungsdaten 34 können in der Hilfsspeichervorrichtung gespeichert sein oder können in einem externen Speicher gespeichert wird.
-
Die Datensynchronisationsvorrichtung 20 kann aus einem Computer oder aus mehreren Computern konfiguriert sein. Wenn die Datensynchronisationsvorrichtung 20 aus einer Mehrzahl von Computern gebildet ist, können die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 auf jeden zu implementierenden Computer verteilt werden.
-
*** Beschreibung der Funktionsweise ***
-
Eine Funktionsweise der Datensynchronisationsvorrichtung 20 entsprechend dem vorliegenden Ausführungsbeispiel wird unter Bezugnahme auf 3 erläutert. Eine Funktionsweise der Datensynchronisationsvorrichtung 20 entspricht einem Datensynchronisationsverfahren entsprechend dem vorliegenden Ausführungsbeispiel.
-
In den Schritten S1 bis S3 extrahiert die erste Schätzeinheit 51 aus den Bewegungsbilddaten 33, die durch Aufnehmen einer Szene vor dem fahrenden Fahrzeug 30 erhalten werden, einen Rahmenbereich, in dem das Fahrzeug 30 eine Aktion einer rechten oder linken Abbiegung als Verhaltensweise des Fahrzeugs 30 vornimmt.
-
Insbesondere extrahiert in Schritt S1 die Bewegungsvektor-Berechnungseinheit 61 der ersten Schätzeinheit 51 charakteristische Punkte in jedem Rahmen des Bewegungsbildes und erhält einen optischen Fluss als Bewegungsbeträge der charakteristischen Punkte zwischen den Rahmen. Das heißt, dass die Bewegungsvektor-Berechnungseinheit 61 für jeden Rahmen der eingegebenen Bewegungsbilddaten 33 berechnet, in welche Richtungen sich die charakteristischen Punkte in dem Rahmens in den folgenden Rahmen bewegen. Für jeden Rahmen erhält die Bewegungsvektor-Berechnungseinheit 61 Vektoren, die die charakteristischen Punkte und ihre Richtungen angeben.
-
In Schritt S2 berechnet die Hauptrichtung-Entscheidungseinheit 62 der ersten Schätzeinheit 51 eine Richtung, in die die meisten Bewegungsvektoren der charakteristischen Punkte in jedem Rahmen zeigen, als eine Hauptrichtung der in Schritt S1 erhaltenen Bewegungsbeträge. Das heißt, dass die Hauptrichtung-Entscheidungseinheit 62 aus den von der Bewegungsvektor-Berechnungseinheit 61 gewonnenen Vektoren den Vektor, der der Richtung entspricht, die am häufigsten in dem Rahmen existiert, als Hauptrichtung in jedem Rahmen extrahiert und die Hauptrichtung ausgibt.
-
In Schritt S3 erhält die Aktionsrahmen-Entscheidungseinheit 63 der ersten Schätzeinheit 51 als einen ersten Datenbereich einen Rahmenbereich, in dem das Fahrzeug 30 als nach links oder rechts abbiegend basierend auf der Hauptrichtung in jedem Rahmen geschätzt wird. Das heißt, dass die Aktionsrahmen-Entscheidungseinheit 63 basierend auf der Hauptrichtung in jedem Rahmen, die von der Hauptrichtung-Entscheidungseinheit 62 erhalten wird, Rahmen aus den Bewegungsbildrahmen extrahiert, von denen geschätzt wird, dass das Fahrzeug 30 eine Abbiegungsaktion nach links oder rechts vornimmt.
-
In Schritt S4 extrahiert eine zweite Schätzeinheit 52 als einen zweiten Datenbereich einen Datenbereich, in dem das Fahrzeug 30 eine Abbiegungsaktion nach links oder rechts vornimmt, aus den Beschleunigungsdaten 34 in einer linken oder rechten Richtung des Fahrzeugs 30. Das heißt, dass die zweite Schätzeinheit 52 einen Bereich, von dem geschätzt wird, dass das Fahrzeug 30 nach links oder rechts abbiegt, basierend auf den Beschleunigungsdaten 34, die eingegeben wurden, extrahiert.
-
In Schritt S5 schätzt eine Lückenbetrag-Berechnungseinheit 64 der Synchronisationseinheit 53 einen Zeitlückenbetrag zwischen den Bewegungsbilddaten 33 und den Beschleunigungsdaten 34 basierend auf Ergebnissen, die von der ersten Schätzeinheit 51 und der zweiten Schätzeinheit 52 erhalten werden. Das heißt, dass die Lückenbetrag-Berechnungseinheit 64 den Zeitlückenbetrag zwischen beiden Datenelementen erhält, indem beide Datenelemente basierend auf den Datenbereichen, in denen das Fahrzeug 30 nach links oder rechts biegt, abgeglichen werden, wobei die Datenbereiche jeweils in den Bewegungsbilddaten 33 und den Beschleunigungsdaten 34 gegeben sind, die jeweils von der ersten Schätzeinheit 51 und der zweiten Schätzeinheit 52 erhalten werden. Da die Aktionen des rechten oder linken Abbiegens eine Mehrzahl von Malen während einer Fahrt auftreten können, werden eine Mehrzahl der Abgleichprozesse und eine Mehrzahl von Zeitlückenbeträgen, die durch die Abgleichprozesse erhalten werden, erhalten.
-
In Schritt S6 synchronisiert die Lückenanpassungseinheit 65 der Synchronisationseinheit 53 die Bewegungsbilddaten 33 und die Beschleunigungsdaten 34 unter Verwendung des in Schritt S5 geschätzten Lückenbetrages. Das heißt, dass die Lückenanpassungseinheit 65 die Beschleunigungsdaten 34 mit den Bewegungsbilddaten 33 basierend auf dem Zeitlückenbetrag synchronisiert, der von der Lückenbetrag-Berechnungseinheit 64 erhalten wird.
-
Wie oben beschrieben schätzt die erste Schätzeinheit 51 als den ersten Datenbereich den Datenbereich in den Bewegungsbilddaten 33, in dem das Fahrzeug 30 in einer gewissen „Bewegung“ ist. Insbesondere extrahiert die erste Schätzungseinheit 51 charakteristische Punkte in jedem der Rahmen der Bilder, die in den Bewegungsbilddaten 33 eingeschlossen sind, und gewinnt den ersten Datenbereich basierend auf einer Ausrichtung in den Bewegungsrichtungen der extrahierten charakteristischen Punkte zwischen den Rahmen.
-
Die zweite Schätzeinheit 52 schätzt als den zweiten Datenbereich den Datenbereich in den Beschleunigungsdaten 34, in dem das Fahrzeug 30 in der oben erwähnten „Bewegung“ ist. Insbesondere gewinnt die zweite Schätzeinheit 52 den zweiten Datenbereich basierend auf einer Änderung der Beschleunigung, die in den Beschleunigungsdaten 34 angegeben ist.
-
Die Synchronisationseinheit 53 führt eine Zeitsynchronisation zwischen den Bewegungsbilddaten 33 und den Beschleunigungsdaten 34 basierend auf dem Zeitbereich entsprechend dem ersten Datenbereich, der von der ersten Schätzeinheit 51 geschätzt wurde, und einem Zeitbereich entsprechend dem zweiten Datenbereich, der von der zweiten Schätzeinheit 52 geschätzt wurde, durch. Insbesondere berechnet die Synchronisationseinheit 53 den Lückenbetrag zwischen dem Zeitbereich entsprechend dem ersten Datenbereich und dem Zeitbereich entsprechend dem zweiten Datenbereich und führt eine Zeitsynchronisation basierend auf dem berechneten Lückenbetrag durch.
-
In dem vorliegenden Ausführungsbeispiel ist die oben erwähnte „Bewegung“ eine rechte oder linke Abbiegung, aber es kann eine einer rechten Abbiegung und einer linken Abbiegung oder eine andere Bewegung als die rechte oder linke Abbiegung sein, wie ein Rückwärtsfahren, ein Stopp oder eine U-Biegung.
-
Zusätzlich zu 3 werden Details der Funktionsweise der Datensynchronisationsvorrichtung 20 unter Bezugnahme auf 4 und 5 erläutert.
-
In Schritt S1 tastet die Bewegungsvektor-Berechnungseinheit 61 jeden Rahmen der Bewegungsbilddaten 33 ab und extrahiert charakteristische Punkte auf dem Bewegungsbildrahmen. Die Bewegung Vektor-Berechnungseinheit 61 berechnet Positionen der charakteristischen Punkte in einem nächsten Rahmen und berechnet Vektoren basierend auf jeder der Positionen, die die Bewegungsrichtungen der charakteristischen Punkte angeben. Eine Mehrzahl von charakteristischen Punkten werden von jedem Rahmen extrahiert und der Bewegungsbetrag wird für jeden der charakteristischen Punkte berechnet. Obwohl jedes Verfahren für diesen Prozess verwendet werden kann, wird in dem vorliegenden Ausführungsbeispiel ein Berechnungsverfahren des optischen Flusses, das eine existierende Technik ist, verwendet. Zu einem Zeitpunkt der Verarbeitung kann der für eine Berechnung der Bewegungsrichtungen der charakteristischen Punkte verwendete Rahmen ein Rahmen nach einer bestimmten Anzahl von Rahmen anstelle eines nächsten Rahmens jedes Rahmens sein.
-
In Schritt S2 extrahiert die Hauptrichtung-Entscheidungseinheit 62 Vektoren, die der Richtung entsprechen, die am häufigsten bzw. am meisten in dem Rahmen existiert, aus den von der Bewegungsvektor-Berechnungseinheit 61 erhaltenen Vektoren. Tatsächlich gibt es leichte Lücken zwischen den Vektoren und Vektoren mit einer selben Richtung werden nicht immer erhalten. Daher wird in dem vorliegenden Ausführungsbeispiel und wie in 4 dargestellt eine Ebene eines zweidimensionalen Rahmens des Bewegungsbildes in sechzehn Teile um eine Mittelachse herum aufgeteilt und es wird ein Flächenbereich erhalten, in dem eine Richtung jedes Vektors eingeschlossen ist. Eine Richtung durch eine Mittellinie in einem Bereich, der die meisten Vektoren enthält, wird als eine Hauptrichtung festgelegt. Das heißt, dass für einen Rahmen i einer der sechzehn in 4 durch durchgezogene Pfeile dargestellten Vektoren dv(j) als eine Hauptrichtung D(i) erhalten wird. j ist eine ganze Zahl von ein bis sechzehn. Im Übrigen muss eine Klassifikationszahl der Richtungen nicht sechzehn sein, solange wie die Anzahl eine Anzahl ist, die ermöglicht, eine Aktion des Geradeausfahrens und eine Aktion einer linken oder rechten Biegung des Fahrzeugs 30 voneinander zu unterscheiden.
-
In Schritt S3 extrahiert die Aktionsrahmen-Entscheidungseinheit 63 basierend auf von der Hauptrichtung-Entscheidungseinheit 62 erhaltenem D(i) Rahmen aus den Bewegungsbildrahmen, in denen geschätzt wird, dass das Fahrzeug 30 eine Abbiegungsaktion nach links oder rechts vornimmt. Wie in 5 dargestellt werden zum Zeitpunkt einer linken oder rechten Abbiegung die Bewegungsrichtungen der charakteristischen Punkte, die von einem Bewegungsbild erhalten werden, das von dem Vorderraum des Fahrzeugs 30 aufgenommen ist, nach links oder rechts voreingestellt. Das heißt, dass dv(1) oder dv(16) oder dv(8) oder dv(9) kontinuierlich als D(i) erscheinen. Durch Überprüfen dieser Kontinuität, ist es möglich, einen rechten oder linken Abbiegungsrahmenbereich Flr(D(i))={{x1, x2}, {x3, x4}, ...} zu erhalten. Das heißt, dass von dem x1 Rahmen bis zum x2 Rahmen, vom x3 Rahmen bis zum x4 Rahmen, ... in dem Bewegungsbild diese als der Bereich erhalten werden, in denen das Fahrzeug 30 nach rechts oder links abbiegt. Wenn das Bewegungsbild von einer Position aufgenommen wird, die nicht dem vorderen Raum vor dem Fahrzeug 30 entspricht, sind die Richtungen der Vektoren nicht notwendigerweise links oder rechts zu einem Zeitpunkt des linken oder rechten Abbiegens. Jedoch ist dies kein Problem, da die Richtungen konvertiert werden können, wenn eine Aufnahmerichtung der Kamera 31 bestimmt werden kann.
-
In einem Fall, bei dem die charakteristischen Punkte sich auf einem sich bewegenden Körper befinden, der sich unterschiedlich zu dem Fahrzeug 30 bewegt, werden, selbst wenn das Fahrzeug 30 nach links oder rechts abbiegt, nicht notwendigerweise entsprechende Vektoren erhalten. Jedoch sind viele charakteristische Punkte an einem stationären Körper zu gewinnen, sofern nicht viele sich bewegende Körper um das Fahrzeug 30 herum existieren. Als Ergebnis gibt es keinen Einfluss auf eine Funktionsweise der Aktionsrahmen-Entscheidungseinheit 63, da die Bewegungsrichtungen der charakteristischen Punkte an dem stationären Körper durch die Hauptrichtung-Entscheidungseinheit 62 als die Hauptrichtung berechnet werden.
-
In Schritt S4 extrahiert die zweite Schätzeinheit 52 einen Datenbereich, von dem basierend auf den Beschleunigungsdaten 34 geschätzt wird, dass das Fahrzeug 30 die Abbiegungsaktion nach links oder rechts vornimmt. Die Beschleunigung in die linke und rechte Richtung des Fahrzeugs 30 variiert abhängig von einer Situation bis kurz bevor eine Abbiegung nach rechts oder links beginnt. Wenn jedoch ein Fahrer versucht, nach rechts oder links abzubiegen, wird der Fahrer immer eine Aktion zum Lenken eines Lenkrades nach rechts oder nach links vornehmen. Diese Aktion ist eine Aktion, um zu versuchen, eine Beschleunigung aufzubringen. Das heißt, dass sich die Beschleunigung zwischen einem Moment kurz vor dem Abbiegen nach links oder rechts und einem Moment des Abbiegens nach links oder rechts ändert. Auch wird zu einem Zeitpunkt des Abbiegens nach rechts oder links, nachdem das Fahrzeug 30 eine Drehung ausgeführt hat, die Beschleunigung in eine Richtung entgegengesetzt zu der Richtung, in der das Fahrzeug 30 abgebogen ist, aufgebracht, um so die Richtung des Fahrzeugs 30 zurückzubringen. Daher wird eine Beschleunigung sowohl in die rechte Richtung als auch die linke Richtung aufgebracht. Es ist unter Anwendung dieser Tatsache möglich, Daten aus den Beschleunigungsdaten 34 Alr(Acc)={{y1, y2}, {y3, y4}, ...}, die in dem Bereich sind, in denen das Fahrzeug 30 nach rechts oder links abbiegt, zu extrahieren. Das heißt, dass von der y1 Abtastung bis zur y2 Abtastung, von der y3 Abtastung bis zur y4 Abtastung, ... von einem Beginn der Beschleunigungsdaten 34 diese als der Bereich erhalten werden, in den das Fahrzeug 30 nach rechts oder links abbiegt.
-
In Schritt S5 gleicht die Lückenbetrag-Berechnungseinheit 64 die von der ersten Schätzeinheit 51 und der zweiten Schätzeinheit 52 erhaltenen Ergebnisse ab, um eine Lücke zwischen beiden Ergebnissen zu erhalten. Das heißt, dass die Lückenbetrag-Berechnungseinheit 64 den von der zweiten Schätzeinheit 52 erhaltenen Datenbereich Alr(Acc) dem von der ersten Schätzeinheit 51 erhaltenen Rahmenbereich Flr(D(i)) überlagert und dann den Lückenbetrag zwischen beiden Datenelementen gewinnt.
-
Insbesondere gewinnt die Lückenbetrag-Berechnungseinheit 64 einen Datenbereich des rechten oder linken Abbiegens {yi, yi+1} des Alr(Acc), der einem Rahmenbereich des rechten oder linken Abbiegens {xi, xi+1} des Flr(D(i)) entspricht. Zu diesem Zeitpunkt ist es möglich, {yi, yi+1} auszuwählen, was eine Zeit am nächsten zu der Zeit von {xi, xi+1} ist, unter der Annahme, dass die Zeitlücke zwischen den Beschleunigungsdaten 34 und den Bewegungsbilddaten 33 nicht groß ist. Wenn eine Rahmenrate der Bewegungsbilddaten 33 als f angenommen wird, ist der xi Rahmen vom Beginn=xi/f Sekunde.
-
Für erhaltene {yi, yi+1} berechnet die Lückenbetrag-Berechnungseinheit 64 Δti1=(yi-xi/f) und Δti2=(yi+1-xi+1/f). Dies liegt daran, dass ein durch {yi, yi+1} gegebener Zeitbereich und ein durch {xi, xi+1} gegebener Zeitbereich nicht notwendigerweise gleich sein müssen. Die Lückenbetrag-Berechnungseinheit 64 gewinnt Δti1 und Δti2, die jeweils die Lückenbeträge am Anfang und am Ende sind, und berechnet von diesen einen Lückenbetrag Δti zwischen {xi, xi+1} und {yi, yi+1}. In dem vorliegenden Ausführungsbeispiel wird angenommen, dass Δti=(Δti1+Δti2)/2 ist.
-
In Schritt S6 synchronisiert die Lückenanpassungseinheit 65 die Beschleunigungsdaten 34 mit dem Bewegungsbilddaten 33 basierend auf dem Zeitlückenbetrag, der von der Lückenbetrag-Berechnungseinheit 64 erhalten wird. Wenn xi<=x<=xi+1 ist, ist basierend auf dem erhalten Lückenbetrag Δti ein Wert der Beschleunigung entsprechend einem Rahmen x ein Wert zum Zeitpunkt x/f+Δti. Durch Verwenden eines solchen wird die Beschleunigung entsprechend dem Rahmen zum Zeitpunkt eines rechten oder linken Abbiegens berechnet. Wenn es keine korrespondierenden Daten aufgrund einer Differenz zwischen einer Abtastrate der Beschleunigung und einer Rahmenrate des Bewegungsbildes gibt, ist es möglich, die Beschleunigung durch Interpolation mit Daten vor und nach einem entsprechenden Zeitpunkt zu berechnen.
-
Wenn xi+1<=x'<=xi+2 gegeben ist für rechte und linke Abbiegungsperioden {xi, xi+1} und {xi+2, xi+3} für einen Rahmen x' außerhalb der rechten und linken Abbiegungsperioden, ist es unter Berücksichtigung von Lückenbeträgen in den vorherigen und folgenden rechten und linken Abbiegungsperioden annehmbar, einen Wert zum Zeitpunkt x'/f+(Δti+Δti+2)/2 als einen Wert einer entsprechenden Beschleunigung festzulegen. Für einen Rahmen vor der rechten und linken Abbiegungsperiode und einen Rahmen nach der rechten und linken Abbiegungsperiode kann eine entsprechende Beschleunigung durch Extrapolation berechnet werden.
-
Die so erhaltene Beschleunigung wird zu Datenelementen entsprechend jedem Rahmen des Bewegungsbildes und sie sind mit dem Bewegungsbild synchronisiert. Das heißt, dass entsprechend dem vorliegenden Ausführungsbeispiel die Synchronisation durchgeführt werden kann, indem nur Daten gesehen werden, selbst wenn eine Synchronisation nicht zum Zeitpunkt der Datenbeschaffung durchgeführt wird.
-
Daten, die mit einem des Bewegungsbildes oder der Beschleunigung synchronisiert wurden, können auch über dieses System synchronisiert werden. Beispielsweise können, wenn Daten eines Millimeterwellen-Sensors vorhanden sind, die durch ein selbes System oder zu einem selben Zeitpunkt wie ein System, das die Beschleunigungsdaten 34 beschafft hat, aufgenommen sind, das Bewegungsbild und ein Detektionsergebnis des Millimeterwellen-Sensors entsprechend dem vorliegenden Ausführungsbeispiel synchronisiert werden.
-
*** Beschreibung der Wirkung des Ausführungsbeispiels***
-
In dem vorliegenden Ausführungsbeispiel wird auf einen Zeitbereich entsprechend einem Datenbereich, in dem das Fahrzeug 30 in einer gewissen „Bewegung“ ist, in den von der Kamera 31 gewonnenen Bewegungsbilddaten 33, und einen Zeitbereich entsprechend einem Datenbereich, in dem das Fahrzeug 30 in der „Bewegung“ ist, in den von dem Beschleunigungssensor 32 erhaltenen Beschleunigungsdaten 34 Bezug genommen. Daher ist es entsprechend der vorliegenden Erfindung möglich, eine Zeitsynchronisation zwischen unterschiedlichen Arten von Datenelementen, die die Bewegungsbilddaten 33 und die Beschleunigungsdaten 34 sind, durchzuführen.
-
***Andere Konfigurationen***
-
In dem vorliegenden Ausführungsbeispiel werden Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 durch Software realisiert. Jedoch können in einem modifizierten Beispiel die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 durch Hardware implementiert werden. Für dieses modifizierte Beispiel werden hauptsächlich Unterschiede zu dem vorliegenden Ausführungsbeispiel beschrieben.
-
Eine Konfiguration der Datensynchronisationsvorrichtung 20 entsprechend dem modifizierten Beispiel des vorliegenden Ausführungsbeispiels wird unter Bezugnahme auf 6 erläutert.
-
Die Datensynchronisationsvorrichtung 20 beinhaltet Hardware, wie einen elektronischen Schaltkreis 23.
-
Der elektronische Schaltkreis 23 ist eine zugeordnete Hardware, die die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 implementiert. Die elektronische Schaltung 23 ist beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallel-programmierter Prozessor, ein Logik-IC, ein GA, ein FPGA, ein ASIC oder eine Kombination einiger oder aller dieser Schaltungen. „IC“ ist eine Abkürzung für Integrated Circuit (integrierte Schaltung). „GA“ ist eine Abkürzung für Gate-Array. „FPGA“ ist eine Abkürzung für Field-Programmable Gate Array (feldprogrammierbares Gate-Array). „ASIC“ ist eine Abkürzung für Application Specific Integrated Circuit (anwendungsspezifische integrierte Schaltung).
-
Die Datensynchronisationsvorrichtung 20 kann eine Mehrzahl von elektronischen Schaltkreisen umfassen, die den elektronischen Schaltkreis 23 ersetzen. Die Mehrzahl von elektronischen Schaltkreisen implementieren die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 insgesamt. Jeder der elektronischen Schaltkreise ist beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallel-programmierter Prozessor, ein Logik-IC, ein GA, ein FPGA, ein ASIC oder eine Kombination einiger oder aller dieser Schaltungen.
-
Als anderes modifiziertes Beispiel können die Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 durch eine Kombination von Software und Hardware implementiert werden. Das heißt, dass ein Teil der Funktionen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 durch dedizierte Hardware und der Rest durch Software implementiert werden kann.
-
Der Prozessor 21 und der elektronische Schaltkreis 23 sind jeweils eine Verarbeitungsschaltung. Das heißt, unabhängig davon, ob die Konfiguration der Datensynchronisationsvorrichtung 20 der in einer der 2 oder 6 gezeigten Konfiguration entspricht, werden die Funktionsweisen der ersten Schätzeinheit 51, der zweiten Schätzeinheit 52 und der Synchronisationseinheit 53 von der Verarbeitungsschaltung durchgeführt.
-
Zweites Ausführungsbeispiel.
-
Für das vorliegende Ausführungsbeispiel werden hauptsächlich Unterschiede zum ersten Ausführungsbeispiel beschrieben.
-
In dem vorliegenden Ausführungsbeispiel gewinnt die erste Schätzeinheit 51 den ersten Datenbereich mittels Durchführen von Maschinenlernen mit den Bewegungsbilddaten 33. Die zweite Schätzeinheit 52 gewinnt den zweiten Datenbereich mittels Durchführen von Maschinenlernen mit den Beschleunigungsdaten 34.
-
In dem ersten Ausführungsbeispiel wird ein Zustand des rechten und linken Abbiegens des Fahrzeugs 30 durch eine Bezugnahme auf eine Änderung selbst in dem Wert des Sensors basierend auf den Bewegungsbilddaten 33 und den Beschleunigungsdaten 34 bestimmt. In dem vorliegenden Ausführungsbeispiel wird dies andererseits durch Maschinenlernen detektiert. Eine andere Technik als das Maschinenlernen kann verwendet werden.
-
Drittes Ausführungsbeispiel.
-
Für das vorliegende Ausführungsbeispiel werden hauptsächlich Unterschiede zum ersten Ausführungsbeispiel unter Bezugnahme auf 7 beschrieben.
-
In dem vorliegenden Ausführungsbeispiel, wie in 7 dargestellt, umfasst die erste Schätzeinheit 51 eine Entfernungseinheit des beweglichen Körpers 66 zusätzlich zu der Bewegungsvektor-Berechnungseinheit 61, der Hauptrichtung-Entscheidungseinheit 62 und der Aktionsrahmen-Entscheidungseinheit 63.
-
Die Entfernungseinheit des beweglichen Körpers 66 entfernt charakteristische Punkte an einem in einem Bild gezeigten beweglichen Körper aus den charakteristischen Punkten in jedem der in den Bewegungsbilddaten 33 eingeschlossenen Rahmen der Bilder, die von der Bewegungsvektor-Berechnungseinheit 61 extrahiert sind. Nachdem die Entfernungseinheit des beweglichen Körpers 66 die charakteristischen Punkte an dem beweglichen Körper entfernt hat, berechnet die Hauptrichtung-Entscheidungseinheit 62 die Bewegungsrichtung der charakteristischen Punkte, extrahiert von der Bewegungsvektor-Berechnungseinheit 61, zwischen Rahmen.
-
In dem ersten Ausführungsbeispiel werden die Ergebnisse direkt in der Hauptrichtung-Entscheidungseinheit 62 verwendet, nachdem die Bewegungsvektoren der charakteristischen Punkte berechnet sind. In dem vorliegenden Ausführungsbeispiel wird andererseits durch eine Bildverarbeitung unter Verwendung von vorhergehenden und folgenden Rahmen der bewegliche Körper in einem Rahmen detektiert und im Voraus entfernt. Dann werden nur die Bewegungsvektoren der charakteristischen Punkte, die nicht an dem beweglichen Körper vorhanden sind, extrahiert.
-
In dem vorliegenden Ausführungsbeispiel führt die Entfernungseinheit des beweglichen Körpers 66 für die Ergebnisse von der Bewegungsvektor-Berechnungseinheit 61 eine Filterung durch, sodass nur die Bewegungsvektoren der charakteristischen Punkte an einem stationären Körper erhalten werden. Als Ergebnisse können nur Vektoren, die die Bewegung des Fahrzeugs 30 reflektieren, extrahiert werden. Das heißt, dass die von der Hauptrichtung-Entscheidungseinheit 62 gewonnene Hauptrichtung und die Bewegung des Fahrzeugs 30 genauer einander zugeordnet werden können.
-
Viertes Ausführungsbeispiel.
-
Für das vorliegende Ausführungsbeispiel werden hauptsächlich Unterschiede zum ersten Ausführungsbeispiel beschrieben.
-
In dem vorliegenden Ausführungsbeispiel filtert die Hauptrichtung-Entscheidungseinheit 62 der ersten Schätzeinheit 51 die charakteristischen Punkte entsprechend den Bewegungsbeträgen der von der Bewegungsvektor-Berechnungseinheit 61 der ersten Schätzeinheit 51 extrahierten charakteristischen Punkte zwischen Rahmen, und berechnet dann die Bewegungsrichtung der charakteristischen Punkte zwischen den Rahmen.
-
In dem ersten Ausführungsbeispiel ist keine Bedingung zum Berechnen der Bewegungsvektoren der charakteristischen Punkte vorgesehen. In dem vorliegenden Ausführungsbeispiel werden dagegen nur die Vektoren mit Längen größer als ein konstanter Wert α oder gleich diesem ausgewählt. Da kurze Vektoren stark Fehler beeinflussen, kann die Hauptrichtung durch Ausschluss dieser Vektoren genauer berechnet werden.
-
Fünftes Ausführungsbeispiel.
-
Für das vorliegende Ausführungsbeispiel werden hauptsächlich Unterschiede zum ersten Ausführungsbeispiel beschrieben.
-
In dem vorliegenden Ausführungsbeispiel analysiert die Synchronisationseinheit 53 eine Beziehung zwischen einem Bewegungsbetrag von charakteristischen Punkten zwischen Rahmen und einen Änderungsbetrag einer Beschleunigung, wobei die charakteristischen Punkte in jedem der Rahmen der Bilder sind, die in den Bewegungsbilddaten 33 in dem ersten von der ersten Schätzeinheit 51 geschätzten Datenbereich eingeschlossen sind, wobei die Beschleunigung in den Beschleunigungsdaten 34 in dem von der zweiten Schätzeinheit 52 geschätzten zweiten Datenbereich angegeben sind. Die Synchronisationseinheit 53 verwendet das Analyseergebnis für die Zeitsynchronisation.
-
In dem ersten Ausführungsbeispiel wurden nur die Zeiten des ersten und des letzten Rahmens zum Abgleich {xi, xi+1} und {yi, yi+1} verwendet. In dem vorliegenden Ausführungsbeispiel wird dagegen der Abgleich basierend auf einer Beziehung zwischen einer Änderung zwischen Längen der Vektoren des ersten Rahmens und des letzten Rahmens und einer Änderung zwischen der Beschleunigung des ersten Rahmens und des letzten Rahmens durchgeführt. Dies liegt daran, dass eine Änderung der Geschwindigkeit des Fahrzeugs 30, die durch eine Änderung der Beschleunigung bewirkt wird, einen Bezug zu einer Länge eines Bewegungsvektors hat. Je schneller die Geschwindigkeit ist, umso größer ist die Änderung pro Zeiteinheit und umso länger ist der Bewegungsvektor.
-
Sechstes Ausführungsbeispiel.
-
Für das vorliegende Ausführungsbeispiel werden hauptsächlich Unterschiede zum ersten Ausführungsbeispiel beschrieben.
-
In dem vorliegenden Ausführungsbeispiel teilt die erste Schätzungseinheit 51 jeden der in den Bewegungsbilddaten 33 enthaltenen Rahmen der Bilder in eine Mehrzahl von Teilbildern und gewinnt den ersten Datenbereich basierend auf einer Ausrichtung in den Bewegungsrichtungen pro Teilbild.
-
In dem ersten Ausführungsbeispiel wird die Hauptrichtung der Bewegungsvektoren der charakteristischen Punkte basierend auf dem Ergebnis aus dem gesamten Rahmen berechnet. In dem vorliegenden Ausführungsbeispiel wird dagegen der Bewegungsbildrahmen in die Mehrzahl von Teilbildern aufgeteilt. Dann wird die Hauptrichtung der Bewegungsvektoren der in jedem Teilbild enthaltenen charakteristischen Punkte berechnet und das Ergebnis wird verwendet. Daher kann entsprechend dem vorliegenden Ausführungsbeispiel ein Verhalten des Fahrzeugs 30, das nicht von dem gesamten Rahmen beschafft wird, auch beschafft werden. Beispielsweise konvergierenden die Bewegungsvektoren zu einem Zeitpunkt des Geradeausfahrens zu einer Richtung eines Fluchtpunktes in einem Bild und somit kann solch ein Zustand erhalten werden.
-
Daher kann eine zu einem rechten oder linken Abbiegen unterschiedliche Aktion des Fahrzeugs 30, wie eine Geradeausfahrt, berechnet werden und die Aktionsrahmen-Entscheidungseinheit 63 gewinnt mehr Rahmenbereiche. Daten der Beschleunigung in einer Fahrtrichtung des Fahrzeugs 30 werden den Beschleunigungsdaten 34 hinzugefügt und der zweiten Schätzeinheit 52 eingegeben, um einen Datenbereich zum Zeitpunkt des Geradeausfahrens zu erhalten. Dabei kann die Lückenbetrag-Berechnungseinheit 64 einen Lückenbetrag unter Verwendung von mehr Datenelementen schätzen und als ein Ergebnis ist es möglich, eine genauere Synchronisation durchzuführen.
-
Bezugszeichenliste
-
- 10:
- Datensynchronisationssystem,
- 20:
- Datensynchronisationsvorrichtung,
- 21:
- Prozessor,
- 22:
- Speicher,
- 23:
- elektronischer Schaltkreis,
- 30:
- Fahrzeug,
- 31:
- Kamera,
- 32:
- Beschleunigungssensor,
- 33:
- Bewegungsbilddaten,
- 34:
- Beschleunigungsdaten,
- 41:
- Bewegungsbild-Aufzeichnungssystem,
- 42:
- Beschleunigung-Aufzeichnungssystem,
- 51:
- erste Schätzeinheit,
- 52:
- zweite Schätzeinheit,
- 53:
- Synchronisationseinheit,
- 61:
- Bewegungsvektor-Berechnungseinheit,
- 62:
- Hauptrichtung-Entscheidungseinheit,
- 63:
- Aktionsrahmen-Entscheidungseinheit,
- 64:
- Lückenbetrag-Berechnungseinheit,
- 65:
- Lückenanpassungseinheit,
- 66:
- Entfernungseinheit des beweglichen Körpers.
