DE112017004047T5

DE112017004047T5 - Straßenoberflächenabschätzungsvorrichtung, Fahrzeugsteuervorrichtung, Straßenoberflächenabschätzungsverfahren und Programm

Info

Publication number: DE112017004047T5
Application number: DE112017004047.7T
Authority: DE
Inventors: Takafumi Tokuhiro; Satoshi Fukumoto; Ichiro Yamane
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-08-12
Filing date: 2017-06-27
Publication date: 2019-04-25
Also published as: CN109564682A; JP2018026058A; US20190152487A1; JP6712775B2; WO2018030010A1

Abstract

Eine Straßenoberflächenabschätzungsvorrichtung enthält eine räumliche Messeinheit, einen Filter und eine Straßenoberflächenabschätzungseinheit. Die räumliche Messeinheit misst eine dreidimensionale Messpunktwolke auf einer Straßenoberfläche auf Grundlage eines Bilds, das von einer Stereokamera oder einer zur dreidimensionalen Messung geeigneten Kamera empfangen wird. Der Filter filtert die dreidimensionale Messpunktwolke auf Grundlage eines Straßenoberflächenmodells, das auf Grundlage von Karteninformationen erstellt wird, um eine Straßenoberflächen-Kandidatenpunktwolke zu erhalten. Die Straßenoberflächenabschätzungseinheit schätzt die Straßenoberfläche auf Grundlage der Straßenoberflächen-Kandidatenpunktwolke ab.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Straßenoberflächenabschätzungsvorrichtung, eine Fahrzeugsteuervorrichtung, ein Straßenoberflächenabschätzungsverfahren und ein Programm.
Technischer Hintergrund
Im Zuge steigender Computerleistungen wurden Vorrichtungen zum Abschätzen eines Straßenprofils usw. mit Hilfe eines Computers auf Grundlage eines von einer Kamera aufgenommenen Bild entwickelt. Eine der vorgeschlagenen Straßenprofilabschätzungsvorrichtungen ist ausgelegt, ein Profil einer Straße, auf der sich ein Fahrzeug bewegt, grob abzuschätzen, indem ein Straßenprofil überprüft wird, das auf Grundlage eines von einer monokularen Kamera aufgenommenen Bilds mit Hilfe eines Straßenprofils in einer digitalen Straßenkarte (PTL1) abgeschätzt wird.
Ein wichtiger Aspekt bei der Auseinandersetzung mit Bildverarbeitungstechnik im Zusammenhang mit fahrzeugmontierten Stereokameras ist die Erkennung einer Straßenoberfläche. Denn eine genaue Straßenoberflächenerkennung ermöglicht eine weitere effiziente Suche nach der Fahrtroute und die Erkennung von Hindernissen wie Fußgängern und anderen Fahrzeugen.
Liste der Anführungen
Patentliteratur
PTL 1: Ungeprüfte japanische Patentveröffentlichung Nr. 2001-331787
Zusammenfassung der Erfindung
Die vorliegende Offenbarung bietet einer Straßenoberflächenabschätzungsvorrichtung mit verbesserter Erkennungsgenauigkeit.
Die Straßenoberflächenabschätzungsvorrichtung der vorliegenden Offenbarung enthält eine räumliche Messeinheit, einen Filter und eine Straßenoberflächenabschätzungseinheit. Die räumliche Messeinheit misst eine Vielzahl von dreidimensionalen Messpunkten als eine dreidimensionale Messpunktwolke auf einer Straßenoberfläche auf Grundlage eines von einer Stereokamera oder einer zur dreidimensionalen Messung geeigneten Kamera empfangenen Bilds. Der Filter filtert die dreidimensionale Messpunktwolke auf Grundlage eines Straßenoberflächenmodells, das auf Grundlage von Karteninformationen erstellt wird, um eine Straßenoberflächen-Kandidatenpunktwolke zu erhalten. Die Straßenoberflächenabschätzungseinheit schätzt die Straßenoberfläche auf Grundlage der Straßenoberflächen-Kandidatenpunktwolke ab.
Eine Fahrzeugsteuervorrichtung der vorliegenden Offenbarung enthält die Straßenoberflächenabschätzungsvorrichtung der vorliegenden Offenbarung und eine Steuerung, die ein Fahrzeug steuert, in welchem die Fahrzeugsteuervorrichtung installiert ist. Die Steuerung steuert das Fahrzeug entsprechend einer Straßenoberfläche, die durch die Straßenoberflächenabschätzungsvorrichtung abgeschätzt wird.
Die vorliegende Offenbarung stellt die Straßenoberflächenabschätzungsvorrichtung mit verbesserter Erkennungsgenauigkeit bereit.
Figurenliste

1 ist ein Blockdiagramm einer Straßenoberflächenabschätzungsvorrichtung gemäß einer ersten beispielhaften Ausführungsform.
2 stellt eine Koordinatenumwandlung zwischen dem x-y-z-Koordinatensystem und dem u-v-Disparitätskoordinatensystem dar.
3 ist eine Projektionsansicht eines Straßenoberflächenmodells und einer dreidimensionalen Messpunktwolke auf einer y-z-Ebene im x-y-z-Koordinatensystem.
4 ist ein Betriebsablaufdiagramm der Straßenoberflächenabschätzungsvorrichtung gemäß der ersten beispielhaften Ausführungsform.
5 ist ein Beispiel einer Hardware-Konfiguration eines Computers 2100.

Beschreibung von Ausführungsformen
Vor der Beschreibung einer beispielhaften Ausführungsform der vorliegenden Offenbarung sind Probleme im Stand der Technik kurz beschrieben. Im Allgemeinen weist eine Straßenoberfläche Unterschiede im Niveau (der Höhe) und Dellen auf. Um eine stereoskopische Form eines Höhenunterschieds, einer Delle oder dergleichen in der Straßenoberfläche durch passive dreidimensionale Messung ohne Aussenden eines Laserstrahls zu identifizieren, ist eine Vielzahl von Parallaxenbildern erforderlich, die von zwei oder mehreren Kameras (Stereokameras) aufgenommen werden. Vor Kurzem wurden globale Abgleichverfahren (Global Matching) wie Semi-Global Matching (SGM) entwickelt, um Straßenoberflächeninformationen als eine Punktwolke in einem dreidimensionalen Raum anhand von Bildern zu gewinnen, die von Stereokameras aufgenommen werden, ohne dass dabei Randinformationen wie weiße Linien auf der Straßenoberfläche verwendet werden. Die durch SGM erhaltene Punktwolke enthält jedoch Fehler. Aufgrund dieser Fehler werden die Punkte in der Punktwolke, die auf der Straßenoberfläche verteilt werden sollen, bezüglich der Straßenoberfläche vertikal verteilt. Infolgedessen kann die stereoskopische Form der Straßenoberfläche auf Grundlage der Punktwolke nicht genau abgeschätzt werden.
Die beispielhafte Ausführungsform der vorliegenden Offenbarung ist unten unter Bezugnahme auf die Zeichnung beschrieben. Gleiche Bezugszeichen in der Zeichnung geben identische oder gleichwertige Teile an.
Erste beispielhafte Ausführungsform
1 ist ein Blockdiagramm einer Fahrzeugsteuervorrichtung 200 in einer ersten beispielhaften Ausführungsform.
Die Fahrzeugsteuervorrichtung 200 ist mit einer externen Bildaufnahmeeinheit 110 verbunden und enthält eine Straßenoberflächenabschätzungsvorrichtung 100 und eine Fahrzeugsteuerung 160. Alternativ kann die Straßenoberflächenabschätzungsvorrichtung 100 oder die Fahrzeugsteuerung 160 die Bildaufnahmeeinheit 110 enthalten.
Die Straßenoberflächenabschätzungsvorrichtung 100 schätzt die Straßenoberflächenform (das Profil) ab und enthält eine räumliche Messeinheit 120, eine Straßenoberflächenmodell-Erstellungseinheit 130, einen Filter 140 und eine Straßenoberflächenabschätzungseinheit 150.
Die Bildaufnahmeeinheit 110 nimmt eine Vorderansicht des eigenen Fahrzeugs auf. Die Bildaufnahmeeinheit 110 ist z. B. eine Stereokamera, die eine linke Kamera und eine rechte Kamera umfasst. Alternativ ist die Bildaufnahmeeinheit 110 eine Kamera, die zur dreidimensionalen Messung geeignet ist, wie z. B. eine TOF-Kamera (Time-of-Flight-Kamera, d. h. Kamera auf Basis des Laufzeitverfahrens).
Die räumliche Messeinheit 120 empfängt von der Bildaufnahmeeinheit 110 ein linkes und ein rechtes Bild, die durch die Aufnahme desselben Objekts mit zwei Kameras, d. h. der linken und der rechten Kamera, erhalten werden. Die räumliche Messeinheit 120 misst dann anhand dieser Bilder eine dreidimensionale Position des gleichen Objekts.
2 stellt eine Koordinatenumwandlung zwischen dem x-y-z-Koordinatensystem und dem u-v-Disparitätskoordinatensystem dar. In 2 wird eine Position P des Objekts an einer Position Q im linken Bild 112 aufgenommen und wird an einer Position R im rechten Bild 114 aufgenommen. In 2 erstrecken sich die y-Achse und die v-Achse in Tiefenrichtung der Darstellung, und die u-Achse und die v-Achse erstrecken sich in horizontaler Richtung bzw. vertikaler Richtung im linken Bild 112 und rechten Bild 114.
Die u-v-Koordinatenwerte (u_l, v_l) der Position Q im linken Bild 112 entsprechen den x-y-Koordinatenwerten (u_l, v_l der Position Q in Bezug auf den Brennpunkt O' der linken Kamera. Die u-v-Koordinatenwerte (u_r, v_r) der Position R im rechten Bild 114 entsprechen den x-y-Koordinatenwerten (u_r, v_r) der Position R in Bezug auf den Brennpunkt O der rechten Kamera.
Zunächst werden die x-y-z-Koordinatenwerte (x, y, z) der Position P des Objekts in Bezug auf den Brennpunkt O der rechten Kamera mit den u-v-Disparitätskoordinatenwerten (u_r, v_r, d) der Position P des Objekts, dem Abstand b zwischen den Kameras und der Brennweite f ausgedrückt. Hier stellt d, definiert als u_l - u_r, einen Disparitätswert dar.
Wird angenommen, dass Punkt Q' ein Schnittpunkt ist, an dem das Liniensegment OS, das dem parallel zum Punkt O verschobenen Liniensegment O'P entspricht, das rechte Bild 114 schneidet, weist Punkt Q' die x-y-Koordinatenwerte (ul, vl) in Bezug auf den Punkt O auf. Formel (1) unten wird durch Betrachtung des Dreiecks OPS abgleitet. $x : b = u_{r} : d$
Für die y-Koordinate (Tiefenrichtung in 2) und die z-Koordinate wird die gleiche Formel festgelegt. Aus diesen Formeln wird die Formel (2) abgeleitet, die eine Umwandlungsgleichung von u-v-Disparitätskoordinatenwerten (u_r, v_r, d) in x-y-z-Koordinatenwerte (x, y, z) ist.
$(x, y, z) = (\frac{b u_{r}}{d}, \frac{b v_{r}}{d}, \frac{b f}{d})$
Als Nächstes werden die u-v-Disparitätskoordinatenwerte (u_r, v_r, d) der Position P des Objekts mit den x-y-z-Koordinatenwerten (x, y, z) der Position P des Objekts in Bezug auf den Brennpunkt O der rechten Kamera, den Abstand b zwischen den Kameras und die Brennweite f ausgedrückt. Die nächste Formel (3) wird auf Grundlage von 2 abgeleitet. $x : u_{r} = y : v_{r} = z : f$
Aus der Formel (3) wird die nächste Formel (4) abgeleitet, die eine Umwandlungsgleichung von x-y-z-Koordinatenwerten (x, y, z) in u-v-Disparitätskoordinatenwerte (u_r, v_r, d) darstellt. $(u_{r}, v_{r}, d) = (\frac{f x}{z}, \frac{f y}{z}, \frac{f b}{z})$
Es ist also anzumerken, dass ein dreidimensionaler Messpunkt eines Objekts sowohl durch das x-y-z-Koordinatensystem als auch durch das u-v-Disparitätskoordinatensystem ausgedrückt werden kann.
Die räumliche Messeinheit 120 erkennt das gleiche Objekt im linken und rechten Bild und gibt dreidimensionale Messpunkte als eine dreidimensionale Messpunktwolke des gleichen Objekts aus. Um beispielsweise das gleiche Objekt zu erkennen, werden Disparitätsinformationen verwendet, wie z. B. eine Disparitätskarte, in der die Disparität eines Abschnitts entsprechend den jeweiligen Pixeln eines linken Bilds oder rechten Bilds dargestellt wird. Beispielsweise wird SGM verwendet, um die Disparitätskarte zu erhalten. Wenn die Bilderfassungseinheit 110 eine Kamera ist, die zur dreidimensionalen Messung geeignet ist, kann die räumliche Messeinheit 120 die Ergebnisse der dreidimensionalen Messung durch die Bildaufnahmeeinheit 110 als dreidimensionale Messpunktwolke ausgeben.
Die dreidimensionale Messpunktwolke, die von der räumlichen Messeinheit 120 ausgegeben wird, enthält Fehler, die typischerweise auf Fehler in den Disparitätsinformationen zurückzuführen sind. 3 ist eine Projektionsansicht eines Straßenoberflächenmodells 210 und einer dreidimensionalen Messpunktwolke in der y-z-Ebene im x-y-z-Koordinatensystem. Hier erstreckt sich die y-Achse in der vertikalen Richtung und die z-Achse in der Vorwärtsrichtung des Fahrzeugs. Die dreidimensionale Messpunktwolke ist in einem Bereich verteilt, wie in 3 gezeigt. Wenn die Straßenoberfläche auf Grundlage einer dreidimensionalen Messpunktwolke, die solche Fehler enthält, abgeschätzt wird, enthält die abgeschätzte Straßenoberfläche ebenfalls Fehler.
In der ersten beispielhaften Ausführungsform filtert der Filter 140 daher eine dreidimensionale Messpunktwolke, die von der räumlichen Messeinheit 120 ausgegeben wird, bevor die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche abschätzt, und erhält Straßenoberflächen-Kandidatenpunkte als eine Straßenoberflächen-Kandidatenpunktwolke, die in der dreidimensionalen Messpunktwolke enthalten ist. Unter Bezugnahme auf 3 wendet der Filter 140 eine weiter unten beschriebene Filterung auf Grundlage von Informationen an, welche die Straßenoberfläche darstellen und sich von Informationen über die zuvor erwähnte dreidimensionale Messpunktwolke unterscheiden. So kann die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche auf Grundlage der Straßenoberflächen-Kandidatenpunktwolke mit höherer Genauigkeit abschätzen. Dementsprechend wird auch die Genauigkeit der abgeschätzten Straßenoberfläche verbessert. Da die Anzahl der Punkte in der dreidimensionalen Messpunktwolke, die zur Abschätzung der Straßenoberfläche verwendet wird, reduziert wird, kann die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche darüber hinaus schneller abschätzen.
Die Straßenoberflächenmodell-Erstellungseinheit 130 erstellt ein Straßenoberflächenmodell 210, bei dem es sich um Informationen handelt, welche die Straßenoberflächenform (das Profil) angeben. Beispielsweise erstellt die Straßenoberflächenmodell-Erstellungseinheit 130 auf Grundlage von dreidimensionalen Karteninformationen und Positionsinformationen des eigenen Fahrzeugs das Straßenoberflächenmodell 210, welches eine Ebene oder gekrümmte Oberfläche in einem dreidimensionalen Raum darstellt, als Informationen, welche die Straßenoberfläche angeben. Beispielsweise erkennt die Straßenoberflächenmodell-Erstellungseinheit 130 die Neigung der Bildaufnahmeeinheit 110 in einer Richtung quer zur Straße, eine Neigung entlang der Straße und eine Neigung in der Aufnahmerichtung entsprechend den dreidimensionalen Karteninformationen und den Positionsinformationen des eigenen Fahrzeugs, um das Koordinatensystem der dreidimensionalen Karte und das Koordinatensystem der Bildaufnahmeeinheit 110 miteinander auszurichten. Alternativ kann die Straßenoberflächenmodell-Erstellungseinheit 130 die Neigung der Bildaufnahmeeinheit 110 in einer Richtung quer zur Straße, die Neigung entlang der Straße und die Neigung in der Aufnahmerichtung entsprechend Neigungsinformationen erkennen, die von einem Neigungssensor, der die Neigung des eigenen Fahrzeugs erfasst, eingegeben werden.
Die dreidimensionalen Karteninformationen sind beispielsweise Informationen über die Längssteigung der Straße, Informationen über die Quersteigung der Straße und Straßenbreiteninformationen. Die dreidimensionalen Karteninformationen weisen bevorzugt eine höhere Genauigkeit auf als allgemeine Karteninformationen, die in Fahrzeugnavigationssystemen verwendet werden. Die Straßenbreiteninformationen können eine rechte Breite, bei der sich um eine Breite der Straße von der Mittellinie zur rechten Seite handelt, und eine linke Breite, bei der sich um eine Breite der Straße von der Mittellinie zur linken Seite handelt, beinhalten. Die Straßenoberflächenmodell-Erstellungseinheit 130 erstellt das Straßenoberflächenmodell 210 in der Form einer quadratischen Oberfläche in Bezug auf die Aufnahmerichtung der Bildaufnahmeeinheit 110 auf Grundlage der dreidimensionalen Karteninformationen und der Positionsinformationen des eigenen Fahrzeugs. Beispielsweise erstellt die Straßenoberflächenmodell-Erstellungseinheit 130 das Straßenoberflächenmodell 210 innerhalb eines Bereichs der Straßenbreite. Das Straßenoberflächenmodell 210 kann jedoch auch außerhalb des Bereichs der Straßenbreite erstellt werden, indem die Quersteigung der Straße erweitert wird.
Der Filter 140 empfängt das von der Straßenoberflächenmodell-Erstellungseinheit 130 erstellte Straßenoberflächenmodell 210. Anschließend bestimmt der Filter 140 einen Filter, der für die Bestimmung auf Grundlage des Straßenoberflächenmodells 210 verwendet werden soll, ob ein dreidimensionaler Messpunkt als ein Straßenoberflächen-Kandidatenpunkt angenommen oder als ungeeigneter Kandidatenpunkt eliminiert werden soll. So ist der Filter beispielsweise durch einen Bereich gekennzeichnet, der durch eine Filterbreite definiert ist, die ein Abstand in der Normalenrichtung des Straßenoberflächenmodells 210 ist. Wie beispielsweise in 3 gezeigt, ist der Filter durch einen Bereich gekennzeichnet, der durch eine obere Filterbreitenbegrenzung 220 und eine untere Filterbreitenbegrenzung 230 definiert ist.
Beispielsweise ändert der Filter 140 die Filterbreite entsprechend einer Fehlereigenschaft der Bildaufnahmeeinheit 110. Wenn die Bildaufnahmeeinheit 110 eine Stereokamera ist, enthält die dreidimensionale Messpunktwolke, die von der räumlichen Messeinheit 120 gemessen wird, Fehler, die proportional zu dem Quadrat eines Abstands der Bildaufnahmeeinheit 110 von den jeweiligen dreidimensionalen Messpunkten sind. Mit anderen Worten ist der in der dreidimensionalen Messpunktwolke enthaltene Fehler desto größer, je weiter ein Objekt von der Bildaufnahmeeinheit 110 entfernt ist. Dementsprechend kann eine übermäßige Eliminierung von weit entfernten Punkten unterdrückt werden, indem die Filterbreite entsprechend einem Abstand des Objekts von der Bildaufnahmeeinheit 110 geändert wird. Im Beispiel wird die Filterbreite vergrößert, da das Objekt weiter von der Bildaufnahmeeinheit 110 entfernt ist, wie in 3 gezeigt. Eine Änderung der Filterbreite ist jedoch nicht auf eine sukzessive Änderung entsprechend dem Abstand von der Bildaufnahmeeinheit 110 beschränkt, wie in 3 gezeigt. Beispielsweise kann die Filterbreite für einen Abstand von weniger als 10 m auf 10 cm und für einen Abstand von mehr als 10 m auf 30 cm eingestellt werden, sodass die Filterbreite schrittweise entsprechend dem Abstand des Objekts von der Bildaufnahmeeinheit 110 geändert wird.
Nach dem Empfang des Straßenoberflächenmodells 210 von der Straßenoberflächenmodell-Erstellungseinheit 130 filtert der Filter 140 die von der räumlichen Messeinheit 120 eingegebene dreidimensionale Messpunktwolke, um die Straßenoberflächen-Kandidatenpunktwolke zu erhalten. In 3 werden dreidimensionale Messpunkte 240 innerhalb des durch die obere Filterbreitenbegrenzung 220 und die untere Filterbreitenbegrenzung 230 definierten Bereichs als Straßenoberflächen-Kandidatenpunkte angenommen, und die dreidimensionalen Punkte 250 außerhalb des Bereichs werden als ungeeignete Messpunkte eliminiert.
Die Straßenoberflächenabschätzungseinheit 150 schätzt die Straßenoberfläche auf Grundlage der von dem Filter 140 ausgegebenen Straßenoberflächen-Kandidatenpunktwolke ab. Wie oben beschrieben, enthält die dreidimensionale Messpunktwolke einen größeren Fehler, wenn das Objekt weit von der Bildaufnahmeeinheit 110 entfernt ist. Hier wird ein z-Koordinatenwert größer und ein Disparitätskoordinatenwert (Disparitätswert) kleiner, wenn das Objekt weiter von der Bildaufnahmeeinheit 110 entfernt ist. Umgekehrt wird ein z-Koordinatenwert kleiner und der Disparitätskoordinatenwert (Disparitätswert) größer, wenn sich das Objekt näher an der Bildaufnahmeeinheit 110 befindet. Dementsprechend schätzt die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche beispielsweise ausgehend von größeren Disparitätskoordinatenwerten, die in der dreidimensionalen Messpunktwolke einen geringeren Fehler enthalten, hin zu kleineren Disparitätskoordinatenwerten ab.
Beispielsweise wird der Raum in mehrere Bereiche in der Richtung der Disparitätskoordinatenachse unterteilt. Die Parameter werden, beginnend mit einem Bereich, der größeren Disparitätswerten entspricht, und fortschreitend zu einem jeweils benachbarten Bereich, mit Hilfe der nächsten Formel (5) berechnet.
$v_{r} = a_{0} + a_{1} u_{r} + a_{2} d + a_{3} u_{r}^{2} + a_{4} d^{2}$
Mit Hilfe einer quadratischen Oberfläche, die durch die Formel (5) oben ausgedrückt wird, können die Parameter a₀ - a₄, welche die Fehler in dem relevanten Bereich in der Straßenoberflächen-Kandidatenpunktwolke minimieren, beispielsweise anhand der Methode der kleinsten Quadrate ermittelt werden.
Nach der Ermittlung der Parameter a₀ - a₄ für alle Bereiche schätzt die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche durch Verbinden von quadratischen Oberflächen ab, die durch diese Parameter bestimmt werden.
In einer abgeschätzten Straßenoberfläche, bei der sich um eine durch die Straßenoberflächenabschätzungseinheit 150 abgeschätzte Straßenoberfläche handelt, ist auch eine Straßenoberfläche, die nicht in den für die Abschätzung verwendeten dreidimensionalen Karteninformationen ausgedrückt ist, abgeschätzt. Dementsprechend kann eine abgeschätzte Straßenoberfläche erhalten werden, die im Vergleich zu einer Straßenoberfläche, die nur auf Grundlage der Karteninformationen abgeschätzt wird, näher an der tatsächlichen Straßenoberfläche ist.
Die Fahrzeugsteuerung 160 steuert das Fahrzeug auf Grundlage der abgeschätzten Straßenoberfläche. Beispielsweise steuert die Fahrzeugsteuerung 160 das eigene Fahrzeug entsprechend einer Eingabe von einer Erkennungseinheit (nicht dargestellt), die ein Hindernis vor dem Fahrzeug auf Grundlage der abgeschätzten Straßenoberfläche und der von der räumlichen Messeinheit 120 ausgegebenen dreidimensionalen Messpunktwolke erkennt, so, dass das Hindernis vermieden wird. Darüber hinaus gibt es Fälle, in welchen die abgeschätzte Straßenoberfläche rau ist, weil die Straße beispielsweise nicht asphaltiert ist, sich im Bau befindet oder Höhenunterschiede oder eine Delle aufweist. In diesen Fällen steuert die Fahrzeugsteuerung 160 das eigene Fahrzeug beispielsweise so, dass eine Fahrzeuggeschwindigkeit reduziert wird oder eine Steifigkeit einer Federung reduziert wird, um einen Stoß aufzufangen. Durch Steuern des eigenen Fahrzeugs auf Grundlage der abgeschätzten Straßenoberfläche kann die Fahrzeugsteuerung 160 das eigene Fahrzeug entsprechend einem Zustand einer Straßenoberfläche, über die das eigene Fahrzeug bald fahren wird, steuern. Dementsprechend kann das Fahrzeug im Vergleich zu dem Fall der Steuerung des Fahrzeugs entsprechend den tatsächlichen Vibrationen mit größerer Flexibilität gesteuert werden. Der Komfort des eigenen Fahrzeugs kann somit verbessert werden. Weiterhin kann die zuvor erwähnte Erkennungseinheit ein anderes dreidimensionales Objekt als die Straßenoberfläche durch Subtraktion von der Straßenoberfläche äquivalenten Punkten (z. B. der vom Filter 140 ausgegebenen Straßenoberflächen-Kandidatenpunktwolke) von den von der räumlichen Messeinheit 120 ausgegebenen dreidimensionalen Messpunkten identifizieren. Durch die Identifikation eines anderen dreidimensionalen Objekts als der Straßenoberfläche kann die Straßenoberflächenabschätzungsvorrichtung 100 für Zwecke wie die Suche nach einer Fahrtroute oder die Erkennung von Hindernissen eingesetzt werden.
4 ist ein Betriebsablaufdiagramm der Straßenoberflächenabschätzungsvorrichtung 100. Als Erstes erstellt die Straßenoberflächenmodell-Erstellungseinheit 130 das Straßenoberflächenmodell anhand der Karteninformationen 210 (Schritt S1100). Dann misst die räumliche Messeinheit 120 auf Grundlage der von der Bildaufnahmeeinheit 110 aufgenommenen Bilder einen Raum vor dem Fahrzeug (Schritt S1200). Hier kann die Abfolge von Schritt S1100 und Schritt S1200 umgekehrt sein. Anschließend filtert der Filter 140 die von der räumlichen Messeinheit 120 ausgegebene dreidimensionale Messpunktwolke anhand des von der Straßenoberflächenmodell-Erstellungseinheit 130 erstellten Straßenoberflächenmodells 210, um die Straßenoberflächen-Kandidatenpunktwolke zu erhalten (Schritt S1300). Dann schätzt die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche mit Hilfe der Straßenoberflächen-Kandidatenpunktwolke ab (Schritt S1400). Anschließend steuert die Fahrzeugsteuerung 160 das eigene Fahrzeug entsprechend der von der Straßenoberflächenabschätzungseinheit 150 abgeschätzten Straßenoberfläche (Schritt S1500).
Beispielsweise erstellt die Straßenoberflächenmodell-Erstellungseinheit 130 das Straßenoberflächenmodell 210 für jedes von der Bildaufnahmeeinheit 110 aufgenommene Einzelbild, die räumliche Messeinheit 120 misst einen Raum vor dem Fahrzeug, der Filter 140 filtert die dreidimensionale Messpunktwolke und anschließend schätzt die Straßenoberflächenabschätzungseinheit 150 die Straßenoberfläche ab. Auf diese Weise kann die Genauigkeit der Abschätzung der weit von der Bildaufnahmeeinheit 110 entfernten dreidimensionalen Messpunktwolke verbessert werden, wo die Abschätzungsgenauigkeit dieser dreidimensionalen Messpunktwolke niedriger ist als diejenige von Punkten, die näher an der Bildaufnahmeeinheit 110 sind, während das Fahrzeug näher an diese weit entfernten Punkte heranfährt.
5 ist ein Beispiel einer Hardware-Konfiguration eines Computers 2100, mit dem die Straßenoberflächenabschätzungsvorrichtung 100 und die in 1 gezeigte Fahrzeugsteuervorrichtung 200 ausgestattet ist. Der Computer 2100 führt ein Programm aus, um die Funktion jedes Teils in den zuvor erwähnten beispielhaften Ausführungsformen und modifizierten Beispielen umzusetzen.
Wie in 5 gezeigt, enthält der Computer 2100 eine Eingabeeinheit 2101, eine Ausgabeeinheit 2102, eine CPU (Zentraleinheit) 2103, ein ROM (Festwertspeicher) 2104, ein RAM (Direktzugriffsspeicher) 2105, eine Speichervorrichtung 2106, eine Lesevorrichtung 2107 und einen Sender/Empfänger 2108. Die Eingabeeinheit 2101 besteht beispielsweise aus einem oder mehreren Eingabeknöpfen und/oder einem Touchpad. Die Ausgabeeinheit 2102 ist beispielsweise ein Display und/oder ein Lautsprecher. Die Speichervorrichtung 2106 ist beispielsweise eine Festplattenvorrichtung und/oder ein SSD (Halbleiterlaufwerk). Die Lesevorrichtung 2107 liest Informationen aus einem Aufzeichnungsmedium wie einer DVD-ROM (Digital Versatile Disk Read Only Memory) und einem USB-Speicher (Universal Serial Bus) aus. Der Sender/Empfänger 2108 stellt die Kommunikation über ein Netzwerk her. Die zuvor erwähnten Teile sind über einen Bus 2109 miteinander verbunden.
Die Lesevorrichtung 2107 liest ein Programm zum Ausführen der Funktionen der zuvor erwähnten Teile aus dem Aufzeichnungsmedium aus, in welchem das Programm aufgezeichnet ist, und speichert das Programm in der Speichervorrichtung 2106. Alternativ stellt der Sender/Empfänger 2108 die Kommunikation mit einer Servervorrichtung her, die mit einem Netzwerk verbunden ist, lädt ein Programm zum Ausführen der Funktionen der zuvor erwähnten Teile von der Servervorrichtung herunter und veranlasst die Speicherung des Programms in der Speichervorrichtung 2106.
Anschließend kopiert die CPU 2103 das in der Speichervorrichtung 2106 gespeicherte Programm in das RAM 2105, liest nacheinander Befehle in dem Programm aus dem RAM 2105 aus und führt die Befehle aus, um die Funktionen der zuvor erwähnten Teile umzusetzen. Bei der Ausführung des Programms werden Informationen, die durch verschiedene in den beispielhaften Ausführungsformen beschriebene Prozesse gewonnen werden, im RAM 2105 oder der Speichervorrichtung 2106 gespeichert und nach Bedarf verwendet.
Gewerbliche Anwendbarkeit
Die Straßenoberflächenabschätzungsvorrichtung der vorliegenden Offenbarung wird bevorzugt für die Abschätzung einer Straßenoberfläche anhand von Bildern, die typischerweise von einer Stereokamera aufgenommen werden, verwendet.
Bezugszeichenliste

100: Straßenoberflächenabschätzungsvorrichtung

110: Bildaufnahmeeinheit
112: Linkes Bild
114: Rechtes Bild
120: Räumliche Messeinheit
130: Straßenoberflächenmodell-Erstellungseinheit
140: Filter
150: Straßenoberflächenabschätzungseinheit
160: Fahrzeugsteuerung (Steuerung)
200: Fahrzeugsteuervorrichtung
210: Straßenoberflächenmodell
220: Obere Filterbreitenbegrenzung
230: Untere Filterbreitenbegrenzung
240: Dreidimensionaler Messpunkt

250: Dreidimensionaler Messpunkt (ungeeigneter Kandidatenpunkt)
2100: Computer
2101: Eingabeeinheit
2102: Ausgabeeinheit
2103: CPU
2104: ROM
2105: RAM
2106: Speichervorrichtung
2107: Lesevorrichtung
2108: Sender/Empfänger
2109: Bus

Claims

Straßenoberflächenabschätzungsvorrichtung, umfassend: eine räumliche Messeinheit, die ausgelegt ist, eine Vielzahl von dreidimensionalen Messpunkten als eine dreidimensionale Messpunktwolke auf einer Straßenoberfläche auf Grundlage eines Bilds zu messen, das von einer aus einer Stereokamera und einer zur dreidimensionalen Messung geeigneten Kamera eingegeben wird; einen Filter, der ausgelegt ist, die dreidimensionale Messpunktwolke auf Grundlage eines Straßenoberflächenmodells, das auf Grundlage von Karteninformationen erstellt wird, zu filtern, um eine Straßenoberflächen-Kandidatenpunktwolke zu erhalten; und eine Straßenoberflächenabschätzungseinheit, die ausgelegt ist, die Straßenoberfläche auf Grundlage der Straßenoberflächen-Kandidatenpunktwolke abzuschätzen.
Straßenoberflächenabschätzungsvorrichtung nach Anspruch 1, wobei der Filter einen ersten Teil der dreidimensionalen Messpunktwolke innerhalb eines durch eine Filterbreite definierten Bereichs als die Straßenoberflächen-Kandidatenpunktwolke annimmt und einen zweiten Teil der dreidimensionalen Messpunktwolke außerhalb des Bereichs als eine ungeeignete Kandidatenpunktwolke eliminiert, wobei die Filterbreite ein Abstand in einer Normalenrichtung von einer aus einer Ebene und einer gekrümmten Oberfläche ist, die durch das Straßenoberflächenmodell dargestellt wird.
Straßenoberflächenabschätzungsvorrichtung nach Anspruch 2, wobei der Filter die Filterbreite entsprechend einem Abstand von der Stereokamera ändert.
Fahrzeugsteuervorrichtung, umfassend: die Straßenoberflächenabschätzungsvorrichtung nach Anspruch 1; und eine Steuerung, die ausgelegt ist, ein Fahrzeug zu steuern, wobei die Steuerung das Fahrzeug entsprechend der durch die Straßenoberflächenabschätzungsvorrichtung abgeschätzten Straßenoberfläche steuert.
Fahrzeugsteuervorrichtung, umfassend: die Straßenoberflächenabschätzungsvorrichtung nach Anspruch 2; und eine Steuerung, die ausgelegt ist, ein Fahrzeug zu steuern, wobei die Steuerung das Fahrzeug entsprechend der durch die Straßenoberflächenabschätzungsvorrichtung abgeschätzten Straßenoberfläche steuert.
Fahrzeugsteuervorrichtung, umfassend: die Straßenoberflächenabschätzungsvorrichtung nach Anspruch 3; und eine Steuerung, die ausgelegt ist, ein Fahrzeug zu steuern, wobei die Steuerung das Fahrzeug entsprechend der durch die Straßenoberflächenabschätzungsvorrichtung abgeschätzten Straßenoberfläche steuert.
Fahrzeugsteuervorrichtung, umfassend: die Straßenoberflächenabschätzungsvorrichtung nach Anspruch 4; und eine Steuerung, die ausgelegt ist, ein Fahrzeug zu steuern, wobei die Steuerung das Fahrzeug entsprechend der durch die Straßenoberflächenabschätzungsvorrichtung abgeschätzten Straßenoberfläche steuert.
Fahrzeugsteuervorrichtung nach Anspruch 4, wobei die Steuerung eine Steifigkeit einer Federung des Fahrzeugs entsprechend der abgeschätzten Straßenoberfläche anpasst.
Fahrzeugsteuervorrichtung nach Anspruch 4, wobei die Steuerung eine Geschwindigkeit des Fahrzeugs entsprechend der abgeschätzten Straßenoberfläche anpasst.
Straßenoberflächenabschätzungsverfahren, umfassend: Messen einer Vielzahl von dreidimensionalen Messpunkten als eine dreidimensionale Messpunktwolke auf einer Straßenoberfläche auf Grundlage eines Bilds, das von einer aus einer Stereokamera und einer zur dreidimensionalen Messung geeigneten Kamera eingegeben wird; Filtern der dreidimensionalen Messpunktwolke auf Grundlage eines Straßenoberflächenmodells, das auf Grundlage von Karteninformationen erstellt wird, um eine Straßenoberflächen-Kandidatenpunktwolke zu erhalten; und Abschätzen der Straßenoberfläche auf Grundlage der Straßenoberflächen-Kandidatenpunktwolke.
Programm, das ausgelegt ist, einen Computer zum Ausführen der folgenden Schritte zu veranlassen: Messen einer Vielzahl von dreidimensionalen Messpunkten als eine dreidimensionale Messpunktwolke auf einer Straßenoberfläche auf Grundlage eines Bilds, das von einer aus einer Stereokamera und einer zur dreidimensionalen Messung geeigneten Kamera eingegeben wird; Filtern der dreidimensionalen Messpunktwolke auf Grundlage eines Straßenoberflächenmodells, das auf Grundlage von Karteninformationen erstellt wird, um eine Straßenoberflächen-Kandidatenpunktwolke zu erhalten; und Abschätzen der Straßenoberfläche auf Grundlage der Straßenoberflächen-Kandidatenpunkte.