-
Technisches Gebiet
-
Die vorliegende Technologie betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
-
Stand der Technik
-
Patentliteratur 1 offenbart, dass ein Zielobjekt mit Infrarotstrahlen bestrahlt wird, um eine Tiefeninformation des Zielobjekts zu erlangen, und ein dreidimensionales Bild des Zielobjekts wird erzeugt. Insbesondere wird die Fläche des Zielobjekts mit einem Muster von Infrarotstrahlen bestrahlt, indem ein Merkmal von Infrarotstrahlen, dass sie für das menschliche Auge unsichtbar sind, verwendet wird, ein Bild des Zielobjekts wird durch eine Infrarotkamera aufgenommen und die Form des Objekts wird auf der Grundlage des aufgenommenen Bildes erfasst.
-
Auflistung von Entgegenhaltungen
-
Patentliteratur
-
Patentliteratur 1:
WO-A-2015/098288 -
Offenbarung der Erfindung
-
Technisches Problem
-
Um ein genaueres dreidimensionales Bild eines Zielobjekts zu erzeugen, ist es wünschenswert, die Tiefeninformation des Zielobjekts genauer zu gestalten.
-
Angesichts der vorstehenden Umstände ist es eine Aufgabe der vorliegenden Technologie, eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm bereitzustellen, die in der Lage sind, Tiefeninformationen mit hoher Genauigkeit zu erfassen.
-
Lösung des Problems
-
Um die vorstehend beschriebene Aufgabe zu lösen, weist eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie eine Interpolationsbilderzeugungseinheit, eine Differenzbilderzeugungseinheit und eine Tiefenberechnungseinheit auf.
-
Die Interpolationsbilderzeugungseinheit erzeugt ein Interpolationsbild auf der Grundlage eines ersten Normalbildes und eines zweiten Normalbildes von dem ersten Normalbild, einem mit Infrarotmusterlicht bestrahlten Musterbild und dem zweiten Normalbild, wobei das Interpolationsbild einem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wurde.
-
Die Differenzbilderzeugungseinheit erzeugt ein Differenzbild zwischen dem Interpolationsbild und dem Musterbild.
-
Die Tiefenberechnungseinheit berechnet eine Tiefeninformation unter Verwendung des Differenzbildes.
-
Gemäß einer solchen Ausgestaltung wird die Tiefeninformation unter Verwendung des Differenzbildes zwischen dem Interpolationsbild und dem Musterbild erhalten, die als zum gleichen Zeitpunkt aufgenommen betrachtet werden, und daher ist es möglich, die Tiefeninformation mit hoher Genauigkeit zu erhalten.
-
Die Tiefenberechnungseinheit kann die Tiefeninformation aus dem Musterbild auf der Grundlage eines Ergebnisses einer Bestimmung von Zuverlässigkeit der Tiefeninformation im Musterbild berechnen, wobei die Tiefeninformation durch Verwenden des Differenzbildes bestimmt wird.
-
Gemäß einer solchen Ausgestaltung ist es möglich, die Tiefeninformation unter Verwendung des Musterbildes zu berechnen, von dem bestimmt wurde, dass es eine hohe Zuverlässigkeit der Tiefeninformation aufweist, und die Tiefeninformation mit einer hohen Genauigkeit zu erhalten.
-
Die Informationsverarbeitungsvorrichtung kann außerdem eine Zuverlässigkeitsbestimmungseinheit aufweisen, die die Zuverlässigkeit der Tiefeninformation im Musterbild bestimmt, indem Luminanzinformation für jeden von unterteilten Bereichen, die durch Teilen des Differenzbildes in Gitter erzielt werden, verwendet wird.
-
Die Luminanzinformation kann ein Dispersionswert der Luminanz für jeden der unterteilten Bereiche sein.
Die Luminanzinformation kann ein Dynamikbereich der Luminanz für jeden der unterteilten Bereiche sein.
Die Luminanzinformation kann eine Raumfrequenz für jeden der unterteilten Bereiche sein.
-
Daher ermöglicht ein Verwenden des Dispersionswertes der Luminanz, des Dynamikbereichs oder der Raumfrequenz es, die Klarheit des Bildes für jeden unterteilten Bereich des Differenzbildes zu bestimmen und die Zuverlässigkeit der Tiefeninformation zu bestimmen.
-
Ein Bestrahlungsbereich des Infrarotmusterlichts in einem Musterbild beim Abbilden für ein nächstes Musterbild kann gemäß einem Ergebnis der Bestimmung durch die Zuverlässigkeitsbestimmungseinheit eingestellt werden.
-
Das Infrarotmusterlicht kann von einer Musterbestrahlungseinheit emittiert werden, die eine Vielzahl von Infrarotlichtquellen aufweist, und das Musterbild kann aufgenommen werden, wenn das Infrarotmusterlicht, das für jede aus der Vielzahl von Infrarotlichtquellen verschiedene Bestrahlungsbereiche aufweist, emittiert wird.
-
Das Infrarotmusterlicht, das die für jede aus der Vielzahl von Infrarotlichtquellen unterschiedlichen Bestrahlungsbereiche aufweist, wird emittiert und das Musterbild wird auf eine solche Weise aufgenommen, und somit kann die Anwesenheit oder Abwesenheit einer Bestrahlung für jeden Bestrahlungsbereich gesteuert werden. Dies ermöglicht es, die Bestrahlung des Infrarotmusterlichts, das zum Beispiel dem Bereich entspricht, für den in der Zuverlässigkeitsbestimmung die Zuverlässigkeit als hoch bestimmt wurde, auszuschalten, und den Leistungsverbrauch zu reduzieren.
-
Das erste Normalbild, das Musterbild und das zweite Normalbild können durch eine Kamera aufgenommen werden, die ein Abbildungselement aufweist, und die Informationsverarbeitungsvorrichtung kann außerdem eine Belichtungssteuereinheit aufweisen, die eine Belichtungszeit des Abbildungselements steuert, indem die Luminanzinformation für jeden der unterteilten Bereiche, die durch Teilen des Differenzbildes in Gitter erlagt werden, verwendet wird.
-
Gemäß einer solchen Ausgestaltung ist es möglich, die Belichtungszeit des Abbildungselements beim nächsten Abbilden auf der Grundlage der Luminanzinformation für jeden unterteilten Bereich zu steuern, und ein Musterbild mit einer hohen Zuverlässigkeit der Tiefeninformation beim nächsten Abbilden zu erhalten.
-
Die Informationsverarbeitungsvorrichtung kann außerdem eine Bestrahlungssteuereinheit aufweisen, die eine Bestrahlungsleistung des Infrarotmusterlichts steuert, indem die Luminanzinformation für jeden der unterteilten Bereiche, die durch Teilen des Differenzbildes in Gitter erhalten wurden, verwendet wird.
-
Gemäß einer solchen Ausgestaltung ist es möglich, die Bestrahlungsleistung des Infrarotmusterlichts beim nächsten Abbilden auf der Grundlage der Luminanzinformation für jeden unterteilten Bereich zu steuern, und ein Musterbild mit einer hohen Zuverlässigkeit der Tiefeninformation beim nächsten Abbilden zu erhalten.
-
Die Interpolationsbilderzeugungseinheit kann das Interpolationsbild auf der Grundlage des ersten Normalbildes, das unmittelbar vor der Aufnahme des Musterbildes aufgenommen wird, und des zweiten Normalbildes, das unmittelbar nach der Aufnahme des Musterbildes aufgenommen wird, erzeugen.
-
Gemäß einer solchen Ausgestaltung ist es möglich, ein Interpolationsbild mit hoher Genauigkeit zu erzeugen.
-
Mindestens eines von dem ersten Normalbild oder dem zweiten Normalbild kann innerhalb einer selben Bildperiode wie das Musterbild erfasst werden.
-
Um die vorstehend beschriebene Aufgabe zu lösen, weist ein Informationsverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Technologie auf: Erfassen eines ersten Normalbildes, eines mit Infrarotmusterlicht bestrahlten Musterbildes und eines zweiten Normalbildes; Erzeugen eines Interpolationsbildes auf der Grundlage des ersten Normalbildes und des zweiten Normalbildes, wobei das Interpolationsbild einem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wurde; Erzeugen eines Differenzbildes zwischen dem Interpolationsbild und dem Musterbild; und Berechnen einer Tiefeninformation unter Verwendung des Differenzbildes.
-
Um die vorstehend beschriebene Aufgabe zu lösen, veranlasst ein Programm gemäß einer Ausführungsform der vorliegenden Technologie eine Informationsverarbeitungsvorrichtung zum Ausführen einer Verarbeitung, die die folgenden Schritte aufweist: Erfassen eines ersten Normalbildes, eines mit Infrarotmusterlicht bestrahlten Musterbildes und eines zweiten Normalbildes; Erzeugen eines Interpolationsbildes auf der Grundlage des ersten Normalbildes und des zweiten Normalbildes, wobei das Interpolationsbild einem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wurde; Erzeugen eines Differenzbildes zwischen dem Interpolationsbild und dem Musterbild; und Berechnen einer Tiefeninformation unter Verwendung des Differenzbildes.
-
Vorteilhafte Wirkungen der Erfindung
-
Wie vorstehend beschrieben, ist es gemäß der vorliegenden Technologie möglich, die Tiefeninformation mit hoher Genauigkeit zu erfassen. Es ist zu beachten, dass die hier beschriebenen Wirkungen nicht notwendigerweise beschränkt sind, und beliebige der in der vorliegenden Offenbarung beschriebenen Wirkungen sein können.
-
Figurenliste
-
- [1] 1 ist ein Diagramm zum Beschreiben des Überblicks über ein Informationsverarbeitungssystem gemäß einer ersten Ausführungsform der vorliegenden Technologie und stellt ein Blockdiagramm dar, das ein Beispiel einer Ausgestaltung der Informationsverarbeitungsvorrichtung zeigt.
- [2] 2 ist ein Diagramm, das durch Ausschneiden eines Abschnitts einer Kamerasteuerungsimpulskurvenform und einer Infrarotbestrahlungsimpulskurvenform als Steuersignale, die von einer Kamera-/Projektorsteuereinheit der vorstehend beschriebenen Informationsverarbeitungsvorrichtung ausgegeben werden, erhalten wurde.
- [3] 3 ist ein Diagramm zum Beschreiben eines Verfahrens zum Erzeugen eines Interpolationsbildes und eines Differenzbildes durch die vorstehend beschriebene Informationsverarbeitungsvorrichtung.
- [4] 4 ist ein Blockdiagramm, das eine Ausgestaltung der vorstehend beschriebenen Informationsverarbeitungsvorrichtung zeigt, und stellt ein Diagramm zum Beschreiben eines Verarbeitungsablaufs dar.
- [5] 5 ist ein Ablaufdiagramm zum Beschreiben eines Informationsverarbeitungsverfahrens durch die vorstehend beschriebene Informationsverarbeitungsvorrichtung.
- [6] 6 ist ein Ablaufdiagramm zum Beschreiben eines Verfahrens zum Erzeugen eines Steuersignals in der Kamera-/Projektorsteuereinheit durch Verwenden eines Differenzbildes.
- [7] 7 ist ein schematisches Diagramm eines Projektors, an dem eine Vielzahl von Infrarotlichtquellen angebracht ist, und ist ein Diagramm zum Beschreiben des Bestrahlungsbereichs von Infrarotzufallsmusterlicht für jede Infrarotlichtquelle in einem Musterbild.
- [8] 8 ist ein Diagramm zum Beschreiben der Auswahl einer Infrarotlichtquelle des Projektors.
- [9] 9 ist ein Diagramm zum Beschreiben der Auswahl einer Infrarotlichtquelle des Projektors. Modus(Modi) zur Ausführung der Erfindung
-
[Überblick]
-
Ein Informationsverarbeitungssystem 10, das eine Informationsverarbeitungsvorrichtung 1 gemäß einer Ausführungsform der vorliegenden Technologie aufweist, wird unter Bezugnahme auf 1 beschrieben. 1 ist ein Diagramm zum Beschreiben des Überblicks über das Informationsverarbeitungssystem 10 und stellt ein Blockdiagramm dar, das ein Beispiel einer Ausgestaltung der Informationsverarbeitungsvorrichtung zeigt.
-
Wie in 1 dargestellt, weist das Informationsverarbeitungssystem 10 die Informationsverarbeitungsvorrichtung 1, eine Kamera 2 und einen Projektor 3 auf.
-
Im Informationsverarbeitungssystem 10 erfasst die Informationsverarbeitungsvorrichtung 1 eine Bildinformation, die durch die Kamera 2 aufgenommen wird. Insbesondere erfasst die Informationsverarbeitungsvorrichtung 1 ein erstes Normalbild eines Zielobjekts, das ein Abbildungszielobjekt darstellt, das sequenziell durch die Kamera 2 abgebildet wird, ein mit Infrarotzufallsmusterlicht bestrahltes Musterbild und ein zweites Normalbild.
-
Das Musterbild stellt ein Bild dar, das durch Abbilden des Zielobjekts erhalten wird, das mit Infrarotzufallsmusterlicht als Musterlicht bestrahlt wurde, das vom Projektor 3, der als Musterbestrahlungseinheit dient, emittiert wird.
-
Die Informationsverarbeitungsvorrichtung 1 schätzt und erzeugt ein Interpolationsbild, das dem Zeitpunkt entspricht, zu dem das Musterbild erfasst wurde, aus dem erfassten ersten Normalbild und dem erfassten zweiten Normalbild. Die Informationsverarbeitungsvorrichtung 1 analysiert ein Differenzbild zwischen dem Interpolationsbild und dem Musterbild.
-
Das Musterbild weist eine Tiefeninformation auf, und die Zuverlässigkeit der Tiefeninformation des Musterbildes wird durch eine Analyse des Differenzbildes durch die Informationsverarbeitungsvorrichtung 1 bestimmt. Dann wird die Tiefeninformation des Musterbildes auf der Grundlage eines Bestimmungsergebnisses der Zuverlässigkeit der Tiefeninformation berechnet.
-
Wie vorstehend beschrieben, wird in dieser Ausführungsform die Zuverlässigkeit der Tiefeninformation des Musterbildes durch Analysieren des Differenzbildes bestimmt. Unter Verwendung des Musterbildes, das durch eine solche Zuverlässigkeitsbestimmung als sehr zuverlässig bestimmt wurde, wird die Tiefeninformation berechnet, und daher kann eine sehr genaue Tiefeninformation erhalten werden.
-
Auf der Grundlage einer solchen sehr genauen Tiefeninformation ist es möglich, ein Tiefenbild zu erzeugen, das die Distanz zum Zielobjekt für jedes Pixel anzeigt.
-
Die Tiefeninformation repräsentiert die Distanz zwischen der Kamera 2 und einem Objekt (Zielobjekt) und kann eine Tiefeninformation eines Merkmalpunktes aufweisen.
-
Außerdem erfasst in dieser Ausführungsform die Informationsverarbeitungsvorrichtung 1 eine Poseninformation der Kamera 2 auf der Grundlage der berechneten Tiefeninformation und des Interpolationsbildes. Dann kann die Informationsverarbeitungsvorrichtung 1 eine Punktwolke als dreidimensionale Rauminformation des Zielobjektes, das als ein Gegenstand dient, auf der Grundlage der berechneten Tiefeninformation und der Poseninformation erzeugen. Die Punktwolke wird unter Verwendung der Tiefeninformation mit hoher Genauigkeit erzeugt und weist daher eine hohe Genauigkeit auf.
-
Durch die Analyse des Differenzbildes durch die Informationsverarbeitungsvorrichtung 1 werden außerdem die Steuersignale für die Kamera 2 und den Projektor 3 erzeugt, so das ein Musterbild, das eine sehr zuverlässige Tiefeninformation aufweist, erhalten werden kann, und die Belichtungszeit der Kamera 2 und die Bestrahlungsleistung des Infrarotzufallsmusterlichts vom Projektor 3 gesteuert werden.
-
Die vorliegende Technologie kann auf die Technologie angewendet werden, in der eine Erfassung der Tiefeninformation wichtig ist.
-
Zum Beispiel kann die vorliegende Technologie auf eine Selbstpositionsschätzung in den Anwendungen von Augmented Reality (AR, erweiterte Realität), Virtual Reality (VR, virtuelle Realität) und Mixed Reality (MR, Vermischte Realität), die eine am Kopf montierte Anzeige oder eine tragbare Vorrichtung vom Brillentyp verwenden, angewendet werden. Außerdem kann die vorliegende Technologie auf ein eine Selbstpositionsschätzung in den AR-, VR- und MR-Anwendungen, die ein tragbares Endgerät, wie z.B. ein Smartphone oder ein Tablet, verwenden, angewendet werden. Außerdem kann die vorliegende Technologie auf eine Selbstpositionsschätzung in einem autonomen mobilen Körper, wie z.B. einem autonomen Fahrzeug, einem unbemannten Flugzeug oder einem autonomen mobilen Roboter, angewendet werden. Außerdem kann die vorliegende Technologie auch auf die Aufnahme von Bildern angewendet werden.
-
Außerdem kann die erzeugte Punktwolke verwendet werden, um ein dreidimensionales Modell zu erzeugen, das sie Struktur einer Umgebung widerspiegelt. Dieses dreidimensionale Modell kann für die Interaktionsdarstellung in AR, VR und MR und für die Routensteuerung des mobilen Körpers verwendet werden. Es ist außerdem möglich, eine dreidimensionale Ansicht oder eine zweidimensionale Draufsicht eines Gebäudes aus dem dreidimensionalen Modell zu erzeugen.
-
Nachstehend wird die Informationsverarbeitungsvorrichtung 1 ausführlich beschrieben.
-
[Ausgestaltungsbeispiel der Kamera]
-
Die Ausgestaltung der Kamera 2 wird unter Bezugnahme auf 2 zusätzlich zu 1 beschrieben. 2(A) ist ein Diagramm, in dem ein Abschnitt der Impulskurvenform, die von einer Kamera-/Projektorsteuereinheit 17 der Informationsverarbeitungsvorrichtung 1, die später beschrieben wird, ausgegeben wird, in dieser Ausführungsform ausgeschnitten ist.
-
Die Kamera 2 ist eine Stereokamera und weist zwei Kameras auf, eine rechte Kamera und eine linke Kamera. Die rechte Kamera und die linke Kamera weisen die gleiche Ausgestaltung auf. Die zwei Kameras sind in einem Intervall angeordnet, mit dem Parallaxe ausreichend erzeugt wird. Die zwei Kameras lösen die Verschlüsse zur Abbildung bei einer steigenden Flanke eines Kamerasteuerimpulses 201 (siehe 2(A)), der als ein durch die Kamera- / Projektorsteuereinheit 17 erzeugtes Steuersignal dient.
-
Wie in 1 dargestellt, weist die Kamera 2 eine Abbildungslinse 21, eine Blende 22 und ein Abbildungselement 23 auf.
-
Die Abbildungslinse 21 sammelt Licht vom Zielobjekt und lenkt das Licht an das Abbildungselement 23.
-
Die Blende 22 passt die dadurch verlaufende Lichtmenge an.
-
Das Abbildungselement 23 konvertiert Licht in ein elektrisches Signal, um Bilddaten zu erzeugen. Außerdem wird im Abbildungselement 23 die Belichtungszeit geändert, indem ein Transistor in einem Pixel des Abbildungselements 23 gemäß dem Steuersignal von der Kamera-/Projektorsteuereinheit 17 gesteuert wird. Auf diese Weise wird das Verfahren zum Ändern der Belichtungszeit durch Steuern des Transistors im Pixel als ein elektronisches Verschlussverfahren bezeichnet.
-
Es ist zu beachten, dass ein Beispiel, in dem die Kamera 2 das elektronische Verschlussverfahren verwendet und die Belichtungszeit durch Steuern des Transistors geändert wird, in dieser Ausführungsform beschrieben wird, aber die Kamera 2 ferner einen mechanischen Verschluss aufweisen kann, und die Belichtungszeit durch Steuern des mechanischen Verschlusses verändert werden kann.
-
In dieser Ausführungsform wird die Kamera 2, wie in 2(A) dargestellt, derart gesteuert, dass der Verschluss kontinuierlich dreimal in einer Bildperiode ausgelöst wird (ein Abbilden wird durchgeführt). Bei diesen wird jeweils ein erstes Normalbild bzw. ein zweites Normalbild bei dem ersten bzw. dritten Verschluss erfasst, und ein Musterbild wird beim zweiten Verschluss erfasst. Folglich werden das erste Normalbild, das Musterbild und das zweite Normalbild zeitlich kontinuierlich in einer Sequenz erfasst.
-
Das Normalbild stellt ein Bild dar, das durch Abbilden des Zielobjekts erhalten wird, das nicht mit Infrarotzufallsmusterlicht bestrahlt wird. Das Musterbild stellt ein Bild dar, das durch Abbilden des mit Infrarotzufallsmusterlicht bestrahlten Zielobjekts erhalten wird. Das Normalbild und das Musterbild können monochrom oder farbig sein.
-
In 2 entspricht die Pulsweite des Kamerasteuerimpulses der Belichtungszeit.
-
[Ausgestaltungsbeispiel des Projektors]
-
Eine Ausgestaltung des Projektors 3 wird unter Bezugnahme auf 1 und 2 beschrieben. Der Projektor 3 ist ein Beispiel einer Musterbestrahlungseinheit zum Bestrahlen der Fläche des Zielobjekts mit Infrarotzufallsmusterlicht 35.
-
Wie in 1 dargestellt, weist der Projektor 3 eine Lichtemissionssteuerungseinheit 31, eine Infrarotlichtquelle 32, eine Zufallsmustermaske 33 und eine Projektionslinse 34 auf.
-
Die Lichtemissionssteuerungseinheit 31 steuert die Lichtemission, indem ein Strom durch die Infrarotlichtquelle 32 für eine konstante Zeitdauer geleitet wird, gemäß dem Anstieg eines Infrarotbestrahlungssteuerimpulses 301 (siehe 2(A)) als eines Steuersignals, das von der Kamera-/Projektorsteuereinheit 17 eingegeben wird .
-
Die Infrarotlichtquelle 32 ist eine Infrarotlichtemissionseinheit und wird zum Beispiel durch eine Infrarotleuchtdiode (LED) erzielt. Die Infrarotlichtquelle 32 emittiert eine Infrarotwellenlänge (zum Beispiel eine Wellenlänge von ungefähr 850 nm), während die Lichtemissionssteuerungseinheit 31 einen Strom dadurch leitet.
-
Das Infrarotlicht von der Infrarotlichtquelle 32 verläuft durch die Zufallsmustermaske 33. Es ist zu beachten, dass die Zufallsmustermaske 33 in einem Gittermuster in 1 dargestellt ist, aber die Zufallsmustermaske 33 in Wirklichkeit ein zufälliges Muster aufweist.
-
In dieser Ausführungsform beträgt die Anzahl von Infrarotlichtquellen 32 eins.
-
die Zufallsmustermaske 33 wird zum Beispiel durch eine metallische gitterartige Platte, die einem zufälligen und feinen Bohren mithilfe einer Elektroformung unterzogen wird, erzielt.
-
Die Projektionslinse 34 projiziert, an das Objekt, das Infrarotzufallsmusterlicht 35 als Musterlicht, das durch Infrarotstrahlen gebildet wurde, die durch die Zufallsmustermaske 33 transmittiert wurden. In dem in 1 gezeigten Beispiel ist zur Vereinfachung eine einzelne Projektionslinse 34 dargestellt, aber in Wirklichkeit kann die Projektionslinse 34 durch Kombinieren einer Vielzahl von konvexen Linsen und konkaven Linsen, in Abhängigkeit von der Nutzanwendungen, wie z.B. einem erforderlichen Sichtwinkel, einer Brennweite und dergleichen, ausgelegt werden.
-
Die Lichtemissionssteuerungseinheit 31 lässt einen Strom fließen, während sich der Infrarotbestrahlungssteuerimpuls 301 auf hohem Pegel befindet. Der Betrag des Stroms wird durch ein Steuersignal, das von der Kamera-/Projektorsteuereinheit 17 eingegeben wird, gesteuert, und die Bestrahlungsleistung der von der Infrarotlichtquelle 32 emittierten Infrarotstrahlen wird durch das Steuersignal gesteuert. Wenn die Bestrahlungsleistung der von der Infrarotlichtquelle 32 emittierten Infrarotstrahlen gesteuert wird, wird die Bestrahlungsleistung des vom Projektor 3 emittierten Infrarotzufallsmusterlichts 35 gesteuert.
-
In dieser Ausführungsform wird die Lichtemissionssteuerungseinheit 31, wie n 2(A) dargestellt, auf der Grundlage des Steuersignals gesteuert, das von der Kamera-/Projektorsteuereinheit 17 eingegeben wird, so dass das Objekt mit dem Infrarotzufallsmusterlicht 35 gemäß dem zweiten Verschluss der Kamera 2 bestrahlt wird. Die Pulsbreite des Infrarotbestrahlungssteuerimpulses 301 stellt die Zeit zum Bestrahlen des symmetrischen Objekts mit dem Infrarotzufallsmusterlicht 35 dar und ist der Belichtungszeit gleich.
-
Wie in 2(A) dargestellt, wird in dieser Ausführungsform der Verschluss kontinuierlich dreimal während eines Bildrahmens ausgelöst. Bei diesen wird, wenn der zweite Verschluss ausgelöst wird, das Zielobjekt mit dem Infrarotzufallsmusterlicht 35 bestrahlt. Daher wird das erste Normalbild durch die erste Belichtung (erster Verschluss) erfasst, das Musterbild wird durch die zweite Belichtung (zweiter Verschluss) erfasst, und das zweite Normalbild wird durch die dritte Belichtung (dritter Verschluss) in dieser Reihenfolge erfasst.
-
[Ausgestaltungsbeispiel der Informationsverarbeitungsvorrichtung]
-
(Überblick)
-
Die Informationsverarbeitungsvorrichtung 1 wird unter Bezugnahme auf 1 bis 4 beschrieben. 3 ist ein Diagramm zum Beschreiben eines Verfahrens zum Erzeugen eines Interpolationsbildes und eines Differenzbildes durch die Informationsverarbeitungsvorrichtung 1. 4 ist ein Blockdiagramm, das die Ausgestaltung der Informationsverarbeitungsvorrichtung 1 zeigt.
-
Wie in 1 bis 4 dargestellt, weist die Informationsverarbeitungsvorrichtung 1 eine Differenzbilderzeugungseinheit 11, eine Interpolationsbilderzeugungseinheit 12, eine Zuverlässigkeitsbestimmungseinheit 13 eines unterteilen Bereichs, eine Tiefenberechnungseinheit 13, eine Posenschätzungseinheit 15, eine Punktwolkenerzeugungseinheit 16, die Kamera-/Projektorsteuereinheit 17 und eine Speichereinheit 18 auf.
-
Wie in 2(A) dargestellt, wird in dieser Ausführungsform die Kamera 2 derart gesteuert, dass der Verschluss kontinuierlich dreimal während eines Bildrahmens ausgelöst wird. Wenn der zweite Verschluss ausgelöst wird, wird das Zielobjekt mit dem Infrarotzufallsmusterlicht 35 bestrahlt.
-
Daher wird, wie in 3 dargestellt, beim ersten Verschluss ein erstes Normalbild 41 durch die Kamera 2 aufgenommen. Beim zweiten Verschluss wird ein Musterbild 51, das durch Abbilden des mit dem Infrarotzufallsmusterlicht 35 bestrahlten Objekts erhalten wird, durch die Kamera 2 aufgenommen. Beim dritten Verschluss wird ein zweites Normalbild 42 erfasst.
-
(Speichereinheit)
-
Wie in 4 dargestellt, speichert die Speichereinheit 18 die durch die Kamera 2 erfassten Normalbilder in chronologischer Reihenfolge.
-
Außerdem speichert die Speichereinheit 18 ein Programm zum Ausführen einer Informationsverarbeitung, die mit der Bestimmung der Zuverlässigkeit der Tiefeninformation des Musterbildes 51 im Zusammenhang steht.
-
Das in der Speichereinheit 18 gespeicherte Programm ist zum Veranlassen der Informationsverarbeitungsvorrichtung 1 vorgesehen, eine Verarbeitung durchzuführen, die die folgenden Schritte aufweist: Erfassen des ersten Normalbildes 41 des Zielobjekts, des mit dem Infrarotzufallsmusterlicht 35 bestrahlten Musterbildes 51 und des zweiten Normalbildes 42, die sequenziell aufgenommen werden; Erzeugen eines Interpolationsbildes 52, das dem Zeitpunkt entspricht, zu dem das Musterbild 51 aufgenommen wurde, auf der Grundlage des ersten Normalbildes 41 und des zweiten Normalbildes 42; Erzeugen eines Differenzbildes 53 zwischen dem Interpolationsbild 52 und dem Musterbild 51; und Berechnen der Tiefeninformation des Zielobjekts unter Verwendung des Differenzbildes 53.
-
(Interpolationsbilderzeugungseinheit)
-
Wie in 3 und 4 dargestellt, erfasst die Interpolationsbilderzeugungseinheit 12 das zweite Normalbild 42 und das erste Normalbild 41, das noch früher erfasst wird als das Musterbild 51, das früher als das zweite Normalbild 42 erfasst wird, aus der Speichereinheit 18.
-
Die Interpolationsbilderzeugungseinheit 12 erzeugt auf der Grundlage des ersten Normalbildes 41 und des zweiten Normalbildes 42 das Interpolationsbild 52, das dem Zeitpunkt entspricht, zu dem das Musterbild 51 erfasst wird.
-
Eine allgemeine Technik kann auf die Erzeugung des Interpolationsbildes 52 angewendet werden. Zum Beispiel besteht ein Verfahren zum Erzeugen eines Interpolationsbildes 52 auf der Grundlage eines Bewegungsvektors eines Bildes, ein Verfahren zum Erzeugen eines Interpolationsbildes 52 unter Verwendung eines hochauflösenden Filters auf der Grundlage eines Vorlernens, ein Verfahren zum Erzeugen eines Interpolationsbildes 52 unter Verwendung eines luminanzbasierten Interpolationsmittelwertfilters, und dergleichen.
-
Das erste Normalbild 41 (das zweite Normalbild 42) weist zwei Bilder auf, ein rechtes erstes Normalbild 41R (rechtes zweites Normalbild 42R) und ein linkes erstes Normalbild 41L (linkes zweites Normalbild 42L), die durch die Kamera 2, die die rechte Kamera und die linke Kamera aufweist, aufgenommen werden.
-
Das Interpolationsbild 52 weist ein rechtes Interpolationsbild 52R, das auf der Grundlage des rechten ersten Normalbildes 41R und des rechten zweiten Normalbildes 42R erzeugt wird, und ein linkes Interpolationsbild 52L auf, das auf der Grundlage des linken ersten Normalbildes 41L und des linken zweiten Normalbildes 42L erzeugt wird. Es ist zu beachten, dass lediglich eines von dem Interpolationsbild 52R und dem Interpolationsbild 52L als das Interpolationsbild 52 verwendet werden kann.
-
(Differenzbilderzeugungseinheit)
-
Wie in 3 und 4 dargestellt, erzeugt die Differenzbilderzeugungseinheit 11 das Differenzbild 53, das durch eine Differenz zwischen dem Interpolationsbild 52, das durch die Interpolationsbilderzeugungseinheit 12 erzeugt wird, und dem Musterbild 51, das von der Kamera 2 erfasst wird, erhalten wird.
-
(Zuverlässigkeitsbestimmungseinheit des unterteilen Bereichs)
-
Die Zuverlässigkeitsbestimmungseinheit 13 des unterteilen Bereichs, die als eine Zuverlässigkeitsbestimmungseinheit dient, analysiert das Differenzbild 53, das durch die Differenzbilderzeugungseinheit 11 erzeugt wird, und bestimmt die Zuverlässigkeit der Tiefeninformation des Musterbildes 51.
-
Insbesondere wertet die Zuverlässigkeitsbestimmungseinheit 13 des unterteilen Bereichs unter Verwendung der Luminanzinformation des Bildes für jeden aus einer Vielzahl von unterteilen Bereiche, die durch Teilen des Differenzbildes 53 in Gitter erhalten werden, aus, ob das Differenzbild klar oder nicht und hell oder nicht ist. Es ist zu beachten, dass die Größe von zum Beispiel ungefähr 8X8 Bildern für einen unterteilen Bereich übernommen werden kann.
-
Insbesondere werden ein durchschnittlicher Luminanzwert, ein Dispersionswert der Luminanz und ein Dynamikbereich als Luminanzinformation für jeden unterteilten Bereich, der durch Teilen des Differenzbildes 53 in Gitter erhalten wird, berechnet. Der Dispersionswert der Luminanz und der Dynamikbereich werden als Indizes der Luminanzschwankung verwendet und werden bei der Bestimmung der Klarheit verwendet.
-
Der durchschnittliche Luminanzwert ist der Durchschnittswert der Luminanzwerte aller Pixel in einem unterteilten Bereich.
-
Der Dispersionswert der Luminanz wird erhalten, indem die Differenz zwischen dem Luminanzwert jedes Bildes in einem unterteilten Bereich und dem durchschnittlichen Luminanzwert jenes unterteilten Bereichs erhalten wird, um die Abweichung in jedem Pixel zu berechnen, und dann der quadratische Mittelwert der Abweichung berechnet wird.
-
Der Dynamikbereich wird durch die Differenz zwischen einem maximalen Luminanzwert und einem minimalen Luminanzwert in einem unterteilten Bereich erhalten.
-
Um für jeden unterteilten Bereich zu bestimmen, ob das Differenzbild klar ist oder nicht, bewertet die Zuverlässigkeitsbestimmungseinheit 13 des unterteilen Bereichs, ob der Dispersionswert oder der Dynamikbereich gleich oder größer einem Schwellenwert ist oder nicht. Wenn der Dispersionswert oder der Dynamikbereich größer ist als der Schwellenwert, wird bestimmt, dass die Zuverlässigkeit der Tiefeninformation hoch ist. Wenn der Dispersionswert oder der Dynamikbereich kleiner ist als der Schwellenwert, wird bestimmt, dass die Zuverlässigkeit der Tiefeninformation niedrig ist. Außerdem wird die Zuverlässigkeit der Tiefeninformation gemäß der Größe des Dispersionswertes oder des Dynamikbereichs angegeben.
-
Wenn durch die Bestimmung der Klarheit bestimmt wird, dass alle der unterteilten Bereich klar sind, wird bestimmt, dass die Zuverlässigkeit der Tiefeninformation des Musterbildes hoch ist.
-
Wenn durch die Bestimmung der Klarheit bestimmt wird, dass die Zuverlässigkeit hoch ist, wird die Verarbeitung der Berechnung der Tiefeninformation zur Verwendung bei der Erzeugung einer Punktwolke oder eines Tiefenbildes, die Schätzung der Poseninformation zur Erzeugung einer Punktwolke, und dergleichen ausgeführt.
-
Wenn andererseits bestimmt wird, dass die Zuverlässigkeit niedrig ist, wird die Verarbeitung der Berechnung der Tiefeninformationen zur Verwendung bei der Erzeugung einer Punktwolke oder eines Tiefenbildes, die Schätzung der Poseninformation zur Erzeugung einer Punktwolke, und dergleichen nicht ausgeführt.
-
Wenn durch die Bestimmung der Klarheit bestimmt wird, dass die Zuverlässigkeit niedrig ist, wird ein Steuersignal erzeugt, um die Belichtungszeit des Abbildungselements 23 der Kamera 2 oder die Bestrahlungsleistung der Infrarotlichtquelle 32 des Projektors 3 beim Abbilden im nächsten Rahmen zu ändern, so dass ein Musterbild mit einer zuverlässigeren Tiefeninformation beim Abbilden im nächsten Rahmen erlangt wird.
-
Obwohl die Einzelheiten später unter Bezugnahme auf 6 beschrieben werden, wird die Bewegungsgeschwindigkeit der Kamera 2 beim Erzeugen der Steuersignale für die Kamera 2 und den Projektor 3 beim Abbilden im nächsten Rahmen zur Erfassung eines zuverlässigeren Musterbildes verwendet.
-
Die Bewegungsgeschwindigkeit der Kamera 2 wird auf der Grundlage der Poseninformation, die durch die Posenschätzungseinheit 15 geschätzt wird, berechnet. Außerdem werden ein Berechnungsergebnis der Tiefeninformation und des Interpolationsbildes 52 zur Einschätzung der Poseninformation in der Posenschätzungseinheit 15 verwendet. Bei dieser Berechnung der Tiefeninformation wird das Musterbild 51 verwendet, dessen Zuverlässigkeit als niedrig bestimmt wurde.
-
Wenn bei der Bestimmung der Klarheit bestimmt wird, dass das Differenzbild nicht klar ist, bestimmt die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs für jeden unterteilten Bereich, ob das Differenzbild hell ist oder nicht. Der durchschnittliche Luminanzwert wird zur Bestimmung verwendet, ob das Differenzbild hell ist oder nicht, und es wird bewertet, ob der durchschnittliche Luminanzwert gleich oder größer als ein Schwellenwert ist oder nicht.
-
Unter Verwendung des vorstehend beschriebenen Bestimmungsergebnisses der Helligkeit und der Bewegungsgeschwindigkeit der Kamera 2, wird ein Steuersignal erzeugt, um die Belichtungszeit des Abbildungselements 23 der Kamera 2 oder die Bestrahlungsleistung der Infrarotlichtquelle 32 des Projektors 3 beim Abbilden im nächsten Rahmen zu ändern, so dass ein Musterbild mit einer zuverlässigeren Tiefeninformation erhalten wird.
-
Es ist zu beachten, dass in dieser Ausführungsform ein Beispiel, in dem der Dispersionswert oder der Dynamikbereich beim Bestimmen der Klarheit des Differenzbildes verwendet wird, beschrieben wurde, aber eine Raumfrequenz als die Luminanzinformation verwendet werden kann.
-
(Tiefenberechnungseinheit)
-
Wie in 4 dargestellt, berechnet die Tiefenberechnungseinheit 14 die Tiefeninformation unter Verwendung des Musterbildes 51. Zum Beispiel kann die Tiefeninformation unter Verwendung einer Blockanpassungstechnik berechnet werden.
-
Das Musterbild 51 weist zwei Bilder eines rechten Musterbildes 51R und eines linken Musterbildes 51L auf, die durch die Kamera 2, die die rechte Kamera und die linke Kamera aufweist, aufgenommen wurden.
-
Bei der Blockanpassungstechnik werden das rechte Musterbild 51R und das linke Musterbild 51L für jeden Block angepasst.
-
Wenn zum Beispiel insbesondere eine Bildanapassung in Einheiten von 8x8 Blöcken durchgeführt wird, wird ein Block in der Nähe der Blöcke der 8x8-Bilder, in denen das interessierende Pixel des durch die rechte Kamera aufgenommenen rechten Musterbildes 51R zentriert ist, von dem linken Musterbild 51L gesucht, um eine Parallaxe zu erhalten. Das heißt, die Tiefenberechnungseinheit 14 führt einen Bildvergleich zwischen einem 8x8-Block des rechten Musterbildes 51R und einem 8x8-Block des linken Musterbildes 51L für jedes horizontale Pixel im Suchbereich des linken Musterbildes 51L durch. Wenn zum Beispiel der Suchbereich 64 Pixel beträgt, wird eine Bildanpassung von Blöcken 64 Male für jedes Pixel des rechten Musterbildes 51R durchgeführt, und dies wird für alle der Pixel des rechten Musterbildes durchgeführt.
-
Die rechte Kamera und die linke Kamera, die die Kamera 2 bilden, sind fest, und der Abstand zwischen den Kameras (Grundlinienlänge) ist fest. Daher wird die Tiefe auf der Grundlage der Parallaxe, die durch das Blockanpassen erlangt wurde, und der Grundlinienlänge berechnet.
-
Wenn die vorstehend beschriebene Anpassungsverarbeitung für alle Pixel durchgeführt wird, wird die Tiefeninformation jedes Pixels erhalten, und ein Tiefenbild des gesamten Bildschirms kann erzeugt werden.
-
Das erzeugte Tiefenbild ist sehr genau, da es erzeugt wurde, wenn die Tiefeninformation unter Verwendung des Musterbildes 51 berechnet wird, bei dem durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilen Bereichs bestimmt wurde, dass es eine hohe Zuverlässigkeit der Tiefeninformation aufweist.
-
(Posenschätzungseinheit)
-
Wie in 4 dargestellt, erfasst die Posenschätzungseinheit 15 die Poseninformation der Kamera 2 unter Verwendung des Interpolationsbildes 52 und der Tiefeninformation. Die Posenschätzungseinheit 15 schätzt die Position und Pose der Kamera 2 durch Verfolgen der Pixel, für die die Tiefeninformation erlangt wird, in verschiedenen Bildrahmen. Die Bewegungsgeschwindigkeit der Kamera 2 wird unter Verwendung eines Ergebnisses der Schätzung berechnet.
-
(Punktwolkenerzeugungseinheit)
-
Wie in 4 dargestellt, erzeugt die Punktwolkenerzeugungseinheit 16 eine Punktwolke in einem einzelnen Referenzkoordinatensystem des Zielobjekts, das den Gegenstand darstellt, auf der Grundlage der Tiefeninformation, die durch die Tiefenberechnungseinheit 14 unter Verwendung des Musterbildes 51, das eine hohe Zuverlässigkeit der Tiefeninformation aufweist, berechnet wurde, und der Posenschätzung, die durch die Posenschätzungseinheit 15 unter Verwendung der Tiefeninformation und des Interpolationsbildes 52 geschätzt wurde.
-
(Kamera-/Projektorsteuereinheit)
-
Die Kamera-/Projektorsteuereinheit 17 erzeugt Steuersignale zum Steuern, beim Abbilden im nächsten Rahmen, der Belichtungszeit in der Kamera 2 und der Bestrahlungsleistung des Infrarotzufallsmusterlichts, das vom Projektor 3 emittiert wird, unter Verwendung der Poseninformation, die durch die Posenschätzungseinheit 15 geschätzt wurde, auf der Grundlage der Bestimmungsergebnisse durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs, in dem durch die Bestimmung der Klarheit bestimmt wurde, dass das Differenzbild unklar ist, und die Zuverlässigkeit der Tiefeninformation als niedrig bestimmt wird.
-
Wie vorstehend beschrieben, ist die Kamera-/Projektorsteuereinheit 17 eine Belichtungssteuereinheit und Bestrahlungssteuereinheit.
-
[Informationsverarbeitungsverfahren]
-
Ein Informationsverarbeitungsverfahren für die vorstehend beschriebene Informationsverarbeitungsvorrichtung 1 wird unter Bezugnahme auf 3 bis 6 gemäß einem Ablaufdiagramm in 5 beschrieben. 5 ist ein Ablaufdiagramm zum Beschreiben eines Informationsverarbeitungsverfahrens durch die Informationsverarbeitungsvorrichtung 1. 6 ist ein Ablaufdiagramm zum Beschreiben eines Verfahrens zum Bestimmen der Zuverlässigkeit der Tiefeninformation für jeden unterteilten Bereich unter Verwendung des Differenzbildes durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs, und eines Verfahrens zum Erzeugen des Steuersignals durch die Kamera-/Projektorsteuereinheit 17 .
-
Wie in 3 bis 5 dargestellt, erfasst die Informationsverarbeitungsvorrichtung 1 das erste Normalbild 41, das Musterbild 51 und das zweite Normalbild 42 des Zielobjekts, die durch die Kamera 2 in dieser Reihenfolge aufgenommen werden (S1).
-
Als Nächstes erzeugt die Interpolationsbilderzeugungseinheit 12 das Interpolationsbild 52, indem das erste Normalbild 41 und das zweite Normalbild 42 verwendet werden(S2).
-
Als Nächstes erzeugt die Differenzbilderzeugungseinheit 11 ein Differenzbild 53 unter Verwendung des Interpolationsbildes 52 und des Musterbildes 51 (S3).
-
Als Nächstes berechnet die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs den durchschnittlichen Luminanzwert, den Dispersionswert und den Dynamikbereich als die Luminanzinformation für jeden unterteilten Bereich, der durch Teilen des Differenzbildes 52 in Gitter erhalten wurde, und bestimmt die Zuverlässigkeit der Tiefeninformation unter Verwendung dieser Werte (S4). Einzelheiten der Bestimmung der Zuverlässigkeit der Tiefeninformation werden später beschrieben.
-
Wenn die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs bestimmt, dass die Zuverlässigkeit der Tiefeninformation hoch ist, berechnet als Nächstes die Tiefenberechnungseinheit 14 die Tiefeninformation unter Verwendung des Musterbildes 51 (S5).
-
Als Nächstes schätzt die Posenschätzungseinheit 15 die Poseninformation der Kamera 2 unter Verwendung des Interpolationsbildes 52 und der Tiefeninformation (S6). Die Bewegungsgeschwindigkeit der Kamera 2 wird auf der Grundlage der Poseninformation geschätzt.
-
Als Nächstes erzeugt die Punktwolkenerzeugungseinheit 16 eine Punktwolke als dreidimensionale Rauminformation des Zielobjekts auf der Grundlage der Tiefeninformation, die durch die Tiefenberechnungseinheit 14 unter Verwendung des Musterbildes 41, von dem bei der Zuverlässigkeitsbestimmung der Tiefeninformation bestimmt wurde, dass es sehr zuverlässig ist, und der Poseninformation, die durch de Posenschätzungseinheit 15 unter Verwendung des Tiefeninformation und des Interpolationsbildes 52 geschätzt wurde (S7).
-
Hierbei ist das Interpolationsbild 52 ein Bild, das dem Zeitpunkt entspricht, zu dem das Musterbild 51 erfasst wurde, und das Musterbild 51, das in der Berechnung der Tiefeninformation verwendet wird, und das Interpolationsbild 52, das in der Posenschätzung verwendet wird, werden als zum selben Zeitpunkt aufgenommene Bilder betrachtet.
-
Das heißt, in der Punktwolkenerzeugung ist es möglich, die Tiefeninformation und die Poseninformation ohne Zeitverzögerung zu verwenden, und es ist möglich, eine Punktwolke mit einer hohen Genauigkeit zu erzeugen.
-
Nun wird weiterer Bezug auf das in 5 gezeigte Ablaufdiagramm genommen.
-
Die Kamera-/Projektorsteuereinheit 17 erzeugt die Steuersignale für die Kamera 2 und den Projektor 3 auf der Grundlage des Bestimmungsergebnisses durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs und der Poseninformation, die durch die Posenschätzungseinheit 15 geschätzt wurde (S8). Einzelheiten werden später beschrieben.
-
Als Nächstes wird ein Informationsverarbeitungsverfahren in der Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs und der Kamera-/Projektorsteuereinheit 17 unter Bezugnahme auf 6 beschrieben. In 6 werden die Schritte S11 bis S18 für jeden Rahmen durchgeführt.
-
In 6 werden die Klarheitsbestimmungsverarbeitung für jeden unterteilten Bereich in S11 und die Helligkeitsbestimmungsverarbeitung in S12 durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs durchgeführt. Die Verarbeitung von S13 bis S18 wird durch die Kamera-/Projektorsteuereinheit 17 durchgeführt.
-
Wie in 6 dargestellt, bestimmt die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs für jeden unterteilen Bereich, ob das Differenzbild klar ist oder nicht (S11). Der Dispersionswert oder der Dynamikbereich wird für die Bestimmung der Klarheit verwendet, und es wird bewertet, ob der Dispersionswert oder der Dynamikbereich gleich oder größer ist als ein Schwellenwert oder nicht.
-
Wenn in S11 bestimmt wird, dass der Wert gleich oder größer ist als der Schwellenwert, das Differenzbild klar ist, und die Zuverlässigkeit der Tiefeninformation hoch ist (Ja), fährt die Verarbeitung mit S19 fort und fährt mit der Verarbeitung im nächsten Bildrahmen fort. Auch in der Verarbeitung im nächsten Bildrahmen wird die Verarbeitung in S11 und S18 durchgeführt.
-
Das Abbilden im nächsten Rahmen wird durch Steuern der Abbildungszeit des Abbildungselements 23 der Kamera 2 und der Bestrahlungsleistung des Infrarotzufallsmusterlichts vom Projektor 3 unter Verwendung desselben Steuersignals wie die Impulskurvenform, die im unmittelbar vorhergehenden Rahmen ausgegeben wurde, durchgeführt.
-
Wenn in S11 bestimmt wird, dass das Differenzbild klar ist und die Zuverlässigkeit der Tiefeninformation hoch ist, kann die Bestrahlung des Infrarotzufallsmusterlichts derart gesteuert werden, dass es beim Abbilden im nächsten Rahmen ausgeschaltet wird, so dass Leistungsverbrauch reduziert werden kann.
-
Zum Beispiel muss das Abbilden im Fall vom Abbilden in 60 Rahmen pro Sekunde nicht notwendigerweise für alle Rahmen durchgeführt werden. Wenn ein Musterbild mit einer hohen Zuverlässigkeit der Tiefeninformation erfasst wurde, kann die Infrarotbestrahlung derart ausgelegt sein, dass sie beim Abbilden im nächsten Rahmen weiterhin ausgeschaltet bleibt, so dass ein Musterbild nicht erfasst wird, so dass der Leistungsverbrauch reduziert werden kann.
-
Wenn in S11 bestimmt wird, dass das Differenzbild klar ist und die Zuverlässigkeit der Tiefeninformation hoch ist (Ja), berechnet außerdem die Tiefenberechnungseinheit 14 die Tiefeninformation zum Verwenden beim Erzeugen einer Punktwolke oder eines Tiefenbildes, Schätzen der Poseninformation zum Erzeugen einer Punktwolke und dergleichen, indem das Musterbildes 51, von dem bestimmt wurde, dass es eine hohe Zuverlässigkeit aufweist, verwendet wird.
-
Wenn in S11 bestimmt wird, dass der Wert kleiner ist als der Schwellenwert, das Differenzbild nicht klar ist, und die Zuverlässigkeit der Tiefeninformation niedrig ist (Nein), fährt die Verarbeitung mit S12 fort.
-
In S12 wird für jeden unterteilten Bereich bestimmt, ob das Differenzbild hell ist oder nicht. Der durchschnittliche Luminanzwert wird verwendet, um die Helligkeit zu bestimmen, und es wird bestimmt, ob der durchschnittliche Luminanzwert gleich oder größer als ein Schwellenwert ist oder nicht.
-
Wenn in S12 bestimmt wird, dass der Wert kleiner ist als der Schwellenwert und das Differenzbild dunkel ist (Nein), fährt die Verarbeitung mit S13 fort.
-
Wenn in S12 bestimmt wird, dass der Wert gleich oder größer ist als der Schwellenwert und das Differenzbild hell ist (Ja), fährt die Verarbeitung mit S14 fort.
-
Wenn das Bild zu dunkel ist, weil die Umgebung, in der das abzubildende Zielobjekt angeordnet ist, dunkel ist, oder das Zielobjekt selbst dunkel ist, ist es Hierbei zum Beispiel schwierig, das Zielobjekt zu identifizieren.
-
Wenn andererseits das Bild zu hell ist, treten ausgeblasene Glanzlichter oder dergleichen auf, und es ist schwierig, das Zielobjekt zu identifizieren.
-
In S13 wird bestimmt, ob die Bewegungsgeschwindigkeit der Kamera 2, die durch die Posenschätzungseinheit 15 geschätzt wurde, gleich oder größer als ein Schwellenwert thC ist oder nicht. Wenn die Bewegungsgeschwindigkeit der Kamera 2 kleiner ist als der Schwellenwert, bewegt sich die Kamera 2 langsam, und wenn die Bewegungsgeschwindigkeit gleich oder größer ist als der Schwellenwert, bewegt sich die Kamera 2 schnell.
-
Wenn in S13 bestimmt wird, dass die Bewegungsgeschwindigkeit der Kamera 2 kleiner ist als der Schwellenwert thC (Ja) erzeugt die Kamera-/Projektorsteuereinheit 17 ein Kamerasteuerimpuls (Steuersignal) der Kamera 2, so dass die Belichtungszeit in der Kamera 2 verlängert wird (S15). Außerdem erzeugt die Kamera-/Projektorsteuereinheit 17 ein Infrarotbestrahlungsimpuls (Steuersignal), so dass die Infrarotbestrahlungszeit im Projektor 3 gemäß der Änderung der Belichtungszeit in der Kamera 2 verlängert wird.
-
Ein Bild wird dann auf der Grundlage der erzeugten Steuersignale zum Zeitpunkt des Abbildens im nächsten Bildrahmen erfasst, und daher kann ein Musterbild 51, das nicht zu dunkel ist und eine höhere Zuverlässigkeit der Tiefeninformation aufweist, erhalten werden.
-
Hierbei ist es denkbar, die Leistung der zu bestrahlenden Infrarotstrahlen zu erhöhen, wenn das Bild dunkel ist, aber eine Erhöhung der Leistung der Infrarotstrahlen erhöht den Leistungsverbrauch. Daher ist es vorteilhaft, das Bild durch die Belichtungszeit zu steuern, wenn die Bewegung der Kamera 2 langsam ist, so dass es möglich ist, eine Erhöhung des Leistungsverbrauchs zu unterdrücken.
-
Wenn in S13 bestimmt wird, dass die Bewegungsgeschwindigkeit der Kamera 2 gleich oder größer ist als der Schwellenwert thC (Nein), erzeugt die Kamera-/Projektorsteuereinheit 17 ein Infrarotbestrahlungsimpuls des Projektors 3, so dass die Infrarotbestrahlungsleistung im Projektor 3 steigt (S16) .
-
Hierbei kann im Fall, in dem das Bild dunkel ist und die Bewegung der Kamera 2 schnell ist, ein Bild aufgenommen werden, das unscharf ist, wenn die Belichtungszeit verlängert ist. Daher ist es vorteilhaft, die Infrarotbestrahlungsleistung zu erhöhen. Folglich wird ein Bild auf der Grundlage der erzeugten Steuersignale beim Abbilden im nächsten Bildrahmen erfasst, und daher kann ein Musterbild 51, das nicht zu dunkel ist und eine höhere Zuverlässigkeit der Tiefeninformation aufweist, erhalten werden.
-
In S14 wird bestimmt, ob die Bewegungsgeschwindigkeit der Kamera 2, die durch die Posenschätzungseinheit 15 geschätzt wurde, gleich oder größer als der Schwellenwert thC ist oder nicht. Wenn die Bewegungsgeschwindigkeit der Kamera 2 kleiner ist als der Schwellenwert, bewegt sich die Kamera 2 langsam, und wenn die Bewegungsgeschwindigkeit gleich oder größer ist als der Schwellenwert, bewegt sich die Kamera 2 schnell.
-
Wenn in S14 bestimmt wird, dass die Bewegungsgeschwindigkeit der Kamera 2 kleiner ist als der Schwellenwert thC (Ja) erzeugt die Kamera-/Projektorsteuereinheit 17 einen Kamerasteuerimpuls (Steuersignal) der Kamera 2, so dass die Belichtungszeit in der Kamera 2 verkürzt wird (S17). Außerdem erzeugt die Kamera-/Projektorsteuereinheit 17 einen Infrarotbestrahlungsimpuls (Steuersignal), so dass die Infrarotbestrahlungszeit im Projektor 3 gemäß der Änderung der Belichtungszeit in der Kamera 2 verkürzt wird.
-
Folglich wird ein Bild auf der Grundlage der erzeugten Steuersignale beim Abbilden im nächsten Bildrahmen erfasst, und daher kann ein Musterbild 51, das nicht zu hell ist und eine höhere Zuverlässigkeit der Tiefeninformation aufweist, erhalten werden.
-
Wenn in S14 bestimmt wird, dass die Bewegungsgeschwindigkeit der Kamera 2 gleich oder größer ist als der Schwellenwert thC (Nein), erzeugt die Kamera-/Projektorsteuereinheit 17 einen Infrarotbestrahlungsimpuls des Projektors 3, so dass die Infrarotbestrahlungsleistung im Projektor 3 reduziert wird (S18).
-
Folglich wird ein Bild auf der Grundlage der erzeugten Steuersignale beim Abbilden im nächsten Bildrahmen erfasst, und daher kann ein Musterbild 51, das nicht zu hell ist und eine höhere Zuverlässigkeit der Tiefeninformation aufweist, erhalten werden.
-
Nach jedem Schritt von S15 bis S18 fährt die Verarbeitung mit S19 fort. Beim Abbilden im nächsten Rahmen werden die Kamera 2 und der Projektor 3 auf der Grundlage des in jedem Schritt von S15 bis S16 erzeugten Steuersignals zum Durchführen der Verarbeitung gesteuert.
-
Wie vorstehend beschrieben, wird die Berechnung der Tiefeninformation durch die Tiefenberechnungseinheit 14 unabhängig vom Ergebnis der Zuverlässigkeitsbestimmung durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs durchgeführt, aber die Tiefeninformation, die berechnet wird, wenn bestimmt wird, dass die Zuverlässigkeit hoch ist, wird für das Erzeugen eines Tiefenbildes, das Erzeugen einer Punktwolke und das Schätzen der Poseninformation für die Erzeugung der Punktwolke verwendet.
-
Andererseits wird die Tiefeninformation, die berechnet wird, wenn bestimmt wird, dass die Zuverlässigkeit niedrig ist, zum Erzeugen der Steuersignale verwendet, um die Kamera 2 und den Projektor 2 derart zu steuern, dass ein Musterbild, das eine höhere Zuverlässigkeit der Tiefeninformation aufweist, beim Abbilden im nächsten Rahmen erhalten wird.
-
Außerdem wird die Posenschätzung durch die Posenschätzungseinheit 15 unabhängig vom Ergebnis der Zuverlässigkeitsbestimmung durch die Zuverlässigkeitsbestimmungseinheit 13 des unterteilten Bereichs durchgeführt, aber die Poseninformation, die geschätzt wird, wenn bestimmt wird, dass die Zuverlässigkeit hoch ist, wird zum Erzeugen einer Punktwolke verwendet.
-
Andererseits wird die Poseninformation, die geschätzt wird, wenn bestimmt wird, dass die Zuverlässigkeit niedrig ist, zum Erzeugen der Steuersignale verwendet, um die Kamera 2 und den Projektor 3 derart zu steuern, dass ein Musterbild, das eine höhere Zuverlässigkeit der Tiefeninformation aufweist, beim Abbilden im nächsten Rahmen erhalten wird.
-
Wie vorstehend beschrieben, wird in dieser Ausführungsform die Zuverlässigkeit der Tiefeninformation des Musterbildes unter Verwendung des Differenzbildes bestimmt. Da die Tiefeninformation auf der Grundlage des Musterbildes, von dem bei der Zuverlässigkeitsbestimmung bestimmt wurde, dass es eine hohe Zuverlässigkeit der Tiefeninformation aufweist, berechnet wird, kann die Tiefeninformation mit einer hohen Genauigkeit des Zielobjekts erfasst werden.
-
Da die Poseninformation unter Verwendung des Interpolationsbildes, das dem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wird, erfasst wird, ist es außerdem möglich, ein Bild für eine Selbstpositionsschätzung (Interpolationsbild) und ein Bild für die Tiefeninformationsberechnung (Musterbild) zu erfassen, die als nicht zeitversetzt betrachtet werden. Außerdem wird die Zuverlässigkeit der Tiefeninformation unter Verwendung der Luminanzinformation des Differenzbildes zwischen dem Interpolationsbild und dem Musterbild, die als nicht zeitversetzt betrachtet werden, bestimmt. Dies ermöglicht es, die Tiefeninformation mit einer hohen Genauigkeit zu erfassen.
-
Außerdem ist es möglich, eine Punktwolke mit einer hohen Genauigkeit zu erzeugen, indem die Tiefeninformation und die Poseninformation mit einer hohen Genauigkeit verwendet werden.
-
Da die Luminanzinformation des Differenzbildes in dieser Ausführungsform verwendet wird, um die Belichtungszeit in der Kamera 2 oder die Bestrahlungsleistung des Infrarotzufallsmusterlichts (Bestrahlungsleistung der Infrarotlichtquelle) vom Projektor 3 beim Abbilden im nächsten Rahmen zu steuern, ist es außerdem möglich, ein Musterbild mit einer höheren Zuverlässigkeit der Tiefeninformation zu erhalten. Daher ist es möglich, die Tiefeninformation unter Verwendung eines Musterbildes mit einer hohen Zuverlässigkeit der Tiefeninformation zu berechnen, und die Tiefeninformation mit einer hohen Genauigkeit zu erfassen.
-
[Andere Ausführungsformen]
-
Die Ausführungsformen der vorliegenden Technologie sind nicht auf die vorstehend beschriebene Ausführungsform beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne vom Erfindungsgedanken der vorliegenden Technologie abzuweichen.
-
Zum Beispiel wird in der vorstehend beschriebenen Ausführungsform, wie in 2(A) dargestellt, die Kamera 2 derart gesteuert, dass der Verschluss dreimal in einer Rahmenbildperiode ausgelöst wird, und die Zeit der Infrarotbestrahlung des Projektors 3 wird derart gesteuert, dass die Infrarotbestrahlung durchgeführt wird, wenn der zweite Verschluss ausgelöst ist.
-
Dagegen kann, wie in 2(B) dargestellt, der Betrieb der Kamera 2 und des Projektors 3 derart gesteuert werden, dass der Verschluss zweimal im ersten Rahmen ausgelöst wird, um das erste Normalbild und das das Musterbild zu erfassen, und der Verschluss wird einmal im anschließenden zweiten Rahmen ausgelöst, um das zweite Normalbild zu erfassen.
-
Auf diese Weise muss mindestens eines von dem ersten Normalbild oder dem zweiten Normalbild lediglich innerhalb derselben Rahmenperiode erfasst werden wie das Musterbild, und das erste Normalbild, das Musterbild und das zweite Normalbild müssen lediglich in einer Sequenz aufgenommen werden.
-
In der vorstehend beschriebenen Ausführungsform wurde der Fall, in dem die Stereokamera als die Kamera 2 verwendet wird, beschrieben, aber es kann außerdem eine monokulare Kamera verwendet werden. Im Fall einer monokularen Kamera wird ein Anpassen zwischen einem Entwurf eines Infrarotmusters, das durch Bestrahlen eines Zielobjekts mit Infrarotstrahlen und Abbilden des Zielobjekts erhalten wird, und einem Entwurf eines festen Musters für jede Entfernung vom Zielobjekt im Voraus erfasst, und eine Tiefeninformation eines Zielbereichs oder eines Zielmerkmalpunkts im Musterbild kann berechnet werden.
-
Außerdem werden in der vorstehend beschriebenen Ausführungsform das erste Normalbild und das zweite Normalbild jeweils unmittelbar vor bzw. unmittelbar nach dem Musterbild erfasst, und das erste Normalbild, das Musterbild und das zweite Normalbild werden zeitlich kontinuierlich in einer Sequenz erfasst, aber die vorliegende Technologie ist nicht darauf beschränkt. Das erste Normalbild, das Musterbild und das zweite Normalbild müssen nicht zeitlich kontinuierlich in einer Sequenz erfasst werden.
-
Die Erfassung des ersten Normalbildes (des zweiten Normalbildes) und die Erfassung des Musterbildes können zeitlich voneinander getrennt sein. Es ist zumindest im Hinblick auf die Zeit ausreichend, das erste Normalbild vor der Erfassung des Musterbildes zu erfassen und das zweite Normalbild nach der Erfassung des Musterbildes zu erfassen.
-
Typischerweise werden, wie in der vorstehend beschriebenen Ausführungsform, das erste Normalbild und das zweite Normalbild jeweils unmittelbar vor bzw. unmittelbar nach dem Musterbild erfasst. Folglich kann ein Interpolationsbild mit einer hohen Genauigkeit erhalten werden.
-
In der vorstehend beschriebenen Ausführungsform wurde der Fall beschrieben, in dem eine Infrarotlichtquelle 32 auf dem Projektor 3 montiert ist, aber der Projektor kann außerdem eine Vielzahl von Infrarotlichtquellen aufweisen, wie in 7 dargestellt.
-
7 ist ein schematisches Diagramm eines Projektors 103, der eine Vielzahl von Infrarotlichtquellen aufweist, und ist ein Diagramm zum Beschreiben des Bestrahlungsbereichs des Infrarotzufallsmusterlichts 35 für jede Infrarotlichtquelle 32 im Musterbild 51.
-
Wie in 7 dargestellt, weist der Projektor 103 vier Infrarotlichtquellen 32a bis 32d auf. Der Projektor 103 emittiert Infrarotzufallsmusterlicht 35a bis 35c, das erzeugt wird, wenn die von den jeweiligen Infrarotlichtquellen 32a bis 32d emittierten Infrarotstrahlen durch die Zufallsmustermaske 33 verlaufen (siehe 1).
-
Es ist zu beachten, dass die Anzahl von Infrarotlichtquellen nicht auf eine oder vier beschränkt ist, aber eine einzelne Infrarotlichtquelle oder eine Vielzahl von Infrarotlichtquellen verwendet werden kann.
-
Die Infrarotlichtquellen 32A bis 32d werden als Infrarotlichtquelle 32 bezeichnet, sofern nicht anders angegeben. Das Gleiche gilt für das Infrarotzufallsmusterlicht 35a bis 25d und die Bestrahlungsbereiche 37a bis 37d, die später beschrieben werden. Das Infrarotzufallsmusterlicht 35a bis 35d und die Bestrahlungsbereiche 37a bis 37d werden jeweils als Infrarotzufallsmusterlicht 35 bzw. der Bestrahlungsbereich 37 bezeichnet, sofern nicht anders angegeben. Das Gleiche gilt für 8 und 9 unten.
-
Das Infrarotzufallsmusterlicht 35a bis 35d, das durch die Infrarotstrahlen erzeugt wird, die von den jeweiligen Infrarotlichtquellen 32a bis 32d emittiert werden, wird vom Projektor 103 emittiert. Wenn ein Zustand, in dem ein Zielobjekt mit dem emittierten Infrarotzufallsmusterlicht 35a bis 35d bestrahlt wird, abgebildet wird, wird ein Musterbild 51 erfasst.
-
Das Musterbild 51 weist die Bestrahlungsbereiche 37a bis 37 auf, die mit dem Infrarotzufallsmusterlicht 35a bis 35d bestrahlt werden, das von den jeweiligen Infrarotlichtquellen 32a bis 3d erzeugt wird. Die Bestrahlungsbereiche 37a bis 37d sind entlang einer Richtung angeordnet, und benachbarte Bestrahlungsbereiche überlappen sich teilweise.
-
Auf eine solche Weise kann der Projektor 103, der die Vielzahl von Infrarotlichtquellen 32 aufweist, verwendet werden, um die Musterlichtbestrahlungsbereiche im Musterbild 51 gemäß der Anordnung der Infrarotlichtquellen 32 einzustellen. Außerdem kann ein Einschalten und Ausschalten der Bestrahlung der Vielzahl von Infrarotlichtquellen 32 einzeln steuerbar sein.
-
Außerdem wird im Fall der Verwendung des Projektors, der die Vielzahl von Infrarotlichtquellen aufweist, wie vorstehend beschrieben, das Differenzbild auf der Grundlage des Musterbildes erzeugt, das unter Verwendung des Projektors 103 erfasst wurde. Dann wird die Zuverlässigkeitsbestimmung der Tiefeninformation für jeden aus der Vielzahl von unterteilten Bereichen, die durch Teilen des Differenzbildes in Gitter erhalten wurden, durchgeführt.
-
Als Folge der Zuverlässigkeitsbestimmung kann, wenn bestimmt wird, dass die Zuverlässigkeit der Tiefeninformation in allen der unterteilen Bereiche im Bestrahlungsbereich 37 einer bestimmten Infrarotlichtquelle 32 hoch ist, die Infrarotbestrahlung von der Infrarotlichtquelle 32 derart ausgelegt sein, dass die Bestrahlung zum Zeitpunkt des Abbildens im nächsten Rahmen ausgeschaltet wird und nicht durchgeführt wird. Dies wird nachstehend unter Bezugnahme auf 8 beschrieben.
-
Ähnlich 7 sind 8 und 9, die später beschrieben wird, schematische Diagramme des Projektors 103, der die vier Infrarotlichtquellen 32a bis 32d aufweist, und stellen ein Diagramm zum Beschreiben des Bestrahlungsbereichs 37 des Infrarotzufallsmusterlichts 35 für jede Infrarotlichtquelle 32 im Musterbild 51 dar. Außerdem sind 8 und 9 Diagramme zum Beschreiben, wie die Infrarotlichtquelle auf der Grundlage des Ergebnisses der Zuverlässigkeitsbestimmung gewählt wird, um die Infrarotbestrahlung beim Abbilden im nächsten Rahmen einzuschalten. Die Ausgestaltungen, die jenen ähnlich sind, die vorstehend beschrieben wurden, sind mit ähnlichen Bezugszeichen gekennzeichnet.
-
In 8 und 9, die später beschrieben wird, weist ein Musterbild 55, das durch Abbilden des Zielobjektes erhalten wird, das mit dem Infrarotzufallsmusterlicht 35a bis 35d bestrahlt wird, das unter Verwendung der von den Infrarotlichtquellen 32a bis 32d des Projektors 103 emittierten Infrarotstrahlen erzeugt wurde, Bestrahlungsbereiche 37a bis 37d des Infrarotzufallsmusterlichts auf.
-
Zur Vereinfachung zeigen 8 und 9, dass die Bestrahlungsbereiche 37a bis 37d jeweils eine rechteckige Form aufweisen, die eine Längsrichtung in der Vertikalrichtung in der Figur aufweist, und dass die benachbarten Bestrahlungsbereiche einander nicht überlappen.
-
Ein Differenzbild wird auf der Grundlage des bestrahlten Musterbildes 55 erzeugt. Das Differenzbild wird in Gitter unterteilt, und die Zuverlässigkeitsbestimmung der Tiefeninformation wird für jeden aus der Vielzahl von unterteilen Bereichen unter Verwendung der Luminanzinformation durchgeführt.
-
8 zeigt das Musterbild 55, in dem ein Ergebnis der Zuverlässigkeitsbestimmung widerspiegelt wird. In der Figur ist ein Punktmuster, in dem die Zuverlässigkeit durch die Dichte der Punkte ausgedrückt wird, dem Musterbild 55 überlagert. Die niedrigere Dichte der Punkte zeigt eine höhere Zuverlässigkeit der Tiefeninformation an, und die höhere Dichte der Punkte zeigt eine niedrigere Zuverlässigkeit der Tiefeninformation an.
-
Das in 8 dargestellte Musterbild 35 zeigt an, dass die Zuverlässigkeit der Tiefeninformation in den Bestrahlungsbereichen 37c und 37d hoch ist, und die Zuverlässigkeit der Tiefeninformation in den Bestrahlungsbereichen 37a und 37b niedrig ist. Hierbei wird angenommen, dass sich die Kamera 2 nicht bewegt.
-
Wie vorstehend beschrieben, werden die Infrarotlichtquellen 32c und 32c, die den Bestrahlungsbereichen 37c und 37d entsprechen, in denen die Zuverlässigkeit der Tiefeninformation hoch ist, derart gesteuert, dass die Bestrahlung zum Zeitpunkt des Abbildens im nächsten Rahmen ausgeschaltet wird.
-
Daher kann der Leistungsverbrauch reduziert werden.
-
Andererseits werden die Infrarotlichtquellen 32a und 32b, die den Bestrahlungsbereichen 37a und 37b entsprechen, in denen die Zuverlässigkeit der Tiefeninformation niedrig ist, derart gesteuert, dass die Bestrahlung zum Zeitpunkt des Abbildens im nächsten Rahmen eingeschaltet ist.
-
Unter Verwendung des Differenzbildes werden außerdem, wenn bestimmt wird, dass die Zuverlässigkeit der Tiefeninformation niedrig ist, die Steuersignale für die Belichtungszeit in der Kamera 2 und die Bestrahlungsleistung der Infrarotlichtquellen 32a und 32b des Projektors 103 erzeugt, wie vorstehend beschrieben, und beim Abbilden im nächsten Rahmen werden die Kamera 2 und der Projektor 3 auf der Grundlage der Steuersignale gesteuert, um ein Abbilden durchzuführen.
-
Auf diese Weise ist es unter Verwendung der Vielzahl von Infrarotlichtquellen möglich, einen Bereich im Musterbild zu bestimmen, der eine hochzuverlässige Tiefeninformation aufweist und für die Erzeugung einer Punktwolke oder dergleichen wirksam ist. Außerdem kann die Infrarotlichtquelle derart ausgewählt werden, dass die Infrarotbestrahlung in einem Bereich, in dem die Tiefeninformation hochzuverlässig ist und wirksam ist, zum Zeitpunkt des Abbildens im nächsten Rahmen ausgeschaltet wird, so dass der Leistungsverbrauch reduziert werden kann.
-
Unter Berücksichtigung der Bewegung der Kamera 2 kann sie außerdem ausgelegt werden, so dass die Infrarotlichtquelle 32 ausgewählt wird, die zum Zeitpunkt des Abbildens im nächsten Rahmen eingeschaltet wird. Dies wird nachstehend unter Bezugnahme auf die 9 beschrieben.
-
Wie vorstehend beschrieben, wird ein Differenzbild auf der Grundlage des Musterbildes 55 erzeugt, das mit Infrarotstrahlen, die vom Projektor 103 emittiert werden, bestrahlt wird. Das Differenzbild wird der Zuverlässigkeitsbestimmung der Tiefeninformation für jeden aus der Vielzahl von unterteilen Bereiche, die in Gitter unterteilt sind, unter Verwendung der Luminanzinformation unterzogen. In 9 wird ähnlich 8 ein Punktmuster, das die Zuverlässigkeit repräsentiert, dem Musterbild 55 überlagert, in dem ein Ergebnis der Zuverlässigkeitsbestimmung widerspiegelt ist.
-
In dem in 9 dargestellten Musterbild 35 ist die Zuverlässigkeit der Tiefeninformation in den Bestrahlungsbereichen 37c und 37d hoch, und die Zuverlässigkeit der Tiefeninformation in den Bestrahlungsbereichen 37a und 37b ist niedrig. Hierbei wird angenommen, dass sich die Kamera 2 von rechts nach links in der Figur bewegt.
-
Im Musterbild 55 von 9 werden, bei der Annahme, dass sich die Kamera 2 von rechts nach links bewegt, die Infrarotlichtquellen 32a bis 32c zum Emittieren des Infrarotzufallsmusterlichts derart ausgewählt, dass ein Musterbild eines Bereichs, das im Musterbild, das im Rahmen unmittelbar vor der Bewegung der Kamera 2 aufgenommen wurde, eine niedrige Zuverlässigkeit aufweist, erneut zum Zeitpunkt des Abbildens im nächsten Rahmens erfasst wird.
-
Wie vorstehend beschrieben, werden, wenn der Projektor die Vielzahl von Infrarotlichtquellen aufweist, die Bestrahlungsbereiche des Infrarotlichts gemäß der Anordnung der Infrarotlichtquellen eingestellt. Dann kann er derart ausgelegt werden, dass auf der Grundlage des Ergebnisses der Zuverlässigkeitsbestimmung der Tiefeninformation für jeden Bestrahlungsbereich, der mit dem Infrarotzufallsmusterlicht von jeder Infrarotlichtquelle bestrahlt wird, eine Infrarotlichtquelle, die die Infrarotbestrahlung durchführen soll, zum Zeitpunkt des Abbildens im nächsten Rahmens ausgewählt wird, d.h. der Bestrahlungsbereich des Infrarotzufallsmusterlichts eingestellt wird.
-
Neben der Ausgestaltung, in der die Vielzahl von Infrarotlichtquellen, die vorstehend beschrieben wurden, am Projektor montiert ist, kann er außerdem derart ausgelegt werden, dass der Bestrahlungsbereich ausgewählt wird, indem, als Verfahren zum Einstellen des Bestrahlungsbereichs des Infrarotzufallsmusterlichts gemäß dem Ergebnis der Zuverlässigkeitsbestimmung der Tiefeninformation, der Spiegel und die Linse, die am Projektor montiert sind, um das Licht zu sammeln, gesteuert werden.
-
Es ist zu beachten, dass die vorliegende Technologie die folgenden Ausgestaltungen annehmen kann.
- (1) Informationsverarbeitungsvorrichtung, aufweisend:
- eine Interpolationsbilderzeugungseinheit, die ein Interpolationsbild auf der Grundlage eines ersten Normalbildes und eines zweiten Normalbildes von dem ersten Normalbild, einem mit Infrarotmusterlicht bestrahlten Musterbild und dem zweiten Normalbild, wobei das Interpolationsbild einem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wurde;
- eine Differenzbilderzeugungseinheit, die ein Differenzbild zwischen dem Interpolationsbild und dem Musterbild erzeugt; und
- eine Tiefenberechnungseinheit, die Tiefeninformation unter Verwendung des Differenzbildes berechnet.
- (2) Informationsverarbeitungsvorrichtung nach (1), wobei:
- die Tiefenberechnungseinheit die Tiefeninformation aus dem Musterbild auf der Grundlage eines Ergebnisses einer Bestimmung von Zuverlässigkeit der Tiefeninformation im Musterbild berechnet, wobei die Tiefeninformation durch Verwenden des Differenzbildes bestimmt wird.
- (3) Informationsverarbeitungsvorrichtung nach (1) oder (2), ferner aufweisend:
- eine Zuverlässigkeitsbestimmungseinheit, die die Zuverlässigkeit der Tiefeninformation im Musterbild bestimmt, indem eine Luminanzinformation für jeden von unterteilten Bereichen, die durch Teilen des Differenzbildes in Gitter erzielt werden, verwendet wird.
- (4) Informationsverarbeitungsvorrichtung nach (3), wobei:
- Die Luminanzinformation ein Dispersionswert der Luminanz für jeden der unterteilten Bereiche ist.
- (5) Informationsverarbeitungsvorrichtung nach (3), wobei:
- die Luminanzinformation ein Dynamikbereich der Luminanz für jeden der unterteilten Bereiche ist.
- (6) Informationsverarbeitungsvorrichtung nach (3), wobei:
- die Luminanzinformation eine Raumfrequenz für jeden der unterteilten Bereiche ist.
- (7) Informationsverarbeitungsvorrichtung nach einem von (3) bis (6), wobei
ein Bestrahlungsbereich des Infrarotmusterlichts in einem Musterbild beim Abbilden für ein nächstes Musterbild gemäß einem Ergebnis der Bestimmung durch die Zuverlässigkeitsbestimmungseinheit eingestellt wird.
- (8) Informationsverarbeitungsvorrichtung nach (7), wobei:
- das Infrarotmusterlicht von einer Musterbestrahlungseinheit emittiert wird, die eine Vielzahl von Infrarotlichtquellen aufweist, und
- das Musterbild aufgenommen wird, wenn das Infrarotmusterlicht, das für jede aus der Vielzahl von Infrarotlichtquellen unterschiedliche Bestrahlungsbereiche aufweist, emittiert wird.
- (9) Informationsverarbeitungsvorrichtung nach einem von (1) bis (8), wobei
das erste Normalbild, das Musterbild und das zweite Normalbild durch eine Kamera aufgenommen werden, die ein Abbildungselement aufweist, und
die Informationsverarbeitungsvorrichtung ferner eine Belichtungssteuereinheit aufweist, die eine Belichtungszeit des Abbildungselement steuert, indem die Luminanzinformation für jeden der unterteilten Bereiche, die durch Teilen des Differenzbildes in Gitter erhalten werden, verwendet wird.
- (10) Informationsverarbeitungsvorrichtung nach einem von (1) bis (9), ferner aufweisend
eine Bestrahlungssteuereinheit, die eine Bestrahlungsleistung des Infrarotmusterlichts steuert, indem die Luminanzinformation für jeden der unterteilten Bereiche, die durch Teilen des Differenzbildes in Gitter erhalten werden, verwendet wird.
- (11) Informationsverarbeitungsvorrichtung nach einem von (1) bis (10), wobei
die Interpolationsbilderzeugungseinheit das Interpolationsbild auf der Grundlage des ersten Normalbildes, das unmittelbar vor der Aufnahme des Musterbildes aufgenommen wurde, und des zweiten Normalbildes, das unmittelbar nach der Aufnahme des Musterbildes aufgenommen wurde, erzeugt.
- (12) Informationsverarbeitungsvorrichtung nach einem von (1) bis (11), wobei
mindestens eines von dem ersten Normalbild oder dem zweiten Normalbild innerhalb einer selben Bildperiode wie das Musterbild erfasst wird.
- (13) Informationsverarbeitungsverfahren, aufweisend:
- Erfassen eines ersten Normalbildes, eines mit Infrarotmusterlicht bestrahlten Musterbildes und eines zweiten Normalbildes;
- Erzeugen eines Interpolationsbildes auf der Grundlage des ersten Normalbildes und des zweiten Normalbildes, wobei das Interpolationsbild einem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wurde;
- Erzeugen eines Differenzbildes zwischen dem Interpolationsbild und dem Musterbild; und
- Berechnen einer Tiefeninformation unter Verwendung des Differenzbildes.
- (14) Programm zum Veranlassen, dass eine Informationsverarbeitungsvorrichtung eine Verarbeitung durchführt, das die folgenden Schritte aufweist:
- Erfassen eines ersten Normalbildes, eines mit Infrarotmusterlicht bestrahlten Musterbildes und eines zweiten Normalbildes;
- Erzeugen eines Interpolationsbildes auf der Grundlage des ersten Normalbildes und des zweiten Normalbildes, wobei das Interpolationsbild einem Zeitpunkt entspricht, zu dem das Musterbild aufgenommen wurde;
- Erzeugen eines Differenzbildes zwischen dem Interpolationsbild und dem Musterbild; und
- Berechnen einer Tiefeninformation unter Verwendung des Differenzbildes.
-
Bezugszeichenliste
-
- 1
- Informationsverarbeitungsvorrichtung
- 2
- Kamera
- 3
- Projektor (Musterbestrahlungseinheit)
- 11
- Differenzbilderzeugungseinheit
- 12
- Interpolationsbilderzeugungseinheit
- 13
- Zuverlässigkeitsbestimmungseinheit eines unterteilen Bereichs (Zuverlässigkeitsbestimmungseinheit)
- 14
- Tiefenberechnungseinheit
- 23
- Abbildungselement
- 32, 32a bis 32d
- Infrarotlichtquelle
- 35
- Infrarotzufallsmusterlicht (Infrarotmusterlicht)
- 37a bis 37d
- Bestrahlungsbereich
- 41
- erstes Normalbild
- 42
- zweites Normalbild
- 51
- Musterbild
- 52
- Interpolationsbild
- 53
- Differenzbild
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
