DE112015006383T5 - Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren - Google Patents

Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren Download PDF

Info

Publication number
DE112015006383T5
DE112015006383T5 DE112015006383.8T DE112015006383T DE112015006383T5 DE 112015006383 T5 DE112015006383 T5 DE 112015006383T5 DE 112015006383 T DE112015006383 T DE 112015006383T DE 112015006383 T5 DE112015006383 T5 DE 112015006383T5
Authority
DE
Germany
Prior art keywords
pattern
unit
projected
distance image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112015006383.8T
Other languages
English (en)
Other versions
DE112015006383B4 (de
Inventor
Hiroaki Takao
Takeshi Misawa
Takeshi Kamiya
Tomonori Masuda
Koudai FUJITA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of DE112015006383T5 publication Critical patent/DE112015006383T5/de
Application granted granted Critical
Publication of DE112015006383B4 publication Critical patent/DE112015006383B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

Es werden eine Abstandsbild-Erfassungsvorrichtung und ein Abstandsbild-Erfassungsverfahren offenbart, die in der Lage sind, ein Muster, das von einer Hostvorrichtung projiziert wird, um ein Abstandsbild zu erfassen, selbst dann leicht zu identifizieren, wenn ein Muster von strukturiertem Licht gleichzeitig mit dem von der Hostvorrichtung projizierten Muster von einer weiteren Vorrichtung eingestrahlt wird, und die eine Verwendung im Handbetrieb, eine Verringerung der Größe der Hostvorrichtung und eine Verringerung der Kosten erzielen. Die Abstandsbild-Erfassungsvorrichtung (10) enthält eine Projektionseinheit (12), die ein erstes Muster von strukturiertem Licht projiziert, das in einer zweidimensionalen Weise in Bezug auf ein Objekt innerhalb eines Abstandsmessbereichs verteilt wird, eine Lichtmodulationseinheit (22), die das von der Projektionseinheit (12) projizierte erste Muster räumlich moduliert, eine Abbildungseinheit (14), die parallel zu und um eine Grundlinienlänge von der Projektionseinheit (12) versetzt bereitgestellt ist und ein Bild aufnimmt, das das erste Muster enthält, das von dem Objekt innerhalb des Abstandsmessbereichs reflektiert wird, eine Musterextraktionseinheit (20A), die das erste Muster, das von der Lichtmodulationseinheit (22) räumlich moduliert ist, aus dem von der Abbildungseinheit (14) aufgenommenen Bild extrahiert, und eine Abstandsbild-Erfassungseinheit (20B), die ein Abstandsbild, das einen Abstand von dem Objekt innerhalb des Abstandsmessbereichs angibt, basierend auf dem ersten Muster, das von der Musterextraktionseinheit (20A) extrahiert wird, erfasst.

Description

  • Hintergrund der Erfindung
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Abstandbild-Erfassungsvorrichtung und ein Abstandsbild-Erfassungsverfahren und insbesondere auf eine Technik zum Projizieren von strukturiertem Licht, das in einer zweidimensionalen Weise in Bezug auf ein Objekt innerhalb eines Abstandsmessbereichs verteilt ist, und Erfassen eines Abstandsbildes, das einen Abstand des Objekts angibt.
  • 2. Beschreibung des Standes der Technik
  • Bisher projiziert diese Art von Abstandsbild-Erfassungsvorrichtung ein Muster (Punktmuster) von strukturiertem Licht, das zweidimensional in Bezug auf ein Objekt innerhalb eines Abstandsmessbereichs von einer Projektionseinheit verteilt ist, bildet das Objekt mit einer Abbildungseinheit ab und erfasst ein erstes Bild, das das von dem Objekt reflektierte Punktmuster enthält. Ferner bildet die Abstandsbild-Erfassungsvorrichtung das Objekt mit der Abbildungseinheit ab, ohne ein Punktmuster aus der Projektionseinheit zu projizieren, und erfasst ein zweites Bild, das ein Hintergrund des Punktmusters sein soll. Dann wird das zweite Bild von dem ersten Bild subtrahiert und ein Subtraktionsergebnis (ein Bild mit nur dem Punktmuster) wird in einem Speicher gespeichert. Danach wird das Abstandsbild (dreidimensionale Abstandsinformationen) auf der Basis des in dem Speicher gespeicherten Subtraktionsergebnisses unter Verwendung eines Triangulationsverfahrens berechnet und erfasst ( JP2011-169701A ).
  • Es gibt jedoch einen Fall, in dem eine Abstandsmessung eines Objekts, das eine solche Größe aufweist, dass ein Abstandsbild nicht mit einer Abstandsbild-Erfassungsvorrichtung erfasst werden kann, gleichzeitig mit mehreren Abstandsbild-Erfassungsvorrichtungen durchgeführt werden sollte. Weiterhin kann ein Anwender selbst die Abstandsbild-Erfassungsvorrichtung verwenden, ohne zu wissen, dass eine andere Person die Abstandsbild-Erfassungsvorrichtung verwendet. Insbesondere in einem Fall, in dem ein Abstandsbild für andere Zwecke verwendet wird, ohne dass dies direkt angezeigt wird, oder dergleichen, und dem Anwender selbst nicht klar ist, dass die Abstandsbilderfassung durchgeführt wird, besteht eine hohe Wahrscheinlichkeit, dass die Abstandsbild-Erfassungsvorrichtung gleichzeitig an dem gleichen Ort verwendet wird. In einem Fall, in dem eine Abstandsmessung desselben Objekts gleichzeitig mit mehreren Abstandsbild-Erfassungsvorrichtungen durchgeführt wird, werden Punktmuster, die jeweils aus mehreren Abstandsbild-Erfassungsvorrichtungen projiziert werden, vermischt und es besteht insofern ein Problem, als ein Abstandsbild nicht erfasst werden kann.
  • In Andrew Maimone und Henry Fuchs, "Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion", IEEE Virtual Reality 2012 (Orange County, Kalifornien, USA, 4.–8. März 2012) wird, um dieses Problem zu lösen, ein Elektromotor (exzentrischer Motor) mit einer exzentrischen Last, die an einer rotierenden Welle fixiert ist, an einem unteren Abschnitt einer Abstandsbild-Erfassungsvorrichtung befestigt und der exzentrische Motor wird zu dem Zeitpunkt der Abbildung eines Objekts angetrieben, wodurch die gesamte Vorrichtung mit einer hohen Frequenz schwingt.
  • Dabei schwingen in der Abstandsbild-Erfassungsvorrichtung als Hostvorrichtung die Projektionseinheit und die Abbildungseinheit synchron. Aus diesem Grund wird das von der Hostvorrichtung projizierte Punktmuster ohne Unschärfe abgebildet, und das von einer weiteren Vorrichtung projizierte Punktmuster wird aufgrund der Schwingung der Abbildungseinheit mit Unschärfe abgebildet. Dabei werden das von der Hostvorrichtung projizierte Punktmuster und das von einer weiteren Vorrichtung projizierte Punktmuster identifiziert.
  • Zusammenfassung der Erfindung
  • Bei der Abstandsbild-Erfassungsvorrichtung, die in Andrew Maimone und Henry Fuchs, "Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion", IEEE Virtual Reality 2012 (Orange County, Kalifornien, USA, 4.–8. März 2012) beschrieben ist, ist es, da die gesamte Vorrichtung durch den exzentrischen Motor zum Schwingen gebracht wird, notwendig, die gesamte Vorrichtung mit einer speziellen Haltevorrichtung so zu halten, dass sie zum Schwingen fähig ist, und es besteht insofern ein Problem, als die Hostvorrichtung nicht für den Einsatz im Handbetrieb geeignet ist und Mängel hinsichtlich der Tragbarkeit aufweist.
  • In der Abstandsbild-Erfassungsvorrichtung, die Andrew Maimone und Henry Fuchs, "Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion", IEEE Virtual Reality 2012 (Orange County, Kalifornien, USA, 4.–8. März 2012) beschrieben ist, besteht da die gesamte Vorrichtung zum Schwingen mit hoher Frequenz gebracht wird, insofern ein Problem, als die Einrichtung (der exzentrische Motor), die bewirkt, dass die Hostvorrichtung schwingt, an Größe zunimmt und teuer wird, der Energieverbrauch zunimmt und Lärm erzeugt wird.
  • Im Allgemeinen besteht, obwohl eine Abbildungseinrichtung, die ein monochromes Bild oder ein Farbbild aufnimmt, in einer Abstandsbild-Erfassungsvorrichtung montiert ist, in dem Fall der in Andrew Maimone und Henry Fuchs, "Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion", IEEE Virtual Reality 2012 (Orange County, Kalifornien, USA, 4.–8. März 2012) beschriebenen Abstandsbild-Erfassungsvorrichtung dahingehend ein Problem, dass ein aufzunehmendes Bild unscharf ist, da die Abbildungseinrichtung zu dem Zeitpunkt der Erfassung des Abstandsbildes ebenfalls schwingt.
  • Die Erfindung ist unter Berücksichtigung einer derartigen Situation ersonnen worden und eine Aufgabe der Erfindung besteht darin, eine Abstandsbild-Erfassungsvorrichtung und ein Abstandsbild-Erfassungsverfahren zu schaffen, die in der Lage sind, ein Muster, das von einer Hostvorrichtung projiziert wird, um ein Abstandsbild zu erfassen, selbst dann leicht zu identifizieren, wenn ein Muster von strukturiertem Licht gleichzeitig mit dem von der Hostvorrichtung projizierten Muster von einer anderen Vorrichtung eingestrahlt wird, und die eine Verwendung im Handbetrieb, eine Verringerung der Größe der Hostvorrichtung und eine Verringerung der Kosten erreichen.
  • Um die oben beschriebene Aufgabe zu lösen, enthält eine Abstandsbild-Erfassungsvorrichtung gemäß einem Aspekt der Erfindung eine Projektionseinheit, die ein erstes Muster von strukturiertem Licht projiziert, das in einer zweidimensionalen Weise in Bezug auf ein Objekt innerhalb eines Abstandsmessbereichs verteilt ist, eine Lichtmodulationseinheit, die das von der Projektionseinheit projizierte erste Muster räumlich moduliert, eine Abbildungseinheit, die parallel zu und um eine Grundlinienlänge von der Projektionseinheit versetzt bereitgestellt ist und ein Bild aufnimmt, das das erste reflektierte Muster enthält, das von dem Objekt innerhalb des Abstandsmessbereichs reflektiert wird, eine Musterextraktionseinheit, die das erste Muster, das von der Lichtmodulationseinheit räumlich moduliert ist, aus dem von der Abbildungseinheit aufgenommenen Bild extrahiert, und eine Abstandsbild-Erfassungseinheit, die ein Abstandsbild erfasst, das einen Abstand von dem Objekt innerhalb des Abstandsmessbereichs basierend auf dem ersten Muster, das von der Musterextraktionseinheit extrahiert wird, angibt.
  • Gemäß dem Aspekt der Erfindung wird, da das erste Muster von strukturiertem Licht, das von der Projektionseinheit projiziert wird, räumlich durch die Lichtmodulationseinheit moduliert wird, das erste Muster, das durch die Abbildungseinheit abgebildet wird, zu einem unscharfen Muster, das der räumlichen Modulation durch die Lichtmodulationseinheit entspricht. Damit ist es selbst dann, wenn ein weiteres Muster von strukturiertem Licht von einer anderen Vorrichtung auf das gleiche Objekt projiziert wird, möglich, das erste Muster, das von der Hostvorrichtung projiziert wird, und ein weiteres Muster, das von einer weiteren Vorrichtung projiziert wird, zu identifizieren, um das Abstandsbild zu erhalten, das den Abstand des Objekts angibt. Da das erste Muster räumlich moduliert wird, ohne dass die Abbildungseinheit zum Schwingen gebracht wird, schwingt nicht die gesamte Abstandsbild-Erfassungsvorrichtung. Das heißt, da nicht die gesamte Vorrichtung vibriert, ist die Abstandsbild-Erfassungsvorrichtung im Handbetrieb verwendbar und weist eine hervorragende Tragbarkeit auf. In einem Fall, in dem eine Funktion einer Abbildungseinrichtung, die ein Farbbild aufnimmt, zu der Abstandsbild-Erfassungsvorrichtung hinzugefügt ist, ist es möglich, ein Farbbild ohne Rütteln gleichzeitig mit der Erfassung des Abstandsbildes zu erfassen.
  • Gemäß einem weiteren Aspekt der Erfindung ist es bevorzugt, dass die Abstandsbild-Erfassungsvorrichtung ferner eine Bestimmungseinheit enthält, die bestimmt, ob ein zweites Muster von strukturiertem Licht von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird oder nicht, und in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, moduliert die Lichtmodulationseinheit das erste Muster, das von der Projektionseinheit projiziert wird, räumlich. Das heißt, dass es in einem Fall, in dem bestimmt wird, dass das zweite Muster nicht von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, deshalb, da das erste Muster, das von der Projektionseinheit projiziert wird, nicht räumlich moduliert wird, möglich ist, das erste Muster ohne Unschärfe zu erfassen.
  • Gemäß einem weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass das erste Muster und das zweite Muster Punktmuster sind und die Bestimmungseinheit in einem Fall, in dem die Anzahl von Punkten eines Punktmusters, die aus dem von der Abbildungseinheit aufgenommenen Bild detektiert wird, die Anzahl von Punkten des von der Projektionseinheit projizierten ersten Musters übersteigt, bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass die Lichtmodulationseinheit eine Speichereinheit aufweist, die mehrere räumliche Modulationsmuster zum räumlichen Modulieren des ersten Musters speichert, die in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird und das erste Muster, das von der Projektionseinheit projiziert wird, und das zweite Muster, das von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, unidentifizierbar sind, ein räumliches Modulationsmuster zur Identifizierung gegenüber dem zweiten Muster, das von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, aus der Speichereinheit auswählt und das erste Muster, das von der Projektionseinheit projiziert wird, gemäß dem ausgewählten räumlichen Modulationsmuster räumlich moduliert.
  • In einem Fall, in dem eine weitere Abstandsbild-Erfassungsvorrichtung das zweite Muster mit dem gleichen Modulationsinhalt (räumlichen Modulationsmuster) wie die Hostvorrichtung räumlich moduliert, ist es nicht möglich, das erste Muster und das zweite Muster zu identifizieren. In diesem Fall wird das erste Muster gemäß dem räumlichen Modulationsmuster, das sich von dem räumlichen Modulationsmuster unterscheidet, mit dem eine weitere Abstandsbild-Erfassungsvorrichtung das zweite Muster räumlich moduliert, räumlich moduliert, wodurch das erste Muster und das zweite Muster identifiziert werden können.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bevorzugt, dass die Abstandsbild-Erfassungsvorrichtung ferner eine Bakeninformations-Empfangseinheit enthält, die von der weiteren Abstandsbild-Erfassungsvorrichtung übertragene Bakeninformationen empfängt, wobei die Bakeninformationen angeben, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, und in einem Fall, in dem die Bakeninformations-Empfangseinheit die Bakeninformationen empfängt, bestimmt die Bestimmungseinheit, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es in der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass die Bakeninformationen räumliche Modulationsinformationen enthalten, die einen Modulationsinhalt der räumlichen Modulation des zweiten Musters angeben, und die Lichtmodulationseinheit eine Speichereinheit aufweist, die mehrere räumliche Modulationsmuster mit unterschiedlichen Modulationsinhalten zum räumlichen Modulieren des ersten Musters speichert, die in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das zweite Muster von der anderen Abstandsbild-Erfassungsvorrichtung projiziert wird, und das erste Muster, das von der Projektionseinheit projiziert wird, und das zweite Muster, das von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, unidentifizierbar sind, ein räumliches Modulationsmuster zum Ermöglichen der Identifizierung des ersten Musters und des zweiten Musters aus der Speichereinheit auswählt und das erste Muster, das von der Projektionseinheit projiziert wird, gemäß dem ausgewählten räumlichen Modulationsmuster räumlich moduliert.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass die Lichtmodulationseinheit eine Speichereinheit aufweist, die mehrere räumliche Modulationsmuster mit unterschiedlichen Modulationsinhalten zum räumlichen Modulieren des ersten Musters speichert, das räumliche Modulationsmuster unter den mehreren räumlichen Modulationsmustern, die in der Speichereinheit in einer Reihenfolge oder in einer zufälligen Weise gespeichert sind, liest und das erste Muster, das von der Projektionseinheit projiziert wird, gemäß dem gelesenen räumlichen Modulationsmuster räumlich moduliert.
  • Eine Unschärfeform des ersten Musters durch das gelesene räumliche Modulationsmuster ist bekannt. Dementsprechend wird die Unschärfeform (das räumliche Modulationsmuster) des ersten Musters in einer Reihenfolge oder in einer zufälligen Weise geändert, wodurch es möglich ist, zu bestimmen, dass ein Muster mit einer Unschärfeform, die sich von der Unschärfeform des ersten Musters unterscheidet, ein Muster ist, das von einer weiteren Vorrichtung projiziert wird, und zwar selbst dann, wenn das von einer weiteren Vorrichtung projizierte Muster räumlich moduliert ist.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass die Lichtmodulationseinheit ein Vibrator ist, der die Projektionseinheit oder ein optisches Projektionssystem der Projektionseinheit zum Schwingen bringt. Da ein Ziel, das durch die Lichtmodulationseinheit zum Schwingen gebracht wird, verglichen mit der gesamten Abstandsbild-Erfassungsvorrichtung klein ist, können die Größe und Kosten der Lichtmodulationseinheit auch reduziert werden und es kann verhindert werden, dass sie eine Lärmquelle wird.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass der Vibrator ein piezoelektrisches Element oder ein Vibrator vom Schwingspulentyp ist.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass die Lichtmodulationseinheit eine digitale Mikrospiegeleinrichtung ist, die eine Mikrospiegelgruppe aufweist, in die das erste Muster, das von der Projektionseinheit projiziert wird, eintritt, und die Mikrospiegelgruppe zum Oszillieren bringt, um das erste Muster, das von der Mikrospiegelgruppe reflektiert wird, räumlich zu modulieren. Da die digitale Mikrospiegeleinrichtung das erste Muster räumlich moduliert, indem sie die Mikrospiegelgruppe zum Oszillieren bringt, ohne dass die Projektionseinheit oder dergleichen mechanisch schwingt, verursacht die digitale Mikrospiegeleinrichtung keine mechanische Schwingung und wird nicht zu einer Lärmquelle.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bevorzugt, dass die Abstandsbild-Erfassungsvorrichtung ferner eine Bereichsbestimmungseinheit enthält, die einen Überlappungsbereich bestimmt, in dem der Abstandsmessbereich, in dem das erste Muster projiziert wird, und ein Projektionsbereich eines zweiten Muster von strukturiertem Licht, das von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, sich überlappen, und die Lichtmodulationseinheit nur einen Mikrospiegel, der dem Überlappungsbereich entspricht, der von der Bereichsbestimmungseinheit unter der Mikrospiegelgruppe der digitalen Mikrospiegeleinrichtung bestimmt wird, zum Oszillieren bringt. Der Projektionsbereich des ersten Musters und der Projektionsbereich des zweiten Musters überlappen sich selten vollständig. Dementsprechend wird nur der dem Überlappungsbereich entsprechende Mikrospiegel zum Oszillieren gebracht, wodurch es möglich ist, eine Identifizierung des ersten Musters und des zweiten Musters zu ermöglichen. Da das erste Muster, das einem Nichtüberlappungsbereich entspricht, nicht räumlich moduliert wird, kann das erste Muster währenddessen als Muster ohne Unschärfe abgebildet werden.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass Licht des ersten Musters Nahinfrarotlicht ist und die Abbildungseinheit eine Empfindlichkeit gegenüber einer Wellenlängenbandbreite von zumindest Nahinfrarotlicht aufweist. Damit ist es in einem Fall, in dem die Abstandsbild-Erfassungsvorrichtung in einem Raum mit nur künstlicher Beleuchtung (Beleuchtung ohne Nahinfrarotlicht) verwendet wird oder in der Nacht verwendet wird, möglich, nur das erste Muster abzubilden. Auch wenn Nahinfrarotlicht in dem Umgebungslicht enthalten ist, ist es, da Nahinfrarotlicht aus dem Umgebungslicht ausreichend geringer ist als das erste zu projizierende Muster, möglich, das erste Muster beispielsweise durch Binarisierungsverarbeitung leicht zu extrahieren.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei der Abstandsbild-Erfassungsvorrichtung bevorzugt, dass die Abbildungseinheit einen Bildsensor aufweist, in dem ein erstes Lichtempfangselement mit einer Empfindlichkeit gegenüber einer Wellenlängenbandbreite von Nahinfrarotlicht und ein zweites Lichtempfangselement mit einer Empfindlichkeit gegenüber einer Wellenlängenbandbreite von sichtbarem Licht gemischt und zweidimensional angeordnet sind, die Musterextraktionseinheit das von der Lichtmodulationseinheit räumlich modulierte erste Muster aus einem von dem ersten Lichtempfangselement des Bildsensors erfassten Bild extrahiert und die Abstandsbild-Erfassungsvorrichtung ferner eine Vorrichtung zum Erzeugen von Bildern sichtbaren Lichts enthält, die ein Bild sichtbaren Lichts des Objekts innerhalb des Abstandsmessbereichs aus einem von dem zweiten Lichtempfangselement des Bildsensors erfassten Bild erzeugt. Damit ist es möglich, das Abstandsbild und das Bild sichtbaren Lichts auf der Basis des Ausgangssignals eines Bildsensors gleichzeitig mit dem gleichen Blickwinkel zu erfassen.
  • Ein Abstandsbild-Erfassungsverfahren gemäß einem nochmals weiteren Aspekt der Erfindung enthält einen Schritt eines Projizierens eines ersten Musters von strukturiertem Licht, das in einer zweidimensionalen Weise in Bezug auf ein Objekt in einem Abstandsmessbereich verteilt ist, aus einer Projektionseinheit, einen Schritt eines räumlichen Modulierens des aus der Projektionseinheit projizierten ersten Musters, einen Schritt eines Aufnehmens eines Bildes, das das erste Muster enthält, das von dem Objekt innerhalb des Abstandsmessbereichs reflektiert wird, mit einer Abbildungseinheit, die parallel zu und um eine Grundlinienlänge von der Projektionseinheit versetzt bereitgestellt ist, einen Schritt eines Extrahierens des räumlich modulierten ersten Musters auf der Basis des von der Abbildungseinheit aufgenommenen Bildes und einen Schritt eines Erfassens eines Abstandsbildes, das einen Abstand des Objekts innerhalb des Abstandsmessbereichs auf der Basis des extrahierten ersten Musters angibt.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bevorzugt, dass das Abstandsbild-Erfassungsverfahren ferner einen Schritt eines Bestimmens enthält, ob ein zweites Muster, das sich von dem ersten Muster unterscheidet, das von der Projektionseinheit projiziert wird, projiziert wird oder nicht, und in dem Schritt des räumlichen Modulierens des ersten Musters in einem Fall, in dem bestimmt wird, dass das zweite Muster projiziert wird, das erste Muster räumlich moduliert wird.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei dem Abstandsbild-Erfassungsverfahren bevorzugt, dass das erste Muster und das zweite Muster Punktmuster sind, und in dem Schritt des Bestimmens in einem Fall, in dem die Anzahl von Punkten eines Punktmusters, das aus dem von der Abbildungseinheit aufgenommenen Bild detektiert wird, die Anzahl von Punkten des ersten Musters übersteigt, bestimmt wird, dass das zweite Muster projiziert wird.
  • Gemäß einem nochmals weiteren Aspekt der Erfindung ist es bei dem Abstandsbild-Erfassungsverfahren bevorzugt, dass in dem Schritt des räumlichen Modulierens in einem Fall, in dem in dem Schritt des Bestimmens bestimmt wird, dass das zweite Muster projiziert wird, und das erste Muster und das zweite Muster unidentifizierbar sind, das erste Muster, das von der Projektionseinheit projiziert wird, gemäß einem räumlichen Modulationsmuster räumlich moduliert wird, um eine Identifizierung des ersten Musters und des zweiten Musters zu ermöglichen.
  • Gemäß der Erfindung ist es, da nur das erste Muster von strukturiertem Licht, das in Bezug auf das Objekt innerhalb des Abstandsmessbereichs projiziert wird, räumlich moduliert wird, auch dann, wenn dasselbe Objekt gleichzeitig mit dem ersten Muster mit einem weiteren Muster von strukturiertem Licht aus einer weiteren Vorrichtung bestrahlt wird, möglich, ein Abstandsbild, das einen Abstand des Objekts angibt, durch einfaches Identifizieren des ersten Musters, das von der Hostvorrichtung projiziert wird, zu erfassen. Da insbesondere nicht die gesamte Vorrichtung schwingt, ist es möglich, die Verwendung in einem Handbetrieb zu ermöglichen und eine Verkleinerung der Hostvorrichtung und eine Verringerung der Kosten zu verwirklichen.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist eine Darstellung eines Erscheinungsbildes, das eine erste Ausführungsform einer Abstandsbild-Erfassungsvorrichtung 10 gemäß der Erfindung zeigt.
  • 2 ist eine Darstellung, die das Prinzip der Abstandsbilderfassung in der Abstandsbild-Erfassungsvorrichtung veranschaulicht.
  • 3 ist ein Blockdiagramm, das ein Beispiel der internen Konfiguration der Abstandsbild-Erfassungsvorrichtung zeigt.
  • 4 ist ein Konfigurationsdiagramm, das einen Hauptteil einer ersten Ausführungsform einer Lichtmodulationseinheit zeigt.
  • 5 ist eine Darstellung, die die Konfiguration einer Projektionseinheit zeigt, die eine zweite Ausführungsform einer Lichtmodulationseinheit enthält.
  • 6 ist eine perspektivische Ansicht, die die Konfiguration einer digitalen Mikrospiegeleinrichtung zeigt.
  • 7 ist eine Darstellung, die ein Beispiel eines Nahinfrarotbildes zeigt, das von einer Abbildungseinheit aufgenommen wird und ein Bild ist, das ein erstes Punktmuster enthält, das von einem Objekt innerhalb eines Abstandsmessbereichs reflektiert wird.
  • 8 ist eine Darstellung, die ein Beispiel eines Nahinfrarotbildes zeigt, das von der Abbildungseinheit aufgenommen wird und ein Bild ist, das ein erstes Punktmuster, das von der Hostvorrichtung projiziert wird, und ein zweites Punktmuster, das von einer weiteren Vorrichtung projiziert wird, enthält.
  • 9 ist eine Darstellung, die ein Nahinfrarotbild zeigt, das das erste Punktmuster und das zweite Punktmuster, die in 8 gezeigt sind, enthält und ein Bild ist, das in einem Zustand aufgenommen ist, in dem eine Projektionslinse durch die Lichtmodulationseinheit in einer Aufwärts-Abwärts-Richtung zum Schwingen gebracht wird.
  • 10 ist eine Darstellung, die ein Nahinfrarotbild zeigt, das das erste Punktmuster und das zweite Punktmuster, die in 8 gezeigt sind, enthält und ein Bild ist, in dem das zweite Punktmuster räumlich moduliert ist.
  • 11 ist eine Darstellung, die ein Nahinfrarotbild zeigt, das ein erstes Punktmuster und ein zweites Punktmuster enthält und ein Bild ist, in dem ein zweites Punktmuster unter zweiten Punktmustern, die jeweils von zwei weiteren Vorrichtungen projiziert werden, räumlich moduliert ist.
  • 12 ist ein Ablaufdiagramm, das eine erste Ausführungsform eines Abstandsbild-Erfassungsverfahrens gemäß der Erfindung zeigt.
  • 13 ist ein Ablaufdiagramm, das eine zweite Ausführungsform eines Abstandsbild-Erfassungsverfahrens gemäß der Erfindung zeigt.
  • 14A und 14B sind Darstellungen, die eine weitere Ausführungsform eines Bildsensors veranschaulichen, der auf die Abstandsbild-Erfassungsvorrichtung gemäß der Erfindung anwendbar ist.
  • 15 ist eine perspektivische Ansicht, die das Erscheinungsbild eines Smartphones zeigt, das eine Ausführungsform der Abstandsbild-Erfassungsvorrichtung ist.
  • 16 ist ein Blockdiagramm, das die Konfiguration des Smartphones zeigt.
  • Beschreibung der bevorzugten Ausführungsformen
  • Nachfolgend wird eine Ausführungsform einer Abstandsbild-Erfassungsvorrichtung und eines Abstandsbild-Erfassungsverfahrens gemäß der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
  • [Abstandsbild-Erfassungsvorrichtung]
  • 1 ist eine Darstellung eines Erscheinungsbildes, das eine erste Ausführungsform einer Abstandsbild-Erfassungsvorrichtung 10 gemäß der Erfindung zeigt.
  • Wie in 1 gezeigt weist die Abstandsbild-Erfassungsvorrichtung 10 eine Projektionseinheit 12 und eine Abbildungseinheit 14 auf. Wie im Folgenden im Einzelnen beschrieben wird, erfasst die Abstandsbild-Erfassungsvorrichtung 10 in einem Fall, in dem ein Abbildungsbefehl, der durch Betätigung des Verschlussknopfes 11 eingegeben wird, ausgeführt wird, ein Abstandsbild, das einen Abstand (Tiefeninformationen) eines Objekts in einem Abbildungsbereich (Abstandsmessbereich) angibt.
  • Die Abstandsbild-Erfassungsvorrichtung 10 weist einen Standbildmodus, in dem ein Abstandsbild für ein Einzelbild wie bei einer Standbildaufnahme erfasst wird, und einen Videomodus, in dem ein Abstandsbild, das kontinuierlich mit einer vorbestimmten Bildrate (beispielsweise 30 Einzelbilder/Sekunde, 60 Einzelbilder/Sekunde) wie bei einer Videoaufnahme erfasst wird, auf. Der Standbildmodus und der Videomodus können durch eine Bedienung einer Modusauswahleinheit einer Bedieneinheit 28 (3) entsprechend ausgewählt werden. Dann wird in einem Fall, in dem ein Verschlussknopf 11 mit einem Druck betätigt wird, wenn der Standbildmodus ausgewählt ist, ein Abstandsbild für ein Einzelbild erfasst. In einem Fall, in dem der Verschlussknopf 11 mit einem Druck betätigt wird, wenn der Videomodus ausgewählt ist, wird eine kontinuierliche Erfassung eines Abstandsbildes mit einer vorbestimmten Bildrate begonnen, und in einem Fall, in dem der Verschlussknopf 11 mit einem Druck erneut betätigt wird, wird die Abstandsbilderfassung gestoppt.
  • 2 ist eine Darstellung, die das Prinzip der Abstandsbilderfassung in der Abstandsbild-Erfassungsvorrichtung veranschaulicht.
  • Wie in 2 gezeigt projiziert die Projektionseinheit 12 zu dem Zeitpunkt der Erfassung des Abstandsbildes ein Muster (erstes Muster) von strukturiertem Licht, das in einer zweidimensionalen Weise in Bezug auf ein Objekt innerhalb eines Abstandsmessbereichs verteilt ist. In dieser Ausführungsform wird als das erste Muster von strukturiertem Licht ein matrixförmiges Punktmuster auf das Objekt projiziert. Nachfolgend wird das erste Muster von strukturiertem Licht, das von der Projektionseinheit 12 projiziert wird, als "erstes Punktmuster" bezeichnet.
  • Die Abbildungseinheit 14 nimmt ein Bild auf, das das erste Punktmuster enthält, das von dem Objekt reflektiert wird. Wie in 2 gezeigt ist die Abbildungseinheit 14 parallel zu und um eine Grundlinienlänge L von der Projektionseinheit 12 versetzt bereitgestellt, und eine Parallaxe gemäß dem Abstand des Objekts wird zwischen den entsprechenden Punkten des ersten Punktmusters. das von der Projektionseinheit 12 projiziert wird, und dem ersten Punktmuster, das durch die Abbildungseinheit 14 abgebildet wird, erzeugt. Dementsprechend ist es möglich, das Abstandsbild, das den Abstand des Objekts angibt, unter Verwendung eines Triangulationsverfahrens auf der Basis einer Lichtempfangsposition (nicht gezeigt) jedes Punktes des ersten Punktmusters, das von der Projektionseinheit 12 auf einen von der Abbildungseinheit 14 abgebildeten Bildsensor projiziert wird, zu erfassen.
  • Obwohl die Projektionseinheit 12 dieser Ausführungsform wie in 2 und 8 gezeigt das matrixförmige erste Punktmuster projiziert, ist die Erfindung nicht darauf beschränkt, und die Projektionseinheit 12 kann ein Punktmuster, in dem ein Punktintervall zufällig (pseudozufällig) oder ein maschenförmiges Muster ist, projizieren.
  • 3 ist ein Blockdiagramm, das ein Beispiel der internen Konfiguration der Abstandsbild-Erfassungsvorrichtung zeigt.
  • Die in 3 gezeigte Abstandsbild-Erfassungsvorrichtung 10 enthält zusätzlich zu der Projektionseinheit 12 und der Abbildungseinheit 14, die oben beschrieben sind, einen Analog/Digital-Umsetzer (A/D-Umsetzer) 16, eine Schnittstellenschaltung 18, eine zentrale Verarbeitungseinheit (CPU) 20, eine Lichtmodulationseinheit 22, eine Ansteuereinheit 26, eine Bedienungseinheit 28 und eine Kommunikationseinheit 30.
  • Die Projektionseinheit 12 weist eine Nahinfrarot-Leuchtdiode (Nahinfrarot-LED) 12A, ein optisches Beugungselement 12B und eine Projektionslinse 12C auf, die als ein optisches Projektionssystem fungieren.
  • Das optische Beugungselement 12B fungiert als ein Element, das eine Lichtintensitätsverteilung unter Verwendung eines Lichtbeugungsphänomens umwandelt. In diesem Beispiel tritt Nahinfrarotlicht, das von der Nahinfrarot-LED 12A emittiert wird, in das optische Beugungselement 12B ein und das optische Beugungselement 12B wandelt Nahinfrarotlicht in das in 2 gezeigte matrixförmige erste Punktmuster um. Die Projektionslinse 12C projiziert das erste Punktmuster aus Nahinfrarotlicht, das durch das optische Beugungselement 12B umgewandelt wird, auf das Objekt innerhalb des Abstandsmessbereichs, der dem Abbildungsbereich (Abstandsmessbereich) der Abbildungseinheit 14 entspricht.
  • Die Abbildungseinheit 14 besteht aus einer Abbildungslinse 14A und einem Bildsensor 14B. Die Abbildungslinse 14A bildet reflektiertes Licht (ein Lichtbild, das das erste Punktmuster enthält, das von der Projektionseinheit 12 projiziert und von dem Objekt reflektiert wird) von dem Objekt auf dem Bildsensor 14B ab.
  • Der Bildsensor 14B besteht aus einem Komplementär-Metall-Oxid-Halbleiter-Treiber (CMOS-Treiber), der einen vertikalen Treiber, einen horizontalen Treiber und dergleichen aufweist, und einem CMOS-Bildsensor, der von einem Zeitvorgabengenerator angesteuert wird. Der Bildsensor 14B ist nicht auf einen CMOS-Typ beschränkt und kann ein Bildsensor vom XY-Adresstyp oder Typ ladungsgekoppelte Vorrichtung (CCD) sein.
  • Der Bildsensor 14B weist mehrere Lichtempfangselemente (Photodioden) auf, die in zweidimensionaler Weise angeordnet sind, und ist auf einer Einfallsfläche mehrerer Lichtempfangselemente mit einem Bandpassfilter, das nur eine Wellenlängenbandbreite des ersten Punktmusters von Nahinfrarotlicht, das von der Projektionseinheit 12 projiziert wird, durchlässt, oder einem Filter zum Sperren von sichtbarem Licht, das sichtbares Licht beseitigt, versehen. Damit fungieren mehrere Lichtempfangselemente des Bildsensors 14B als Pixel mit Empfindlichkeit gegenüber Nahinfrarotlicht.
  • In dem Bildsensor 14B wird eine Belichtungsperiode gemäß einem Taktsignal (Verschlusssteuersignal) gesteuert, das von dem Taktgenerator (nicht gezeigt) angelegt wird, und eine elektrische Ladung, die der Menge des Nahinfrarotlichts entspricht, das in der Belichtungszeitspanne eintritt, wird in jedem Lichtempfangselement des Bildsensors 14B gesammelt. Dann wird ein Pixelsignal (ein analoges Signal, das der in jedem Pixel gesammelten elektrischen Ladung entspricht) entsprechend der Menge des einfallenden Lichts des ersten Punktmusters, das von dem Objekt reflektiert wird, aus dem Bildsensor 14B gelesen. In einem Fall, in dem das Objekt mit Umgebungslicht bestrahlt wird und eine Komponente in der Wellenlängenbandbreite von Nahinfrarotlicht in dem Umgebungslicht enthalten ist, ist die Komponente in der Wellenlängenbandbreite von Nahinfrarotlicht aus dem Umgebungslicht in dem Pixelsignal als Rauschsignal enthalten.
  • Das aus dem Bildsensor 14B ausgelesene analoge Signal wird durch den A/D-Umsetzer 16 in ein digitales Signal (Bilddaten) umgesetzt und über die Schnittstellenschaltung 18, die als Bildeingangscontroller fungiert, in die CPU 20 geladen. Ein CMOS-Bildsensor kann einen A/D-Umsetzer enthalten und in diesem Fall kann der A/D-Umsetzer 16 entfallen.
  • Wie nachfolgend im Einzelnen beschrieben hat die CPU 20 eine Funktion als Vorrichtungssteuereinheit, die eine Belichtungssteuerung der Abstandsbild-Erfassungsvorrichtung 10 durchführt und die jeweiligen Einheiten wie beispielsweise die Lichtmodulationseinheit 22 und die Ansteuereinheit 26 gemäß einer Befehlseingabe an der Bedienungseinheit 28 integral steuert, und eine Funktion als Musterextraktionseinheit 20A, Abstandsbild-Erfassungseinheit 20B und Bestimmungseinheit 20C.
  • Die Musterextraktionseinheit 20A ist ein Teil, der das erste Punktmuster aus den durch die Schnittstellenschaltung 18 eingespeisten Bilddaten extrahiert. Zum Beispiel extrahiert die Musterextraktionseinheit 20A Bilddaten (binäre Bilddaten), die nur das erste Punktmuster angeben, durch Festlegen eines geeigneten Schwellenwerts und Binarisieren von Eingangsbilddaten auf der Basis des Schwellenwerts.
  • Die Abstandsbild-Erfassungseinheit 20B erhält die Position (beispielsweise die Position des Schwerpunkts jedes Punktes) jedes Punktes des ersten Punktmusters auf dem Bildsensor 14B auf der Basis von binären Bilddaten des ersten Punktmusters, die durch die Musterextraktionseinheit 20A extrahiert werden, berechnet den Abstand des Objekts für jeden Punkt auf der Basis der erhaltenen Position jedes Punktes des ersten Punktmusters auf dem Bildsensor 14B und erfasst somit das Abstandsbild, das den Abstand von des Objekts innerhalb des Abstandsmessbereichs angibt. Während das Abstandsbild zweidimensionale Abstandsinformationen enthält, die den Abstand des Objekts innerhalb des Abstandsmessbereichs angeben, kann das Abstandsbild durch Ersetzen der Abstandsinformationen durch Helligkeitswerte oder Farbinformationen, die dem Abstand entsprechen, visuell als Bild erkannt werden.
  • Die Bestimmungseinheit 20C ist ein Teil, der bestimmt, ob ein Muster (zweites Muster) von strukturiertem Licht aus einer weiteren Abstandsbild-Erfassungsvorrichtung (nachfolgend einfach als "weitere Vorrichtung" bezeichnet) projiziert wird oder nicht. In einem Fall, in dem das zweite Muster aus einer weiteren Vorrichtung projiziert wird und das zweite Muster ein Punktmuster (zweites Punktmuster) wie das erste Punktmuster ist, ist es nicht möglich, zu identifizieren, ob das durch die Musterextraktionseinheit 20A extrahierte Punktmuster das erste Punktmuster, das von der Hostvorrichtung projiziert wird, oder das zweite Punktmuster, das von einer weiteren Vorrichtung projiziert wird, ist.
  • Die Bestimmungseinheit 20C zählt die Anzahl von Punkten des durch die Musterextraktionseinheit 20A extrahierten Punktmusters und in einem Fall, in dem die gezählte Anzahl von Punkten die Anzahl von Punkten des ersten Punktmusters übersteigt, kann bestimmt werden, dass das zweite Punktmuster von einer weiteren Vorrichtung projiziert wird.
  • Die Kommunikationseinheit 30 ist eine drahtlose Kurzstrecken-Kommunikationseinheit, die eine drahtlose Kommunikation mit einer weiteren Vorrichtung oder einem Zugangspunkt durchführt und als eine Bakeninformations-Empfangseinheit fungiert, die direkt von einer weiteren Vorrichtung oder über den Zugangspunkt gesendete Bakeninformationen empfängt. Die Bestimmungseinheit 20C kann gemäß einem Empfangsergebnis der Bakeninformationen aus der Kommunikationseinheit 30 bestimmen, ob eine weitere Vorrichtung innerhalb einer Kommunikationsreichweite vorhanden ist oder nicht (d. h., ob das zweite Punktmuster von einer weiteren Vorrichtung projiziert wird oder nicht). Bakeninformationen können Informationen, die das Muster (das zweite Punktmuster, das dem zweiten Muster entspricht) von strukturiertem Licht, das von einer weiteren Vorrichtung projiziert wird, angeben, und in einem Fall, in dem das zweite Punktmuster wie unten beschrieben räumlich moduliert ist, räumliche Modulationsinformationen, die einen Modulationsinhalt der räumlichen Modulation angeben, enthalten. In diesem Fall kann die Bestimmungseinheit 20C Informationen (die Form des zweiten Punktmusters, die Informationen zur räumlichen Modulation, die den Modulationsinhalt der räumlichen Modulation angeben, oder dergleichen), die sich auf das zweite Punktmuster beziehen, das von einer weiteren Vorrichtung projiziert wird, auf der Basis der Bakeninformationen, die über die Kommunikationseinheit 30 empfangen werden erfassen.
  • In einem Fall, in dem das zweite Punktmuster von einer weiteren Vorrichtung in Bezug auf dasselbe Objekt projiziert wird, extrahiert die Musterextraktionseinheit 20A das erste Punktmuster, das von der Hostvorrichtung projiziert wird, und das zweite Punktmuster, das von einer weiteren Vorrichtung projiziert wird. Unterdessen ist es in diesem Fall dann, wenn das erste Punktmuster und das zweite Punktmuster die gleiche Form haben (beispielsweise ein kreisförmiger Punkt), nicht möglich, beide Punktmuster zu identifizieren.
  • Dementsprechend gibt die CPU 20 in einem Fall, in dem die Musterextraktionseinheit 20A nicht in der Lage ist, das erste Muster und das zweite Muster zu identifizieren, einen Modulationsbefehl oder dergleichen an die Lichtmodulationseinheit 22 aus, um das erste Muster (das erste Punktmuster), das von der Projektionseinheit 12 der Hostvorrichtung projiziert wird, räumlich zu modulieren.
  • Die Lichtmodulationseinheit 22 moduliert das erste von der Projektionseinheit 12 projizierte Punktmuster räumlich. Es ist bevorzugt, dass die Lichtmodulationseinheit 22 eine Speichereinheit 24 enthält, die mehrere räumliche Modulationsmuster zum räumlichen Modulieren des ersten Punktmusters speichert, das räumliche Modulationsmuster aus der Speichereinheit 24 auswählt, um eine Identifizierung gegenüber dem zweiten Punktmuster zu ermöglichen, das von einer weiteren Vorrichtung projiziert wird, und das erste Punktmuster, das von der Projektionseinheit 12 projiziert wird, gemäß dem ausgewählten räumlichen Modulationsmuster räumlich moduliert.
  • Die Bedienungseinheit 28 enthält einen Leistungsschalter, den Verschlussknopf 11, die Modusauswahleinheit und dergleichen und eine Befehlseingabe bei der Bedienungseinheit 28 wird auf die CPU 20 angewendet. Die Kommunikationseinheit 30 ist ein Teil, der eine drahtlose Kurzstreckenkommunikation mit anderen Peripheriegeräten oder einem Zugangspunkt durchführt und in diesem Beispiel das Senden und Empfangen der Bakeninformationen und dergleichen mit der anderen Abstandsbild-Erfassungsvorrichtung durchführt.
  • [Lichtmodulationseinheit]
  • Als Nächstes wird eine Lichtmodulationseinheit 22 einer ersten Ausführungsform im Einzelnen beschrieben. Die Lichtmodulationseinheit 22 der ersten Ausführungsform enthält einen Vibrator, der die Projektionseinheit 12 oder die Projektionslinse 12C zum Schwingen bringt.
  • 4 ist ein Konfigurationsdiagramm, das einen Hauptteil der ersten Ausführungsform der Lichtmodulationseinheit 22 zeigt und insbesondere einen Schwingungsmechanismus zeigt, der die Projektionslinse 12C mit einer hohen Frequenz in einer horizontalen Richtung (x-Richtung) und einer vertikalen Richtung (y-Richtung), die orthogonal zu einer Richtung der optischen Achse (z-Richtung) sind, zum Schwingen bringt.
  • Der Schwingungsmechanismus der in 4 gezeigten Lichtmodulationseinheit 22 hat die gleiche Konfiguration wie ein Kamerawackelkorrekturmechanismus, der auf eine allgemeine Kamera angewendet wird, und besteht hauptsächlich aus einem durch eine Hauptführungswelle 102, die in einem Basiselement 100 vorgesehen ist, und einer Drehstoppführungswelle 104 in der x-Richtung beweglich geführten Gleitelement 106 und einem durch eine Unterführungswelle 108, die in dem Gleitelement 106 vorgesehen ist, und eine Drehstoppführungswelle 110 in der y-Richtung beweglich geführten beweglichen Element 112, Schwingspulen-Vibratoren 114 und 116 mit einem Magneten, der auf der Seite des Basiselements 100 fixiert ist, und einer Spule, die auf der Seite des beweglichen Elements 112 befestigt ist, und einer Leiterplatte 118, die ein Ansteuersignal an die Schwingspulen-Vibratoren 114 und 116 liefert. Die Projektionslinse der Projektionseinheit 12 wird durch das bewegliche Element 112 gehalten.
  • In einem Fall, in dem das Hochfrequenz-Ansteuersignal durch die Leiterplatte 118 angelegt wird, bringt der Schwingspulen-Vibrator 114 das Gleitelement 106 und das bewegliche Element 112 in der x-Richtung zum Schwingen. In einem Fall, in dem das Hochfrequenz-Ansteuersignal durch die Leiterplatte 118 angelegt wird, bringt der Schwingspulentyp-Vibrator 116 das bewegliche Element 112 in der y-Richtung zum Schwingen.
  • Das heißt, dass in einem Fall, in dem das bewegliche Element 112 durch den Schwingspulen-Vibrator 114 oder 116 in x-Richtung oder in y-Richtung schwingt, die Projektionslinse zusammen mit dem beweglichen Element 112 in x-Richtung oder in y-Richtung schwingt und somit das erste Punktmuster, das von der Projektionslinse 12C projiziert wird, in x-Richtung oder in y-Richtung zum Schwingen gebracht wird (räumlich moduliert wird).
  • Obwohl die Lichtmodulationseinheit 22 der ersten Ausführungsform den Schwingspulen-Vibrator 114 oder 116 als Vibrator verwendet, der die Projektionslinse 12C vibriert, ist die Erfindung nicht darauf beschränkt und beispielsweise kann ein piezoelektrisches Element benutzt werden.
  • 5 ist eine Darstellung, die die Konfiguration einer Projektionseinheit 12 zeigt, die eine zweite Ausführungsform einer Lichtmodulationseinheit 22 enthält. In 5 sind Teile, die von der in 3 gezeigten Projektionseinheit 12 geteilt werden, durch dieselben Bezugszeichen dargestellt und eine genaue Beschreibung davon wird nicht wiederholt.
  • Die Lichtmodulationseinheit 22 der zweiten Ausführungsform besteht hauptsächlich aus einer digitalen Mikrospiegeleinrichtung (DMD) 200. Nahinfrarotlicht, das von der Nahinfrarot-LED 12A emittiert wird, wird durch eine Kollimatorlinse 210 zu parallelem Licht korrigiert, tritt in das optische Beugungselement 12B ein und wird in dem optischen Beugungselement 12B in das matrixförmige erste Punktmuster umgewandelt. Jeder Punkt des ersten Punktmusters aus Nahinfrarotlicht, das durch das optische Beugungselement 12B umgewandelt wird, tritt über einen Reflexionsspiegel 220 in einen Mikrospiegel 200A (siehe 6) ein, der die DMD 200 bildet.
  • 6 ist eine perspektivische Ansicht, die die Konfiguration der DMD 200 zeigt. Wie in 6 gezeigt besteht die DMD 200 aus einer Mikrospiegelgruppe, in der eine große Anzahl (im Wesentlichen gleich der Anzahl von Punkten des ersten Punktmusters) der Mikrospiegel 200A in einer Gitterform angeordnet sind. Jeder Mikrospiegel 200A stützt sich auf einer Speicherzelle 202 am, die aus einem Silizium-Gate-CMOS, der vorübergehend Ansteuerinformation des Mikrospiegels speichert, einer Säule mit einem Gelenk und einem Joch besteht (nicht gezeigt). Ein Material mit hohem Reflexionsgrad wie etwa Aluminium wird auf der Oberfläche des Mikrospiegels 200A abgeschieden, um eine lichtreflektierende Oberfläche zu bilden. Das erste Punktmuster, das von jedem Mikrospiegel 200A reflektiert wird, wird durch die DMD 200 räumlich moduliert und wird dann durch die Projektionslinse 12C auf das Objekt innerhalb des Abstandsmessbereichs projiziert.
  • Die als Lichtmodulationseinheit 22 der zweiten Ausführungsform fungierende DMD 200 kann das erste Punktmuster räumlich modulieren, indem jeder Mikrospiegel 200A der Mikrospiegelgruppe, auf den das erste Punktmuster einfällt, mit einer hohen Frequenz oszilliert. Die DMD 200 kann die Mikrospiegel 200A, die die Mikrospiegelgruppe bilden, einzeln steuern. Wie im Folgenden im Einzelnen beschrieben wird, ist es bevorzugt, dass die DMD 200 den Mikrospiegel zum Oszillieren auswählt und nur den ausgewählten Mikrospiegel zum Oszillieren bringt.
  • Als Nächstes wird ein Verfahren zum Identifizieren des ersten Punktmusters, das von der Hostvorrichtung projiziert wird, und des zweiten Punktmusters, das von einer weiteren Vorrichtung projiziert wird, unter Bezugnahme auf 7 bis 11 beschrieben.
  • 7 ist eine Darstellung, die ein Beispiel eines Nahinfrarotbilds zeigt, das von der Abbildungseinheit 14 aufgenommen wird und ein Bild ist, das ein erstes Punktmuster enthält, das von einem Objekt innerhalb eines Abstandsmessbereichs A reflektiert wird. 7 zeigt ein Bild, das nur das erste Punktmuster enthält, das von der Hostvorrichtung projiziert wird. Zur Vereinfachung der Beschreibung wird angenommen, dass das Objekt innerhalb des Objektabstandsmessbereichs A eine ebene Oberfläche mit konstantem Abstand ist.
  • Wie in 7 gezeigt weist das erste Punktmuster, das auf die flache Oberfläche mit konstantem Abstand projiziert wird, das gleiche Punktintervall auf. Das Punktintervall wird zu einem Intervall, das dem Abstand zwischen der Abbildungseinheit 14 und dem Objekt (der flachen Oberfläche) entspricht.
  • 8 ist eine Darstellung, die ein Beispiel eines Nahinfrarotbildes zeigt, das von der Abbildungseinheit 14 aufgenommen wird und ein Bild ist, das ein erstes Punktmuster, das von der Hostvorrichtung projiziert wird, und ein zweites Punktmuster, das von einer weiteren Vorrichtung projiziert wird, enthält.
  • 9 ist eine Darstellung, die ein Nahinfrarotbild zeigt, das das erste Punktmuster und das zweite Punktmuster, die in 8 gezeigt sind, enthält und ein Bild ist, das in einem Zustand aufgenommen wird, in dem die Projektionslinse 12C durch die Lichtmodulationseinheit 22 in einer Aufwärts-Abwärts-Richtung (der in 4 gezeigten y-Richtung) zum Schwingen gebracht ist.
  • In diesem Fall wird, da nur das erste Punktmuster, das von der Projektionseinheit 12 der Hostvorrichtung projiziert wird, räumlich in der Aufwärts-Abwärts-Richtung moduliert wird, wie in 9 gezeigt die Form jedes Punkts des ersten Punktmusters eine ovale Form oder eine elliptische Form, die in der Aufwärts-Abwärts-Richtung langgestreckt ist.
  • Selbst wenn der Überlappungsbereich B, in dem das erste Punktmuster der Hostvorrichtung und das zweite Punktmuster einer weiteren Vorrichtung sich überlappen, in dem Abstandsmessbereich A vorhanden ist, in dem das erste Punktmuster der Hostvorrichtung projiziert wird, kann die Musterextraktionseinheit 20A nur das erste Punktmuster (ovales oder elliptisches Punktmuster), das durch die Lichtmodulationseinheit 22 räumlich moduliert ist, aus der Differenz in der Punktform zwischen dem ersten Punktmuster und dem zweiten Punktmuster extrahieren.
  • Die Musterextraktionseinheit 20A kann Informationen, die ein räumliches Modulationsmuster (das heißt die Form jedes Punktes des ersten Punktmusters, die dem räumlichen Modulationsmuster entsprechen) zum räumlichen Modulieren des ersten Punktmusters mit der Lichtmodulationseinheit 22 angeben, aus der CPU 20 oder der Lichtmodulationseinheit 22 erfassen und kann nur das erste Punktmuster mit der Punktform, die dem räumlichen Modulationsmuster entspricht, extrahieren.
  • 10 zeigt ein Nahinfrarotbild, das das erste Punktmuster und das zweite Punktmuster, die in 8 gezeigt sind, enthält, in einem Fall, in dem das zweite Punktmuster, das von einer weiteren Vorrichtung projiziert wird, räumlich moduliert ist.
  • In diesem Fall ist in einem Überlappungsbereich B des ersten Punktmusters und des zweiten Punktmusters die Punktform des zweiten Punktmusters, das von einer weiteren Vorrichtung projiziert wird, aufgrund einer räumlichen Modulation keine runde Form. Selbst dann, wenn der Überlappungsbereich B, in dem das erste Punktmuster der Hostvorrichtung und das zweite Punktmuster einer weiteren Vorrichtung sich überlappen, in dem Abstandsmessbereich A vorhanden ist, in dem das erste Punktmuster der Hostvorrichtung projiziert wird, kann die Musterextraktionseinheit 20A nur das erste Punktmuster (kreisförmige Punktmuster) aus der Differenz in der Punktform zwischen dem ersten Punktmuster und dem zweiten Punktmuster extrahieren.
  • Das heißt, In einem Fall, in dem das zweite Punktmuster einer weiteren Vorrichtung räumlich moduliert ist, ist es bevorzugt, dass die CPU 20 die Lichtmodulationseinheit 22 der Hostvorrichtung ausschaltet, um das erste Punktmuster nicht räumlich zu modulieren.
  • 11 zeigt ein Nahinfrarotbild, das ein erstes Punktmuster und ein zweites Punktmuster enthält, in einem Fall, in dem zweite Punktmuster von zwei weiteren Vorrichtungen projiziert werden und das zweite Punktmuster, das von einer der zwei weiteren Vorrichtungen projiziert wird, räumlich moduliert ist.
  • In 11 ist in einem Überlappungsbereich B, in dem sich das erste Punktmuster, das von der Hostvorrichtung projiziert wird, und das räumlich modulierte zweite Punktmuster, das von einer von zwei weiteren Vorrichtungen projiziert wird, überlappen, ein Überlappungsbereich C vorhanden, in dem sich das erste Punktmuster, das räumlich modulierte zweite Punktmuster und das nicht räumlich modulierte zweite Punktmuster, das von der anderen der zwei weiteren Vorrichtungen projiziert wird, überlappen.
  • In diesem Fall ist es dann, wenn das erste Punktmuster der Hostvorrichtung wie in 10 gezeigt nicht räumlich moduliert ist, in dem Überlappungsbereich C nicht möglich, das erste Punktmuster und das nicht räumlich modulierte zweite Punktmuster, das von dem anderen der zwei weiteren Vorrichtungen projiziert wird, zu identifizieren.
  • Dementsprechend wird das erste Punktmuster, das von der Hostvorrichtung projiziert wird, räumlich moduliert und um eine Identifizierung des räumlich modulierten ersten Punktmusters und des nicht räumlich modulierten zweiten Punktmusters und eine Identifizierung des räumlich modulierten ersten Punktmusters und des räumlich modulierten zweiten Punktmusters zu ermöglichen, wird das erste Punktmuster mit einem räumlichen Modulationsmuster, das sich von einem räumlichen Modulationsmuster des zweiten Punktmusters unterscheidet, räumlich moduliert.
  • In dem in 11 gezeigten Beispiel wird die Projektionslinse 12C in einer Rechts-Links-Richtung (der in 4 gezeigten x-Richtung) durch die Lichtmodulationseinheit 22 zum Schwingen gebracht und das erste Punktmuster, das von der Projektionseinheit 12 der Hostvorrichtung projiziert wird, wird in der Rechts-Links-Richtung räumlich moduliert. Hierdurch wird die Form jedes Punktes des ersten Punktmusters zu einer ovalen Form oder einer elliptischen Form, die in der Rechts-Links-Richtung langgestreckt ist, und die Musterextraktionseinheit 20A kann das erste Punktmuster der Hostvorrichtung und das zweite Punktmuster einer weiteren Vorrichtung, das räumlich moduliert ist, um eine Punktform in der ovalen Form oder der elliptischen Form aufzuweisen, die in der Aufwärts-Abwärts-Richtung langgestreckt ist, identifizieren.
  • Die Schwingspulentyp-Vibratoren 114 und 116, die die in 4 gezeigte Lichtmodulationseinheit 22 bilden, arbeiten miteinander zusammen, um die Projektionslinse 12C in x-Richtung bzw. in y-Richtung zu bewegen, wodurch die Form jedes Punktes des ersten Punktmusters zu einer beliebigen Form gemacht werden kann. Das heißt, es ist bevorzugt, dass mehrere räumliche Modulationsmuster (mehrere räumliche Modulationsmuster, die der Form jedes Punktes des ersten Punktmusters entsprechen) zum räumlichen Modulieren des ersten Punktmusters in der Speichereinheit 24 gespeichert werden und die Lichtmodulationseinheit 22 ein räumliches Modulationsmuster zur Identifizierung gegenüber dem zweiten Punktmuster, das von einer weiteren Vorrichtung projiziert wird, aus der Speichereinheit 24 auswählt und das erste Punktmuster, das von der Projektionseinheit 12 projiziert wird, gemäß dem ausgewählten räumlichen Modulationsmuster räumlich moduliert.
  • Wie in 8 und 9 gezeigt kann in dem Überlappungsbereich B aus dem Abstandsmessbereich A in einem Fall, in dem das erste Punktmuster der Hostvorrichtung und das zweite Punktmuster der weiteren Vorrichtung gemischt sind und nur das erste Punktmuster der Hostvorrichtung in einem weiteren Bereich (einen weiteren Bereich mit Ausnahme des Überlappungsbereichs B) des Abstandsmessbereichs A vorhanden ist, nur das erste Punktmuster innerhalb des Überlappungsbereichs B räumlich moduliert werden, wodurch eine Identifizierung des ersten Punktmusters der Hostvorrichtung und des zweiten Punktmusters einer weiteren Vorrichtung in dem Überlappungsbereich B ermöglicht wird.
  • In diesem Fall bestimmt die Bestimmungseinheit 20C, die als eine Bereichsbestimmungseinheit fungiert, den Überlappungsbereich B dort, wo sich der Abstandsmessbereich A, in dem das erste Punktmuster projiziert wird, und ein Projektionsbereich des zweiten Punktmusters, das von einer weiteren Vorrichtung projiziert wird, überlappen. Die DMD 200, die die Lichtmodulationseinheit 22 der zweiten Ausführungsform bildet, die in 5 und 6 gezeigt ist, bringt gemäß einem Bestimmungsergebnis der Bereichsbestimmungseinheit nur die Mikrospiegelgruppe, die dem Überlappungsbereich B entspricht, aus der Mikrospiegelgruppe zum Schwingen. Hierdurch wird eine Identifizierung des ersten Punktmusters und des zweiten Punktmusters ermöglicht, und da das erste Muster, das einem Nichtüberlappungsbereich entspricht, nicht räumlich moduliert ist, ist es möglich, das erste Muster als ein Punktmuster ohne Unschärfe abzubilden.
  • [Abstandsbild-Erfassungsverfahren]
  • Als Nächstes wird ein Abstandsbild-Erfassungsverfahren gemäß der Erfindung beschrieben.
  • 12 ist ein Ablaufdiagramm, das eine erste Ausführungsform eines Abstandsbild-Erfassungsverfahrens gemäß der Erfindung zeigt.
  • In 12 schaltet die CPU 20 die Nahinfrarot-LED 12A der Projektionseinheit 12 durch die Ansteuereinheit 26 ein und veranlasst, dass das erste Punktmuster von Nahinfrarotlicht innerhalb des Abstandsmessbereichs von der Projektionseinheit 12 auf das Objekt projiziert wird (Schritt S10). In diesem Fall schaltet die CPU 20 die Lichtmodulationseinheit 22 aus, um die räumliche Modulation des ersten Punktmusters nicht durchzuführen (Schritt S12).
  • Anschließend wird ein Bild, das das nicht räumlich modulierte erste Punktmuster enthält, von der Abbildungseinheit 14 aufgenommen (Schritt S14). Die Musterextraktionseinheit 20A binarisiert das aufgenommene Bild basierend auf dem Schwellenwert und extrahiert ein Punktmuster (ein binäres Bild, das das Punktmuster angibt) (Schritt S16).
  • Als Nächstes bestimmt die Bestimmungseinheit 20C, ob ein Punktmuster (zweites Punktmuster) von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird (Schritt S18). Diese Bestimmung kann je nachdem, ob die Anzahl von Punkten des in Schritt S16 extrahierten Punktmusters größer als die Anzahl von Punkten des ersten Punktmusters ist oder nicht oder ob die Bakeninformationen, die, dass die Anwesenheit einer weiteren Abstandsbild-Erfassungsvorrichtung angeben, über die Kommunikationseinheit 30 empfangen werden oder nicht, durchgeführt werden.
  • In Schritt S18 geht der Prozess in einem Fall, in dem bestimmt wird, dass das zweite Punktmuster von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, (im Fall "Ja") zu Schritt S20 über und in einem Fall, in dem bestimmt wird, dass das zweite Punktmuster nicht von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, (im Fall von "Nein") zu Schritt S28 über.
  • In Schritt S20 wird bestimmt, ob das erste Punktmuster der Hostvorrichtung und das zweite Punktmuster einer weiteren Vorrichtung identifizierbar sind oder nicht, und in einem Fall, in dem beide Punktmuster bestimmbar sind, (im Fall von "Ja") geht der Prozess zu Schritt S28 über, und in einem Fall, in dem beide Punktmuster unbestimmbar sind, (im Fall von "Nein") geht der Prozess zu Schritt S22 über.
  • In Schritt S22 wird die Lichtmodulationseinheit 22 eingeschaltet, um das erste Punktmuster räumlich zu modulieren. In einem Fall, in dem ein räumlich moduliertes zweites Punktmuster unter den zweiten Punktmustern vorhanden ist, moduliert die Lichtmodulationseinheit 22 das erste Punktmuster mit einem räumlichen Modulationsmuster, das sich von dem des räumlich modulierten zweiten Punktmusters unterscheidet, räumlich.
  • Anschließend wird ein Bild, das das erste Punktmuster (räumlich modulierte erste Punktmuster) enthält, von der Abbildungseinheit 14 erfasst (Schritt S24) und die Musterextraktionseinheit 20A extrahiert das erste Punktmuster (räumlich modulierte erste Punktmuster) aus dem aufgenommenen Bild (Schritt S26).
  • Die Abstandsbild-Erfassungseinheit 20B erfasst das Abstandsbild, das den Abstand des Objekts angibt, auf der Grundlage des in Schritt S16 extrahierten Punktmusters (nicht räumlich modulierten ersten Punktmusters) oder des in Schritt S26 extrahierten räumlich modulierten ersten Punktmusters (Schritt S28).
  • Bei der in 12 gezeigten Ausführungsform wird, obwohl das Abstandsbild für ein Einzelbild erfasst wird, in einem Fall eines kontinuierlichen Erfassens eines Abstandsbildes mit einer vorbestimmten Bildrate wie bei einem Video die Verarbeitung der Schritte S10 bis S28 wiederholt ausgeführt, bis die Erfassung des Abstandsbildes des Videos endet.
  • 13 ist ein Ablaufdiagramm, das eine zweite Ausführungsform eines Abstandsbild-Erfassungsverfahrens gemäß der Erfindung zeigt.
  • In 13 schaltet die CPU 20 die Nahinfrarot-LED 12A der Projektionseinheit 12 aus (Schritt S100) und die Abbildungseinheit 14 führt eine Abbildung unter der Bedingung durch, dass das erste Punktmuster nicht projiziert wird (Schritt S102). Die Bestimmungseinheit 20C bestimmt basierend auf dem in Schritt S102 erfassten Bild, ob ein Punktmuster (zweites Punktmuster) von einer weiteren Abstandsbildaufnahmevorrichtung projiziert wird (Schritt S104).
  • In einem Fall, in dem das zweite Punktmuster projiziert wird (in einem Fall von "Ja"), wird ein Merker F, der die Anwesenheit oder Abwesenheit der Projektion anzeigt, auf 1 gesetzt (Schritt S106), und dann geht der Prozess zu Schritt S110 über. In einem Fall, in dem das zweite Punktmuster nicht projiziert wird (in einem Fall von "Nein"), wird der Merker F auf 0 gesetzt (Schritt S108), und dann geht der Prozess zu Schritt S110 über.
  • In Schritt S110 schaltet die CPU 20 die Nahinfrarot-LED 12A der Projektionseinheit 12 durch die Ansteuereinheit 26 ein und veranlasst, dass das erste Punktmuster von Nahinfrarotlicht innerhalb des Abstandsmessbereichs von der Projektionseinheit 12 auf das Objekt projiziert wird (Schritt S110).
  • Anschließend wird bestimmt, ob der Merker F 1 ist oder nicht (Schritt S112), und in einem Fall, in dem der Merker F 1 ist, (im Fall von "Ja") wird die Lichtmodulationseinheit 22 eingeschaltet, um das erste Punktmuster räumlich zu modulieren (Schritt S114). In einem Fall, in dem der Merker F nicht 1 ist, (im Fall von "Nein") wird die Lichtmodulationseinheit 22 ausgeschaltet, um keine räumliche Modulation des ersten Punktmusters durchzuführen (Schritt S116). Als Nächstes wird ein Bild, das das erste Punktmuster enthält, von der Abbildungseinheit 14 erfasst (Schritt S118). Die Musterextraktionseinheit 20A binarisiert das aufgenommene Bild basierend auf dem Schwellenwert und extrahiert das erste Punktmuster (ein binäres Bild, das das erste Punktmuster angibt) (Schritt S120). In einem Fall, in dem das zweite Punktmuster von einer weiteren Vorrichtung projiziert wird, wird das erste Punktmuster räumlich moduliert und in einem Fall, in dem das zweite Punktmuster nicht von einer weiteren Vorrichtung projiziert wird, wird das erste Punktmuster nicht räumlich moduliert, da nur das erste Punktmuster abgebildet wird. In beiden Fällen kann die Musterextraktionseinheit 20A nur das erste Punktmuster extrahieren.
  • Die Abstandsbild-Erfassungseinheit 20B erfasst das Abstandsbild, das den Abstand des Objekts angibt, basierend auf dem ersten Punktmuster, das in Schritt S120 extrahiert wird (Schritt S122).
  • Bei der in 13 gezeigten Ausführungsform kann die Verarbeitung der Schritte S100 bis S122, obwohl das Abstandsbild für ein Einzelbild erfasst wird, in einem Fall, in dem ein Abstandsbild mit einer vorbestimmten Bildrate wie Video kontinuierlich aufgenommen wird, bis die Erfassung des Abstandsbildes des Videos endet, wiederholt ausgeführt werden.
  • In der ersten Ausführungsform und der oben beschriebenen zweiten Ausführungsform wird in einem Fall, in dem das erste Punktmuster, das von der Hostvorrichtung projiziert wird, und das zweite Punktmuster, das von einer weiteren Vorrichtung projiziert wird, nicht identifizierbar sind oder in einem Fall, in dem das zweite Punktmuster von einer weiteren Vorrichtung projiziert wird, die Lichtmodulationseinheit 22 eingeschaltet, um das erste Punktmuster räumlich zu modulieren, wodurch eine Identifizierung des ersten Punktmusters und des zweiten Punktmusters ermöglicht wird. Unterdessen kann die Lichtmodulationseinheit 22 unabhängig von der Anwesenheit oder Abwesenheit des zweiten Punktmusters, das von einer weiteren Vorrichtung projiziert wird, und der Anwesenheit oder Abwesenheit einer räumlichen Modulation des zweiten Punktmusters, das räumliche Modulationsmuster aus mehreren räumlichen Modulationsmustern, die in der Speichereinheit 24 in einer Reihenfolge oder in einer zufälligen Weise gespeichert sind, lesen und kann das erste Muster, das von der Projektionseinheit 12 projiziert wird, gemäß dem gelesenen räumlichen Modulationsmuster räumlich modulieren.
  • Da in diesem Fall das erste Punktmuster gemäß dem räumlichen Modulationsmuster, das aus mehreren räumlichen Modulationsmustern in einer Reihenfolge oder in einer zufälligen Weise gelesen wird, räumlich moduliert wird, ändert sich die Form jedes Punktes des ersten Punktmusters in jedem Moment. Die Musterextraktionseinheit 20A kann ein Punktmuster, in dem sich die Punktform ändert, als das erste Punktmuster, das von der Hostvorrichtung projiziert wird, identifizieren. In einem Fall, in dem sich die Form jedes Punktes des ersten Punktmusters in jedem Moment ändert, gibt es einen Zeitpunkt, zu dem das erste Punktmuster (das erste Punktmuster, das gegenüber dem zweiten Punktmuster identifizierbar ist) die Punktform aufweist, die sich von der Punktform des zweiten Punktmusters einer weiteren Vorrichtung unterscheidet, projiziert wird, und die Musterextraktionseinheit 20A kann nur das erste Punktmuster aus einem Bild extrahieren, das das erste Punktmuster enthält und zu diesem Zeitpunkt abgebildet wird.
  • <Eine weitere Ausführungsform des Bildsensors>
  • 14A und 14B sind Darstellungen, die eine weitere Ausführungsform eines Bildsensors veranschaulichen, der auf die Abstandsbild-Erfassungsvorrichtung gemäß der Erfindung anwendbar ist. 14A ist eine Darstellung, die die Grundanordnung von 2×2 Pixeln des Bildsensors einer weiteren Ausführungsform zeigt. Der Bildsensor einer weiteren Ausführungsform ist so ausgelegt, dass die Grundanordnung in einer horizontalen Richtung und einer vertikalen Richtung wiederholt angeordnet ist.
  • Wie in 14A gezeigt weist die Grundanordnung von 2×2 Pixeln ein Nahinfrarotpixel (Infrarotpixel (IR-Pixel)) als erstes Lichtempfangselement mit einer Empfindlichkeit gegenüber der Wellenlängenbandbreite von Nahinfrarotlicht und drei zweite Lichtempfangselemente (R-Pixel, G-Pixel und B-Pixel) mit einer Empfindlichkeit gegenüber den Wellenlängenbandbreiten von Rot (R), Grün (G) und Blau (B) im sichtbaren Licht auf. Das heißt, dass der Bildsensor einer weiteren Ausführungsform so ausgelegt ist, dass das IR-Pixel, das R-Pixel, das G-Pixel und das B-Pixel gemischt und in zweidimensionaler Weise angeordnet sind.
  • 14B zeigt den spektralen Transmissionsgrad der jeweiligen Farbfilter von RGB, die in dem R-Pixel, dem G-Pixel und dem B-Pixel vorgesehen sind, und eine Spektralcharakteristik von Nahinfrarotlicht, das von der Nahinfrarot-LED 12A emittiert wird.
  • Die Musterextraktionseinheit 20A kann das erste Punktmuster aus dem Nahinfrarotbild aus dem IR-Pixel des Bildsensors mit der oben beschriebenen Konfiguration extrahieren und die Abstandsbild-Erfassungseinheit 20B kann das Abstandsbild, das den Abstand des Objekts angibt, auf der Basis des extrahierten ersten Punktmusters erfassen.
  • Die Erzeugungseinheit für Bilder sichtbaren Lichts (nicht gezeigt) in der CPU 20 kann ein Bild sichtbaren Lichts (Farbbild) des Objekts innerhalb des Abstandsmessbereichs aus RGB-Bildern sichtbaren Lichts, die aus dem R-Pixel, dem G-Pixel und dem B-Pixel des Bildsensors mit der oben beschriebenen Konfiguration gelesen werden, erzeugen. Obwohl jeder der Filter von RGB sogar eine Durchlässigkeit zu Nahinfrarotlicht aufweist, wird eine Struktur hergestellt, bei der die entsprechenden R-Pixel, G-Pixel und B-Pixel keine Empfindlichkeit gegenüber Nahinfrarotlicht aufweisen, oder ein IR-Sperrfilter bereitgestellt, um mit jeden der Filter von RGB zu überlappen, wodurch ein Bild sichtbaren Lichts erzeugt wird, das keine Empfindlichkeit gegenüber Nahinfrarotlicht aufweist. Als Alternative zu dem IR-Sperrfilter oder der Struktur, in der die Pixel keine Empfindlichkeit gegenüber Nahinfrarotlicht aufweisen, kann anstelle eines Nahinfrarotfilters Sperrfilter für sichtbares Licht mit einer Bandpasscharakteristik in 14B bereitgestellt sein und eine IR-Bildkomponente kann von jedem der RGB-Bilder, die aus dem R-Pixel, dem G-Pixel und dem B-Pixel gelesen werden, subtrahiert werden, um ein Bild sichtbaren Lichts zu erzeugen.
  • Das heißt, da ein Nahinfrarotbild nicht in dem Bild sichtbaren Lichts enthalten ist, beeinträchtigt das erste Punktmuster selbst dann, wenn das räumlich modulierte erste Punktmuster des Nahinfrarotlichts auf das Objekt projiziert wird, das Bild sichtbaren Lichts nicht. Gemäß dem Bildsensor mit der oben beschriebenen Konfiguration ist es möglich, das Abstandsbild und das sichtbare Lichtbild auf der Basis der Ausgabe eines einzelnen Bildsensors gleichzeitig mit dem gleichen Blickwinkel zu erfassen.
  • Ein Aspekt, auf den die Erfindung anwendbar ist, ist nicht auf eine Abstandsbild-Erfassungsvorrichtung mit der einzigen Funktion des Erfassens eines Abstandsbildes beschränkt, und eine allgemeine Digitalkamera oder Videokamera, die ein Farbbild aufnehmen kann, kann eine Abstandsbild-Erfassungsfunktion aufweisen. Die Erfindung ist auch auf mobile Vorrichtungen anwendbar, die neben einer Abstandsbild-Erfassungsfunktion Funktionen (eine Anrufabwicklungsfunktion, eine Kommunikationsfunktion und andere Rechnerfunktionen) außer der Abstandsbild-Erfassungsfunktion aufweisen. Für andere Aspekte, auf die die Erfindung anwendbar ist, sind beispielsweise Mobiltelefone, Smartphones, persönliche digitale Assistenten (PDA) und tragbare Spielmaschinen beispielhaft. Nachfolgend wird ein Beispiel eines Smartphones beschrieben, auf das die Erfindung anwendbar ist.
  • <Konfiguration des Smartphones>
  • 15 ist eine perspektivische Ansicht, die das Erscheinungsbild eines Smartphones 500 zeigt, das eine Ausführungsform einer Abstandsbild-Erfassungsvorrichtung ist.
  • Das in 15 gezeigte Smartphone 500 weist ein flaches plattenförmiges Gehäuse 502 auf und enthält eine Anzeigeeingabeeinheit 520, in der eine Anzeigetafel 521 als Anzeigeeinheit und ein Bedienfeld 522 als Eingabeeinheit auf einer Oberfläche des Gehäuses 502 integriert sind.
  • Das Gehäuse 502 enthält einen Lautsprecher 531, ein Mikrofon 532, eine Bedienungseinheit 540, eine Kameraeinheit 541 und eine Projektionseinheit 542. Die Konfiguration des Gehäuses 502 ist nicht darauf beschränkt und beispielsweise kann eine Konfiguration, in der die Anzeigeeinheit und die Eingabeeinheit unabhängig voneinander sind, verwendet werden, oder es kann eine Konfiguration mit einer Faltstruktur oder einem Schiebemechanismus verwendet werden.
  • 16 ist ein Blockdiagramm des in 15 gezeigten Smartphones 500. Wie in 16 gezeigt enthält das Smartphone 500 als Hauptkomponenten eine Drahtloskommunikationseinheit 510, eine Anzeigeeingabeeinheit 520, eine Anrufabwicklungseinheit 530, eine Bedienungseinheit 540, eine Kameraeinheit 541, die als Abbildungseinheit fungiert, eine Speichereinheit 550, eine externe Eingabe/Ausgabeeinheit 560, eine Empfangseinheit für das globale Positionierungssystem (GPS-Empfangseinheit) 570, eine Bewegungssensoreinheit 580, eine Leistungsversorgungseinheit 590 und eine Hauptsteuereinheit 501. Das Smartphone 500 hat als Hauptfunktion eine Drahtloskommunikationsfunktion zum Durchführen einer mobilen drahtlosen Kommunikation über eine Basisstationsvorrichtung und ein Mobilkommunikationsnetz.
  • Die Drahtloskommunikationseinheit 510 führt eine drahtlose Kommunikation mit der Basisstationsvorrichtung in dem Mobilkommunikationsnetz gemäß einem Befehl der Hauptsteuereinheit 501 durch. Unter Verwendung der drahtlosen Kommunikation, kann ein Senden und Empfangen von verschiedenen Arten von Dateidaten wie beispielsweise Musikdaten, Bilddaten, und E-Mail-Daten oder ein Empfangen von Webdaten, Streamingdaten oder dergleichen durchgeführt werden.
  • Die Anzeigeeingabeeinheit 520 ist ein sogenanntes Berührungsfeld, das Bilder (Standbilder und Videos), Textinformationen oder dergleichen anzeigt, um visuell Informationen an den Anwender zu übermitteln, die Bedienung eines Anwenders auf den angezeigten Informationen unter der Steuerung der Hauptsteuereinheit 501 detektiert und die Anzeigetafel 521 und das Bedienfeld 522 enthält. In einem Fall, in dem ein erzeugtes dreidimensionales Bild betrachtet wird, ist es bevorzugt, dass die Anzeigetafel 521 eine dreidimensionale Anzeigetafel ist.
  • Die Anzeigetafel 521 verwendet eine Flüssigkristallanzeige (LCD), eine organische Elektrolumineszenzanzeige (OELD) oder dergleichen als Anzeigevorrichtung.
  • Das Bedienfeld 522 ist eine Vorrichtung, die so angeordnet ist, dass ein auf einer Anzeigefläche der Anzeigetafel 521 angezeigtes Bild sichtbar ist, und detektiert eine oder mehrere Koordinaten gemäß einer Betätigung mit einem Finger eines Anwenders oder einem Griffel. In einem Fall, in dem die Vorrichtung mit dem Finger des Anwenders oder dem Griffel betätigt wird, wird ein aufgrund der Betätigung erzeugtes Detektionssignal an die Hauptsteuereinheit 501 ausgegeben. Als Nächstes detektiert die Hauptsteuereinheit 501 eine Betätigungsposition (Koordinaten) auf der Anzeigetafel 521 basierend auf dem empfangenen Detektionssignal.
  • Wie in 15 gezeigt ist, obwohl die Anzeigetafel 521 und das Bedienfeld 522 des Smartphones 500 integriert sind, um die Anzeigeeingabeeinheit 520 zu bilden, das Bedienfeld 522 so angeordnet, dass es die Anzeigetafel 521 vollständig abdeckt. In einem Fall, in dem diese Anordnung verwendet wird, kann das Bedienfeld 522 die Funktion haben, die Betätigung eines Anwenders selbst in einem Bereich außerhalb der Anzeigetafel 521 zu detektieren. Mit anderen Worten kann das Bedienfeld 522 einen Detektionsbereich (nachfolgend als Anzeigebereich bezeichnet) für einen überlagerten Abschnitt, der mit der Anzeigetafel 521 überlappt, aufweisen und einen Detektionsbereich (nachfolgend als Nichtanzeigebereich bezeichnet) für einen Außenrandabschnitt, der mit der Anzeigetafel 521 nicht überlappt, außer dem Anzeigebereich aufweisen.
  • Obwohl die Größe des Anzeigebereichs vollständig mit der Größe der Anzeigetafel 521 übereinstimmen kann, müssen die Größe des Anzeigebereichs und die Größe der Anzeigetafel 521 nicht notwendigerweise miteinander übereinstimmen. Das Bedienfeld 522 kann zwei empfindliche Bereiche aufweisen, die einen Außenrandabschnitt und einen Innenabschnitt außer dem Außenrandabschnitt enthalten. Die Breite des Außenrandabschnitts ist entsprechend der Größe des Gehäuses 502 oder dergleichen angemessen ausgebildet. Als ein Positionsdetektionssystem, das in dem Bedienfeld 522 verwendet wird, sind ein Matrixschaltsystem, ein Widerstandsfilmsystem, ein System mit akustischen Oberflächenwellen, ein Infrarotsystem, ein elektromagnetisches Induktionssystem, ein elektrostatisches Kapazitätssystem und dergleichen beispielhaft aufgelistet und ein beliebiges System kann verwendet werden.
  • Die Anrufabwicklungseinheit 530 enthält den Lautsprecher 531 und das Mikrofon 532, wandelt die Sprache der Anwendereingabe durch das Mikrofon 532 in von der Hauptsteuereinheit 501 verarbeitbaren Sprachdaten um und gibt Sprachdaten an die Hauptsteuereinheit 501 aus oder decodiert Sprachdaten, die von der Drahtloskommunikationseinheit 510 oder der externen Eingabe/Ausgabeeinheit 560 empfangen werden, und gibt eine Sprache aus dem Lautsprecher 531 aus. Wie in 16 gezeigt können beispielsweise der Lautsprecher 531 und das Mikrofon 532 auf der gleichen Oberfläche montiert sein wie der Oberfläche, auf der die Anzeigeeingabeeinheit 520 vorgesehen ist.
  • Die Bedienungseinheit 540 ist eine Hardwaretaste, die einen Tastenschalter oder dergleichen verwendet, und empfängt einen Befehl von dem Anwender. Beispielsweise ist die Bedienungseinheit 540 ein Drucktastenschalter, der auf einer unteren Oberfläche unterhalb der Anzeigeeinheit des Gehäuses 502 des Smartphones 500 montiert ist und wird in einem Fall, in dem er mit einem Finger oder dergleichen gedrückt wird, eingeschaltet und durch eine Wiederherstellungskraft der Tafel oder dergleichen in einen Fall, in dem der Finger gelöst wird, in einen Auszustand versetzt.
  • Die Speichereinheit 550 speichert ein Steuerprogramm oder Steuerdaten der Hauptsteuereinheit 501, Adressdaten, die dem Namen, der Telefonnummer und dergleichen eines Kommunikationspartners zugeordnet sind, Daten von gesendeter und empfangener elektronischer Post, durch Webbrowsing heruntergeladene Webdaten und heruntergeladene Inhaltsdaten und speichert vorübergehend Streamingdaten oder dergleichen. Die Speichereinheit 550 besteht aus einer internen Speichereinheit 551, die in dem Smartphone eingebettet ist, und einer externen Speichereinheit 552 mit einem Schlitz für einen entfernbaren externen Speicher. Die interne Speichereinheit 551 und die externe Speichereinheit 552, die die Speichereinheit 550 bilden, sind jeweils unter Verwendung eines Speichers (beispielsweise einer Micro-SD-Speichers (eingetragenes Warenzeichen)) wie beispielsweise eines Flashspeicher-Typs, eines Festplatten-Typs, eines Multimediakarten-Mikrotyps oder eines Kartentyps oder eines Speichermediums wie z. B. eines Direktzugriffsspeichers (RAM) oder eines Nur-Lese-Speichers (ROM) verwirklicht.
  • Die externe Eingabe-/Ausgabeeinheit 560 spielt die Rolle einer Schnittstelle mit allen externen Vorrichtungen, die mit dem Smartphone 500 verbunden sind, und ist für eine direkte oder indirekte Verbindung mit anderen externen Vorrichtungen durch Kommunikation oder dergleichen (z. B. einen universellen seriellen Bus oder dergleichen) oder ein Netz (z. B. das Internet, ein drahtloses lokales Netz (LAN), Bluetooth (eingetragenes Warenzeichen), Hochfrequenzidentifikation (RFID), Infrarotdatenverknüpfung (Ir-DA), Ultra Wideband (UWB) (eingetragenes Warenzeichen), ZigBee (eingetragenes Warenzeichen) oder dergleichen vorgesehen.
  • Die mit dem Smartphone 500 verbundenen externen Vorrichtungen sind beispielsweise eine drahtgebundene/drahtlose Sprechgarnitur, eine drahtgebundene/drahtlose externe Ladevorrichtung, ein drahtgebundener/drahtloser Datenanschluss, eine Speicherkarte, eine Teilnehmeridentitätsmodulkarte (SIM-Karte) oder eine Anwenderidentitätsmodulkarte (UIM-Karte), die über eine Kartensteckdose verbunden ist, eine externe Audio-Video-Vorrichtung, die über einen Audio-Video-Eingang/Ausgang-Anschluss (Audio-Video-I/O-Anschluss) verbunden ist, eine externe Audio-Video-Vorrichtung, die drahtlos verbunden ist, ein Smartphone, das in einer drahtgebundenen oder drahtlosen Weise verbunden ist, ein PC, der in einer drahtgebundenen/drahtlosen Weise verbunden ist, ein PDA, der in einer drahtgebundenen/drahtlosen Weise verbunden ist, ein Kopfhörer und dergleichen. Die externe Eingabe-/Ausgabeeinheit kann von den externen Vorrichtungen gesendete Daten an die jeweiligen Komponenten in dem Smartphone 500 übertragen oder Daten in dem Smartphone 500 an die externen Vorrichtungen senden.
  • Die GPS-Empfangseinheit 570 empfängt GPS-Signale, die von den GPS-Satelliten ST1 bis STn gesendet werden, gemäß einem Befehl der Hauptsteuereinheit 501, führt eine Positionierungsberechnungsverarbeitung auf der Basis mehrerer empfangener GPS-Signale aus und detektiert die Position des Smartphones 500 mit einem Breitengrad, Längengrad und einer Höhe. Wenn Positionsinformationen von der Drahtloskommunikationseinheit 510 oder der externen Eingabe-/Ausgabe-Einheit 560 (beispielsweise einem drahtlosen LAN) erfasst werden können, kann die GPS-Empfangseinheit 570 die Position unter Verwendung der Positionsinformationen detektieren.
  • Die Bewegungssensoreinheit 580 enthält beispielsweise einen Drei-Achsen-Beschleunigungssensor oder dergleichen und detektiert die physische Bewegung des Smartphones 500 gemäß einem Befehl der Hauptsteuereinheit 501. Die Bewegungsrichtung oder Beschleunigung des Smartphones 500 wird durch Detektieren der physischen Bewegung des Smartphones 500 detektiert. Das Detektionsergebnis wird an die Hauptsteuereinheit 501 ausgegeben.
  • Die Leistungsversorgungseinheit 590 liefert elektrische Energie, die in einer Batterie (nicht gezeigt) gespeichert ist, gemäß einem Befehl der Hauptsteuereinheit 501 an die jeweiligen Einheiten des Smartphones 500.
  • Die Hauptsteuereinheit 501 ist mit einem Mikroprozessor versehen, arbeitet gemäß dem in der Speichereinheit 550 gespeicherten Steuerprogramm oder dort gespeicherten Steuerdaten und steuert die jeweiligen Einheiten des Smartphones 500 integral. Die Hauptsteuereinheit 501 weist eine Mobilkommunikations-Steuerfunktion zum Steuern jeweiliger Einheiten eines Kommunikationssystems, um eine Sprachkommunikation oder eine Datenkommunikation durch die Drahtloskommunikationseinheit 510 durchzuführen, und eine Anwendungsverarbeitungsfunktion auf.
  • Die Anwendungsverarbeitungsfunktion wird durch die Hauptsteuereinheit 501 umgesetzt, die gemäß der in der Speichereinheit 550 gespeicherten Anwendungssoftware arbeitet. Die Anwendungsverarbeitungsfunktion ist beispielsweise eine Infrarotkommunikationsfunktion zum Steuern der externen Eingabe-/Ausgabeeinheit 560 zum Durchführen einer Datenkommunikation mit einer Vorrichtung, die dem Smartphone 500 zugewandt ist, eine E-Mail-Funktion zum Senden und Empfangen von E-Mails oder eine Webbrowsing-Funktion zum Durchsuchen von Webseiten oder dergleichen.
  • Die Hauptsteuereinheit 501 weist eine Bildverarbeitungsfunktion zum Anzeigen von Video auf der Anzeigeeingabeeinheit 520 oder dergleichen basierend auf Bilddaten (Standbild- oder Videodaten) wie beispielsweise empfangenen Daten oder heruntergeladenen Streamingdaten auf. Die Bildverarbeitungsfunktion bezieht sich auf eine Funktion der Hauptsteuereinheit 501, die Bilddaten decodiert, eine Bildverarbeitung an dem Decodierergebnis durchführt und ein Bild auf der Anzeigeeingabeeinheit 520 anzeigt.
  • Die Hauptsteuereinheit 501 führt eine Anzeigesteuerung an der Anzeigetafel 521 und eine Bedienungsdetektionssteuerung zum Detektieren der Bedienung eines Anwenders durch die Bedienungseinheit 540 und das Bedienfeld 522 aus.
  • Bei der Ausführung der Anzeigesteuerung zeigt die Hauptsteuereinheit 501 ein Piktogramm zum Aktivieren der Anwendungssoftware oder eine Softwaretaste wie z. B. eine Laufleiste an oder zeigt ein Fenster zur Erstellung von E-Mails an. Die Laufleiste bezieht sich auf eine Softwaretaste zum Empfangen eines Befehls, um einen Anzeigeabschnitt eines Bildes zu bewegen, das zu groß ist, um in den Anzeigebereich der Anzeigetafel 521 zu passen.
  • Bei der Ausführung der Bedienungsdetektionssteuerung detektiert die Hauptsteuereinheit 501 die Bedienung eines Anwenders durch die Bedienungseinheit 540, empfängt eine Betätigung auf dem Piktogramm oder eine Eingabe von Text in einer Eingabespalte des Fensters durch das Bedienfeld 522 oder empfängt eine Rollanforderung für ein Anzeigebild über die Laufleiste.
  • Zusätzlich weist die Hauptsteuereinheit 501 bei der Ausführung der Bedienungsdetektionssteuerung eine Berührungsfeldsteuerfunktion zum Bestimmen, ob eine Betätigungsposition auf dem Bedienfeld 522 der überlagerte Abschnitt (Anzeigebereich), der mit der Anzeigetafel 521 überlappt, ist oder die der Außenrandabschnitt (Nichtanzeigebereich), der nicht mit der Anzeigetafel 521 überlappt, außer dem Anzeigebereich ist. und zum Steuern des empfindlichen Bereichs des Bedienfeldes 522 oder der Anzeigeposition der Softwaretaste auf.
  • Die Hauptsteuereinheit 501 kann eine Gestenbedienung auf dem Bedienfeld 522 detektieren und kann eine im Voraus festgelegte Funktion gemäß der erkannten Gestenbedienung ausführen. Die Gestenbedienung ist kein herkömmlicher einfacher Berührungsvorgang, sondern bedeutet eine Bedienung, um eine Spur mit einem Finger oder dergleichen zu erzeugen, eine Bedienung, um gleichzeitig mehrere Positionen zu bezeichnen, oder eine Bedienung, um eine Spur für mindestens eine von mehreren Positionen durch Kombinieren der oben beschriebenen Bedienungen zu erzeugen.
  • Die Kameraeinheit 541 ist eine Abbildungsvorrichtung, die eine elektronische Abbildung unter Verwendung eines Bildsensors wie etwa eines Komplementär-Metall-Oxid-Halbleiters (CMOS) oder einer ladungsgekoppelten Vorrichtung (CCD) durchführt. Die oben beschriebene Abstandsbild-Erfassungsvorrichtung 10 kann auf die Kameraeinheit 541 angewendet werden.
  • In diesem Fall ist es bevorzugt, dass die Kameraeinheit 541 ein erstes Lichtempfangselement (IR-Pixel), das Nahinfrarotlicht für ein Abstandsbild transmittiert, und zweite Lichtempfangselemente (R-Pixel, G-Pixel und B-Pixel) zur Farbabbildung gemischt und in einer zweidimensionalen Weise in einem Bildsensor angeordnet aufweist, wie es in 14A gezeigt ist. Das heißt, dass als Bildsensor der Kameraeinheit 541 bevorzugt ein Bildsensor verwendet wird, in dem ein R-Pixel, ein G-Pixel und ein B-Pixel, die mit RGB-Farbfiltern versehen sind, und Pixel (IR-Pixel mit Empfindlichkeit nur für Infrarotlicht), die mit einem Sperrfilter für sichtbares Licht versehen sind, gemischt sind.
  • Die Projektionseinheit 542 weist eine Nahinfrarot-LED auf und projiziert ein erstes Punktmuster von Nahinfrarotlicht zum Zeitpunkt des Erfassens des Abstandsbildes. In einem Fall des Smartphones 500 mit einer Infrarotkommunikationsfunktion kann die Nahinfrarot-LED als Lichtquelle für die Infrarotkommunikation verwendet werden.
  • Unter der Steuerung der Hauptsteuereinheit 501 kann die Kameraeinheit 541 Bilddaten von sichtbarem Licht, die durch Abbilden erhalten werden, in komprimierte Bilddaten in beispielsweise einem JPEG-Format oder dergleichen umwandeln und kann komprimierte Bilddaten in der Speichereinheit 550 aufzeichnen oder komprimierte Bilddaten durch die externe Eingabe-/Ausgabeeinheit 560 oder die Drahtloskommunikationseinheit 510 ausgeben und in ähnlicher Weise das Abstandsbild, das den Abstand des Objekts angibt, in der Speichereinheit 550 aufzeichnen oder das Abstandsbild über die externe Eingabe-/Ausgabeeinheit 560 oder die Drahtloskommunikationseinheit 510 ausgeben. In dem in 15 gezeigten Smartphone 500 ist, obwohl die Kameraeinheit 541 auf derselben Oberfläche wie die Anzeigeeingabeeinheit 520 montiert ist, die Montageposition der Kameraeinheit 541 nicht darauf beschränkt und die Kameraeinheit 541 kann auf einer Rückfläche der Anzeigeeingabeeinheit 520 montiert sein oder mehrere Kameraeinheiten 541 können montiert sein. In einem Fall, in dem mehrere Kameraeinheiten 541 montiert sind, kann die Kameraeinheit 541 zum Abbilden umgeschaltet werden, um nur eine Abbildung durchzuführen, oder es können mehrere Kameraeinheiten 541 gleichzeitig verwendet werden, um eine Abbildung durchzuführen.
  • Die Kameraeinheit 541 kann für verschiedene Funktionen des Smartphones 500 verwendet werden. Beispielsweise kann ein von der Kameraeinheit 541 erfasstes Bild auf der Anzeigetafel 521 angezeigt werden oder ein Bild in der Kameraeinheit 541 kann als eine Bedienungseingabe des Bedienfeldes 522 verwendet werden. In einem Fall, in dem die GPS-Empfangseinheit 570 die Position detektiert, kann die Position unter Bezugnahme auf ein Bild von der Kameraeinheit 541 detektiert werden. Zusätzlich kann die Richtung der optischen Achse der Kameraeinheit 541 des Smartphones 500 bestimmt werden oder eine aktuelle Nutzungsumgebung kann unter Bezugnahme auf ein Bild von der Kameraeinheit 541 bestimmt werden, ohne den Drei-Achsen-Beschleunigungssensor oder den Drei-Achsen-Beschleunigungssensor zu verwenden. Natürlich kann ein Bild von der Kameraeinheit 541 innerhalb der Anwendungssoftware verwendet werden.
  • Obwohl die Projektionseinheit 12 dieser Ausführungsform die Nahinfrarot-LED 12A als Lichtquelle verwendet, ist die Erfindung nicht darauf beschränkt, und zum Beispiel kann ein Halbleiterlaser, der Nahinfrarot-Laserlicht emittiert, oder dergleichen als Lichtquelle verwendet werden. Zum Beispiel kann als eine Abwandlung der zweiten Ausführungsform ein Nahinfrarotlaser anstelle der Nahinfrarot-LED 12A der Lichtquelle verwendet werden und die Kollimatorlinse 210 und dergleichen kann entfallen, ein Einzelmikrospiegel für biaxiale Abtastung kann anstelle der DMD 200 verwendet werden oder eine Kombination von Einzelmikrospiegel für uniaxiale Abtastung können anstelle des Reflexionsspiegels 210 und der DMD 200 verwendet werden
  • Bezugszeichenliste
    • 10: Abstandsbild-Erfassungsvorrichtung, 12, 542: Projektionseinheit, 12A: Nahinfrarot-LED, 12B: Optisches Beugungselement, 12C: Projektionslinse, 14: Abbildungseinheit, 14A: Abbildungslinse, 14B: Bildsensor, 20: Zentrale Verarbeitungseinheit (CPU), 20A: Musterextraktionseinheit 20A: Abstandsbild-Erfassungseinheit, 20C: Bestimmungseinheit, 22: Lichtmodulationseinheit, 24: Speichereinheit, 28: Bedienungseinheit, 30: Kommunikationseinheit, 500: Smartphone, 541: Kameraeinheit

Claims (17)

  1. Abstandsbild-Erfassungsvorrichtung, die enthält: eine Projektionseinheit, die ein erstes Muster von strukturiertem Licht projiziert, das in einer zweidimensionalen Weise in Bezug auf ein Objekt innerhalb eines Abstandsmessbereichs verteilt ist; eine Lichtmodulationseinheit, die das von der Projektionseinheit projizierte erste Muster räumlich moduliert; eine Abbildungseinheit, die parallel zu und um eine Grundlinienlänge von der Projektionseinheit versetzt bereitgestellt ist und ein Bild aufnimmt, das das erste reflektierte Muster enthält, das von dem Objekt innerhalb des Abstandsmessbereichs reflektiert wird; eine Musterextraktionseinheit, die das erste Muster, das von der Lichtmodulationseinheit räumlich moduliert ist, aus dem von der Abbildungseinheit aufgenommenen Bild extrahiert; und eine Abstandsbild-Erfassungseinheit, die ein Abstandsbild erfasst, das einen Abstand von dem Objekt innerhalb des Abstandsmessbereichs basierend auf dem ersten Muster, das von der Musterextraktionseinheit extrahiert wird, angibt.
  2. Abstandsbild-Erfassungsvorrichtung nach Anspruch 1, die ferner enthält: eine Bestimmungseinheit, die bestimmt, ob ein zweites Muster von strukturiertem Licht von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird oder nicht, wobei in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, die Lichtmodulationseinheit das erste Muster, das von der Projektionseinheit projiziert wird, räumlich moduliert.
  3. Abstandsbild-Erfassungsvorrichtung nach Anspruch 2, wobei das erste Muster und das zweite Muster Punktmuster sind und die Bestimmungseinheit in einem Fall, in dem die Anzahl von Punkten eines Punktmusters, die aus dem von der Abbildungseinheit aufgenommenen Bild detektiert wird, die Anzahl von Punkten des von der Projektionseinheit projizierten ersten Musters übersteigt, bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird.
  4. Abstandsbild-Erfassungsvorrichtung nach Anspruch 3, wobei die Lichtmodulationseinheit eine Speichereinheit aufweist, die mehrere räumliche Modulationsmuster zum räumlichen Modulieren des ersten Musters speichert, die in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird und das erste Muster, das von der Projektionseinheit projiziert wird, und das zweite Muster, das von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, unidentifizierbar sind, ein räumliches Modulationsmuster zur Identifizierung gegenüber dem zweiten Muster, das von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, aus der Speichereinheit auswählt und das erste Muster, das von der Projektionseinheit projiziert wird, gemäß dem ausgewählten räumlichen Modulationsmuster räumlich moduliert.
  5. Abstandsbild-Erfassungsvorrichtung nach Anspruch 2, die ferner enthält: eine Bakeninformations-Empfangseinheit, die von der weiteren Abstandsbild-Erfassungsvorrichtung gesendete Bakeninformationen empfängt, wobei die Bakeninformationen angeben, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, wobei die Bestimmungseinheit in einem Fall, in dem die Bakeninformations-Empfangseinheit die Bakeninformationen empfängt, bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird.
  6. Abstandsbild-Erfassungsvorrichtung nach Anspruch 5, wobei die Bakeninformationen räumliche Modulationsinformationen enthalten, die einen Modulationsinhalt der räumlichen Modulation des zweiten Musters angeben, und die Lichtmodulationseinheit eine Speichereinheit aufweist, die mehrere räumliche Modulationsmuster mit unterschiedlichen Modulationsinhalten zum räumlichen Modulieren des ersten Musters speichert, in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das zweite Muster von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, und das erste Muster, das von der Projektionseinheit projiziert wird, und das zweite Muster, das von der weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, unidentifizierbar sind, ein räumliches Modulationsmuster zum Ermöglichen der Identifizierung des ersten Musters und des zweiten Musters aus der Speichereinheit auswählt und das erste Muster, das von der Projektionseinheit projiziert wird, gemäß dem ausgewählten räumlichen Modulationsmuster räumlich moduliert.
  7. Abstandsbild-Erfassungsvorrichtung nach Anspruch 1, wobei die Lichtmodulationseinheit eine Speichereinheit aufweist, die mehrere räumliche Modulationsmuster mit unterschiedlichen Modulationsinhalten zum räumlichen Modulieren des ersten Musters speichert, das räumliche Modulationsmuster unter den mehreren räumlichen Modulationsmustern, die in der Speichereinheit gespeichert sind, in einer Reihenfolge oder in einer zufälligen Weise liest und das erste Muster, das von der Projektionseinheit projiziert wird, gemäß dem gelesenen räumlichen Modulationsmuster räumlich moduliert.
  8. Abstandsbild-Erfassungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Lichtmodulationseinheit ein Vibrator ist, der die Projektionseinheit oder ein optisches Projektionssystem der Projektionseinheit zum Schwingen bringt.
  9. Abstandsbild-Erfassungsvorrichtung nach Anspruch 8, wobei der Vibrator ein piezoelektrisches Element oder ein Vibrator von einem Schwingspulentyp ist.
  10. Abstandsbild-Erfassungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Lichtmodulationseinheit eine digitale Mikrospiegeleinrichtung ist, die eine Mikrospiegelgruppe aufweist, in die das erste Muster, das von der Projektionseinheit projiziert wird, eintritt, und die Mikrospiegelgruppe zum Oszillieren bringt, um das erste Muster, das von der Mikrospiegelgruppe reflektiert wird, räumlich zu modulieren.
  11. Abstandsbild-Erfassungsvorrichtung nach Anspruch 10, die ferner enthält: eine Bereichsbestimmungseinheit, die einen Überlappungsbereich bestimmt, in dem der Abstandsmessbereich, in dem das erste Muster projiziert wird, und ein Projektionsbereich eines zweiten Musters von strukturiertem Licht, das von einer weiteren Abstandsbild-Erfassungsvorrichtung projiziert wird, sich überlappen, wobei die Lichtmodulationseinheit nur einen Mikrospiegel, der dem Überlappungsbereich entspricht, der von der Bereichsbestimmungseinheit unter der Mikrospiegelgruppe der digitalen Mikrospiegeleinrichtung bestimmt wird, zum Oszillieren bringt.
  12. Abstandsbild-Erfassungsvorrichtung nach einem der Ansprüche 1 bis 11, wobei Licht des ersten Musters Nahinfrarotlicht ist und die Abbildungseinheit eine Empfindlichkeit gegenüber einer Wellenlängenbandbreite von zumindest Nahinfrarotlicht aufweist.
  13. Abstandsbild-Erfassungsvorrichtung nach einem der Ansprüche 1 bis 12, wobei die Abbildungseinheit einen Bildsensor aufweist, in dem ein erstes Lichtempfangselement mit einer Empfindlichkeit gegenüber einer Wellenlängenbandbreite von Nahinfrarotlicht und ein zweites Lichtempfangselement mit einer Empfindlichkeit gegenüber einer Wellenlängenbandbreite von sichtbarem Licht gemischt und in zweidimensionaler Weise angeordnet sind, die Musterextraktionseinheit das von der Lichtmodulationseinheit räumlich modulierte erste Muster aus einem von dem ersten Lichtempfangselement des Bildsensors erfassten Bild extrahiert und die Abstandsbild-Erfassungsvorrichtung ferner eine Vorrichtung zum Erzeugen von Bildern sichtbaren Lichts enthält, die ein Bild sichtbaren Lichts des Objekts innerhalb des Abstandsmessbereichs aus einem von dem zweiten Lichtempfangselement des Bildsensors erfassten Bild erzeugt.
  14. Abstandsbild-Erfassungsverfahren, das enthält: einen Schritt eines Projizierens eines ersten Musters von strukturiertem Licht, das in einer zweidimensionalen Weise in Bezug auf ein Objekt in einem Abstandsmessbereich verteilt ist, aus einer Projektionseinheit; einen Schritt eines räumlichen Modulierens des aus der Projektionseinheit projizierten ersten Musters; einen Schritt eines Aufnehmens eines Bildes, das das erste Muster enthält, das von dem Objekt innerhalb des Abstandsmessbereichs reflektiert wird, mit einer Abbildungseinheit, die parallel zu und um eine Grundlinienlänge von der Projektionseinheit versetzt bereitgestellt ist; einen Schritt eines Extrahierens des räumlich modulierten ersten Musters auf der Basis des von der Abbildungseinheit aufgenommenen Bildes; und einen Schritt eines Erfassens eines Abstandsbildes, das einen Abstand des Objekts angibt, innerhalb des Abstandsmessbereichs auf der Basis des extrahierten ersten Musters.
  15. Abstandsbild-Erfassungsverfahren nach Anspruch 14, das ferner enthält: einen Schritt eines Bestimmens, ob ein zweites Muster, das sich von dem ersten Muster unterscheidet, das von der Projektionseinheit projiziert wird, projiziert wird oder nicht, wobei in dem Schritt des räumlichen Modulierens des ersten Musters in einem Fall, in dem bestimmt wird, dass das zweite Muster projiziert wird, das erste Muster räumlich moduliert wird.
  16. Abstandsbild-Erfassungsverfahren nach Anspruch 15, wobei das erste Muster und das zweite Muster Punktmuster sind und in dem Schritt des Bestimmens in einem Fall, in dem die Anzahl von Punkten eines Punktmusters, das aus dem von der Abbildungseinheit aufgenommenen Bild detektiert wird, die Anzahl von Punkten des ersten Musters übersteigt, bestimmt wird, dass das zweite Muster projiziert wird.
  17. Abstandsbild-Erfassungsverfahren nach Anspruch 16, wobei in dem Schritt des räumlichen Modulierens in einem Fall, in dem in dem Schritt des Bestimmens bestimmt wird, dass das zweite Muster projiziert wird, und das erste Muster und das zweite Muster unidentifizierbar sind, das erste Muster, das von der Projektionseinheit projiziert wird, gemäß einem räumlichen Modulationsmuster räumlich moduliert wird, um eine Identifizierung des ersten Musters und des zweiten Musters zu ermöglichen.
DE112015006383.8T 2015-03-27 2015-11-06 Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren Active DE112015006383B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-065558 2015-03-27
JP2015065558 2015-03-27
PCT/JP2015/081305 WO2016157593A1 (ja) 2015-03-27 2015-11-06 距離画像取得装置及び距離画像取得方法

Publications (2)

Publication Number Publication Date
DE112015006383T5 true DE112015006383T5 (de) 2017-12-14
DE112015006383B4 DE112015006383B4 (de) 2019-01-03

Family

ID=57004189

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112015006383.8T Active DE112015006383B4 (de) 2015-03-27 2015-11-06 Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren

Country Status (5)

Country Link
US (1) US9927223B2 (de)
JP (1) JP6247793B2 (de)
CN (1) CN107709925B (de)
DE (1) DE112015006383B4 (de)
WO (1) WO2016157593A1 (de)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106424B1 (ko) 2013-09-30 2020-06-02 아다만도 나미키 세이미츠 호오세키 가부시키가이샤 다이아몬드 기판 및 다이아몬드 기판의 제조 방법
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
CN107683403B (zh) * 2015-06-09 2020-05-05 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
JP6640149B2 (ja) 2017-05-25 2020-02-05 京セラ株式会社 電磁波検出装置および情報取得システム
US11402197B2 (en) 2017-09-13 2022-08-02 Sony Corporation Distance measuring module
EP3692396A4 (de) 2017-10-08 2021-07-21 Magik Eye Inc. Distanzmessung unter verwendung eines längsrastermusters
JP2020537242A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 複数の可動センサを含むセンサシステムの校正
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
JP2019083501A (ja) 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
WO2019082686A1 (ja) * 2017-10-27 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置
KR20200123849A (ko) * 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
JP7030592B2 (ja) * 2018-03-27 2022-03-07 キヤノン株式会社 測距装置、撮像装置、移動装置、ロボット装置、プログラム
EP3803266A4 (de) 2018-06-06 2022-03-09 Magik Eye Inc. Distanzmessung unter verwendung von hochdichten projektionsmustern
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
EP3824339A4 (de) * 2018-08-24 2021-09-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Infrarotprojektor, abbildungsvorrichtung und endgerät
WO2020105348A1 (ja) * 2018-11-21 2020-05-28 富士フイルム株式会社 像ブレ補正装置、レンズ装置、撮像装置
CN109708588A (zh) * 2019-01-14 2019-05-03 业成科技（成都）有限公司 结构光投射器及结构光深度感测器
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) * 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
CN113785561B (zh) * 2019-08-01 2023-12-19 松下知识产权经营株式会社 摄像装置
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11450083B2 (en) * 2019-09-27 2022-09-20 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN114730010A (zh) 2019-12-01 2022-07-08 魔眼公司 利用飞行时间信息增强基于三角测量的三维距离测量
JP2020073895A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム
JP2020073894A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム
EP4094181A4 (de) 2019-12-29 2024-04-03 Magik Eye Inc Zuordnung dreidimensionaler koordinaten zu zweidimensionalen merkmalspunkten
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法
JP7384712B2 (ja) * 2020-03-06 2023-11-21 富士フイルム株式会社 放射線強度推定装置、放射線強度推定装置の作動方法、放射線強度推定装置の作動プログラム、放射線撮影システム
US11831858B2 (en) * 2020-05-08 2023-11-28 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on referential image blurring
CN212623504U (zh) * 2020-06-08 2021-02-26 三赢科技（深圳）有限公司 结构光投影仪
US11862117B2 (en) * 2020-11-25 2024-01-02 Texas Instruments Incorporated Method and apparatus for matched buffer decompression
WO2023238913A1 (ja) * 2022-06-08 2023-12-14 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471541A (en) * 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
JP2005221333A (ja) * 2004-02-04 2005-08-18 Hokuyo Automatic Co レンジセンサ及びレンジセンサの相互干渉抑制方法
US20070065004A1 (en) * 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
JP5057734B2 (ja) * 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
US8483442B2 (en) * 2007-02-16 2013-07-09 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
US7988290B2 (en) * 2007-06-27 2011-08-02 AMO Wavefront Sciences LLC. Systems and methods for measuring the shape and location of an object
US8379929B2 (en) * 2009-01-08 2013-02-19 Trimble Navigation Limited Methods and apparatus for performing angular measurements
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP4880096B1 (ja) * 2010-06-30 2012-02-22 富士フイルム株式会社 多視点撮影制御装置、多視点撮影制御方法及び多視点撮影制御プログラム
US8717312B2 (en) * 2010-07-26 2014-05-06 Au Optronics Corporation Touch sensing device
JP5644468B2 (ja) * 2010-12-20 2014-12-24 株式会社ニコン 撮像装置および撮像装置の制御プログラム
US9247238B2 (en) * 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
JP6135120B2 (ja) * 2012-12-19 2017-05-31 富士通株式会社 距離測定装置、距離測定方法及びプログラム
JP6119232B2 (ja) * 2012-12-19 2017-04-26 株式会社ソシオネクスト 距離測定装置、距離測定方法
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
KR101566619B1 (ko) * 2014-06-03 2015-11-09 중앙대학교 산학협력단 듀얼 오프 액시스 컬러 필터 조리개를 이용한 거리 추정 장치 및 방법
US9395174B2 (en) * 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
US20160189387A1 (en) * 2014-12-24 2016-06-30 Lensbricks Technology Private Limited Methods and Apparatus for Depth Sensing

Also Published As

Publication number Publication date
CN107709925A (zh) 2018-02-16
DE112015006383B4 (de) 2019-01-03
JP6247793B2 (ja) 2017-12-13
JPWO2016157593A1 (ja) 2018-01-18
US20180010903A1 (en) 2018-01-11
CN107709925B (zh) 2018-12-14
US9927223B2 (en) 2018-03-27
WO2016157593A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
DE112015006383B4 (de) Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
DE112014006009B4 (de) Bildaufnahmegerät und Zeitraffer-Bildaufnahmeverfahren
DE112015006244T5 (de) Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
DE202019006001U1 (de) Elektronische Vorrichtung zur Gewinnung von Tiefeninformation
DE112015006245B4 (de) Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
DE112013006817B4 (de) Bildaufnahmevorrichtung, Signalverarbeitungsverfahren und Signalverarbeitungsprogramm
DE112013002286B4 (de) Bildaufnahmevorrichtung und Verfahren zur Fokussierungssteuerung
DE602005004299T2 (de) Digitales bilderfassungssystem mit mitteln zur bestimmung der kamerabewegungsunschärfefunktion
DE102013020195A1 (de) Kamera mit Zusatzfunktionalität aufgrund von Verknüpfbarkeit mit einer Host-Vorrichtung
DE112013005594T5 (de) Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
EP2903258B1 (de) Bildverarbeitungsvorrichtung und verfahren sowie bildaufnahmevorrichtung
CN105103534B (zh) 摄像装置及校准方法
DE102013020275A1 (de) Kamera mit Zusatzfunktionalität aufgrund von Verknüpfbarkeit mit einer Host-Vorrichtung
DE112017000017T5 (de) Kameraeinstellungsanpassung basierend auf vorhergesagten umgebungsfaktoren und nachverfolgungssysteme, die diese einsetzen
DE112013006814T5 (de) Bildbeurteilungseinrichtung, Aufnahmegerät, 3D-Messgerät, Bildbeurteilungsverfahren und Programm
DE112013005599B4 (de) Bildaufnahmevorrichtung
CN104813648A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP2009500977A (ja) ファインダー上に画像焦点情報を表示するための改善されたシステム及び方法
DE112015002418T5 (de) Kamerasteuerung und Bild-Streaming
US11032483B2 (en) Imaging apparatus, imaging method, and program
DE102022118923A1 (de) Bildaufnahmevorrichtung, die als eine Aktionskamera verwendet wird, Kalibrierungssystem, Steuerungsverfahren für eine Bildaufnahmevorrichtung und Speichermedium, das ein Steuerungsprogramm für eine Bildaufnahmevorrichtung speichert
US10778903B2 (en) Imaging apparatus, imaging method, and program
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
US8086063B2 (en) Image display apparatus and method, and program
DE112013005142T5 (de) Bildaufnahmevorrichtung und zugehöriges Fokussiersteuerverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01C0003060000

Ipc: G01B0011250000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final