JP2020501155A - 焦点調整可能な画像センサを含む距離センサ - Google Patents

焦点調整可能な画像センサを含む距離センサ Download PDF

Info

Publication number
JP2020501155A
JP2020501155A JP2019530738A JP2019530738A JP2020501155A JP 2020501155 A JP2020501155 A JP 2020501155A JP 2019530738 A JP2019530738 A JP 2019530738A JP 2019530738 A JP2019530738 A JP 2019530738A JP 2020501155 A JP2020501155 A JP 2020501155A
Authority
JP
Japan
Prior art keywords
distance
image
reference pattern
pattern
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019530738A
Other languages
English (en)
Other versions
JP7133554B2 (ja
Inventor
昭輝 木村
昭輝 木村
Original Assignee
マジック アイ インコーポレイテッド
マジック アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マジック アイ インコーポレイテッド, マジック アイ インコーポレイテッド filed Critical マジック アイ インコーポレイテッド
Publication of JP2020501155A publication Critical patent/JP2020501155A/ja
Application granted granted Critical
Publication of JP7133554B2 publication Critical patent/JP7133554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

一実施形態では、物体までの距離を計算するための方法は、参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動するステップと、測定パターンを視野内に投射するために、距離センサの第3の投射点を起動するステップと、視野の画像を取得するステップであって、物体、参照パターン、および測定パターンが画像内で可視である、ステップと、画像内の測定パターンの外観に基づいて距離センサから物体までの距離を計算するステップと、画像内の参照パターンの外観に基づいて距離センサのレンズの動きを検出するステップと、検出された動きに基づいて計算されるときに距離を調整するステップとを含む。

Description

本開示は、一般に、コンピュータ視覚システムに関し、より具体的には、空間内の物体または点までの距離を測定するためのセンサに関する。
本出願は、全体を本願に引用して援用する、2016年12月7日に出願した米国仮特許出願第62/430,998号の利益を主張する。
ロボット車両およびドローンなどの無人車両は、通常、周囲の環境における障害物検出およびナビゲーションのためのコンピュータ視覚システムに依存する。これらのコンピュータ視覚システムは、同様に、通常、周囲の環境から視覚データを取得する様々なセンサに依存し、周囲の環境に関する情報を集めるためにコンピュータ視覚システムがそれらのデータを処理する。たとえば、1つ以上の画像センサを介して取得されたデータは、周囲の環境において車両から特定の物体または点までの距離を特定するために使用される場合がある。
一実施形態では、物体までの距離を計算するための方法は、参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動するステップと、測定パターンを視野内に投射するために、距離センサの第3の投射点を起動するステップと、視野の画像を取得するステップであって、物体、参照パターン、および測定パターンが画像内で可視である、ステップと、画像内の測定パターンの外観に基づいて距離センサから物体までの距離を計算するステップと、画像内の参照パターンの外観に基づいて距離センサのレンズの動きを検出するステップと、検出された動きに基づいて計算されるときに距離を調整するステップとを含む。
別の実施形態では、コンピュータ読取り可能記憶デバイスは、プロセッサによって実行されるとき、物体までの距離を計算するための動作をプロセッサに実行させる複数の命令を記憶する。これらの動作は、参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動することと、測定パターンを視野内に投射するために、距離センサの第3の投射点を起動することと、視野の画像を取得することであって、物体、参照パターン、および測定パターンが画像内で可視である、ことと、画像内の測定パターンの外観に基づいて距離センサから物体までの距離を計算することと、画像内の参照パターンの外観に基づいて距離センサのレンズの動きを検出することと、検出された動きに基づいて計算されるときに距離を調整することとを含む。
別の例では、装置は、可動であるレンズを含む画像センサと、参照パターンを視野内に集合的に投射するための第1の投射点および第2の投射点であって、画像センサに対するそれぞれの位置が固定されている第1の投射点および第2の投射点と、測定パターンを視野内に投射するための第3の投射点であって、画像センサに対する位置が固定されている第3の投射点と、画像内の参照パターンの外観に基づいてレンズの動きを検出し、検出された動きに基づいて計算されるときに距離を調整するために、画像センサによって取得された視野の画像内の測定パターンの外観に基づいて視野内の装置から物体までの距離を計算するための回路とを含む。
本開示の教示は、添付の図面と併せて次の発明を実施するための形態を検討することによって容易に理解することができる。
本開示の光学的構成を生成するために使用することができる距離センサの一実施形態の断面図である。 図1Aの距離センサの上面図である。 図1Aおよび図1Bの距離センサの一部分の上面図である。 レンズシフトをより詳細に示す図である。 画像拡大をより詳細に示す図である。 画像拡大および/またはレンズシフトを検出するために2つの参照光線を使用することができる第1の例を示す図である。 同時に起こる画像拡大およびレンズシフトを検出するために図4Aの第1および第2の参照光線が使用される例を示す図である。 第1の投射点および第2の投射点からの例示的な1次参照パターンの投射を示す図である。 第1の投射点および第2の投射点からの例示的な2次参照パターンの投射を示す図である。 同時に投射された例示的な1次および2次の参照パターンを示す図である。 同時に投射された例示的な1次および2次の参照パターンを示す図である。 図6Aおよび図6Bの1次参照パターンおよび2次参照パターンの投射の第1の例示的な側面図である。 様々な位置における投射されたドットの複数の矩形行列の重複を示す図である。 ともに同時に投射された1次参照パターンおよび2次参照パターンを有する例示的な測定パターンを示す図である。 空間内のセンサから物体または点までの距離を計算するための方法のフローチャートである。 本明細書に説明された機能を実行する際の使用に適した汎用コンピュータのハイレベルブロック図である。
理解を容易にするために、可能な場合、図に共通の同一の要素を指定するのに同一の参照番号が使用されている。
一実施形態では、本開示は、距離センサに関する。距離センサは、コンピュータ視覚システムが周囲の環境において車両から特定の物体または点までの距離を特定するのを助けるために無人車両において使用することができる。たとえば、距離センサは、物体または点の上に1つ以上の光線を投射し、次いで、飛行時間(TOF:time of flight)、反射光の分析(たとえば、ライダー)、または他の手段によって距離を計算することができる。しかし、このタイプの従来の距離センサは、かさばる傾向があり、したがって、小型の車両に使用するには適さない場合がある。さらに、これらのセンサは、製作するには非常に高額であり、限られた視野を有する傾向がある可能性がある。たとえば、複数の従来の画像センサの構成を使用しても、360度未満の視野を提供するだけである。距離センサは、3次元(3D)画像処理、個人用および商用の車両カメラシステム、セキュリティシステムなどを含む、他の用途にも使用することができる。しかし、これらの用途の各々は、様々なタイプの画像データ(たとえば、広い視野、遠い距離、小さいサイズなど)を必要とする場合があり、したがって、レンズシフトおよび画像拡大は、所与の用途に必要な画像のタイプを取得するために使用される場合がある。
いくつかの距離センサは、画像の位置を距離に直接関連付けるために簡単な三角測量アルゴリズムを利用し、それによって、画像に関連付けられた物体までの距離を計算する。このタイプのいくつかのセンサは、3次元センサとして2次元カメラを使用する場合がある。したがって、コストおよびサイズの点で、そのようなシステムには利点がある。しかし、光線投射を使用する動作中の三角測量システムでは、画像センサ(たとえば、カメラ)は、通常、ズーム機能が無い固定レンズ固定焦点システムとして構成される。固定焦点は、より遠い距離から画像を取得しようとするとき、ぶれを導く場合があり、ズームする能力が無いことにより、動く物体の鮮明な画像を取得することが難しくなる場合がある。他方、レンズがズームおよび焦点合せのために調整可能な場合、レンズのどんな望ましくない動き(たとえば、シフトまたは傾斜)も三角測量の精度に影響を及ぼす可能性がある。
本開示の例は、全体を本願に引用して援用する、2015年10月22日に出願した米国特許出願第14/920,246号に開示された距離センサのいずれかなどの小型距離センサのための光学的構成の改良を提供する。1つ以上の光源は、物体上への入射の際に測定パターン(たとえば、複数の平行線)を集合的に形成する複数の光線を投射する。2つ以上の光源は、物体上への入射の際に参照パターン(たとえば、同様に複数の平行線)を集合的に形成する複数の光線を投射する。測定パターンおよび参照パターンは、同じ光源または異なる光源から同時に投射される場合がある。次いで、1つ以上の画像センサは、物体、測定パターン、および参照パターンの2次元画像を取得し、画像内の物体上の測定パターンおよび参照パターンの外観に基づいて、距離センサの画像センサレンズの動き(たとえば、シフト、傾斜など)を検出する。次いで、レンズの動きを考慮するために三角測量ベースの物体距離測定に対して補償を行うことができる。
本開示の文脈においては、「光線」または「投射光線」は、開示された距離センサの光源によって放射された光の形態を指す。「線」または「パターン」は、光源によって放射された光線が表面または物体の上に入射するとき、その表面または物体の上に作られた画像を指す。
たとえば、図1Aおよび図1Bは、本開示の光学的構成を生成するために使用することができる距離センサ100の一例を示す。具体的には、図1Aは、距離センサ100の断面図を示すが、図1Bは、図1Aの距離センサ100の上面図を示す。距離センサ100は、たとえば、無人車両に取り付けることができる。
図1Aに示すように、距離センサ100は、小型ハウジング102内に配置された複数の構成要素を含む。一例では、これらの構成要素は、広角レンズ112を含む画像センサ110の周りに配置された複数の光源108〜108(以下、まとめて「光源108」と呼ぶか、または個別に「光源108」と呼ぶ)を含む。一例では、複数の光源108は、偶数の光源を含む。たとえば、図1Bに示した例では、複数の光源108は、4つの光源108を含む。一例では、これらの構成要素は、中心軸A−A’に関して実質的に対称に配置される。たとえば、一例では、中心軸A−A’は、画像センサ110の光軸(たとえば、レンズユニットの中心)と一致し、光源108は、図1Bに示したように、画像センサ110の周りのリングにおいて一定の間隔(たとえば、30度ごと、90度ごとなど)で離間される。
一例では、光源108の各々は、複数の光線を放射するレーザ光源であり、複数の光線は、複数の光線が入射する表面上に複数の連続線またはドット(または、x、ダッシュなどの他の印)の線を投射することができる。したがって、各光源108は、距離センサ100のための投射点、すなわち複数の光線が視野内に投射される、距離センサ100上の点と見なすことができる。この目的で、各投射点は、光源108によって放射された単一の光線を複数の光線に分割する、それぞれの回折光学素子114〜114(以下、まとめて「回折光学素子114」と呼ぶか、または個別に「回折光学素子114」と呼ぶ)を含むことができる。複数の光線の各個別の光線は、同様に、表面上にドットまたは点を投射することができ、複数の光線は、対応するドットが一連の平行線を集合的に形成するように配列される。これらの線は、矩形ドット行列を集合的に形成するように、ドットから形成することができる。代替として、線は、連続的であるか、またはダッシュ、xなどから形成されてもよい。
各光源108の投射方向は、画像センサ110に対して固定することができる。一例では、各光源108は、表面上に異なる視覚パターンを形成する複数の光線を投射するように構成される。たとえば、光源108は、ドットのパターンを投射することができるが、光源108は、ダッシュまたはxなどのパターンを投射することができる。さらなる例では、複数の光源108の少なくとも1つの光源108は、投射するパターンを変化させるように構成可能である。加えて、光源108の1つ以上によって投射された光の強度は、変化する場合がある。たとえば、光源108は、第1の強度の光を投射することができるが、光源108は、異なる第2の強度の光を投射することができる、などである。代替として、各光源108は、強度がある範囲内で変化することができる光を投射することができる場合がある。
各光源108から放射された光は、人間の視覚に比較的安全であることが知られている波長(たとえば、赤外線)を有する。さらなる例では、各光源108は、その出力の強度を調整するための回路を含むことができる。さらなる例では、各光源108は、画像取得時に周囲の光の効果を緩和するために光をパルスで放射することができる。
一例では、複数の光源108は、図1Aに示したように、複数の光源108によって放射された光が伝搬する方向に対して、画像センサ110の主点(すなわち、光軸A−A’が画像平面と交差する点)の「背後に」配置される。一例では、複数の光源108の少なくとも1つの光源108は、距離センサ100から取り外し可能である。
上に論じたように、画像センサ110は、複数の光源108の中央の中心軸A−A’に沿って配置することができる。一例では、画像センサ110は、スチルカメラまたはビデオカメラなどの画像取得デバイスである。1つの特定の例では、画像取得デバイスは、赤、緑、青、赤外線(RGB−IR)センサを含む。上にも論じたように、画像センサ110は、半球状の視野を生成する魚眼レンズなどの広角レンズ112を含む。一例では、レンズ112は、中央投射光学レンズまたは自由曲面光学レンズ以外の任意のタイプのレンズを含む。一例では、画像センサ110は、距離センサ100から物体または点までの距離を計算するための回路を含む。別の例では、画像センサは、ネットワークを介して取得された画像をプロセッサに通信するためのネットワークインターフェースを含み、プロセッサは、距離センサ100から物体または点までの距離を計算し、次いで、計算された距離を再び距離センサ100に通信する。
別の例では、距離センサ100は、光源108の光線を第1の複数の光線に分割するために回折光学素子を使用する単一の光源108を使用することができる。次いで、第1の複数の光線の各々は、上に論じたように、距離センサ100の各投射点から放射される第2の複数の光線に(たとえば、回折光学素子114によって)さらに分割される。この例は、米国特許出願第14/920,246号にさらに詳細に論じられている。
したがって、一例では、距離センサ100は、複数の投射光線が放射される複数の投射点を生成するために1つ以上の光源および/または1つ以上の回折光学素子を使用し、複数の投射光線によって生成された複数の線(たとえば、ドットまたはダッシュのパターンを含むことができる)は、光線が投射された表面上に互いに平行に向けられる場合がある。したがって、距離センサ100によって表面上に投射されたパターンは、複数の平行線を含むことができ、これらの線の各々は、連続線、またはドット、ダッシュ、xなどの線を含む。次いで、距離センサ100から物体までの距離は、(たとえば、2015年10月22日に出願した米国特許出願第14/920,246号に説明したように)視野内の複数の平行線の外観から(たとえば、これらの線がドットから形成されるとき、ドットの位置によって)計算することができる。たとえば、物体までの距離は、平行線を形成するドットの横方向の動きを通して検出することができるが、それは、距離が変化しても、これらの線が常に連続的に線形であるからである。物体のサイズおよび寸法も、直接計算することができる。
下により詳細に論じるように、平行線の様々なパターンが、距離を測定しレンズの動きを補償するために使用される場合がある。たとえば、第1および/または第2の参照パターンの画像が、レンズの動きを検出するために使用される場合がある。次いで、レンズの動きの情報は、測定パターンの画像に基づいて(たとえば、三角測量を介して)行われた距離測定を調整するために適用することができる。
光源108の各々が異なるパターン(たとえば、ドット、x、ダッシュなど)の複数の線を投射するとき、画像センサ110内の回路は、取得された画像内のどの線が光源108のどれによって生成されたかを容易に特定することができる。このことは、下により詳細に論じるように、距離計算を容易にすることができる。一例では、異なる距離計算技法は、光源108の各々によって投射されたパターンと併せて使用することができる。
図2は、図1Aおよび図1Bの距離センサ100の一部分の上面図を示す。具体的には、図2は、検出される物体200に対するレンズシフトおよび画像拡大の概念を示す。
図示したように、画像センサ110および光源108は、固定位置を有する。しかし、レンズ112は、可動位置を有し、その結果、焦点合せおよびズームのためにその位置を調整することができる。したがって、距離センサ100は、距離が測定されている物体200に対して固定位置を有することができるが、物体200に対するレンズ112の位置は、変化する場合があり、このことは、距離計算のために使用される三角測量技法の精度に影響を及ぼす場合がある。
たとえば、レンズ112は、シフトする、すなわち、画像センサ110の光軸に対して横方向または垂直方向に動く場合がある。図2では、最初のシフト前光軸はA−A’で示されるが、新しいシフト後光軸はB−B’で示される。
レンズ112は、たとえば、画像拡大(ズーム)のために、画像センサ110の光軸に平行な方向に動く場合もある。この場合、画像センサの光軸の位置は、変化しない(たとえば、その位置はA−A’のままである)が、レンズ112から物体200までの距離は変化する。
参照パターンは、光源108の2つ以上によって物体200上に投射することができ、各光源108は、それぞれの参照光線206または206(以下、まとめて「参照光線206」と呼ぶか、または個別に「参照光線206」と呼ぶ)を投射する。参照パターンは、下により詳細に論じるように、参照光線206が収束または交差する少なくとも1つの参照点204(たとえば、ドット、ダッシュ、線など)を含む。一例では、参照パターンの参照軸202は、画像センサ110の光軸A−A’と一直線になる(たとえば、同一直線上にある)。
図3Aは、レンズシフトをより詳細に示す。具体的には、図3Aは、レンズから物体306までの距離の変化が無いレンズシフトを示す。図3Aでは、レンズ112の最初の位置は、300で示されるが、レンズ112の新しい位置またはシフトした位置は、302で示される。最初の位置300と新しい位置302との間のシフトまたは横方向の差は、sとして与えることができる。
参照番号304は、以下で「参照点」と呼ぶ点(たとえば、ドット、x、ダッシュなど)画像Pを物体306上に生成する、物体306上に投射された参照光線を示す。図示したように、参照光線304は、レンズ112の最初の位置300のレンズ112の前方節点Nから投射され、前方節点Nを通過する。この場合、前方節点Nは、三角測量のための距離センサ100の校正位置として機能する。レンズ112が新しい位置302にシフトするとき、レンズ112の前方節点は、N’に移動する。レンズ112の後方節点は、NからN’に移動する。その方向および参照光線304に関連付けられた参照点Pは固定される。
レンズ112が最初の位置300にあるとき、画像センサ110上の参照点Pの画像は、Qによって示される。しかし、レンズ112が新しい位置302にシフトするとき、画像センサ110上の参照点Pの画像は、Q’に移動する。この場合、参照点Pの移動距離s’は、次のように計算することができる。
s’=s+s(b/a) (方程式1)
ここで、bは画像距離(すなわち、画像センサ110上の参照点Pの画像Q’からレンズ112の後方節点N’までの距離)を表し、aは物体距離(すなわち、物体306からレンズ112の後方節点N’までの距離)を表す。通常、比率b/aは、比較的小さく、その結果、シフトsは、移動距離s’にほぼ等しい。
一例では、ドット画像P、P、およびPは、距離測定のために物体306上に投射されるパターンの一部分を形成し、したがって、ドット画像P、P、およびPは、本明細書では、「測定点」と呼ばれる場合がある。画像センサ110上の測定点の対応する画像は、それぞれ、Q、Q、およびQによって示される。レンズ112が新しい位置302にシフトするとき、画像センサ110上の測定点の画像は、それぞれ、Q’、Q’、およびQ’に移動する。この場合、測定点P、P、およびPの移動距離s’は、シフトsにほぼ等しい。
したがって、レンズ112のシフトsは、物体306までの任意の距離とともに参照光線304を使用することによって特定することができる。シフトがsであるとき、物体306までの任意の距離における(画像センサ110によって取得される)いずれかの測定点P、P、およびPの画像の移動値はs’である。
図3Bは、画像拡大をより詳細に示す。画像拡大は画像距離(すなわち、画像センサ上のパターン点の画像からレンズの後方節点までの距離)と比例関係を有することに留意されたい。具体的には、図3Bは、レンズシフトが無い画像拡大を示す。したがって、レンズ112は、物体306に(すなわち、画像センサ110の光軸に平行な方向に)さらに近づくか、または物体306からさらに離れる場合があるが、横方向に(すなわち、図3Aに示したように、画像センサ110の光軸に垂直な方向に)は動かない。
図3Bでは、レンズ112の最初の位置は、308で示されるが、レンズ112の新しい位置または拡大位置は、310で示される。参照番号304は、以下で「参照点」と呼ぶ点(たとえば、ドット、x、ダッシュなど)画像Pを物体306上に生成する、物体306上に投射された参照光線を示す。図示したように、参照光線304は、最初の位置308のレンズ112の前方節点Nから投射され、前方節点Nを通過する。この場合、前方節点Nは、三角測量のための距離センサ100の校正位置として機能する。レンズ112が新しい位置310に移動するとき、レンズ112の前方節点は、N’に移動する。レンズ112の後方節点は、NからN’に移動する。その方向および参照光線304に関連付けられた参照点Pは固定される(すなわち、参照点Pは、画像距離が変化する場合があっても、物体306に対して動かない)。
レンズ112が最初の位置308にあるとき、画像センサ110上の参照点の画像は、Qによって示される。上に論じたように、物体306上の参照点Pの画像の位置は、画像距離の変化とともには動かない。しかし、レンズ112が(たとえば、ズームまたは焦点合せのために)新しい位置310にシフトし画像距離が変化したとき、画像センサ110上の参照点の画像はQ’に移動する。
さらなる例では、複数の(すなわち、少なくとも2つの)参照光線は、レンズシフトおよび画像拡大を検出し、それらを補償するために使用される。この場合、距離センサの少なくとも第1および第2の投射点は、距離が測定されている物体上に、少なくとも第1および第2の参照光線をそれぞれ投射するために使用される場合がある。
図4Aは、たとえば、画像拡大および/またはレンズシフトを検出するために2つの参照光線を使用することができる第1の例を示す。この場合、変化比率kは、両参照光線に対応する取得画像の距離変化を検出することによって得ることができる。
具体的には、第1の参照光線400および第2の参照光線402は、物体404上に、第1の参照点Pおよび第2の参照点PSRを生成するために投射される。画像センサ上の第1の参照点Pおよび第2の参照点PSRの画像の位置は、それぞれ、QおよびQSRによって示され、画像センサ上の第1の参照点Pおよび第2の参照点PSRの画像の新しい位置は、それぞれ、Q’およびQSR’によって示される。点PおよびPは、それぞれ、第1の測定光線406および第2の測定光線408によって物体404上に生成された第1の測定点および第2の測定点をそれぞれ示す。
この場合の変化比率kは、次式によって得ることができる。
k=(khSR+kh)/(hSR*h) (方程式2)
ここで、khSRおよびkhは既知である。
図4Bは、図4Aの第1および第2の参照光線400および402が、同時に起こる画像拡大およびレンズシフトを検出するために使用される例を示す。この場合、シフトsと変化比率kの両方を計算するために第1および第2の参照光線400および402の絶対位置(すなわち、三角測量校正が行われる最初のレンズ前方シフト位置)を知ることが必要である。この場合の絶対位置は、画像センサの光軸A−A’に対する位置として定義され、光軸A−A’は、参照点の画像が物体距離変化または画像距離変化とともには動かない点としてさらに定義される。
絶対位置が既知である必要がある精度は、状態によって変化する場合がある。しかし、いくつかの例では、第1の参照光線400、第2の参照光線402、および光軸の位置を検出することが可能な校正手段を使用することができる。校正手段はさらに、検出された位置を配置および記憶することができる。これらの位置の検出、配置、および記憶は、三角測量校正に関連して行うことができる。
上に説明された例は、レンズシフトおよび物体距離変化を検出するために参照「光線」を使用することに関して論じてきたが、本開示のさらなる例は、レンズシフトおよび物体距離変化を検出するために複数の光線によって生成された参照「パターン」を使用することができる。この場合、距離センサの少なくとも2つの投射点は、複数の光線を同時に投射し、複数の光線は、それらが放射される投射点から扇形に広がる場合がある。複数の光線の各光線は、物体上に点を投射することができる。複数の光線によって投射された点は、物体上に複数の線(たとえば、連続線、または一連のドット、ダッシュ、xなどによって形成された線)を集合的に形成することができる。単一の投射点から放射された複数の光線によって、また複数の光線によって物体上に投射された点によって画定された空間は、距離センサのレンズの前方節点を含むことができる投射平面を形成する。各投射平面は、距離センサの光軸を含むことができる。
図5Aは、たとえば、第1の投射点502および第2の投射点504からの例示的な1次参照パターン500の投射を示す。図示したように、第1の投射点502および第2の投射点504は各々、第1の投射平面506または第2の投射平面508をそれぞれ形成するために扇形に広がる複数の光線を投射する。
図示したように、第1の投射平面506と第2の投射平面508は、画像センサ512の前方節点510を通過する線C−C’に沿って交差する。第1の投射点502および第2の投射点504の位置は、画像センサ512に対して固定されているので、第1の投射平面506と第2の投射平面508が交差する線C−C’の位置も、画像センサ512に対して固定される。したがって、線C−C’は、参照パターン500の画像を取得することによって実際に認識することができる「参照光線」と見なされる場合がある。
第1の投射平面506および第2の投射平面508が画像センサ512の光軸を通るので、第1の投射平面506および第2の投射平面508によって生成された1次参照パターン500は、「1次」参照パターンと見なされる場合がある。線C−C’は、同様に、「1次」参照軸と見なされる場合がある。
図5Bは、第1の投射点502および第2の投射点504からの例示的な2次参照パターン514の投射を示す。この場合、第1の投射点502および第2の投射点504は各々、第3の投射平面516または第4の投射平面518をそれぞれ形成するために扇形に広がる複数の光線を投射する。
図示したように、第3の投射平面516と第4の投射平面518は、線D−D’に沿って所定の角度で交差する。第1の投射点502および第2の投射点504の位置は、画像センサ512に対して固定されているので、第3の投射平面516と第4の投射平面518が交差する線D−D’の位置も、画像センサ512に対して固定される。したがって、線D−D’は、参照パターン514の画像を取得することによって実際に認識することができる「参照光線」と見なされる場合がある。
第3の投射平面516および第4の投射平面518が画像センサ512の光軸を通らないので、第3の投射平面516および第4の投射平面518によって生成された参照パターン514は、「2次」参照パターンと見なされる場合がある。線D−D’は、同様に、「2次」参照軸と見なされる場合がある。
1次参照パターン500と2次参照パターン514は、同じ平面において、互いに平行である。1次参照パターン500と2次参照パターン514との間の画像センサ512によって取得される画像の距離は、物体距離の変化に対して一定である。
図6Aは、本開示の距離センサによって物体上に投射することができる例示的な測定パターン600を示す。図示したように、測定パターン600は、ドットの矩形行列を含む。しかし、他の例では、ドットの各列または行は、連続線として形成される場合がある。上に論じたように、測定パターン600は、少なくとも2つの投射点によって生成され、これらの投射点は、画像センサの周りに配置され、画像センサのレンズの前方節点に対して(画像センサの光軸の方向に沿って)同じ高さに配置され、複数の光線を同時に放射する。
測定パターン600内に(またはその上で重なって)同時に投射された例示的な1次および2次の参照パターンを示す、図6Aおよび図6Bに示した例では、1次参照パターンは、垂直に向けられたドットの中心線602を含むが、2次参照パターンは、中心線602から横方向外側に(および中心線に平行に)離間した、垂直に向けられた1組のドットの線604を含む。測定パターン600、1次参照パターン、および2次参照パターンは、それぞれの光源608に対応する回折光学素子を含むことができる、複数の投射点606から半球状の視野(たとえば、「仮想球体」)内に投射される。
より詳細には、1次参照パターンは、球面座標においてφ=C(ここで、Cは一定であるが、任意の値である)の線に対応し、より具体的には、φ=0(すなわち、C=0)の線に対応するが、ここでφは測定パターン600の回転角度である。したがって、1次および2次の参照パターンは、それらが投射される投射点とともに平面を生成し、物体上に投射された結果的なパターンは、線を形成する。
1次参照パターンは、仰角θ=+θaから−θa(ここで、θは任意の値であり、1次参照パターンは、θaからθbの所定の範囲にある)によってさらに定義される場合がある。2次参照パターンは、仰角θ=+θbから−θb(ここで、θは任意の値であり、2次参照パターンは、θcからθdの所定の範囲にある)によってさらに定義される場合がある。2次参照パターンの回転角度φは、φ=Δφ(ここでφは所定の値である)として定義される場合がある。
対照的に、測定パターン600は、θ=0の線に対応する(および、より具体的には、測定パターン600の水平に向けられた中心線610はθ=0に対応する)が、ここでθは測定パターン600の仰角である。
図7は、図6Aおよび図6Bの1次参照パターンおよび2次参照パターンの投射の第1の例示的な側面図を示す。図示したように、(光線702によって投射された)1次参照パターンおよび(光線704によって投射された)2次参照パターンを含む参照パターンの投射点の位置は、レンズ706の前方節点Nと一致して配置される。したがって、参照パターンの線の取得された画像は、物体からのレンズ706の任意の距離において同じ位置を占める。
したがって、(同様に構成されるが、異なるそれぞれの位置に配置される)1次参照パターン800および2つの2次参照パターン802の重複を示す図8に示したように複数の投射点を配置することによって、それぞれの中心線804、806、および808が画像センサのレンズ812の光軸上で交差する点は、レンズ812から、1次参照パターン800および2次参照パターン804が投射される物体までの任意の距離に固定される。
一例では、1次参照パターン800は、その交点を容易に認識することができるように構成される。しかし、1次参照パターン800のある部分は、(異常な反射状態、障害物の存在などの物体の状態によって)点画像状態のために検出不可能になる場合があることを仮定することができる。したがって、1次参照パターン800を検出するための距離センサの能力の精度は、時間とともに、変化する場合がある。
したがって、一例では、1次参照パターン800の交点が認識される精度を改善するために安全策がとられる場合がある。たとえば、1次参照パターン800内の投射線の数が(たとえば、4つ以上に)増加する場合があり、および/または、投射線の長さが増加する場合がある。さらなる例では、選択手段は、1次参照パターン800の選択された部分に基づいて1次参照パターン800の最も効果的な部分および最も効果的な計算手段を選択するために使用することができる。さらなる例では、制御手段は、パターン状態および/または三角測量結果の分析に基づいて1次参照パターン800の投射および画像取得(たとえば、放射時間、放射強度、露出時間、画像減算方法など)を制御するために使用することができる。
図9は、ともに同時に投射された1次参照パターン902および2次参照パターン904を有する例示的な測定パターン900を示す。図示したように、測定パターン900は、直線の規則的なパターン(この場合、各線は一連のドットとして形成される)から成る比較的単純な形状を有する。したがって、測定パターン900全体の形状は、測定パターン900の部分図からでも容易に仮定することができる。
しかし、測定パターン900上で重なっている1次参照パターン902および2次参照パターン904から集合的に構成された参照パターンは、測定パターン900ならびに1次および2次の参照パターン902および904が距離センサの同じ投射点から投射される場合、測定パターン900の写像と干渉する場合がある。したがって、一例では、参照パターンは、複数の区画906〜906(以下、集合的に「区画906」と呼ぶか、または個別に「区画906」と呼ぶ)に分割することができる。
本開示のさらなる例は、ズーム用3次元距離センサを提供する。遠い距離では、投射された点画像の移動値は小さい。しかし、ズームインする(すなわち、レンズから物体までの距離を減少させる)ことによって、点画像の移動値は増加し、距離感度が改善する。
遠い距離を測定する場合、レンズの明るさが減少するとき、戻り光(すなわち、物体によって反射され画像センサに再び戻る光)の強度も減少する。したがって、光源によって放射される光の強度が、増加させる場合がある。他方、放射される光の強度を増加させると、電力消費の増加、寿命の減少、安全性の減少などのいくつかの欠点が導かれる場合がある。
したがって、制御手段は、ズーム機能と同期するために使用される場合がある。制御手段は、特定の投射パターンを選択し、光源強度を調整し、放射時間および/または光源パルスの間隔を調整し、画像センサの取得機能(たとえば、シャッター速度、露出タイミングなど)を調整することができる。
加えて、画像ぶれは、焦点調整とともに変化する場合があり、距離測定の精度に影響を及ぼす場合もある。距離センサがズームインする(すなわち、画像拡大が増加する)とき、画像ぶれの影響は、より深刻になる場合がある。距離センサは、広い範囲の距離を測定する必要があるので、任意の自動焦点システムは、いつでも全範囲の距離に焦点を合わせるべきである。したがって、周期性パターンを有する焦点変更システムが使用される場合があり、周期性パターンは、画像拡大/ズーム値とともに変化する。
本開示のさらなる例は、レンズの動きとともに変化する、レンズおよび他の画像処理光学素子の収差を補償することができる。一例では、このことは、校正された補償値を記憶するプロセスを使用することによって行われ、測定された距離に対応する校正された補償値を使用して3次元測定結果を調整する。
図10は、空間内のセンサから物体または点までの距離を計算するための方法1000のフローチャートを示す。一実施形態では、方法1000は、図11に示し、下に論じるように、画像センサ(図1Aおよび図1Bに示された画像センサ110など)に一体化されたプロセッサまたは汎用コンピューティングデバイスによって実行することができる。
方法1000は、ステップ1002で開始する。ステップ1004では、距離センサの第1の投射点および第2の投射点は、それぞれ、第1および第2の複数の光線を投射するために同時に起動される。第1および第2の複数の光線は、視野内に参照パターンを集合的に投射する。上に論じたように、参照パターンは、1次参照パターンおよび2次参照パターンを含む場合があるが、1次参照パターンは第1の線を含み、2次参照パターンは、第1の線に平行に向けられた第2および第3の線を含む。たとえば、第1の線は、距離センサの画像センサの光軸に平行に向けられる場合があるが、第2および第3の線は、第1の線の平面に対してある角度に向けられる。
第1、第2、および第3の線のいずれかは、一連の点(たとえば、ドット、ダッシュ、xなど)として形成される場合がある。第1、第2、および第3の線は、画像センサの固定点(たとえば、画像センサのレンズの前方節点)とともに、それぞれの第1、第2、および第3の平面を形成する場合がある。
上に論じたように、1次参照パターンの回転角度は、球面座標において0である場合があり、1次参照パターンの仰角は、球面座標において所定の範囲内に収まる場合がある。同時に、2次参照パターンの回転角度は、球面座標において一定の値である場合があり、2次参照パターンの仰角は、球面座標において所定の範囲内に収まる場合がある。
ステップ1006では、距離センサの第3の投射点が、第3の複数の光線を投射するために起動される。第3の複数の光線は、視野内に測定パターンを投射する。一例では、第1および/または第2の投射点によって投射された第1および/または第2の複数の光線は、参照パターンを形成するために第3の複数の光線と協働する場合がある。上に論じたように、測定パターンは、複数の平行線を含む場合があり、複数の平行線の各線は、一連の点(たとえば、ドット、ダッシュ、xなど)として形成される。したがって、一例では、測定パターンは、ドットの矩形行列を含む場合がある。一例では、参照パターンの第1、第2、および第3の線は、測定パターンの複数の平行線に平行に向けられるが、それらの平行線上で重なっている。
上に論じたように、測定パターンの回転角度は、球面座標において所定の範囲内に収まる場合があり、測定パターンの仰角は、球面座標において一定の値である場合がある。
ステップ1008では、視野の画像は、たとえば、画像センサによって取得され、第1、第2、および第3の投射点の位置は、画像センサの位置に対して固定される。物体、参照パターン、および測定パターンは、画像内で可視である。画像センサは、焦点合せ機能および/または焦点距離変更機能を含む場合がある。したがって、画像センサのレンズは、可動である場合がある。
ステップ1010では、距離センサから物体までの距離は、画像内の測定パターンの外観に基づいて計算される。一例では、この距離は、三角測量アルゴリズムを使用して計算される。
ステップ1012では、画像センサのレンズの動きは、画像内の参照パターンの外観に基づいて検出される。たとえば、画像センサの固定点(たとえば、画像センサのレンズの前方節点)に対する参照パターンの固定方向の外観に基づいて、レンズが画像センサの光軸の方向に対して横方向にシフトするか、または、レンズが物体に近づくか、もしくは物体からさらに離れることが特定される場合がある。この動きは、レンズの最初の(たとえば、校正された)位置と比較される。
たとえば、レンズの動きは、1次参照パターンと2次参照パターンとの交点の最初の位置を検出することによって検出することができる。最初のパターンは、レンズの所定の(たとえば、校正された)位置に対して記憶される場合がある。次いで、交点の現在の位置を検出することができ、レンズの動きの量を見出すために最初の点と現在の点との間の差を計算することができる。さらなる例では、第1の参照パターンと第2の参照パターンとの間の最初の距離および現在の距離も検出することができ、最初の距離と現在の距離との間の差は、レンズの動きの量を示す場合がある。
ステップ1014では、ステップ1010において計算された距離が、ステップ1012において検出された動きに基づいて調整される。したがって、距離計算は、レンズの動き(シフト、ズーム、傾斜など)を補償するために調整される場合がある。
次いで、方法1000は、ステップ1016で終了する。
図11は、本明細書に説明された機能を実行する際の使用に適した汎用コンピュータのハイレベルブロック図を示す。図11に示したように、システム1100は、1つ以上のハードウェアプロセッサ要素1102(たとえば、中央処理ユニット(CPU)、マイクロプロセッサ、またはマルチコアプロセッサ)と、ランダムアクセスメモリ(RAM)および/またはリードオンリーメモリ(ROM)などのメモリ1104と、距離を計算するためのモジュール1105と、様々な入力/出力デバイス1106(たとえば、限定はしないが、テープドライブ、フロッピードライブ、ハードディスクドライブもしくはコンパクトディスクドライブ、受信機、送信機、レンズおよび光学素子、出力ポート、入力ポートおよびユーザ入力デバイス(キーボード、キーパッド、マウス、マイクロフォンなど)を含む記憶デバイス)とを含む。1つのプロセッサ要素のみが示されているが、汎用コンピュータは、複数のプロセッサ要素を使用することができることに留意されたい。さらに、図には1つの汎用コンピュータのみが示されているが、上に論じた方法が特定の説明に役立つ例に関して分散した方法でまたは並列的な方法で実施される場合、すなわち、上の方法のステップまたは方法全体が複数または並列の汎用コンピュータのいたる所で実施される場合、この図の汎用コンピュータは、これらの複数の汎用コンピュータの各々を表すことが意図される。さらに、1つ以上のハードウェアプロセッサは、仮想化されたまたは共用のコンピューティング環境をサポートする際に利用することができる。仮想化されたコンピューティング環境は、コンピュータ、サーバ、または他のコンピューティングデバイスを表す1つ以上の仮想マシンをサポートすることができる。そのような仮想化された仮想マシンでは、ハードウェアプロセッサおよびコンピュータ読取り可能記憶デバイスなどのハードウェア構成要素は、仮想化されるか、または論理的に表される場合がある。
本開示は、ソフトウェアにおいて、および/または、たとえば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)を含むプログラマブルロジックアレイ(PLA)、もしくはハードウェアデバイス上に展開される状態機械、汎用コンピュータ、もしくは任意の他のハードウェア均等物を使用して、ソフトウェアとハードウェアの組み合わせで実施することができ、たとえば、上で論じた方法に関連するコンピュータ読取り可能命令は、上で開示された方法のステップ、機能、および/または動作を実行するようにハードウェアプロセッサを構成するために使用することができることに留意されたい。一実施形態では、距離を計算するための本モジュールまたはプロセス1105のための命令およびデータ(たとえば、コンピュータ実行可能命令を含むソフトウェアプログラム)は、メモリ1104にロードされ、例示的な方法1000と併せて上に論じたステップ、機能、または動作を実施するためにハードウェアプロセッサ要素1102によって実行されることが可能である。さらに、ハードウェアプロセッサが「動作」を実行するために命令を実行するとき、このハードウェアプロセッサは、動作を直接実行し、および/または、容易にし、指示を出し、または動作を実行するために別のハードウェアデバイスもしくは構成要素(たとえば、コプロセッサなど)と協働する、ハードウェアプロセッサを含むことができる。
上に説明した方法に関するコンピュータ読取り可能命令またはソフトウェア命令を実行するプロセッサは、プログラムされたプロセッサまたは特殊なプロセッサと考えることができる。したがって、本開示の距離を計算するための本モジュール1105(関連のデータ構造を含む)は、揮発性メモリ、非揮発性メモリ、ROMメモリ、RAMメモリ、磁気ドライブまたは光学ドライブ、デバイスまたはディスケットなどの有形のまたは物理的な(広くは、非一時的な)コンピュータ読取り可能記憶デバイスまたは媒体に記憶することができる。より具体的には、コンピュータ読取り可能記憶デバイスは、プロセッサ、またはコンピュータもしくはアプリケーションサーバなどのコンピューティングデバイスによってアクセスされるデータおよび/または命令などの情報を記憶する機能を提供する任意の物理的なデバイスを含むことができる。
様々な実施形態を上に説明してきたが、これらの実施形態は例のみによって提示され、限定はされないことを理解されたい。したがって、好ましい実施形態の広さおよび範囲は、上に説明した例示的な実施形態のいずれかによって限定されるべきではなく、むしろ、次の特許請求の範囲およびそれらの均等物によってのみ定義されるべきである。

Claims (21)

  1. 物体までの距離を計算するための方法であって、
    参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動するステップと、
    測定パターンを前記視野内に投射するために、前記距離センサの第3の投射点を起動するステップと、
    前記視野の画像を取得するステップであって、前記物体、前記参照パターン、および前記測定パターンが前記画像内で可視である、ステップと、
    前記画像内の前記測定パターンの外観に基づいて前記距離センサから前記物体までの距離を計算するステップと、
    前記画像内の前記参照パターンの外観に基づいて前記距離センサのレンズの動きを検出するステップと、
    検出された前記動きに基づいて計算されるときに前記距離を調整するステップと
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法であって、前記参照パターンは、互いに平行に配置される、第1の線、第2の線、および第3の線を含む、ことを特徴とする方法。
  3. 請求項2に記載の方法であって、前記第1の線、前記第2の線、および前記第3の線の各々は、それぞれの一連のドットから形成される、ことを特徴とする方法。
  4. 請求項1に記載の方法であって、前記動きは、前記画像を取得するために使用される画像センサの固定点に対する前記参照パターンの固定方向に基づいて検出される、ことを特徴とする方法。
  5. 請求項4に記載の方法であって、前記第1の線、前記第2の線、および前記第3の線の各々は、前記画像センサの前記固定点とともに平面を形成する、ことを特徴とする方法。
  6. 請求項4に記載の方法であって、前記画像センサの前記固定点は、前記レンズの前方節点を含む、ことを特徴とする方法。
  7. 請求項4に記載の方法であって、前記第1の線、前記第2の線、および前記第3の線の各々は、前記画像センサの光軸を含む平面を形成する、ことを特徴とする方法。
  8. 請求項2に記載の方法であって、前記第1の線は、1次参照パターンを含み、前記第2の線および第3の線は、2次参照パターンを集合的に含み、前記1次参照パターンは、前記距離センサの画像センサの光軸に平行に向けられ、前記2次参照パターンは、前記1次参照パターンの平面に対してある角度に向けられる、ことを特徴とする方法。
  9. 請求項8に記載の方法であって、前記1次参照パターンの回転角度は、球面座標において0であり、前記1次参照パターンの仰角は、前記球面座標において所定の範囲内に収まる、ことを特徴とする方法。
  10. 請求項9に記載の方法であって、前記2次参照パターンの回転角度は、前記球面座標において一定の値であり、前記2次参照パターンの仰角は、前記球面座標において所定の範囲内に収まる、ことを特徴とする方法。
  11. 請求項10に記載の方法であって、前記測定パターンの回転角度は、前記球面座標において所定の範囲内に収まり、前記測定パターンの仰角は、前記球面座標において一定の値である、ことを特徴とする方法。
  12. 請求項8に記載の方法であって、前記検出するステップは、
    前記1次参照パターンと前記2次参照パターンとの交点の最初の位置を検出することと、
    前記レンズの所定の位置に対する前記最初の位置を記憶することと、
    前記交点の現在の位置を検出することと、
    前記動きの量を見出すために前記最初の位置と前記現在の位置との間の差を計算することと
    を含む、ことを特徴とする方法。
  13. 請求項12に記載の方法であって、
    前記第1の参照パターンと前記第2の参照パターンとの間の最初の距離を検出するステップと、
    前記レンズの前記所定の位置に対する前記最初の距離を記憶するステップと、
    前記第1の参照パターンと前記第2の参照パターンとの間の現在の距離を検出するステップと、
    前記動きの量を見出すために前記最初の距離と前記現在の距離との間の差を計算するステップと
    をさらに含むことを特徴とする方法。
  14. 請求項1に記載の方法であって、前記第1の投射点および前記第2の投射点の少なくとも1つは、前記測定パターンを投射するために前記第3の投射点と協働する、ことを特徴とする方法。
  15. 請求項1に記載の方法であって、前記動きは、前記距離センサの画像センサの光軸に垂直な方向のシフトである、ことを特徴とする方法。
  16. 請求項1に記載の方法であって、前記動きは、前記距離センサの画像センサの光軸に平行な方向である、ことを特徴とする方法。
  17. 請求項1に記載の方法であって、前記第1の投射点、前記第2の投射点、および前記第3の投射点のそれぞれの位置は、前記取得するステップを実行する画像センサの周りに固定される、ことを特徴とする方法。
  18. 請求項1に記載の方法であって、前記画像センサは、焦点合せ機能を含む、ことを特徴とする方法。
  19. 請求項1に記載の方法であって、前記画像センサは、焦点距離変更機能を含む、ことを特徴とする方法。
  20. プロセッサによって実行されるとき、物体までの距離を計算するための動作を前記プロセッサに実行させる複数の命令を記憶する、コンピュータ読取り可能記憶デバイスであって、前記動作は、
    参照パターンを視野内に集合的に投射するために、距離センサの第1の投射点および第2の投射点を同時に起動することと、
    測定パターンを前記視野内に投射するために、前記距離センサの第3の投射点を起動することと、
    前記視野の画像を取得することであって、前記物体、前記参照パターン、および前記測定パターンが前記画像内で可視である、ことと、
    前記画像内の前記測定パターンの外観に基づいて前記距離センサから前記物体までの距離を計算することと、
    前記画像内の前記参照パターンの外観に基づいて前記距離センサのレンズの動きを検出することと、
    検出された前記動きに基づいて計算されるときに前記距離を調整することと
    を含む、ことを特徴とするデバイス。
  21. 可動であるレンズを含む画像センサと、
    参照パターンを視野内に集合的に投射するための第1の投射点および第2の投射点であって、前記画像センサに対するそれぞれの位置が固定されている第1の投射点および第2の投射点と、
    測定パターンを前記視野内に投射するための第3の投射点であって、前記画像センサに対する位置が固定されている第3の投射点と、
    前記画像内の前記参照パターンの外観に基づいて前記レンズの動きを検出し、検出された前記動きに基づいて計算されるときに距離を調整するために、前記画像センサによって取得された前記視野の画像内の前記測定パターンの外観に基づいて前記視野内の装置から物体までの前記距離を計算するための回路と
    を含むことを特徴とする装置。
JP2019530738A 2016-12-07 2017-12-05 焦点調整可能な画像センサを含む距離センサ Active JP7133554B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430998P 2016-12-07 2016-12-07
US62/430,998 2016-12-07
PCT/US2017/064681 WO2018106671A2 (en) 2016-12-07 2017-12-05 Distance sensor including adjustable focus imaging sensor

Publications (2)

Publication Number Publication Date
JP2020501155A true JP2020501155A (ja) 2020-01-16
JP7133554B2 JP7133554B2 (ja) 2022-09-08

Family

ID=62243302

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019530738A Active JP7133554B2 (ja) 2016-12-07 2017-12-05 焦点調整可能な画像センサを含む距離センサ
JP2019530764A Pending JP2020501156A (ja) 2016-12-07 2017-12-05 平行パターンを投射する距離センサ
JP2022011648A Pending JP2022050708A (ja) 2016-12-07 2022-01-28 平行パターンを投射する距離センサ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019530764A Pending JP2020501156A (ja) 2016-12-07 2017-12-05 平行パターンを投射する距離センサ
JP2022011648A Pending JP2022050708A (ja) 2016-12-07 2022-01-28 平行パターンを投射する距離センサ

Country Status (7)

Country Link
US (2) US10337860B2 (ja)
EP (2) EP3552180B1 (ja)
JP (3) JP7133554B2 (ja)
KR (2) KR102595391B1 (ja)
CN (2) CN110178156B (ja)
TW (1) TWI758368B (ja)
WO (2) WO2018106670A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
JP7135081B2 (ja) * 2017-09-28 2022-09-12 ソニーセミコンダクタソリューションズ株式会社 装置および方法
JP2020537242A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 複数の可動センサを含むセンサシステムの校正
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2019240051A1 (ja) * 2018-06-11 2019-12-19 パナソニックIpマネジメント株式会社 測距システム及び測距方法
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
TWI690719B (zh) * 2018-11-02 2020-04-11 大陸商光寶電子(廣州)有限公司 誤差校正系統及其方法
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
TWI703400B (zh) 2019-04-01 2020-09-01 中強光電股份有限公司 焦距校正方法及投影裝置
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
CN110297251A (zh) * 2019-06-27 2019-10-01 杭州一隅千象科技有限公司 多台tof实现的大幅面空间覆盖的方法及系统
KR102432531B1 (ko) * 2019-10-23 2022-08-18 세메스 주식회사 액적 검사 모듈 및 액적 검사 방법
CN114730010A (zh) 2019-12-01 2022-07-08 魔眼公司 利用飞行时间信息增强基于三角测量的三维距离测量
EP4094181A4 (en) 2019-12-29 2024-04-03 Magik Eye Inc ASSIGNMENT OF THREE-DIMENSIONAL COORDINATES TO TWO-DIMENSIONAL FEATURE POINTS
CN113124778B (zh) * 2019-12-30 2023-05-16 财团法人工业技术研究院 轮廓测量系统和轮廓测量方法
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド 3次元カメラの座標系を2次元カメラの入射位置に移動させる方法
WO2021212297A1 (en) * 2020-04-21 2021-10-28 Beijing Voyager Technology Co., Ltd. Systems and methods for distance measurement
TWI786802B (zh) * 2021-09-02 2022-12-11 財團法人中興工程顧問社 三維透地雷達的影像解析輔助系統
US11360198B1 (en) * 2021-09-27 2022-06-14 Aeva, Inc. Optical alignment for beam correction
CN115047433B (zh) * 2022-08-16 2022-11-01 杭州宇称电子技术有限公司 用于tof距离量测系统光学自动化调整方法及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5061062A (en) * 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
JP2002056348A (ja) * 2000-08-07 2002-02-20 Tohken Co Ltd オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法
JP2014044113A (ja) * 2012-08-27 2014-03-13 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
JP2014238259A (ja) * 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置

Family Cites Families (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59109273A (ja) 1982-12-15 1984-06-23 Matsushita Electric Ind Co Ltd 回転塗布装置用ノズル
JP2504944B2 (ja) * 1986-02-13 1996-06-05 キヤノン株式会社 3次元情報処理方法
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH045112A (ja) 1990-04-23 1992-01-09 Sumitomo Rubber Ind Ltd 低転がり抵抗タイヤ
JP3141681B2 (ja) 1994-04-27 2001-03-05 キヤノン株式会社 防振機能を有した光学系
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
DE69823116D1 (de) 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
US7584893B2 (en) 1998-03-24 2009-09-08 Metrologic Instruments, Inc. Tunnel-type digital imaging system for use within retail shopping environments such as supermarkets
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
JP3975892B2 (ja) 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
US20040041996A1 (en) * 2002-08-28 2004-03-04 Fuji Xerox Co., Ltd. Range finder and method
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
JP2005114847A (ja) * 2003-10-03 2005-04-28 Mejiro Precision:Kk 投影露光装置
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
JP4372643B2 (ja) * 2004-08-24 2009-11-25 住友大阪セメント株式会社 動き検出装置
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) * 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) * 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー.ジー.株式会社 3次元形状測定方法およびその装置
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
JP2010048553A (ja) * 2006-12-19 2010-03-04 Panasonic Corp 複眼測距装置の検査方法およびそれに用いるチャート
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE112009001652T5 (de) 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8964189B2 (en) 2010-08-19 2015-02-24 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
JP5595211B2 (ja) * 2010-10-12 2014-09-24 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
TWI428558B (zh) * 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
EP2671383B1 (en) 2011-02-04 2017-03-15 Koninklijke Philips N.V. Method of recording an image and obtaining 3d information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
EP2685811B1 (en) 2011-03-17 2016-03-02 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
US8655094B2 (en) 2011-05-11 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Photogrammetry system and method for determining relative motion between two bodies
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
US9325974B2 (en) 2011-06-07 2016-04-26 Creaform Inc. Sensor positioning for 3D scanning
KR101974651B1 (ko) 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
CN104254768A (zh) 2012-01-31 2014-12-31 3M创新有限公司 用于测量表面的三维结构的方法和设备
CN104160243B (zh) 2012-03-01 2017-03-01 日产自动车株式会社 距离测量装置和距离测量方法
KR101630558B1 (ko) 2012-03-28 2016-06-14 후지쯔 가부시끼가이샤 촬상 장치
JP6250040B2 (ja) 2012-05-18 2017-12-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 魚眼レンズ・アナライザ
US8699005B2 (en) * 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
JP5977447B2 (ja) 2012-07-10 2016-08-24 バーフェリヒト ゲゼルシャフト ミット ベシュレンクテル ハフツング 眼球の光学収差を決定するための方法と装置
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
US8576390B1 (en) * 2012-07-31 2013-11-05 Cognex Corporation System and method for determining and controlling focal distance in a vision system camera
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
CN110749378B (zh) 2012-10-24 2022-12-27 视瑞尔技术公司 照明设备
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックIpマネジメント株式会社 3次元測定装置および3次元測定方法
WO2014106843A2 (en) 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
KR102088280B1 (ko) * 2013-07-16 2020-04-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
JP6211876B2 (ja) * 2013-10-01 2017-10-11 株式会社トプコン 測定方法及び測定装置
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
CN105981047A (zh) 2014-01-06 2016-09-28 眼锁有限责任公司 用于重复虹膜识别的方法和设备
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
JP6002275B2 (ja) * 2014-04-30 2016-10-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Screenホールディングス 検査装置および検査方法
KR20170072319A (ko) * 2014-10-24 2017-06-26 매직 아이 인코포레이티드 거리 센서
JP6121063B1 (ja) 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd カメラ較正方法、デバイス及びシステム
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
WO2016094439A1 (en) 2014-12-08 2016-06-16 Munoz Luis Daniel Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
CN107407728B (zh) 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
JP6247793B2 (ja) 2015-03-27 2017-12-13 富士フイルム株式会社 距離画像取得装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
JP6360621B2 (ja) 2015-03-30 2018-07-18 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10228243B2 (en) * 2015-05-10 2019-03-12 Magik Eye Inc. Distance sensor with parallel projection beams
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
WO2017090111A1 (ja) 2015-11-25 2017-06-01 三菱電機株式会社 3次元画像計測装置及び方法
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN113727000A (zh) 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
JP2020537242A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 複数の可動センサを含むセンサシステムの校正
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5061062A (en) * 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
JP2002056348A (ja) * 2000-08-07 2002-02-20 Tohken Co Ltd オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法
JP2014238259A (ja) * 2011-09-28 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置
JP2014044113A (ja) * 2012-08-27 2014-03-13 Sanyo Electric Co Ltd 情報取得装置および物体検出装置

Also Published As

Publication number Publication date
EP3551965A4 (en) 2020-08-05
KR102595391B1 (ko) 2023-10-31
EP3552180A2 (en) 2019-10-16
US20180156609A1 (en) 2018-06-07
WO2018106671A2 (en) 2018-06-14
EP3551965A1 (en) 2019-10-16
CN110234955B (zh) 2022-03-29
WO2018106671A9 (en) 2018-07-19
TWI758368B (zh) 2022-03-21
WO2018106671A3 (en) 2018-08-16
WO2018106670A1 (en) 2018-06-14
US20200003556A1 (en) 2020-01-02
KR102543275B1 (ko) 2023-06-16
JP2022050708A (ja) 2022-03-30
CN110178156B (zh) 2023-11-14
JP7133554B2 (ja) 2022-09-08
US10337860B2 (en) 2019-07-02
KR20190085150A (ko) 2019-07-17
CN110234955A (zh) 2019-09-13
EP3552180A4 (en) 2020-07-29
CN110178156A (zh) 2019-08-27
US11002537B2 (en) 2021-05-11
JP2020501156A (ja) 2020-01-16
KR20190085151A (ko) 2019-07-17
TW201830049A (zh) 2018-08-16
EP3552180B1 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
JP7133554B2 (ja) 焦点調整可能な画像センサを含む距離センサ
US10228243B2 (en) Distance sensor with parallel projection beams
US10488192B2 (en) Distance sensor projecting parallel patterns
JP6876776B2 (ja) 距離センサ
KR102288574B1 (ko) 깊이 정보 결정을 위한 다중 이미터 조명
US8860930B2 (en) Three dimensional surface mapping system using optical flow
TWI758367B (zh) 投射平行圖案的距離感應器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150