JP2022532725A - ３次元深度マップデータの２次元画像上へのマッピング - Google Patents

３次元深度マップデータの２次元画像上へのマッピング Download PDF

Info

Publication number
JP2022532725A
JP2022532725A JP2021568002A JP2021568002A JP2022532725A JP 2022532725 A JP2022532725 A JP 2022532725A JP 2021568002 A JP2021568002 A JP 2021568002A JP 2021568002 A JP2021568002 A JP 2021568002A JP 2022532725 A JP2022532725 A JP 2022532725A
Authority
JP
Japan
Prior art keywords
light
image
dimensional
coordinates
distance sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021568002A
Other languages
English (en)
Inventor
昭輝 木村
Original Assignee
マジック アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マジック アイ インコーポレイテッド filed Critical マジック アイ インコーポレイテッド
Publication of JP2022532725A publication Critical patent/JP2022532725A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Abstract

３Ｄ距離センサが、複数の光点を標的上に投影する。３Ｄ距離センサに対する固定位置を有する２Ｄカメラが、標的上の点の第１画像を取得する。３Ｄ距離センサの受光システムが、標的上の点の第２画像を取得する。第１点の２Ｄ座標のセットが、第１点の距離座標と関連付けられることにより、第１点についての座標の単一セットを形成する。２Ｄ座標のセットは、第１画像から取得され、距離座標は、第２画像から取得される。関係式が、座標の単一セットから導出され、そして、受光システムの標的までの距離と２Ｄカメラの画像センサ上での第１点の位置との間の関係を記述する。

Description

関連出願の相互参照
本出願は、２０１９年５月１２日に出願された米国仮特許出願第６２／８４６，６９６号の優先権を主張し、この出願は、参照により本明細書に全体として援用される。
米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、及び同第１５／１４９，４２９号には、距離センサの様々な構成が記載されている。かかる距離センサは、セキュリティ、ゲーム、無人車両の制御、ロボット又は自律型機器の動作及び別の用途を含む、様々な用途において有用である場合がある。
これらの出願に記載された距離センサは、投影システム（例えば、レーザ、回折光学素子、及び／又は別の協働構成要素を備えている）を含み、該投影システムは、人間の目に実質的に不可視の波長の光ビーム（例えば、赤外線）を視野内に投影する。光ビームが広がって、適切な受光システム（例えば、レンズ、画像取込装置、及び／又は別の構成要素）によって検出され得るパターン（ドット、ダッシュ、又は別のアーチファクト）を生成する。パターンが視野内の対象物に入射するとき、センサから対象物までの距離は、視野の１つ又は複数の画像内でのパターンの外観（例えば、ドット、ダッシュ、又は別のアーチファクトの位置関係）に基づいて計算され得、該視野は、センサの受光システムによって取込まれてもよい。対象物の形状及び寸法が、また、決定され得る。
例えば、パターンの外観は、対象物までの距離に応じて変化することがある。一例として、パターンがドットのパターンを含むならば、ドットは、対象物がセンサにより近接しているとき、互いにより近接して見えてもよく、そして、対象物がセンサからより遠く離れているとき、互いにより遠く離れているように見えることがある。
一例では、処理システムによって実行される方法は、光パターンを標的面上に投影するために３次元距離センサを制御することであって、光パターンは複数の光点を含む、ことと、標的面上の光パターンの第１画像を取得するために、２次元カメラを制御することであって、２次元カメラは、３次元距離センサに対する固定位置を有する、ことと、標的面上の光パターンの第２画像を取得するために、３次元距離センサの受光システムを制御することと、複数の光点のうちの第１光点の２次元座標のセットを、第１光点の座標の単一セットを形成するために第１光点の３次元座標のセットの距離座標と関連付けることであって、２次元座標のセットは、第１画像からを取得され、３次元座標のセットは、第２画像から取得されて、関係式を座標の単一セットから導出し、関係式は、受光システムの標的面までの距離と、２次元カメラの画像センサ上の第１光点の位置との間の関係を記述する、ことと、を含む。
別の一例では、非一時的機械可読記憶媒体が、プロセッサによって実行可能な命令によって符号化される。命令は、実行されると、プロセッサに、光パターンを標的面上に投影するために３次元距離センサを制御することであって、光パターンは、複数の光点を含む、ことと、標的面上の光パターンの第１画像を取得するために、２次元カメラを制御することであって、２次元カメラは、３次元距離センサに対する固定位置を有する、ことと、標的面上の光パターンの第２画像を取得するために、３次元距離センサの受光システムを制御することと、複数の光点のうちの第１光点の２次元座標のセットを、第１光点についての座標の単一セットを形成するために第１光点の３次元座標のセットの距離座標と関連付けることであって、２次元座標のセットは、第１画像からを取得され、３次元座標のセットは、第２画像から取得される、ことと、関係式を座標の単一セットから導出することであって、関係式は、受光システムの標的面までの距離と、２次元カメラの画像センサ上の第１光点の位置との間の関係を記述する、ことと、を含む動作を実行させる。
別の一例では、装置は、プロセッサと、プロセッサによって実行可能な命令によってコード化される非一時的機械可読記憶媒体と、を含む。命令は、実行されると、プロセッサに動作を実行させ、該動作は、光パターンを標的面上に投影するために３次元距離センサを制御することであって、光パターンは、複数の光点を含む、ことと、標的面上の光パターンの第１画像を取得するために、２次元カメラを制御することであって、２次元カメラは、３次元距離センサに対する固定位置を有する、ことと、標的面上の光パターンの第２画像を取得するために、３次元距離センサの受光システムを制御することと、複数の光点のうちの第１光点の２次元座標のセットを、第１光点の座標の単一セットを形成するために第１光点の３次元座標のセットの距離座標と関連付けることであって、２次元座標のセットは、第１画像から取得され、３次元座標のセットは、第２画像から取得される、ことと、関係式を座標の単一セットから導出することであって、関係式は、受光システムの標的面までの距離と、２次元カメラの画像センサ上での第１光点の位置との間の関係を記述する、ことと、を含む。
例示的な距離センサについての側面図である。 図１の３次元距離センサ、及び２次元カメラを含む例示的なシステムについての側面図である。 本開示に従う、図１又は図２に示す距離センサ等の３次元距離センサを較正する方法の一例を示す流れ図である。 本開示に従う、図２に示すシステム等の、３次元距離センサ及び２次元カメラを含むシステムを、３次元深度マップ情報が２次元画像上にマッピングされ得るように較正する方法の一例を示す流れ図である。 ３Ｄ距離センサの受光システムによって取込まれてもよい例示的な画像を示す図である。 ２Ｄカメラによって取込まれてもよい例示的な画像を示す図である。 ３次元距離センサによって取得された３次元深度マップ情報を２次元カメラによって取得された２次元画像上にマッピングする方法の一例を示す流れ図である。 ３次元深度マップデータを２次元画像上にマッピングする例示的な電子デバイスについてのハイレベルブロック図である。 図３の方法において導出される関係式がどのように導出され得るかについての一例を示す概要図である。
本開示は、３次元（３Ｄ）深度マップデータを２次元（２Ｄ）画像上にマッピングする方法、コンピュータ可読媒体、及び装置を広く記述する。上述のように、米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、及び同第１５／１４９，４２９号に記載されているような距離センサは、パターン（例えば、ドット、ダッシュ、又は別のアーチファクト）を、対象物を含む視野内に作成するために広がる光ビームを投影することによって、対象物までの距離（及び、可能性として対象物の形状及び寸法）を決定する。光ビームは、１つ又は複数のレーザ光源から投影されてもよく、該レーザ光源は、人間の目に実質的に不可視であるけれども、それは、適切な検出器（例えば、受光システムの）には可視である波長の光を放出する。対象物までの３Ｄ距離は、次いで検出器へのパターンの外観に基づいて計算されてもよい。
計算された３Ｄ距離は、セキュリティ（例えば、確保された位置及び／又はリソースへのアクセスを得るための顔認識）、ナビゲーション（例えば、無人車両のための）、及び別の用途を含む様々な用途に用いられてもよい。３Ｄ距離計算から取得されるような３Ｄ深度マップ情報はまた、２Ｄ画像データと組み合わせて、より直感的な深度表示を可能にしてもよい。例えば、対象物又は曲面の輪郭は、３Ｄ深度マップ情報のみが利用可能であるとき、認識することが困難であるけれども、その輪郭は、同じ対象物又は曲面の２Ｄ画像情報にマッピングされるとき、より正確に同定され、再生されることがある。
３Ｄ深度マップ情報を２Ｄ画像と結合するための従来技術は、一般にステレオカメラの使用に依存している。例えば、ステレオカメラは、チェッカーボード等の対象物上の特徴点を検出するために用いられることがある。２つのカメラの結像光線間の相対的な位置関係は、例えば較正によって、特徴点検出の前に知られてもよい。この場合、対象物の３Ｄ位置は、次いで対象物の２Ｄ画像位置と結像光位置とを関連付ける式を解くことによって計算される。
この技術は、特徴点の検出が容易であるときには良好に作用することがあるけれども、特徴点を容易に検出することができないときには、信頼性がより低い。更に、深度計算は、非常に複雑である傾向があり、その理由は、計算が多数のステップを含み、該ステップのうちの多くが、エラーを生じやすい漸近及び／又は近似計算に依存することがあるからである。２Ｄカメラ仕様が多値である（例えば、ズーム及び／又は焦点合せによって）、あるいは変化率が速い場合、深度計算が更に一層複雑になる場合がある。
本開示の例は、結像されている対象物上の特徴点の存在による影響を受けない２Ｄ画像上に３Ｄ深度マップデータをマッピングする方法を提供する。その代わりに、本開示の例は、３Ｄ距離センサが測距に用いる投影ビームを用いて、深度マップ情報と２Ｄ画像との間の直接関係を活用する。このように、一例では、３Ｄ深度マップが、例えば３Ｄ距離センサによって、ビーム投影を用いて取得される。
更なる例では、３Ｄ距離センサ及び２Ｄカメラを備えるシステムが較正されて、蛍光標的（例えば、赤外光によって励起されたときに蛍光を放出する材料から作成された標的）を用いて深度マップ情報と２Ｄ画像との間の関係を決定してもよい。
「第１」、「第２」、「第３」等の用語の使用は、必ずしも、本開示の例が、ある数の要素又は項目を必要とすることを意味するものではないことに留意されたい。例えば、「第３画像」を参照することは、「第１画像」及び「第２画像」が存在することを必ずしも意味するものではない。むしろ、かかる専門用語が本明細書で用いられることにより、同じタイプの要素又は項目を区別する（例えば、２つ以上の異なる画像を区別する）ことがある。
図１は、上述したセンサのうちのいずれか等の例示的な距離センサ１００の側面図である。図１に示すように、距離センサ１００は、投光システム１０２と、受光システム１０４と、を一般に備えていてもよい。
投光システム１０２は、一般に、レーザエミッタ１０６と、回折光学素子（ＤＯＥ）１０８と、を備えていてもよい。レーザエミッタ１０６は、人間の目に実質的に不可視である波長（例えば、赤外光）の光ビームを放出するレーザ発光ダイオード（ＬＥＤ）を含んでもよい。一例では、レーザエミッタ１０６は、垂直共振器面発光レーザ（ＶＣＳＥＬ）を備えている。
ＤＯＥ１０８は、レーザエミッタ１０６によって放出された光ビームを複数の光ビーム１１０に分割するように配置された回折格子、ホログラフィックフィルム、又は円錐ミラー等の光学構成要素を備えていてもよい。図１は、単一のレーザエミッタ１０６及びＤＯＥ１０８対を示しているけれども、投光システムは、任意の数のレーザエミッタ／ＤＯＥ対を備えていてもよいことに留意されたい。例えば、複数のレーザエミッタ／ＤＯＥ対が、受光システム１０４の周囲に配列されてもよく、その結果、例えば、受光システム１０４が、複数のレーザエミッタ／ＤＯＥ対の中心に配置される。この場合、複数のレーザエミッタ／ＤＯＥ対のそれぞれのレーザエミッタ／ＤＯＥ対は、図１に示すレーザエミッタ１０６及びＤＯＥ１０８と同様に構成されてもよい。
一例では、複数の光ビーム１１０は、中心軸Ｃから複数の異なる方向に扇形に広がる。複数の光ビーム１１０内のそれぞれのビームの対の間の角度は、等しくてもよい。複数の光ビーム１１０が表面１１２に入射するとき、それぞれのビームは、ドット、ダッシュ等のアーチファクトを表面１１２上に生成してもよい。集合的に、複数の光ビーム１１０によって生成されたアーチファクトは、上記パターンを形成し、該パターンから対象物までの距離が計算され得る。例えば、パターンは、複数のアーチファクトが複数の行及び列にその中で配列されているグリッドを含んでもよい。
パターンの少なくとも一部分（例えば、パターンを形成するアーチファクトの少なくとも一部分）は、受光システム１０４によって検出されてもよく、該受光システムは、投光システム１０２によって放出された光の波長の光を検出するように構成されているカメラを備えていてもよい。例えば、受光システム１０４は、一般に、画像センサ１１４（例えば、３Ｄ画像センサ）と、バンドパスフィルタ１１６と、レンズ１１８と、を備えていてもよい。複数の光ビーム１１０の部分が、表面１１２から反射して、受光システムのレンズ１１８を通ってバンドパスフィルタ１１６まで通過してもよい。バンドパスフィルタは、所定の波長（例えば、赤外）の光が、全ての別の波長をフィルタリングで除きながら、画像センサ１１４まで通過することを可能にするように構成されてもよい。画像センサ１１４は、複数のピクセルセンサユニットを備えるアクティブピクセルセンサ（ＡＰＳ）であってもよく、この場合、それぞれのピクセルセンサユニットは、光検出器と、少なくとも１つのアクティブトランジスタと、を含む。ピクセルセンサユニットは、バンドパスフィルタ１１６を通過する光の光子を吸収してもよい。このようにして、画像センサ１１４は、表面１１２の３Ｄ画像を生成してもよい。
上述したように、複数の光ビーム１１０によって表面１１２上に生成されたパターンの外観は、表面１１２までの距離に応じて変化することがある。一例として、パターンがドットのパターンを含むならば、表面１１２が距離センサ１００により近接しているとき、ドットが互いにより近接して見えてもよく、表面１１２が距離センサ１００からより遠く離れているとき、互いからより遠く離れて見えてもよい。それにより、ドットの軌跡（すなわち、移動範囲）は、一緒に近接して見えても、又は互いからより遠く離れて見えてもよい。
ドットの軌跡は、平面（例えば、横）方向及び高さ方向（例えば、横方向に垂直な方向）における、距離センサの投光システム１０２と受光システム１０４との間の位置関係によって決定される。ドットの軌跡は、放射パターン又は線（図１の挿入図１２０に示すような）として見えることがあり、そして、距離センサ１００と投影パターンが投影される対象物（例えば、表面１１２）との間の距離が変化するとき、ドットの移動を記述する。より具体的には、ドットの軌跡は、距離の変化による、距離センサの画像センサ１１４に対するドットの移動を記述する。
例えば、挿入図１２０は、複数の光ビーム１１０によって表面１１２上に生成され得る複数のアーチファクトについての例示的な軌跡を示す。軌跡１２２を例にとれば、軌跡１２２は、距離センサ１００と表面１１２との間の距離が変化するとき、対応するドット（又は別のアーチファクト）ｐが移動し得る物理的範囲を示す。軌跡１２２によって示されるように、受光システム１０４は、距離センサ１００と表面１１２との間の距離が距離Ａに等しいとき、点ｐを第１位置ｐ（ａ）に見てもよく、距離センサ１００と表面１１２との間の距離が距離Ｂに等しいとき、点ｐを第２位置ｐ（ｂ）に見てもよい。
図２は、図１の３次元距離センサ１００と、２次元カメラ２００と、を含む例示的なシステムの側面図である。距離センサ１００は、図１に示すのと同じ距離センサ１００であってもよく、それで、同じ参照番号が、図２の同じ構成要素を参照するために用いられている。
２Ｄカメラ２００は、一般に、画像センサ２０２（例えば、２Ｄ画像センサ）と、カットオフフィルタ２０４と、レンズ２０６と、を備えていてもよい。表面（例えば、表面１１２）から反射する光は、レンズ２０６を通ってカットオフフィルタ２０４まで通過してもよい。一例では、カットオフフィルタは、赤外カットオフフィルタ（すなわち、別の波長の光を通過させることを許容しながら、赤外波長を反射するフィルタ）である。画像センサ２０２は、複数のピクセルセンサユニットを備えるアクティブピクセルセンサ（ＡＰＳ）であってもよく、この場合、それぞれのピクセルセンサユニットは、光検出器と、少なくとも１つのアクティブトランジスタと、を含む。カットオフフィルタ２０４を通過する光の光子は、画像センサ２０２のピクセルセンサユニットによって吸収されてもよく、該ピクセルセンサユニットは、表面１１２の対応する２Ｄ画像を生成してもよい。
上述したように、３Ｄ距離センサ１００の投光システム１０２によって放出された光は、赤外光であってもよく、距離センサ１００の受光システム１０４は、赤外範囲外の波長を遮断して、距離測定時の外部光ノイズの影響を最小化してもよい。しかし、２Ｄカメラ２００が赤外カットオフフィルタを含むならば、２Ｄカメラ２００は、３Ｄ距離センサ１００によって生成された投影パターンの点（例えば、点ｐ（ａ）／ｐ（ｂ）を含む）を検出することができないことがある。
したがって、較正の目的のために（例えば、図２のシステムを、３Ｄ深度マップ情報と２Ｄ画像との間の関係が決定され得るように較正するために）、一例では、表面１１２が蛍光材料を含んでもよい。特に、表面１１２は、赤外蛍光材料、すなわち、赤外光によって励起されたときに蛍光を放出する材料で形成されてもよい。この場合、点ｐが赤外光ビームによって表面１１２上に生成されるとき、点ｐがそこに見える表面１１２上の位置は、２Ｄカメラ２００の画像センサ２０２によって検出され得る蛍光を放出することになる。
その結果、３Ｄ距離センサ１００は、反射された赤外光に基づいて、３次元（ｘ，ｙ，ｚ）座標空間内の点ｐの位置を計算してもよい。２次元カメラ２００は、表面１１２による蛍光の放出に基づいて、２次元（ｕ，ｖ）画像センサ座標系内の点ｐの位置を同時に計算してもよい。３Ｄ（ｘ，ｙ，ｚ）座標は、次いで２Ｄ（ｕ，ｖ）座標に直接マッピングされてもよく、これが、３Ｄ距離センサ１００の受光システム１０４と２Ｄカメラ２００との間の位置関係を与える。換言すれば、点ｐの２Ｄ位置（２Ｄ画像内での）は、同じ点の３Ｄ対象物距離にマッピングされてもよい。このマッピングは、続いて別の点の２Ｄ位置を別の点の３Ｄ対象物距離にマッピングすることを可能にしてもよい。
一例では、蛍光面１１２は、３Ｄ距離センサ１００の視野のサイズ及び２Ｄカメラ２００の視野のサイズよりも小さいサイズを有する。蛍光面１１２がまた整形されることにより、較正プロセスの効率を改善してもよい。例えば、矩形等の形状が認識しやすい場合があり、一方、平面の表面が、計算されるべき距離関係を簡略化する場合がある。
図３は、本開示に従う、図１又は図２に示す距離センサ１００等の３次元距離センサを較正する方法３００の一例を示す流れ図である。方法３００は、例えば、図７に示すプロセッサ７０２等の３Ｄ距離センサ及び２Ｄカメラと通信する（並びにそれらから画像データを受信する）プロセッサによって実行されてもよい。その代替として、方法３００は、３Ｄ距離センサ又は２Ｄカメラの一部であるプロセッサによって実行されてもよい。例示のため、方法３００は、処理システムによって実行されるものとして記述される。
方法３００は、ステップ３０２から開始してもよい。ステップ３０４において、処理システムが３Ｄ距離センサを制御することにより、光パターンを標的面上に投影してもよい。上述したように、光パターンは、光点のパターン（又はドット、ダッシュ、複数のｘ等の別の投影アーチファクト）を含んでもよく、この場合、それぞれの光点は、３Ｄ距離センサの投光システムによって放出される各光ビームによって生成されてもよい。特に、それぞれの光点は、各光ビームが標的面に入射するときに生成されてもよい。光ビームは、赤外光（又は、人間の目には実質的に不可視であるけれども、３Ｄ距離センサの受光システムには可視である別の光の波長）のビームを含んでもよい。
ステップ３０４において用いられる標的面は、例えば、標的面の様々な部分が３Ｄ距離センサの受光システムから様々な距離に存在することがあるような３次元標的を含んでもよい。
ステップ３０６において、処理システムは、３Ｄ距離センサを制御することにより、標的面上の光パターンの画像を取得してもよい。上述したように、一例では、３Ｄ距離センサは、赤外バンドパスフィルタと、３Ｄ画像センサと、を含む受光システムを含んでもよい。受光システムは、標的面上に投影されるような光パターンの画像を取込んでもよく、そして、この画像を処理システムまで（例えば、有線又は無線接続を介して）送信してもよい。
ステップ３０８において、処理システムは、画像に基づいて、３Ｄ距離センサの受光システムと（光パターンの）第１光点との間の距離を計算してもよい。一例では、距離は、米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、及び同１５／１４９，４２９号において論じられた技術のいずれかを用いて計算されてもよい。更なる例では、距離は、２つ以上の光点（例えば、第１光点と、少なくとも１つの第２光点と）についてこの方式で計算されてもよい。
ステップ３１０において、処理システムは、ステップ３０８において計算された距離を、３Ｄ距離センサの３Ｄ画像センサ上の第１光点の位置と関連付けて記憶してもよい。ステップ３０８において計算される距離が、複数の光点について計算された場合、距離及び対応する画像センサ位置が、複数の光点のすべての光点について記憶されてもよい。
ステップ３１２において、処理システムは、３Ｄ距離センサの受光システムの標的表面までの距離（この場合、この距離が連続的に変化することがある）と、３Ｄ画像センサ上の第１光点の位置との間の関係を記述する関係式を導出してもよい。一例では、上述したように、受光システムと複数の光点との間の距離が、ステップ３０８において計算されてもよい。この場合、複数の関係式が、ステップ３１２において導出されてもよい。例えば、３Ｄ距離センサの投光システムがｎ個の光ビーム（ｎ＞１）を放出する場合、ｎ個の別々の関係式が導出されるように、それぞれのビームについて（例えば、ビームのうちの１つによって生成されるそれぞれの光点について）の関係式が導出されて、処理システムにアクセス可能であるメモリ内に記憶されてもよい。
方法３００は、ステップ３１４において終了してもよい。
図８は、方法３００のステップ３１２において導出された関係式がどのように導出され得るかについての一例を示す概略図である。同様の参照番号が、図１及び図２に示す要素と同様の要素に用いられている。
図８に示すように、標的面１１２は、上述のように、３Ｄ距離センサ１００までの距離を変化させるため移動させられてもよい。標的面１１２のそれぞれの位置は、図８における平面１１２１～１１２３として示されている。３つの平面が説明及び図示を容易にするために示されているけれども、任意の数の平面（例えば、ｎ個の平面）が用いられてもよいことが理解されるであろう。同じ点が、それぞれの平面上に結像させられてもよく、ｚ１は、平面１１２１上の点のｚ（３Ｄ距離センサ１００からの直線距離）位置を示し、ｚ２は、平面１１２２上の点の位置を示し、ｚ３は、平面１１２３上の点の位置を示す。
同じ点が、また、画像センサ１１４上に結像されてもよく、（ｐｘ１，ｐｙ１，ｚ１）は、第１平面１１２１内の点についての画像センサ１１４におけるｘ、ｙ（カメラ画像）位置を示し、（ｐｘ２，ｐｙ２，ｚ２）は、第２平面１１２２内の点についての画像センサ１１４におけるｘ、ｙ（平面）位置を示し、（ｐｘ３，ｐｙ３，ｚ３）は、第３平面１１２３内の点についての画像センサ１１４におけるｘ、ｙ（平面）位置を示す。
したがって、３Ｄ画像センサ１００から様々な距離にある点のｚ位置は、図表８００に示すように、２Ｄカメラ２００の画像センサ上の様々な距離にある対応するｐｘ、ｐｙ位置と照合されてもよい。
一例では、ｚ位置は、描画８０２に示されているように、それぞれの平面内の点についてのｐｘ、ｐｙ位置に対してプロットされてもよい。曲線８０４は、描画８０２においてデータ点に適合されてもよく、この場合、ｌ（エル）は曲線８０４に沿った長さを表す。このように、一例では、所与の点のｐｘ、ｐｙ位置は、次式のような一例で表現される近似関数ｆによって、所与の点のｚ位置から取得されてもよい。
ｚ＝ｆ１(ｐｘ,ｐｙ)＝ｆ２(l) （式１）
図４は、図２に示すシステム等の、３次元距離センサと２次元カメラとを含むシステムを較正する方法４００の一例を示す流れ図であり、該方法により、本開示に従って、３次元深度マップ情報が、２次元画像上にマッピングされてもよい。方法４００は、例えば、図３に関連して上述したように、３Ｄ距離センサがシステムから独立して較正された後に、実行されてもよい。
方法４００は、例えば、図７に示すプロセッサ７０２等の、３Ｄ距離センサ及び２Ｄカメラと通信している（並びにそれらから画像データを受信する）プロセッサによって実行されてもよい。その代替として、方法４００は、３Ｄ距離センサ又は２Ｄカメラの一部であるプロセッサによって実行されてもよい。例示のために、方法４００は、処理システムによって実行されるように記述されている。
方法４００は、ステップ４０２から開始してもよい。ステップ４０４において、処理システムが３Ｄ距離センサを制御することにより、光パターンを標的面上に投影してもよい。すなわち、光パターンは、（例えば、上述の方法３００に従う）３Ｄ距離センサを較正するために用いられたのと同じ光パターンであってもよいけれども、光パターンが現在その上に投影されている標的面は、３次元標的面が３Ｄ距離センサを較正するために用いた標的面とは異なる標的面であってもよい。ステップ４０４の場合、標的面は、例えば、標的面の全ての部分が３Ｄ距離センサの受光システムから同じ距離に存在するような２次元標的を含んでもよい。一例では、標的面は、平面標的を含んでもよい。標的面は、また、形状が矩形であることにより、較正を容易にしてもよい。光パターンが赤外光ビームによって生成される場合、標的面は、赤外蛍光材料、すなわち、赤外光によって励起されたときに蛍光を放出する材料を含んでもよい。
ステップ４０６において、処理システムは、２Ｄカメラ及び３Ｄ距離センサの受光システムを制御して、標的面上での光パターンの第１画像及び第２画像をそれぞれ同時に取得してもよく、この場合、２Ｄカメラは、３Ｄ距離センサに対する固定位置を有する。すなわち、３Ｄ距離センサと２Ｄカメラとの間の位置関係が固定されている。上述したように、一例では、２Ｄカメラは、赤外カットオフフィルタと、２Ｄ画像センサと、を含んでもよい。
図５Ａは、例えば、３Ｄ距離センサの受光システムによって取込まれてもよい例示的な画像５００（例えば、ステップ４０６による「第２画像」）を示し、一方、図５Ｂは、２Ｄカメラによって取込まれてもよい例示的な画像５０２（例えば、ステップ４０６による「第１画像」）を示す。
図示のように、画像５００は、光パターンの複数の光点の位置を描いていてもよい。複数の光点のサブセットは、標的面（５０６に破線で示されている）に入射してもよい。しかしながら、３Ｄ距離センサの画像センサは、投光システムによって放出される赤外光を検出し得るので、画像５００は、標的面５０６に入射しないような光点さえも描くことがある。
これとは対照的に、画像５０２は、標的面５０６に入射する複数の光点のサブセット５０８のみを描いてもよい。その理由は、２Ｄカメラの画像センサは、赤外光が標的面５０６に入射するとき、標的面５０６によって放出される蛍光を検出し得るだけで、赤外光自体を検出し得ないことがあるからである。これにより、２Ｄカメラは、３Ｄ距離センサ画像よりも、光パターンのより小さい部分を結像してもよい。
２Ｄカメラ及び３Ｄ距離センサは、標的面上に投影されるような光パターンの第１及び第２画像をそれぞれ取込んでもよく、そして第１及び第２画像を処理システムまで（例えば、有線又は無線接続を介して）送信してもよい。
ステップ４０８において、処理システムは、第１画像から取得されるような第１光点の２Ｄ座標と、第２画像から取得されるような第１光点と３Ｄ距離センサとの間の距離とを関連付けてもよい。すなわち、２Ｄカメラの２Ｄ画像センサ上の第１光点の（ｕ，ｖ）座標は、３Ｄ距離センサの３Ｄ画像センサ上の第１光点の（ｚ）座標と関連付けられることにより、第１光点についての座標（ｕ，ｖ，ｚ）の単一セットを生成する。一例では、第１光点は、光パターンにおける光点の相対的な位置に基づいて、第２画像及び第３画像の両方において同定される（例えば、同じ光点として同定される）。例えば、図５Ａ及び５Ｂを再び参照すると、光点５０４は、別の光点に対する光点５０４の位置に基づいて、画像５００及び５０２内の同じ光点として同定されてもよい。
ステップ４１０において、処理システムは、標的面を移動させるべきか否かを決定してもよい。一例では、３Ｄ距離センサと２Ｄカメラとの間の位置関係を較正するために、ステップ４０４～４０８が複数回だけ反復させられ、この場合、標的面は、それぞれの回で動かされることにより、標的面と３Ｄ距離センサとの間の（及び標的面と２Ｄカメラとの間の）距離が変化する。
ステップ４１０において、標的面が追加の測定を可能にするために移動させられるべきであると処理システムが結論を下したならば、方法４００は、ステップ４０４に戻ってもよく、それと共に、処理システムは、上述のように進行し、標的面がここで移動させられて距離を変更してもよい。
しかし、処理システムが、ステップ４１０において、標的面が追加の測定を可能にするために移動されるべきでないと結論を下すならば、方法４００は、ステップ４１２まで進行してもよい。ステップ４１２において、処理システムは、３Ｄ距離センサの受光システムの標的面までの距離（この場合、この距離が連続的に変化してもよい）と、２Ｄ画像センサ上での第１光点の位置との間の関係を記述する関係式を導出してもよい。一例では、ステップ４０８に関連して記述されたように、座標の単一セットが、第１光点及び少なくとも１つの追加の光点を含む複数の光点のサブセットについて形成されてもよい。
例えば、ステップ４０４～４０８がｋ回（ｋ＞１）だけ反復された場合、関係式は、複数のデータ点（ｕ１，ｖ１，ｚ１）、（ｕ２，ｖ２，ｚ２）．．．（ｕｋ，ｖｋ，ｚｋ）から導出されてもよい。関係式は、処理システムにアクセス可能であるメモリに記憶されてもよい。関係式は、式１に関連して上述したように導出されてもよい。
方法４００は、ステップ４１４において終了してもよい。
図６は、３次元距離センサによって取得された３次元深度マップ情報を２次元カメラによって取得された２次元画像上にマッピングする方法６００の一例を示す流れ図である。方法６００は、例えば、図７に示すプロセッサ７０２のような、３Ｄ距離センサ及び２Ｄカメラと通信している（並びにそれらから画像データを受信する）プロセッサによって実行されてもよい。その代替として、方法６００は、３Ｄ距離センサ又は２Ｄカメラの一部であるプロセッサによって実行されてもよい。例示のため、方法６００は、処理システムによって実行されるものとして記述されている。
方法６００は、ステップ６０２から開始してもよい。ステップ６０４において、処理システムは、３Ｄ距離センサを制御して、対象物（例えば、較正方法３００及び４００において用いられる標的面以外の対象物）上に光パターンを投影してもよい。すなわち、光パターンは、３Ｄ距離センサ及び２Ｄカメラを較正するために（例えば、上述した方法３００及び４００に従って）用いられたのと同じ光パターンであってもよいけれども、光パターンが現在その上に投影されている対象物は、較正に用いられる標的面とは異なる対象物であってもよい。例えば、対象物は、結像されている対象物であってもよい。
ステップ６０６において、処理システムは、２Ｄカメラ及び３Ｄ距離センサの受光システムを制御して、対象物上での光パターンの第３画像及び第４画像をそれぞれ同時に取得してもよく、この場合、２Ｄカメラは、３Ｄ距離センサに対する固定位置を有する。すなわち、３Ｄ距離センサと２Ｄカメラとの間の位置関係は、固定されている。
ステップ６０８において、処理システムは、３Ｄ距離センサによって測定された３Ｄ距離（ｚ）座標と、方法４００によって導出された第２関係式（すなわち、３Ｄ距離センサの受光システムの第２標的面に対する距離と、２Ｄ画像センサ上の第１光点の位置との間の関係を記述する関係式）に基づいて、光パターンの第２光点の２Ｄ（ｕ，ｖ）座標を同定してもよい。
方法６００は、ステップ６１０において終了してもよい。
いくつかの例では、２Ｄカメラは、ズーム及び／又は焦点合せ能力を有してもよい。この場合、方法４００は、固定値に設定された２Ｄカメラのレンズを用いて実行されてもよい。２Ｄカメラによって記録された任意の座標は、次いで３Ｄ距離センサからの対応する３Ｄ座標とだけでなく、レンズ設定の固定値ともメモリ内で関連付けられる。方法４００は、レンズ設定についての複数の異なる固定値で反復されてもよく、この場合、方法４００のそれぞれの反復において用いられる特性値は、メモリ内の対応する座標と関連付けられている。この場合、導出された任意の第２関係式は、また、レンズ設定の対応する値とメモリ内で関連付けられてもよい。
明示的には指定されていないけれども、上述の方法３００、４００、又は６００のブロック、機能、又は動作のうちのいくつかは、特定の用途についての記憶、表示、及び／又は出力を含むことができることに留意されたい。換言すれば、方法３００、４００、又は６００で論じられた任意のデータ、記録、視野、及び／又は中間結果は、特定の用途に応じて、別の装置に記憶、表示、及び／又は出力されてもよい。更に、判定動作を列挙するか又は判定を含む図３、４又は６のブロック、機能、又は動作は、判定動作の両方の分岐が実行されることを意味しない。すなわち、判定動作の分岐のうちの１つが、判定動作の結果に応じて、実行されない場合がある。
一例では、上述したように、光点のｐｘ、ｐｙ位置が、光点のｚ位置に基づいて決定されると、同じ投影内の別の光点のｐｘ、ｐｙ位置が、容易に決定されてもよい。その理由は、投影パターン内の光点同士の間の間隔は、先験的に既知であるからである。例えば、所与の光点と隣接する光点との間のｘ及びｙ距離は、投影パターンが対象物上に投影される以前に、既知である。
更なる例では、第１光点のｐｘ、ｐｙ、ｚ位置は、３Ｄ距離センサからのそれの距離が変化させられる比較的小さな標的面を用いて、決定され得る。例えば、小さい標的面は、投影パターンの１つの光点（例えば、第１光点）のみが標的面に入射することを確実にする程十分に小さくてもよい。次いで、第１光点ｐｘ、ｐｙ、ｚ位置が決定されると、投影パターン内の別の光点の位置が、投影パターンの既知の間隔から上述したように決定され得る。
図７は、３Ｄ深度マップデータを２Ｄ画像上にマッピングするための例示的な電子デバイス７００についての高レベルブロック図である。このように、電子デバイス７００は、距離センサ等の電子デバイス又はシステムのプロセッサとして実装されてもよい。
図７に示すように、電子デバイス７００は、ハードウェアプロセッサ要素７０２、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサ、メモリ７０４、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読出し専用メモリ（ＲＯＭ）、３Ｄ深度マップデータを２Ｄ画像上にマッピングするためのモジュール７０５、並びに様々な入出力装置７０６を備え、例えば記憶装置、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブ、受信機、送信機、ディスプレイ、出力ポート、入力ポート、及びキーボード、キーパッド、マウス、マイク、カメラ、レーザ光源、ＬＥＤ光源等のユーザ入力装置が挙げられるが、これらに限定されない。
１つのプロセッサ要素が示されているが、電子デバイス７００は、複数のプロセッサ要素を利用してもよいことに留意されたい。更に、１つの電子デバイス７００が図に示されているけれども、上記のような方法が、特定の例示的な例について分散又は並列方式で実装されるならば、すなわち、上記の方法のブロック又は方法全体が、複数の電子デバイス又は並列の電子デバイスにわたって実装されるならば、この図の電子デバイス７００は、それらの複数の電子デバイスのそれぞれを表すことを意図している。
留意されたいことは、本開示が、機械可読命令によって、及び／又は機械可読命令とハードウェア（例えば、用途特定集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス、汎用コンピュータ若しくはいずれか別のハードウェア等価物に展開された状態機械）との組合せにおいて実装されてもよいこと、例えば、上記の方法に関するコンピュータ可読命令が、上記の開示された方法のブロック、機能及び／又は動作を実行するためのハードウェアプロセッサを構成するために用いられてもよいことである。
一例では、３Ｄ深度マップデータを２Ｄ画像上にマッピングするための本モジュール又はプロセス７０５のための命令及びデータ、例えば、機械可読命令は、メモリ７０４内にロードされて、ハードウェアプロセッサ要素７０２によって実行されることにより、方法３００、４００、及び６００に関連して上述したブロック、機能又は動作を実装してもよい。更に、ハードウェアプロセッサが「動作」を行うための命令を実行するとき、これは、動作を直接実行するか、及び／又は、動作を実行するための別のハードウェアデバイス若しくは構成要素、例えば、コプロセッサ等を促進する、誘導する、若しくはそれと協同することを実行するハードウェアプロセッサを含んでもよい。
上述の方法に関する機械可読命令を実行するプロセッサは、プログラミングされたプロセッサ又は専用プロセッサであると理解されてもよい。このように、本開示の３Ｄ深度マップデータを２Ｄ画像上にマッピングするための本モジュール９０５は、有形又は物理的（広義には、非一時的な）コンピュータ可読記憶装置又は媒体、例えば、揮発性メモリ、不揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気若しくは光学ドライブ、デバイス、又はディスケット等に記憶されてもよい。より具体的には、コンピュータ可読記憶装置は、任意の物理デバイスを備えてもよく、該物理デバイスは、プロセッサによってアクセスされるデータ及び／又は命令等の情報を記憶する能力を提供するか、又は安全センサシステムのコンピュータ若しくはコントローラ等の電子デバイスを提供する。
上記並びに別の特徴及び機能、又はその代替物についての変形が、多くの別の様々なシステム又はアプリケーションに結合され得ることが理解されるであろう。様々な現在予測されていない又は予期されていない代替、修正、若しくはその変更が、その後になされてもよく、これらは、また、以下の特許請求の範囲に包含されることが意図されている。

Claims (20)

  1. 方法であって、
    処理システムによって、光パターンを標的面上に投影するために３次元距離センサを制御するステップであって、前記光パターンは複数の光点を含む、ステップと、
    前記処理システムによって、前記標的面上の前記光パターンの第１画像を取得するために２次元カメラを制御するステップであって、前記２次元カメラは、前記３次元距離センサに対する固定位置を有する、ステップと、
    前記処理システムによって、前記標的面上の前記光パターンの第２画像を取得するために前記３次元距離センサの受光システムを制御するステップと、
    前記処理システムによって、前記複数の光点のうちの第１光点の２次元座標のセットを、前記第１光点に対して座標の単一セットを形成するために前記第１光点の３次元座標のセットの距離座標と関連付けるステップであって、前記２次元座標のセットは、前記第１画像から取得され、前記３次元座標のセットは、前記第２画像から取得される、ステップと、
    前記処理システムによって、関係式を前記座標の単一セットから導出するステップであって、前記関係式は、前記受光システムの前記標的面までの距離と、前記２次元カメラの画像センサ上の前記第１光点の位置との間の関係を記述する、ステップと、
    を含む、方法。
  2. 前記３次元距離センサは、前記光パターンを投影するために前記距離センサを制御する前に、３次元標的を用いて較正される、請求項１に記載の方法。
  3. 前記光パターンは、赤外光を含み、前記受光システムは、赤外バンドパスフィルタを含む、請求項１に記載の方法。
  4. 前記２次元カメラは、赤外カットオフフィルタを含む、請求項３に記載の方法。
  5. 前記標的面は、赤外光によって励起されるときに蛍光を放出する材料を含む、請求項４に記載の方法。
  6. 前記標的面は、平面形状を有する、請求項５に記載の方法。
  7. 前記第１画像及び前記第２画像は、それぞれ、前記２次元カメラ及び前記３次元距離センサによって同時に取得される、請求項１に記載の方法。
  8. 第１光点の前記２次元座標のセットは、前記２次元カメラの画像センサ上での前記第１光点の位置を記述する、請求項１に記載の方法。
  9. 前記関係式は、前記複数の光点のサブセットに対して形成されている座標の単一セットから導出され、前記サブセットは、前記第１光点及び少なくとも１つの追加の光点を含む、請求項１に記載の方法。
  10. 前記関連付けるステップは、前記処理システムによって、前記複数の光点のうちの別の光点に対する前記第１光点の位置に基づいて、前記第１画像及び前記第２画像内の前記第１光点を同定するステップを含む、請求項１に記載の方法。
  11. 前記関連付けるステップの後だが前記導出するステップの前に、
    前記処理システムによって、光パターンを投影するために前記３次元距離センサを前記制御するステップと、前記２次元カメラを前記制御するステップと、前記３次元距離センサの前記受光システムを前記制御するステップと、前記関連付けるステップと、を反復するステップであって、前記反復するステップは、前記標的面が動かされて、前記標的面と前記３次元距離センサとの間の距離、及び前記標的面と前記２次元カメラとの間の距離を変更した後に、実行される、ステップを更に含む、請求項１に記載の方法。
  12. 前記導出するステップの後に、
    前記処理システムによって、前記標的面以外の対象物上の前記光パターンの第３画像を取得するために前記２次元カメラを制御するステップと、
    前記処理システムによって、前記対象物上の前記光パターンの第４画像を取得するために前記３次元距離センサの前記受光システムを制御するステップであって、前記第３画像と前記第４画像とは、同時に取得される、ステップと、
    前記処理システムによって、前記複数の光点のうちの第２光点についての２次元座標のセットを、前記３次元距離センサによって測定された前記第２光点の３次元距離座標、及び前記関係式に基づいて同定するステップと、
    を更に含む、請求項１に記載の方法。
  13. 前記２次元カメラのレンズは、前記レンズのズーム又は焦点合せを制御する固定値に設定される、請求項１に記載の方法。
  14. 前記関連付けるステップは、前記固定値を前記座標の単一セットと関連付けるステップを含む、請求項１３に記載の方法。
  15. 前記関連付けるステップの後だが前記導出するステップの前に、
    前記処理システムによって、光パターンを投影するために前記３次元距離センサを前記制御するステップと、前記２次元カメラを前記制御するステップと、前記３次元距離センサの前記受光システムを前記制御するステップと、前記関連付けるステップと、を反復するステップであって、前記反復するステップは、前記固定値が新しい固定値に設定された後に実行される、ステップを更に含む、請求項１４に記載の方法。
  16. プロセッサによって実行可能な命令によってコード化される非一時的機械可読記憶媒体であって、前記命令は、実行されると、前記プロセッサに動作を実行させ、前記動作は、
    光パターンを標的面上に投影するために３次元距離センサを制御するステップであって、前記光パターンは、複数の光点を含む、ステップと、
    前記標的面上の前記光パターンの第１画像を取得するために２次元カメラを制御するステップであって、前記２次元カメラは、前記３次元距離センサに対する固定位置を有する、ステップと、
    前記標的面上の前記光パターンの第２画像を取得するために前記３次元距離センサの受光システムを制御するステップと、
    前記複数の光点のうちの第１光点の２次元座標のセットを、前記第１光点についての座標の単一セットを形成するために前記第１光点の３次元座標のセットの距離座標と関連付けるステップであって、前記２次元座標のセットは、前記第１画像から取得され、前記３次元座標のセットは、前記第２画像から取得される、ステップと、
    関係式を前記座標の単一セットから導出するステップであって、前記関係式は、前記受光システムの前記標的面までの距離と、前記２次元カメラの画像センサ上での前記第１光点の位置との間の関係を記述する、ステップと、
    を含む、非一時的機械可読記憶媒体。
  17. 前記光パターンは、赤外光を含み、前記受光システムは、赤外バンドパスフィルタを含み、前記２次元カメラは、赤外カットオフフィルタを含む、請求項１６に記載の非一時的機械可読記憶媒体。
  18. 前記標的面は、赤外光によって励起されたときに蛍光を放出する材料を含む、請求項１７に記載の非一時的機械可読記憶媒体。
  19. 前記導出するステップの後に、
    前記標的面以外の対象物上の前記光パターンの第３画像を取得するために前記２次元カメラを制御するステップと、
    前記対象物上の前記光パターンの第４画像を取得するために前記３次元距離センサの前記受光システムを制御するステップであって、前記第３画像と前記第４画像とは同時に取得される、ステップと、
    前記３次元距離センサによって測定された前記第２光点の３次元距離座標、及び前記関係式に基づいて、前記複数の光点のうちの第２光点についての２次元座標のセットを同定するステップと、
    を更に含む、請求項１６に記載の非一時的機械可読記憶媒体。
  20. 装置であって、
    プロセッサと、
    前記プロセッサによって実行可能な命令によってコード化される非一時的機械可読記憶媒体であって、前記命令は、実行されると、前記プロセッサに動作を実行させ、前記動作は、
    光パターンを標的面上に投影するために３次元距離センサを制御するステップであって、前記光パターンは、複数の光点を含む、ステップと、
    前記標的面上の前記光パターンの第１画像を取得するために２次元カメラを制御するステップであって、前記２次元カメラは、前記３次元距離センサに対する固定位置を有する、ステップと、
    前記標的面上の前記光パターンの第２画像を取得するために前記３次元距離センサの受光システムを制御するステップと、
    前記複数の光点のうちの第１光点の２次元座標のセットを、前記第１光点についての座標の単一セットを形成するために前記第１光点の３次元座標のセットの距離座標と関連付けるステップであって、前記２次元座標のセットは、前記第１画像から取得され、前記３次元座標のセットは、前記第２画像から取得される、ステップと、
    関係式を前記座標の単一セットから導出するステップであって、前記関係式は、前記受光システムの前記標的面までの距離と、前記２次元カメラの画像センサ上での前記第１光点の位置との間の関係を記述する、ステップと、
    を含む、非一時的機械可読記憶媒体と、
    を備えている、装置。
JP2021568002A 2019-05-12 2020-05-07 ３次元深度マップデータの２次元画像上へのマッピング Pending JP2022532725A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962846696P 2019-05-12 2019-05-12
US62/846,696 2019-05-12
PCT/US2020/031910 WO2020231747A1 (en) 2019-05-12 2020-05-07 Mapping three-dimensional depth map data onto two-dimensional images

Publications (1)

Publication Number Publication Date
JP2022532725A true JP2022532725A (ja) 2022-07-19

Family

ID=73046558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568002A Pending JP2022532725A (ja) 2019-05-12 2020-05-07 ３次元深度マップデータの２次元画像上へのマッピング

Country Status (6)

Country Link
US (1) US11019249B2 (ja)
EP (1) EP3970362A4 (ja)
JP (1) JP2022532725A (ja)
CN (1) CN114073075A (ja)
TW (1) TW202101388A (ja)
WO (1) WO2020231747A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3803266A4 (en) * 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
WO2023200727A1 (en) * 2022-04-11 2023-10-19 Magik Eye Inc. Calibrating a three-dimensional sensor using detection windows

Family Cites Families (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59109273A (ja) 1982-12-15 1984-06-23 Matsushita Electric Ind Co Ltd 回転塗布装置用ノズル
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH045112A (ja) 1990-04-23 1992-01-09 Sumitomo Rubber Ind Ltd 低転がり抵抗タイヤ
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
EP0898245B1 (en) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
WO2008066742A1 (en) 2006-11-22 2008-06-05 Geng Z Jason Wide field-of-view reflector and method of designing and making same
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE102008031942A1 (de) * 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
KR101658578B1 (ko) * 2010-01-27 2016-09-22 삼성전자주식회사 복합 센서의 캘리브레이션 장치 및 방법
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
CN103069250B (zh) 2010-08-19 2016-02-24 佳能株式会社 三维测量设备、三维测量方法
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
CN103477644B (zh) 2011-02-04 2017-04-12 皇家飞利浦电子股份有限公司 记录图像和从图像获得3d信息的方法、相机系统
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
EP2685811B1 (en) 2011-03-17 2016-03-02 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
US9325974B2 (en) 2011-06-07 2016-04-26 Creaform Inc. Sensor positioning for 3D scanning
KR101974651B1 (ko) * 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
WO2013116299A1 (en) 2012-01-31 2013-08-08 3M Innovative Properties Company Method and apparatus for measuring the three dimensional structure of a surface
JP5800082B2 (ja) 2012-03-01 2015-10-28 日産自動車株式会社 距離計測装置及び距離計測方法
EP2833095B1 (en) 2012-03-28 2023-06-28 Fujitsu Limited Imaging device
WO2013173674A1 (en) 2012-05-18 2013-11-21 Siemens Healthcare Diagnostics Inc. Fish eye lens analyzer
US20150131054A1 (en) 2012-07-10 2015-05-14 Wavelight Gmbh Process and apparatus for determining optical aberrations of an eye
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
EP2912369B1 (en) 2012-10-24 2017-05-17 SeeReal Technologies S.A. Illumination device
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) * 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
BR112016015664A8 (pt) 2014-01-06 2020-06-09 Eyelock Llc aparelho para gerar repetidamente imagens de uma íris e dispositivo de reconhecimento de imagem de íris de uso repetitivo
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
WO2015166915A1 (ja) 2014-04-30 2015-11-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
CN107407553B (zh) 2014-10-24 2020-07-28 魔眼公司 距离传感器
JP6121063B1 (ja) 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
US20160157725A1 (en) 2014-12-08 2016-06-09 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
JP6340477B2 (ja) 2015-03-26 2018-06-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP6247793B2 (ja) * 2015-03-27 2017-12-13 富士フイルム株式会社 距離画像取得装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
DE112015006244T5 (de) 2015-03-30 2017-11-16 Fujifilm Corporation Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren
US20160328854A1 (en) * 2015-05-10 2016-11-10 Magik Eye Inc. Distance sensor
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
DE102015209143B4 (de) * 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) * 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
JP6038415B1 (ja) 2015-11-25 2016-12-07 三菱電機株式会社 ３次元画像計測装置及び方法
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN107438148B (zh) 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
KR20200054324A (ko) * 2017-10-08 2020-05-19 매직 아이 인코포레이티드 다중 이동형 센서들을 포함한 센서 시스템의 캘리브레이션
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
WO2019182881A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
KR20200123483A (ko) 2018-03-20 2020-10-29 매직 아이 인코포레이티드 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020117785A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ

Also Published As

Publication number Publication date
EP3970362A1 (en) 2022-03-23
US11019249B2 (en) 2021-05-25
CN114073075A (zh) 2022-02-18
WO2020231747A1 (en) 2020-11-19
TW202101388A (zh) 2021-01-01
EP3970362A4 (en) 2023-06-21
US20200358961A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7133554B2 (ja) 焦点調整可能な画像センサを含む距離センサ
JP7292315B2 (ja) 高密度投影パターンを使用した距離測定
JP6484072B2 (ja) 物体検出装置
JP2022532725A (ja) ３次元深度マップデータの２次元画像上へのマッピング
JP2021518535A (ja) 様々な密度の投影パターンを使用する距離測定
JP4485365B2 (ja) 測距装置
TW201706564A (zh) 距離感測器（二）
CN110133853B (zh) 可调散斑图案的调节方法及其投射方法
WO2020033169A1 (en) Baffles for three-dimensional sensors having spherical fields of view
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
KR20210027461A (ko) 이미지 처리 방법 및 장치 및 이미지 처리 디바이스
TW202101028A (zh) 使用高密度投射圖案的距離量測
US11320537B2 (en) Enhancing triangulation-based three-dimensional distance measurements with time of flight information
TW202146936A (zh) 具有準直器功能的繞射光學構件
JP2019028456A (ja) 回折光学素子、光照射装置、光照射システム、投影パターンの補正方法
JP2023508501A (ja) ３次元座標と２次元特徴点との関連付け
TWI719383B (zh) 多影像投影機以及具有多影像投影機之電子裝置
JP2014035304A (ja) 情報取得装置および物体検出装置
WO2023277789A1 (en) Calibration method
WO2023200727A1 (en) Calibrating a three-dimensional sensor using detection windows
US8351042B1 (en) Object detecting device and information acquiring device
JP2013234957A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206