JP2020148784A - 物体までの距離を算出するための方法 - Google Patents
物体までの距離を算出するための方法 Download PDFInfo
- Publication number
- JP2020148784A JP2020148784A JP2020103696A JP2020103696A JP2020148784A JP 2020148784 A JP2020148784 A JP 2020148784A JP 2020103696 A JP2020103696 A JP 2020103696A JP 2020103696 A JP2020103696 A JP 2020103696A JP 2020148784 A JP2020148784 A JP 2020148784A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- projected
- beams
- distance
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V5/00—Refractors for light sources
- F21V5/008—Combination of two or more successive refractors along an optical axis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0005—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/24—Coupling light guides
- G02B6/26—Optical coupling means
- G02B6/34—Optical coupling means utilising prism or grating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
- H01S5/00—Semiconductor lasers
- H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
- H01S5/42—Arrays of surface emitting lasers
- H01S5/423—Arrays of surface emitting lasers having a vertical cavity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】物体までの距離を算出する。【解決手段】1つの実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも2つのビームは、互いに平行である、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも2つのビームによって生成された投影パターンもまた、画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。【選択図】図2
Description
本開示は、一般的なコンピュータビジョンシステムに関し、より詳細には、車両と物体又は点との間の距離を空間内で測定するためのセンサに関する。
関連出願の相互参照
本出願は、2015年5月10日出願の米国特許仮出願第62/159,286号の利益を主張するものであり、この出願を全体的に本願に引用して援用する。
本出願は、2015年5月10日出願の米国特許仮出願第62/159,286号の利益を主張するものであり、この出願を全体的に本願に引用して援用する。
ロボット車両及びドローンなどの無人車両は、通常、周囲環境における妨害物検出及びナビゲーションのためにコンピュータビジョンシステムを利用する。これらのコンピュータビジョンシステムは、さらに、通常、周囲環境から視覚データを取得するさまざまなセンサを使用し、コンピュータビジョンシステムは、周囲環境についての情報を集めるためにこれらのデータを処理する。たとえば、1つ以上の撮像センサを介して取得されたデータは、車両から周囲環境内の特定の物体又は点までの距離を決定するために使用され得る。
1つの実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも2つのビームは、互いに平行である、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも2つのビームによって生成された投影パターンもまた、画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
別の実施形態では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶する。動作は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも2つのビームは、互いに平行である、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも2つのビームによって生成された投影パターンもまた画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
別の実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームのうち少なくとも1つのビームは、レンズの中心を通過する軸から径方向外側に延びる線に対して第1の角度だけずれている、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームのうち少なくとも1つのビームによって生成された投影パターンもまた画像内に見ることできる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
本開示の教示は、添付の図に関連して以下の詳細な説明を考慮することによって容易に理解され得る。
理解を容易にするために、同一の参照番号が、可能な場合に、図に共通する同一の要素を示すために使用されている。
1つの実施形態では、本開示は、距離センサに関する。距離センサは、コンピュータビジョンシステムが車両から周囲環境内の特定の物体又は点までの距離を決定するのを助けるために無人車両において使用され得る。たとえば、距離センサは、1つ以上の光ビームを物体又は点上に投影し、次いで、飛行時間(TOF)、反射された光(たとえばレーダ)の分析又は他の手段にしたがって距離を算出することができる。しかし、このタイプの従来の距離センサは、かさばる傾向があり、したがって小型車両に使用するには適さないことがある。さらに、センサは、製造するのが非常に高価であり、限定された視野を有する傾向があり得る。たとえば、複数の従来の撮像センサの配置を使用しても、360度未満の視野しか提供されない。
本開示の実施形態は、2015年10月22日出願の米国特許出願第14/920,246号に開示された距離センサのいずれかなどの小型の距離センサの光学構成の改良を提供する。たとえば、図1A及び図1Bは、本開示の光学構成を生成するために使用することができる距離センサ100の1つの実施形態を示す。特に、図1Aは、距離センサ100の断面図を示し、一方で図1B、図1Aの距離センサ100の上面図である。距離センサ100は、たとえば、無人車両に装着され得る。
図1Aでは、距離センサ100は、小型のハウジング102内に配置された複数の構成要素を備える。構成要素は、少なくとも1つの光源104と、これ以後第1の回折光学素子106と称される第1のビーム分割手段と、これ以後第2の回折光学素子1081〜108nと称される(さらに、これ以後集合的に「第2の回折光学素子108”」と称される)第2のビーム分割手段の配列と、広角レンズ112を含む撮像センサ110とを備える。
構成要素は、中央軸A−A’の周りにほぼ対称的に配置される。1つの実施形態では、中央軸A−A’は、撮像センサ110の光学軸と一致する。1つの実施形態では、光源104は、中央軸A−A’の第1の端部に配置される。1つの実施形態では、光源104は、中央軸A−A’に沿って光の単一ビームを発するレーザ光源である。これ以後、光源104によって発せられた単一ビームはまた、「一次ビーム」と称され得る。1つの実施形態では、光源104は、人間の視覚に対して比較的安全であることが知られている波長の光を発する(たとえば赤外線)。別の実施形態では、光源104は、その出力の強度を調整するための回路を含むことができる。別の実施形態では、光源104は、パルス式に光を発し、それによって画像取り込みに対する周囲光の影響を軽減することができる。
第1の回折光学素子(DOE)106は、光源104の近位(たとえば光源104によって発せられた光が伝播する方向に対して、光源104の「正面」)に中央軸A−A’に沿って配置される。特に、第1のDOE106は、光源104によって発せられた単一の光ビームをとらえ、単一又は一次ビームを複数の二次ビームに分割するように配置される。1つの実施形態では、中央軸A−A’と二次ビームの各々との間の角度は等しい。第1のDOE106は、一次ビームを、異なる方向に一次ビームから分岐する複数の二次ビームに分割することができる任意の光学構成要素である。たとえば、1つの実施形態では、第1のDOE106は、円すい鏡又はホログラフィフィルムを含むことができる。この場合、複数の二次ビームは、円錐形状で配置される。別の実施形態では、一次ビームは、回折以外の手段によって分割され得る。
二次DOE108の配列は、第1のDOE106の近位(たとえば光源104によって発せられた光が伝播する方向に対して、DOE106の「前」)に中央軸A−A’に沿って配置される。特に、第2のDOE108の配列は、第1のDOE106が、光源104と、第2のDOE108の配列との間に配置されるように配置される。図1Bにより明確に示すように、1つの実施形態では、第2のDOE108は、リング形状配列で配置され、このとき中央軸A−A’は、リングの中心を通り抜け、第2のDOE108はリング周りに定間隔で離間される。たとえば、1つの実施形態では、第2のDOE108は、リング周りに約30度離して離間される。1つの実施形態では、第2のDOE108の配列は、光源104によって発せられた光が伝播する方向に対して、撮像センサ110の主点(すなわち光学軸A−A’が画像平面と交差する点)の「後方」に配置される。
各々の第2のDOE108は、第1のDOE106によって生み出された二次ビームの1つをとらえ、この二次ビームを複数の(たとえば、2つ又はそれ以上の)三次ビームに分割し、この三次ビームは、第2のDOE108から離れるように径方向に向けられる。したがって、各々の第2のDOE108は、センサ100の投影点を画定し、この投影点から、投影ビーム(又は三次ビーム)のグループが、視野内に発せられる。1つの実施形態では、各々それぞれの複数の三次ビームは、約100度の範囲を対象とするように広がる。第2のDOE108は、それぞれの二次ビームを、異なる方向に二次ビームから分岐する複数の三次ビームに分割することができる任意の光学構成要素である。たとえば、1つの実施形態では、各々の第2のDOEは、円すい鏡又はホログラフィフィルムを含むことができる。しかし、他の実施形態では、二次ビームは、回折以外の他の手段によって分割される。
1つの実施形態では、各々複数の三次ビームは、ファンパターン又は径方向パターンで配置され、このときビームの各々の間に等しい角度を有する。1つの実施形態では、第2のDOE108の各々は、表面上に異なる視覚パターンを作り出す三次ビームを投影するように構成される。たとえば、1つの二次DOE108は、ドットのパターンを投影することができ、一方で別の第2のDOE108は、線又は「x」のパターンを投影することができる。
撮像センサ110は、第2のDOE108の配列の中央に(たとえば、光源104によって発せられた光が伝播する方向に対して、第2のDOE108の配列の少なくとも部分的に「前」)に中央軸A−A’に沿って配置される。1つの実施形態では、撮像センサ110は、静止カメラ又はビデオカメラなどの画像取り込みデバイスである。上記で論じたように、撮像センサ110は、半球視野を作り出す、魚眼レンズなどの広角レンズを含む。1つの実施形態では、撮像センサ110は、距離センサ100から物体又は点までの距離を算出するための回路を含む。別の実施形態では、撮像センサは、取り込まれた画像をネットワークを介してプロセッサに送るためのネットワークインタフェースを含み、この場合プロセッサは、距離センサ100から物体又は点までの距離を算出し、次いで、算出された距離を距離センサ100に戻す。
したがって、1つの実施形態では、距離センサ100は、単一光源(たとえば光源104)を使用して、投影ビーム(たとえばドット又は線のパターンを含む)のセットがそこから発せられる複数の投影点を生み出す。投影ビームのうち1つ以上は、投影平面を形成することができる。1つの実施形態では、投影平面の少なくとも1つは、センサ100の中央軸A−A’に平行である。別の実施形態では、この投影平面は、(たとえば、平面が図1に垂直に向けられるように)投影点のうち単一のもの又はDOK108から投影される。
距離センサ100から物体までの距離は、(2015年10月22日出願の米国特許出願第14/920,246号に説明されるように)視野内の投影ビームの外観から算出され得る。特に、第1及び第2のDOEの使用は、光源によって発せられた光の単一ビームから、レンズ周りに複数の投影点を生成することを可能にする。これにより、距離センサ100は、広い視野内で距離を測定しながら相対的に小型の物理的形状及び大きさ(form factor)を維持することが可能になる。撮像センサ110及び光源104はまた、設計をより小型化するために同じ平面内に装着することができるが、1つの実施形態では、第2のDOE1081−108nは、(たとえば、視野の深さ角度が、完全な180度に近い、又は一部の場合ではさらにそれより大きくなるように)投影ビームによって対象とされ得る視野を増大させるために、撮像センサ110の主点の後方に配置される。
さらに、第2のDOE108の各々が異なるパターンの三次ビームを投影するため、撮像センサ内の回路は、取り込まれた画像内のどのビームが、第2のDOE108のどれによって作り出されたかを容易に決定することができる。これは、距離算出を容易にし、これは、以下にさらに詳細に論じられる。
センサ100が、単一光源104だけを含む(センサ100内の構成要素の総数を低減する)ものとして示されているが、代替の実施形態では、センサは複数光源を含むことができる。この場合、第1のDOE106は、必要ではない。その代わり、1つの実施形態では、複数光源の各々の光源が、(図1A及び図1B内の第2のDOE108の配列などの)DOEの配列内の1つのDOEに対応することができる。とりわけ、この構成は、(たとえば、配列内の各々のDOEによって画定された1つの投影点などの)複数の投影点を撮像センサのレンズ周りに依然として生み出し、そこから、投影ビームのセットが発せられ得る。
いくつかの実施形態では、距離センサ100は、平行パターンを視野内に形成する投影ビームを生み出すように構成され得る。図2は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって、投影され得るパターン200の第1の実施形態を示す。図2もまた、レンズ112、並びにDOE又は投影点のうち2つ1081及び108n(これ以後集合的に「投影点108」と称される)を含む図1の距離センサ100の構成要素のいくつかを分解図で示す。
全て示すと、パターン200は、投影ビームの2つのセット2021及び202n(これ以後集合的に「セット202」と称される)を含む。1つの例では、投影ビームの各々のセット202は、平面を形成するようにセンサ100の投影点108のうち1つから径方向に広がる。また示されるように、投影点108は、センサ100の中央軸A−A’周りに互いから約180度離して離間されるので、投影ビームの2つのセット202によって画定された平面は、互いにほぼ平行である。
複数対のDOEを可能にすることによって、DOEの各対におけるDOEが、中央軸A−A’周りに互いから約180度離して離間される場合、複数の平行な投影パターン又は平面が、生み出され得る。図3は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって、投影され得るパターン300の第2の実施形態を示す。図3もまた、レンズ112を囲むレンズ112、及びDOE又は投影点108を含む図1の距離センサ100の構成要素のいくつかの分解図における上面図である。
全て示すと、パターン300は、投影ビームの複数の平行な対を備え、f1及びf2を通る破線a1及びa2の対によって示されている。図2におけるように、投影ビーム(たとえば、a1及びa2の各対によって画定された平面は、対応する投影点108がセンサ100の中央軸A−A’周りに互いから約180度離して離間されるので、互いにほぼ平行である。
いくつかの実施形態では、一対の平行パターンを構成する各々のパターン又は平面は、1つの光源及び1つのDOEではなく、少なくとも2つの光源及び2つのDOE又は投影点を使用して生成される。これは、いくつかの光源は、DOEと共に動作するときでも、90度よりも大きい弧で広がる投影ビームのセットを生成することができない場合があるからである。図4は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって投影され得るパターン400の第3の実施形態を示す。図4もまた、レンズ112及び4つのDOE又は投影点1081〜108n(これ以後集合的に「投影点108」と称される)を含む図1の距離センサ100の構成要素の一部を分解図で示す。1つの実施形態では、DOE108の各々は、センサ100の異なる光源(図示せず)に対応する。
示されるように、パターン400は、2つの投影パターン又は平面4021及び4022(これ以後集合的に「投影平面402」と称される)を含む。1つの例では、各々の投影平面402は、センサ100の投影点408の1つから径方向に広がる投影ビームの2つのセット4041及び4042、又は404n−1及び404n(これ以後集合的に「セット404」と称される)を含む。この場合、投影ビームの各々のセット404は、約90度の弧で広がり、セット404の各対は、1つの投影平面402に対応する約180度の弧に及ぶ。示されるように、投影平面402は、投影点408がセンサ100の中央軸A−A’周りに互いから約180度離して離間されるので、互いにほぼ平行である。
別の実施形態では、図1に示されたセンサ100に類似する2つのセンサは、背中合わせに装着され得、光源及びDOEが視野内の約360度を対象とする投影パターンを生み出すことを可能にする。図5は、たとえば、背中合わせに装着された図1の2つの距離センサ1001及び1002(これ以後集合的に「距離センサ100」と称される)によって、又は背中合わせに装着された類似の能力を有する2つの距離センサによって投影され得るパターン500の第4の実施形態を示す。図5もまた、各々のセンサ100のレンズ及び4つのDOE又は投影点を含む図1の距離センサ100の構成要素の一部を分解図で示す。1つの実施形態では、DOEの各々は、関連するセンサ100の異なる光源(図示せず)に対応する。
示されるように、パターン500は、4つの投影パターン又は平面5021〜5024(これ以後集合的に「投影平面502」と称される)を備える。1つの例では、各々の投影平面502は、関連するセンサ100の投影点の1つから径方向に広がる投影ビームの2つのセットを含む。この場合、図4にあるように、投影ビームの各々のセットは、約90度の弧で広がり、各々の対応する投影平面502は、約180度の弧に及ぶ。2つのそのような投影平面502が、背中合わせで投影されるとき、示したように、約350度の弧が、対象とされ得る。したがって、互いにほぼ平行である2つの360度の投影平面が、生成され得る。
別の実施形態では、1つのDOE又は投影点は、複数の投影平面がいくらかの角度だけ互いからずれている複数の投影平面を生成することができる。さらに、複数の投影平面をそれぞれ生成する2つのDOE又は投影点を使用して、投影平面の複数の平行な対を生成することもできる。図6は、たとえば、図1の距離センサ100によって、又は類似の能力を有する距離センサによって、投影され得るパターン600の第5の実施形態を示す。図6もまた、レンズ112及び2つのDOE又は投影点1081及び108n(これ以後集合的に「投影点108」と称される)を含む図1の距離センサ100の構成要素の一部を分解図で示す。1つの実施形態では、DOE108の各々は、センサ100の異なる光源(図示せず)に対応する。
示されるように、パターン600は、(上記で説明したように、各々の個々の投影平面は、投影点108から180度までの弧で広がる投影ビームのセットを含む)投影平面の複数対6021〜602n(これ以後集合的に「対602」と称される)を含む。この場合、各々の投影点108は、投影平面の各々の対602における投影平面の1つを生成する。さらに、各々の投影点108は、個々の投影ビームが広がる方向にほぼ直交する方向に互いから広がる複数の投影平面を生成する。たとえば、図6では、投影点108によって生成される個々の投影ビームは、z軸に沿った方向に径方向に広がり、一方で投影点108によって生成された複数の投影平面は、x軸に沿った方向に広がる。
図7は、実線パターンを含む二対の平行パターン7021及び7022(これ以後集合的に「平行パターン702」と称される)が投影されている例示的な視野700を示す図である。距離が変化しても投影パターン702が常に連続的な直線であるので、視野内の物体までの距離は、平行パターン702の横移動によって容易に検出することができる。物体のサイズ及び寸法もまた、直接算出することができる。
図17は、たとえば、一対の平行な投影平面17001及び17002(これ以後集合的に「投影平面1700」と称される)を使用して物体までの距離を算出するための関連パラメータを示す図である。示されるように、投影平面は、距離センサの撮像センサ1704から距離Dに配置される物体1702の上へ一対の平行な線を投影する。投影平面1700は、投影間隔aだけ離して離間されており、間隔の中点(又は投影中心)は、軸B−B’によって定められる。距離φは、距離センサの軸B−B’と中央軸A−A’の間に存在する。投影点17061〜1706n(これ以後集合的に「投影点1706」と称される)は、撮像センサ1704の前に距離bで設定される。
図18は、図17の撮像センサ1704から図17の物体1702までの距離Dを算出するためのアルゴリズムの1つの実施形態を示す。図17に示されたパラメータに加えて、図18は、投影点1706によって発せられた光の部分(すなわち投影間隔aだけ離されている投影平面)が物体1702によって反射され、撮像センサ1704に戻りの光として戻ることを示す。戻りの光のビームは、撮像センサ1704によって取り込まれる画像によって与えられる距離θだけ離される。
距離センサの軸B−B’と中央軸A−A’の間の距離φが、ゼロであると知られているとき、(a/2)/D=tan(θ/2)である。したがって、撮像センサ1704から物体1702までの距離Dは、D=(a/2)/tan(θ/2)として算出することができる。また、a<<Dであるとき、D=a/tan(θ)である。
距離センサの軸B−B’と中央軸A−A’間の距離φが、ゼロでない数である知られているとき、θ=(θ/2+φ)−(−θ/2+φ)であるとき、D=a/tan(θ)である。
図8は、センサから物体又は点までの距離を空間内で算出するための方法800の流れ図を示す。1つの実施形態では、方法800は、(図1A〜1Bに示す撮像センサ110などの)撮像センサ内に組み込まれたプロセッサ又は図16に示し、以下に論じる汎用コンピューティングデバイスによって実行され得る。
方法800は、ステップ802において始まる。ステップ804では、光源は、光の一次ビームを生成するように作動される。1つの実施形態では、単一の一次ビームが、単一光源によって生成されるが、他の実施形態では、複数の一次ビームが、複数光源によって生成される。1つの実施形態では、光源又は複数光源は、レーザ光源を含む。
任意選択のステップ806では、一次ビームは、一次ビームがそれに沿って伝播する経路内に配置された第1のビーム分割手段(たとえば回折光学素子)を使用して複数の二次ビームに分割される。第1のビーム分割手段は、たとえば、円すい鏡でよい。ステップ806は、たとえば、(撮像センサがその一部である)距離センサが単一光源のみを含むときに実行される。
ステップ808では、複数の二次ビーム内の各々のビームは、ビーム分割手段の配列内の第2のビーム分割手段(たとえば第2の回折光学素子)を使用して複数の投影ビーム又は三次ビームに分割される。1つの実施形態では、複数の第2のビーム分割手段は、リングとして配置され、それにより、各々の第2のビーム分割手段は、第2のビームの1つがそれに沿って伝播する経路内に配置される。1つの実施形態では、第2のビーム分割手段の少なくとも一部は、円すい鏡である。1つの実施形態では、距離センサが複数光源を備える場合、方法800は、ステップ804からステップ808に直接進むことができる。この場合、(複数光源を使用して生成された)複数の一次ビームの各々の一次ビームは、第2のビーム分割手段の1つによって複数の投影ビームに直接的に分割される。
ステップ810では、物体又は点の少なくとも1つの画像が、取り込まれる。画像は、物体又は点上に、及び周囲空間上に投影されるパターンを含む。パターンは、投影ビームの各々が、一連のドット、線又は他の形状を物体、点、又は周囲空間上に投影することによって作り出される。1つの例では、たとえば、図2〜図7に示されるように、パターンは、一対以上の平行な投影ビーム又は投影平面を含む。
ステップ812では、センサから物体又は点までの距離が、ステップ810において取り込まれた画像からの情報を使用して算出される。1つの実施形態では、三角法技術が、距離を算出するために使用される。たとえば、センサによって投影されたパターンの部分間の関係が、算出の基礎として使用され得る。
方法800は、ステップ814において終了する。こうして、方法800は、図1A〜1Bに示すセンサ、又は類似の能力を有するセンサと組み合わせて、画像取り込み及び算出の単一のサイクルにおいてセンサから物体又は点までの距離を空間内で測定することができる。
図9は、たとえば、センサから物体又は点までの距離が、ステップ812においてそれによって算出することができる三角法技術を示す。特に、図9は、図1の例示的な撮像センサ110と共に、第2の回折光学素子1081及び1082の2つによって画定され得る投影点のうち2つを示す。投影点は、撮像センサ110から等しい距離xで離間され、それにより、2つの投影点(たとえばx=s/2)の間のsの距離が存在するようになる。投影点の各々は、それぞれの投影ビーム9001及び9002を発し、これらのビームは、物体上に入射してそれぞれの点9021及び9022(たとえばドット又は線)を一パターンとして作り出す。これらの点9021及び9022は、撮像センサ110によって検出され、撮像センサ110と物体の間の距離Dを以下の通りに算出するために使用され得る:
D=s/(−tanα2+tanα1+tanθ2+tanθ1) (式1)
式中、α2は、投影ビーム9002と第2の回折光学素子1082の中央軸c2との間に形成された角度であり、α1は、投影ビーム9001と第2の回折光学素子1081の中央軸c1との間に形成された角度であり、θ2は、撮像センサ110の中央光学軸Oと、撮像センサ110が投影ビーム9002によって作り出された点9022を知覚する角度との間に形成された角度であり、θ1は、撮像センサ110の中央光学軸Oと、撮像センサ110が、投影ビーム9001によって作り出された点9021を知覚する角度との間に形成された角度である。
D=s/(−tanα2+tanα1+tanθ2+tanθ1) (式1)
式中、α2は、投影ビーム9002と第2の回折光学素子1082の中央軸c2との間に形成された角度であり、α1は、投影ビーム9001と第2の回折光学素子1081の中央軸c1との間に形成された角度であり、θ2は、撮像センサ110の中央光学軸Oと、撮像センサ110が投影ビーム9002によって作り出された点9022を知覚する角度との間に形成された角度であり、θ1は、撮像センサ110の中央光学軸Oと、撮像センサ110が、投影ビーム9001によって作り出された点9021を知覚する角度との間に形成された角度である。
式1は、以下の関係から導き出される。
D*tanα1+D*tanθ1=x (式2)
D*tanα2+D*tanθ2=s−x (式3)
D*tanα1+D*tanθ1=x (式2)
D*tanα2+D*tanθ2=s−x (式3)
式2及び3は、(たとえばドットのパターンを含む)投影パターン源から、投影パターンがその上に投影される物体までの距離を算出することを可能にする。距離は、光点がその源周りの種々の投影点によって発せられたときに投影パターンを形成する光点(たとえばドット)間の位置関係に基づいて算出される。この実施形態では、光点間の位置関係は、先験的に知られている(すなわち算出の一部として測定されない)。
別の実施形態では、距離算出は、投影点又はDOE108に対して撮像センサ110のある角度傾斜させることによって異なる環境内で容易にすることができる。図10、たとえば、本開示の光学構成を生成するために使用することができる距離センサ1000の第2の実施形態を示す。距離センサ1000は、図1のA及び1Bの距離センサ100類似するやり方で構成することができるが、図10の説明は、説明を簡単にするために単純化されている。
図10に示されるように、距離センサ1000は、小型のハウジング1002内に配置された複数の構成要素を備える。ハウジング1002は、光源と、第1のビーム分割手段又は第1のDOEと、第2のビーム分割手段の配列(これ以後第2の回折光学素子10081〜1008nと称される(そして、これ以後集合的に「第2のDOE1008」と称される))と、広角レンズ1012を含む撮像センサ1010とのうち少なくとも1つを収容することができる。
構成要素は、中央軸A−A’の周りにほぼ対称的に配置される。1つの実施形態では、中央軸A−A’は、撮像センサ1010の光学軸と一致する。図示されていないが、光源は、中央軸A−A’の第1の端部に配置され、第1のDOEは、含まれている場合、光源の近位(たとえば光源によって発せられた光が伝播する方向に対して、光源の「正面」)に中央軸A−A’に沿って配置される。特に、第1のDOEは、単一の光源によって発せられた単一の光ビームをとらえ、単一又は一次ビームを複数の二次ビームに分割するように配置される。
第2のDOE1008の配列は、第1のDOEの近位(たとえば単一の光源によって発せられた光が伝播する方向に対して、第1のDOEの「前」)に中央軸A−A’に沿って配置される。1つの実施形態では、第2のDOE1008は、リング形状配列で配置され、このとき中央軸A−A’は、リングの中心を通り抜け、第2のDOE1008はリング周りに定間隔で離間される。しかしながら、図10に示されるように、中央軸A−A’に沿って配置されたセンサ1000の部分(たとえば、少なくとも撮像センサ1010及びレンズ1012)は、中央軸A−A’が第2のDOE1008の配列によって投影された投影平面に対して傾斜されるように、第2のDOE1008の配列から独立して回転することができる。
1つの実施形態では、第2のDOE1008は、リング周りに約30度離して離間される。1つの実施形態では、第2のDOE1008の配列は、単一の光源によって発せられた光が伝播する方向に対して、撮像センサ1010の主点(すなわち光学軸A−A’が画像平面と交差する点)の「後方」に配置される。
各々の第2のDOE1008は、第1のDOEによって生み出された二次ビームの1つをとらえ、この二次ビームを複数の(たとえば、2つ又はそれ以上の)三次ビームに分割し、この三次ビームは、第2のDOE1008から離れるように径方向に向けられるように配置される。したがって、各々の第2のDOE1008は、センサ100の投影点を画定し、この投影点から、投影ビーム(又は三次ビーム)のグループが、視野内に発せられる。1つの実施形態では、各々それぞれの複数の三次ビームは、約100度の範囲を対象とするように広がる。
1つの実施形態では、各々複数の三次ビームは、ファンパターン又は径方向パターンで配置され、このときビームの各々の間に等しい角度を有する。1つの実施形態では、第2のDOE1008の各々は、表面上に異なる視覚パターンを作り出す三次ビームを投影するように構成される。たとえば、1つの第2のDOE1008は、ドットのパターンを投影することができ、一方で別の第2のDOE1008は、線又はxのパターンを投影することができる。
図10に示す構成は、中央軸A−A’から径方向外側に延びる線に対して傾斜されている又はある角度αだけずれているDOE1008から投影された投影(又は三次)ビームという結果である。たとえば、図11の上面図である例示的な投影パターン1100は、図10の距離センサ1000によって投影され得る。示されるように、DOE1008の各々は、ビーム又は平面を作り出し、DOE10083の場合、投影ビームは、1104として名付けられる。さらに示されるように、投影ビームは、センサ1000の中央軸A−A’から径方向外側に直接延びる仮想の基準線1102に平行ではない。投影ビーム1104が基準線1102からずれている量又は角度αは、設定可能であり、たとえば、センサ1000の中央軸A−A’が第2のDOE1008の配列に対して傾斜される量に直接関連し得る。1つの例では、角度αは、DOE1008の各々によって生成される投影ビームごとに同じである。しかしながら、他の例では、角度αは、投影ビームの少なくとも2つについて異なっていてもよい。
投影ビームを構成する投影のアーチファクト(たとえば、ドット、ダッシュ、xなど)の各々が距離に関してセンサ1100から移動する量は、角度αの大きさによって変わり得る。たとえば、角度αが増加するとき、センサ1100からの距離に対しての投影のアーチファクトの移動も増加する。加えて、図14A〜図14Dを参照して以下より詳細に説明されるように、線密度(たとえば、単一のDOEによって投影される複数の投影ビームがどのくらい互いに近いか)は、角度αの増大とともに減少する。角度αを適切に設定することによって、個々の投影アーチファクトの容易な特定と実線パターンの容易な計算とを可能にする投影パターンを生成することができる。
図12は、図10の距離センサ1000によって投影され得る別の例示的な投影パターン1200の上面図である。この場合、各々のDOE1008は、図1〜図7に関連して上記で論じたように、たとえば、平行ビーム又は平面のパターンを投影することができる。共通のDOEによって投影された平行なビームの各々のパターン内で、各々のビーム(たとえば、例として、DOE10083によって投影されたビーム1204を参照)は、同じ角度αだけ対応する基準線1202からずれている。したがって、開示した実施形態は、平行ビーム又は平面の投影とセンサの中央軸に対するこれらのビーム又は平面の傾斜を組み合わせる。
図10は、DOEに対して中央軸に沿って位置するセンサの構成要素を傾斜させることによって中央軸に対して投影ビーム又は平面の傾斜を達成するが、この効果は、他の構成を用いて同様に達成することができる。図13は、たとえば、本開示の光学構成を生成するために使用することができる距離センサ1300の別の実施形態の上面図である。この場合、第2のDOE13081〜1308n(これ以後集合的に「第2のDOE1308」と称される)の配列のレイアウトは、複数の投影ビームを投影するように構成され得、投影ビームのうち少なくとも2つが、異なる量又は角度だけ中央軸A−A’から径方向外側に向かって延びる基準線1302からずれている。1つの実施形態では、この効果は、第2のDOE1308の半径距離を中央軸A−A’から変更することによって達成される。たとえば、DOE13089は、DOE13083よりも撮像センサのレンズ1312からさらに離して配置される。結果として、示されるように、DOE13089と基準線1302の間のずれ角度α1は、DOE13083と基準線1302の間のずれ角度α2よりも小さい。
投影ビームを傾斜させることによって、投影のアーチファクトの単一の線上で、重なっていない投影のアーチファクト(たとえば、ドット、ダッシュ、又はx)を用いて、あるものが物体までの距離を算出することを可能にする投影パターンを生成することができる。角度αを変更することによって、投影のアーチファクト間の重なりは、変わり得る。たとえば、図14A〜図14Dは、投影ビームと径方向の準線の間の様々な異なる傾斜の角度を使用して生成され得る例示的な投影パターンを示す。特に、図14Aは、角度αが0度であるときの投影パターンを示し、図14Bは、角度αが20度であるときの投影パターンを示し、図14Cは、角度αが45度であるときの投影パターンを示し、図14Dは、角度αが70度であるときの投影パターンを示す。示されるように、傾斜の角度がより大きいと、投影のアーチファクトがより大きい重なりとなり、共通のDOEによって投影される複数の投影ビームの線密度が減少する。
図19A及び19Bは、図10及び13のセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す。図19Aを参照すれば、OpからDまでのベクトルr0の高さz、深さy、及び長さxは、以下の通りに計算され得る。
z=r0 sinθ (式4)
y=r0 cosθ sinα (式5)
x=r0 cosθ cosα (式6)
したがって、
r0 2=x2+y2+z2 (式7)
z=r0 sinθ (式4)
y=r0 cosθ sinα (式5)
x=r0 cosθ cosα (式6)
したがって、
r0 2=x2+y2+z2 (式7)
式4〜7は、距離センサによって発せられた傾斜した投影ビームの複数のパラメータの位置的な関係を説明する。
図19Bを参照すれば、高さがbだけ低減され、長さがaだけ増大されるとき、寸法は以下のように計算され得る。
z−b=R0 sinφ (式8)
y=R0 cosφ sinβ (式9)
x+a=R0 cosφ cosβ (式10)
したがって、
R0 2=(x+a)2+y2+(z−b)2 (式11)
z−b=R0 sinφ (式8)
y=R0 cosφ sinβ (式9)
x+a=R0 cosφ cosβ (式10)
したがって、
R0 2=(x+a)2+y2+(z−b)2 (式11)
式4及び式8から、
R0 sinφ+b=r0 sinθ (式12)
が、導き出され得る。
R0 sinφ+b=r0 sinθ (式12)
が、導き出され得る。
式5及び式9から、
R0 cosφ sinβ=r0 cosθ sinα (式13)
が、導き出され得る。
R0 cosφ sinβ=r0 cosθ sinα (式13)
が、導き出され得る。
式6及び式10から、
R0 cosφ cosβ−a=r0 cosθ cosα (式14)
が、導き出され得る。
R0 cosφ cosβ−a=r0 cosθ cosα (式14)
が、導き出され得る。
したがって、
となる。
β及びφは、撮像センサによって取り込まれた画像から測定され、a、b、及びαは、撮像センサ/投影構成から知られており、θは、投影パターンから知られている。
図20は、例示的な距離センサ2000に拡張される図19A〜19Bの概念を示す。例示的な距離センサ2000は、光源2002を含む光源のリング形状配列と、各々の光源(場合によってはビーム分割手段を含む)に対応する投影点2004などの投影点と、(広角レンズを含む)撮像センサ2006とを備える。例示的な距離センサ2000は、仮想球形2008を形成する光のパターンを投影するように構成される。
示されるように、投影点2006などの距離センサ2000の投影点は、撮像センサ2006から距離D離れて配置された物体2010へ投影ビームを投影する。中央軸から径方向外側に延びる軸B−B’に対する投影ビームのある角度は、αによって定められる。投影ビームによって発せられた光の一部は、撮像センサ2006に戻りの光のビームとして戻るように反射される。
図15は、センサから物体又は点までの距離を空間内で算出するための方法1500の流れ図を示す。1つの実施形態では、方法1500は、(図1A〜図1B及び図10に示す撮像センサ110などの)撮像センサ内に組み込まれたプロセッサ又は図16に示し、以下に論じる汎用コンピューティングデバイスによって実行され得る。
方法1500は、ステップ1502において始まる。ステップ1504では、光源は、一次光ビームを生成するように作動される。1つの実施形態では、単一の一次ビームが、単一光源によって生成されるが、他の実施形態では、複数の一次ビームが、複数光源によって生成される。1つの実施形態では、光源又は複数光源は、レーザ光源を含む。
任意選択のステップ1506では、一次ビームは、一次ビームがそれに沿って伝播する経路内に配置された第1のビーム分割手段(たとえば回折光学素子)を使用して複数の二次ビームに分割される。第1のビーム分割手段は、たとえば、円すい鏡でよい。ステップ806は、たとえば、(撮像センサがその一部である)距離センサが単一光源のみを含むときに実行される。
ステップ1508では、複数の二次ビーム内の各々のビームは、ビーム分割手段の配列内の第2のビーム分割手段(たとえば第2の回折光学素子)を使用して複数の投影ビーム又は三次ビームに分割される。1つの実施形態では、複数の第2のビーム分割手段は、リングに配置され、それにより、各々の第2のビーム分割手段は、二次ビームの1つがそれに沿って伝播する経路内に配置される。1つの実施形態では、第2のビーム分割手段の少なくとも一部は、円すい鏡である。1つの実施形態では、距離センサが複数光源を備える場合、方法800は、ステップ1504からステップ1508に直接進むことができる。この場合、(複数光源を使用して生成された)複数の一次ビームの各々の一次ビームは、第2のビーム分割手段の1つによって複数の投影ビームに直接的に分割される。
ステップ1510では、物体又は点の少なくとも1つの画像が、取り込まれる。画像は、物体又は点上に、及び周囲空間上に投影されるパターンを含む。パターンは、投影ビームの各々が、一連のドット、線又は他の形状を物体、点、又は周囲空間上に投影することによって作り出される。1つの例では、パターンは、たとえば、図10〜図14Dに示されるように、センサの「中央軸A−A’」から径方向外側に延びる仮想の基準線に対してずれている又は傾斜している1つ以上の投影ビームを含む。
ステップ1512では、センサから物体又は点までの距離が、ステップ1510において取り込まれた画像からの情報を使用して算出される。1つの実施形態では、図9に関連して上記に論じたもののような三角法技術が、距離を算出するために使用される。たとえば、センサによって投影されたパターンの部分間の位置的な関係が、算出の基礎として使用され得る。
方法1500は、ステップ1514において終了する。こうして、方法1500は、図1A〜1B又は図10に示すセンサ、又は類似の能力を有するセンサと組み合わせて、画像取り込み及び算出の単一のサイクルにおいてセンサから物体又は点までの距離を空間内で測定することができる。
図16は、本明細書において説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルのブロック図を示す。図16に示すように、システム1600は、1つ以上のハードウェアプロセッサ要素1602(たとえば中央処理ユニット(CPU)、マイクロプロセッサ、又はマルチコアプロセッサ)と、メモリ1604、たとえばランダムアクセスメモリ(RAM)及び/又は読み取り専用メモリ(ROM)と、距離を算出するためのモジュール1605と、さまざまな入力/出力デバイス1606(たとえば、それだけに限定されないが、テープドライブ、フロッピー(登録商標)ドライブ、ハードディスクドライブ、又はコンパクトディスク(登録商標)ドライブを含む記憶装置、受信機、送信機、レンズ及び光学系、出力ポート、入力ポート、及びユーザ入力デバイス(キーボード、キーパッド、マウス、マイクロホンなど))とを備える。1つだけのプロセッサ要素が示されているが、汎用コンピュータは、複数のプロセッサ要素を使用してよいことに留意されたい。さらに、1つだけの汎用コンピュータが図に示されているが、上記で論じた方法が、特定の説明上の例に関して分散式又は並行式に実施される場合、すなわち上記の方法又は方法全体のステップが、複数の又は並行の汎用コンピュータにわたって実施される場合、この図の汎用コンピュータは、これらの複数の汎用コンピュータの各々を表すように意図される。さらに、1つ以上のハードウェアプロセッサは、仮想化された又は共通化されたコンピューティング環境を支持するのに利用され得る。仮想化されたコンピューティング環境は、コンピュータ、サーバ、又は他のコンピューティングデバイスを表す1つ以上の仮想機械を裏付けることができる。そのような仮想化された仮想機械では、ハードウェアプロセッサなどのハードウェア構成要素及びコンピュータ可読記憶デバイスは、仮想化され又は論理的に表され得る。
本開示は、ソフトウェア及び/又はソフトウェア及びハードウェアの組み合わせにおいて、たとえば特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)を含むプログラマブルロジックアレイ(PLA)、又はハードウェアデバイス上に配備されるステートマシンを使用して実施することができ、汎用コンピュータ又は任意の他のハードウェアの等価物、たとえば上記で論じた方法に関係するコンピュータ可読命令は、上記で開示した方法のステップ、機能、及び/又は動作を実行するようにハードウェアプロセッサを構成するために使用され得ることに留意されたい。1つの実施形態では、距離を算出するための本発明のモジュール又はプロセス1605(たとえば、コンピュータ可読命令を含むソフトウェアプログラム)のための命令及びデータは、メモリ1604にロードされ、ハードウェアプロセッサ要素1602によって実行されて、例示的な方法800及び1500に関連して上記で論じたステップ、機能、又は動作を実施することができる。さらに、ハードウェアプロセッサが命令を実行して「動作」を実行するとき、これは、ハードウェアプロセッサが動作を直接的に実行すること、及び/又は動作を実行するように別のハードウェアデバイス又は構成要素(たとえばコプロセッサなど)と共に促し、方向付け、共働することを含むことができる。
上記で説明した方法に関するコンピュータ可読命令又はソフトウェア命令を実行するプロセッサは、プログラムされたプロセッサ又は専用のプロセッサとして認識され得る。したがって、本開示の(関連するデータ構造を含む)距離を算出するための本発明のモジュール1605は、実体的な又は物理的な(広く言えば非一時的な)コンピュータ可読記憶デバイス又は媒体、たとえば、揮発性メモリ、非揮発性メモリ、ROMメモリ、RAMメモリ、磁気又は光学ドライブ、デバイス、又はディスケット上などに記憶され得る。より詳細には、コンピュータ可読記憶デバイスは、コンピュータ又はアプリケーションサーバなどのプロセッサ又はコンピューティングデバイスによってアクセスされるデータ及び/又は命令などの情報を記憶する能力を提供する任意の物理的デバイスを備えることができる。
さまざまな実施形態が上記で説明されてきたが、これらは、限定的ではなく例としてのみ提示されていることを理解されたい。したがって、好ましい実施形態の広さ及び範囲は、上記で説明した例示的な実施形態のいずれにも限定されてはならず、以下の特許請求の範囲及びその等価物にしたがってのみ定義されなければならない。
Claims (10)
- 物体までの距離を算出するための方法であって、
第1の複数の投影ビームを複数の投影点の第1の投影点から同時に投影するステップであって、前記複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、前記第1の複数の投影ビームの各ビームは、物体に投影された時に互いに異なる可視パターンを作り出す投影パターンを前記画像取り込みデバイスの視野に投影し、前記第1の複数の投影ビームのうちの第1のビームは、前記レンズの中心を通過する軸から径方向外側に延びる線に対して第1の角度だけずれている、投影するステップと、
視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記第1のビームを含む前記第1の複数の投影ビームによって投影された前記投影パターンにより生成された集合投影パターンもまた前記画像内に見ることができる、取り込むステップと、
前記画像内の情報を使用して前記物体までの前記距離を算出するステップと、
を含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記第1の複数の投影ビームのうち複数のビームは、前記レンズの中心を通過する軸から径方向外側に延びる線に対して前記第1の角度だけずれている、
ことを特徴とする方法。 - 請求項1に記載の方法において、
第2の複数の投影ビームは、前記第1の複数の投影ビームと同時に、前記複数の投影点のうち第2の投影点から投影され、
前記第2の複数の前記複数の投影ビームの第1のビームは、前記レンズの中心を通過する軸から径方向外側に延びる線に対して第2の角度だけずれており、
前記第2の角度は、前記第1の角度よりも大きい、
ことを特徴とする方法。 - 請求項3に記載の方法において、
前記投影するステップは、前記複数の投影点に対して前記画像取り込みデバイスを傾斜させるステップを含む、
ことを特徴とする方法。 - 請求項3に記載の方法において、
前記投影するステップは、前記レンズの中心から異なる半径距離だけ前記複数の投影点を離間させるステップを含む、
ことを特徴とする方法。 - 請求項1に記載の方法において、
前記第1の複数の投影ビームのうち前記第1のビームは、前記複数の投影点のうち第2の投影点によって投影される第2の複数の投影ビームの第2のビームに平行に向けられている、
ことを特徴とする方法。 - 請求項1に記載の方法において、
前記第1の角度は20度である、
ことを特徴とする方法。 - 請求項1に記載の方法において、
前記第1の角度は45度である、
ことを特徴とする方法。 - 請求項1に記載の方法において、
前記第1の角度は70度である、
ことを特徴とする方法。 - 請求項1に記載の方法において、
前記投影パターンは、前記視野上に投影される個々の形状の可視パターンを含む、
ことを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562159286P | 2015-05-10 | 2015-05-10 | |
US62/159,286 | 2015-05-10 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017558716A Division JP6761817B2 (ja) | 2015-05-10 | 2016-05-09 | 物体までの距離を算出するための方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020148784A true JP2020148784A (ja) | 2020-09-17 |
Family
ID=57222485
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017558716A Active JP6761817B2 (ja) | 2015-05-10 | 2016-05-09 | 物体までの距離を算出するための方法 |
JP2017558523A Pending JP2018514780A (ja) | 2015-05-10 | 2016-05-09 | 距離センサ |
JP2020103696A Pending JP2020148784A (ja) | 2015-05-10 | 2020-06-16 | 物体までの距離を算出するための方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017558716A Active JP6761817B2 (ja) | 2015-05-10 | 2016-05-09 | 物体までの距離を算出するための方法 |
JP2017558523A Pending JP2018514780A (ja) | 2015-05-10 | 2016-05-09 | 距離センサ |
Country Status (8)
Country | Link |
---|---|
US (2) | US20160328854A1 (ja) |
EP (2) | EP3295119A4 (ja) |
JP (3) | JP6761817B2 (ja) |
KR (2) | KR20180006377A (ja) |
CN (2) | CN107896506A (ja) |
HK (2) | HK1252962A1 (ja) |
TW (2) | TWI687652B (ja) |
WO (2) | WO2016182985A1 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
US20140104413A1 (en) | 2012-10-16 | 2014-04-17 | Hand Held Products, Inc. | Integrated dimensioning and weighing system |
US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
JP6648147B2 (ja) | 2014-10-24 | 2020-02-14 | マジック アイ インコーポレイテッド | 距離センサ |
KR102369792B1 (ko) * | 2015-03-05 | 2022-03-03 | 한화테크윈 주식회사 | 촬영 장치 및 촬영 방법 |
US10488192B2 (en) | 2015-05-10 | 2019-11-26 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
EP3295119A4 (en) | 2015-05-10 | 2019-04-10 | Magik Eye Inc. | DISTANCE SENSOR |
US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
US10337860B2 (en) * | 2016-12-07 | 2019-07-02 | Magik Eye Inc. | Distance sensor including adjustable focus imaging sensor |
TWI758367B (zh) * | 2016-12-07 | 2022-03-21 | 美商麥吉克艾公司 | 投射平行圖案的距離感應器 |
US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
US10589860B2 (en) * | 2017-05-23 | 2020-03-17 | Gopro, Inc. | Spherical infrared emitter |
US10401872B2 (en) * | 2017-05-23 | 2019-09-03 | Gopro, Inc. | Method and system for collision avoidance |
WO2018230203A1 (ja) * | 2017-06-13 | 2018-12-20 | シャープ株式会社 | 撮像装置 |
US10733748B2 (en) * | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
US10440349B2 (en) * | 2017-09-27 | 2019-10-08 | Facebook Technologies, Llc | 3-D 360 degrees depth projector |
JP2020537242A (ja) | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | 複数の可動センサを含むセンサシステムの校正 |
KR20200054326A (ko) * | 2017-10-08 | 2020-05-19 | 매직 아이 인코포레이티드 | 경도 그리드 패턴을 사용한 거리 측정 |
US10679076B2 (en) | 2017-10-22 | 2020-06-09 | Magik Eye Inc. | Adjusting the projection system of a distance sensor to optimize a beam layout |
US11062468B2 (en) | 2018-03-20 | 2021-07-13 | Magik Eye Inc. | Distance measurement using projection patterns of varying densities |
CN112119628B (zh) | 2018-03-20 | 2022-06-03 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
US10593014B2 (en) * | 2018-03-26 | 2020-03-17 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method |
US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
EP3803266A4 (en) * | 2018-06-06 | 2022-03-09 | Magik Eye Inc. | DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS |
US11475584B2 (en) | 2018-08-07 | 2022-10-18 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
US11425359B2 (en) | 2018-08-23 | 2022-08-23 | Lg Electronics Inc. | Apparatus and method for generating three-dimensional image |
US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
CN109633675B (zh) * | 2019-01-25 | 2021-04-13 | 广州市慧建科技有限公司 | 一种激光发射装置 |
WO2020197813A1 (en) | 2019-03-25 | 2020-10-01 | Magik Eye Inc. | Distance measurement using high density projection patterns |
US11019249B2 (en) | 2019-05-12 | 2021-05-25 | Magik Eye Inc. | Mapping three-dimensional depth map data onto two-dimensional images |
US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
JP2023504157A (ja) | 2019-12-01 | 2023-02-01 | マジック アイ インコーポレイテッド | 飛行時間情報を用いた三角測量ベースの3次元距離測定の向上 |
WO2021138139A1 (en) | 2019-12-29 | 2021-07-08 | Magik Eye Inc. | Associating three-dimensional coordinates with two-dimensional feature points |
CN115151945A (zh) | 2020-01-05 | 2022-10-04 | 魔眼公司 | 将三维相机的坐标系转成二维相机的入射点 |
EP3910286B1 (en) * | 2020-05-12 | 2022-10-26 | Hexagon Technology Center GmbH | Improving structured light projection through the minimization of visual artifacts by way of deliberately introduced optical aberrations |
KR102313115B1 (ko) * | 2021-06-10 | 2021-10-18 | 도브텍 주식회사 | 인공지능 신경망을 이용한 자율비행 드론 |
US11979548B2 (en) * | 2022-04-08 | 2024-05-07 | Himax Technologies Limited | Structured light projector and three-dimensional image sensing apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012047500A (ja) * | 2010-08-24 | 2012-03-08 | Casio Comput Co Ltd | 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 |
JP2013513179A (ja) * | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | 距離に基づく検知 |
US20140125813A1 (en) * | 2012-11-08 | 2014-05-08 | David Holz | Object detection and tracking with variable-field illumination devices |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62287215A (ja) * | 1986-06-06 | 1987-12-14 | Olympus Optical Co Ltd | 内視鏡照明光学系装置 |
US4914460A (en) * | 1987-05-29 | 1990-04-03 | Harbor Branch Oceanographic Institution Inc. | Apparatus and methods of determining distance and orientation |
JP3141681B2 (ja) | 1994-04-27 | 2001-03-05 | キヤノン株式会社 | 防振機能を有した光学系 |
JPH08555A (ja) * | 1994-06-16 | 1996-01-09 | Fuji Photo Optical Co Ltd | 内視鏡の照明装置 |
US5980454A (en) * | 1997-12-01 | 1999-11-09 | Endonetics, Inc. | Endoscopic imaging system employing diffractive optical elements |
US7581681B2 (en) * | 1998-03-24 | 2009-09-01 | Metrologic Instruments, Inc. | Tunnel-type digital imaging system for use within retail shopping environments such as supermarkets |
JP2001161630A (ja) * | 1999-12-09 | 2001-06-19 | Olympus Optical Co Ltd | 内視鏡装置 |
US7940299B2 (en) | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
DE10308383A1 (de) * | 2003-02-27 | 2004-09-16 | Storz Endoskop Produktions Gmbh | Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts |
JP4644540B2 (ja) * | 2005-06-28 | 2011-03-02 | 富士通株式会社 | 撮像装置 |
US20070091174A1 (en) | 2005-09-30 | 2007-04-26 | Topcon Corporation | Projection device for three-dimensional measurement, and three-dimensional measurement system |
US20070156051A1 (en) * | 2005-12-29 | 2007-07-05 | Amit Pascal | Device and method for in-vivo illumination |
JP4760391B2 (ja) * | 2006-01-13 | 2011-08-31 | カシオ計算機株式会社 | 測距装置及び測距方法 |
JP4799216B2 (ja) | 2006-03-03 | 2011-10-26 | 富士通株式会社 | 距離測定機能を有する撮像装置 |
US8471892B2 (en) | 2006-11-23 | 2013-06-25 | Z. Jason Geng | Wide field-of-view reflector and method of designing and making same |
JP5242101B2 (ja) * | 2007-08-31 | 2013-07-24 | オリンパスメディカルシステムズ株式会社 | カプセル型内視鏡 |
US8282485B1 (en) | 2008-06-04 | 2012-10-09 | Zhang Evan Y W | Constant and shadowless light source |
WO2010006081A1 (en) * | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
US8334900B2 (en) * | 2008-07-21 | 2012-12-18 | The Hong Kong University Of Science And Technology | Apparatus and method of optical imaging for medical diagnosis |
JP5484098B2 (ja) | 2009-03-18 | 2014-05-07 | 三菱電機株式会社 | 投写光学系及び画像表示装置 |
JP4991787B2 (ja) * | 2009-04-24 | 2012-08-01 | パナソニック株式会社 | 反射型光電センサ |
US8320621B2 (en) * | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US20110188054A1 (en) * | 2010-02-02 | 2011-08-04 | Primesense Ltd | Integrated photonics module for optical projection |
CN103124514B (zh) * | 2010-08-24 | 2016-09-28 | 欧司朗有限公司 | 具有荧光单元的颜色可调光源单元 |
TWI428558B (zh) | 2010-11-10 | 2014-03-01 | Pixart Imaging Inc | 測距方法、測距系統與其處理軟體 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
US10054430B2 (en) | 2011-08-09 | 2018-08-21 | Apple Inc. | Overlapping pattern projector |
EP2743743B1 (en) * | 2011-08-12 | 2020-12-02 | Fujikura Ltd. | Optical fiber structure, illumination device, endoscope, and optical fiber structure manufacturing method |
JP2015513070A (ja) * | 2012-01-31 | 2015-04-30 | スリーエム イノベイティブ プロパティズ カンパニー | 表面の三次元構造を測定するための方法及び装置 |
WO2013129387A1 (ja) * | 2012-03-01 | 2013-09-06 | 日産自動車株式会社 | 距離計測装置及び距離計測方法 |
KR101630558B1 (ko) * | 2012-03-28 | 2016-06-14 | 후지쯔 가부시끼가이샤 | 촬상 장치 |
JP6250040B2 (ja) * | 2012-05-18 | 2017-12-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 魚眼レンズ・アナライザ |
EP2696590B1 (en) | 2012-08-06 | 2014-09-24 | Axis AB | Image sensor positioning apparatus and method |
US9741184B2 (en) * | 2012-10-14 | 2017-08-22 | Neonode Inc. | Door handle with optical proximity sensors |
CN110749951B (zh) | 2012-10-24 | 2022-12-30 | 视瑞尔技术公司 | 照明设备 |
US10466359B2 (en) * | 2013-01-01 | 2019-11-05 | Inuitive Ltd. | Method and system for light patterning and imaging |
US8768559B1 (en) | 2013-01-22 | 2014-07-01 | Qunomic Virtual Technology, LLC | Line projection system |
US9142019B2 (en) * | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US9364167B2 (en) * | 2013-03-15 | 2016-06-14 | Lx Medical Corporation | Tissue imaging and image guidance in luminal anatomic structures and body cavities |
US20140320605A1 (en) * | 2013-04-25 | 2014-10-30 | Philip Martin Johnson | Compound structured light projection system for 3-D surface profiling |
EP3092601A4 (en) * | 2014-01-06 | 2017-11-29 | Eyelock Llc | Methods and apparatus for repetitive iris recognition |
GB2522248A (en) * | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
JP6370177B2 (ja) | 2014-09-05 | 2018-08-08 | 株式会社Screenホールディングス | 検査装置および検査方法 |
US20160128553A1 (en) | 2014-11-07 | 2016-05-12 | Zheng Jason Geng | Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same |
JP6484072B2 (ja) | 2015-03-10 | 2019-03-13 | アルプスアルパイン株式会社 | 物体検出装置 |
EP3295119A4 (en) | 2015-05-10 | 2019-04-10 | Magik Eye Inc. | DISTANCE SENSOR |
-
2016
- 2016-05-09 EP EP16793303.5A patent/EP3295119A4/en not_active Withdrawn
- 2016-05-09 JP JP2017558716A patent/JP6761817B2/ja active Active
- 2016-05-09 KR KR1020177031914A patent/KR20180006377A/ko unknown
- 2016-05-09 TW TW105114319A patent/TWI687652B/zh active
- 2016-05-09 EP EP16793300.1A patent/EP3295118A4/en not_active Withdrawn
- 2016-05-09 CN CN201680027011.6A patent/CN107896506A/zh active Pending
- 2016-05-09 US US15/149,429 patent/US20160328854A1/en not_active Abandoned
- 2016-05-09 WO PCT/US2016/031424 patent/WO2016182985A1/en unknown
- 2016-05-09 WO PCT/US2016/031412 patent/WO2016182982A1/en unknown
- 2016-05-09 TW TW105114317A patent/TW201706563A/zh unknown
- 2016-05-09 KR KR1020177032040A patent/KR20180005659A/ko unknown
- 2016-05-09 CN CN201680026983.3A patent/CN107850420B/zh active Active
- 2016-05-09 US US15/149,323 patent/US10228243B2/en active Active
- 2016-05-09 JP JP2017558523A patent/JP2018514780A/ja active Pending
-
2018
- 2018-09-26 HK HK18112319.9A patent/HK1252962A1/zh unknown
- 2018-10-04 HK HK18112677.5A patent/HK1253380A1/zh unknown
-
2020
- 2020-06-16 JP JP2020103696A patent/JP2020148784A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013513179A (ja) * | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | 距離に基づく検知 |
JP2012047500A (ja) * | 2010-08-24 | 2012-03-08 | Casio Comput Co Ltd | 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法 |
US20140125813A1 (en) * | 2012-11-08 | 2014-05-08 | David Holz | Object detection and tracking with variable-field illumination devices |
Also Published As
Publication number | Publication date |
---|---|
US10228243B2 (en) | 2019-03-12 |
WO2016182982A1 (en) | 2016-11-17 |
US20160327385A1 (en) | 2016-11-10 |
TW201706564A (zh) | 2017-02-16 |
EP3295118A4 (en) | 2018-11-21 |
EP3295119A1 (en) | 2018-03-21 |
TWI687652B (zh) | 2020-03-11 |
CN107850420B (zh) | 2021-01-12 |
US20160328854A1 (en) | 2016-11-10 |
CN107896506A (zh) | 2018-04-10 |
KR20180006377A (ko) | 2018-01-17 |
JP2018514783A (ja) | 2018-06-07 |
EP3295119A4 (en) | 2019-04-10 |
JP2018514780A (ja) | 2018-06-07 |
TW201706563A (zh) | 2017-02-16 |
KR20180005659A (ko) | 2018-01-16 |
CN107850420A (zh) | 2018-03-27 |
HK1253380A1 (zh) | 2019-06-14 |
HK1252962A1 (zh) | 2019-06-06 |
JP6761817B2 (ja) | 2020-09-30 |
EP3295118A1 (en) | 2018-03-21 |
WO2016182985A1 (en) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6761817B2 (ja) | 物体までの距離を算出するための方法 | |
JP6876776B2 (ja) | 距離センサ | |
KR102543275B1 (ko) | 평행 패턴들을 투사하는 거리 센서 | |
US10488192B2 (en) | Distance sensor projecting parallel patterns | |
TWI758367B (zh) | 投射平行圖案的距離感應器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220201 |