JP2014526049A - 拡散構造光を用いてマシンビジョンを実施するシステム及び方法 - Google Patents

拡散構造光を用いてマシンビジョンを実施するシステム及び方法 Download PDF

Info

Publication number
JP2014526049A
JP2014526049A JP2014526187A JP2014526187A JP2014526049A JP 2014526049 A JP2014526049 A JP 2014526049A JP 2014526187 A JP2014526187 A JP 2014526187A JP 2014526187 A JP2014526187 A JP 2014526187A JP 2014526049 A JP2014526049 A JP 2014526049A
Authority
JP
Japan
Prior art keywords
light
diffuser
scene
pattern
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014526187A
Other languages
English (en)
Inventor
シュリー ケー ナヤル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Columbia University of New York
Original Assignee
Columbia University of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Columbia University of New York filed Critical Columbia University of New York
Publication of JP2014526049A publication Critical patent/JP2014526049A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

拡散構造光を用いてマシンビジョンを実施するシステムであって、拡散軸を有する線形拡散体と、線形拡散体を通してシーン上に照射パターンを投射する光源であって、照射パターンが、拡散軸と整合した並進の方向に並進対称性を有する該光源と、シーンから反射する光を検出し、検出された光に対応する信号を出力するイメージセンサと、を含むシステム。拡散構造光を用いてマシンビジョンを実施する方法であって、線形拡散体を通してシーン上に光源から照射パターンを投射することであって、線形拡散体は、拡散軸を有し、照射パターンは、拡散軸と整合した並進の方向に並進対称性を有することと、検出された光に対応する信号を出力するイメージセンサを用いて、シーンから反射する光を検出することと、を含む方法。
【選択図】 図2b

Description

[関連出願の相互参照]
本出願は、2011年8月15日に出願された米国仮特許出願第61/523,755号の利益を主張するものであり、本明細書にその全体を引用により援用する。
構造光ベースのビジョンシステムは、ロボットの組立工場の自動化や目視検査等の様々な目的に広く用いられている。そのような構造光ベースのビジョンシステムにおける照射方式は、表面欠陥の検出、反射成分の分離、材料特性の推定、三次元構造の再生等のために開発されてきた。そのような構造光ベースのビジョンシステムは、受動ビジョンシステムよりも好まれることが多いが、その理由は、構造光ベースのビジョンシステムは、通常、それらが再生し得る情報の観点において信頼度が高いためである。
構造光ベースのビジョンシステムは、通常、広範囲の形状や材料への対応が要求される。例えば、プリント回路基板の1つの画像には、拡散体の電子部品、光沢帯状片の銅コネクタ、鏡面状半田接合部、及び部品が互いに形成する影を含み得る。
図1は、そのようなシステムが直面する課題の例を示す。図示するように、2つの物体、球体102及び立方体104は、三角測量を用いて三次元情報を再生するために用いられるタイプの単一縞の光106によって照射し得る。球体102は、鏡面反射性が高く、立方体104は、反射が散乱性であると仮定する。立方体104の上面は、イメージセンサ108によって取り込まれる画像において連続した光の縞模様を生成しそれに沿う深さを計算し得るが、鏡面球体102は、深さを再生し得る点P110において単一の光輝部だけを生成する可能性がある。
鏡面性の問題は、位相ずれ等、輝度ベースの構造光法の場合、より一層厳しく、この場合、深さを推定するために、各点における厳密な輝度が必要である。この場合、点Pからの反射が明る過ぎて(飽和状態で)役に立たないことすらある。
図1は、更に、構造光ベースのビジョンシステムが直面する影の問題を示す。明らかに、点Q112は、球体102自体の影によって覆われる。点Q112は、イメージセンサ108の視点から遮られていないが、それは暗く、従って、その深さは、計算できない。同じ問題が、立方体104の右面114に生じ、この面は、イメージセンサから完全に見えるが、平行光のいずれも受光しない。
従って、従来の構造光ベースのビジョンシステムでは影になったシーンにおける鏡面反射及び/又は鏡面領域をより良く処理できる改善された構造光ベースのビジョンシステムを提供することが望ましい。
拡散構造光を用いてマシンビジョンを実施するシステム及び方法を提供する。幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施するシステムを提供する。本システムは、拡散軸を有する線形拡散体と、線形拡散体を通してシーン上に照射パターンを投射する光源であって、照射パターンは、拡散軸と整合した並進の方向に並進対称性を有する該光源と、シーンから反射する光を検出し、検出された光に対応する信号を出力するイメージセンサと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施するシステムを提供する。本システムは、実質的に光の二次元シート単位で光を通過させるマイクロ・ルーバ・フィルタと、マイクロ・ルーバ・フィルタを通してシーン上に照射パターンを投射する光源であって、該照射パターンは、実質的に二次元シートの軸と整合した並進の方向に並進対称性を有する該光源と、シーンから反射する光を検出し、検出された光に対応する信号を出力するイメージセンサと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施するシステムを提供する。本システムは、拡散の断面を有する円柱状拡散体と、円柱状拡散体を通してシーン上に照射パターンを投射する光源であって、該照射パターンは、拡散の断面と整合した並進の方向に並進対称性を有する該光源と、シーンから反射する光を検出し、検出された光に対応する信号を出力するイメージセンサと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施するシステムを提供する。本システムは、放射状の拡散を有する放射状拡散体と、放射状拡散体を通してシーン上に照射パターンを投射する光源であって、該照射パターンは、放射状の拡散と整合した放射状の対称性を有する該光源と、シーンから反射する光を検出し、検出された光に対応する信号を出力するイメージセンサと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施する方法を提供する。本方法は、光源から線形拡散体を通してシーン上に照射パターンを投射することであって、該線形拡散体は、拡散軸を有し、該照射パターンは、拡散軸と整合した並進の方向に並進対称性を有することと、イメージセンサを用いて、シーンから反射する光を検出することであって、該イメージセンサは、検出された光に対応する信号を出力することと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施する方法を提供する。本方法は、光源からマイクロ・ルーバ・フィルタを通してシーン上に照射パターンを投射することであって、該マイクロ・ルーバ・フィルタは、光を実質的に光の二次元シート単位で通過させ、該照射パターンは、実質的に二次元シートの軸と整合した並進の方向に並進対称性を有することと、イメージセンサを用いてシーンから反射する光を検出することであって、該イメージセンサは、検出された光に対応する信号を出力することと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施する方法を提供する。本方法は、光源から円柱状拡散体を通してシーン上に照射パターンを投射することであって、該円柱状拡散体は、拡散の断面を有し、該照射パターンは、拡散の断面と整合した並進の方向に並進対称性を有することと、イメージセンサを用いて、シーンから反射する光を検出することであって、該イメージセンサは、検出された光に対応する信号を出力することと、を含む。
幾つかの実施形態に基づき、拡散構造光を用いてマシンビジョンを実施する方法を提供する。本方法は、光源から放射状拡散体を通してシーン上に照射パターンを投射することであって、該放射状拡散体は、放射状の拡散を有し、該照射パターンは、放射状の拡散と整合した放射状の対称性を有することと、イメージセンサを用いて、シーンから反射する光を検出することであって、該イメージセンサは、検出された光に対応する信号を出力することと、を含む。
従来技術による構造光ベースのビジョンシステムによって照射される2つの物体を示す図。 図2a及び2bは幾つかの実施形態に基づき、線形拡散体を含む構造光ベースのビジョンシステムを示す図。 幾つかの実施形態に基づき、シーン点を照射する拡散体上の異なる点から拡散された光を示す図。 従来技術によるシーン点を照射する平行光シートを示す図。 幾つかの実施形態に基づき、シーン点を照射する拡散体からの拡散光の角度を示す図。 図5(a)、図5(b)、図5(c)は幾つかの実施形態に基づき、点によってイメージセンサに反射される拡散体帯状光の部分を示す図。 幾つかの実施形態に従う構造光ベースのビジョンシステムにおける1つ又は複数の偏光子の使用状態を示す図。 幾つかの実施形態に基づき物体の影領域を照射する拡散光を示す図。 幾つかの実施形態に基づき、シーン点を照射する拡散体の異なる部位からの拡散光を示す図。 従来技術により球体を照射する光パターンを示す図。 幾つかの実施形態に基づき、拡散光を用いて球体を照射する光パターンを示す図。 図9(a)乃至図9(h)は、幾つかの実施形態に基づき使用できる光パターンの例を示す図。 幾つかの実施形態に基づき、拡散体が有る状態と無い状態でシーン点を照射する投影機からの光円錐を示す図。 幾つかの実施形態に基づき、構造光ベースのビジョンシステムにおける光源及びイメージセンサに接続されたコンピュータを示す図。 幾つかの実施形態に基づき、円柱状拡散体によって拡散される照射パターンを示す図。 幾つかの実施形態に基づき、放射状拡散体によって拡散される放射状の対称性を備えた照射パターンを示す図。 幾つかの実施形態に基づき、溝付き反射板(又は線形散乱体)を用いて生成された光照射野を示す図。
拡散構造光を用いてマシンビジョンを実施するシステム及び方法を提供する。
幾つかの実施形態に基づき、鏡面性及び影は、マシンビジョンシステムでは、二次元の内の1つに沿って拡散する二次元の光パターンを用いることによって低減することができる。そのような照射パターンを実現する1つの方法は、図2(a)に示すように、光拡散体202を投射照射の経路に置くことによる。幾つかの実施形態において、拡散体は、実質的にその2つの空間次元(例えば、次元X206及び次元Y208)の内の1つの次元(例えば、次元X206)のみに沿う入射光を散乱するという点において、線形であってよい。図2aに示すように、拡散体202の上面に入射する単一の光線204は、拡散体202の下面から出現する一次元の扇状光線210に変換できる。扇210の形状は、拡散体202の散乱関数D(θ)によって決定されるが、用途のニーズに基づき選択し得る。幾つかの実施形態において、散乱関数は、広く均一であってよい。幾つかの実施形態において、拡散体202は、ランダムな表面プロファイルを備えた屈折要素として実施し得る。これらの表面は、サンドブラストやホログラフィ露光等のランダムな物理的処理を用いて生成したり、リソグラフィ又は直接書き込み法を用いて計画的に生成したりすることができる。
図2bにおいて、幾つかの実施形態に従う線形拡散体202に入射する平行光線212の面を示す。一次元の光線212の組は、拡散体によって二次元の照射場214に変換される。拡散体は線形であることから、理想的には、照射光線は、幾つかの実施形態に基づき、入射面に閉じ込められたままの状態を保つことができる。この照射場は一組の同時に発生する平行光の面と見なし得る。
当業者には明らかなように、所期の次元に光を拡散するように意図した線形拡散体は、実際には、所期の次元以外の予期しない次元に幾らかの光(通常、少量)を拡散させる。そのような予期しない拡散は、例えば、拡散体の作製時の制限により起こることがある。本明細書に用いる用語「線形拡散体」は、一次元のみに完璧に拡散させる拡散体、並びに1つ又は複数の他の次元にもわずかに散乱しつつ、実質的に一次元のみに拡散する拡散体を網羅するように意図していることを理解されたい。
拡散照射の効果を図3に示す。図1の点P110は、単一の光線を受光するが、図3の点P310は、拡散体202からの扇状の光線302を受光し、理想的には、扇中の全光線は、拡散体に入射する光線212の面上にある。図示するように、シーンにおける(点P310のような)各点は、点光源(例えば、平行光線の内の単一の光線)よりもむしろ(例えば、拡散体の長さ方向(図示するように、水平方向)に)拡張された光源によって照射することができる。
図4(a)に示すように、従来の構造光ベースのビジョンシステムの場合、点P410は、鉛直軸
Figure 2014526049

(以下、Z)414と整合した薄いシート411の平行光線412によって照射することができる。照射の強度は、E、即ち、その面法線がZと整合している場合に点が受ける放射照度によって表すことができる。点Pにおける法線が、
Figure 2014526049

416である場合、その放射照度は、以下の通りである。
Figure 2014526049
図4(b)に示すように、幾つかの実施形態に基づき、散乱関数D(θ)を備えた線形拡散体402は、拡散418の方向が、シート411に平行であるように、平行光シート411に直交して配置することができる。散乱関数D(θ)が広い場合(例えば、半円全体)、点P410は、幾つかの実施形態において、拡散体402の全長420に渡る帯状体422から受光し得る。上述したように、シーンに入射する照射は、幾つかの実施形態において、シーンへの入射角度が異なる無限枚の平行シート424で構成することができる。点P410の場合、平行シート424は、入射角度がαからαの範囲であってよい。
入射角度がαとα+dαとの間にある一組のシート424による点P410の放射照度は、以下のように表すことができる。
Figure 2014526049

点P410の双方向反射率分布関数(BRDF)を
Figure 2014526049

とする。ここで、
Figure 2014526049

426は、シーンの観察に用いるイメージセンサの位置によって決定される視野方向である。そして、αとα+dαとの間にある上記範囲の平行シートによるイメージセンサ408によって測定される点P410の放射輝度は、以下の通りである。
Figure 2014526049

拡散体402上の全照射帯状体422による点P410の総放射輝度は、入射角度の全範囲αからαにおいて積分することによって、以下のように求めることができる。
Figure 2014526049

積分は、BRDF、点P410の位置、及び点P410の法線だけに依存することから、一定である。基づき、Lは、以下のように表し得る。

=E0
次に、例えば、図9に示すパターン等の拡散体上に投射し得る二次元の照射パターンについて考える。パターンが並進対称性を有し、対称軸が拡散方向と整合し、また、点P410直上の帯状拡散体402に入射する照射シートの輝度がEである場合、点Pの放射輝度は、変わらない。
当業者には明らかなように、照射パターンと拡散体との間のアライメントは、厳密でないことがある。本明細書に用いる用語「整合(された状態)」は、完全なアライメントを網羅すると同時に、完全ではないが、与えられた実施例に適する実質的なアライメントを網羅することを理解されたい。
多数の照射パターンを用いる時、(点P410等の)各シーン点において一組の放射輝度測定値を得るが、この場合、各測定値は、拡散体が無ければその点が受光するであろう照射の輝度に比例する。従って、i番目のパターンによる点P410の輝度は、以下のように表すことができる。
Figure 2014526049

係数Kは、シーン点のBRDFに依存するが、拡散点の輝度を維持しつつ、鏡面点の輝度の低減を可能にする。また、Kは、(拡散無しの)平行照射の場合影になる点の照射を可能にする。
図5(a)において、シーン点P510が拡散性(例えば、完全拡散面)であれば、イメージセンサ508が測定するその放射輝度は、任意の方向から受光した光の影響を受けることがある。従って、その照射受光円錐体は、図5(a)に示すように、その法線516と整合した半球体全体528であってよい。従来の構造光システムの場合、シーン点Pは、その鉛直軸に平行な単一の平行光を受光する。線形拡散照射の場合、シーン点P510は、その点から見える拡散体502上の帯状体522上の全ての点から照射を受光できる。
一見したところ、このことは、点P510は拡散照射時の方が明るいという結論に至るように思われる。しかしながら、拡散体に入射する各光線のエネルギは、拡散体によって面内のあらゆる方向に散乱されることから、シーン点は、単一の方向からの強い照射の代わりに、ある範囲の方向からのまとまった弱い照射を受光する。拡散体の散乱関数の幅を慎重に選択すると、全ての拡散点は、平行照射及び拡散照射時にほぼ同じ輝度を生成することができる。
しかしながら、鏡面反射の場合、状況は異なる。図5(b)において、点P510が鏡面状であり、その真上にある帯状光の無限小の部位からの光を反射するように向きを定めると、この部位による点P510の放射照度は、拡散体がない場合のその放射照度より大幅に小さい。
この効果は、図5(c)に示すような粗い鏡面の場合にも分かる。図5(c)のイメージセンサ508によって測定される放射輝度に寄与する照射方向は、点P510における表面の粗さに依存する。図5(c)の点P510の照射受光円錐体は、図5(a)の拡散点P510の半球体より狭く、また、図5(b)の鏡面状点P510のデルタ関数より広い。
鏡面が滑らかになるにつれて、その反射は、従来の構造光の場合、明るくなる。拡散照射の場合、滑らかになるにつれて、帯状光の断面(ここから受光する)のサイズも小さくなる。滑らかさの増大による輝度の増加は、受光する拡散照射の減少による輝度の減少によって相殺される。
その結果、拡散構造光は、シーンの拡散点の輝度を保持しつつ、鏡面点の輝度を低減するように機能する。
幾つかの実施形態において、鏡面反射は、偏光照射を用いることによって及び/又は図6に示すように検出することによって低減することができる。例えば、入射光は、照射の経路632において偏光フィルタ630を用いることによって、線形に偏光することができる。拡散反射はそうではないが、鏡面反射は入射光の偏光を保持する傾向があることから、鏡面性は、放射輝度の測定に用いるイメージセンサ608の正面に(偏光フィルタ630のそれに直交する偏光方向を備えた)偏光フィルタ634を用いることによって低減することができる。
幾つかの実施形態において、拡散照射は、図7(a)及び図7(b)に示す影の問題を軽減するために用いることができる。図7(a)の点Q740及びR742は、従来のシステムでは、影で覆われる可能性があるが、これらの点は、拡散照射システムでは、かなりの光を受光できる。図7(a)に示すように、双方の点Q740及びR742は、拡散体702上の帯状光の部位によって照射できる。拡散体702の拡散角度が大きい場合、2つの各点は、それから見える部分全体から光線を受光できる。実際、シーン点から見える帯状光の断面は、連続的である必要がない。図7(b)に示すように、一組のばらばらの部位であってよい。平行光シートが単一方向の照射に対応する一方で、線形拡散シートは、同一面上にある広い範囲の照射方向に対応する。その結果、拡散帯状光は、元の光投射方向から傾斜して離れているか又は遮られている表面上に光を投射できる。
図8(a)及び8bは、球体802の場合の陰影効果及びその緩和を示す。従来の場合、図8(a)に示すように、球体802の半分だけが、像844に帯状光を生成する。実際には、これらの帯状光は、通常、球体の上面で最も明るく、そして、球体の赤道側で輝度が低下する。対照的に、拡散の場合、図8(b)に示すように、球体802の下半分の大半も、像844に縞模様を生成する。更に、各縞模様の輝度は、もっと緩やかに減少し、球体の上面で最も明るく、下面で最も暗い。赤道上の点は、拡散体上の帯状光のかなりの部分から受光することが可能である。
上述したように、幾つかの実施形態において、並進対称性を備えた光パターンを用いることができる。幾つかの実施形態による光パターンの例を図9に示す。特に、例えば、図9(a)は、幾つかの実施形態においてシーンを走査して深さを推定するために用い得る単一縞の光を示す。そのようなシステムにおいて必要とされる走査時間を低減するために、それぞれ図9(b)、図9(c)、及び図9(d)に示すタイプの広範囲の2値化、ド・ブルイジン(De_Bruijin)、及びNのコードを幾つかの実施形態において用いることができる。これらのパターンは、深さ推定にも用い得る。更に、幾つかの実施形態において、それぞれ図9(e)、図9(f)、及び図9(g)に示すタイプの連続傾斜輝度関数パターン、三角輝度関数パターン、及び/又は正弦波輝度関数パターンを用いることによって、取り込む画像の数を低減することができる。これらの内、図9(g)の正弦波パターンは、位相ずれによって深さ推定に用いることができる。図9(h)は、幾つかの実施形態において用い得る高周波縞模様パターンを示す。このパターンのシフトバージョンは、各シーン点における(光源からの)直接反射と(他のシーン点からの)間接的反射成分を分離するために用いることができる。
幾つかの実施形態において、拡散体に入射する光線が平行になるよりもむしろ、光線は、(ピンホール投影機の場合のように)点から発散するか又は点に集束することがある。
幾つかの実施形態において、デジタル投影機は、光パターンの生成に用いることができる。パターンは、像面上に生成することができ、像面上の各点からの光線は、有限の開口を備えたレンズを用いて、シーン上に投射することができる。
図10は、投影機の像面からシーン上への2つの点の投影像1050及び1052を示す。投影像1052は、直接シーン上に投射され、投影像1050は、線形拡散体1002を通して投射される。シーン点1056は、投影機の像面の対応する点から投影機レンズの開口部が作る円錐体の投影像1052内にある全ての光線を受光する。理想的には、シーンの線分1058は、投影機の像面の対応する点から投影機レンズの開口部が作る円錐体の投影像1050から拡散される全ての光線を受光する。線分1058の長さは、拡散体1002の散乱関数の幅に依存する。光は、拡散の方向に沿って散乱されるが、依然として、直交方向に集光される。
無視できる高次の光学的影響を除外すると、投影像1050によって形成された像は、拡散体1002の拡散中心部によって回旋された拡散体1002無しで形成された像としてモデル化できる。このことは、投影機の視野の深さ内及び外にある点にも当てはまる。構造光ベースのビジョンシステムの場合、投射パターンが、I(x,y)であれば、シーン上に出現するパターンは、以下のように表すことができる。
Figure 2014526049

上式において、拡散体からのシーン点の深さdについて、H(x,y|d)は、デフォーカス中心部であり、D(x,y|d)は、拡散中心部である。線形拡散体の場合、(拡散の方向に沿う)拡散中心部の長さは、深さdと線形的関係にあるが、その幅は、ゼロ(又はほぼゼロ)であり、高さには依存しない。
幾つかの実施形態において、光照射野は、追加的に又は他の選択肢として、コンピュータディスプレイのすぐそばにマイクロ・ルーバ・フィルタを置くことによって生成することができる。マイクロ・ルーバ・フィルタが、充分に大きなアスペクト比を有し(例えば、その壁の深さが壁間の距離より極めて大きく)、また、広散乱ディスプレイ(CRT、LED、LCD、プラズマ等)のすぐそばに置かれた場合、拡散は、単一の次元に限定することができる。幾つかの実施形態において、光照射野は、追加的に又は他の選択肢として、照射パターンとレンチキュラーアレイの並進対称性の軸とを互いに整合した状態で、広散乱ディスプレイにレンチキュラーレンズアレイを取り付けることによって生成できる。幾つかの実施形態において、光照射野は、例えば、図14に示す溝付き反射板(又は線形散乱体)を用いて生成できる。
本明細書に用いる用語「光」は、一般的な意味で用いる。線形拡散照射の考え方は、可視スペクトル外にあるものを含む、あらゆる形態の電磁放射線に適用可能である。
拡散体は、本明細書では、平面状であるものとして説明したが、幾つかの実施形態において、拡散体は、任意の他の形状を有してよい。例えば、幾つかの実施形態では、図12の例1200に示すように、拡散体1202は、円柱状であってよく、また、照射光1204は、拡散体円柱を通して円柱内にあるシーン上に投射してもよく、シーンの像は、円柱内から又は円柱の開放端からイメージセンサ1206によって取り込んでよい。図示するように、円柱状拡散体は、拡散体の円柱状の断面において照射パターンを拡散させることができる。
他の例として、幾つかの実施形態では、図13の例1300に示すように、拡散体1302は、放射状拡散体であってよく、また、放射状拡散体と整合した放射状の対称性を備えた照射パターン1304は、拡散体を通してシーン上に光を投射することができる。そして、シーンの像は、イメージセンサ1036によって取り込むことができる。
幾つかの実施形態に基づき、図11に示すように、任意の適切なコンピュータ処理装置(1つ又は複数)1102を、本明細書に述べたように線形拡散光1104の光源によって提供された光パターン(例えば、図9に示すようなもの)を制御するために、本明細書に述べたイメージセンサ1108によって検出された画像及び/又は映像を処理するために、及び又はいずれか他の適切な機能を実施するために、提供することができる。特に、例えば、あらゆるそのようなコンピュータ処理装置(1つ又は複数)は、各々、コンピュータ等の任意の汎用装置又はクライアントやサーバ等の専用装置であってよい。これら全ての汎用又は専用装置には、任意の適切な構成要素を含み得るが、例えば、ハードウェアプロセッサ(マイクロプロセッサ、デジタル信号プロセッサ、コントローラ等であってよい)、メモリ、通信インターフェイス、ディスプレイコントローラ、入力装置等を含んでよい。
幾つかの実施形態において、任意の適切なコンピュータ判読可能媒体を用いて、本明細書に述べた処理を実施する命令を記憶することができる。例えば、幾つかの実施形態において、コンピュータ判読可能媒体は、一時的又は非一時的であってよい。例えば、非一時的のコンピュータ判読可能媒体としては、磁性媒体(例えば、ハードディスク、フロッピーディスク等)、光学媒体(例えば、コンパクトディスク、デジタル・ビデオ・ディスク、ブルーレイ・ディスク等)、半導体媒体(例えば、フラッシュメモリ、電気的にプログラム可能な読み出し専用メモリ(EPROM)、電気的に消去可能なプログラム可能読取り専用メモリ(EEPROM)等)、転送時、何らかの永続性の様相が一時的でない又は欠如していない任意の適切な媒体、及び/又は任意の適切な有形の媒体、等の媒体を挙げることができる。他の例として、一時的のコンピュータ判読可能媒体は、ネットワーク上に、回線に、配線に、光ファイバに、回路に、転送時、何らかの永続性の様相が一時的である又は欠如している任意の適切な媒体に、及び/又は任意の適切な無形の媒体に信号を含むことができる。
上記例示の実施形態において本発明について説明し図示したが、本開示は、一例としてのみなされたこと、また、本発明の実施例の細目における数多くの変更は、後続の請求項によってのみ制限される本発明の精神及び範囲から逸脱することなく行い得ることを理解されたい。開示した実施形態の特徴は、様々な方法で組み合わせや再構成が可能である。

Claims (26)

  1. 拡散構造光を用いてマシンビジョンを実施するシステムであって、
    拡散軸を有する線形拡散体と、
    前記線形拡散体を通してシーン上に照射パターンを投射する光源であって、前記照射パターンは、前記拡散軸と整合した並進の方向に並進対称性を有する前記光源と、
    前記シーンから反射する光を検出し、前記検出された光に対応する信号を出力するイメージセンサと、
    を含むシステム。
  2. 請求項1に記載のシステムであって、更に、前記出力信号を受信する前記イメージセンサに結合されたハードウェアプロセッサを含むシステム。
  3. 請求項1に記載のシステムであって、前記線形拡散体は屈折要素を含むシステム。
  4. 請求項1に記載のシステムであって、前記線形拡散体は反射要素を含むシステム。
  5. 請求項1に記載のシステムであって、前記線形拡散体はレンチキュラーレンズを含むシステム。
  6. 請求項1に記載のシステムであって、前記線形拡散体は平面状拡散体であるシステム。
  7. 請求項1に記載のシステムであって、前記線形拡散体は円柱状拡散体であるシステム。
  8. 請求項1に記載のシステムであって、前記線形拡散体は偏光子を含むシステム。
  9. 請求項1に記載のシステムであって、前記イメージセンサは偏光子を含むシステム。
  10. 請求項1に記載のシステムであって、前記照射パターンは、2値化光パターン、ド・ブルイジン(De_Bruijin)光パターン、N変数(N−ary)の光パターン、連続傾斜輝度関数パターン、三角輝度関数パターン、正弦波輝度関数パターン、及び高周波帯状パターンの内の少なくとも1つを含むシステム。
  11. 拡散構造光を用いてマシンビジョンを実施するシステムであって、
    実質的に二次元の光シートに光を通過させるマイクロ・ルーバ・フィルタと、
    前記マイクロ・ルーバ・フィルタを通してシーン上に照射パターンを投射する光源であって、前記照射パターンは、前記実質的に二次元シートの軸と整合した並進の方向に並進対称性を有する前記光源と、
    前記シーンから反射する光を検出し、前記検出された光に対応する信号を出力するイメージセンサと、
    を含むシステム。
  12. 拡散構造光を用いてマシンビジョンを実施するシステムであって、
    拡散の断面を有する円柱状拡散体と、
    前記円柱状拡散体を通してシーン上に照射パターンを投射する光源であって、前記照射パターンは、前記拡散の断面と整合した並進の方向に並進対称性を有する前記光源と、
    前記シーンから反射する光を検出し、前記検出された光に対応する信号を出力するイメージセンサと、
    を含むシステム。
  13. 拡散構造光を用いてマシンビジョンを実施するシステムであって、
    放射状の拡散を有する放射状拡散体と、
    前記放射状拡散体を通してシーン上に照射パターンを投射する光源であって、
    前記照射パターンは、前記放射状の拡散と整合した放射状の対称性を有する前記光源と、
    前記シーンから反射する光を検出し、前記検出された光に対応する信号を出力するイメージセンサと、
    を含むシステム。
  14. 拡散構造光を用いてマシンビジョンを実施する方法において、
    光源から線形拡散体を通してシーン上に照射パターンを投射することであって、前記線形拡散体は、拡散軸を有し、前記照射パターンは、前記拡散軸と整合した並進の方向に並進対称性を有することと、
    イメージセンサを用いて、前記シーンから反射する光を検出することであって、前記イメージセンサは、前記検出された光に対応する信号を出力することと、
    を含む方法。
  15. 請求項14に記載の方法であって、更に、前記イメージセンサに結合されたハードウェアプロセッサにおいて前記出力信号を受信することを含む方法。
  16. 請求項14に記載の方法であって、前記線形拡散体は屈折要素を含む方法。
  17. 請求項14に記載の方法であって、前記線形拡散体は反射要素を含む方法。
  18. 請求項14に記載の方法であって、前記線形拡散体はレンチキュラーレンズを含む方法。
  19. 請求項14に記載の方法であって、前記線形拡散体は平面状拡散体である方法。
  20. 請求項14に記載の方法であって、前記線形拡散体は円柱状拡散体である方法。
  21. 請求項14に記載の方法であって、前記線形拡散体は偏光子を含む方法。
  22. 請求項14に記載の方法であって、前記イメージセンサは偏光子を含む方法。
  23. 請求項14に記載の方法であって、前記照射パターンは、2値化光パターン、ド・ブルイジン(De Bruijin)光パターン、N変数(N−ary)の光パターン、連続傾斜輝度関数パターン、三角輝度関数パターン、正弦波輝度関数パターン、及び高周波帯状パターンの内の少なくとも1つを含む方法。
  24. 拡散構造光を用いてマシンビジョンを実施する方法であって、
    光源からマイクロ・ルーバ・フィルタを通してシーン上に照射パターンを投射することであって、前記マイクロ・ルーバ・フィルタは、光を実質的に二次元の光シートに通過させ、前記照射パターンは、前記実質的に二次元シートの軸と整合した並進の方向に並進対称性を有することと、
    イメージセンサを用いて前記シーンから反射する光を検出することであって、前記イメージセンサは、前記検出された光に対応する信号を出力することと、
    を含む方法。
  25. 拡散構造光を用いてマシンビジョンを実施する方法であって、
    光源から円柱状拡散体を通してシーン上に照射パターンを投射することであって、前記円柱状拡散体は、拡散の断面を有し、前記照射パターンは、前記拡散の断面と整合した並進の方向に並進対称性を有することと、
    イメージセンサを用いて、前記シーンから反射する光を検出することであって、前記イメージセンサは、前記検出された光に対応する信号を出力することと、
    を含む方法。
  26. 拡散構造光を用いてマシンビジョンを実施する方法であって、
    光源から前記放射状拡散体を通してシーン上に照射パターンを投射することであって、前記放射状拡散体は、放射状の拡散を有し、前記照射パターンは、前記放射状の拡散と整合した放射状の対称性を有することと、
    イメージセンサを用いて、前記シーンから反射する光を検出することであって、前記イメージセンサは、前記検出された光に対応する信号を出力することと、
    を含む方法。
JP2014526187A 2011-08-15 2012-08-15 拡散構造光を用いてマシンビジョンを実施するシステム及び方法 Pending JP2014526049A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161523755P 2011-08-15 2011-08-15
US61/523,755 2011-08-15
PCT/US2012/051004 WO2013025842A1 (en) 2011-08-15 2012-08-15 Systems and methods for performing machine vision using diffuse structured light

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017003201A Division JP2017096971A (ja) 2011-08-15 2017-01-12 拡散構造光を用いてマシンビジョンを実施するシステム及び方法

Publications (1)

Publication Number Publication Date
JP2014526049A true JP2014526049A (ja) 2014-10-02

Family

ID=47715464

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014526187A Pending JP2014526049A (ja) 2011-08-15 2012-08-15 拡散構造光を用いてマシンビジョンを実施するシステム及び方法
JP2017003201A Pending JP2017096971A (ja) 2011-08-15 2017-01-12 拡散構造光を用いてマシンビジョンを実施するシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017003201A Pending JP2017096971A (ja) 2011-08-15 2017-01-12 拡散構造光を用いてマシンビジョンを実施するシステム及び方法

Country Status (5)

Country Link
US (1) US9752869B2 (ja)
EP (1) EP2745073B1 (ja)
JP (2) JP2014526049A (ja)
CN (1) CN103857982A (ja)
WO (1) WO2013025842A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018091692A (ja) * 2016-12-01 2018-06-14 国立研究開発法人産業技術総合研究所 表面検査装置、表面検査方法、表面検査プログラムおよび記録媒体

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9383261B2 (en) 2014-06-13 2016-07-05 Ge Aviation Systems Llc Method of eliminating spurious signals and a relative navigation system
US10666848B2 (en) 2015-05-05 2020-05-26 Microsoft Technology Licensing, Llc Remote depth sensing via relayed depth from diffusion
DE102016111600B4 (de) * 2015-06-26 2021-12-30 Cognex Corporation Beleuchtungsanordnung
JP6677060B2 (ja) * 2016-04-21 2020-04-08 アイシン精機株式会社 検査装置、記憶媒体、及びプログラム
WO2018017897A1 (en) * 2016-07-20 2018-01-25 Mura Inc. Systems and methods for 3d surface measurements
EP3507570A1 (en) * 2016-09-01 2019-07-10 Hexagon Metrology, Inc Conformance test artifact for coordinate measuring machine
US10692232B2 (en) * 2016-12-30 2020-06-23 Canon Kabushiki Kaisha Shape reconstruction of specular and/or diffuse objects using multiple layers of movable sheets
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
US10527557B2 (en) 2017-12-29 2020-01-07 Radiant Vision Systems, LLC Adaptive diffuse illumination systems and methods
DE102019000272B4 (de) 2018-01-19 2023-11-16 Cognex Corporation System zum bilden einer homogenisierten beleuchtungslinie, die als eine linie mit geringem speckle bildlich erfasst werden kann
US10739607B2 (en) 2018-03-22 2020-08-11 Industrial Technology Research Institute Light source module, sensing device and method for generating superposition structured patterns
CN111183351A (zh) * 2018-09-11 2020-05-19 合刃科技(深圳)有限公司 图像传感器表面缺陷检测方法及检测系统
CN109559641A (zh) * 2018-12-17 2019-04-02 昆明理工大学 一种道路维护安全警示装置
CN109856146A (zh) * 2018-12-25 2019-06-07 深圳市智能机器人研究院 一种动态的表面缺陷光学检测系统及方法
CN110146036B (zh) * 2019-06-05 2021-12-07 深度计算(长沙)信息技术有限公司 一种基于光栅投影和双目偏振相机的三维测量方法与系统
CN114371168B (zh) * 2021-12-31 2023-10-13 大连理工大学 一种基于反射照度计算的机器视觉照明设计方法
FI130408B (en) * 2022-01-18 2023-08-17 Helmee Imaging Oy ARRANGEMENT AND CORRESPONDING METHOD FOR OPTICAL MEASUREMENTS

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000346811A (ja) * 1999-06-07 2000-12-15 Nkk Corp 表面検査装置
JP2006065039A (ja) * 2004-08-27 2006-03-09 Olympus Corp 画像表示装置におけるキャリブレーションシステムおよび画像表示用スクリーン装置
JP2011145180A (ja) * 2010-01-15 2011-07-28 Nidec Tosok Corp 三次元計測装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5102227A (en) 1989-12-01 1992-04-07 Dolan-Jenner Lighting and detection system
USRE37752E1 (en) 1992-10-29 2002-06-18 Equinox Corporation Polarization viewer
US5461417A (en) 1993-02-16 1995-10-24 Northeast Robotics, Inc. Continuous diffuse illumination method and apparatus
US5761540A (en) * 1994-10-31 1998-06-02 Northeast Robotics, Inc. Illumination device with microlouver for illuminating an object with continuous diffuse light
US5604550A (en) 1994-10-31 1997-02-18 Northeast Robotics, Inc. Illumination device for indirectly illuminating an object with continuous diffuse light
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6512844B2 (en) * 1997-05-30 2003-01-28 California Institute Of Technology 3D rendering
JP2002214144A (ja) * 2001-01-15 2002-07-31 Nippon Steel Corp 疵検査用照明装置
US20070258085A1 (en) * 2006-05-02 2007-11-08 Robbins Michael D Substrate illumination and inspection system
CA2390781C (en) * 2002-06-14 2009-09-22 Institut National D'optique Line generator optical apparatus
JP3975280B2 (ja) * 2002-10-31 2007-09-12 日本精機株式会社 表示装置
US7267461B2 (en) * 2004-01-28 2007-09-11 Tir Systems, Ltd. Directly viewable luminaire
CN101084472B (zh) * 2004-08-31 2010-06-09 德塞拉北美公司 单块的偏振受控角漫射器及有关方法
US7168822B2 (en) * 2004-11-01 2007-01-30 The Regents Of The Univeristy Of Michigan Reconfigurable linescan illumination
JP4704846B2 (ja) * 2005-08-03 2011-06-22 昭和電工株式会社 表面検査方法および同装置
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
DE102006008840B4 (de) 2006-02-25 2009-05-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Beleuchtungsvorrichtung für zylindrische Objekte, damit durchgeführtes Oberflächenuntersuchungsverfahren und Computerprogrammprodukt
US20080062424A1 (en) * 2006-09-07 2008-03-13 Mark Richard Shires Compact Ringlight
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8115904B2 (en) 2008-05-30 2012-02-14 Corning Incorporated Illumination system for sizing focused spots of a patterning system for maskless lithography
US20110015735A1 (en) 2009-07-16 2011-01-20 Artimplant Ab Implant for soft tissue reconstruction
US9179106B2 (en) * 2009-12-28 2015-11-03 Canon Kabushiki Kaisha Measurement system, image correction method, and computer program
JP5693001B2 (ja) * 2009-12-28 2015-04-01 キヤノン株式会社 計測システム、画像補正方法、及びコンピュータプログラム
JP2011137697A (ja) * 2009-12-28 2011-07-14 Canon Inc 照明装置及び該照明装置を用いた計測システム
KR20120116003A (ko) 2010-01-22 2012-10-19 더 트러스티이스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 광 확산기를 이용하여 이미지를 레코딩하는 시스템, 방법 및 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000346811A (ja) * 1999-06-07 2000-12-15 Nkk Corp 表面検査装置
JP2006065039A (ja) * 2004-08-27 2006-03-09 Olympus Corp 画像表示装置におけるキャリブレーションシステムおよび画像表示用スクリーン装置
JP2011145180A (ja) * 2010-01-15 2011-07-28 Nidec Tosok Corp 三次元計測装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018091692A (ja) * 2016-12-01 2018-06-14 国立研究開発法人産業技術総合研究所 表面検査装置、表面検査方法、表面検査プログラムおよび記録媒体

Also Published As

Publication number Publication date
US9752869B2 (en) 2017-09-05
US20150160002A1 (en) 2015-06-11
WO2013025842A1 (en) 2013-02-21
JP2017096971A (ja) 2017-06-01
CN103857982A (zh) 2014-06-11
EP2745073B1 (en) 2019-05-08
EP2745073A4 (en) 2015-04-22
EP2745073A1 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
JP2017096971A (ja) 拡散構造光を用いてマシンビジョンを実施するシステム及び方法
JP6568672B2 (ja) ビジョンシステムで鏡面上の欠陥を検出するためのシステム及び方法
Nayar et al. Diffuse structured light
JP3855756B2 (ja) 3次元色形状検出装置及び3次元スキャナー
Bimber et al. Multifocal projection: A multiprojector technique for increasing focal depth
US20090080036A1 (en) Scanner system and method for scanning
TWI490445B (zh) 用於估計一物件之一三維表面形狀之方法、裝置及機器可讀非暫時性儲存媒體
CN101243313A (zh) 用于散射仪的双光束设置
KR20100090281A (ko) 반사 특성을 가진 물체의 밀리미터 또는 밀리미터 이하의 상세 구조를 관측하기 위한 광학 장치
JP6542906B2 (ja) 少なくとも部分的に透明な物体の表面に関連する表面データおよび/または測定データを決定するための方法および装置
Holroyd et al. An analysis of using high-frequency sinusoidal illumination to measure the 3D shape of translucent objects
TWI605246B (zh) 檢查裝置
JP2012189479A (ja) 形状計測装置
US10107747B2 (en) Method, system and computer program for determining a reflectance distribution function of an object
JP5441752B2 (ja) 環境内の3d物体の3d姿勢を推定する方法及び装置
US9885561B2 (en) Optical inspection system
JP2009097941A (ja) 形状測定装置および表面状態測定装置
Munaro et al. Efficient completeness inspection using real-time 3D color reconstruction with a dual-laser triangulation system
WO2019117802A1 (en) A system for obtaining 3d images of objects and a process thereof
US20140340507A1 (en) Method of measuring narrow recessed features using machine vision
KR101846949B1 (ko) 다중 광학계를 이용한 복합 검사장치
JP2009097940A (ja) 形状測定装置
Rushmeier et al. Experiments with a low-cost system for computer graphics material model acquisition
Lucat et al. Diffraction removal in an image-based BRDF measurement setup
Jin et al. Shadow-Based Lightsource Localization with Direct Camera-Lightsource Geometry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150807

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160617

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170627