JP2009288235A - 物体の姿勢を求める方法及び装置 - Google Patents

物体の姿勢を求める方法及び装置 Download PDF

Info

Publication number
JP2009288235A
JP2009288235A JP2009018171A JP2009018171A JP2009288235A JP 2009288235 A JP2009288235 A JP 2009288235A JP 2009018171 A JP2009018171 A JP 2009018171A JP 2009018171 A JP2009018171 A JP 2009018171A JP 2009288235 A JP2009288235 A JP 2009288235A
Authority
JP
Japan
Prior art keywords
silhouette
coordinates
determining
camera
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009018171A
Other languages
English (en)
Other versions
JP5570126B2 (ja
Inventor
Paul A Beardsley
ポール・エイ・ベアズリィー
Moritz Baecher
モーリッツ・ベヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2009288235A publication Critical patent/JP2009288235A/ja
Application granted granted Critical
Publication of JP5570126B2 publication Critical patent/JP5570126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Abstract

【課題】半鏡面反射性物体の姿勢を求める方法及び装置の提供。
【解決手段】カメラは、半鏡面反射性物体の一組の符号化画像及び一組のフラッシュ画像を取得する。符号化画像は、レーザービームパターンで物体を走査しながら取得され、フラッシュ画像は、カメラに近い異なる場所にある一組の光源で物体を照らしながら各光源につき1枚ずつ取得される。一組の符号化画像から物体の表面上の点の3D座標が求められ、一組のフラッシュ画像に落ちた影から物体の2Dシルエットが求められる。一組のフラッシュ画像の照度差ステレオから3Dの点の面法線が得られる。3D座標、2Dシルエット及び面法線を物体の既知の3Dモデルと比較して、物体の姿勢を求める。
【選択図】図1

Description

本発明は、包括的にはコンピュータビジョンに関し、特に、半鏡面反射性物体の姿勢の確定に関する。
3Dデータを取得するセンサは多くの用途に有用である。例えば、工場の自動化された「ビンピッキング」のためのシステムは、複数の場合の同一物体を収容するビンの3Dデータを取得し、この3Dデータをその物体の既知の3Dモデルと比較することにより、ビン内の物体の姿勢を求めることができる。次に、物体の中から選択したものを取り出すようにロボットアームを誘導することができる。物体の姿勢とは3Dの場所と、その場所における3Dの向きである。3Dデータを検知する一組のビジョンベースの技法は、物体が非鏡面反射面、例えばつや消し面を有するものと仮定する。
別種のセンサは、物体のシルエットを求め、このシルエットをその物体の既知の3Dモデルと比較することにより、姿勢を求める。シルエットを求める一組の技法は、物体が照らされると影を落とすものと仮定する。
非鏡面反射面
非鏡面反射面に関して3Dデータを検知するビジョンベースの技法として、構造光、飛行時間レーザースキャナ、ステレオカメラ、移動カメラ、照度差ステレオ、陰影による形状、及びデプスフロム(デ)フォーカスがある。
これらの技法は全て、表面に入射する光が拡散反射され、よって反射光が、その表面に対して見通し線を有するいずれのセンサにおいても可視であるものと仮定するか、又は可視特徴が実際に、計測可能な3Dの物理的な場所を有する物体表面の物理的な特徴であり、反射特徴ではないものと仮定する。これらの技法は、表面の拡散反射性が低くなり鏡面反射性が高くなるにつれて、上記の仮定が当てはまらなくなるために低下する。
鏡面反射面
鏡面反射面の3Dの姿勢及び形状を検知するビジョンベースの技法は、鏡面反射面により反射される特徴が周囲の情景内にあるものと仮定する。これらの特徴は、疎らな、例えば情景内の点光源から生じる鏡面ハイライトである場合がある。特徴が疎らである場合、検知される表面の3D形状も疎らとなる。これは、多くの用途に望ましくない。例えば、検知される特徴が疎らである場合、物体の確実な姿勢を求めることは難しい。この問題は、カメラ又は識別性のある特徴を表面に対して移動させることにより改善することができるが、システムの複雑度が増し、時間がかかる。
半鏡面反射面
当該技術分野において、表面が入射光の一部を鏡面反射し、その光の一部を拡散反射するブラッシュメタルのような半鏡面反射面を有する物体に対するビジョンベースのセンサはわずかしか知られていない。これは、拡散反射を用いることにより3Dデータを検知する技法は半鏡面反射面から受け取る信号が少なく、信頼性が低いためである。落ちる影を用いて物体のシルエットを求める技法もまた、例えば半鏡面反射性物体のビンに見られるように、半鏡面反射性の背景に落ちる影は薄いため信頼性が低い。鏡面反射性物体に有効な技法は、はっきりした反射特徴が見えないため適用することができない。
したがって、平面及び曲面の半鏡面反射面等の様々な面形状に対して良好に機能する、半鏡面反射性物体の姿勢を求める方法及びシステムが必要とされている。
本発明は、レーザースキャナ及びマルチフラッシュカメラ(カメラ)を備える複合センサを用いて半鏡面反射性物体の姿勢を求める方法を提供する。これらのスキャナ及びカメラは補完的な機能を有する。
レーザー走査は、物体表面の前額平行部分の高品質の3D座標データを取得する。品質は表面がスキャナに対して傾斜するほど低下するため、レーザー走査では物体の遮蔽輪郭のデータを取得することができない。
対照的に、カメラは、シルエットを求めるために用いることができる、物体の落とす影を示す2Dフラッシュ画像を取得することができるが、物体表面の他の箇所のデータは取得しない。
これらの方法はいずれも、拡散反射面に対して最も良く機能する。これらはいずれも、物体の鏡面反射性が高くなるほど低下する。レーザースキャナの場合、反射されるレーザーパターンは、物体の鏡面反射性が高くなるほど弱く検出し難くなり、初めは表面のほとんどの傾斜部分で失敗し、その後、表面のより多くの部分をカバーしていく。カメラの場合、フラッシュ画像に落ちた影を識別する能力は、影が落ちている背景物体の鏡面反射性が高くなるほど低下する。
したがって、スキャナ及びカメラは共に、半鏡面反射性物体に関して、拡散反射面を有する物体よりも低品質の情報を生成する。しかし、本方法は、3Dデータ及び2Dシルエット情報を結合するため、個別に取得される情報は低品質であっても、これらの情報を一緒に取り込めば、半鏡面反射性物体の正確な姿勢を取得することが可能である。
より詳細には、カメラは、物体の一組の符号化画像及び一組のフラッシュ画像を取得する。符号化画像は、レーザービームパターンで物体を走査しながら取得され、フラッシュ画像は、カメラに近い異なる場所にある一組の光源で物体を照らしながら各光源につき1枚ずつ取得される。一組の符号化画像から物体の表面上の点の3D座標が求められ、一組のフラッシュ画像に落ちた影から物体の2Dシルエットが求められる。フラッシュ画像に照度差ステレオを用いて面法線が得られる。3D座標、2Dシルエット及び面法線を用いて、物体の姿勢を求める。
複合センサシステム及びその方法は、半鏡面反射性物体の姿勢を求める。本方法は、レーザー走査からのデータ及びマルチフラッシュ画像からのデータを結合する。本方法は、鏡面反射性物体を走査する際の相互反射の処理を扱う。
本発明の一実施の形態による、鏡面反射面を含む物体の3D姿勢を求めるシステム及び方法のブロック図である。 本発明の一実施の形態による、表面に対するカメラ及び光源の概略図である。 本発明の一実施の形態による、物体表面の遮蔽輪郭の画像である。
図1は、本発明の一実施の形態による、半鏡面反射面を含む物体130の3D姿勢101を求めるシステム及び方法100を示す。本明細書中で定義する3D姿勢とは、物体の3Dの場所及び3Dの向きを意味する。
本システムは、レーザースキャナ110及びカメラ120を含む複合センサを備える。レーザースキャナ110は、カメラ120により取得される一組の符号化画像126において3Dレンジデータを求めるために用いることができるパターン112でレーザービーム111を発する。このパターンには、物体表面の各点におけるパターンが一意となるようにグレイコードを用いることができる。したがって、本方法は、一組の符号化画像126から、表面の各点において3D座標データを求める。
カメラ120はまた、物体により反射された光121を捕捉する。カメラは、カメラの周囲の異なる場所、例えば八角形パターン又は円形パターンに配置される複数のフラッシュユニット125、例えばLEDを備える。LEDは、はっきりした影を落とす明るい点光源である。カメラはまた、物体の一組のフラッシュ画像を取得する。これらのフラッシュ画像は、物体の2Dシルエットを求めるために用いられる。
一組の符号化画像126を用いて、レーザー走査により識別される点102の3D座標と、2Dシルエット103とを求める。注目すべきは、これらの3Dの点及び2Dシルエットが、1台のカメラ120により測定されるため、同一の座標枠にあることである。これにより、3Dの点を2Dのカメラ像面に投影することが可能である。或いは、2Dシルエット上の任意の点を3D空間の3D光線に「背面投影」し、レーザー走査により得られる3Dの点座標と同一の座標枠に入れることも可能である。
レーザー走査は、レーザービームパターンを物体の表面に投影し、物体の表面上の点301に対するレンジすなわち「奥行き」を取得する。レーザー走査データはレンジマップ又は奥行きマップと呼ばれることもある。レンジマップは、物体の表面上の3Dの点301の座標102に変換することができる。
カメラはまた、一組のフラッシュ画像127を各点光源125につき1枚ずつ取得することによって、物体表面で反射される光の拡散反射成分を取得する。点光源は、遮蔽輪郭に影を落とし、物体のシルエットを浮かび上がらせる。3Dスキャナの座標点102と2Dシルエット103とを結合すること(110)によって、物体の姿勢101を求めることができる。
レーザー走査は、表面が鏡面反射性である場合、反射レーザー光が拡散反射成分から鏡面反射成分に移るため、あまり効果的でない。これにより、カメラで拡散反射成分を検出することがより難しくなる。したがって、レーザー走査は、センサに対して最も前額平行である表面部分に対してのみ効果的である。表面の傾斜部分のデータを抽出することは難しい。曲面物体では、少量の表面データしか求めることができない。
物体は、カメラの近くに配置される点光源(フラッシュユニット)125によっても照らされる。光源毎に、対応する画像127は、物体が近くの背景面に落とす影を含む。落ちた影は、カメラの視点から観測される2Dの遮蔽シルエット及び自己遮蔽シルエットを推測するために用いられる。遮蔽輪郭は、影が拡散反射面に落ちている場合に最も確実に得られ、拡散反射性の背景上の隔離された任意の材料の物体に当てはまり、外部分布及び積層された拡散反射性物体には当てはまらない。
本発明の目的は、ビン135内の任意に積層された半鏡面反射性物体の山の各々の3D姿勢を求めることである。物体は同一であり、全て同一の既知の形状を有するものと仮定する。特定の物体形状及び均等拡散面から鏡面までの様々な可能な物体に対して、物体材料の鏡面反射性が高くなり、姿勢を求めるのに十分なデータをカメラが抽出することができなくなると、失敗が起こることになる。
本発明の背景にある概念として、符号化画像126は、スキャナに対して前額平行な半鏡面反射面では高品質の3D座標情報を生成し、遮蔽輪郭では情報を生成せず、その一方で、フラッシュ画像127は遮蔽輪郭でのみ形状情報を生成することがある。したがって、スキャナ及びカメラは補完的且つ相互支援的である。
符号化画像は点131の3D座標102を生成し、フラッシュ画像はシルエットデータ103を生成する。したがって、取得される2Dデータ及び3Dデータは異種である。
本発明の複合センサは独特な組み合わせであり、我々の知る限り、このようなシステムは従来技術に記載されていない。レーザー走査には、Scharstein他著「High-accuracy stereo depth maps using structured light」(Proc. Conference Determiner Vision and Pattern Recognition, 2003)に記載されているようなグレイコードに基づく構造光を用いる。カメラは、Raskar他著「Non-photorealistic camera: Depth edge detection and stylized rendering using multi-flash imaging」(ACM Siggraph, 2004)及び米国特許第7,295,720号により記載されている。姿勢計算方法は、Germann他著「Automatic pose estimation for range images on the GPU」(Sixth Intl Conf on Digital Imaging and Modeling, 2007)及びPfister他により2007年4月23日付で出願された米国特許出願第11/738,642号「Method and System for Determining Objects Poses from Range Images」(これらは全て参照により本明細書中に援用される)に記載されているレンジマップマッチングに基づく。これらの従来技術の方法は、本発明の独特な複合センサに応用される。
複合センサの較正
較正は一回の前処理ステップである。センサの較正には、第2の仮カメラ140を用いることができる。これは必須ではないが、データの処理を簡略化する。較正は、レーザースキャナ110及びカメラ120の内部ステレオパラメータ及び外部ステレオパラメータを求める。
レーザースキャナの内部パラメータを求めるため、ブランク(白色)面にグレイコードパターン112を投影し、ステレオカメラ150により取得されるステレオ画像151を用いてパターンの3D座標102を求める。レーザー走査像面上のパターンの2D座標を、前のステップで求めた対応する3D座標と共に記憶する。上記を平面の2つ以上の位置に対して繰り返す。この情報には、従来の平面ベースのカメラ較正を用いることができる。
次に、カメラとレーザースキャナとの間の外部パラメータを求める。パターンをブランク面に投影し、カメラ画像内及びレーザー走査像面上の対応する点を記憶する。上記を平面の2つ以上の位置に対して繰り返し、カメラとスキャナとの間の基本行列Fを求める。コンピュータビジョンにおいて、この基本行列Fは3×3行列であり、ステレオ画像内の対応する点を関連付ける。この行列Fを分解し、カメラ及びレーザースキャナの内部パラメータを利用してカメラとスキャナとの間の外部パラメータを求める。
カメラの近くに較正マークを付加した平面鏡を配置することによって、LED125の3D位置を求める。較正マーク及びステレオカメラを用いて鏡面πの3D座標を求める。仮想(反射)LEDの3D座標を求める。仮想LED座標を鏡面πに反射させ、カメラに対するLEDの3D座標を得る。
上記のステップは、全ての光学成分の全ての内部パラメータ及び外部パラメータの完全な較正を行う。この較正情報を用いることにより、グレイコードを用いて3Dの表面の点を求める。
照度差ステレオ
本発明の複合センサは、レーザー走査110及びフラッシュ画像127から取得されたデータを結合する(110)。データは、物体130上の3Dの点の座標102を求めるため、及びビン内の物体の遮蔽輪郭300のシルエット103を求めるために用いられる(複雑な輪郭を有する物体の例に関しては図3を参照)。これにより、照度差ステレオを用いて3Dの点の面法線n104を求めることも可能である。法線104は物体の向きを示す。
ビンピッキングのような実際の用途で問題となる、光源125が物体130から遠くにあるという仮定が必要ないという点で、本発明の方法は従来の照度差ステレオと異なる。
面法線
図2に示すように、カメラ120は、レーザー走査から座標102が分かっている物体130の表面132上の3Dの点X131を観察し、強度Iを記録する。第1のLED125が点灯され、カメラが強度Iを記録する。これは、面法線に制約を課す。
−I=kv,n (1)
ここで、kはLEDの輝度及び点Xにおける表面アルベドに依存する未知の定数である。輝度は、全てのLEDに関して一定であり、よってkも一定であるものと仮定される。各LEDを用いて1つの式を生成することができ、3つ以上の式が法線nの向きに対して、未知のスケールまで線形解を与える。これを正規化して、単位ベクトルを得ることができる。この手法は、表面が点X131において鏡面反射性である場合に失敗する。したがって、I−Iに対して閾値チェックを用い、鏡面反射性を排除する。
レーザー走査は、3Dの点の座標102を生成し、この座標102から面法線nを推測することができる。しかし、照度差ステレオが生成するのはカメラにおける画素毎の測定値であるのに対し、3Dの点が必要とするのは、法線を生成するための局所的な面フィッティングであり、これは重要なプロセスである。レーザー走査に加えて照度差ステレオを行うより顕著な利点を以下で説明する。
姿勢の確定
本発明の複合センサは、異種データ、すなわち、レーザー走査から3Dの点102の座標を、そしてカメラから遮蔽輪郭300の2D画像127内のシルエット103を生成する。図3は、複雑な物体の例示的な遮蔽輪郭300を示す。姿勢の確定は3D又は2Dで行うことができる。計算の効率上、全ての演算を2Dの像面で行う。データは不完全である場合があるため、本発明の方法は、遮蔽輪郭も不完全である可能性があると仮定する。
Germannによる方法の入力は3Dレンジマップであり、姿勢の確定は、物体モデルをレンジデータに近づけるための、3Dの距離誤差の姿勢の6自由度にわたる最小化である。しかし、本発明では、Germannの距離誤差を大幅に修正し、本発明の2D像面に対して機能するようにすると共に、遮蔽輪郭に関連する誤差を含めるようにする。なお、Germannが考慮しているのは3Dレンジデータのみであり、2D画像は考慮していない。
姿勢のコスト関数
検知されたデータ及び物体の3Dモデルと一致する物体の3D姿勢を求める。物体の3Dモデルは、コンピュータ支援設計(CAD)により得ることができる。この物体の3Dモデルを2D画像127に当てはめ、3Dレーザーデータと2D輪郭データとの両方を有する2Dの像面で一致を測定する。
次に姿勢の初期化問題を説明する。現在の姿勢推定値を得るために、物体モデルを像面に投影する。投影される情報は、シルエットを規定すると共に、物体の輪郭内の画素の奥行き及び面法線情報も与える。
本発明のコスト関数は2つの成分、すなわち、投影モデル及びレーザー走査3D座標データ102の位置誤差Dと、投影モデル及び遮蔽2D輪郭の形状誤差Dとを有する。
位置誤差D
物体の投影モデルに対応する画素集合をPとする。特定の姿勢に関して、この集合Pの全画素における物体モデルの奥行き及び面法線は既知である。レーザー走査が座標データを取得した画素集合をLとする。物体の奥行きは、この集合Lの各画素において既知である。目標物体の面法線は通常、この集合Lの各画素において既知であるが、照度差ステレオが失敗すれば、ない場合がある。
位置誤差Dは、集合P及びLの共通部分の画素にわたって測定される。各画素における誤差は
=(r−r)・λ (2)
であり、ここで、rは奥行きであり、λは、走査プロセスがその画素における面法線を求めるのに失敗した場合に1であり、そうでない場合、
λ=1.0/max(cos45,n,n) (3)
であり、ここで、n及びnは、その画素における物体モデル及び物体の面法線である。
形状誤差D
形状誤差Dは、投影モデルの境界と、カメラにより撮像された遮蔽輪郭との間の一致を測定する。形状誤差Dは3D誤差であるため、位置誤差Dと有効に加算することができる。
投影3Dモデルの表面又は境界上の画素bを集合Bとする。カメラが遮蔽輪郭を検出した画素mを集合Mとする。集合Mの各画素mは集合Mの最も近い画素bと対にされる。対(b,m)の集合を2つの方法でカリングする。
同一画素mを有する複数の対がある場合、画素b及びm間の距離が最小の対を除く全ての対を削除する。各画素b及びmに関して、その画素が物体の内側にあるか又は外側にあるかを示す。
また、物体の内側及び外側の両方にある画素を含む対も全て削除する。形状誤差Dは、結果として得られる対(m,b)の集合にわたって総和される。各対における誤差は
=d・tanθ (4)
であり、ここで、dは画素bにおける物体モデルまでの距離であり、θは画素m及びbを通る2本のカメラ光線間の角度である。計算の効率上、画素特有の奥行きdを、3Dの点131までの平均距離であるグローバル値dに置き換えることができる。
誤差の最小化
結合誤差D=D+Dを物体の姿勢の6自由度にわたって最小化する。姿勢の推定値は、観測球の周囲の複数の始点により初期化される。対(m,b)の計算は時間がかかる可能性がある。したがって、最小化を開始する前に、カメラを遮蔽する輪郭の距離マップを求める。次に、集合Bの各画素bはこの距離マップを用いて、集合Mの最も近い画素mを特定することができる。
相互反射
鏡面反射性物体に対してレーザースキャナを用いる際の問題は、物体と背景との間又は物体間の相互反射により生じる。相互反射の場合、検出される信号は有効なグレイコードであるが、光路はレーザーから表面へ直接向かい、その表面から直接戻るものではなかったため、レンジデータの三角測量は疑似3D点を生成する。これに対処するため、レーザー走査により求められる点の3D座標と、照度差ステレオにより求められる面法線との間の一致を求める。
これら2つの方法は、相互反射のある領域では一致しないことになる。両方法は相互反射の信号を検出するかもしれないが、それぞれの3D計算は異なる光源、すなわちレーザー及びLEDに基づくため、その相互反射に対して生成される疑似3D点及び疑似照度差面法線は一致しない。不一致の領域は、姿勢の確定から排除される。
本発明を好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応形態及び修正形態を実施することができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような変更形態及び修正形態を全て網羅することである。

Claims (11)

  1. 物体の姿勢を求める方法であって、
    レーザービームパターンで物体を走査しながらカメラにより該物体の一組の符号化画像を取得することであって、該物体は半鏡面反射性であること、
    前記カメラに近い異なる場所にある一組の光源で前記物体を照らしながら該カメラにより該物体の一組のフラッシュ画像を各光源につき1枚ずつ取得すること、
    前記一組の符号化画像から前記物体の表面上の点の3D座標を求めること、
    前記一組のフラッシュ画像に落ちた影から前記物体の2Dシルエットを求めること、
    前記3D座標と前記2Dシルエットの照度差ステレオとを用いて前記物体の前記表面上の前記点の面法線を求めること、及び
    前記3D座標、前記2Dシルエット、及び前記面法線を結合することであって、前記半鏡面反射性物体の姿勢を求めること
    を含む、方法。
  2. 前記レーザービームパターンはグレイコードを用いる、請求項1に記載の方法。
  3. 前記結合することは、
    前記3D座標を特定の姿勢にある前記物体の3Dモデルと比較することによって位置誤差を求めること、
    前記物体の前記2Dシルエットを前記特定の姿勢にある前記3Dモデルの投影シルエットと比較することによってシルエット誤差を求めること、及び
    前記位置誤差と形状誤差との和を最小化する前記3Dモデルの前記姿勢を求めること
    をさらに含む、請求項1に記載の方法。
  4. 前記3D座標に対応する画素集合をLとし、該集合Lの各画素の奥行きは既知であり、前記物体の既知の3Dモデルの投影に対応する画素集合をPとし、該集合Pの各画素の奥行きは既知であり、各画素の前記位置誤差は、
    =(r−r)・λ
    であり、ここで、rは前記奥行きに対応し、
    λ=1.0/max(cos45,n,n
    であり、ここで、n及びnはそれぞれ前記既知の3Dモデルからの面法線、及び前記3D座標又は前記フラッシュ画像からの面法線である、請求項3に記載の方法。
  5. 前記形状誤差は、前記検知されたシルエットと前記既知の3Dモデルの投影の境界との一致を測定する、請求項3に記載の方法。
  6. 前記3D座標から得られる面法線が、前記フラッシュ画像から得られる該面法線と比較され、該2つの面法線が一致しない領域がレーザーの相互反射としてマーキングされる、請求項1に記載の方法。
  7. 相互反射が無視される、請求項3に記載の方法。
  8. 前記物体は複数の同一物体と共にビン内にあり、
    前記姿勢に応じて前記物体を選択すること
    をさらに含む、請求項1に記載の方法。
  9. 前記一組の符号化画像は奥行きマップを形成する、請求項1に記載の方法。
  10. 前記シルエットは遮蔽シルエット及び自己遮蔽シルエットを含む、請求項1に記載の方法。
  11. 物体の姿勢を求める装置であって、
    レーザービームパターンで物体を走査しながら該物体の一組の符号化画像を取得するように構成されるカメラであって、該物体は半鏡面反射性であり、さらに、該カメラに近い異なる場所にある一組の光源で該物体を照らしながら該物体の一組のフラッシュ画像を各光源につき1枚ずつ取得するように構成される、カメラと、
    前記一組の符号化画像から前記物体の表面上の点の3D座標を求める手段と、
    前記一組のフラッシュ画像に落ちた影から前記物体の2Dシルエットを求める手段と、
    前記3D座標と前記2Dシルエットの照度差ステレオとを用いて前記物体の前記表面上の前記点の面法線を求める手段と、
    前記3D座標、前記2Dシルエット、及び前記面法線を結合することにより、前記半鏡面反射性物体の姿勢を求める手段と
    を備える、装置。
JP2009018171A 2008-05-29 2009-01-29 物体の姿勢を求める方法及び装置 Active JP5570126B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/129,386 2008-05-29
US12/129,386 US8107721B2 (en) 2008-05-29 2008-05-29 Method and system for determining poses of semi-specular objects

Publications (2)

Publication Number Publication Date
JP2009288235A true JP2009288235A (ja) 2009-12-10
JP5570126B2 JP5570126B2 (ja) 2014-08-13

Family

ID=41379882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009018171A Active JP5570126B2 (ja) 2008-05-29 2009-01-29 物体の姿勢を求める方法及び装置

Country Status (2)

Country Link
US (1) US8107721B2 (ja)
JP (1) JP5570126B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015526692A (ja) * 2012-10-31 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド 奥行きセンサベース反射物体の形状取得方法及び装置
JP2015528109A (ja) * 2012-07-04 2015-09-24 クレアフォーム・インコーポレイテッドCreaform Inc. 3d走査および位置決めシステム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0608841D0 (en) * 2006-05-04 2006-06-14 Isis Innovation Scanner system and method for scanning
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US8670606B2 (en) * 2010-01-18 2014-03-11 Disney Enterprises, Inc. System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency
US9317970B2 (en) 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
US9245375B2 (en) * 2010-09-16 2016-01-26 Siemens Medical Solutions Usa, Inc. Active lighting for stereo reconstruction of edges
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
US8811767B2 (en) * 2011-03-15 2014-08-19 Mitsubishi Electric Research Laboratories, Inc. Structured light for 3D shape reconstruction subject to global illumination
GB2490872B (en) 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
EP2712431A1 (en) 2011-05-12 2014-04-02 Apple Inc. Presence sensing
US20120287031A1 (en) 2011-05-12 2012-11-15 Apple Inc. Presence sensing
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
US10552551B2 (en) * 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
US9451810B2 (en) 2011-11-18 2016-09-27 Nike, Inc. Automated identification of shoe parts
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
US8958901B2 (en) 2011-11-18 2015-02-17 Nike, Inc. Automated manufacturing of shoe parts
US8755925B2 (en) 2011-11-18 2014-06-17 Nike, Inc. Automated identification and assembly of shoe parts
KR101918032B1 (ko) 2012-06-29 2018-11-13 삼성전자주식회사 광원의 변화를 사용한 깊이 영상 생성 장치 및 방법
US8913825B2 (en) * 2012-07-16 2014-12-16 Mitsubishi Electric Research Laboratories, Inc. Specular edge extraction using multi-flash imaging
US9036907B2 (en) * 2012-07-16 2015-05-19 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for extracting depth edges from images acquired of scenes by cameras with ring flashes forming hue circles
US9684941B2 (en) 2012-10-29 2017-06-20 Digimarc Corporation Determining pose for use with digital watermarking, fingerprinting and augmented reality
JP2014092461A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
US20140192210A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Mobile device based text detection and tracking
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
JP6184237B2 (ja) * 2013-08-07 2017-08-23 株式会社東芝 3次元データの処理装置、その処理方法及びその処理プログラム
JP6807744B2 (ja) * 2013-10-24 2021-01-06 ▲華▼▲為▼▲終▼端(深セン)有限公司 画像表示方法及び装置
JP6324025B2 (ja) * 2013-11-05 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法
US9489765B2 (en) 2013-11-18 2016-11-08 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
WO2015077455A1 (en) 2013-11-25 2015-05-28 Digimarc Corporation Methods and systems for contextually processing imagery
US10139814B2 (en) * 2014-01-23 2018-11-27 Performance Sk8 Holding Inc. System and method for manufacturing a board body
US10055881B2 (en) 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity
JP6679289B2 (ja) * 2015-11-30 2020-04-15 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
GB201607639D0 (en) 2016-05-02 2016-06-15 Univ Leuven Kath Sensing method
CN106885514B (zh) * 2017-02-28 2019-04-30 西南科技大学 一种基于机器视觉的深水钻井隔水管自动对接位姿检测方法
CN107121131B (zh) * 2017-04-06 2019-06-25 大连理工大学 一种双目摄像头水平相对位姿识别方法
DE102017118767B4 (de) * 2017-08-17 2020-10-08 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Bestimmen von dimensionellen und/oder geometrischen Eigenschaften eines Messobjekts
CN107562226A (zh) * 2017-09-15 2018-01-09 广东虹勤通讯技术有限公司 一种3d绘图系统及方法
US10817594B2 (en) 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
JP6886906B2 (ja) * 2017-10-10 2021-06-16 東芝テック株式会社 読取装置およびプログラム
CN111006615A (zh) * 2019-10-30 2020-04-14 浙江大学 一种平坦表面特征扫描成像装置和方法
CN110827360B (zh) * 2019-10-31 2022-07-12 华中科技大学 一种光度立体式测量系统及其标定光源方向的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284346A (ja) * 1999-03-30 2000-10-13 Minolta Co Ltd 3次元情報入力カメラ
JP2001235314A (ja) * 2000-02-22 2001-08-31 Minolta Co Ltd 撮影システムおよびそれに用いる2次元撮像装置
JP2004144557A (ja) * 2002-10-23 2004-05-20 Fanuc Ltd 3次元視覚センサ
JP2006001009A (ja) * 2005-09-08 2006-01-05 Fanuc Ltd ワーク取出し装置
JP2006267018A (ja) * 2005-03-25 2006-10-05 Ckd Corp 検査装置
WO2007129047A1 (en) * 2006-05-04 2007-11-15 Isis Innovation Limited Scanner system and method for scanning
JP2008039767A (ja) * 2006-08-01 2008-02-21 Mitsubishi Electric Research Laboratories Inc 反射性物体の表面の形状を検知する方法及びシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030038822A1 (en) * 2001-08-14 2003-02-27 Mitsubishi Electric Research Laboratories, Inc. Method for determining image intensities of projected images to change the appearance of three-dimensional objects
US7295720B2 (en) * 2003-03-19 2007-11-13 Mitsubishi Electric Research Laboratories Non-photorealistic camera
US7844105B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining objects poses from range images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284346A (ja) * 1999-03-30 2000-10-13 Minolta Co Ltd 3次元情報入力カメラ
JP2001235314A (ja) * 2000-02-22 2001-08-31 Minolta Co Ltd 撮影システムおよびそれに用いる2次元撮像装置
JP2004144557A (ja) * 2002-10-23 2004-05-20 Fanuc Ltd 3次元視覚センサ
JP2006267018A (ja) * 2005-03-25 2006-10-05 Ckd Corp 検査装置
JP2006001009A (ja) * 2005-09-08 2006-01-05 Fanuc Ltd ワーク取出し装置
WO2007129047A1 (en) * 2006-05-04 2007-11-15 Isis Innovation Limited Scanner system and method for scanning
JP2008039767A (ja) * 2006-08-01 2008-02-21 Mitsubishi Electric Research Laboratories Inc 反射性物体の表面の形状を検知する方法及びシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528109A (ja) * 2012-07-04 2015-09-24 クレアフォーム・インコーポレイテッドCreaform Inc. 3d走査および位置決めシステム
JP2015526692A (ja) * 2012-10-31 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド 奥行きセンサベース反射物体の形状取得方法及び装置

Also Published As

Publication number Publication date
US8107721B2 (en) 2012-01-31
JP5570126B2 (ja) 2014-08-13
US20090297020A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
JP5570126B2 (ja) 物体の姿勢を求める方法及び装置
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN107525479B (zh) 识别物体表面点或区域的方法、光学传感器以及存储介质
US7983487B2 (en) Method and system for locating and picking objects using active illumination
US7711182B2 (en) Method and system for sensing 3D shapes of objects with specular and hybrid specular-diffuse surfaces
JP5132832B1 (ja) 計測装置および情報処理装置
JP5043023B2 (ja) 画像処理方法および装置
JP5484133B2 (ja) 鏡面反射物体の3d姿勢を推定する方法
JP2007206797A (ja) 画像処理方法および画像処理装置
US10458784B2 (en) Method and apparatus for determining at least one of dimensional or geometric characteristics of a measurement object
JP2012215394A (ja) 三次元計測装置および三次元計測方法
US11640673B2 (en) Method and system for measuring an object by means of stereoscopy
US11803982B2 (en) Image processing device and three-dimensional measuring system
Karami et al. Investigating 3D reconstruction of non-collaborative surfaces through photogrammetry and photometric stereo
JP2007093412A (ja) 3次元形状測定装置
WO2017077277A1 (en) System and methods for imaging three-dimensional objects
JP4379626B2 (ja) 3次元形状計測方法及びその装置
US20220092345A1 (en) Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
JP5441752B2 (ja) 環境内の3d物体の3d姿勢を推定する方法及び装置
US20050286059A1 (en) Attitude and position measurement of objects using image processing processes
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6061631B2 (ja) 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム
Walter et al. Enabling multi-purpose mobile manipulators: Localization of glossy objects using a light-field camera
TW201502466A (zh) 三維模型重建方法及其系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140624

R150 Certificate of patent or registration of utility model

Ref document number: 5570126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250