JP2016053481A - 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム - Google Patents

情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム Download PDF

Info

Publication number
JP2016053481A
JP2016053481A JP2014178500A JP2014178500A JP2016053481A JP 2016053481 A JP2016053481 A JP 2016053481A JP 2014178500 A JP2014178500 A JP 2014178500A JP 2014178500 A JP2014178500 A JP 2014178500A JP 2016053481 A JP2016053481 A JP 2016053481A
Authority
JP
Japan
Prior art keywords
pattern
image
information processing
projection
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014178500A
Other languages
English (en)
Other versions
JP6412372B2 (ja
Inventor
小林 一彦
Kazuhiko Kobayashi
一彦 小林
鈴木 雅博
Masahiro Suzuki
雅博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014178500A priority Critical patent/JP6412372B2/ja
Publication of JP2016053481A publication Critical patent/JP2016053481A/ja
Application granted granted Critical
Publication of JP6412372B2 publication Critical patent/JP6412372B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】計測対象物体と撮像装置とが相対移動している場合であっても、精度良く距離計測を行う技術を提供する。
【解決手段】情報処理装置であって、パターンが投影された対象物体の撮像画像を取得する画像取得部140と、撮像画像から当該撮像画像の評価値を取得する評価値取得部130と、評価値に基づいて対象物体へ投影するパターンを変更する変更部120とを備える。
【選択図】図2

Description

本発明は、情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラムに関し、特に、計測対象物体の三次元位置情報を取得する技術に関する。
計測対象物体の三次元位置情報を取得する技術の一つとして、パターン投影法によって距離画像を計測する技術がある。
パターン投影法では、まず、二次元パターンを投影装置によって被計測空間に投影する。そして、撮像装置で被計測空間を撮影し、その画像から投影パターンを検出する。投影パターンには投影位置を識別できる図形を含ませることができ、その図形を識別図形と呼ぶ。画像上の投影パターンの位置と、投影装置により投影されたパターン位置とを結びつけることを対応付けと呼び、その対応付けされた撮像画面の検出位置と投影パターンの位置とから三角測量により三次元位置を計算する。
パターン投影法で用いるパターンには、グレーコード符号化のビットごとに構成された縞模様の二次元パターンを投影する空間コード化法のグレーコードパターンや、自己相関により投影位置を特定するランダムドットパターンなどがある。さらには、直線に投影位置を符号化した識別図形を合わせたパターンなどがある(非特許文献1参照)。なお、距離算出の対象となる図形を、ここでは測距図形と呼ぶ。
井口征士、佐藤宏介、"三次元画像計測"、昭晃堂、1990
しかしながら、従来の技術では、計測対象物体と撮像装置との間に相対的な移動があると、ブレやボケにより投影したパターンにボケが発生し、計測精度が低下したり、距離計測ができなかったりするという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、計測対象物体と撮像装置とが相対移動している場合であっても、精度良く距離計測を行う技術を提供することを目的とする。
上記の目的を達成するために、本発明の一態様による情報処理装置は以下の構成を備える。即ち、
パターンが投影された対象物体の撮像画像を取得する画像取得手段と、
前記撮像画像から当該撮像画像の評価値を取得する評価値取得手段と、
前記評価値に基づいて前記対象物体へ投影するパターンを変更する変更手段と
を備える。
本発明によれば、計測対象物体と撮像装置とが相対移動している場合であっても、精度良く距離計測を行うことが可能となる。
本発明の一実施形態に係る情報処理システムの一例を示す図。 本発明の一実施形態に係る情報処理装置の機能構成の一例を示す図。 本発明の一実施形態に係る情報処理システムが実施する処理の手順を示すフローチャート。 本発明の一実施形態に係るパターンの例を示す図。
以下、添付の図面を参照しながら、本発明の実施の形態について詳述する。
(実施形態1)
<1.システム構成>
図1は、本発明の一実施形態に係る情報処理システムの一例を示す図である。情報処理システムは、パターン投影装置20と、パターン撮像装置30と、ロボット50と、制御装置60と、情報処理装置100とを含む。
パターン投影装置20は、ビットマップ画像を構成する像を光源とレンズを用いて計測対象物体40に対してパターンを投影する。ここでは、プロジェクタを利用する。なお、パターン投影の焦点位置と計測対象物体40の位置とがほぼ一致するように調整されているものとする。さらに、レンズ中心を基準としたピンホールレンズ想定のカメラパラメータとしては事前に校正された値を用いる。また、投影パターンのビットマップ画像の登録や変更は、HDMI(登録商標)(High-Definition Multimedia Interface)、DVI(Digital Visual Interface)等の映像情報伝達方式や、メモリカード等によるデータ読み込み、または、シリアルバスによる画像伝送する方法などを用いて投影パターンが変更できるようになっていれば良い。また、フィルム状のパターンをホイール等の切り替え機構を用いて投影パターンを変更する仕組みであっても構わない。
パターン撮像装置30は、パターン投影装置20の投影タイミングに合わせて計測対象物体40に投影されたパターンを撮像するカメラである。カメラとしては、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)の撮像素子を用いたデジタルカメラであり、レンズ、メモリ、伝送バス、コントローラ等で構成されているものとする。撮像素子の解像度、レンズの中心位置、焦点距離、レンズの歪みパラメータ等の三角測量に必要な校正情報は、事前に校正したものを用いる。撮像した画像は、伝送バスを利用してデータとして伝送する。伝送方式としては、CameraLink, IEEE1394、USB(Universal Serial Bus)、HDMI等のいずれかの画像伝送規格を用いれば良い。
計測対象物体40は、パターン投影法を利用するので、例えば滑らかな曲面・平面の形状を有しているものとする。ロボット50は、エンドエフェクタ部に装着されたハンドにより計測対象物体40を把持して移動する。なお、ロボット50は直動ステージやベルトコンベアなどの駆動装置や、搬送路を滑り落ちるような機構に置き換えても構わない。
制御装置60は、情報処理装置100が出力した距離画像から計測対象物体40の位置姿勢を推定する。より具体的には、情報処理装置100の距離画像の距離点と計測対象物体40の計測用のモデルとの間で対応付けられた距離を小さくするようにモデルの位置姿勢を推定する。計測対象物体40の位置姿勢に対して、登録されている運動軌道との補正量を算出してロボット50の運動軌道を補正する。これにより、ロボット50の組立作業による動作のズレを補正し、正しい位置での組み付けを行う。なお、制御装置60は、ロボット50の運動制御の補正が可能な構成である。そのために、ロボット50の動作座標系とパターン撮像装置30の観測座標系との間での幾何変換は、事前にキャリブレーションされているものとする。
情報処理装置100は、パターン投影装置20とパターン撮像装置30を用いて計測対象物体40を観察した距離画像を出力する。パターン投影装置20とパターン撮像装置30は情報処理装置100により制御される。情報処理装置100の機能構成については図2を参照して後述する。
なお、図1の構成例では、各装置を独立して示しているが、パターン投影装置20、パターン撮像装置30、制御装置60のいずれかが、情報処理装置100と同じ筐体として構成された1つの装置であっても構わない。また、パターン投影装置20およびパターン撮像装置30の配置位置は、ロボット50の把持姿勢が観察できる位置に固定されていても構わないし、各装置がロボット50のエンドエフェクタの近くに配置されてロボットハンドと共に移動する構成であっても構わない。いずれの配置・構成においても、パターン撮像装置30とロボット50との間の座標系の幾何変換がキャリブレーションにより事前に得られていればよい。
<2.投影パターンの説明>
続いて、本実施形態で使用する投影パターンについて説明する。従来のパターン投影法では、計測対象物体と撮像装置および投影装置には相対的な移動が無いことを想定していた。相対的な移動が発生する環境では、撮像画像に含まれる投影パターンにブレが発生する。また、投影・撮像に用いられるレンズの焦点位置前後では、パターンにボケが発生する。このブレ・ボケにより、投影パターンの境界領域の輝度分布が空間的に広くなり、隣接するパターンと干渉することにより撮像画像から投影パターンを検出することが困難になる。投影パターンの検出ができなれば、距離算出もできなくなることがある。
これに対して本発明の一実施形態に係る情報処理装置は、計測対象物体40にパターンが投影されて撮像された撮像画像の画像品質としてブレ・ボケの量を評価し、ブレ・ボケの影響が受けにくい投影パターンに変更して距離計測を行う。ブレ・ボケの影響が受けにくい投影パターンとは、パターンを構成する隣接図形が相互に干渉しない間隔のパターンである
ここで、図4は、本発明の一実施形態に係るパターンの例を示す図である。図4(a)は、ロボット50のエンドエフェクタにより計測対象物体40が把持され、矢印の方向(下方方向)へ移動している場合を想定している。下方方向への移動が無い場合、図4(b)に示すような撮像画像が取得されて、距離画像が計算される。その際の投影パターンは、図4(d)に示されるように、測距図形220の複数の直線と、その直線の投影パターンの位置を符号化した識別図形210の投影パターンを含む図形である。
一方、下方方向へ移動している場合、ブレの影響を受けにくい図4(c)に示すような撮像画像が取得されて、距離画像が計算される。その際の投影パターンは、撮像画像からの画像品質の検出により、測距図形220と干渉しないように識別図形210が除かれた図4(e)に示すような投影パターンの図形230に変更される。さらに、移動速度が大きくなるとブレにより画像品質が低下し、図形の境界領域がブレにより広がるため、その広がりよりも大きい間隔の図4(f)に示すような投影パターンが用いられる。また、下方以外の移動の影響が大きい場合には、図4(g)に示すようなパターンに変更される。このように、画像品質に応じて投影パターンの図形要素の距離が調整されたパターンに変更することで、撮像パターン画像からの安定したパターン図形の検出を行うことができる。
<3.情報処理装置の機能構成>
次に、図2を参照して、本発明の一実施形態に係る情報処理装置100の機能構成の一例を説明する。情報処理装置100は、投影制御部110と、投影パターン変更部120と、評価値取得部130と、画像取得部140と、対応付け部150と、距離画像取得部160とを備える。
投影制御部110は、複数の投影パターンのビットマップ画像を保持し、設定されている投影パターンのビットマップ画像をパターン投影装置20に画像として伝送する。複数の投影パターンのデータは、不揮発性メモリやハードディスク等の記憶部により読み出しが可能なものを用いる。また、パターンを描画するアルゴリズムを実装して、パラメータに応じてパターンを描画したビットマップを要求に応じて生成する仕組みになっていても構わない。
ここで、投影する各パターンには、ボケ・ブレの耐性を示す指標値が設定されている。指標値の求め方は、投影パターンのビットマップ画像に対して、ボケ・ブレを近似するガウシアンカーネルフィルタのσ値を0より0.1ずつ増やしてボケた画像を生成し、投影パターンの検出を行う。σが大きくなると、図形の境界がボケにより広がり、隣接する図形のボケと混在する領域が発生する。実際には撮像素子のデバイスノイズも存在するため、適切な閾値を設定しても、混在する図形の境界を検出することが困難となる。そこで、σを徐々に増やしていく過程での、境界部分の画素の輝度の差が閾値を下回ると判定されたときのσを、パターン検出の限界として該パターンの指標値とする。なお、各投影パターンの指標値は事前にソートされたものがテーブルとして保持されている。
また、既に用意されているパターンに対して指標値を設定する方法の他に、指標値を引数として、該指標値より大きいσを有するパターン図形を描画する方法も適用可能である。パターンの指標値は、隣接する図形境界との距離を意味している。図形そのものには投影装置の画像解像度の分解能が既定されているため、σのガウス分布を画像範囲に変換し、その範囲の隙間を有する整数値を求める。そして、投影パターンを、計算した隙間の値より大きい幅のパターンとして生成する。具体的には、図4(e)と図4(f)のように測距図形の幅が変わるようにパターンが変化する。
同様に、空間コード化法のグレーコードパターンを利用する場合には、低ビットの縞模様の幅をσによる撮像画像上の範囲以上に大きさに設定することで、高周波のパターンがボケによりつぶれによることによる低ビット画像パターンの検出ミスを回避する。
画像取得部140は、投影制御部110に同期するようにパターン撮像装置30の撮像タイミングの制御、および画像データの取り込みを行い、メモリに配置する。
対応付け部150は、画像取得部140で取得した撮像パターン画像から投影パターンに対応した幾何特徴の画像位置を検出して、投影パターン上の位置との対応付けを行う。三角測量により距離を求めるためには、測距図形のパターン投影における配置情報が必要となる。その情報が識別図形により表現されているものとする。識別図形は、点、線分、矩形などの配置の組み合わせを符号化したものである。バーコードも符号を図形情報として変換したものである。符号化する情報としては、隣接する測距図形の投影パターン上での配置情報とする。すなわち、測距図形として何本目かの情報が含まれている。識別図形は、測距図形を基準として隣接部位を走査する画像処理で検出することができる。
投影パターンとして図4(d)の測距図形と識別図形を有する投影パターンの検出方法を説明する。測距図形は、パターン画像に対して水平に配置された複数の直線とする。測距図形は、画像処理として水平方向の直線を検出するSobelフィルタを用いて検出する。識別図形である垂直方向の短い線分は、垂直方向の直線を検出Sobelフィルタの画像と、測距図形を検出した画像との画素ごとの積を計算して、両方の画像に含まれる識別図形と測距図形の交点部分を検出する。なお、幾何図形を検出する画像処理は、他にも多くの公知な方法があるため、実際の画像の輝度や分布の具合に応じて、既知のエッジ検出手法を用いれば良い。投影制御部110のパターンに応じて識別図形、測距図形が検出できる画像処理は事前に用意されており、対応付け部150では、投影パターンに応じて画像処理が切り替わるようになっていれば構わない。
評価値取得部130は、画像取得部140の撮像画像から、画像品質の評価値σimgを算出する。本実施形態では、画像輝度分布のボケ量を推定する。既定部位の線分状に輝度パターンをサンプリングし、その輝度値の勾配に対して累積ガウス分布のパラメータフィッティングを行う。得られたパラメータのうち、標準偏差であるσimgがボケ量を示す評価値となる。
投影パターン変更部120は、評価値取得部130により取得された画像品質の評価値σimgと、投影制御部110の各パターンの指標値とを比較して、投影パターンを、ブレ・ボケに影響されにくいパターンに変更する。投影制御部110における各投影パターンの指標値がソートされたテーブルを指標値が小さいものから順に参照し、撮像画像の評価値σimg未満で最大のσを有するパターンに変更する。なお、σを指定してパターンの間隔を調整できる場合には、σimgをσとして与えたパラメータによりパターンを生成したものを使用すればよい。
距離画像取得部160は、対応付け部150により検出された図形のうち、投影画像とパターン撮像位置の対応がとれている幾何要素の画面上の座標を用いて、三角計測法により奥行き方向の距離値を計算する。対応付けとは、測距図形の撮像画像上の位置と、投影パターン画像の位置とが同じ部位であることを求めることである。測距図形は、識別図形に含まれる投影パターンの配置情報を復号化することにより求める。また、識別図形を含まない場合には、識別図形を含むパターンをブレ・ボケが無い状態で撮影して対応付けの情報を保持し、それを流用することで対応付けを行っても良い。また、計測対象物体40とパターン撮像装置30との配置関係がほぼ同じ条件であれば、計測対象物体40の位置姿勢推定結果からモデル表面のおおよその位置が分かるので、三次元位置を撮像パターンの座標系に投影し、投影位置の近傍の測距図形と対応づけることができる。
距離画像取得部160は、算出された幾何要素ごとの距離値を撮像画像位置に配置したものを距離画像170として出力する。なお、距離画像の表現形式や画像サイズ等に関しては、利用する装置に応じて調整されていても良いし、仕様を提示して本装置を利用する側で調整しても良い。
<4.情報処理装置が実施する処理>
図3のフローチャートを参照して、本発明の一実施形態に係る情報処理システムが実施する投影パターンの変更処理の手順を説明する。
ステップS100では、投影制御部110は、選択パターンの初期化を行う。投影制御部110には、複数のパターンとして図4(d)〜(g)のようなビットマップ画像が登録され、それぞれの指標値σがソートされてテーブルとして利用できるようになっている。なお、それらの情報は不揮発メモリ等に保持しておくことで、前回利用したパターンを初期値として設定しても良い。なお、投影パターンの検出のための画像処理の手続きは、対応付け部150に登録されており投影パターンに応じて切り替えられる。
ステップS110では、投影制御部110は、パターン投影装置20を制御して投影制御部110により設定されている投影パターンを計測対象物体40に投影させる。ステップS120では、画像取得部140は、投影制御部110の投影タイミングに同期させて、パターン撮像装置30によりパターンが投影された計測対象物体40の画像を撮像し、その撮像画像の取得を行う。
ステップS130では、評価値取得部130は、ステップS120で取得された撮像画像から画像品質の評価値σimgを検出する。本実施形態では、ブレ・ボケに相当する画像の輝度分布に対して累積ガウス分布のパラメータをフィッティングした際の標準偏差をσimgとする。
ステップS140では、評価値取得部130は、投影パターンが適切か否かを判定する。より具体的には、評価値取得部130は、投影パターンの指標値σと、ステップS130で検出した評価値σimgとを比較して、σ>σimgである場合、投影パターンが適切であると判定し、ステップS160へ進む。一方、σ>σimgではない場合、投影パターンが不適切であると判定し、ステップS150へ進む。ステップS150では、投影パターン変更部120は、ブレ量に対して検出可能な投影パターンへの変更を行う。撮像画像の評価値σimgが大きい場合、投影パターンの間隔が狭く、隣接する図形の境界のボケにより図形の検出が困難になる。そこで、σimgより大きい投影パターンの指標値σを有するパターンに変更することで、ボケにより図形がつぶれることを抑制する。位置姿勢の推定精度は、距離画像の点数が多いほど精度が良くなることから、指標値の一つ大きいσを有するパターンを選択する。その後、ステップS110に戻る。
ステップS160では、対応付け部150は、撮像画像から投影パターンの検出と対応付けを行う。ステップS170では、距離画像取得部160は、ステップS160で対応づけられた投影パターンの画像位置と、撮像画像中の検出位置との関係から三角測量により測距図形の3次元位置を算出する。
例えば、パターン投影画像面のあるパターンの座標をm=[u,v,1]とする。撮像画像上の射影パターンの位置をm'=[u',v',1]とする。パターン投影装置20の座標系を回転行列R(R11,R12,R13,R21,R22,R23,R23,R31,R32, R33)と並進行列t(tx,ty,tz)で示し、パターン撮像装置30の座標系を回転行列R' (R'11,R'12,R'13,R'21,R'22,R'23,R'31,R'32,R'32)と並進行列t'(t'x,t'y,t'z)で示す。パターンが計測対象表面で反射している3次元投影位置M=[X,Y,Z]の関係は次式のようになる。
Figure 2016053481
3次元投影位置Mは、左辺の行列式の一般化逆行列を両辺に掛け合わせることで求める。各距離値は、パターン撮像装置30のカメラのレンズ中心を原点とした座標系での表現となっている。出力としてオフセット等の幾何変換が必要な場合には、幾何変換行列をMに乗ずれば良い。
ステップS180では、距離画像取得部160は、ステップS170で算出された距離値を距離画像形式でメモリ上に配置する。これにより、任意の画像位置の奥行き方向の値をアクセスすることが容易になる。なお、距離画像のフォーマットや表現方式は、いずれの方式を用いてもよい。
以上説明したように、本実施形態では、撮像したパターン画像のボケ量を推定し、投影パターンをそのボケによりつぶれないような疎なパターンに変更することで、ボケによる図形のつぶれを回避し、安定して測距図形を検出する。これにより、計測対象物体と撮像装置との間に相対移動があっても距離計測が可能となる。
(実施形態2)
実施形態1の例では、計測対象物体40とパターン撮像装置30との相対移動によるブレが発生している前提での説明を行った。ブレは、撮影のシャッターが開放している間に対象物体が動くことで像が流れる現象である。ボケは、レンズの焦点距離とは異なる位置で、光の収束がズレているため像の境界部分があいまいになる現象である。ブレとボケは似たような撮像画像となる。しかし、計測対象物体40が回転している場合と、計測対象物体40が奥行き方向に分布してピンぼけにより部分的にボケが発生する場合とでは、撮像対象全体に対して同じボケ具合とはなっていない。
実施形態2では、ブレ・ボケが発生して投影パターンの検出が難しい部位に対して、検出が可能な投影パターンに変更するために、撮像画像の画素ブロック単位で投影パターンの変更を行う。具体的には、実施形態2では、投影制御部110と投影パターン変更部120は、各画素もしくは既定の画素ブロック単位で画像品質を評価し、それに応じて画素単位または画素ブロック単位で投影パターンを変更する。
ここで、実施形態2に係る投影制御部110は、領域ごとにパターンを設定できる機能を有する。投影制御部110は、画素ブロックごとにパターンを設定して投影する。各画素ブロックのパターンは、図4(d)〜(g)の各パターンを画素ブロックのパターン位置に応じて組み合わせたものとする。
実施形態2に係る評価値取得部130は、画素ブロックごとに画像品質を検出する機能を有する。さらに、投影パターン変更部120も画素ブロックごとに変更である。評価値取得部130は、撮像画像から各画像ブロックについて評価値σimgを取得する。σimgの検出方法は、累積ガウス分布のパラメータフィッティングを利用すれば良い。投影パターン変更部120は、各ブロックのσimgと、対応する投影パターンのσとの関係が、σimg < σとなるようにブロックごとにパターンを変更する。投影制御部110には、事前にパターンの指標値がソートされたテーブルとして保持されているので、σimg<σを満たす条件を選べば良い。
対応付け部150は、ブロックごとに検出方法を切り替えるように処理する。距離画像取得部160は、対応付け部150により対応づけられた投影パターンの画像位置と、撮像画像中の検出位置との関係から三角測量により測距図形の3次元位置を算出する。
実施形態2ではブロックごとに処理する方法を述べたが、ブロックのサイズは条件によって設定してもよい。例えば、ブレ・ボケが発生して投影パターンの検出が難しい部位のサイズに応じて設定すればよい。最小サイズは1x1画素であり、最大は画像サイズと同じである。ブロックが画像サイズと同じ場合には、実施形態1と同じ処理となる。
以上説明したように、本実施形態によれば、投影パターンと撮像画像の部分的な領域ごとに、ボケ・ブレによりパターンがつぶれることが無いように調整されるため、より多くの領域で距離計測が可能となることで計測点数が増加し精度を向上することができる。
(実施形態3)
実施形態3では、実施形態1、2に記載した各処理部のハードウェアをコンピュータのプログラムとして実装する情報処理装置を示す。パターン投影装置20として、DVI信号等の映像伝送規格により画像を投影できるPCプロジェクタを用いることができる。パターン撮像装置30として、CameraLink等の規格で接続可能なCCDカメラを用いることができる。
情報処理装置100および制御装置60は、CPU、メモリ、バスを有するコンピュータシステムのプログラムとして実装する。該プログラムが、画像をプロジェクタに投影するために画面に投影パターンのビットマップを表示する機能と、カメラからの撮像画像を取り込む機能とを実現するために、OSのドライバを利用する。画像はメモリに配置され、CPUもしくはGPUを利用して投影パターンの幾何特徴を検出する画像処理を実行する。
実行プログラムは、ソースコードから逐次コンパイルされたオブジェクトにより実行されても構わないし、事前にコンパイルされた実行ファイルであっても構わない。提供される方法も、CD−ROM,メモリカード等の外部記憶メディアから実行可能ファイルとして配置されても構わないし、ネットワークサーバにより配信されているものを利用できるように構成しても構わない。また、プログラムの実行オブジェクトがロボット50の制御プログラムの一つして利用できるようになっていても構わない。最近のロボット制御装置には、画像の入出力機能を備えた装置もあるため、本発明のプログラムをロボット制御装置のCPU、メモリ、入出力インタフェースを利用して動作させても良い。
計測対象物体40は、形状・大きさ・材質については特に限定をしていない。ただし、投影パターンを反射する表面を有していることが前提となっている。パターン撮像装置30は、計測対象物体40に投影したパターン光の反射を画像として取得することができる装置である。一般には2次元の撮像素子と光学素子で構成されたデジタルカメラを用いる。1次元のセンサの場合には、ポリゴンミラーや駆動系によりライン走査することで2次元の像を得ることができる。投影パターンの反射光に感受性がある撮像素子であれば良く、投影パターンの波長によっては赤外線、可視光、紫外線などの様々な波長を利用することができる。
投影パターンとは、幾何学的な配置関係を有する模様である。パターンが構成する線や点の大きさ・太さには限定は無い。また、パターンの模様、配置についても公知のパターンを用いることができる。投影制御部110の機能として、投影パターンの2次元の画像を一度に計測対象物体40に投影することを想定しているが、レーザとポリゴンミラーとの組み合わせで投影パターンの像を走査するように投影しても構わない。
パターンの幾何特徴は、パターンに含まれる図形要素のうち、パターンの画像上の座標系で特定することができる範囲を有するものである。線や点などの基本的な図形要素から、円や矩形などの基本図形を複数組み合わせたものもある。さらに、ランダムドットのようにランダムに配置した図形要素も幾何特徴として取り扱うことができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
20:パターン投影装置、30:パターン撮像装置、40:計測対象物体、50:ロボット、60:制御装置、100:情報処理装置、110:投影制御部、120:投影パターン変更部、130:評価値取得部、140:画像取得部、150:対応付け部、160:距離画像取得部

Claims (11)

  1. パターンが投影された対象物体の撮像画像を取得する画像取得手段と、
    前記撮像画像から当該撮像画像の評価値を取得する評価値取得手段と、
    前記評価値に基づいて前記対象物体へ投影するパターンを変更する変更手段と
    を備えることを特徴とする情報処理装置。
  2. 前記変更手段は、前記評価値と、予め保持された各パターンの指標値とに基づいて、前記パターンを変更することを特徴とする請求項1に記載の情報処理装置。
  3. 前記評価値取得手段は、前記撮像画像から当該撮像画像の評価値を画素ブロック単位で取得し、
    前記変更手段は、前記画素ブロック単位でパターンを変更することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記評価値は、前記撮像画像の画像品質を評価するための値であることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記変更手段は、前記評価値に基づいて前記対象物体へ投影するパターンを、画像のブレに影響されないパターンへ変更することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 前記画像のブレに影響されないパターンとは、パターンを構成する隣接図形が相互に干渉しない間隔のパターンであることを特徴とする請求項5に記載の情報処理装置。
  7. 前記変更手段により変更されたパターンを前記対象物体へ投影する投影装置を制御する投影制御手段をさらに備えることを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
  8. 前記パターンが投影された対象物体の撮像画像に基づいて、前記対象物体の距離画像を取得する距離画像取得手段をさらに備えることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 請求項1乃至8の何れか1項に記載の情報処理装置と、
    前記パターンを前記対象物体へ投影する投影装置と、
    前記パターンが投影された前記対象物体を撮像する撮像装置と
    を備えることを特徴とする情報処理システム。
  10. 情報処理装置の制御方法であって、
    画像取得手段が、パターンが投影された対象物体の撮像画像を取得する画像取得工程と、
    評価値取得手段が、前記撮像画像から当該撮像画像の評価値を取得する評価値取得工程と、
    変更手段が、前記評価値に基づいて前記対象物体へ投影するパターンを変更する変更工程と
    を有することを特徴とする情報処理装置の制御方法。
  11. 請求項10に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2014178500A 2014-09-02 2014-09-02 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム Active JP6412372B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014178500A JP6412372B2 (ja) 2014-09-02 2014-09-02 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014178500A JP6412372B2 (ja) 2014-09-02 2014-09-02 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016053481A true JP2016053481A (ja) 2016-04-14
JP6412372B2 JP6412372B2 (ja) 2018-10-24

Family

ID=55745068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014178500A Active JP6412372B2 (ja) 2014-09-02 2014-09-02 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6412372B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018059850A (ja) * 2016-10-06 2018-04-12 ファナック株式会社 投影パターン作成装置および3次元計測装置
WO2019244667A1 (ja) * 2018-06-22 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020038074A (ja) * 2018-09-03 2020-03-12 セイコーエプソン株式会社 三次元計測装置、ロボットおよびロボットシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292385A (ja) * 2005-04-05 2006-10-26 Hiroshima Univ 視覚情報処理システム及びその視覚情報処理方法
JP2012103239A (ja) * 2010-10-12 2012-05-31 Canon Inc 三次元計測装置、三次元計測方法及びプログラム
JP2013185832A (ja) * 2012-03-05 2013-09-19 Canon Inc 情報処理装置、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292385A (ja) * 2005-04-05 2006-10-26 Hiroshima Univ 視覚情報処理システム及びその視覚情報処理方法
JP2012103239A (ja) * 2010-10-12 2012-05-31 Canon Inc 三次元計測装置、三次元計測方法及びプログラム
JP2013185832A (ja) * 2012-03-05 2013-09-19 Canon Inc 情報処理装置、情報処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018059850A (ja) * 2016-10-06 2018-04-12 ファナック株式会社 投影パターン作成装置および3次元計測装置
CN107917678A (zh) * 2016-10-06 2018-04-17 发那科株式会社 投影图案制作装置以及三维计量装置
US10593053B2 (en) 2016-10-06 2020-03-17 Fanuc Corporation Projection pattern creation apparatus and three-dimensional measuring apparatus
CN107917678B (zh) * 2016-10-06 2020-04-03 发那科株式会社 投影图案制作装置以及三维计量装置
DE102017009128B4 (de) * 2016-10-06 2021-03-04 Fanuc Corporation Projektionsmustererstellungsvorrichtung und dreidimensionale Messvorrichtung
WO2019244667A1 (ja) * 2018-06-22 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020038074A (ja) * 2018-09-03 2020-03-12 セイコーエプソン株式会社 三次元計測装置、ロボットおよびロボットシステム
JP7172305B2 (ja) 2018-09-03 2022-11-16 セイコーエプソン株式会社 三次元計測装置およびロボットシステム

Also Published As

Publication number Publication date
JP6412372B2 (ja) 2018-10-24

Similar Documents

Publication Publication Date Title
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
US10132613B2 (en) Information processing apparatus, method for controlling information processing apparatus, gripping system, and storage medium
US9007602B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
WO2014083721A1 (ja) 情報処理装置および情報処理方法
WO2013008804A1 (ja) 計測装置および情報処理装置
JP2015203652A (ja) 情報処理装置および情報処理方法
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2014064870A1 (ja) 画像処理装置および画像処理方法
JP2005072888A (ja) 画像投影方法、及び画像投影装置
JP6337614B2 (ja) 制御装置、ロボット、及び制御方法
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
KR20130038300A (ko) 공간 광 패턴에 기초한 깊이 데이터의 생성
US10726569B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US10386930B2 (en) Depth determining method and depth determining device of operating body
JP6412372B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
JP2007508557A (ja) 三次元物体を走査するための装置
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
WO2018012524A1 (ja) 投影装置、投影方法および投影制御プログラム
JP2019168862A5 (ja)
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP5342977B2 (ja) 画像処理方法
JP4351090B2 (ja) 画像処理装置および画像処理方法
JP2020129187A (ja) 外形認識装置、外形認識システム及び外形認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180928

R151 Written notification of patent or utility model registration

Ref document number: 6412372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151