JP2018200175A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018200175A JP2018200175A JP2017103587A JP2017103587A JP2018200175A JP 2018200175 A JP2018200175 A JP 2018200175A JP 2017103587 A JP2017103587 A JP 2017103587A JP 2017103587 A JP2017103587 A JP 2017103587A JP 2018200175 A JP2018200175 A JP 2018200175A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- specific area
- information processing
- target object
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【課題】位置姿勢の正誤判定に用いるのに適した特定領域を決定することを目的とする。【解決手段】位置姿勢推定の対象物体が撮影された撮影画像における対象物体の位置姿勢候補を決定する候補決定手段と、対象物体の三次元形状を表すモデル情報に基づいて、対象物体の特定領域を決定する領域決定手段と、モデル情報の特定領域の特徴量と、撮影画像の特定領域の特徴量と、に基づいて、位置姿勢候補が位置姿勢として正しいか否かを判定する判定手段とを有する。【選択図】図2
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
近年、工場などにおいて生産自動化の一環として、マシンビジョンを用いて山積みされた物体の中から一個体の位置姿勢を推定し、ロボットにより把持を行う技術が開発されている。特許文献1には、正しい位置姿勢と誤った位置姿勢とで形状の差異が出やすいような特定領域を事前にユーザに設定させておき、特定領域のみで位置姿勢の正誤判定を行うことで誤った位置姿勢の抑制を行う技術が開示されている。
しかしながら、従来技術においては、適切に特定領域を設定するのが難しいという問題があった。
本発明はこのような問題点に鑑みなされたもので、位置姿勢の正誤判定に用いるのに適した特定領域を決定することを目的とする。
そこで、本発明は、情報処理装置であって、位置姿勢推定の対象物体が撮影された撮影画像における前記対象物体の位置姿勢候補を決定する候補決定手段と、前記対象物体の三次元形状を表すモデル情報に基づいて、前記対象物体の特定領域を決定する領域決定手段と、前記モデル情報の特定領域の特徴量と、前記撮影画像の前記特定領域の特徴量と、に基づいて、前記位置姿勢候補が位置姿勢として正しいか否かを判定する判定手段とを有することを特徴とする。
本発明によれば、位置姿勢の正誤判定に用いるのに適した特定領域を決定することができる。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
第1の実施形態に係る情報処理システムは、物体の位置姿勢の推定を行う。具体的には、情報処理システムは、位置姿勢の推定対象の物体が撮影された撮影画像に基づいて、物体の位置姿勢を推定する。以下、位置姿勢の推定対象の物体を対象物体、対象物体の撮影画像を対象画像と称する。
第1の実施形態に係る情報処理システムは、物体の位置姿勢の推定を行う。具体的には、情報処理システムは、位置姿勢の推定対象の物体が撮影された撮影画像に基づいて、物体の位置姿勢を推定する。以下、位置姿勢の推定対象の物体を対象物体、対象物体の撮影画像を対象画像と称する。
図1は、第1の実施形態にかかる情報処理システムのハードウェア構成を示す図である。情報処理システムは、情報処理装置100と、撮像装置110とを有している。情報処理装置100は、CPU101と、ROM102と、RAM103と、HDD104と、表示部105と、入力部106と、通信部107と、を有している。CPU101は、ROM102に記憶された制御プログラムを読み出して各種処理を実行する。RAM103は、CPU101の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD104は、各種データや各種プログラム等を記憶する。表示部105は、各種情報を表示する。入力部106は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。
通信部107は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット(登録商標)が挙げられる。また、他の例としては、通信部107は、無線により外部装置との通信を行ってもよい。撮像装置110は、画像を撮像する。情報処理装置100は、例えばネットワークを介してモデル情報保持部200から画像を受信する。
なお、後述する情報処理装置100の機能や処理は、CPU101がROM102又はHDD104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU101は、ROM102等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、情報処理装置100の機能や処理の少なくとも一部は、例えば複数のCPU、RAM、ROM、及びストレージを協働させることにより実現してもよい。また、他の例としては、情報処理装置100の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
図2は、情報処理装置100の機能構成を示す図である。情報処理装置100は、モデル情報保持部200と、テンプレート作成部201と、テスト画像作成部202と、特定領域決定部203と、画像取得部204と、候補決定部205と、正誤判定部206と、を有している。モデル情報保持部200は、対象物体のモデル情報を保持する。ここで、モデル情報とは、対象物体の表面上の点と対象物体のエッジ上の点を特徴として持つ三次元モデルである。
テンプレート作成部201は、予め設定された複数の視点から三次元モデルを観察した画像を作成し、視点毎に画像中で検出されるエッジに基づいた2次元特徴量を抽出することでテンプレートを作成する。テンプレート作成部201は、さらにテンプレートとテンプレート作成時の三次元モデルの位置姿勢とを対応付けて保持する。ここで、2次元特徴量としては、Line2D特徴量が挙げられる。Line2D特徴量については、以下の文献を参照することができる。
S.Hinterstoisser, C.Cagniart, S.Ilic, P.Sturm, N.Navab, P.Fua, and V.Lepetit,"Gradient response maps for real−time detection of textureless objects," IEEE Transactions on Pattern Analysis and Machine Intelligence,34(5),pp.876−888,2012.
S.Hinterstoisser, C.Cagniart, S.Ilic, P.Sturm, N.Navab, P.Fua, and V.Lepetit,"Gradient response maps for real−time detection of textureless objects," IEEE Transactions on Pattern Analysis and Machine Intelligence,34(5),pp.876−888,2012.
テスト画像作成部202は、三次元モデルに基づいて、三次元モデルをある視点から観察した画像をテスト画像として作成する。ここで、テスト画像は、特定領域を決定するために利用される画像である。特定領域決定部203は、テンプレート作成部201により作成されたテンプレート画像と、テスト画像作成部202により作成されたテスト画像と、に基づいて、特定領域を決定する。ここで、特定領域とは、テンプレートマッチングにより特定された対象画像における対象物体の位置姿勢候補の正誤判定において参照される領域である。画像取得部204は、撮像装置110から対象画像を取得する。候補決定部205は、テンプレート作成部201により作成されたテンプレートとのテンプレートマッチングにより、画像取得部204が取得した対象画像の位置姿勢候補を決定する。ここで、位置姿勢候補は、対象画像の位置姿勢の候補であり、位置姿勢は、撮像装置110を基準とした世界座標系において表現される。正誤判定部206は、特定領域決定部203により決定された特定領域に基づいて、候補決定部205により決定された位置姿勢候補の正誤の判定を行う。
図3は、情報処理装置100による位置姿勢推定処理を示すフローチャートである。S300において、テンプレート作成部201は、画像取得部204のモデル情報に基づいて、テンプレートを作成する。次に、S301において、テスト画像作成部202は、画像取得部204のモデル情報に基づいて、ある視点のテスト画像を作成する。次に、S302において、特定領域決定部203は、モデル情報保持部200が保持するモデル情報と、S300において作成されたテンプレートと、S302において作成されたテスト画像と、に基づいて、特定領域としてのスコアを算出する。ここで、スコアは、特定領域を決定するための評価値である。以下、スコアを算出する処理について詳述する。
特定領域決定部203は、まずテスト画像に描画された対象物体のエッジを検出し、エッジ上の点ごとにLine2D特徴量を抽出する。次に、特定領域決定部203は、テスト画像に対して、テンプレートマッチングを行い、テスト画像の各位置における各テンプレートの類似度を算出する。類似度は上記のHinterstoisserらの手法によって算出する。類似度が高いほどテンプレートとテスト画像が類似していることを表す。類似度が高いにも関わらず、推定した位置姿勢と実際の位置姿勢が異なる場合は、実シーンでも誤った位置姿勢として判別され難く、区別するのが困難である。このような誤った位置姿勢を区別するためには、推定した位置姿勢の三次元モデルと、実際の位置姿勢の対象部品との形状に差異がある部位で位置姿勢の正誤判定を行えばよい。
そこで、本実施形態においては、特定領域決定部203は、類似度の高い位置姿勢のモデル情報(三次元モデル)と、テスト画像との形状に差異のある部位を特定領域として決定するものとする。具体的には、特定領域決定部203は、類似度が閾値以上の位置姿勢Pjを選択し、三次元モデルのエッジ上の点AiをPjに基づいてテスト画像上に投影する。ただし、三次元モデルをPjで変換したとき、観察できないエッジ上の点(裏側の点や自己遮蔽された点など)は投影しない。次に、特定領域決定部203は、投影した点aiと、テスト画像のエッジ上の点のうち、aiの最近傍の点ai'との画像上における距離diを、特定領域のスコアとして求める。ここでスコアは、三次元モデルのエッジ上の点ごとに設定される値であり、スコアが高いほど正しい位置姿勢と誤った位置姿勢とでより形状の差異が出やすいことを表す。特定領域決定部203は、類似度が閾値以上の全ての位置姿勢についてスコアを算出する。なお、スコアの初期値は0とし、事前準備処理(図3に示すS300〜S304の処理)が終了するまでは、特定領域決定部203は、スコアの初期化は行わない。なお、1枚のテスト画像に対して比較を行う位置姿勢の数(テンプレートの数)は、予め設定された1以上の数とする。エッジ上の点の位置は、特徴量の一例であり、本処理は、特徴量特定処理の一例である。
次に、S303において、特定領域決定部203すべての視点のテスト画像についてスコアの算出処理が終了したか否かを判定する。なお、作成されるテスト画像の数は、予め設定された1以上の数とする。特定領域決定部203は、すべての視点のテスト画像について処理が完了している場合には(S303でYes)、処理をS304へ進める。特定領域決定部203は、未処理のテスト画像が残っている場合には(S303でNo)、処理をS301へ進める。この場合、S301において、テスト画像作成部202は、既に作成済みのテスト画像と異なる視点のテスト画像を作成する。そして、S302において、特定領域決定部203は、既に作成済みのテスト画像と、今回作成したテスト画像から特定領域スコアを算出する。さらに、特定領域決定部203は、既に作成済みのテスト画像に対する特定領域スコアが算出されている場合には、これらを加算した値を、三次元モデルの各位置における特定領域スコアとする。
例えば、三次元モデルのエッジ上の点A1について、1枚目のテスト画像での特定領域スコアが4であったとする。また、2枚目のテスト画像で類似度が閾値以上の位置姿勢がP1、P2の2つ存在し、位置姿勢P1におけるスコアが2、位置姿勢P2におけるスコアが3であったとする。この場合には、2枚目のテスト画像の処理終了時でのA1のスコアS1は、(式1)より9となる。
S1=4+2+3=9 …(式1)
S1=4+2+3=9 …(式1)
S304において、特定領域決定部203は、スコアに基づいて、特定領域を決定する。具体的には、特定領域決定部203は、三次元モデルのエッジ上の全点のスコアを高い順に並べ、上位N%となるスコアを閾値として定める。そして、特定領域決定部203は、スコアが閾値以上のエッジ上の点の集合を特定領域として決定する。以上で、対象画像における対象物体の位置姿勢判定の事前準備が終了する。このように、スコアが閾値以上のエッジ上の点が特定領域として決定されるため、1つの領域のみが特定領域として決定されるとは限らず、複数の分離した複数の領域が特定領域として決定される場合もある。また、1点のみの領域も特定領域として決定され得る。すなわち、特定領域は、点や線も含み得る。
次に、S305において、画像取得部204は、撮像装置110により撮影された対象画像を受信する。次に、S306において、候補決定部205は、対象画像の位置姿勢候補を決定する。具体的には、候補決定部205は、S300において作成されたテンプレートに基づくテンプレートマッチングにおいて、各位置姿勢の類似度を算出する。そして、候補決定部205は、類似度が閾値以上となったテンプレートに対応付けられている位置姿勢を対象物体の位置姿勢と決定する。これにより、1又は2以上の位置姿勢候補が決定される。
次に、S307において、候補決定部205は、三次元モデルと、S305において取得した対象画像と、S306において決定された位置姿勢候補と、S304において決定された特定領域と、に基づいて、位置姿勢候補の正誤判定を行う。具体的には、候補決定部205は、三次元モデルの特定領域の点Biを位置姿勢候補Pj'に基づいて対象画像に投影する。ただし、三次元モデルをPj'で変換したとき、観察できない特定領域は投影しない。次に、候補決定部205は、投影した点biと、対象画像のエッジ上の点のうち、biの最近傍の点bi'との画像上における距離di'を算出する。候補決定部205は、di'を全ての特定領域の点で算出し、その平均値をDiとする。Diを全ての位置姿勢候補で算出し、最もDiの小さい位置姿勢候補を正しい位置姿勢と判定する。次に、S308において、候補決定部205は、正しいと判定した位置姿勢を出力するよう制御する。以上で、位置姿勢判定処理が終了する。
以上のように、第1の実施形態に係る情報処理システムにおいては、情報処理装置は、三次元モデルに基づいて、自動的に特定領域を決定し、この特定領域に基づいて、位置姿勢を推定する。これにより、正しい位置姿勢との区別が難しい、誤った位置姿勢が位置姿勢候補として推定された場合においても、特定領域におけるマッチングを行うことにより、最終的に高精度に位置姿勢を推定することができる。このように、位置姿勢の正誤判定に用いるのに適した特定領域を自動的に決定することができる。これにより、ユーザ操作を不要とすることができる。
第1の実施形態の変形例について説明する。本実施形態においては、特定領域を決定する処理は、三次元モデルとテスト画像との2次元画像上でのエッジの比較に基づいた処理とした。ただし、本処理は、予め設定された条件に基づいて、対象物体のモデルどうしを比較し、形状に差異のある部位を判定する処理であればよく、そのための具体的な処理は、実施形態に限定されるものではない。すなわち、情報処理装置100は、三次元モデルとテスト画像それぞれの特徴量の差分に基づいて特定領域を特定すればよく、特徴量は、エッジの位置の差に限定されるものではない。
例えば、情報処理装置100は、推定した位置姿勢の三次元モデル上の点Hと、テスト画像を作成したときの位置姿勢の三次元モデル上の点のうち、Hの最近傍の点H'との三次元空間における距離から算出したスコアに基づいて特定領域を決定してもよい。また、モデル情報にテクスチャ情報が含まれるものとし、三次元モデル上の点の輝度値を取得できるとする。この場合には、情報処理装置100は、輝度値を特徴量として利用してもよい。すなわち、情報処理装置100は、推定した位置姿勢で三次元モデル上の点Iをテスト画像上に投影し、Iの輝度値と、投影した座標におけるテスト画像の輝度値の差から算出したスコアに基づいて特定領域を決定してもよい。
(第2の実施形態)
次に、第2の実施形態に係る情報処理システムについて、第1の実施形態に係る情報処理システムと異なる点を説明する。第2の実施形態に係る情報処理装置100は、三次元モデルの形状に基づいて、特定領域を決定する。図4は、第2の実施形態に係る情報処理装置100の機能構成を示す図である。第2の実施形態に係る情報処理装置100の機能構成は、図2を参照しつつ説明した第1の実施形態に係る情報処理装置100の機能構成とほぼ同様であるが、テスト画像作成部202は有さない。また、特定領域決定部400は、モデル情報に基づいて特定領域を決定し、その処理は第1の実施形態における特定領域の決定の処理と異なる。
次に、第2の実施形態に係る情報処理システムについて、第1の実施形態に係る情報処理システムと異なる点を説明する。第2の実施形態に係る情報処理装置100は、三次元モデルの形状に基づいて、特定領域を決定する。図4は、第2の実施形態に係る情報処理装置100の機能構成を示す図である。第2の実施形態に係る情報処理装置100の機能構成は、図2を参照しつつ説明した第1の実施形態に係る情報処理装置100の機能構成とほぼ同様であるが、テスト画像作成部202は有さない。また、特定領域決定部400は、モデル情報に基づいて特定領域を決定し、その処理は第1の実施形態における特定領域の決定の処理と異なる。
図5は、第2の実施形態に係る位置姿勢推定処理を示すフローチャートである。なお、図5に示す位置姿勢推定処理の各処理のうち、図3を参照しつつ説明した第1の実施形態に係る位置姿勢推定処理の各処理と同一の処理には、同一の番号を付している。S500において、特定領域決定部400は、モデル情報保持部200が保持する三次元モデルの特徴の位置に基づいて対象物体の特定領域を決定する。図6は、特定領域決定処理の説明図である。本実施形態においては、特定領域決定部400は、図6に示す三次元モデル600に対し、領域610のように、細長い物体に対して短手領域(短手方向を長軸とする領域)を特定領域として決定する。
長手方向に少しずれた位置姿勢においては、短手領域において三次元モデルと対象画像とで差異が生じる。ただし、短手領域が小領域のため全体としては形状の差異が小さく、誤った位置姿勢として判定され難い。そのような位置姿勢を誤った位置姿勢として判定できるように、本実施形態においては、短手領域を特定領域として決定する。以下、具体的な処理について説明する。特定領域決定部400は、まず、三次元モデルのエッジ上の点群の分布に対し主成分分析を行い、図6に示すような第1主成分軸620を算出する。次に、特定領域決定部400は、三次元モデルのエッジ上の点群を第1主成分軸上に投影する。ここで、投影した全点の第1主成分軸上の座標のうち、最大値をcmax、最小値をcmin、特定領域と判定する第1主成分軸上の座標の閾値をcthとする。そして、特定領域決定部400は、三次元モデルのエッジ上の点Aiを投影した点の座標ciがcmin≦ci≦cmin+cth又はcmax−cth≦ci≦cmaxであれば、Aiを特定領域として決定する。
CPU101は、S500の処理の後、処理をS305へ進める。なお、第2の実施形態に係る情報処理システムのこれ以外の構成及び処理は、第1の実施形態に係る情報処理システムの構成及び処理と同様である。
以上のように、第2の実施形態に係る情報処理システムにおいては、三次元モデルの形状に基づいて、位置姿勢の正誤判定に用いるのに適した特定領域を自動的に決定することができる。これにより、ユーザ操作を不要とすることができる。
第2の実施形態の変形例としては、特定領域決定処理は、正しい位置姿勢と誤った位置姿勢とで形状の差異がある小領域を抽出し、この小領域を特定領域と判定するものであればよく、主成分分析に基づく方法に限定されるものではない。例えば、情報処理装置100は、Schnabelらの手法等を用いて三次元モデルの特徴の位置に基づいて、対象物体にプリミティブ形状(直方体や円柱等の単純な形状)をあてはめ、プリミティブ形状の範囲外の領域を特定領域として決定してもよい。また、情報処理装置100は、主成分分析に基づいて判定した特定領域と、プリミティブ形状のあてはめに基づいて判定した特定領域の両方に共通の部位又は少なくとも一方が特定領域と判定した部位を特定領域として決定してもよい。Schnabelらの手法については、以下の文献を参照することができる。
R.Schnabel, R.Wahl, and R.Klein,"Efficient RANSAC for point‐cloud shape detection," In Computer graphics forum,Vol.26,No.2,pp.214−226,2007,Blackwell Publishing Ltd.
R.Schnabel, R.Wahl, and R.Klein,"Efficient RANSAC for point‐cloud shape detection," In Computer graphics forum,Vol.26,No.2,pp.214−226,2007,Blackwell Publishing Ltd.
(第3の実施形態)
次に、第3の実施形態に係る情報処理システムについて説明する。第3の実施形態に係る情報処理システムは、対象画像に対する位置姿勢推定を行いながら特定領域を決定する。第3の実施形態に係る情報処理装置100の機能構成は、第2の実施形態に係る情報処理装置100の機能構成とほぼ同様であり、テスト画像作成部を有さない。
次に、第3の実施形態に係る情報処理システムについて説明する。第3の実施形態に係る情報処理システムは、対象画像に対する位置姿勢推定を行いながら特定領域を決定する。第3の実施形態に係る情報処理装置100の機能構成は、第2の実施形態に係る情報処理装置100の機能構成とほぼ同様であり、テスト画像作成部を有さない。
図7は、第3の実施形態に係る情報処理装置100による位置姿勢推定処理を示すフローチャートである。S300の処理の後、S700において、画像取得部204は、対象画像を取得する。次に、S701において、候補決定部205は、対象画像の位置姿勢候補を決定する。次に、S702において、候補決定部205は、三次元モデルと、S300で生成したテンプレートと、S700において取得した対象画像と、S701で決定した位置姿勢候補と、に基づいて、対象物体の特定領域を決定する。基本的には、第1の実施形態において説明した特定部位決定処理と同様の処理である。
第1の実施形態における特定処理と異なる点は、三次元モデルに基づいて作成したテスト画像の替わりに対象画像を使う点と、テンプレートマッチングによって推定した位置姿勢の替わりに位置姿勢候補を使う点である。候補決定部205は、三次元モデルのエッジ上の点を位置姿勢候補で対象画像上に投影し、対象画像のエッジ上の点のうち、投影した点の最近傍の点との画像上における距離が閾値以上であれば特定領域としてのスコアを上げる。S702の処理の後、CPU101は、処理をS307へ進める。なお、第3の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。
以上のように、第3の実施形態に係る情報処理システムは、対象画像に対する位置姿勢推定を行いながら特定領域を決定する。これにより、実際のシーンに即した特定領域で位置姿勢候補の正誤を判定することができ、高精度に位置姿勢を推定できるようになる。
第3の実施形態の変形例としては、特定領域決定処理は、対象物体の三次元モデルと対象画像を比較し、形状に差異のある部位を判定する方法であればよく、三次元モデルと対象画像との二次元画像上でのエッジの比較による方法に限定されるものではない。例えば、撮像装置110としてステレオカメラやTime−of−Flightカメラ等の三次元点群を取得可能なデバイスを使用する。そして、情報処理装置100は、位置姿勢候補の三次元モデル上の点Hと、撮像装置110で取得した三次元点群のうち、Hの最近傍の点H'との三次元空間における距離から算出したスコアに基づいて特定領域を決定してもよい。
また、モデル情報にテクスチャ情報を含み、三次元モデル上の点の輝度値を取得できるとする。この場合には、情報処理装置100は、位置姿勢候補で三次元モデル上の点Iを対象画像上に投影し、Iの輝度値と投影した座標における対象画像の輝度値とを比較し、輝度値の差から算出した域スコアに基づいて特定領域を判定決定してもよい。
また、特定領域決定処理において用いられる画像は、実際に対象物体の位置姿勢を推定する必要のある対象画像に限定されるものではなく、対象物体の画像であればよい。例えば、情報処理装置100は、撮像装置110により撮像された画像を第1の実施形態において説明したテスト画像として用いて、第1の実施形態において説明した事前処理において特定領域を決定してもよい。
(第4の実施形態)
次に、第4の実施形態に係る情報処理システムについて説明する。第4の実施形態に係る情報処理システムは、特定領域内の各箇所に対する、正誤判定に与える影響の大きさを調整する。具体的には、特定領域内の点毎に影響の大きさに対応した重みを付与する。第4の実施形態に係る情報処理装置100の機能構成は、第1の実施形態に係る情報処理装置100の機能構成とほぼ同様である。
次に、第4の実施形態に係る情報処理システムについて説明する。第4の実施形態に係る情報処理システムは、特定領域内の各箇所に対する、正誤判定に与える影響の大きさを調整する。具体的には、特定領域内の点毎に影響の大きさに対応した重みを付与する。第4の実施形態に係る情報処理装置100の機能構成は、第1の実施形態に係る情報処理装置100の機能構成とほぼ同様である。
図8は、第4の実施形態に係る情報処理装置100による位置姿勢推定処理を示すフローチャートである。S300の処理の後、S800において、情報処理装置100は、第1の特定領域決定処理を行う。第1の特定領域決定処理は、図3を参照しつつ説明したS301〜S304の処理と同様である。次に、S801において、情報処理装置100は、第2の特定領域決定処理を行う。第2の特定領域決定処理は、図5を参照しつつ説明したS500の処理と同様である。次に、S802において、特定領域決定部203は、S800において決定した特定領域を第1の特定領域として設定し、S801において決定した特定領域を第2の特定領域として設定する。そして、特定領域決定部203は、両特定領域に共通する領域に対して重み1を付与し、これ以外の領域に対して重み0を付与する。テンプレート作成部201は、その後処理をS305へ進め、続くS306の処理の後、処理をS803へ進める。
S803において、正誤判定部206は、三次元モデル、対象画像、位置姿勢候補及びS802において得られた重み付き特定領域に基づいて、位置姿勢候補の正誤判定を行う。具体的には、正誤判定部206は、まず、重みが0より大きい特定領域の点Biを位置姿勢候補Pj'に基づいて対象画像に投影する。ただし、三次元モデルをPj'で変換したとき、観察できない特定領域は投影しない。次に、正誤判定部206は、投影した点biと、テスト画像のエッジ上の点のうち、biの最近傍の点bi'との画像上における距離di'を算出する。そして、正誤判定部206は、(式2)により重み付き距離dwi'を求める。ここで、wiは、Biの重みである。
dwi'=wi・di' …(式2)
dwi'=wi・di' …(式2)
正誤判定部206は、dwi'を全ての特定領域の点で算出し、その平均値Diを算出する。正誤判定部206は、Diを全ての位置姿勢候補で算出し、最もDiの小さい位置姿勢候補を正しい位置姿勢と判定する。テンプレート作成部201は、その後、処理をS308へ進める。なお、第4の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。
以上のように、第4の実施形態に係る情報処理システムは、異なる複数の処理により決定した特定領域に基づいて、特定領域内の各点の重みを調整し、重みに応じた正誤判定を行う。これにより、特定領域の中でも、正しい位置姿勢と誤った位置姿勢とでより形状の差異が出やすい部位を重視して位置姿勢候補の正誤を判定することができ、高精度に位置姿勢を推定できるようになる。
第4の実施形態の変形例としては、情報処理装置100は、正しい位置姿勢と誤った位置姿勢とで形状の差異が出やすい部位ほど重みを与えればよく、特定領域の重み調整の具体的な処理は実施形態に限定されるものではない。例えば、情報処理装置100は、第1の特定領域と第2の特定領域の共通領域に重み1を付与し、片方のみ特定領域と判定された領域は重み0.5を付与し、どちらも特定領域と判定されなかった領域は重みを0にしてもよい。また、情報処理装置100は、複数の特定領域をユーザに提示し、ユーザに特定領域を選択させ、選択した特定領域の重みを1に、それ以外の領域の重みを0にしてもよい。
以下、上記実施形態の変形例について説明する。撮像装置110は上述した1台のカラーカメラに限るものではなく、位置姿勢候補が決定できるものであればよい。例えば、濃淡画像を撮像するカメラやステレオカメラやカメラとプロジェクタで構成された装置でもよい。
また、モデル情報は、上述した対象物体の面、対象物体表面上の点、対象物体のエッジ上の点によって構成される三次元モデルに限るものではなく、対象物体の三次元形状を表すものであればよい。例えば、複数視点から対象物体を撮像し、撮像時の対象物体の位置姿勢が紐づいた実画像群でもよい。この場合、第1の実施形態の情報処理装置100は、各実画像をテンプレートとし、ある実画像に対してテンプレートマッチングを行って特定領域を判定する。特定領域スコアは実画像ごとに保持しておき、実画像ごとに特定領域を決定する。位置姿勢正誤判定では、位置姿勢候補に最も近い位置姿勢が紐づいた実画像の特定領域に基づいて判定を行う。第2の実施形態の情報処理装置100は、実画像ごとに主成分分析やプリミティブ形状のあてはめを行い、特定領域を決定する。
特定領域は、対象物体のモデルのある部位など領域を指定するものでもよく、モデルの一部の点を指定するものでもよい。例えば、モデルの一部の線でもよい。また、モデルの一部を含む領域でもよい。ここで領域とは、2次元画像上では長方形の内部など、3次元空間では直方体の内部などのように、特定の範囲を表すものである。また、情報処理装置100は、モデルの各箇所に位置姿勢正誤判定時に与える影響の大きさである重みを設定し、重みが閾値より大きい又は小さい箇所を特定領域としてもよい。
位置姿勢候補の決定は上述したテンプレートマッチングに基づくものに限るものではなく、対象物体の位置姿勢が推定できるものであればよい。例えば、Drostらの手法のように三次元特徴を用いた投票に基づいて位置姿勢を推定するものでもよい。Drostらの手法については、以下の文献を参照することができる。
B.Drost,M.Ulrich,N.Navab and S.Ilic,"Model globally, match locally: Efficient and robust 3D object recognition", IEEE Computer Vision and Pattern Recognition,pp.998−1005,2010.
B.Drost,M.Ulrich,N.Navab and S.Ilic,"Model globally, match locally: Efficient and robust 3D object recognition", IEEE Computer Vision and Pattern Recognition,pp.998−1005,2010.
また、位置姿勢候補は上述した複数に限るものではなく、1つでもよい。その場合、情報処理装置100は、位置姿勢正誤判定では、特定領域を対象画像に投影した点biと対象画像のエッジ上のbiの最近傍点bi'との距離の平均値Diを算出し、Diが閾値未満であれば正しい位置姿勢と判定する。
位置姿勢の出力は位置姿勢正誤判定の直後に限るものではなく、処理終了の前に位置姿勢を出力するのであればいつでも良い。例えば、位置姿勢正誤判定の後に正しいと判定された位置姿勢を初期値として、入力画像に対して対象物体の三次元モデルをあてはめる(モデルフィッティング)などの方法により、より正確な位置姿勢を算出してから位置姿勢を出力してもよい。
位置姿勢正誤判定のための処理は、実施形態に限定されない。情報処理装置100は、例えば、二次元画像上での特定領域の特徴の位置と入力画像の特徴の位置との距離に基づいて位置姿勢候補の正誤を判定してもよい。また、情報処理装置100は、また、二次元画像上での特定領域の輝度値と入力画像の輝度値の差に基づいて位置姿勢候補の正誤を判定してもよい。また、情報処理装置100は、三次元空間での特定領域の特徴の位置と撮像部で取得した三次元点群との距離に基づいて位置姿勢候補の正誤を判定してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 情報処理装置
203 特定領域決定部
205 候補決定部
206 正誤判定部
203 特定領域決定部
205 候補決定部
206 正誤判定部
Claims (10)
- 位置姿勢推定の対象物体が撮影された撮影画像における前記対象物体の位置姿勢候補を決定する候補決定手段と、
前記対象物体の三次元形状を表すモデル情報に基づいて、前記対象物体の特定領域を決定する領域決定手段と、
前記モデル情報の特定領域の特徴量と、前記撮影画像の前記特定領域の特徴量と、に基づいて、前記位置姿勢候補が位置姿勢として正しいか否かを判定する判定手段と
を有することを特徴とする情報処理装置。 - 前記モデル情報に基づいて、第1の位置姿勢の対象物体のテスト画像を生成する生成手段と、
前記テスト画像の特徴量と、前記第1の位置姿勢と異なる第2の位置姿勢における前記対象物体の特徴量と、を特定する特徴量特定手段と
をさらに有し、
前記領域決定手段は、前記テスト画像の特徴量と、前記第2の位置姿勢の対象物体の特徴量と、に基づいて、前記特定領域を決定することを特徴とする請求項1に記載の情報処理装置。 - 前記領域決定手段は、前記モデル情報に基づいて、予め設定された条件を満たす領域を前記特定領域として決定することを特徴する請求項1に記載の情報処理装置。
- 前記領域決定手段は、前記モデル情報の特徴の位置の主成分分析により判定した前記対象物体の短手領域を前記特定領域として決定することを特徴とする請求項3に記載の情報処理装置。
- 前記領域決定手段は、前記モデル情報の特徴の位置に基づいて、前記対象物体にプリミティブ形状をあてはめ、前記プリミティブ形状の範囲外に存在する領域を前記特定領域として決定することを特徴とする請求項3に記載の情報処理装置。
- 前記領域決定手段は、前記候補決定手段により決定された位置姿勢候補の前記モデル情報の特徴量と、前記対象物体を含む撮影画像の特徴量と、に基づいて、前記特定領域を決定することを特徴とする請求項3に記載の情報処理装置。
- 前記領域決定手段は、前記モデル情報に基づいて、第1の条件を満たす第1の特定領域と、前記第1の条件と異なる第2の条件を満たす第2の特定領域と、を特定領域として決定し、
前記第1の特定領域と、前記第2の特定領域と、に基づいて、特定領域内の各点の重みを決定する重み決定手段をさらに有し、
前記判定手段は、さらに重みに基づいて、前記位置姿勢候補が正しいか否かを判定することを特徴とする請求項3に記載の情報処理装置。 - 前記判定手段は、前記モデル情報の前記特定領域を、前記位置姿勢候補に基づいて前記撮影画像に投影した場合の特徴量と、前記撮影画像における前記特定領域の特徴量と、の差分に基づいて、前記位置姿勢候補が正しいか否かを判定することを特徴とする請求項1に記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
位置姿勢推定の対象物体が撮影された撮影画像における前記対象物体の位置姿勢候補を決定する候補決定ステップと、
前記対象物体の三次元形状を表すモデル情報に基づいて、前記対象物体の特定領域を決定する領域決定ステップと、
前記モデル情報の特定領域の特徴量と、前記撮影画像の前記特定領域の特徴量と、に基づいて、前記位置姿勢候補が位置姿勢として正しいか否かを判定する判定ステップと
を含むことを特徴とする情報処理方法。 - コンピュータを、請求項1乃至8の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103587A JP2018200175A (ja) | 2017-05-25 | 2017-05-25 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103587A JP2018200175A (ja) | 2017-05-25 | 2017-05-25 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018200175A true JP2018200175A (ja) | 2018-12-20 |
Family
ID=64668037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017103587A Withdrawn JP2018200175A (ja) | 2017-05-25 | 2017-05-25 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018200175A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020148899A1 (ja) * | 2019-01-18 | 2021-04-01 | 三菱電機株式会社 | レーダ装置および位置姿勢計測方法 |
-
2017
- 2017-05-25 JP JP2017103587A patent/JP2018200175A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020148899A1 (ja) * | 2019-01-18 | 2021-04-01 | 三菱電機株式会社 | レーダ装置および位置姿勢計測方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9928656B2 (en) | Markerless multi-user, multi-object augmented reality on mobile devices | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
JP6723061B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP4829141B2 (ja) | 視線検出装置及びその方法 | |
US10033985B2 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
WO2019011249A1 (zh) | 一种图像中物体姿态的确定方法、装置、设备及存储介质 | |
CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
JP2020526845A (ja) | 姿勢変動に頑健な顔位置調整のためのシステム及び方法 | |
KR20120048370A (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
KR101759188B1 (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
KR102110459B1 (ko) | 3차원 이미지 생성 방법 및 장치 | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
US10600202B2 (en) | Information processing device and method, and program | |
US9317968B2 (en) | System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery | |
JP2014134856A (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
JP4921847B2 (ja) | 対象物の三次元位置推定装置 | |
JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2018200175A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6198104B2 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
CN114972491A (zh) | 视觉slam方法、电子设备、存储介质及产品 | |
CN112449701B (zh) | 学习模板表示库 | |
WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20200707 |