JP2023045749A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】製品の検定を柔軟かつ高精度に行うこと。
【解決手段】情報処理装置１０の撮影部１２は移動可能である。特定部１６１は、撮影部１２によって撮影された画像に写るＡＲ（Augmented Reality）マーカを基準に、空間における撮影部１２の位置及び向きを特定する。抽出部１６３は、撮影部１２によって撮影された画像から物体の所定の部分が写った領域を抽出する。検定部１６４は、抽出部１６３によって抽出された領域の画像、及び特定部１６１によって特定された撮影部１２の位置及び向きを基に、部分があらかじめ定められた態様であるかどうかを検定する。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、ＣＡＤ（Computer Aided Design）の情報を利用し、製品が設計通りに製造されているかどうかを検定する方法が知られている。

例えば、特許文献１には、押出成形品をスライスし金属サッシにはめ込んだワークを読み取った画像とＣＡＤ図面画像との重ね合わせを行い、指定部位について寸法計測を行い自動的に押出成形品の良否を判定する技術が記載されている。

また、例えば、特許文献２には、ＣＡＤ情報を参照して基板画像中のスルーホールの存在範囲を大まかに特定した後、その存在範囲の中から画像認識処理によってスルーホールの詳細位置を特定する技術が記載されている。

特開２００２－２８３４３９号公報 特開２００６－１０５７７７号公報

しかしながら、従来の技術では、製品の検定を柔軟かつ高精度に行うことが難しい場合があるという問題がある。

例えば、特許文献１に記載の技術は、スライスされ金属サッシにはめ込まれた状態の製品の読み取り画像を使って検定を行うものである。このため、例えば読み取り位置を変更して検定を行う場合、再び製品のスライス及び金属サッシへのはめ込みという作業が必要になるため、柔軟な検定を行うことは難しい。

また、特許文献１及び特許文献２に記載の技術は、いずれも画像を使って平面的な検定を行うものであり、例えば奥行きを考慮した高精度な検定を行うことは困難である。

実施形態の情報処理装置は、移動可能な撮影部と、撮影部によって撮影された画像に写るＡＲ（Augmented Reality）マーカを基準に、空間における撮影部の位置及び向きを特定する特定部と、撮影部によって撮影された画像から物体の所定の部分が写った領域を抽出する抽出部と、抽出部によって抽出された領域の画像、及び特定部によって特定された撮影部の位置及び向きを基に、部分があらかじめ定められた態様であるかどうかを検定する検定部と、を有することを特徴とする。

図１は、第１の実施形態に係る情報処理装置の使用方法の例を示す図である。 図２は、第１の実施形態に係る情報処理装置の構成例を示す図である。 図３は、３Ｄモデルの重畳について説明する図である。 図４は、撮影部の向きによる写り方の違いを説明する図である。 図５は、画像全体を走査して画像認識を行う方法を説明する図である。 図６は、抽出する位置を特定する方法を説明する図である。 図７は、検定対象を包含するオブジェクトについて説明する図である。 図８は、互いに類似する画像の例を示す図である。 図９は、互いに類似しない画像の例を示す図である。 図１０は、位置及び向きを示唆するオブジェクトの例を示す図である。 図１１は、設計との差分を表示する方法を説明する図である。 図１２は、第１の実施形態に係る情報処理装置の処理の流れを示すフローチャートである。

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置の使用方法の例を示す図である。図１に示すように、ユーザは情報処理装置１０を手に持ち、製品を撮影する。情報処理装置１０には画像を撮影する撮影部（カメラ）と画面を表示する表示部（ディスプレイ）が備えられているものとする。例えば、情報処理装置１０は、スマートフォン及びタブレット型端末である。

情報処理装置１０は、製品が設計通りに製造されているかどうかを画像により検定する。例えば、画像のテンプレートマッチング又はディープラーニングを利用した画像認識等により検定を行う。例えば、情報処理は、溶接打点、ボルト穴、塗装等について検定を行う。

情報処理装置１０は、製品の全数について検定を行うものであってもよいし、製品の一部をサンプリングして検定を行うものであってもよい。実施形態によれば、検定に要する時間を短縮し、単位時間で実施可能な件数を増加させることができる。

また、製品は、複数の部品を組み合わせたものであってもよいし、単一の部品であってもよい。また、製品は、完成品であってもよいし、製造工程の途中のものであってもよい。

情報処理装置１０は、撮影した画像を用いて検定を行う。また、情報処理装置１０は、検定の結果をユーザに通知したり、ユーザに撮影部の移動を促したりすることができる。

また、ユーザは、情報処理装置１０を手に持ち空間における任意の方向へ移動させることができる。なお、情報処理装置１０が移動すると、情報処理装置１０と一体化した撮影部が移動する。

情報処理装置１０はＡＲ（Augmented Reality）機能を有する。例えば、情報処理装置１０によれば、撮影した画像内の指定した場所にＡＲオブジェクトを配置することができる。さらに、情報処理装置１０は、撮影した画像にＡＲオブジェクトを重畳させて表示することができる。

図２は、第１の実施形態に係る情報処理装置の構成例を示す図である。図２に示すように、情報処理装置１０は、通信部１１、撮影部１２、表示部１３、入力部１４、記憶部１５及び制御部１６を有する。

通信部１１は、ネットワークを介して、他の装置との間で有線又は無線によるデータ通信を行う。例えば、通信部１１はＮＩＣ（Network Interface Card）である。

撮影部１２は、画像を撮像する。例えば、撮影部１２は、レンズ及び光学センサを備えたカメラである。撮影部１２は、タブレット型端末である情報処理装置１０と一体に構成されたものであってもよい。

また、撮影部１２は移動可能であるものとする。撮影部１２は、ユーザの手によって移動するものであってもよいし、アーム等により移動するものであってもよい。撮影部１２は、移動可能であるため、物体を様々な位置及び向きで撮影することができる。

表示部１３は、画面の表示を行うディスプレイ等の表示装置である。

入力部１４は、ユーザからのデータの入力を受け付ける。入力部１４は、例えば、マウスやキーボード等の入力装置である。なお、表示部１３及び入力部１４は、タッチパネルディスプレイであってもよい。

記憶部１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等の記憶装置である。

記憶部１５は、情報処理装置１０で実行されるＯＳ（Operating System）やプログラムを記憶する。さらに、記憶部１５は、プログラムの実行で用いられる各種情報を記憶する。例えば、記憶部１５は、ＡＲ情報１５１、オブジェクト情報１５２及び検定情報１５３を記憶する。

ＡＲ情報１５１は、ＡＲマーカの情報である。例えば、ＡＲ情報１５１は、ＡＲマーカとして機能する図形等の画像である。

オブジェクト情報１５２は、ＡＲ機能を使って配置されるオブジェクトの情報である。例えば、オブジェクト情報１５２は、検定対象の製品の３ＤＣＡＤデータである。

検定情報１５３は、検定対象ごとの検定の状況を示す情報である。例えば、検定情報１５３は、物体の部分ごとの検定を行った回数及び検定結果が含まれる。

なお、部分は、検定を行うための単位であり、１つの溶接打点、板の上に設けられた突起物、くぼみ、所定の範囲の塗装領域等である。

制御部１６は、情報処理装置１０を制御する。制御部１６は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等である。例えば、制御部１６は、特定部１６１、表示制御部１６２、抽出部１６３及び検定部１６４として機能する。

特定部１６１は、ＡＲマーカの位置を原点とした場合の情報処理装置１０の相対的な位置を特定することができる。また、ＡＲマーカは、ＡＲ情報１５１として記憶部１５に記憶されているものとする。

特定部１６１は、撮影部１２によって撮影された画像に写るＡＲマーカを基準に、空間における撮影部１２の位置及び向きを特定することができる。

表示制御部１６２は、表示部１３に画像を表示させる。表示制御部１６２は、撮影部１２によって撮影された画像を表示部１３に表示させる。また、表示制御部１６２は、生成した画面を表示部１３に表示させる。

抽出部１６３は、撮影部１２によって撮影された画像から物体の所定の部分が写った領域を抽出する。例えば、抽出部１６３は、Ｙｏｌｏのようなディープラーニングの手法を使って画像認識を実行する。

検定部１６４は、抽出部１６３によって抽出された領域の画像、及び特定部１６１によって特定された撮影部１２の位置及び向きを基に、部分があらかじめ定められた態様であるかどうかを検定する。

例えば、抽出部１６３は、撮影部１２によって撮影された画像から、金属板に設けられた溶接打点が写る矩形の領域を抽出する。そして、検定部１６４は、抽出部１６３によって抽出された領域に写る溶接打点の規定の位置又は大きさからのかい離度により検定を行う。

ここで、抽出部１６３は、領域ごとに認識対象の溶接打点（部分の一例）が存在する確率に応じたスコア（例えば、確信度又は信頼度）を出力する画像認識モデルを用いて抽出を行うものとする。また、画像認識モデルの学習には、規定の位置に既定の大きさで設けられた溶接打点の画像（教師データ）が用いられる。

この場合、抽出部１６３によって抽出された溶接打点が写る領域の画像とともに出力されたスコアが一定値以上である場合、当該溶接打点があらかじめ定められた態様にあるということができる。なお、教師データの画像と、撮影部１２によって撮影された画像との類似度が大きいほど、スコアは大きくなる傾向があるものとする。

ここで、情報処理装置１０は、ＡＲに関する機能を使って柔軟かつ高精度な検定を実現することができる。以下の実施例において、検定の際に用いられる情報処理装置１０の機能を説明する。なお、以降の説明における物体には、製品が含まれる。また、以下の各実施例は単独で実施されてもよいし、組み合わされて実施されてもよい。

（実施例１：３Ｄモデルを重畳表示）
表示制御部１６２は、物体又は部分を模した３Ｄモデルを、撮影部１２によって撮影された画像に、ＡＲマーカを基準に重畳させた画像を表示部１３に表示させることができる。

図３は、３Ｄモデルの重畳について説明する図である。図３の画像２００は、撮影部１２によって撮影された物体２０の画像である。

また、３Ｄモデル３１は、製品である物体２０の設計段階で３ＤＣＡＤによって作成され、オブジェクト情報１５２として記憶部１５に格納されているものとする。

３Ｄモデル３１には、あらかじめ打点３１１、打点３１２、打点３１３、打点３１４、打点３１５、打点３１６、ＡＲマーカ３２１が備えられている。

表示制御部１６２は、ＡＲ機能により、画像２００からＡＲマーカを読み取り、３Ｄモデル３１を画像２００に重畳した画像４００を生成する。そして、表示制御部１６２は、生成した画像４００を表示部１３に表示させる。

ユーザは、重畳表示された３Ｄモデル３１を参照しながら撮影部１２を所望の位置に移動させることができるため、柔軟な検定が可能になる。

（実施例２：効率的な画像取得）
情報処理装置１０は、ＡＲ機能により、検定対象に対する撮影部１２の相対的な位置及び向きを取得することができる。情報処理装置１０は、取得した位置及び向きに応じて画像の抽出及び検定を行うことで、処理を効率化することができる。

なお、抽出部１６３及び検定部１６４が処理対象の画像を取得することは、撮影部１２に所定のタイミングで静止画像を撮影させることによって実現されてもよいし、撮影部１２が撮影する動画像から所定のフレームを抜き出すことによって実現されてもよい。

例えば、検定部１６４は、撮影部１２の向きが所定の範囲にあるときに撮影された画像から、抽出部１６３によって抽出された領域の画像を基に、部分があらかじめ定められた態様であるかどうかを検定する。

図４に示すように、画像２１０ａ及び画像２１０ｂは、物体２０の領域２１０の画像であるが、それぞれ撮影時の撮影部１２の向きが異なる。このように、撮影部１２の向きによって画像における検定対象の写り方が異なる。図４は、撮影部の向きによる写り方の違いを説明する図である。

例えば、撮影部１２と検定対象が正対しているほど画像認識の精度が向上すると考えられる。そこで、検定部１６４は、撮影部１２が矩形の領域２１０に対して垂直に近い向き（例えば８０°～１００°）にあるときに撮影された画像を用いて検定を行う。

画像２１０ａは、撮影部１２が、矩形の領域２１０に対して垂直に近い向き（例えば９０°程度）であるときに撮影された画像から抽出された領域２１０の画像であるものとする。

一方、画像２１０ｂは、撮影部１２が、矩形の領域２１０に対して垂直から遠い向き（例えば４５°程度）であるときに撮影された画像から抽出された領域２１０の画像であるものとする。

この場合、検定部１６４は、画像２１０ｂを用いることなく、画像２１０ａを用いて検定を行う。

画像認識においては、認識対象が画像に大きく写っている場合及び小さく写っている場合であっても、画像の縮小又は拡大により、認識対象を一定の大きさにした上で認識を行うことができる。

一方で、もともと一定のサイズで認識対象が撮影されている方が、画像認識の精度は向上する。

そこで、検定部１６４は、撮影部１２と物体との間の距離が所定の範囲にあるときに撮影された画像から、抽出部１６３によって抽出された領域の画像を基に、部分があらかじめ定められた態様であるかどうかを検定する。

これにより、検定部１６４が、画像に写る検定対象の大きさを一定の大きさに揃えた上で検定を行うことができる。

また、従来の画像認識においては、図５に示すように、矩形の領域２０１を画像２００の左上から全体を走査させながら処理を行う必要があった。この場合、検定と関係ない領域に対しても画像認識に関する処理が行われる。図５は、画像全体を走査して画像認識を行う方法を説明する図である。

一方、検定部１６４は、撮影部１２の位置が所定の範囲にあるときに撮影された画像から、抽出部１６３によって抽出された領域の画像を基に、部分があらかじめ定められた態様であるかどうかを検定する。

図６に示すように、抽出部１６３は、ＡＲ機能を使い、検定対象の領域をＡＲマーカ３２１からの相対的な位置により特定することができる。そして、抽出部１６３は、特定した領域について画像認識を行う。図６は、抽出する位置を特定する方法を説明する図である。

抽出部１６３は、オブジェクト情報１５２を参照し、あらかじめ記憶されたＡＲマーカ３２１に対する打点３１２の位置を特定する。例えば、位置は空間の座標で表される。そして、抽出部１６３は、撮影部１２が打点３１２を撮影可能な位置にあるときに撮影された画像を使って画像認識を行う。

これにより、画像全体を走査する必要が無くなり、処理量が削減でき、さらに正答率の低下につながるノイズを除去することができる。

（実施例３：検定対象のトラッキング）
情報処理装置１０は、ＡＲ機能により、画像（フレーム）において認識された検知対象の空間における位置を保持しておくことができる。

検定部１６４は、検定を行った部分について、ＡＲマーカに対する相対的な位置及び検定を行った回数を、検定情報１５３として記憶部１５に記憶させる。

表示制御部１６２は、検定情報１５３を参照し、部分を包含するオブジェクトを、撮影部１２によって撮影された画像における部分に重畳させて、部分の回数に応じた表示態様により表示部１３に表示させる。表示態様は、色、パターン、形状、大きさ等である。

図７は、検定対象を包含するオブジェクトについて説明する図である。図７に示すように、表示制御部１６２は、検定が行われた部分に球のオブジェクトを表示させる。

図７の例では、表示制御部１６２は、球４０１、球４０２、球４０３、球４０４、球４０５、球４０６を、それぞれ打点３１１、打点３１２、打点３１３、打点３１４、打点３１５、打点３１６の近傍に表示させる。

例えば、球４０４及び球４０６の表示態様は、検定が行われた回数が１回であることを意味している。また、例えば、球４０３及び球４０５の表示態様は、検定が行われた回数が２回であることを意味している。また、例えば、球４０１及び球４０２の表示態様は、検定が行われた回数が３回であることを意味している。

また、例えば、抽出部１６３が同じ部分について複数の画像から領域を抽出する場合、複数の画像は互いに類似していない方が検定の精度が向上すると考えられる。

そこで、抽出部１６３は、検定情報１５３を参照し、撮影部１２によって撮影された複数の画像であって、撮影時における撮影部１２の位置及び向きの互いの相違の度合いが所定の閾値を超えている複数の画像から、部分が写った領域を抽出する。

図８は、互いに類似する画像の例を示す図である。また、図９は、互いに類似しない画像の例を示す図である。図８の画像４１１ａ、画像４１１ｂ、画像４１１ｃ、及び図９の画像４２１ａ、画像４２１ｂ、画像４２１ｃは、いずれも撮影部１２によって撮影された画像の打点３１４の近傍の領域を拡大したものである。

図８の画像４１１ａ、画像４１１ｂ、画像４１１ｃは、撮影時の撮影部１２の位置及び向きの互いの相違度が小さい。一方、図９の画像４２１ａ、画像４２１ｂ、画像４２１ｃは、位置及び向きの互いの相違度が大きい。

具体的には、抽出部１６３は、撮影時の撮影部１２の移動量の差（Δｔ）が閾値以上、又は撮影部１２の角度差（ΔＲ）が閾値以上である複数の画像から領域を抽出する。

また、表示制御部１６２は、記憶部１５を参照し、検定部１６４による検定が行われていない物体の部分を撮影できる撮影部１２の位置及び向きを示唆するオブジェクトを表示部１３に表示させる。

図１０は、位置及び向きを示唆するオブジェクトの例を示す図である。図１０の例では、矢印と吹き出しにより検定が行われていない部分の場所及び数が示唆されている。これにより、ユーザによる撮影部１２の移動を誘導し、検定を効率化することができる。

（その他の機能）
図１１に示すように、情報処理装置１０は、３Ｄモデルの一部を画像に重畳させるともに、製造された部分ごとの設計との差分を表示することができる。図１１は、設計との差分を表示する方法を説明する図である。

図１１の例では、表示制御部１６２は、３Ｄモデルの打点３１５と、製造において実際に設けられた打点との間の距離が７ｍｍであることを逆投影により表示部１３に表示させている。

さらに、抽出部１６３は、撮影部１２によって撮影された画像の画質が所定の条件を満たす場合に、画像から部分が写った領域を抽出する。

例えば、抽出部１６３は、ＡＲ機能により撮影部１２の加速度を推定することができる。抽出部１６３は、撮影部１２の加速度が小さくなり、静止状態に近いと判断できるときに撮影された画像から領域を抽出する。

これにより、ブレの少ない高い画質の画像を利用して検定を行うことが可能になる。なお、抽出部１６３は、情報処理装置１０に備えられたジャイロセンサのセンサ値をさらに考慮して加速度を推定してもよい。

また、従来の画像認識では、オクルージョンを考慮しないため、認識対象の部分が死角になっている場合（例えば、板の裏側に隠れている場合）であっても、そのまま処理を実行する。その結果、死角になっている部分の検定結果が、設計通りでないという結果になることがある。

そこで、抽出部１６３は、物体を模した３Ｄモデルの法線情報及びＡＲマーカを基に、部分が撮影部１２によって撮影された画像に写っていると判定された場合に、画像から部分が写った領域を抽出する。

すなわち、抽出部１６３は、検定対象の部分が画像に写っていると判定できない場合、当該画像からは領域を抽出しない。これにより、オクルージョンを考慮した画像認識による検定が可能になる。

（第１の実施形態の処理）
図１２は、第１の実施形態に係る情報処理装置の処理の流れを示すフローチャートである。まず、情報処理装置１０は、物体を撮影する（ステップＳ１０１）。例えば、情報処理装置１０は、ユーザの操作によって撮影を行う。

次に、情報処理装置１０は、撮影した画像からＡＲマーカを特定する（ステップＳ１０２）。

そして、情報処理装置１０は、撮影した画像に物体の３Ｄモデルを重畳表示する（ステップＳ１０３）。情報処理装置１０は、特定したＡＲマーカを基準に３Ｄモデルを配置する。

続いて、情報処理装置１０は、検定済みの部分に、検定の回数によって表示態様が異なるオブジェクトを重畳表示する（ステップＳ１０４）。例えば、情報処理装置１０は、検定の回数によって色が異なる球のオブジェクトを重畳表示する。

また、情報処理装置１０は、未検定の部分を撮影できる撮影部の位置及び向きを示唆するオブジェクトを表示する（ステップＳ１０５）。例えば、情報処理装置１０は、未検定の部分の方向を示す矢印、及び当該部分の数を示す吹き出しを重畳表示する。

ここで、前回の検定時の画像との撮影部の移動量の差分（Δｔ）及び角度の差分（ΔＲ）がいずれも閾値以上でない場合（ステップＳ１０６、Ｎｏ）、情報処理装置１０は、ステップＳ１０４に戻り引き続き待機する。

ここで、前回の検定時の画像との撮影部の移動量の差分（Δｔ）又は角度の差分（ΔＲ）が閾値以上である場合（ステップＳ１０６、Ｙｅｓ）、情報処理装置１０は、画像から検定対象の部分が写った領域を抽出する（ステップＳ１０７）。

そして、情報処理装置１０は、抽出された領域により検定対象の部分が設計通りであるかどうかを検定する（ステップＳ１０８）。

（第１の実施形態の効果）
これまで説明してきたように、情報処理装置１０の撮影部１２は移動可能である。特定部１６１は、撮影部１２によって撮影された画像に写るＡＲ（Augmented Reality）マーカを基準に、空間における撮影部１２の位置及び向きを特定する。抽出部１６３は、撮影部１２によって撮影された画像から物体の所定の部分が写った領域を抽出する。検定部１６４は、抽出部１６３によって抽出された領域の画像、及び特定部１６１によって特定された撮影部１２の位置及び向きを基に、部分があらかじめ定められた態様であるかどうかを検定する。

ユーザは、撮影部１２を移動させつつ製品（物体）を撮影し、検定を行うことができる。また、ユーザは、情報処理装置１０のＡＲ機能を利用することもできる。これにより、実施形態によれば、製品の検定を柔軟かつ高精度に行うことが可能になる。

表示制御部１６２は、物体又は部分を模した３Ｄモデルを、撮影部１２によって撮影された画像に、ＡＲマーカを基準に重畳させた画像を表示部１３に表示させる。これにより、ユーザは、物体の検定の対象の部分を直感的に把握することができる。

検定部１６４は、撮影部１２の向きが所定の範囲にあるときに撮影された画像から、抽出部１６３によって抽出された領域の画像を基に、部分があらかじめ定められた態様であるかどうかを検定する。これにより、撮影部１２が検定対象に対して適切な向きにあるときに撮影された画像を用いて検定を行うことができ、検定の精度が向上する。

検定部１６４は、撮影部１２と物体との間の距離が所定の範囲にあるときに撮影された画像から、抽出部１６３によって抽出された領域の画像を基に、部分があらかじめ定められた態様であるかどうかを検定する。これにより、適切なスケールの画像を用いて検定を行うことができ、検定の精度が向上する。

検定部１６４は、撮影部１２の位置が所定の範囲にあるときに撮影された画像から、抽出部１６３によって抽出された領域の画像を基に、部分があらかじめ定められた態様であるかどうかを検定する。これにより、検定の対象の部分が写る画像をピンポイントで取得でき、画像全体を走査する場合と比べて処理の効率が向上する。

検定部１６４は、検定を行った部分について、ＡＲマーカに対する相対的な位置及び検定を行った回数を記憶部１５に記憶させる。これにより、同じ検定対象を除外したり、逆に同じ対象を複数回検定するといった柔軟な対応が可能になる。

表示制御部１６２は、記憶部１５を参照し、部分を包含するオブジェクトを、撮影部１２によって撮影された画像における部分に重畳させて、部分の回数に応じた表示態様により表示部１３に表示させる。これにより、ユーザは検定の進行状況を直感的に把握することができるようになる。

抽出部１６３は、記憶部１５を参照し、撮影部１２によって撮影された複数の画像であって、撮影時における撮影部１２の位置及び向きの互いの相違の度合いが所定の閾値を超えている複数の画像から、部分が写った領域を抽出する。これにより、類似しない複数の画像を使って検定を行うことができるようになる。

表示制御部１６２は、記憶部１５を参照し、検定部１６４による検定が行われていない物体の部分を撮影できる撮影部１２の位置及び向きを示唆するオブジェクトを表示部１３に表示させる。これにより、ユーザは効率的に撮影部１２を移動させることができる。

抽出部１６３は、撮影部１２によって撮影された画像の画質が所定の条件を満たす場合に、画像から部分が写った領域を抽出する。これにより、より検定の精度が向上するような画像を得ることができる。

抽出部１６３は、物体を模した３Ｄモデルの法線情報及びＡＲマーカを基に、部分が撮影部１２によって撮影された画像に写っていると判定された場合に、画像から部分が写った領域を抽出する。これにより、オクルージョンを考慮した画像認識及び検定が可能になる。

なお、本実施形態の情報処理装置１０で実行されるプログラムは、ＲＯＭ等にあらかじめ組み込まれて提供される。本実施形態の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータにより読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

本実施形態の情報処理装置１０で実行されるプログラムは、上述した各部（特定部１６１、表示制御部１６２、抽出部１６３及び検定部１６４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、特定部１６１、表示制御部１６２、抽出部１６３及び検定部１６４が主記憶装置上に生成されるようになっている。

本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 情報処理装置
１１ 通信部
１２ 撮影部
１３ 表示部
１４ 入力部
１５ 記憶部
１６ 制御部
２０ 物体
３１ ３Ｄモデル
１５１ ＡＲ情報
１５２ オブジェクト情報
１５３ 検定情報
１６１ 特定部
１６２ 表示制御部
１６３ 抽出部
１６４ 検定部
２００、２１０ａ、２１０ｂ、４００、４１１ａ、４１１ｂ、４１１ｃ、４２１ａ、４２１ｂ、４２１ｃ 画像
２０１、２１０ 領域
３１１、３１２、３１３、３１４、３１５、３１６ 打点
３２１ ＡＲマーカ
４０１、４０２、４０３、４０４、４０５、４０６ 球

Claims (13)

1. 移動可能な撮影部と、
   前記撮影部によって撮影された画像に写るＡＲ（Augmented Reality）マーカを基準に、空間における前記撮影部の位置及び向きを特定する特定部と、
   前記撮影部によって撮影された画像から物体の所定の部分が写った領域を抽出する抽出部と、
   前記抽出部によって抽出された領域の画像、及び前記特定部によって特定された前記撮影部の位置及び向きを基に、前記部分があらかじめ定められた態様であるかどうかを検定する検定部と、
   を有することを特徴とする情報処理装置。
2. 前記物体又は前記部分を模した３Ｄモデルを、前記撮影部によって撮影された画像に、前記ＡＲマーカを基準に重畳させた画像を表示部に表示させる表示制御部をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記検定部は、前記撮影部の向きが所定の範囲にあるときに撮影された画像から、前記抽出部によって抽出された領域の画像を基に、前記部分があらかじめ定められた態様であるかどうかを検定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記検定部は、前記撮影部と前記物体との間の距離が所定の範囲にあるときに撮影された画像から、前記抽出部によって抽出された領域の画像を基に、前記部分があらかじめ定められた態様であるかどうかを検定することを特徴とする請求項１又は２に記載の情報処理装置。
5. 前記検定部は、前記撮影部の位置が所定の範囲にあるときに撮影された画像から、前記抽出部によって抽出された領域の画像を基に、前記部分があらかじめ定められた態様であるかどうかを検定することを特徴とする請求項１又は２に記載の情報処理装置。
6. 前記検定部は、検定を行った前記部分について、前記ＡＲマーカに対する相対的な位置及び検定を行った回数を記憶部に記憶させることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記記憶部を参照し、前記部分を包含するオブジェクトを、前記撮影部によって撮影された画像における前記部分に重畳させて、前記部分の前記回数に応じた表示態様により表示部に表示させる表示制御部をさらに有することを特徴とする請求項６に記載の情報処理装置。
8. 前記抽出部は、前記記憶部を参照し、前記撮影部によって撮影された複数の画像であって、撮影時における前記撮影部の位置及び向きの互いの相違の度合いが所定の閾値を超えている複数の画像から、前記部分が写った領域を抽出することを特徴とする請求項６に記載の情報処理装置。
9. 前記記憶部を参照し、
   前記検定部による検定が行われていない前記物体の部分を撮影できる前記撮影部の位置及び向きを示唆するオブジェクトを表示部に表示させる表示制御部をさらに有することを特徴とする請求項６に記載の情報処理装置。
10. 前記抽出部は、前記撮影部によって撮影された画像の画質が所定の条件を満たす場合に、前記画像から前記部分が写った領域を抽出することを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記抽出部は、前記物体を模した３Ｄモデルの法線情報及び前記ＡＲマーカを基に、前記部分が前記撮影部によって撮影された画像に写っていると判定された場合に、前記画像から前記部分が写った領域を抽出することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 情報処理装置によって実行される情報処理方法であって、
    移動可能な撮影部によって撮影された画像に写るＡＲ（Augmented Reality）マーカを基準に、空間における前記撮影部の位置及び向きを特定する特定工程と、
    前記撮影部によって撮影された画像から物体の所定の部分が写った領域を抽出する抽出工程と、
    前記抽出工程によって抽出された領域の画像、及び前記特定工程によって特定された前記撮影部の位置及び向きを基に、前記部分があらかじめ定められた態様であるかどうかを検定する検定工程と、
    を含むことを特徴とする情報処理方法。
13. コンピュータを、
    移動可能な撮影部によって撮影された画像に写るＡＲ（Augmented Reality）マーカを基準に、空間における前記撮影部の位置及び向きを特定する特定手段と、
    前記撮影部によって撮影された画像から物体の所定の部分が写った領域を抽出する抽出手段と、
    前記抽出手段によって抽出された領域の画像、及び前記特定手段によって特定された前記撮影部の位置及び向きを基に、前記部分があらかじめ定められた態様であるかどうかを検定する検定手段と、
    として機能させることを特徴とする情報処理プログラム。

Images