JP2017182672A - 情報処理方法および情報処理装置、プログラム - Google Patents

Abstract

【課題】 紙面と紙面が置かれた領域が類似色の場合にも精度良く紙面領域検出を行う。【解決手段】 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影し、前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像し、前記撮像手段が撮像した撮像画像における前記第１の物体の領域の画素と前記第２の物体があると予め定められている領域の画素との輝度値の差を、異なる色の光を前記投影手段が投影した状態をそれぞれ前記撮像手段が撮像した複数の撮像画像において取得し、前記輝度値の差に基づいて、前記複数の撮像画像の少なくとも１つから前記第１の物体と前記第２の物体との領域の境界を検出する。【選択図】 図１

Description

本発明は、物体の領域を検出する情報処理方法および情報処理装置、プログラムに関するものである。

カメラを用いて現実世界に存在する紙物体の位置と大きさを検出する技術（以降、「紙面検出技術」、「紙面領域検出技術」とも記載する）が知られている（特許文献１）。特許文献１においては、カメラを使った紙面検出技術として、紙面を配置した状態を撮影し、撮影画像からエッジを抽出することで、紙面に相当する領域を検出している。

特開２００８−７８９４９

しかしながら、上記の手法では、撮影画像から紙面に相当する領域のエッジを正確に抽出できない可能性がある。エッジ抽出の方法としては、画像内の画素間の輝度差を見て、輝度差が所定の閾値を超えた場合に、該画素間のエッジとして抽出する方法が知られているが、本手法では輝度差が閾値を超えない場合、エッジを抽出することができない。カメラを使って紙面を撮影する場合、紙面領域の画素と紙面が置かれた机面領域の画素とで輝度差がない可能性があるため、紙面領域のエッジを抽出できない可能性が生じる。輝度差の閾値を下げると、実際にはエッジではない箇所をエッジとして抽出してしまう可能性が生じる。結果として、紙面領域ではない領域を検出してしまうことが生じうる。

本発明は上記の課題に鑑みてなされたものであり、物体の領域の検出精度を向上させる情報処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

本発明に係る情報処理装置は以下の構成を備える。即ち、第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影手段と、前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像手段と、前記撮像手段が撮像した撮像画像における前記第１の物体の領域の画素と前記第２の物体があると予め定められている領域の画素との輝度値の差を、異なる色の光を前記投影手段が投影した状態をそれぞれ前記撮像手段が撮像した複数の撮像画像において取得する取得手段と、前記輝度値の差に基づいて、前記複数の撮像画像の少なくとも１つから前記第１の物体と前記第２の物体との領域の境界を検出する検出手段。

本発明によれば、物体の領域の検出精度を向上させることが可能になる。

実施形態における情報処理装置を使用したときの外観である。 実施形態におけるハードウェア構成の一例を示すブロック図である。 実施形態における情報処理装置の構成を示すブロック図である。 実施形態における処理の全体の流れを示すフローチャートである。 実施形態における投影光のパラメータを保持するテーブルの一例である。 実施形態における紙面領域検出処理の流れを示すフローチャートである。 実施形態における結果評価処理の流れを示すフローチャートである。 実施形態における処理の全体の流れを示すフローチャートである。 実施形態における評価対象決定処理の流れを示すフローチャートである。 実施形態における情報処理装置の構成を示すブロック図である。 実施形態における処理の全体の流れを示すフローチャートである。 実施形態における評価対象決定処理の流れを示すフローチャートである。 実施形態における投影光のパラメータを保持するテーブルの一例である。

以下、添付の図面を参照して詳細に説明する。

＜実施形態１＞
はじめに、図１（ａ）（ｂ）（ｃ）（ｄ）を用いて本実施形態における情報処理装置の外観を示し処理概要を説明する。本実施形態では、プロジェクタ、被写体のＲＧＢ情報を撮像するＲＧＢカメラを備える情報処理装置１０１を用いる。情報処理装置１０１は、該装置が備えるＲＧＢカメラを用いて、机１０２（第１の物体）の平面領域内に置かれた紙文書１０３（第２の物体）の位置と大きさを取得する。人間の目で確認すると、紙文書のエッジは明瞭だが、情報処理装置がＲＧＢカメラによる撮像画像を画像処理すると、紙文書のエッジを正確に検出することは難しい。エッジとは、紙文書と机との境界であり、紙文書の端を指す。

紙文書の位置と大きさを取得する際に、情報処理装置１０１が備えるプロジェクタにより、三原色の光を合成して、異なる色を複数投影し、それぞれの色毎にＲＧＢカメラによる撮影を行う。図１（ｂ）は投影した場合の一例であり、投影光１０４が投影されている。図１（ｃ）は投影光毎の撮影結果の一例である。赤色光のみを投影した場合の撮影結果、緑色光のみを投影した場合の撮影結果、青色光のみを投影した場合の撮影結果が示されている。投影光により、撮影結果には違いが生じる。これは、机１０２と紙文書１０３が持つ光の分光反射率特性が異なるためである。光の反射率は、物質毎に異なるという性質がある。本例では、赤色光と青色光において、机１０２と紙文書１０３の反射率が類似しており、緑色光では机１０２と紙文書１０３の反射率が異なる場合の例を示している。机１０２と紙文書１０３とで反射率が類似する赤色光と青色光では、机１０２からの反射光と紙文書１０３からの反射光が類似することとなり、カメラで撮影した結果、紙端と机が区別しにくい状態になる。一方、机１０２と紙文書１０３とで反射率が異なる緑色光の場合は、机１０２からの反射光と紙文書１０３からの反射光に違いが生じるため、ＲＧＢカメラの撮影画像では紙端と机の境界が明確になっている。本装置では、机からの反射光と紙からの反射光の違いが明確な撮影画像を使って紙面領域検出処理を行うことにより、紙面領域検出の精度を向上させる。図１（ｄ）は紙面領域検出結果の一例である。

机の分光反射率特性は固定であり、予め得ることが容易である。机の上には様々な種類の分光反射率特性を持つ紙が重ねて置かれる。机と紙との分光反射率特性は何れかの波長帯で異なっていると考えられる。机と紙とで分光反射率が異なる波長光を紙と机とに投射した状態を撮像すれば、その撮像画像から得られた机と紙との境界（紙文書のエッジ）は、高い精度で得られると考えられる。尚、様々な紙の分光反射率特性を全て予め得ることは現実的ではなく、どのような投影光を机と紙とに投射するのが、エッジを精度良く検出するために効率的かは予め得られていない。

手（第１の物体）で紙（第２の物体）を持っている状態を撮影して、紙の領域を検出することにも本実施形態は適用できる。

以降、図２〜図７を用いて詳細に説明する。

図２は、実施形態における情報処理装置に含まれる各ハードウェア構成の一例である。図１にて説明した情報処理装置１０１は以下に説明するハードウェア構成を備えている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２は、各種処理のための演算や論理判断などを行い、バス２０１に接続された各種要素を制御する。

本情報処理システムは、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３であっても良いし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４であっても良い。あるいは、これらの組合せで実現しても構わない。

記憶装置２０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの装置である。また、本実施形態では、投影用のデータや撮影結果を保持しておくためにも利用される。なお、投影用データや撮影結果の保持装置としては、外部接続やネットワーク接続された不図示のデータ保持装置を用いても良い。ここで、外部記憶装置２０６は、たとえば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、たとえば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。

入力装置２０７は現実世界の情報をデジタルデータとして取り込むための装置である。本実施形態では、ＲＧＢカメラおよびキーボード、マウスにより構成される。

出力装置２０８は処理結果等を表示出力する表示手段としての装置である。出力装置２０８は、プロジェクタにより実現されており、投影用データやＵＩボタン等を投影表示する。

インタフェース２０９は、情報の仲介を行う装置であり、このインタフェース２０９を介して外部装置とのデータのやり取りを行う。例えば、ネットワークインタフェースである。

図３は、実施形態における情報処理装置１０１の構成を示すブロック図である。情報処理装置１０１は、撮影処理部３０１、投影処理部３０２、紙面領域検出部３０３、評価取得部３０４から構成される。前述のように本装置は図２にて説明したハードウェアを備える。

撮影処理部３０１は、現実世界の紙文書を撮影するＲＧＢカメラである。ユーザの撮影指示に基づき、後述する投影処理部３０２により所定の光が投影された状態の撮影を行う。ユーザは、撮影のきっかけを指示する。尚、ユーザが撮影指示をせず、自動的に撮影を開始しても良い。

投影処理部３０２は、現実世界に対してプロジェクタを用いて撮影のための所定光および操作のためのＵＩ情報を投影する。

紙面検出部３０３は、撮影処理部３０１の撮影画像に対して紙面領域検出処理を実施する。紙面と机面との領域の境界を検出する。

評価取得部３０４は、撮影処理部３０２の撮影結果に対して評価を行い、紙面領域検出処理を行う画像を決定する。

ブロック図が示す各処理は、図２のＣＰＵ２０２によって制御されている。各処理の詳細は後述する。

図４は、本実施形態において、情報処理装置が行う処理の全体の流れをフローチャートにより説明するものである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

ステップＳ４０００は撮影回数取得処理である。ユーザによる撮影指示を受け付けると当該処理が実施される。ユーザによる撮影指示は、図２における入力装置２０７により入力される。たとえば、撮影指示のためのボタンがＵＩとして机上に投影されている。該ボタンに対してマウスにより指示を行うことができる。撮影回数取得処理では、図５に示す投影光のパラメータを保持するテーブルを参照し、データが格納されている行数をカウントすることで取得する。図５の例の場合、投影回数が４回になるので、それに対応して、撮影回数は４として取得される。また、投影回数をカウントするカウンタ値を０と設定する。

ステップＳ４００５は投影回数確認処理である。投影回数確認処理では、現在の投影回数をカウントするカウンタ値とステップＳ４０００にて取得した撮影回数を比較する。比較の結果、投影回数をカウントするカウンタ値がステップＳ４０００にて取得した撮影回数に達しない場合、ステップＳ４０１０へ移行する。投影回数をカウントするカウンタ値がステップＳ４０００にて取得した撮影回数に達している場合は、ステップＳ４０４０に移行する。

ステップＳ４０１０は色投影処理である。色投影処理では、現在のカウンタ値と図５に示すテーブルを参照して、投影する光の色を決定する。投影色を決定した後、当該色で構成される映像信号をプロジェクタに入力する。プロジェクタは、当該映像信号に従い投影を行う。投影後、投影回数をカウントするカウンタ値に１を加算し、ステップＳ４０２０へ移行する。

当該処理の具体例を示す。一度も投影していない場合は、ステップＳ４０００にてカウンタ値は０として設定されている。この場合、図５のテーブルのカウンタ値５０１が０に対応する投影パラメータ５０２を参照し、（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）であることが分かる。また、投影を４回実施している場合は、カウンタ値は４と設定されていることになる。この場合、カウンタ値に対応するテーブルが定義されていないため、撮影回数がステップＳ４０００にて取得した回数に達していると判断する。

ステップＳ４０２０は撮影処理である。撮影処理では、ステップＳ４０１０にて投影された状態に対して撮影処理を実施する。撮影処理は、ＲＧＢカメラを用いる。

本実施形態では、静止画の撮影が可能なＲＧＢカメラを使用するが、異なるカメラを用いても良い。たとえば、動画を撮影可能なＲＧＢカメラを用いて、撮影された動画の１フレームを静止画として切り出しても良い。

また、プロジェクタのリフレッシュレートに基づきカメラのシャッタースピードを変更しても良い。プロジェクタの方式により、Ｒ（赤）とＧ（緑）とＢ（青）の光をリフレッシュレートに定められるタイミング毎に切り替えて投影する場合がある。この場合、シャッタースピードが速すぎると、ある特定の色を投影しているタイミングのみで撮影してしまう可能性が生じ、所望の色を投影した状態での撮影に失敗してしまう。リフレッシュレート毎にカメラのシャッタースピードを定義しておくことで当該問題を解消することができるようになる。

ステップＳ４０３０は評価処理である。評価処理では、ステップＳ４０２０にて撮影された画像に対して後述のような評価を行い、紙面と机面とのエッジ検出を精度良く行えそうな画像を決定する。評価処理の詳細は図７を用いて後述する。Ｓ４０１０で投影された投影色ごとにＳ４０２０で撮影し、撮像画像に対してそれぞれ評価処理を行う。

ステップＳ４０４０は紙面検出処理である。紙面検出処理では、ステップＳ４０３０にて決定した画像を解析し、紙面と思われる領域の位置と大きさを算出する。紙面領域検出処理は既存の技術を用いることができる。紙面領域検出処理の一例については、図６を用いて後述する。

本実施形態では、エッジ検出の精度を上げることにより、紙面領域検出の精度を上げようとしている。ただし、エッジ検出の精度が向上しても、図６のＳ６０１０以降の処理によっては紙面領域の検出の精度が向上しないことがある。

続いて、図４におけるステップＳ４０４０の紙面領域検出処理について、図６を用いて処理フローを詳細に説明する。紙面検出部３０３が行う処理である。

ステップＳ６０００はエッジ検出処理である。エッジ検出処理では紙面領域検出の対象となる画像からエッジを検出する。エッジ検出は既存の技術を用いることができる。たとえば、エッジ検出の手法としてＣａｎｎｙ Ｅｄｇｅと呼ばれる手法が知られている。なお、単純にＣａｎｎｙ Ｅｄｇｅを適用するのではなく、エッジ検出結果に対して、ノイズ除去等の処理を加えても良い。ノイズ除去を行うことで、机や紙面にまだら模様のような細かいエッジが検出される場合に、後段処理で処理対象となるエッジを削減することができ、処理負荷を低減させることが可能になる。

ステップＳ６０１０は直線検出処理である。直線検出処理では、ステップＳ６０００にて検出したエッジ画素に対してハフ変換を実施することで直線成分を検出する。

ステップＳ６０２０は線分検出処理である。線分検出処理では、ステップＳ６０１０において検出した直線に対して、直線の近傍にあるエッジ画素を端点探索し、線分として抽出する。

ステップＳ６０３０は四辺候補選択処理である。四辺候補選択処理では、ステップＳ６０２０で線分化された直線群から四辺を成す組を決定する。

ステップＳ６０４０は四辺選択処理である。四辺選択処理では、ステップＳ６０３０にて選択した四辺候補から紙面領域検出結果として採用する四辺を選択する。選択処理は、規定の指標を用いてスコアを計算し、スコアが高いものを結果として選択する。指標としては、たとえば、四辺を成す組の面積に対する画像全体の割合や四辺の辺の比率が挙げられる。

続いて、図４におけるステップＳ４０３０の評価処理について、図７を用いて処理フローを詳細に説明する。評価取得部３０４が行う処理である。

ステップＳ７０００は評価対象決定処理である。評価対象決定処理では、画像から、評価対象とする画素を決定する。分光反射率特性を調べる対象画素を特定している。評価対象の画素の座標値は予め規定しておき、規定値を参照することで、評価対象画素を特定する。たとえば、撮影画像の中心座標を規定した場合、評価対象は撮影画像の中心座標に位置する画素となる。

ステップＳ７０１０は輝度評価取得処理である。輝度評価取得処理では、紙が置かれていない状態の机の投影光に対応する輝度値とステップＳ７０００で決定した評価対象画素の輝度値を比較する。紙が置かれていない状態の机における投影光に対応する輝度値は、予め取得され不図示のＤＢに格納されている。たとえば、赤色光を投影した場合の机のみの撮影画像を予め解析し、輝度値を算出しておく。該輝度値と、紙を置いた状態で赤色光を投影した場合の撮影画像の対象画素の輝度値を比較する処理を実施する。紙を置いた状態で投影し、予め紙が置かれないことが分かっている机の領域への投影光に対応する輝度値を用いて輝度評価取得処理を行っても良い。

ステップＳ７０２０は結果選択処理である。結果選択処理では、ステップＳ７０１０にて評価した輝度値の差に基づいて、紙面領域検出対象として適する撮影画像を選択する。具体的には、輝度値の差が閾値より大きくなる撮影画像が紙面領域検出対象として適切であると判断し、紙面領域検出処理の対象と決定する。輝度値の差が閾値より大きい撮影画像が得られれば、その時点でステップＳ４０３０の評価処理を終了し、その撮影画像に対して、ステップＳ４０４０の紙面領域検出処理を行っても良い。なお、輝度値の差が大きくなる撮影画像は、机と紙の分光反射率特性が大きく異なる場合に生じる。たとえば、机の分光反射率特性が赤１０％、緑１０％、青９０％、紙の分光反射率特性が赤９０％、緑１０％、青１０％の場合、赤色光を投影すると、輝度値の差が大きくなる。

図６を用いて前述したように紙面領域検出ではエッジ検出処理を実施している。エッジ検出処理では、輝度値の勾配（差）に基づく処理を実施しているため、輝度値の差が生じないとエッジ検出がうまくいかない。本実施形態のように、輝度値の差が生じている画像を用いることで、エッジ検出の精度が向上し、結果として紙面領域検出の精度が向上することが期待できる。

また、本実施形態では、輝度値の比較により評価を行ったが、異なる情報を用いても良い。たとえば、図５に示すテーブルで規定される光を投影し、反射率の測定装置を用いて、机に紙を置いていない状態の反射率と紙を置いた場合の反射率を取得する。この反射率を比較し、反射率の差が大きい光を投影した状態を撮影した画像に対して、図６の紙面領域検出処理を行っても良い。図５に示すテーブルで規定される光を４パターン全て投影しなくても、ある投影光（何れかの波長帯）による机と紙との反射率の差が閾値を超えていれば、その投影光を投影した状態を撮影した画像を紙面領域検出処理の対象として採用しても良い。反射率と輝度の関係は、数式（１）のように示すことが可能である。照度が一定の場合、反射率と輝度は比例する関係になるため、反射率の差を用いる場合と輝度の差を用いる場合で同様の効果が得られることが期待できる。

輝度 ＝ 反射率×照度 （１）
また、本実施形態では、輝度値の比較対象を１画素として規定したが、複数の評価対象座標を規定しておいても良い。中心座標に加え紙面領域検出の対象となる画像４隅の座標を登録しておき、各座標に対応する画素の輝度値を比較することもできる。紙が中心を含む領域に置かれた場合は、中心座標での比較で十分だが、小さな紙の場合中心を含む領域に置かれないことも考えられる。中心以外の座標も評価対象として含めることで、当該問題を解消できる効果がある。

以上、詳細に説明したように、机と紙の分光反射率特性が大きく異なる投影光を投影した状態を撮影した画像を用いれば、エッジ検出精度が向上し、紙面領域検出の精度を向上させることが可能になる。

＜実施形態２＞
実施形態１では、紙面領域検出結果の評価処理において、ステップＳ７０００において規定の評価対象を決定し、輝度の比較を実施した。本実施形態では、評価対象を動的に決定する処理について説明する。

具体的には、投影した状態での撮影と紙面領域検出を実施する前に、投影していない状態で紙面領域検出処理を実施する。該紙面領域検出の結果を用いて、投影した状態の紙面領域検出結果の評価対象を決定する。詳細な処理は、図８および図９を用いて説明する。図２および図３に示す構成は実施形態１と同様である。

図８は、本実施形態において、情報処理装置が行う処理の全体の流れをフローチャートにより説明するものである。

ステップＳ８０００は紙面領域検出処理である。本紙面領域検出処理では、投影しない状態で紙面領域検出を実施する。本処理の結果は、後述するステップＳ８０５０の結果評価処理で使用するため、不図示のＤＢに格納される。

ステップＳ８０１０は撮影回数取得処理である。撮影回数取得処理は、図４におけるステップＳ４０００の処理と同様である。

ステップＳ８０２０は色投影処理である。色投影処理では、現在のカウンタ値と図５に示すテーブルを参照して、投影する光の色を決定する。投影色を決定した後、プロジェクタを用いて投影を行う。実際に投影した回数がステップＳ８０１０において取得した回数に達していた場合、ステップＳ８０５０に移行し、達していない場合はステップＳ８０３０に移行する。処理の詳細は、図４におけるステップＳ４００５，Ｓ４０１０と同様である。

ステップＳ８０３０は撮影処理である。撮影処理は、図４におけるステップＳ４０２０と同様である。

ステップＳ８０４０は評価処理である。評価処理では、ステップＳ８０３０にて撮影された画像を用いて後述のような評価を行い、エッジの検出の精度が高いと思われる結果を決定する。評価処理の詳細は、図７におけるステップＳ７０００評価対象決定処理を除き、図７にて説明した処理と同様である。図７におけるステップＳ７０００評価対象決定処理に相当する処理の詳細は図９を用いて説明する。

ステップＳ８０５０は紙面領域検出処理である。紙面領域検出処理は、図４におけるステップＳ４０４０と同様である。

図９は、図７におけるステップＳ７０００評価対象決定処理に相当する処理をフローチャートにより説明するものである。

ステップＳ９０００は紙面領域検出結果取得処理である。紙面領域検出結果取得処理では、図８のステップＳ８０００にて実施した紙面領域検出結果を取得する。

ステップＳ９０１０は領域端近傍決定処理である。領域端近傍決定処理では、ステップＳ８０００にて取得した紙面領域検出結果から、領域端候補となる座標を決定する。決定方法は、領域の４頂点の座標としても良いし、右上、左下など所定の１頂点の座標としても良い。また、頂点から所定のマージンを設けた座標を評価対象としても良い。

以上、詳細に説明したように、ステップＳ９０１０にて決定された座標を評価対象として図７ステップＳ７０１０輝度評価処理以降の処理を実施することで、評価対象を動的に決定することが可能となる。

紙面の端に写真などのコンテンツが存在すると、コンテンツの印刷に使用されるトナーなどの物質の影響により、コンテンツが存在しない部分の紙面とコンテンツが存在する部分の光の反射率が変わる可能性がある。したがって、コンテンツが存在しない部分の紙面と机の反射率もしくは撮影画像の輝度値には差が生じるが、コンテンツが存在する部分の紙面と机の反射率もしくは撮影画像の輝度値には差が生じない場合が生じる。結果として、紙面端にコンテンツが存在する場合、エッジ検出の精度が高い撮影画像を選び損ねてしまう。本問題に対して、本実施形態の手法を用いることで、紙面端に近い点を評価対象として、輝度値の差が大きくでるステップＳ８０３０による撮影画像の信頼度を向上させることが可能となり、実際の紙面端を検出できる精度を向上させることができる。

また、本実施形態では、投影していない状態の紙面領域検出後に必ず投影を用いた紙面領域検出処理を実施していたが、投影していない状態の紙面領域検出結果が良好な場合、投影を用いた紙面領域検出処理を実施しなくても良い。図８におけるステップＳ８０００紙面領域検出を実施した後、該処理の結果をユーザに提示し、再度の紙面領域検出処理を実施するか判断させ、ユーザが所望した場合にのみステップＳ８０１０以降の処理を実施することもできる。

＜実施形態３＞
実施形態２では、投影をしない状態の紙面領域検出結果を用いて、投影を用いた紙面領域検出結果の評価対象を動的に決定した。本実施形態では、異なる方法を用いて投影を用いた紙面領域検出結果の評価対象の決定方法について図１０〜図１２を用いて説明する。

図１０は本実施形態における情報処理装置の構成を示すブロック図である。情報処理装置は、撮影処理部１００１、投影処理部１００２、紙面領域検出部１００３、物体検知部１００４、評価取得部１００５から構成される。

撮影処理部１００１は、赤外撮影部１００６とＲＧＢ撮影部１００７から構成される。赤外撮影部１００６は赤外カメラを用いて撮影処理を行う。赤外カメラによる撮影結果は物体検知部１００４で実施される物体検知処理に用いられる。ＲＧＢ撮影部１００７は、図３の撮影処理部３０１と同様である。なお、本実施形態では赤外カメラの撮影結果を物体検知処理に用いるが、異なる処理へ適用しても良い。具体的には、赤外画像を使ったユーザによるジェスチャー操作の認識へ適用可能である。

投影処理部１００２は、図３の投影処理部３０２と同様である。

紙面検出部１００３は、図３の紙面領域検出部３０３と同様である。

物体検知部１００４は、赤外撮影部１００６の撮影画像を用いて物体検知処理を実施する。物体検知処理は既存の技術を用いることができる。物体検知処理の一例は、図１１を用いて後述する。

評価取得部１００５は、図３の評価取得部３０４と同様である。

ブロック図が示す各処理は、図２のＣＰＵ２０２によって制御されている。

図１１は、本実施形態において、情報処理装置が行う処理の全体の流れをフローチャートにより説明するものである。

ステップＳ１１０００は物体検知処理である。物体検知処理では、赤外カメラによる撮影画像を用いて、物体が机上に置かれたことを検知し、物体が置かれた領域の位置と大きさを特定する。物体検知処理は、既存の技術を用いることができる。物体検知処理の一例としては、背景差分を用いた手法が知られている。背景差分を用いる手法では、予め何も置かれていない机の状態を赤外カメラで撮影しておき、該撮影結果と現状の撮影結果を比較し、差が生じた場合に物体が存在していると判断する。差が生じている領域を物体が置かれた領域として位置と大きさを特定する。

ステップＳ１１０１０は撮影回数取得処理である。撮影回数取得処理は、図４におけるステップＳ４０００の処理と同様である。

ステップＳ１１０２０は色投影処理である。色投影処理では、現在のカウンタ値と図５に示すテーブルを参照して、投影する光の色を決定する。投影色を決定した後、プロジェクタを用いて投影を行う。実際に投影した回数がステップＳ１１０１０において取得した回数に達していた場合、ステップＳ１１０５０へ移行し、達していない場合はステップＳ１１０３０に移行する。処理の詳細は、図４におけるステップＳ４００５，Ｓ４０１０と同様である。

ステップＳ１１０３０は撮影処理である。撮影処理は、図４におけるステップＳ４０２０と同様である。

ステップＳ１１０４０は評価処理である。評価処理では、ステップＳ１１０３０にて撮影された画像を用いて後述のような評価を行い、エッジ検出の精度が高いと思われる結果を決定する。評価処理の詳細は、図７におけるステップＳ７０００評価対象決定処理を除き、図７にて説明した処理と同様である。図７におけるステップＳ７０００評価対象決定処理に相当する処理の詳細は図１２を用いて説明する。

ステップＳ１１０５０は紙面領域検出処理である。紙面領域検出処理は、図４におけるステップＳ４０４０と同様である。

図１２は、図７におけるステップＳ７０００評価対象決定処理に相当する処理をフローチャートにより説明するものである。

ステップＳ１２０００は物体検知結果取得処理である。物体検知結果取得処理では、図１１のステップＳ１１０００にて実施した物体検知結果を取得する。

ステップＳ１２０１０は領域端近傍決定処理である。領域端近傍決定処理では、ステップＳ１１０００にて取得した物体検知結果から、領域端となる座標を決定する。物体検知結果も領域で表現されるため、処理は図９のステップＳ９０１０と同様である。

以上、詳細に説明したように、ステップＳ１２０１０にて決定された座標を評価対象として図７ステップＳ７０１０輝度評価処理以降の処理を実施することで、評価対象を動的に決定することが可能となる。

赤外カメラによる撮影画像は、ＲＧＢカメラに対して解像度が低いことがあり、赤外カメラの画像だけでは紙面領域検出処理の精度が悪くなる。本実施形態の手法のように、物体検知結果を用いて、大まかな評価対象を動的に決定することで、エッジ検出の精度が高い撮影画像を選び易くすることが可能になる。

＜実施形態４＞
実施形態１では、予め規定した図５のテーブルを用いた処理を実施した。本実施形態では、予め規定したテーブルでは十分な精度が期待できない場合の処理について説明する。机と紙との分光反射率特性がＲＧＢの各波長帯でほぼ同じときに起こる。

図４のステップＳ４０００からＳ４０３０までは、同様の処理を行う。

図４のステップＳ４０３０の評価処理の結果が規定の閾値を超えているか判定する。具体的には、結果として取得された画像の輝度と机の投影光に対する輝度を比較し、輝度値が閾値を超えているか判定する。たとえば、エッジ検出処理が有効にはたらく輝度値の差を閾値として設定しておくことができる。輝度差が閾値を超えている場合、ステップＳ４０４０の紙面検出処理を行う。

輝度値が閾値を超えていない場合、新たに投影する光の色を決定する。具体的には、図５に例示されるテーブルから投影済みの投影色を取得する。次に、取得した各投影色の中間色を決定する。中間色の決定は、テーブルで隣接する２つの投影色におけるＲＧＢ値を加算し、平均をとることで行う。たとえば、ＲＧＢ：２５５、０、０とＲＧＢ：０，２５５，０の場合、決定される中間色は１２７、１２７、０となる。決定された投影色は、図５に例示されるテーブルに反映される。テーブルに投影色を反映する際、以前の投影光データは削除され、新たなテーブルとして作成される。たとえば、図５に例示されるテーブルを用いて決定された投影色を反映した新たなテーブルは、図１３に示すものになる。テーブルを更新した後、投影処理、撮影処理を行い、Ｓ４０３０評価処理の結果が規定の閾値を超えているか判定する。閾値を超えていれば、Ｓ４０４０の紙面領域検出処理を行う。

以上、詳細に説明したように、予め規定した投影光では十分な紙面領域検出の精度が得られない場合、投影光を動的に決定し、再度投影と撮影を行う。すると、机と紙とで、ある波長帯で反射率が異なる投影光を用いることができるため、エッジ検出精度を向上させることが可能になる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 撮影処理部
３０２ 投影処理部
３０３ 紙面領域検出部
３０４ 評価取得部

Claims (10)

1. 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影手段と、
   前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像手段と、
   前記撮像手段が撮像した撮像画像における前記第１の物体の領域の画素と前記第２の物体があると予め定められている領域の画素との輝度値の差を、異なる色の光を前記投影手段が投影した状態をそれぞれ前記撮像手段が撮像した複数の撮像画像において取得する取得手段と、
   前記輝度値の差に基づいて、前記複数の撮像画像の少なくとも１つから前記第１の物体と前記第２の物体との領域の境界を検出する検出手段と、
   を備えることを特徴とする情報処理装置。
2. 前記投影手段が前記第１の物体と前記第２の物体とで反射率特性が異なる光を投影したときに前記撮像手段が撮影した撮像画像のうち前記輝度値の差が閾値を超える撮像画像から、前記検出手段は、前記第１の物体と前記第２の物体との領域の境界を検出することを特徴とする請求項１記載の情報処理装置。
3. 前記投影手段は、前記第２の物体が前記第１の物体の平面領域内に無いときに前記第１の物体に光を投影し、前記撮像手段がその状態を撮像した撮像画像における前記第１の物体の領域の画素を用いて、前記取得手段は、前記輝度値の差を取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記撮像手段は、前記投影手段のリフレッシュレートに基づいたシャッタースピードで撮像することを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
5. 前記第２の物体があると予め定められている領域の画素は、前記第１の物体の平面領域の中心座標に位置する画素であることを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
6. 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影手段と、
   前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像手段と、
   前記撮像手段が撮像した撮像画像における前記第１の物体の領域の反射率と前記第２の物体があると予め定められている領域の反射率との差を、異なる色の光を前記投影手段で投影した状態をそれぞれ前記撮像手段が撮像した複数の撮像画像において取得する取得手段と、
   前記反射率の差に基づいて、前記複数の撮像画像の何れかから前記第１の物体と前記第２の物体との領域の境界を検出する検出手段と、
   を備えることを特徴とする情報処理装置。
7. 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影工程と、
   前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像工程と、
   前記撮像工程で撮像した撮像画像における前記第１の物体の領域の画素と前記第２の物体があると予め定められている領域の画素との輝度値の差を、異なる色の光を前記投影工程で投影した状態をそれぞれ前記撮像工程で撮像した複数の撮像画像において取得する取得工程と、
   前記輝度値の差に基づいて、前記複数の撮像画像の少なくとも１つから前記第１の物体と前記第２の物体との領域の境界を検出する検出工程と、
   を備えることを特徴とする情報処理方法。
8. 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影工程と、
   前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像工程と、
   前記撮像工程で撮像した撮像画像における前記第１の物体の領域の反射率と前記第２の物体があると予め定められている領域の反射率との差を、異なる色の光を前記投影工程で投影した状態をそれぞれ前記撮像工程で撮像した複数の撮像画像において取得する取得工程と、
   前記反射率の差に基づいて、前記複数の撮像画像の何れかから前記第１の物体と前記第２の物体との領域の境界を検出する検出工程と、
   を備えることを特徴とする情報処理方法。
9. 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影工程と、
   前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像工程と、
   前記撮像工程で撮像した撮像画像における前記第１の物体の領域の画素と前記第２の物体があると予め定められている領域の画素との輝度値の差を、異なる色の光を前記投影工程で投影した状態をそれぞれ前記撮像工程で撮像した複数の撮像画像において取得する取得工程と、
   前記輝度値の差に基づいて、前記複数の撮像画像の少なくとも１つから前記第１の物体と前記第２の物体との領域の境界を検出する検出工程と、
   をコンピュータに実行させるためのプログラム。
10. 第１の物体と当該第１の物体の平面領域内にある第２の物体とに光を投影する投影工程と、
    前記第１の物体と前記第２の物体とに前記光が投影されている状態を撮像する撮像工程と、
    前記撮像工程で撮像した撮像画像における前記第１の物体の領域の反射率と前記第２の物体があると予め定められている領域の反射率との差を、異なる色の光を前記投影工程で投影した状態をそれぞれ前記撮像工程で撮像した複数の撮像画像において取得する取得工程と、
    前記反射率の差に基づいて、前記複数の撮像画像の何れかから前記第１の物体と前記第２の物体との領域の境界を検出する検出工程と、
    をコンピュータに実行させるためのプログラム。

Images