JP2015187755A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザによる自然なタッチ操作に応じて、オブジェクトの検出領域を修正することを目的とする。【解決手段】オブジェクトを含む撮影領域を撮影する撮影手段と、撮影手段により撮影された撮影画像からオブジェクト領域を検出する検出手段と、撮影画像中のオブジェクト領域の位置に基づいて、オブジェクト領域を示すオブジェクト画像をオブジェクト上に投影する投影手段と、撮影領域のうちオブジェクト領域以外の非オブジェクト領域上への操作子の入力位置に基づいて、オブジェクト画像を修正する修正手段とを有する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、従来の書画カメラとプロジェクタを組み合わせて、原稿台に置いた紙面を撮影して得た画像等を原稿台へ投影する画像処理装置が提案されている。このような画像処理装置は、主に紙面のスキャンと画像の閲覧に用いられ、通常、撮影画像から紙面の範囲を検知する紙面検出機能を備える。また、カメラ撮影で得た画像から指先の位置を検知することにより、原稿台上でタッチ入力を実現する入力装置が提案されており、前述の画像処理装置と組み合わせて利用される。
しかしながら、このような紙面検出機能は誤りが生じる可能性がある。例えば、紙面の内部に印刷された表の罫線を紙面範囲の境界と誤検出することや、紙面範囲外にある直線を境界と誤検出することがある。そのため紙面検出機能に加えて、ユーザが検出領域を変更する領域変更機能が必要になる。
領域変更機能を実現する公知の方法として、デジタルカメラで撮影した画像をカメラ付属のディスプレイで閲覧しながら、同ディスプレイに付随するタッチパネル機能を用いて領域の境界を選択し、移動する方法がある。特許文献１には、タッチパネルを用いて表示されたオブジェクトの大きさを変更する表示制御装置が開示されている。この表示制御装置は、ユーザがオブジェクト内部の領域をタッチし移動することで、移動方向に基づいてオブジェクトを拡大、縮小、あるいは回転表示する。

特許第４９０８６２６号公報

撮影画像を閲覧しながら領域境界を変更する方法の場合、撮影環境によっては紙面と背景が同化してしまい、画像上で紙面境界を視認することが困難となることがある。この場合、領域境界の変更を正しく行うことができない。これを解決するために、紙面に対して検出領域を示す枠等を重畳投影し、ユーザが実際の紙面と検出領域を直接視認し比較しながら領域境界を変更する方法が考えられる。しかしながらこの方法に対して特許文献１に開示された技術のように、オブジェクトとしての紙面内部をタッチした場合には、指等の操作子が紙面に接触し、意図する操作を行うことができない。

本発明はこのような問題点に鑑みなされたもので、ユーザによる自然なタッチ操作に応じて、オブジェクトの検出領域を修正することを目的とする。

そこで、本発明は、画像処理装置であって、オブジェクトを含む撮影領域を撮影する撮影手段と、前記撮影手段により撮影された撮影画像からオブジェクト領域を検出する検出手段と、前記撮影画像中の前記オブジェクト領域の位置に基づいて、前記オブジェクト領域を示すオブジェクト画像を前記オブジェクト上に投影する投影手段と、前記撮影領域のうち前記オブジェクト領域以外の非オブジェクト領域上への操作子の入力位置に基づいて、前記オブジェクト画像を修正する修正手段とを有する。

本発明によれば、ユーザによる自然なタッチ操作に応じて、オブジェクトの検出領域を修正することができる。

画像処理装置を示す図である。 画像処理装置の利用方法を説明するための図である。 紙面検出処理を示すフローチャートである。 紙面画像修正処理を示すフローチャートである。 部分外周及び部分領域を説明するための図である。 部分外周及び部分領域の他の例を説明するための図である。 紙面画像修正処理を説明するための図である。 紙面画像修正処理を説明するための図である。 辺候補の表示例を示す図である。 第２の実施形態にかかる画像処理装置を説明するための図である。 第２の実施形態にかかる紙面検出処理を示すフローチャートである。 紙面画像を選択する際の操作を説明するための図である。 第２の実施形態にかかる紙面画像修正処理を説明するための図である。 第３の実施形態にかかる画像処理装置を説明するための図である。 第３の実施形態にかかる紙面検出処理を示すフローチャートである。 第３の実施形態にかかる紙面画像修正処理を説明するための図である。 第３の実施形態にかかる画像処理装置の変更例を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、画像処理装置を示す図である。画像処理装置は、投影部１０１と、撮影部１０２と、ＵＩ部１０３と、制御部１０４と、記憶部１０５と、通信部１０６とを有している。投影部１０１は、スクリーン等の投影面へ画像データを投影するプロジェクタである。撮影部１０２は、投影台２０１を含む領域を撮影し、外光を画像データへ変換するデジタルカメラ又はビデオカメラである。ＵＩ部１０３は、画像処理装置に対するユーザからの指示を受け取り、投影部１０１への投影内容や投影方法の指示を行う。ＵＩ部１０３は、例えば投影装置に備えられたボタン類や、ジェスチャ操作を認識するための可視光カメラや赤外カメラ又はタッチ操作を行うためのペン型デバイス等により実現される。
制御部１０４は、ＵＩ部１０３から受けた指示に基づき投影部１０１へ画像データを提供したり、撮影部１０２から得た画像データに対して処理を行ったりする。制御部１０４は、例えばＣＰＵやＧＰＵ等である。記憶部１０５は、撮影部１０２から得た画像データや制御部１０４が行う処理結果を保持するメモリやハードディスクを有する。通信部１０６は、の画像処理装置と他の装置や非図示のファイルサーバ、アプリケーションサーバ等と通信を行う。なお、後述する画像処理装置の機能や処理は、制御部１０４が記憶部１０５に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、画像処理装置の利用方法を説明するための図である。図２（ａ）に示すように、投影台２０１には、紙面２１０が置かれている。そして、撮影部１０２により紙面２１０を含む領域が撮影される。制御部１０４は、得られた撮影画像において、紙面２１０の領域、すなわち紙面領域を検出する。そして、図２（ｂ）に示すように、投影部１０１は、紙面２１０上に、検出された紙面領域を示す紙面画像２２０を投影する。図２（ｂ）に示す紙面画像２２０は、紙面領域の境界位置を示す四角形状の枠画像である。ただし、紙面画像は、検出領域の境界位置を示すものであればよく、具体的な画像の内容は実施形態に限定されるものではない。
ところで、図２（ｂ）に示すように、画像処理装置による紙面領域の誤検出に起因し、実際の紙面２１０の端部と、紙面画像２２０とが一致しない場合がある。本実施形態にかかる画像処理装置は、ユーザによるタッチ操作に応じて、紙面画像２２０を紙面２１０に一致させるように、紙面画像２２０を修正する。
なお、本実施形態にかかる紙面は、オブジェクトの一例であり、紙面領域及び紙面画像はそれぞれ、オブジェクト領域及びオブジェクト画像の一例である。

図３は、画像処理装置による、紙面検出処理を示すフローチャートである。Ｓ３０１において、制御部１０４は、撮影部１０２に対し撮影を指示する。これに対応し、撮影部１０２は、撮影領域としての紙面の置かれた投影台２０１を撮影する（撮影処理）。次に、Ｓ３０２において、制御部１０４は、撮影部１０２により撮影された撮影画像から、紙面領域を検出する（検出処理）。
次に、Ｓ３０３において、制御部１０４は、撮影画像中の紙面領域の位置に基づいて、紙面画像の投影位置を特定する。そして、制御部１０４は、投影部１０１に対し、紙面領域を示す紙面画像の紙面領域上への投影を指示する。ここで、Ｓ３０３の処理は、紙面領域の位置に基づいて、紙面画像の紙面上への投影を指示する投影制御処理の一例である。これに対応し、投影部１０１は、紙面画像を紙面領域上（オブジェクト上）に投影する（投影処理）。

次に、Ｓ３０４において、制御部１０４は、ユーザによる、投影台２０１へのタッチ入力の有無を判断する。ユーザは、投影台２０１に投影された紙面画像を確認する。そして、紙面画像と実際の紙面とが一致しない場合には、紙面領域の検出に誤りがあったと判断し、タッチ入力を行う。なお、ユーザがタッチすべき領域は、紙面領域以外の領域、すなわち非紙面領域に対して行われるものとする。これは、紙面上にユーザの指等の操作子をタッチすることとした場合、その後の、操作子の移動により、紙面も移動する等の不都合があるためである。ここで、非紙面領域は、オブジェクト領域以外の領域である、非オブジェクト領域の一例である。
制御部１０４は、不図示の複数台のカメラによる撮影画像に基づいて、タッチ入力の有無を検出する。なお、他の例としては、制御部１０４は、不図示の測距センサによる検出結果に基づいて、タッチ入力の有無を検出してもよい。具体的には、制御部１０４は、操作子の先と投影台２０１の間の距離を測り、距離が閾値以下となった場合に、タッチ入力があったと判断する。また、他の例としては、制御部１０４は、ユーザの指に装着された、接触を検知するためのスイッチや加速度センサ等からの信号に基づいて、タッチ入力の有無を判断してもよい。タッチ入力の入力位置の座標は、撮影画像から肌色検出を行い、肌色領域の形状をもとに指先検出を行うことで得られる。また、他の例としては、制御部１０４は、指先やペン型デバイスの先端に設けられた、画像からの検出が容易なマーカやＬＥＤ等からの信号に基づいて、タッチ入力の有無を判断してもよい。

制御部１０４は、タッチ入力があったと判断した場合には（Ｓ３０４でＹｅｓ）、処理をＳ３０５へ進める。制御部１０４は、タッチ入力がなかったと判断した場合には（Ｓ３０４でＮｏ）、処理をＳ３０６へ進める。Ｓ３０５において、制御部１０４は、紙面画像を修正する。ここで、Ｓ３０５の処理は、非紙面領域上、すなわち非オブジェクト領域上への操作子の入力位置に基づいて、紙面画像、すなわちオブジェクト画像を修正する修正処理の一例である。
次に、Ｓ３０６において、制御部１０４は、紙面画像を記憶部１０５に保存する。制御部１０４は、Ｓ３０５において紙面画像が修正されている場合には、修正後の紙面画像を保存する。
なお、他の例としては、Ｓ３０６において、制御部１０４は、紙面画像に替えて、又は紙面画像と供に、紙面画像に対応する紙面領域の位置を示す位置情報を保存してもよい。この場合、制御部１０４は、紙面画像が修正されていない場合には、Ｓ３０２において検出された紙面領域の検出結果を位置情報として記憶部１０５に保存する。また、制御部１０４は、紙面画像が修正されている場合には、Ｓ３０２における検出結果を紙面画像の修正に応じて補正した値を示す位置情報を記憶部１０５に保存する。

図４は、紙面画像修正処理における詳細な処理を示すフローチャートである。Ｓ４０１において、制御部１０４は、非紙面領域を複数の部分領域に分割する（分割処理）。図５は、部分領域を説明するための図である。制御部１０４は、四角形状の紙面領域の外周線に基づいて、非紙面領域を８つの部分領域５０１ａ〜５０１ｄ，５０２ａ〜５０２ｄに分割する。そして、制御部１０４は、各部分領域に対し、紙面画像の外周線の一部を対応付ける（対応付処理）。
図５に示す例においては、部分領域５０１ａ〜５０１ｄは、それぞれ外周線の辺を１辺とする四角形状の領域である。部分領域５０２ａ〜５０２ｄは、それぞれ外周線の頂点を１つの頂点とし、この頂点から延びる２辺を部分領域５０１ａ〜５０１ｄと共有する四角形状の領域である。

なお、外周線の分割位置及び分割数は、実施形態に限定されるものではない。他の例としては、図６（ａ）に示すように、制御部１０４は、紙面領域の中心と縦横それぞれの辺の中心とを結ぶ２本の線６０１ａ，６０１ｂを境界線として、非紙面領域を４つの部分領域６０２ａ〜６０２ｄに分割してもよい。
また、他の例としては、図６（ｂ）に示すように、制御部１０４は、紙面領域の中心と隣接する２つの頂点それぞれとを結ぶ２本の線６１１ａ，６１１ｂを境界線として、非紙面領域を４つの部分領域６１２ａ〜６１２ｄに分割してもよい。

図４に戻り、Ｓ４０１の処理の後、Ｓ４０２において、制御部１０４は、タッチ入力の入力位置を含む部分領域に対応付けられている部分外周を修正対象として特定する（対象特定処理）。次に、Ｓ４０３において、制御部１０４は、タッチ入力されたタッチ点の移動の有無を確認する。ここで、タッチ点の移動とは、ユーザの指先やペン型デバイス等の操作子が投影面に接した状態を保ったまま、タッチ点の座標が変化することである。制御部１０４は、タッチ点の移動を検知した場合には（Ｓ４０３でＹｅｓ）、処理をＳ４０４へ進める。制御部１０４は、タッチ点の移動を検知しなかった場合には（Ｓ４０３でＮｏ）、処理をＳ４０６へ進める。
Ｓ４０４において、制御部１０４は、タッチ入力が最初になされた入力位置を始点とし、移動後のタッチ入力の入力位置を終点として、始点から終点までの移動量と移動方向を特定する。ここで、Ｓ４０４の処理は、移動量特定処理及び移動方向特定処理の一例である。次に、Ｓ４０５において、制御部１０４は、Ｓ４０４において特定された移動量及び移動方向に基づいて、修正対象の修正後の位置を特定し、特定した位置に修正対象が表示されるよう、オブジェクト画像を修正する（修正処理）。なお、修正処理については、図７及び図８を参照しつつ後述する。

次に、Ｓ４０６において、制御部１０４は、操作子が投影面に接触しているタッチ状態から操作子が投影面に接触しない非接触状態（リリース）への変化の有無を確認する。制御部１０４は、非接触状態への変化を検出すると（Ｓ４０６でＹｅｓ）、処理をＳ４０７へ進める。制御部１０４は、非接触状態への変化を検出しない場合には（Ｓ４０６でＮｏ）、処理をＳ４０３へ進め、タッチ点の移動検知と、検知結果に対応する修正対象の配置位置の修正の処理を継続する。
Ｓ４０７において、制御部１０４は、ユーザから終了指示を受け付けた場合には（Ｓ４０７でＹｅｓ）、紙面画像修正処理を終了する。制御部１０４は、終了指示を受け付けなかった場合には（Ｓ４０７でＮｏ）、処理をＳ４０１へ進める。なお、制御部１０４は、ユーザが、紙面画像の保存等、次の工程に進むべく、ＵＩ部１０３で操作を行った場合等に終了指示を受け付けるものとする。

図７及び図８は、紙面画像修正処理を具体的に説明するための図である。図７を参照しつつ、Ｓ４０２において修正対象として、頂点Ａが選択された場合の処理について説明する。図７（ａ）及び図７（ｂ）は、それぞれ紙面画像修正処理前後の紙面画像２２０，７２０を示している。図７（ａ）に示すように、修正前の紙面画像２２０に対し、ユーザが、部分領域５０２ｂをタッチしたとする。これに対し、制御部１０４は、部分領域５０２ｂに対応付けられた頂点Ａを修正対象として特定する。
そして、図７（ｂ）に示すように、ユーザがタッチ点を位置７０１から位置７０２まで右斜め下方向に移動させたとする。この場合、制御部１０４は、頂点Ａの表示位置を、元の位置７１１からから右斜め下方向の位置に修正する。これにより、修正後の紙面画像７２０が得られる。このように、頂点に相当する部分外周を修正対象とする場合、ユーザによるタッチ点の移動に応じて、紙面画像の縦及び横のサイズを拡大又は縮小することができる。
制御部１０４は、例えば始点から終点までの移動方向を頂点Ａの修正方向とし、始点から終点までの距離を頂点Ａの修正量としてもよい。また、他の例としては、制御部１０４は、ユーザの操作性を向上させるために、紙面画像２２０の大きさ、タッチ点の移動速度、部分領域の大きさ等に比例するように、移動量から修正量を決定してもよい。

次に、図８を参照しつつ、Ｓ４０２において修正対象として、辺Ｂが選択された場合の処理について説明する。図８（ａ）及び図８（ｂ）は、それぞれ紙面画像修正処理前後の紙面画像２２０，８２０を示している。図８（ａ）に示すように、修正前の紙面画像２２０に対し、ユーザが部分領域５０１ｂをタッチしたとする。これに対応し、制御部１０４は、部分領域５０１ｂに対応付けられた辺Ｂを修正対象として特定する。
そして、図８（ｂ）に示すように、ユーザがタッチ位置を点８０１から点８０２まで紙面画像の右方向に移動させたとする。この場合、制御部１０４は、辺Ｂの表示位置をも元の位置から右方向の位置に修正する。これにより、修正後の紙面画像８２０が得られる。このように、辺に相当する部分外周を修正対象とする場合、ユーザによるタッチ点の移動に応じて、紙面画像の縦及び横いずれか一方のサイズのみを拡大又は縮小することができる。

なお、制御部１０４は、例えば始点から終点までの距離を辺Ｂの修正量としてもよい。また、他の例としては、制御部１０４は、修正対象が頂点の場合と同様に、紙面画像２２０の大きさ、タッチ点の移動速度、部分領域の大きさ等に比例するように、移動量から修正量を決定してもよい。

以上のように、本実施形態にかかる画像処理装置は、ユーザによる、紙面領域以外の領域へのタッチ操作に応じて、投影台に置かれたオブジェクトの検出領域（紙面領域）を修正することができる。

第１の実施形態にかかる画像処理装置の第１の変更例について説明する。制御部１０４が、図４のＳ４０２において、修正対象として頂点を特定し、Ｓ４０３において、タッチ点の移動を検出したとする。この場合、制御部１０４は、撮影画像に基づいて、移動後のタッチ点の入力位置近傍において、頂点候補が存在するか否かを確認する。そして、頂点候補が存在する場合には、制御部１０４は、修正対象の外周部分の表示位置を、この頂点候補の位置に修正する。なお、制御部１０４は、ＨａｒｒｉｓオペレータやＳＵＳＡＮオペレータ等公知の方法を用いることにより、頂点候補を検知することとする。

次に、第２の変更例について説明する。制御部１０４が図４のＳ４０２において、修正対象として辺を特定したとする。この場合、制御部１０４は、修正対象の辺近傍において、辺候補が存在するか否かを確認する。そして、辺候補が存在する場合には、制御部１０４は、辺候補を表示してもよい。図９は、辺候補の表示例を示す図である。図９に示す例においては、図８（ａ）に示すように紙面画像２２０が表示された状態において、辺候補９０１ａ，９０１ｂが併せて表示されている。さらに、タッチ点の移動が検出された場合には、制御部１０４は、移動方向にある辺候補を修正後の表示位置としてもよい。なお、制御部１０４は、エッジ画素群に対するハフ変換やＲＡＮＳＡＣ、主成分分析等公知の方法を用いることにより、辺候補を検知することとする。

また、第３の変更例としては、画像処理装置は、各部分領域に、対応付けられている外周線の一部の移動方向及び移動量の少なくとも一方を対応付けておくことも可能である。例えば図８（ａ）において、制御部１０４は、辺Ｂの移動方向と移動量を辺Ｂと点８０１との距離によって定める。制御部１０４は、距離が閾値以上の場合には、外周部分の修正後の表示位置の方向を紙面領域の中心から外側に向かう方向とし、閾値未満の場合には、外周部分の修正後の表示位置の方向を中心に向かう方向とする。また、画像処理装置は、移動量は、定めずに第１，２の修正例において説明したように、頂点候補又は辺候補を修正後の外周部分の表示位置として定めてもよい。また、移動量と閾値の差分に基づいて、修正後の外周部分の表示位置を決定してもよい。

（第２の実施形態）
図１０は、第２の実施形態にかかる画像処理装置を説明するための図である。ここでは、第２の実施形態にかかる画像処理装置について、第１の実施形態にかかる画像処理装置と異なる点について説明する。図１０（ａ）に示すように、投影台２０１に１枚の紙面１０００が置かれた状態において、図１０（ｂ）に示すように、２枚以上の紙面画像１０１１，１０１２が誤検出されたとする。この場合に、第２の実施形態にかかる画像処理装置は、ユーザ操作に応じて、検知された複数の紙面領域を１つの紙面領域に統合する。

図１１は、第２の実施形態にかかる画像処理装置による、紙面検出処理を示すフローチャートである。なお、図１１において、図３を参照しつつ説明した各処理と同じ処理には同じ番号を付している。Ｓ３０３において、紙面画像を投影した後、Ｓ１１０１において、制御部１０４は、Ｓ３０２において検出された紙面領域の数を確認する。制御部１０４は、検出された紙面領域の数が１よりも大きい場合には（Ｓ１１０１でＹｅｓ）、処理をＳ１１０２へ進める。制御部１０４は、検出された紙面領域の数が１以下である場合には（Ｓ１１０１でＮｏ）、処理をＳ３０４へ進める。
Ｓ１１０２において、制御部１０４は、ユーザからの紙面画像の選択入力を受け付けたか否かを確認する。上述のように、複数の紙面領域が検出されると、各紙面領域に対応する紙面画像が表示（投影）される。このとき、ユーザは修正処理を行いたい場合には、まず修正対象の紙面画像を選択する必要がある。

図１２は、ユーザが紙面画像を選択する際に行う操作を説明するための図である。図１２（ａ）に示すように、ユーザが任意の点１２０１をタッチする。画像処理装置の制御部１０４は、タッチした状態で一定時間が経過すると、動作モードを領域選択モードに移行する。そして、制御部１０４は、タッチ入力の入力位置近傍に存在する紙面画像が選択されたと判断する。図１２（ａ）に示す点１２０１は、紙面画像１０１１よりも紙面画像１０１２に近い。このため、制御部１０４は、紙面画像１０１２が選択されたと判断する。制御部１０４はさらに、選択された紙面画像に対し、マーカ１２０２を表示する。これにより、ユーザは、いずれの紙面画像が選択中であるかを容易に把握することができる。
さらに、図１２（ｂ）に示すように、ユーザが、タッチした状態のまま入力位置を点１２０３まで移動したとする。この場合には、制御部１０４は、入力位置に最も近い紙面画像として紙面画像１０１１を選択し、紙面画像１０１１上にマーカ１２０４を表示する。なお、制御部１０４は、入力位置の移動に伴い、入力位置の移動量に基づいて定まる修正量だけマーカの表示位置を修正する。なお、他の例としては、制御部１０４は、入力位置の移動方向に存在する紙面画像内の位置を修正後のマーカの表示位置としてもよい。なお、制御部１０４は、選択中の紙面画像をユーザが識別できるような情報を表示すればよく、そのための具体的な表示内容は実施形態に限定されるものではない。他の例としては、制御部１０４は、選択された紙面画像の枠を、点滅、色変更、太さ変更等して表示してもよい。

図１１に戻り、制御部１０４は、紙面画像の選択入力を受け付けた場合には（Ｓ１１０２でＹｅｓ）、処理をＳ３０４へ進める。制御部１０４は、紙面画像の選択を受け付けなかった場合には（Ｓ１１０２でＮｏ）、処理をＳ１１０３へ進める。制御部は、Ｓ３０４へ進んだ場合には、タッチ入力を検出すると、選択された紙面画像に対し、Ｓ３０５において、紙面画像の修正処理を行い、その後処理をＳ１１０３へ進める。
図１３（ａ）に示すように、紙面画像１０１１の選択状態にあるものとする。この状態においては、紙面画像１０１１以外の領域が、紙面画像１０１１の外周線の８つの部分外周それぞれに対応する部分領域に分割される。
そして、図１３（ｂ）に示すように、ユーザにより、部分領域内の位置１３０１にタッチ入力が行われ、入力位置が位置１３０２まで、紙面画像の下方に移動したとする。この場合、図１３（ｂ）に示すように、紙面画像１０１１は、紙面画像１３０３へと縦方向のサイズが修正される。

図１１に戻り、Ｓ１１０３において、制御部１０４は、複数の紙面画像が同一の紙面に対応するものか否かを判断する（判断処理）。なわち、制御部１０４は、修正後の紙面領域と、他の紙面領域との間の重なりを検出する（検出処理）。そして、制御部１０４は、重なりの検出結果に基づいて、重なり合う複数の紙面画像が同一の紙面に対応するものか否かを判断する。具体的には、制御部１０４は、重なりが検出された場合に、重なり面積を特定し、重なり面積が面積閾値以上である場合に、重なり合う複数の紙面画像が同一紙面に対応するものであると判断する。
例えば、図１３（ａ）、図１３（ｂ）に示す例においては、図１３（ｂ）に示すように、修正後の紙面画像１３０３は、紙面画像１０１２を包含しており、重なり面積が面積閾値以上となったとする。この場合、制御部１０４は、紙面画像１３０３と紙面画像１０１２は同一の紙面に対応するものであると判断する。

なお、制御部１０４は、重なりの検出結果に基づいて、複数の紙面画像が同一の紙面に対応するものか否かを判断すればよく、そのための具体的な処理は、実施形態に限定されるものではない。例えば、制御部１０４は、重なりの有無のみに基づいて複数の紙面画像が同一の紙面に対応するものか否かを判断してもよい。また、制御部１０４は、重なりに存在する頂点数や辺数、事前に指定した位置の頂点又は辺等に基づいて、判断してもよい。

図１１に戻り、Ｓ１１０３において、制御部１０４は、複数の紙面画像が同一の紙面に対応するものであると判断した場合には（Ｓ１１０３でＹｅｓ）、処理をＳ１１０４へ進める。一方、制御部１０４は、複数の紙面が同一の紙面に対応するものではないと判断した場合には（Ｓ１１０３でＮｏ）、処理をＳ１１０５へ進める。Ｓ１１０４において、制御部１０４は、同一の紙面に対応するものであると判断された複数の紙面画像を１つの紙面画像に統合する。ここで、統合により得られた１つの紙面画像を統合画像と称する。また、Ｓ１１０４の処理は、統合処理の一例である。図１３（ｂ）、図１３（ｃ）に示す例においては、紙面画像１０１２は、修正後の紙面画像１３０３に統合される。
次に、Ｓ１１０５において、制御部１０４は、得られた紙面画像を記憶部１０５に保存する。なお、制御部１０４はこのとき、修正後の紙面画像（統合画像）と、修正後の紙面画像に統合された紙面画像の親子関係を示す関係情報をさらに保存してもよい。誤検出された紙面画像１０１２が例えば、紙面中に挿入された写真の領域である場合に、写真を切り出して保存するといった処理を容易に行うことができる。ここで、Ｓ１１０５の処理は、統合前の複数のオブジェクト画像を統合画像に対応付けて記憶する関連付処理の一例である。
また、他の例としては、Ｓ１１０５において、制御部１０４は、第１の実施形態におけるＳ３０６において説明したのと同様に、紙面画像に替えて、又は紙面画像と共に、位置情報を保存してもよい。この場合、制御部１０４は、関係情報においても、位置情報間の親子関係を示す関係情報を保存することとする。なお、第２の実施形態にかかる画像処理装置のこれ以外の構成及び処理は、第１の実施形態にかかる画像処理装置の構成及び処理と同様である。

以上のように、第２の実施形態にかかる画像処理装置は、１枚の紙面を複数の紙面として誤検出した場合に、ユーザ操作に応じて、紙面画像の修正と誤検出された紙面領域に対応する紙面画像の削除とを同時に行うことができる。

（第３の実施形態）
図１４は、第３の実施形態にかかる画像処理装置を説明するための図である。図１４（ａ）に示すように、２枚の紙面１４００，１４０１が置かれた状態において、図１４（ｂ）に示すように、１つの紙面領域が誤検出され、紙面画像１４１０が投影されたとする。この場合に、第３の実施形態にかかる画像処理装置は、ユーザ操作に応じて、検知された１つの紙面領域に対応する１つの紙面画像を複数の紙面領域に分割する。
図１５は、第３の実施形態にかかる画像処理装置による、紙面検出処理を示すフローチャートである。なお、図１５において、図３を参照しつつ説明した各処理と同じ処理には同じ番号を付している。Ｓ３０５において、紙面画像を修正した後、Ｓ１５０１において、制御部１０４は、１つの紙面画像が複数の紙面に対応しているか否かを判断する。具体的には、制御部１０４は、修正前後の紙面画像の差分領域を特定し、さらに差分領域の面積を特定する。

そして、制御部１０４は、差分領域の面積が縮小量閾値以上である場合には、誤検出は２枚の紙面を１枚の紙面として判断したことに起因するものとして、１つの紙面画像が複数の紙面に対応していると判断する。例えば、紙面画像修正処理（Ｓ３０５）において、図１４（ｂ）に示す紙面画像１４１０が図１６（ａ）に示す紙面画像１６００に修正（縮小）されたとする。この場合、制御部１０４は、修正前後の紙面画像の差分領域１６０１を特定し、さらに差分領域１６０１の面積を特定する。ここで、差分領域の面積は、縮小量の一例であり、Ｓ１５０１の処理は、オブジェクト画像としての紙面画像が縮小された場合に、縮小量を特定する縮小量特定処理の一例である。
図１５に戻り、制御部１０４は、差分領域において、再び紙面領域を検出する。これにより、図１６（ｂ）に示す新たに検出された紙面領域に対応する紙面画像１６１０が得られる。なお、第３の実施形態にかかる画像処理装置のこれ以外の構成及び処理は、他の実施形態にかかる画像処理装置の構成及び処理と同様である。

以上のように、第３の実施形態にかかる画像処理装置は、紙面画像が縮小された場合に、差分領域において再び紙面を検出することにより、複数の紙面領域を精度よく検出し、かつ複数の紙面領域の境界を正しく検出することができる。

次に、第３の実施形態にかかる画像処理装置の変更例について説明する。本実施形態で想定する利用シーンのように撮影対象の紙面が２枚以上ある場合、検出に成功する紙面と失敗する紙面が入り混じることがある。この場合、検出に成功した紙面に対応する紙面画像を選択、保存し、検出に失敗した紙面領域に対応する紙面画像については、紙面画像の修正を行う必要がある。
しかしながら、多数の紙面が投影台２０１上に置かれている場合には、紙面領域を修正する際のユーザ操作や複数の紙面画像の中から紙面画像を選択する際のユーザ操作が行い難い。そこで、本変更例に係る画像処理装置は、ユーザによる紙面を取り除く操作に従い紙面画像を選択する仕組みを用いる。これにより、検出に成功した紙面に対応する紙面画像を容易に選択、保存でき、検出に失敗した紙面に対応する紙面画像を修正するための投影台２０１上の領域を確保できる。

図１７は、複数の紙面画像から、上記の方法によって特定の紙面画像を選択する流れを表す図である。本変更例においては、検出失敗した紙面のみを再撮影するものとする。図１７（ａ）に示すように、投影台２０１上に４枚の紙面１７０１〜１７０４が置かれているとする。図１７（ｂ）は、図１７（ａ）の紙面１７０１〜１７０４に対して投影された紙面画像１７１１〜１７１４を示す図である。このように、紙面１７０２，１７０４に対しては正しい紙面画像１７１２，１７１４が得られたのに対し、紙面１７０１，１７０３に対しては、紙面内の枠に対応する、誤った紙面画像１７１１，１７１３が得られたとする。
この場合、ユーザは、図１７（ｃ）に示すように、正しく検出された紙面１７０２，１７０４を投影台２０１から取り除く。制御部１０４は、例えば、紙面領域内の動画像を撮影し、時間差分画像の画素値合計が一定以上である場合に、紙面が除去されたと判断する。そして、制御部１０４は、除去された紙面に対応する紙面画像を選択状態とする。制御部１０４は、さらに選択状態を表すマーカ１７２０ａ，１７２０ｂを表示する。なお、制御部１０４は、紙面が除去されたことを示す情報を表示すればよく、そのための具体的な情報は、図１７（ｃ）のマーカに限定されるものではない。他の例としては、制御部１０４は、他の紙面画像と色や太さが、異なる枠、紙面領域をもとに得た撮影画像、等を表示してもよい。

そして、ユーザは、選択状態の紙面画像が記憶部１０５に保存された後に、図１７（ｄ）に示すように、検出に失敗した紙面１７０１，１７０３を、検出の成功確率が高い位置や領域修正が行いやすい位置に置く。その後、ユーザ操作に応じて、制御部１０４は、再び紙面１７０１，１７０３を撮影し、紙面画像修正処理を行う。
これにより、複数枚の紙面を１枚の紙面と誤って検出した際に、一度の処理で領域の修正と領域の追加を同時に行うことができる。また、領域の検出に成功した紙面と失敗した紙面が同時に存在する際に、成功した紙面領域を容易に選択できる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、ユーザによる自然なタッチ操作に応じて、オブジェクトの検出領域を修正することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ 投影部、１０２ 撮影部、１０３ ＵＩ部、１０４ 制御部、１０５ 記憶部、１０６ 通信部

Claims (10)

1. オブジェクトを含む撮影領域を撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像からオブジェクト領域を検出する検出手段と、
   前記撮影画像中の前記オブジェクト領域の位置に基づいて、前記オブジェクト領域を示すオブジェクト画像を前記オブジェクト上に投影する投影手段と、
   前記撮影領域のうち前記オブジェクト領域以外の非オブジェクト領域上への操作子の入力位置に基づいて、前記オブジェクト画像を修正する修正手段と
   を有する画像処理装置。
2. 前記オブジェクト画像の外周線の位置に基づいて、前記非オブジェクト領域を、複数の部分領域に分割する分割手段と、
   前記複数の部分領域それぞれを、前記外周線を構成する部分外周に対応付ける対応付手段と、
   前記入力位置を含む前記部分領域に対応付けられている前記部分外周を修正対象として特定する対象特定手段と
   をさらに有し、
   前記修正手段は、前記修正対象の位置を修正することにより、前記オブジェクト画像を修正する請求項１に記載の画像処理装置。
3. 前記操作子の移動に応じた前記入力位置の移動量を特定する移動量特定手段をさらに有し、
   前記修正手段は、前記移動量に基づいて、前記修正対象の位置を修正する請求項２に記載の画像処理装置。
4. 前記操作子の移動に応じた前記入力位置の移動方向を特定する移動方向特定手段をさらに有し、
   前記修正手段は、前記移動方向に応じた方向に前記修正対象の位置を修正する請求項２又は３に記載の画像処理装置。
5. 複数のオブジェクト領域が検出され、検出された一のオブジェクト領域に対応するオブジェクト画像が修正された場合に、修正後の前記オブジェクト画像と、他のオブジェクト領域に対応するオブジェクト画像との重なりを検出する重なり検出手段と、
   前記重なり検出手段による検出結果に基づいて、前記複数のオブジェクト領域が１つのオブジェクトに対応するオブジェクト領域か否かを判断する判断手段と、
   前記判断手段により１つのオブジェクトに対応するオブジェクト領域であると判断された場合に、前記複数のオブジェクト画像を統合し、１つの統合画像を得る統合手段と
   をさらに有する請求項１乃至４何れか１項に記載の画像処理装置。
6. 前記判断手段は、前記重なり検出手段が面積閾値以上の面積の重なりを検出した場合に、前記一のオブジェクト領域と前記他のオブジェクト領域とは、１つのオブジェクトに対応するオブジェクト領域であると判断する請求項５に記載の画像処理装置。
7. 前記統合手段により統合画像が得られた場合に、統合前の複数のオブジェクト画像を前記統合画像に対応付けて記憶する関連付手段をさらに有する請求項５又は６に記載の画像処理装置。
8. 前記修正手段により前記オブジェクト画像が縮小された場合に、縮小量を特定する縮小量特定手段をさらに有し、
   前記検出手段は、前記縮小量が縮小量閾値以上である場合に、修正前後における前記オブジェクト画像の差分領域において、再び前記オブジェクト領域を検出する請求項１乃至７何れか１項に記載の画像処理装置。
9. 画像処理装置が実行する画像処理方法であって、
   オブジェクトを含む撮影領域を撮影する撮影ステップと、
   前記撮影ステップにおいて撮影された撮影画像からオブジェクト領域を検出する検出ステップと、
   前記撮影画像中の前記オブジェクト領域の位置に基づいて、前記オブジェクト領域を示すオブジェクト画像を前記オブジェクト上に投影する投影ステップと、
   前記撮影領域のうち前記オブジェクト領域以外の非オブジェクト領域上への操作子の入力位置に基づいて、前記オブジェクト画像を修正する修正ステップと
   を含む画像処理方法。
10. オブジェクトを含む撮影領域が撮影された撮影画像からオブジェクト領域を検出する検出手段と、
    前記撮影画像中の前記オブジェクト領域の位置に基づいて、前記オブジェクト領域を示すオブジェクト画像を前記オブジェクト上に投影させる投影制御手段と、
    前記撮影領域のうち前記オブジェクト領域以外の非オブジェクト領域上への操作子の入力位置に基づいて、前記オブジェクト画像を修正する修正手段と
    して機能させるためのプログラム。

Images