JP2014063265A

JP2014063265A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2014063265A
Application number: JP2012206840A
Authority: JP
Inventors: Koichi Hasegawa; 浩一長谷川; Hisao Aihara; 久雄相原; Toshiaki Kanemura; 俊明金村
Original assignee: Casio Computer Co Ltd; Casio Electronics Co Ltd
Current assignee: Casio Computer Co Ltd; Casio Electronics Co Ltd
Priority date: 2012-09-20
Filing date: 2012-09-20
Publication date: 2014-04-10
Anticipated expiration: 2032-09-20
Also published as: CN103686026A; JP5907022B2; US20140079318A1; US9189865B2; CN103686026B

Abstract

【課題】指示媒体と似た色の箇所が投影画像内にあったとしても、指示媒体に対する検出精度を高める。
【解決手段】指示媒体Ｆによって指示される被写体内の指示位置を特定する画像処理装置１である。画像処理装置１は、被写体を撮像する撮像手段（カメラ１３）と、指示前画像を取得する第一撮像制御手段と、指示中画像を取得する第二撮像制御手段と、指示媒体Ｆと同程度の色の同色領域を指示前画像から特定し、当該同色領域に基づいて指示中画像から指示媒体部分を抽出する抽出手段と、抽出手段によって抽出された指示媒体部分が分断されているか否かを判断する判断手段と、判断手段で指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復手段と、修復手段で修復された指示媒体部分の形状から被写体上の指示位置を特定する特定手段とを備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、例えばプロジェクターなどの投影装置においては、投影されている画像内をレーザーポインタなどの指示媒体で選択することによりその選択領域が強調表示されるものが知られている（例えば特許文献１参照）。この強調表示を行うに際しては、投影されている画像を撮影し、その撮影画像に所定の画像処理を施すことによって指示媒体の指示箇所を特定することにより、選択領域を認識するようになっている。指示媒体の指示箇所を画像処理によって特定する場合、指示媒体の色に基づいて撮影画像中から前記指示媒体を検出する。なお、指示媒体が指や指示棒である場合にはその全体が指示媒体となるが、指示媒体がレーザーポインタである場合には画像上に投影されたレーザー光が指示媒体となる。

特開２００６−１２１１８１号公報

ここで、指示媒体の指示箇所を画像処理によって特定する場合、指示媒体の色に基づいて撮影画像中から前記指示媒体を検出することになるが、撮影画像内に指示媒体と色の似た箇所があるとその箇所も指示媒体として誤検出してしまうおそれがあった。
そこで本発明の課題は、指示媒体と似た色の箇所が投影画像内にあったとしても、指示媒体に対する検出精度を高めることである。

以上の課題を解決するため、本発明の一の態様によれば、
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記指示媒体が重なっていない状態の前記被写体を前記撮像手段で撮像した画像を指示前画像として取得する第一撮像制御手段と、
前記指示媒体が重なった状態の前記被写体を前記撮像手段で撮像した画像を指示中画像として取得する第二撮像制御手段と、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出手段と、
前記抽出手段によって抽出された前記指示媒体部分が分断されているか否かを判断する判断手段と、
前記判断手段で前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復手段と、
前記修復手段で修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定手段とを備えることを特徴とする画像処理装置が提供される。

本発明によれば、指示媒体と似た色の箇所が投影画像内にあったとしても、指示媒体に対する検出精度を高めることができる。

本実施形態に係る画像処理システムとしての書画カメラ装置の概略構成を示す斜視図である。図１の書画カメラ装置の主制御構成を示すブロック図である。本実施形態に係る切り出し処理の流れを示すフローチャートである。本実施形態に係る媒体認識前処理の流れを示すフローチャートである。図４の媒体認識前処理時における撮像画像の状態遷移を表す説明図である。本実施形態に係る切り出し領域特定処理の流れを示すフローチャートである。本実施形態に係る指示位置特定処理の流れを示すフローチャートである。図７の指示位置特定処理時における撮像画像の状態遷移を表す説明図である。本実施形態に係る切り出し領域特定処理時における動作手順を示す説明図である。本実施形態に係る切り出し領域特定処理時における動作手順を示す説明図である。本実施形態に係る領域分析における画像処理の手順を示す説明図である。本実施形態に係る切り出し領域に基づいて実際の切り出し部分を特定する例を示す説明図である。本実施形態に係る第二指示位置特定処理で用いられる媒体認識前処理の流れを示すフローチャートである。本実施形態に係る第二指示位置特定処理の流れを示すフローチャートである。第二指示位置特定処理時における撮像画像の状態遷移を表す説明図である。本実施形態の書画カメラ装置の変形例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。

図１は本実施形態に係る画像処理システムの概略構成を示す斜視図である。図１に示すように本発明に係る画像記録装置としての書画カメラ装置１には、資料２が載置される台座１１と、台座１１から立設するスタンド部１２と、スタンド部１２の上端部に取り付けられ、台座１１上の資料２を撮像する撮像手段としてのカメラ１３と、カメラ１３に有線或いは無線で接続されるパソコン１４とが設けられている。
資料２は本発明に係る被写体であり、カメラ１３の撮像領域に収まるように台座１１上にセットされている。図１上の被写体としては平面性を有する資料２を例示して挙げているが、本やそれ以外の立体物を被写体としても構わない。資料２に対して例えば指Ｆ等の指示媒体で所定の領域を指示すると、その指Ｆもカメラ１３によって撮像されることになる。カメラ１３は、高解像度で撮像をする高解像度モードと、高解像度モードよりも低い解像度で撮像をする低解像度モードとが切り替え自在となっている。

図２は図１の書画カメラ装置１の主制御構成を示すブロック図である。図２に示すようにカメラ１３には焦点位置の調整等が可能な光学レンズ部１３１と、光学レンズ部１３１を透過した被写体像をデジタル信号に変換するイメージセンサ１３２と、イメージセンサ１３２により変換されたデジタル信号をパソコン１４に出力するＩ／Ｆ１３３とが設けられている。

パソコン１４は、カメラ１３から入力されたデジタル信号を常にモニタリングしている。このとき、指Ｆが重なっていない状態の資料２がカメラ１３によって撮像された画像をパソコン１４は指示前画像５（図５参照）として取得する。さらに、指Ｆが重なった状態の資料２がカメラ１３によって撮像された画像をパソコン１４は指示中画像６（図８参照）として取得する。つまりパソコン１４が本発明に係る第一撮像制御手段及び第二撮像制御手段である。そして、パソコン１４は、取得した指示前画像５と指示中画像６とから資料２上の指Ｆによる指示位置を特定し、当該特定した指示位置に基づいて資料２内の一部の画像を切り出すようになっている。

以下、画像の切り出し処理について詳細に説明する。図３は切り出し処理の流れを示すフローチャートである。
まず、作業者はマウスやキーボードなどの操作部を操作することによりパソコン１４に対して切り出し処理の開始指示を入力する。この指示に基づいてパソコン１４は本発明に係るプログラムを実行しカメラ１３を初期化する。この初期化時においてはカメラ１３の解像度は低解像度モードに設定される（ステップＳ１）。
このとき、カメラ１３は撮影を実行しているため、当該カメラ１３により撮像された映像はパソコン１４に送られ、当該パソコン１４のディスプレイに表示されている。この表示画像を見ながら、作業者は資料２の位置調整を行い、最適な位置へ資料２を案内する。
資料２の位置が決定したら作業者は操作部を操作し以降の工程への進行を促す。

ステップＳ２では、パソコン１４は媒体認識前処理を実行する。図４は媒体認識前処理の流れを示すフローチャートである。図５は媒体認識前処理時における撮像画像の状態遷移を表す説明図であり、（ａ）は指示前画像５を示し、（ｂ）はマスク領域を示し、（ｃ）は指示前画像５から同色領域５１を削除した状態を示している。
マスク領域とは、同色領域とされる領域であり、同色領域とともに詳しくは後述する。

図４に示すようにステップＳ１１では、パソコン１４はカメラ１３を制御して、資料２に指Ｆが重なっていない指示前画像５（図５（ａ）参照）を撮像し、低解像度なカラー画像データを取り込む（第一撮像工程、第一撮像ステップ）。

ステップＳ１２では、パソコン１４は取り込んだ指示前画像５から同色領域５１を抽出する（同色領域抽出工程、同色領域抽出ステップ）。このようにパソコン１４は本発明に係る同色領域抽出手段である。同色領域５１とは、指示媒体が指Ｆである場合には肌色と同程度の色を有する領域のことである。
なお、肌色と言っても白人、黒人、黄色人種等のように人種によって肌の色が異なる場合もあれば、個人差による違いもあり、さらには同一人物であっても季節によって肌の色が異なる。このため、これらを包含するように肌色として認識する許容範囲を予め設定していてもよいし、人種毎の許容範囲が個別に登録されていて、使用する人種によって該当する許容範囲を選択するようにしてもよい。
また、例えば指示棒やレーザーポインタなどのような指Ｆ以外の指示媒体を用いる場合には、その指示媒体と同程度の色を有する領域を同色領域５１とする。この場合においても光の当たり具合によっては指示媒体の色が多少違って撮像されてしまうので、指示媒体と同程度の色として認識するように許容範囲を設定しておくことが好ましい。

そして図４のステップＳ１３では、パソコン１４は指示前画像５内に同色領域５１があるか否かを判断し、ない場合には媒体認識前処理を終えてステップＳ３に移行し、ある場合にはステップＳ１４に移行する。

ステップＳ１４では、パソコン１４は同色領域５１を図５（ｂ）に示すマスク領域５２として指定し同色マスクデータを作成する（指定工程、指定ステップ）。このようにパソコン１４は本発明に係る指定手段である。
この同色マスクデータに基づいて指示前画像５を画像処理すると同色領域５１が削除された図５（ｃ）のような指示前画像５が作成される。同色マスクデータの作成後にはパソコン１４は媒体認識前処理を終えてステップＳ３に移行する。

図３のステップＳ３では、パソコン１４は切り出し領域特定処理を実行する。図６はその切り出し領域特定処理の流れを示すフローチャートである。
ステップＳ２１ではパソコン１４は指示位置特定処理を実行する。図７はその指示位置特定処理の流れを示すフローチャートであり、図８は指示位置特定処理時における撮像画像の状態遷移を表す説明図である。

図７のステップＳ３１では、パソコン１４はカメラ１３を制御して、資料２に対するカラー撮像を開始する。このときカメラ１３からの映像はパソコン１４によって常にモニタリングされることになる。
ステップＳ３２では、パソコン１４は同色マスクデータの有無を判断して、同色マスクデータがある場合にはステップＳ３３に移行し、同色マスクデータのない場合にはステップＳ３６に移行する。
ステップＳ３２で同色マスクデータがあるとされた場合、ステップＳ３３に移行し、そこでは、パソコン１４はカメラ１３から入力された映像内であって、同色マスクデータからなるマスク領域５２外の領域に新たな同色領域５３があるか否かを判断し、ない場合にはそのままカメラ１３によるカラー撮像を継続し、ある場合にはステップＳ３４に移行する。例えば図８（ａ）に示すように資料２に指Ｆが重なっていると、マスク領域５２外においても指Ｆが存在しているので、パソコン１４は図８（ａ）に示す画像を指示中画像６として取得する（第二撮像工程、第二撮像ステップ）。
ステップＳ３４では、パソコン１４は指示中画像６から同色領域５２（５１），５３を抽出する。
ステップＳ３５では、パソコン１４は抽出した同色領域５２（５１），５３からマスク領域５２内を削除してステップＳ３８に移行する（削除工程、削除ステップ）。このようにパソコン１４は本発明に係る削除手段である。図８（ｂ）は指示中画像６からマスク領域５２内を削除した状態を示している。

一方、ステップＳ３２で同色マスクデータがないとされた場合、ステップＳ３６に移行し、そこでは、パソコン１４はカメラ１３から入力された映像内に同色領域５３があるか否かを判断する。例えば図８（ａ）の指示中画像６内にマスク領域５２が存在しない場合が、前記映像内に同色領域５３がある場合であり、指示中画像６内にマスク領域５２も指Ｆもない状態が、前記映像内に同色領域５３がない場合である。パソコン１４は同色領域５３がない場合にはそのままカメラ１３によるカラー撮像を継続し、同色領域５３がある場合にはステップＳ３７に移行する。
ステップＳ３７では、パソコン１４は指示中画像６から同色領域５３を抽出し、抽出した同色領域５３を指示媒体部分Ｅとして認識して、ステップＳ３８に移行する（指示媒体抽出工程、指示媒体抽出ステップ）。このようにパソコン１４は本発明に係る指示媒体抽出手段である。そして、同色領域５１を指示前画像５から特定し、当該同色領域５１に基づいて指示中画像６から指示媒体部分Ｅを抽出するまでの工程若しくはステップが本発明に係る抽出工程若しくは抽出ステップである。つまりパソコン１４は本発明に係る抽出手段である。

ステップＳ３８では、パソコン１４は指示中画像６から抽出した同色領域５３に対してラベリング処理を施す。例えば指示中画像６中に同色領域が１つの場合、つまり指示媒体部分Ｅが分断していない場合には同色領域数は１となる。図８（ｂ）に示すようにマスク領域５２によって指示媒体部分Ｅが分断されている場合には同色領域数は複数となる。なお、マスク領域５２が存在していない場合であっても指輪や腕時計、リストバンドなどによって指示媒体部分Ｅが分断される場合もあるがこの場合においても同色領域数は複数となる。

ステップＳ３９では、パソコン１４は同色領域数が２以上であるか否かを判断し、同色領域数が２未満である場合には後述するステップＳ４１に移行し、同色領域数が２以上である場合にはステップＳ４０に移行する（判断工程、判断ステップ）。このようにパソコン１４は本発明に係る判断手段である。
ステップＳ４０では、パソコン１４は指示媒体部分Ｅのうち分断されて欠損した部分を周辺画像から修復する（修復工程、修復ステップ）。このようにパソコン１４は本発明に係る修復手段である。
具体的には、図８（ｃ）に示すようにマスク領域５２内の各画素を修復画素として、各修復画素に最も近いマスク領域５２外の画素の色を当該修復画素の色として決定する。これにより、マスク領域５２内の修復画素を決定し、同色領域５２ｂとなる修復画素も決定し、ステップＳ４１に移行する。なお、図８（ｃ）中、同色領域とならなかった修復画素は無地として符号５２ａを付している。一方、同色領域となった修復画素はハッチングを掛け符号５２ｂを付している。なお、マスク領域５２が存在していない状態で指示媒体部分Ｅが分断している場合においては、その分断している部分に仮想的な枠体をはめ込む。そしてその枠体をマスク領域５２と仮定して、上述した手順で修復画素の色を決定する。

ステップＳ４１では、パソコン１４は二値化処理を施して同色領域５２ｂ、５３の輪郭を抽出する。図８（ｄ）では図８（ｃ）に示した指示中画像６における同色領域５２ｂ、５３の輪郭５２ｃ（点線部）を示している。なお、同色領域数が１である場合には指示媒体部分Ｅの修復自体も不要であるため、その１つの同色領域の輪郭を抽出することになる。
ステップＳ４２では、パソコン１４は指示媒体部分Ｅの輪郭５２ｃから最も突出した位置を指示位置として特定する（特定工程、特定ステップ）。このようにパソコン１４は本発明に係る特定手段である。図８（ｅ）では輪郭５２ｃのみを示しており、その最も突出した位置５２ｄが指示位置として特定される。指示位置の特定後、パソコン１４は図７の処理（図６のステップＳ２１）を抜け、ステップＳ２２に移行する。

ステップＳ２２では、パソコン１４は特定した指示位置の座標が一定時間、略同位置の場所に留まっているか否かを判断する。具体的には、一定時間毎に、ステップＳ２１の処理を行い、特定した指示位置の座標が一定時間、略同位置に場所に留まっているか否かを判断する。ここで「略同位置」とは完全に同じ位置でなくとも、指示位置が多少ぶれていても同じ位置と判断できるように所定の許容範囲を含んだ位置のことである。

ステップＳ２２で、特定した指示位置の座標が一定時間、略同位置の場所に留まっているとされた場合、ステップＳ２３に移行し、そこでは、パソコン１４はステップＳ２１で特定した指示位置を開始点座標として記録する。
ここでの一定時間は、開始点座標を認識させるために、後述の一定時間よりも比較的長い時間とする。
ステップＳ２４では、パソコン１４は上述の一定時間より短い所定時間の経過を待つ。
ステップＳ２５では、パソコン１４は上述した図７の処理（ステップＳ２１の処理）と同じ指示位置特定処理を実行し、現在の指示位置を特定する。
ステップＳ２６では、パソコン１４はステップＳ２４で一定時間経過した後にステップＳ２５で特定した指示位置の座標を記録する。
このようにして、パソコン１４は所定時間毎にステップＳ２５で特定した指示位置の座標を記録していく。

ステップＳ２７では、パソコン１４はステップＳ２６で記録した指示位置と、開始点座標とが略一致しているか否かを判断し、略一致していない場合にはステップＳ２４に移行し、略一致している場合には図６の処理（図３のステップＳ３の処理）を抜け、図３のステップＳ４に移行する。ここで「略一致」とは完全に一致していなくとも、指示位置が開始点座標から多少離れていても一致と判断できるように所定の許容範囲を含んだ位置のことである。
このように、指示位置が開始点座標に復帰するまでステップＳ２４〜ステップＳ２７が繰り返されるため、指Ｆによる指示位置の座標が多数記録されて、枠状の切り出し領域が特定されることになる。

具体的に切り出し領域特定処理時における動作例について説明する。図９及び図１０は切り出し領域特定処理時における動作手順を示す説明図である。
まず図９（ａ）に示すように資料２の全体像を指示前画像Ｇ２として低画質モードで撮像する。
その後、図９（ｂ）に示すように、ユーザは資料２上に指Ｆを置く。その状態のまま一定時間経過すると、パソコン１４側では特定した指示位置を開始点座標ｆ１として認識する。

そして、図１０（ａ）に示すように、ユーザは指Ｆを移動させる。このとき、パソコン１４側では指Ｆの軌跡ｆ２を特定するため、その指示位置を所定時間毎に記録している。
そして、図１０（ｂ）に示すように、ユーザは所望の領域を含むような軌跡ｆ２となるように指Ｆを移動させて最終的に開始点座標ｆ１付近に指Ｆを置く。これによりパソコン１４側では指Ｆの軌跡が多数の座標として記録され、枠状の切り出し領域ｃとして特定される。

図３に示すように、ステップＳ４ではパソコン１４はカメラ１３の解像度を高解像度モードに設定する。
ステップＳ５ではパソコン１４はカメラ１３を制御して、資料２に指Ｆが重なっていない指示前画像５を再度撮像し、高解像度なカラー画像データを基準画像として取り込む。

ステップＳ６ではパソコン１４は基準画像に対して領域分析を施す。図１１は領域分析における画像処理の手順を示す説明図であり、（ａ）は基準画像の一例を示し、（ｂ）は基準画像に対してぼかし処理を施した画像を示し、（ｃ）は資料２中の各領域の輪郭を抽出した画像を示している。図１１（ａ）に示すように基準画像Ｇ１には、数字からなる第一文字領域ｍ１と、アルファベットからなる第二文字領域ｍ２と、画像からなる画像領域ｍ３とが設けられている。
まず図１１（ａ）に示すカラーの基準画像Ｇ１をパソコン１４はモノクロ多値画像に変換する。変換後の基準画像Ｇ１に対してパソコン１４は特定のフィルタをかけて基準画像をぼかす（図１１（ｂ）参照）。これにより各領域ｍ１，ｍ２，ｍ３がそれぞれ一体的に連結される。次いで、パソコン１４は、ぼかした基準画像Ｇ１を二値化して輪郭抽出を行う（図１１（ｃ）参照）。輪郭抽出では、各領域ｍ１，ｍ２，ｍ３の輪郭ｎ１，ｎ２，ｎ３が多数の点列から構成されることになる。パソコン１４は各点列の座標データを取得し、当該座標データを各領域ｍ１，ｍ２，ｍ３の座標データとして記録する。
なお、この領域分析処理においては、高画質な基準画像に対して直接実行してもよいし、高画質で撮像された基準画像を低画質な画像に変換し、当該低画質な基準画像に対して実行してもよい。また、ステップＳ２の媒体認識前処理と合わせて領域分析処理を実行してもよい。

ステップＳ７ではパソコン１４は切り出し領域特定処理で特定された切り出し領域ｃに基づいて高解像度画像（基準画像Ｇ１）の一部を切り出す。図１２は切り出し領域ｃに基づいて実際の切り出し部分を特定する例を示す説明図である。なお、以下の説明においては実際の切り出し部分の特定方法を２種類説明するが、その他の周知の特定方法を用いても構わない。
まず、パソコン１４は図１２（ａ）に示すように、各領域ｍ１，ｍ２，ｍ３の輪郭ｎ１，ｎ２，ｎ３と、切り出し領域ｃとを重ね合わせる。
そして第一特定方法においては、パソコン１４は各領域ｍ１，ｍ２，ｍ３の輪郭ｎ１，ｎ２，ｎ３と切り出し領域ｃとの重なっている割合を算出する。この割合が５０％以上であれば実際の切り出し部分として特定する。具体的には図１２（ｂ）に示すように第一文字領域ｍ１は切り出し領域ｃに１００％重なっているので実際の切り出し部分として特定する。第二文字領域ｍ２は切り出し領域ｃに３０％程度で重なっているので実際の切り出し部分としては特定しない。画像領域ｍ３は切り出し領域ｃに全く重なっていないので実際の切り出し領域として特定しない。この結果からパソコン１４は第一文字領域ｍ１のみを基準画像Ｇ１から切り出して図１２（ｃ）に示すように第一文字領域ｍ１のみを画像データとして記録する。

第二特定方法においては、図１２（ｄ）に示すようにパソコン１４は切り出し領域ｃを内接する矩形領域ｃ１を作成する。そしてこの矩形領域ｃ１に一部でも含まれている領域を実際の切り出し部分として特定する。図１２（ｄ）では第一文字領域ｍ１と第二文字領域ｍ２が実際の切り出し部分として特定され、矩形領域ｃ１に全く重なっていない画像領域ｍ３は実際の切り出し部分として特定されない。この結果からパソコン１４は第一文字領域ｍ１及び第二文字領域ｍ２を基準画像Ｇ１から切り出して図１２（ｅ）に示すように第一文字領域ｍ１及び第二文字領域ｍ２を画像データとして記録する。

パソコン１４は実際の切り出し部分として特定した部分の画像データを基に、ディスプレイ上に表示を行ったり、プリンタから印刷したりする。

以上のように本実施形態によれば、指Ｆと同じ色の同色領域５１を指示前画像５から特定し、当該同色領域５１に基づいて指示中画像６から指示媒体部分Ｅを抽出しているので、指示前画像５内に同色領域５１があったとしてもその同色領域５１は指Ｆでないことを予め見越して指示中画像６から指示媒体部分Ｅを抽出することができる。したがって、指Ｆなどの指示媒体と似た色の箇所が投影画像内にあったとしても、指示媒体に対する検出精度を高めることができる。
また、指示中画像６から指Ｆ部分を抽出した際に、指示媒体部分Ｅが分断されていると分断部分を修復し、その修復された指示媒体部分Ｅの形状から資料２上の指示位置を特定しているので、指Ｆなどの指示媒体の全体像を確実に特定することが可能となる。したがって、資料２上の指示位置をより確実に検出することができる。

指示位置特定処理の解像度が、被写体を撮像して指示位置に基づいて行う別の画像処理の解像度よりも低く設定しているので、高解像度画像に対して指示位置特定処理を実行する場合よりも処理負荷を低減することができ、指示位置特定処理の高速化を図ることができる。

指示前画像５に存在する同色領域５１をマスク領域５２として指示中画像６から削除しているので、指示中画像６内に存在する指Ｆ以外の同色領域５１が指Ｆ部分として特定されてしまうことを防止することができる。

また、指示中画像６内にマスク領域５２をなす同色領域５１がある場合に、マスク領域５２を指示中画像６から削除しているので、マスク領域５２が指定されていない場合はこの処理は行われず、全体的な処理の高速化を図ることができる。

また、マスク領域５２が指定されなかった場合、修復が不要な１つの同色領域の輪郭形状から指示位置を特定しているので、マスク領域５２となる同色領域５１がない場合にあっても確実に指Ｆの指示位置を特定することができる。
同様に同色領域数が１つの場合、つまり指示媒体部分Ｅが分断されていない場合においても、修復が不要な１つの同色領域の輪郭形状から指示位置を特定しているので、マスク領域５２となる同色領域５１がない場合にあっても確実に指Ｆの指示位置を特定することができる。

また、修復された指示媒体部分Ｅのうち最も突出した位置を指示位置として特定しているので、指示媒体である指Ｆの先端部を指示媒体部分Ｅの形状から確実に特定することができる。

指示位置特定処理が所定時間毎に繰り返し行われているため、指示中画像６の取得や、指示媒体部分Ｅの抽出、指示媒体部分Ｅが分断しているかの判断、指示媒体部分Ｅの修復、指示位置の特定も所定時間毎に繰り返し行われることになる。いずれの指示位置特定処理においても静止画である指示中画像６に基づいて処理が行われるので、複数の指示位置を容易に特定することができる。

また、所定時間毎に特定された複数の指示位置によって規定される軌跡ｆ２で囲まれた領域を切り出し領域ｃとして特定しているので、切り出したい領域を指Ｆでなぞるという直感的な操作により切り出し領域ｃを特定することができる。

また、特定された切り出し領域ｃを指示前画像５から切り出しているので、資料２の特定部分だけを切り出して記録又は印刷することが可能である。

なお、本発明は上記実施形態に限らず適宜変更可能である。
例えば、上記実施形態では、マスク領域５２を適用した指示位置特定処理を例示して説明したが、指示前画像と指示中画像との差分を適用した指示位置特定処理を用いることも可能である。以下の説明においては差分を適用した指示位置特定処理を第二指示位置特定処理と称す。

なお、第二指示位置特定処理を実行する場合には、前述した媒体認識前処理も一部異なる処理内容となる。図１３は第二指示位置特定処理用の媒体認識前処理の流れを示すフローチャートである。この図１３に示す媒体認識前処理のステップＳ５１では、パソコン１４はカメラ１３によって指示前画像５を撮像し、低解像度なカラー画像データを取り込み、図７（図６のステップＳ２１）の指示位置特定処理に対応する図１４の第二指示位置特定処理に移行する。

図１４は第二指示位置特定処理の流れを示すフローチャートであり、図１５は第二指示位置特定処理時における撮像画像の状態遷移を表す説明図である。

図１４のステップＳ６１では、パソコン１４はカメラ１３を制御して、資料２に対するカラー撮像を開始する。このときカメラ１３からの映像はパソコン１４によって常にモニタリングされることになる。
ステップＳ６２では、パソコン１４はカメラ１３から入力された映像内の同色領域を抽出する。
ステップＳ６３では、パソコン１４は指示前画像５で同色領域と判断される箇所以外の領域に、新たに追加された同色領域があるか否かを判断し、ない場合にはステップＳ６２に移行してそのままカメラ１３によるカラー撮像を継続し、ある場合にはその画像を指示中画像６として取得しステップＳ６４に移行する。ここでの判断によって図１５（ａ）に示すようにカメラ１３の撮像領域内に指Ｆが進入して指示中画像６となったことを判断している。

ステップＳ６４では、パソコン１４は指示前画像５と指示中画像６との差分画像を作成する。指示前画像５内に同色領域がない場合には単に指Ｆの部分だけが差分画像として作成される。一方、図１５（ａ）に示すように指示前画像５内に同色領域５１がある場合には、当該同色領域５１と重なる指Ｆが同色領域５１のままと判断されるため、図１５（ｂ）に示すように同色領域５１外の同色領域５３が差分画像として作成される。

ステップＳ６５では、パソコン１４は差分画像から同色領域５３を抽出し、抽出した同色領域５３を指示媒体部分Ｅとして認識する。なお、ここでの同色領域５３の抽出によって影などのノイズが除去されることになる（影除去工程、影除去ステップ）。このようにパソコン１４が本発明に係る影除去手段である。
ステップＳ６６では、パソコン１４は指示媒体部分Ｅに対して後述する二値化処理、輪郭抽出等の前処理を行う。
ステップＳ６７では、パソコン１４は同色領域５３に対してラベリングを施す。
ステップＳ６８では、パソコン１４は同色領域数が２以上であるか否かを判断し、同色領域数が２未満である場合にはステップＳ７１に移行し、同色領域数が２以上である場合にはステップＳ６９に移行する。
ステップＳ６９では、パソコン１４は指示媒体部分Ｅのうち分断されて欠損した部分を周辺画像からカラー画像において修復する。

ステップＳ７０では、パソコン１４は修復された画像に二値化処理を施して指示媒体部分Ｅの輪郭を抽出する。
なお、ステップＳ６８で、同色領域数が２未満であると判断された場合には、すでに二値化処理、輪郭処理は済んでいるので、ステップＳ７１に移行する。
ステップＳ７１では、パソコン１４は指示媒体部分Ｅの輪郭５２ｃから最も突出した位置５２ｄを指示位置として特定する（図８（ｅ）参照）。

このように指示前画像５と指示中画像６とを比較し、指示中画像６で新たに追加された同色領域を指示媒体部分Ｅとして抽出しているので、差分画像を用いたとしても指示位置を容易に特定することができる。

また、指示中画像６から影部分が除去された指示媒体部分Ｅに基づいて当該指示媒体部分Ｅが分断されているか否かを判断しているので、ノイズとなる影の影響を抑制した状態で分断しているか否かを判断することができ、判断の正確性を高めることができる。

また、上記実施形態ではカメラ１３の撮像により得られた画像データに対してパソコン１４が種々の画像処理を施す場合を例示したが、カメラ側で画像データに対する画像処理を実行することも可能である。具体的には、図１６に示すように、カメラ１３Ａには、光学レンズ部１３１と、イメージセンサ１３２と、イメージセンサ１３２により変換されたデジタル信号を記録するＲＡＭ１３４（メモリーカード等を含む）と、各種プログラムが記録されたＲＯＭ１３５（ＥＥＰＲＯＭ等を含む）と、ＲＡＭ１３４内の画像データに対して画像処理を施す画像処理部１３６と、各種指示が入力される操作部１３７と、操作部１３７からの指示に基づいてＲＯＭ１３５中のプログラムを読み出し、光学レンズ部１３１、イメージセンサ１３２、画像処理部１３６等を制御するＣＰＵ１３８と、各種データをパソコン１４に出力するＩ／Ｆ１３３とが備えられている。

カメラ１３ＡのＲＯＭ１３５には、本発明に係るプログラムが記憶されている。このプログラムをカメラ１３ＡのＣＰＵ２３８が実行することによって、切り出し処理が実行される。つまり、カメラ１３ＡのＣＰＵ２３８が本発明に係る撮像手段、第一撮像制御手段、第二撮像制御手段、抽出手段、判断手段、修復手段、同色領域抽出手段、指定手段、削除手段、指示媒体抽出手段、影除去手段である。そして撮像処理によって切り出された画像データはパソコン１４に送られ記録される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

〔付記〕
［請求項１］
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記指示媒体が重なっていない状態の前記被写体を前記撮像手段で撮像した画像を指示前画像として取得する第一撮像制御手段と、
前記指示媒体が重なった状態の前記被写体を前記撮像手段で撮像した画像を指示中画像として取得する第二撮像制御手段と、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出手段と、
前記抽出手段によって抽出された前記指示媒体部分が分断されているか否かを判断する判断手段と、
前記判断手段で前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復手段と、
前記修復手段で修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定手段とを備えることを特徴とする画像処理装置。
［請求項２］
本付記欄の上記１記載の画像処理装置において、
前記特定手段によって前記被写体上の指示位置を特定する際の画像処理の解像度は、前記被写体を撮像して前記指示位置に基づいて行う別の画像処理の解像度よりも低く設定されていることを特徴とする画像処理装置。
［請求項３］
本付記欄の上記１又は２記載の画像処理装置において、
前記抽出手段は、
前記指示前画像から前記同色領域を抽出する同色領域抽出手段と、
前記同色領域抽出手段で抽出された前記同色領域をマスク領域として、前記指示前画像から指定する指定手段と、
前記指定手段で指定された前記マスク領域を前記指示中画像から削除する削除手段と、
前記削除手段で前記マスク領域が削除された前記指示中画像から前記同色領域を特定し、当該同色領域を前記指示媒体部分として抽出する指示媒体抽出手段とを備えることを特徴とする画像処理装置。
［請求項４］
本付記欄の上記３記載の画像処理装置において、
前記削除手段は、前記指示中画像内に前記マスク領域をなす前記同色領域がある場合に、前記指定手段で指定された前記マスク領域を前記指示中画像から削除することを特徴とする画像処理装置。
［請求項５］
本付記欄の上記３又は４に記載の画像処理装置において、
前記特定手段は、前記指定手段で前記マスク領域が指定されなかった場合に、前記修復手段による修復を行わない前記指示媒体部分の形状から前記被写体上の指示位置を特定することを特徴とする画像処理装置。
［請求項６］
本付記欄の上記１又は２記載の画像処理装置において、
前記抽出手段は、前記指示前画像と前記指示中画像とを比較し、前記指示中画像で新たに追加された前記同色領域を前記指示媒体部分として抽出することを特徴とする画像処理装置。
［請求項７］
本付記欄の上記６記載の画像処理装置において、
前記抽出手段は、前記指示媒体部分から影部分を除去する影除去手段を含み、
前記判断手段は、前記影除去手段によって前記指示中画像から影部分が除去された前記指示媒体部分に基づいて当該指示媒体部分が分断されているか否かを判断することを特徴とする画像処理装置。
［請求項８］
本付記欄の上記１〜７のいずれか一項に記載の画像処理装置において、
前記特定手段は、前記判断手段によって前記指示媒体部分が分断されていないと判断された場合に、前記修復手段で修復しない前記指示媒体部分の形状から前記被写体上の指示位置を特定することを特徴とする画像処理装置。
［請求項９］
本付記欄の上記１〜８のいずれか一項に記載の画像処理装置において、
前記特定手段は、前記修復手段で修復された前記指示媒体部分のうち最も突出した位置を前記指示位置として特定することを特徴とする画像処理装置。
［請求項１０］
本付記欄の上記１〜９のいずれか一項に記載の画像処理装置において、
前記第二撮像制御手段は前記指示中画像を所定時間毎に取得し、
前記特定手段は、前記所定時間毎に取得された前記指示中画像に対して、前記指示媒体部分の形状から前記被写体上の指示位置を特定することを特徴とする画像処理装置。
［請求項１１］
本付記欄の上記１０記載の画像処理装置において、
前記特定手段は、前記所定時間毎に特定された複数の前記指示位置によって規定される軌跡に囲まれた領域を特定することを特徴とする画像処理装置。
［請求項１２］
本付記欄の上記１１記載の画像処理装置において、
前記特定手段によって特定された領域を前記指示前画像から切り出す切り出し手段をさらに備えることを特徴とする画像処理装置。
［請求項１３］
本付記欄の上記１記載の画像処理装置において、
指示媒体によって指示される被写体内の指示位置を特定する画像処理方法であって、
前記指示媒体が重なっていない状態の前記被写体を撮像した画像を指示前画像として取得する第一撮像工程と、
前記指示媒体が重なった状態の前記被写体を撮像した画像を指示中画像として取得する第二撮像工程と、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出工程と、
前記抽出工程によって抽出された前記指示媒体部分が分断されているか否かを判断する判断工程と、
前記判断工程で前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復工程と、
前記修復工程で修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定工程とを備えることを特徴とする画像処理方法。
［請求項１４］
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置で実行されるプログラムであって、
前記指示媒体が重なっていない状態の前記被写体を撮像した画像を指示前画像として取得する第一撮像ステップと、
前記指示媒体が重なった状態の前記被写体を撮像した画像を指示中画像として取得する第二撮像ステップと、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記指示媒体部分が分断されているか否かを判断する判断ステップと、
前記判断ステップで前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復ステップと、
前記修復ステップで修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定ステップとを含むことを特徴とするプログラム。

１書画カメラ装置（画像処理装置）
２資料（被写体）
５指示前画像
６指示中画像
１１台座
１２スタンド部
１３カメラ（撮像手段）
１４パソコン（第一撮像制御手段、第二撮像制御手段、抽出手段、判断手段、修復手段、同色領域抽出手段、指定手段、削除手段、指示媒体抽出手段、影除去手段）
２１台座
５１，５２ｂ，５３同色領域
５２マスク領域
５２ｃ輪郭
５２ｄ位置（指示位置）
Ｅ指示媒体部分
Ｆ指（指示媒体）
ｆ１開始点座標
ｆ２軌跡

Claims

指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記指示媒体が重なっていない状態の前記被写体を前記撮像手段で撮像した画像を指示前画像として取得する第一撮像制御手段と、
前記指示媒体が重なった状態の前記被写体を前記撮像手段で撮像した画像を指示中画像として取得する第二撮像制御手段と、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出手段と、
前記抽出手段によって抽出された前記指示媒体部分が分断されているか否かを判断する判断手段と、
前記判断手段で前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復手段と、
前記修復手段で修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定手段とを備えることを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
前記特定手段によって前記被写体上の指示位置を特定する際の画像処理の解像度は、前記被写体を撮像して前記指示位置に基づいて行う別の画像処理の解像度よりも低く設定されていることを特徴とする画像処理装置。
請求項１又は２記載の画像処理装置において、
前記抽出手段は、
前記指示前画像から前記同色領域を抽出する同色領域抽出手段と、
前記同色領域抽出手段で抽出された前記同色領域をマスク領域として、前記指示前画像から指定する指定手段と、
前記指定手段で指定された前記マスク領域を前記指示中画像から削除する削除手段と、
前記削除手段で前記マスク領域が削除された前記指示中画像から前記同色領域を特定し、当該同色領域を前記指示媒体部分として抽出する指示媒体抽出手段とを備えることを特徴とする画像処理装置。
請求項３記載の画像処理装置において、
前記削除手段は、前記指示中画像内に前記マスク領域をなす前記同色領域がある場合に、前記指定手段で指定された前記マスク領域を前記指示中画像から削除することを特徴とする画像処理装置。
請求項３又は４に記載の画像処理装置において、
前記特定手段は、前記指定手段で前記マスク領域が指定されなかった場合に、前記修復手段による修復を行わない前記指示媒体部分の形状から前記被写体上の指示位置を特定することを特徴とする画像処理装置。
請求項１又は２記載の画像処理装置において、
前記抽出手段は、前記指示前画像と前記指示中画像とを比較し、前記指示中画像で新たに追加された前記同色領域を前記指示媒体部分として抽出することを特徴とする画像処理装置。
請求項６記載の画像処理装置において、
前記抽出手段は、前記指示媒体部分から影部分を除去する影除去手段を含み、
前記判断手段は、前記影除去手段によって前記指示中画像から影部分が除去された前記指示媒体部分に基づいて当該指示媒体部分が分断されているか否かを判断することを特徴とする画像処理装置。
請求項１〜７のいずれか一項に記載の画像処理装置において、
前記特定手段は、前記判断手段によって前記指示媒体部分が分断されていないと判断された場合に、前記修復手段で修復しない前記指示媒体部分の形状から前記被写体上の指示位置を特定することを特徴とする画像処理装置。
請求項１〜８のいずれか一項に記載の画像処理装置において、
前記特定手段は、前記修復手段で修復された前記指示媒体部分のうち最も突出した位置を前記指示位置として特定することを特徴とする画像処理装置。
請求項１〜９のいずれか一項に記載の画像処理装置において、
前記第二撮像制御手段は前記指示中画像を所定時間毎に取得し、
前記特定手段は、前記所定時間毎に取得された前記指示中画像に対して、前記指示媒体部分の形状から前記被写体上の指示位置を特定することを特徴とする画像処理装置。
請求項１０記載の画像処理装置において、
前記特定手段は、前記所定時間毎に特定された複数の前記指示位置によって規定される軌跡に囲まれた領域を特定することを特徴とする画像処理装置。
請求項１１記載の画像処理装置において、
前記特定手段によって特定された領域を前記指示前画像から切り出す切り出し手段をさらに備えることを特徴とする画像処理装置。
指示媒体によって指示される被写体内の指示位置を特定する画像処理方法であって、
前記指示媒体が重なっていない状態の前記被写体を撮像した画像を指示前画像として取得する第一撮像工程と、
前記指示媒体が重なった状態の前記被写体を撮像した画像を指示中画像として取得する第二撮像工程と、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出工程と、
前記抽出工程によって抽出された前記指示媒体部分が分断されているか否かを判断する判断工程と、
前記判断工程で前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復工程と、
前記修復工程で修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定工程とを備えることを特徴とする画像処理方法。
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置で実行されるプログラムであって、
前記指示媒体が重なっていない状態の前記被写体を撮像した画像を指示前画像として取得する第一撮像ステップと、
前記指示媒体が重なった状態の前記被写体を撮像した画像を指示中画像として取得する第二撮像ステップと、
前記指示媒体と同程度の色の同色領域を前記指示前画像から特定し、当該同色領域に基づいて前記指示中画像から指示媒体部分を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記指示媒体部分が分断されているか否かを判断する判断ステップと、
前記判断ステップで前記指示媒体部分が分断されていると判断された場合に、分断部分を周辺画像から修復する修復ステップと、
前記修復ステップで修復された前記指示媒体部分の形状から前記被写体上の指示位置を特定する特定ステップとを含むことを特徴とするプログラム。