JP2011090606A - 画像処理装置、画像表示システム、及び画像処理方法 - Google Patents

Abstract

【課題】専用装置を設けることなく、精度良く遮蔽物等の被検出物を検出できる画像処理
装置、画像表示システム、及び画像処理方法等を提供する。
【解決手段】
表示画面とカメラとの間に存在する被検出物の検出処理を行う画像処理装置は、被検出
物により遮られることなく表示画面に表示されたモデル画像をカメラにより撮影した撮影
情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部と、被検出物
により遮られた状態で、表示画面に表示される画像データに基づく表示画像をカメラによ
り撮影した撮影画像内の表示画像と、推定撮影画像との差分に基づいて、表示画像内で被
検出物により遮られた被検出物領域を検出する被検出物検出部とを含む。
【選択図】図３

Description

本発明は、画像処理装置、画像表示システム、及び画像処理方法等に関する。

従来より、画像表示装置の一種であるプロジェクター（画像投影装置）は、設置が簡単
で場所もとらないため設置性が高い上に、大画面化も進み、個人のみならず多人数でも同
時に視聴が可能な様々な用途で用いられている。また、プロジェクターからスクリーンへ
の投影画像をカメラにより撮像し、スクリーンとカメラとの間にある遮蔽物を検出し、種
々の用途に利用する技術が知られている。

例えば特許文献１には、机上に投影された画像を取得するための赤外線カメラを備え、
体温を利用して画面内の手領域を抽出し、例えば机上での指先の動作を追跡できるように
したマンマシーン・インターフェース・システムが開示されている。また特許文献２には
、画像と赤外線等の非可視光とを交互に投影して、非可視光の投影期間に遮蔽物を検出す
るシステムが開示されている。更に、特許文献３には、プロジェクターによる投影画像と
、投影画像を撮影した撮影画像との差分画像に基づいて、撮影画像に含まれる手領域を抽
出するようにしたポインティング装置が開示されている。更にまた、特許文献４には、プ
ロジェクターによる投影画像を含む投影面を撮像した撮像画像から投影画像を除去した差
分画像を用いて、物体に対応する領域を検出するようにした画像投影装置が開示されてい
る。

特開２００１−２８２４５６号公報 米国特許出願公開第２００９／０１１５７２１号明細書 特開２００８−１５２６２２号公報 特開２００９−６４１１０号公報

しかしながら、特許文献１及び特許文献２では、専用の赤外線カメラ等の専用装置を備
える必要があり、設置や管理の手間が増えるという問題がある。従って、特許文献１及び
特許文献２では、プロジェクターの設置性や視聴の容易性を阻害してしまい、使い勝手を
悪くしてしまう場合がある。また、特許文献３及び特許文献４では、プロジェクターによ
ってスクリーンに投影される画像が、外光のムラ、スクリーンの「なみ」、「すじ」、汚
れ等に起因したノイズによって色が一様でなくなる場合に、撮影画像と投影画像との差分
がノイズの影響を受けるという問題がある。従って、特許文献３及び特許文献４は、実質
的には、ノイズのない理想的な使用環境でなければ手領域を正確に抽出することができな
いものと考えられる。

本発明は、以上のような技術的課題に鑑みてなされたものである。本発明の幾つかの態
様によれば、専用装置を設けることなく、精度良く遮蔽物等の被検出物を検出できる画像
処理装置、画像表示システム、及び画像処理方法等を提供することができる。

（１）本発明の一態様は、表示画面とカメラとの間に存在する被検出物の検出処理を行
う画像処理装置が、前記表示画面に表示されたモデル画像を、前記被検出物により遮られ
ることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を
生成する推定撮影画像生成部と、前記画像データに基づいて前記表示画面に表示される表
示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像と、前
記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検
出物領域を検出する被検出物検出部とを含む。

本態様によれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画
像を生成し、該推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮
影画像との差分により、遮蔽物により遮られた被検出物領域を検出するようにしたので、
専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また
、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので
、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に
起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受ける
ことなく、被検出物領域を高精度に検出できるようになる。

（２）本発明の他の態様に係る画像処理装置では、前記モデル画像は、複数種類のグレ
イ画像を含み、前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグ
レイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像デー
タに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成する。

本態様によれば、モデル画像として複数のグレイ画像を採用し、これらのグレイ画を撮
影した撮影グレイ画像を用いて推定撮影画像を生成するようにしたので、上記の効果に加
えて、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減でき
るようになる。

（３）本発明の他の態様に係る画像処理装置は、前記撮影画像から前記表示画像の領域
を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃
える画像領域抽出部を含み、前記被検出物検出部が、前記画像領域抽出部によって抽出さ
れた前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領
域を検出する。

本態様によれば、撮影画像内の表示画像を抽出し、該表示画像の形状を推定撮影画像の
形状に揃えてから被検出物領域を検出するようにしたので、上記の効果に加えて、簡素な
画素間の比較処理で被検出物領域の検出が可能となる。

（４）本発明の他の態様に係る画像処理装置は、前記推定撮影画像生成部が、前記推定
撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、前記被検出物検出部が、
前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前
記被検出物領域を検出する。

本態様によれば、推定撮影画像の形状を撮影画像内の表示画像の形状に揃えてから、被
検出物領域を検出するようにしたので、推定撮影画像の形状を補正する際のノイズによる
誤差をなくし、より一層高精度の被検出物領域を検出できるようになる。

（５）本発明の他の態様に係る画像処理装置は、前記表示画面に表示された所与の初期
化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づ
いて、前記推定撮影画像又は前記表示画像の形状を揃える。

本態様によれば、撮影画像内の初期化用画像の四隅の位置を基準に、推定撮影画像又は
表示画像の形状を揃えるようにしたので、上記の効果に加えて、より一層被検出物領域の
検出処理を簡素化できるようになる。

（６）本発明の他の態様に係る画像処理装置では、前記表示画面は、スクリーンであり
、前記表示画像は、前記画像データに基づいて前記スクリーンに投影された投影画像であ
る。

本態様によれば、スクリーンに投影される投影画像が被検出物により遮られたとしても
、専用装置を設けることなく、スクリーンの状態等に影響されることなく精度良く被検出
物の領域を検出できるようになる。

（７）本発明の他の態様に係る画像処理装置では、前記画像データに対して、前記被検
出物検出部の検出結果に基づいて抽出された前記被検出物領域の画素を黒く塗り潰す変換
処理を行い、該変換処理後の画像データに基づいて表示画像を表示させるアプリケーショ
ン処理部を含む。

本態様によれば、被検出物領域として抽出された画素は黒く投影されることになり、被
検出物が例えば人である場合には、投影する光が当たらないように制御することができる
画像処理装置を提供できるようになる。

（８）本発明の他の態様は、画像表示システムが、上記のいずれか記載の画像処理装置
と、前記表示画面に表示された画像を撮影する前記カメラと、前記モデル画像又は前記表
示画像の画像データに基づいて画像を表示する画像表示装置とを含む。

本態様によれば、専用装置を設けることなく、精度良く遮蔽物等の被検出物を検出でき
る画像表示システムを提供できるようになる。

（９）本発明の他の態様は、表示画面とカメラとの間に存在する被検出物の検出処理を
行う画像処理方法が、前記表示画面に表示されたモデル画像を、前記被検出物により遮ら
れることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像
を生成する推定撮影画像生成ステップと、前記画像データに基づいて前記表示画面に表示
画像を表示する画像表示ステップと、前記画像表示ステップにおいて前記表示画面に表示
される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表
示画像撮影ステップと、前記表示画像撮影ステップにおいて撮影された撮影画像と、前記
推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出
物領域を検出する被検出物検出ステップとを含む。

本態様によれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画
像を生成し、該推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮
影画像との差分により、遮蔽物により遮られた被検出物領域を検出するようにしたので、
専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また
、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので
、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に
起因したノイズの影響をなくし、上記のノイズの影響を受けることなく、被検出物領域を
高精度に検出できる画像処理方法を提供できるようになる。

本発明の実施形態１における画像表示システムの構成例のブロック図。 図１の画像処理装置の構成例のブロック図。 図２の画像処理部の構成例のブロック図。 図２の画像処理装置の動作例のフロー図。 図４のステップＳ１０のキャリブレーション処理の詳細な動作例のフロー図。 図４のステップＳ１０のキャリブレーション処理の動作説明図。 図５のステップＳ２０の画像領域抽出初期化処理の詳細な動作例のフロー図。 図５のステップＳ２０の画像領域抽出初期化処理の説明図。 図５のステップＳ２８の画像領域抽出処理の詳細な動作例のフロー図。 図５のステップＳ２８の画像領域抽出処理の説明図。 図４のステップＳ１２の遮蔽物抽出処理の詳細の動作例のフロー図。 図１１のステップＳ６０の推定撮影画像生成処理の詳細な動作例のフロー図。 図１１のステップＳ６０の推定撮影画像生成処理の動作説明図。 実施形態１における画像処理部の動作説明図。 図４のステップＳ１４のアプリケーション処理の第１の動作例のフロー図。 図４のステップＳ１４のアプリケーション処理の第２の動作例のフロー図。 図４のステップＳ１４のアプリケーション処理の第２の動作例の説明図。 実施形態２における画像処理部の構成例のブロック図。 実施形態２におけるキャリブレーション処理の詳細な動作例のフロー図。 実施形態２における遮蔽物抽出処理の詳細の動作例のフロー図。 図２０の遮蔽物抽出処理における推定撮影画像生成処理の動作説明図。 実施形態２における画像処理部の動作説明図。 本発明の実施形態３における画像表示システムの構成例のブロック図。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明す
る実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではな
い。また以下で説明される構成のすべてが本発明の課題を解決するために必須の構成要件
であるとは限らない。

以下では、本発明に係る画像表示装置として画像投影装置を例に説明するが、本発明は
これに限定されるものではなく、液晶表示装置等の画像表示装置にも適用することができ
る。

〔実施形態１〕
図１に、本発明の実施形態１における画像表示システムの構成例のブロック図を示す。

画像表示システム１０は、撮像装置としてのカメラ２０と、画像処理装置３０と、画像
表示装置としてのプロジェクター（画像投影装置）１００とを含み、プロジェクター１０
０は、スクリーンＳＣＲに画像を投影する。画像処理装置３０は、画像データを生成する
機能を具備し、生成した画像データをプロジェクター１００に供給する。プロジェクター
１００は、光源を有し、光源からの光を画像データにより変調した光を用いてスクリーン
ＳＣＲに画像を投影する。このようなプロジェクター１００は、例えば光変調素子として
透過型の液晶パネルを用いたライトバルブを用い、色成分毎に画像データに基づいて光源
からの光を変調し、変調後の光を合成してスクリーンＳＣＲに投影する構成を有すること
ができる。カメラ２０は、プロジェクター１００の近傍に配置されており、プロジェクタ
ー１００による投影画像（表示画像）がスクリーンＳＣＲ上で占める領域を含む領域を撮
像可能に設定されている。

このとき、プロジェクター１００と投影面（表示画面）であるスクリーンＳＣＲとの間
に遮蔽物２００（被検出物）が存在すると、プロジェクター１００が投影面に投影する投
影画像（表示画像）が遮られる。また、このとき、遮蔽物２００はスクリーンＳＣＲとカ
メラ２０との間に存在しており、スクリーンＳＣＲ上に投影された投影画像はカメラ２０
に対して遮られる。このように遮蔽物２００によって投影画像が遮られると、画像処理装
置３０は、カメラ２０で投影画像を撮影した撮影情報を用いて、表示画像内で遮蔽物２０
０により遮られた遮蔽物領域（被検出物領域）を検出する処理を行う。より具体的には、
画像処理装置３０は、スクリーンＳＣＲに投影される画像に対応した画像データから、カ
メラ２０で撮影した状態を推定した推定撮影画像を生成し、遮蔽物２００により遮られた
投影画像をカメラ２０で撮影した撮影画像と該推定撮影画像との差分に基づいて、遮蔽物
領域を検出する。

このような画像処理装置３０の機能は、パーソナルコンピューター（Personal Compute
r：ＰＣ）や専用のハードウェアにより実現される。また、カメラ２０の機能は、可視光
カメラで実現される。

これにより、専用のカメラを設ける必要がなくなり、低コストで遮蔽物２００により遮
られた遮蔽物領域を検出できるようになる。また、推定撮影画像と撮影画像との差分によ
り遮蔽物領域を検出するようにしたので、プロジェクター１００によってスクリーンＳＣ
Ｒに投影される画像が、外光やスクリーンＳＣＲの状態等に起因したノイズによって色が
一様でなくなる場合であっても、ノイズの影響を受けることなく遮蔽物領域を高精度に検
出できるようになる。

図２に、図１の画像処理装置３０の構成例のブロック図を示す。

画像処理装置３０は、画像データ生成部４０、画像処理部５０、アプリケーション処理
部９０を含む。画像データ生成部４０は、プロジェクター１００により投影される画像に
対応した画像データを生成する。画像処理部５０は、画像データ生成部４０によって生成
された画像データを用いて、遮蔽物領域を検出する。この画像処理部５０には、カメラ２
０がスクリーンＳＣＲの投影画像を撮影した撮影情報が入力される。画像処理部５０は、
予めカメラ２０からの撮影情報に基づき画像データから推定撮影画像を生成しており、遮
蔽物２００によって遮られたスクリーンＳＣＲへの投影画像を撮影した撮影画像を該推定
撮影画像と比較することで、遮蔽物領域を検出する。アプリケーション処理部９０は、画
像処理部５０によって検出された遮蔽物領域に基づいて、画像データ生成部４０により生
成される画像データを変更させることにより投影画像を変化させる等の遮蔽物領域の検出
結果に対応した処理を行う。

図３に、図２の画像処理部５０の構成例のブロック図を示す。

画像処理部５０は、撮影情報取得部５２、画像領域抽出部５４、キャリブレーション処
理部５６、撮影グレイ画像保存部５８、遮蔽物領域抽出部（被検出物検出部）６０、推定
撮影画像保存部６２、画像データ出力部６４を含む。遮蔽物領域抽出部６０は、推定撮影
画像生成部７０を含む。

撮影情報取得部５２は、カメラ２０により撮影された撮影画像に対応した撮影情報を取
得する制御を行う。この撮影情報取得部５２は、カメラ２０を直接制御してもよいし、ユ
ーザーにカメラ２０による撮影を促す表示を行うようにしてもよい。画像領域抽出部５４
は、撮影情報取得部５２によって取得された撮影情報に対応した撮影画像内の投影画像を
抽出する処理を行う。キャリブレーション処理部５６は、カメラ２０で撮影した撮影画像
を用いて推定撮影画像を生成するのに先立って、キャリブレーション処理を行う。キャリ
ブレーション処理では、スクリーンＳＣＲにモデル画像を表示させて、スクリーンＳＣＲ
に表示されたモデル画像を、遮蔽物２００に遮られることなくカメラ２０により撮影する
。この画像の色や位置を参照して、実際にカメラ２０で投影画像を撮影した画像を推定し
た推定撮影画像が生成される。

実施形態１では、モデル画像として、複数種類のグレイ画像が採用される。それぞれの
グレイ画像では、当該グレイ画像を構成する各画素の画素値が互いに等しい。このような
複数種類のグレイ画像を表示させて、キャリブレーション処理部５６は、複数種類の撮影
グレイ画像を取得する。撮影グレイ画像保存部５８は、キャリブレーション処理部５６に
よって得られた撮影グレイ画像を保存する。これらの撮影グレイ画像の画素の画素値を参
照して、カメラ２０で撮影する表示画像を推定した推定撮影画像が生成されることになる
。

遮蔽物領域抽出部６０は、プロジェクター１００の投影画像を遮蔽物２００により遮ら
れた状態でカメラ２０により撮影された撮影画像と、撮影グレイ画像保存部５８に保存さ
れた撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で遮
蔽物２００によって遮られた遮蔽物領域を抽出する。この撮影画像は、推定撮影画像を生
成する際に参照した画像データに基づいてプロジェクター１００によりスクリーンＳＣＲ
に投影した画像を撮影して得られた画像である。このため、推定撮影画像生成部７０は、
プロジェクター１００によりスクリーンＳＣＲに投影される画像の画像データから、撮影
グレイ画像保存部５８に保存された撮影グレイ画像を参照して推定撮影画像を生成するこ
とで、カメラ２０による撮影画像の各画素の色等を推定する。推定撮影画像生成部７０に
よって生成された推定撮影画像は、推定撮影画像保存部６２に保存される。

画像データ出力部６４は、画像データ生成部４０からの画像データを、画像処理部５０
又はアプリケーション処理部９０からの指示によりプロジェクター１００に出力する制御
を行う。

このように、画像処理部５０は、プロジェクター１００に投影される画像の画像データ
から、実際にカメラ２０で撮影した画像を推定した推定撮影画像を生成する。そして、こ
の推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との
差分に基づいて、遮蔽物領域が抽出される。こうすることで、推定撮影画像と、これを生
成する際に使用したカメラ２０を用いて得られた撮影画像との差分は、外光のムラ、スク
リーンＳＣＲの「なみ」、「すじ」、汚れ等の状態、プロジェクター１００の位置やズー
ム状態、カメラ２０の位置や歪み等に起因したノイズの影響をなくすことができる。これ
により、上記のノイズの影響を受けることなく、遮蔽物領域を高精度に検出できるように
なる。

以下、このような画像処理装置３０の動作例について説明する。

〔動作例〕
図４に、図２の画像処理装置３０の動作例のフロー図を示す。

画像処理装置３０では、まず、画像処理部５０が、キャリブレーション処理ステップと
して、キャリブレーション処理を行う（ステップＳ１０）。キャリブレーション処理では
、上記の撮影グレイ画像を生成する際の初期化処理を行った後に、複数種類の撮影グレイ
画像を生成する処理を行い、遮蔽物２００に遮られた投影画像を撮影した画像を推定する
ための準備を行う。

次に、画像処理装置３０では、画像処理部５０が、遮蔽物領域抽出ステップとして、遮
蔽物２００に遮られた投影画像を撮影した撮影画像内の遮蔽物領域の抽出処理を行う（ス
テップＳ１２）。この遮蔽物領域の抽出処理では、ステップＳ１０において生成された複
数種類の撮影グレイ画像を用いて推定撮影画像が生成される。そして、プロジェクター１
００の投影画像を遮蔽物２００により遮られた状態でカメラ２０により撮影した撮影画像
と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画
像との差分に基づいて、撮影画像内で遮蔽物２００により遮られた領域が抽出される。

そして、画像処理装置３０では、アプリケーション処理部９０が、アプリケーション処
理ステップとして、ステップＳ１２において抽出された遮蔽物２００の領域に基づいて、
アプリケーション処理を行い（ステップＳ１４）、一連の処理を終了する（エンド）。こ
のアプリケーション処理では、ステップＳ１２において抽出された遮蔽物２００の領域に
基づいて、画像データ生成部４０により生成される画像データを変更させることにより投
影画像を変化させる等の遮蔽物領域の検出結果に対応した処理が行われる。

〔キャリブレーション処理の例〕
図５に、図４のステップＳ１０のキャリブレーション処理の詳細な動作例のフロー図を
示す。
図６に、図４のステップＳ１０のキャリブレーション処理の動作説明図を示す。

キャリブレーション処理が開始されると、画像処理装置３０は、まずキャリブレーショ
ン処理部５６において画像領域抽出初期化処理を行う（ステップＳ２０）。画像領域抽出
初期化処理では、カメラ２０によりプロジェクター１００の投影画像を撮影した撮影画像
内の投影画像を抽出するのに先立って、撮影画像内の投影画像の領域を特定するための処
理を行う。より具体的には、画像領域抽出初期化処理では、撮影画像内の四角形状の投影
画像の四隅の座標位置を抽出する処理を行う。

次に、キャリブレーション処理部５６は、グレイ画像の画素値に対応した変数ｉを「０
」に設定して変数ｉを初期化する（ステップＳ２２）。続いて、キャリブレーション処理
部５６では、グレイ画像表示ステップとして、例えば画像データ生成部４０により各色成
分の画素値がｇ［ｉ］のグレイ画像の画像データを生成させ、画像データ出力部６４が該
画像データをプロジェクター１００に出力して、画素値ｇ［ｉ］のグレイ画像をスクリー
ンＳＣＲに投影させる（ステップＳ２４）。そして、キャリブレーション処理部５６は、
撮影グレイ画像撮影ステップとして、ステップＳ２４でスクリーンＳＣＲに投影された画
像をカメラ２０で撮影し、撮影情報取得部５２においてカメラ２０の撮影画像の撮影情報
を取得する（ステップＳ２６）。

ここで、キャリブレーション処理部５６を有する画像処理装置３０は、画像領域抽出部
５４において、ステップＳ２６で取得されたグレイ画像を撮影した撮影画像からグレイ画
像の領域を抽出する処理を行う（ステップＳ２８）。このステップＳ２８では、ステップ
Ｓ２０で得られた四隅の座標位置に基づいてグレイ画像の領域が抽出される。画像処理装
置３０は、ステップＳ２８で抽出されたグレイ画像の領域を、撮影グレイ画像としてｇ［
ｉ］と関連付けて撮影グレイ画像保存部５８に保存する（ステップＳ３０）。

キャリブレーション処理部５６は、変数ｉに整数ｄを加算して変数ｉを更新し（ステッ
プＳ３２）、次のグレイ画像の撮影に備える。なお、ステップＳ３２で更新された変数ｉ
が所与の最大値Ｎ以上のとき（ステップＳ３４：Ｎ）、一連の処理を終了し（エンド）、
更新後の変数ｉが最大値Ｎより小さいとき（ステップＳ３４：Ｙ）、ステップＳ２４に戻
る。

ここで、１画素がＲ成分、Ｇ成分及びＢ成分により構成され、各色成分の画素値が８ビ
ットの画像データで表されるものとする。実施形態１では、上記のキャリブレーション処
理によって、例えば、図６に示すように、全画素の各色成分の画素値が「０」のグレイ画
像ＧＰ０、全画素の各色成分の画素値が「６４」のグレイ画像ＧＰ１、・・・、全画素の
各色成分の画素値が「２５５」のグレイ画像ＧＰ４等の複数種類のグレイ画像に対する撮
影グレイ画像ＰＧＰ０、ＰＧＰ１、・・・、ＰＧＰ４を得ることができる。各撮影グレイ
画像は、推定撮影画像を生成する際に参照され、実際にプロジェクター１００に投影され
る画像の画像データに対して、プロジェクター１００の使用環境やスクリーンＳＣＲの状
態を反映させた推定撮影画像が生成される。また、グレイ画像を用いるようにしたので、
推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減できるよう
になる。

〔画像領域抽出初期化処理の例〕
図７に、図５のステップＳ２０の画像領域抽出初期化処理の詳細な動作例のフロー図を
示す。
図８に、図５のステップＳ２０の画像領域抽出初期化処理の説明図を示す。図８は、ス
クリーンＳＣＲ上のカメラ２０によって撮影される領域に対応する投影面ＩＧ１と、投影
面ＩＧ１における投影画像ＩＧ２の領域の一例を模式的に表す。

キャリブレーション処理部５６は、例えば画像データ生成部４０により全画素が白色で
ある白画像の画像データを生成させる。そして、画像データ出力部６４は、白画像の画像
データをプロジェクター１００に出力することで、プロジェクター１００によって白画像
をスクリーンＳＣＲに投影させる（ステップＳ４０）。

続いて、キャリブレーション処理部５６は、カメラ２０によってステップＳ４０で投影
された白画像を撮影させ（ステップＳ４２）、撮影情報取得部５２において白画像の撮影
情報が取得される。そして、画像領域抽出部５４は、撮影画像内の白画像の四隅の座標Ｐ
_１（ｘ１，ｙ１）、Ｐ_２（ｘ２，ｙ２）、Ｐ_３（ｘ３，ｙ３）、Ｐ_４（ｘ４，ｙ４）を抽
出する処理を行う（ステップＳ４４）。この処理としては、投影画像ＩＧ２の境界を例え
ばＤ１方向に検出していきながら、閾値以上の角度がある点を角の座標として抽出すれば
よい。

画像領域抽出部５４は、ステップＳ４４で抽出された四隅の座標Ｐ_１（ｘ１，ｙ１）、
Ｐ_２（ｘ２，ｙ２）、Ｐ_３（ｘ３，ｙ３）、Ｐ_４（ｘ４，ｙ４）を、撮影画像内の投影画
像の領域を特定するための情報として保存し（ステップＳ４６）、一連の処理を終了する
（エンド）。

なお、図７では白画像を投影させるものとして説明したが、本発明はこれに限定される
ものではない。カメラ２０により投影画像を撮影したときに、その撮影画像内の投影画像
の領域とそれ以外の領域との階調差が大きくなるような画像を投影すればよい。こうする
ことで、撮影画像内の投影画像の領域を精度良く抽出できるようになる。

〔撮影画像抽出処理の例〕
図９に、図５のステップＳ２８の画像領域抽出処理の詳細な動作例のフロー図を示す。
図１０に、図５のステップＳ２８の画像領域抽出処理の説明図を示す。図１０は、スク
リーンＳＣＲ上のカメラ２０によって撮影される領域に対応する投影面ＩＧ１に投影され
た投影画像ＩＧ２の領域を抽出する様子を模式的に表す。

画像領域抽出部５４は、ステップＳ４４で抽出された撮影画像内の投影画像の四隅の座
標位置に基づいて、ステップＳ２６で撮影された撮影画像内の撮影グレイ画像の領域を抽
出する（ステップＳ５０）。例えば図１０に示すように、画像領域抽出部５４は、撮影画
像内の投影画像の四隅の座標Ｐ_１（ｘ１，ｙ１）、Ｐ_２（ｘ２，ｙ２）、Ｐ_３（ｘ３，ｙ
３）、Ｐ_４（ｘ４，ｙ４）を用いて、撮影画像内の撮影グレイ画像ＧＹ１を抽出する。

その後、画像領域抽出部５４は、ステップＳ５０で抽出された撮影グレイ画像の形状を
矩形に形状補正し（ステップＳ５２）、一連の処理を終了する（エンド）。これにより、
例えば図１０の撮影グレイ画像ＧＹ１から、長方形形状の撮影グレイ画像ＧＹ２が生成さ
れると共に、撮影グレイ画像ＧＹ２の形状を推定撮影画像の形状に揃えることができる。

〔遮蔽物領域抽出処理の例〕
図１１に、図４のステップＳ１２の遮蔽物抽出処理の詳細の動作例のフロー図を示す。

遮蔽物抽出処理が開始されると、遮蔽物領域抽出部６０は、推定撮影画像生成ステップ
として、推定撮影画像生成部７０において推定撮影画像生成処理を行う（ステップＳ６０
）。この推定撮影画像生成処理では、ステップＳ３０において保存された撮影グレイ画像
の各画素値を参照して、実際にプロジェクター１００により投影させる画像データを変換
して、推定撮影画像の画像データが生成される。遮蔽物領域抽出部６０は、ステップＳ６
０において生成された推定撮影画像の画像データを、推定撮影画像保存部６２に保存する
。

次に、画像表示ステップとして、遮蔽物領域抽出部６０からの指示により、画像データ
出力部６４は、実際にプロジェクター１００により投影させるオリジナルの画像データを
プロジェクター１００に出力し、該画像データに基づく画像をプロジェクター１００によ
りスクリーンＳＣＲに投影させる（ステップＳ６２）。なお、このオリジナルの画像デー
タは、ステップＳ６０の推定撮影画像生成処理において、推定撮影画像の生成元の画像デ
ータである。

続いて、遮蔽物領域抽出部６０は、表示画像撮影ステップとして、ステップＳ６２にお
いて投影された画像をカメラ２０で撮影させる制御を行い、撮影情報取得部５２を介して
、この撮影画像の撮影情報を取得する（ステップＳ６４）。このとき取得された撮影画像
は、プロジェクター１００による投影画像が遮蔽物２００によって遮られ、撮影画像内に
遮蔽物領域が存在する。

そして、遮蔽物領域抽出部６０は、遮蔽物領域検出ステップ（被検出物検出ステップ）
として、ステップＳ６４で得られた撮影画像内におけるステップＳ６２で投影された画像
の領域を抽出する（ステップＳ６６）。このステップＳ６６の処理は、図５のステップＳ
２８及び図９で説明した処理と同様に、ステップＳ４４で抽出された撮影画像内の投影画
像の四隅の座標位置に基づいて、ステップＳ６４で撮影された撮影画像内の投影画像の領
域を抽出する。

次に、遮蔽物領域抽出部６０は、推定撮影画像保存部６２に保存された推定撮影画像と
、ステップＳ６６で抽出された撮影画像内の投影画像とを参照して、画素毎に、対応する
画素値の差分値を計算し、差分画像を生成する（ステップＳ６８）。

そして、遮蔽物領域抽出部６０は、差分画像の画素毎に差分値の解析を行う。差分画像
の全画素について、差分値の解析が終了したとき（ステップＳ７０：Ｙ）、遮蔽物領域抽
出部６０は、一連の処理を終了する（エンド）。一方、全画素の差分値の解析が終了して
いないとき（ステップＳ７０：Ｎ）、遮蔽物領域抽出部６０は、差分値が閾値を超えてい
るか否かを判別する（ステップＳ７２）。

ステップＳ７２において、差分値が閾値を超えていると判別されたとき（ステップＳ７
２：Ｙ）、遮蔽物領域抽出部６０は、当該画素を遮蔽物２００によって遮られた遮蔽物領
域の画素として登録し（ステップＳ７４）、ステップＳ７０に戻る。このステップＳ７４
では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素を所定の色に
変換して可視化してもよい。一方、ステップＳ７２において、差分値が閾値を超えていな
いと判別されたとき（ステップＳ７２：Ｎ）、遮蔽物領域抽出部６０は、ステップＳ７０
に戻って処理を継続する。

〔推定撮影画像生成処理の例〕
図１２に、図１１のステップＳ６０の推定撮影画像生成処理の詳細な動作例のフロー図
を示す。
図１３に、図１１のステップＳ６０の推定撮影画像生成処理の動作説明図を示す。図１
３は、１画素を構成する複数の色成分のうち１つの色成分についての推定撮影画像の生成
処理の説明図を表す。

推定撮影画像生成部７０は、プロジェクター１００に出力される画像データに対応した
画像の全画素について、色成分毎に撮影グレイ画像を参照することで推定撮影画像を生成
する。まず、推定撮影画像生成部７０は、全画素について終了していないとき（ステップ
Ｓ８０：Ｎ）、Ｒ成分の全画素について処理が終了したか否かを判別する（ステップＳ８
２）。

ステップＳ８２において、Ｒ成分の全画素について処理が終了していないとき（ステッ
プＳ８２：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）≦Ｒ値（Ｒ成分の画
素値）となる最大のｋを探索する（ステップＳ８４）。一方、ステップＳ８２において、
Ｒ成分の全画素について処理が終了しているとき（ステップＳ８２：Ｙ）、ステップＳ８
８に進み、次の色成分であるＧ成分について推定撮影画像の生成処理を行う。

ステップＳ８４に続いて、推定撮影画像生成部７０は、ステップＳ８４で探索されたｋ
に対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＲ成分の画素値と、撮影グレ
イ画像ＰＧＰ（ｋ＋１）における当該画素位置のＲ成分の画素値とを用いた補間処理によ
り、Ｒ値を求める（ステップＳ８６）。なお、撮影グレイ画像保存部５８に撮影グレイ画
像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＲ値としてｋを採用することがで
きる。

次に、推定撮影画像生成部７０は、Ｇ成分の全画素について処理が終了したか否かを判
別する（ステップＳ８８）。ステップＳ８８において、Ｇ成分の全画素について処理が終
了していないとき（ステップＳ８８：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは
整数）≦Ｇ値（Ｇ成分の画素値）となる最大のｋを探索する（ステップＳ９０）。ステッ
プＳ８８において、Ｇ成分の全画素について処理が終了しているとき（ステップＳ８８：
Ｙ）、ステップＳ９４に進み、次の色成分であるＢ成分について推定撮影画像の生成処理
を行う。

ステップＳ９０に続いて、推定撮影画像生成部７０は、ステップＳ９０で探索されたｋ
に対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＧ成分の画素値と、撮影グレ
イ画像ＰＧＰ（ｋ＋１）における当該画素位置のＧ成分の画素値とを用いた補間処理によ
り、Ｇ値を求める（ステップＳ９２）。なお、撮影グレイ画像保存部５８に撮影グレイ画
像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＧ値としてｋを採用することがで
きる。

最後に、推定撮影画像生成部７０は、Ｂ成分の全画素について処理が終了したか否かを
判別する（ステップＳ９４）。ステップＳ９４において、Ｂ成分の全画素について処理が
終了していないとき（ステップＳ９４：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋ
は整数）≦Ｂ値（Ｂ成分の画素値）となる最大のｋを探索する（ステップＳ９６）。ステ
ップＳ９４において、Ｂ成分の全画素について処理が終了しているとき（ステップＳ９４
：Ｙ）、ステップＳ８０に戻る。

ステップＳ９６に続いて、推定撮影画像生成部７０は、ステップＳ９６で探索されたｋ
に対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＢ成分の画素値と、撮影グレ
イ画像ＰＧＰ（ｋ＋１）における当該画素位置のＢ成分の画素値とを用いた補間処理によ
り、Ｂ値を求める（ステップＳ９８）。なお、撮影グレイ画像保存部５８に撮影グレイ画
像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＢ値としてｋを採用することがで
きる。その後、推定撮影画像生成部７０は、ステップＳ８０に戻り、処理を継続する。

以上の処理により、推定撮影画像生成部７０は、図１３に示すように、オリジナルの画
像データにより表される画像が画像ＩＭＧ０のとき、画素毎に、当該画素位置Ｑ_１の画素
値（Ｒ値、Ｇ値又はＢ値）に近い撮影グレイ画像ＰＧＰｋを求める。そして、推定撮影画
像生成部７０は、画素位置Ｑ_１に対応する撮影グレイ画像の画素位置Ｑ_０における画素値
を用いて、画素位置Ｑ_１に対応する推定撮影画像ＩＭＧ１の画素位置Ｑ_２における画素値
を求める。ここで、推定撮影画像生成部７０は、撮影グレイ画像ＰＧＰｋにおける画素位
置Ｑ_０の画素値、又は撮影グレイ画像ＰＧＰｋ、ＰＧＰ（ｋ＋１）における画素位置Ｑ_０
の画素値を用いて、推定撮影画像ＩＭＧ１の画素位置Ｑ_２における画素値を求める。推定
撮影画像生成部７０は、上記の処理を、全画素について、色成分毎に繰り返すことで、推
定撮影画像ＩＭＧ１を生成する。

画像処理部５０において、図５〜図１３で説明した処理を行うことで、次のように遮蔽
物２００により遮られた遮蔽物領域を抽出することができる。

図１４に、画像処理部５０の動作説明図を示す。

即ち、画像処理部５０は、プロジェクター１００により投影される画像ＩＭＧ０の画像
データを用いて、上記のように推定撮影画像ＩＭＧ１を生成する。その一方、画像処理部
５０は、プロジェクター１００に、画像ＩＭＧ０の画像データに基づいてスクリーンＳＣ
Ｒの投影領域ＡＲ（投影面ＩＧ１）に画像ＩＭＧ２を投影させる。このとき、例えば人の
指等の遮蔽物ＭＴによって投影画像ＩＭＧ２が遮られるものとすると、画像処理部５０は
、投影領域ＡＲ内の投影画像ＩＭＧ２をカメラ２０で撮影し、その撮影情報を取得する。

画像処理部５０は、取得した撮影情報に基づいて、撮影画像内の投影画像ＩＭＧ３を抽
出する。そして、画像処理部５０は、撮影画像内の投影画像ＩＭＧ３と推定撮影画像ＩＭ
Ｇ１との差分を画素毎にとり、その差分値に基づいて、投影画像ＩＭＧ３内の遮蔽物ＭＴ
の領域ＭＴＲを抽出する。

こうして抽出された遮蔽物領域に基づいて、アプリケーション処理部９０は、例えば次
のようなアプリケーション処理を行うことができる。

〔アプリケーション処理の例〕
図１５に、図４のステップＳ１４のアプリケーション処理の第１の動作例のフロー図を
示す。

アプリケーション処理部９０は、図４のステップＳ１２の遮蔽物領域抽出処理において
、遮蔽物２００の領域が抽出されると、抽出された領域に基づいて所与のアプリケーショ
ン処理を行う。例えば図１５に示すように、アプリケーション処理部９０は、プロジェク
ター１００により投影される画像内の画素毎に、ステップＳ１２において遮蔽物領域内の
画素として抽出された画素であるか否かを判別する（ステップＳ１００：Ｎ、ステップＳ
１０２）。そして、アプリケーション処理部９０は、ステップＳ１０２において遮蔽物領
域内の画素として抽出された画素を黒画素に置換して画像データを加工する。この画像デ
ータの加工は、遮蔽物領域の画素を黒く塗り潰す画像データの変換処理である。アプリケ
ーション処理部９０は、全画素について遮蔽物領域内の画素として抽出された画素である
か否かの判別処理を終了すると（ステップＳ１００：Ｙ）、ステップＳ１０２において加
工された画像データに基づく画像をプロジェクター１００に投影させる制御を行う（ステ
ップＳ１０４）。

以上のように、遮蔽物領域の検出結果に基づいて、画像データを加工し、加工後の画像
データに基づいて画像を投影することで、表示画像を変化させることができる。この第１
の動作例によれば、遮蔽物領域として抽出された画素は黒く投影されることになる。この
遮蔽物２００が、例えばプロジェクター１００とスクリーンＳＣＲとの間に立ってプレゼ
ンテーションを行う人である場合には、プロジェクター１００からの光が当たらないよう
に制御することができるようになる。

アプリケーション処理部９０が行うアプリケーション処理は、図１５に示す処理に限定
されるものではない。

図１６に、図４のステップＳ１４のアプリケーション処理の第２の動作例のフロー図を
示す。
図１７に、図４のステップＳ１４のアプリケーション処理の第２の動作例の説明図を示
す。

アプリケーション処理部９０は、指示ボタンを含む画像を投影させ（ステップＳ１１０
）、この投影画像に対して図４のステップＳ１２の遮蔽物領域抽出処理において、遮蔽物
領域を抽出させる。そして、アプリケーション処理部９０は、ステップＳ１２において遮
蔽物領域が抽出されると、遮蔽物領域内で投影画像の中心に最も近い画素の座標を算出す
る（ステップＳ１１２）。例えば図１７に示すように、ステップＳ１１２では、遮蔽物領
域ＭＴＲ内の画素のうち、投影画像ＩＭＧ３内の中心位置Ｏに最も近い画素Ｔの位置が算
出される。

その後、アプリケーション処理部９０は、一定時間以上、投影画像ＩＭＧ３内の中心位
置Ｏに最も近い画素Ｔの位置が移動していないか否かを監視する（ステップＳ１１４）。
ステップＳ１１４において、一定時間以内に画素Ｔの位置が移動したことが検出されると
（ステップＳ１１４：Ｎ）、アプリケーション処理部９０は、その移動が一定範囲内の移
動であるか否かを判別する（ステップＳ１１６）。ステップＳ１１６において、一定範囲
内の移動ではないと判別されると（ステップＳ１１６：Ｎ）、アプリケーション処理部９
０は、一連の処理を終了する（エンド）。また、ステップＳ１１６において、一定範囲内
の移動であると判別されると（ステップＳ１１６：Ｙ）、アプリケーション処理部９０は
、画素Ｔの位置が移動していないと判断してステップＳ１１４に戻って処理を継続する。

一方、ステップＳ１１４において、一定時間以上、投影画像ＩＭＧ３内の中心位置Ｏに
最も近い画素Ｔの位置が移動していない、又は一定範囲内の移動であることが検出された
とき（ステップＳ１１６：Ｙ）、アプリケーション処理部９０は、画素Ｔの位置が指示ボ
タンの位置であるか否かを判別する（ステップＳ１１８）。

ステップＳ１１８において、画素Ｔの位置が指示ボタンの位置であると判別されたとき
（ステップＳ１１８：Ｙ）、アプリケーション処理部９０は、指示ボタンの押下と判定し
て、予め該指示ボタンの押下を条件に開始される画像を変化させる処理を行い（ステップ
Ｓ１２０）、一連の処理を終了する（エンド）。ステップＳ１２０では、例えばステップ
Ｓ１１０で投影された画像を変化させる処理を行うことで、遮蔽物領域の検出結果に応じ
て表示画像を変化させることができるようになる。一方、ステップＳ１１８において、画
素Ｔの位置が指示ボタンの位置ではないと判別されたとき（ステップＳ１１８：Ｎ）、ア
プリケーション処理部９０は、一連の処理を終了する（エンド）。

なお、画像処理装置３０は、中央演算処理装置（Central Processing Unit：以下、Ｃ
ＰＵ）、読み出し専用メモリー（Read Only Memory：ＲＯＭ）及びランダムアクセスメモ
リー（Random Access Memory：ＲＡＭ）を有し、ＲＯＭ又はＲＡＭに記憶されたプログラ
ムを読み込んだＣＰＵが該プログラムに対応した処理を実行することで、上記の実施形態
１における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ＲＯＭ又
はＲＡＭに、上記の処理のフロー図に対応したプログラムが格納される。

〔実施形態２〕
実施形態１では、カメラ２０でスクリーンＳＣＲに投影された画像を撮影した撮影画像
から投影画像を抽出していたが、これに限定されるものではく、撮影画像内の投影画像を
抽出することなく、遮蔽物２００の領域を抽出するようにしてもよい。実施形態２におけ
る画像処理装置が、実施形態１における画像処理装置３０と異なる点は、画像処理部の構
成及び動作である。従って、以下では、実施形態２における画像処理部の構成及び動作に
ついて説明する。

図１８に、実施形態２における画像処理部の構成例のブロック図を示す。図１８におい
て、図３と同一部分には同一符号を付し、適宜説明を省略する。

実施形態２における画像処理部５０ａは、撮影情報取得部５２、キャリブレーション処
理部５６ａ、撮影グレイ画像保存部５８、遮蔽物領域抽出部６０ａ、推定撮影画像保存部
６２、画像データ出力部６４を含む。遮蔽物領域抽出部６０ａは、推定撮影画像生成部７
０ａを含む。画像処理部５０ａが画像処理部５０と異なる点は、画像処理部５０ａが画像
処理部５０において画像領域抽出部５４が省略された構成を有している点と、遮蔽物領域
抽出部６０ａ（推定撮影画像生成部７０ａ）が、カメラ２０による撮影した画像の形状の
推定撮影画像を生成する点である。そのため、撮影情報取得部５２が取得した撮影情報は
、キャリブレーション処理部５６ａ及び遮蔽物領域抽出部６０ａに供給される。

キャリブレーション処理部５６ａは、実施形態１と同様にキャリブレーション処理を行
うが、キャリブレーション処理における推定撮影画像を生成する際に、遮蔽物２００に遮
られることなくカメラ２０で撮影された撮影情報を撮影情報取得部５２から取得する。即
ち、複数種類のグレイ画像を表示させて、キャリブレーション処理部５６ａは、撮影情報
取得部５２から複数種類の撮影グレイ画像の撮影情報を取得する。撮影グレイ画像保存部
５８は、キャリブレーション処理部５６ａによって得られた撮影グレイ画像を保存する。
これらの撮影グレイ画像のいずれかの画素の画素値を参照して、カメラ２０で撮影する表
示画像を推定した推定撮影画像が生成されることになる。

遮蔽物領域抽出部６０ａにおいても、プロジェクター１００の投影画像を遮蔽物２００
により遮られた状態でカメラ２０により撮影された撮影画像と、撮影グレイ画像保存部５
８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影
画像内の遮蔽物２００の領域を抽出する。この撮影画像は、撮影情報取得部５２によって
取得された撮影情報に対応した画像である。推定撮影画像生成部７０ａは、プロジェクタ
ー１００によりスクリーンＳＣＲに投影される画像の画像データから、撮影グレイ画像保
存部５８に保存された撮影グレイ画像を参照して推定撮影画像を生成する。推定撮影画像
生成部７０ａによって生成された推定撮影画像は、推定撮影画像保存部６２に保存される
。

画像処理部５０ａは、プロジェクター１００に投影される画像の画像データから、実際
にカメラ２０で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影
画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づ
いて、遮蔽物２００の領域が抽出される。こうすることで、推定撮影画像と、これを生成
する際に使用したカメラ２０を用いて得られた撮影画像との差分は、外光のムラ、スクリ
ーンＳＣＲの「なみ」、「すじ」、汚れ等の状態、プロジェクター１００の位置やズーム
状態、カメラ２０の位置や歪み等に起因したノイズの影響をなくすことができる。これに
より、上記のノイズの影響を受けることなく、遮蔽物２００の領域を高精度に検出できる
ようになる。この際、形状を補正することなく、差分画像に基づいて遮蔽物２００の領域
を抽出するため、形状補正の際のノイズによる誤差をなくし、実施形態１より高精度に遮
蔽物２００の領域を検出できるようになる。

このような画像処理部５０ａを有する実施形態２における画像処理装置は、図１の画像
表示システム１０に適用することができる。この実施形態２における画像処理装置の動作
は、図４の動作と同様であるが、ステップＳ１０のキャリブレーション処理とステップＳ
１２の遮蔽物領域抽出処理の処理が異なる。

〔キャリブレーション処理の例〕
図１９に、実施形態２におけるキャリブレーション処理の詳細な動作例のフロー図を示
す。

キャリブレーション処理が開始されると、キャリブレーション処理部５６ａは、実施形
態１と同様の画像領域抽出初期化処理を行う（ステップＳ１３０）。より具体的には、画
像領域抽出初期化処理では、撮影画像内の四角形状の投影画像の四隅の座標位置を抽出す
る処理を行う。

次に、キャリブレーション処理部５６ａは、グレイ画像の画素値に対応した変数ｉを「
０」に設定して変数ｉを初期化する（ステップＳ１３２）。続いて、キャリブレーション
処理部５６ａでは、例えば画像データ生成部４０により各色成分の画素値がｇ［ｉ］のグ
レイ画像の画像データを生成させ、画像データ出力部６４が該画像データをプロジェクタ
ー１００に出力して、画素値ｇ［ｉ］のグレイ画像をスクリーンＳＣＲに投影させる（ス
テップＳ１３４）。そして、キャリブレーション処理部５６ａは、ステップＳ１３４でス
クリーンＳＣＲに投影された画像をカメラ２０で撮影し、撮影情報取得部５２においてカ
メラ２０の撮影画像の撮影情報を取得する（ステップＳ１３６）。

次に、キャリブレーション処理部５６ａは、ステップＳ１３６で取得された撮影グレイ
画像を、該撮影グレイ画像に対応したｇ［ｉ］と関連付けて撮影グレイ画像保存部５８に
保存する（ステップＳ１３８）。

キャリブレーション処理部５６ａは、変数ｉに整数ｄを加算して変数ｉを更新し（ステ
ップＳ１４０）、次のグレイ画像の撮影に備える。なお、ステップＳ１４０で更新された
変数ｉが所与の最大値Ｎ以上のとき（ステップＳ１４２：Ｎ）、一連の処理を終了し（エ
ンド）、更新後の変数ｉが最大値Ｎより小さいとき（ステップＳ１４２：Ｙ）、ステップ
Ｓ１３４に戻る。

〔遮蔽物領域抽出処理の例〕
図２０に、実施形態２における遮蔽物抽出処理の詳細の動作例のフロー図を示す。
図２１に、図２０の遮蔽物抽出処理における推定撮影画像生成処理の動作説明図を示す
。図２１は、１画素を構成する複数の色成分のうち１つの色成分についての推定撮影画像
の生成処理の説明図を表す。

実施形態１と同様に遮蔽物抽出処理が開始されると、遮蔽物領域抽出部６０ａは、推定
撮影画像生成部７０ａにおいて推定撮影画像生成処理を行う（ステップＳ１５０）。この
推定撮影画像生成処理では、ステップＳ１３８において保存された撮影グレイ画像の各画
素値を参照して、実際にプロジェクター１００により投影させる画像データを変換して、
推定撮影画像の画像データが生成される。遮蔽物領域抽出部６０ａは、ステップＳ１５０
において生成された推定撮影画像を、推定撮影画像保存部６２に保存する。

ステップＳ１５０において、推定撮影画像生成部７０ａは、実施形態１と同様に推定撮
影画像を生成する。即ち、推定撮影画像生成部７０ａは、まずステップＳ１３０で取得さ
れた撮影画像内の四隅の座標位置を用いて、オリジナルの画像データにより表される画像
に対して公知の形状補正を行う。そして、この形状補正後の画像に対して、実施形態１と
同様にして推定撮影画像を生成する。より具体的には、図２１に示すように、オリジナル
の画像データにより表される画像が画像ＩＭＧ０のとき、画素毎に、当該画素位置の画素
値（Ｒ値、Ｇ値又はＢ値）に近い撮影グレイ画像を求める。そして、推定撮影画像生成部
７０ａは、当該画素位置に対応する撮影グレイ画像の画素位置における画素値を用いて、
当該画素位置に対応する推定撮影画像ＩＭＧ１の画素位置における画素値を求める。ここ
で、推定撮影画像生成部７０ａは、撮影グレイ画像ＰＧＰｋにおける画素位置の画素値、
又は撮影グレイ画像ＰＧＰｋ、ＰＧＰ（ｋ＋１）における画素位置の画素値を用いて、推
定撮影画像ＩＭＧ１の画素位置における画素値を求める。推定撮影画像生成部７０ａは、
上記の処理を、全画素について、色成分毎に繰り返すことで、推定撮影画像ＩＭＧ１を生
成する。これにより、推定撮影画像生成部７０ａは、推定撮影画像の形状を撮影画像内の
投影画像の形状に揃えることができる。

次に、遮蔽物領域抽出部６０ａからの指示により、画像データ出力部６４は、実際にプ
ロジェクター１００により投影させるオリジナルの画像データをプロジェクター１００に
出力し、該画像データに基づく画像をプロジェクター１００によりスクリーンＳＣＲに投
影させる（ステップＳ１５２）。このオリジナルの画像データは、ステップＳ１５０の推
定撮影画像生成処理において、推定撮影画像の生成元の画像データである。

続いて、遮蔽物領域抽出部６０ａは、ステップＳ１５２において投影された画像をカメ
ラ２０で撮影させる制御を行い、撮影情報取得部５２を介して、この撮影画像の撮影情報
を取得する（ステップＳ１５４）。このとき取得された撮影画像は、プロジェクター１０
０による投影画像が遮蔽物２００によって遮られ、撮影画像内に遮蔽物領域が存在する。

そして、遮蔽物領域抽出部６０ａは、推定撮影画像保存部６２に保存された推定撮影画
像と、ステップＳ１５４で取得された撮影画像とを参照して、画素毎に、対応する画素値
の差分値を計算し、差分画像を生成する（ステップＳ１５６）。

そして、遮蔽物領域抽出部６０ａは、差分画像の画素毎に差分値の解析を行う。差分画
像の全画素について、差分値の解析が終了したとき（ステップＳ１５８：Ｙ）、遮蔽物領
域抽出部６０ａは、一連の処理を終了する（エンド）が、全画素の差分値の解析が終了し
ていないとき（ステップＳ１５８：Ｎ）、遮蔽物領域抽出部６０ａは、差分値が閾値を超
えているか否かを判別する（ステップＳ１６０）。

ステップＳ１６０において、差分値が閾値を超えていると判別されたとき（ステップＳ
１６０：Ｙ）、遮蔽物領域抽出部６０ａは、当該画素を遮蔽物２００によって遮られた遮
蔽物領域の画素として登録し（ステップＳ１６２）、ステップＳ１５８に戻る。このステ
ップＳ１６２では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素
を所定の色に変換して可視化してもよい。一方、ステップＳ１６０において、差分値が閾
値を超えていないと判別されたとき（ステップＳ１６０：Ｎ）、遮蔽物領域抽出部６０ａ
は、ステップＳ１５８に戻って処理を継続する。

画像処理部５０ａにおいて、上記説明した処理を行うことで、実施形態１と同様に遮蔽
物２００の領域を抽出することができる。なお、実施形態２においても、画像処理装置は
、ＣＰＵ、ＲＯＭ及びＲＡＭを有し、ＲＯＭ又はＲＡＭに記憶されたプログラムを読み込
んだＣＰＵが該プログラムに対応した処理を実行することで、上記の実施形態２における
各処理をソフトウェア処理で実現するようにしてもよい。この場合、ＲＯＭ又はＲＡＭに
、上記の処理のフロー図に対応したプログラムが格納される。

図２２に、画像処理部５０ａの動作説明図を示す。

即ち、画像処理部５０ａは、プロジェクター１００により投影される画像ＩＭＧ０の画
像データを用いて、上記のように推定撮影画像ＩＭＧ１を生成する。このとき、予め抽出
された投影領域ＡＲ（投影面ＩＧ１）内の画像の四隅の座標位置を用いて形状補正後の推
定撮影画像ＩＭＧ１を生成する。

その一方、画像処理部５０は、プロジェクター１００に、画像ＩＭＧ０の画像データに
基づいてスクリーンＳＣＲの投影領域ＡＲ（投影面ＩＧ１）に画像ＩＭＧ２を投影させる
。このとき、例えば人の指等の遮蔽物ＭＴによって投影画像ＩＭＧ２が遮られるものとす
ると、画像処理部５０ａは、投影領域ＡＲ内の投影画像ＩＭＧ２をカメラ２０で撮影し、
その撮影情報を取得する。

画像処理部５０ａは、撮影画像内の投影画像ＩＭＧ２と推定撮影画像ＩＭＧ１との差分
を画素毎にとり、その差分値に基づいて、投影画像ＩＭＧ２内の遮蔽物ＭＴの領域ＭＴＲ
を抽出する。

〔実施形態３〕
実施形態１又は実施形態２では、画像表示装置として画像投影装置であるプロジェクタ
ー１００を採用し、プロジェクター１００からの投影画像が遮蔽物２００で遮られたとき
の投影画像内における遮蔽物２００の領域を抽出する例について説明したが、本発明はこ
れに限定されるものではない。

図２３に、本発明の実施形態３における画像表示システムの構成例のブロック図を示す
。図２３において、図１と同一部分には同一符号を付し、適宜説明を省略する。

実施形態３における画像表示システム１０ａは、撮像装置としてのカメラ２０と、画像
処理装置３０と、画面ＧＭを有する画像表示装置３００とを含む。画像表示装置３００は
、画像処理装置３０からの画像データに基づいて画面ＧＭ（広義には表示画面）に画像を
表示する。このような画像表示装置としては、液晶表示装置、有機ＥＬ（Electro Lumine
scence）表示装置やＣＲＴ（Cathode-Ray Tube）等の表示装置を採用できる。また、画像
処理装置３０として、実施形態１又は実施形態２における画像処理装置を提供することが
できる。

このとき、カメラ２０と画面ＧＭとの間に存在する遮蔽物２００により表示画像が遮ら
れると、画像処理装置３０は、カメラ２０で投影画像を撮影した撮影情報を用いて、表示
画像内の遮蔽物２００の領域を検出する処理を行う。より具体的には、画像処理装置３０
は、画面ＧＭに表示される画像に対応した画像データから、カメラ２０で撮影した状態を
推定した推定撮影画像を生成し、該推定撮影画像と遮蔽物２００により遮られた投影画像
をカメラ２０で撮影した撮影画像との差分に基づいて、遮蔽物２００の領域を検出する。

これにより、専用のカメラを設ける必要がなくなり、低コストで遮蔽物２００の領域を
検出できるようになる。また、画像表示装置３００の画面ＧＭに表示される画像が、外光
や画面ＧＭの状態等に起因したノイズによって色が一様でなくなる場合であっても、推定
撮影画像を用いて撮影画像との差分により遮蔽物２００の領域を検出するようにしたので
、ノイズの影響を受けることなく遮蔽物２００の領域を高精度の検出できるようになる。

以上、本発明に係る画像処理装置、画像表示システム、及び画像処理方法等を上記のい
ずれかの実施形態形に基づいて説明したが、本発明は上記のいずれかの実施形態に限定さ
れるものではなく、その要旨を逸脱しない範囲において種々の態様において実施すること
が可能であり、例えば次のような変形も可能である。

（１）上記のいずれかの実施形態では、画像投影装置や画像表示装置を例に説明したが
、本発明はこれに限定されるものではない。画像データに基づいて画像を表示する装置全
般に本発明適用することができることは言うまでもない。

（２）上記の実施形態１又は実施形態２では、光変調素子として透過型の液晶パネルを
用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものでは
ない。光変調素子として、例えばＤＬＰ（Digital Light Processing)（登録商標）、Ｌ
ＣＯＳ（Liquid Crystal On Silicon）等を採用してもよい。また、上記の実施形態１又
は実施形態２において、光変調素子として、いわゆる３板式の透過型の液晶パネルを用い
たライトバルブ、単板式の液晶パネルや２板又は４板式以上の透過型の液晶パネルを用い
たライトバルブを採用することができる。

（３）上記のいずれかの実施形態において、本発明を、画像処理装置、画像表示システ
ム、及び画像処理方法等として説明したが、本発明はこれに限定されるものではない。例
えば、本発明を実現するための画像処理装置の処理方法（画像処理方法）、又は本発明を
実現するための画像表示装置の処理方法（画像表示方法）の処理手順が記述されたプログ
ラムや、該プログラムが記録された記録媒体であってもよい。

１０，１０ａ…画像表示システム、 ２０…カメラ、 ３０…画像処理装置、
４０…画像データ生成部、 ５０，５０ａ…画像処理部、 ５２…撮影情報取得部、
５４…画像領域抽出部、 ５６，５６ａ…キャリブレーション処理部、
５８…撮影グレイ画像保存部、 ６０，６０ａ…遮蔽物領域抽出部、
６２…推定撮影画像保存部、 ６４…画像データ出力部、
７０，７０ａ…推定撮影画像生成部、 ９０…アプリケーション処理部、
１００…プロジェクター、 ２００…遮蔽物、 ３００…画像表示装置、 ＧＭ…画面、
ＳＣＲ…スクリーン

Claims (9)

1. 表示画面とカメラとの間に存在する被検出物の検出処理を行う画像処理装置であって、
   前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カ
   メラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影
   画像生成部と、
   前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により
   遮られた状態で前記カメラにより撮影した撮影画像と、前記推定撮影画像との差分に基づ
   いて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検
   出部とを含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記モデル画像は、複数種類のグレイ画像を含み、
   前記推定撮影画像生成部は、
   前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数
   種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素
   毎に推定した前記推定撮影画像を生成することを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画
   像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、
   前記被検出物検出部が、
   前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の
   比較結果に基づいて、前記被検出物領域を検出することを特徴とする画像処理装置。
4. 請求項１又は２において、
   前記推定撮影画像生成部が、
   前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、
   前記被検出物検出部が、
   前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、
   前記被検出物領域を検出することを特徴とする画像処理装置。
5. 請求項３又は４において、
   前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内
   の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状
   を揃えることを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかにおいて、
   前記表示画面は、スクリーンであり、
   前記表示画像は、前記画像データに基づいて前記スクリーンに投影された投影画像であ
   ることを特徴とする画像処理装置。
7. 請求項６において、
   前記画像データに対して、前記被検出物検出部の検出結果に基づいて抽出された前記被
   検出物領域の画素を黒く塗り潰す変換処理を行い、該変換処理後の画像データに基づいて
   表示画像を表示させるアプリケーション処理部を含むことを特徴とする画像処理装置。
8. 請求項１乃至７のいずれか記載の画像処理装置と、
   前記表示画面に表示された画像を撮影する前記カメラと、
   前記モデル画像又は前記表示画像の画像データに基づいて画像を表示する画像表示装置
   とを含むことを特徴とする画像表示システム。
9. 表示画面とカメラとの間に存在する被検出物の検出処理を行う画像処理方法であって、
   前記表示画面に表示されたモデル画像を、前記被検出物により遮られること無く前記カ
   メラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影
   画像生成ステップと、
   前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、
   前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出
   物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、
   前記表示画像撮影ステップにおいて撮影された撮影画像と、前記推定撮影画像との差分
   に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検
   出物検出ステップとを含むことを特徴とする画像処理方法。