JP2012018673A

JP2012018673A - 物体検知方法及び装置

Info

Publication number: JP2012018673A
Application number: JP2011149429A
Authority: JP
Inventors: Yin Hao; インハオ; Tao Li; タオリ
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-07-06
Filing date: 2011-07-05
Publication date: 2012-01-26
Also published as: US8644554B2; US20120008829A1; CN102314259B; CN102314259A

Abstract

【課題】表示領域から物体を検知する方法及び装置を提供する。
【解決手段】本開示による方法は、表示すべき画像を生成する工程と、生成画像をスクリーン上に表示する工程と、スクリーン領域を撮像する工程と、生成画像と撮像画像との比較を行い、表示領域内の物体の検知を行う工程を含む。本開示の方法及び装置によると、複雑な配置や追加装置が不要となるのみならず、リアルタイムでかつ正確な物体検知が可能となるため、使用期間中に各種ユーザインタアクションを実現し、ユーザの利便性を向上することができる。
【選択図】図３

Description

本発明は、映像分析に関し、特に、表示領域から物体を検知する方法及び装置に関する。

通常、講演や会議においては、プロジェクタや大型スクリーン表示装置等の装置により、プレゼテーションの内容の表示が行われている。投影装置を例とすると、投影装置の事務環境における普及に伴い、投影内容との知能インタアクションへの要求が差し迫ってきている。通常、投影装置に接続されたコンピュータにより該インタアクションが実現可能となっている。インタアクションを実現するためには、コンピュータと投影装置間を往復しページめくり等の投影内容の制御を行う必要がある。ＵＳＢ装置による遠隔ページめくりも可能であるが、その機能は比較的に単一のもので、複雑なインタアクションへの要望を満足させることは不可能である。

近年、コンピュータ視覚の最新進展に伴い、映像分析によるタッチパネルのシミュレーションが可能になってきている。講演者が例えば指や棒等の物体を投影スクリーンの表示領域内に置く（挿入する）と、映像分析による物体の位置の算出が可能となり、該位置情報が連続的にコンピュータにフィードバックされることで、物体の位置情報による事前定義されたイベントの起動が可能となる。挿入物体が、常に変化し予測困難な投影内容の影響を受けているため、該技術の難点としては正確かつリアルタイムな物体の位置決めである。

米国特許出願第2009/0103780Ａ1号には、赤外光源による手への照射が提案されている。このシステムにおいては、２つの撮像ヘッドを用いて投影領域への撮像を行うとともに、撮像手段による目標設定により、手が背景に対する３次元位置情報を回復している。該方法のハードウェア配置が比較的に複雑であるため、通常の講演環境に用いることは不可能に近い。

米国特許出願第2009/0115721Ａ1号には、手振り識別システムが提案されている。該システムにおいては、可視光と赤外線を発射可能なプロジェクタにより、可視光と赤外線を交替で照射している。赤外線による照射時には、投影平面上の手振りの識別を行い、それに応じたイベントを実行させている。しかしながら、専用の投影装置を購入しなければならず、消費者のコストアップにつながってしまう。

また、Majumderの博士論文「A Practical Framework to Achieve Perceptually Seamless Multi-Projector Displays」（２００３）には、人目感知にとって継ぎ目のないマルチ表示システムが提案されている。この論文では、異なるプロジェクタの色度差が輝度差に対して非常に小さくなり、また、プロジェクタ自身の投影面における輝度も変化することが記載されている。このようなことから、Majumderは、特殊な種類の関数（emineoptic関数）により、人の目が感知した可能な輝度や色度を記述することを提案している。しかしながら、該方法は、輝度の低い領域においては、推測画像にノイズが入るおそれがある。

このため、便利で、簡単で、正確で、リアルタイムで、かつ安価な、プロジェクタのような装置の表示領域における挿入物体を検知可能な物体検知方法及び装置が求められている。

本発明は、従来技術における前述の短所や問題を解決するためになされたものである。本発明の目的は、表示領域から物体を検知する方法及び装置を提供することにある。

本発明は、原視覚内容と撮像された内容との比較により挿入物体の検知を行う、表示領域内の物体を検知する方法及び装置を提供している。該方法及び装置においては、可視スペクトルの情報のみ用いられているため、余分のハードウェアが不要となる。同時に、該方法においては、撮像部と表示部間の相対的位置への制限が厳しくないため、比較的に配置が容易となる。

また、本発明は、原画像により撮像ヘッドからの撮像画像のシミュレーションが可能な色変換方法を提供している。該方法においては、投影スクリーン内不均一や投影モジュールと画像形成モジュールのブラックオフセット(Black Offset)等の表示装置のいくつかの重要特性が考慮されているため、撮像ヘッドから撮像されたフルカラー画像へのシミュレーションをより良好に行うことができる。撮像ヘッド／プロジェクタから得られるシミュレーション画像と実際の撮像画像との差分により、表示領域に挿入された物体の強調を効率よく行うことができる。また、差分画像への２値化を行うことにより、前景と背景のマスク画像を得ることができる。

本発明の一側面によると、表示すべき画像を生成する工程と、生成画像をスクリーン上に表示する工程と、スクリーン領域を撮像する工程と、生成画像と撮像画像との比較を行い、表示領域内の物体の検知を行う工程と、を含む、表示領域内の物体を検知する方法が提供される。

ここで、生成画像と撮像画像との比較は、生成画像が全ブラックの時において撮像された非全ブラック画像を示すブラックオフセットと、生成画像が均一の時において撮像画像の不均一の程度を示すスクリーン内不均一度と、生成画像中の輝度値と、撮像画像中の輝度値との対応関係を示すチャネル輝度レスポンスと、の３つのパラメータのうち少なくとも一つにより、生成画像への色補正を行うことを含む。

また、全ゼロ画像を生成してブラックオフセットを算出し、チャネル最大輝度画像を生成してスクリーン内不均一度を算出し、チャネルグレースケール画像を生成してチャネル輝度レスポンスを算出している。

また、生成画像とスクリーン内不均一度との乗算により、撮像画像の不均一程度をシミュレーションしている。

また、連続または離散の方式により、前記チャネル輝度レスポンスが表されている。

また、スクリーン内不均一度及びチャネル輝度レスポンスが、単一チャネルに関連付けられているか、３つのチャネルとも関連付けられている。

また、ブラックオフセット、スクリーン内不均一度及びチャネル輝度レスポンスを同時に用いる場合は、（１）生成画像にチャネル輝度レスポンスを施すステップ、（２）ステップ（１）から得られた画像とスクリーン内不均一度の乗算を行うステップ、及び（３）ステップ（２）から得られた画像にブラックオフセットを重ね合わせるステップにより、生成画像に対して色補正を行う。

また、生成画像と撮像画像との比較は、各チャネルへの２値化とともに、論理和により各チャネルの２値化の結果の組み合わせを行うことを含む。

また、検知された物体の特徴により、事前定義されたイベントを起動させている。

本発明の他の側面によると、表示すべき画像を生成する画像生成部と、生成画像をスクリーン上に表示する表示部と、スクリーン領域を撮像する撮像部と、生成画像と撮像画像との比較を行い、表示領域内の物体の検知を行う演算部と、を含む、表示領域内の物体を検知する装置が提供される。

本発明の実施例によれば、複雑な配置や余分な装置が不要になるのみならず、リアルタイムで、かつ正確な物体検知が可能となるため、使用期間中に各種ユーザインタアクションを行うことができ、ユーザの利便性を向上させることができる。

本発明の一実施例による投影装置を示す図である。本発明の一実施例による、表示領域内の物体を検知する装置のブロック図である。本発明の一実施例による、表示領域内の物体を検知する方法のフローチャートである。本発明の一実施例による、色補正を用いて表示領域内の物体を検知する方法のフローチャートである。本発明の一実施例による、各チャネルのスクリーン内不均一度の推測方法のフローチャートである。本発明の一実施例による、各チャネルのチャネル輝度レスポンスの推測方法のフローチャートである。本発明の一実施例による、色補正モデルを用いて原画像から撮像画像をシミュレーションする方法のフローチャートである。本発明の一実施例による、実験から得られたブラックオフセット、スクリーン内不均一度Ｑ＿Ｒ、Ｑ＿Ｇ、Ｑ＿Ｂ、及びチャネルレスポンスＬＵＴ＿Ｒ、ＬＵＴ＿Ｇ、ＬＵＴ＿Ｂの例を示した図である。本発明の一実施例による、原画像と、シミュレーション画像と、撮像モジュールからの撮像画像との例を示した図である。輝度による２値化方法と、各チャネルによる２値化方法とを物体検知に用いた比較結果を示した図である。本発明の一実施例によるコンピュータ装置のブロック図である。

特許請求の範囲及びその等価物により限定される本発明の好適な実施例への全面的な理解への助けとなるように、以下、図面を参照して本発明を詳細に説明する。本発明の好適な実施例には、理解し易くするため、各種細部が設けられているが、これらは単なる例示的なものであるため、ここで説明する実施例に対して、本発明の範囲と精神を逸脱しない範囲内で、各種変更や修正が可能なことは言うまでもない。同様に、明確かつ簡潔にするために、公知の機能や構成への説明は省略する。

また、投影装置を例として本発明を詳細に説明するが、本発明がこれに限定されるものではなく、本発明の範囲を逸脱しない範囲内で、フラットパネルディスプレイ等の各種他の適切な分野に本発明を適用することができる。

以下、図面を参照して本発明を詳細に説明する。

図１は、本発明の一実施例における投影装置を示す図である。ここで、視覚内容は、投影スクリーン上に投影されてもよく、フラットパネルディスプレイ上に表示されてもよい。該システムには、ビデオ撮像ヘッド１１と、コンピュータ１２と、プロジェクタ１３と、投影スクリーン又はフラットパネルディスプレイ１０が備えられている。コンピュータ１２により表示すべき原視覚内容を生成するとともに、それに接続されたプロジェクタにより投影スクリーン又はフラットパネルディスプレイ１０上に表示している。撮像ヘッド１１によりスクリーン上に投影された画像への撮像を行うとともに、コンピュータ１２へのフィードバックを行っている。本発明による方法／装置においては、物体１４（ここで、物体は、手、指、ペン、棒等の物体でもよく、物体から生成される陰影等の仮想物体でもよい）が表示領域内に置かれると、コンピュータ１２により、原画像と撮像画像の比較から該物体１４の位置、サイズや形状等の情報といった特性が検出され、以後起動すべきイベントが決定される。

さらに、図２において、本発明における表示領域内の物体を検知する装置には、表示すべき原画像を生成する画像生成モジュール２４と、画像生成モジュール２４から生成される原画像を投影スクリーン又はフラットパネルディスプレイ１０のようなスクリーン上に表示する表示モジュール２２と、スクリーンの表示領域を撮像するとともに、撮像画像（ここで、撮像画像には挿入物体１４が含まれても含まれていなくてもよい）を演算モジュール２１に転送する撮像モジュール２３と、画像生成モジュール２４と撮像モジュール２３とからそれぞれ原画像と撮像画像を受信するとともに、生成画像と撮像画像の比較により、挿入物体１４の存在有無の検知、及び、演算モジュール２１に予め定義された指令を実行させるとともに画像生成モジュール２４とのインタアクションを実現させるための挿入物体１４の特性の検知を行う演算モジュール２１が備えられている。

例えば、物体がスライドフィルム内のボタン上の特定領域に位置していると、該ボタンに対応する、ページめくり、ジャンプ、リンク、元に戻り等の機能を実行させる。なお、物体が該ボタン上に一定時間位置していると、それに対応する機能を起動させることが好ましい。

以下、図３を参照して本発明の一実施例による検知方法を説明する。

図３は、本発明の一実施例による、表示領域内の物体を検知する方法のフローチャートである。

図３に示されたように、ステップＳ３０１において、表示すべき画像を生成する。該画像は、例えば、解説用のスライドフィルムである。ステップＳ３０２において、生成された画像をスクリーン上に表示する。該画像は、投影スクリーン上やフラットパネル、表示装置のスクリーン上に表示されてもよく、投影装置の場合、さらには壁面や床板のような媒体上に直接表示されてもよい。しかし、本発明はこれに限らず、他の適切な媒体により表示されてもよい。ステップＳ３３０において、画像が表示されたスクリーン領域への撮像を行い、撮像画像を取得する。生成された原画像をスクリーン領域へ表示するとともに、スクリーン領域への撮像を行ってもよい。好ましくは、所定の時間間隔（例えば、１００ｍｓごとに）でスクリーン領域を撮像し、リアルタイム画像を取得する。ステップＳ３４０において、生成された画像と撮像された画像の比較を行う。ここで、比較は、生成された原画像と撮像画像の差分化を行うことで、挿入物体の検知を行うことができる。前述の比較により、投影領域に挿入された物体の強調を効率よく行うことができ、効率よくかつ正確に検知を行うことができる。

しかし、プロジェクタのような表示モジュール２２と撮像ヘッドのような撮像モジュール２３の共同作用により、原視覚内容と撮像装置からの画像との間に色や幾何学上の差が生じることがある。表示モジュール２２と撮像モジュール２３の光学システムが同じでないと、すなわち、例えば、表示モジュール２２は１つの光学システム（例えば、１セットのレンズ）により画像の投影を行い、撮像モジュール２３は他の光学システムにより画像の受信を行うと、原画像と撮像装置間には形状歪み等のような相対的な幾何学的変化が生じてしまう。また、撮像画像における表示画像の領域のサイズも本物の原画像のサイズと異なり、補間等の方法によりこのような差の補正を行う。色変化は、原画像の表示スクリーンへの表示時に発生し、原視覚内容と表示モジュール２２のハードウェアの特性とによって決められる画像差と、撮像モジュール２３の表示領域への撮像時に発生し、撮像モジュール２３のハードウェアの特性によって決められる画像差との２つの部分に大別される。なお、撮像モジュール２２には、ホワイトバランス、増幅調整、および最適化人目感知等の特徴があり、これらも最終的に得られる画像に影響を及ぼしている。

前述の実施例においては、画像への幾何学的補正と色補正は行われないため、挿入物体を正確に検出できない恐れがある。

このため、本発明の他の実施例においては、原視覚内容とサンプル画像との比較を行う前に、先ず画像への幾何学的補正及び色補正を行っている。幾何学的補正は、例えば、投影変換方法等の各種従来技術で実現することができる。該幾何学的補正は、当業者に周知であるため、ここでは説明を割愛する。

以下、図４を参考して本発明の一実施例における、色校正による物体検知方法を説明する。

図４は、本発明の一実施例における、色補正による表示領域内の物体を検知する方法のフローチャートである。

該方法においては、色補正モデル４１３により、原視覚内容（生成される原画像）４１０に対し、撮像される画像の色に近いように、原画像の色補正４１２を行う。幾何学的補正４１４により、表示領域における内容のサイズと形状が原視覚内容とほぼ同じくなるように、撮像された画像４１１の変換を行う。その後、色補正後の原視覚内容と幾何学的補正後の撮像画像との比較を行う。ここで、前記比較は、両者の差分化により行われる。差分画像に保留されるのは、通常、両者間の異なる画素である。その後、差分画像への２値化４１６により、背景と関心領域（手指、棒等）を分割する。ここで、０は、通常、画像背景を表し、１は画像における関心領域を表す。物体検知４１７により、さらに２値化画像への処理を行うとともに、関心ターゲットの物体特性４１８を検知し、予め定義されたイベント４１９を開始させる。

以下、本実施例による原視覚内容（生成された原画像）への色補正の工程を詳細に説明する。

原画像と撮像画像間の色補正は、複雑な多次元の非線形ランダム関数、例えば、表示モジュール２２に用いられるカンマ変換や、動作原理や、表示媒体や、撮像モジュール２３の特徴、配置及び環境光に関するものにより行われ、さらに、表示モジュール２２と撮像モジュール２３の色領域とも関係している。なお、物体検知のためだけに、前述の複雑な関数を完全に回復する必要はなく、算出可能な近似モデルのみが必要となる。本実施例の色補正モデルには、ブラックオフセットと、スクリーン内不均一度Q_(R/G/B)と、チャネル輝度レスポンスLUT＿（R/G/B）との３つの部分が含まれている。しかし、本発明は、これに限らず、他の追加パラメータがあってもよい。

＜１＞ブラックオフセット（Black Offset）
撮像モジュール２３及び表示モジュール２２のハードウェア配置により、撮像モジュール２３の全ゼロ（すなわち、全黒）の原画像へのレスポンスは、通常、ゼロではない。このような非ゼロレスポンスは、撮像モジュール２３によって発生する可能性がある。例えば、撮像モジュール２３が特定のホワイトバランスモードに設定された場合、撮像より得られる全ゼロ入力は、赤寄りか青寄りである。非ゼロレスポンスは、環境光や表示媒体自体の模様に起因する場合がある。さらに、非ゼロレスポンスは、プロジェクタの光漏れに起因することもある。これらの要素は、異なる組み合わせで異なる全ゼロの原入力への非ゼロレスポンスを生成することがあり、これらの非ゼロレスポンスをブラックオフセットと称している。

ブラックオフセットの生成は比較的に複雑であるが、その推測は割と簡単で、画像生成モジュール２４に全ゼロ画像を生成させ、撮像モジュール２３から非全ゼロ画像を得れば（撮像すれば）よく、非全ゼロ画像における各画素の値が、該画素のブラックオフセットとなる。好ましくは、非全ゼロ画像における値を複数回算出してその平均値を求めるか、中間値を取ることで、信頼度の高い推測を行うことができる。

＜２＞スクリーン内不均一度
理想的な表示装置においては、各チャネル（R,G,B）の輝度は、独立しており、互いに影響を与えない。しかし、実際には、ブラックオフセットの存在により、チャネルの独立性は通常成立しないものとなっている。ブラックオフセットを引いた後の各チャネルの輝度が独立に近似している場合があり、前記近似により大きなシミュレーション誤差が生じる場合もある。このため、本実施例においては、表示スクリーン内のチャネル不均一度及びチャネル輝度レスポンスは、単一チャネルに関連するものか、３つのチャネルとも関連する（チャネルが独立していない場合に対応する）ものとする。

プロジェクタを表示モジュール２２とした場合、均一の原画像に、不均一の色/輝度を生じさせることがある。この現象は、プロジェクタ内の電球の動作原理に起因するものである。以下、図５を参照して本実施例による、スクリーン内不均一度の推測工程について詳細に説明する。

図５は、本発明の一実施例による、各チャネルのスクリーン内不均一度の推測方法のフローチャートである。

ステップ５１０において、画像生成モジュール２４は、所定数のチャネル最大輝度画像を生成し、これらの画像の関心チャネル（Rチャネル、Gチャネル、Bチャネル）内の輝度は最大値で、他のチャネルの輝度は０となる。例えば、Rチャネルを例とすると、最大輝度画像は、各画素点のRチャネル値が最大（例えば、２５５）で、他のチャネル値が０となる画像である。ステップ５１１において、ブラックオフセットをチャネル最大輝度画像から引く。次に、ステップ５１２において、各チャネルのデータを分離する。各チャネルがほぼ独立していると、赤R、緑G、青Bの３つのチャネルをそれぞれ処理し、そうでなければ、３つのチャネルの平均輝度値を算出する必要がある。最後に、ステップ５１３において、前記選出されたチャネルデータの正規化を行うことで、表示領域内不均一度Q_ (R/G/B)が得られる。該正規化は線形正規化であり、チャネルデータをその最大値で割ればよい。赤Rチャネルを例とする場合、IRを、赤チャネルの最大輝度画像からブラックオフセットを引いた結果とし、MRを、それに対応する撮像画像とするときに、輝度の不均一化により、MRにおける任意の２点（ｘ、ｙ）と、（ｘ’、ｙ’）との輝度値は異なるため、（ｘ、ｙ）の不均一度は、Q_R(ｘ、ｙ）＝MR（ｘ、ｙ）/ IR（ｘ、ｙ）となる。

好ましくは、実際の利用において、より信頼性のある結果を得るためには、あるチャネルに対し、複数回のスクリーン内不均一度の算出後、平均値を求めるか、中間値を選択することで、より信頼度の高い結果を得ることができる。

説明の便宜上、３×３の画像を例とし、また、チャネルが互いに独立したものとする。生成された１チャネルの最大輝度画像（例えば、IR）が、
であり、ブラックオフセットが、
とすると、ブラックオフセットを引いた後の結果は、
となる。

その後、正規化を行い、
が得られ、これはスクリーン内不均一度となる。利用時には、これを入力画像（原画像）の対応の画素値と乗算すればよい。例えば、生成された原画像が、
であると、スクリーン内不均一度を利用後のシミュレーション画像は、
となる。

＜３＞チャネル輝度レスポンス
チャネル輝度レスポンスＬＵＴ＿(Ｒ／Ｇ／Ｂ）の推測には、スクリーン内不均一度の推測と同様のステップが用いられる。以下、図６を参照して本発明の好適な実施例によるチャネル輝度レスポンスの推測工程を詳細に説明する。

図６は、本発明の一実施例による、各チャネルのチャネル輝度レスポンスの推測方法のフローチャートである。

ステップＳ６１０において、画像生成モジュール２４により、所定数のチャネルグレースケール画像を生成する。所謂チャネルグレースケール画像とは、画像を、必要な色精度により決められるサイズと数を有する画像ブロックに分割することにより得られた画像ブロックをいう。例えば、各チャネルとも、８ビットの整数で表すと、画像ブロックの数は、２５６（２８）ブロックとなり、０から２５５までの２５６の輝度値に対応している。関心チャネル内の各画像ブロックの輝度（例えば、０から２５５までのいずれかの値）は、全体画像において、ランダムまたは予め定義された形式で分布され、他のチャネルの輝度は全て０に設定される。

ステップ６１１において、チャネルグレースケール画像からブラックオフセットを引き、ステップ６１２において、スクリーン内不均一度Ｑ＿（Ｒ/Ｇ/Ｂ）で割る。次に、ステップ６１３において、各チャネルのデータを抽出するとともに、関心チャネルを選択する。ステップ６１４において、好ましくは、各異なる輝度入力の画像ブロックへの信頼性推測（複数回の演算から平均値を求めるか、中間値を取る）により、装置全体の異なる輝度値へのレスポンスＬＵＴ＿Ｒ/Ｇ/Ｂを得ることができる。

各チャネルがほぼ独立していると、現在関心のあるチャネルのみ選択すればよく、最終的に生成されるレスポンスデータも単一のチャネルと関連付けられ、そうでなければ、３つのチャネルのデータを全て保留し、最終的に生成される応答性データも３つのチャネルとも関連付けられるべきである。簡単にいうと、該チャネル輝度レスポンスは、すなわち、生成される画像と撮像される画像の輝度値間の対応関係であり、連続曲線で示してもよく、入出力が離散値（有限値）の場合（例えば、０〜２５５の整数値）は、検索テーブル方式で実現されてもよい。

実際の応用時には、状況に応じて、ブラックオフセットと、スクリーン内不均一度Ｑ＿(Ｒ／Ｇ／Ｂ）と、チャネル輝度レスポンスＬＵＴ＿(Ｒ／Ｇ／Ｂ）とのうちいずれかを用いることができ、３つのパラメータは、使用時、互いに独立したものでよい。

図７には、３つのパラメータを全て用いた例が示されている。

図７は、本発明の一実施例による、色補正モデルを用いて原画像から撮像画像をシミュレーションする方法のフローチャートである。

好ましくは、ステップ７１１において、Ｔ時刻に画像生成モジュール２４により１枚の画像（本来は視覚内容）が生成されるとする。ステップ７１２において、先ず、画像の各チャネルのデータを抽出し、ステップ７１３において、チャネル輝度レスポンスＬＵＴ＿Ｒ/Ｇ/Ｂにより撮像画像の輝度を推測する。その後、ステップ７１４において、各チャネルにスクリーン内不均一度Ｑ＿Ｒ/Ｇ/Ｂを掛け、最後に、ステップ７１５において、３つのチャネルを再度組み合わせ、ステップ７１６において再度ブラックオフセットを加算すると、ステップ７１７からシミュレーションされた撮像画像が得られる。

ここで、各チャネルのデータを抽出し、各チャネルを分離する目的は、演算を簡略化するためである。このため、他の実施例においては、チャネル分離を行わなくてもよい。本発明はこれに限らず、設計の需要に応じて、ステップ７１２と７１７を省略してもよい。

前述のステップ順は、必ず必要なものではないが、実験から、このような順によると、優れた補正効果が得られ、より優れた撮像画像のシミュレーションが可能となることが分かる。

図８（ａ）〜図８（ｅ）は、本発明の一実施例による、実験から得られたブラックオフセット、スクリーン内不均一度Ｑ＿Ｒ、Ｑ＿Ｇ、Ｑ＿Ｂ、及びチャネルレスポンスＬＵＴ＿Ｒ、ＬＵＴ＿Ｇ、ＬＵＴ＿Ｂの例を示した図である。

図８（ａ）〜図８（ｅ）において、用いられる表示・撮像モジュールの配置により、ブラックオフセットが赤寄り色に表れ、ブラックオフセットを引いた後、各チャネルがほぼ独立し、演算から、各チャネルのスクリーン内不均一度Ｑ＿Ｒ/Ｇ/Ｂがある程度異なっており、投影装置が各チャネルで異なる特性をもつことを示していることが分かる。チャネルがほぼ独立しているため、推測から得られたチャネル輝度レスポンスＬＵＴ＿Ｒ/Ｇ/Ｂも単一チャネル形式を呈することになる。

図９（ａ）〜図９（ｃ）は、本発明の一実施例による、原画像と、シミュレーション画像と、撮像モジュールからの撮像画像との例を示した図である。

図８（ａ）〜図８（ｃ）における、推測から得られた色補正モデルを図９における原画像（ａ）に用いており、図９（ｂ）と図９（ｃ）は、シミュレーション画像と撮像モジュール２３により実際に撮像された画像とをそれぞれ示している。これより、原視覚内容に比べて、シミュレーション画像と実際の撮像画像はさらに比較可能性を有することになり、画像差分による物体検知の実現の基礎を定めることになる。

図４に示されたように、画像差分（４１５）後に、画像への２値化を行い背景内容と関心領域の分割を行う必要がある。前へ投影するモードの下で、投影内容は、挿入物体へ照射することになり、挿入物体の外観が投影内容の影響を受けてしまう。例えば、濃い色が物体上に投影されると、投影及び撮像装置が低輝度範囲における解像度が低いため、予測画像とサンプル画像との差が小さくなり、図１０（ａ）に示された差分画像のように、差分画像上の物体の輪郭が壊れてしまう。

図１０は、輝度による２値化方法と各チャネルによる２値化方法を物体検知に用いた比較結果を示した図である。

図１０の環境において、表示領域内に挿入された物体が人体である。差分画像上の濃い色による照射領域のコントラストが比較的に劣っている。輝度による２値化方法を直接用いる場合は、図１０（ｂ）に示されたように、輪郭の欠落が発生しやすくなる。

このため、本発明の他の実施例においては、低輝度範囲内の画素の特定の色チャネル内のコントラストが、全体輝度内のコントラストよりも優れていることを考慮し、各チャネルに対して独立的に適応的２値化を行い、その後、論理和（ＯＲ）により異なるチャネルの結果を組み合わせている。このような方法により得られた物体検知結果は、図１０（ｃ）に示された輝度による方法よりも優れている。

挿入物体が検知されると、各種方法による画像生成モジュール２４と演算モジュール２１とのインタアクションの制御が可能となる。例えば、人の手が挿入物体であると、２値化画像上で手の位置や形をさらに検知し、このような情報により演算モジュール２１への更なる制御を行い、画像生成モジュール２４の内容の補正を行うことができる。

さらには、視覚内容が絶えず変化するとともに、リアルタイムに該装置における表示領域内の挿入物体を正確に検知することが可能となる。

前述の実施例は、全て生成された原画像への色補正となっているが、本発明はこれに限らず、撮像された画像への色補正を行い、原画像の色に近接させてもよい。しかし、撮像画像が既に表示モジュール２２と撮像モジュール２３と環境光源等との影響を受けているため、撮像補正への色補正による誤差が大きくなる可能性がある。なお、撮像画像への色補正によって、２値化後の画像にブロッキング効果のようなノイズが現れる可能性があり、正確な物体検知ができなくなる可能性がある。

最後に、図１１を参照して前記表示領域から物体を検知する装置のハードウェアの配置の例を説明する。CPU１１０１は、ROM１１０２や記憶部１１０８に格納されているプログラムにより、各種処理を行う。例えば、CPUは、前記実施例における生成画像と撮像画像との比較プログラムを実行し、RAM１１０３は、CPU１１０１より実行されるプログラムやデータ等を適切に格納する。CPU３０１、ROM１１０２、RAM１１０３は、バス１１０４により接続されている。

CPU１１０１は、バス１１０４により、入出力インターフェース１１０５に接続されている。キーボード、マウス、マイク等の入力部１１０６と、モニタ、スピーカ等の出力部１１０７とは、入出力インターフェース１１０５に接続されている。CPU１１０１は、入力部１１０６からの指令に応じて各種処理を行い、出力部１１０７へ処理結果を出力する。

入出力インターフェース１１０５に接続されている記憶部１１０８は例えばハードディスクを有し、CPU１１０１より実行されるプログラムと各種データを格納する。通信部１１０９は、インターネットや、ローカル・エリア・ネットワーク等のようなネットワークにより外部装置との通信を行う。

入出力インターフェース１１０５に接続されている駆動器１１１０は、磁気ディスクや、光ディスクや、MOや、半導体メモリ等のような移動媒体１１１１を駆動し、これらに記録されているプログラムやデータ等を取得する。取得したプログラムやデータは、必要に応じて、記憶部１１０８に転送され格納される。

以上の具体的な実施例により、本発明の基本原理について説明したが、当業者であれば、本発明の方法及び装置の全部、またはすべてのステップや手段を理解したうえ、如何なる演算装置（プロセッサ、記憶媒体を含む）や演算装置のネットワークで、ハードウェア、ファームウェア、ソフトウェアや、これらの組み合わせにより実現することができる。これは、本発明の説明のもと、当業者の基本的プログラミング技能により実現することができる。

このため、本発明の目的は、任意の演算装置上で１つのプログラムまたは１セットのプログラムを実行することにより実現可能となる。前記演算装置は、公知の汎用装置でよい。このため、本発明の目的も、前記方法や装置を実現可能なプログラムコードを含むプログラム製品を提供することにより実現することができる。換言すると、このようなプログラム製品も本発明をなしており、このようなプログラム製品を記憶した記録媒体も本発明をなしている。前記記録媒体は、公知のいずれの記録媒体、或いは将来開発されるいずれの記録媒体でもよいことは言うまでもない。

ここで、本発明の装置と方法において、各手段や各工程は、分割してもよく、新たな組み合わせを行ってもよい。このような分解または/及び新たな組み合わせも、本発明と等価の技術思想と見なすべきである。なお、前記一連の処理を実行する工程は、説明順から、自然に時間順で実行されているが、必ずしも時間順で行う必要はない。あるステップは、並行に、或いは互いに独立に行われてよい。例えば、原視覚内容への色補正ステップと撮像画像への幾何学的補正ステップは順番に行ってもよく、並行に行ってもよく、任意の順番で行ってもよい。

前述の具体的な実施例によって、本発明の保護範囲が制限されるものではなく、設計要求や他の要素に応じて、様々な修正や、組み合わせ、サブ組み合わせや、代替が可能なことは、言うまでもない。本発明の精神と原則を逸脱しない範囲内の修正や、同等の代替や、改善等は、すべて本発明の保護範囲内となるべきである。

１０フラットパネルディスプレイ
１１撮像ヘッド
１２コンピュータ
１３プロジェクタ
１４挿入物体
２１演算モジュール
２２表示モジュール
２３撮像モジュール
２４画像生成モジュール
１１０１ＣＰＵ
１１０２ＲＯＭ
１１０３ＲＡＭ
１１０４バス
１１０５入出力インターフェース
１１０６入力部
１１０７出力部
１１０８記億部
１１０９通信部
１１１０駆動器
１１１１移動媒体

Claims

表示領域内の物体を検知する物体検知方法であって、
表示すべき画像を生成する工程と、
生成画像をスクリーン上に表示する工程と、
スクリーン領域を撮像する工程と、
生成画像と撮像画像との比較を行い、表示領域内の物体の検知を行う工程と、
を含む、物体検知方法。
生成画像と撮像画像との比較は、
生成画像が全ブラックの時において撮像された非全ブラック画像を示すブラックオフセットと、
生成画像が均一の時において撮像された画像の不均一程度を示すスクリーン内の不均一度と、
生成画像中の輝度値と、撮像画像中の輝度値との対応関係を示すチャネル輝度レスポンスと、の３つのパラメータのうち少なくとも一つにより、生成画像への色補正を行うことを含む、請求項１に記載の物体検知方法。
全ゼロ画像を生成してブラックオフセットを算出することと、
チャネル最大輝度画像を生成してクリーン内不均一度を算出することと、
チャネルグレースケール画像を生成してチャネル輝度レスポンスを算出することと、
を含む、請求項２に記載の物体検知方法。
生成画像とスクリーン内不均一度との乗算により、撮像画像の不均一程度をシミュレーションする、請求項２に記載の物体検知方法。
連続または離散の方式により、前記チャネル輝度レスポンスを表す、請求項２に記載の物体検知方法。
スクリーン内不均一度及びチャネル輝度レスポンスは、単一チャネルに関連付けられているか、３つのチャネルとも関連付けられている、請求項２に記載の物体検知方法。
ブラックオフセット、スクリーン内不均一度、及びチャネル輝度レスポンスを同時に用いる場合は、
生成画像にチャネル輝度レスポンスを施すステップ（１）と、
ステップ（１）から得られた画像とスクリーン内不均一度との乗算を行うステップ（２）と、
ステップ（２）から得られた画像にブラックオフセットを重ね合わせるステップ（３）と、により、生成画像への色補正を行う、請求項２に記載の物体検知方法。
生成画像と撮像画像との比較は、各チャネルへの２値化とともに、論理和により各チャネルの２値化の結果の組み合わせを行うことを含む、請求項１に記載の物体検知方法。
検知された物体の特徴により、事前定義されたイベントを起動させる、請求項１に記載の物体検知方法。
表示領域内の物体を検知する物体検知装置であって、
表示すべき画像を生成する画像生成部と、
生成画像をスクリーン上に表示する表示部と、
スクリーン領域を撮像する撮像部と、
生成画像と撮像画像との比較を行い、表示領域内の物体の検知を行う演算部と、
を含む、物体検知装置。
表示領域内の物体を検知する物体検知プログラムであって、
コンピュータに、
表示すべき画像を生成する工程と、
生成画像をスクリーン上に表示する工程と、
スクリーン領域を撮像する工程と、
生成画像と撮像画像との比較を行い、表示領域内の物体の検知を行う工程と、
を実行させるための、物体検知プログラム。
請求項１１に記載の物体検知プログラムを記憶しているコンピュータ読み出し可能な記憶媒体。