JP2010114769A - 映像処理装置、システム及びプログラム - Google Patents

Abstract

【課題】プロジェクタにより投影する映像上に暗領域を設定する場合に、プロジェクタにより投影する映像上のウィンドウや映像、操作を行うためのボタン等と暗領域とが重畳することを避けられるようにする。
【解決手段】プロジェクタ１により投影する映像５１上に暗領域５２を設定することにより、カメラ２への投影光の映り込みを減少させることができる。このように暗領域５２を設定したときに、映像５１に含まれるウィンドウ８１上で、人物の映像８２や操作を行うためのボタン８３等が配置された部分を重畳禁止領域８４として設定すると、映像処理装置８はウィンドウ８１を移動させる、或いは、大きさを変更することにより、暗領域５２と重畳禁止領域８４との重畳を回避する。
【選択図】図９

Description

本発明は、投影装置と対向するように撮像装置が設置されたビデオ会議システム等に利用して好適な映像処理装置、システム及びプログラムに関する。

近年では、ネットワークを用いて双方向映像通信を行うビデオ会議システムが製品化されている。ビデオ会議システムでは、映像を表示する装置として、ＣＲＴや液晶ディスプレイだけではなく、持ち運びが便利で大画面による表示が可能なプロジェクタが利用される。

この種のビデオ会議システムにおいて、互いに相手の顔を見ながら視線を一致させて会議等を行うことはコミュニケーションを行う上で重要である。視線を一致させるためには、カメラを映像が表示されている場所の近くに設置する必要がある。しかしながら、映像を表示する装置にプロジェクタを使用する場合、プロジェクタの投影光がカメラに映り込んでしまい、撮影映像が見づらいものとなる問題がある。

特開平１０−１１２６３号公報 特許第０３４６８３７１号公報

上述したように、映像を表示する装置としてプロジェクタを使用するビデオ会議システムにおいて、視線が一致するようにカメラを設置した場合、プロジェクタの投影光がカメラに映り込んでしまい、撮影映像が見づらいものとなる問題がある。

そこで、プロジェクタにより投影する映像上に暗領域を設定する構成が考えられる。しかしながら、暗領域を配置したとき、暗領域の背後にある映像を表示できない。特に暗領域の背後の映像が対話者である場合、相手を見ながらのコミュニケーションがとりづらいものとなる。また、暗領域の背後にあるウィンドウや映像、操作を行うためのボタン等のオブジェクトを表示できないという不具合が生じる場合がある。特にウィンドウ上のボタン等のオブジェクトがある場合、目視して操作することができないため、操作性が低下してしまう。

複数のウィンドウを画面上に表示するマルチウィンドウシステムにおいて、ウィンドウ同士が重なった領域を重なり領域として検出し、この重なり領域を避けて、表示領域を縮小して表示する例が特許文献１で開示されている。この例では、表示領域を縮小した後、表示領域内を再構成して表示する。また、ウィンドウが重なっている場合に、重なっているウィンドウのどちらかを移動し、ウィンドウの可視領域の大きくする例が特許文献２で開示されている。

これら特許文献１と特許文献２に開示されている例により、ウィンドウが重なっている場合、ウィンドウを縮小することで、背後にあるウィンドウの情報を表示できる。また、ウィンドウを移動することで、背後のウィンドウの情報をより多く表示することができる。

しかしながら、これらの例では、ウィンドウ内に配置されている操作を行うためのボタンや、映像を表示する領域等ウィンドウ内の情報に関わらず、縮小、移動を行う。暗領域を配置するビデオ会議にこれらの例を適用した場合、表示するウィンドウの大きさが小さくなり、相手の映像が見づらいものとなる。また、暗領域と重なっているウィンドウを移動させ、可視領域を大きくしても、操作を行うためのボタンや、映像を表示する領域と重なっていないとは限らない。このため、特許文献１及び特許文献２で開示されている例では、ビデオ会議システムにおいて利便性が向上するとは限らない。

そこで、本発明では、プロジェクタにより投影する映像上に暗領域を設定する場合に、プロジェクタにより投影する映像上のウィンドウや映像、操作を行うためのボタン等と暗領域とが重畳することを避けられるようにすることを目的とする。

本発明の映像処理装置は、撮像装置に対向するように設置された投影装置に接続する映像処理装置であって、前記投影装置により投影する映像上に暗領域を設定する暗領域設定手段と、前記投影装置により投影する映像上に重畳禁止領域を設定する重畳禁止領域設定手段と、前記暗領域と前記重畳禁止領域との重畳を回避する重畳回避手段とを備えたことを特徴とする。
本発明の映像処理システムは、投影装置と、前記投影装置に対向するように設置された撮像装置と、前記投影装置に接続する映像処理装置とを備えた映像処理システムであって、前記投影装置により投影する映像上に暗領域を設定する暗領域設定手段と、前記投影装置により投影する映像上に重畳禁止領域を設定する重畳禁止領域設定手段と、前記暗領域と前記重畳禁止領域との重畳を回避する重畳回避手段とを備えたことを特徴とする。
本発明のプログラムは、撮像装置に対向するように設置された投影装置に接続する映像処理装置に用いられるプログラムであって、前記投影装置により投影する映像上に暗領域を設定する処理と、前記投影装置により投影する映像上に重畳禁止領域を設定する処理と、前記暗領域と前記重畳禁止領域との重畳を回避する処理とをコンピュータに実行させる。

本発明によれば、投影装置により投影する映像上に重畳禁止領域を設定することにより、暗領域と重畳禁止領域との重畳が回避されるので、投影装置により投影する映像上のウィンドウや映像、操作を行うためのボタン等と暗領域とが重畳しないようにし、視認性や操作性を高めることができる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。各実施形態では、本発明を映像処理システムであるビデオ会議システムに適用した例について説明する。
（第１の実施形態）
図１は、本実施形態のビデオ会議システムを構成するプロジェクタとカメラの配置を示す図である。ビデオ会議システムにおいて、プロジェクタ（投影装置）１は、スクリーン３に映像を投影する。

カメラ（撮像装置）２でユーザ４を撮影する場合、図１（ａ）、（ｂ）に示すように、カメラ２をユーザ４と対向するように設置、すなわち、カメラ２をプロジェクタ１と対向するように設置する必要がある。特に、自拠点のユーザ４と他拠点のユーザ５との視線を一致させるためには、図１（ｂ）に示すように、ユーザ４の視線に近い高さにカメラ２を設置する必要がある。

この状態では、プロジェクタ１の投影光がカメラ２に映り込んでしまい、図２に示すように、カメラ２の撮影映像１４における輝度が飽和して、映像１４が見づらいものとなる。図２は、プロジェクタ１の投影光がカメラ２に映り込んだときの撮影映像１４を模式的に表した図である。撮影映像１４において、プロジェクタ１の投影口１２の周囲は高輝度になり、映り込み光１３が発生するため、撮影映像１４が見づらいものとなる。

図３は、本実施形態のビデオ会議システムの構成例を示す図である。本実施形態のビデオ会議システムでは、プロジェクタ１と、カメラ２と、これらプロジェクタ１及びカメラ２に接続する映像処理装置８とを備える。相手側の対向装置２１も同様の構成をとり、映像処理装置８はネットワーク７を介して対向装置２１と接続し、映像や音声の送受信を行う。

映像処理装置８は、音声出力部３１と、音声入力部３２と、表示制御部３３と、操作部３４と、映像出力部３５と、映像入力部３６と、通信部３７と、全体制御部３８とを備える。各部３１〜３７は内部バス等を介して全体制御部３８と接続し、全体制御部３８でそれぞれの制御を行う。

スピーカー４１は音声出力部３１と接続し、対向装置２１が送信する音声を出力する。マイク４２は音声入力部３２と接続し、自拠点のユーザの音声を入力する。

ディスプレイ４３は表示制御部３３と接続し、映像処理装置８の操作画面等を表示する。ディスプレイ４３としては、ＣＲＴや液晶ディスプレイ等の表示装置が挙げられるが、特定の表示装置に限定されない。マウス４４は操作部３４と接続し、ユーザの操作を入力する。もちろん、マウス４４以外にも、キーボードやタッチパネル等の入力装置が接続する構成であってもよい。

映像出力部３５はプロジェクタ１と接続し、プロジェクタ１に投影する映像を出力する。映像入力部３６はカメラ２と接続し、カメラ２から撮影映像を受信する。プロジェクタ１と映像出力部３５の接続形態、及び、カメラ２と映像入力部３６の接続形態としては、ＵＳＢやＩＥＥＥ８０２．１１等が挙げられるが、特定の接続形態に限定されるものではない。

通信部３７はネットワーク７を介して対向装置２１と接続し、映像や音声を送受信する。ネットワーク７は、インターネットに限らず、イントラネットやＬＡＮ等の様々なネットワークにより構成される。また、ネットワーク７を介して接続する対向装置２１は１つに限定されない。

以上のようにした映像処理装置８は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を具備する汎用のパーソナルコンピュータを用いて構成することが可能である。

次に、図４を参照して、本発明を適用した画像処理の基本原理を説明する。プロジェクタ１とスクリーン３の間にカメラ２を設置する場合に、プロジェクタ１により投影する映像に暗領域を重畳するように設定することによって、カメラ２の撮影映像への投影光の映り込みを減少させるものである。ここで、暗領域とは暗い色の領域のことであり、特定の色に限定されるものではない。

図４（ａ）は、プロジェクタ１からスクリーン（投影位置）３を見たときの図である。スクリーン３の手前にカメラ２が設置されているため、プロジェクタ１により投影した映像５１とカメラ２とが重なる。そこで、図４（ｂ）に示すように、プロジェクタ１により投影した映像５１上においてカメラ２に対応する部分、具体的にはプロジェクタ１からスクリーン３を見たときにカメラ２と重なる領域に暗領域を配置するように投影することで、投影映像５１上に暗領域５２を設定する。これにより、カメラ２への投影光の映り込みを減らすことできる。

次に、図５及び図６を参照して、暗領域の設定方法について説明する。図５に示すように、ディスプレイ４３に暗領域設定画面６１を表示する。暗領域設定画面６１において、映像６２はプロジェクタ１がスクリーン３に投影する映像であり、例えば対向装置２１から受信した映像が含まれる。また、映像６３はカメラ２の撮像映像である。

この暗領域設定画面６１上において、カメラ２の撮影映像６３を視認しながら、プロジェクタ１により投影する映像６２上に暗領域６４を設定することができる。このとき、カメラ２への映り込みの影響を低減するように、暗領域６４の位置、大きさ等の属性をマウスポインタ６５で操作し、調整する。

図６に示すように、暗領域６４の位置及び大きさの設定は、一般的なウィンドウシステムと同様、マウスポインタ６５により暗領域６４の周囲に設定された操作部分６６をドラッグ等の操作をすることで行う。例えば操作部分６６をドラッグしながら、左右にマウスポインタ６５を移動させれば暗領域６４の幅を変更することができ、上下にマウスポインタ６５を移動させれば暗領域６４の高さを変更することができる。また、斜めにマウスポインタ６５を移動させれば暗領域６４の高さ及び幅を同時に変更することができる。

なお、ここでは暗領域６４の属性として、位置、大きさを説明したが、それ以外にも形状、色、柄、濃度等を任意に設定できるようにしても良い。例えば暗領域６４の形状は矩形状に限られるものではなく、円形、楕円形や四角形、五角形等であってもよく、また、あらかじめ設定された複数の形状から選択可能としてもよい。

次に、図７のフローチャートを参照して、暗領域６４の設定手順について説明する。図７は、暗領域６４を設定するときに全体制御部３８が実行するソフトウェアの処理手順である。以下の処理手順が、本発明でいう暗領域設定手段の処理例となる。全体制御部３８は、ＣＰＵに相当し、コンピュータ可読媒体であるＲＯＭからＲＡＭに読み出されたプログラムを参照することにより図７の処理を実行する。

まず、ステップＳ１０１において、全体制御部３８は、カメラ２から映像を取得し、ステップＳ１０２において、対向装置２１から通信部３７を介して映像（対向装置映像）を受信する。次に、ステップＳ１０３において、全体制御部３８は、図５に示したように、ディスプレイ４３に対向装置映像を含む映像６２とカメラ２の撮影映像６３とを同時に表示させる（暗領域設定画面）。また、ステップＳ１０４において、全体制御部３８は、映像６２をプロジェクタ１に投影させる。

次に、ステップＳ１０５において、全体制御部３８は、ディスプレイ４３上の映像６２に暗領域６４を重畳して配置する。このとき、暗領域６４が重畳された映像はプロジェクタ１より投影される。

そして、ステップＳ１０６において、全体制御部３８は、図６で説明した手順により暗領域６４の位置、大きさ、形状等の調整を行い、暗領域６４を設定する。このとき、ディスプレイ４３上のカメラ２の撮影映像６３を見ながら、カメラ２への投影光の映り込みの影響が最小かどうかを目視で確認する。最小になったと判断した場合、終了する。

以上の説明においては、映像処理装置８と対向装置２１とをネットワーク経由で接続した構成としたが、本発明において対向装置２１は必要ではない。例えば投影映像を閲覧する様子を録画するためにカメラ２を図１のように配置する場合がある。

以上述べたように、プロジェクタ１の投影光が映り込む場所にカメラ２を設置した場合、プロジェクタ１により投影する映像５１上に暗領域５２を設定することにより、カメラ２への投影光の映り込みを減少させることができる。これにより、対向装置２１での表示映像（カメラ２の撮影映像を含む）が従来の暗領域の重畳がないものに比べて、見やすいものとなる。

ここまでは、プロジェクタ１により投影する映像５１上に暗領域５２を設定する構成を説明した。以下、映像５１上のウィンドウや映像、操作を行うためのボタン等と暗領域５２とが重畳することを避ける構成について説明する。ここでは、プロジェクタ１により投影する映像５１は、複数の表示オブジェクト（本発明でいう表示部分）を階層的に配置してなるものとして説明する。

図８に示すように、プロジェクタ１により投影する映像５１上に暗領域５２を設定したときに、表示オブジェクト（ウィンドウ８１、ウィンドウ８１内の映像（例えば対話者）８２、操作を行うためのボタン８３）が暗領域５２に隠れてしまうことがある。この場合、ウィンドウ８１内の対話者の顔を見ながら会話を行うときに、暗領域５２が目障りなものとなってしまう。また、ボタン８３を目視しにくくなり、操作性が低下してしまう。そこで、以下の述べるようにして、ウィンドウ８１内の映像８２やボタン８３等の表示する必要がある部分と、暗領域５２とが重畳することを避ける。

以下詳細に説明すると、まず、上述したように暗領域５２の配置を行い、ウィンドウ８１上で、人物の映像８２や操作を行うためのボタン８３等が配置された部分を重畳禁止領域８４として設定する。このとき、スクリーン３に投影される映像を図９（ａ）に示す。次に、ウィンドウ８１を移動させる、或いは、大きさを変更（縮小）させることにより、暗領域５２と重畳禁止領域８４との重畳を回避するようにウィンドウ８１の配置を行う。このとき、スクリーン３に投影される映像を図９（ｂ）に示す。

ここで、図１０を参照して、重畳禁止領域８４の設定方法について説明する。以下の処理手順が、本発明でいう重畳禁止領域設定手段の処理例となる。図１０は、ディスプレイ４３に表示する重畳禁止領域の設定画面１００１を示す。図１０では図示を省略するが、重畳禁止領域の設定画面１００１には、例えばプロジェクタ１がスクリーン３に投影する映像５１のうちウィンドウ８１（図９を参照）が表示されている。

まず、設定画面１００１上において、マウスポインタ１００２を操作することで、暗領域５２との重畳を回避する必要がある部分に矩形領域１００３を設定する。矩形領域１００３の位置及び大きさの設定は、一般的なウィンドウシステムと同様、マウスポインタ１００２により矩形領域１００３の周囲に設定された操作部分１００４をドラッグ等の操作をすることで行う。例えば操作部分１００４をドラッグしながら、左右にマウスポインタ１００２を移動させれば矩形領域１００３の幅を変更することができ、上下にマウスポインタ１００２を移動させれば矩形領域１００３の高さを変更することができる。また、斜めにマウスポインタ１００２移動させれば矩形領域１００３の高さ及び幅を同時に変更することができる。

矩形領域１００３をそのまま重畳禁止領域８４としてもよいが、重畳禁止領域８４の形状を設定できるようにしてもよい。この場合、例えばあらかじめ設定された複数の形状から選択可能とすればよい。具体的には、図１０に示すように楕円形の他にも、円形、五角形等があるが、本発明は特定の形状に限定されない。

このように重畳禁止領域８４をウィンドウ８１上に設定すると、ウィンドウ８１が移動した場合、重畳禁止領域８４もウィンドウ８１の移動に対応して移動する。また、ウィンドウ８１の大きさが変化した場合、重畳禁止領域８４もウィンドウ８１の大きさの変化に対応して変化する。

また、重畳禁止領域８４を設定する間、暗領域５２にマウスポインタ１００２が接近した場合、一時的に暗領域５２の表示を中止する。これにより、暗領域５２の近くでも、目視しながら重畳禁止領域８４の設定を行うことができる。

図１１は、映像処理装置８の映像出力部３５に出力する映像の範囲（映像表示範囲）１１０１、ウィンドウ１１０２、重畳禁止領域１１０３及び暗領域１１０４の座標を示す図である。ウィンドウ１１０２、重畳禁止領域１１０３及び暗領域１１０４は、それぞれ図８、９に示すウィンドウ８１、重畳禁止領域８４、暗領域５２に対応するものである。図１２は、暗領域１１０４と重畳禁止領域１１０３との重畳を回避するようにウィンドウ１１０２の配置を行う処理を示すフローチャートである。

図１２に示すように、開始後まずステップＳ１において、暗領域１１０４の配置を行う。次に、ステップＳ２において、ウィンドウ１１０２上の重畳禁止領域１１０３の設定を行う。そして、ステップＳ３において、暗領域１１０４と重畳禁止領域１１０３との重畳検出を行う。ステップＳ４において、ステップＳ３での重畳検出により暗領域１１０４と重畳禁止領域１１０３とが重畳すると判定された場合、ステップＳ５に進む。ステップＳ５おいて、ウィンドウ１１０２を操作し、再びステップＳ３において重畳検出を行う。一方で、ステップＳ４において、ステップＳ３での重畳検出により暗領域１１０４と重畳禁止領域１１０３とが重畳しないと判定された場合、本処理を終了する。

次に、図１３を参照して、図１２のステップＳ３の重畳検出処理について説明する。まずステップＳ１１において、重畳禁止領域１１０３の位置、大きさ、形状を取得する。次に、ステップＳ１２において、暗領域１１０４の位置、大きさ、形状を取得する。そして、ステップＳ１３において、ステップＳ１１及びＳ１２で取得した位置、大きさ、形状を使用して、暗領域１１０４と重畳禁止領域１１０３との重畳を検出して、本処理を終了する。

次に、図１４、１５を参照して、図１２のステップＳ５のウィンドウ操作処理について説明する。図１４は、暗領域１１０４と重畳禁止領域１１０３との重畳を回避するために必要な距離Distと、ウィンドウ１１０２の移動可能距離Surとを示す。DistとSurにおいて、ｙ軸マイナス方向をU、ｘ軸プラス方向をR、ｙ軸プラス方向をB、ｘ軸マイナス方向をLとする。

図１５は、ウィンドウ操作処理を示すフローチャートである。まずステップＳ２１において、映像表示範囲１１０１の座標を取得する。また、ステップＳ２２において、ウィンドウ１１０２の座標を取得する。また、ステップＳ２３において、重畳禁止領域１１０３の座標を取得する。また、ステップＳ２４において、暗領域１１０４の座標を取得する。

次に、ステップＳ２５において、暗領域１１０４と重畳禁止領域１１０３との重畳を回避するために必要な距離Distと、ウィンドウ１１０２の移動可能距離Surとをそれぞれ求める。

そして、ステップＳ３１において、ウィンドウ１１０２の移動可能な方向があるか否かを判定する。移動可能な方向がない場合、ステップＳ３２に進み、ウィンドウ１１０２の縮小を行う。ここでは、ウィンドウ１１０２を縦横の長さをα倍することで縮小する。

一方で、移動可能な方向がある場合、ステップＳ３３に進み、移動可能で移動距離が最小の方向、つまりDistが最も小さい方向を選択する。そして、ステップＳ３４において、DistとSurとの比較を行うことで、ウィンドウ１１０２が移動可能か否かを判定する。ここで、ステップＳ３４でウィンドウ１１０２が移動不能と判定した場合、ステップＳ３５に進み、選択した方向を移動不可能とする。また、ステップＳ３４でウィンドウ１１０２が移動可能と判定した場合、ステップＳ３６に進み、ウィンドウ１１０２を選択した方向にDistだけ移動し、本処理を終了する。

以上述べたように、第１の実施形態では、ウィンドウ８１上に重畳禁止領域８４を設定すると、暗領域５２と重畳禁止領域８４との重畳を回避するように、ウィンドウ８１の移動、縮小を行う。これにより、ウィンドウ８１内の映像８２や操作を行うためのボタン８３が暗領域５２の背後に隠れることを回避することができる。

なお、本実施形態では、単一のウィンドウについて説明を行ったが、単一のウィンドウに対する操作に限定されるものではない。複数のウィンドウに対して、同様の手法により暗領域と重畳禁止領域との重畳を回避するように、ウィンドウを操作することが可能である。

（第２の実施形態）
図１６は、本実施形態のビデオ会議システムの構成例を示す図である。本実施形態のビデオ会議システムでは、映像処理装置８´が投影装置制御部３９を備えている。投影装置制御部３９はプロジェクタ１と接続し、プロジェクタ１の投影位置、投影する大きさの制御を行う。全体制御部３８は投影装置制御部３９と内部バス等で接続し、投影制御部３９の制御を行う。それ以外の各部の構成は、図３の映像処理装置８の構成と同様である。

本実施形態では、プロジェクタ１により投影した映像５１上において暗領域５２を設定する場合に、プロジェクタ１をメカ的にずらし、その後映像５１上に暗領域５２を重畳させる構成となっている。

図１７（ａ）は、暗領域５２と重畳禁止領域８４とが重畳している状態を示す。このとき、映像処理装置８´の投影装置制御部３９がプロジェクタ１を制御して映像５１の投影位置を変更し、投影可能範囲１１０５（図１１を参照）内に投影する。これにより、図１７（ｂ）に示すように、暗領域５２と重畳禁止領域８４との重畳を回避する。また、投影装置制御部３９が、投影する映像５１の大きさを変更することで、暗領域５２と重畳禁止領域８４の重畳を回避するようにしてもよい。

また、プロジェクタ１による映像５１の投影位置を変更すると、スクリーン３に映る映像５１が台形にゆがむことが考えられる。本実施形態では、投影した映像５１がゆがんだ場合、プロジェクタ１によって補正を行う。

図１８は、暗領域１１０４と重畳禁止領域１１０３との重畳を回避するようにプロジェクタ１を制御する処理を示すフローチャートである。図１８において、ステップＳ１〜Ｓ４は第１の実施形態のステップＳ１〜Ｓ４（図１２を参照）と同様である。ステップＳ４において、ステップＳ３での重畳検出により暗領域１１０４と重畳禁止領域１１０３とが重畳すると判定された場合、ステップＳ６に進む。ステップＳ６おいて、投影装置制御部３９によりプロジェクタ１を制御し、再びステップＳ３において重畳検出を行う。

次に、図１４、１９を参照して、図１８のステップＳ６のプロジェクタ制御処理について説明する。図１４は、暗領域１１０４と重畳禁止領域１１０３との重畳を回避するために必要な距離Distと、映像表示範囲１１０１の移動可能距離Sur_aとを示す。DistとSur_aにおいて、ｙ軸マイナス方向をU、ｘ軸プラス方向をR、ｙ軸プラス方向をB、ｘ軸マイナス方向をLとする。

図１９は、プロジェクタ制御処理を示すフローチャートである。まずステップＳ１１１において、映像表示範囲１１０１の座標を取得する。また、ステップＳ１１２において、投影可能範囲１１０５の座標を取得する。また、ステップＳ１１３において、重畳禁止領域１１０３の座標を取得する。また、ステップＳ１１４において、暗領域１１０４の座標を取得する。

次に、ステップＳ１１５において、暗領域１１０４と重畳禁止領域１１０３との重畳を回避するために必要な距離Distと、映像表示範囲１１０１の移動可能距離Sur_aとをそれぞれ求める。

そして、ステップＳ１２１において、映像表示範囲１１０１の移動可能な方向があるか否かを判定する。移動可能な方向がない場合、ステップＳ１２２に進み、映像表示範囲１１０１の縮小を行う。ここでは、映像表示範囲１１０１を縦横の長さをα倍することで縮小する。

一方で、移動可能な方向がある場合、ステップＳ１２３に進み、移動可能で移動距離が最小の方向、つまりDistが最も小さい方向を選択する。そして、ステップＳ１２４において、DistとSur_aとの比較を行うことで、映像表示範囲１１０１が移動可能か否かを判定する。ここで、ステップＳ１２４で映像表示範囲１１０１が移動不能と判定した場合、ステップＳ１２５に進み、選択した方向を移動不可能とする。また、ステップＳ１２４で映像表示範囲１１０１が移動可能と判定した場合、ステップＳ１２６に進み、映像表示範囲１１０１を選択した方向にDistだけ移動し、本処理を終了する。

以上述べたように、第２の実施形態では、プロジェクタ１の投影位置、投影する大きさの制御することで、暗領域５２と重畳禁止領域８４との重畳を回避する。これにより、ウィンドウ８１内の映像８２や操作を行うためのボタン８３が暗領域５２の背後に隠れることを回避することができる。

（第３の実施形態）
第３の実施形態として、第１の実施形態と第２の実施形態とを組み合わせた例について説明する。映像処理装置の構成は第２の実施形態と同様である。この場合、第１の実施形態で説明したように、ウィンドウを移動、縮小することで暗領域と重畳禁止領域との重畳を回避できるにしておく。

まず、第１の実施形態で説明したように、ウィンドウの移動操作により、暗領域と重畳禁止領域との重畳を回避することを試みる。ここで、重畳を回避することができない場合、第２の実施形態で説明したように、プロジェクタ１による投影映像の投影位置の変更操作により、暗領域と重畳禁止領域との重畳を回避することを試みる。ここでも、重畳を避けることができない場合、両方（すなわち、第１の実施形態で説明したウィンドウの移動操作及び第２の実施形態で説明したプロジェクタ制御）を同時に実行し、暗領域と重畳禁止領域との重畳を回避することを試みる。

（第４の実施形態）
第４の実施形態として、暗領域と重畳禁止領域との重畳を回避するために、ウィンドウ内のレイアウトを変更する手法について説明を行う。なお、映像処理装置の構成は第１の実施形態と同様である。

まず、基本原理について図２０を使用して説明する。図２０（ａ）に示すように、ここでは、単一のウィンドウ８１上に重畳禁止領域８４ａ及び重畳禁止領域８４ｂが設定されている。これら重畳禁止領域８４ａ、８４ｂは、表示オブジェクトである映像８２及びボタン８３にそれぞれ設定されている。

このとき、図２０（ｂ）に示すように、表示オブジェクト８２及び表示オブジェクト８３を移動することで、暗領域５２と重畳禁止領域８４ａ、８４ｂとが重畳することを回避する。表示オブジェクト８２、８３の移動は、表示オブジェクト８２、８３間に設定された位置関係を保持し、実行される。また、複数のウィンドウ上においても、上記と同様の操作により、暗領域と重畳禁止領域とが重畳することを避けることができる。

表示オブジェクトの移動に関するフローチャートは、第１の実施形態の図１５のフローチャートにおいて、ウィンドウと表示オブジェクトを置き換え、移動可能範囲の条件に表示オブジェクト間の位置関係を加えたものと同様である。

以上述べたように、第４の実施形態では、重畳禁止領域８４が設定された表示オブジェクトを移動することで、暗領域５２と重畳することを避ける。これにより、ウィンドウ８１内の映像８２や操作を行うためのボタン８３が暗領域５２の背後に隠れることを回避することができる。

（第５の実施形態）
第５の実施形態として、プロジェクタ１と対向するように設置されたカメラ２の撮影映像における輝度ヒストグラムを使用することで、暗領域６４の設定を自動的に最適化する例について説明をする。なお、ビデオ会議システム全体の構成や各機器の構成は第１の実施形態と同様である。本実施形態でも、投影する画像の制御及び作成は全体制御部３８上で動作するソフトウェアにおいて行う。

まず、基本的な原理について説明を行う。本実施形態では、暗領域の属性を位置及び大きさとして各々を最適化する手法を説明する。暗領域の属性は位置及び大きさに限定されるものではなく、他の属性についても同様な手法による最適化が可能である。

第５の実施形態では、プロジェクタ１により投影する映像６２上における暗領域６４の位置を決定する第一段階と、暗領域６４の大きさを決定する第二段階の二段階の処理を実行する。これにより、プロジェクタ１により投影した映像５１上のカメラ２に対応する部分（カメラ部分）に暗領域６４を設定する。

第一段階では、全体制御部３８において作成した白色の画像上に、所定の大きさの暗領域を配置してプロジェクタ１から投影を行う。すなわち、プロジェクタ１により投影する映像上に暗領域を仮に設定する。次に、仮設定した暗領域を配置した映像をカメラ２により撮影して取得し、輝度ヒストグラムを作成する。

そして、暗領域を再配置し、輝度ヒストグラムを作成し、画像全体に対して輝度ヒストグラムを作成するまで繰り返す。ここで、暗領域の再配置は領域を上からまた、輝度ヒストグラムを作成する度に、図２１に示すように、ｔｈ階級から最も高輝度な階級までの度数の和Ｚ_nを記憶する。ｔｈの値の設定に関しては、判別分析法等を用いてヒストグラムの谷を発見し設定を行う。判別分析法とは、分布を分離する閾値の決定する方法である。ｔｈの値に関しては、最初に決定した値を毎回使用する。

度数の和Ｚ_nは、以下の式（１）により求める。式（１）において、Ｉ_maxは輝度に関するヒストグラムの階級の最大を示し、Ｉ_thはｔｈ番目の階級を示す。Ｈ_iは輝度ｉのヒストグラムの度数である。

図２２（ａ）は度数の和Ｚ_nをグラフ化したものである。図２２（ａ）中、横軸はヒストグラムの番号を示し暗領域の位置の変化に対応する。また、縦軸は度数の和の値Ｚを示す。

図２２（ａ）において、暗領域がカメラ部分に配置されたとき、配置されてない場合に比べて、度数の和の値Ｚが小さくなる。このため、値Ｚが最小となったときの暗領域の位置を暗領域の配置場所として決定すれば、カメラ部分に対応する位置に暗領域を配置することができる。

第二段階では、暗領域の大きさの調整を行う。全体制御部３８において作成した白色の画像上に、前記第一段階で決定した位置に暗領域を配置してプロジェクタ１から投影を行う。次に、全体制御部３８においてカメラ２の撮影映像を取得し、輝度ヒストグラムを作成する。そして、暗領域を縮小し、暗領域の縦横どちらかの長さが０になるまで輝度ヒストグラムの作成を繰り返す。また、輝度ヒストグラムを作成する度に、ｔｈ階級から最も高輝度な階級までの度数の和Ｚ_nを式（１）を用いて求め記憶する。ここで、ｔｈの値の設定に関しては、前記第一段階と同様である。そして、式（２）を用いて暗領域１回縮小あたりにおける部分ヒストグラムの成分和Ｚ_mの変化量ｂｒ_mを求める。式（２）において、Ｚ_mはｍ回目の式（１）による度数の和を示す。

図２２（ｂ）は成分和Ｚ_mの変化量ｂｒ_mをグラフ化したものである。図２２（ｂ）中、横軸はループの繰り返し回数を示し、縦軸は成分和Ｚ_mの変化量の値ｂｒを示す。

暗領域がカメラ２の大きさよりも小さくなった場合、カメラ２に投影光が映り込み、撮像画像中の高輝度な点が急増するため、度数の和の値Ｚが大きくなる。このため、図２２（ｂ）中Ｚの変化量ｂｒが最大のときを暗領域の大きさとすることで、カメラ部分に対応する大きさにすることができる。

以上の手順を、図２３に示す全体制御部３８の動作処理フローチャートに示す。暗領域の設定開始後、全体制御部３８は、ステップＳ２０１において暗領域の位置の最適化を行い（第一段階）、ステップＳ２０２において暗領域の大きさの最適化を行う（第二段階）。そして、ステップＳ２０３において全体制御部３８は、暗領域の位置及び大きさをＲＡＭに記憶し終了する。

次に、図２３（ｂ）を参照して、ステップＳ２０１で定義した暗領域の位置の最適化手順について説明を行う。ここでは説明のため、縦横比は投影画像と同一で面積が１／ｓ倍の黒い矩形を用いる。

ステップＳ３０１において、全体制御部３８は、白い画像上に暗領域を配置した画像をプロジェクタ１によって投影させる。ステップＳ３０２において、全体制御部３８は、カメラ２の撮影映像を取得する。ステップＳ３０３において、全体制御部３８は、輝度ヒストグラムを作成した後に、ステップＳ３０４において、特徴量として度数の和Ｚ_nを計算し記憶する。ここで、暗領域の初期配置は白い画像上の左上端する。そして、全体制御部３８は、暗領域を再配置するときは、暗領域を右に移動させ、右端まで達した場合は、左端に戻り暗領域を下に移動させる。ステップＳ３０５において、全体制御部３８は、画像全体に対して暗領域を配置するまで、暗領域を再配置すると判断する。これにより、複数の映像のヒストグラムが生成されることになる。

その後、ステップＳ３０６において、全体制御部３８は、ステップＳ３０４で記憶した度数の和Ｚ_nの比較を行い、和が最小となる暗領域の配置場所を決定し、ステップＳ３０７において、位置をメモリに記憶する。

次に、図２３（ｂ）を参照して、ステップＳ２０２で定義した暗領域の大きさの最適化手順について説明する。なお、ステップＳ２０１の処理とステップＳ２０２の処理を同じフローチャートを用いて説明するが、実際の処理は異なる。

ステップＳ３０１において、全体制御部３８は、白い画像上に暗領域を配置した画像をプロジェクタ１によって投影させる。ステップＳ３０２において、全体制御部３８は、カメラ２の撮影映像を取得する。ステップＳ３０３において、全体制御部３８は、輝度ヒストグラムを作成した後に、ステップＳ３０４において、度数の和Ｚ_nを計算しメモリに記憶する。ここで、暗領域の初期位置及び大きさは、ステップＳ２０１で決定したものが使用され、暗領域縮小の割合は暗領域の上下左右から１ピクセルずつ縮小される。ステップＳ３０５において、全体制御部３８は、暗領域の縦横どちらかの大きさが０になるまで、暗領域を再配置すると判断する。これにより、複数の映像のヒストグラムが生成されることになる。

その後、ステップＳ３０６において、全体制御部３８は、ステップＳ３０４で記憶した度数を用いて度数の変化量ｂｒを計算し、該変化量ｂｒが最大となる暗領域の大きさを求め、ステップＳ３０７において、大きさをメモリに記憶する。

本実施形態では、輝度ヒストグラムを使用したが、使用するヒストグラムは輝度ヒストグラムに限定されない。例えばＲＧＢカラーモデルの場合、ＲＧＢ成分のそれぞれ、もしくは組み合わせ、もしくはすべてのヒストグラムの成分を使用することでも、暗領域の設定は可能である。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。

ビデオ会議システムを構成するプロジェクタとカメラの配置を示す図である。 プロジェクタの投影光がカメラに映り込んだときの撮影映像を模式的に表した図である。 第１の実施形態のビデオ会議システムの構成例を示す図である。 暗領域の設定位置を説明するための図である。 暗領域設定画面の例を示す図である。 暗領域の設定方法を説明するための図である。 第１の実施形態における暗領域の設定手順を示すフローチャートである。 表示オブジェクトが暗領域に隠れている状態を示す図である。 暗領域と重畳禁止領域との重畳を回避するようにウィンドウが配置される状態を示す図である。 重畳禁止領域の設定方法を説明するための図である。 映像表示範囲、ウィンドウ、重畳禁止領域及び暗領域の座標を示す図である。 第１の実施形態において暗領域と重畳禁止領域との重畳を回避するようにウィンドウの配置を行う処理を示すフローチャートである。 重畳検出処理を示すフローチャートである。 映像表示範囲、ウィンドウ、重畳禁止領域及び暗領域の座標を示す図である。 ウィンドウ操作処理を示すフローチャートである。 第２の実施形態のビデオ会議システムの構成例を示す図である。 暗領域と重畳禁止領域との重畳を回避するように映像の投影位置が変更される状態を示す図である。 第２の実施形態において暗領域と重畳禁止領域との重畳を回避するようにプロジェクタを制御する処理を示すフローチャートである。 プロジェクタ制御処理を示すフローチャートである。 暗領域と重畳禁止領域との重畳を回避するようにレイアウトが変更される状態を示す図である。 輝度ヒストグラムの例を示す特性図である。 輝度ヒストグラムを使用した暗領域設定時の計算値のグラフを示す特性図である。 第５の実施形態における暗領域の設定手順を示すフローチャートである。

符号の説明

１ プロジェクタ
２ カメラ
３ スクリーン
７ ネットワーク
８ 映像処理装置
３１ 音声出力部
３２ 音声入力部
３３ 表示制御部
３４ 操作部
３５ 映像出力部
３６ 映像入力部
３７ 通信部
３８ 全体制御部
３９ 投影装置制御部
４１ スピーカー
４２ マイク
４３ ディスプレイ
４４ マウス

Claims (9)

1. 撮像装置に対向するように設置された投影装置に接続する映像処理装置であって、
   前記投影装置により投影する映像上に暗領域を設定する暗領域設定手段と、
   前記投影装置により投影する映像上に重畳禁止領域を設定する重畳禁止領域設定手段と、
   前記暗領域と前記重畳禁止領域との重畳を回避する重畳回避手段とを備えたことを特徴とする映像処理装置。
2. 前記投影装置から投影位置を見たときに前記撮像装置と重なる領域に前記暗領域が設定されることを特徴とする請求項１に記載の映像処理装置。
3. 前記投影装置により投影する映像は複数の表示部分を階層的に配置してなるものであり、
   前記重畳回避手段は、前記重畳禁止領域が設定された表示部分を該映像上で移動させる、或いは、前記表示部分の大きさを変更することにより、前記暗領域と前記重畳禁止領域との重畳を回避することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記投影装置は、前記映像と前記暗領域とを別々に投影する構成とされており、
   前記重畳回避手段は、前記投影装置を制御して、前記映像の投影位置を変更する、或いは、前記映像の大きさを変更することにより、前記暗領域と前記重畳禁止領域との重畳を回避することを特徴とする請求項１又は２に記載の映像処理装置。
5. 前記重畳回避手段は、前記映像のレイアウトを変更することにより、前記暗領域と前記重畳禁止領域との重畳を回避することを特徴とする請求項１又は２に記載の映像処理装置。
6. 前記暗領域は位置、形状、大きさ、色、柄、濃度のうち少なくともいずれか一つを属性として有し、前記属性を任意に設定できるようにしたことを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
7. 前記重畳禁止領域は位置、形状、大きさのうち少なくともいずれか一つを属性として有し、前記属性を任意に設定できるようにしたことを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
8. 投影装置と、前記投影装置に対向するように設置された撮像装置と、前記投影装置に接続する映像処理装置とを備えた映像処理システムであって、
   前記投影装置により投影する映像上に暗領域を設定する暗領域設定手段と、
   前記投影装置により投影する映像上に重畳禁止領域を設定する重畳禁止領域設定手段と、
   前記暗領域と前記重畳禁止領域との重畳を回避する重畳回避手段とを備えたことを特徴とする映像処理システム。
9. 撮像装置に対向するように設置された投影装置に接続する映像処理装置に用いられるプログラムであって、
   前記投影装置により投影する映像上に暗領域を設定する処理と、
   前記投影装置により投影する映像上に重畳禁止領域を設定する処理と、
   前記暗領域と前記重畳禁止領域との重畳を回避する処理とをコンピュータに実行させるためのプログラム。

Images