JP2010266714A - 映像処理装置、映像表示装置および映像処理方法 - Google Patents

Abstract

【課題】重畳投射による映像表示装置に関して、重畳位置を検出して、自動的に最適な情報を表示することが可能な映像表示装置を提供する。
【解決手段】第１の画面を表示する第１の表示手段と、前記第１の画面の中に前記第１の画面より小さい第２の画面を投射表示する第２の表示手段と、前記第２の表示手段によって表示する画面の領域とその周辺領域を撮影する撮影手段と、前記第１の表示手段および前記第２の表示手段に表示する調整信号を生成する調整信号生成手段と、前記撮影手段の撮像画像から前記第２の表示手段の表示位置を検出する表示位置検出手段と、該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成手段と、を備える。
【選択図】図１

Description

本発明は、映像処理装置、映像表示装置および映像処理方法に関し、特に第１の表示手段によって表示した第１の画面に対して、第２の画面を重畳投射する技術に関する。

第１の表示手段によって表示された第１の画面の中の一部分に、第１の画面より高精細な第２の画面を表示する第２の表示手段を備えた映像表示装置が提案されている。例えば、一つの投射手段による画像領域内に、その画像より高い解像度の画像を投射する他の投射手段を有し、他の投射手段による画像表示領域の大きさや位置が変更できる画像表示装置が提案されている（例えば、特許文献１参照）。

特開２００１−３４３９２９号公報

ここで、第２の画面に表示する信号は第１の画面の一部分の詳細な情報であるため、第１の画面に対する第２画面の位置に応じて表示する信号を最適化しなければならない。そのためには、第１の画面に対する第２の画面の表示する位置を正確に知ることが必要である。
本発明は、上述した事情に鑑みてなされたものであり、重畳投射による映像表示装置に関して、重畳位置を検出して、自動的に最適な情報を表示することを可能にする映像表示装置を提供することを目的とする。

本発明は、上記課題の少なくとも一つを解決するように、以下の適用例または形態として実現され得る。

〔適用例１〕本適用例の映像処理装置は、第１の画面を表示する第１の表示手段と、前記第１の画面の中に前記第１の画面より小さい第２の画面を表示する第２の表示手段と、前記第２の表示手段によって表示された前記第２の画面の領域とその周辺領域を撮影する撮影手段と、が接続されて用いられる映像処理装置であって、前記第１の表示手段および前記第２の表示手段が表示する調整信号を生成する調整信号生成手段と、前記調整信号生成手段によって生成された前記調整信号を前記第１および第２の表示手段に切換え表示させる信号切換え手段と、前記撮影手段が撮影することによって得られた撮影画像から前記第２の表示手段の表示位置を検出する表示位置検出手段と、該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成手段と、前記第２の表示手段に前記表示情報生成手段の出力を出力する出力手段と、を備える。
これにより、第２の表示手段による表示画面の位置を自動的に検出して、表示位置に対応した映像信号を表示することができるので、第１の画面に対して詳細な情報を、見たい場所を自由に決めて表示させることができる。また撮像手段として第１の画面全体を撮影する場合に比べて、解像度が低い、比較的低コストのカメラを使うことができる。

〔適用例２〕上記適用例に記載の映像処理装置は、前記調整信号生成手段は、前記第１の表示手段に対して水平方向および垂直方向にそれぞれ複数に分割して生成される基本領域の組み合わせによる、複数の調整パターンを生成し、前記表示位置検出手段は、前記撮影手段に設けた一つまたは複数の信号検出部位により、前記複数のパターンを時系列で表示するごとに該検出部位に対応する明るさを検出して記憶し、該記憶した明るさの時系列の並びにより構成されるデータにより、前記第２の表示手段の表示位置を検出する、ことが好ましい。
これにより、調整信号をデジタル的に扱うことが可能となるために、周囲光による影響を避けた位置検出が可能になる。

〔適用例３〕上記適用例に記載の映像処理装置は、前記調整信号生成手段は、前記第１の表示手段に対して水平方向および垂直方向にそれぞれ複数に分割して生成される基本領域および基本領域の隣接する２の任意乗の数で構成する複数のパターンを生成し、前記撮影手段の中央付近に設けた信号検出部位により、前記複数のパターンを時系列で表示するごとに該検出部位に対応する明るさを検出した結果に対応して次に表示する前記パターンを選択する、ことが好ましい。
これにより、比較的少ない繰返しで信号検出部位に対応するパターンを決定できるので、第２の表示手段による表示位置を早く求めることができるとともに、第２の表示手段に表示する信号の射影変換のための変換係数を早く求めることができる。

〔適用例４〕上記適用例に記載の映像処理装置は、前記撮影手段による撮影範囲の高さ方向の長さが、前記基本領域の二つが長辺を接して構成される合成領域の対角線の長さ以上で、前記第１の表示手段の高さ方向の長さ以下であることが好ましい。
これにより、カメラの画素数に対する位置検出の分解能を最良の状態で使うことができ、カメラに無駄なコストをかけることを避けることが出来る。

〔適用例５〕上記適用例に記載の映像処理装置は、前記調整信号生成手段は、前記第１の表示手段で表示する画面の水平方向または垂直方向に対して信号レベルが連続的に変化する、複数の調整信号を生成し、前記表示位置検出手段は、前記撮影手段の任意の場所に設けた信号検出部位により検出した、黒表示の場合に取得した背景の明るさと、該複数の信号を順次切換え表示するごとに検出した明るさから該背景の明るさを減じた明るさの比から、前記検出部位の位置を検出する、ことが好ましい。
これにより、検出点の領域を狭くすることができるため、カメラで検出する場合にも演算の対象データ数を少なくすることができるので、演算処理を簡単にすることができる。また、周囲光などによる誤差を低減することができる。

〔適用例６〕上記適用例に記載の映像処理装置は、前記調整信号生成手段は、前記第１の表示手段で表示する画面の隣接する頂点をそれぞれ中心とする複数の単調減少の信号から構成される調整信号を生成し、前記表示位置検出手段は、前記撮影手段により検出した前記調整信号を撮影した明るさの傾斜から、該頂点位置に対する撮影範囲に設けられた複数の信号検出部位の角度を求めることにより、該信号検出部位の座標を得る、ことが好ましい。
これにより、一つの頂点を中心とする調整信号により、頂点に対する角度を容易に求めることができるため、二つの頂点からの調整信号によりそれぞれ角度を求める簡単な演算だけで、検出点の座標を得ることが可能になる。

〔適用例７〕上記適用例に記載の映像処理装置は、前記撮影手段によって撮影した前記撮影画像から、前記第１の画面に対する前記第２の画面の表示領域を検出する表示領域検出手段と、前記第１の画面に対する該表示領域の歪を検出する、歪検出手段と、該歪検出手段の出力により第２の画面の歪を補正する制御手段とを備えることが好ましい。
これにより、第２の画面を投射するプロジェクターの位置の自由度を高くすることができるので、第１の画面と第２の画面の位置関係の制約条件を気にせずに使用することができる。

〔適用例８〕本適用例の映像表示装置は、第１の画面を表示する第１の表示手段と、光変調手段と投射手段とを備え、前記第１の画面の中に前記第１の画面より小さい第２の画面を投射表示する第２の表示手段と、前記第２の表示手段によって表示された前記第２の画面の領域とその周辺領域を撮影する撮影手段と、前記第１の表示手段および前記第２の表示手段が表示する調整信号を生成する調整信号生成手段と、前記調整信号生成手段によって生成された前記調整信号を前記第１および第２の表示手段に切換え表示させる信号切換え手段と、前記撮影手段が撮影することによって得られた撮像画像から前記第２の表示手段の表示位置を検出する表示位置検出手段と、該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成手段と、前記第２の表示手段に前記表示情報生成手段の出力を出力する出力手段と、を備える。
これにより、第２の表示手段による表示画面の位置を自動的に検出して、表示位置に対応した映像信号を表示することができるので、第１の画面に対して詳細な情報を見たい場所を自由に決めて表示させることができる。また撮像手段として第１の画面全体を撮影する場合に比べて、解像度が低い、比較的低コストのカメラを使うことができる。

〔適用例９〕上記適用例に記載の映像表示装置は、前記第２の表示手段が、前記第１の表示手段が生成する前記第１の画面と平行な面内を移動可能な保持手段を備え、該第２の表示手段が生成する前記第２の画面が前記第１の画面の任意の場所に表示可能なことが好ましい。
これにより、第２の画面の大きさは常に一定となるために、例えば撮影手段の撮影範囲において、中心付近などの一点の位置情報を得るだけで、第２の画面で第１の画面の補完的情報を適正に表示することが可能となる。

〔適用例１０〕上記適用例に記載の映像表示装置は、前記第２の表示手段が前記第１の表示手段と機構的に結合されておらず、前記第２の表示手段が生成する前記第２の画面が、前記第１の表示手段の生成する前記第１の画面の任意の場所に表示可能なことが好ましい。
これにより、第２の画面を第１の画面から取り外したり、自由に移動したりすることが可能になるため、第１の画面で補完的な情報を表示したい場合に該当する場所に第２の画面を置くだけで、簡単に詳細情報などを表示することができる。

〔適用例１１〕上記適用例に記載の映像表示装置は、前記第１の表示手段が、投射型表示装置であることが好ましい。
これにより、机などに表示することができるために、表示専用の場所を設ける必要がない。

〔適用例１２〕上記適用例に記載の映像表示装置は、前記第１の表示手段が、液晶モニターであることが好ましい。
これにより、液晶モニターの解像度が不足するような場合にでも、第２の表示手段で補完的な情報を表示することで、必要な情報を表示することが可能となる。

〔適用例１３〕上記適用例に記載の映像表示装置は、前記撮影手段が、前記第２の表示手段を構成する筐体に機構的に結合されていること、または内蔵されていることが好ましい。
これにより、撮影範囲を常に第２の表示手段による表示画面とその周辺に設定することができるので、撮影のためのカメラの解像度を下げることにより、低コストに実現することができる。さらに、第２の表示手段の投射レンズ位置とカメラの撮影レンズ位置を比較的近く設定できるので、第２の画面が第１の画面に対して斜めに投射されて歪が生じる場合でも、撮影した画面には大きな歪が生じることなく、撮影範囲を再設定する必要がない。また、撮影範囲に第２の画面の取付け機構などが入り込むことを避けることができる。

〔適用例１４〕本適用例に記載の映像表示方法は、第１の画面を表示する第１の表示手段と、前記第１の画面の中に前記第１の画面より小さい第２の画面を表示する第２の表示手段と、前記第２の表示手段によって表示された前記第２の画面の領域とその周辺領域を撮影する撮影手段と、が接続可能に形成された映像処理装置における映像処理方法であって、前記第１の表示手段および前記第２の表示手段が表示する調整信号を生成する調整信号生成工程と、前記調整信号生成手段によって生成された前記調整信号を前記第１および第２の表示手段に切換え表示させる信号切換え工程と、前記撮影手段が撮影することによって得られた撮影画像から前記第２の表示手段の表示位置を検出する表示位置検出工程と、該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成工程と、前記第２の表示手段に前記表示情報生成手段の出力を出力する出力工程と、を備える。
これにより、第２の表示手段による表示画面の位置を自動的に検出して、表示位置に対応した映像信号を表示することができるので、第１の画面に対して詳細な情報を見たい場所を自由に決めて表示させることができる。また撮像手段として第１の画面全体を撮影する場合に比べて、解像度が低い、比較的低コストのカメラを使うことができる。

本発明の第１実施形態における映像表示装置の構成図である。 本発明の第１実施形態におけるプロジェクターの構成図である。 本発明の第１実施形態における映像信号処理装置の構成図である。 制御部２４０の概略構成図である。 小画面３０２の位置を検出するための画面表示を示す図である。 制御部２４０での動作手順を示すフローチャートである。 制御部２４０での他の動作手順を示すフローチャートである。 本発明の第１実施形態における映像表示装置の他の構成図である。 本発明の第２実施形態における撮影範囲を説明する図である。 本発明の第３実施形態における映像表示装置の構成図である。 本発明の第３実施形態における小画面３３２の位置の検出方法を説明するための図である。 本発明の第３実施形態における制御部２４０での動作手順を示すフローチャートである。 小画面３３２の位置を検出するための大画面３３１の画面表示を示す図である。 小画面３３２の位置を検出するための大画面３３１のグレーコードの画面表示を示す図である。 本発明の第４実施形態における制御部２４０での動作手順を示すフローチャートである。 本発明の第５実施形態における映像表示装置の構成図である。 本発明の第５実施形態における映像信号処理装置の構成図である。 本発明の第５実施形態における撮影範囲を示す図である。 本発明の第５実施形態における制御部２４０での動作手順を示すフローチャートである。 本発明の第５実施形態における明るさ分布を説明する図である。 本発明の第６実施形態における撮影範囲を示す図である。 本発明の第６実施形態における動作手順を示すフローチャートである。 本発明の第６実施形態における画面の明るさ分布を説明する図である。 本発明の第６実施形態における画面の位置検出を説明する図である。

以下、本発明に関わる映像表示装置の一実施形態について図面を参照しながら説明する。

〔第１実施形態〕
図１に本発明の第１実施形態における映像表示装置の構成を示す。
机１０９の上には第１のプロジェクター（投射型表示装置、第１の表示手段）１０１が置かれ、机上（机の上面）に大画面（第１の画面）１０７が投射されている。また、机１０９の端部にはポール１０５が設けられ、ポール１０５の長手方向である鉛直軸を中心軸として回転自在な３箇所の接続部（保持手段）１０６ａ、１０６ｂ、１０６ｃおよび２本のアーム（保持手段）１０４ａ、１０４ｂを介して、第２のプロジェクター（第２の表示手段）１０２が取り付けられ、大画面１０７の一部に小画面（第２の画面）１０８が投射表示されている。このような構造により、第２のプロジェクター１０２は机１０９の上面に対する投射距離がほぼ一定であり、机１０９の上面に対して並行な面内を移動することができるため、観察者が手により移動させることで大画面１０７の中の任意の位置に任意の回転角度で小画面１０８を投射することができる。また、第２のプロジェクター１０２の背面には、小画面１０８およびその周辺を撮影するカメラ１０３が設けられている。

図２に第２のプロジェクター１０２の内部構成の概略を示す。第２のプロジェクター１０２は、光源１５１、透過型液晶ライトバルブ（光変調手段）１５２、投射レンズ（投射手段）１５３、を備えた液晶プロジェクターである。透過型液晶ライトバルブ１５２は光源１５１からの光を後述の映像信号処理装置２００からの映像信号に基づいて変調する。変調された光は投射レンズ１５３により図示しない投射面に投射される。第１のプロジェクター１０１も同様の構成である。カラー表示の場合は、Ｒ，Ｇ，Ｂの３枚の透過型液晶ライトバルブを備えている。また、反射型液晶ライトバルブであるＬＣＯＳや、マイクロミラーを用いたプロジェクターであってもよい。さらには、後述するが、第１のプロジェクター１０１の替わりに、直視の液晶モニターを用いても、同様に扱うことができる。

図３に映像信号処理装置のブロック構成を示す。映像信号処理装置（映像処理装置）２００は、第１のプロジェクター２０１および第２のプロジェクター２０２に表示する映像信号を処理し、またカメラ（撮影手段）２０３で撮影した信号を処理するための装置である。図３において、第１のプロジェクター２０１は図１おける第１のプロジェクター１０１に対応し、第２のプロジェクター２０２は図１における第２のプロジェクター１０２に対応する。またカメラ２０３は図１のカメラ１０３に対応する。

映像信号処理装置２００はコンピューター２０５、第１のプロジェクター２０１、第２のプロジェクター２０２に接続されている。コンピューター２０５は本実施形態の映像表示装置に表示する映像信号（または画像信号）を生成するものである。映像信号処理装置２００に入力される映像信号はＡＤコンバーター２１１によりデジタル信号に変換されて、画像メモリー２１２に書き込まれる。入力信号がデジタル信号の場合にはＡＤコンバーター２１１の替わりに、デジタル信号インターフェース回路を備えればよい。画像メモリー２１２の出力は、第１の解像度変換回路２１３と第２の解像度変換回路２１６に接続され、それぞれ第１のプロジェクター２０１と第２のプロジェクター２０２の表示能力に応じた解像度に変換される。ここでは一例として、コンピューター２０５がＱＸＧＡ（２０４８＊１５３６画素）の信号を発生し、第１のプロジェクター２０１はＸＧＡ（１０２４＊７６８画素）、第２のプロジェクター２０２はＳＶＧＡ（８００＊６００画素）の表示能力を備えているとする。

第１のプロジェクター２０１では、入力されたコンピューター２０５の出力信号の全体の領域が表示できるように、第１の解像度変換回路２１３において水平、垂直ともに１／２の解像度に変換される。変換は、公知の方法によって、ＬＰＦ（ローパスフィルター）により空間周波数帯域を制限した後に、サブサンプリングすることにより実現できる。より具体的には、バイリニアやバイキュービックなどの処理を行なえばよい。第１の解像度変換回路２１３の出力は、第１の切換回路（信号切換え手段）２１４に入力され、制御部２４０からの切換信号により、後述の小画面１０８位置の調整のための信号生成部（調整信号生成手段）２２２からの入力信号と切換えられ、第１の出力回路２１５を介して第１のプロジェクター２０１に入力され、大画面１０７として表示する。

また、第２のプロジェクター２０２は、第１のプロジェクター２０１が投射表示する、コンピューター２０５の生成する全体の領域である大画面１０７の一部に、コンピューター２０５の生成する信号の一部を表示位置に対応してほぼＳＶＧＡの画素数で切出して、小画面１０８としてコンピューター２０５の信号に近い解像度（画素密度）で表示する。第２の解像度変換回路２１６（表示情報生成手段）では、表示サイズに対応させた信号の切り出し、解像度変換、回転補正、投射が斜めになっている場合の台形歪補正などの処理を行なう。第２の解像度変換回路２１６の出力は、第２の切換回路２１７（信号切換え手段）に入力され、制御部２４０からの切換信号により、信号生成部２２２からの入力信号と切換えられ、第２の出力回路（出力手段）２１８を介して第２のプロジェクター２０２に入力され、小画面１０８として表示する。

以上のような構成により、大画面１０７に対する小画面１０８の大きさを、ＳＶＧＡとＱＸＧＡの水平方向（または垂直方向）の画素数の比である、８００：２０４８＝２５：６４にほぼ近くなるよう設定しておくことにより、コンピューター２０５の生成する出力信号に対して、大画面１０７では水平、垂直ともに１／２の解像度で表示し、小画面１０８はほぼ元の解像度で表示することができる。すなわち、大画面１０７ではコンピューター２０５の生成する画面の概要を表示し、小画面１０８では元の密度の画面を表示することができるので、小画面１０８を大画面１０７の任意の部分で表示することが可能なようにすれば、詳細な情報を見たい場所に小画面１０８を移動して表示することが可能となる。なお、小画面１０８の表示部分については第１の解像度変換回路２１３で大画面１０７の信号を黒信号、すなわちブランキングしておいてもよい。このようにすれば、相互のずれにより生ずる二重像によるぼけを回避することができる。

以上、大画面１０７と小画面１０８の信号を表示する処理について説明したが、小画面１０８が表示位置に対応した信号を表示するためには、小画面１０８の表示位置を検出して、位置に対応した信号を第２のプロジェクター１０２（２０２）で投射表示しなければならない。以下、そのための処理について説明する。

図１の第２のプロジェクター１０２に取り付けられたカメラ１０３の出力信号は、図３においてカメラ２０３の出力としてカメラ信号処理回路２２１を介して制御部２４０へ入力される。制御部２４０は表示位置検出手段として機能する。

図４に制御部２４０の構成の一例を示す。制御部２４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央演算装置）２４１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリー）２４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、リードオンリーメモリー）２４３と、インターフェース回路（図４では、Ｉ／Ｆ回路と示す）２４４と、バス２４５とを備える。ＣＰＵ２４１、ＲＡＭ２４２、ＲＯＭ２４３、インターフェース回路２４４はバス２４５を介してデータの入出力ができる。また、インターフェース回路２４４には、カメラ信号処理回路２２１からの出力が接続されるとともに、画像メモリー２１２、第１の解像度変換回路２１３、第２の解像度変換回路２１６、第１の切換回路２１４、第２の切換回路２１７、信号生成部２２２への制御信号が出力される。

次に、小画面１０８の位置を検出する手順を図５、図６、図７によって説明する。図５には画面表示の様子を示し、図６、図７は、制御部２４０で処理される手順を示すフローチャートである。

図５（Ａ）は大画面３０１と小画面３０２および撮影範囲３０３、撮影範囲３０３の参照部分３０４の概要の位置を示す。大画面３０１は図１の大画面１０７に相当し、小画面３０２は図１の小画面１０８に相当するものである。また撮影範囲３０３は図１のカメラ１０３（２０３）で撮影する範囲を示すもので、小画面３０２の領域とその周辺領域が含まれる。参照部分３０４はこの撮影範囲３０３のほぼ中心付近の単一または複数の画素によって構成する。小画面３０２および撮影範囲３０３は、表示したい場所に第２のプロジェクター１０２を移動することによって位置が変わる。

図６のＳ１で第１の切換回路２１４と第２の切換回路２１７を信号生成部２２２の出力に切換え、第１のプロジェクター２０１と第２のプロジェクター２０２、即ち大画面３０１と小画面３０２は信号生成部２２２によって発生する信号を表示する。
Ｓ２で信号生成部２２２の発生する信号を大画面３０１、小画面３０２ともに黒信号、即ちブランク状態として、Ｓ３でカメラ２０３により撮影範囲３０３を撮影する。このとき、画面は周囲の照明光などの影響により明るさを持っており、これを黒側のレベルＶｂとして制御部２４０のＲＡＭ２４２に記憶する。

次にＳ４では信号生成部２２２によって大画面３０１に全白信号（調整信号）を表示し、カメラ２０３で撮影して白側のレベルＶｗとして制御部２４０のＲＡＭ２４２に記憶する。このようにして得られた黒側のレベルＶｂと白側のレベルＶｗを参照して、中間的なレベルをＳ５でスレッシュホールドレベルＶｔｈｂとして記憶する。例えば、Ｖｔｈｂ＝（Ｖｗ−Ｖｂ）／２とすることができる。このとき、スレッシュホールドレベルＶｔｈｂは撮影範囲３０３全体にわたって同じレベルにするのではなく、撮影範囲３０３を複数に分割して場所に対応した黒側のレベルＶｂ、白側のレベルＶｗを記憶させておき、場所に対応したスレッシュホールドレベルＶｔｈｂを求めて設定してもよい。このようにすることで、照明光などが大画面３０１に不均一に影響している場合でも、後の処理において安定な結果を得ることができる。

次に、図５（Ｂ）に、Ｓ６以降のステップで大画面３０１に表示する白信号の表示基準位置を示す。画面を水平方向、垂直方向ともに４等分し、１６に分割された各ブロックには、アドレス３０５が全ブロックに割り振られている。このアドレス３０５は２値で示している。以後の白信号は、このブロックを最小単位として表示を行なう。

次にＳ６からＳ１１またはＳ１３の間については、参照部分３０４のアドレスを求めるために以下に説明する手順を４回繰り返す。
Ｓ７では、注目部の長手方向を１／２に分割し、左右分割した場合には左側を新たな注目部に設定し、上下分割した場合には上側を新たな注目部に設定する。ここでは、図５（Ｃ）に示すように大画面３０１をまず水平方向に２分割し、左半分を注目部３０６に設定する。
Ｓ８では注目部３０６を全白表示し、他の部分を全黒とする信号（調整信号）が生成され、その信号に基づいた表示がされる。ここでは図５（Ｃ）に示すように左半分が全白表示される。次にＳ９で撮影範囲３０３を撮影し、参照部分３０４の明るさを取得する。Ｓ１０でＶｔｈｂと比較することにより、参照部分３０４が白と黒のどちらであるかを判定し、白であればＳ１１でＲＡＭ２４２に「１」を記憶し、黒であればＳ１２で「０」を記憶させる。図５（Ｃ）の場合は白と判定され、ＲＡＭ２４２には「１」が記憶される。

次に２回目として再びＳ７に戻り、注目部３０６を上下に分割して、図５（Ｄ）に示すように上側半分を新たな注目部３０７として設定し、Ｓ８で白表示する。注目部３０７以外の部分は全黒になっている。次に再びＳ９により参照部分３０４の明るさを取得し、Ｓ１０で白と黒のどちらであるかを判定する。この場合は白であるため、Ｓ１１によりＲＡＭ２４２に再び「１」が記憶される。

次に３回目にＳ７に戻り、先ほど設定した注目部３０７を水平方向に分割して、図５（Ｅ）に示すように左半分を新たな注目部３０８として設定し、Ｓ８で白表示する。次にＳ９により参照部分３０４の明るさを取得し、Ｓ１０で白と黒のどちらであるかが判定される。この場合は黒であるため、Ｓ１２によりＲＡＭ２４２には「０」が記憶される。次にＳ１３において、注目部３０８を一つ前の注目部３０７の範囲で反転させた、注目部３１１に変更設定する。即ち、参照部分３０４が含まれるように、注目部３０８の右に隣接する二つのブロックから構成される注目部３１１に変更する。

次に４回目としてＳ７に戻り、注目部３１１を上下に分割して、図５（Ｆ）に示すように上側半分を注目部３０９として設定し、Ｓ８で白表示する。次にＳ９により参照部分３０４の明るさを取得し、Ｓ１０で白と黒のどちらであるかを判定する。この場合は再び黒であるため、Ｓ１２によりＲＡＭ２４２には「０」が記憶される。次にＳ１３において、注目部３０９を一つ前の注目部３１１の範囲で反転させた、図５（Ｇ）に示す注目部３１０に変更する。

このようにしてＳ６からＳ１１またはＳ１３を４回繰返し、Ｓ１４において最終的に参照部分３０４が含まれるブロックを注目部３１０として白表示する。なお、最後のＳ１０において白と判定された場合は、その直前のＳ８で設定した注目部がそのまま注目部として白表示される。

このようにして、１６分割したブロックで、撮影範囲３０３の参照部分３０４が含まれるブロックのアドレスがＲＡＭ２４２に順次記憶されているために、Ｓ１５においてＲＡＭ２４２に記憶されたデータを読み出すことにより、注目部３１０のブロックのアドレスを知ることができる。本実施形態の場合のアドレスは、上記に説明した順に沿って「１１００」となり、図５（Ｂ）で示した参照部分３０４が位置するブロックのアドレスが得られていることがわかる。このようにして、参照部分３０４が位置するブロックのアドレスを得ることができる。

次に、Ｓ１６で、参照部分３０４を含む注目部３１０の白表示したブロックの四隅に対して、カメラ２０３における座標を求める。これは、例えばエッジ検出した信号の交点を求めることや、ハフ変換により特徴点を求めるなどの公知の処理方法で取得することができる。次に、大画面３０１における注目部３１０の座標、即ち画像メモリー２１２のアドレスは、上述の方法によって求めたアドレスから求めることができるので、Ｓ１７では、Ｓ１６で取得したカメラ座標から、画像メモリー２１２のアドレスに変換する変換パラメーターＣを求めることができる。これは、公知の射影変換のパラメーターを求めることで、四隅の（ｘ、ｙ）の座標による８連１次方程式を解くことにより求めることができる。この変換パラメーターＣにより、カメラ２０３上の任意の座標が投射した大画面３０１上の座標のどこにあるのかを求めることが可能であり、さらには逆変換パラメーターを求めることにより、大画面３０１上の座標の任意の点がカメラ２０３の座標のどこに対応するのかを求めることができる。

次に、コンピューター２０５の信号を、大画面３０１に対して任意の位置に小画面３０２を設定することにより表示するための処理について、図７で説明する。図７は、制御部２４０で処理される手順を示すフローチャートである。
Ｓ２１で信号生成部２２２の発生する信号を大画面３０１、小画面３０２ともに黒信号、即ちブランク表示し、Ｓ２２でカメラ２０３により撮影範囲３０３を撮影する。このとき、画面は周囲の照明光などの影響により明るさを持っており、これを黒側のレベルＶｃとして制御部２４０のＲＡＭ２４２に記憶する。これらはＳ２、Ｓ３と同じ処理であり、Ｓ２、Ｓ３を行なった時点から周囲の照明光などに変化がない場合には省略することができる。

Ｓ２３では信号生成部２２２によって小画面３０２に全白信号を表示し、カメラ２０３で撮影して白側のレベルＶｘとして制御部２４０のＲＡＭ２４２に記憶する。このようにして得られた黒側のレベルＶｃと白側のレベルＶｘを参照して、中間的なレベルをＳ２４でスレッシュホールドレベルＶｔｈｓとして記憶する。例えば、Ｖｔｈｓ＝（Ｖｘ−Ｖｃ）／２とすることができる。このとき、スレッシュホールドレベルＶｔｈｓは撮影範囲３０３全体にわたって同じレベルにするのではなく、画面を複数に分割して場所に対応した黒側のレベルＶｃ、白側のレベルＶｘを記憶させておき、場所に対応したスレッシュホールドレベルＶｔｈｓを求めて設定してもよい。このようにすることで、照明光などが小画面３０２に不均一に影響している場合でも、後の処理において安定な結果を得ることができる。

Ｓ２５で小画面３０２に全白表示を行い、Ｓ２６ではＳ１６と同様に処理することで小画面３０２の四隅に対するカメラ２０３での座標を求める。
Ｓ２７では、求めたカメラ２０３での座標に対して、Ｓ１７で求めた変換パラメーターＣにより、投射した大画面３０１上の座標、即ち画像メモリー２１２のアドレスに変換する。このようにして求めたアドレスをＳ２８で画像メモリー２１２の切出し位置として設定する。即ち、この切出し位置に対応したデータが、第２のプロジェクター２０２で表示されることになる。

Ｓ２９では、このアドレスに対応した領域を大画面３０１でブランク表示するための位置として、第１の解像度変換回路２１３に設定する。なお、小画面３０２とのつなぎ目をぼやかすためには、ブランク位置全てを黒表示とするのではなく、内側に向かって緩やかに信号レベルを下げていくことで実現できる。また、対応する小画面３０２の最周辺部の信号レベルを下げていくことで、なおスムーズなつなぎ目を得ることができる。
Ｓ３０では、第１の切換回路２１４を第１の解像度変換回路２１３側へ切換え、第２の切換回路２１７を第２の解像度変換回路２１６へ切換えることで、Ｓ３１で大画面３０１と小画面３０２にはコンピューター２０５からの信号を表示することができる。

このようにして、小画面１０８（３０２）を自由な位置に移動しても、その位置に対応した信号を自動的に表示することができるために、大画面１０７（３０１）で詳細を見たい部分に小画面１０８（３０２）を移動することにより、詳細を表示することができる。また、第２のプロジェクター１０２を取り付けるためのポール１０５やアーム１０４ａ、１０４ｂと接続部１０６ａ、１０６ｂ、１０６ｃの機構的な遊びなどにより、投射位置によって投射距離が変化して小画面１０８（３０２）のサイズが変わったり、机１０９に対する投射角度が変わって台形歪が生じたるすることが考えられるが、説明したステップでは実際の投射位置において射影変換によるパラメーターを求めて補正しているので、これらの変化に対しても問題なく表示することができる。

〔第１実施形態の変形例〕
また、第２のプロジェクター１０２については、以上説明した方法だけではなく、別の設置方法が考えられる。
図８に第２のプロジェクターの別の例を示す。なお、図１と同じ部分については同じ符号で示す。
図８における第２のプロジェクター１１２は手により簡単に移動させることが可能なもので、机１０９上に置いて大画面１０７の任意の部分に小画面１１８を投射することができる。また、背面には小画面１１８およびその周辺を撮影するカメラ１１３が設けられている。
このような構成においても、以上説明したのと同様に扱うことが可能である。

さらに、第２のプロジェクター１１２は机１０９上から自由に取去ることが可能なので、詳細表示が不要な場合には第１のプロジェクター１０１のみによって表示し、詳細表示が必要な場合には第２のプロジェクター１１２を置くことによって表示することができる。また、発展的には第２のプロジェクター１１２を複数台準備し、かつ映像信号処理装置２００の第２の解像度変換回路２１６、第２の切換回路２１７、第２の出力回路２１８に相当する部分を第２のプロジェクター１１２に相当する数に対応させて複数備えておくことで、大画面１０７の複数の場所に同時に詳細表示することが可能である。

〔第２実施形態〕
図９に、本発明の第２実施形態として、第１実施形態におけるカメラ（撮影手段）１０３での好ましい撮影範囲を設定するための具体例示す。図９は撮影範囲を説明する図である。
図６のＳ１６、Ｓ１７で示した手順により撮影した画像から変換パラメーターを求めるためには、撮影範囲には少なくとも図５（Ｂ）で示した大画面（第１の画面）３０１を１６分割したブロックの内の一つが完全に入らなければならない。一方で、検出位置の精度をよくするには検出の分解能をできるだけ上げた方が好ましく、そのためにはカメラの撮影範囲はできるだけ狭くすることが望ましい。

図９（Ａ）において、大画面３２１と撮影範囲３２２の関係を示す。大画面３２１は、水平方向、垂直方向ともにそれぞれ均等に４分割した、１６のブロックに分割される。少なくともブロックの１つが常に完全に撮影範囲３２２に入るようにするには、隣接する２つのブロックが同時に入るように撮影範囲を設定しておけばよい。即ち、隣接する２つのブロックで合成した矩形の対角線が、撮影範囲３２２の短辺Ｔに入るように設定すればよい。従って撮影範囲３２２の短辺Ｔの下限値としては、合成した矩形の対角線の長さと等しいものとすればよい。
一方、大画面３２１全体を撮影範囲とした場合には、大画面３２１全ての情報が撮影できるが、それ以上範囲を広げても表示される範囲外となるため、無意味となる。従って、撮影範囲３２２の上限としては大画面３２１全体と考えることができる。

ここで、大画面３２１の縦横のアスペクト比と撮影範囲３２２の縦横のアスペクト比の組み合わせに対して、撮影範囲を具体的な数値として検討してみる。

図９（Ａ）は、大画面３２１がアスペクト比４：３、高さＨにおいて、撮影範囲３２２がアスペクト比４：３の場合を示す。ブロックは大画面３２１を１６分割しており、それぞれのブロックのアスペクト比も４：３となる。従って撮影範囲３２２の高さ３２３を短辺Ｔとすると、撮影範囲は、
Ｈ≧Ｔ≧√（１３）／６＊Ｈ
とすればよい。

図９（Ｂ）は、大画面３２４がアスペクト比１６：９、高さＨにおいて、撮影範囲３２５がアスペクト比４：３の場合を示す。ブロックは大画面３２４を横４、縦３の１２分割しており、それぞれのブロックのアスペクト比は４：３となる。従って撮影範囲３２５の高さ３２６を短辺Ｔとすると、撮影範囲は、
Ｈ≧Ｔ≧２√（１３）／９＊Ｈ
とすればよい。

図９（Ｃ）は、大画面３２７がアスペクト比１６：９、高さＨにおいて、撮影範囲３２８がアスペクト比１６：９場合を示す。ブロックは大画面３２７を１６分割しており、それぞれのブロックのアスペクト比も１６：９となる。従って撮影範囲３２８の高さ３２９を短辺Ｔとすると、撮影範囲は、
Ｈ≧Ｔ≧√（１４５）／１８＊Ｈ
とすればよい。なお、この場合に撮影範囲３２８のアスペクト比が４：３の場合についても、図示を省略するが同じ条件となる。

以上のように撮影範囲を設定することによって、位置を確実に検出でき、かつ精度よく検出することができる。また、大画面全体を撮影する場合と比較して、カメラの画素数を低減させることが可能なため、コストを低減させることが可能となる。

〔第３実施形態〕
図１０に本発明の第３実施形態である映像表示装置の構成示す。
架台１２５には第１のプロジェクター（第１の表示手段）１２１が設置されるとともに、電動架台（保持部）１２４を介して第２のプロジェクター（第２の表示手段）１２２が設置されている。映像を投射表示するためのスクリーン１２８に対して、第１のプロジェクター１２１は大画面（第１の画面）１２６を投射表示し、その一部に第２のプロジェクター１２２により小画面（第２の画面）１２７が投射表示されている。また、第２のプロジェクター１２２には小画面１２７およびその周辺を撮影するカメラ１２３（撮影手段）が内蔵されている。

電動架台１２４は、鉛直方向の垂直軸を中心とした回転と、水平方向の水平軸を中心とした回転の、２軸の回転機能を備えており、図示を省略したリモコンや制御機器からのコントロール信号により、第２のプロジェクター１２２の投射方向を可変して、小画面１２７の投射位置をスクリーン１２８上で自由に移動させることができる。

これらの第１のプロジェクター１２１と第２のプロジェクター１２２で表示する映像信号を処理するための映像信号処理装置は、第１実施形態の図３において説明した映像信号処理装置２００と同じものであり、説明を省略する。さらに、制御部についても図４と同じものであるため説明を省略する。

本実施形態においては、小画面１２７の位置を検出する手順が第１実施形態と異なるために、以下に図１１、図１２、図１３、および図１４によって説明する。

図１１は小画面３３２の位置の検出方法を説明するための図である。
図１１（Ａ）に、大画面３３１と小画面３３２、撮影範囲３３３の関係を示す。大画面３３１は図１０の大画面１２６に相当し、小画面３３２は図１０の小画面１２７に相当するもので、また撮影範囲３３３は図１０のカメラ１２３で撮影する範囲を示す。小画面３３２および撮影範囲３３３は、表示したい場所に電動架台１２４によって第２のプロジェクター１２２の投射方向を変えることで位置が変わる。
図１１（Ｂ）に、撮影範囲３３４と参照部分３３５の関係を示す。参照部分（信号検出部位）３３５は、撮影範囲３３４において上辺および下辺に接するような位置に設けられ、水平方向には上下の間隔Ｔと同じ間隔であって正方形の頂点に対応するように設けられた４箇所から構成している。参照部分３３５のそれぞれは、カメラ１２３の単一画素または隣接する複数の画素で構成している。複数の画素で構成する場合には、例えば複数の画素で得られるデータの平均値を出力データとすればよい。

また、別の例を図１１（Ｃ）に示す。参照部分３５２は撮影範囲３５１の上下に接しておらず、水平方向、垂直方向ともに間隔Ｕであり、正方形の頂点に対応するように配置されている。図１１（Ａ）、および図１１（Ｂ）で示すように、小画面３３２が大画面３３１の端部に位置する場合には、撮影範囲３３３の一部が大画面３３１の表示範囲を越えることにより、参照部分３３５が大画面３３１の表示範囲外となることがあり得るが、そのような場合には参照部分３３５の替わりに参照部分３５２として撮影範囲３５１の内側寄りに位置させればよい。

図１１（Ｄ）は、小画面３４２が大画面３３１の四隅のいずれかの部分に近い場合の代表として、右上に近い部分で表示される場合を示している。この場合、小画面３４２は水平方向と垂直方向の台形歪が合成されたような歪を生じる。しかしカメラ１２３は小画面３４２を投射表示する第２のプロジェクター１２２に内蔵されており、第２のプロジェクター１２２の投射レンズとカメラ１２３の撮影レンズの距離は第２のプロジェクター１２２とスクリーン１２８間の投射距離に比較して非常に短く設定できるため、撮影範囲３４３は小画面３４２の歪に準じて変形し、カメラ１２３から見た小画面３４２の形状は大きく変化することがないため、撮影範囲３４３を変形させるなどの特別な考慮は必要ない。

次に処理の手順を図１２に示す。図１２は、図４に構成図を示した図３の映像信号処理装置２００の制御部２４０における動作手順を示すフローチャートである。各図を参照しながら説明する。

Ｓ１０１で第１の切換回路２１４と第２の切換回路２１７を信号生成部２２２の出力に切換え、第１のプロジェクター２０１が投射する大画面３３１と、第２のプロジェクター２０２が投射する小画面３３２は信号生成部２２２によって発生する信号を表示する。
Ｓ１０２で信号生成部２２２の発生する信号を大画面３３１、小画面３３２ともに黒信号、即ちブランク状態として、Ｓ１０３でカメラ２０３により撮影範囲３３３を撮影する。このとき、画面は周辺の照明光などの影響により明るさを持っており、これを黒側のレベルＶｂとして制御部２４０のＲＡＭ２４２に記憶する。

次にＳ１０４では信号生成部２２２によって大画面３３１に全白信号を表示し、カメラ２０３で撮影して白側のレベルＶｗとして制御部２４０のＲＡＭ２４２に記憶する。このようにして得られた黒側のレベルＶｂと白側のレベルＶｗを参照して、中間的なレベルをＳ１０５でスレッシュホールドレベルＶｔｈｂとして記憶する。例えば、Ｖｔｈｂ＝（Ｖｗ−Ｖｂ）／２とすることができる。このとき、スレッシュホールドレベルＶｔｈｂは撮影した画面全体にわたって同じレベルにするのではなく、撮影範囲３３３を複数に分割して場所に対応した黒側のレベルＶｂ、白側のレベルＶｗを記憶させておき、場所に対応したスレッシュホールドレベルＶｔｈｂを求めて設定してもよい。このようにすることで、照明光などが大画面３３１に不均一に影響している場合でも、後の処理において安定な結果を得ることができる。

Ｓ１０６以降は、図１１で説明した参照部分のアドレスを求めるステップである。図１３に示す大画面３３１の画面表示を参照しながら説明する。
Ｓ１０６では、水平方向に最大どこまで分割して位置を求めるかを設定する。ここでは、ｎ＝４として、２＾４＝１６まで分割するものとして説明する。
まず、水平方向に対しては、Ｓ１０７からＳ１１０をｎ回繰り返す。Ｓ１０８で、ｎをｎ−１、即ちｎ＝３に設定し、Ｓ１０９でＤ３のコードを図１３（Ａ）のように表示する。図１３では説明の便宜上、黒部分３６１を「０」、白部分３６２を「１」として説明する。即ち、図１３（Ａ）では大画面３３１を左右に分割して、左半分を「０」、右半分を「１」としている。なお、Ｄｎに対応するコードはあらかじめ設定してあり、Ｄ３は「０１」、Ｄ２は「０１０１」、Ｄ１は「０１０１０１０１」、Ｄ０は「０１０１０１０１０１０１０１０１」のように、ｎの最大値で「０１」として、ｎが小さくなるに従って「０１」の繰返し回数が２倍になるように設定しておく。

Ｓ１１０では画面を撮影し、参照部分３３５（３５２）のそれぞれの場所で明るさを取得し、スレッシュホールドレベルＶｔｈｂと比較することで「０」または「１」であることを判別し、判別したデータをＲＡＭ２４２に記憶する。
２回目ではＳ１０９でＤ２コードとして図１３（Ｂ）のように表示して、撮影、明るさ取得、比較、記憶し、同様に３回目、４回目と続けて図１３（Ｃ）、（Ｄ）のように表示して記憶する。このような手順により、参照部分３３５（３５２）の各部位の水平方向のコードが、Ｄ３、Ｄ２、Ｄ１、Ｄ０と順次記憶される。

次に、垂直方向についても同様に処理する。
Ｓ１１１では、垂直方向に最大どこまで分割して位置を求めるかを設定する。ここでは、ｍ＝４として、２＾４＝１６まで分割するものとして説明する。
垂直方向に対しては、Ｓ１１２からＳ１１５をｍ回繰り返す。Ｓ１１３で、ｍをｍ−１、即ちｍ＝３に設定し、Ｓ１１４でＤ３のコードを図１３（Ｅ）のように表示する。図１３（Ｅ）では大画面３３１を上下に分割して、上半分を「０」、下半分を「１」としている。なお、Ｄｍに対応するコードは、Ｄｎの場合と同様にあらかじめ設定されている。
Ｓ１１５では画面を撮影し、参照部分３３５（３５２）のそれぞれの場所で明るさを取得し、Ｖｔｈｂと比較することで「０」または「１」であることを判別し、取得したデータを記憶する。
２回目ではＳ１１４でＤ２コードとして図１３（Ｆ）のように表示して、撮影、明るさ取得、比較、記憶し、同様に３回目、４回目と続けて図１３（Ｇ）、（Ｈ）のように表示して記憶する。このような手順により、参照部分３３５（３５２）の各部位の垂直方向のコードが、Ｄ３、Ｄ２、Ｄ１、Ｄ０と順次記憶される。

このようにして、水平方向、垂直方向ともに１６分割した、全体で２５６分割した各部分のアドレスを、時分割して表示することにより、参照部分３３５（３５２）の各部位での８ビットのアドレスを得ることができる。
なお、実際にはｎおよびｍの値として例えば８を設定することで、水平、垂直ともに２５６分割、全体で６５５３６分割した１６ビットのアドレスを得ることができる。

ここで、Ｓ１０９およびＳ１１４で表示するコードの別の例を図１４に示す。図１４の（Ａ）〜（Ｈ）の並びは、図１３の（Ａ）〜（Ｈ）に対応しており、図１２での説明は同様になる。
図１４においては、表示するコードをグレーコードとした場合を示す。即ち、図１３においては、ステップが進んで分割数が増える場合に、常に左または上側が「０」になるように設定したが、図１４ではステップが進んで分割数が増えていくことに対応して、隣接する部分のコードの変化が少なくなるように黒部分３７１（「０」）と白部分３７２（「１」）とを配置している。グレーコードの特徴として、隣接するデータのハミング距離が常に１であるため、データを取得する場合に「０」と「１」を誤って取得した場合でも、アドレスの誤りを１以内に収めることができるので、大きな誤差を避けることができる。

このようにして得た水平方向と垂直方向のデータにより、Ｓ１１６では参照部分３３５（３５２）の４箇所のアドレスを確定する。カメラにおける参照部分３３５（３５２）の４箇所の座標は、撮影範囲３３４（３５１）から自明であるため、Ｓ１１７でカメラ座標から画像メモリー２１２のアドレスに変換する変換パラメーターＣを求めることができる。これは、公知の射影変換を行なえばよく、８連１次方程式を解くことにより求めることができる。この変換パラメーターＣにより、カメラ１２３上の任意の座標が投射した大画面３３１上の座標のどこにあるのかを求めることが可能であり、さらには逆変換パラメーターを求めることにより、大画面３３１上の座標の任意の点がカメラ１２３の座標のどこに対応するのかを求めることができる。

この後の、コンピューター２０５の信号を、大画面３３１（１２６）に対して任意の位置に小画面３３２（１２７）を設定することにより表示するための処理は、第１実施形態において、図７によって説明したのと同じ処理であるため、説明を省略する。
このようにして、図示を省略したリモコンや制御機器からのコントロール信号により小画面１２７を自由な位置に移動しても、その位置に対応した信号を自動的に表示することができるために、大画面１２６で詳細を見たい部分に小画面１２７を移動することにより、詳細を表示することができる。また、第２のプロジェクター１２２を取り付けた電動架台１２４の向きによって投射位置が変化することで、小画面１２７のサイズが変わったり、スクリーン１２８に対する投射角度が変わって台形歪が生じたりしても、投射位置において射影変換によるパラメーターを求めて補正するので、問題なく表示することができる。

〔第４実施形態〕
第３実施形態においては、図１１の撮影範囲において参照部分を設定して小画面３３２の位置を検出する方法を説明した。第４実施形態においては、小画面３３２の四隅を参照部分として検出する方法を、図１５を参照して説明する。
手順として、まず小画面３３２の四隅を参照部分として設定し、次に大画面３３１上での座標は第３実施形態と同じ手順によって求める。

Ｓ２０１で、図３の第１の切換回路２１４と第２の切換回路２１７を信号生成部２２２からの出力信号に切換える。Ｓ２０２では信号生成部２２２によって発生する信号を大画面３３１、小画面３３２ともに黒信号、即ちブランク状態として、Ｓ２０３で周囲の照明光などの影響よって生じている明るさを撮影し、黒側のレベルＶｃとして制御部２４０に記憶する。

Ｓ２０４では信号生成部２２２によって発生する信号により、小画面３３２の全白表示を行い、カメラ１２３で撮影して白側のレベルＶｘとして制御部２４０に記憶する。このようにして得られた黒側のレベルＶｃと白側のレベルＶｘを参照して、中間的なレベルをＳ２０５でスレッシュホールドレベルＶｔｈｓとして記憶する。例えば、Ｖｔｈｓ＝（Ｖｘ−Ｖｃ）／２とすることができる。このとき、スレッシュホールドレベルＶｔｈｓは撮影した画面全体にわたって同じレベルにするのではなく、画面を複数に分割して場所に対応した黒側のレベルＶｃ、白側のレベルＶｘを記憶させておき、場所に対応したスレッシュホールドレベルＶｔｈｓを求めて設定してもよい。このようにすることで、照明光などがスクリーン１２８に不均一に影響している場合でも、後の処理において安定な結果を得ることができる。

Ｓ２０６で信号生成部２２２によって発生する信号により、小画面３３２に全白表示を行い、Ｓ２０７では全白表示した小画面３３２の四隅に対して、カメラ１２３での座標を求めて、参照部に設定する。これには、例えばエッジ検出した信号の交点を求めることや、ハフ変換により特徴点を求めるなどの公知の処理方法を使うことにより、取得することができる。

この後の処理については、第３実施形態と同じ処理を行なうことにより、小画面３３２の四隅の座標を求めて、カメラ座標から画像メモリー２１２のアドレスに変換する変換パラメーターＣを求めることができるので、説明を省略する。

さらには、この後の、コンピューター２０５の信号を、大画面３３１（１２６）に対して任意の位置に小画面３３２（１２７）を設定することにより表示するための処理は、第１実施形態において、図７によって説明したのと同じ処理であるため、説明を省略する。なお、図７のＳ２１〜Ｓ２６については、本実施形態のＳ２０１〜Ｓ２０７において一旦処理しているために、処理を省略してもよい。

このようにして、図示を省略したリモコンや制御機器からのコントロール信号により小画面１２７を自由な位置に移動しても、その位置に対応した信号を自動的に表示することができるために、大画面１２６で詳細を見たい部分に小画面１２７を移動することにより、詳細を表示することができる。また、第２のプロジェクター１２２を取り付けた電動架台１２４の向きによって投射位置が変化することで、小画面１２７のサイズが変わったり、スクリーン１２８に対する投射角度が変わって台形歪が生じたりしても、投射位置において射影変換によるパラメーターを求めて補正するので、問題なく表示することができる。

〔第５実施形態〕
図１６に第５実施形態における映像表示装置の構成の概略を斜視図で示す。
水平に置かれた液晶モニター（第１の表示手段）１３１により構成する大画面の一部に、プロジェクター（第２の表示手段）１３２により小画面１３８が投射表示されている。プロジェクター１３２は、Ｘ駆動部（保持部）１３４、Ｙ駆動部（保持部）１３５、天井取付け部（保持部）１３６を介して天井１３７に取り付けられている。プロジェクター１３２は、図示しないリモコンや制御機器による制御信号により操作することで、Ｙ駆動部１３５により液晶モニター１３１の画面垂直方向に平行移動し、Ｘ駆動部１３４により水平方向に平行移動するように構成されており、液晶モニター１３１の任意の部分に投射することができる。また、プロジェクター１３２には投射する小画面１３８とその周辺を撮影するカメラ１３３が取り付けられている。このように、プロジェクター１３２と液晶モニター１３１とは機構的には結合されていない。

図１７にこれらの液晶モニター１３１およびプロジェクター１３２に表示する映像信号を処理し、またカメラ１３３で撮影した信号を処理するための映像信号処理装置２００の構成を示す。本実施形態における図３との差異は、第１のプロジェクター２０１が大画面を構成するフラットパネルディスプレー２５１、第２のプロジェクター２０２が小画面１３８を表示するプロジェクター２５２に置き換わっている点であり、その他の同じ符号で示す部分は同じ機能である。また、フラットパネルディスプレー２５１は図１６の液晶モニター１３１、プロジェクター２５２は図１６のプロジェクター１３２に対応し、カメラ２０３は図１６のカメラ１３３に対応している。

コンピューター２０５は本映像表示装置に表示する映像信号または画像信号を生成するもので、ＡＤコンバーター２１１によりデジタル信号に変換されて、画像メモリー２１２に書き込まれる。入力信号がデジタル信号の場合にはＡＤコンバーター２１１の替わりに、デジタル信号インターフェース回路を備えればよい。画像メモリー２１２の出力は、第１の解像度変換回路２１３と第２の解像度変換回路２１６に接続され、それぞれフラットパネルディスプレー２５１とプロジェクター２５２の表示能力に応じた解像度に変換される。ここでは一例として、コンピューター２０５がＷＱＸＧＡ（２５６０＊１６００画素）の信号を発生し、フラットパネルディスプレー２５１はＷＸＧＡ（１２８０＊７６８画素）、プロジェクター２５２はＸＧＡ（１０２４＊７６８画素）の表示能力を備えているとする。

フラットパネルディスプレー２５１では、入力されたコンピューター２０５の出力信号に対して画面の縦横のアスペクト比が一致しないため、画像メモリー２１２においてＷＱＸＧＡの水平、垂直方向が２倍の２５６０＊１５３６画素になるように上下の画素数の差である６４画素に対応する信号が破棄された後、第１の解像度変換回路２１３において水平、垂直ともに１／２の解像度に変換される。変換は、公知の方法によって、ＬＰＦ（ローパスフィルター）により空間周波数帯域を制限した後に、サブサンプリングすることにより実現できる。より具体的には、バイリニアやバイキュービックなどの処理を行なえばよい。第１の解像度変換回路２１３の出力は、第１の切換回路２１４に入力され、制御部２４０からの切換信号により、後述の小画面位置の調整のための信号生成部２２２からの入力信号と切換えられ、第１の出力回路２１５を介してフラットパネルディスプレー２５１に入力され、液晶モニター１３１で表示する。

また、プロジェクター２５２は、フラットパネルディスプレー２５１が表示する、コンピューター２０５の生成する領域である大画面の一部に、コンピューター２０５の生成する信号の一部を表示位置に対応してほぼＷＸＧＡの画素数で切出して、小画面１３８としてコンピューター２０５の信号から上下の６４画素を破棄した後の信号に近い解像度（画素密度）で表示する。第２の解像度変換回路２１６では、表示サイズに対応させた解像度のわずかな変換や、回転補正、投射が斜めになっている場合の台形歪補正などの処理を行なう。第２の解像度変換回路２１６の出力は、第２の切換回路２１７に入力され、制御部２４０からの切換信号により、信号生成部２２２からの入力信号と切換えられ、第２の出力回路２１８を介してプロジェクター２５２に入力され、小画面１３８として表示する。

以上のような構成により、液晶モニター１３１による大画面に対する小画面１３８のサイズを、ＸＧＡとＷＱＸＧＡの水平方向の画素数の比である、１０２４：２５６０＝２：５にほぼ近くなるよう設定しておくことにより、コンピューター２０５の生成する出力信号に対して、フラットパネルディスプレー２５１では水平、垂直ともに１／２の解像度で表示され、小画面１３８はほぼ元の解像度で表示することができる。すなわち、液晶モニター１３１ではコンピューター２０５の生成する信号の概要を表示し、小画面１３８では元の密度の情報を表示することができるので、小画面１３８を任意の部分で表示することが可能なようにすれば、詳細な情報を見たい場所に小画面１３８を移動して表示することが可能となる。なお、説明は省略したが、小画面１３８の表示部分については液晶モニター１３１の信号を黒信号、すなわちブランキングしておくことにより、相互のずれにより生ずる二重像によるぼけを回避することができる。

なお、プロジェクター２５２は、第１実施形態と同様に、Ｒ、Ｇ、Ｂ３枚の液晶ライトバルブを備えた液晶プロジェクターである。また、反射型液晶ライトバルブであるＬＣＯＳや、マイクロミラーを用いたプロジェクターであってもよい。

以上、液晶モニター１３１と小画面１３８の信号を表示する処理について説明したが、小画面１３８が表示位置に対応した信号を表示するためには、小画面１３８の表示位置を検出して、位置に対応した信号をプロジェクター１３２で投射表示しなければならない。以下、そのための処理について説明する。
プロジェクター１３２に取り付けられたカメラ１３３（２０３）の出力信号は、図１７のカメラ信号処理回路２２１を介して制御部２４０へ入力される。

次に、小画面１３８の位置を検出する手順を図１８、図１９、図２０によって説明する。
図１８（Ａ）に大画面４０１と小画面４０２、カメラ１３３による撮影範囲４０３の関係を示す。なお、大画面４０１は図１６の液晶モニター１３１、図１７のフラットパネルディスプレー２５１に対応するもので、小画面４０２は図１６の小画面１３８に対応するものである。
また、図１８（Ｂ）に撮影範囲４０３と参照部分４０５の関係を示す。参照部分４０５は撮影範囲４０３のほぼ中心に、カメラ１３３の単一の画素、または複数の画素で構成しているものであり、複数の画素で構成する場合には平均値を出力データとすればよい。

図１９に制御部２４０で行なう処理のフローチャート、図２０に画面の様子を示す。
Ｓ３０１で第１の切換回路２１４と第２の切換回路２１７を信号生成部２２２の出力に切換え、Ｓ３０２で信号生成部２２２の発生する信号を大画面４０１、小画面４０２ともに黒信号、即ちブランク状態として、Ｓ３０３でカメラ２０３により背景の明るさを撮影する。このとき、画面は周囲の照明光などの影響により明るさを持っており、これを明るさＢとして記憶しておく。

Ｓ３０４からＳ３１１では、大画面にランプ波形状の信号を４パターン表示して、それぞれ撮影して参照部分の明るさを検出する。このときの画面の様子を図２０に示す。

図２０（Ａ）は、大画面４０１と撮影範囲４０３、参照部分４０５の関係を示す。ランプ波形は信号レベルが連続的な一次関数的な傾斜をなすもので、Ｓ３０４では、水平輝度傾斜４２１に示すように左が最も明るく、右へ次第に暗くなるように分布する信号を表示し、Ｓ３０５で撮影して参照部分４０５の明るさを取得する。同様に、Ｓ３０６では水平輝度傾斜４２２に示すように右が最も明るく、左へ次第に暗くなるように分布する信号を表示し、Ｓ３０７で撮影して参照部分４０５の明るさを取得する。次にＳ３０８では、垂直輝度傾斜４２３に示すように上が最も明るく、下へ次第に暗くなるように分布する信号を表示し、Ｓ３０９で撮影して参照部分４０５の明るさを取得する。同様に、Ｓ３１０では垂直輝度傾斜４２４に示すように下が最も明るく、上へ次第に暗くなるように分布する信号を表示し、Ｓ３１１で撮影して参照部分４０５の明るさを取得する。以上のようにして、４つのパターンをそれぞれ表示後に撮影し、参照部分４０５での明るさを記憶する。

Ｓ３１２では大画面４１１に対する参照部分４１２のアドレスを確定するが、この方法を図２０（Ｂ）に示す。図は水平方向（図２０（Ａ）のＸで示す方向）に着目した大画面４１１の明るさの分布を示しており、図２０（Ａ）の水平輝度傾斜４２１を表示した場合には輝度傾斜４３１の分布となり、水平輝度傾斜４２２を表示した場合には輝度傾斜４３２の分布となる。図２０（Ｂ）において、０が大画面の左端、Ｘｍが右端に対応しており、Ｘ０（検出点４３３）は参照部分の水平方向の位置に対応している。そこで、前述のＳ３０５において取得した明るさをＺ１（明るさ４３４）、Ｓ３０７において取得した明るさをＺ２（明るさ４３５）として得たとすると、参照部分４１２の水平方向の座標は、それぞれの明るさから背景の明るさＢによる影響を除いて、
Ｘ０＝（Ｚ２−Ｂ）／（Ｚ１＋Ｚ２−２＊Ｂ）＊Ｘｍ
として求めることができる。垂直方向のアドレスについても、Ｓ３０９とＳ３１１で取得した明るさのデータと、背景の明るさＢの関係から同様に求めることができる。

なお大画面４１１のガンマ特性とカメラ１３３のガンマ特性については、総合的にリニアになるようにあらかじめ設定しておけばよい。具体的には、大画面４１１の液晶モニター１３１のガンマ特性については、明るさがリニアになるように表示する信号をあらかじめ補正しておけばよく、カメラ１３３はガンマがリニアになるように設定しておけばよい。

ここで、図１６において液晶モニター１３１とプロジェクター取付け部１３６の幾何学的な位置関係は、設置時に設定しておくことで固定されている。従って、液晶モニター１３１に対するプロジェクター１３２の位置関係は、Ｘ駆動部１３４とＹ駆動部１３５によって液晶モニター１３１の画面と平行な面内を移動するように設定することが可能で、小画面１３８は常に矩形で大きさが変化しないようになるため、あらかじめ液晶モニター１３１に対する表示比率と、参照部分４０５との位置関係を求めておくことで、参照部分の座標がわかれば、小画面１３８に表示するための画像メモリー３１４の切出し範囲を一意に決めることができる。
このようにして、Ｓ３１３で画像メモリー２１２のアドレスに変換し、Ｓ３１４では画像メモリー２１２の切出しのアドレスを求める。

Ｓ３１５では求めた小画面１３８の表示位置に対する液晶モニター１３１の表示を、第１の解像度変換回路２１３によりブランクとして、小画面１３８に重ならないようにする。なお、小画面１３８とのつなぎ目をぼやかすためには、ブランク位置全てを黒表示とするのではなく、内側に向かって緩やかに信号レベルを下げていくことで実現できる。さらに小画面１３８の周辺部のレベルを外側に向かって穏やかに下げていくことで、つなぎ目をよりスムーズに表示することができる。

Ｓ３１６では図１７における第１の切換回路２１４、第２の切換回路２１７をそれぞれ第１の解像度変換回路２１３、第２の解像度変換回路２１６に切換え、Ｓ３１７でフラットパネルディスプレー２５１とプロジェクター２５２にコンピューター２０５からの信号が表示される。

以上のように、大画面で４種類のパターンを表示して撮影することにより、参照部分４０５の座標を求め、その結果から小画面１３８の位置を求めることが可能となるため、液晶モニター１３１でコンピューター２０５の信号の概要を表示しておき、プロジェクター１３２を動かすことで詳細を見たい場所に小画面１３８を移動させ、表示することができる。

なお、例えば液晶モニター１３１をキャスター付の台に取り付けておき、使用するときにのみプロジェクター１３２の下に移動して使うような場合や、置き台の都合などで天井に対して平行でない角度で設置されるような場合には、図１１（Ｂ）または図１１（Ｃ）のように参照部分を撮影範囲の複数の場所に設けることで、小画面１３８の射影変換パラメーターを求めて、サイズや歪の補正を行なうようにすることも可能である。

また、フラットパネルディスプレーとして液晶モニターの場合について説明したが、プラズマディスプレー、電子ペーパーやリア型の投射型表示装置などの表示装置でも同様に使うことが可能である。

〔第６実施形態〕
本実施形態は、第５実施形態における図１６、図１７の構成において、小画面の検出のための、撮影範囲内の参照部分のアドレスを求めるための検出用画面の表示と処理手順を別の方法としたものである。以下、第５実施形態と同じ部分については、説明を省略しながら第６実施形態を説明する。

図２１（Ａ）に大画面５０１と小画面５０２、撮影範囲５０３の関係を示す。また図２１（Ｂ）に撮影範囲５０３と参照部分５０５の関係を示す。参照部分５０５は撮影範囲５０３のほぼ中心に、間隔がＶで撮影範囲５０３と各辺が並行になるような正方形の頂点の位置に設定してある。図のように、参照部分５０５は右上から反時計回りに、５０５ａ、５０５ｂ、５０５ｃ、５０５ｄと識別する。また、この後の処理により求めるのはこれらの参照部分の中心位置５０６である。

図２２に制御部２４０で行なう処理のフローチャート、図２３に検出する位置と大画面に表示する検出用パターンの一例を示す。

Ｓ４０１で第１の切換回路２１４と第２の切換回路２１７を信号生成部２２２の出力に切換え、Ｓ４０２で信号生成部２２２の発生する信号を大画面５０１、小画面５０２ともに黒信号、即ちブランク状態として、Ｓ４０３で参照部分５０５の５０５ａの明るさＢａ、５０５ｂの明るさＢｂ、５０５ｃの明るさＢｃ、５０５ｄの明るさＢｄを撮影して取得し、ＲＡＭ２４２に記憶する。このときの各明るさは、画面が周囲の照明光などの影響により生じたものである。

次にＳ４０４で左上検出用パターンを表示する。
ここで、図２１（Ｂ）の撮影範囲５０３と参照部分５０５の関係と大画面５０１の関係を図２３（Ａ）に示す。図２３（Ａ）は大画面５０１、撮影範囲５０３、参照部分５０５の関係を示している。また図２３（Ｂ）、図２３（Ｃ）、図２３（Ｄ）に、左上検出用パターンの３つの例を示す。ここでは図２３（Ｂ）に示したように説明上左手座標系で示しており、ｘ−ｙ面をｚ軸の正方向から見たものが図２３（Ａ）の大画面５０１に相当し、ｚ軸方向には明るさを示す。またパターンの原点を左上５１３（ＬＵ）として、図２３（Ｂ）は円錐の一部、図２３（Ｃ）は原点からの距離に反比例（原点では無限大となるため、図では省略）、図２３（Ｄ）は原点からｘ、ｙそれぞれに負の一次の傾斜を持つ分布であり、それぞれ次のような式で表すことができる。
（Ｂ） ｚ＝ａ√（ｘ＾２＋ｙ＾２）＋ｃ
（Ｃ） ｚ＝ｋ／（ｘ＾２＋ｙ＾２）
（Ｄ） ｚ＝（ａｘ＋１）（ａｙ＋１）
なお、ａ、ｃ、ｋは任意の定数である。またｚのレベルは相対的なものである。
Ｓ４０４ではこれらの特性のいずれかを表示する。
Ｓ４０５ではこれを撮影し、参照部分５１５ａ、５１５ｂ、５１５ｃ、５１５ｄの各明るさＹａ、Ｙｂ、Ｙｃ、Ｙｄを取得し、Ｓ４０３で取得した背景の明るさＢａ、Ｂｂ、Ｂｃ、Ｂｄを差し引き、新たにＺａ、Ｚｂ、Ｚｃ、ＺｄとしてＲＡＭ２４２に記憶する。即ち、
Ｚａ＝Ｙａ−Ｂａ
Ｚｂ＝Ｙｂ−Ｂｂ
Ｚｃ＝Ｙｃ−Ｂｃ
Ｚｄ＝Ｙｄ−Ｂｄ
を記憶する。

次に、Ｓ４０６ではこれらのデータから、各検出用パターンに応じて大画面５０１の左上５１３（ＬＵ）へ張る左上角度５２２（α）を求める。
ここで図２４に、求める角度を示す。図２４は図２３（Ａ）に対して、左上角度５２１（α）、左上角度５２２（α）、右上角度５２３（β）、右上角度５２４（β）を追加して示したものである。
求める中心位置５０６での大画面５０１の座標を（ｘ０、ｙ０）とすると、角度αは、
α＝ａｔａｎ（ｙ０／ｘ０）
で表すことができる。

ここで、任意の点（ｘ、ｙ）でのｘ軸方向の明るさの傾斜をｄｚ／ｄｘ、ｙ軸方向の明るさの傾斜をｄｚ／ｄｙとすると、上記の（Ｂ）、（Ｃ）、（Ｄ）の３つの検出用パターンに対応して、それぞれ次のように示すことができる。
（Ｂ） ｄｚ／ｄｘ＝ａｘ／√（ｘ＾２＋ｙ＾２）
ｄｚ／ｄｙ＝ａｙ／√（ｘ＾２＋ｙ＾２）
ｘ＝ｘ０、ｙ＝ｙ０とすると、
α＝ａｔａｎ（（ｄｚ／ｄｙ）／（ｄｚ／ｄｘ））
同様に、
（Ｃ） ｄｚ／ｄｘ＝−２ｋｘ／（ｘ＾２＋ｙ＾２）＾２
ｄｚ／ｄｙ＝−２ｋｙ／（ｘ＾２＋ｙ＾２）＾２
ｘ＝ｘ０、ｙ＝ｙ０とすると、
α＝ａｔａｎ（（ｄｚ／ｄｙ）／（ｄｚ／ｄｘ））
さらに、
（Ｄ） ｄｚ／ｄｘ＝ａ＾２＊ｙ＋ａ
ｄｚ／ｄｙ＝ａ＾２＊ｘ＋ａ
ｘ＝ｘ０、ｙ＝ｙ０とすると、
α＝ａｔａｎ（（ｄｚ／ｄｘ−ａ）／（ｄｚ／ｄｙ−ａ））
となる。

ここで、参照部分５０５の間隔Ｖが大画面５０１の座標においてＷだとすると、
ｄｚ／ｄｘ＝（（Ｚａ＋Ｚｄ）−（Ｚｂ＋Ｚｃ））／Ｗ
ｄｚ／ｄｙ＝（（Ｚｃ＋Ｚｄ）−（Ｚａ＋Ｚｂ））／Ｗ
により求めることができるので、いずれのパターンにおいても、上述の式により角度αを求めることができる。

次にＳ４０７において右上検出用パターンを表示する。これらのパターンは、Ｓ４０４で表示した、図２３（Ａ）、図２３（Ｂ）、図２３（Ｃ）の各パターンのｘ軸方向を反転したものである。
Ｓ４０８、Ｓ４０９ではＳ４０５、Ｓ４０６と同様にして、各検出用パターンに応じて大画面５０１の右上５１４（ＲＵ）へ張る右上角度５２４（β）を求める。
このようにして、左上角度５２２（α）と右上角度５２４（β）を求めることができる。ここで、左上角度５２２（α）は左上角度５２１（α）に等しく、右上角度５２４（β）は右上角度５２３（β）に等しいために、左上５１３（ＬＵ）と右上５１４（ＲＵ）からの角度を求めることができる。
Ｓ４１０では、このようにして求めた角度αと角度βにより、公知の三角測量の方法によって参照部分５１５の中心位置５０６の座標を求める。

ここで、図１６において液晶モニター１３１とプロジェクター取付け部１３６の幾何学的な位置関係は、設置時に設定しておくことで固定されている。従って、液晶モニター１３１に対するプロジェクター１３２の位置関係は、Ｘ駆動部１３４とＹ駆動部１３５によって液晶モニター１３１の画面と平行な面内を移動するように設定することが可能で、小画面１３８は常に矩形で大きさが変化しないようになるため、あらかじめ液晶モニター１３１に対する表示比率と、参照部分４０５との位置関係を求めておくことで、中心位置５０６の座標がわかれば、小画面１３８に表示するための画像メモリー３１４の切出し範囲を一意に決めることができる。

このようにして、Ｓ４１３で画像メモリー２１２のアドレスに変換し、Ｓ４１４では画像メモリー２１２の切出しのアドレスを求める。

Ｓ４１５では求めた小画面１３８の表示位置に対する液晶モニター１３１の表示を、第１の解像度変換回路２１３によりブランクとして、小画面１３８に重ならないようにする。なお、小画面１３８とのつなぎ目をぼやかすためには、ブランク位置全てを黒表示とするのではなく、内側に向かって緩やかに信号レベルを下げていくことで実現できる。さらに小画面１３８の周辺部のレベルを外側に向かって穏やかに下げていくことで、つなぎ目をよりスムーズに表示することができる。

Ｓ４１６では図１７における第１の切換回路２１４、第２の切換回路２１７をそれぞれ第１の解像度変換回路２１３、第２の解像度変換回路２１６に切換え、Ｓ４１７でフラットパネルディスプレー２５１とプロジェクター２５２にコンピューター２０５からの信号が表示される。

以上のように、大画面５０１で左上と右上に明るさの頂点を持ち、単調減少するパターンを交互に表示して撮影することにより、参照部分５０５の中心位置５０６の座標を求め、その結果小画面１３８の位置を求めることが可能で、液晶モニター１３１でコンピューター２０５の信号の概要を表示しておき、プロジェクター１３２を動かすことで詳細を見たい場所に小画面１３８を移動させ、表示させることができる。

なお、例えば液晶モニター１３１をキャスター付の台に取り付けておき、使用するときにのみプロジェクター１３２の下に移動して使うような場合や、置き台の都合などで天井に対して並行でない角度で設置されるような場合には、図１１（Ｂ）または図１１（Ｃ）のように参照部分５０２を撮影範囲の複数の場所に設けることで、小画面の射影変換パラメーターを求めて、サイズや歪の補正を行なうようにすることも可能である。

以上のように、本発明の映像処理装置、映像表示装置および映像処理方法は、第１の表示手段によって表示した第１の画面に対して、第２の画面を重畳投射する場合に適している。

１０１‥第１のプロジェクター、１０２‥第２のプロジェクター、１０３‥カメラ、１０７‥大画面、１０８‥小画面、１０９‥机、１１２‥第２のプロジェクター、１１３‥カメラ、１１８‥小画面、１２１‥第１のプロジェクター、１２２‥第２のプロジェクター、１２３‥カメラ、１２４‥電動架台、１２５‥課題、１２６‥大画面、１２７‥小画面、１２８‥スクリーン、１３１‥液晶モニター、１３２‥プロジェクター、１３３‥カメラ、１３４‥Ｘ駆動部、１３５‥Ｙ駆動部、１３６‥天井取付け部、１５１‥光源、１５２‥透過型ライトバルブ、１５３‥投射レンズ、２００‥映像信号処理装置、２０１‥第１のプロジェクター、２０２‥第２のプロジェクター、２０３‥カメラ、２０５‥コンピューター、２１１‥ＡＤコンバーター、２１２‥画像メモリー、２１３‥第１の解像度変換回路、２１４‥第１の切換回路、２１５‥第１の出力回路、２１６‥第２の解像度変換回路、２１７‥第２の切換回路、２１８‥第２の出力回路、２２１‥カメラ信号処理回路、２２２‥信号生成部、２４０‥制御部、２５１‥フラットパネルディスプレー、２５２‥プロジェクター、２４１‥ＣＰＵ、２４２‥ＲＡＭ、２４３‥ＲＯＭ、２４４‥インターフェース回路、２４５‥バス、３０１‥大画面、３０２‥小画面、３０３‥撮影範囲、３０４‥参照部分、３０５‥アドレス、３０６、３０７、３０８、３０９、３１０、３１１‥注目部、３２１、３２４、３２７‥大画面、３２２、３２５、３２８‥撮影範囲、３２３、３２６、３２９‥高さＴ、３３１‥大画面、３３３、３４２‥小画面、３３３、３３４、３４３、３５１‥撮影範囲、３３５、３５２‥参照部分、３６１、３７１‥黒部分、３６２、３７２‥白部分、４０１‥大画面、４０２‥小画面、４０３‥撮影範囲、４０５‥参照部分、４２１、４２２‥水平輝度傾斜、４２３、４２４‥垂直輝度傾斜、４３１、４３２‥輝度傾斜、４３３‥検出点、４３４、４３５‥明るさ、５０１‥大画面、５０２‥小画面、５０３‥撮影範囲、５０５、５０５ａ、５０５ｂ、５０５ｃ、５０５ｄ‥参照部分、５０６‥中心位置、５１３‥左上、５１４‥右上、５２１、５２２‥左上角度、５２３、５２４‥右上角度。

Claims (14)

1. 第１の画面を表示する第１の表示手段と、前記第１の画面の中に前記第１の画面より小さい第２の画面を表示する第２の表示手段と、前記第２の表示手段によって表示された前記第２の画面の領域とその周辺領域を撮影する撮影手段と、が接続されて用いられる映像処理装置であって、
   前記第１の表示手段および前記第２の表示手段が表示する調整信号を生成する調整信号生成手段と、
   前記調整信号生成手段によって生成された前記調整信号を前記第１および第２の表示手段に切換え表示させる信号切換え手段と、
   前記撮影手段が撮影することによって得られた撮影画像から前記第２の表示手段の表示位置を検出する表示位置検出手段と、
   該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成手段と、
   前記第２の表示手段に前記表示情報生成手段の出力を出力する出力手段と、
   を備えることを特徴とする映像処理装置。
2. 前記調整信号生成手段は、前記第１の表示手段に対して水平方向および垂直方向にそれぞれ複数に分割して生成される基本領域の組合せによる、複数の調整パターンを生成し、
   前記表示位置検出手段は、前記撮影手段に設けた一つまたは複数の信号検出部位により、前記複数のパターンを時系列で表示するごとに該検出部位に対応する明るさを検出して記憶し、該記憶した明るさの時系列の並びにより構成されるデータにより、前記第２の表示手段の表示位置を検出する、
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記調整信号生成手段は、前記第１の表示手段に対して水平方向および垂直方向にそれぞれ複数に分割して生成される基本領域および基本領域の隣接する２の任意乗の数で構成する複数のパターンを生成し、
   前記撮影手段の中央付近に設けた信号検出部位により、前記複数のパターンを時系列で表示するごとに該検出部位に対応する明るさを検出した結果に対応して次に表示する前記パターンを選択する、
   ことを特徴とする請求項１に記載の映像処理装置。
4. 前記撮影手段による撮影範囲の高さ方向の長さが、前記基本領域の二つが長辺を接して構成される合成領域の対角線の長さ以上で、前記第１の表示手段の高さ方向の長さ以下である、
   ことを特徴とする請求項３に記載の映像処理装置。
5. 前記調整信号生成手段は、前記第１の表示手段で表示する画面の水平方向または垂直方向に対して信号レベルが連続的に変化する、複数の調整信号を生成し、
   前記表示位置検出手段は、前記撮影手段の任意の場所に設けた信号検出部位により検出した、黒表示の場合に取得した背景の明るさと、該複数の信号を順次切換え表示するごとに検出した明るさから該背景の明るさを減じた明るさの比から、前記検出部位の位置を検出する、
   ことを特徴とする請求項１に記載の映像処理装置。
6. 前記調整信号生成手段は、前記第１の表示手段で表示する画面の隣接する頂点をそれぞれ中心とする複数の単調減少の信号から構成される調整信号を生成し、
   前記表示位置検出手段は、前記撮影手段により検出した前記調整信号を撮影した明るさの傾斜から、該頂点位置に対する撮影範囲に設けられた複数の信号検出部位の角度を求めることにより、該信号検出部位の座標を得る、
   ことを特徴とする請求項１に記載の映像処理装置。
7. 前記撮影手段によって撮影された前記撮影画像から、前記第１の画面に対する前記第２の画面の表示領域を検出する表示領域検出手段と、
   前記第１の画面に対する該表示領域の歪を検出する、歪検出手段と、
   該歪検出手段の出力により第２の画面の歪を補正する制御手段と、
   を備えることを特徴とする請求項１に記載の映像処理装置。
8. 第１の画面を表示する第１の表示手段と、
   光変調手段と投射手段とを備え、前記第１の画面の中に前記第１の画面より小さい第２の画面を投射表示する第２の表示手段と、
   前記第２の表示手段によって表示された前記第２の画面の領域とその周辺領域を撮影する撮影手段と、
   前記第１の表示手段および前記第２の表示手段が表示する調整信号を生成する調整信号生成手段と、
   前記調整信号生成手段によって生成された前記調整信号を前記第１および第２の表示手段に切換え表示させる信号切換え手段と、
   前記撮影手段が撮影することによって得られた撮影画像から前記第２の表示手段の表示位置を検出する表示位置検出手段と、
   該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成手段と、
   前記第２の表示手段に前記表示情報生成手段の出力を出力する出力手段と、
   を備えることを特徴とする映像表示装置。
9. 前記第２の表示手段が、前記第１の表示手段が生成する前記第１の画面と平行な面内を移動可能な保持手段を備え、
   該第２の表示手段が生成する前記第２の画面が前記第１の画面の任意の場所に表示可能なこと、
   を特徴とする請求項８に記載の映像表示装置。
10. 前記第２の表示手段が前記第１の表示手段と機構的に結合されておらず、前記第２の表示手段が生成する前記第２の画面が、前記第１の表示手段の生成する前記第１の画面の任意の場所に表示可能なこと、
    を特徴とする請求項８に記載の映像表示装置。
11. 前記第１の表示手段が、投射型表示装置であること、
    を特徴とする請求項８〜１０のいずれか一項に記載の映像表示装置。
12. 前記第１の表示手段が、液晶モニターであること、
    を特徴とする請求項８〜１０のいずれか一項に記載の映像表示装置。
13. 前記撮影手段が、前記第２の表示手段を構成する筐体に機構的に結合されていること、または内蔵されていること、
    を特徴とする請求項８〜１２のいずれか一項に記載の映像表示装置。
14. 第１の画面を表示する第１の表示手段と、前記第１の画面の中に前記第１の画面より小さい第２の画面を表示する第２の表示手段と、前記第２の表示手段によって表示された前記第２の画面の領域とその周辺領域を撮影する撮影手段と、が接続可能に形成された映像処理装置における映像処理方法であって、
    前記第１の表示手段および前記第２の表示手段が表示する調整信号を生成する調整信号生成工程と、
    前記調整信号生成手段によって生成された前記調整信号を前記第１および第２の表示手段に切換え表示させる信号切換え工程と、
    前記撮像手段が撮影することによって得られた撮像画像から前記第２の表示手段の表示位置を検出する表示位置検出工程と、
    該表示位置検出手段で検出された前記第２の表示手段の位置情報によって、前記第２の表示手段で表示する情報を生成する表示情報生成工程と、
    前記第２の表示手段に前記表示情報生成手段の出力を出力する出力工程と、
    を備えることを特徴とする映像処理方法。

Images