JP2000134640A - 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 - Google Patents

Abstract

(57)【要約】 【課題】撮像可能な任意の表示画面の位置を画像処理系
で容易に認識できるようにすると共に、観察者の視聴す
るＴＶ画像に仮想体の画像を立体的に合成するためのシ
ステムを再現性よく構築できるようにする。 【解決手段】撮像可能な任意の画面内であって、少なく
とも、画面内の特定の位置に３点以上の光源画像ＰＬ１
〜４を表示する表示手段１と、この表示手段１に表示さ
れた光源画像ＰＬ１〜４を各々点滅パターンが異なるよ
うに点滅制御する制御手段６とを備えるものである。光
源画像ＰＬ１〜４の点滅パターンが異なるように点滅制
御されるので、流し撮りＣＣＤ装置のような特殊撮影装
置で当該受像機１００を撮像した場合に、複数の光源画
像ＰＬ１〜４を一律に点灯した場合に比べてその光源画
像ＰＬ１〜４の位置を容易に特定することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ＴＶ番組のキャ
ラクタを仮想空間上に飛び出させる、いわゆる「飛び出
すテレビ」などに適用して好適な受像機、その位置認識
装置、その位置認識方法及び仮想画像立体合成装置に関
する。

【０００２】詳しくは、点滅パターンの異なる光源画像
を受像機の特定位置に表示して、その光源画像の位置か
ら受像機の位置を画像処理系で容易に認識できるように
すると共に、観察者の視聴するＴＶ画像に仮想体の画像
を再現性良く立体的に合成できるようにしたものであ
る。

【０００３】

【従来の技術】近年、バーチャル・リアリティ（仮想現
実感）に基づく表示技術の向上に伴い、複数の画像表示
面に跨って仮想現実感を観察者に提供するための仮想画
像立体合成装置が出現している。

【０００４】この種の立体表示装置は、特開平９−２３
７３５３号の技術文献に見られる。この技術文献によれ
ば、縦横数ｍ程度の大きさの映写空間が設けられ、各々
の面に表示装置が配置され、各々の表示装置から恐竜、
怪獣や武器などの仮想体の画像が立体表示される。そし
て、観察者は液晶シャッター付きの眼鏡をかけ、その映
写空間に立つと、あたかも、各々の表示装置で表示され
た仮想体と同じ場所に居るようなされる。

【０００５】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。

【０００６】

【発明が解決しようとする課題】ところで、従来方式の
物体の位置認識方法によれば、観察者が実空間上で手に
する武器などの物体の位置を画像処理系に認識させよう
とした場合に、その物体を含む背景画像を撮像してその
物体の輪郭部を抽出し、予め格納されたその物体に関す
る基準パターンとその物体の輪郭パターンとを比較して
いる。

【０００７】従って、その物体の位置だけを画像処理系
で認識させて、仮想空間上の物体に仮想体画像などの合
成しようとした場合に、その画像処理系のパターン認識
に係る計算量が多くなったり、その演算器の負担が重く
なる。

【０００８】これにより、例えば、観察者の視聴する受
像機の受信画面上に、ＴＶ番組のキャラクタなどを仮想
的に飛び出させ、その仮想空間上の観察者の手のひらで
そのキャラクタを遊ばせるような仮想画像立体合成装置
を構成しようとしたときに、従来方式のパターン認識方
法をそのまま適用すると、画像処理系でその受像機の位
置を容易に認識することが困難なことから、そのパター
ン認識処理が大がかりとなったり、ＴＶ画面を認識する
ための画像処理が複雑になったり、その時の計算量が多
くなったりして、仮想画像立体合成装置などのコストア
ップにつながるという問題がある。

【０００９】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、撮像可能な任意の表示画面の位置を画
像処理系で容易に認識できるようにすると共に、観察者
の視聴するＴＶ画像に仮想体の画像を立体的に合成する
ためのシステムを再現性よく構築できるようにした受像
機、その位置認識装置、その位置認識方法及び仮想画像
立体合成装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上述した課題は、撮像可
能な任意の画面内であって、少なくとも、画面内の特定
の位置に３点以上の光源画像を表示する表示手段と、こ
の表示手段に表示された光源画像を各々点滅パターンが
異なるように点滅制御する制御手段とを備えることを特
徴とする受像機によって解決される。

【００１１】この発明に係る受像機によれば、当該表示
画面内の特定の位置に表示された３点以上の光源画像
が、制御手段によってその点滅パターンが異なるように
点滅制御されるので、流し撮りＣＣＤ装置のような特殊
撮影装置で当該受像機を撮像した場合に、複数の光源画
像を一律に点灯した場合に比べてその光源画像の位置を
容易に特定することができる。従って、その光源画像の
位置から当該受像機の位置を仮想画像立体合成装置など
の画像処理系に容易に認識させることができる。

【００１２】本発明に係る受像機の位置認識装置は、点
滅パターンが異なる複数の光源画像を画面内の特定の位
置に表示した受像機の位置を認識する装置であって、画
面内の光源画像を所定の撮像方向に流すように撮像する
撮像手段と、この撮像手段による光源の輝度信号を画像
処理して光源の各々の位置を求める演算手段とを備える
ことを特徴とするものである。

【００１３】この発明の受像機の位置認識装置によれ
ば、所定の撮像方向に流すように撮像された光源画像の
点滅パターンに関して、その点滅パターンに係る輝度情
報が画像処理されてその光源画像の位置が演算手段によ
って求められるので、その光源画像の位置を容易に特定
することができる。従って、その光源画像の位置から受
像機の位置を画像処理系に容易に認識させることができ
る。

【００１４】本発明に係る受像機の第１の位置認識方法
は、撮像可能な任意の画面内の特定の位置に点滅パター
ンが異なる３点以上の光源画像を表示し、点滅パターン
の異なった光源画像を所定の撮像方向に流すように撮像
し、ここで撮像された光源画像の輝度情報を画像処理し
て光源画像の各々の位置情報を求めることを特徴とする
ものである。

【００１５】この発明の第１の位置認識方法によれば、
光源画像の位置を容易に特定することができるので、そ
の光源画像の位置から受像機の位置を画像処理系で容易
に認識することができる。従って、受像機の表示画面を
精度良く認識させることができるので、この位置認識方
法を仮想画像立体合成装置の面認識手段などに十分に応
用することができる。

【００１６】本発明に係る受像機の第２の位置認識方法
は、受像機の任意の表示画像の特定の表示期間内に、少
なくとも、白地に黒で表示されたｎ行×ｎ列の白黒マト
リクスと、該白黒マトリクスと同じ太さの黒枠から成る
２次元マトリクスコード画像を表示し、その二次元マト
リクスコード画像を撮像し、ここで撮像された二次元マ
トリクスコード画像による輝度信号を画像処理して二次
元マトリクスコード画像の四隅の位置情報を求めること
を特徴とするものである。

【００１７】この発明の第２の位置認識方法によれば、
二次元マトリクスコード画像の四隅の位置情報から受像
機の位置を画像処理系に容易に認識させることできる。
従って、受像機の表示画面を精度良く認識させることが
できるので、この位置認識方法を仮想画像立体合成装置
の面認識手段などに十分に応用することができる。

【００１８】本発明の第１の仮想画像立体合成装置は、
観察者の視聴するＴＶ画像に仮想体の画像を立体的に合
成する装置であって、観察者の視聴する受像機の表示画
面上で任意の基準面を認識する面認識手段と、その面認
識手段により認識された仮想空間の基準面上に仮想体の
画像を合成する合成手段とを備え、面認識手段は、仮想
体の画像を合成しようとする受像機の画面内の特定位置
に予め表示された、少なくとも、点滅パターンが異なる
ように点滅する３点以上の光源画像を所定の撮像方向に
流すように撮像する撮像手段と、その撮像手段による光
源画像の点滅パターンの輝度信号を画像処理して光源画
像の３点の位置を求め、その後、３点の光源画像の位置
を結んで基準面を求める演算手段とを有することを特徴
とするものである。

【００１９】この発明の第１の仮想画像立体合成装置に
よれば、本発明に係る受像機の第１の位置認識方法が応
用されるので、光源画像の位置から受像機の位置を画像
処理系に容易に認識させることができる。従って、受像
機の表示画面を精度良く認識させることができるので、
観察者の視聴するＴＶ画像に仮想体の画像を再現性良く
立体的に合成することができる。例えば、受像機に表示
されたＴＶ画像から、あたかも、仮想体が飛び出すよう
な立体画像システムを構築することができる。

【００２０】本発明の第２の仮想画像立体合成装置は、
観察者の視聴するＴＶ画像に仮想体の画像を立体的に合
成する装置であって、観察者の視聴する受像機の表示画
面上で任意の基準面を認識する面認識手段と、その面認
識手段により認識された仮想空間の基準面上に仮想体の
画像を合成する合成手段とを備え、面認識手段は、仮想
体の画像を合成しようとする受像機の任意の画面の特定
の表示期間内に表示される、白地に黒で表示されたｎ行
×ｎ列の白黒マトリクスと、該白黒マトリクスと同じ太
さの黒枠から成る二次元マトリクスコード画像を撮像す
る撮像手段と、この撮像手段により撮像された二次元マ
トリクスコード画像の輝度信号を画像処理して二次元マ
トリクスコード画像の四隅の位置情報を求める演算手段
を有することを特徴とするものである。

【００２１】この発明の第２の仮想画像立体合成装置に
よれば、本発明に係る受像機の第２の位置認識方法が応
用されるので、二次元マトリクスコード画像の四隅の位
置情報から受像機の位置を画像処理系に容易に認識させ
ることができる。従って、受像機の表示画面を精度良く
認識させることができるので、第１の仮想画像立体合成
装置と同様にして観察者の視聴するＴＶ画像に仮想体の
画像を再現性良く立体的に合成することができる。

【００２２】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての受像機、その位置認識装置、そ
の位置認識方法及び仮想画像立体表示装置について説明
をする。 （１）実施形態としての受像機 図１は本発明に係る実施形態としての受像機１００の構
成例を示す正面図である。この実施形態では、点滅パタ
ーンの異なる光源画像を受像機の特定位置に表示し、そ
の光源画像の位置から受像機の位置を仮想画像立体合成
装置などの画像処理系で容易に認識できるようにしたも
のである。

【００２３】図１に示す受像機１００は撮像可能な任意
の画面を有した表示手段１を備えている。この表示手段
１には陰極線管（以下ＣＲＴ１’という）、液晶表示パ
ネル、プラズマ・ディスプレイパネル及び平面表示パネ
ルなどが使用される。もちろん、受像機１００はカラー
表示形式又は白黒表示形式であり、ＴＶ放送を受信して
画像を表示したり、ビデオ信号を受けて画像を表示する
ものである。これらの受像機１００の画面内であって、
少なくとも、その画面内の特定の位置に３点以上の光源
画像が表示される。

【００２４】この例では、表示手段１の表示映像画面の
四隅に矩形状の光源画像ＬＰ１〜ＬＰ４が表示される。
この光源画像ＬＰ１〜ＬＰ４は予めＴＶ放送局側で送信
画像に重畳して送る方法が考えられるが、受信機側でそ
のカラー映像信号に重畳する方法も考えられる。ここで
は、後者の場合であって表示手段１にＣＲＴ１’を使用
する場合について説明をする。

【００２５】図２に示す受像機１００はＣＲＴ１’、画
像処理手段９及び制御手段６を有している。例えば、画
像処理手段９には映像検波回路９１が設けられ、図示し
ない前段の映像中間増幅回路から出力されたカラー映像
中間信号Ｓinからカラー映像信号ＳＣが検出される。こ
の映像検波回路９１の出力段には加算回路９２が接続さ
れ、カラー映像信号ＳＣの所定表示期間に点滅パターン
の異なる光源画像信号ＳＰｉ（ｉ＝１〜４）を加算する
ようになされる。

【００２６】つまり、加算回路９２の入力段には制御手
段６が接続され、ＣＲＴ１’の画面内に表示される光源
画像ＬＰ１〜ＬＰ４を各々点滅パターンが異なるように
点滅制御される。この例の制御手段６は光源画像発生部
６１を有しており、所定周波数のパルス状の光源画像信
号ＳＰ１が発生される。光源画像信号ＳＰ１は３０〜５
０Ｈｚを除いた低域の周波数が好ましい。これは、３０
〜５０Ｈｚで点滅する光では、観察者が光てんかん発作
を引き起こすおそれがあるからである。

【００２７】この光源画像発生部６１には１／２分周回
路６２、１／３分周回路６３、１／４分周回路６４が接
続されており、所定周波数の光源画像信号ＳＰ１と、こ
の光源画像信号ＳＰ１を１／２分周回路６２で１／２分
周した光源画像信号ＳＰ２と、１／３分周回路６３で１
／３分周した光源画像信号ＳＰ３と、１／４分周回路６
４で１／４分周した光源画像信号ＳＰ４とが出力され
る。

【００２８】この光源画像発生部６１、１／２分周回路
６２、１／３分周回路６３及び１／４分周回路６４の出
力段には出力回路６５が接続され、垂直同期信号ＳＶ及
び水平同期信号ＳＨに基づいて、各々の光源画像信号Ｓ
Ｐ１〜４を選択して加算回路９２に出力するようになさ
れている。

【００２９】この加算回路９２の出力段には、映像増幅
回路９３が接続され、カラー映像信号ＳＣの所定表示期
間に加算された点滅パターンの異なる光源画像信号ＳＰ
ｉが増幅される。この加算回路９２は図２の破線で示す
ように映像増幅回路９３の出力段に接続してもよい。映
像増幅回路９３の出力段にはカラー処理回路９４及び走
査処理回路９５が接続されている。カラー処理回路９４
では、カラー映像信号ＳＣ及び光源画像信号ＳＰｉが所
定の階調処理などが施された後に、ＣＲＴ１’のカソー
ド及びグリッドに駆動電圧ＶＫ、ＶＧとなって供給され
る。

【００３０】また、映像増幅回路９３に接続された走査
処理回路９５では同期信号ＳＳが検出され、１周期が１
６．６ｍｓecの垂直同期信号ＳＶ及び１周期６３μsec
が水平同期信号ＳＨが上述の出力回路６５に出力され
る。更に、この垂直同期信号ＳＶ及び水平同期信号ＳＨ
に基づいて発生した水平偏向電圧ＶＶ、垂直偏向電圧Ｖ
Ｈが偏水平・垂直向コイルに供給され、同様にして発生
した高電圧ＶＨＨがＣＲＴ１’のアノードに供給され
る。

【００３１】これにより、ＣＲＴ１’に表示された任意
の受信画面上に光源画像ＰＬｉを合成表示することがで
き、光源画像ＰＬｉを点滅させることができる。この例
では、特定の波長Ｘの可視光が光源画像ＰＬｉから放出
される状態、又は、それが放出されない状態を作ること
ができる。

【００３２】この可視光は人間の目では認識できないよ
うな色差にすることが好ましい。例えば、光源画像ＰＬ
ｉが点滅される位置に、ｘ，ｙマトリクスフィルムを貼
るようにする。このフィルムにはガルバゾール及びその
誘導体などから成る透過域変動高分子材料を使用するよ
い。例えば、この種の緑色のフィルムを通った特定の波
長の光は、人間の目には緑一色に見えるが、流し撮りＣ
ＣＤ装置のような特殊は撮像装置で特定の透過帯域の薄
膜フィルタ３７を通すと、この光を検出することができ
る（図９参照）。従って、光源画像を３０〜５０Ｈｚで
点滅させても、上述の光てんかん発作を防止することが
できる。

【００３３】続いて、受像機１００の光源画像信号の挿
入時の動作例を説明する。図３は光源画像信号ＳＰｉの
発生例を示す波形図であり、図４はカラー映像信号ＳＣ
に対する光源画像信号ＳＰｉ、ＳＰｊの重畳例を示す波
形図である。

【００３４】この例では、受像機１００のＣＲＴ１’で
表示される上下の５ラインの左右数画素を使用して光源
画像ＬＰｉを表示する場合であって、カラー映像信号Ｓ
Ｃの１水平期間の両縁に光源画像信号ＳＰｉ（ｉ＝１，
３）、ＳＰｊ（ｊ＝２，４）を重畳する場合を想定す
る。例えば、ＮＴＣＳ方式で走査線が５２５本の場合で
あって、飛越走査方式の場合に、奇数フレームの第１、
第３及び第５ラインの左端部に光源画像ＬＰ１を表示
し、同じラインの右端部に光源画像ＬＰ２を表示する。
その第５２１、第５２３及び第５２５ラインの左端部に
光源画像ＬＰ３を表示し、同じラインの右端部に光源画
像ＬＰ４を表示する。

【００３５】また、偶数フレームのラインの第２及び第
４ラインの左端部に光源画像ＬＰ１を表示し、同じライ
ンの右端部に光源画像ＬＰ２を表示する。その第５２２
及び第５２４ラインの左端部に光源画像ＬＰ３を表示
し、同じラインの右端部に光源画像ＬＰ４を表示する。

【００３６】この前提条件の下に、上述の制御手段６で
は、１垂直期間の奇数フレームにおいて、第１、第３及
び第５ラインに関して、走査処理回路９５からの垂直同
期信号ＳＶ及び水平同期信号ＳＨに基づいて、数画素の
表示に対応した時間間隔で光源画像信号ＳＰ１を選択し
た後に、その１水平期間の終了直前に光源画像信号ＳＰ
２を選択する。この結果で、図４に示すカラー画像信号
ＳＣの１水平期間の左縁側に光源画像信号ＳＰ１を重畳
することができ、その右縁側に光源画像信号ＳＰ２を重
畳することができる。従って、図１に示す表示画面の左
上端に光源画像ＬＰ１を表示することができ、その右上
端に光源画像ＬＰ１を表示することができる。

【００３７】また、その奇数フレームの第５２１、第５
２３及び第５２５ラインに関して、走査処理回路９５か
らの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づい
て、上述したように光源画像信号ＳＰ３を選択した後に
光源画像信号ＳＰ４を選択する。この結果で、図４に示
すカラー画像信号ＳＣの１水平期間の左縁側に光源画像
信号ＳＰ３を重畳することができ、その右縁側に光源画
像信号ＳＰ４を重畳することができる。従って、図１に
示す表示画面の左下端に光源画像ＬＰ３を表示すること
ができ、その右下端に光源画像ＬＰ４を表示することが
できる。

【００３８】更に、１垂直期間の偶数フレームにおい
て、第２及び第４ラインに関して、走査処理回路９５か
らの垂直同期信号ＳＶ及び水平同期信号ＳＨに基づい
て、光源画像信号ＳＰ１を選択した後に光源画像信号Ｓ
Ｐ２を選択するので、図４に示すカラー画像信号ＳＣの
１水平期間の左縁側に光源画像信号ＳＰ１を重畳するこ
とができ、その右縁側に光源画像信号ＳＰ２を重畳する
ことができる。従って、図１に示す表示画面の左上端に
光源画像ＬＰ１を表示することができ、その右上端に光
源画像ＬＰ１を表示することができる。

【００３９】また、その偶数フレームの第５２２及び第
５２４ラインに関して、走査処理回路９５からの垂直同
期信号ＳＶ及び水平同期信号ＳＨに基づいて、光源画像
信号ＳＰ３を選択した後に光源画像信号ＳＰ４を選択す
るので、図４に示すカラー画像信号ＳＣの１水平期間の
左縁側に光源画像信号ＳＰ３を重畳することができ、そ
の右縁側に光源画像信号ＳＰ４を重畳することができ
る。従って、図１に示す表示画面の左下端に光源画像Ｌ
Ｐ３を表示することができ、その右下端に光源画像ＬＰ
４を表示することができる。

【００４０】このように、本実施の形態に係る受像機１
００によれば、ＣＲＴ１’の表示画面内の四隅に表示さ
れた光源画像ＬＰｉが、制御手段６によってその点滅パ
ターンを異ならせるように点滅制御されるので、その光
源画像ＰＬ１〜４の位置を容易に特定することができ
る。

【００４１】従って、当該受像機１００で、観察者の視
聴する任意の受信画面上に予め光源画像ＰＬ１〜４を合
成表示するようになされたときに、その受像機１００に
表示された光源画像ＰＬ１〜４を流し撮りＣＣＤのよう
な特殊撮影装置で所定の撮像方向に流すように撮像した
場合に、その４つの光源画像ＰＬ１〜４を一律に点灯し
た場合に比べてその光源画像ＰＬ１〜４の位置を容易に
特定することができる。これにより、その光源画像ＰＬ
１〜４の位置から当該受像機１００の表示画面の位置を
仮想画像立体合成装置などの画像処理系に容易に認識さ
せることができる。

【００４２】（２）第１の実施形態 図５は第１の実施形態としての受像機の位置認識装置を
応用した仮想画像立体合成装置２００の構成例を示す斜
視図である。この実施形態では、点滅パターンの異なる
光源画像を受像機１００の特定位置に表示し、その光源
画像の位置から受像機１００の位置を画像処理系に認識
させて、観察者の視聴するＴＶ画像に仮想体の画像を再
現性良く立体的に合成できるようにしたものである。

【００４３】図５に示す仮想画像立体合成装置２００は
観察者の聴取するテレビ画像に、ＴＶ番組のキャラクタ
などの仮想体画像を立体的に合成表示する装置である。
この仮想画像立体合成装置２００は基準面設定用の受像
機１００及び特殊グラストロン２を有している。この受
像機１００は例えば観察者が視聴できる位置であって、
特殊グラストロン２の撮影範囲内に入るように配置され
る。この受像機１００は仮想体の画像を合成しようとす
る基準面を提供するために、図１で説明したように画面
内の四隅に予め光源画像ＬＰｉが表示される。

【００４４】この例では、３Ｄポリゴン１０を飛び出せ
ようとするＴＶ画面の４つの点Ｐ１〜Ｐ４の座標として
（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、
（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合
成しようとするＴＶ画面の位置に相当する）。この４個
の光源画像ＰＬ１〜４は、そのマーク部としての機能を
発揮するために、つまり、受像機１００で表示位置が明
らかになるように、図３で説明したように点滅パターン
が異なるように表示される。

【００４５】この光源画像ＰＬ１〜４は特殊グラストロ
ン２内の流し撮りＣＣＤ装置２３により、所定の流し撮
像方向に流すように撮像される。この流し撮りは４個の
光源画像ＰＬ１〜４の表示位置からＴＶ画面を特定する
ためである。このＴＶ画面の特定については図１１及び
図１２で説明をする。

【００４６】この特殊グラストロン２の本体部２１内に
は画像処理装置３が設けられ、流し撮りＣＣＤ装置２３
から出力された画像データに基づいて光源画像ＬＰｉを
含んだＴＶ画面などを認識する画像処理がなされる。こ
の本体部２１にはベルト２２が取付けられ、眼鏡をかけ
るように本体部２１が観察者の顔面に装着されると共
に、その観察者の頭部外周部に沿ってベルト２２が固定
される。

【００４７】特殊グラストロン２には画像処理装置３の
他に流し撮りＣＣＤ装置２３及び表示手段２４が設けら
れている。特殊グラストロン２の機種によっては通常の
ＣＣＤ撮像装置２５が設けられる。この基準面設定用の
受像機１００に表示された４個の光源画像ＰＬｉ、流し
撮りＣＣＤ装置２３及び画像処理装置３によって面認識
手段が構成され、観察者の視聴する受像機１００の表示
画面を認識できるようになされている。この面認識手段
には本発明に係る受像機１００の位置認識装置（以下位
置認識機構４という）が適用される。

【００４８】この位置認識機構４の主要部を成す流し撮
りＣＣＤ装置２３では、受像機１００の画面内の四隅
で、点滅パターンが異なるように表示された光源画像Ｌ
Ｐｉを所定の撮像方向に流すように撮像される。ここ
で、流し撮りとは、流し撮りＣＣＤ装置２３において、
同一フィールド期間中に複数回、光電変換素子（フォト
ダイオードなど）から信号電荷を読み出す撮影モードを
いう。

【００４９】この例で流し撮りＣＣＤ装置２３として垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りＣＣＤ装置２３として電荷蓄
積部を有するフレーム転送方式の二次元撮像デバイスを
使用した場合には、同一フィールド期間中に複数回、光
電変換素子から電荷蓄積部に信号電荷が読み出される。

【００５０】上述の画像処理装置３には表示手段２４が
接続され、位置認識機構４により認識されたＴＶ画面が
表示される。この特殊グラストロン２内には偏光ビーム
スプリッタなどの光学手段が設けられる場合があり、表
示手段２４によって表示された仮想空間のＴＶ画面上で
仮想体の画像が合成される。この例では、実空間上のＴ
Ｖ画面の属する位置に、あたかも、仮想体としての３Ｄ
ポリゴン（雪だるま）１０が存在するようになされてい
る。

【００５１】図６に示す特殊グラストロン２は非透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２
３と、第１の画像表示素子としての右眼表示用の液晶表
示装置（以下ＬＣＤという）２６と、第２の画像表示素
子としての左眼表示用のＬＣＤ２７とを有している。

【００５２】つまり、観察者の眉間に相当する位置に
は、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置
２３とが並べて配置され、前者によって観察者の視聴す
る受像機１００のテレビ画像が撮像され、後者によって
受像機１００の４個の光源画像ＰＬ１〜４が流し撮りさ
れる。従って、観察者が基準面設定用の受像機１００に
目を向けると、そのＴＶ画面の方向に流し撮りＣＣＤ装
置２３が向くようになる。

【００５３】そして、特殊グラストロン２内の観察者の
右目に相対する位置にはＬＣＤ２６が取付けられ、例え
ば、通常のＣＣＤ撮像装置２５により撮影した観察者の
受像機１００による受信画像と、予め準備された映像ソ
フトによる３Ｄポリゴン１０の画像とを合成したステレ
オ画像の一方が表示される。

【００５４】また、その観察者の左目に相対する位置に
はＬＣＤ２７が取付けられ、上述の受像機１００と、３
Ｄポリゴン１０の画像と合成したステレオ画像の他方が
表示される。この特殊グラストロン２は観察者の顔面又
は頭部に装着され、上述のＬＣＤ２６のステレオ画像
と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導く
ようになされている。これにより、観察者の属する背景
像と３Ｄポリゴン１０とは頭の中で合成される。

【００５５】図７に示す特殊グラストロン２０は透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５は搭載されていない。従って、透過
型のヘッドマウントディスプレイは、流し撮りＣＣＤ装
置２３と、外界像取り込み用の液晶シャッタ２８と、画
像表示素子としてのＬＣＤ２９を有している。

【００５６】例えば、観察者の眉間に相当する位置に
は、流し撮りＣＣＤ装置２３が配置され、観察者が基準
面設定用の受像機１００に目を向けると、受像機１００
の４個の光源画像ＰＬ１〜４が流し撮りされる。そし
て、観察者の左目及び右目に相当する位置には液晶シャ
ッタ２８が設けられ、例えば、液晶シャッタ２８が開か
れると、その液晶シャッタ２８を通過した観察者が視聴
する受像機１００の受信画像（実像）が直接眼球に導か
れる。

【００５７】また、特殊グラストロン２内の観察者の左
目又は右目の脇に位置する部分には、ＬＣＤ２９が取付
けられ、上述の特殊グラストロン２と同様にしてキャラ
クタ画像が表示される。図示しないが、液晶シャッタ２
８と、ＬＣＤ２９との間には偏光ビームスプリッタなど
の光学手段が設けられ、観察者の受像機１００の実像
と、３Ｄポリゴン１０の画像とが観察者の眼球に導くよ
うになされている。これにより、観察者の属する背景像
と３Ｄポリゴン１０とが頭の中で合成される。

【００５８】続いて、インターライン転送方式の流し撮
りＣＣＤ装置２３の内部構成について説明する。図８に
示す流し撮りＣＣＤ装置２３は基板３１を有している。
その基板３１上には、１画素を構成する光電変換素子と
してフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜
ｍ）がｎ列×ｍ行のマトリクス状に配置されている。

【００５９】この基板の列方向には電荷転送部としてｍ
本の垂直転送部３２が設けられ、フォトダイオードＰＨ
ｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に
基づいて垂直方向（流し撮り方向）に転送される。この
垂直転送部３２には水平転送部３３が接続され、その信
号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転
送されるので、出力端子３４に流し撮り信号ＳOUTが出
力される。この例では、流し撮りをするために、少なく
とも、同一フィールド期間中に複数回、フォトダイオー
ドＰＨｉｊから垂直転送部３２に信号電荷が読み出され
る。

【００６０】また、流し撮りＣＣＤ装置２３は図９に示
す魚眼レンズ３５を有している。魚眼レンズ３５は例え
ばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼
レンズ３５によって、観察者が視聴する基準面設定用の
受像機１００などを広範囲に撮像できるようになされて
いる。もちろん、通常のレンズでも構わないが、視野が
狭くなるので、観察者は受像機１００に向けてより多く
頭部を傾けなければならない。

【００６１】この例では、魚眼レンズ３５の前面に薄膜
フィルタ３７が取付けられ、ＣＲＴ１’の表示画面の４
つの光源画像ＰＬ１〜４から放出される特定波長Ｘの光
が取り込まれ、ＣＣＤ撮像素子３６に導くようになされ
る。このフィルタ３７はＩＲフィルタのようなものであ
る。フィルタ３７はＴｉＯ２膜又はＳｉＯ２膜を多層に
積み上げた構造を有しており、その一層の厚みを制御す
ることで、赤色、緑色、青色などを通す光透過帯域（透
過率対波長）を自由に設定できるようになされている。

【００６２】実際のテレビではＣＲＴ１’の表面から微
細ながら赤外線や紫外線が放出されている。この赤外線
や紫外線によって光源画像ＰＬｉから放出される光の波
長帯域が変動する。この例では、光源画像ＰＬｉが点滅
される位置に、ｘ，ｙマトリクスフィルムを貼って使用
される。このｘ，ｙマトリクスフィルムには上述した透
過域変動高分子材料が使用される。この材料は電圧及び
電流が変化することで波長帯域が変動するものである。

【００６３】上述の流し撮りＣＣＤ装置２３に薄膜フィ
ルタを使用したり、ＣＲＴ１’にｘ，ｙマトリクスフィ
ルムを使用する場合には、ＣＲＴ１’（又はＬＣＤ）の
色調誤差と薄膜フィルタの製造バラツキによるフィルタ
特性との色のキャリブレーションを行う必要がある。こ
の合わせ込みには、例えば、光源画像ＰＬｉをデフォル
ト色で表示して、流し撮りＣＣＤ装置２３で光源画像Ｐ
Ｌｉによる光を受光できるか否かを検出する。

【００６４】その光源画像ＰＬｉによる光が受光できる
場合には、そのデフォルト色による光を撮像し、この光
源画像ＰＬｉによる光が受光できない場合には、そのデ
フォルト色を変更する。そして、変更した色の光を撮像
し、その光源画像ＰＬｉによる光が受光できた場合に
は、その変更後の色による光を撮像するようにする。

【００６５】これにより、人間の目では認識できないよ
うな色差の可視光であって上述の特定の波長Ｘに近い波
長の光で、流し撮りＣＣＤ装置に取り付けられた薄膜フ
ィルタの透過帯域から外れた光を光源画像ＰＬｉから放
出させることができる。観察者の光てんかん発作を防止
できる。

【００６６】続いて、非透過型の特殊グラストロン２の
回路構成について説明する。図１０に示す特殊グラスト
ロン２は上述した流し撮りＣＣＤ装置２３、通常のＣＣ
Ｄ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用
のＬＣＤ２７及び画像処理装置３を有している。

【００６７】この画像処理装置３は内部バス４１を有し
ている。内部バス４１には内部インタフェース（Ｉ／
Ｏ）４２、画像キャプチャ部４３、画像処理部４４、Ｃ
ＰＵ４５、ＲＯＭ４６、ＲＡＭ４７、Ｅ²ＰＲＯＭ（電
気的な書き込み及び消去が可能な読み出し専用メモリ）
４８及び外部インタフェース４９が接続されている。流
し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右
眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７は内
部インタフェース４２を介して内部バス４１に接続され
る。

【００６８】この内部バス４１には記録媒体としてＥ²
ＰＲＯＭ４８が接続され、観察者の聴取するテレビ画像
に３Ｄポリゴン１０の画像を立体的に合成するアルゴリ
ズムが格納されている。例えば、Ｅ²ＰＲＯＭ４８に
は、観察者の視聴する表示画面上で任意に設定されたＴ
Ｖ画面を撮像して仮想空間上にそのＴＶ画面を表示する
と共に、その仮想空間上に３Ｄポリゴン１０の画像を重
ね合わせて合成するアルゴリズムが格納される。従っ
て、このアルゴリズムを実行することによって、簡易
に、しかも、少ない計算量で実空間上のＴＶ画面を認識
することができる。

【００６９】これにより、実空間上のＴＶ画面の属する
位置に、あたかも、３Ｄポリゴン１０が存在するように
画像処理することができるので、バーチャルキャラクタ
育成ゲーム装置などの仮想画像立体合成装置２００を再
現性良く構成することができる。

【００７０】この例では、内部バス４１に外部インタフ
ェース４９が接続されている。この外部インタフェース
４９には外部入力端子４１０が設けられ、ＲＳ−２３２
Ｃ通信プロトコルによるビデオ信号やデジタル放送信号
などが入力できるようになされている。この外部入力端
子４１０の他には、他の機能装置、例えば、３Ｄ映像処
理装置などに接続できる外部入力端子４１１が設けら
れ、Ｅ²ＰＲＯＭ４８などには格納されていない、例え
ば、ＴＶ放送時のキャラクタ画像を３Ｄ映像加工処理し
た後のステレオ画像が供給される。

【００７１】更に、内部バス４１にはＲＯＭ４６が接続
され、この仮想画像立体合成装置２００を制御するため
のシステムプログラムや、メモリの読み出し手順などの
制御情報などが格納される。内部バス４１にはワーキン
グ用のＲＡＭ４７が接続され、システムプログラムやキ
ャラクタ画像を表示する表示情報が一時記録される。ま
た、内部バス４１にはＣＰＵ４５が接続され、内部イン
タフェース４２、画像キャプチャ部４３、画像処理部４
４、ＲＯＭ４６、ＲＡＭ４７及びＥ²ＰＲＯＭ４８の入
出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装
置２５、ＬＣＤ２６及びＬＣＤ２７の入出力の制御が行
われる。

【００７２】この内部インタフェース４２には演算手段
として画像処理部４４が接続され、例えば、図１に示し
たＴＶ画面認識用の４つの光源画像ＰＬ１〜４を含む受
像機１００の受信画面が通常のＣＣＤ撮像装置２５で撮
像されると、この撮像装置２５から得られた画像データ
が、ＣＰＵ４５の制御命令と共に内部インタフェース４
２を介して、画像処理部４４に取り込まれる。この画像
処理部４４で所定の画像処理がなされ、再び、内部イン
タフェース４２を介して特殊グラストロン２内のＬＣＤ
２６及びＬＣＤ２７などに転送される。

【００７３】また、内部インタフェース４２には画像キ
ャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受
けて、流し撮りＣＣＤ装置２３から入力した４つの光源
画像ＰＬ１〜４に係る点滅パターンの画像データを獲得
する所定のキャプチャ処理がなされる。この点滅パター
ンの画像データは時間経過に対応する輝度の変化として
表現されている。

【００７４】この画像キャプチャ部４３には内部バス４
１を介して画像処理部４４が接続され、所定の画像処理
が施された画像データに関して、点滅パターンの同期ず
れが補正されたり、観察者の視聴するＴＶ画面が求めら
れる。これにより、所定の撮像方向に流すように撮像さ
れた光源画像ＰＬ１〜４の点滅パターンに関して、その
点滅パターンに係る輝度信号ＳOUTが画像処理部４４で
画像処理され、その光源画像ＰＬ１〜４の位置が求めら
れるので、その光源画像ＰＬ１〜４の位置を容易に特定
することができる。

【００７５】例えば、画像処理部４４では流し撮りＣＣ
Ｄ装置２３から出力された流し撮り信号（輝度信号）Ｓ
OUTの点滅パターンに関して、図１１に示すウインドウ
Ｗにより画定された画像領域内で、４つの流し撮り輝点
Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターン
に変換される。その後、その配置パターン上を走査し
て、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ
１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ
４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は
観察者が視聴する受像機１００の基準面設定用の４つの
光源画像ＰＬ１〜４である。実空間上の受像機１００の
４つの光源画像ＰＬ１〜４の位置座標は既知であり、そ
の位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ
３，ｙ３）、（ｘ４，ｙ４）である。

【００７６】従って、上述の実空間上のＴＶ画面は４つ
の光源画像ＰＬ１〜４の取付け位置に射影する変換行列
を演算することにより得られる。ここで実空間の平面上
の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって
移動し、それを透視変換で画像座標系に射影した点を
（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関
係がある。

【００７７】

【数１】

【００７８】但し、ａ１・・・・ａ８は未知の係数でＣ
ＣＤ撮像装置２５などの外部パラメータ（位置と方向）
及び焦点距離などの内部パラメータである。これらのパ
ラメータは実空間の既知の点の位置座標（ｘ１，ｙ
１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）と、それらに対応する４組の画像処理系の位置座標
（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、
（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解く
ことにより得られる。

【００７９】

【数２】

【００８０】ここで得られた４点の位置座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）を結ぶことにより、図１１に示した実空間上のＴＶ
画面が認識される。

【００８１】具体的には、図１２に示す配置パターン上
で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向を
Ｘ軸としたときに、画像処理部４４によって流し撮像方
向と同一方向又はその反対方向に輝度信号値が加算され
る。この加算値がＸ軸上にプロットされると、そのＸ軸
にプロットされた輝度信号値が最大となる４つの位置が
検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ
２、Ｘ３、Ｘ４が求められる。また、その配置パターン
上で取得画像をＹ方向に走査したときに、そのＹ方向に
並んだ複数の輝点のうち、最初に発光した輝点位置が各
々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４
として求められる。

【００８２】ここで、実空間上の４つの光源画像ＰＬ１
〜４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの
光源画像ＰＬ１〜４の位置座標ｗｉのカメラ座標系上で
の表現ベクトルをＣｉとし、その４つの光源画像ＰＬ１
〜４のＬＣＤ画面上での位置座標をＰｉとし、流し撮り
ＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクト
ルをＴとすると、（３）式、すなわち、 Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３） 但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー） という関係がある。従って、通常のＣＣＤ撮像装置２５
の回転マトリクスＲとその移動ベクトルＴとを演算し、
これをパラメータとして実空間と仮想空間との間で座標
変換を容易に行うことができるので、仮想空間上のＴＶ
画面にキャラクタ画像を合成することができる。

【００８３】次に、本発明に係る受像機１００の第１の
位置認識方法に関して仮想画像立体合成装置２００の動
作を説明する。この例では、観察者の聴取する受像機１
００のテレビ画像（３Ｄポリゴンの二次元画像表示）に
３Ｄポリゴン１０の画像を立体的に合成する場合であっ
て、その受像機１００の表示画面内に４つの光源画像Ｐ
Ｌ１〜４が所定の点滅パターンで表示されている場合を
想定する。

【００８４】例えば、観察者は図６に示した特殊グラス
トロン２を頭部に装着する。そして、図１３に示すフロ
ーチャートのステップＡ１で観察者は受像機１００をオ
ンし、特殊グラストロン２の流し撮りＣＣＤ装置２３を
受像機１００の表示画面に向けることで、３Ｄポリゴン
１０の画像を合成しようとする基準面（ＴＶ画面）が設
定される。

【００８５】次に、ステップＡ２において、一方で通常
のＣＣＤ撮像装置２５を使用して実空間上のＴＶ画面を
撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表
示する。他方で、流し撮りＣＣＤ装置２３を使用して実
空間上のＴＶ画面を流し撮りする。例えば、３Ｄポリゴ
ン１０の画像を合成させようとするＴＶ画面の四隅に表
示された４つの光源画像ＰＬ１〜４が、点滅パターンを
異ならせるように表示されているので、その点滅パター
ンが所定の撮像方向に流すように撮像される。

【００８６】その後、ステップＡ３で観察者の視聴する
受像機１００のＴＶ画面を認識するために画像処理す
る。画像処理部４４では、例えば、図１４に示すサブル
ーチンをコールしてステップＢ１でビデオキャプチャ処
理を実行する。その後、ステップＢ２で受像機１００の
四隅の光源画像ＰＬ１〜４を認識する。具体的には、流
し撮りＣＣＤ装置２３で撮像された４つの光源画像ＰＬ
１〜４による輝度信号の点滅パターンが、４つの輝点Ｐ
１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに
変換される。

【００８７】その後、その配置パターン上を走査して、
少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，
Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）が求められ、上述した（１）式及び（２）式が演算
され、実空間上の４つの光源画像ＰＬ１〜４の取付け位
置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、
（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との
関係が求められ、この４点を結ぶことによりＴＶ画面の
位置が求められる。そして、ステップＢ３で画像処理部
４４では上述の（３）式に基づいて演算処理が行われ、
流し撮りＣＣＤ装置２３とＴＶ画面との位置関係が検出
される。

【００８８】その後、図１３に示すメインルーチンのス
テップＡ４にリターンして仮想空間のＴＶ画面上に３Ｄ
ポリゴン１０の画像を重ね合わせて合成する。このと
き、観察者が装着した特殊グラストロン２では、ＬＣＤ
２６による受像機１００の受信画像と３Ｄポリゴン１０
の画像とを合成したステレオ画像の一方が観察者の右の
眼球に導くようになされる。ＬＣＤ２７による受像機１
００の受信画像と３Ｄポリゴン１０の画像とを合成した
ステレオ画像の他方が観察者の左の眼球に導くようにな
される。

【００８９】従って、図１５に示す観察者３０の視聴す
る受像機１００の受信画面上では３Ｄポリゴン１０’の
二次元画像が表示されているだけであるのに、図１６に
示す仮想空間ではその受信画面から外部へ３Ｄポリゴン
１０を出現させることができる。この例では、雪だるま
の３Ｄポリゴン１０の他に、雪の３Ｄポリゴン１０Ａな
ども観察者３０に降り注ぐようになされる。

【００９０】つまり、観察者３０の視聴する受像機１０
０の受信画像と、仮想空間上に出現した雪だるまなどの
３Ｄポリゴン１０が頭の中で合成されるので、実空間上
のＴＶ画面の中に二次元表示されている雪だるまが、３
Ｄポリゴン１０の雪だるまとなって画面外へ、あたか
も、飛び出すような画像を立体的に合成することができ
る。

【００９１】このように、本実施形態としての受像機１
００の位置認識方法を応用した仮想画像立体合成装置２
００によれば、観察者の聴取するテレビ画像に３Ｄポリ
ゴン１０の画像を立体的に合成する際に、４つの光源画
像ＰＬ１〜４による点滅パターンを位置認識機構４によ
り流し撮りすることによって、観察者の視聴する受像機
１００のＴＶ画面を容易に、しかも、少ない計算量で画
像処理装置３に認識させることができる。

【００９２】従って、観察者の視聴する受像機１００の
ＴＶ画面上に、あたかも、ＴＶ番組のキャラクタなどを
飛び出させ、観察者の手のひらで遊ばせるような「飛び
出すテレビシステム」や、「バーチャルキャラクタ育成
ゲーム装置」などの立体画像システムを再現性よく構成
することができる。これと共に、これらの立体画像シス
テムのコストダウンを図ることができる。

【００９３】また、光源画像ＰＬ１〜４の発光位置に
ｘ，ｙマトリクスフィルムを取り付けることにより、通
常のＴＶ映像に関する情報とは別に、光源画像ＰＬ１〜
４の点滅パターンを制御することができる。

【００９４】（３）第２の実施形態 図１７は第２の実施形態の仮想画像立体合成装置で使用
する受像機３００の構成例を示す正面図である。この実
施形態では、４つの光源画像ＰＬ１〜４に代わって、図
１７に示す二次元バーコード画像５０を表示手段１に表
示して受像機３００のＴＶ画面の位置が認識されるもの
である。もちろん、観察者は図６又は図７に示した特殊
グラストロン２又は２０を装着することが前提となる。

【００９５】この例の受像機３００は飛越走査方式で、
１フレーム（１／３０ｓｅｃ）毎に、図１７に示す２次
元マトリクスコード画像５０を表示するものである。こ
の２次元マトリクスコード画像５０は実空間上の受像機
１００のＴＶ画面の位置を認識するために使用される。
２次元バーコード画像５０は少なくとも、白地に黒で表
示されたｎ行×ｍ列の白黒マトリクスから成る。

【００９６】この二次元バーコード画像５０は流し撮り
ＣＣＤ装置２３に代わって図６に示した通常のＣＣＤ撮
像装置２５で撮像される。この撮像装置２５の出力段に
は、図１０で説明したような画像処理装置３が接続され
る。その画像処理装置３には演算手段が設けられ、ＣＣ
Ｄ撮像装置２５から出力された撮像信号（輝度信号）を
画像処理して二次元マトリクスコード画像５０から受像
機３００のＴＶ画面の位置が求められる。

【００９７】例えば、画像処理部４４では前処理が施さ
れる。この処理では、まず、取得画像が適当な閾値で２
値化される。バーコード画像部分は白と黒の市松模様状
に表示されているので、固定閾値によって、かなり安定
的に背景画像とコード画像領域とを分離することができ
る。次に、黒ピクセルの連結領域毎にラベル付けが施さ
れる。２次元バーコード画像５０はラベル付けされた連
結領域のいずれかに含まれることとなる。従って、連結
領域の外接四角形の大きさと縦横比を考慮して、コード
画像領域部が含まれている可能性の低い背景画像（領
域）は除去するようになされる。

【００９８】その後、前処理の結果得られた連結領域の
各要素に対してバーコード画像枠の当てはめを行う。例
えば、外接四角形の各辺から内側に向かって、市松模様
の領域を探索し、その市松模様の輪郭部の点列を得る。
この点列に対して最小二乗法で線分を当てはめることに
より、当該二次元バーコード画像５０を認識する。

【００９９】上述のＴＶ画面は長方形の二次元バーコー
ド画像５０の四隅の４頂点を、正方形の頂点に射影する
変換行列を演算することにより得られる。ここで実空間
の受像機３００の表示画面上の点（ｘｉ，ｙｉ，０）を
ある並進・回転運動によって移動し、それを透視変換で
画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両
者の間には第１の実施形態で説明した（１）式と同様な
関係がある。

【０１００】従って、これらのパラメータは実空間の既
知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、
（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する
４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，
Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれ
ば、先に説明した（２）式の方程式を解くことにより得
られる。

【０１０１】ここで得られた位置座標（ｘ１，ｙ１）、
（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関
して、一辺の長さを「１」とする正方形の４頂点とする
と、この４頂点を結ぶ面が実空間上の受像機３００のＴ
Ｖ画面の位置となる。これにより、二次元マトリクスコ
ード画像５０の四隅の位置情報から受像機３００の位置
を画像処理装置３などに容易に認識させることができる
（第２の位置認識方法）。

【０１０２】なお、受像機３００の二次元バーコード画
像５０はＣＣＤ撮像装置２５の姿勢や、透視投影によっ
て歪んでいるが、外部パラメータ及び内部パラメータに
よって、画面上の矩形頂点を正方形の各頂点に射影する
ことができる。従って、図１８に示す仮想空間上の二次
元バーコード画像５０の四隅の位置座標から正立方体５
１を作成することができるので、その正立方体５１に３
Ｄポリゴン１０などを合成することができる（第２の仮
想画像立体合成装置）。

【０１０３】このように、本実施形態としての受像機３
００によれば、ＣＲＴ１’の表示画面内に表示された二
次元バーコード画像５０が通常の撮像装置２５で撮像さ
れるので、観察者の聴取するテレビ画像に３Ｄポリゴン
１０の画像を立体的に合成する際に、二次元バーコード
画像５０を通常撮影することによっても、第１の実施形
態と同様に観察者の視聴する受像機３００のＴＶ画面の
位置を容易に、しかも、少ない計算量で認識することが
できる。

【０１０４】従って、第１の実施形態と同様に観察者の
属する実空間上のＴＶ画面の属する位置に、あたかも、
ＴＶ番組のキャラクタなどを飛び出させ、観察者の手の
ひらで遊ばせるような「飛び出すテレビシステム」や、
「バーチャルキャラクタ育成ゲーム装置」などの立体画
像システムを再現性よく構築することができる。

【０１０５】この実施形態では、受像機３００の画面全
体に二次元バーコード画像５０を表示する場合について
説明したが、これに限られることはなく、その表示画面
内の任意の位置であって、輪郭部が最初から正方形に形
成されたｎ×ｎ列の市松模様状の二次元バーコード画像
を１フレーム毎に表示するようにしてもよい。

【０１０６】この実施形態では、受像機１００及び受像
機３００上に雪だるまの３Ｄポリゴン１０を出現させる
場合について説明したが、これに限られることはなく、
台座ポリゴンや、光、炎、あるいは、氷のポリゴンであ
っても、更に、鎧のようなポリゴンを出現させる場合で
あってもよい。

【０１０７】また、図１７に示す二次元バーコード画像
５０をｘ，ｙマトリクスフィルムで出力すると、通常の
ＴＶ映像に関する情報とは別に画像処理することができ
る。

【０１０８】（４）飛び出すテレビシステムの構成例 図１９Ａ〜図１９Ｃは各実施形態の仮想画像立体合成装
置が適用される「飛び出すテレビシステム」の構成例を
示すブロック図である。このシステムはＴＶ放送画像に
基づいてステレオ画像を作成し、特殊グラストロン２に
出力するものである。

【０１０９】図１９Ａに示す第１の飛び出すテレビシス
テム４０１では受像機１００に３Ｄ映像処理装置７０が
接続され、ＴＶ放送局から受信した映像を受像機１００
で表示すると共に、受像機１００で表示された画像と同
じ画像に関する映像信号Ｄinが３Ｄ映像処理装置７０に
出力される。

【０１１０】この３Ｄ映像処理装置７０では、その受像
機１００から飛び出させようとする３Ｄポリゴンなどの
キャラクタ映像に関して、特殊グラストロン２の右眼及
び左眼表示用のＬＣＤに供給するためのステレオ画像が
映像信号Ｄinに基づいて生成される。この例では、３Ｄ
映像処理装置７０と特殊グラストロン２とは、ＲＳー２
３２通信プロトコルに基づく通信線で接続して使用され
る。これにより、通常のＣＣＤ撮像装置により撮影した
受像機１００による受信画像と、３Ｄ映像処理装置７０
による３Ｄポリゴンなどのキャラクタ画像とを特殊グラ
ストロン２によって合成することができる。

【０１１１】図１９Ｂに示す第２の飛び出すテレビシス
テム４０２では、受像機１００に接続された３Ｄ映像処
理装置７０に赤外線送信部７１が設けられ、その受像機
１００から飛び出させようとする３Ｄポリゴンなどのス
テレオ画像が、赤外線によって、特殊グラストロン２に
伝送するようになされている。従って、この特殊グラス
トロン２には赤外線受信部７２が設けられ、３Ｄ映像処
理装置７０からのステレオ画像が受信される。

【０１１２】これにより、第１の飛び出すテレビシステ
ム４０１と同様にして受像機１００による受信画像と、
３Ｄ映像処理装置７０による３Ｄキャラクタ画像とを特
殊グラストロン２によって合成することができる。これ
に加えて、煩わしい通信線などが不要となる。

【０１１３】図１９Ｃに示す第３の飛び出すテレビシス
テム４０３では、受像機１００に接続された３Ｄ映像処
理装置７０に無線送信部７３が設けられ、その受像機１
００から飛び出させようとする３Ｄポリゴンなどのステ
レオ画像が、無線電波によって、特殊グラストロン２に
伝送するようになされている。従って、無線送信部７３
にはアンテナ７４が取付けられ、特殊グラストロン２に
は受信アンテナ７５及び無線受信部７６が設けられ、３
Ｄ映像処理装置７０からのステレオ画像が受信される。

【０１１４】これにより、第１及び第２の飛び出すテレ
ビシステム４０１、４０２と同様にして受像機１００に
よる受信画像と、３Ｄ映像処理装置７０による３Ｄキャ
ラクタ画像とを特殊グラストロン２によって合成するこ
とができる。これに加えて、第２の飛び出すテレビシス
テム４０２と同様にして煩わしい通信線などが不要とな
る。

【０１１５】（５）飛び出すテレビシステムの他の構成
例 図２０Ａ〜図２０Ｃは各実施形態の仮想画像立体合成装
置が適用される「飛び出すテレビシステム」の他の構成
例を示すブロック図である。このシステムは各種の映像
ソフトを受像機１００に出力すると共に、この映像ソフ
トに基づいてステレオ画像を作成し、特殊グラストロン
２に出力するものである。

【０１１６】図２０Ａに示す第１の飛び出すテレビシス
テム５０１では受像機１００に映像再生装置４００が接
続され、アニメーション映画、戦闘映画などの各種の映
像ソフトを記録したＣＤ−ＲＯＭが再生される。映像再
生装置４００にはプレイ・ステーション（ソニー
（株）：商標名）などを使用する。この映像再生装置４
００から受像機１００へ再生情報Ｄin１が出力されて戦
闘映画などが表示される。

【０１１７】また、映像再生装置４００には３Ｄ映像処
理装置８０が接続され、受像機１００で表示されている
戦闘映画と同じ再生情報（信号形式が異なる場合があ
る）Ｄin２を得て、その受像機１００から飛び出させよ
うとする戦闘機などの３Ｄ映像に関して、特殊グラスト
ロン２の右眼及び左眼表示用のＬＣＤに供給するための
ステレオ画像が生成される。

【０１１８】この例では、３Ｄ映像処理装置８０と特殊
グラストロン２とは、上述した飛び出すテレビシステム
４０１と同様にして、ＲＳ−２３２通信プロトコルに基
づく通信線で接続して使用される。これにより、通常の
ＣＣＤ撮像装置により撮影した受像機１００による戦闘
画像と、３Ｄ映像処理装置８０による戦闘機の３Ｄ画像
とを特殊グラストロン２によって合成することができ
る。これにより、仮想空間上で、あたかも、戦闘機が観
察者に襲いかかるような映像効果を得ることができる。

【０１１９】図２０Ｂに示す第２の飛び出すテレビシス
テム５０２では、映像再生装置４００に接続された３Ｄ
映像処理装置８０に赤外線送信部８１が設けられ、その
受像機１００から飛び出させようとする戦闘機の３Ｄ映
像などのステレオ画像が、上述した飛び出すテレビシス
テム４０２と同様にして赤外線によって、特殊グラスト
ロン２に伝送するようになされている。従って、この特
殊グラストロン２には赤外線受信部８２が設けられ、３
Ｄ映像処理装置８０からのステレオ画像が受信される。

【０１２０】これにより、第１の飛び出すテレビシステ
ム５０１と同様にして受像機１００による戦闘画像と、
３Ｄ映像処理装置８０による戦闘機の３Ｄ画像とを特殊
グラストロン２によって合成することができる。これに
加えて、煩わしい通信線などが不要となる。

【０１２１】図２０Ｃに示す第３の飛び出すテレビシス
テム５０３では、映像再生装置４００に接続された３Ｄ
映像処理装置８０に無線送信部８３が設けられ、その受
像機１００から飛び出させようとする戦闘機などの３Ｄ
画像のステレオ画像が、無線電波によって、特殊グラス
トロン２に伝送するようになされている。従って、無線
送信部８３にはアンテナ８４が取付けられ、特殊グラス
トロン２には受信アンテナ８５及び無線受信部８６が設
けられ、３Ｄ映像処理装置８０からのステレオ画像が受
信される。

【０１２２】これにより、第１及び第２の飛び出すテレ
ビシステム５０１、５０２と同様にして受像機１００に
よる戦闘画像と、３Ｄ映像処理装置８０による戦闘機の
３Ｄ画像とを特殊グラストロン２によって合成すること
ができる。これに加えて、第２の飛び出すテレビシステ
ム５０２と同様にして煩わしい通信線などが不要とな
る。

【０１２３】なお、各実施形態では非透過型の特殊グラ
ストロン２又は透過型の特殊グラストロン２０を使用す
る場合について説明したが、これに限られることはな
く、透過型と非透過型を切換え可能な兼用タイプの特殊
グラストロンを用いても、もちろん構わない。

【０１２４】また、各実施形態では、単に３Ｄポリゴン
１０又は戦闘機の３Ｄ映像をＴＶ画面上に仮想的に飛び
出させる場合について説明したが、これに限られること
はなく、特殊グラストロン２、又は、特殊グラストロン
２０にスピーカーを取り付け、３Ｄポリゴン１０又は戦
闘機がＴＶ画面上に飛び出すときに擬声音などを鳴らし
たり、その後、３Ｄポリゴン１０又は戦闘機の搭乗員が
何かを喋るようにしてもよい。

【０１２５】この実施形態の仮想画像立体合成装置２０
０は、特開平１０−１２３４５３号、特開平９−３０４
７２７号、特開平９−３０４７３０号、特開平９−２１
１３７４号、特開平８−１６０３４８号、特開平８−９
４９６０号、特開平７−３２５２６５号、特開平７−２
７０７１４号及び特開平７−６７０５５号に記載される
透過型のヘッドマウントディスプレイに適用することが
できる。

【０１２６】この実施形態では流し撮りＣＣＤ２３に関
してインターライン転送方式の二次元撮像デバイスを使
用する場合について説明したが、これに限られることは
なく、フレーム転送方式の二次元撮像デバイスを使用す
る場合であっても同様な効果が得られる。

【０１２７】

【発明の効果】以上説明したように、本発明に係る受像
機によれば、当該画面内の特定の位置に表示された３点
以上の光源画像を点滅表示制御する制御手段が設けられ
るものである。

【０１２８】この構成によって、流し撮りＣＣＤのよう
な特殊撮影装置で当該画面を撮像した場合に、複数の光
源画像の点灯パターンを同一にした場合に比べてその光
源画像の位置を容易に特定することができる。従って、
その光源画像の位置から当該受像機の位置を画像処理系
に容易に認識させることができる。

【０１２９】本発明の受像機の位置認識装置によれば、
所定の撮像方向に流すように撮像された光源画像の点滅
パターンに関して、その点滅パターンに係る輝度情報を
画像処理して光源画像の位置を求める演算手段が設けら
れるものである。

【０１３０】この構成によって、その光源画像の位置を
容易に特定することができるので、その光源画像の位置
から受像機の位置を画像処理系で容易に認識することが
できる。

【０１３１】本発明の受像機の第１の位置認識方法によ
れば、点滅パターンの異なった光源画像を所定の撮像方
向に流すように撮像した後に、その光源画像の輝度情報
を画像処理して光源画像の各々の位置情報を求めるもの
である。

【０１３２】この構成によって、光源画像の位置を容易
に特定することができるので、その光源画像の位置から
受像機の位置を画像処理系で容易に認識することができ
る。従って、受像機を精度良く認識することができるの
で、この位置認識方法を仮想画像立体合成装置の面認識
手段などに十分に応用することができる。

【０１３３】本発明の受像機の第２の位置認識方法によ
れば、受像機の任意の表示画像の特定の表示期間内に表
示された二次元マトリクスコード画像を撮像した後に、
その二次元マトリクスコード画像の輝度情報を画像処理
してその二次元マトリクスコード画像の四隅の位置情報
を求めるものである。

【０１３４】この構成によって、二次元マトリクスコー
ド画像の四隅の位置情報から受像機の位置を画像処理系
に容易に認識させることできる。従って、受像機を精度
良く認識することができるので、この位置認識方法を仮
想画像立体合成装置の面認識手段などに十分に応用する
ことができる。

【０１３５】本発明の第１の仮想画像立体合成装置によ
れば、本発明に係る第１の位置認識方法が応用されるの
で、当該受像機に表示された光源画像の位置を容易に特
定することができる。従って、この光源画像の位置から
受像機の位置を画像処理系に容易に認識させることがで
きる。これにより、受像機の表示画面を精度良く認識さ
せることができるので、観察者の視聴するＴＶ画像に仮
想体の画像を再現性良く立体的に合成することができ
る。

【０１３６】本発明の第２の仮想画像立体合成装置によ
れば、本発明に係る第２の位置認識方法が応用されるの
で、当該受像機に表示された二次元マトリクスコード画
像の四隅の位置情報を容易に取得することができる。従
って、この二次元マトリクスコード画像の四隅の位置情
報から受像機の位置を画像処理系に容易に認識させるこ
とができる。これにより、受像機の表示画面を精度良く
認識させることができるので、第１の仮想画像立体合成
装置と同様にして観察者の視聴するＴＶ画像に仮想体の
画像を再現性良く立体的に合成することができる。

【０１３７】この発明は、ＴＶ番組のキャラクタを仮想
空間上に飛び出させる、いわゆる「飛び出すテレビ」な
どに適用して極めて好適である。

【図面の簡単な説明】

【図１】本発明に係る実施形態としての受像機１００の
構成例を示す正面図である。

【図２】その受像機１００の内部構成例を示すブロック
図である。

【図３】その制御手段６で発生する光源画像信号ＳＰ１
〜４の波形例を示すイメージ図である。

【図４】映像信号ＳＣに対する光源画像信号ＳＰｉ、Ｓ
Ｐｊの重畳例を示す波形図である。

【図５】第１の実施形態としての受像機の位置認識装置
を応用した仮想画像立体合成装置２００の構成例を示す
斜視図である。

【図６】仮想画像立体合成装置２００で使用する特殊グ
ラストロン２の構成例を示す正面から見た概念図であ
る。

【図７】仮想画像立体合成装置２００で使用する他の特
殊グラストロン２０の構成例を示す正面から見た概念図
である。

【図８】その特殊グラストロン２の流し撮りＣＣＤ装置
２３の内部構成例を示す平面図である。

【図９】その流し撮りＣＣＤ装置２３の光学系の構成例
を示す断面図である。

【図１０】その特殊グラストロン２の内部構成例を示す
ブロック図である。

【図１１】その受像機１００のＴＶ画面の通常画像例を
示すイメージ図である。

【図１２】その受像機１００のＴＶ画面の位置座標の算
出例を示す模式図である。

【図１３】仮想画像立体合成装置２００の動作例（その
１）を示すメインルーチンのフローチャートである。

【図１４】仮想画像立体合成装置２００の動作例（その
２）を示すサブルーチンのフローチャートである。

【図１５】実空間上の受像機１００を視聴する観察者
（特殊グラストロン２の非装着時）３０の実像例を示す
イメージ図である。

【図１６】仮想空間上の受像機１００を視聴する観察者
（特殊グラストロン２の装着時）３０の仮想画像例を示
すイメージ図である。

【図１７】第２の実施形態で使用する受像機３００の２
次元バーコード画像５０の一例を示す正面図である。

【図１８】その２次元バーコード画像５０上の３Ｄポリ
ゴン１０の合成例を示す斜視図である。

【図１９】Ａは飛び出すテレビシステム４０１の構成
例、Ｂは飛び出すテレビシステム４０２の構成例、Ｃは
飛び出すテレビシステム４０３の構成例を各々示すブロ
ック図である。

【図２０】Ａは飛び出す他のテレビシステム５０１の構
成例、Ｂは飛び出す他のテレビシステム５０２の構成
例、Ｃは飛び出す他のテレビシステム５０３の構成例を
各々示すブロック図である。

【符号の説明】

１，２４・・・表示手段、２，２０・・・特殊グラスト
ロン（合成手段）、３・・・画像処理装置、４・・・位
置認識機構（面認識手段）、６・・・制御手段、９・・
・画像処理手段、１０・・・３Ｄポリゴン、２３・・・
流し撮りＣＣＤ装置（撮像手段）、２５・・・ＣＣＤ撮
像装置、２６・・・右眼表示用のＬＣＤ（第１の画像表
示素子）、２７・・・左眼表示用のＬＣＤ（第２の画像
表示素子）、３２・・・垂直転送部（電荷転送部）、３
３・・・水平転送部、４４・・・画像処理部（演算手
段）、５０・・・２次元バーコード画像、８０・・・３
Ｄ映像処理装置、１００，３００・・・受像機、２００
・・仮想画像立体表示装置、４００・・・映像再生装
置、４０１〜４０３，５０１〜５０３・・・飛び出すテ
レビシステム

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/64 ５１１ Ｈ０４Ｎ 13/04 13/02 Ｇ０６Ｆ 15/62 ３５０Ｖ 13/04 ３８０ (72)発明者 吉村 司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B050 AA08 BA08 BA09 EA19 FA02 FA06 GA04 5B057 BA02 BA15 CB13 CE08 DA07 DB02 DC30 5C023 AA10 AA11 AA37 AA38 BA01 BA12 CA03 EA03 5C061 AA01 AB06 AB08 AB12 AB14 AB18 AB20 5C082 AA02 AA27 AA34 BA12 BA34 BA35 BA41 BA47 BB01 BB03 BB42 BD06 BD07 CA56 DA01 DA51 DA86 MM02 MM04

Claims (21)

【特許請求の範囲】
1. 【請求項１】 撮像可能な任意の画面内であって、 少なくとも、前記画面内の特定の位置に３点以上の光源
   画像を表示する表示手段と、 前記表示手段に表示された光源画像を各々点滅パターン
   が異なるように点滅制御する制御手段とを備えることを
   特徴とする受像機。
2. 【請求項２】 前記表示手段が設けられる場合であっ
   て、 前記表示手段に表示された任意の受信画面上に前記光源
   画像を合成表示する画像処理手段が設けられることを特
   徴とする請求項１に記載の受像機。
3. 【請求項３】 前記表示手段に光源画像を表示する場合
   であって、 前記光源画像の表示部分の画面上に任意の透過特性のフ
   ィルムが取付けられ、 前記光源画像から放出される光の特定の波長を通すよう
   になされたことを特徴とする請求項１に記載の受像機。
4. 【請求項４】 点滅パターンが異なる複数の光源画像を
   画面内の特定の位置に表示した受像機の位置を認識する
   装置であって、 前記画面内の光源画像を所定の撮像方向に流すように撮
   像する撮像手段と、 前記撮像手段による前記光源の輝度信号を画像処理して
   前記光源の各々の位置を求める演算手段とを備えること
   を特徴とする受像機の位置認識装置。
5. 【請求項５】 前記受像機の画面を撮像する撮像手段が
   設けられる場合であって、 前記撮像手段は、 前記受像機の任意の受信画面上に前記光源画像を合成表
   示するようになされたときに、 前記受像機に表示された前記光源画像を所定の撮像方向
   に流すように撮像することを特徴とする請求項４に記載
   の受像機の位置認識装置。
6. 【請求項６】 前記撮像手段には、 各画素を構成する複数の光電変換素子を有した二次元撮
   像デバイスが使用され、 前記光電変換素子から得られた信号電荷を所定の方向に
   転送するときに、 少なくとも、同一フィールド期間中に複数回、前記光電
   変換素子から前記信号電荷を読み出すようになされたこ
   とを特徴とする請求項４に記載の受像機の位置認識装
   置。
7. 【請求項７】 前記撮像手段及び演算手段が設けられる
   場合であって、前記演算手段は、 前記撮像手段による輝度信号の点滅パターンに関して、
   複数の輝点を含むＸＹ平面を成す空間的な配置パターン
   に変換し、 前記配置パターン上を走査して、少なくとも、複数の位
   置座標を求めるようになされたことを特徴とする請求項
   ４に記載の受像機の位置認識装置。
8. 【請求項８】 前記演算手段は、 複数の輝点を含むＸＹ平面を成す配置パターン上で流し
   撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸とした
   ときに、 前記流し撮像方向に輝度信号値を加算してＸ軸上にプロ
   ットし、 前記Ｘ軸上にプロットされた輝度信号値が最大となる位
   置を検出して複数のＸ座標値を求め、かつ、 前記配置パターン上でＹ軸方向に走査したときに、 前記流し撮像方向に並んだ複数の輝点のうち、最初に発
   光した輝点位置を各々Ｘ座標値に対応したＹ座標値とし
   て求めることを特徴とする請求項４に記載の受像機の位
   置認識装置。
9. 【請求項９】 前記光源画像を撮像する撮像手段が設け
   られる場合であって、 前記撮像手段の受光面側に任意の透過特性の薄膜フィル
   タが取付けられ、 前記光源画像から放出された光を前記薄膜フィルタを通
   して撮像するようになされたことを特徴とする請求項４
   に記載の受像機の位置認識装置。
10. 【請求項１０】 撮像可能な任意の画面内の特定の位置
    に点滅パターンが異なる３点以上の光源画像を表示し、 前記点滅パターンの異なった光源画像を所定の撮像方向
    に流すように撮像し、 撮像された前記光源画像の輝度情報を画像処理して前記
    光源画像の各々の位置情報を求めることを特徴とする受
    像機の位置認識方法。
11. 【請求項１１】 受像機の任意の表示画像の特定の表示
    期間内に、少なくとも、白地に黒で表示されたｎ行×ｎ
    列の白黒マトリクスと、該白黒マトリクスと同じ太さの
    黒枠から成る２次元マトリクスコード画像を表示し、 前記二次元マトリクスコード画像を撮像し、 撮像された前記二次元マトリクスコード画像による輝度
    信号を画像処理して前記二次元マトリクスコード画像の
    四隅の位置情報を求めることを特徴とする受像機の位置
    認識方法。
12. 【請求項１２】 観察者の視聴するＴＶ画像に仮想体の
    画像を立体的に合成する装置であって、 前記観察者の視聴する受像機の表示画面上で任意の基準
    面を認識する面認識手段と、 前記面認識手段により認識された仮想空間の基準面上に
    仮想体の画像を合成する合成手段とを備え、 前記面認識手段は、 仮想体の画像を合成しようとする受像機の画面内の特定
    位置に予め表示された、少なくとも、点滅パターンが異
    なるように点滅する３点以上の光源画像を所定の撮像方
    向に流すように撮像する撮像手段と、 前記撮像手段による光源画像の点滅パターンの輝度信号
    を画像処理して前記光源画像の３点の位置を求め、その
    後、前記３点の光源画像の位置を結んで基準面を求める
    演算手段とを有することを特徴とする仮想画像立体合成
    装置。
13. 【請求項１３】 前記合成手段は、 観察者の視聴する受像機のＴＶ画像を撮像する撮像手段
    と、 前記撮像手段によるＴＶ画像と予め準備された仮想体の
    画像と合成したステレオ画像の一方を表示する第１の画
    像表示素子と、 前記ステレオ画像の他方を表示する第２の画像表示素子
    とを有したヘッドマウントディスプレイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
    頭部に装着され、 前記第１の画像表示素子によるステレオ画像と、前記第
    ２の画像表示素子によるステレオ画像とを重ね合わせて
    観察者の眼球に導くようになされたことを特徴とする請
    求項１２に記載の仮想画像立体合成装置。
14. 【請求項１４】 前記合成手段は、 観察者の視聴する受像機のＴＶ画像を取り込むために入
    射光の開閉をする液晶シャッタと、 前記外界像に合成するための仮想体の画像を表示する画
    像表示素子と、 前記画像表示素子による仮想体の画像と、前記液晶シャ
    ッタを通過した前記受像機のＴＶ画像とをその観察者の
    眼球に導く光学手段とを有したヘッドマウントディスプ
    レイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
    頭部に装着され、 前記液晶シャッタを開いたときは、 前記液晶シャッタを通過した前記受像機のＴＶ画像に、
    前記画像表示素子による仮想体の画像を重ね合わせて観
    察者の眼球に導くようになされたことを特徴とする請求
    項１２に記載の仮想画像立体合成装置。
15. 【請求項１５】 前記受像機及び合成手段が設けられる
    場合であって、 前記受像機で受信した映像に基づいてステレオ画像を発
    生する３Ｄ映像処理装置が設けられ、 前記受像機から外部へ仮想的に飛び出させるためのステ
    レオ画像が前記３Ｄ映像処理装置から前記合成手段へ出
    力するようになされたことを特徴とする請求項１２に記
    載の仮想画像立体合成装置。
16. 【請求項１６】 前記受像機、合成手段が設けられる場
    合であって、 各種映像情報を再生する映像再生装置と、 前記映像再生装置による再生映像情報に基づいて前記受
    像機から外部へ仮想的に飛び出させるためのステレオ画
    像を発生する３Ｄ映像処理装置が設けられ、 前記３Ｄ映像処理装置から合成手段へ前記ステレオ画像
    を出力するようになされたことを特徴とする請求項１２
    に記載の仮想画像立体合成装置。
17. 【請求項１７】 観察者の視聴するＴＶ画像に仮想体の
    画像を立体的に合成する装置であって、 前記観察者の視聴する受像機の表示画面上で任意の基準
    面を認識する面認識手段と、 前記面認識手段により認識された仮想空間の基準面上に
    仮想体の画像を合成する合成手段とを備え、 前記面認識手段は、 前記仮想体の画像を合成しようとする受像機の任意の画
    面の特定の表示期間内に表示される、白地に黒で表示さ
    れたｎ行×ｎ列の白黒マトリクスと、該白黒マトリクス
    と同じ太さの黒枠から成る二次元マトリクスコード画像
    を撮像する撮像手段と、 前記撮像手段により撮像された二次元マトリクスコード
    画像の輝度信号を画像処理して前記二次元マトリクスコ
    ード画像の四隅の位置情報を求める演算手段を有するこ
    とを特徴とする仮想画像立体合成装置。
18. 【請求項１８】 前記合成手段は、 観察者の視聴する受像機のＴＶ画像を撮像する撮像手段
    と、 前記撮像手段によるＴＶ画像と予め準備された仮想体の
    画像と合成したステレオ画像の一方を表示する第１の画
    像表示素子と、 前記ステレオ画像の他方を表示する第２の画像表示素子
    とを有したヘッドマウントディスプレイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
    頭部に装着され、 前記第１の画像表示素子によるステレオ画像と、前記第
    ２の画像表示素子によるステレオ画像とを重ね合わせて
    観察者の眼球に導くようになされたことを特徴とする請
    求項１７に記載の仮想画像立体合成装置。
19. 【請求項１９】 前記合成手段は、 観察者の視聴する受像機のＴＶ画像を取り込むために入
    射光の開閉をする液晶シャッタと、 前記外界像に合成するための仮想体の画像を表示する画
    像表示素子と、 前記画像表示素子による仮想体の画像と、前記液晶シャ
    ッタを通過した前記受像機のＴＶ画像とをその観察者の
    眼球に導く光学手段とを有したヘッドマウントディスプ
    レイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
    頭部に装着され、 前記液晶シャッタを開いたときは、 前記液晶シャッタを通過した前記受像機のＴＶ画像に、
    前記画像表示素子による仮想体の画像を重ね合わせて観
    察者の眼球に導くようになされたことを特徴とする請求
    項１７に記載の仮想画像立体合成装置。
20. 【請求項２０】 前記受像機及び合成手段が設けられる
    場合であって、 前記受像機で受信した映像に基づいてステレオ画像を発
    生する３Ｄ映像処理装置が設けられ、 前記受像機から外部へ仮想的に飛び出させるためのステ
    レオ画像が前記３Ｄ映像処理装置から前記合成手段へ出
    力するようになされたことを特徴とする請求項１７に記
    載の仮想画像立体合成装置。
21. 【請求項２１】 前記受像機、合成手段が設けられる場
    合であって、 各種映像情報を再生する映像再生装置と、 前記映像再生装置による再生映像情報に基づいて前記受
    像機から外部へ仮想的に飛び出させるためのステレオ画
    像を発生する３Ｄ映像処理装置が設けられ、 前記３Ｄ映像処理装置から合成手段へ前記ステレオ画像
    を出力するようになされたことを特徴とする請求項１７
    に記載の仮想画像立体合成装置。