JP2005020559A

JP2005020559A - Three-dimensional video presentation apparatus

Info

Publication number: JP2005020559A
Application number: JP2003184900A
Authority: JP
Inventors: Takashi Kawai; 隆史河合; Hiroshi Morikawa; 浩志盛川; Masamitsu Kawaguchi; 真実川口; Ryuichi Kamo; 竜一加茂; Toshiyasu Kuroda; 敏康黒田; Masaaki Sakata; 雅章坂田
Original assignee: Waseda University; Toppan Printing Co Ltd
Current assignee: Waseda University; Toppan Inc
Priority date: 2003-06-27
Filing date: 2003-06-27
Publication date: 2005-01-20
Anticipated expiration: 2023-06-27
Also published as: JP4378118B2

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional (3D) video presentation apparatus capable of presenting a 3D video image with composite reality which has no sense of incompatibility for an observer, by composing an actually captured 3D video image which is changed by observer's operation, and a 3D CG image corresponding thereto in real time. SOLUTION: A 3D video presentation apparatus 10 comprises an actually captured video acquiring means 31, direction operation information detecting means 53, 54, a magnification operating means 71, a model information storage means 90, a CG image producing means 85 which performs rendering while changing conditions of right and left virtual cameras in real time on the basis of direction operation information and magnification operation information, a synthetic processing means 89 for overlapping right and left actually captured video images and right and left CG images in real time, and an output means 40 for presenting a 3D video image using right and left synthetic images. COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置に係り、例えば、遺跡で過去の建築物等の展示や説明を行う遺跡展示システム、建設現場で建設主に今後建設される予定のビル等のイメージを示す建設イメージ説明システム、地方自治体等が埋立地にビルや各種施設を建設する場合のように都市開発や都市計画の分野において住民の意思形成や合意形成を得るために開発計画を示す開発計画説明システム等に利用できる。
【０００２】
【背景技術】
近年、現実空間と仮想空間とを融合した環境である「複合現実感」（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）に関する研究が盛んに行われている。その中でも、現実空間に仮想空間の物体を重畳することで現実の感覚を増強するＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）は、注目されている。例えば、遺跡において、現在では消失してしまった過去の建造物等をコンピュータ・グラフィクス（ＣＧ：ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）により生成し、このＣＧ画像を実写画像に対して適切な位置に重ね合わせて表示し、遺跡の見学者に呈示することができる遺跡展示システム等の如く、実写画像とＣＧ画像との重畳表示を可能にしたシステムが本願出願人により提案されている（特願２００２−２６６０２５号参照）。
【０００３】
また、実写型立体映像に立体ＣＧ画像を合成することができる画像合成装置も提案されている（特許文献１参照）。この画像合成装置では、実写画像に合成されるＣＧ画像は、現実空間の被写体画像撮影時のカメラパラメータ（撮影時のカメラの焦点距離、２つのカメラのレンズ中心（視点）間の距離、画像データの画素間隔、カメラの輻輳角、絞り値、画像信号処理部や色信号処理回路の処理パラメータ）を用いて透視投影により生成されるので、違和感のない立体表示を行うことができるようになっている。さらに、この画像合成装置では、撮影者が３次元表示装置に表示される立体画像を見ながら、ＣＧ操作部のインターフェースを介してＣＧの３Ｄ操作（ＣＧ画像の回転、移動、変倍の指示）を行うことができるようになっている。
【０００４】
なお、本発明に関する基礎技術や周辺技術を示す一般的な文献としては、例えば、ＣＧ画像生成時のレンダリングに関する文献（非特許文献１参照）、ＣＧ用モデルの変形時のモーフィング等に関する文献（非特許文献２参照）、眼球運動測定に関する文献（非特許文献３，５参照）、瞬目測定に関する文献（非特許文献４，５参照）等がある。
【０００５】
【特許文献１】
特開平１０−３３６７０３号公報（段落［０００９］、［００１０］、［００３４］〜［００４８］、［００６３］〜［００６７］、図１、図５）
【０００６】
【非特許文献１】
廣瀬通孝著、「バーチャル・リアリティ」、初版、産業図書株式会社、平成５年９月２日、ｐ．１７９−１８４
【非特許文献２】
社団法人テレビジョン学会編集、「先端技術の手ほどきシリーズ３次元ＣＧ」、第１版、株式会社オーム社、平成６年２月１０日、ｐ．１４３−１５１
【非特許文献３】
加藤象二郎、大久保堯夫著、「初学者のための生体機能の測り方」、第１版、株式会社日本出版サービス、１９９９年４月２０日、ｐ．１０５−１０９
【非特許文献４】
大串健吾、中山剛、福田忠彦著、「画質と音質の評価技術」、初版、株式会社昭晃堂、１９９１年３月２８日、ｐ．１４２−１４７
【非特許文献５】
泉武博著、「３次元映像の基礎」、第１版、株式会社オーム社、平成７年６月５日、ｐ．４５−５３
【０００７】
【発明が解決しようとする課題】
ところで、前述した本願出願人による遺跡展示システムも含め、従来のＡＲに関する技術は平面視によるものが多いが、平面視によるＡＲでは、１枚の実写画像と１枚のＣＧ画像とを適切に位置を合わせて重畳表示するだけでよい。これに対し、立体視によるＡＲでは、左右の実写画像と左右のＣＧ画像とをそれぞれ位置合わせしなければならず、しかも実時間で違和感のない重畳表示を実現するには、左右の実写画像の変化に同期させて左右のＣＧ画像を変化させなければならないので、平面視によるＡＲに比べて処理が複雑化する。
【０００８】
前述したように特許文献１に記載された画像合成装置では、左右の実写画像と左右のＣＧ画像とをそれぞれ合成し、違和感のない立体表示を実現している。しかし、この立体表示は、現実空間と仮想空間とを融合するものであるが、現実空間を形成する左右の実写画像と仮想空間を形成する左右のＣＧ画像との位置合わせを行うものではなく、また、左右の実写画像の変化（倍率変化や方向変化等）に対して左右のＣＧ画像を実時間で同期させるものでもない。
【０００９】
また、特許文献１に記載された画像合成装置では、実写画像撮影時のカメラパラメータをＣＧ画像の生成処理で用いるので、実写カメラの条件を仮想カメラの条件に反映させることはできるものの、特許文献１には、実写画像の倍率変化についての記載はなく、従って、実写画像の倍率を実時間で変化させた場合に、この変化にＣＧ画像を同期させるために仮想カメラの条件を具体的にどのように設定するかの記載もない。このため、特許文献１の記載は、観察者の操作により変化する実写型立体映像とこれに対応する立体ＣＧ画像との実時間での合成処理を行う際の技術的課題を解決する方法を提供するものではない。
【００１０】
なお、特許文献１に記載された画像合成装置では、撮影者がＣＧの３Ｄ操作を行うことにより、ＣＧ画像の倍率を変化させることができるようになっているが、これは実写画像の倍率変化に同期させてＣＧ画像の倍率を変化させるものではなく、実写画像の倍率とは無関係に撮影者の操作に従ってＣＧ画像の倍率を変化させる処理である。また、撮影者がＣＧの３Ｄ操作を行うことからも、特許文献１に記載された画像合成装置が、実写画像とＣＧ画像とを適切に位置合わせして重畳表示を行う装置ではないことがわかる。
【００１１】
さらに、特許文献１には、実写画像撮影時のカメラの輻輳角を変更可能な構成としてもよく、このような構成とする場合に、カメラパラメータとしてカメラの輻輳角をＣＧ画像の生成処理で用いる旨の記載がある。しかし、ＣＧ画像の生成処理の際に、カメラパラメータとしての輻輳角をどのように用いるかの具体的な記載はなく、実写画像の倍率変化との関係でその輻輳角をどのように用いるかの記載もない。
【００１２】
従って、観察者による倍率操作を含む各種の操作に対し、実時間で応答して違和感のない複合的な現実感を伴う立体映像を呈示できる立体映像呈示装置は開発されていないのが現状であり、このような立体映像呈示装置が望まれていた。
【００１３】
本発明の目的は、観察者の操作により変化する実写型立体映像とこれに対応する立体ＣＧ画像とを実時間で合成することにより、観察者に対して違和感のない複合的な現実感を伴う立体映像を呈示できる立体映像呈示装置を提供するところにある。
【００１４】
【課題を解決するための手段】
本発明は、左右の両眼視差を伴う実写型立体映像に、左右の両眼視差を伴う立体コンピュータ・グラフィクス画像を合成することにより、観察者に対して複合的な現実感を伴う立体映像を呈示する立体映像呈示装置であって、実写型立体映像を構成する左右の実写映像を取得する実写映像取得手段と、観察者による実写映像取得手段を構成する実写カメラの方向操作情報を検出する方向操作情報検出手段と、観察者が左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段と、実写映像取得手段による実写映像取得対象となる現実空間に対応する仮想空間を形成するためのコンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、このモデル情報記憶手段に記憶されたモデルに関する情報を用いて立体コンピュータ・グラフィクス画像を構成する左右のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、左右の実写映像とこれらに対応する左右のコンピュータ・グラフィクス画像とを実時間でそれぞれ重ね合わせて左右の合成画像を生成する合成処理手段と、この合成処理手段により生成された左右の合成画像を用いて観察者に対して複合的な現実感を伴う立体映像を呈示する出力手段とを備え、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラを用いてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成するレンダリング処理手段と、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき左右の仮想カメラの条件を実時間で変化させる仮想カメラ条件設定手段とを含んで構成されていることを特徴とするものである。
【００１５】
ここで、「実写映像取得手段」は、左右２つの実写カメラにより左右の実写映像をそれぞれ撮影する構成でもよく、１つの実写カメラにより撮影した実写映像を用いて擬似的に左右の実写映像を取得する構成でもよい。後者の構成としては、例えば、ＣＩＤ法（ＣｏｍｐｕｔｅｄＩｍａｇｅＤｅｐｔｈｍｅｔｈｏｄ）や、水平方向に移動する物体（現実空間の被写体）があるような場合には、プルフリッヒ効果を利用したＭＴＤ法（ＭｏｄｉｆｉｅｄＴｉｍｅＤｉｆｆｅｒｅｎｃｅ）等を採用することができる。但し、より違和感のない立体映像を呈示するという観点からは、前者のような左右２つの実写カメラを備えた構成とすることが好ましい。
【００１６】
また、「実写カメラの方向操作情報」は、観察者によるパン操作やチルト操作等の操作量である。「方向操作情報検出手段」としては、例えば、エンコーダ等を採用することができる。「方向操作情報」は、例えば、パン操作角度やチルト操作角度の情報、ベクトル情報等である。
【００１７】
さらに、「倍率操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。「倍率操作情報」は、必ずしも倍率若しくは倍率に比例するデータである必要はなく、例えば、画角若しくは画角に比例するデータ、あるいは焦点距離若しくは焦点距離に比例するデータのように、倍率と１対１で対応し、倍率の指標となるデータであってもよい。
【００１８】
そして、「実時間」は、厳密な意味でのリアルタイムを意味せず、観察後の事後的処理ではなく、観察中に観察者の操作に追従させて処理するという意味であり、例えば、人間の目の残光時間程度の処理時間の遅れは許容される。
【００１９】
このような本発明においては、観察者は、実写映像取得手段を構成する実写カメラの方向を変えながら観察を行う。この観察者による実写カメラの方向操作情報は、方向操作情報検出手段により検出される。また、観察者は、観察を行っている最中に、倍率操作手段により観察中の映像の倍率を変化させることができる。
【００２０】
そして、コンピュータ・グラフィクス画像生成手段で左右のコンピュータ・グラフィクス画像（以下、ＣＧ画像ということがある。）を生成する際には、仮想カメラ条件設定手段により、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき左右の仮想カメラの条件を実時間で変化させ、この仮想カメラ条件を用いてレンダリング処理手段によりレンダリング処理を行って左右のＣＧ画像を生成する。
【００２１】
このようにして観察者の操作に追従する形で生成される左右のＣＧ画像と、観察者の操作に応じた形で得られる左右の実写映像とを、合成処理手段によりそれぞれ合成し、これらの左右の合成画像を用いて出力手段により観察者に対して複合的な現実感を伴う立体映像を呈示する。
【００２２】
このため、観察者が、実写カメラの方向を変えて観察対象物を順次移動させたり、観察中の映像の倍率を変えても、これらの方向操作情報や倍率操作情報がＣＧ画像の生成処理に実時間で用いられ、ＣＧ画像と実写映像との合成処理に実時間で反映されるので、観察者は、違和感のない複合的な現実感を伴う立体映像を実時間で見ながら観察を行うことが可能となり、これらにより前記目的が達成される。
【００２３】
前述した立体映像呈示装置において、実写映像取得手段は、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラを含んで構成され、予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係に従って倍率操作情報に基づき決定される適切な実写カメラ間隔を実現するための制御信号を発生させる間隔制御信号発生手段と、この間隔制御信号発生手段による前記制御信号に基づき前記左右の実写カメラ同士の間隔を適切な実写カメラ間隔に自動調整するカメラ間隔調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラ同士の間隔を適切な実写カメラ間隔に一致させて左右の仮想カメラの位置を設定する位置設定手段と、左右の実写カメラの画角に一致させて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていることが望ましい。
【００２４】
ここで、「間隔制御信号発生手段」は、ソフトウェアまたはハードウェアのいずれにより実現してもよい。ソフトウェアにより実現する場合には、「予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係」を数式の形でプログラム内にコーディングしておくか、またはデータベースに記憶させておき、これらの数式またはデータベースを用いて、プログラムにより、倍率操作手段による倍率操作情報に基づき、観察者が指示した倍率についての適切な実写カメラ間隔を算出決定することができる。
【００２５】
また、「仮想カメラ条件設定手段」の「位置設定手段」は、上記の間隔制御信号発生手段でプログラムにより適切な実写カメラ間隔が算出される場合には、その算出結果から適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を把握してもよく、あるいは「予め定められた倍率または倍率指標値と左右の実写カメラ同士の間隔との対応関係」に従って「位置設定手段」自らが適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を算出してもよい。一方、上記の間隔制御信号発生手段がハードウェアにより実現される場合には、間隔制御信号発生手段で適切な実写カメラ間隔の算出処理が行われるわけではないので、「位置設定手段」自らが適切な実写カメラ間隔（従って、左右の仮想カメラ同士の間隔）を算出する。
【００２６】
さらに、「倍率または倍率指標値」とは、倍率若しくは倍率に比例するデータ、あるいは倍率と１対１で対応する画角若しくは画角に比例するデータをいう。
【００２７】
そして、「左右の実写カメラの画角」は、倍率操作手段による倍率操作情報に基づいて左右の実写カメラに送られるズーム信号により調整されるが、このズーム信号を発生させるズーム信号発生手段は、ソフトウェアまたはハードウェアのいずれにより実現してもよい。「仮想カメラ条件設定手段」の「画角設定手段」は、このズーム信号発生手段がソフトウェアにより実現される場合には、このズーム信号発生手段から受け取る情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を把握してもよく、「画角設定手段」自らが倍率操作情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を算出してもよい。一方、ズーム信号発生手段がハードウェアにより実現される場合には、ズーム信号発生手段で左右の実写カメラの画角が算出されるわけではないので、「画角設定手段」自らが倍率操作情報に基づき左右の実写カメラの画角（従って、左右の仮想カメラの画角）を算出する。
【００２８】
このように光学ズームとともにカメラ間隔を変化させる構成とした場合には、観察者による倍率操作があったときには、撮影倍率の変化（またはそれに伴う画角の変化と考えてもよい。以下、同様である。）と同時または略同時に左右の実写カメラの間隔が変化し、これに伴って左右の仮想カメラの倍率（画角）および間隔が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含んで構成されていることが前提である。
【００２９】
また、前述した立体映像呈示装置において、予め定められた倍率または倍率指標値と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って倍率操作情報に基づき適切な画像中心位置変化量を算出する画像中心位置変化量算出手段と、この画像中心位置変化量算出手段により算出した画像中心位置変化量だけ画像中心位置を変化させて倍率操作情報に基づき左右の実写映像のデジタルズーム処理を行うデジタルズーム処理手段とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラ同士の間隔を左右の実写映像の画像中心位置の変化に合わせて変化させて左右の仮想カメラの位置を設定する位置設定手段と、倍率操作情報に基づく左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていることが望ましい。
【００３０】
ここで、「左右の仮想カメラ同士の間隔を左右の実写映像の画像中心位置の変化に合わせて変化させて」とは、左右の実写映像の画像中心位置の各変化量の合計値と、左右の仮想カメラ同士の間隔の変化量とを一致させ、この際、左右の画像中心位置を互いに近づく方向に変化させた場合（左眼用の実写映像の画像中心位置を右方向へ、右眼用の実写映像の画像中心位置を左方向へ変化させた場合）には、左右の仮想カメラ同士の間隔を狭め、一方、左右の画像中心位置を互いに離れる方向に変化させた場合（左眼用の実写映像の画像中心位置を左方向へ、右眼用の実写映像の画像中心位置を右方向へ変化させた場合）には、左右の仮想カメラ同士の間隔を広げるという意味である。従って、左右の実写映像の画像中心位置の変化に対応させて左右の実写カメラの光軸位置を変化させたと仮定した場合（あくまで説明上の仮定であり、この構成の場合は、必ずしも左右２つの実写カメラの存在が前提となるものではない。）に、その変化したと仮定した左右の実写カメラ同士の間隔に左右の仮想カメラ同士の間隔を一致させるという意味である（図７参照）。
【００３１】
また、「左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する」とは、デジタルズームを光学ズームで行ったと仮定した場合に、その時の実写カメラの画角（変化したと仮定した画角）に仮想カメラの画角を一致させるという意味である。
【００３２】
このようにデジタルズームが可能な構成とした場合には、観察者による倍率操作があったときには、その倍率操作と同時または略同時に、取得された左右の実写映像の画像中心位置が変化し、この変化した画像中心位置を基準にしてデジタルズーム処理が行われ、これに伴って左右の仮想カメラの倍率（画角）および間隔が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含む構成でもよく、１つの実写カメラにより得られた実写映像から擬似的に左右の実写映像を生成する構成でもよい。
【００３３】
さらに、前述した立体映像呈示装置において、実写映像取得手段は、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラを含んで構成され、予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係に従って倍率操作情報に基づき決定される適切な実写カメラ光軸角度を実現するための制御信号を発生させる光軸角度制御信号発生手段と、この光軸角度制御信号発生手段による制御信号に基づき左右の実写カメラの光軸角度を適切な実写カメラ光軸角度に自動調整するカメラ光軸角度調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラの光軸角度を適切な実写カメラ光軸角度に一致させて左右の仮想カメラの方向を設定する方向設定手段と、左右の実写カメラの画角に一致させて左右の仮想カメラの画角を設定する画角設定手段とを含んで構成されていてもよい。
【００３４】
ここで、「光軸角度制御信号発生手段」は、光学ズームとともにカメラ間隔を変化させる構成における「間隔制御信号発生手段」の場合と同様に、ソフトウェアまたはハードウェアのいずれにより実現してもよく、ソフトウェアにより実現する場合には、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」は、数式またはデータベースを用いて定められる。
【００３５】
このように光学ズームとともに光軸角度を変化させる構成とした場合には、観察者による倍率操作があったときには、撮影倍率の変化（左右の実写カメラの画角の変化）と同時または略同時に左右の実写カメラの光軸角度が変化し、これに伴って左右の仮想カメラの倍率（画角）および光軸角度が変化するので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することが可能となる。なお、この構成の場合は、実写映像取得手段が左右２つの実写カメラを含んで構成されていることが前提である。
【００３６】
また、上記のように光学ズームとともに光軸角度を変化させる構成とした場合において、観察者が左右の実写カメラの光軸角度を変化させるための入力操作を行う光軸角度操作手段と、この光軸角度操作手段による光軸角度操作情報に基づいて発生させる制御信号により倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係とは無関係に左右の実写カメラの光軸角度を調整するカメラ光軸角度調整装置とを備え、コンピュータ・グラフィクス画像生成手段の仮想カメラ条件設定手段は、左右の仮想カメラの光軸角度を左右の実写カメラの光軸角度に一致させて左右の仮想カメラの方向を設定する方向設定手段を含んで構成されていてもよい。
【００３７】
ここで、「光軸角度操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００３８】
このように手動で光軸角度を変化させることができる構成とした場合には、観察者は、光軸角度操作手段を操作することにより、光軸角度の自動調整の際に用いられる「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」とは無関係に、光軸角度を変化させることができ、自分の好みの立体感を作り出すことが可能となる。
【００３９】
以上において、光学ズームが可能な構成（カメラ間隔を変化させる場合および光軸角度を変化させる場合のいずれも含む。）と、デジタルズームが可能な構成とは、組み合わせてもよく、組み合わせることにより光学ズームとデジタルズームとの併用（連続適用）が可能となる。なお、併用する場合には、画質向上の観点から、光学ズームを優先することが好ましい。一方、デジタルズームのみの場合には、装置構成の簡易化や処理速度（追従速度）の向上を図ることができる。
【００４０】
また、以上に述べた立体映像呈示装置において、観察者が実写型立体映像と立体コンピュータ・グラフィクス画像との混合率を変化させるための入力操作を行う混合率操作手段を備え、合成処理手段は、混合率操作手段による混合率操作情報に基づき左右の合成画像を生成する構成とされていることが望ましい。
【００４１】
ここで、「混合率操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００４２】
このように実写型立体映像と立体ＣＧ画像との混合率を変化させることができる構成とした場合には、観察者は、実写型立体映像または立体ＣＧ画像のいずれか一方を主とする観察を行うことが可能となる。
【００４３】
さらに、以上に述べた立体映像呈示装置において、観察者が実写型立体映像の変化とは独立して立体コンピュータ・グラフィクス画像を変化させるための入力操作を行うコンピュータ・グラフィクス操作手段を備え、コンピュータ・グラフィクス画像生成手段は、コンピュータ・グラフィクス操作手段によるコンピュータ・グラフィクス操作情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いてモデルを変形させるモデル変形処理手段を含んで構成されていることが望ましい。
【００４４】
ここで、「コンピュータ・グラフィクス操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００４５】
また、「モデルを変形させる」ことには、モデルの幾何形状を変形させること、表面特性（色や柄や質感等）を変化させること（無色透明から有色へ、あるいはその逆の変化を含む。）等が含まれる。
【００４６】
さらに、立体ＣＧ画像を変化させる目的としては、例えば、経年変化の観察、分岐状況の対比観察、複数候補や選択要素の対比観察等が挙げられる。経年変化の観察とは、例えば、ある遺跡の現在の状態、平安時代の状態、奈良時代の状態を対比するような観察等である。分岐状況の対比観察とは、例えば、ある地域の治安が悪化した場合の未来の状態と、核戦争後の未来の状態と、科学技術が健全に発展した場合の未来の状態とを対比するような観察等である。複数候補や選択要素の対比観察とは、例えば、建設現場においてビルのオーナーが建設予定のビルについての複数の案を対比するような観察等である。
【００４７】
このように立体ＣＧ画像を変化させることができる構成とした場合には、観察者は、実写型立体映像と立体ＣＧ画像との複数の合成パターンを容易に対比観察することが可能となる。このため、観察者への情報呈示量の増大、情報呈示の多様化や高度化を図ることが可能となる。
【００４８】
そして、以上に述べた立体映像呈示装置において、出力手段により呈示された立体映像を観察中の観察者の左眼および／または右眼を撮影する左眼撮影用および／または右眼撮影用のカメラと、これらの左眼撮影用および／または右眼撮影用のカメラにより撮影された左眼および／または右眼の画像を用いて左眼および／または右眼の眼球運動、瞬目の発生頻度、または瞳孔面積のうちの少なくとも一種類の測定・解析を行う評価手段とを備えた構成とすることが望ましい。
【００４９】
このように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合には、観察者の生理情報（左眼および／または右眼の眼球運動、瞬目の発生頻度、または瞳孔面積のうちの少なくとも一種類の情報）に基づき、立体映像の中の注視箇所、注視箇所に対する興味・関心の度合い、または注視箇所に対する好感度のうちの少なくとも一種類の情報を把握することが可能となる。このため、把握した情報に基づき、例えば、その観察者への別の情報呈示装置での情報呈示対象や情報呈示方法の選択等の調整、あるいはその観察者への評価結果の通知を行うことが可能となり、また、複数の観察者の生理情報から得られる情報を蓄積すれば、本発明の立体映像呈示装置で呈示する各種情報の全体的な見直し、変更、アレンジ等も可能となる。なお、評価手段による測定・解析は、実時間で行うことが好ましい。
【００５０】
また、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の左眼および／または右眼の眼球運動から立体映像の中の注視箇所を同定する注視箇所同定手段と、この注視箇所同定手段により同定した注視箇所を記録して保存する注視箇所記憶手段とを備えた構成とすることが望ましい。
【００５１】
このように注視箇所同定手段および注視箇所記憶手段を設けた場合には、左眼および／または右眼の眼球運動の情報を、各種の処理での利用や取扱いが可能な形の注視箇所の情報に変換し、保存することが可能となる。なお、注視箇所同定手段による同定処理は、実時間で行うことが好ましい。
【００５２】
そして、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の瞬目の発生頻度から立体映像の中の注視箇所に対する興味・関心の度合いを定量化する興味・関心度合い定量化手段と、この興味・関心度合い定量化手段により定量化した興味・関心度合いを記録して保存する興味・関心度合い記憶手段とを備えた構成とすることが望ましい。
【００５３】
このように興味・関心度合い定量化手段および興味・関心度合い記憶手段を設けた場合には、観察者の瞬目の発生頻度の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する興味・関心の度合いの情報に変換し、保存することが可能となる。なお、興味・関心度合い定量化手段による定量化処理は、実時間で行うことが好ましい。
【００５４】
また、上記のように左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の瞳孔面積から立体映像の中の注視箇所に対する好感度を定量化する好感度定量化手段と、この好感度定量化手段により定量化した好感度を記録して保存する好感度記憶手段とを備えた構成とすることが望ましい。
【００５５】
このように好感度定量化手段および好感度記憶手段を設けた場合には、観察者の瞳孔面積の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する好感度の情報に変換し、保存することが可能となる。なお、好感度定量化手段による定量化処理は、実時間で行うことが好ましい。
【００５６】
さらに、以上に述べた立体映像呈示装置において、実写型立体映像の中の観察対象物および／または立体コンピュータ・グラフィクス画像の中の観察対象物についての付帯情報を記憶する付帯情報記憶手段と、観察対象物についての出力手段による付帯情報の呈示が可能であることを表示する処理を行うイベント発生可能表示処理手段と、このイベント発生可能表示処理手段によるイベント発生可能表示が行われている観察対象物の中から観察者が興味を持った観察対象物を選択するための入力操作を行うイベント開始操作手段と、このイベント開始操作手段により選択された観察対象物について付帯情報記憶手段に記憶されている付帯情報を出力手段により呈示する処理を行う付帯情報呈示手段とを備えた構成とすることが望ましい。
【００５７】
ここで、「イベント開始操作手段」としては、例えば、プッシュ式のボタン、スライド式のツマミ、ダイヤル式の設定器、音声認識装置等を採用することができる。
【００５８】
また、「付帯情報」には、例えば、テキスト情報、音声情報、静止画情報、動画情報、あるいはこれらの組合せ等が含まれ、静止画情報や動画情報は、実写画像でも２Ｄや３ＤのＣＧ画像でもよく、観察者への呈示は、平面視でも立体視でもよい。
【００５９】
このようにイベント発生が可能な構成とした場合には、観察者に対し、より多くの情報を呈示することが可能となるうえ、観察者のイベント開始操作に従って情報呈示を行うため、観察者が必要とする時に必要な観察対象物についてのみ付帯情報を呈示することが可能となる。
【００６０】
そして、以上に述べた立体映像呈示装置において、実写型立体映像の中の観察対象物および／または立体コンピュータ・グラフィクス画像の中の観察対象物についてブックマークを付すことが可能であることを表示する処理を行うブックマーク可能表示処理手段と、このブックマーク可能表示処理手段によるブックマーク可能表示が行われている観察対象物の中から観察者がブックマークを付す観察対象物を選択するための入力操作を行うブックマーク操作手段と、このブックマーク操作手段による観察対象物の選択情報を受け付けてこの観察対象物にブックマークを付すための登録処理を行うブックマーク登録処理手段と、このブックマーク登録処理手段による登録処理対象となった観察対象物の識別情報およびこの観察対象物にブックマークが付された順序情報を含むブックマーク情報を記憶するブックマーク情報記憶手段と、このブックマーク情報記憶手段に記憶されたブックマーク情報を含む観察者の操作情報をネットワークを介して別の情報呈示装置に送信する観察者操作情報送信手段とを備えた構成とすることが望ましい。
【００６１】
ここで、本発明の立体映像呈示装置が、例えば、定位置から広範囲な場所を観察する定点観測装置であるとすれば、「別の情報呈示装置」は、例えば、観察者が携帯しながら呈示情報を見ることができる携帯型の情報呈示装置である。
【００６２】
また、「観察者操作情報送信手段」は、ブックマーク情報を含む観察者の操作情報を、別の情報呈示装置からの要求に応じて別の情報呈示装置に送信してもよく、あるいは自らのタイミングで別の情報呈示装置に送信してもよい。
【００６３】
さらに、「ブックマーク情報を含む観察者の操作情報」とは、ブックマーク情報の他に、例えば、パン操作やチルト操作、倍率操作、混合率操作、イベント開始操作、コンピュータ・グラフィクス操作等の観察者による各種の操作情報を別の情報呈示装置に送信してもよい趣旨である。
【００６４】
そして、「ネットワーク」には、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット、あるいはこれらの組合せ等、様々な形態のものが含まれ、有線であるか無線であるか、さらには有線および無線の混在型であるかは問わず、要するに、複数地点（距離の長短は問わない。）間で、ある程度の速度をもって情報を伝送することができるものであればよい。
【００６５】
このように観察対象物にブックマークを付すことが可能な構成とした場合には、観察者は、自分が後でその場所に行って詳細に観察したい観察対象物についてブックマークを付すことが可能となる。また、別の情報呈示装置へのブックマーク情報の送信を行うことができるので、別の情報呈示装置において、ブックマークを付した観察対象物への誘導処理等を行うことが可能となる。
【００６６】
また、前述した左眼撮影用および／または右眼撮影用のカメラ並びに評価手段を設けた場合において、評価手段により測定・解析された観察者の左眼および／または右眼の眼球運動から同定された立体映像の中の注視箇所と、評価手段により測定・解析された観察者の瞬目の発生頻度から定量化された立体映像の中の注視箇所に対する興味・関心の度合いと、評価手段により測定・解析された観察者の瞳孔面積から定量化された立体映像の中の注視箇所に対する好感度とのうち、少なくとも一種類の情報をネットワークを介して別の情報呈示装置に送信する観察者生理情報送信手段を備えた構成とすることが望ましい。
【００６７】
ここで、「観察者生理情報送信手段」は、観察者の生理情報から得られた情報を、別の情報呈示装置からの要求に応じて別の情報呈示装置に送信してもよく、あるいは自らのタイミングで別の情報呈示装置に送信してもよい。
【００６８】
このように観察者生理情報送信手段を設けた場合には、観察者の生理情報から得られた情報を、別の情報呈示装置において、観察者の誘導処理や観察者への情報呈示処理に利用することが可能となる。
【００６９】
【発明の実施の形態】
以下に本発明の各実施形態を図面に基づいて説明する。
【００７０】
［第１実施形態］
図１には、本発明の第１実施形態の立体映像呈示装置１０の全体構成がデータや信号の流れとともに示されている。また、図２は、立体映像呈示装置１０の双眼鏡装置２０の立面構成図であり、図３は、双眼鏡装置２０を上側から見た状態の水平断面図であり、図４は、双眼鏡装置２０の入力操作手段７０の斜視図である。
【００７１】
図１および図２において、立体映像呈示装置１０は、観察者１が左右両眼で遺跡等のフィールドを観察するための双眼鏡装置２０と、この双眼鏡装置２０にケーブル２を介して接続されて観察に必要な各種の画像処理を行う画像処理装置８０とを備えて構成されている。
【００７２】
双眼鏡装置２０は、観察者１が覗く双眼鏡３０と、この双眼鏡３０を可動自在に支持する双眼鏡支持機構５０と、双眼鏡３０の設置位置を移動させるための台車６０と、この台車６０に立設されて双眼鏡３０および双眼鏡支持機構５０を下側から支える長さ調整可能な双眼鏡高さ位置調整棒６１と、観察者１の入力操作を受け付けるインターフェースの役割を果たす入力操作手段７０とを備えている。
【００７３】
図２および図３において、双眼鏡３０は、左右の実写映像を取得する実写映像取得手段３１を構成する左右２つの実写カメラ３２，３３と、これらの実写カメラ３２，３３同士の間隔を自動調整するカメラ間隔調整装置３４と、左眼用の画像を出力する垂直方向に配置された液晶パネル３５と、右眼用の画像を出力する水平方向に配置された液晶パネル３６と、これらの液晶パネル３５，３６とそれぞれ４５度をなす方向に配置されたハーフミラー３７と、偏光フィルタ付の左右の接眼レンズ３８，３９とを備えている。
【００７４】
実写カメラ３２，３３は、例えばＣＣＤカメラ等であり、光学ズームが可能な構成とされている。また、光量を調整するＮＤフィルタを適宜設けてもよい。
【００７５】
カメラ間隔調整装置３４は、例えばモータやシリンダ装置等により駆動され、間隔制御信号発生手段８２からの制御信号により制御される。
【００７６】
液晶パネル３５，３６は、例えばＴＦＴパネル等であり、偏光フィルタにより互いに９０度偏光方向の異なる画像を出力する。そして、図２中の一点鎖線に示すように、左眼用の画像を出力する液晶パネル３５からの光線は、ハーフミラー３７を透過し、左右の接眼レンズ３８，３９に至り、図３中の一点鎖線に示すように、偏光フィルタにより左眼用の接眼レンズ３８は通過するが右眼用の接眼レンズ３９は通過しない。一方、図２中の点線に示すように、右眼用の画像を出力する液晶パネル３６からの光線は、ハーフミラー３７で直角に曲げられて左右の接眼レンズ３８，３９に至り、図３中の点線に示すように、偏光フィルタにより右眼用の接眼レンズ３９は通過するが左眼用の接眼レンズ３８は通過しない。従って、液晶パネル３５，３６およびハーフミラー３７、並びに左右の接眼レンズ３８，３９により、観察者１に対して両眼視差を伴う立体映像を呈示する出力手段４０が構成されている。
【００７７】
なお、本実施形態の場合とは逆に、左眼用の画像を出力する液晶パネルを水平方向に配置し、右眼用の画像を出力する液晶パネルを垂直方向に配置してもよい。また、本実施形態では、直線偏光方式としているが、偏光方式は円偏光方式としてもよい。
【００７８】
また、双眼鏡３０は、出力手段４０により呈示された立体映像を観察中の観察者の左眼および右眼を撮影する左眼撮影用および右眼撮影用のカメラ４１，４２を備えている。これらのカメラ４１，４２は、ハーフミラー３７に映っている左眼および右眼を撮影できるように、図２においてハーフミラー３７の右下位置に配置されているが、図２中の二点鎖線に示すように、ハーフミラー３７の左上位置に配置してもよい。
【００７９】
双眼鏡支持機構５０は、観察者によるパン操作を許容するパン操作機構５１と、観察者によるチルト操作を許容するチルト操作機構５２とにより構成されている。パン操作機構５１には、方向操作情報検出手段であるパン操作角度検出手段５３が設けられ、チルト操作機構５２には、方向操作情報検出手段であるチルト操作角度検出手段５４が設けられている。これらのパン操作角度検出手段５３およびチルト操作角度検出手段５４は、例えばエンコーダ等である。
【００８０】
図１および図４において、入力操作手段７０は、観察者が左右の実写映像の倍率を変化させるための入力操作を行う倍率操作手段７１を構成するズームアップボタン７１Ａおよびズームダウンボタン７１Ｂと、観察者が実写型立体映像と立体ＣＧ画像との混合率を変化させるための入力操作を行う混合率操作手段７２を構成するフェードインボタン７２Ａおよびフェードアウトボタン７２Ｂと、観察者が立体ＣＧ画像を経年変化させるための入力操作を行うコンピュータ・グラフィクス操作手段である経年変化操作手段７３を構成するタイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂとを備えている。
【００８１】
また、入力操作手段７０は、ブックマーク可能表示処理手段９６によるブックマーク可能表示が行われている観察対象物の中から観察者がブックマークを付す観察対象物を選択するための入力操作を行うブックマーク操作手段であるブックマークボタン７４と、イベント発生可能表示処理手段９３によるイベント発生可能表示が行われている観察対象物の中から観察者が興味を持った観察対象物を選択するための入力操作を行うイベント開始操作手段であるイベント開始ボタン７５とを備えている。
【００８２】
ズームアップボタン７１Ａは、倍率を上げるための望遠（Ｔｅｌｅ）用のボタンであり、ズームダウンボタン７１Ｂは、倍率を下げるための広角（Ｗｉｄｅ）用のボタンであり、これらのズームアップボタン７１Ａおよびズームダウンボタン７１Ｂを押すと、図８に示すように、出力手段４０の画面上に現在操作中の倍率指示状況を示す倍率指示状況表示部７１Ｃが出力される。本実施形態では、倍率指示状況表示部７１Ｃは、一例として、細長い逆三角形形状とされ、ズームアップボタン７１Ａおよびズームダウンボタン７１Ｂが右手で操作される位置に設けられているので（図４参照）、それをイメージさせるために画面の右端位置に表示される。倍率指示状況表示部７１Ｃの上下方向の中央位置には、初期状態（Ｄｅｆａｕｌｔ）を示す標準倍率バー７１Ｄが設けられ、現在の指示倍率を示すスライドバー７１Ｅが倍率指示状況表示部７１Ｃの中を倍率操作に応じて上下するようになっている。ズームアップボタン７１Ａは、上側に設けられているので（図４参照）、それをイメージできるようにズームアップボタン７１Ａを押すとスライドバー７１Ｅが上方に移動し、一方、ズームダウンボタン７１Ｂは、下側に設けられているので（図４参照）、それをイメージできるようにズームダウンボタン７１Ｂを押すとスライドバー７１Ｅが下方に移動するようになっている。また、本実施形態では、光学ズームとデジタルズームとの併用が可能となっているので、スライドバー７１Ｅを最上部に位置させて最大倍率にすると、光学ズームおよびデジタルズームが併用される。但し、光学ズームが優先されるので、光学ズームだけで対応できる指示倍率の場合には、デジタルズームは行われない。
【００８３】
フェードインボタン７２Ａは、立体ＣＧ画像を濃く表示するためのボタンであり、フェードアウトボタン７２Ｂは、立体ＣＧ画像をうすく表示するためのボタンであり、これらのフェードインボタン７２Ａおよびフェードアウトボタン７２Ｂを押すと、図８に示すように、出力手段４０の画面上に現在操作中の混合率指示状況を示す混合率指示状況表示部７２Ｃが出力される。本実施形態では、混合率指示状況表示部７２Ｃは、一例として、立体ＣＧ画像の濃淡をイメージさせるように上側部分がボケていて下側部分が鮮明になっている細長い棒状とされ、フェードインボタン７２Ａおよびフェードアウトボタン７２Ｂが左手で操作される位置に設けられているので（図４参照）、それをイメージさせるために画面の左端位置に表示される。混合率指示状況表示部７２Ｃの上下方向の中央位置には、混合度合いが均等になる初期状態（Ｄｅｆａｕｌｔ）を示す標準混合率バー７２Ｄが設けられ、現在の指示混合率を示すスライドバー７２Ｅが混合率指示状況表示部７２Ｃの中を混合率操作に応じて上下するようになっている。フェードインボタン７２Ａを押し続けると、スライドバー７２Ｅが下方に移動し（図４に示すようにフェードインボタン７２Ａが下側に設けられているので、そのイメージと一致させている。）、立体ＣＧ画像（例えば、図８中の過去の建造物等のモデル４）は除々に濃くなり、逆に、実写型立体映像（例えば、図８中の山や空や地面等の背景３）は除々にうすくなり、スライドバー７２Ｅが最下部の位置に達した時点で、立体ＣＧ画像のみとなり、実写型立体映像は消えてしまう。一方、フェードアウトボタン７２Ｂを押し続けると、スライドバー７２Ｅが上方に移動し（図４に示すようにフェードアウトボタン７２Ｂが上側に設けられているので、そのイメージと一致させている。）、立体ＣＧ画像は除々にうすくなり、逆に、実写型立体映像は除々に濃くなり、スライドバー７２Ｅが最上部の位置に達した時点で、実写型立体映像のみとなり、立体ＣＧ画像は消えてしまう。
【００８４】
タイムフォワードボタン７３Ａは、立体ＣＧ画像により形成される仮想空間の時間（本実施形態では、一例として時代とする。）を標準時（初期状態の時代）よりも未来の時代に進めるためのボタンであり、タイムバックワードボタン７３Ｂは、仮想空間の時間（時代）を標準時（初期状態の時代）よりも過去の時代に戻すためのボタンであり、これらのタイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂを押すと、図９に示すように、出力手段４０の画面上に現在操作中の時間（時代）指示状況を示す時間（時代）指示状況表示部７３Ｃが出力される。本実施形態では、時代指示状況表示部７３Ｃは、一例として、横方向に細長い三角形形状とされ、タイムフォワードボタン７３Ａおよびタイムバックワードボタン７３Ｂが右手で操作される位置の上面に設けられているので（図４参照）、それをイメージさせるために画面の上端の右側位置に表示される。時代指示状況表示部７３Ｃの左右方向の中央位置には、初期状態（Ｄｅｆａｕｌｔ）を示す標準時バー７３Ｄが設けられ、現在指示中の時代を示すスライドバー７３Ｅが時代指示状況表示部７３Ｃの中を経年変化操作に応じて左右に移動するようになっている。
【００８５】
立体映像呈示装置１０では、観察者の方向操作や倍率操作に従って実写型立体映像が変化するとこれに同期して立体ＣＧ画像が変化するが、立体ＣＧ画像の経年変化は、このような実写型立体映像の変化に対する追従変化とは独立して行われる。例えば、図９に示すように、ある時代に存在していた物体として画面に表示される過去の建造物等のモデル４は、観察者により経年変化操作が行われて別の時代になると、図９中の二点鎖線に示すように画面から消えてしまい、別の建造物等のモデル５が現れる。この際、観察者の方向操作や倍率操作が全く行われていなくても、経年変化操作により立体ＣＧ画像が変化する。また、方向操作や倍率操作が行われれば、それらの操作が行われた各々の状況下において、それぞれ経年変化操作が可能である。なお、経年変化は、図９に示すような物体の消失や出現という変化に限らず、例えば、年月をかけて一つの建造物が除々に構築されていく様子や崩壊していく様子、あるいはそれらの様子と物体の消失や出現との組合せ等であってもよい。
【００８６】
図１において、画像処理装置８０は、コンピュータにより構成され、ズーム信号発生手段８１と、間隔制御信号発生手段８２と、画像中心位置変化量算出手段８３と、デジタルズーム処理手段８４と、コンピュータ・グラフィクス画像生成手段８５と、合成処理手段８９と、モデル情報記憶手段９０とを備えている。また、画像処理装置８０は、液晶ディスプレイやＣＲＴディスプレイ等の表示手段８０Ａを備え（図２参照）、この表示手段８０Ａには、双眼鏡装置２０の出力手段４０により観察者に対して呈示される両眼視差を伴う立体映像と同じ立体映像が表示されるので、表示手段８０Ａを見ている者は、液晶シャッタ方式や偏光フィルタ方式のメガネ等を用いることにより、双眼鏡３０を覗いている観察者と同じ映像を見ることができる。
【００８７】
ズーム信号発生手段８１は、倍率操作手段７１による倍率操作情報（本実施形態では、一例として画角に比例するデータとされている。）に基づきズーム信号を発生させ、このズーム信号を左右の実写カメラ３２，３３に送信する処理を行うものである。なお、ズーム信号は、画像処理装置８０を経由せずに、倍率操作手段７１から左右の実写カメラ３２，３３に送られるようにしてもよい。
【００８８】
間隔制御信号発生手段８２は、光学ズーム時に、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写カメラ３２，３３同士の間隔との対応関係に従って、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての適切な実写カメラ間隔を算出し、この間隔を実現するための制御信号を発生させ、この制御信号をカメラ間隔調整装置３４に送信する処理を行うものである。ここで、予め定められた倍率または倍率指標値と左右の実写カメラ３２，３３同士の間隔との対応関係は、数式またはデータベースにより定められる。
【００８９】
画像中心位置変化量算出手段８３は、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての適切な画像中心位置変化量を算出する処理を行うものである。ここで、予め定められた倍率または倍率指標値（本実施形態では、画角）と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係は、数式またはデータベースにより定められる。
【００９０】
デジタルズーム処理手段８４は、画像中心位置変化量算出手段８３により算出した画像中心位置変化量だけ画像中心位置を変化させた状態で、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写映像のデジタルズーム処理を行うものである。
【００９１】
コンピュータ・グラフィクス画像生成手段８５は、モデル情報記憶手段９０に記憶されたモデルに関する情報を用いて立体ＣＧ画像を構成する左右のＣＧ画像を生成する処理を行うものであり、仮想カメラ条件設定手段８６と、モデル変形処理手段８７と、レンダリング処理手段８８とを含んで構成されている。
【００９２】
仮想カメラ条件設定手段８６は、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報（例えば、エンコーダのパルス信号等）、並びに倍率操作手段７１による倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、左右の仮想カメラ９１，９２の条件を実時間で変化させる処理を行うものであり、仮想カメラ９１，９２の方向を設定する方向設定手段８６Ａと、仮想カメラ９１，９２の画角を設定する画角設定手段８６Ｂと、仮想カメラ９１，９２の位置を設定する位置設定手段８６Ｃとを含んで構成されている。
【００９３】
方向設定手段８６Ａは、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定する。
【００９４】
画角設定手段８６Ｂは、光学ズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写カメラ３２，３３の画角に一致するように左右の仮想カメラ９１，９２の画角を算出し、設定する（図６参照）。また、画角設定手段８６Ｂは、デジタルズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づく左右の実写映像のデジタルズームに合わせて左右の仮想カメラの画角を設定する（図７参照）。
【００９５】
位置設定手段８６Ｃは、光学ズーム時には、左右の仮想カメラ９１，９２同士の間隔を、間隔制御信号発生手段８２により算出された適切な実写カメラ間隔に一致させるように、左右の仮想カメラ９１，９２の位置を設定する（図６参照）。また、位置設定手段８６Ｃは、デジタルズーム時には、左右の仮想カメラ９１，９２同士の間隔を、左右の実写映像の画像中心位置の変化に合わせて変化させて左右の仮想カメラ９１，９２の位置を設定する（図７参照）。
【００９６】
モデル変形処理手段８７は、経年変化操作手段７３による経年変化操作情報に基づき、モデル情報記憶手段９０に記憶されたモデルに関する情報を用いて、モデルを変形させる処理を行うものである。この際、モデルの変形は、２つの形状から中間形状を生成するモーフィング（ブレンドシェープと称されることもある。）の機能等により実現される。例えば、形状の変化情報を、ある一定の時間（時代）毎にモデル情報記憶手段９０に記憶させておき、これらの複数（２つまたは３つ以上）の時間（時代）と時間（時代）との間における変化については、予め記憶させておいた形状データを補間して表示することができる。但し、本発明におけるモデルの変形は、モデルの幾何形状の変形のみならず、表面特性（色や柄や質感等）の変化等も含まれ、図９に示すような物体の出現や消失（例えば、無色透明から有色へ、あるいはその逆の変化により実現できる。）も含まれる。なお、モーフィング等のモデル変形処理については、前述した非特許文献２等に詳述されているので、ここでは詳しい説明は省略する。
【００９７】
レンダリング処理手段８８は、仮想カメラ条件設定手段８６により設定された条件下で、左右の仮想カメラ９１，９２を用いてレンダリング処理を行うことにより左右のＣＧ画像を生成するものであり、レンダラーと称されるソフトウェアにより実現される。なお、レンダリング処理については、前述した非特許文献１等に詳述されているので、ここでは詳しい説明は省略する。
【００９８】
合成処理手段８９は、左眼用の実写映像と左眼用のＣＧ画像とを重ね合わせて左眼用の合成画像を生成するとともに、右眼用の実写映像と右眼用のＣＧ画像とを重ね合わせて右眼用の合成画像を生成する処理を行うものである。この合成処理の際には、混合率操作手段７２による混合率操作情報に基づき、実写映像とＣＧ画像との混合割合を調整する。
【００９９】
モデル情報記憶手段９０は、実写映像取得手段３１による実写映像取得対象となる現実空間（本実施形態では、一例として遺跡等のフィールド）に対応する仮想空間を形成するためのＣＧ用のモデルに関する情報を記憶するものである。モデルに関する情報には、各モデルの形状データ、位置データ、表面特性のデータ（色のデータ、テクスチャマッピングデータ、バンプマッピングデータ等を含む。）、経年変化用のモデル変形に関するデータ、ブックマークが可能か否かの情報（ブックマークは、モデル毎に付すことができるようにしてもよく、モデルの構成パーツ毎に付すことができるようにしてもよい。）等が含まれる。なお、後述する付帯情報記憶手段９５に記憶される付帯情報（基本情報の説明データやムービーデータ）を、モデル情報記憶手段９０にまとめて記憶させてもよい。
【０１００】
また、図１において、画像処理装置８０は、イベント発生可能表示処理手段９３と、付帯情報呈示手段９４と、付帯情報記憶手段９５と、ブックマーク可能表示処理手段９６と、ブックマーク登録処理手段９７と、観察者操作情報送信手段９８と、ブックマーク情報記憶手段９９と、ログデータ記憶手段１００とを備えている。
【０１０１】
イベント発生可能表示処理手段９３は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物について出力手段４０による付帯情報の呈示が可能であることを表示する処理を行うものである。このイベント発生可能表示は、出力手段４０の画面上への文字による表示でもよく、アイコンのような絵柄表示等でもよい。
【０１０２】
なお、実写型立体映像の中の観察対象物（例えば、遺跡において、現在まで消失せずに残っている建造物、あるいは高樹齢や歴史的価値のある特徴的な樹木等）は、画面上に表示されないＣＧ用のモデルをその観察対象物に重なる位置に用意しておくことにより、イベント開始ボタン７５による選択対象とすることができ、イベントを発生させることができる。後述するように、実写型立体映像の中の観察対象物を、ブックマークを付す選択対象とする場合も同様である。
【０１０３】
付帯情報呈示手段９４は、イベント開始操作手段であるイベント開始ボタン７５（図４参照）により選択された観察対象物について付帯情報記憶手段９５に記憶されている付帯情報を、出力手段４０により呈示する処理を行うものである。
【０１０４】
付帯情報記憶手段９５は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物についての付帯情報を記憶するものである。本実施形態では、各観察対象物についての付帯情報として、文章による説明で基本情報の呈示を行うためのデータと、基本情報に加えてムービーでの情報呈示を行うためのデータとが用意されている。
【０１０５】
ブックマーク可能表示処理手段９６は、実写型立体映像の中の観察対象物および立体ＣＧ画像の中の観察対象物についてブックマークを付すことが可能であることを表示する処理を行うものである。このブックマーク可能表示は、出力手段４０の画面上への文字による表示でもよく、アイコンのような絵柄表示等でもよい。そして、ブックマーク可能表示処理手段９６は、出力手段４０の画面中央位置（カメラ光軸の延長上）にあり、かつ、画面における表示面積が一定以上のモデル（またはその構成パーツ）について、モデル情報記憶手段９０に記憶されているそのモデルに関する情報を参照し、そのモデル（またはその構成パーツ）がブックマーク可能モデル（またはパーツ）であるときに、ブックマーク可能表示を行う。
【０１０６】
ブックマーク登録処理手段９７は、ブックマーク操作手段であるブックマークボタン７４（図４参照）による観察対象物の選択情報を受け付け、この観察対象物にブックマークを付すための登録処理として、選択された観察対象物についてのブックマーク情報をブックマーク情報記憶手段９９に記憶させる処理を行うものである。
【０１０７】
観察者操作情報送信手段９８は、ブックマーク情報記憶手段９９に記憶されたブックマーク情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０に送信する処理を行うものである（図２参照）。また、必要に応じ、ログデータ記憶手段１００に記憶されたログデータを送信する処理も行う。
【０１０８】
なお、図２において、情報呈示装置１３０は、観察者の頭部に装着する携帯型の情報呈示装置であり、情報呈示装置１４０は、観察者が手で持ち運ぶ携帯型の情報呈示装置であり、いずれも本発明の立体映像呈示装置１０により観察される遺跡等のフィード内に存在する観察対象物について情報呈示を行う装置である。これらの情報呈示装置１３０，１４０は、例えば、前述した本願出願人により提案されている装置（特願２００２−２６６０２５号参照）等である。そして、観察者は、情報呈示装置１３０，１４０の画面上の誘導表示に従って観察対象物の近傍まで行き、そこで観察対象物について情報呈示装置１３０，１４０から情報呈示を受けることができる。
【０１０９】
ブックマーク情報記憶手段９９は、ブックマーク登録処理手段９７による登録処理対象となった観察対象物の識別情報（ＩＤ）およびこの観察対象物にブックマークが付された順序情報を含むブックマーク情報を記憶するものである。なお、ブックマーク情報には、識別情報（ＩＤ）および順序情報の他に、例えば、観察対象物の位置情報（緯度や経度の情報）を含ませてもよい。このブックマーク情報は、別の情報呈示装置１３０，１４０（図２参照）に送信され、これらの情報呈示装置１３０，１４０において、ブックマークを付した観察対象物への観察者の誘導表示（観察順序を含めた誘導も可能である。）等の処理に利用される。また、これらの情報呈示装置１３０，１４０で、識別情報（ＩＤ）から位置情報（緯度や経度の情報）を把握することができる場合には、位置情報は送信しなくてもよい。
【０１１０】
ログデータ記憶手段１００は、ブックマーク操作以外の観察者の操作をログデータとして記憶するものであり、パン操作、チルト操作、倍率操作、混合率操作、イベント開始操作、ＣＧ操作（経年変化操作）が、各操作の行われた時刻とともに記録されて保存される。なお、出力手段４０により観察者に対して呈示される立体映像のデータ（液晶パネル３５，３６により表示される左右の合成画像のデータ）、さらには左右の合成画像の生成に用いられた左右の実写映像のデータおよび左右のＣＧ画像のデータ（ＣＧ画像の生成に用いられたモデルのＩＤを含む。）も、図示されない画像データ記憶手段に記録されて保存される。
【０１１１】
さらに、図１において、画像処理装置８０は、評価手段１１０と、注視箇所同定手段１１１と、興味・関心度合い定量化手段１１２と、好感度定量化手段１１３と、観察者生理情報送信手段１１４と、注視箇所記憶手段１１５と、興味・関心度合い記憶手段１１６と、好感度記憶手段１１７とを備えている。
【０１１２】
評価手段１１０は、左眼撮影用および右眼撮影用のカメラ４１，４２（図２、図３参照）により撮影された左眼および右眼の画像について、それぞれ画像処理を実時間で行い、左眼および右眼の眼球運動、瞬目の発生頻度、および瞳孔面積の測定・解析を実時間で行うものである。
【０１１３】
注視箇所同定手段１１１は、評価手段１１０により測定・解析された観察者の左眼および右眼の眼球運動から、立体映像の中の注視箇所を実時間で同定し、その結果を注視箇所記憶手段１１５に記録する処理を行うものである。例えば、各時刻における注視箇所を、画面上の位置（ドット単位）で定めて記録する。
【０１１４】
興味・関心度合い定量化手段１１２は、評価手段１１０により測定・解析された観察者の瞬目の発生頻度から、立体映像の中の注視箇所に対する興味・関心の度合いを実時間で定量化し、その結果を興味・関心度合い記憶手段１１６に記録する処理を行うものである。
【０１１５】
好感度定量化手段１１３は、評価手段１１０により測定・解析された観察者の瞳孔面積から、立体映像の中の注視箇所に対する好感度を実時間で定量化し、その結果を好感度記憶手段１１７に記録する処理を行うものである。
【０１１６】
従って、注視箇所記憶手段１１５、興味・関心度合い記憶手段１１６、および好感度記憶手段１１７に記録された各時刻のデータを、ブックマーク情報記憶手段９９およびログデータ記憶手段１００に記録された各時刻における観察者の操作情報、並びに画像データ記憶手段（不図示）に記録された画像データおよび画像生成情報と照らし合わせることにより、同定された注視箇所、定量化された注視箇所に対する興味・関心度合いおよび好感度が、いずれの状況（例えば、表示画面の状態、表示モデルのＩＤ、その時の操作状況等）に向けられたものかを把握することができる。
【０１１７】
なお、これらの各手段１１０〜１１３による観察者の生理情報の評価、同定、定量化の処理については、前述した非特許文献３〜５に詳述されているので、ここでは詳しい説明は省略する。
【０１１８】
観察者生理情報送信手段１１４は、注視箇所記憶手段１１５に記録した注視箇所、興味・関心度合い記憶手段１１６に記録した注視箇所に対する興味・関心度合い、および好感度記憶手段１１７に記録した注視箇所に対する好感度の各情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０に送信する処理を行うものである（図２参照）。各情報を送信する際には、注視箇所、注視箇所に対する興味・関心度合い、および注視箇所に対する好感度が、いずれの状況（例えば、表示画面の状態、表示モデルのＩＤ、その時の操作状況等）に向けられたものかという情報も合わせて送信する。例えば、ある時刻（またはある時間内）における注視箇所として同定された画面位置に映っていたモデルやその構成パーツのＩＤも合わせて送信する。また、注視箇所が変化する状況下において、興味・関心度合いや好感度が定量化された場合には、例えば、その間に画面上に映っていた全て（従って、一つまたは複数）のモデルやその構成パーツのＩＤを合わせて送信するようにしてもよく、あるいは注視箇所として同定された複数の画面位置に映っていた全て（従って、一つまたは複数）のモデルやその構成パーツのＩＤを合わせて送信するようにしてもよい。
【０１１９】
注視箇所記憶手段１１５は、注視箇所同定手段１１１により同定した注視箇所を記録して保存するものである。
【０１２０】
興味・関心度合い記憶手段１１６は、興味・関心度合い定量化手段１１２により定量化した興味・関心度合いを記録して保存するものである。
【０１２１】
好感度記憶手段１１７は、好感度定量化手段１１３により定量化した好感度を記録して保存するものである。
【０１２２】
以上において、画像処理装置８０の各手段８１〜８９，９３，９４，９６〜９８，１１０〜１１４は、画像処理装置８０を構成するコンピュータ本体（パーソナル・コンピュータのみならず、その上位機種のものも含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１２３】
また、画像処理装置８０の各記憶手段９０，９５，９９，１００，１１５〜１１７は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【０１２４】
さらに、画像処理装置８０は、一台のコンピュータあるいは一つのＣＰＵにより実現されるものに限定されず、複数のコンピュータ等で分散処理（各手段８１〜８９，９３，９４，９６〜９８，１１０〜１１４毎の機能に従った機能的な分散処理、および並列処理により処理速度向上を図るための分散処理を含む。）を行うことにより実現されるものであってもよい。
【０１２５】
このような第１実施形態においては、以下のようにして観察者に対して立体映像呈示装置１０による複合的な現実感を伴う立体映像の呈示が行われる。
【０１２６】
図５には、画像処理装置８０の処理の流れがフローチャートで示されている。図５において、先ず、画像処理装置８０の電源を投入してプログラムを起動させる（ステップＳ１）。
【０１２７】
次に、パン操作角度検出手段５３により検出されたパン操作角度、チルト操作角度検出手段５４により検出されたチルト操作角度、倍率操作手段７１による倍率操作情報、混合率操作手段７２による混合率操作情報、および経年変化操作手段７３による経年変化操作情報を読み込む（ステップＳ２）。これらの操作情報は、観察者による操作が行われなくても、常に最新情報が画像処理装置８０に送られるようになっている。なお、操作があった場合にのみ、その操作情報を画像処理装置８０に送るようにしてもよい。
【０１２８】
続いて、間隔制御信号発生手段８２により、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、観察者により指示された倍率（画角）についての最適な実写カメラ間隔を算出する（ステップＳ３）。
【０１２９】
図６は、光学ズーム時の処理の説明図である。図６に示すように、実写カメラ３２，３３の画角および間隔は、初期状態（Ｄｅｆａｕｌｔ）で画角θｃおよび間隔Ｄｃであったとすると、望遠（Ｔｅｌｅ）にした場合には、レンズの焦点距離が長くなり、画角θｃは狭くなって画角θｃ^ｔ（θｃ＞θｃ^ｔ）となり、このとき間隔Ｄｃは視差量を一定範囲内に収めるために狭められて間隔Ｄｃ^ｔ（Ｄｃ＞Ｄｃ^ｔ）となる。一方、広角（Ｗｉｄｅ）にした場合には、レンズの焦点距離が短くなり、画角θｃは広くなって画角θｃ^ｗ（θｃ＜θｃ^ｗ）となり、このとき間隔Ｄｃは視差量を一定範囲内に収めるために広げられて間隔Ｄｃ^ｗ（Ｄｃ＜Ｄｃ^ｗ）となる。この画角と間隔との対応関係は、予め数式またはデータベースにより定められているものであり、例えば、Ｄｃ：θｃ＝Ｄｃ^ｔ：θｃ^ｔ＝Ｄｃ^ｗ：θｃ^ｗのように比例関係としてもよいが、これに限定されるものではない。また、比例関係とする場合でも比例関係としない場合でも、その画角−間隔グラフの傾きを変化させることで立体感を強調したり、弱めたりすることができる。
【０１３０】
そして、間隔制御信号発生手段８２により、ステップＳ３で算出した最適な実写カメラ間隔を実現するための制御信号を発生させ、この制御信号をカメラ間隔調整装置３４に送信し、実写カメラ３２，３３同士の間隔を自動調整する（ステップＳ４）。また、ズーム信号発生手段８１により、倍率操作情報（画角に比例するデータ）に基づき、観察者により指示された倍率（画角）を実現するためのズーム信号を発生させ、このズーム信号を実写カメラ３２，３３に送信し、実写カメラ３２，３３の画角および焦点距離を自動調整する（ステップＳ４）。
【０１３１】
それから、光学ズームが行われた後の実写カメラ３２，３３により撮影された左右の実写映像を取り込む（ステップＳ５）。なお、光学ズームの機械的調整速度との兼ね合いで、取り込まれる左右の実写映像は、光学ズームが完了していない状態である場合もあり得るが、このような場合であっても、ステップＳ２〜Ｓ１４の処理は繰り返し行われるので問題とはならず、何回かの繰り返しの後に、短時間で目的とする光学ズームが行われた状態の実写映像を取り込むことができる。
【０１３２】
続いて、倍率操作情報に基づき、デジタルズームを行う必要があるか否かを判断する（ステップＳ６）。例えば、光学ズームの上限が３倍である場合に、倍率操作情報に基づき観察者が６倍を指示しているものとすると、２倍のデジタルズームが必要であると判断する。
【０１３３】
ここで、デジタルズームが必要であると判断した場合には、画像中心位置変化量算出手段８３により、倍率操作情報に基づき、観察者により指示された倍率のうちデジタルズームを行う分の倍率についての適切な画像中心位置変化量を算出する（ステップＳ７）。
【０１３４】
図７は、デジタルズーム時の処理の説明図である。図７に示すように、デジタルズームの場合には、実写カメラ３２，３３の画角θｃおよび間隔Ｄｃは、デジタルズームの前後で変化せず、実写カメラ３２，３３により取り込まれる実写画像も、デジタルズームの前後で同じである。ここで、デジタルズーム前の左右の実写映像の画像中心位置がＰＬ，ＰＲであったとすると、倍率を上げるデジタルズームを行った場合には、デジタルズーム処理の際に画像を切り出す中心位置が、視差量を一定範囲内に収めるためにそれぞれδだけ内側にずれてＰＬ^ｔ，ＰＲ^ｔの位置に変化する。このデジタルズームの倍率と画像中心位置変化量との対応関係は、予め数式またはデータベースにより定められているものである。
【０１３５】
そして、算出した画像中心位置変化量だけ、画像切り出しの中心位置を変化させた状態で、デジタルズーム処理手段８４により左右の実写映像からの画像切出処理を実行し、デジタルズーム処理を行う（ステップＳ８）。
【０１３６】
一方、ステップＳ６で、光学ズームのみでよく、デジタルズームは必要ないと判断した場合には、ステップＳ７，Ｓ８の処理は行わない。
【０１３７】
その後、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２の条件の設定を行う（ステップＳ９）。この際、光学ズームとデジタルズームとが併用される場合には、先ず、光学ズームに対応する条件設定を行い、次に、デジタルズームに対応する条件設定を行うというように段階的に条件設定を行う。
【０１３８】
先ず、光学ズームの場合には、図６に示すように、画角設定手段８６Ｂにより、左右の仮想カメラ９１，９２の画角を左右の実写カメラ３２，３３の画角に一致させ、かつ、位置設定手段８６Ｃにより、左右の仮想カメラ９１，９２の間隔と左右の実写カメラ３２，３３の間隔とが一致するように左右の仮想カメラ９１，９２の位置を設定する。
【０１３９】
すなわち、初期状態（Ｄｅｆａｕｌｔ）で、左右の実写カメラ３２，３３の画角θｃと、左右の仮想カメラ９１，９２の画角θｍとが一致し（θｃ＝θｍ）、かつ、左右の実写カメラ３２，３３の間隔Ｄｃと、左右の仮想カメラ９１，９２の間隔Ｄｍとが一致している（Ｄｃ＝Ｄｍ）ものとすると、望遠（Ｔｅｌｅ）にした場合には、前述したように、左右の実写カメラ３２，３３の画角θｃは狭くなって画角θｃ^ｔ（θｃ＞θｃ^ｔ）となり、左右の実写カメラ３２，３３の間隔Ｄｃは狭められて間隔Ｄｃ^ｔ（Ｄｃ＞Ｄｃ^ｔ）となるが、これに伴う形で、左右の仮想カメラ９１，９２の画角θｍも狭くなって画角θｍ^ｔ（θｍ＞θｍ^ｔ）となり、左右の仮想カメラ９１，９２の間隔Ｄｍも狭められて間隔Ｄｍ^ｔ（Ｄｍ＞Ｄｍ^ｔ）となる。ここで、θｍ^ｔ＝θｃ^ｔ、Ｄｍ^ｔ＝Ｄｃ^ｔである。
【０１４０】
一方、広角（Ｗｉｄｅ）にした場合には、前述したように、左右の実写カメラ３２，３３の画角θｃは広くなって画角θｃ^ｗ（θｃ＜θｃ^ｗ）となり、左右の実写カメラ３２，３３の間隔Ｄｃは広げられて間隔Ｄｃ^ｗ（Ｄｃ＜Ｄｃ^ｗ）となるが、これに伴う形で、左右の仮想カメラ９１，９２の画角θｍも広くなって画角θｍ^ｗ（θｍ＜θｍ^ｗ）となり、左右の仮想カメラ９１，９２の間隔Ｄｍも広げられて間隔Ｄｍ^ｗ（Ｄｍ＜Ｄｍ^ｗ）となる。ここで、θｍ^ｗ＝θｃ^ｗ、Ｄｍ^ｗ＝Ｄｃ^ｗである。
【０１４１】
次に、デジタルズームの場合には、図７に示すように、画角設定手段８６Ｂにより、左右の仮想カメラ９１，９２の画角を、左右の実写映像のデジタルズームに合わせて変化させる。すなわち、そのデジタルズームが光学ズームにより行われたと仮定した場合における左右の実写カメラ３２，３３の擬似的な画角に、左右の仮想カメラ９１，９２の画角を一致させる。
【０１４２】
また、位置設定手段８６Ｃにより、左右の仮想カメラ９１，９２の間隔を、左右の実写映像のデジタルズームの際の画像中心位置の変化に合わせて変化させる。具体的には、倍率を上げるデジタルズームの場合には、デジタルズーム前の左右の仮想カメラ９１，９２の間隔Ｄｍは、左右の画像中心位置変化量δの合計値（２×δ）だけ狭められ、デジタルズーム後には間隔Ｄｍ^ｔとなる（Ｄｍ＞Ｄｍ^ｔ）。ここで、Ｄｍ^ｔ＝Ｄｍ−２×δである。すなわち、そのデジタルズームが光学ズームにより行われたと仮定した場合における左右の実写カメラ３２，３３の擬似的な間隔に、左右の仮想カメラ９１，９２の間隔を一致させる。
【０１４３】
また、方向設定手段８６Ａにより、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定する。
【０１４４】
続いて、モデル情報記憶手段９０からモデルに関する情報を読み込み、モデル変形処理手段８７により、経年変化操作手段７３による経年変化操作情報に基づき、モデルの経年変化処理を行う。さらに、処理時刻や季節をシステムで把握し、その季節のその時刻における太陽の位置に応じてライト（光源）の位置を設定するとともに、処理時における天気に応じた明るさに設定する（ステップＳ１０）。これにより、ＣＧ画像と実写映像とを違和感なく融合させることができる。
【０１４５】
それから、レンダリング処理手段８８により、仮想カメラ条件設定手段８６で設定した条件下で左右の仮想カメラ９１，９２を用いて、変形したモデルについてレンダリング処理を行って左右のＣＧ画像を生成する（ステップＳ１１）。このレンダリング処理は、観察者による新たなパン操作、チルト操作、倍率操作、経年変化操作が無くても毎回行われる。なお、レンダリング処理の際には、適宜、前方クリップ面や後方クリップ面を用いてもよい。
【０１４６】
その後、合成処理手段８９により、混合率操作手段７２による混合率操作情報に基づき、左右の実写映像と左右のＣＧ画像とをそれぞれ合成する。すると、適切に位置合わせされた状態で重ね合わされた左右の合成画像が生成される（ステップＳ１２）。
【０１４７】
最後に、左右の液晶パネル３５，３６により左右の合成画像をそれぞれ表示し、ハーフミラー３７でこれらの左右の合成画像の光線を左右の接眼レンズ３８，３９に向わせる。すると、接眼レンズ３８，３９に達した左右の合成画像の光線は、互いに９０度をなす偏光方向を有しているので、液晶パネル３５から出力された左眼用の合成画像の光線は、左眼用の接眼レンズ３８のみを通過し、一方、液晶パネル３６から出力された右眼用の合成画像の光線は、右眼用の接眼レンズ３９のみを通過し、これにより出力手段４０による複合的な現実感を伴う立体映像の呈示が実現される（ステップＳ１３）。
【０１４８】
そして、画像処理を中止しない場合には（ステップＳ１４）、再び、ステップＳ２の処理に戻り、以降、画像処理を中止するまで、ステップＳ２〜Ｓ１４の処理を繰り返す。一方、中止する場合には、プログラムを終了させる（ステップＳ１５）。
【０１４９】
また、観察者は、画像処理装置８０が以上のステップＳ２〜Ｓ１４の処理を繰り返している間、いつでもパン操作、チルト操作、倍率操作、混合率操作、経年変化操作を行うことができる。図８には、倍率操作および混合率操作を行った場合の画面例が示されている。なお、倍率操作と混合率操作とは、同時に行うことができるようにしてもよく、同時に行うことができないようにしてもよい。また、図９には、経年変化操作を行った場合の画面例が示されている。なお、経年変化操作は、倍率操作や混合率操作と同時に行うことができるようにしてもよく、同時に行うことができないようにしてもよい。
【０１５０】
また、観察者は、ブックマーク可能表示が行われている時だけ、観察対象物にブックマークを付す処理を行うことができる。この際の処理の流れは、先ず、ブックマーク可能表示処理手段９６により、画面の中心位置にあるモデル（またはその構成パーツ）の表示面積が一定面積以上であるか否かを判断するとともに、モデル情報記憶手段９０に記憶されたそのモデルに関する情報を参照してそのモデル（またはその構成パーツ）がブックマーク可能モデル（パーツ）であるか否かを判断する。
【０１５１】
ここで、表示面積が一定面積以上で、かつ、ブックマーク可能モデル（パーツ）であると判断した場合には、ブックマーク可能表示処理手段９６は、出力手段４０の画面上にブックマーク可能表示を行う。一方、表示面積が一定面積未満、またはブックマーク可能モデル（パーツ）でない場合には、ブックマーク可能表示は行わない。
【０１５２】
続いて、観察者は、ブックマーク可能表示が行われているときに、画面中心にある観察対象物（モデルまたはその構成パーツ）について興味がある場合には、ブックマーク操作手段であるブックマークボタン７４を押すことにより、その観察対象物についてブックマークを付すための入力操作を行うことができる。そして、ブックマーク登録処理手段９７は、このブックマーク操作情報を受け付けると、その観察対象物のＩＤおよびその観察対象物にブックマークが付された順序等をブックマーク情報記憶手段９９に登録する。
【０１５３】
また、観察者は、イベント発生可能表示が行われている時だけ、イベントを発生させて観察対象物についての付帯情報を参照することができる。図１０には、イベント発生時の処理の流れがフローチャートで示されている。先ず、画像処理装置８０による処理が開始され（ステップＳ２１）、通常状態の処理が繰り返されているものとする。このとき、イベント発生可能表示処理手段９３により、画面表示されている観察対象物（モデルまたはその構成パーツ）について付帯情報があるか否かおよび付帯情報がある場合にはムービーがあるか否かを、モデル情報記憶手段９０に記憶されたそのモデルに関する情報を参照するか、または付帯情報記憶手段９５を検索することにより把握する（ステップＳ２２）。
【０１５４】
付帯情報がある場合には、イベント発生可能表示処理手段９３は、出力手段４０の画面上にイベント発生可能表示を行う（ステップＳ２３）。一方、付帯情報がない場合には、通常状態の処理となる。
【０１５５】
そして、観察者は、イベント発生可能表示が行われているときに、観察対象物について興味がある場合には（ステップＳ２４）、イベント開始操作手段であるイベント開始ボタン７５を押す（ステップＳ２５）。一方、興味がない場合には（ステップＳ２４）、何もしないか、またはパン操作やチルト操作を行って次の観察対象物の観察へと移り、通常状態の処理となる。
【０１５６】
観察者がイベント開始ボタン７５を押すと、ムービーがあるか否かが判断され（ステップＳ２６）、ムービーがある場合には、出力手段４０の画面上に説明文での基本情報の表示が行われるとともに、出力手段４０の画面上にムービーの存在および所要時間の表示が行われる（ステップＳ２７）。これらの表示が行われている間に、観察者は、ムービーが見たい場合には、イベント開始ボタン７５を再押下しておく。
【０１５７】
そして、この表示状態で所定時間（例えば、１０秒間等）が経過したか否かを判断し（ステップＳ２８）、経過していない場合には、その表示状態を継続し、一方、経過したと判断した場合には、イベント開始ボタン７５の再押下が行われたか否かを判断する（ステップＳ２９）。ここで、再押下が行われたと判断した場合には、ムービーを上映し（ステップＳ３０）、一方、再押下が行われなかったと判断した場合には、通常状態の処理となる。
【０１５８】
また、ステップＳ２６で、ムービーがない場合には、出力手段４０の画面上に説明文での基本情報の表示のみが行われる（ステップＳ３１）。そして、この表示状態で所定時間（例えば、１０秒間等）が経過したか否かを判断し（ステップＳ３２）、経過していない場合には、その表示状態を継続し、一方、経過したと判断した場合には、通常状態の処理となる。
【０１５９】
その後、適宜な時期にプログラムを終了させ、画像処理装置８０の処理を終了させる（ステップＳ３３）。
【０１６０】
このような第１実施形態によれば、次のような効果がある。すなわち、立体映像呈示装置１０には倍率操作手段７１が設けられているので、観察者は、観察中の立体映像の倍率を変化させる操作を行うことができる。また、パン操作角度検出手段５３およびチルト操作角度検出手段５４が設けられているので、画像処理装置８０は、立体映像を観察している観察者の方向操作情報を実時間で把握することができる。
【０１６１】
そして、コンピュータ・グラフィクス画像生成手段８５は、仮想カメラ条件設定手段８６を備えているので、左右のＣＧ画像を生成する際に、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報および倍率操作手段７１による倍率操作情報に基づき、左右の仮想カメラの条件を実時間で変化させることができる。このため、仮想カメラ条件設定手段８６により実時間で設定変更される仮想カメラ条件を用いてレンダリング処理を行うことができる。
【０１６２】
従って、観察者が、実写カメラ３２，３３の方向を変えて観察対象物を順次移動させたり、観察中の映像の倍率を変えても、これらの方向操作情報や倍率操作情報がＣＧ画像の生成処理に実時間で用いられ、合成処理手段８９によるＣＧ画像と実写映像との合成処理に実時間で反映されるので、観察者は、違和感のない複合的な現実感を伴う立体映像を実時間で見ながら観察を行うことができる。
【０１６３】
また、立体映像呈示装置１０は、間隔制御信号発生手段８２およびカメラ間隔調整装置３４を備えているので、光学ズーム時に、予め定められた倍率または倍率指標値（画角）と左右の実写カメラ３２，３３同士の間隔との対応関係に従って、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、実写カメラ３２，３３同士の間隔を、視差量が一定範囲内に収まるような適切な間隔に自動調整することができる（図６参照）。
【０１６４】
さらに、光学ズーム時には、上述した間隔制御信号発生手段８２およびカメラ間隔調整装置３４による実写カメラ３２，３３同士の間隔の自動調整に伴う形で、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２同士の間隔を、上記の如く適切な間隔に自動調整された実写カメラ３２，３３同士の間隔に一致させるようにして左右の仮想カメラ９１，９２の位置を設定し、かつ、左右の実写カメラ３２，３３の画角に一致させて左右の仮想カメラ９１，９２の画角を設定するので（図６参照）、違和感のない複合的な現実感を伴う立体映像の呈示を、より確実に実現することができる。
【０１６５】
また、立体映像呈示装置１０は、画像中心位置変化量算出手段８３およびデジタルズーム処理手段８４を備えているので、デジタルズーム時に、予め定められた倍率または倍率指標値と左右の実写映像のデジタルズーム表示の際の画像中心位置の変化量との対応関係に従って、倍率操作情報（本実施形態では、画角に比例するデータ）に基づき、視差量が一定範囲内に収まるように画像中心位置を適切な量だけシフトさせ、そのシフト後の位置を中心としてデジタルズーム処理を行うことができる（図７参照）。
【０１６６】
さらに、デジタルズーム時には、上述した実写映像のデジタルズーム表示の際の画像中心位置のシフトに伴う形で、仮想カメラ条件設定手段８６により、左右の仮想カメラ９１，９２同士の間隔を、左右の実写映像の画像中心位置のシフトに合わせて変化させて左右の仮想カメラ９１，９２の位置を設定し、かつ、左右の実写映像のデジタルズームに合わせて左右の仮想カメラ９１，９２の画角を設定するので（図７参照）、違和感のない複合的な現実感を伴う立体映像の呈示を、より確実に実現することができる。
【０１６７】
そして、立体映像呈示装置１０は、混合率操作手段７２を備えているので、合成処理手段８９により、その混合率操作情報に基づき左右の合成画像を生成することができる。このため、観察者は、立体映像を観察中に、実写型立体映像と立体ＣＧ画像との混合率を変化させることができるので、実写型立体映像または立体ＣＧ画像のいずれか一方を主とする観察を行うことができる。
【０１６８】
また、立体映像呈示装置１０は、コンピュータ・グラフィクス操作手段である経年変化操作手段７３を備えているので、コンピュータ・グラフィクス画像生成手段８５により、その経年変化操作情報に基づきモデル情報記憶手段９０に記憶されたモデルに関する情報を用いてモデルを変形させることができる。このため、観察者は、実写型立体映像と立体ＣＧ画像との複数の合成パターンを容易に対比観察することができる。従って、観察者への情報呈示量の増大、情報呈示の多様化や高度化を図ることができる。
【０１６９】
さらに、立体映像呈示装置１０は、左眼撮影用および右眼撮影用のカメラ４１，４２並びに評価手段１１０を備えているので、立体映像を観察中の観察者の左眼および右眼を撮影し、それらの眼球運動、瞬目の発生頻度、および瞳孔面積の測定・解析を行うことができる。
【０１７０】
そして、立体映像呈示装置１０は、注視箇所同定手段１１１および注視箇所記憶手段１１５を備えているので、左眼および右眼の眼球運動の情報を、各種の処理での利用や取扱いが可能な形の注視箇所の情報に変換し、保存することができる。
【０１７１】
また、立体映像呈示装置１０は、興味・関心度合い定量化手段１１２および興味・関心度合い記憶手段１１６を備えているので、観察者の瞬目の発生頻度の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する興味・関心の度合いの情報に変換し、保存することができる。
【０１７２】
さらに、立体映像呈示装置１０は、好感度定量化手段１１３および好感度記憶手段１１７を備えているので、観察者の瞳孔面積の情報を、各種の処理での利用や取扱いが可能な形の注視箇所に対する好感度の情報に変換し、保存することができる。
【０１７３】
そして、立体映像呈示装置１０は、観察者生理情報送信手段１１４を備えているので、注視箇所、注視箇所に対する興味・関心の度合い、および注視箇所に対する好感度の各情報を、例えば無線ネットワーク７を介して別の情報呈示装置１３０，１４０（図２参照）に送信することができる。このため、観察者の生理情報から得られた情報を、別の情報呈示装置１３０，１４０において、観察者の誘導処理や観察者への情報呈示処理に利用することができる。
【０１７４】
また、注視箇所記憶手段１１５、興味・関心度合い記憶手段１１６、好感度記憶手段１１７の情報を複数人分について蓄積すれば、立体映像呈示装置１０で呈示する各種情報の全体的な見直し、変更、アレンジ等を行うこともできる。
【０１７５】
さらに、立体映像呈示装置１０は、イベント開始操作手段であるイベント開始ボタン７５、イベント発生可能表示処理手段９３、付帯情報呈示手段９４、および付帯情報記憶手段９５を備えているので、イベントを発生させて観察対象物についての付帯情報を呈示することにより、観察者に対し、より多くの情報を呈示することができるうえ、イベント開始ボタン７５の押下による観察者の操作に従って情報呈示を行うため、観察者が必要とする時に必要な観察対象物についてのみ付帯情報を呈示することができる。
【０１７６】
そして、立体映像呈示装置１０は、ブックマーク操作手段であるブックマークボタン７４、ブックマーク可能表示処理手段９６、ブックマーク登録処理手段９７、およびブックマーク情報記憶手段９９を備えているので、観察者は、自分が後でその場所に行って詳細に観察したい観察対象物についてブックマークを付すことができる。また、観察者操作情報送信手段９８を備えているので、別の情報呈示装置１３０，１４０へのブックマーク情報の送信を行うことができ、別の情報呈示装置１３０，１４０において、ブックマークを付した観察対象物への観察者の誘導処理等を行うことができる。
【０１７７】
また、立体映像呈示装置１０は、定点観測型の情報呈示装置であるため、例えば、図２に示した情報呈示装置１３０，１４０のような携帯型の情報呈示装置に比べ、エンコーダ等によるパン操作角度検出手段５３やチルト操作角度検出手段５４を用いてカメラの方向操作情報を正確に検出することができ、実写画像とＣＧ画像とを合成する際の位置合わせを、より一層正確に行うことができる。
【０１７８】
［第２実施形態］
図１１には、本発明の第２実施形態の立体映像呈示装置２００の構成図がデータや信号の流れとともに示されている。図１２は、立体映像呈示装置２００の双眼鏡装置２２０を上側から見た状態の水平断面図である。
【０１７９】
本第２実施形態の立体映像呈示装置２００は、前記第１実施形態の立体映像呈示装置１０と略同様の構成を有し、倍率操作時の処理およびその処理に対応する構成が異なるのみであるため、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみについて説明する。なお、図１１では、前記第１実施形態の立体映像呈示装置１０と同様の構成要素については記載を省略している。
【０１８０】
図１１および図１２において、立体映像呈示装置２００は、前記第１実施形態の場合と同様に、倍率操作情報に基づき焦点距離および画角を変化させる光学ズームがそれぞれ可能な左右の実写カメラ３２，３３を備えている。しかし、前記第１実施形態では、これらの実写カメラ３２，３３同士の間隔を調整するカメラ間隔調整装置３４（図１〜図３参照）が設けられていたのに対し、本第２実施形態では、左右の実写カメラ３２，３３の光軸角度を調整するカメラ光軸角度調整装置２３４が設けられている点が異なっている。
【０１８１】
また、本第２実施形態の入力操作手段２７０は、前記第１実施形態の場合と同様に各操作手段７１〜７５（図１、図４参照）を備えているが、これらに加え、観察者が左右の実写カメラ３２，３３の光軸角度を変化させるための入力操作を行う光軸角度操作手段２７６を備えている。
【０１８２】
図１２において、光軸角度操作手段２７６は、左右の実写カメラ３２，３３の各光軸の先端（各光軸が被写体に当たる点）同士の間隔が狭まる方向に各光軸を回転させるための近接ボタン２７６Ａと、各光軸の先端同士の間隔が広がる方向に各光軸を回転させるための離隔ボタン２７６Ｂと、光軸角度を手動設定状態から元の自動調整状態に戻すための手動設定リセットボタン２７６Ｃとにより構成されている。
【０１８３】
前記第１実施形態の画像処理装置８０は、間隔制御信号発生手段８２を備えていたが（図１参照）、図１１に示すように、本第２実施形態の画像処理装置２８０は、これに代えて光軸角度制御信号発生手段２８２を備えている。この光軸角度制御信号発生手段２８２は、予め定められた倍率または倍率指標値（例えば画角）と左右の実写カメラ３２，３３の光軸角度との対応関係に従って、倍率操作手段７１による倍率操作情報（本実施形態では、一例として画角に比例するデータとする。）に基づき、観察者により指示された倍率（画角）についての適切な実写カメラ光軸角度を算出し、算出した光軸角度を実現するための制御信号を発生させる処理を行うものである。なお、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」は、数式またはデータベースで定められている。
【０１８４】
そして、光軸角度制御信号発生手段２８２により発生させた制御信号は、カメラ光軸角度調整装置２３４に送信され、カメラ光軸角度調整装置２３４は、この制御信号に基づき左右の実写カメラ３２，３３の光軸角度を、視差量が一定範囲内に収まるような適切な角度に自動調整する。例えば、望遠（Ｔｅｌｅ）にする場合には、画角が狭くなるので、視差量を一定範囲内に抑えるために左右の実写カメラ３２，３３の各光軸の先端同士の間隔が狭まる方向に各光軸を回転させる。
【０１８５】
また、観察者が、光軸角度操作手段２７６の近接ボタン２７６Ａおよび離隔ボタン２７６Ｂを操作したときは、光軸角度制御信号発生手段２８２は、この光軸角度操作情報に基づき、上述した光軸角度の自動調整の際に用いられる「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」とは無関係に、光軸角度を変化させるための制御信号をカメラ光軸角度調整装置２３４に送信する。これにより、観察者は、自分の好みの立体感を作り出すことができる。そして、観察者が、手動設定リセットボタン２７６Ｃを押すと、「予め定められた倍率または倍率指標値と左右の実写カメラの光軸角度との対応関係」に基づく自動調整が行われ、元の状態に戻る。
【０１８６】
また、本第２実施形態のコンピュータ・グラフィクス画像生成手段２８５の仮想カメラ条件設定手段２８６は、方向設定手段２８６Ａと、画角設定手段２８６Ｂと、位置設定手段２８６Ｃとを備えている。これらは、前記第１実施形態の各設定手段８６Ａ，８６Ｂ，８６Ｃとは異なる処理を行う。
【０１８７】
方向設定手段２８６Ａは、前記第１実施形態の場合と同様に、パン操作角度検出手段５３およびチルト操作角度検出手段５４により検出した方向操作情報に基づき、左右の仮想カメラ９１，９２の方向を設定した後、さらに、この方向を基準として、左右の仮想カメラ９１，９２の光軸角度を、適切な角度に自動調整された実写カメラ光軸角度に一致させるようにして左右の仮想カメラ９１，９２の方向を設定する。また、方向設定手段２８６Ａは、光軸角度操作手段２７６による観察者の操作に基づく光軸角度の手動設定が行われた場合にも、左右の仮想カメラ９１，９２の光軸角度を、左右の実写カメラ３２，３３の光軸角度に一致させるようにして左右の仮想カメラ９１，９２の方向を設定する。
【０１８８】
図１３は、方向設定手段２８６Ａによる左右の仮想カメラ９１，９２の方向設定処理時の説明図である。左右の実写カメラ３２，３３の各光軸と図中二点鎖線で示された平行線とのなす角度φｃが変化すると、左右の仮想カメラ９１，９２の各光軸と平行線とのなす角度φｍも同じ角度だけ変化し、これらの角度φｃとφｍとは、常に一致している（φｍ＝φｃ）。但し、デジタルズーム時には、一致させない処理としてもよい。
【０１８９】
画角設定手段２８６Ｂは、前記第１実施形態の場合と同様に、光学ズーム時には、倍率操作手段７１による倍率操作情報（画角に比例するデータ）に基づき、左右の実写カメラ３２，３３の画角に一致するように左右の仮想カメラ９１，９２の画角を算出し、設定する。
【０１９０】
位置設定手段２８６Ｃは、前記第１実施形態の場合とは異なり、光学ズーム時には、左右の仮想カメラ９１，９２の間隔を変化させる処理は行わない。
【０１９１】
また、デジタルズーム時には、実写映像のデジタルズーム表示の際の画像中心位置のシフトに伴う形で、仮想カメラ条件設定手段２８６により、左右の実写映像の画像中心位置のシフトに合わせて、左右の仮想カメラ９１，９２同士の間隔を変化させてもよく、あるいは左右の仮想カメラ９１，９２の光軸角度を変化させてもよい。
【０１９２】
その他、立体映像呈示装置２００は、前記第１実施形態の場合と同様に、出力手段４０（３５〜３９）、双眼鏡支持機構５０（５１〜５４）、画像処理装置２８０を構成する各手段８１，８３，８４，８７〜８９，９３，９４，９６〜９８，１１０〜１１４および各記憶手段９０，９５，９９，１００，１１５〜１１７、左眼撮影用および右眼撮影用のカメラ４１，４２を備えている。
【０１９３】
このような第２実施形態によれば、次のような効果がある。すなわち、立体映像呈示装置２００は、光軸角度制御信号発生手段２８２およびカメラ光軸角度調整装置２３４を備えているので、観察者による倍率操作があったときには、撮影倍率の変化（左右の実写カメラ３２，３３の画角の変化）と同時または略同時に、左右の実写カメラ３２，３３の光軸角度を適切な角度に自動調整することができる。
【０１９４】
また、上述した左右の実写カメラ３２，３３の光軸角度の自動調整に伴う形で、仮想カメラ条件設定手段２８６により、左右の仮想カメラ９１，９２の倍率（画角）および光軸角度を変化させることができるので、観察者に対し、違和感のない複合的な現実感を伴う立体映像を、より確実に呈示することができる。
【０１９５】
さらに、立体映像呈示装置２００は、光軸角度操作手段２７６を備えているので、観察者は、光軸角度を手動で設定することもでき、自分の好みの立体感を作り出すことができる。
【０１９６】
その他の構成要素による効果は、前記第１実施形態の場合と同様である。
【０１９７】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１９８】
すなわち、前記各実施形態では、出力手段４０は、左眼用および右眼用の画像をそれぞれ表示する２つの液晶パネル３５，３６、ハーフミラー３７、および偏光フィルタ付の左右の接眼レンズ３８，３９により構成されていたが、本発明の出力手段は、これに限定されるものではなく、例えば、マイクロポール方式等の１つの液晶パネルと、偏光フィルタ付の左右の接眼レンズ（またはメガネ）との組合せとしてもよく、左右の画像が交互に切り替わるディスプレイと、これに同期する液晶シャッタ方式のレンズ（またはメガネ）との組合せとしてもよく、あるいはヘッドマウント方式の出力手段（ＨＭＤ：ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）としてもよい。また、メガネなし方式（レンチキュラ方式やパララックスバリア方式）としてもよい。
【０１９９】
また、前記各実施形態では、実写画像取得手段３１と出力手段４０と入力操作手段７０とが双眼鏡装置２０，２２０として一体に構成されていたが、本発明における実写画像取得手段（実写カメラ）と出力手段と入力操作手段（倍率操作手段等）とは、それぞれ別体の構成とし、有線または無線ネットワークで接続してもよい。このようにすることで、例えば、観察者が、遠隔地において出力手段４０で立体映像を見ながら、その遠隔地から実写カメラ３２，３３の操作を含む各種の操作（パン操作、チルト操作、倍率操作、混合率操作、経年変化操作等のＣＧ操作、ブックマーク操作、イベント開始操作）を行うことができる。
【０２００】
さらに、前記各実施形態では、双眼鏡装置２０，２２０と画像処理装置８０，２８０とは、ケーブル２により接続されていたが、これらはインターネットやＬＡＮ等の有線または無線ネットワークにより接続してもよい。そして、画像処理装置８０，２８０を構成する各手段も複数のコンピュータにより構成し、有線または無線ネットワークで接続してもよい。
【０２０１】
【発明の効果】
以上に述べたように本発明によれば、実写画像と合成するＣＧ画像を生成する際に、方向操作情報検出手段により検出した方向操作情報および倍率操作手段による倍率操作情報に基づき、左右の仮想カメラの条件を実時間で変化させてレンダリング処理を行うので、観察者に対して違和感のない複合的な現実感を伴う立体映像を呈示できるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態の立体映像呈示装置の全体構成図。
【図２】第１実施形態の立体映像呈示装置を構成する双眼鏡装置の立面構成図。
【図３】第１実施形態の双眼鏡装置を上側から見た状態の水平断面図。
【図４】第１実施形態の双眼鏡装置の入力操作手段の斜視図。
【図５】第１実施形態の画像処理装置の処理の流れを示すフローチャートの図。
【図６】第１実施形態の光学ズーム時の処理の説明図。
【図７】第１実施形態のデジタルズーム時の処理の説明図。
【図８】第１実施形態の倍率操作および混合率操作を行った場合の画面例を示す図。
【図９】第１実施形態の経年変化操作を行った場合の画面例を示す図。
【図１０】第１実施形態のイベント発生時の処理の流れを示すフローチャートの図。
【図１１】本発明の第２実施形態の立体映像呈示装置の構成図。
【図１２】第２実施形態の双眼鏡装置を上側から見た状態の水平断面図。
【図１３】第２実施形態の方向設定手段による左右の仮想カメラの方向設定処理時の説明図。
【符号の説明】
１観察者
１０，２００立体映像呈示装置
３１実写映像取得手段
３２，３３実写カメラ
３４カメラ間隔調整装置
４０出力手段
４１左眼撮影用のカメラ
４２右眼撮影用のカメラ
５３方向操作情報検出手段であるパン操作角度検出手段
５４方向操作情報検出手段であるチルト操作角度検出手段
７１倍率操作手段
７２混合率操作手段
７３コンピュータ・グラフィクス操作手段である経年変化操作手段
７４ブックマーク操作手段であるブックマークボタン
７５イベント開始操作手段であるイベント開始ボタン
８２間隔制御信号発生手段
８３画像中心位置変化量算出手段
８４デジタルズーム処理手段
８５，２８５コンピュータ・グラフィクス画像生成手段
８６，２８６仮想カメラ条件設定手段
８６Ａ，２８６Ａ方向設定手段
８６Ｂ，２８６Ｂ画角設定手段
８６Ｃ，２８６Ｃ位置設定手段
８７モデル変形処理手段
８８レンダリング処理手段
８９合成処理手段
９０モデル情報記憶手段
９３イベント発生可能表示処理手段
９４付帯情報呈示手段
９５付帯情報記憶手段
９６ブックマーク可能表示処理手段
９７ブックマーク登録処理手段
９８観察者操作情報送信手段
９９ブックマーク情報記憶手段
１１０評価手段
１１１注視箇所同定手段
１１２興味・関心度合い定量化手段
１１３好感度定量化手段
１１４観察者生理情報送信手段
１１５注視箇所記憶手段
１１６興味・関心度合い記憶手段
１１７好感度記憶手段
２３４カメラ光軸角度調整装置
２７６光軸角度操作手段
２８２光軸角度制御信号発生手段[0001]
BACKGROUND OF THE INVENTION
The present invention combines a stereoscopic computer graphics image with left and right binocular parallax with a live-action type stereoscopic image with left and right binocular parallax, thereby producing a stereoscopic image with a complex reality for an observer. For example, a ruins display system that displays and explains past buildings at the ruins, a construction image explanation system that shows images of buildings that are planned to be built in the future at the construction site, etc. It can be used for a development plan explanation system that shows development plans in order to obtain inhabitants' formation and consensus building in the field of urban development and urban planning, such as when local governments build buildings and various facilities in landfills. .
[0002]
[Background]
In recent years, research on “mixed reality” (MR: Mixed Reality), which is an environment in which real space and virtual space are fused, has been actively conducted. Among them, AR (Augmented Reality) that enhances the sense of reality by superimposing an object in the virtual space on the real space is attracting attention. For example, in the ruins, past buildings that have now disappeared are generated by computer graphics (CG: Computer Graphics), and this CG image is displayed in an appropriate position on the live-action image, The applicant of the present application has proposed a system that enables superimposing display of a live-action image and a CG image, such as a ruins display system that can be presented to a visitor of the ruins (see Japanese Patent Application No. 2002-266025).
[0003]
In addition, an image synthesizing apparatus that can synthesize a stereoscopic CG image with a live-action stereoscopic video has been proposed (see Patent Document 1). In this image synthesizing apparatus, a CG image synthesized with a photographed image is obtained by using camera parameters (focal length of the camera at the time of shooting, distance between the lens centers (viewpoints) of the two cameras, image data) The pixel interval, camera convergence angle, aperture value, processing parameters of the image signal processing unit and the color signal processing circuit), so that stereoscopic display without a sense of incongruity can be performed. Yes. Further, in this image composition device, the photographer views the stereoscopic image displayed on the three-dimensional display device, and performs the CG 3D operation (instructions for rotation, movement, and scaling of the CG image) via the interface of the CG operation unit. Can be done.
[0004]
In addition, as a general document indicating the basic technology and peripheral technology related to the present invention, for example, a document related to rendering at the time of CG image generation (see Non-Patent Document 1), a document related to morphing at the time of deformation of a CG model (non-patent document) Patent Document 2), literature on eye movement measurement (see Non-Patent Documents 3 and 5), literature on blink measurement (see Non-Patent Documents 4 and 5), and the like.
[0005]
[Patent Document 1]
JP 10-336703 A (paragraphs [0009], [0010], [0034] to [0048], [0063] to [0067], FIGS. 1 and 5)
[0006]
[Non-Patent Document 1]
Michitaka Hirose, “Virtual Reality”, first edition, Sangyo Tosho Co., Ltd., September 2, 1993, p. 179-184
[Non-Patent Document 2]
Edited by The Institute of Television Engineers of Japan, "Advanced Technology Introduction Series 3D CG", 1st Edition, Ohm Corporation, February 10, 1994, p. 143-151
[Non-Patent Document 3]
Kato Jojiro, Okubo Ikuo, “How to Measure Biological Functions for Beginners”, 1st Edition, Japan Publishing Service, April 20, 1999, p. 105-109
[Non-Patent Document 4]
Takeshi Ogushi, Tsuyoshi Nakayama, Tadahiko Fukuda, “Evaluation Technology for Image Quality and Sound Quality”, first edition, Shoshodo Co., Ltd., March 28, 1991, p. 142-147
[Non-Patent Document 5]
Izumi Takehiro, “Basics of 3D Video”, 1st Edition, Ohm Co., Ltd., June 5, 1995, p. 45-53
[0007]
[Problems to be solved by the invention]
By the way, many of the conventional AR-related technologies including the above-mentioned ruins display system by the applicant of the present application are in plan view. However, in AR in plan view, one actual photograph image and one CG image are appropriately positioned. It is only necessary to superimpose them together. On the other hand, in the AR based on stereoscopic vision, the left and right live-action images and the left and right CG images must be aligned with each other, and in order to realize a superimposed display without a sense of incongruity in real time, Since the left and right CG images must be changed in synchronism with the change, the processing is complicated as compared with AR in plan view.
[0008]
As described above, the image synthesizing apparatus described in Patent Document 1 synthesizes the left and right live-action images and the left and right CG images, respectively, to realize a stereoscopic display without a sense of incongruity. However, this three-dimensional display is a fusion of the real space and the virtual space, but does not align the left and right live-action images forming the real space and the left and right CG images forming the virtual space. In addition, the left and right CG images are not synchronized in real time with changes in the left and right actual captured images (magnification change, direction change, etc.).
[0009]
In addition, in the image composition device described in Patent Document 1, since the camera parameters at the time of capturing a photographed image are used in the CG image generation process, the condition of the photographed camera can be reflected in the condition of the virtual camera. 1 does not describe a change in the magnification of the live-action image. Therefore, when the magnification of the live-action image is changed in real time, the specific conditions of the virtual camera are specifically set to synchronize the CG image with this change. There is no description on how to set. For this reason, the description of Patent Document 1 provides a method for solving a technical problem when performing real-time synthesis processing of a real-shot stereoscopic image that changes according to an operation of an observer and a corresponding stereoscopic CG image. Not what you want.
[0010]
In the image composition device described in Patent Document 1, the photographer can change the magnification of the CG image by performing the CG 3D operation. Is a process of changing the magnification of the CG image in accordance with the operation of the photographer regardless of the magnification of the photographed image. In addition, since the photographer performs the CG 3D operation, it is understood that the image composition device described in Patent Document 1 is not a device that performs the superimposed display by appropriately aligning the photographed image and the CG image. .
[0011]
Further, Patent Document 1 may be configured such that the convergence angle of the camera at the time of capturing a live-action image can be changed. In such a configuration, the convergence angle of the camera is used as a camera parameter in the CG image generation process. There is a statement to that effect. However, there is no specific description of how to use the convergence angle as a camera parameter in the CG image generation process, and how to use the convergence angle in relation to the magnification change of the actual image. There is no description.
[0012]
Therefore, at present, there is no development of a stereoscopic video presentation device that can respond to various operations including a magnification operation by an observer in real time and present a stereoscopic video with a complex sense of incongruity. Such a stereoscopic image presentation device has been desired.
[0013]
An object of the present invention is to synthesize a real 3D image that changes according to an observer's operation and a corresponding 3D CG image in real time, thereby providing a complex reality without any discomfort to the observer. The present invention provides a stereoscopic video presentation device that can present a stereoscopic video.
[0014]
[Means for Solving the Problems]
The present invention combines a stereoscopic computer graphics image with left and right binocular parallax with a live-action type stereoscopic image with left and right binocular parallax, thereby producing a stereoscopic image with a complex reality for an observer. Direction for detecting direction operation information of a live-action video acquisition unit for acquiring right-and-left real-action video constituting a real-shot stereoscopic video and a real-time camera constituting the real-time video acquisition unit by an observer An operation information detection unit, a magnification operation unit for an observer to perform an input operation for changing the magnification of the left and right live-action images, and a virtual space corresponding to a real space that is a real-image acquisition target by the real-image acquisition unit are formed. Model information storage means for storing information relating to a model for computer graphics for use, and information relating to the model stored in the model information storage means Computer graphics image generation means for generating left and right computer graphics images that make up a stereoscopic computer graphics image, and left and right actual video images and the corresponding left and right computer graphics images are superimposed in real time, respectively. A composite processing means for generating a composite image, and an output means for presenting a stereoscopic image with a complex reality to an observer using the left and right composite images generated by the composite processing means, and a computer The graphics image generation means includes rendering processing means for generating left and right computer graphics images by performing rendering processing using left and right virtual cameras, and direction operation information and magnification operation means detected by the direction operation information detection means. Left and right virtual based on magnification operation information And it is characterized in that the camera condition is configured to include a virtual camera condition setting means for varying in real time.
[0015]
Here, the “live-action video acquisition means” may be configured to shoot the left and right live-action videos with two right-and-left live-action cameras. The structure to do may be sufficient. As the latter configuration, for example, when there is a CID method (Computed Image Depth method) or an object moving in the horizontal direction (subject in real space), an MTD method (Modified Time Difference) using the Pull-Frich effect is used. Etc. can be adopted. However, from the viewpoint of presenting a stereoscopic image with a more uncomfortable feeling, it is preferable to have a configuration including two left and right live-action cameras as in the former.
[0016]
The “real camera direction operation information” is an operation amount such as a pan operation or a tilt operation by an observer. As the “direction operation information detection means”, for example, an encoder or the like can be employed. “Direction operation information” is, for example, information on pan operation angles and tilt operation angles, vector information, and the like.
[0017]
Furthermore, as the “magnification operation means”, for example, a push button, a slide knob, a dial type setting device, a voice recognition device, or the like can be employed. The “magnification operation information” does not necessarily need to be magnification or data proportional to the magnification. For example, the magnification and the data are proportional to the angle of view, or the data proportional to the focal length or the focal distance. Data corresponding to one-to-one and serving as a magnification index may be used.
[0018]
"Real time" does not mean real time in a strict sense, but means post-processing after observation, meaning that processing is performed following the observer's operation during observation. A processing time delay equivalent to the afterglow time of the eye is allowed.
[0019]
In the present invention, the observer observes while changing the direction of the live-action camera that constitutes the live-action video acquisition means. The direction operation information of the real camera by the observer is detected by the direction operation information detection means. In addition, the observer can change the magnification of the image under observation by the magnification operation means during the observation.
[0020]
When the left and right computer graphics images (hereinafter also referred to as CG images) are generated by the computer graphics image generation means, the direction operation detected by the direction operation information detection means by the virtual camera condition setting means. The left and right virtual camera conditions are changed in real time based on the information and the magnification operation information by the magnification operation means, and the left and right CG images are generated by performing rendering processing by the rendering processing means using the virtual camera conditions.
[0021]
The left and right CG images generated in such a way as to follow the operation of the observer in this way and the left and right live-action images obtained in a form corresponding to the operation of the observer are synthesized by the synthesis processing means, respectively. The left and right composite images are used to output a stereoscopic image with a complex sense of reality to the observer by the output means.
[0022]
For this reason, even if the observer changes the direction of the live-action camera to sequentially move the observation object or changes the magnification of the image being observed, the direction operation information and the magnification operation information are used for the CG image generation process. Since it is used in real time and is reflected in real time in the composition processing of the CG image and the live-action video, the observer should observe the real-time 3D video with complex realism without any sense of incongruity. And the above-mentioned purpose is achieved.
[0023]
In the above-described stereoscopic video presenting apparatus, the live-action video acquisition means includes left and right live-action cameras capable of optical zoom that changes the focal length and the angle of view based on the magnification operation information, and has a predetermined magnification or magnification. Interval control signal generating means for generating a control signal for realizing an appropriate shooting camera interval determined based on the magnification operation information according to the correspondence between the index value and the interval between the right and left shooting cameras, and the interval control signal generation A camera interval adjustment device that automatically adjusts the interval between the left and right live-action cameras to an appropriate real-life camera interval based on the control signal by the means, and the virtual camera condition setting means of the computer graphics image generating means Position setting to set the positions of the left and right virtual cameras by matching the distance between the cameras to the appropriate live camera distance And the step, it is desirable that is configured to include a view angle setting means to match the angle of the left and right of the photographed camera sets the angle of the left and right virtual camera.
[0024]
Here, the “interval control signal generation means” may be realized by either software or hardware. When realized by software, the “correspondence between a predetermined magnification or magnification index value and the interval between the left and right live-action cameras” is coded in the program in the form of a mathematical expression or stored in a database. By using these mathematical formulas or database, the program can determine and determine an appropriate live-action camera interval for the magnification indicated by the observer based on the magnification operation information by the magnification operation means.
[0025]
In addition, the “position setting unit” of the “virtual camera condition setting unit” may calculate an appropriate real camera interval (from the calculation result when the interval control signal generation unit calculates an appropriate real camera interval by a program. Therefore, the distance between the left and right virtual cameras) may be grasped, or the “position setting means” itself is appropriate according to the “correspondence between the predetermined magnification or magnification index value and the distance between the left and right live-action cameras”. It is also possible to calculate a real shooting camera interval (thus, an interval between the left and right virtual cameras). On the other hand, when the above-mentioned interval control signal generating means is realized by hardware, the interval control signal generating means does not perform an appropriate process for calculating the actual camera interval. A real-life camera interval (thus, an interval between the left and right virtual cameras) is calculated.
[0026]
Furthermore, the “magnification or magnification index value” refers to data that is proportional to the magnification or magnification, or data that is proportional to the angle of view or the angle of view corresponding to the magnification on a one-to-one basis.
[0027]
The “angle of view of the left and right live-action cameras” is adjusted by the zoom signal sent to the left and right live-action cameras based on the magnification operation information by the magnification operation means. The zoom signal generating means for generating this zoom signal is: It may be realized by either software or hardware. The “viewing angle setting means” of the “virtual camera condition setting means”, when the zoom signal generating means is realized by software, is based on the information received from the zoom signal generating means and the angle of view of the right and left live-action cameras (accordingly, The angle of view of the left and right virtual cameras), and the “angle of view setting means” itself calculates the angle of view of the left and right live-action cameras (and therefore the angle of view of the left and right virtual cameras) based on the magnification operation information. May be. On the other hand, when the zoom signal generating means is realized by hardware, the zoom signal generating means does not calculate the angle of view of the left and right live-action cameras. Based on this, the angle of view of the left and right live-action cameras (and hence the angle of view of the left and right virtual cameras) is calculated.
[0028]
In this way, when the camera interval is changed together with the optical zoom, when the magnification operation is performed by the observer, it may be considered as a change in the photographing magnification (or a change in the angle of view associated therewith). At the same time or almost simultaneously, the distance between the left and right live-action cameras changes, and the magnification (view angle) and distance between the left and right virtual cameras change accordingly. It is possible to present a stereoscopic image with a sense of reality more reliably. In the case of this configuration, it is assumed that the live-action video acquisition means is configured to include two left and right live-action cameras.
[0029]
Further, in the stereoscopic image presenting device described above, an appropriate image center based on the magnification operation information according to a correspondence relationship between a predetermined magnification or magnification index value and a change amount of the image center position in digital zoom display of the left and right live-action images. Image center position change amount calculating means for calculating the position change amount, and digital zoom of the left and right live-action images based on the magnification operation information by changing the image center position by the image center position change amount calculated by the image center position change amount calculating means A digital zoom processing means for performing processing, and the virtual camera condition setting means of the computer graphics image generating means changes the interval between the left and right virtual cameras in accordance with the change in the image center position of the left and right live-action images. Position setting means for setting the position of the virtual camera, and digital zoom of the left and right live-action video based on magnification operation information It is desirable that is configured to include a view angle setting means for setting the angle of the left and right virtual camera in accordance with the.
[0030]
Here, “change the interval between the left and right virtual cameras in accordance with the change in the image center position of the left and right live-action images” means that the total value of each change amount of the image center position of the left and right live-action images is When the center position of the left and right images is changed in a direction approaching each other (the image center position of the left-eye image is moved to the right, When the center position of the actual video is changed to the left), the distance between the left and right virtual cameras is reduced, while the center position of the left and right images is changed away from each other (for the left eye). In the case where the image center position of the photographed image is changed to the left and the image center position of the photographed image for the right eye is changed to the right), this means that the interval between the left and right virtual cameras is increased. Therefore, when it is assumed that the optical axis positions of the left and right live-action cameras are changed in response to the change in the image center position of the left and right live-action images (this is an explanatory assumption to the last. The existence of a live-action camera is not a premise.) This means that the interval between the left and right virtual cameras is made to coincide with the interval between the left and right live-action cameras assumed to have changed (see FIG. 7).
[0031]
Also, “Set the angle of view of the left and right virtual cameras to match the digital zoom of the left and right live-action images” means that the angle of view of the live-action camera at that time (assuming that it changed) This means that the angle of view of the virtual camera matches the angle of view).
[0032]
In such a configuration capable of digital zoom, when the magnification operation is performed by the observer, the center positions of the acquired right and left live-action video images change at the same time or substantially simultaneously with the magnification operation. The digital zoom process is performed with reference to the center position of the image, and the magnification (view angle) and interval of the left and right virtual cameras change accordingly. This results in a complex sense of realism for the observer. A stereoscopic image can be presented more reliably. In the case of this configuration, the configuration may be such that the live-action video acquisition means includes two left and right live-action cameras, or a configuration in which left and right real-action video is generated in a pseudo manner from the real-action video obtained by one real-shoot camera.
[0033]
Further, in the above-described stereoscopic video presenting apparatus, the live-action video acquisition means is configured to include left and right live-action cameras capable of optical zoom that changes the focal length and the angle of view based on the magnification operation information, and has a predetermined magnification. Or an optical axis angle control signal generating means for generating a control signal for realizing an appropriate actual camera optical axis angle determined based on magnification operation information according to the correspondence relationship between the magnification index value and the optical axis angles of the left and right actual camera And a camera optical axis angle adjustment device that automatically adjusts the optical axis angle of the right and left live-action cameras to an appropriate real-camera optical axis angle based on a control signal from the optical axis angle control signal generating means, and generates a computer graphics image The virtual camera condition setting means of the means matches the optical axis angle of the left and right virtual cameras to an appropriate actual camera optical axis angle, and And direction setting means for setting a direction, or may be configured to include a view angle setting means for setting the angle of the left and right virtual camera to match the angle of the left and right live-action camera.
[0034]
Here, the “optical axis angle control signal generating means” may be realized by either software or hardware as in the case of the “interval control signal generating means” in the configuration in which the camera interval is changed together with the optical zoom. When realized by software, the “correspondence between a predetermined magnification or magnification index value and the optical axis angles of the left and right live-action cameras” is determined using a mathematical expression or a database.
[0035]
In this way, when the optical axis angle is changed together with the optical zoom, when the magnification operation is performed by the observer, the left and right are simultaneously or substantially simultaneously with the change in the photographing magnification (the change in the angle of view of the left and right live-action cameras). Since the optical axis angle of the live-action camera changes, and the magnification (field angle) and optical axis angle of the left and right virtual cameras change accordingly, the stereoscopic image with a complex sense of realism that does not feel strange to the viewer The video can be presented more reliably. In the case of this configuration, it is assumed that the live-action video acquisition means is configured to include two left and right live-action cameras.
[0036]
Further, in the case where the optical axis angle is changed together with the optical zoom as described above, an optical axis angle operating means for an observer to perform an input operation for changing the optical axis angle of the left and right live-action cameras, and this light Adjusts the optical axis angles of the left and right live-action cameras regardless of the correspondence between the magnification or the magnification index value and the optical axis angles of the left and right live-action cameras by the control signal generated based on the optical angle operation information by the axis angle operation means The virtual camera condition setting means of the computer graphics image generating means matches the optical axis angles of the left and right virtual cameras with the optical axis angles of the left and right live-action cameras, and the left and right virtual cameras. The direction setting means for setting the direction may be included.
[0037]
Here, as the “optical axis angle operation means”, for example, a push-type button, a slide-type knob, a dial-type setting device, a voice recognition device, or the like can be employed.
[0038]
When the configuration is such that the optical axis angle can be manually changed in this way, the observer operates the optical axis angle operation means to use the “predetermined” used in automatic adjustment of the optical axis angle. Regardless of the “correspondence between the obtained magnification or magnification index value and the optical axis angles of the left and right live-action cameras”, the optical axis angle can be changed, and it is possible to create a desired three-dimensional effect.
[0039]
In the above, the configuration capable of optical zoom (including both the case where the camera interval is changed and the case where the optical axis angle is changed) and the configuration capable of digital zoom may be combined. And digital zoom can be used together (continuous application). When used in combination, it is preferable to prioritize optical zoom from the viewpoint of improving image quality. On the other hand, when only the digital zoom is used, the apparatus configuration can be simplified and the processing speed (follow-up speed) can be improved.
[0040]
Further, in the stereoscopic video presenting device described above, the observer includes a mixing rate operating means for performing an input operation for changing the mixing rate of the live-action stereoscopic video and the stereoscopic computer graphics image, It is desirable that the left and right composite images be generated based on the mixing rate operation information by the mixing rate operating means.
[0041]
Here, as the “mixing rate operation means”, for example, a push type button, a slide type knob, a dial type setting device, a voice recognition device, or the like can be adopted.
[0042]
When the mixture ratio of the live-action stereoscopic video and the stereoscopic CG image can be changed as described above, the observer can observe mainly the live-action stereoscopic video or the stereoscopic CG image. Can be done.
[0043]
Furthermore, the stereoscopic video presenting apparatus described above includes computer graphics operation means for performing an input operation for the observer to change the stereoscopic computer graphics image independently of the change of the live-action stereoscopic video, The graphics image generating means includes a model deformation processing means for deforming the model using information related to the model stored in the model information storage means based on computer graphics operation information by the computer graphics operation means. desirable.
[0044]
Here, as the “computer graphics operation means”, for example, a push-type button, a slide-type knob, a dial-type setting device, a voice recognition device, or the like can be employed.
[0045]
Further, “deforming a model” includes changing the geometric shape of the model and changing surface characteristics (color, pattern, texture, etc.) (from colorless and transparent to colored or vice versa). ) Etc. are included.
[0046]
Furthermore, the purpose of changing the stereoscopic CG image includes, for example, observation of secular change, comparative observation of branching conditions, and comparative observation of a plurality of candidates and selection elements. Observation of secular change is, for example, observation that compares the current state of a ruin, the state of the Heian period, the state of the Nara period, and the like. The comparative observation of the bifurcation situation is, for example, to compare the future state when the security of a certain region deteriorates, the future state after the nuclear war, and the future state when science and technology develops soundly. Observation. The comparative observation of a plurality of candidates and selection elements is, for example, an observation in which a building owner compares a plurality of plans for a building planned to be constructed at a construction site.
[0047]
When the stereoscopic CG image can be changed as described above, the observer can easily compare and observe a plurality of composite patterns of the live-action stereoscopic video and the stereoscopic CG image. For this reason, it is possible to increase the amount of information presented to the observer and to diversify and enhance the information presentation.
[0048]
And in the stereoscopic image presenting apparatus described above, a left-eye imaging camera and / or a right-eye imaging camera that captures the left eye and / or right eye of the observer who is observing the stereoscopic video presented by the output means. Left eye and / or right eye eye movements using the left eye and / or right eye imaging cameras, the frequency of occurrence of blinks, Alternatively, it is desirable to have a configuration including an evaluation unit that performs at least one measurement / analysis of the pupil area.
[0049]
Thus, when the camera for left-eye photography and / or right-eye photography and the evaluation means are provided, the physiological information of the observer (the eye movement of the left eye and / or the right eye, the occurrence frequency of blinks, or Based on at least one type of information in the pupil area), and at least one type of information on the gaze location in the stereoscopic image, the degree of interest / interest in the gaze location, or the favorable sensitivity to the gaze location It becomes possible. For this reason, based on the grasped information, for example, adjustment of selection of information presentation target and information presentation method in another information presentation device to the observer, or notification of the evaluation result to the observer may be performed. In addition, if information obtained from physiological information of a plurality of observers is accumulated, various information presented by the stereoscopic video presenting apparatus of the present invention can be reviewed, changed, arranged, and the like. The measurement / analysis by the evaluation means is preferably performed in real time.
[0050]
Further, in the case where the left-eye imaging and / or right-eye imaging camera and the evaluation unit are provided as described above, from the eye movements of the left eye and / or the right eye of the observer measured and analyzed by the evaluation unit. It is desirable to have a configuration comprising gaze location identifying means for identifying a gaze location in the stereoscopic video and gaze location storage means for recording and storing the gaze location identified by the gaze location identification means.
[0051]
When the gaze location identifying means and the gaze location storage means are provided in this way, information on the eye movement of the left eye and / or the right eye is used as information on the gaze location that can be used and handled in various processes. It is possible to convert to and save. In addition, it is preferable to perform the identification process by a gaze location identification means in real time.
[0052]
When the left-eye and / or right-eye camera and the evaluation unit are provided as described above, the three-dimensional image in the stereoscopic image is determined from the occurrence frequency of the blink of the observer measured and analyzed by the evaluation unit. Interest / interest degree quantification means for quantifying the degree of interest / interest in the gaze point, and interest / interest degree storage means for recording and storing the interest / interest degree quantified by the interest / interest degree quantification means It is desirable to have a configuration with
[0053]
When the interest / interest degree quantification means and the interest / interest degree storage means are provided in this way, the information on the frequency of occurrence of the blink of the observer can be used and handled in various processes. It can be converted into information on the degree of interest / interest in the location and stored. The quantification process by the interest / interest degree quantification means is preferably performed in real time.
[0054]
Further, in the case where the left-eye imaging camera and / or the right-eye imaging camera and the evaluation unit are provided as described above, the gaze point in the stereoscopic image is measured from the pupil area of the observer measured and analyzed by the evaluation unit. It is desirable to have a configuration that includes a sensitization quantification unit that quantifies positivity, and a favourite storage unit that records and stores the positivity quantified by the positivity quantification unit.
[0055]
In this way, when the likability quantification means and the likability storage means are provided, the information on the pupil area of the observer is converted into the likability information for the gaze point in a form that can be used and handled in various processes. It can be converted and saved. In addition, it is preferable to perform the quantification process by a favorable sensitivity quantification means in real time.
[0056]
Furthermore, in the stereoscopic video presenting apparatus described above, additional information storage means for storing additional information about the observation object in the live-action stereoscopic video and / or the observation object in the stereoscopic computer graphics image, and observation An event occurrence possible display processing means for performing processing to display that the accompanying information can be presented by the output means for the object, and an observation object on which the event occurrence possible display is performed by the event occurrence possible display processing means Event start operation means for performing an input operation for selecting an observation object that the observer is interested in from the above, and the observation object selected by the event start operation means is stored in the incidental information storage means It is desirable to have a configuration comprising supplementary information presenting means for performing processing for presenting supplementary information by the output means.
[0057]
Here, as the “event start operation means”, for example, a push-type button, a slide-type knob, a dial-type setting device, a voice recognition device, or the like can be employed.
[0058]
In addition, the “accompanying information” includes, for example, text information, audio information, still image information, moving image information, or a combination thereof. However, the presentation to the observer may be a planar view or a stereoscopic view.
[0059]
In this way, when the event can be generated, more information can be presented to the observer, and information is presented according to the event start operation of the observer. It is possible to present the incidental information only for necessary observation objects when necessary.
[0060]
Then, in the stereoscopic video presenting apparatus described above, processing for displaying that it is possible to attach a bookmark to the observation target in the live-action type stereoscopic video and / or the observation target in the stereoscopic computer graphics image Bookmarkable display processing means for performing bookmarking, and bookmark operation for performing an input operation for the observer to select an observation target to be bookmarked from among the observation target objects for which bookmarkable display is performed by the bookmarkable display processing means Means, a bookmark registration processing means for accepting selection information of an observation object by the bookmark operation means and performing a registration process for attaching a bookmark to the observation object, and an observation subject to registration processing by the bookmark registration processing means The identification information of the object and the bookmark Bookmark information storage means for storing the bookmark information including the order information to which the mark is attached, and the observer's operation information including the bookmark information stored in the bookmark information storage means is transmitted to another information presentation device via the network. It is desirable to have a configuration including an observer operation information transmitting means.
[0061]
Here, if the stereoscopic image presenting apparatus of the present invention is, for example, a fixed point observation apparatus that observes a wide area from a fixed position, the “another information presenting apparatus” is presented while being carried by an observer, for example. This is a portable information presentation device capable of viewing information.
[0062]
Further, the “observer operation information transmitting means” may transmit the operation information of the observer including the bookmark information to another information presenting device in response to a request from another information presenting device, or the own operation timing. May be transmitted to another information presentation device.
[0063]
Furthermore, “observer operation information including bookmark information” refers to, in addition to bookmark information, for example, pan operation, tilt operation, magnification operation, mixing rate operation, event start operation, computer graphics operation, etc. Various operation information may be transmitted to another information presentation device.
[0064]
The “network” includes, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), the Internet, an intranet, an extranet, or a combination thereof. Various types are included, whether wired or wireless, or mixed wired and wireless, in short, to some extent between multiple points (regardless of length of distance). As long as the information can be transmitted at a speed as high as possible.
[0065]
Thus, when it is set as the structure which can attach a bookmark to an observation target object, it becomes possible for an observer to attach a bookmark about the observation target object which he wants to go to the place later and to observe in detail. . Moreover, since the bookmark information can be transmitted to another information presenting apparatus, it is possible to perform the guidance process to the observation target with the bookmark in the other information presenting apparatus.
[0066]
Further, in the case where the above-described left-eye imaging camera and / or right-eye imaging camera and evaluation means are provided, the eye movement of the observer's left eye and / or right eye measured and analyzed by the evaluation means is identified. Measured by the evaluation means and the degree of interest / interest in the three-dimensional image quantified based on the gaze location in the stereoscopic image and the observer's blinking frequency measured and analyzed by the evaluation means -Observer physiology information that transmits at least one type of information to another information presentation device via a network among the favorable sensitivity to the gaze point in the stereoscopic image quantified from the analyzed pupil area of the observer It is desirable to have a configuration including transmission means.
[0067]
Here, the “observer physiological information transmitting means” may transmit information obtained from the physiological information of the observer to another information presenting device in response to a request from another information presenting device, or by itself You may transmit to another information presentation apparatus at the timing of.
[0068]
When the observer physiological information transmitting means is provided in this way, information obtained from the observer's physiological information is used in another information presentation device for the guidance process of the observer and the information presentation process to the observer. It becomes possible to do.
[0069]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0070]
[First Embodiment]
FIG. 1 shows the overall configuration of the stereoscopic image presentation device 10 according to the first embodiment of the present invention along with the flow of data and signals. 2 is an elevational configuration diagram of the binocular device 20 of the stereoscopic image presenting device 10, FIG. 3 is a horizontal sectional view of the binocular device 20 as viewed from above, and FIG. It is a perspective view of the input operation means 70.
[0071]
1 and 2, a stereoscopic image presentation device 10 is observed by a viewer 1 observing a field such as a ruin with left and right eyes, and a binocular device 20 connected to the binocular device 20 via a cable 2. And an image processing device 80 for performing various image processing necessary for the image processing.
[0072]
The binocular device 20 is erected on the carriage 60, the binoculars 30 that the observer 1 looks into, the binocular support mechanism 50 that supports the binoculars 30 movably, the carriage 60 for moving the installation position of the binoculars 30, and the carriage 60. The binoculars 30 and the binocular support mechanism 50 are supported by a binoculars height position adjustment rod 61 that can be adjusted in length, and an input operation means 70 that serves as an interface for receiving an input operation of the observer 1.
[0073]
2 and 3, the binoculars 30 automatically adjust the left and right live-action cameras 32 and 33 constituting the live-action image acquisition means 31 for acquiring left and right real-action images, and the interval between these real-image cameras 32 and 33. A camera interval adjusting device 34, a liquid crystal panel 35 arranged in a vertical direction for outputting an image for the left eye, a liquid crystal panel 36 arranged in a horizontal direction for outputting an image for the right eye, and these liquid crystal panels 35 , 36 and a half mirror 37 disposed in a direction of 45 degrees, and left and right eyepieces 38, 39 with polarizing filters.
[0074]
The live-action cameras 32 and 33 are, for example, CCD cameras or the like, and are configured to be capable of optical zoom. Further, an ND filter that adjusts the amount of light may be provided as appropriate.
[0075]
The camera interval adjusting device 34 is driven by, for example, a motor, a cylinder device or the like, and is controlled by a control signal from the interval control signal generating means 82.
[0076]
The liquid crystal panels 35 and 36 are, for example, TFT panels or the like, and output images having a 90 ° polarization direction different from each other by a polarizing filter. Then, as indicated by the alternate long and short dash line in FIG. 2, the light beam from the liquid crystal panel 35 that outputs the image for the left eye passes through the half mirror 37 and reaches the left and right eyepieces 38 and 39. As indicated by the alternate long and short dash line, the eyepiece lens 38 for the left eye passes through the polarizing filter, but the eyepiece lens 39 for the right eye does not pass. On the other hand, as shown by the dotted line in FIG. 2, the light beam from the liquid crystal panel 36 that outputs the image for the right eye is bent at a right angle by the half mirror 37 and reaches the left and right eyepieces 38 and 39, as shown in FIG. As indicated by the dotted line, the right eyepiece lens 39 passes through the polarizing filter, but the left eyepiece eyepiece 38 does not pass. Accordingly, the liquid crystal panels 35 and 36, the half mirror 37, and the left and right eyepiece lenses 38 and 39 constitute an output means 40 that presents a stereoscopic image with binocular parallax to the observer 1.
[0077]
Contrary to the case of this embodiment, the liquid crystal panel that outputs the image for the left eye may be arranged in the horizontal direction, and the liquid crystal panel that outputs the image for the right eye may be arranged in the vertical direction. In this embodiment, the linear polarization method is used, but the polarization method may be a circular polarization method.
[0078]
In addition, the binoculars 30 are provided with left-eye and right-eye cameras 41 and 42 for photographing the left eye and right eye of the observer who is observing the stereoscopic video presented by the output means 40. These cameras 41 and 42 are arranged at the lower right position of the half mirror 37 in FIG. 2 so that the left eye and the right eye reflected on the half mirror 37 can be photographed. As shown in FIG. 4, the half mirror 37 may be disposed at the upper left position.
[0079]
The binocular support mechanism 50 includes a pan operation mechanism 51 that allows a pan operation by an observer, and a tilt operation mechanism 52 that allows a tilt operation by an observer. The pan operation mechanism 51 is provided with pan operation angle detection means 53 as direction operation information detection means, and the tilt operation mechanism 52 is provided with tilt operation angle detection means 54 as direction operation information detection means. These pan operation angle detection means 53 and tilt operation angle detection means 54 are, for example, encoders.
[0080]
1 and 4, an input operation unit 70 includes a zoom-up button 71A and a zoom-down button 71B that constitute a magnification operation unit 71 for performing an input operation for the observer to change the magnification of the left and right live-action images, and an observation. A fade-in button 72A and a fade-out button 72B constituting the mixing rate operation means 72 for performing an input operation for changing the mixing rate of the live-action stereoscopic video and the stereoscopic CG image, and the observer changes the stereoscopic CG image over time. A time forward button 73A and a time backward button 73B constituting an aging change operation means 73 which is a computer graphics operation means for performing an input operation to perform the input operation.
[0081]
Further, the input operation means 70 is a bookmark operation means for performing an input operation for the observer to select an observation object to be bookmarked from among the observation objects for which bookmarkable display is performed by the bookmarkable display processing means 96. And an event for performing an input operation for selecting an observation object that the observer is interested in from among the observation objects on which the event occurrence display is performed by the event occurrence display processing means 93. An event start button 75 which is a start operation means is provided.
[0082]
The zoom-up button 71A is a telephoto button for increasing the magnification, and the zoom-down button 71B is a wide-angle button for decreasing the magnification. These zoom-up button 71A and zoom When the down button 71B is pressed, as shown in FIG. 8, a magnification instruction status display portion 71C indicating the magnification instruction status currently being operated is output on the screen of the output means 40. In the present embodiment, the magnification instruction status display unit 71C has, for example, an elongated inverted triangular shape, and is provided at a position where the zoom up button 71A and the zoom down button 71B are operated with the right hand (see FIG. 4). , It is displayed at the right edge position of the screen to make it image. A standard magnification bar 71D indicating an initial state (Default) is provided at the center position in the vertical direction of the magnification instruction status display section 71C, and a slide bar 71E indicating the current instruction magnification is magnified in the magnification instruction status display section 71C. It moves up and down according to the operation. Since the zoom up button 71A is provided on the upper side (see FIG. 4), when the zoom up button 71A is pressed so that it can be imaged, the slide bar 71E moves upward, while the zoom down button 71B is The slide bar 71E moves downward when the zoom-down button 71B is pushed so that it can be imaged. In the present embodiment, since the optical zoom and the digital zoom can be used together, the optical zoom and the digital zoom are used together when the slide bar 71E is positioned at the top and the maximum magnification is set. However, since the optical zoom is given priority, the digital zoom is not performed in the case of an instruction magnification that can be handled only by the optical zoom.
[0083]
The fade-in button 72A is a button for displaying a stereoscopic CG image darkly, and the fade-out button 72B is a button for displaying a stereoscopic CG image lightly. When these fade-in button 72A and fade-out button 72B are pressed, As shown in FIG. 8, a mixing rate indication status display section 72 C that indicates the mixing rate indication status that is currently being operated is output on the screen of the output means 40. In the present embodiment, as an example, the mixing rate instruction status display unit 72C has an elongated bar shape in which the upper part is blurred and the lower part is clear so as to give an image of the density of a stereoscopic CG image. Since the 72A and the fade-out button 72B are provided at positions operated by the left hand (see FIG. 4), they are displayed at the left end position of the screen in order to make them image. A standard mixing rate bar 72D indicating an initial state (Default) in which the degree of mixing is equal is provided at the center position in the vertical direction of the mixing rate indicating status display portion 72C, and a slide bar 72E indicating the current indicated mixing rate is mixed. The rate instruction status display part 72C is moved up and down according to the mixing rate operation. If the fade-in button 72A is continuously pressed, the slide bar 72E moves downward (the fade-in button 72A is provided on the lower side as shown in FIG. 4 and matches the image), and the three-dimensional CG. The image (for example, the model 4 such as the past building in FIG. 8) is gradually darkened. On the contrary, the live-action stereoscopic image (for example, the background 3 such as the mountain, sky, ground, etc. in FIG. 8) is gradually increased. When the slide bar 72E reaches the lowermost position, only the stereoscopic CG image is obtained and the live-action stereoscopic video disappears. On the other hand, when the fade-out button 72B is continuously pressed, the slide bar 72E moves upward (the fade-out button 72B is provided on the upper side as shown in FIG. 4 so that it matches the image), and the stereoscopic CG image is displayed. On the contrary, the live-action stereoscopic video gradually becomes darker, and when the slide bar 72E reaches the uppermost position, only the live-action stereoscopic video is displayed and the stereoscopic CG image disappears.
[0084]
The time forward button 73A is a button for advancing the time of the virtual space formed by the stereoscopic CG image (in the present embodiment, the era is an example) to a future era than the standard time (the era of the initial state). The time backward button 73B is a button for returning the time (era) of the virtual space to the past era from the standard time (the era of the initial state), and the time forward button 73A and the time backward button 73B are pressed. Then, as shown in FIG. 9, a time (era) indication status display section 73 C indicating the time (era) indication status during the current operation is output on the screen of the output means 40. In the present embodiment, the period indication status display section 73C has, for example, a triangular shape elongated in the horizontal direction, and is provided on the upper surface of the position where the time forward button 73A and the time backward button 73B are operated with the right hand. (See FIG. 4), it is displayed at the right position at the top of the screen to make it appear. A standard time bar 73D indicating an initial state (Default) is provided at the center position in the left-right direction of the period indication status display unit 73C, and a slide bar 73E indicating the currently instructed period passes through the period indication status display unit 73C over time. It moves to the left and right according to the change operation.
[0085]
In the stereoscopic video presenting apparatus 10, when the live-action stereoscopic video changes in accordance with the direction operation or magnification operation of the observer, the stereoscopic CG image changes in synchronization with this. This is performed independently of the follow-up change with respect to the change in the image. For example, as shown in FIG. 9, a model 4 such as a past building displayed on the screen as an object that existed in a certain era is changed to a different era when an aging operation is performed by an observer. 9 disappears from the screen as indicated by a two-dot chain line, and another model 5 such as a building appears. At this time, even if the observer's direction operation and magnification operation are not performed at all, the stereoscopic CG image is changed by the secular change operation. In addition, if a direction operation or a magnification operation is performed, a secular change operation can be performed under each situation where the operations are performed. It should be noted that the secular change is not limited to the disappearance or appearance of the object as shown in FIG. 9, for example, how one building is gradually built over time, how it collapses, or A combination of such a state and disappearance or appearance of an object may be used.
[0086]
In FIG. 1, an image processing apparatus 80 is constituted by a computer, and includes a zoom signal generating means 81, an interval control signal generating means 82, an image center position change amount calculating means 83, a digital zoom processing means 84, and a computer graphics image. A generation unit 85, a synthesis processing unit 89, and a model information storage unit 90 are provided. Further, the image processing apparatus 80 includes display means 80A such as a liquid crystal display or a CRT display (see FIG. 2), and both of the display means 80A are presented to the observer by the output means 40 of the binocular device 20. Since the same 3D image as the 3D image with the eye parallax is displayed, the person who is viewing the display means 80A can use the liquid crystal shutter system or the polarizing filter system glasses, etc. You can see the same picture.
[0087]
The zoom signal generating means 81 generates a zoom signal based on the magnification operation information by the magnification operation means 71 (in this embodiment, it is data proportional to the angle of view as an example), and the zoom signal is generated on the left and right actual images. Processing to transmit to the cameras 32 and 33 is performed. Note that the zoom signal may be sent from the magnification operation means 71 to the left and right live-action cameras 32 and 33 without going through the image processing device 80.
[0088]
The interval control signal generation means 82 is a magnification operation means according to the correspondence between a predetermined magnification or magnification index value (the angle of view in the present embodiment) and the distance between the left and right live-action cameras 32 and 33 during optical zoom. Based on the magnification operation information 71 (data proportional to the angle of view), an appropriate actual camera interval for the magnification (angle of view) designated by the observer is calculated, and a control signal for realizing this interval is generated. The control signal is transmitted to the camera interval adjusting device 34. Here, the correspondence between the predetermined magnification or magnification index value and the distance between the left and right live-action cameras 32 and 33 is determined by a mathematical expression or a database.
[0089]
The image center position change amount calculation means 83 follows a correspondence relationship between a predetermined magnification or a magnification index value (in this embodiment, an angle of view) and a change amount of the image center position when digital zoom display of the left and right live-action images is performed. Based on the magnification operation information (data proportional to the view angle) by the magnification operation means 71, a process for calculating an appropriate image center position change amount for the magnification (view angle) designated by the observer is performed. Here, the correspondence between the predetermined magnification or magnification index value (in this embodiment, the angle of view) and the amount of change in the image center position during digital zoom display of the left and right live-action images is determined by a mathematical expression or a database. .
[0090]
The digital zoom processing unit 84 changes the image center position by the image center position change amount calculated by the image center position change amount calculation unit 83 and uses the magnification operation information (data proportional to the angle of view) by the magnification operation unit 71. Based on this, digital zoom processing is performed on the left and right live-action images.
[0091]
The computer graphics image generating means 85 performs processing for generating left and right CG images constituting a stereoscopic CG image using information on the model stored in the model information storage means 90, and virtual camera condition setting means 86. And a model transformation processing means 87 and a rendering processing means 88.
[0092]
The virtual camera condition setting unit 86 includes direction operation information (for example, an encoder pulse signal) detected by the pan operation angle detection unit 53 and tilt operation angle detection unit 54, and magnification operation information by the magnification operation unit 71 (this embodiment). Then, based on the data proportional to the angle of view), the process of changing the conditions of the left and right virtual cameras 91 and 92 in real time is performed, and direction setting means 86A for setting the directions of the virtual cameras 91 and 92; An angle-of-view setting means 86B for setting the angles of view of the virtual cameras 91 and 92 and a position setting means 86C for setting the positions of the virtual cameras 91 and 92 are configured.
[0093]
The direction setting means 86A sets the directions of the left and right virtual cameras 91 and 92 based on the direction operation information detected by the pan operation angle detection means 53 and the tilt operation angle detection means 54.
[0094]
At the time of optical zoom, the angle-of-view setting means 86B is based on the magnification operation information (data proportional to the angle of view) by the magnification operation means 71 so that the left and right virtual cameras 91 match the angle of view of the left and right live-action cameras 32 and 33. , 92 are calculated and set (see FIG. 6). Further, at the time of digital zoom, the angle-of-view setting unit 86B sets the angle of view of the left and right virtual cameras in accordance with the digital zoom of the left and right actual captured images based on the magnification operation information (data proportional to the angle of view) by the magnification operation unit 71 ( (See FIG. 7).
[0095]
During the optical zoom, the position setting unit 86C causes the left and right virtual cameras 91 and 92 to match the interval between the left and right virtual cameras 91 and 92 with the appropriate live-action camera interval calculated by the interval control signal generating unit 82. Is set (see FIG. 6). Also, the position setting means 86C sets the positions of the left and right virtual cameras 91 and 92 by changing the interval between the left and right virtual cameras 91 and 92 in accordance with the change in the image center position of the left and right captured images during digital zoom. (See FIG. 7).
[0096]
The model deformation processing unit 87 performs processing for deforming the model using information on the model stored in the model information storage unit 90 based on the aging operation information by the aging operation unit 73. At this time, the deformation of the model is realized by a function of morphing (also referred to as a blend shape) that generates an intermediate shape from two shapes. For example, shape change information is stored in the model information storage means 90 at certain time intervals (periods), and a plurality of (two or three or more) times (periods) and times (periods) As for the change between the two, shape data stored in advance can be interpolated and displayed. However, the deformation of the model in the present invention includes not only the deformation of the model geometry but also the change of surface characteristics (color, pattern, texture, etc.), and the appearance and disappearance of an object as shown in FIG. , And can be realized by changing from colorless and transparent to colored or vice versa.) Note that model deformation processing such as morphing is described in detail in Non-Patent Document 2 and the like described above, and detailed description thereof is omitted here.
[0097]
The rendering processing unit 88 generates left and right CG images by performing rendering processing using the left and right virtual cameras 91 and 92 under the conditions set by the virtual camera condition setting unit 86, and is referred to as a renderer. Realized by software. Since the rendering process is described in detail in Non-Patent Document 1 and the like described above, detailed description thereof is omitted here.
[0098]
The synthesis processing unit 89 generates a composite image for the left eye by superimposing the left-eye real image and the left-eye CG image, and also generates the right-eye real image and the right-eye CG image. A process of superimposing and generating a composite image for the right eye is performed. At the time of this synthesis process, the mixing ratio between the real image and the CG image is adjusted based on the mixing rate operation information by the mixing rate operating means 72.
[0099]
The model information storage unit 90 is information regarding a model for CG for forming a virtual space corresponding to a real space (in this embodiment, a field such as a ruin as an example) that is a target for acquiring a captured image by the captured image acquisition unit 31. Is memorized. Model information includes shape data, position data, surface property data (including color data, texture mapping data, bump mapping data, etc.), data on model deformation for aging, and bookmarks. Information on whether or not (bookmarks may be attached to each model or may be attached to each component part of the model). Note that incidental information (basic information explanation data and movie data) stored in the incidental information storage unit 95 described later may be stored together in the model information storage unit 90.
[0100]
In FIG. 1, the image processing apparatus 80 includes an event occurrence possible display processing means 93, an accompanying information presenting means 94, an accompanying information storage means 95, a bookmark possible display processing means 96, a bookmark registration processing means 97, An observer operation information transmission unit 98, a bookmark information storage unit 99, and a log data storage unit 100 are provided.
[0101]
The event occurrence possible display processing means 93 performs processing for displaying that the output means 40 can present the incidental information for the observation object in the live-action stereoscopic video and the observation object in the stereoscopic CG image. It is. The event occurrence possible display may be a character display on the screen of the output means 40, a picture display such as an icon, or the like.
[0102]
Note that objects to be observed in live-action 3D images (for example, buildings that have not disappeared in the ruins until now, or characteristic trees with high age or historical value) are displayed on the screen. By preparing a CG model that is not displayed at a position that overlaps the observation object, it can be selected by the event start button 75, and an event can be generated. As will be described later, the same applies to a case where an observation target in a live-action stereoscopic video is a selection target to be bookmarked.
[0103]
The supplementary information presenting means 94 presents supplementary information stored in the supplementary information storage means 95 for the observation object selected by the event start button 75 (see FIG. 4), which is an event start operation means, by the output means 40. The processing is performed.
[0104]
The incidental information storage unit 95 stores incidental information about the observation object in the live-action stereoscopic video and the observation object in the stereoscopic CG image. In the present embodiment, as supplementary information for each observation object, data for presenting basic information by text description and data for presenting information in a movie in addition to the basic information are prepared. Yes.
[0105]
The bookmarkable display processing means 96 performs a process of displaying that a bookmark can be attached to the observation object in the live-action stereoscopic video and the observation object in the stereoscopic CG image. This bookmarkable display may be a character display on the screen of the output means 40, a picture display such as an icon, or the like. The bookmarkable display processing means 96 is a model information storage for a model (or its constituent parts) that is at the center position of the screen of the output means 40 (on the extension of the camera optical axis) and has a display area on the screen of a certain value or more. With reference to information on the model stored in the means 90, when the model (or its constituent parts) is a bookmarkable model (or part), a bookmarkable display is performed.
[0106]
The bookmark registration processing means 97 receives the selection information of the observation object by the bookmark button 74 (see FIG. 4) which is a bookmark operation means, and the selected observation object as a registration process for attaching a bookmark to the observation object. The bookmark information is stored in the bookmark information storage means 99.
[0107]
The observer operation information transmission means 98 performs processing for transmitting the bookmark information stored in the bookmark information storage means 99 to, for example, another information presentation device 130 or 140 via the wireless network 7 (see FIG. 2). ). Moreover, the process which transmits the log data memorize | stored in the log data storage means 100 is also performed as needed.
[0108]
In FIG. 2, the information presentation device 130 is a portable information presentation device worn on the observer's head, and the information presentation device 140 is a portable information presentation device carried by the observer by hand. Both are devices for presenting information about observation objects existing in feeds such as ruins observed by the stereoscopic image presentation device 10 of the present invention. These information presentation devices 130 and 140 are, for example, the devices proposed by the applicant of the present application (see Japanese Patent Application No. 2002-266025). Then, the observer can go to the vicinity of the observation object according to the guidance display on the screen of the information presentation apparatuses 130 and 140, and can receive information presentation about the observation object from the information presentation apparatuses 130 and 140.
[0109]
The bookmark information storage means 99 stores the bookmark information including the identification information (ID) of the observation object that has been registered by the bookmark registration processing means 97 and the order information in which the bookmark is attached to the observation object. is there. In addition to the identification information (ID) and the order information, the bookmark information may include, for example, position information (latitude and longitude information) of the observation object. This bookmark information is transmitted to other information presenting devices 130 and 140 (see FIG. 2), and in these information presenting devices 130 and 140, the viewer's guidance display (observation order is changed to the observation target with the bookmark attached). Including guidance is also possible). In addition, when the information presentation devices 130 and 140 can grasp the position information (latitude and longitude information) from the identification information (ID), the position information may not be transmitted.
[0110]
The log data storage unit 100 stores the operations of the observer other than the bookmark operation as log data. The pan operation, the tilt operation, the magnification operation, the mixing rate operation, the event start operation, and the CG operation (aging change operation) are performed. , Recorded and stored together with the time when each operation was performed. Note that stereoscopic video data presented to the observer by the output means 40 (left and right composite image data displayed by the liquid crystal panels 35 and 36), and the left and right composite images used to generate the left and right composite images. The data of the photographed video and the data of the left and right CG images (including the ID of the model used for generating the CG image) are also recorded and stored in an image data storage unit (not shown).
[0111]
Further, in FIG. 1, the image processing apparatus 80 includes an evaluation unit 110, a gaze location identification unit 111, an interest / interest degree quantification unit 112, a favorableness quantification unit 113, and an observer physiological information transmission unit 114. , A gaze location storage unit 115, an interest / interest degree storage unit 116, and a likability storage unit 117.
[0112]
The evaluation unit 110 performs image processing in real time on the left eye and right eye images captured by the left-eye and right-eye cameras 41 and 42 (see FIGS. 2 and 3). Measurement and analysis of eye movements of the eyes and right eye, occurrence frequency of blinks, and pupil area are performed in real time.
[0113]
The gaze location identification means 111 identifies the gaze location in the stereoscopic image in real time from the eye movements of the left and right eyes of the observer measured and analyzed by the evaluation means 110, and the result is the gaze location storage means. The process of recording in 115 is performed. For example, the gaze location at each time is determined and recorded at a position (dot unit) on the screen.
[0114]
The interest / interest degree quantifying unit 112 quantifies the degree of interest / interest in the stereoscopic image in real time from the occurrence frequency of the blink of the observer measured and analyzed by the evaluation unit 110, The result is recorded in the interest / interest degree storage means 116.
[0115]
The likability quantification means 113 quantifies the likability of the gaze point in the stereoscopic image in real time from the pupil area of the observer measured and analyzed by the evaluation means 110, and the result is stored in the likability storage means 117. The recording process is performed.
[0116]
Accordingly, the data at each time recorded in the gaze location storage unit 115, the interest / interest degree storage unit 116, and the likability storage unit 117 are stored at the respective times recorded in the bookmark information storage unit 99 and the log data storage unit 100. By comparing it with the operation information of the observer and the image data and image generation information recorded in the image data storage means (not shown), the interest / interest level and the preference for the identified gaze location, the quantified gaze location are determined. It is possible to grasp in which situation the sensitivity is directed (for example, the state of the display screen, the display model ID, the operation state at that time, etc.).
[0117]
In addition, since the process of evaluation, identification, and quantification of the observer's physiological information by these means 110 to 113 is described in detail in Non-Patent Documents 3 to 5, the detailed description is omitted here. .
[0118]
The observer physiological information transmitting unit 114 is provided for the gaze location recorded in the gaze location storage unit 115, the interest / interest level for the gaze location recorded in the interest / interest level storage unit 116, and the gaze location recorded in the preference storage unit 117. For example, the process of transmitting each piece of likability information to another information presentation device 130 or 140 via the wireless network 7 is performed (see FIG. 2). When transmitting each piece of information, the gaze location, the interest / interest level for the gaze location, and the preference for the gaze location may be any status (for example, display screen status, display model ID, operation status at that time, etc.) Information on whether it was directed to is also sent. For example, the ID of the model and its constituent parts that were shown at the screen position identified as the gaze point at a certain time (or within a certain time) are also transmitted. In addition, when the gaze location changes, if the interest / degree of interest or likability is quantified, for example, all (and therefore one or more) models on the screen during that time, The component part IDs may be transmitted together, or all (and therefore one or more) models and the component part IDs reflected in the plurality of screen positions identified as gaze points are combined. You may make it transmit.
[0119]
The gaze location storage unit 115 records and stores the gaze location identified by the gaze location identification unit 111.
[0120]
The interest / interest degree storage means 116 records and stores the interest / interest degree quantified by the interest / interest degree quantification means 112.
[0121]
The preference storage unit 117 records and stores the preference quantified by the preference quantification unit 113.
[0122]
In the above, each of the means 81 to 89, 93, 94, 96 to 98, and 110 to 114 of the image processing apparatus 80 is a computer main body (not only a personal computer but also a higher-order model) constituting the image processing apparatus 80. (Including a central processing unit (CPU)) and one or a plurality of programs that define the operation procedure of the CPU.
[0123]
Further, each storage unit 90, 95, 99, 100, 115 to 117 of the image processing apparatus 80 is preferably realized by, for example, a hard disk or the like, but if it does not cause a problem in storage capacity, access speed, etc. ROM, EEPROM, flash memory, RAM, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, FD, magnetic tape, or a combination thereof may be employed.
[0124]
Further, the image processing apparatus 80 is not limited to one realized by one computer or one CPU, and is distributedly processed by a plurality of computers or the like (each means 81 to 89, 93, 94, 96 to 98, 110). It may be realized by performing functional distributed processing according to the function of each 114 and distributed processing for improving processing speed by parallel processing.
[0125]
In the first embodiment as described above, a stereoscopic video with a complex sense of reality is presented to the observer by the stereoscopic video presentation device 10 as follows.
[0126]
FIG. 5 is a flowchart showing the processing flow of the image processing apparatus 80. In FIG. 5, first, the image processing apparatus 80 is turned on to start the program (step S1).
[0127]
Next, the pan operation angle detected by the pan operation angle detection unit 53, the tilt operation angle detected by the tilt operation angle detection unit 54, the magnification operation information by the magnification operation unit 71, and the mixing rate operation information by the mixing rate operation unit 72 And the aging change operation information by the aging change operation means 73 is read (step S2). These pieces of operation information are always sent to the image processing apparatus 80 even if no operation is performed by the observer. The operation information may be sent to the image processing apparatus 80 only when there is an operation.
[0128]
Subsequently, based on the magnification operation information (in this embodiment, data proportional to the angle of view), the interval control signal generator 82 calculates the optimum live-action camera interval for the magnification (angle of view) designated by the observer. (Step S3).
[0129]
FIG. 6 is an explanatory diagram of processing during optical zoom. As shown in FIG. 6, assuming that the angle of view and interval of the live-action cameras 32 and 33 are the angle of view θc and the interval Dc in the initial state (Default), when the telephoto (Tele) is set, the focal length of the lens Becomes longer, the angle of view θc becomes smaller, and the angle of view θc ^t (Θc> θc ^t At this time, the interval Dc is narrowed to keep the parallax amount within a certain range, and the interval Dc ^t (Dc> Dc ^t ) On the other hand, when the wide angle (Wide) is selected, the focal length of the lens is shortened, the angle of view θc is increased, and the angle of view θc is increased. ^w (Θc <θc ^w At this time, the interval Dc is widened to keep the parallax amount within a certain range, and the interval Dc ^w (Dc <Dc ^w ) The correspondence relationship between the angle of view and the interval is determined in advance by a mathematical formula or a database. For example, Dc: θc = Dc ^t : Θc ^t = Dc ^w : Θc ^w Although it is good also as a proportional relationship like this, it is not limited to this. Further, whether the proportional relationship is used or not, the stereoscopic effect can be enhanced or weakened by changing the inclination of the angle-of-view graph.
[0130]
Then, the interval control signal generating means 82 generates a control signal for realizing the optimum live-action camera interval calculated in step S3, and transmits this control signal to the camera interval adjusting device 34, so that the real-use cameras 32 and 33 are connected to each other. Are automatically adjusted (step S4). Further, the zoom signal generating means 81 generates a zoom signal for realizing the magnification (view angle) instructed by the observer based on the magnification operation information (data proportional to the view angle). The image is transmitted to the cameras 32 and 33, and the angle of view and the focal length of the live-action cameras 32 and 33 are automatically adjusted (step S4).
[0131]
Then, the left and right live-action images taken by the real-life cameras 32 and 33 after the optical zoom are performed are captured (step S5). Note that the right and left captured real images may be in a state where the optical zoom has not been completed in consideration of the mechanical adjustment speed of the optical zoom. Since the process of S14 is repeatedly performed, there is no problem. After several repetitions, it is possible to capture a real image in a state where the target optical zoom is performed in a short time.
[0132]
Subsequently, based on the magnification operation information, it is determined whether it is necessary to perform digital zoom (step S6). For example, when the upper limit of the optical zoom is 3 times, if the observer is instructing 6 times based on the magnification operation information, it is determined that the 2 times digital zoom is necessary.
[0133]
Here, if it is determined that digital zoom is necessary, the image center position change amount calculation unit 83 sets an appropriate magnification for the digital zoom among the magnifications instructed by the observer based on the magnification operation information. An image center position change amount is calculated (step S7).
[0134]
FIG. 7 is an explanatory diagram of processing during digital zoom. As shown in FIG. 7, in the case of digital zoom, the angle of view θc and the interval Dc of the live-action cameras 32 and 33 do not change before and after the digital zoom. Is the same. Here, assuming that the center positions of the left and right live-action video images before digital zoom are PL and PR, when digital zoom is performed to increase the magnification, the center position at which the image is cut out during digital zoom processing has a constant amount of parallax. In order to fit within the range, each shifts inward by δ and PL ^t , PR ^t The position changes. The correspondence between the digital zoom magnification and the image center position change amount is determined in advance by a mathematical formula or a database.
[0135]
Then, in the state where the center position of the image cutout is changed by the calculated image center position change amount, the digital zoom processing means 84 performs image cutout processing from the left and right live-action images, and performs digital zoom processing (step S8). .
[0136]
On the other hand, if it is determined in step S6 that only the optical zoom is necessary and digital zoom is not necessary, the processes in steps S7 and S8 are not performed.
[0137]
Thereafter, the conditions of the left and right virtual cameras 91 and 92 are set by the virtual camera condition setting means 86 (step S9). At this time, when the optical zoom and the digital zoom are used in combination, the condition setting corresponding to the optical zoom is first performed, and then the condition setting corresponding to the digital zoom is performed step by step.
[0138]
First, in the case of optical zoom, as shown in FIG. 6, the field angle setting means 86B matches the field angles of the left and right virtual cameras 91 and 92 with the field angles of the left and right live-action cameras 32 and 33, and The position setting means 86C sets the positions of the left and right virtual cameras 91 and 92 so that the distance between the left and right virtual cameras 91 and 92 matches the distance between the left and right live-action cameras 32 and 33.
[0139]
That is, in the initial state (Default), the angle of view θc of the left and right live-action cameras 32 and 33 matches the angle of view θm of the left and right virtual cameras 91 and 92 (θc = θm), and the left and right live-action cameras 32 , 33 and the distance Dm between the left and right virtual cameras 91 and 92 coincide with each other (Dc = Dm), when the telephoto (Tele) is selected, as described above, The angle of view θc of the cameras 32 and 33 becomes narrower and the angle of view θc ^t (Θc> θc ^t ), And the distance Dc between the left and right live-action cameras 32 and 33 is reduced to a distance Dc. ^t (Dc> Dc ^t However, the angle of view θm of the left and right virtual cameras 91 and 92 is also narrowed in accordance with this, and the angle of view θm ^t (Θm> θm ^t ), And the distance Dm between the left and right virtual cameras 91 and 92 is also narrowed. ^t (Dm> Dm ^t ) Where θm ^t = Θc ^t , Dm ^t = Dc ^t It is.
[0140]
On the other hand, when the wide angle (Wide) is set, as described above, the angle of view θc of the left and right live-action cameras 32 and 33 becomes wider and the angle of view θc ^w (Θc <θc ^w ), And the distance Dc between the left and right live-action cameras 32 and 33 is widened to the distance Dc. ^w (Dc <Dc ^w However, in accordance with this, the angle of view θm of the left and right virtual cameras 91 and 92 also becomes wider and the angle of view θm ^w (Θm <θm ^w ), And the distance Dm between the left and right virtual cameras 91 and 92 is also widened. ^w (Dm <Dm ^w ) Where θm ^w = Θc ^w , Dm ^w = Dc ^w It is.
[0141]
Next, in the case of digital zoom, as shown in FIG. 7, the angle of view setting means 86B changes the angle of view of the left and right virtual cameras 91 and 92 in accordance with the digital zoom of the left and right captured images. That is, the field angles of the left and right virtual cameras 91 and 92 are made to coincide with the pseudo field angles of the left and right live-action cameras 32 and 33 when it is assumed that the digital zoom is performed by the optical zoom.
[0142]
In addition, the position setting means 86C changes the interval between the left and right virtual cameras 91 and 92 in accordance with the change in the image center position when the left and right actual captured images are digitally zoomed. Specifically, in the case of digital zoom for increasing the magnification, the distance Dm between the left and right virtual cameras 91 and 92 before digital zoom is narrowed by the total value (2 × δ) of the left and right image center position change amount δ. Later the distance Dm ^t (Dm> Dm ^t ). Where Dm ^t = Dm-2 × δ. That is, the interval between the left and right virtual cameras 91 and 92 is made to coincide with the pseudo interval between the left and right live-action cameras 32 and 33 when it is assumed that the digital zoom is performed by the optical zoom.
[0143]
Further, the direction setting means 86A sets the directions of the left and right virtual cameras 91 and 92 based on the direction operation information detected by the pan operation angle detection means 53 and the tilt operation angle detection means 54.
[0144]
Subsequently, information related to the model is read from the model information storage unit 90, and the model aging process is performed by the model deformation processing unit 87 based on the aging operation information by the aging operation unit 73. Furthermore, the processing time and season are grasped by the system, the position of the light (light source) is set according to the position of the sun at that time of the season, and the brightness is set according to the weather at the time of processing (step S10). ). As a result, the CG image and the live-action video can be fused without a sense of incongruity.
[0145]
Then, the rendering processing unit 88 performs rendering processing on the deformed model using the left and right virtual cameras 91 and 92 under the conditions set by the virtual camera condition setting unit 86 to generate left and right CG images (step S11). ). This rendering process is performed every time even if there is no new pan operation, tilt operation, magnification operation, and secular change operation by the observer. In the rendering process, a front clip surface or a rear clip surface may be used as appropriate.
[0146]
Thereafter, the synthesis processing unit 89 synthesizes the left and right live-action images and the left and right CG images based on the mixing rate operation information by the mixing rate operating unit 72. Then, the left and right composite images that have been properly aligned are generated (step S12).
[0147]
Finally, left and right composite images are respectively displayed on the left and right liquid crystal panels 35 and 36, and light beams of these left and right composite images are directed to the left and right eyepieces 38 and 39 by the half mirror 37. Then, since the light beams of the left and right composite images that have reached the eyepieces 38 and 39 have polarization directions that form 90 degrees with each other, the light beams of the composite image for the left eye that are output from the liquid crystal panel 35 are On the other hand, the light beam of the composite image for the right eye output from the liquid crystal panel 36 passes only through the eyepiece lens 39 for the right eye and passes through the eyepiece lens 39 for the right eye. A stereoscopic image with a realistic feeling is realized (step S13).
[0148]
If the image processing is not stopped (step S14), the process returns to step S2 again, and thereafter, the processing of steps S2 to S14 is repeated until the image processing is stopped. On the other hand, when canceling, the program is terminated (step S15).
[0149]
Further, the observer can perform pan operation, tilt operation, magnification operation, mixing rate operation, and secular change operation at any time while the image processing apparatus 80 repeats the processes of steps S2 to S14. FIG. 8 shows an example of a screen when the magnification operation and the mixing rate operation are performed. Note that the magnification operation and the mixing rate operation may be performed simultaneously, or may not be performed simultaneously. FIG. 9 shows an example of a screen when a secular change operation is performed. Note that the secular change operation may be performed simultaneously with the magnification operation or the mixing rate operation, or may not be performed simultaneously.
[0150]
Further, the observer can perform a process of attaching a bookmark to the observation object only when the bookmarkable display is being performed. First, the bookmarkable display processing means 96 determines whether or not the display area of the model (or its constituent parts) at the center position of the screen is equal to or larger than a certain area, and the model information. It is determined whether or not the model (or its constituent parts) is a bookmarkable model (part) by referring to the information on the model stored in the storage means 90.
[0151]
Here, when it is determined that the display area is a certain area or more and the bookmarkable model (part) is determined, the bookmarkable display processing unit 96 performs bookmarkable display on the screen of the output unit 40. On the other hand, if the display area is less than a certain area or the model (part) is not bookmarkable, bookmarkable display is not performed.
[0152]
Subsequently, when the viewer is interested in the observation object (model or its constituent parts) at the center of the screen while the bookmark enabled display is being performed, the observer presses the bookmark button 74 which is a bookmark operation means. Thus, an input operation for attaching a bookmark to the observation object can be performed. When the bookmark registration processing unit 97 receives the bookmark operation information, the bookmark registration processing unit 97 registers the ID of the observation object and the order in which the bookmark is attached to the observation object in the bookmark information storage unit 99.
[0153]
Also, the observer can refer to the incidental information about the observation object by generating an event only when the event occurrence possible display is performed. FIG. 10 is a flowchart showing the flow of processing when an event occurs. First, it is assumed that the processing by the image processing apparatus 80 is started (step S21), and the processing in the normal state is repeated. At this time, the event occurrence possible display processing means 93 determines whether or not there is incidental information about the observation target object (model or its constituent parts) displayed on the screen, and whether or not there is a movie if there is incidental information. The information related to the model stored in the model information storage means 90 is referred to, or is obtained by searching the auxiliary information storage means 95 (step S22).
[0154]
When there is incidental information, the event occurrence possible display processing unit 93 performs an event occurrence possible display on the screen of the output unit 40 (step S23). On the other hand, when there is no supplementary information, processing is in a normal state.
[0155]
Then, if the observer is interested in the object to be observed while the event possibility display is being performed (step S24), the observer presses the event start button 75 which is an event start operation means (step S25). On the other hand, when there is no interest (step S24), nothing is done or a pan operation or a tilt operation is performed to move to the observation of the next observation object, and the normal state processing is performed.
[0156]
When the observer presses the event start button 75, it is determined whether or not there is a movie (step S26). If there is a movie, basic information is displayed as an explanatory text on the screen of the output means 40. At the same time, the existence of the movie and the required time are displayed on the screen of the output means 40 (step S27). While these displays are being performed, the observer presses the event start button 75 again when he wants to watch the movie.
[0157]
Then, it is determined whether or not a predetermined time (for example, 10 seconds) has elapsed in this display state (step S28). If it has not elapsed, the display state is continued while it is determined that it has elapsed. If so, it is determined whether or not the event start button 75 has been pressed again (step S29). Here, when it is determined that re-pressing has been performed, a movie is shown (step S30), whereas when it is determined that re-pressing has not been performed, processing in a normal state is performed.
[0158]
In step S26, if there is no movie, only the basic information is displayed on the screen of the output means 40 as explanatory text (step S31). Then, it is determined whether or not a predetermined time (for example, 10 seconds) has elapsed in this display state (step S32). If it has not elapsed, the display state is continued, while it is determined that it has elapsed. In such a case, processing is in a normal state.
[0159]
Thereafter, the program is terminated at an appropriate time, and the processing of the image processing apparatus 80 is terminated (step S33).
[0160]
According to such 1st Embodiment, there exist the following effects. That is, since the stereoscopic image presenting apparatus 10 is provided with the magnification operation means 71, the observer can perform an operation of changing the magnification of the stereoscopic image being observed. Further, since the pan operation angle detection unit 53 and the tilt operation angle detection unit 54 are provided, the image processing apparatus 80 can grasp the direction operation information of the observer who is observing the stereoscopic video in real time. .
[0161]
Since the computer graphics image generation means 85 includes the virtual camera condition setting means 86, the direction detected by the pan operation angle detection means 53 and the tilt operation angle detection means 54 when generating the left and right CG images. Based on the operation information and the magnification operation information by the magnification operation means 71, the conditions of the left and right virtual cameras can be changed in real time. For this reason, the rendering process can be performed using the virtual camera condition whose setting is changed in real time by the virtual camera condition setting means 86.
[0162]
Therefore, even if the observer changes the direction of the live-action cameras 32 and 33 to sequentially move the observation object or changes the magnification of the image being observed, the direction operation information and the magnification operation information are used to generate the CG image. Since it is used for processing in real time and is reflected in real time in the composition processing of the CG image and the live-action video by the compositing processing means 89, the observer can view a stereoscopic video with a complex reality without any sense of incongruity in real time. You can observe while watching.
[0163]
In addition, since the stereoscopic image presenting apparatus 10 includes the interval control signal generating unit 82 and the camera interval adjusting device 34, a predetermined magnification or magnification index value (angle of view) and the left and right live-action cameras 32 are used during optical zooming. , 33 according to the correspondence relationship between the intervals between the live-action cameras 32, 33 based on the magnification operation information (in this embodiment, data proportional to the angle of view) so that the parallax amount falls within a certain range. It can be automatically adjusted to an appropriate interval (see FIG. 6).
[0164]
Further, at the time of optical zoom, the virtual camera condition setting means 86 controls the left and right virtual cameras 91 in accordance with the automatic adjustment of the distance between the live-action cameras 32 and 33 by the distance control signal generation means 82 and the camera distance adjustment device 34 described above. The positions of the left and right virtual cameras 91 and 92 are set so as to match the interval between the live-action cameras 32 and 33 automatically adjusted to an appropriate interval as described above, and the left and right Since the angle of view of the left and right virtual cameras 91 and 92 is set in accordance with the angle of view of the cameras 32 and 33 (see FIG. 6), it is possible to more surely present a stereoscopic image with a complex reality without any sense of incongruity. Can be realized.
[0165]
In addition, since the stereoscopic image presenting apparatus 10 includes the image center position change amount calculation unit 83 and the digital zoom processing unit 84, during digital zooming, a predetermined magnification or magnification index value and digital zoom display of the left and right live-action images are performed. According to the correspondence with the change amount of the image center position, based on the magnification operation information (in this embodiment, data proportional to the angle of view), the image center position is set to an appropriate amount so that the parallax amount is within a certain range. It is possible to shift and perform digital zoom processing around the shifted position (see FIG. 7).
[0166]
Further, at the time of digital zoom, the virtual camera condition setting means 86 sets the interval between the left and right virtual cameras 91 and 92 between the left and right live-action video images in accordance with the shift of the center position of the image at the time of digital zoom display of the above-described live-action video images. Since the positions of the left and right virtual cameras 91 and 92 are set in accordance with the shift of the center position of the image, and the angles of view of the left and right virtual cameras 91 and 92 are set in accordance with the digital zoom of the left and right captured images ( As shown in FIG. 7, it is possible to more reliably realize the presentation of a stereoscopic image with a complex reality without any sense of incongruity.
[0167]
Since the stereoscopic image presenting apparatus 10 includes the mixing rate operation unit 72, the synthesis processing unit 89 can generate left and right synthesized images based on the mixing rate operation information. For this reason, the observer can change the mixing ratio of the live-action stereoscopic video and the stereoscopic CG image while observing the stereoscopic video, so that either the live-action stereoscopic video or the stereoscopic CG image is mainly used. Observations can be made.
[0168]
Further, since the stereoscopic image presenting apparatus 10 includes the aging operation means 73 which is a computer graphics operation means, the computer graphics image generation means 85 stores it in the model information storage means 90 based on the aging operation information. The model can be transformed using information about the model that has been created. Therefore, the observer can easily compare and observe a plurality of combined patterns of the live-action stereoscopic video and the stereoscopic CG image. Accordingly, it is possible to increase the amount of information presented to the observer and to diversify and enhance the information presentation.
[0169]
Furthermore, since the stereoscopic image presenting apparatus 10 includes the left-eye and right-eye imaging cameras 41 and 42 and the evaluation unit 110, the stereoscopic video presenting apparatus 10 captures the left eye and the right eye of the observer who is observing the stereoscopic image. The eye movements, blink occurrence frequency, and pupil area can be measured and analyzed.
[0170]
Since the stereoscopic image presentation device 10 includes the gaze location identification unit 111 and the gaze location storage unit 115, the information on the eye movements of the left eye and the right eye can be used and handled in various processes. It can be converted into information on the gaze point of and saved.
[0171]
In addition, since the stereoscopic image presentation apparatus 10 includes the interest / interest level quantification unit 112 and the interest / interest level storage unit 116, information on the frequency of occurrence of the blink of the observer can be used in various processes. It can be converted into information on the degree of interest in the gaze location that can be handled and stored.
[0172]
Furthermore, since the stereoscopic image presentation apparatus 10 includes the sensitization quantification unit 113 and the likability storage unit 117, the viewer's pupil area information can be used and handled in various processes. It can be converted into information on the likability for the location and stored.
[0173]
Since the stereoscopic image presenting apparatus 10 includes the observer physiological information transmitting unit 114, each information of the gaze location, the degree of interest / interest in the gaze location, and the favorable sensitivity to the gaze location, for example, the wireless network 7 is provided. To the other information presenting devices 130 and 140 (see FIG. 2). For this reason, the information obtained from the physiological information of the observer can be used for the guidance process of the observer and the information presentation process to the observer in the other information presentation devices 130 and 140.
[0174]
Further, if the information of the gaze point storage unit 115, the interest / interest degree storage unit 116, and the likability storage unit 117 is accumulated for a plurality of persons, the overall review and change of various information presented by the stereoscopic image presentation device 10 are performed. Arrangement etc. can also be performed.
[0175]
Further, since the stereoscopic video presenting apparatus 10 includes an event start button 75 which is an event start operation means, an event occurrence possible display processing means 93, an accompanying information presenting means 94, and an accompanying information storage means 95, an event is generated. By presenting incidental information about the observation object, more information can be presented to the observer, and information is presented according to the operation of the observer by pressing the event start button 75. The incidental information can be presented only for the necessary observation object when the person needs it.
[0176]
The stereoscopic video presenting apparatus 10 includes a bookmark button 74 that is a bookmark operation unit, a bookmarkable display processing unit 96, a bookmark registration processing unit 97, and a bookmark information storage unit 99. You can go to the place and bookmark the object you want to observe in detail. Further, since the observer operation information transmitting means 98 is provided, bookmark information can be transmitted to another information presenting device 130, 140, and the other information presenting device 130, 140 can perform observation with a bookmark. For example, an observer can be guided to the object.
[0177]
In addition, since the stereoscopic video presenting apparatus 10 is a fixed point observation type information presenting apparatus, for example, compared with portable information presenting apparatuses such as the information presenting apparatuses 130 and 140 illustrated in FIG. By using the angle detection means 53 and the tilt operation angle detection means 54, it is possible to accurately detect the direction operation information of the camera, and it is possible to perform alignment more accurately when the real image and the CG image are combined. it can.
[0178]
[Second Embodiment]
FIG. 11 shows a configuration diagram of a stereoscopic video presenting apparatus 200 according to the second embodiment of the present invention along with the flow of data and signals. FIG. 12 is a horizontal cross-sectional view of the binocular device 220 of the stereoscopic image presentation device 200 as viewed from above.
[0179]
The stereoscopic video presenting apparatus 200 according to the second embodiment has substantially the same configuration as the stereoscopic video presenting apparatus 10 according to the first embodiment, and only the processing at the time of magnification operation and the configuration corresponding to the processing are different. For this reason, the same parts are denoted by the same reference numerals and detailed description thereof is omitted, and only different parts will be described below. In FIG. 11, the description of the same components as those of the stereoscopic image presentation device 10 of the first embodiment is omitted.
[0180]
11 and 12, the stereoscopic video presenting apparatus 200 includes left and right live-action cameras 32, each capable of an optical zoom that changes the focal length and the angle of view based on magnification operation information, as in the first embodiment. 33 is provided. However, in the first embodiment, the camera interval adjusting device 34 (see FIGS. 1 to 3) for adjusting the interval between the live-action cameras 32 and 33 is provided, whereas in the second embodiment, The difference is that a camera optical axis angle adjusting device 234 for adjusting the optical axis angles of the left and right live-action cameras 32 and 33 is provided.
[0181]
The input operation means 270 of the second embodiment includes the operation means 71 to 75 (see FIGS. 1 and 4) as in the case of the first embodiment. Are provided with optical axis angle operation means 276 for performing an input operation for changing the optical axis angles of the left and right live-action cameras 32 and 33.
[0182]
In FIG. 12, the optical axis angle operation means 276 is a proximity for rotating the optical axes in a direction in which the distance between the tips of the optical axes of the left and right live-action cameras 32 and 33 (points where each optical axis hits the subject) is narrowed. Button 276A, a separation button 276B for rotating each optical axis in a direction in which the distance between the tips of each optical axis widens, and a manual setting reset button for returning the optical axis angle from the manual setting state to the original automatic adjustment state 276C.
[0183]
The image processing apparatus 80 according to the first embodiment includes the interval control signal generating unit 82 (see FIG. 1). As shown in FIG. 11, the image processing apparatus 280 according to the second embodiment includes Instead, an optical axis angle control signal generating means 282 is provided. This optical axis angle control signal generating means 282 performs a magnification operation by the magnification operating means 71 in accordance with the correspondence between a predetermined magnification or magnification index value (for example, an angle of view) and the optical axis angles of the left and right live-action cameras 32 and 33. Based on the information (in this embodiment, data proportional to the angle of view as an example), an appropriate actual camera optical axis angle for the magnification (angle of view) designated by the observer is calculated, and the calculated optical axis A process for generating a control signal for realizing the angle is performed. The “correspondence between the predetermined magnification or magnification index value and the optical axis angle of the left and right live-action cameras” is determined by a mathematical expression or a database.
[0184]
Then, the control signal generated by the optical axis angle control signal generating means 282 is transmitted to the camera optical axis angle adjusting device 234, and the camera optical axis angle adjusting device 234 is based on this control signal and the left and right live-action cameras 32, 33. Is automatically adjusted to an appropriate angle such that the amount of parallax falls within a certain range. For example, in the case of telephoto (Tele), since the angle of view becomes narrow, in order to suppress the amount of parallax within a certain range, the distance between the tips of the optical axes of the left and right live-action cameras 32 and 33 is reduced in each direction. Rotate the optical axis.
[0185]
Further, when the observer operates the proximity button 276A and the separation button 276B of the optical axis angle operation means 276, the optical axis angle control signal generation means 282 is based on the optical axis angle operation information, and the optical axis angle described above. Regardless of the “predetermined magnification or magnification index value corresponding to the optical axis angle of the left and right live-action cameras” used for automatic adjustment of the camera light, a control signal for changing the optical axis angle is sent to the camera light. It transmits to the shaft angle adjusting device 234. Thereby, the observer can create his / her favorite stereoscopic effect. When the observer presses the manual setting reset button 276C, automatic adjustment is performed based on “correspondence between a predetermined magnification or magnification index value and the optical axis angle of the left and right live-action cameras”, and the original state Return to.
[0186]
The virtual camera condition setting unit 286 of the computer graphics image generation unit 285 of the second embodiment includes a direction setting unit 286A, an angle of view setting unit 286B, and a position setting unit 286C. These perform different processing from the setting means 86A, 86B, 86C of the first embodiment.
[0187]
The direction setting unit 286A sets the directions of the left and right virtual cameras 91 and 92 based on the direction operation information detected by the pan operation angle detection unit 53 and the tilt operation angle detection unit 54, as in the case of the first embodiment. Then, with this direction as a reference, the left and right virtual cameras 91 and 92 are made to match the optical axis angles of the left and right virtual cameras 91 and 92 with the actual camera optical axis angles automatically adjusted to an appropriate angle. Set the direction. In addition, the direction setting unit 286A sets the optical axis angles of the left and right virtual cameras 91 and 92 to the left and right when the optical axis angle is manually set based on the operation of the observer by the optical axis angle operation unit 276. The directions of the left and right virtual cameras 91 and 92 are set so as to coincide with the optical axis angles of the live-action cameras 32 and 33.
[0188]
FIG. 13 is an explanatory diagram of the direction setting process of the left and right virtual cameras 91 and 92 by the direction setting unit 286A. When the angle φc formed between the optical axes of the left and right live-action cameras 32 and 33 and the parallel lines indicated by the two-dot chain lines in the figure changes, the angle formed between the optical axes of the left and right virtual cameras 91 and 92 and the parallel lines φm also changes by the same angle, and these angles φc and φm always coincide with each other (φm = φc). However, the processing may not be matched during digital zoom.
[0189]
As in the case of the first embodiment, the angle-of-view setting unit 286B is configured to display images of the left and right live-action cameras 32 and 33 based on magnification operation information (data proportional to the angle of view) by the magnification operation unit 71 during optical zoom. The field angles of the left and right virtual cameras 91 and 92 are calculated and set so as to match the corners.
[0190]
Unlike the case of the first embodiment, the position setting unit 286C does not perform a process of changing the interval between the left and right virtual cameras 91 and 92 during the optical zoom.
[0191]
Further, at the time of digital zoom, the virtual camera condition setting means 286 adjusts the left and right virtual cameras 91 in accordance with the shift of the image center position of the left and right captured images in accordance with the shift of the image center position during the digital zoom display of the captured images. , 92 may be changed, or the optical axis angles of the left and right virtual cameras 91, 92 may be changed.
[0192]
In addition, similarly to the case of the first embodiment, the stereoscopic video presenting apparatus 200 includes the output means 40 (35 to 39), the binocular support mechanism 50 (51 to 54), and each means 81 constituting the image processing apparatus 280. 83, 84, 87 to 89, 93, 94, 96 to 98, 110 to 114, each storage means 90, 95, 99, 100, 115 to 117, left-eye and right-eye cameras 41 and 42, respectively. I have.
[0193]
According to such 2nd Embodiment, there exist the following effects. That is, the stereoscopic image presenting apparatus 200 includes the optical axis angle control signal generating means 282 and the camera optical axis angle adjusting device 234. Therefore, when the magnification operation is performed by the observer, the change in the photographing magnification (the left and right live-action cameras) The angle of the optical axes of the left and right live-action cameras 32 and 33 can be automatically adjusted to an appropriate angle at the same time or substantially simultaneously with the change in the field angles of 32 and 33.
[0194]
In addition, the magnification (field angle) and optical axis angle of the left and right virtual cameras 91 and 92 are changed by the virtual camera condition setting means 286 in accordance with the automatic adjustment of the optical axis angles of the left and right live-action cameras 32 and 33 described above. Therefore, it is possible to more surely present a stereoscopic image with a complex sense of reality without any sense of incongruity to the observer.
[0195]
Furthermore, since the stereoscopic video presenting apparatus 200 includes the optical axis angle operation means 276, the observer can manually set the optical axis angle, and can create his / her favorite stereoscopic effect.
[0196]
The effects of the other components are the same as in the case of the first embodiment.
[0197]
[Deformation form]
Note that the present invention is not limited to the above-described embodiments, and modifications and the like within a range in which the object of the present invention can be achieved are included in the present invention.
[0198]
That is, in each of the embodiments, the output unit 40 includes the two liquid crystal panels 35 and 36 for displaying the images for the left eye and the right eye, the half mirror 37, and the left and right eyepieces 38 and 39 with polarization filters. However, the output means of the present invention is not limited to this, and includes, for example, one liquid crystal panel such as a micropole method and left and right eyepieces (or glasses) with a polarizing filter. It may be a combination, and may be a combination of a display in which left and right images are switched alternately and a liquid crystal shutter type lens (or glasses) synchronized with the display, or as a head mount type output means (HMD: Head Mount Display). Also good. Further, a method without glasses (a lenticular method or a parallax barrier method) may be used.
[0199]
In each of the above embodiments, the real image acquisition unit 31, the output unit 40, and the input operation unit 70 are integrally configured as the binocular devices 20 and 220. However, the real image acquisition unit (live image camera) in the present invention The output means and the input operation means (magnification operation means, etc.) may be configured separately and connected via a wired or wireless network. In this way, for example, the observer can perform various operations (pan operation, tilt operation, magnification, etc.) including operations of the live-action cameras 32 and 33 from a remote place while viewing the stereoscopic image with the output means 40 at the remote place. CG operation such as operation, mixing ratio operation, aging operation, bookmark operation, event start operation) can be performed.
[0200]
Further, in each of the above embodiments, the binocular devices 20 and 220 and the image processing devices 80 and 280 are connected by the cable 2, but they may be connected by a wired or wireless network such as the Internet or a LAN. The units constituting the image processing apparatuses 80 and 280 may also be configured by a plurality of computers and connected via a wired or wireless network.
[0201]
【The invention's effect】
As described above, according to the present invention, when generating a CG image to be combined with a real image, the left and right virtual images are generated based on the direction operation information detected by the direction operation information detection unit and the magnification operation information by the magnification operation unit. Since the rendering process is performed by changing the camera conditions in real time, there is an effect that a stereoscopic image with a complex sense of realism can be presented to the observer.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a stereoscopic image presentation apparatus according to a first embodiment of the present invention.
FIG. 2 is an elevational configuration diagram of a binocular device constituting the stereoscopic image presentation device of the first embodiment.
FIG. 3 is a horizontal sectional view of the binocular device according to the first embodiment as viewed from above.
FIG. 4 is a perspective view of input operation means of the binocular device according to the first embodiment.
FIG. 5 is a flowchart illustrating a processing flow of the image processing apparatus according to the first embodiment.
FIG. 6 is an explanatory diagram of processing during optical zoom according to the first embodiment.
FIG. 7 is an explanatory diagram of processing during digital zoom according to the first embodiment.
FIG. 8 is a diagram showing a screen example when a magnification operation and a mixing rate operation are performed according to the first embodiment.
FIG. 9 is a diagram showing a screen example when a secular change operation according to the first embodiment is performed.
FIG. 10 is a flowchart showing a flow of processing when an event occurs according to the first embodiment.
FIG. 11 is a configuration diagram of a stereoscopic image presentation device according to a second embodiment of the present invention.
FIG. 12 is a horizontal sectional view of the binocular device according to the second embodiment as viewed from above.
FIG. 13 is an explanatory diagram of the direction setting processing of the left and right virtual cameras by the direction setting unit according to the second embodiment.
[Explanation of symbols]
1 observer
10,200 stereoscopic image presentation device
31 Live-action image acquisition means
32,33 Live-action camera
34 Camera interval adjustment device
40 Output means
41 Left-eye camera
42 Right-eye camera
53 Pan operation angle detection means as direction operation information detection means
54 Tilt operation angle detection means as direction operation information detection means
71 Magnification operation means
72 Mixing rate operating means
73 Aging change operation means as computer graphics operation means
74 Bookmark button as a bookmark operation means
75 Event start button as event start operation means
82 Interval control signal generating means
83 Image center position change amount calculation means
84 Digital zoom processing means
85,285 Computer graphics image generation means
86,286 Virtual camera condition setting means
86A, 286A Direction setting means
86B, 286B Angle setting means
86C, 286C Position setting means
87 Model deformation processing means
88 Rendering processing means
89 Synthesis processing means
90 Model information storage means
93 Event occurrence possible display processing means
94 Attached information presentation means
95 Additional information storage means
96 Bookmarkable display processing means
97 Bookmark registration processing means
98 Observer operation information transmission means
99 Bookmark information storage means
110 Evaluation means
111 Gaze point identification means
112 Means for quantifying interest and interest
113 Favorability quantification means
114 Observer physiological information transmitting means
115 Gaze location storage means
116 Interest / interest degree storage means
117 Favorability storage means
234 Camera optical axis angle adjustment device
276 Optical axis angle operation means
282 Optical axis angle control signal generating means

Claims

3D video that presents a 3D video with a complex sense of reality to the viewer by combining a 3D computer graphics image with left and right binocular parallax with a live-action 3D video with left and right binocular parallax A presentation device,
A live-action image acquisition means for acquiring right-and-left real-images constituting the real-image type stereoscopic image;
Direction operation information detection means for detecting direction operation information of a live-action camera that constitutes the live-action image acquisition means by the observer;
Magnification operation means for the observer to perform an input operation for changing the magnification of the left and right live-action images;
Model information storage means for storing information relating to a model for computer graphics for forming a virtual space corresponding to a real space to be obtained by the photographed video acquisition means;
Computer graphics image generating means for generating left and right computer graphics images constituting the three-dimensional computer graphics image using information on the model stored in the model information storage means;
A composite processing means for generating left and right composite images by superimposing the left and right real video images and the corresponding left and right computer graphics images in real time;
Output means for presenting the three-dimensional video with the composite reality to the observer using the left and right synthesized images generated by the synthesis processing means,
The computer graphics image generating means includes
Rendering processing means for generating the left and right computer graphics images by performing rendering using left and right virtual cameras;
Virtual camera condition setting means for changing the conditions of the left and right virtual cameras in real time based on the direction operation information detected by the direction operation information detection means and the magnification operation information by the magnification operation means. A stereoscopic image display device characterized by the above.

The stereoscopic image presentation device according to claim 1,
The live-action image acquisition means includes left and right live-action cameras each capable of optical zoom that changes a focal length and an angle of view based on the magnification operation information.
Interval control for generating a control signal for realizing an appropriate live camera interval determined based on the magnification operation information in accordance with a correspondence relationship between the predetermined magnification or magnification index value and the interval between the left and right live camera Signal generating means;
A camera interval adjusting device that automatically adjusts the interval between the left and right live-action cameras to the appropriate live-action camera interval based on the control signal by the interval control signal generating means;
The virtual camera condition setting means of the computer graphics image generating means is
Position setting means for setting the positions of the left and right virtual cameras by matching the interval between the left and right virtual cameras with the appropriate live-action camera interval;
A stereoscopic image presentation apparatus comprising: an angle-of-view setting unit configured to set an angle of view of the left and right virtual cameras in accordance with an angle of view of the left and right live-action cameras.

The stereoscopic image presentation device according to claim 1,
An image for calculating an appropriate image center position change amount based on the magnification operation information in accordance with a correspondence relationship between the predetermined magnification or magnification index value and the image center position change amount in digital zoom display of the left and right live-action images. Center position change amount calculating means;
Digital zoom processing means for changing the image center position by the image center position change amount calculated by the image center position change amount calculation means and performing digital zoom processing of the left and right live-action images based on the magnification operation information;
The virtual camera condition setting means of the computer graphics image generating means is
Position setting means for setting the positions of the left and right virtual cameras by changing an interval between the left and right virtual cameras in accordance with a change in the image center position of the left and right live-action images;
3. A stereoscopic image presentation apparatus comprising: an angle-of-view setting unit that sets an angle of view of the left and right virtual cameras in accordance with a digital zoom of the left and right live-action images based on the magnification operation information.

The stereoscopic image presentation device according to claim 1,
The live-action image acquisition means includes left and right live-action cameras each capable of optical zoom that changes a focal length and an angle of view based on the magnification operation information.
Generates a control signal for realizing an appropriate live-camera optical axis angle determined based on the magnification operation information in accordance with a correspondence relationship between the predetermined magnification or magnification index value and the optical axis angles of the left and right live-action cameras Optical axis angle control signal generating means for causing
A camera optical axis angle adjusting device that automatically adjusts the optical axis angle of the left and right live-action cameras to the appropriate real-camera optical axis angle based on the control signal by the optical axis angle control signal generating means;
The virtual camera condition setting means of the computer graphics image generating means is
Direction setting means for setting the directions of the left and right virtual cameras by matching the optical axis angles of the left and right virtual cameras with the appropriate actual camera optical axis angles;
A stereoscopic image presentation apparatus comprising: an angle-of-view setting unit configured to set an angle of view of the left and right virtual cameras in accordance with an angle of view of the left and right live-action cameras.

The stereoscopic image presentation device according to claim 4,
An optical axis angle operating means for performing an input operation for the observer to change the optical axis angle of the left and right live-action cameras;
The control signal generated based on the optical axis angle operation information by the optical axis angle operation means is independent of the correspondence relationship between the magnification or the magnification index value and the optical axis angle of the left and right live-action cameras. A camera optical axis angle adjusting device for adjusting the optical axis angle;
The virtual camera condition setting unit of the computer graphics image generating unit sets a direction of the left and right virtual cameras by matching an optical axis angle of the left and right virtual cameras with an optical axis angle of the left and right live-action cameras. A stereoscopic video presenting apparatus characterized by comprising setting means.

In the three-dimensional image presentation apparatus in any one of Claims 1-5,
The observer comprises a mixing rate operation means for performing an input operation for changing the mixing rate of the live-action stereoscopic video and the stereoscopic computer graphics image,
The stereoscopic image presenting apparatus, wherein the composition processing means is configured to generate the left and right composite images based on the mixture ratio operation information by the mixture ratio operation means.

In the three-dimensional image presentation apparatus in any one of Claims 1-6,
A computer graphics operation means for performing an input operation for the observer to change the stereoscopic computer graphics image independently of the change of the live-action stereoscopic video;
The computer graphics image generating means includes model deformation processing means for deforming the model using information on the model stored in the model information storage means based on computer graphics operation information by the computer graphics operation means. A three-dimensional video presenting device comprising:

In the three-dimensional image presentation apparatus in any one of Claims 1-7,
A camera for left eye photography and / or right eye photography for photographing the left eye and / or right eye of the observer who is observing the stereoscopic image presented by the output means;
Left eye and / or right eye eye movements, blink frequency, or pupil using left eye and / or right eye images taken by these left eye and / or right eye cameras A stereoscopic image presentation apparatus comprising: an evaluation unit that performs measurement / analysis of at least one kind of area.

The stereoscopic image presentation device according to claim 8,
Gaze location identifying means for identifying a gaze location in the stereoscopic image from eye movements of the left and / or right eyes of the observer measured and analyzed by the evaluation means;
A stereoscopic image presentation apparatus comprising: a gaze location storage unit that records and stores a gaze location identified by the gaze location identification means.

The stereoscopic image presentation device according to claim 8 or 9,
An interest / interest degree quantifying means for quantifying the degree of interest / interest in the stereoscopic image from the frequency of occurrence of blinks of the observer measured / analyzed by the evaluation means;
An apparatus for presenting stereoscopic images, comprising: an interest / interest degree storage means for recording and storing the interest / interest degree quantified by the interest / interest degree quantification means.

The stereoscopic image presentation device according to claim 8 or 9,
Favorability quantification means for quantifying positivity for the gaze location in the stereoscopic image from the pupil area of the observer measured and analyzed by the evaluation means;
A stereoscopic image presentation apparatus comprising: a favorableness storage means for recording and storing the favorableness quantified by the favorableness quantification means.

In the three-dimensional image presentation apparatus in any one of Claims 1-11,
Ancillary information storage means for storing incidental information about the observation object in the live-action stereoscopic video and / or the observation object in the stereoscopic computer graphics image;
An event occurrence possible display processing means for performing processing to display that the accompanying information can be presented by the output means for the observation object;
An event start operation means for performing an input operation for selecting the observation object of interest to the observer from the observation objects on which the event occurrence display is performed by the event occurrence display processing means; ,
An auxiliary information presenting means for performing processing for presenting the auxiliary information stored in the auxiliary information storage means for the observation object selected by the event start operation means by the output means is provided. 3D image presentation device.

In the three-dimensional image presentation apparatus in any one of Claims 1-12,
Bookmarkable display processing means for performing processing for displaying that an observation object in the live-action stereoscopic video and / or an observation object in the stereoscopic computer graphics image can be bookmarked;
Bookmark operation means for performing an input operation for the observer to select the observation object to which the bookmark is attached from among the observation objects on which bookmarkable display is performed by the bookmarkable display processing means;
Bookmark registration processing means for receiving selection information of the observation object by the bookmark operation means and performing registration processing for attaching the bookmark to the observation object;
Bookmark information storage means for storing identification information of the observation object that has been registered by the bookmark registration processing means and bookmark information including order information in which the bookmark is attached to the observation object;
3D image comprising observer operation information transmission means for transmitting operation information of the observer including the bookmark information stored in the bookmark information storage means to another information presenting apparatus via a network Presentation device.

In the three-dimensional image presentation apparatus in any one of Claims 8-11,
A gaze location in the stereoscopic image identified from the eye movement of the left and / or right eye of the observer measured and analyzed by the evaluation means;
The degree of interest / interest in the gaze point in the stereoscopic image quantified from the frequency of occurrence of blinks of the observer measured and analyzed by the evaluation means;
Of the favorable sensitivity to the gaze location in the stereoscopic image quantified from the pupil area of the observer measured and analyzed by the evaluation means,
A stereoscopic image presentation apparatus comprising observer physiological information transmission means for transmitting at least one type of information to another information presentation apparatus via a network.