JP2006050164A - 画像編集装置、画像編集プログラム、記録媒体 - Google Patents

Abstract

【課題】 撮影者の意思を反映した編集処理を行い得る画像編集装置等を提供する。
【解決手段】 ディスク２４９から、ブロック単位で記録された動画データと、この動画データのブロックを再生する順序を示すプログラムチェーン情報と、各ブロックの動画データが撮影された時刻からの相対的な経過時間と、をディスクドライブ部４ｄにより読み出すとともに、該ディスク２４９から、動画データと同時に記録された視線方向情報や頭部の角速度情報などの生体情報と、この生体情報が検出された時刻からの相対的な経過時間を検出するための情報と、を該ディスクドライブ部４ｄにより読み出し、読み出した生体情報に基づいて、上記動画データに、カッティング、ぶれ補正、スムージング、電子ズーミングなどの編集処理を自動的に行うようにした画像編集装置。
【選択図】図１１

Description

本発明は、記録媒体から動画データを読み出して編集を行うための画像編集装置、画像編集プログラム、記録媒体に関する。

従来から、ビデオカメラやデジタルカメラなどの撮像装置が、被写体像を撮像する目的で広く使われている。

こうした従来の撮像装置を用いて撮影を行うときには、撮影者がカメラを把持した状態で、カメラのファインダを介して被写体を確認しながら、ズーミング等の操作をしなければならない。このために、撮影者は撮影動作に専念しなければならず、撮影シーンが例えば運動会や祭りなどの各種のイベントであっても、撮影者自身はこれらのイベントに参加することができなかった。特にビデオカメラは、連続的な時間間隔をもって撮影を行うものであるために、静止画像を撮影するデジタルカメラよりもイベントに参加することは難しい。

また、従来から、頭部に装着して撮影する撮像装置が知られている。このような技術として、例えば特開２００１−２８１５２０号公報には、ユーザの眼球の近くに配置されるように視線検知センサを設けて、この視線検知センサによりユーザの眼球の状態を検出し、この検出結果に基づいて、撮像装置の焦点調節、ズーム制御、視線方向に基づくレンズ回動制御を行うことができるように構成された光学装置が記載されている。特に、レンズ回動制御については、視線方向情報に基づいて、撮影方向が視線方向に一致するようにカメラ自体を回動させるものとなっている。そして、該公報には、ユーザの眼球の水晶体の動きに基づいて、ズーム制御を行う技術も記載されている。

一方、従来から、撮影した画像に対して、所定の編集処理を行う画像編集装置が提案されている。

例えば、特開平９−１３０７３２号公報には、異なるシーンチェンジに対応することができるように構成された動画像編集装置が記載されている。すなわち、該動画像編集装置においては、入力した映像信号の各フレーム画像に対して、該フレーム画像に隣接するフレーム画像と比較を行い、その比較結果を映像の変化度合として検出する。そして、検出した変化度合が所定のしきい値を越える場合には、シーンの切り替えであるシーンチェンジが存在すると判定する。このシーンチェンジが存在すると判定された場合には、上記変化度合の連続性に基づいて、上記シーンチェンジが、瞬間的にシーンの切り替わるものであるか、または徐々にシーンの切り替わるものであるかをさらに判定する。ここで、上記シーンチェンジが瞬間的に切り替わるものであると判定された場合には、判定した時点を瞬間的シーンチェンジとして検出し、一方、該シーンチェンジが徐々に切り替わるものであると判定された場合には、判定した時点から上記映像の変化度合が安定した時点までを、漸次的シーンチェンジの期間として検出する。この動画像編集装置は、こうして検出した瞬間的シーンチェンジと漸次的シーンチェンジとの両方に対応して、動画像編集を行うものとなっている。
特開２００１−２８１５２０号公報 特開平９−１３０７３２号公報

しかしながら、上記特開２００１−２８１５２０号公報に記載されたような構成では、撮影方向を視線方向に一致させるに当たってカメラ自体を回動させているために、カメラの回動機構が複雑で大きくかつ重くなってしまい、頭部に装着して用いる撮像装置に適しているとはいえない。また、視軸とカメラの光軸とを調整するのが複雑であるために、正確な制御を行うのは困難である。さらに、該特開２００１−２８１５２０号公報に記載されたような、眼球の水晶体の動きに基づくズーム制御は、必ずしもユーザの意図に沿ったズームを行うことができる技術ではない。つまり、水晶体の動きによって得られるのはピント情報（被写体までの距離情報）であるために、ユーザが遠くを見ているとしても、それが必ずしもズーム操作をしたいという意思に結びついているわけではないからである。

また、上記特開平９−１３０７３２号公報に記載されているような技術は、撮影者の意思に基づく画像編集ではなく、また、撮影者の動き等に基づく画像編集でもないために、必ずしも撮影者に満足の行く編集結果を得られるとは限らなかった。さらに、該特開平９−１３０７３２号公報に記載された技術では、全てのフレーム画像に対して変化度合いを検出しているために、編集処理に長い時間を要するという課題があった。

本発明は上記事情に鑑みてなされたものであり、撮影者の意思を反映した編集処理を行い得る画像編集装置、画像編集プログラム、記録媒体を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像編集装置は、記録媒体から複数のブロックに分割して記録された動画データと上記動画データの再生順序を示す動画再生プログラムチェーン情報とを読み出す動画データ読出手段と、上記記録媒体から上記動画データと同時に記録された生体情報と上記生体情報が検出された時刻からの相対的な経過時間を検出するための情報とを読み出す生体情報読出手段と、上記動画データに時間的に対応する上記生体情報に基づいて該動画データに所定の編集処理を施す編集処理手段と、を具備したものである。

また、第２の発明による画像編集装置は、上記第１の発明による画像編集装置において、上記編集処理手段が、所定のブロック単位で編集処理を行い、編集前のブロックの内の上記編集処理が施されなかったブロックと上記編集処理が施されたブロックとの再生順序が記録されたプログラムチェーン情報に基づいて、編集処理後の動画データの再生を行うものである。

さらに、第３の発明による画像編集装置は、上記第１の発明による画像編集装置において、上記動画データが、撮影者の頭部に装着された状態のカメラにより撮影して得られたものである。

第４の発明による画像編集装置は、上記第１の発明による画像編集装置において、上記生体情報が、撮影者の頭部の角速度に係る角速度情報を含む。

第５の発明による画像編集装置は、上記第４の発明による画像編集装置において、上記編集処理手段が、上記角速度情報に基づいて、記録された画像データの、カッティングと、ぶれ補正と、記録時間の引き延ばしと、電子ズーミングと、の内の少なくとも１つを、上記編集処理として行うものである。

第６の発明による画像編集装置は、上記第１の発明による画像編集装置において、上記生体情報が、撮影者の視線方向に係る視線方向情報を含む。

第７の発明による画像編集装置は、上記第６の発明による画像編集装置において、上記編集処理手段が、上記視線方向情報に基づいて、記録された画像データの電子ズーミングを、上記編集処理として行うものである。

第８の発明による画像編集プログラムは、記録媒体から複数のブロックに分割して記録された動画データと上記動画データの再生順序を示す動画再生プログラムチェーン情報とを読み出す動画データ読出ステップと、上記記録媒体から上記動画データと同時に記録された生体情報を読み出す生体情報読出ステップと、上記生体情報に基づいて上記動画データに所定の編集処理を施す編集処理ステップと、をコンピュータに実行させるためのプログラムである。

第９の発明による画像編集プログラムは、上記第８の発明による画像編集プログラムにおいて、上記編集処理ステップが、セル単位で編集処理を行い、編集前のセルの内の上記編集処理が施されなかったセルと上記編集処理が施されたセルとの再生順序が記録されたプログラムチェーン情報に基づいて、編集処理後の動画データの再生を行うステップである。

第１０の発明による記録媒体は、記録媒体から複数のブロックに分割して記録された動画データと上記動画データの再生順序を示す動画再生プログラムチェーン情報とを読み出す動画データ読出ステップと、上記記録媒体から上記動画データと同時に記録された生体情報を読み出す生体情報読出ステップと、上記生体情報に基づいて上記動画データに所定の編集処理を施す編集処理ステップと、をコンピュータに実行させるための画像編集プログラムが記録された記録媒体である。

本発明の画像編集装置、画像編集プログラム、記録媒体によれば、撮影者の意思を反映した編集処理を行うことが可能となる。

以下、図面を参照して本発明の実施例を説明する。

図１から図７２は本発明の実施例１を示したものであり、図１は画像システムの使用形態を示す斜視図である。

この画像システム１は、図１に示すように、略めがね型をなし画像を撮像する機能を備えた頭部装着部２と、この頭部装着部２に対して無線で通信を行うことにより該頭部装着部２に係る操作入力を遠隔で行うとともに該頭部装着部２により撮像された画像データを無線で受信して記録し編集する機能を備えた画像記録／編集装置４と、に大別される。

該画像システム１は、静止画像や動画像を撮像する機能を備えたものであるために、撮像装置を兼ねたものとなっている。

上記頭部装着部２は、シースルー表示時に観察対象である被写体を実質的に直接観察することが可能であるとともに、該被写体の撮像も行うことができるように構成されたものである。この頭部装着部２は、形状が略めがね型をなすことで分かるように、視度補正用の一般的な眼鏡とほぼ同様にして頭部に装着し用いるものとなっており、重量やサイズ等も通常の眼鏡に極力近似するように小型軽量化が図られている。

上記画像記録／編集装置４は、撮像のための各種操作信号を上記頭部装着部２へ無線で送信するとともに、該頭部装着部２により撮像された画像を無線で受信して記録を行い、さらに記録後の画像を編集し得るように構成されたものである。この画像記録／編集装置４には、後述するような第２操作スイッチ１７１（図１１および図５参照）が設けられていて、この第２操作スイッチ１７１は、上記頭部装着部２のシースルー表示の制御や撮影動作の制御などの比較的頻繁に行われる操作を、撮影者が遠隔操作により手元で行うためのものである。従って、この画像記録／編集装置４は、例えば片手の掌に収まる程度の小型な大きさとなるように、可能な範囲内での小型軽量化が図られたものとなっている。また、この画像記録／編集装置４は、腰のベルト等に取り付けた状態、あるいは上着の内ポケット等に収納した状態、などの各種の状態でも使用することができるように構成されている。

これらの頭部装着部２と画像記録／編集装置４とは、本実施例では互いに別体として構成されており、これにより、頭部装着部２を小型軽量化することによる装着感の向上、画像記録／編集装置４の採用による操作性の向上、などを図るようにしている。

さらに、頭部装着部２と画像記録／編集装置４とは、上述したように、無線で通信するようになっているために、例えば互いにケーブルで接続したときのような取り回しの不便さや拘束感がなく、自由で軽快に操作することができる。頭部に装着して用いる装置は、高い機動性や操作性が要求されるために、このような構成を採用することが特に有効となっている。

次に、図２から図４を参照して、頭部装着部２の外観および概要について説明する。図２は頭部装着部２を示す正面図、図３は頭部装着部２を示す平面図、図４は頭部装着部２を示す右側面図である。

この頭部装着部２は、一般的な眼鏡におけるレンズ、リム、ブリッジ、智などに相当する部分であるフロント部１１と、このフロント部１１の左右両側から後方（被写体と反対側）に向けて各延設されており該フロント部１１に対して折り畳み可能となっているテンプル部１２と、を有して構成されている。

上記フロント部１１は、画像表示用の光学系の一部や視線方向検出用の光学系の一部や電気回路等を内蔵する保持手段たるフレーム部１３を有して構成されている。

このフレーム部１３は、略中央部に被写体までの距離を測定するために用いられる測距手段たる投光用発光部１６が、左右両側部に被写体側からの音声をステレオで収録するための第１マイク１７および第２マイク１８が、それぞれ設けられている。

さらに、上記フレーム部１３には、左右両眼に各対応するように導光部材たる透明光学部材１４，１５が取り付けられている。これらの透明光学部材１４，１５の内の、一方である透明光学部材１４は公知の視線方向を検出するために用いられ、他方である透明光学部材１５は画像を表示するために用いられるようになっている。そして、これらの透明光学部材１４，１５は、それぞれの機能を果たすために必要な最小限の大きさとなるように形成されている。

上記透明光学部材１４には、ＨＯＥ（Holographic Optical Element：ホログラフィー光学素子）２４とハーフミラー１２８とＨＯＥ１２９とがそれぞれ配設されており、上記透明光学部材１５にはコンバイナとしてのＨＯＥ２５が配設されている。

加えて、上記フレーム部１３には、上記透明光学部材１４，１５の被写体側に位置するように、視度調整のためのレンズ２１，２２がそれぞれ着脱可能に取り付けられるようになっている。

すなわち、フレーム部１３には、上記レンズ２１，２２を取り付けるための取付手段たるリム２０が、例えば中央側と、左眼の左横側と、右眼の右横側と、でそれぞれビス２８により取り付けられるようになっている。

このリム２０には、鼻梁を左右から支持することにより、鼻梁に対してこの頭部装着部２を載置するための一対の鼻パッド１９が、一対のクリングス２３を介して設けられている。

このような構成において、上記ビス２８を外すことにより、リム２０およびレンズ２１，２２を容易に取り外すことができるようになっており、また、レンズ２１，２２を他の視度に対応するものに交換して、再び取り付けることも容易となっている。

このとき、リム２０を所定以上の弾力性のある素材により形成すれば、１つのビス２８を外すかまたは緩めるだけで、左眼用のレンズ２１または右眼用のレンズ２２の一方のみを選択的に（独立して）着脱することができて利便性が高まる。

さらに、フレーム部１３の左眼側（つまり、図２や図３における右側）の側面の継手２９には、被写体像を撮像するための撮像手段であり測距手段も兼ねたカメラである撮像部３０が、台座３３を介して、撮影方向を調節可能に固定されるようになっている。

この台座３３は、ビス３４，３５により上記継手２９に対して取り付けられ、ビス３６，３７を介して自己の上に上記撮像部３０を取り付けるように構成されている。該台座３３を介して、撮像部３０の上記フロント部１１に対する相対的な角度を調整することにより、後述するように、該撮像部３０に含まれる撮影光学系３１（図１０等も参照）の光軸と視軸とを調整することができるようになっている。

そして、上記撮像部３０の背面側からは、ケーブル３８が一旦延出されて、左眼側のテンプル部１２の下側を潜った後に、上記フレーム部１３に接続されている。これにより、フレーム部１３内の電気回路と、撮像部３０内の電気回路とが互いに接続されている。

上記テンプル部１２は、丁番７８，７９を用いて上記フロント部１１と接続されていて、これにより該フロント部１１に対して折り畳み可能となっている。すなわち、非使用時には、テンプル部１２をフロント部１１の中央部に向けて折り曲げ、該フロント部１１に沿って折り畳まれた位置を取らせることができるために、小型化して収納や運搬を便利に行うことが可能となっている。また、左右の各テンプル部１２の先端部には、耳にかけるための先セルモダン２６がそれぞれ設けられている。

右眼側のテンプル部１２には、後述する角速度センサなどのこの頭部装着部２に係る各種の電子回路の一部と、この頭部装着部２内の各回路へ電源を供給するための電源回路の構成要素である着脱可能な電池と、を収納するための収納部２７が設けられている。この収納部２７の上面には、当該頭部装着部２による表示をオン／オフするためのスイッチ３９が配設されている。そして、該収納部２７からは、ケーブル２７ａが延設されて、上記フレーム部１３内の各回路に接続されており、さらには上記撮像部３０内の回路を介して、上記画像記録／編集装置４の回路と接続されるようになっている。

次に、図５から図９を参照して、画像記録／編集装置４の外観および概要について説明する。図５は操作パネルを閉じた状態の画像記録／編集装置４を示す平面図、図６は操作パネルを閉じた状態の画像記録／編集装置４を示す右側面図、図７は操作パネルを閉じた状態の画像記録／編集装置４を示す左側面図、図８は操作パネルに配置された操作スイッチ類を示す平面図、図９は操作パネルを開いた状態の画像記録／編集装置４を示す斜視図である。

この画像記録／編集装置４は、本体部４１と、この本体部４１に対してヒンジ４３を介して開閉自在に設けられた操作パネル４２と、を有して構成されている。

上記本体部４１は、後述するような各回路を内蔵するとともに、上記操作パネル４２を開いたときに観察可能となる位置に液晶モニタとして構成された表示手段であるＬＣＤ表示素子（以下、「ＬＣＤ」と省略する。）４８が配設されたものとなっている。このＬＣＤ４８は、再生時に画像を表示するのに用いられる他に、各種のモードを設定するためのメニュー画面等の表示にも用いられるようになっている。

この本体部４１の上面側には、図５に示すように、上記操作パネル４２が閉じ状態であっても操作可能な辺縁角部に電源スイッチ４４が配設され、さらに、該操作パネル４２を開閉する際に指先等を掛け易いように、凹部４５が形成されている。

また、この本体部４１の右側面には、図６に示すように、ヒンジ４６により該本体部４１に対して開閉自在となる蓋５２が設けられており、該蓋５２の係止部５２ａを本体部４１側の被係止部５２ｂに係止させることで、閉じ状態が保たれるようになっている。この蓋５２を開くと、該図６に示すように、電源を供給するためのバッテリを着脱自在に挿入するためのバッテリ挿入口５５と、テレビと接続するための端子であるＡＶ／Ｓ接続端子５０と、パーソナルコンピュータ（ＰＣ）と接続するための端子であるＰＣ接続端子５１と、が露呈する。このように、コード類は、本体部４１の右側面において、まとめて接続されるようになっており、他の面からコード類が延出することがなく、コードを取り回すときの煩わしさを軽減することができるようになっている。

一方、本体部４１の左側面にも、図７に示すように、ヒンジ４７により該本体部４１に対して開閉自在となる蓋５３が設けられており、該蓋５３の係止部５３ａを本体部４１側の被係止部５３ｂに係止させることで、閉じ状態が保たれるようになっている。この蓋５３を開くと、該図７に示すように、着脱式の記録媒体であるディスク２４９（図１１参照）を挿入するためのディスク挿入口５４が露呈するようになっている。

上記操作パネル４２は、閉じた状態でも操作可能に露呈する外面側に図５に示すように比較的操作される頻度の高いスイッチ類が配設されていて、さらに、開いた状態でのみ操作可能に露呈する内面側に図８に示すように比較的操作される頻度の低い操作スイッチ類が配置されている。

すなわち、上記操作パネル４２の外面側には、上記第２操作スイッチ１７１が配設されている。この第２操作スイッチ１７１は、図５に示すように、ＦＡ／Ａ／Ｍスイッチ７１と、Ｆ／Ｖスイッチ７２と、レリーズスイッチ（ＲＥＬ）７３と、録画スイッチ（ＲＥＣ）７４と、ズームスイッチ７５と、露出補正スイッチ７６と、を有して構成されている。これらのスイッチ類は、上述したように、撮影動作の際に変更する頻度が比較的高い情報を設定するためのスイッチ類である。

上記ＦＡ／Ａ／Ｍスイッチ７１は、切換手段であって、所定の焦点距離以上の望遠撮影時に撮影範囲を示す撮影画枠に対応する撮影画像を拡大して電子ビューとしてシースルー表示する動作を、全自動（ＦＡ：フルオートモード）で行うか、自動（Ａ：オートモード）で行うか、手動（Ｍ：マニュアルモード）で行うか、を切り替えるためものである。上記フルオートモードは、ビデオデータとともに生体情報としての角速度データや視線方向データを記録するモードとなっており、このフルオートモードで記録されたデータが本実施例で説明する画像編集の対象となる。

上記Ｆ／Ｖスイッチ７２は、切換手段であって、上記透明光学部材１５におけるシースルー表示を、撮影範囲を示す撮影画枠（Ｆ）にするか、あるいは撮像部３０からの撮影画像（Ｖ）（電子ビュー）にするか、を切り替えるためのものである。

上記レリーズスイッチ（ＲＥＬ）７３は、動画に比して高精細な静止画の撮影を開始するためのものである。

上記録画スイッチ（ＲＥＣ）７４は、動画の録画開始と録画停止とを押される毎に切り替えるためのものである。

上記ズームスイッチ７５は、撮影画枠設定手段であって、上記撮影光学系３１を含む撮像部３０のズーム（光学ズームおよび／または電子ズーム）を、望遠（Ｔ：テレ）側に行うためのテレスイッチ７５ａと、広角（Ｗ：ワイド）側に行うためのワイドスイッチ７５ｂと、を含んで構成されている。

上記露出補正スイッチ７６は、撮影される画像の露出補正をマイナス側に行うためのマイナス露出補正スイッチ７６ａと、該露出補正をプラス側に行うためのプラス露出補正スイッチ７６ｂと、を含んで構成されている。

なお、上記撮影光学系３１のズーム動作と、観察者でもある撮影者から観察する撮影画枠の視角の変更と、は連動して行われるように構成されているために、上記ズームスイッチ７５は、撮影者から観察する撮影画枠の視角を縮小するためのテレスイッチ７５ａと、該視角を拡大するためのワイドスイッチ７５ｂと、を有するものであると言い換えることもできる。

また、「撮影画枠」とは、上記撮像部３０により撮影される被写体の範囲を表す指標である。

一方、上記操作パネル４２の内面側には、音声を再生するためのスピーカ５６と、このスピーカ５６から発生される音声のボリュームを大きくするためのスイッチ５７と、該ボリュームを小さくするためのスイッチ５８と、記録媒体としてのディスク２４９に記録された画像情報を再生したり一時停止したりするための再生／停止スイッチ５９と、画像を逆方向に早送りしてサーチするためのスイッチ６１と、画像を順方向に早送りしてサーチするためのスイッチ６２と、画像システム１に係る各種の機能や日付などを設定したり、画像編集のための各種操作情報を設定するためのメニュー画面を上記ＬＣＤ４８に表示するためのメニューボタン６３と、該メニュー画面に表示されている各項目の内の着目項目を上、下、左、右の各方向へ移動したり表示情報をスクロールしたりするためのメニュー選択スイッチ６６，６７，６８，６９と、表示されている着目項目等を確定するための確定スイッチ６５と、が配設されている。これらのスイッチ類は、上述したように、撮影動作の際に変更する頻度が比較的低い情報を設定するためのスイッチ類である。

図１０は頭部装着部２の主として電子回路に係る構成を示すブロック図である。

この画像システム１の構成は、上述したように、撮像機能を有する頭部装着部２と、この頭部装着部２および自己に係る各種操作入力を受けて制御を行うとともに該頭部装着部２により撮影された画像を記録し編集する機能を備えた画像記録／編集装置４（図１１）とに大別される。これらの内でも上記頭部装着部２は、さらに、撮像を行うための撮像手段たる撮像部３０と、主としてシースルー表示を行うための表示手段であるシースルー画像表示部６と、撮影者の視線方向を検出したり撮影者の頭部の動きに伴う角速度を検出したりするための視線方向／角速度検出部７と、画像記録／編集装置４と無線により信号の授受を行うための受信手段であり送信手段たる通信部８と、当該頭部装着部２内の各回路に電源を供給するための電源回路１７４と、に分けられる。これら撮像部３０とシースルー画像表示部６と視線方向／角速度検出部７とは、何れも、上記通信部８を介して、上記画像記録／編集装置４と通信するようになっている。また、電源回路１７４は、電池を有して構成されており、この電池は、上述したように、上記収納部２７（図２参照）に対して着脱可能に取り付けられるようになっている。

上記シースルー画像表示部６は、ＬＥＤドライバ１１２と、ＬＥＤ１１３と、集光レンズ１１４と、ＬＣＤ１１５と、ＬＣＤドライバ１１７と、ＨＯＥ１１６と、ＨＯＥ２５と、投光用ＬＥＤ１６ａと、ＬＥＤドライバ１１８と、集光レンズ１６ｂと、上記スイッチ３９と、第４ＣＰＵ１１１と、を有して構成されている。このシースルー画像表示部６は、本実施例においては、観察者の片方の眼（ここでは、具体例として右眼）側にのみ配設されている。従って、観察者は、シースルー画像を、該片眼側のみで観察するようになっている。

上記ＬＥＤドライバ１１２は、上記第４ＣＰＵ１１１の制御に基づき上記ＬＥＤ１１３を発光させるものである。

上記ＬＥＤ１１３は、発光源であって投影手段を構成するものであり、上記ＬＥＤドライバ１１２により駆動されて光を発光するようになっている。このＬＥＤ１１３は、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色の光をそれぞれ発光可能なダイオードを含んで構成されている。

上記集光レンズ１１４は、上記投影手段を構成するものであって、このＬＥＤ１１３により発光された光を集光するものである。

上記ＬＣＤ１１５は、上記投影手段を構成するものであって、上記撮影画枠や撮影された映像などを表示するためのものであり、上記集光レンズ１１４を介したＬＥＤ１１３の光により背面側から照明される透過型の液晶表示手段となっている。

上記ＬＣＤドライバ１１７は、上記第４ＣＰＵ１１１の制御に基づいて、ＬＣＤ１１５を駆動して撮影画枠等を表示させるものであり、後述するようなパララックスを補正するための補正手段も兼ねている。

上記ＨＯＥ１１６は、上記ＬＣＤ１１５を介して射出される光を、後述するように収差を補正しながら鉛直下方（図１３、図１４参照）へ向けて反射する反射光学部材である。

上記ＨＯＥ２５は、反射型コンバイナとしての機能を果たすものであり、上記ＨＯＥ１１６からの光を撮影者の眼へ向けて反射し回折させることにより、上記ＬＣＤ１１５に表示された撮影画枠等を観察可能に投影するとともに、外界光を撮影者の眼へ向けて透過させ得るように構成されたコンバイナである。なお、この実施例１のＨＯＥ２５は、最小限の大きさとなるように構成された上記透明光学部材１５に合わせて、同様に、最小限の大きさとなるように構成されている。

上記投光用ＬＥＤ１６ａは、上記測距を行うための上記投光用発光部１６に含まれていて、測距用の光を発光する発光源である。

上記集光レンズ１６ｂは、上記投光用ＬＥＤ１６ａにより発光された測距用の光を、被写体に向けて投影するためのものである。

上記ＬＥＤドライバ１１８は、上記第４ＣＰＵ１１１の制御に基づいて、上記投光用ＬＥＤ１６ａを駆動するためのものである。

上記スイッチ３９は、上記第４ＣＰＵ１１１に接続されていて、該スイッチ３９が閉じたことが第４ＣＰＵ１１１により検出されると、該第４ＣＰＵ１１１がこのシースルー画像表示部６の表示を禁止するようになっている。この画像システム１は、撮影動作にとらわれることなく通常の行動をしながら撮影することが可能となるように構成されたものであるために、例えば、歩行時や車の運転時にも使用してしまいがちである。しかし、撮影者がこのような状態にあるときにシースルー表示がされると、その表示に気をとられることもあり得る。従って、これを未然に防止するために、スイッチ３９を設けて、シースルー表示を禁止することができるようにしている。なお、このときには表示は禁止されるが、撮影自体は継続することが可能となっている。

上記第４ＣＰＵ１１１は、制御手段であって、このシースルー画像表示部６内の各回路を制御するものであり、上記撮像部３０の後述する第３ＣＰＵ１０３と双方向に接続されて連携を取りながら、制御動作を行うようになっている。

このようなシースルー画像表示部６の作用は、ほぼ次のようになっている。

第４ＣＰＵ１１１は、ＬＥＤドライバ１１２を介してＬＥＤ１１３を発光させる。

ＬＥＤ１１３から発光された光は、集光レンズ１１４により集光されて、ＬＣＤ１１５を背面から照明する。

ＬＥＤ１１３は、撮影画枠を表示する場合には、上記Ｒ（赤），Ｇ（緑），Ｂ（青）の３色の光を発光させるダイオードの内の、例えばＧ（緑）のダイオードのみを発光させる。

第４ＣＰＵ１１１が撮影範囲を示す撮影画枠に対応する信号を生成してＬＣＤドライバ１１７へ転送するとともに、発光を行わせる制御信号をＬＥＤドライバ１１２へ転送すると、ＬＣＤドライバ１１７が、該信号に基づきＬＣＤ１１５を駆動して撮影画枠を表示面上に表示させるとともに、ＬＥＤ１１３が発光して該ＬＣＤ１１５を背面側から照明する。

こうして照明されたＬＣＤ１１５から投影される上記撮影画枠の映像は、収差を補正されながらＨＯＥ１１６により鉛直下方に反射され、ＨＯＥ２５に投影される。

ＨＯＥ２５は、上記ＨＯＥ１１６からの光線を、撮影者の眼へ向けて反射する。これにより、撮影者は、撮影範囲を示す撮影画枠を虚像として観察することができる。

一方、測距を行う場合には、第４ＣＰＵ１１１が、測距用の発光を行わせる制御信号をＬＥＤドライバ１１８へ転送する。

ＬＥＤドライバ１１８は、上記制御信号を受けると、投光用ＬＥＤ１６ａを発光させる。この投光用ＬＥＤ１６ａにより発光された測距用の光は、上記集光レンズ１６ｂにより平行光に変換されて、被写体へ向けて投光される。

こうして投光された照明光は、被写体により反射され、該反射光が上記撮像部３０により受光されて、後述するように測距演算が行われることになる。

次に、上記視線方向／角速度検出部７は、上記シースルー画像表示部６が配設されているのとは反対側の片眼（ここでは、具体例として左眼）側に配設されるようになっている。この視線方向／角速度検出部７は、視線方向検出装置として機能する視線方向検出部と、角速度検出装置として機能する角速度検出部と、に大別される。

上記視線方向検出部は、ＬＥＤドライバ１２４と、ＬＥＤ１２５と、集光レンズ１２６と、反射ミラー１２７と、ハーフミラー１２８と、ＨＯＥ２４と、ＨＯＥ１２９と、反射ミラー１３１と、結像レンズ１３２と、バンドパスフィルタ１３３と、ＣＣＤ１３４と、ＣＣＤドライバ１３５と、ＣＤＳ／ＡＧＣ回路１３６と、Ａ／Ｄ変換回路１３７と、ＴＧ１３８と、を有して構成されている。これらの内のＬＥＤドライバ１２４、ＬＥＤ１２５、集光レンズ１２６、反射ミラー１２７、およびＨＯＥ２４は、観察者の眼へ赤外平行光束を投光するための赤外光投影手段たる投光系を構成している。また、上述した内のＨＯＥ２４、ハーフミラー１２８、ＨＯＥ１２９、反射ミラー１３１、結像レンズ１３２、バンドパスフィルタ１３３、およびＣＣＤ１３４は、観察者の眼から反射された光束を受光するための受光系を構成している。

また、上記角速度検出部は、角速度センサ１４１，１４２と、増幅器１４３，１４４と、Ａ／Ｄ変換回路１４５と、を有して構成されている。

そして、これら視線方向検出部と角速度検出部とを含む視線方向／角速度検出部７全体を制御するためのものとして、第２ＣＰＵ１２１が設けられている。

上記ＬＥＤドライバ１２４は、上記第２ＣＰＵ１２１の制御に基づいて、上記ＬＥＤ１２５を駆動するためのものである。

上記ＬＥＤ１２５は、ＬＥＤドライバ１２４により駆動されて、視線方向検出用の赤外光を発光する赤外発光ダイオードである。

上記集光レンズ１２６は、ＬＥＤ１２５により発光された赤外光を、平行光束に変換するものである。

上記反射ミラー１２７は、集光レンズ１２６により平行光束に変換された赤外光を、鉛直下方（図２０、図２１参照）へ向けて反射する反射光学部材である。

上記ハーフミラー１２８は、上記反射ミラー１２７からの赤外光を上記ＨＯＥ２４側へ透過させると共に、該ＨＯＥ２４からの光を水平方向へ反射するものである。

上記ＨＯＥ２４は、ハーフミラー１２８を透過してきた赤外光を観察者の眼へ向けて反射するとともに、該観察者の眼からの光を該ハーフミラー１２８へ向けて反射するものである。なお、この実施例１のＨＯＥ２４は、最小限の大きさとなるように構成された上記透明光学部材１４に合わせて、同様に、最小限の大きさとなるように構成されている。このＨＯＥ２４は、赤外域における狭い所定の帯域についての波長選択性を有しており、選択された帯域の赤外光のみについては高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示すものとなっている。このようにＨＯＥ２４は、上記シースルー画像表示部６のＨＯＥ２５とは全く異なる帯域の波長選択機能を有するものであるが、全体的な視感透過特性（あるいは、平均的な視感透過特性）については該ＨＯＥ２５とほぼ同様となっている。このように、左右の眼に対して平均的に同様の視感透過特性を有する光学素子を配置することにより、違和感を感じることがなく、かつ長時間使用しても眼の疲れを少なくすることができる。

上記ＨＯＥ１２９は、上記ＨＯＥ２４とハーフミラー１２８とにより導かれた観察者の眼からの光束を、鉛直上方へ向けて反射するものある。このＨＯＥ１２９は、上記ＨＯＥ２４と同じ波長選択性を有するものとなっている。従って、このＨＯＥ１２９を介することにより、観察者の眼側から入射する光束の内の、上記所定の帯域に含まれる赤外光以外の波長の光線をカットする（つまり、反射することなく透過してしまう。）ことができるようになっている。こうして、後述するようなプルキンエ像を、他の波長域の光線によるノイズの影響を軽減しながら、より高い精度で検出することが可能となっている。なお、光学素子としてＨＯＥ１２９を用いることにより、波長選択性が高まるという利点があるだけでなく、赤外光以外に対して透過性を有しているために、透明光学部材１４内に配設しても目立ち難いという利点もある。

上記反射ミラー１３１は、上記ＨＯＥ１２９からの光束を水平方向に反射するものである。

上記結像レンズ１３２は、上記反射ミラー１３１により反射された光束を、上記ＣＣＤ１３４の撮像面上に結像するためのものである。

上記バンドパスフィルタ１３３は、上記結像レンズ１３２により結像される光束の内の、上記所定の帯域の赤外光のみを透過するものである。上述したように、上記ＨＯＥ１２９により既に帯域の制限が行われているが、該ＨＯＥ１２９を透明光学部材１４内に配置した場合には、さらに他の可視光等が混入する可能性があるために、このバンドパスフィルタ１３３により再度帯域の制限を行うようにしている。こうして、ＣＣＤ１３４の前面側にバンドパスフィルタ１３３を設けることにより、外光ノイズによる影響をさらに軽減することが可能となっている。

上記ＣＣＤ１３４は、二次元の光電変換手段であって、撮像面が２次元となった撮像素子として構成されており、上述したように結像された観察者の眼の像を光電変換して、電気信号として出力するものである。このＣＣＤ１３４の出力に基づいて、プルキンエ像の位置と瞳孔中心の位置とが後述するように求められ、これらの相対的な位置関係に基づいて視線方向が算出されるようになっている。

上記ＣＣＤドライバ１３５は、上記第２ＣＰＵ１２１の制御に基づいて、上記ＣＣＤ１３４を駆動するためのものである。

上記ＣＤＳ／ＡＧＣ回路１３６は、上記ＣＣＤ１３４から出力される映像信号に、ノイズ除去や増幅の処理を行うものである。

上記ＴＧ１３８は、上記第２ＣＰＵ１２１の制御に基づいて、上記ＣＣＤドライバ１３５と、上記ＣＤＳ／ＡＧＣ回路１３６とへ、連係して動作を行わせるためのタイミング信号をそれぞれ供給するものである。

上記Ａ／Ｄ変換回路１３７は、上記ＣＤＳ／ＡＧＣ回路１３６から出力されるアナログの映像信号をデジタルの映像信号に変換するものである。このＡ／Ｄ変換回路１３７により変換されたデジタルの映像信号は、上記撮像部３０の後述する通信制御部１７３へ出力されるようになっている。

上記角速度センサ１４１，１４２は、上述したように収納部２７内に格納されており、互いに独立した方向（例えばヨー方向とピッチ方向）の角速度を検出するためのものである。

上記増幅器１４３，１４４は、上記角速度センサ１４１，１４２の出力をそれぞれ増幅するためのものである。

上記Ａ／Ｄ変換回路１４５は、上記増幅器１４３，１４４によりそれぞれ増幅された角速度センサ１４１，１４２からのアナログ信号を、デジタルデータへそれぞれ変換するものである。このＡ／Ｄ変換回路１４５により変換されたデジタルデータは、上記第２ＣＰＵ１２１へ出力されるようになっている。

上記第２ＣＰＵ１２１は、制御手段であって、この視線方向／角速度検出部７内の各回路を制御するものであり、上記撮像部３０の後述する第３ＣＰＵ１０３と双方向に接続されて連携を取りながら、制御動作を行うようになっている。この第２ＣＰＵ１２１は、メモリとして機能するＲＡＭ１２２と、時間を計測するためのタイマ１２３と、を内部に有して構成されている。

このような視線方向／角速度検出部７の動作原理や作用等については、後で他の図面を参照して説明する。

上記撮像部３０は、撮影光学系３１と、ローパスフィルタ８６と、ＣＣＤ８７と、ＣＤＳ／ＡＧＣ回路８８と、Ａ／Ｄ変換回路８９と、ＴＧ（タイミングジェネレータ）９０と、ＣＣＤドライバ９１と、ＵＳＭドライバ９５と、絞りシャッタドライバ９６と、ＡＥ処理回路９７と、ＡＦ処理回路９８と、上記第１マイク１７と、上記第２マイク１８と、増幅回路９９と、増幅回路１００と、Ａ／Ｄ変換回路１０１と、ＥＥＰＲＯＭ１０２と、メモリ１０４と、第３ＣＰＵ１０３と、を有して構成されている。

上記撮影光学系３１は、光学的な被写体像を結像するためのものであり、焦点距離可変なズーム光学系として構成されている。

上記ローパスフィルタ８６は、この撮影光学系３１を通過した光束から不要な高周波成分を取り除くためのものである。

ＣＣＤ８７は、撮像素子であって、このローパスフィルタ８６を介して上記撮影光学系３１により結像された光学的な被写体像を電気的な信号に変換して出力するものである。

上記ＣＤＳ／ＡＧＣ回路８８は、信号処理手段であって、このＣＣＤ８７から出力される信号に後述するようなノイズ除去や増幅の処理を行うものである。

上記Ａ／Ｄ変換回路８９は、信号処理手段であって、このＣＤＳ／ＡＧＣ回路８８から出力されるアナログの画像信号をデジタルの画像信号に変換するものである。

上記メモリ１０４は、このＡ／Ｄ変換回路８９から出力されるデジタルの画像信号を一時的に記憶するためのものである。

上記ＣＣＤドライバ９１は、上記ＣＣＤ８７を制御して駆動するためのものである。

上記ＴＧ（タイミングジェネレータ）９０は、上記ＣＤＳ／ＡＧＣ回路８８，Ａ／Ｄ変換回路８９，ＣＣＤドライバ９１に、タイミングを制御するための信号をそれぞれ供給するものである。このＴＧ９０は、上記視線方向／角速度検出部７の第２ＣＰＵ１２１と双方向に接続されて、制御されるようになっている。

上記ＵＳＭドライバ９５は、上記撮影光学系３１に含まれる後述するＵＳＭ（Ultra Sonic Motor：超音波モータ）９２，９３，９４を選択的に駆動するための駆動回路である。このＵＳＭドライバ９５も、上記視線方向／角速度検出部７の第２ＣＰＵ１２１により制御されるようになっている。

上記絞りシャッタドライバ９６は、上記撮影光学系３１に含まれる後述する絞りシャッタ８４を制御して駆動するための駆動回路である。この絞りシャッタドライバ９６は、上記視線方向／角速度検出部７の第２ＣＰＵ１２１により制御されるようになっている。

上記ＡＥ処理回路９７は、上記Ａ／Ｄ変換回路８９の出力に基づいて、露出制御用の算出を行うオート露出処理回路であり、演算結果を上記第３ＣＰＵ１０３へ出力するようになっている。

上記ＡＦ処理回路９８は、上記Ａ／Ｄ変換回路８９の出力に基づいて、オートフォーカス（ＡＦ）制御用の算出を行うオートフォーカス処理回路であり、演算結果を上記第３ＣＰＵ１０３へ出力するものである。

上記第１マイク１７および第２マイク１８は、上述したように、被写体側からの音声をステレオで収録するためのものである。

上記増幅回路９９および増幅回路１００は、上記第１マイク１７および第２マイク１８から入力された音声信号をそれぞれ増幅するためのものである。

上記Ａ／Ｄ変換回路１０１は、上記増幅回路９９および増幅回路１００によりそれぞれ増幅されたアナログの音声信号をデジタルの音声信号に変換して上記第３ＣＰＵ１０３へ出力するものである。

上記ＥＥＰＲＯＭ１０２は、露出制御やオートフォーカス処理等のための各種補正データが画像システム製造時に記録されたものである。このＥＥＰＲＯＭ１０２に記録されたデータは、上記第３ＣＰＵ１０３により読み出されるようになっている。

上記第３ＣＰＵ１０３は、この撮像部３０内の各回路を制御するための制御手段であり、上記シースルー画像表示部６の第４ＣＰＵ１１１や、上記視角方向／角速度検出部７の第２ＣＰＵ１２１と連携を取りながら制御動作を行うようになっている。さらに、この第３ＣＰＵ１０３は、上記画像記録／編集装置４の後述する第１ＣＰＵ１６１と双方向に通信を行って制御されるようになっている。

上記撮影光学系３１は、さらに詳しくは、フロントレンズ８１と、バリエータレンズ８２と、コンペンセータレンズ８３と、絞りシャッタ８４と、フォーカスレンズ８５と、ＵＳＭ９２，９３，９４と、を有して構成されている。

上記フロントレンズ８１は、撮影光学系３１に含まれる複数のレンズの中で最も被写体側に位置するものである。

上記バリエータレンズ８２は、この撮影光学系３１の焦点距離を変更するためのものである。

上記コンペンセータレンズ８３は、上記バリエータレンズ８２により撮影光学系３１の焦点距離を変化させるのに伴うピント位置のずれを、補正するためのものである。

上記絞りシャッタ８４は、撮影光学系３１を通過する光束の通過範囲を規定するための絞りの機能と、該光束の通過時間を規定するためのシャッタの機能と、を兼用するものである。

上記フォーカスレンズ８５は、この撮影光学系３１のピントを調整するためのものであり、ピントが調整されたときには、上記ＣＣＤ８７に被写体像が合焦して結像される。

上記ＵＳＭ９２，９３，９４は、上記バリエータレンズ８２，コンペンセータレンズ８３，フォーカスレンズ８５をそれぞれ駆動するための駆動源である。

上記通信部８は、通信制御部１７３と、送受信部１７２と、を有して構成されている。

上記通信制御部１７３は、フレーム同期（時分割多重方式でフレーム単位に同期をとること。）と、フレームの構成要素であるスロット（このスロットは、属性と属性値のペアを含んで構成されている。）のデータフォーマット処理と、を行うものである。

上記送受信部１７２は、無線送受信用のアンテナや、送信するデジタル信号をアンテナ発信用のアナログ信号に変換したり該アンテナを介して受信した信号をデジタル信号に変換したりするモデムなどを有して構成されている。

このような通信部８の送受信時の動作は次のようになっている。

上記通信制御部１７３の受信側は、送受信部１７２のモデムから供給される受信データから、所定のタイミングで１スロット分のデータを取り出す。そして、該通信制御部１７３の受信側は、このデータの中から同期信号を抽出して、フレーム同期信号を生成し、スクランブル等を解除する。その後、通信制御部１７３の受信側は、画像記録／編集装置４から送信された、各種の操作信号、あるいは、ディスク２４９（図１１参照）に記録された画像データ、を第３ＣＰＵ１０３へ送出する。

また、上記通信制御部１７３の送信側は、上記Ａ／Ｄ変換回路８９からメモリ１０４を介して出力される映像信号と、上記視角方向／角速度検出部７のＡ／Ｄ変換回路１３７から出力される撮影者の眼に係る映像信号（生体情報の１つ）と、該視角方向／角速度検出部７の第２ＣＰＵ１２１から出力される撮影者の頭部に係る角速度情報（生体情報の１つ）と、上記第３ＣＰＵ１０３を介して出力される音声データとを、該第２ＣＰＵ１２１から出力されるタイマ情報に基づいて、同一時刻に生成された映像信号と生体情報とが互いに関連性をもつように多重化する。そして、該通信制御部１７３の送信側は、スクランブル等を付与した後に同期信号を付加して、１スロット分の送信データを作成する。その後、通信制御部１７３の送信側は、作成した送信データを所定のタイミングでフレーム内の所定スロットに挿入して、送受信部１７２のモデムに送出する。これにより、送受信部１７２から、無線によってデータが送信される。

次に、図１１は、画像記録／編集装置４の構成を示すブロック図である。

この画像記録／編集装置４は、図１１に示すように、通信部４ａと、記録部４ｂと、再生部４ｃと、ディスクドライブ部４ｄと、に大別される構成を備えており、その他に、第１操作スイッチ１６２と、第２操作スイッチ１７１と、第１ＣＰＵ１６１と、表示部１６５と、電源回路１６４と、をさらに備えている。

上記通信部４ａは、頭部装着部２から送信された動画データ、音声データ、生体情報としての視線方向データや角速度データを受信するとともに、撮影のための各種操作信号や画像記録／編集装置４により再生された動画データや音声データを頭部装着部２へ送信するものである。

上記記録部４ｂは、上記通信部４ａで受信したデータを、記録媒体としての後述するディスク２４９に記録するための、動画データ記録手段および生体情報記録手段である。

上記ディスクドライブ部４ｄは、記録媒体としてのディスク２４９を回転駆動して、このディスク２４９に対する情報の読み書きを実行するものであり、動画データ読出手段、生体情報読出手段、動画データ記録手段、生体情報記録手段を兼ねたものとなっている。

上記再生部４ｃは、上記記録部４ｂによりディスク２４９に記録された上記各種データを再生するための、動画データ読出手段および生体情報読出手段である。

上記第１操作スイッチ１６２は、頭部装着部２の撮影に係る各種操作を指示入力するための操作手段である。この第１操作スイッチ１６２は、上記第１ＣＰＵ１６１に接続されている。

上記第２操作スイッチ１７１は、画像記録／編集装置４に係る各種操作を入力するための操作手段である。この第２操作スイッチ１７１は、上記第１ＣＰＵ１６１に接続されている。

上記表示部１６５は、第１，第２操作スイッチ１６２，１７１による各種操作情報や、再生部４ｃにより再生された動画等を表示するための表示手段であり、上記図９に示したようなＬＣＤ４８を含んで構成されている。この表示部１６５は、上記第１ＣＰＵ１６１に接続されて制御されるようになっている。

上記電源回路１６４は、この画像記録／編集装置４内の各回路に電源を供給するためのものであり、例えば着脱式のバッテリ等を含んで構成されている。

上記第１ＣＰＵ１６１は、この画像記録／編集装置４を制御するのみならず、頭部装着部２の第３ＣＰＵ１０３と通信を行うことによりこの画像システム１全体の動作を統括的に制御する制御手段である。この第１ＣＰＵ１６１は、さらに、上記再生部４ｃにより再生された画像データを、該再生部４ｃにより再生された生体情報に基づいて編集する編集処理手段を兼ねたものとなっている。

上記通信部４ａ、記録部４ｂ、再生部４ｃ、ディスクドライブ部４ｄの更なる詳細について説明する。

まず、上記通信部４ａは、送受信回路１６３と、通信制御回路１５１と、を有して構成されている。

上記記録部４ｂは、ＤＳＰ回路１５２と、画像圧縮回路１５３と、音声圧縮回路１５４と、角速度圧縮回路１５５と、視線方向圧縮回路１５６と、副映像圧縮回路１５７と、フォーマッタ１５８と、バッファメモリ１５９と、記録再生用データプロセッサ２３１と、記録再生用バッファメモリ２３２と、を有して構成されている。

上記再生部４ｃは、記録再生用データプロセッサ２３１と、記録再生用バッファメモリ２３２と、セパレータ２３３と、動画デコーダ（ＶＤＥＣ）２３４と、副映像デコーダ（ＳＤＥＣ）２３５と、音声デコーダ（ＡＤＥＣ）２３６と、角速度デコーダ（ＡＶＤＥＣ（angular velocity decorder））２４２と、視線方向デコーダ（ＥＤＥＣ（Eye Decorder））２４３と、生体情報バッファメモリ２４４と、Ｄ／Ａ変換器（ＤＡＣ）２４０と、上記スピーカ５６と、動画プロセッサ２３７と、Ｄ／Ａ変換器（ＤＡＣ）２３８と、モニタＴＶ２３９と、を有して構成されている。

すなわち、上記記録再生用データプロセッサ２３１と記録再生用バッファメモリ２３２とは、記録部４ｂと再生部４ｃとの双方に兼用して含まれる回路部となっている。

ディスクドライブ部４ｄは、ディスク２４９に対して画像の記録（録画）を行ったり、該ディスク２４９に記録されている画像を再生したりするものであり、サーボ回路２４５と、モータ２４７と、ピックアップ部２４６と、システムタイムクロック（ＳＴＣ（System Time Clock））部２４８と、を有して構成されている。

上述したような各構成要素の機能について、画像システム１の作用に沿って、該作用とともに説明する。

上記撮影光学系３１を通過した光束は、ローパスフィルタ８６を介して、ＣＣＤ８７の撮像面に結像する。

上記画像記録／編集装置４の第１操作スイッチ１６２により動画記録の操作が行われるか、または、該画像記録／編集装置４のレリーズスイッチ７３により静止画撮影の操作が行われると、上記ＣＣＤ８７により被写体像が光電変換されて、アナログの画像信号が出力される。

このＣＣＤ８７からの画像信号は、ＣＤＳ／ＡＧＣ回路８８に入力されて、該ＣＤＳ／ＡＧＣ回路８８内のＣＤＳ回路部により公知の相関二重サンプリングなどが行われてリセットノイズが除去されるとともに、該ＣＤＳ／ＡＧＣ回路８８内のＡＧＣ回路部により所定の信号レベルへの増幅が行われて出力される。

このＣＤＳ／ＡＧＣ回路８８からのアナログの画像信号は、続くＡ／Ｄ変換回路８９によって、デジタルの画像信号（画像データ）に変換された後に、上記メモリ１０４に一時的に記憶される。本実施例においては、このＡ／Ｄ変換回路８９の出力信号をＲＡＷ画像データということにする。すなわち、本実施例におけるＲＡＷ画像データは、ＣＣＤ８７からのアナログ出力信号を最初にＡ／Ｄ変換した直後のデジタルデータとして定義され、他のデジタル信号処理等を施す前のデータとなっている。

これらＣＤＳ／ＡＧＣ回路８８、上記Ａ／Ｄ変換回路８９へは、上記ＴＧ９０により生成されたタイミング制御信号が入力されるようになっており、該ＴＧ９０からのタイミング制御信号は、さらに上記ＣＣＤドライバ９１へも入力される。

一方、上記第１マイク１７および第２マイク１８からの出力信号は、増幅回路９９，１００によってそれぞれ増幅された後に、Ａ／Ｄ変換回路１０１により所定のサンプリング周期で時分割的にデジタルデータに変換され、第３ＣＰＵ１０３へ転送される。第３ＣＰＵ１０３は、デジタルデータに変換された音声データを、所定のタイミングで通信制御部１７３に転送する。

上記Ａ／Ｄ変換回路８９からの出力信号である画像データと、上記第１マイク１７および第２マイク１８からの音声データと、上記視線方向／角速度検出部７からの視線方向データ（視線方向情報）および撮影者の頭部の角速度データと、上記第２ＣＰＵ１２１のタイマ１２３により計時されたタイマ情報と、が通信制御部１７３により多重化される。

この通信制御部１７３により多重化された信号は、図４７に示すように、上記各データが検出された検出開始時刻が先頭に記録されて、次に上記画像データや音声データ等の各種データがそれぞれ所定の間隔で交互に出力される信号となっている。この図４７は、通信制御部１７３から出力される信号の時系列的な構成を示す図である。例えば、画像データ、音声データ、角速度データの取り込み周期をそれぞれ１／３０秒とし、視線方向データの取り込み周期を１秒とし、かつ、１秒間のデータを１つのユニットとすると、この単位ユニットには、該図４７に示すように、開始時刻データを先頭にして、画像データ、音声データ、および角速度データの３つを一組とするデータが繰り返し３０組記録され、最後に視線方向データが記録される。なお、この図４７に示したデータの順序は単なる一例であるために、例えば視線方向データを時刻データの直後に記録するようにしてももちろん構わない。

このようなデジタル化されたデータを含むユニット単位のデータが、複数、上記送受信部１７２を介して画像記録／編集装置４へ出力される。

このように、撮像部３０は、ＣＣＤ８７で生成された画像信号のアナログ信号処理を行って、画像データをデジタル信号に変換した後に出力するようになっているために、アナログ信号が該撮像部３０から外部に出力されることがない。従って、上記送受信部１７２などを介して画像信号を伝送する際に受ける可能性があると考えられる外来ノイズにも強い構成となっている。

また、撮像部３０は、ＲＡＷ画像データを出力するようになっているために、色分離やホワイトバランス調整等の信号処理回路を該撮像部３０の内部に設ける必要がなく、該撮像部３０が設けられている頭部装着部２の小型軽量化を図ることが可能となっている。

上記送受信部１７２から画像記録／編集装置４へ伝送された信号は、該画像記録／編集装置４内の通信部４ａにより、画像データとそれ以外のデータとに再び分離される。

送受信回路１６３により受信され通信制御回路１５１により分離された動画データは、ＤＳＰ回路１５２により、輝度成分Ｙと、色差成分Ｃｒ（またはＹ−Ｒ）と、色差成分Ｃｂ（またはＹ−Ｂ）と、に分離される。これらの信号は、画像圧縮回路１５３により、ＭＰＥＧ２規格に準拠した圧縮処理が施される。

また、通信制御回路１５１により分離された、音声データと、生体情報としての角速度データと、視線方向データとは、音声圧縮回路１５４と、角速度圧縮回路１５５と、視線方向圧縮回路１５６とにより、それぞれ所定の圧縮処理が施される。

さらに、第１操作スイッチ１６２を介して入力された動画のタイトルなどの副映像データは、副映像圧縮回路１５７により所定の圧縮処理が施される。

上述したように圧縮処理された動画データと音声データと視線方向データと角速度データと副映像データとは、フォーマッタ１５８に入力される。

フォーマッタ１５８は、フォーマット用のバッファメモリ１５９をワークエリアとして使用しながら、入力された動画データと音声データと視線方向データと角速度データと副映像データとに対してそれぞれ所定の信号処理を行い、後述するフォーマット（ファイル構造）に合致した記録データを記録再生用データプロセッサ２３１へ出力する。

このとき、このフォーマッタ１５８は、データの最小単位としてのセルを設定し、セル再生情報（Ｃ＿ＰＢＩ）を作成する。

次に、フォーマッタ１５８は、プログラムチェーンを構成するセルの構成と、動画、副映像、および音声の属性等と、を設定し、種々の情報を含めたビデオタイトルセット管理情報ＶＴＳＩ（Video Title Set Information）を作成する。

エンコード（圧縮処理）されたビデオデータ（ここに「ビデオデータ」は、後述するように、動画データ、音声データ、および副映像データを総称したものである。）やエンコード（圧縮処理）された生体情報（角速度データ、視線方向データ）は、一定サイズ（２０４８バイト）のパックに細分化される。これらのパック内には、適宜、ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）等のＭＰＥＧ準拠のタイムスタンプが記述される。なお、タイムスタンプとは９０００Ｈｚの基準クロックでカウントする３２ビットで表記される時間系であり、後述するような、フレームを単位として時、分、秒、フレームをＢＣＤ（Binary Coded Decimal）で表記したタイムコードとは区別される。

そして、各データのタイムコード順に再生することができるように、ＶＯＢＵ（Video Object Unit）単位でその先頭にナビゲーションパックＮＶ（Navigation Pack）を配置しながら各データセルが配置されて、複数のセルを含んでなるＶＯＢ（Video Object）が構成される。このＶＯＢを１つ以上まとめたＶＯＢＳ（Video Object Set）が、図５４に示すようなビデオタイトルセットＶＴＳ（Video Title Set）の構造にフォーマットされる。

なお、記録フォーマットについては、後で詳細に説明する。

記録再生用バッファメモリ２３２は、記録再生用データプロセッサ２３１を介してディスク２４９に書き込まれるデータの内の一定量分をバッファイリングしたり、ディスクドライブ部４ｄを介してディスク２４９から再生されたデータの内の一定量分をバッファリングするのに利用される。また、記録再生用バッファメモリ２３２は、生体情報に基づいてディスク２４９に記録された動画データを編集する際に、編集対象となる動画データを記憶するためのワークメモリとしても使われる。

記録再生用データプロセッサ２３１は、第１ＣＰＵ１６１の制御に従って、フォーマッタ１５８からの記録用データをディスクドライブ部４ｄに供給したり、ディスク２４９から再生された再生信号をディスクドライブ部４ｄから取り出したり、ディスク２４９に記録された管理情報を書き換えたりする。

上記第１ＣＰＵ１６１は、内部に、ＲＡＭと、制御プログラムを格納するＲＯＭと、を備えており、この制御プログラムに従って動作を行うようになっている。すなわち、第１ＣＰＵ１６１は、内部のＲＡＭをワークエリアとして用いて、記録量（録画パック数）検出、残量検出、警告、記録モード変更指示、画像記録／編集装置４全体の制御、その他の処理、を実行する。

さらに、第１ＣＰＵ１６１は、ディスク２４９から再生された生体情報としての視線方向データや角速度情報に基づいて所定の編集処理をしたり、セル単位に対して、ズーミング、スムージング、消去の範囲指示、セル切り分け、等の処理も行うようになっている。

セパレータ２３３は、パック構造をなす再生データから、各パックを分離して取り出す。

動画デコーダ（ＶＤＥＣ）２３４は、上記セパレータ２３３により分離されたビデオパックをデコードする。

副映像デコーダ（ＳＤＥＣ）２３５は、上記セパレータ２３３により分離された副映像パックの内容をデコードする。

音声デコーダ（ＡＤＥＣ）２３６は、上記セパレータ２３３により分離された音声パックの内容をデコードする。

動画プロセッサ２３７は、上記動画デコーダ（ＶＤＥＣ）２３４からの動画データに、副映像デコーダ（ＳＤＥＣ）２３５からの副映像データを適宜合成して、動画にメニュー、ハイライトボタン、字幕その他の副映像を重ねて出力する。

この動画プロセッサ２３７の出力は、Ｄ／Ａ変換器（ＤＡＣ）２３８を介してアナログ信号に変換された後に、モニタＴＶ２３９へ供給される。なお、このモニタＴＶ２３９は、上記図９に示したようなＬＣＤ４８を用いても良いし、上記図６に示したようなＡＶ／Ｓ接続端子５０を介して接続される外付けのモニタであっても構わない。

また、音声デコーダ（ＡＤＥＣ）２３６からの出力は、Ｄ／Ａ変換器（ＤＡＣ）２４０を介してアナログ信号に変換された後に、スピーカ５６へ供給される。このスピーカ５６も、上記図８や図９に示したスピーカ５６をここでは用いているが、外付けのモニタを用いる場合には同様に外付けのスピーカを用いるようにしても構わない。

また、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などの操作により記録済みの画像が選択されて、上記再生／停止スイッチ５９の操作により再生の指示が行われた場合には、ディスク２４９に記憶されている圧縮されたデータが再生されて、ＬＣＤ４８に表示される。

一方、上記Ａ／Ｄ変換回路８９からのデジタル画像データは、該撮像部３０内のＡＥ処理回路９７とＡＦ処理回路９８とへそれぞれ入力される。

上記ＡＥ処理回路９７は、１フレーム（１画面）分の画像データの輝度値を算出して重み付け加算する等の処理を行うことにより、被写体の明るさに対応したＡＥ評価値を算出し、算出結果を第３ＣＰＵ１０３を介して第２ＣＰＵ１２１へ出力する。第２ＣＰＵ１２１は、上記ＡＥ評価値に基づいて、ＣＣＤ８７の露光時間の制御や、絞りシャッタ８４の制御を行うようになっている。

また、ＡＦ処理回路９８は、上記第３ＣＰＵ１０３を介した第２ＣＰＵ１２１の制御に基づいて、１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積加算値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、算出結果を該第３ＣＰＵ１０３を介して第２ＣＰＵ１２１へ出力する。第２ＣＰＵ１２１は、ＡＦ処理回路９８により算出された上記ＡＦ評価値に基づいて、上記ＵＳＭドライバ９５を介して上記フォーカスレンズ８５を駆動し、焦点検出を行って合焦状態を得るようになっている。

上記ＥＥＰＲＯＭ１０２は、露出制御やオートフォーカス処理等に必要な各種補正データが画像システム製造時に記録されたものであり、第２ＣＰＵ１２１は、必要に応じて、このＥＥＰＲＯＭ１０２から第３ＣＰＵ１０３を介して補正データを読み出し、各種の演算を行うようになっている。

次に、図１２〜図１４を参照して、シースルー画像表示部６の主として光学的な構成について説明する。図１２はシースルー画像表示部の光学系の原理を説明するための図、図１３はシースルー画像表示部の光学系の構成を示す一部断面を含む正面図、図１４はシースルー画像表示部の光学系の構成を示す左側面図である。

このシースルー画像表示部６は、撮影者が実質的に直接観察している被写体上に、撮影範囲を示す撮影画枠を虚像としてスーパーインポーズ表示することができるようになっており、このような表示を、以下では、シースルー表示と呼ぶことにする。なお、「実質的に直接観察している」とは、肉眼で観察している場合だけでなく、ガラスやプラスチックなどで形成された略平板な透明部材を介して観察している場合や、あるいは視度調整用のレンズを介して観察している場合などを含んでいる。

まず、図１２を参照して、この実施例１におけるシースルー画像表示部６の光学系（以下、「シースルー画像表示光学系」という。）によりシースルー画像を表示する原理について説明する。

ＬＥＤ１１３により発光された光は、集光レンズ１１４により集光されて、ＬＣＤ１１５を背面から照明する。ＬＥＤ１１３は、上述したように、撮影画枠を表示する場合には、例えばＧ（緑）のダイオードのみを発光させる。

第４ＣＰＵ１１１は、撮影範囲を示す撮影画枠に対応する信号を生成して、ＬＣＤドライバ１１７へ出力する。ＬＣＤドライバ１１７は、この信号に基づいてＬＣＤ１１５を駆動することにより、該ＬＣＤ１１５に撮影画枠を表示させる。

上記ＬＥＤ１１３の光を受けてＬＣＤ１１５から射出された撮影画枠の像は、ＨＯＥ２５によって反射された後に、撮影者の眼に導かれる。こうして、撮影者は、撮影範囲を示す撮影画枠を虚像ＶＩとして観察することができる。なお、この図１２では原理を説明しているために、ＨＯＥ１１６の図示は省略している。

ＨＯＥ２５は、フォトポリマーや重クロム酸ゼラチン等の感光材料を使用した体積位相型のホログラフィー光学素子であり、上記ＬＥＤ１１３により発光されるＲ，Ｇ，Ｂの各波長において最大の反射率で光を反射する特性を備えるように設計されている。従って、撮影画枠を表示するときにＧの光を発光させる場合には、グリーンの撮影画枠が虚像としてクリアに表示されることになる。ＨＯＥは、優れた波長選択性を備えており、上述したＲ，Ｇ，Ｂの各波長の光線に対しては極めて狭い波長幅において高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示す。従って、表示光と同じ波長域の外界光は回折反射されて撮影者の瞳に届かないが、それ以外の波長域の外界光は撮影者の瞳に到達する。一般に、可視光は、波長の帯域幅が広いために、Ｒ，Ｇ，Ｂの各波長を含む極めて狭い波長幅の光が到達しなくても、何等支障なく外界像を観察することが可能である。

また、このシースルー画像表示部６は、上記撮像部３０により撮像された画像をカラー画像としてシースルー表示することも可能となっており、この場合には、ＬＣＤ１１５に撮像された映像を表示させるとともに、上記ＬＥＤ１１３によりＲ，Ｇ，Ｂ３色の光を発光させれば良い。これにより、撮像された映像が、ＨＯＥ２５から、撮影者の瞳に虚像として到達することになる。

上記ＨＯＥ１１６は、ＬＣＤ１１５からの光をＨＯＥ２５に導くように反射するだけでなく、像面歪曲も補正する機能を備えたものとなっている。なお、ここではＨＯＥ１１６を用いたが、これに代えて、自由曲面の光学素子を用いることも可能である。自由曲面の光学素子は、小型軽量でありながら複雑な収差を補正することができるために、重量をあまり増加させることなく収差の少ないクリアな像を表示することが可能となる。

続いて、図１３および図１４を参照して、上記シースルー画像表示光学系の具体的な配置例を説明する。

上記フレーム部１３の内部における上記透明光学部材１５の上部となる位置に、上記ＬＥＤ１１３，集光レンズ１１４，ＬＣＤ１１５，ＨＯＥ１１６が図１３に示すように順に配置されている。これらの各部材は、フレーム部１３内に設けられた保持枠により挟み込まれるようにして固定されている。このとき、上記ＬＥＤ１１３は、電気回路基板１８１に実装された状態で、上記保持枠により固定されるようになっている。また、これらの内のＨＯＥ１１６は、上述したように、ＬＥＤ１１３からの光を鉛直下方へ向けて反射するように、傾けて配置されている。

上記透明光学部材１５は、図１４に示すように、透明なガラスやプラスチック等により所定の厚みを有するように形成された導光部材１８２，１８３と、これらの導光部材１８２，１８３の間に挟み込まれながら後方へ向けて光を反射するように傾けて配設された上記ＨＯＥ２５と、を有して構成されている。このような構成において、上記ＨＯＥ１１６から反射された光は、ＨＯＥ２５の上側に配置された導光部材１８２の内部を透過して、該ＨＯＥ２５に到達するようになっている。なお、この導光部材１８２の内部における光の伝播は、図１４に示すように透過のみであっても良いが、透過と内面における全反射とを組み合わせたものであっても構わない。透過と全反射とを組み合わせるような光学設計を行った場合には、透明光学部材１５を肉薄にすることが可能となるために、頭部装着部２の軽量化をより一層図ることができる。

なお、シースルー画像表示光学系は、上述したような各部材の内の、ＬＥＤ１１３と、集光レンズ１１４と、ＬＣＤ１１５と、ＨＯＥ１１６と、ＨＯＥ２５と、導光部材１８２，１８３と、を含むものとなっている。

次に、図１５から図１９を参照して、被写体と虚像とを同時に眼のピントを合わせて観察し得るようにする構成について説明する。

眼から撮影画枠の虚像までの距離と、眼から被写体までの距離と、の差が大きいと、これらの両方に同時に眼のピントを合わせることができないために、撮影画枠と被写体とを同時に鮮明に観察することができない。

そこで、眼から撮影画枠の虚像までの距離が、眼から被写体までの距離に一致するように設定して、撮影画枠と被写体とを同時に鮮明に観察することができるようにする構成について説明する。

まず、図１５は眼から虚像までの位置を変更する原理を説明するための図である。なお、この図１５においては、他の部材等に煩わされることなく原理のみを簡潔に説明するために、上記ＨＯＥ１１６等の図示や該ＨＯＥ１１６等に係る説明などを省略している。

ＨＯＥ２５の焦点距離をｆ、ＬＣＤ１１５に表示された撮影画枠２０１の位置からＨＯＥ２５までの距離をＬｌ、ＨＯＥ２５から虚像ＶＩまでの距離をＬｉ、撮影者が撮影画枠２０１の対角線の虚像を見込む角度（視角）を２δ、ＬＣＤ１１５に表示される撮影画枠の対角線の長さをＸｌとすると、次の数式１および数式２に示すような関係が成り立つ。
［数１］

［数２］

これらの数式に現れる各変数や定数の内、ｆはＨＯＥ２５を設計するときに定まるものであるが、δは撮影者が所望に設定するものであり、虚像までの距離Ｌｉが被写体までの距離に一致するようにしたい距離（すなわち、例えば測距により求められる被写体距離）である。従って、これらの値を数式１へ代入することにより、被写体距離と同じ距離の位置に虚像を表示させるためのＬＣＤ１１５の表示位置Ｌｌが求まり、さらに、上記各値を数式２へ代入することにより、撮影画枠の視角を撮影画角と一致させるための、ＬＣＤ１１５に表示する撮影画枠の大きさＸｌが求まることになる。

図１６は、ＬＣＤ１１５を虚像距離調整手段たるアクチュエータ２５２により光軸方向に駆動する構成例を示す図である。この例では、アクチュエータ２５２として、例えば、電磁モータ、超音波モータ（ＵＳＭ）、静電アクチュエータなど公知のアクチュエータを用いて、上記Ｌｌを変更するようにしている。すなわち、ＬＣＤ１１５は集光レンズ１１４の光軸方向に移動可能となるように設けられており、該ＬＣＤ１１５を支持する枠部材等に該ＬＣＤ１１５を光軸方向に変位させるための虚像距離調整手段たる例えばラック２５１などが設けられている。このラック２５１には、アクチュエータ２５２の回転軸に固定されたピニオンギヤ２５２ａ等が噛合して駆動力が伝達されるようになっている。これによって、該アクチュエータ２５２を所望の量だけ回転させることにより、ＬＣＤ１１５を所望の量だけ光軸方向に移動させることができるようになっている。このような構成により、虚像ＶＩまでの距離Ｌｉが被写体までの距離に一致するように、上記Ｌｌを変更することになる。また、この構成を用いてＬｌを変更したときには、上記数式２に示すようなＸｌになるように、視角調整手段たるＬＣＤドライバ１１７により該ＬＣＤ１１５に表示する撮影画枠の大きさを変更することも勿論である。

なお、上記図１６、または次に説明する図１７に示す例では、虚像位置を変更すると倍率（被写体を見込む角度２δ）が変化するために、視角調整手段たるＬＣＤドライバ１１７を用いてＬＣＤ１１５に表示する像の大きさを補正することにより、上記倍率が一定になるように補正を行う。具体的には、ＬＣＤ１１５に表示された撮影画枠２０１の位置からＨＯＥ２５までの距離Ｌｌと、ＬＣＤ１１５に表示される撮影画枠２０１の対角線の長さＸｌと、の比が一定になるように、ＬＣＤ１１５に表示する像の大きさを補正することになる。

次に、図１７は、ＬＣＤ１１５の像を一次結像させるようにし、この一次結像の位置を光軸方向に変化させるようにした構成の一例を示す図である。この例では、ＬＣＤ１１５を通過した光束の光路上に結像光学系たる結像レンズ２５３が配設されており、この結像レンズ２５３によって、該結像レンズ２５３とＨＯＥ２５との間の光路上の位置２５４において、該ＬＣＤ１１５の像が一次結像されるようになっている。上記結像レンズ２５３は、光軸方向に移動可能となるように設けられており、該結像レンズ２５３を支持する鏡枠等の部材に該結像レンズ２５３を光軸方向に変位させるための虚像距離調整手段たる例えばラック２５５などが設けられている。このラック２５５には、上述と同様に、虚像距離調整手段たるアクチュエータ２５６の回転軸に固定されたピニオンギヤ２５６ａ等が噛合して駆動力が伝達されるようになっている。これによって、該アクチュエータ２５６を所望の量だけ回転させることにより、結像レンズ２５３を光軸方向に移動させて、一次結像面の位置２５４を所望の量だけ光軸方向に移動させることができる。このような構成を用いて、虚像ＶＩまでの距離Ｌｉが被写体までの距離に一致するように、上記Ｌｌを変更することになる。なお、上記図１５で説明した原理におけるＬｌは、この図１７に示す例では、一次結像面の位置２５４からＨＯＥ２５までの距離を指すことになる。また、このときにも、ＬＣＤ１１５に表示する撮影画枠の大きさを変更するのはいうまでもない。

なお、ここでは、被写体距離に追従して眼から撮影画枠の虚像ＶＩまでの距離を調整するようにしているが、この場合には、撮影者の視線が変化する毎に被写体距離が変化し、撮影画枠の位置を時々刻々と変更することになるために、撮影画枠を高い精度で連続的に調整しないと、視覚的に違和感を生じてしまう可能性がある。また、撮影画枠の位置を時々刻々と調整すると電力消費も大きくなる。そこで、撮影画枠の位置を至近から無限大の距離で数段階（例えば３段階）に分けて調整するようにしてもよい。

上記図１６や図１７に示したような構成例は、ＬＣＤ１１５や結像レンズ２５３をアクチュエータにより機械的に移動させるものであったために、構成がやや複雑であるとともに、アクチュエータ等を配置するスペースが必要になったり、重量が増したりする。さらに、アクチュエータを用いているために、駆動時に雑音が少し発生する可能性があり、このときに発生する雑音が撮影者に不快感を与えることもあり得る。こうした点は、頭部に装着して用いるカメラにおいてはできるだけ解消することが望ましい。次に、図１８を参照して説明する構成例は、このような点に鑑みてなされたものである。

図１８は、ＬＣＤの像を一次結像させるようにし、この一次結像の位置を光軸方向に変化させるようにした構成の他の例を示す図、図１９は、上記図１８における液体レンズの詳細な構成を示す図である。

これら図１８および図１９に示す構成例は、上記図１７に示した結像レンズ２５３に代えて、液体レンズ（FluidFocusレンズ）２５７を用いるようにしたものである。以下に説明する液体レンズ２５７は、２００４年３月３日にロイヤルフィリップスエレクトロニクス社により発表されたものを用いる例となっている。

まず、図１９を参照して、液体レンズ２５７の構成について説明する。

液体レンズ２５７は、図１９（Ａ），図１９（Ｂ）に示すように、透明な伝導性液体（Conducting Fluid）２６５と、この伝導性液体２６５とは異なる屈折率（異なる光学特性）をもち該伝導性液体２６５とは混じり合わない（不混和性の）非伝導液体（Insulating Fluid）２６６とを、透明な短い円筒状部材の内部に封止して構成されている。上記伝導性液体２６５は例えば水性の液体であり、上記非伝導液体２６６は例えば油性の液体となっている。そして、これら伝導性液体２６５と非伝導液体２６６との境界面が、レンズ面を構成するようになっている。

上記円筒状部材は、ガラス等で構成された円筒２６１ａと、この円筒２６１ａの底面側を封止するガラス等で構成された円板２６１ｂと、該円筒２６１ａの上面側を封止するガラス等で構成された円板２６１ｃと、を有して構成されている。

上記円板２６１ｂの上面側外周部から周面にかけて、断面略Ｌ字状の電極２６２ｂが設けられるとともに、上記円筒２６１ａの内周面、外周面、および上面にかけて、断面略コの字状の電極２６２ａが設けられており、これらは互いに非接触となるように配設されている。

上記円筒２６１ａおよび電極２６２ａの内周側には、円筒状の絶縁体２６３が配設されていて、この絶縁体２６３の下端側が電極２６２ｂに接触して、電極２６２ａと電極２６２ｂとが絶縁されるようになっている。

この絶縁体２６３の内周側から上記円板２６１ｃの下面側にかけて、疎水性（撥水性）コーティング（Hydrophobic coating）２６４が設けられている。

そして、この疎水性コーティング２６４の内部に、上記伝導性液体２６５および非伝導液体２６６が封止されている。なお、上記電極２６２ｂは、伝導性液体２６５に電気的に接続されるように、疎水性コーティング２６４よりも内周側に延出されている。

このような構成において、上記電極２６２ａ，２６２ｂに特に電圧を印加しないときには、伝導性液体２６５が疎水性コーティング２６４により退けられて、図１９（Ａ）に示すように、底面側に集まる略半球状をなし、それ以外の、疎水性コーティング２６４に接触する部分に非伝導液体２６６が配分される。

一方、上記電極２６２ａがマイナス、電極２６２ｂがプラスとなるように電圧Ｖを印加すると、図１９（Ｂ）に示すように、プラスの電荷が上記電極２６２ｂから伝導性液体２６５に伝達される。そして、電極２６２ａの表面にマイナスの電荷が分布するとともに、上記絶縁体２６３および疎水性コーティング２６４を介して該電極２６２ａに対向する伝導性液体２６５の表面にプラスの電荷が分布する。このような電気的誘導によって、伝導性液体２６５の表面張力（より正確には、伝導性液体２６５が疎水性コーティング２６４と接触する界面の張力）が変化する。表面張力が変化すると、伝導性液体２６５は、疎水性コーティング２６４の内周面をぬらし始める。このような、電場による疎水性コーティング２６４の疎水性が弱まるプロセスを、「電子ウェッティング（electrowetting）」という。

こうして、電圧Ｖを印加することにより、伝導性液体２６５と非伝導液体２６６との間のレンズ面の曲率半径が変化するために、レンズの焦点距離が変化する。

このような焦点距離の変化は、電極２６２ａと電極２６２ｂとの間に印加する電圧を調整することにより、制御することができる。例えば、印加する電圧Ｖをより高くしてやることにより、分布する電荷量が増えて、図１９（Ａ）に示すように凸状（略半球状）をなす伝導性液体２６５の表面が、完全に平らになったり（レンズ効果なし）、あるいは、図１９（Ｂ）に示すような凹状になったりする。この図１９（Ｂ）に示す例では、接触角φが９０度よりも小さくなっている。このようにして、収束レンズから発散レンズへスムーズに移行し、またスムーズに元に戻るレンズを実現することができる。

図１８は、上記図１９に示したような液体レンズを用いて、ＬＣＤ１１５の像の一次結像の位置を変化させるようにした構成例を示している。

すなわち、ＬＣＤ１１５とＨＯＥ２５との間の光路上には、結像光学系であり虚像距離調整手段たる液体レンズ２５７が配設されていて、この液体レンズ２５７によるＬＣＤ１１５の像の一次結像面の位置２５４は、該液体レンズ２５７に印加する電圧Ｖを変化させることにより、変更することができるようになっている。

すなわち、該液体レンズ２５７に印加される電圧Ｖは、虚像距離調整手段たる電圧制御回路２５８により制御されるように構成されている。

この電圧制御回路２５８は、例えば上記第４ＣＰＵ１１１に接続されていて、撮影画枠の虚像ＶＩまでの距離Ｌｉが、被写体までの距離に一致されるように制御される。

なお、このときにも、液体レンズ２５７の焦点距離を変化させると虚像ＶＩの倍率が変化するために、該液体レンズ２５７の焦点距離に応じて、ＬＣＤ１１５に表示する撮影画枠の大きさを変更することはいうまでもない。

このような、液体レンズ２５７の焦点距離を変化させて虚像ＶＩまでの距離Ｌｉを被写体までの距離に一致させる構成を採用することにより、構成が簡単になって装置をより一層小型軽量化することができる。さらに、アクチュエータが用いられていないために、騒音が発生することはなく、撮影者に不快感を与えることもない。従って、このような構成は、頭部に装着して用いるタイプの頭部装着型カメラや頭部装着型表示装置などの画像システムに、特に有効となる。

なお、上記図１８では、虚像ＶＩとして撮影画枠が表示されるときに、該虚像ＶＩの位置を調整する例を示したが、これに限らず、虚像として画像や文字等が表示される場合にも（すなわち、画像や文字を虚像として表示するような表示装置においても）、同様に適用可能であるのはもちろんである。

次に、図２０、図２１を参照して、視線方向／角速度検出部７における視線方向検出部の光学系の構成の一例について説明する。図２０は視線方向検出部の光学系の一構成例を示す一部断面を含む正面図、図２１は視線方向検出部の光学系の一構成例を示す左側面図である。

上記フレーム部１３の内部における上記透明光学部材１４の上部となる位置に、上記
ＬＥＤ１２５，集光レンズ１２６，反射ミラー１２７，反射ミラー１３１，結像レンズ１３２，バンドパスフィルタ１３３，ＣＣＤ１３４が、図２０に示すように、順に配置されている。

上記反射ミラー１２７の下方となる透明光学部材１４内には、ハーフミラー１２８とＨＯＥ２４とが配設されている。さらに、該ハーフミラー１２８の側方となる透明光学部材１４内には、ＨＯＥ１２９が配設されている。

このような構成において、上記ＬＥＤ１２５から赤外光が発光されると、集光レンズ１２６により平行光束に変換された後に、反射ミラー１２７により鉛直下方へ反射される。

この反射ミラー１２７により反射された赤外光は、透明光学部材１４の内部に入って、該透明光学部材１４内に配置されているハーフミラー１２８を透過し、ＨＯＥ２４により観察者の眼へ向けて反射される。

一方、観察者の眼から反射された赤外光は、上記ＨＯＥ２４により上方へ向けて反射され、さらに、ハーフミラー１２８により側方へ向けて反射される。この反射光は、さらにＨＯＥ１２９により上方へ向けて反射され、フレーム部１３内に配設された反射ミラー１３１に到達する。

この反射ミラー１３１により側方へ向けて反射された光は、結像レンズ１３２とバンドパスフィルタ１３３とを介して、上記ＨＯＥ２４により反射された赤外光の波長域に係る観察者の眼の像として、ＣＣＤ１３４上に結像される。

このＣＣＤ１３４によって変換された画像信号は、上記ＣＤＳ／ＡＧＣ回路１３６、Ａ／Ｄ変換回路１３７、通信制御部１７３、送受信部１７２等を介して、上記画像記録／編集装置４へ転送され、該画像記録／編集装置４内の第１ＣＰＵ１６１において、後述するように、プルキンエ像の位置と、瞳孔の中心位置と、が求められ、さらにこれらの相対的な関係から視線方向が求められる。

なお、上記ハーフミラー１２８およびＨＯＥ１２９は、このように例えば透明光学部材１４内に配置されるが、このときの位置としては、この頭部装着部２を装着して被写体を観察する観察者の視界に通常入り難いような上部であることが望ましい。

これら図２０、図２１に示したような構成によれば、高い波長選択性と、選択された波長域の光に対する高い反射率と、を有するＨＯＥ２４を用いるとともに、同様の波長選択性を有するバンドパスフィルタ１３３をＣＣＤ１３４の前に配置しているために、高いＳ／Ｎ比の信号を得ることが可能になる。

そして、このような構成により、被写体を観察している観察者の視線方向を、正確に求めることが可能となる。

続いて、図２２、図２３を参照して、視線方向／角速度検出部７における視線方向検出部の光学系の構成の他の例について説明する。図２２は視線方向検出部の光学系の他の構成例を示す一部断面を含む正面図、図２３は視線方向検出部の光学系の他の構成例を示す左側面図である。

上記図２０、図２１に示したような構成は、ハーフミラー１２８およびＨＯＥ１２９が外光に直接さらされることになるために、外光ノイズがＣＣＤ１３４に到達するのを完全に遮断するのは困難である。これに対して、この図２２、図２３に示すような構成は、観察者の眼へ赤外光を投光する光路と、観察者の眼により反射された赤外光をＣＣＤ１３４により受光する光路と、を完全に分離するようにしたものとなっている。

すなわち、この視線方向検出部の光学系においては、上記ハーフミラー１２８およびＨＯＥ１２９が省略されると共に、ＨＯＥ２４が、上記図２０に示したものよりも左右方向にやや長くなるように構成されている。

そして、上記反射ミラー１２７により反射された赤外光は、このＨＯＥ２４の例えば左側部分へ向けて、斜めに入射されるようになっている。ＨＯＥ２４は、この反射ミラー１２７からの赤外光を、観察者の眼へ向けて、水平方向に少し斜めとなるように投射する。

一方、観察者の眼からの反射光は、該ＨＯＥ２４の例えば右側部分により受光されて、上記反射ミラー１３１へ向けてほぼ鉛直真上に反射される。この反射ミラー１３１以降の構成等は、上記図２０、図２１に示したものと同様である。

これら図２２、図２３に示したような構成によれば、高い波長選択性と、選択された波長域の光に対する高い反射率と、を有するＨＯＥ２４を用いるとともに、同様の波長選択性を有するバンドパスフィルタ１３３をＣＣＤ１３４の前に配置しているために、高いＳ／Ｎ比の信号を得ることが可能になる。そして、外光が照射される透明光学部材１４に配置されるのをＨＯＥ２４のみとしたために、透明光学部材１４にハーフミラー１２８やＨＯＥ１２９が配置されている上記図２０、図２１の構成に比して、さらに外光ノイズの影響を低減することが可能となる。

なお、透明光学部材１４内部における光の伝播は、図２１や図２３に示したように透過のみであっても良いが、上記透明光学部材１５内部における光の伝播と同様に、透過と内面における全反射とを組み合わせたものであっても構わない。この透過と全反射とを組み合わせる光学設計を行う場合には、透明光学部材１４を肉薄にすることが可能となって、頭部装着部２の軽量化をより一層図ることができる。

次に、撮像部３０を、フレーム部１３の側面に対して、ピッチ方向およびヨー方向に相対的に角度調整可能となるように取り付ける構成について、図２４および図２５を参照して説明する。図２４は撮像部３０をフレーム部１３に取り付ける構成を示す平面図および右側面図、図２５は撮像部３０を取り付けるためにフレーム部１３に設けられた孔の構成を示す右側面図である。

本実施例の画像システム１は、撮影者が撮影範囲を示す撮影画枠を指定し、指定された撮影画枠の視角に対応する画角で撮影を行うものであるために、パララックスを補正する必要がある。このパララックスの発生原因として、撮影者の視軸と撮影光軸との水平方向の位置的なずれと、視軸と撮影光軸との角度のずれと、があるが、後者の角度のずれの影響が非常に大きいために、この角度のずれを精密に補正することができるような調整機構（調整手段）を設けたものとなっている。

フレーム部１３とテンプル部１２とは、図２４（Ａ）に示すように、丁番７８を介して、折り畳み可能に接続されている。この丁番７８は、上記フレーム部１３から延設されるやや長めの継手２９を介して、右眼側の丁番７９よりもややフロント部１１側から離れた位置に配設されている。

上記継手２９の側面には、該側面に沿った形状部３３ａと、該側面から略垂直に立設される形状部３３ｂと、を備えた、正面から見たときに略Ｌ字形状をなす調整機構（調整手段）たる台座３３が接続されるようになっている。この調整機構は、頭部装着型カメラの調整方法が適用される頭部装着型カメラの調整装置における、フロント部１１と撮像部３０との相対的な角度を調整するための機構であり、該調整機構を用いることにより、撮像部３０に含まれる撮影光学系３１の光軸と視軸とを調整することが可能となっている。

すなわち、上記継手２９には、図２５に示すように、前方側にピッチ方向調整手段たる孔１９１が、後方側に該孔１９１を中心とした円弧状をなすピッチ方向調整手段たる長孔１９２が、それぞれ穿設されている。これらの孔１９１，１９２を介して、ピッチ方向調整手段たるビス３４，３５をそれぞれ台座３３の上記形状部３３ａに螺合することにより、該台座３３が継手２９に対して取り付けられている。

また、上記台座３３の形状部３３ｂには、図２４（Ａ）に示すように、前方側にヨー方向調整手段たる孔１９３が、後方側に該孔１９３を中心とした円弧状をなすヨー方向調整手段たる長孔１９４が、それぞれ穿設されている。これらの孔１９３，１９４を介して、図２４（Ｂ）に示すように、ヨー方向調整手段たるビス３６，３７をそれぞれ撮像部３０の底面側に螺合することにより、該撮像部３０が台座３３に対して取り付けられている。なお、上記撮像部３０の背面側からはケーブル３８が延出されていて、被写体側に曲折された後に、上記フレーム部１３内の電気回路等に接続されている。

このような構成において、ビス３４およびビス３５をやや緩めた状態で、ビス３５が挿通される長孔１９２内の位置を変更することにより、台座３３がビス３４を中心として回動し、台座３３、ひいてはこの台座３３に取り付けられている撮像部３０のピッチ方向の角度調整を行うことができる。こうして、所望の位置に調整された後には、上記ビス３４およびビス３５を固締めすれば良い。

同様に、ビス３６およびビス３７をやや緩めた状態で、ビス３７が挿通される長孔１９４内の位置を変更することにより、撮像部３０がビス３６を中心として台座３３に対して回動し、該撮像部３０のヨー方向の角度調整を行うことができる。こうして、所望の位置に調整された後には、同様に、上記ビス３６およびビス３７を固締めすることになる。

このような構成によれば、シースルー画像表示部６と撮像部３０との相対的なピッチ方向およびヨー方向の角度調整を行うことが可能となる。さらに、撮像部３０が台座を介してフロント部１１に固定されているために、テンプル部１２を折り畳んでも撮像部３０が折り畳まれることはなく、撮像部３０とシースルー画像表示部６との相対的な角度ずれが発生する可能性が小さくなる。また、調整機構が簡単であるために、安価に構成することが可能となる。

なお、上述においては、撮像部３０と台座３３との相対的なヨー方向の角度を調整し、フレーム部１３の側面の継手２９と台座３３との相対的なピッチ方向の角度を調整するようにしたが、これとは逆に、台座３３に対する撮像部３０の取り付け位置を変更することにより、撮像部３０と台座３３との相対的なピッチ方向の角度を調整し、台座３３に対するフレーム部１３の取り付け位置を変更することにより、フレーム部１３の側面の継手２９と台座３３との相対的なヨー方向の角度を調整するように構成することも可能である。

続いて、図２６から図３６を参照して、シースルー画像表示部６による画像の表示例について説明する。

まず、図２６は、シースルー表示における初期状態の表示例を示す図である。カメラ１の電源を投入するか、またはシステムをリセットしたときに、この図２６に示すような表示が行われるようになっている。このときには、図示のように、標準レンズ（例えば、画角が５０度であるものとする）に相当する撮影範囲を示す撮影画枠２０１がシースルー表示される（つまり、撮影者から見たときの視角が５０度となるような撮影画枠２０１がシースルー表示される）ようになっている。

次に、図２７は、テレへのズームが行われたときの表示例を示す図である。表示される撮影画枠２０１が、上記図２６に示したよりもテレに対応する撮影範囲を示すものになっている。この撮影画枠２０１の変更は、上述したように、例えば上記ズームスイッチ７５の操作により行われ、このときには撮像部３０の撮影画角も該撮影画枠２０１の視角に一致するように、上記撮影光学系３１の焦点距離が変更される。具体的には、上記図２６に示したような標準レンズの焦点距離に対応する撮影範囲において、該ズームスイッチ７５のテレスイッチ７５ａを操作することにより、この図２７に示すような望遠側への変更が行われる。

続いて、図２８は、ワイドへのズームおよび露出補正が行われたときの表示例を示す図である。表示される撮影画枠２０１が、上記図２６に示したよりもワイドに対応する撮影範囲を示すものになっているとともに、この撮影画枠２０１の例えば右下に、露出補正量が情報表示２０２として表示されている。この図に示す例では、例えば上記露出補正スイッチ７６により、＋１．０の露出補正が行われたことが示されている。なお、露出補正は、数字で示すに限るものではなく、棒グラフや指標などの各種の表示を用いても構わないことは勿論である。また、この図２８に示すような撮影画枠２０１は、例えば上記図２６に示したような標準レンズの焦点距離に対応する撮影範囲において、上記ズームスイッチ７５のワイドスイッチ７５ｂを操作することにより、設定される。

また、図２９は、電子ビュー表示を行うときの表示例を示す図である。例えば上記Ｆ／Ｖスイッチ７２によりビューモード（Ｖ）が選択されると、この図に示すように、撮像部３０で撮像された電子画像２０３が虚像として撮影者の目に投影されるようになっている。なお、この電子ビューとして表示する画像の大きさは、該画像の解像度により設定することができ、例えば解像度が低い場合は画像を小さく表示すれば良い。

図３０は、動画を録画中の表示例を示す図である。例えば上記録画スイッチ７４が操作されて録画中となったときには、この図３０に示すように、撮影範囲を示す撮影画枠２０１が表示されるとともに、録画中であることを示す情報表示２０４が「ＲＥＣ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。この録画中であることを示す表示も、上述と同様に、文字に限るものではない。

図３１は、マニュアルモード時の表示例を示す図である。例えば上記ＦＡ／Ａ／Ｍスイッチ７１が操作されることによりマニュアルモード（Ｍ）に設定されているときには、該マニュアルモード（Ｍ）を示す情報表示２０５が「ＭＡＮＵ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。一方、「ＭＡＮＵ」の情報表示２０５が行われていないときには、オートモード（Ａ）であることになる。

図３２は、フルオートモードで動画を録画中の表示例を示す図である。例えば上記ＦＡ／Ａ／Ｍスイッチ７１が操作されることによりフルオートモード（ＦＡ）に設定されていて、かつ録画スイッチ７４が操作されて録画中となったときには、この図３２に示すように、撮影範囲を示す撮影画枠２０１が表示されるとともに、フルオートモードであることを示す情報表示２０６が「ＦＡ」の文字として、また、録画中であることを示す情報表示２０７が「ＲＥＣ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。これらのフルオードモードであることや録画中であることを示す表示も、上述と同様に、文字に限るものではない。

図３３は、撮影光学系３１の焦点距離ｆが焦点調節可能な下限値ｋ１に達しているにもかかわらず、さらに小さい方へ操作されようとしている場合にシースルー表示される警告表示２０８の例を示す図である。すなわち、ワイド側へのズーム操作を行ってズームのワイド端に達したときに、依然としてワイド側へのズーム操作が行われている場合に、この警告表示２０８が撮影範囲を示す撮影画枠２０１の表示とともに行われる。

図３４は、撮影光学系３１の焦点距離ｆが焦点調節可能な上限値ｋ２に達しているにもかかわらず、さらに大きい方へ操作されようとしている場合にシースルー表示される警告表示２０９の例を示す図である。すなわち、テレ側へのズーム操作を行ってズームのテレ端に達したときに、依然としてテレ側へのズーム操作が行われている場合に、この警告表示２０９が撮影範囲を示す撮影画枠２０１の表示とともに行われる。

図３５は、静止画を撮影する操作が行われたときの表示例を示す図である。このときには、撮影範囲を示す撮影画枠２０１が表示されるとともに、静止画を記録したことを示す情報表示２１０が「ＲＥＬ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。この静止画を記録したことを示す表示も、上述と同様に、文字に限るものではない。

図３６は、キャリブレーションモードにおける表示例を示す図である。例えば、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などを操作することによりキャリブレーションモードが選択されると、この図３６に示すような表示を行うようになっている。すなわち、ここでは、キャリブレーションモードであることを示す情報表示２１１が、「ＣＡＬ」の文字として、視野の例えば右下に表示されるとともに、さらに、キャリブレーション用の指標Ｐ１〜Ｐ５が、後述するように、順次点滅して表示されるようになっている。これらの内の、指標Ｐ１は視野の中央部に、指標Ｐ２は視野の上部に、指標Ｐ３は視野の右側部に、指標Ｐ４は視野の下部に、指標Ｐ５は視野の左側部に、それぞれ表示される。

なお、上述したような各表示において、通常の情報表示は上記ＬＥＤ１１３の中の例えばＧ（緑）のダイオードを発光させることにより行い、警告表示は上記ＬＥＤ１１３の中の例えばＲ（赤）のダイオードを発光させることにより行うようにすると良い。

次に、図３７〜図３９を参照して、上述したような被写体までの距離に基づくパララックスの補正の原理について説明する。図３７は被写体と撮影光学系とＣＣＤとの光学的な関係を説明するための図、図３８はＨＯＥとこのＨＯＥにより形成される虚像と眼との光学的な関係を説明するための図、図３９はパララックスを補正するのに必要な虚像のシフト量を説明するための図である。

図３７に示すように、ＣＣＤ８７の撮像領域の水平方向のサイズをｈ２、撮影光学系３１の焦点距離をｆ、撮影光学系３１の主点からＣＣＤ８７までの距離をｆ＋ｘ、撮影光学系３１の主点から被写体Ｏまでの距離をＬ２、ＣＣＤ８７で撮影される被写体Ｏの水平方向の長さをＨ２、水平方向の撮影画角をθ２、とすると、次の数式３に示すような関係式が成り立つ。
［数３］

一方、図３８に示すように、撮影者の瞳Ｐの位置から撮影範囲を示す水平方向の撮影画枠の位置（虚像ＶＩ）までの距離をＬ１、該撮影画枠の水平方向の長さをＨ１、瞳Ｐの位置から水平方向の長さＨ１でなる該撮影画枠を見込む角度（視角）をθ１とすると、次の数式４に示すような関係式が成り立つ。
［数４］

撮影者が設定した撮影範囲で撮影するためには、撮影画角と視角が等しくなること、すなわち、θ２＝θ１であることが必要である。このθ２＝θ１が成り立つ条件の下では、数式３の右辺と数式４の右辺とが等しくなるために、撮影光学系３１の焦点距離ｆは、次の数式５に示すように求められる。
［数５］

一方、レンズの結像原理から、次の数式６が成り立つ。
［数６］

これら数式５と数式６とから、ｘを消去することにより、次の数式７が導かれる。
［数７］

この数式７から、被写体距離Ｌ２を求めることができれば焦点距離ｆを求めることができることがわかる。

ここで、通常の被写体においてはｈ２／Ｌ２≪Ｈ１／Ｌ１の関係が成立するために、計算を簡略化したいときや、被写体距離を求める手段を備えていないときは、次の数式８により近似値を求めることができる。
［数８］

次に、パララックスの補正原理について、図３９を参照して説明する。

まず、パララックスの補正の原理を説明する際の前提条件として、撮影光学系３１の光軸方向と撮影者の視軸の方向とは、ともに顔面に対して垂直であるものとし、これらの光軸と視軸とは距離Ｘだけ隔てて配置されているものとする。ここに、パララックスは、光軸と視軸とが距離Ｘだけ離れていることに起因して発生するものである。なお、光軸と視軸とが相対的に傾いている場合には、大きなパララックスを生ずる要因となり得るために、これらは平行となるように調整する必要がある。このために、上記図２４、図２５に示したような調整機構を用いて、光軸と視軸との調整を行うようになっている。

図３９の実線および点線に示すように、もし、撮影範囲を示す撮影画枠の虚像ＶＩ０までの距離と、被写体Ｏまでの距離と、が同じであれば、撮影者が観察している範囲と撮像部３０が撮像している範囲とのずれ量（パララックス）は、Ｘとなって不変である。しかし、実際には、撮影者の瞳Ｐから虚像ＶＩ１までの距離Ｌ１は、撮影光学系の主点から被写体Ｏまでの距離Ｌ２と異なるために、虚像としての撮影画枠が示す範囲を実際の撮像範囲に合致させるためのパララックス補正量Ｘ’は、次の数式９に示すようになる。
［数９］

撮影画枠の虚像ＶＩ１の倍率（つまり、ＬＣＤ１１５上に表示される像に対する虚像の大きさの比）の逆数をβとすると、パララックスを補正するために、ＬＣＤ１１５上に表示する像のシフト量ＳＰは、次の数式１０に示すようになる。
［数１０］

従って、第４ＣＰＵ１１１は、この数式１０で表わされる量ＳＰだけ、ＬＣＤ１１５に表示する像の位置をシフトさせるように、上記ＬＣＤドライバ１１７を制御することになる。これにより、虚像ＶＩ１の位置が距離Ｘ’だけシフトされて虚像ＶＩ２となり、図３９の２点鎖線に示すように、虚像の撮影画枠が示す範囲が、実際の撮像範囲に一致する。

このように、パララックス補正を行うためのシフト量ＳＰは、被写体距離Ｌ２に依存しているために、被写体距離が異なる毎に、随時行うことが基本となる。

しかしながら、例えば、β＝１／１００、Ｌ１＝２ｍ、Ｌ２＝２ｍ、Ｘ＝４ｃｍの場合を例に取ると、シフト量ＳＰは０．４ｍｍとなるが、このパララックス補正量を次のような数式１１、
［数１１］

を用いて視角Ｓθに換算すると、約１度となって、さほど大きなパララックスが生じているとはいえない。このように、通常の撮影を行う場合には、パララックス補正はほとんど必要がないということができる。その一方で、数式１１の右辺括弧内は被写体距離Ｌ２の逆数に比例しているために、視角Ｓθが大きくなって上述した数式１０によるパララックス補正が必要となってくるのは、Ｌ２が小さいとき、つまり近接撮影のとき、であることが分かる。

なお、以上の説明においては、被写体距離Ｌ２を三角測距の原理に基づいて求めるようになっている。すなわち、投光用ＬＥＤ１６ａの光を被写体へ投光して、該被写体から反射した光を上記ＣＣＤ８７で撮像し、該ＣＣＤ８７上の像の位置から、三角測距の原理に基づいて求めるようになっている。

また、Ｌ２は視線方向の被写体距離であるために、投光用ＬＥＤ１６ａを、視線検出を行う眼になるべく近い位置に配置して、公知の投光方向を制御する手段により、視線方向（θ）に投光するようにすれば良い。

さらに、上述したような三角測距の原理に基づいて被写体距離を求める代わりに、オートフォーカスを行ったときのフォーカスレンズ８５の位置から被写体距離Ｌ２を求めるようにしても構わない。すなわち、被写体の位置が無限大であると仮定して、上記図１１に示したようなＡＦ処理回路９８により、視線方向（θ）と同じ画角の所定範囲にある被写体の画像信号の高周波成分が最大になる位置に、フォーカスレンズ８５を駆動し（いわゆるコントラスト方式による焦点検出を行い）、このフォーカスレンズ８５の位置から逆に被写体距離Ｌ２を求めるようにすれば良い。この場合には、視線方向（θ）の被写体と、上記ＡＦ処理の対象となる視線方向（θ）と同じ画角の被写体と、は厳密には一致しないが、被写体はある大きさを有するために実用上の問題が生じることはない。

続いて、図４０を参照して、撮像部３０と視線方向／角速度検出部７の視線方向検出部とが所定距離だけ隔てて配置されていることに起因して生じるパララックスを考慮する技術について説明する。図４０は、視線方向にある被写体を撮像部から見るときの角度の関係を示す図である。

例えば、視線方向／角速度検出部７により検出された視線方向にある被写体に、撮像部３０の撮影光学系３１のピントを合わせようとする場合を考える。被写体までの距離が遠い場合には、撮像部３０から見た撮影者の視線方向にある被写体は、撮影者が実際に注視している被写体にほぼ一致するが、被写体までの距離が近くなると、これらにずれが生じてくる。従って、ずれた位置にある被写体にピントを合わせたとしても、撮影者が注視している被写体にピントが合うとは限らない。図４０は、このようなパララックスが生じているときの位置関係の例を示している。

今、撮影者が、撮影光学系３１の光軸と平行な視軸に対して角度θをなす方向の、距離Ｌにある被写体Ｏを注視しているものとする。このときに、撮影光学系３１の光軸と撮影者の瞳との間の距離をＸe とする。また、撮影光学系３１の光軸と、撮影光学系３１の主点Ｈと被写体Ｏを結ぶ直線と、のなす角度をθ’とする。すると、次の数式１２が成り立つ。
［数１２］

従って、視線方向／角速度検出部７により検出された視線方向θと、ＡＦ処理回路９８等により検出された被写体距離Ｌと、設計的に定まるＸe と、をこの数式１２に代入して上記角度θ’を求め、この求めた角度θ’の方向に該当する被写体に撮影光学系３１のピントを合わせるようにすればよい。なお、被写体距離Ｌが大きい場合には、数式１２の右辺の第２項を無視することができるために、θ’≒θとなり、つまりパララックスの影響をほぼ考えなくて良いことが分かる。

なお、上記被写体距離Ｌは、上述したように、三角測距により求めたものでも良いし、あるいはコントラスト方式により焦点検出を行った結果に基づいて求めたものであっても構わない。

次に、以上説明したような画像システムの動作について、図４８および図４９を参照して説明する。図４８は画像システムの動作の一部を示すフローチャート、図４９は画像システムの動作の他の一部を示すフローチャートである。これら図４８および図４９は、画像システムの動作の流れを、図面の都合上、２図に分割して示したものである。

この画像システム１の電源を投入するか、またはシステムをリセットすると、標準レンズ（上述したように、例えば、画角が５０度となる。）に相当する撮影範囲を示す撮影画枠を、上記シースルー画像表示部６により上記図２６に示したようにシースルー表示する（ステップＳ１）。

次に、上記第２ＣＰＵ１２１に内蔵されているタイマ１２３をチェックすることにより、所定時間が経過したか否かを判断する（ステップＳ２）。

ここで、所定時間が経過していると判断された場合には、図８に示したような第１操作スイッチ１６２や、図１０に示したような第２操作スイッチ１７１などの各種スイッチの入力状況をモニタする（ステップＳ３）。

なお、上記ステップＳ２におけるタイマは、所定時間が経過して上記ステップＳ３に移行した時点で、再度、計時を開始するものとなっている。そして、タイマによる計時が所定時間に達していないときには、上記ステップＳ３におけるスイッチのモニタは行わないようになっている。このように、タイマをチェックしながら所定の時間間隔でスイッチの入力状況を確認することにより、各ＣＰＵの負荷を軽減することができるとともに、スイッチのチャタリングによる誤動作を防止することも可能となっている。なお、後述するステップＳ１４，Ｓ２０，Ｓ２５のタイマは、上記ステップＳ２におけるタイマと同様の機能を果たすものとなっている。

上記ステップＳ３の処理が終了したら、次に、後述するような危険防止のサブルーチンを実行する（ステップＳ４）。

このステップＳ４の処理が終了するか、または上記ステップＳ２において所定時間が経過していないと判断された場合には、画像システム１が、オートモード（Ａ）もしくはマニュアルモード（Ｍ）の何れかに設定されているか、または、これらのモード以外（つまりフルオートモード（ＦＡ））に設定されているか、を判断する（ステップＳ５）。このモード設定は、上述したように、ＦＡ／Ａ／Ｍスイッチ７１の操作により行われるものである。

ここで、オートモード（Ａ）でもマニュアルモード（Ｍ）でもなく、つまりフルオートモード（ＦＡ）であると判断されたときは、録画スイッチ７４により録画モードに設定されているか否かを判断する（ステップＳ６）。

ここで、もし録画モードに設定されていないときには、上記ステップＳ２へ戻って、上述したような処理を繰り返して行う。

また、上記ステップＳ６において、録画モードに設定されていると判断された場合には、標準撮影画枠に設定するとともに、フルオートモードであることを示す情報表示２０６（文字「ＦＡ」）と、録画中であることを示す情報表示２０７（文字「ＲＥＣ」）と、を上記図３２に示したようにシースルー表示する（ステップＳ７）。

そして、動画データ、角速度データ、視線方向データ、音声データを、上記ディスク２４９等に記録してから（ステップＳ８）、上記ステップＳ２へ戻って、上述したような処理を繰り返して行う。

一方、上記ステップＳ５において、オートモード（Ａ）またはマニュアルモード（Ｍ）の何れかが設定されていると判断された場合には、露出補正が設定されているか否かを判断する（ステップＳ９）。

ここで、露出補正が設定されていると判断された場合には、例えば図２８に示したように、設定されている露出補正量（補正値）を情報表示２０２としてシースルー表示する（ステップＳ１０）。

このステップＳ１０の処理が終了するか、または上記ステップＳ９において露出補正が設定されていないと判断された場合には、画像システム１が、撮像部３０で撮像された画像をシースルー表示するビューモード（Ｖ）に設定されているか、または、撮影範囲である撮影画枠のみを表示するフレームモード（Ｆ）に設定されているかを判断する（ステップＳ１１）。このモード設定は、上述したように、Ｆ／Ｖスイッチ７２の操作により行われるものである。

ここで、モードがフレームモード（Ｆ）に設定されていると判断されたときには、次に、画像システム１が、オートモード（Ａ）に設定されているか、または、マニュアルモード（Ｍ）に設定されているか、を判断する（ステップＳ１２）。このモード設定は、上述したように、ＦＡ／Ａ／Ｍスイッチ７１の操作により行われるものである。

ここに、オートモード（Ａ）は、撮影光学系３１の焦点距離が所定値以上であるときは、フレームモード（Ｆ）に設定されていても、撮像部３０により撮像された画像を自動的に拡大してシースルー表示するモードとなっている。このような表示を行うことにより、望遠撮影においても面倒な操作を行うことなく被写体の詳細を容易に確認することができるとともに、通常の焦点距離（上記所定値未満の焦点距離）においては撮影範囲を示す撮影画枠が表示されるのみであるために、長時間の撮影においても違和感なく撮影を行うことが可能となる。

一方、マニュアルモードは、上述したように、上記シースルー表示を行うか否かをマニュアルで設定するものであり、通常は撮影画枠の表示のみを行うモードである。

上記ステップＳ１２において、マニュアルモード（Ｍ）が選択されていると判断された場合には、上記図３１に示したように「ＭＡＮＵ」の情報表示２０５を行う（ステップＳ１３）。

そして、タイマをチェックすることにより、所定時間が経過したか否かを判断する（ステップＳ１４）。

ここで、所定時間が経過している場合には、上記ステップＳ４の危険防止の処理において、後述する図５０のステップＳ４１で求めた被写体までの距離に基づき、撮影者の観察している範囲と撮像部３０による撮影範囲とのずれであるパララックスを補正するために必要な補正値を上述したような原理に基づき算出する（ステップＳ１５）。

そして、このステップＳ１５で算出された補正値に基づいて、正しい位置に撮影画枠を表示するように、撮影画枠の表示を更新する（ステップＳ１６）。このような処理を行うことにより、被写体距離が変化した場合にも、正確に撮影範囲を表示することができるようになっている。なお、このステップＳ１６においては、ＨＯＥ２５から上記撮影範囲を表わす撮影画枠の虚像までの距離も、上記図１５〜図１８に示したような手段の何れかにより調整するようになっている。

一方、上記ステップＳ１２において、オートモード（Ａ）に設定されていると判断されたときは、次に、撮影光学系３１の焦点距離が所定値αよりも大きい望遠側に設定されているか否かを判断する（ステップＳ１７）。

ここで、撮影光学系３１の焦点距離が所定値α以下であると判断された場合には、上記ステップＳ１４の処理に移行する。また、撮影光学系３１の焦点距離が所定値αよりも大きいと判断された場合、あるいは上記ステップＳ１１において、ビューモード（Ｖ）が設定されていると判断された場合には、撮像部３０により撮像した電子画像をシースルー画像表示部６により被写体に重畳してシースルー表示する（ステップＳ１８）。

このステップＳ１８の処理が終了した場合、上記ステップＳ１６の処理が終了した場合、または上記ステップＳ１４において所定時間が経過していないと判断された場合には、撮影者が上記画像記録／編集装置４のワイドスイッチ７５ｂを操作することにより、撮影画枠の大きさを広く（Ｗ）したか否かを判断する（ステップＳ１９）。

ここで、撮影画枠の大きさを広く（Ｗ）する操作が行われていると判断された場合には、タイマをチェックすることにより、所定時間が経過しているか否かを判断する（ステップＳ２０）。

そして、所定時間が経過していると判断された場合には、撮影光学系３１の焦点距離ｆが、焦点調節可能な下限値ｋ１に達しているにもかかわらず、さらにこの下限値ｋ１よりも小さい方へ操作されようとしているか否かを判断する（ステップＳ２１）。

ここで、焦点調節可能な下限値ｋ１よりも小さい方へ操作されようとしている場合には上記図３３に示したように、シースルーにより警告表示２０８を行う（ステップＳ２２）。また、焦点距離ｆが焦点調節可能な下限値ｋ１にまだ達していない場合には、撮影光学系３１のバリエータレンズ８２を駆動することにより焦点距離ｆを小さくして、撮影者が設定した撮影範囲になるように撮影光学系３１の焦点距離を設定する（ステップＳ２３）。

一方、上記ステップＳ１９において、撮影画枠の大きさを広く（Ｗ）する操作が行われていないと判断された場合には、上記画像記録／編集装置４のテレスイッチ７５ａを介して、撮影画枠の大きさを狭く（Ｔ）する操作が行われているか否かを判断する（ステップＳ２４）。

ここで、撮影画枠の大きさを狭く（Ｔ）する操作が行われていると判断された場合には、タイマをチェックすることにより、所定時間が経過しているか否かを判断する（ステップＳ２５）。

そして、所定時間が経過していると判断された場合には、撮影光学系３１の焦点距離ｆが、焦点調節可能な上限値ｋ２に達しているにもかかわらず、さらにこの上限値ｋ２よりも大きい方へ操作されようとしているか否かを判断する（ステップＳ２６）。

ここで、焦点調節可能な上限値ｋ２よりも大きい方へ操作されようとしている場合には上記図３４に示したように、シースルーにより警告表示２０９を行う（ステップＳ２７）。また、焦点距離ｆが焦点調節可能な上限値ｋ２にまだ達していない場合には、撮影光学系３１のバリエータレンズ８２を駆動することにより焦点距離ｆを大きくして、撮影者が設定した撮影範囲になるように撮影光学系３１の焦点距離を設定する（ステップＳ２８）。

上記ステップＳ２４において撮影画枠の大きさを狭く（Ｔ）する操作が行われていないと判断された場合、上記ステップＳ２０あるいはステップＳ２５において所定時間が経過していないと判断された場合、または、上記ステップＳ２２，Ｓ２３，Ｓ２７、あるいはステップＳ２８の処理が終了した場合、には、画像記録／編集装置４の第２操作スイッチ１７１に含まれる録画スイッチ７４による動画記録の操作（あるいは、第１操作スイッチ１６２による動画記録の操作）が行われて録画モードが設定された否かを判断する（ステップＳ２９）。

ここで、録画モードが設定されている場合には、図３０に示したように、「ＲＥＣ」の文字による情報表示２０４をシースルーにより行ってから（ステップＳ３０）、録画を開始する（ステップＳ３１）。

このステップＳ３１の処理が終了するか、または、上記ステップＳ２９において録画モードが設定されていないと判断された場合には、画像記録／編集装置４の第２操作スイッチ１７１に含まれるレリーズスイッチ７３による静止画撮影の操作（あるいは、第１操作スイッチ１６２による静止画撮影の操作）が行われたか否かを判断する（ステップＳ３２）。

ここで、静止画撮影の操作が行われたと判断される場合には、まず、静止画像の記録を行ってから（ステップＳ３３）、図３５に示したように、静止画の記録が行われたことを示す「ＲＥＬ」の文字による情報表示２１０をシースルーにより行う（ステップＳ３４）。

このステップＳ３４が終了するか、または、上記ステップＳ３２においてレリーズスイッチ７３による静止画撮影の操作が行われていないと判断される場合には、上記ステップＳ２の処理に戻って、上述したような動作を繰り返して行う。

図５０は、上記図４８のステップＳ４に示した危険防止のサブルーチンの詳細を示すフローチャートである。

上述したように、スイッチ３９を操作することにより、シースルー画像の表示を所望に禁止することができるようにして安全を図るようにしているが、これに代えて、またはこれと共に、撮影者の状態を検出して、検出された状態に応じて撮影動作中のシースルー表示を自動的に禁止するようにしたものである。

この危険防止の処理を開始すると、まず、被写体までの距離を測定する（ステップＳ４１）。このときの測距原理は、次のようになっている。

フレーム部１３の中央部に配置された投光用発光部１６の投光用ＬＥＤ１６ａから発光された光束は、集光レンズ１６ｂによりほぼ平行光束となって射出され、被写体に照射される。この光は、該被写体によって反射され、撮影光学系３１を介してＣＣＤ８７の撮像面に入射する。

このときに、集光レンズ１６ｂと撮影光学系３１との間の距離をＬ、撮影光学系３１の主点からＣＣＤ８７の撮像面までの距離をｆ１、被写体からの反射光のＣＣＤ８７の撮像面上における結像位置と撮影光学系３１の光軸が該撮像面に交差する位置との距離を△Ｌ、とすると、被写体までの距離Ｒは、公知の三角測距の原理に基づいて、次の数式１３により求めることができる。
［数１３］

このようにして求めた距離Ｒを、第２ＣＰＵ１２１の内部に設けられたＲＡＭ１２２に一時的に記憶する。

続いて、上記角速度センサ１４１，１４２により、独立な２軸周りの角速度を検出して、上記ＲＡＭ１２２に一時的に記憶する（ステップＳ４２）。

次に、今回取得した測距結果と、以前に取得した測距結果と、を比較して、撮影者の前方にある物体が相対的に近づいているか否かを判断する（ステップＳ４３）。

ここで、前方の物体が近づいていると判断された場合には、さらに、今回取得した被写体までの距離Ｌが、所定の距離ｋ３よりも近い距離となっているか否かを判断する（ステップＳ４４）。

ここで、上記距離Ｌが所定の距離ｋ３よりも近いと判断されたときには、所定の警告マークを上記シースルー画像表示部６によりシースルー表示する（ステップＳ４５）。なお、ここでは、前方の物体までの距離のみを考慮して、該前方の物体の移動速度は考慮していないが、上記ステップＳ４３において、前方物体までの距離を求めるとともにさらに移動速度（近接してくるスピード）も求めて、該移動速度に応じて上記所定の距離ｋ３を適応的に設定するようにしても良い。この場合には、前方物体が近接してくるスピードが速いほど、上記所定の距離ｋ３を大きくするように設定する。そして、前方物体の移動速度は、上記距離Ｌを所定時間間隔で検出することにより、測定することが可能である。

一方、上記ステップＳ４３において、前方の物体は近づいていないと判断された場合には、さらに、上記角速度データに基づいて撮影者が歩行中であるか否かを判断する（ステップＳ４６）。

すなわち、人が歩行しているとき、または人が走行しているときの、頭部に装着した角速度センサ１４１，１４２からの出力の特徴パターンを、予めＥＥＰＲＯＭ１０２に記憶しておく。そして、該角速度センサ１４１，１４２からの出力パターンが、該歩行時または走行時の特徴パターンと一致するときに、撮影者が歩行（または走行）していると判断するようになっている。

このステップＳ４６において、撮影者が歩行（または走行）していると判断されたときは、上記ステップＳ４５へ行って、上述したように警告表示を行う。

また、上記ステップＳ４４において、前方物体までの距離Ｌが所定の距離ｋ３以上であると判断された場合、あるいは、上記ステップＳ４６において、撮影者が歩行（または走行）していないと判断された場合には、危険はないとして、上記ステップＳ４５の警告表示は行わない。

こうして、ステップＳ４５の処理が終了するか、または上記ステップＳ４４あるいはステップＳ４６において危険がないと判断された場合には、この危険防止の処理を終了して、上記図４８に示した処理に復帰する。

なお、上述では警告表示を行っているが、この警告表示に代えて、強制的に（自動的に）シースルー画像表示部６によるシースルー表示をオフにするようにしても構わない。

また、上述では、角速度センサ１４１，１４２の出力値のパターンを所定の特徴パターンと比較して撮影者の状態を検出したが、より簡易的な手段としては、角速度センサ１４１，１４２の出力値が所定時間継続して所定値以上であるときに、警告表示を行ったり、シースルー表示を禁止したりすることも考えられる。

さらに、上述では、撮影者の状態として、撮影者が歩行もしくは走行している状態を例に挙げたが、これらに限らず、危険を防止することが望ましい状態に対応することができるようにすると良い。例えば、前方物体との相対的な速度に基づいて、自動車等を運転中であるか否かを判断し、運転中であると判断された場合にも、所定の警告を行ったり、シースルー表示を禁止したりするようにすると良い。このときには、運転中であって危険を防止することが望ましい状態であるか、または、列車やバス等に乗車中であって特に警告等を行う必要はない状態であるか、をより精度良く判別するために、上記角速度センサ１４１，１４２の出力を用いたり、その他のセンサ等を設けてさらに検出精度を高めるようにすると良い。

そして、上記撮影中における前方物体との衝突等の危険を防止する技術は、頭部装着型カメラとして構成された画像システムに適用するに限るものではなく、シースルー表示機能を有する頭部装着型の表示装置として構成された画像システムに対しても適用可能であり、さらには、その他の一般的なカメラや表示装置に対しても広く適用することが可能である。

このような危険防止機能を設けることにより、画像システム１を、安全に使用することが可能となる。このような機能は、通常の行動をしながら簡単に撮影を行うことができる本実施例の画像システム１において、特に有効となっている。

次に、図４１〜図４４を参照して、視線方向検出の原理について説明する。

図４１は、照明光束の光軸Ｌｍと眼の視線方向の視軸Ｌｍ’とが一致しているときの、該光軸Ｌｍおよび視軸Ｌｍ’を含む面による眼の断面図である。この図４１において、点Ｏを中心とする大きな円弧は眼球２２１を、点Ｏ’を中心とする円弧は角膜２２２を、角膜２２２を示す円弧が眼球２２１を示す円弧と交差する点から伸びる線分は虹彩２２３を、それぞれ示している。

このような眼に対して、光軸をＬｍとする平行光束を照射すると、角膜２２２の曲率中心Ｏ’と角膜２２２の頂点Ｋとのほぼ中点の位置に、光点Ｐｉ（以下、「プルキンエ像」という。）を生ずる。

角膜２２２を照明する光束の光軸Ｌｍと、眼の視線方向を示す視軸Ｌｍ’と、が一致している場合には、図４１に示すように、虹彩２２３中の円形孔でなる瞳孔の中心と、プルキンエ像Ｐｉと、角膜２２２の曲率中心Ｏ’と、眼球２２１の回旋中心Ｏと、は上記光軸Ｌｍ上にある。そして、プルキンエ像Ｐｉは、上記瞳孔の中心位置に生じている。このときに、眼を正面から観察すると、プルキンエ像Ｐｉの反射率は大きいために明るい光像として観察され、これに対して、瞳孔や虹彩の反射率は大幅に小さいために暗く観察される。

図４２は、光軸Ｌｍに垂直に交差する線を横軸として、眼の像を上記視線方向／角速度検出部７により撮像したときのＣＣＤ１３４の出力信号を縦軸方向にプロットした図である。

図示のように、虹彩２２３の像ＩＲはその周囲の眼球２２１の像部分よりも暗く、瞳孔の像ＰＬは虹彩２２３の像ＩＲよりもさらに暗い。これらに対して、プルキンエ像Ｐｉは突出して明るい。従って、このような明るさの分布を検出することにより、プルキンエ像の虹彩（または瞳孔）の中心からの位置を求めることが可能となっている。

一方、図４３は、照明光束の光軸Ｌｍと眼の視線方向の視軸Ｌｍ’とが交差しているときの、該光軸Ｌｍおよび視軸Ｌｍ’を含む面による眼の断面図である。

眼球２２１が、回旋中心Ｏ周りに光軸Ｌｍに対して角度θだけ回旋すると、瞳孔の中心位置とプルキンエ像Ｐｉの位置との間に相対的なずれが生じる。今、角膜の曲率中心Ｏ’から瞳孔の中心ｉまでの距離をＬｘとすると、光軸Ｌｍの方向から見たときの瞳孔中心ｉとプルキンエ像ＰｉとのＣＣＤ１３４の撮像面上における距離ｄ（図４３においては実距離であるように図示しているが、より正確には距離ｄは撮像面上の距離であるものとする。）は、次の数式１４により表わされる。

［数１４］

ここにβ1 は、結像レンズ１３２の結像倍率である。

図４４は、光軸Ｌｍおよび視軸Ｌｍ’に交差し該光軸Ｌｍに垂直な線を横軸として、眼の像を上記視線方向／角速度検出部７により撮像したときのＣＣＤ１３４の出力信号を縦軸方向にプロットした図である。

図示のように、プルキンエ像Ｐｉは、虹彩（または瞳孔）の中心に対して、上記距離ｄだけずれた位置に検出される。

従って、上記眼の像を視線方向検出部の受光系により結像して撮像し、撮像された画像データに画像処理を行って、プルキンエ像Ｐｉの位置と虹彩（または瞳孔）の中心位置との距離ｄを求めることにより、視線方向θを求めることが可能となる。なお、上記図２０または図２２に示したような受光系を介してＣＣＤ１３４に結像される像は、上下左右に非対称な、歪んだ画像となるが、このような幾何特性をＥＥＰＲＯＭ１０２等に予め補正情報として記憶しておき、この補正情報に基づいて上記歪みを補正した後に、上記数式１４に基づいて視線方向を示す角度θを演算することになる。

次に、上記距離ｄを求めるための画像処理について詳細に説明する。

上述した原理においては、一次元の視線方向検出について述べたが、実際には二次元の視線方向を検出する必要がある。図４５は、２次元の撮像素子から得られる眼の像を示す図である。この図４５に示すように、瞳孔の中心をＯｐ、プルキンエ像をＰｉ、瞳孔中心Ｏｐを通る所定の中心線をＬｐ、この中心線Ｌｐと、該瞳孔中心Ｏｐとプルキンエ像Ｐｉとを結ぶ直線と、のなす角をγ、とそれぞれすると、瞳孔中心Ｏｐとプルキンエ像Ｐｉとの距離が上記数式１４における距離ｄに対応する。従って、この距離ｄに基づき観察者の眼への赤外光の投光方向（以下「基準視軸」と呼ぶ）を基準とする視線方向（傾き角）θを求めることができ、また、上記γが眼球の回転方向を表わしている。こうして、ＣＣＤ１３４に結像される２次元像における、瞳孔中心Ｏｐの位置と、プルキンエ像Ｐｉの位置と、を検出することができれば、上記θとγとで表される二次元の視線方向を求めることが可能となる。

次に、図５１は、このような瞳孔中心Ｏｐの位置とプルキンエ像Ｐｉの位置とを求める処理を示すフローチャートである。

この処理を開始すると、まず、視線方向／角速度検出部７のＣＣＤ１３４により光電変換して得られた観察者の眼の画像データを、画像記録／編集装置４の第１ＣＰＵ１６１内に設けられたＲＡＭ等に記憶する（ステップＳ５１）。そして、この画像データに基づいて、該第１ＣＰＵ１６１により、以下に示すような処理を行う。

なお、外光によるノイズ成分を除去するために、観察者の眼に赤外光を投光する前にまずＣＣＤ１３４の画像データを取り込んでおき、その後に、観察者の眼に赤外光を投光したときのＣＣＤ１３４の画像データを取り込んで、後者の画像データから前者の画像データを減算することにより、Ｓ／Ｎを改善した画像データを生成し、この画像データに基づいて、以下に示すような処理を行うようにしても良い。

また、上述では、ＣＣＤ１３４から得られた画像データを画像記録／編集装置４内の第１ＣＰＵ１６１へ転送するようにしているが、例えば、視線方向／角速度検出部７におけるＡ／Ｄ変換回路１３７の後段にバッファメモリ等を設けて、該画像データをこのバッファメモリに記憶し、例えば第２ＣＰＵ１２１により以下のような処理を行うようにしても構わない。このように構成すれば、視線検出に係る画像データを上記画像記録／編集装置４へ転送することなく直ちに処理することができるために、より短い時間で視線方向を検出することが可能となり、視線方向が変化したときの追従性が高まる。

次に、取得した画像データから、プルキンエ像を検出し、該プルキンエ像の位置（例えば、図４６に示すようなＸ座標およびＹ座標。ここに、図４６に示す例では、上記中心線Ｌｐの方向にＸ軸を、該中心線Ｌｐに垂直な方向にＹ軸を、それぞれとっている。）を求める（ステップＳ５２）。上述したようにプルキンエ像は、他の画像部分に比べて極めて明るいために、例えば所定の閾値ＴＨPiを設定して、この閾値ＴＨPiよりも明るい領域をプルキンエ像として判定する処理を採用することができる。もちろん、プルキンエ像を判定する処理はこれに限らず、その他の画像処理も採用することが可能である。また、プルキンエ像の位置は、上記閾値ＴＨPiよりも明るい領域の重心を採用しても良いし、あるいは、出力データのピーク位置を採用することも可能である。

続いて、プルキンエ像であると判定された画素の画素データを、該プルキンエ像の近傍の画素の画素データに基づいて、該プルキンエ像が発生しなかった場合の画素データに置き換える（ステップＳ５３）。具体的には、画素データの値を、プルキンエ像の位置を中心にして二次元方向に追跡し、画素データの変曲点を検出する。そして、この変曲点を結んでできる閉じた境界線の内部の像をプルキンエ像であるとして、このプルキンエ像の画像データの値を、その境界線の外側の近隣画像データと置き換える処理を行う。このときに、プルキンエ像に係る複数の近傍同士の間に画素データのレベルの傾きが存在する場合には、線形補間等を行うことによりレベルを補正して、プルキンエ像と置き換える画像データが、その近傍の画像データと滑らかなレベル変化で接続されるようにすると良い。

さらに、図４６に示すように、プルキンエ像Ｐｉを中心として所定の領域Ｓｄを設定する（ステップＳ５４）。図４６はプルキンエ像を中心として眼の像に設定される所定の領域を示す図である。なお、この図４６に示す例では、上記所定の領域Ｓｄを、一辺が上記Ｘ座標に平行となり他辺が上記Ｙ座標に平行となるような正方形としているが、これに限るものではなく、例えば円形の領域であっても構わない。なお、この所定の領域Ｓｄの大きさは、プルキンエ像Ｐｉが瞳孔中心Ｏｐから最大に変位した場合にも瞳孔全体の像が含まれるように、設定される。この設定は、領域Ｓｄが例えば図４６に示したような正方形をなすときには、図示のような一辺の半分の長さＬｄを指定することにより行われる。また、領域Ｓｄが円形であるときには、その半径を指定することにより行われる。

そして、正方形をなす上記領域Ｓｄに含まれる画素データの内の最小値Ｖmin を検出する（ステップＳ５５）。

次に、上記最小値Ｖmin に所定値αを加えた値Ｖmin ＋αを設定する。ただし、この値Ｖmin ＋αは、虹彩領域の画像データのレベルよりも低い値となるような範囲内で設定される。そして、この値Ｖmin ＋α以下の画素データを有する画素のＸ座標およびＹ座標を検出する（ステップＳ５６）。なお、ここで検出された画素の集合でなる領域をＳ’とする。

そして、このステップＳ５６により求めた領域Ｓ’の重心の位置を求めて、これを瞳孔中心の位置とする（ステップＳ５７）。ここでは、具体的には、領域Ｓ’に含まれる全ての画素について、Ｘ座標の平均値と、Ｙ座標の平均値と、を求めて、これを瞳孔中心の位置とすることになる。

なお、上述では、瞳孔中心の位置を求めるのに、瞳孔に該当する画素の重心を採用したが、これに限らず、瞳孔に該当する画素領域の、Ｘ座標の最大位置と最小位置との中点、およびＹ座標の最大位置と最小位置との中点、を求めて、これを瞳孔中心としても良い。瞳孔はほぼ円形をなしているために、眼球が回旋したときの画像は楕円形となる。従って、このような処理を行うことも可能となっている。

上述したような処理を行うことにより、プルキンエ像のＸ座標およびＹ座標と、瞳孔中心のＸ座標およびＹ座標と、を求めることができる。

なお、上記処理の説明における画素は、ＣＣＤ１３４の撮像面に構成されている実際の画素であっても良いし、隣接する複数の画素をひとまとめとして考えた仮想的な画素であっても構わない。例えば、複数の画素をひとまとめの画素とする場合には、処理時間を短縮することができる利点がある。

ところで、眼の各器官の大きさは、年齢毎に、性別毎に、あるいは人種毎に異なり、ひいては個人毎に異なるといえる。また、視線方向検出部を製作する際の個体差（機器毎の個体差）や、頭部装着部２の装着の仕方、などによっても、視線方向検出部の眼との相対的な位置関係が微妙に変化する。従って、上記数式１４に基づいた一律的なパラメータにより求めた視線方向は、全ての撮影者に対して正確であるとはいえない。

このような理由から、本実施例の画像システム１では、視線方向検出に係るキャリブレーションを、必要に応じて所望に行うことができるようになっている。これにより、使用者毎の最適化を行うことが可能である。

図５２は、視線方向検出に係るキャリブレーションの処理を示すフローチャートである。

例えば、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などを操作することによりキャリブレーションモードを選択すると、このキャリブレーション処理が開始される。

処理を開始すると、まず、上記図３６に示したようなキャリブレーション用の指標Ｐ１〜Ｐ５の内の何れを表示させるかを設定する（ステップＳ６１）。

そして、設定した指標を例えば点滅してシースルー表示する（ステップＳ６２）。この表示は、上述したように、視線方向検出部を含む視線方向／角速度検出部７が配設されている側の眼とは異なる側の眼により観察可能となっている。

例えば、まず指標Ｐ１を点滅させて、この指標Ｐ１を注視するように、観察者を促す。観察者は、指標Ｐ１を注視した状態となったら、所定のキー操作を行う。このキー操作入力を検出すると、上記ＣＣＤ１３４により画像データを取り込んで、上記数式１４に基づき、瞳孔中心ｉとプルキンエ像Ｐｉとの間の距離ｄを演算する（ステップＳ６３）。このときに、指標Ｐ１を注視することにより得られた距離ｄの値をｄ１とする。

そして、上記指標Ｐ１〜Ｐ５の全てについて上記ステップＳ６１〜Ｓ６３の処理が終了したか否かを判断する（ステップＳ６４）。

ここで、まだ、全ての指標Ｐ１〜Ｐ５について処理が終了していない場合には、上記ステップＳ６１へ行って、次の指標について、上述したような処理を行うことにより、全ての指標Ｐ１〜Ｐ５に各係る距離ｄ１〜ｄ５を算出する。

ここで、上記数式１４は理想的な場合にのみ成立する式であり、実際には、上述したような種々の誤差を考慮する必要がある。そこで、上記数式１４を修正して、
［数１５］

として、補正情報Δｄを加えることにする。

この数式１５において、角度θは、指標Ｐ１〜Ｐ５の表示位置により予め設定される値（指標Ｐ１〜Ｐ５に各対応して、それぞれ角度θ１〜θ５とする。）である。また、距離ｄは、視線方向検出部により実際に検出される値（上述した距離ｄ１〜ｄ５）である。さらに、Ｌｘは、個人毎に異なる値であるものとする。

この数式１５に、既知である上記角度θ１〜θ５と、上記ステップＳ６３において各求めた距離ｄ１〜ｄ５と、上述したような結像レンズ１３２の結像倍率β1 と、を代入することにより、ΔｄとＬｘとを未知数とする５つの数式（一次式）が求められる。２つの未知数Δｄ，Ｌｘを求めるためには、これらの未知数を含む２つの一次式を連立すれば良いために、可能な解の組として、5Ｃ2＝１０（組）の解が求められることになる。そして、これらの解の組に所定の統計演算を行うことにより、各個人毎のパラメータとして最も確からしいと考えられるΔｄおよびＬｘを求める（ステップＳ６５）。

その後、このようにして求めたΔｄおよびＬｘを、上記ＥＥＰＲＯＭ１０２に記憶してから（ステップＳ６６）、このキャリブレーションの処理を終了する。

なお、実際に視線方向を検出するに当たっては、上述したようなキャリブレーションによって求めたΔｄおよびＬｘと、実際に検出した瞳孔中心ｉとプルキンエ像Ｐｉとの距離ｄと、を上記数式１５に代入し、視線方向θを算出して求めることになる。

このようにして求めた視線方向のデータは、撮影時にリアルタイムで利用することができると共に、撮影後に例えば後述するような画像編集を行う際に利用することもできる。従って、動画データを記録するときには、後述するように、求めた視線方向を、検出されたタイム情報に関連付けて、動画データとともに記録するようになっている。

撮影時にリアルタイムで視線方向データを利用する例としては、撮像部３０の撮影光学系３１のピントを、視線方向の被写体に自動的に合わせることが挙げられる。この場合には、ＣＣＤ８７に結像される被写体像の中の、上記視線方向に対応する部分を中心とした所定範囲について焦点検出を行うようにすればよい。このときには、上記図４０を参照して説明したように、パララックスを考慮すると良い。

次に、記録媒体であるディスク２４９のファイル構成について説明する。

図５３はディスク２４９の論理構造を示す図である。

ディスク２４９に構成される物理セクタは、セクタアドレスにより昇順に配置されていて、セクタアドレスに含まれる識別情報に基づいて、図５３（Ａ）に示すように、リードイン領域ＬＩと、このリードイン領域ＬＩに続くボリューム領域ＶＳと、このボリューム領域ＶＳに続くリードアウト領域ＬＯと、に大別することができるようになっている。

上記リードイン領域ＬＩは、ディスク再生装置の読み出し開始時の動作安定用データ等が記録される領域である。

これに対してリードアウト領域ＬＯは、再生装置に再生終了を告知するために用いられる領域であり、それ以外の意味のあるデータは記録されていない。

また、上記ボリューム領域ＶＳは、アプリケーションを構成するデジタルデータが格納される領域であり、所属する物理セクタを論理セクタとして、管理が行われるようになっている。この論理セクタは、データ記録領域の先頭の物理セクタを０番として、連続する物理セクタに連番を付与した単位で識別される。図５３（Ｂ）は、ボリューム領域ＶＳに構成されている（ｎ＋１）個のセクタでなる論理セクタ群（ＬＳ＃０〜ＬＳ＃ｎ）を示している。

このボリューム領域ＶＳは、図５３（Ｃ）に示すように、さらに、ボリューム管理領域ＶＦＳとファイル領域ＦＤＳとに分割される。

上記ボリューム管理領域ＶＦＳは、複数の論理ブロックをファイルとして管理するためのファイルシステム管理情報が格納される領域である。ここに、ファイルシステム管理情報とは、複数のファイルのそれぞれのファイル名と、各ファイルが占めている論理ブロック群のアドレスと、の対応付けを明示した情報のことである。ディスク再生装置は、このファイルシステム管理情報を手掛かりとして、ファイル単位のディスクアクセスを実現するようになっている。すなわち、ファイル名が与えられると、全てのシステム管理情報を参照して、該ファイル名のファイルが占めている全ての論理ブロック群を算出し、これらの論理ブロック群にアクセスして、所望のデジタルデータ（つまり、該ファイル名のファイルに含まれるデジタルデータ）のみを取り出すようになっている。

図５３（Ｄ）は、ファイル領域ＦＤＳの構成を示したものである。ファイル領域ＦＤＳは、この図５３（Ｄ）に示すように、ビデオマネージャＶＭＧ（Video Manager）と、複数のビデオタイトルセットＶＴＳ（図示の例では、ｋ個のビデオタイトルセットＶＴＳ）と、が格納される領域である。このファイル領域ＦＤＳは、複数の連続ファイルを含んで構成されており、上述したファイルシステム管理情報に基づいて、記録されている場所が算出されるようになっている。

上記ビデオタイトルセットＶＴＳは、タイトルと称される１つ以上のアプリケーションをグループ化して格納することにより、共有する映像データを効率良く管理することができるようになっている。

上記ビデオマネージャＶＭＧ（Video Manager）は、複数のビデオタイトルセットＶＴＳに格納される全てのタイトルからユーザが再生すべきタイトルを選択するための、メニューに関する情報を格納する領域となっている。

次に、図５４は、ビデオタイトルセットＶＴＳのファイル構成を示す図である。

図５４（Ａ）に示すビデオタイトルセットＶＴＳは、より詳しくは図５４（Ｂ）に示すように、ビデオタイトルセット管理情報ＶＴＳI（Video Title Set Information）と、プレゼンテーションデータとしてＶＴＳＭ＿ＶＯＢＳ（Video Object Set for VTS Menu）と、複数のビデオオブジェクトＶＯＢ（ＶＯＢ＃１〜ＶＯＢ＃ｍ）と、を格納して構成されている。

上記ビデオタイトルセット管理情報ＶＴＳI（Video Title Set Information）は、複数のビデオオブジェクトＶＯＢの再生順序を管理するためのナビゲーションデータとして記録されるものである。

上記ＶＴＳＭ＿ＶＯＢＳ（Video Object Set for VTS Menu）は、タイトルに対するメニューのプレゼンテーションデータとして記録されるものである。

複数のビデオオブジェクトＶＯＢ（ＶＯＢ＃１〜ＶＯＢ＃ｍ）は、ＶＴＳタイトル用ビデオオブジェクトセットＶＴＳＴＴ＿ＶＯＢＳ（VOBS for Title）を構成するものである。各ビデオオブジェクトＶＯＢ（ＶＯＢ＃１〜ＶＯＢ＃ｍ）は、少なくとも１つの動画データを含み、さらに、音声データ、副映像データ、生体情報としてのデジタル化された頭部の角速度データ（または頭部の傾きを表わす情報）や視線方向データ、を含み得るように構成されている。なお、以下においては、動画データ、音声データ、副映像データを総称したものをビデオデータと呼ぶことにする。

そして、該ビデオオブジェクトＶＯＢは、上記ビデオデータと、生体情報と、これらの管理情報と、を含むマルチメディア化されたデータである。

各ビデオオブジェクトＶＯＢは、図５４（Ｃ）に示すように、１つまたは２つ以上のセルＣ＃１〜Ｃ＃ｑを含んで構成されている。

ビデオオブジェクトＶＯＢを構成する各セルＣは、さらに図５４（Ｄ）に示すように、１つまたは２つ以上のビデオオブジェクトユニットＶＯＢＵ（Video Object Unit）＃１〜ＶＯＢＵ＃ｒを含んで構成されている。このビデオオブジェクトユニットＶＯＢＵは、約０．５秒〜約１．０秒程度の再生データとなっている。

各ビデオオブジェクトユニットＶＯＢＵは、ビデオエンコードのリフレッシュ周期であるグループオブピクチャー（ＧＯＰ）の複数個と、それに相当する時間の音声および副映像と、を含んで構成されている。

すなわち、ビデオオブジェクトユニットＶＯＢＵは、図５４（Ｅ）に示すように、先頭にナビゲーションパックＮＶ（Navigation Pack）を含み、さらに、動画パックＶ１，Ｖ２と、音声パックＡ１，Ａ２と、副映像パックＳ１，Ｓ２と、を例えば含む、複数種別のパックデータにより構成されている。

上記パックデータは、それぞれ所定のデータサイズとして構成されており、これら種類別のパックデータをそれぞれ集めて再統合することにより、各々、動画データ、音声データ、副映像データを構成するデジタルデータ列が復元されるようになっている。

次に、図５５は、ビデオタイトルセット管理情報ＶＴＳＩの構成を示す図である。

ビデオタイトルセット管理情報ＶＴＳＩは、図５４（Ｂ）に示したように、ビデオタイトルＶＴＳの先頭に記録されている。

図５５（Ａ）に示すこのビデオタイトルセット管理情報ＶＴＳＩは、図５５（Ｂ）に示すように、主に、ＶＴＳＩ管理テーブルＶＴＳＩ＿ＭＡＴと、ＶＴＳプログラムチェーン（ＶＴＳＰＧＣ）情報管理テーブルＶＴＳ＿ＰＧＣＩＴと、を含んで構成されている。

そして、再生時に上記ビデオタイトルセット管理情報ＶＴＳＩを参照することにより、例えば、編集前の原画像データである「オリジナルビデオ」と、編集後の画像データである「編集済ビデオデータ」と、編集処理用のデータである生体情報としての「角速度データ」や「視線方向データ」等と、の一連のストリームデータを再生するようになっている。

上記ＶＴＳＩ管理テーブルＶＴＳＩ＿ＭＡＴは、ビデオタイトルセットＶＴＳの内部構成や、ビデオタイトルセットＶＴＳの格納場所等が記述されているテーブルである。

上記ＶＴＳＰＧＣ情報管理テーブルＶＴＳ＿ＰＧＣＩＴは、図５５（Ｃ）に示すように、動画データの再生順序を制御するプログラムチェーン（ＰＧＣ）を表すｋ個（ｋは２５５以下の自然数）のＰＧＣ情報（ＶＴＳ＿ＰＧＣＩ＃１〜ＶＴＳ＿ＰＧＣＩ＃ｋ）（動画再生プログラムチェーン情報）を記録したテーブルである。

各エントリーのプログラムチェーン（ＰＧＣ）情報ＶＴＳ＿ＰＧＣＩは、セルの再生順を記述した複数のセル再生情報Ｃ＿ＰＢＩ（Ｃ＿ＰＢＩ＃１〜＃ｎ）を記録したものである。例えば、プログラムチェーンＶＴＳ＿ＰＧＣＩ＃１には、編集前のビデオデータの再生順を制御する情報を記述することができ、プログラムチェーンＶＴＳ＿ＰＧＣＩ＃２には、編集後のビデオデータの再生順を制御する情報を記述することができる。

すなわち、ＰＧＣ情報（ＶＴＳ＿ＰＧＣＩ＃１〜ＶＴＳ＿ＰＧＣＩ＃ｋ）の各々は、図５５（Ｄ）に示すようにプログラムチェーン一般情報（ＰＧＣ＿ＧＩ）を含み、さらに、、プログラムチェーンコマンドテーブル（ＰＧＣ＿ＣＭＤＴ）と、プログラムチェーンプログラムマップ（ＰＧＣ＿ＰＧＭＡＰ）と、セル再生情報テーブル（Ｃ＿ＰＢＩＴ）と、セル位置情報テーブル（Ｃ＿ＰＯＳＩＴ）と、を含んで構成されている。

上記プログラムチェーン一般情報ＰＧＣ＿ＧＩは、より詳しくは、プログラムチェーンの内容（ＰＧＣ＿ＣＮＴ）と、プログラムチェーンの再生時間（ＰＧＣ＿ＰＢ＿ＴＭ（PGC Playback Time））と、プログラムチェーンのナビゲーション制御情報（ＰＧＣ＿ＮＶ＿ＣＴＬ）と、等が記録されている。

ここに、プログラムチェーンの内容ＰＧＣ＿ＣＮＴは、そのプログラムチェーン内のプログラム数およびセル数（最大２５５）を示している。例えば、ビデオオブジェクトＶＯＢなしのプログラムチェーンでは、プログラム数は「０」となる。

また、プログラムチェーンの再生時間ＰＧＣ＿ＰＢ＿ＴＭは、そのプログラムチェーン内のプログラムの合計再生時間をタイムコード（時間、分、秒、およびビデオのフレーム数）で示したものである。このプログラムチェーンの再生時間ＰＧＣ＿ＰＢ＿ＴＭには、ビデオフレームのタイプを示すフラグ（ｔｃ＿ｆｌａｇ）も記述されており、このフラグの内容によって、フレームレート（毎秒２５フレームあるいは毎秒３０フレーム）等が指定されるようになっている。

さらに、上記プログラムチェーンのナビゲーション制御情報ＰＧＣ＿ＮＶ＿ＣＴＬは、現在再生中のプログラムチェーンの次に再生すべきプログラムチェーン番号を示すＮｅｘｔ＿ＰＧＣＮと、ナビゲーションコマンドによって引用されるプログラムチェーン番号（ＰＧＣＮ）を示すＰｒｅｖｉｏｕｓ＿ＰＧＣＮと、そのプログラムチェーンからリターンすべきプログラムチェーン番号を示すＧｏＵｐ＿ＰＧＣＮと、シーケンシャル再生、ランダム再生、シャッフル再生等のプログラムの再生モードを示す「ＰＧ Ｐｌａｙｂａｃｋ ｍｏｄｅ」と、そのプログラムチェーンの再生後のスチル時間を示す「Ｓｔｉｌｌ ｔｉｍｅ ｖａｌｕｅ」と、を含んで構成されたものである。

エントリーされたＰＧＣ情報Ｃ＿ＰＢＩ＃ｊの各々は、セル再生処理情報と、セル情報テーブルと、を含んで構成されている。

ここに、上記セル再生処理情報は、再生時間と、繰り返し回数などのセルの再生に必要な処理情報と、を含んで構成されている。

すなわち、ＰＧＣ情報Ｃ＿ＰＢＩ＃ｊの各々は、図５５（Ｅ）に示すように、セルブロックモードＣＢＭ（cell block mode）と、セルブロックタイプＣＢＴ（cell block type）と、シームレス再生フラグＳＰＦ（seamless playback flag）と、インターリーブブロック配置フラグＩＡＦ（interleaved allocation flag）と、ＳＴＣ再設定フラグＳＴＣＤＦ（STC resetting flag）と、セル再生時間Ｃ＿ＰＢＴＭ（Cell Playback Time）と、シームレスアングル切替フラグＳＡＣＦ（seamless angle change flag）と、セル先頭ＶＯＢＵ開始アドレスＣ＿ＦＶＯＢＵ＿ＳＡと、セル終端ＶＯＢＵ開始アドレスＣ＿ＬＶＯＢＵ＿ＳＡと、を有して構成されている。

上記セルブロックモードＣＢＭは、複数のセルが１つの機能ブロックを構成しているか否かを示すものである。機能ブロックを構成する各セルのセル再生情報は、連続的にＰＧＣ情報内に配置されていて、その先頭に配置されるセル再生情報のＣＢＭには「ブロックの先頭セル」を示す値が、その最後に配置されるセル再生情報のＣＢＭには「ブロックの最後のセル」を示す値が、そしてこれらの間に配置されるセル再生情報のＣＢＭには「ブロック内のセル」を示す値が、それぞれ記録されている。セルブロックタイプＣＢＴは、セルブロックモードＣＢＭで示されるブロックの種類を示すものとなっている。

上記シームレス再生フラグＳＰＦは、映像、音声、副映像等のマルチメディアデータを、各データおよび情報を中断することなく再生するためのフラグである。すなわち、シームレス再生フラグＳＰＦは、該セルが、前に再生されるセルまたはセルブロックと、シームレスに接続して再生するか否かを示すフラグとなっている。ここで、対象となるセルを、前セルまたは前セルブロックとシームレスに接続して再生する場合には、該セルのセル再生情報のＳＰＦにはフラグ値１が設定される。一方、シームレスに接続して再生しない場合には、フラグ値０が設定される。

上記インターリーブブロック配置フラグＩＡＦは、該セルがインターリーブ領域に配置されているか否かを示すフラグである。このインターリーブブロック配置フラグＩＡＦは、該セルがインターリーブ領域に配置されている場合にはフラグ値１を設定し、そうでない場合にはフラグ値０を設定するようになっている。

上記ＳＴＣ再設定フラグＳＴＣＤＦは、同期をとる際に使用するＳＴＣ部２４８（図１１参照）をセルの再生時に再設定する必要があるか否かを示す情報である。このＳＴＣ再設定フラグＳＴＣＤＦは、再設定が必要な場合にはフラグ値１を設定し、そうでない場合にはフラグ値０を設定するようになっている。

上記セル再生時間Ｃ＿ＰＢＴＭは、セルの再生時間をタイムコードで表記したものである。

上記セル先頭ＶＯＢＵ開始アドレスＣ＿ＦＶＯＢＵ＿ＳＡは、文字通り、セル先頭ＶＯＢＵ開始アドレスを示したものであり、ＶＴＳタイトル用ビデオオブジェクトセットＶＴＳＴＴ＿ＶＯＢＳの先頭セルの論理セクタからの距離をセクタ数で示している。

上記セル終端ＶＯＢＵ開始アドレスＣ＿ＬＶＯＢＵ＿ＳＡは、文字通り、セル終端ＶＯＢＵ開始アドレスを示したものであり、その値は、ＶＴＳタイトル用ビデオオブジェクトセットＶＴＳＴＴ＿ＶＯＢＳの先頭セルの論理セクタからの距離をセクタ数で示している。

次に、図５６は、動画パックのデータ構造を示す図である。

動画パック（Ｖ）は、図５６に示すように、ＭＰＥＧ（Moving Picture Coding Experts Group）に規定されたパックヘッダＰＫＨと、パケットヘッダＰＴＨと、ビデオデータフィールドと、を含むデータ構造となっていて、１パック当たり２Ｋバイト（byte）のデータサイズとなっている。

上記パックヘッダＰＫＨは、パックスタートコード、システムクロックリファレンスＳＣＲ（System Clock Reference）、マルチプレクス（ＭＵＸ：Multiplex）レートといったＭＰＥＧ準拠のデータが記述されている。

また、上記パケットヘッダＰＴＨは、ストリームＩＤ、パケット長、ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）等のＭＰＥＧ準拠のデータが記述されている。

上記パケットヘッダＰＴＨ内のストリームＩＤには、このパックが形成するエレメンタリストリームが動画ストリームであることを示すコードが設定されている。動画パックのシステムクロックリファレンスＳＣＲおよびＰＴＳは、音声パックの復号処理との同期調整、および副映像パックの復号処理との同期調整に用いられるものである。具体的には、ディスク再生装置側のビデオデコーダは、システムクロックリファレンスＳＣＲに基づいて基準クロックの時間合わせを行い、データフィールド内の動画データを復号して、ＰＴＳに記載されている時間が、基準クロックにより計時されるのを待機する。そして、基準クロックが当該時間を計時したところで、その復号結果をディスプレイ側へ出力する。このようなＰＴＳの記載内容に基づく出力待ちにより、ビデオデコーダは、副映像出力との同期誤差、および音声出力との同期誤差を解消することができるようになっている。

図５７は、音声パックのデータ構造を示す図である。

この音声パックＡ１〜Ａ３のデータ構造は、上述した動画パックのデータ構造と、基本的には同様となっている。この音声パックＡ１〜Ａ３のデータ構造が上記動画パックのデータ構造と異なっている点は、パケットヘッダＰＴＨ内のストリームＩＤが音声パックであることを示す値に設定されている点と、データフィールドの先頭８ビットにサブストリームＩＤが設けられている点と、の２点である。

図５８は、副映像パックのデータ構造を示す図である。

この副映像パックのデータ構造は、上述した音声パックのデータ構造と、基本的には同様である。

図５９は、角速度パックのデータ構造を示す図である。

この図５９に示す角速度パック（Ｖ）のデータ構造は、上述した動画パックのデータ構造と、基本的には同様である。しかし、この角速度パックのデータは、動画データを編集するためのデータとして使用するのみであるために、ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）等のＭＰＥＧ準拠のデータとしては適当な値を設定すれば良い。

図６０は、視線方向パック（Ｖ）のデータ構造を示す図である。

この図６０に示す視線方向パックのデータ構造は、上述した角速度パックのデータ構造と、基本的には同様である。

図６１は、ナビゲーションパックＮＶの構造を示す図である。

図６１（Ａ）に示すナビゲーションパックＮＶは、上記図５４（Ｅ）に示したように、ビデオオブジェクトユニットＶＯＢＵの先頭に必ず１つ配置されており、ビデオオブジェクトユニットＶＯＢＵの再生が行われる間、有効な管理情報が格納される。上述したような、動画パック、音声パック、副映像パック、生体情報パックとしての角速度パック、生体情報パックとしての視線方向パック、がそれぞれ１パケットで構成されるのに対して、このナビゲーションパックＮＶは２パケットで構成される点が異なっている。ナビゲーションパックＮＶを構成する２パケットの内の、１つをＰＣＩパケット（Presentation Control Information Packet）、他の１つをＤＳＩパケット（Data Search Information）と称する。すなわち、ナビゲーションパックＮＶのデータ構造は、動画パックや音声パック等とは異なり、図６１（Ｂ）に示すように、パックヘッダ（ＰＫＨ）、システムヘッダ（ＳＹＳＨ）、ＰＣＩパケットのパケットヘッダ（ＰＴＨ）、ＰＣＩパケットのデータフィールド、ＤＳＩパケットのパケットヘッダ（ＰＴＨ）、ＤＳＩパケットのデータフィールド、を有して構成されている。

上記システムヘッダ（ＳＹＳＨ）には、このナビゲーションパックＮＶを先頭に持つビデオオブジェクトユニットＶＯＢＵ全体に必要とされる転送レートや、動画ストリーム、音声ストリーム、副映像ストリーム毎に必要とされる転送レートや、バッファサイズ管理情報が、ＭＰＥＧに準拠して格納されている。

また、ナビゲーションパックＮＶの２個のパケットヘッダのストリームＩＤには、ナビゲーションパックであることを示す識別コードが設定されている。

上記ＤＳＩパケットは、早送り再生や巻き戻し再生等の飛び先情報などを含む情報で構成されている。

上記ＰＣＩパケットは、図６１（Ｃ）に示すように、所属するビデオオブジェクトユニットＶＯＢＵの再生開始時間ＶＯＢＵ＿Ｓ＿ＰＴＭ（Presentation Start Time of VOBU）や終了時間ＶＯＢＵ＿Ｅ＿ＰＴＭ（Presentation End Time of VOBU）、セル経過時間Ｃ＿ＥＬＴＭ（Cell Elapse Time）等を示すＰＣＩ一般情報、ユーザからの指示を受け付けるためのメニューにおけるメニュー項目のための制御情報である「ハイライト情報」、などを含んで構成されている。

上記ビデオオブジェクトユニットＶＯＢＵの再生開始時間ＶＯＢＵ＿Ｓ＿ＰＴＭは、ＰＣＩ情報が含まれるビデオオブジェクトユニットＶＯＢＵの再生開始時間をタイムスタンプで表記したものである。

上記ビデオオブジェクトユニットＶＯＢＵの再生終了時間ＶＯＢＵ＿Ｅ＿ＰＴＭは、ＰＣＩ情報が含まれるビデオオブジェクトユニットＶＯＢＵ内の再生終了時間をタイムスタンプで表記したものである。

上記セル経過時間Ｃ＿ＥＬＴＭは、セルの最初のビデオフレームから、ビデオオブジェクトユニットＶＯＢＵの最初のビデオフレームまでの相対的な再生時間を、タイムコード（ＢＣＤ（Binary Coded Decimal）形式の時間、分、秒、およびフレーム）で記述したものである。

ナビゲーションパックＮＶのパケットヘッダのストリームＩＤには、プライベートストリームであることを示す識別コードが設定されている。

なお、上述したように、この画像記録／編集装置４に適用されるディスク２４９の再生時間に関連する情報として、プログラムチェーンＰＧＣ内のプログラムの合計再生時間をタイムコードで示したＰＧＣ＿ＰＢ＿ＴＭ、セルの再生時間をタイムコードで表記したセル再生時間Ｃ＿ＰＢＴＭ、タイムスタンプで表記されたビデオオブジェクトユニットＶＯＢＵの再生開始時間ＶＯＢＵ＿Ｓ＿ＰＴＭや終了時間ＶＯＢＵ＿Ｅ＿ＰＴＭ、およびセル経過時間Ｃ＿ＥＬＴＭがある。

次に、ディスク２４９へのデータの記録動作について説明する。

まず、第１ＣＰＵ１６１が第１操作スイッチ１６２から録画命令を受けると、ディスクドライブ部４ｄを介して管理データを読み込み、ディスク２４９上における書き込む領域を決定する。

次に、決定された領域に対して、データを書き込めるように管理領域に管理用のデータを設定し、動画、音声、角速度、視線方向等のデータの書き込みスタートアドレスをディスクドライブ部４ｄに設定して、上記データを記録する準備を行う。

続いて、第１ＣＰＵ１６１は、ＳＴＣ部２４８に時間のリセットを行わせる。ここに、ＳＴＣ部２４８は、システムのタイマとなっており、該ＳＴＣ部２４８で計測されている値を基準にして、録画や再生を行うようになっている。

第１ＣＰＵ１６１は、さらにその他の各種設定についても行う。

頭部装着部２により撮像が行われて、該頭部装着部２の送受信部１７２のモデムから動画像が送信されると、画像記録／編集装置４では、通信部４ａの送受信回路１６３により受信を行う。そして、該送受信回路１６３は、受信データから所定のタイミングで１スロット分のデータを取り出し、この１スロット分のデータの中から同期信号を抽出して、フレーム同期信号を生成する。さらに、該送受信回路１６３は、スクランブル等を解除した後に、再び動画データ、音声データ、視線方向データ、角速度データに分離する。

上記通信制御回路１５１は、分離された各データの内の、動画データをＤＳＰ回路１５２を介して画像圧縮回路１５３へ、音声データを音声圧縮回路１５４へ、角速度データを角速度圧縮回路１５５へ、視線方向データを視線方向圧縮回路１５６へ、それぞれ出力する。

フォーマッタ１５８は、上記各圧縮回路で圧縮された信号を２Ｋバイト（byte）単位でパケット化し、フォーマッタ１５８へ出力する。ここに、フォーマッタ１５８は、ＳＴＣ部２４８の値に従って、各パケットのＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）を必要に応じて決定する。

さらに、フォーマッタ１５８は、パケットデータをバッファメモリ１５９へ一時的に保存して、その後に、入力された各パケットデータをパック化し、グループオブピクチャーＧＯＰ毎に、頭にナビゲーションパックＮＶを追加して、記録再生用データプロセッサ２３１へ出力する。

上記記録再生用データプロセッサ２３１は、所定数のパック毎にまとめてディスクドライブ部４ｄへ出力する。ただし、ディスクドライブ部４ｄがディスク２４９への記録準備ができていない場合には、記録しようとするデータを、一時的に、記録再生用バッファメモリ２３２へ転送して、データを記録する準備ができるまで待機する。そして、ディスクドライブ部４ｄがディスク２４９への記録準備ができた段階で、該記録再生用バッファメモリ２３２からデータを読み出して記録を開始する。

次に、図６２は、ビデオデータの編集処理を示すフローチャートである。

例えば、第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５など（図８参照）を操作することにより編集モードが選択されると、この編集処理が開始されるようになっている。

第１ＣＰＵ１６１は、編集命令を受けると、ディスクドライブ部４ｄを介して生体情報（角速度データ、または視線方向データ）に関する管理領域のデータを、記録再生用データプロセッサ２３１を介して読み込み、再生するアドレスを決定する（ステップＳ７１）。

次に、第１ＣＰＵ１６１は、ステップＳ７１で決定した再生するデータのアドレスと、リード命令とを、ディスクドライブ部４ｄへ転送する。

すると、ディスクドライブ部４ｄは、受信したアドレスとリード命令とに基づいて、ディスク２４９からセクタデータを読み出し、記録再生用データプロセッサ２３１によりエラー訂正を行った後の角速度データおよび視線方向データを、生体情報バッファメモリ２４４に記憶させる。

こうして生体情報バッファメモリ２４４に記憶された角速度データおよび視線方向データは、第１ＣＰＵ１６１の制御に基づいて、解析が行われる（ステップＳ７２）。なお、以下では、角速度データおよび視線方向データの解析を、「生体情報の解析」と呼ぶことにする。

この生体情報の解析について、図６４を参照して詳細に説明する。図６４は、生体情報の解析処理を示すフローチャートである。

この生体情報の解析処理を開始すると、所定のビデオデータに対応する視線方向データを読み出す（ステップＳ８１）。

そして、読み出した視線方向データに基づいて、注視時間が所定時間ｔ１以上であるか否かを判断する（ステップＳ８２）。ここで注視しているか否かは、視線方向を表わすベクトルの大きさの変化が所定量以内であれば、一定の方向を注視しているものとする。

ここで注視時間が所定以上であると判断された場合には、この時間区間のビデオデータにズームアップ処理を行うための編集データを記録する（ステップＳ８３）。

ここに、図６３は、編集データの記録形式を示す図である。

この編集データは、先頭にシリアル番号Ｎｏが記録され、その後に、編集開始時間ＥＤＴ＿ＳＴＭ（Edit Start Time）と、編集終了時間ＥＤＴ＿ＥＴＭ（Edit End Time）と、編集内容データＥＤＴ＿ＤＡＴと、が順に記録される。

上記シリアル番号Ｎｏは、編集処理の必要な時間区間毎にシリアルに付与される番号である。

上記編集開始時間ＥＤＴ＿ＳＴＭ（Edit Start Time）は、ビデオデータの撮影開始から編集区間の最初のビデオデータを撮影するまでの相対的な時間経過を示すものである。

なお、この編集を行うための編集開始時間ＥＤＴ＿ＳＴＭは、次のようにして求める。上述したように、生体情報に関するプログラムチェーンＰＧＣ内のプログラムの合計再生時間として、タイムコードで表記されたＰＧＣ＿ＰＢ＿ＴＭ（この時間は、ビデオデータに関するＰＧＣ＿ＰＢ＿ＴＭと等しい。）がある。生体情報バッファメモリ２４４に記録された生体情報のデータ量は、記録開始からの時間経過に比例するものとすると、生体情報（角速度データ、または視線方向データ）の全体のデータ量と、生体情報の検出開始時刻に対応するデータ初期位置から編集開始位置までのデータ量と、の関係に基づき、上記ＰＧＣ＿ＰＢ＿ＴＭを比例配分して、ビデオデータの記録開始から編集開始位置までの相対的な時間経過である編集開始時間ＥＤＴ＿ＳＴＭを求めることができる。

さらに、上記編集終了時間ＥＤＴ＿ＥＴＭ（Edit End Time）は、ビデオデータの撮影開始から編集区間の最後のビデオデータを撮影するまでの相対的な時間経過を示すものである。この編集終了時間ＥＤＴ＿ＥＴＭは、上記編集開始時間ＥＤＴ＿ＳＴＭと同様にして求められる。

そして、上記編集内容データＥＤＴ＿ＤＡＴは、ズームアップ、カッティング、スムージングなどの編集処理の内容を示すデータである。上記ステップＳ８３はズームアップ処理であるために、ズームアップ処理に固有のデータが編集内容データＥＤＴ＿ＤＡＴとして記録される。

図６４の説明に再び戻って、上記ステップＳ８３におけるズームアップ処理の編集データ記録が終了するか、または、上記ステップＳ８２において注視時間がｔ１以下であると判断されたときには、上記２方向（すなわち、ヨー方向とピッチ方向）の角速度データを読み出す（ステップＳ８４）。

そして、読み出した角速度データに基づいて、所定の編集処理を実行することになるが、図６４のフローチャートに沿って説明を進める前に、この編集処理の基本的な考え方について、図６８〜図７０を参照して説明する。図６８は角速度の時間変化を示す線図、図６９は角速度の絶対値の時間変化を示す線図、図７０は角速度の時間積分値の変化の様子を示す線図である。なお、これら図６８〜図７０は、横軸にプロットした時間が、同一位置において同一時間を示すように図示している。また、図７０に示す角速度の時間積分（ΣωΔｔ）は、振幅に該当している。

編集処理の基本的な考え方は、次のようになっている。まず、ごく短い時間ｔ２以下の角速度ωの変化は、ノイズであるとして無視する。次に、所定時間ｔ３（ここにｔ３は、上記ｔ２よりも長い時間である。）を閾値として、持続時間ｔがこのｔ３に満たないときは短い周期の振動（つまり、ぶれ）であると判断し、ｔ３以上のときはぶれでない方向の変化であると判断する。そして、ぶれであると判断されたときは、可能であればぶれ補正を行い、不可能であればカッティング処理を行う。同様に、ぶれでない方向の変化であると判断されたときは、可能であればスムージング処理（急激に画像が流れるのを補正して、滑らかな変化にする編集処理であり、記録時間の引き延ばしとなっている。）を行い、不可能であればカッティング処理を行う。

このような考え方に基づいて、図６８〜図７０に示したような区間Ａ，Ｂ，Ｃの３つのケースについて、具体的に説明する。

区間Ａは、図６９に示すように、持続時間ｔが所定時間ｔ３以上であって、ぶれでない方向の変化と考えられ、かつ、角速度の絶対値｜ω｜が、スムージング処理を行うことが可能な程度の大きさであるために、該スムージング処理の編集データの記録を行う。

区間Ｂは、持続時間ｔが所定時間ｔ３よりも小さく、ぶれであると考えられ、かつ、角速度の絶対値｜ω｜が、ぶれ補正を行うことが可能な程度の大きさであるために、ぶれ補正処理の編集データの記録を行う。

区間Ｃは、持続時間ｔが所定時間ｔ３よりも小さく、ぶれであると考えられるが、角速度の絶対値｜ω｜が、ぶれ補正を行うのに適さない程大きいために、この区間の画像をカッティング処理するための編集データの記録を行う。

上記スムージング処理、カッティング処理、ぶれ補正処理のための各編集データＥＤＩＴ＿ＤＡＴは、上記ズームアップ処理の編集データと基本的に同様であるが、該編集データＥＤＩＴ＿ＤＡＴは、それぞれの編集処理に対応したデータとなっている。

また、図示はしないが、持続時間ｔが所定時間ｔ３以上であって、ぶれでない方向の変化と考えられるが、角速度の絶対値｜ω｜が、スムージング処理を行うのに適さない程大きい場合にも、該区間の画像をカッティングするように編集データを記録する。

さらに、区間Ａの前の時間区間や、区間Ａと区間Ｂとの間の区間などは、角速度の絶対値｜ω｜が、ぶれ補正を不要とする程小さく、かつスムージング処理を不要とする程小さいために、特に編集処理の対象とはならない。

なお、上述したような考え方に基づいてカッティングを行うと、例えば、図７１に示すような孤立した画像が残る可能性がある。図７１は、カッティングを行った後に孤立した画像が残っている様子を示す図であり、時間軸に沿って画像が存在するか否かを２値で示している。この図７１に示す例では、区間Ｃ１、区間Ｃ２、区間Ｃ３の３つの区間がカッティングされているが、区間Ｃ２における画像ＳＬ１、区間Ｃ３における画像ＳＬ２，ＳＬ３が、それぞれ孤立した画像として残っている。このような画像については、後述するように、除去するカッティング処理を行うような編集データを記録する。

再び図６４の説明に戻って、上述したような基本的な考え方に基づくステップＳ８５以降の処理について説明する。

２軸方向の角速度の内の、少なくとも一方の角速度ωの変化の持続時間ｔが、ｔ２＜ｔ＜ｔ３を満たすか否かを判断し、この条件を満たすときは、さらに角速度の絶対値｜ω｜が、ω１＜｜ω｜＜ω２（ω１はぶれ補正が必要な角速度の下限値、ω２はぶれ補正が可能な角速度の上限値）を満たすか否かを判断する（ステップＳ８５）。

ここで、ステップＳ８５の条件が満たされている場合には、公知の画像処理によりぶれ補正処理を行うような編集データを記録する。（ステップＳ８６）。このときの記録形式は、上記ステップＳ８３で説明したものと同様である。

また、上記ステップＳ８５の条件が満たされない場合には、上記角速度ωの変化の持続時間ｔが、ｔ３≦ｔを満たすか否かを判断し、この条件を満たすときは、さらに角速度の絶対値｜ω｜が、ω３＜｜ω｜＜ω４（ω３はスムージングが必要な角速度の下限値、ω４はスムージングが可能な角速度の上限値）を満たすか否かを判断する（ステップＳ８７）。

ここで、ステップＳ８７の条件が満たされている場合には、上述したようなスムージング処理を行うような編集データを記録する（ステップＳ８８）。このときの記録形式は、上記ステップＳ８３で説明したものと同様である。

一方、上記ステップＳ８７の条件が満たされない場合には、角速度ωの変化の持続時間ｔがｔ２＜ｔ＜ｔ３を満たし、かつ角速度の絶対値｜ω｜がω２≦｜ω｜を満たすケースと、角速度ωの変化の持続時間ｔがｔ３≦ｔを満たし、かつ角速度の絶対値｜ω｜がω４≦｜ω｜を満たすケースと、の何れか一方に該当するか否かを判断する（ステップＳ８９）。

ここで、ステップＳ８９の条件が満たされている場合には、該区間をカッティング処理するような編集データを記録する（ステップＳ９０）。このときの記録形式は、上記ステップＳ８３で説明したものと同様である。

また、上記ステップＳ８９の条件が満たされていない場合は、次のような３つのケースが考えられる。

第１のケースは、持続時間ｔがぶれ（ｔ２＜ｔ＜ｔ３）に相当するが、角速度の絶対値｜ω｜が下限値ω１以下のときである。このときには、補正が必要なぶれであるとは見なされず、そのまま無編集となる。

第２のケースは、持続時間ｔがぶれでない方向の変化（ｔ３≦ｔ）に相当するが、角速度の絶対値｜ω｜が下限値ω３以下の時である。このときには、方向の変化が十分に緩やかであってスムージングが不要であると見なされ、そのまま無編集となる。

第３のケースは、角速度ωの変化の持続時間ｔがｔ２以下（つまり、ｔ≦ｔ２）であって、ノイズに相当する場合である。このノイズは、通常の区間に存在する場合と、カッティング処理された区間に存在する場合（つまり、上記図７１に示したような孤立点として残る場合）と、があり得るが、これらの内の孤立点については、次に説明するような処理が行われる。

すなわち、上記ステップＳ８６、ステップＳ８８、ステップＳ９０の何れかの処理が終了するか、または上記ステップＳ８９の条件が満たされない場合には、次に、孤立点の除去（カッティング）をするような編集データを記録する（ステップＳ９１）。

このステップＳ９１の処理を終えた後は、上記ステップＳ６２に示したような処理へリターンする。

なお、この図６４に示したような生体情報の解析例においては、生体情報としての視線方向情報の注視時間に基づきズームアップの編集データを記録したり、あるいは生体情報としての角速度情報の大きさや持続時間に基づき、カッティング、スムージング、ぶれ補正などを行うようにしているが、生体情報の解析は、このような例に限られるものではない。例えば、角速度データの時間的な変動パターンに基づいて、撮影者が歩行中であるか否かを判断し、歩行中であると判断されたときには、通常よりも広角側にズーミング処理を行うようにすることが考えられる。また、これとは逆に、歩行中であると判断されたときには、画像の変動を抑制するように画像の一部を切り出して、切り出した画像を望遠側にズーミング（拡大）するようにしても良い。このような処理を行うことにより、画像の変動を少なくして、視覚的に違和感のない動画像を再生することが可能となる。

図６２に戻って、ステップＳ７２の処理が終了したら、次に、このステップＳ７２で記録された編集データ（図６３参照）を順に読み出す。そして、読み出した編集データの内の、編集開始時間ＥＤＴ＿ＳＴＭと編集終了時間ＥＤＴ＿ＥＴＭとに基づき、ディスク２４９から編集区間のビデオデータを読み出す（ステップＳ７３）。

そして、対象となる時間区間のビデオデータに対して所定の編集処理を実行する（ステップＳ７４）。

ここで、このような処理の流れについて説明する。

本実施例においては、上記編集開始時間ＥＤＴ＿ＳＴＭ（Edit Start Time）と編集終了時間ＥＤＴ＿ＥＴＭ（Edit End Time）とにより特定される所定時間区間のビデオデータに対して、カッティング、スムージング、ズーミングなどの画像処理を施す。このために、ビデオデータに対して編集を施すべき時間区間を、次のようにして求めるようになっている。

すなわち、第１ＣＰＵ１６１は、まず、プログラムチェーンのセル（セルナンバー：ｋ）の再生時間Ｃ＿ＰＢＴＭを順次加算して、再生開始からの経過時間ＰＢ＿ＥＬＴＭ（Playback Elapse Tim）（セルナンバーｋに対応して、ＰＢ＿ＥＬＴＭ（ｋ））を求める毎に、上記編集開始時間ＥＤＴ＿ＳＴＭ、または編集終了時間ＥＤＴ＿ＥＴＭと比較して行き、丁度ＰＢ＿ＥＬＴＭ（ｎ）＞ＥＤＴ＿ＳＴＭ（またはＥＤＴ＿ＥＴＭ）となる直前のセル（セルナンバー：ｎ−１）までの経過時間ＰＢ＿ＥＬＴＭ（ｎ−１）を求める。

次に、上記経過時間ＰＢ＿ＥＬＴＭ（ｎ−１）に、セルナンバーがｎ−１のセル内のビデオオブジェクトユニットＶＯＢＵ（セル内のユニットナンバー：ｍ）のナビゲーションパック内のセル経過時間Ｃ＿ＥＬＴＭであるＣ＿ＥＬＴＭ（ｍ）を加算して、再生開始からセルナンバーが（ｎ−１）のセル内のビデオオブジェクトユニットＶＯＢＵ（セル内のユニットナンバー：ｍ）の最初のビデオフレームまでの相対的な経過時間（ＰＢ＿ＥＬＴＭ（ｎ−１）（ｍ））を求める。

そして、上記経過時間ＰＢ＿ＥＬＴＭ（ｎ−１）（ｍ）を演算する毎に、上記編集開始時間ＥＤＴ＿ＳＴＭ、または編集終了時間ＥＤＴ＿ＥＴＭと比較して行き、丁度ＰＢ＿ＥＬＴＭ（ｎ−１）（ｍ）＞ＥＤＴ＿ＳＴＭ（またはＥＤＴ＿ＥＴＭ）となる直前のビデオオブジェクトユニットＶＯＢＵ（ユニットナンバー：ｍ−１）の最初のビデオフレームまでの経過時間ＰＢ＿ＥＬＴＭ（ｎ−１）（ｍ−１）を求める。これにより、ビデオオブジェクトユニットＶＯＢＵの経過時間単位（約０．５秒）の精度で、生体情報に基づく編集処理を行うべきビデオデータの属するビデオオブジェクトユニットＶＯＢＵ（ユニットナンバー：ｍ）を特定することが可能になる。

さらに、ビデオオブジェクトユニットＶＯＢＵ内の正確な位置を特定するためには、ビデオオブジェクトユニットＶＯＢＵの再生時間である再生開始時間ＶＯＢＵ＿Ｓ＿ＰＴＭと終了時間ＶＯＢＵ＿Ｅ＿ＰＴＭとの差と、ビデオデータの撮影開始から編集区間の最初のビデオデータを撮影するまでの相対的な時間経過である上記編集開始時間ＥＤＴ＿ＳＴＭ（または編集終了時間ＥＤＴ＿ＥＴＭ））と経過時間ＰＢ＿ＥＬＴＭ（ｎ−１）（ｍ−１）との差と、に基づき、比例配分によりビデオオブジェクトユニットＶＯＢＵ内のフレームを特定することが可能となる。

同様にして、ビデオデータの撮影開始から編集区間の最後のビデオデータを撮影するまでの相対的な時間経過である上記編集終了時間ＥＤＴ＿ＥＴＭを求めることができる。

図７２は、編集開始時間と編集終了位置とが２つのセルにまたがっているときの一例を示す図である。

図７２（Ａ）は、ビデオデータ再生開始位置Ｃ＃１から編集開始位置（セルＣ＃ｉの所定位置）までの時間である編集開始時間ＥＤＴ＿ＳＴＭと、ビデオデータ再生開始位置Ｃ＃１からこの編集区間の編集終了位置（セルＣ＃（ｉ＋１）の所定位置）までの時間である編集終了時間ＥＤＴ＿ＳＴＭと、の一例を示したものである。

この図７２（Ａ）に示すようなケースでは、編集区間が２つのセルに渡っているが、もちろんこれは一例であって、実際には様々なケースが考えられる。

次に、編集区間が含まれるセル全体のビデオデータを読み出して、上記編集区間のビデオデータに対して、図６３に示したような編集内容データＥＤＴ＿ＤＡＴに記録された、ズームアップ、カッティング、スムージングなどの編集処理の内容に対応した編集処理を実行する。

次に、所定区間に編集処理が施された上記セルのデータを、編集前のビデオデータとは異なるセルに記録する。図７２は、図７２（Ａ）に示すような編集前のセルＣ＃ｉとＣ＃（ｉ＋１）に記録されたビデオデータの、上記編集区間内におけるビデオデータに編集処理を施して、新たに図７２（Ｂ）に示すようなセルＣ＃ｊを作成して記録する例を示したものである。

この例では、編集前の２つのセルのビデオデータを編集データとして１つのセルに記録した場合を示しているが、これに限らず任意の数のセルに分割して記録するようにしても構わない。

ここで、図６５〜図６７を参照して、上記ズームアップに関する編集処理（ズームアップ処理）について説明する。図６５はＸ方向の視線位置の時間変化を示す図、図６６はＹ方向の視線位置の時間変化を示す図、図６７はズーミングの時間変化を示す図である。なお、これら図６５〜図６７は、横軸にプロットした時間が、同一位置において同一時間を示すように図示している。

ここに、Ｘ軸とＹ軸は、視線方向を示すベクトル空間を記述する互いに直交する２軸である。そして、ΔＸ，ΔＹを、Ｘ方向，Ｙ方向のそれぞれに対する所定の視線位置変化量であるとする。

このとき、Ｘ方向，Ｙ方向の視線位置変化が各々ΔＸ，ΔＹ以下で、かつ注視時間が上記所定時間ｔ１以上であるときは、図６７に示すように、注視点に向けて画像をゆっくりと拡大して行く。つまり、注視点が徐々に画像の中央にくるように、拡大とトリミング（拡大領域の変更）とを同時に実行して行く。一定の拡大量に達したところでその状態をしばらく維持し、再び、注視時間の終了ｔ０に向けてゆっくりと元の倍率（標準の画角）へ戻して行く。

例えば、ズームアップ処理については次のように行う。まず、編集データＥＤＩＴ＿ＤＡＴを読み出す。この編集データＥＤＩＴ＿ＤＡＴが、上記図６４のステップＳ８３において記録されたデータである場合には、編集処理がズームアップ処理であることが検出される。そこで、ＤＤＴ＿ＳＴＭ、Ｓ＿ＦＮ、ＤＤＴ＿ＥＴＭ、Ｅ＿ＦＮ等のデータに基づき、ビデオデータの編集区間を検出して、検出した編集区間のビデオデータに対して、上述したようなズームアップ処理を施す。

なお、注視をしている途中で、瞬間的に視線方向が他に移動して再び元の注視方向へ戻ることがあるが、このような視線の動きについてはノイズであるとして、注視時間の考慮に入れないような処理を行うようにしている。このような処理は、公知の移動平均とノイズ処理とにより簡単に実行することができるために、その詳細な内容については説明を省略する。

また、スムージング処理の具体的な方法としては、動画像を構成するコマ（フレーム画像）同士の間に、挿入位置の前または後のコマを、スムージングの程度に応じた数だけ挿入する方法が挙げられる。ただし、この方法では、スムージングの程度が大きくなる（画像の時間変化を引き伸ばす）ほどぎこちない動きになるために、挿入位置の前後のコマの画像データに基づいて動きを補間するようなコマを作成し、作成したコマを挿入するようにすると良い。

さらに、ぶれ補正処理の具体的な方法としては、ぶれ方向とぶれ量とを検出して、これらのぶれ方向とぶれ量とに基づいて、画像データを切り出すという公知の技術を用いることができる。

再び、図６２に戻って説明を続ける。

上記ステップＳ７４の処理が終了したら、次に、上記編集区間のビデオデータが含まれるセル全体のビデオデータに対応する編集処理後のビデオデータを、編集処理前のビデオデータとは異なるセルに記憶する（ステップＳ７５）。

そして、プログラムチェーンの変更を行う。すなわち、編集前のプログラムチェーン情報においては、上記編集区間に対応するセルとして、編集前のセルを読み出すようになっている。そこで、編集区間に対応するセルとして、該編集前のセルに代えて編集後のセルを読み出すように変更することで、編集処理後のビデオデータの再生順を表わすプログラムチェーンを作成する。これにより、プログラムチェーンを参照するだけで、編集後のビデオデータを自動的に再生することが可能となる。

上記図７２に示した例について具体的に述べると、編集処理後のビデオデータは、…，Ｃ＃（ｉ−１），Ｃ＃ｊ，Ｃ＃（ｉ＋２），Ｃ＃（ｉ＋３），…の順に再生されることになる。

このように編集処理後のビデオデータとして、編集処理が施されたセルのデータのみを記録すれば良いために、編集処理前の動画データとの重複を最小限にすることができ、記録容量の節約を図ることができる。これは特に、大容量の記録容量を必要とする動画データの記録において、高い効果を得ることができる。

上記ステップＳ７５の処理が終了したら、次に、全ての編集処理が終了したか否かを判断する（ステップＳ７６）。

このステップＳ７６において、全ての編集処理が終了したと判断されるまでは、上記ステップＳ７３へ行って、上述したような処理を繰り返して行う。

一方、該ステップＳ７６において、全ての編集処理が終了したと判断された場合には、次に、編集処理後のビデオデータのＰＧＣ情報の記録を行う（ステップＳ７７）。

このステップＳ７７においては、編集後のビデオデータを再生するためにビデオタイトルセット管理情報ＶＴＳＩ（Video Title Set Information）のＶＴＳＰＧＣ情報管理テーブルＶＴＳ＿ＰＧＣＩＴに、編集後のビデオデータの再生順を制御するためのプログラムチェーン（ＰＧＣ）を表すＰＧＣ情報（例えばＶＴＳ＿ＰＧＣＩ＃２）を作成し、既にディスク２４９に記録されているビデオタイトルセット管理情報ＶＴＳＩ（Video Title Set Information）に追加記録する。

編集後のビデオデータの再生順が記録されたＰＧＣ情報（ＶＴＳ＿ＰＧＣＩ＃２）は、上述したように、編集前のビデオデータの再生順が記録されたＰＧＣ情報（例えばＶＴＳ＿ＰＧＣＩ＃１）の内の、編集処理を施した時間区間のセルを再生する代わりに、上記ステップＳ７５で記録された編集処理後のビデオデータを再生するように作成されたＰＧＣ情報である。

こうして、画質が劣化すると考えられるケースにおいて、可能な範囲内で画質を向上する補正を行い、補正が不可能である場合にはカッティングするようにしているために、品質が良く見易い画像を得ることができる。そして、この編集処理を自動的に行うようにしているために、使用者が面倒な操作を行う必要がなく、簡便となる。

次に、ビデオデータの再生について説明する。

ビデオデータを再生するときのデータ処理は、以下のように行われる。

まず、第１ＣＰＵ１６１は、再生命令を受けると、記録再生用データプロセッサ２３１とディスクドライブ部４ｄとを介して、ビデオデータに関する管理領域のデータを読み込み、再生するアドレスを決定する。

次に、第１ＣＰＵ１６１は、先ほど決定された再生するデータのアドレスとリード命令とを、ディスクドライブ部４ｄへ転送する。

すると、ディスクドライブ部４ｄは、受信したアドレスとリード命令とに基づいて、ディスク２４９からセクタデータを読み出し、記録再生用データプロセッサ２３１によりエラー訂正を行った後に、パックデータにしてセパレータ２３３へ転送する。

セパレータ２３３は、受信したパックデータを、動画データと音声データと副映像データとに分離して、それぞれのデータの種類に応じて転送する。つまり、受信したデータが、動画パケットデータ（ＭＰＥＧ２データ）である場合には動画デコーダ（ＶＤＥＣ）２３４へ、音声パケットデータである場合には音声デコーダ（ＡＤＥＣ）２３６へ、副映像パケットデータである場合には副映像デコーダ（ＳＤＥＣ）２３５へ、角速度パケットデータ（ＡＶＤＥＣ）である場合には角速度デコーダ（ＡＶＤＥＣ）２４２へ、視線方向パケットデータ（ＥＤＥＣ）である場合には視線方向デコーダ（ＥＤＥＣ）２４３へ、それぞれ転送する。また、ナビゲーションパックＮＶは、第１ＣＰＵ１６１が処理する際に必要となるために、該第１ＣＰＵ１６１の内部メモリであるＲＡＭ等へ保存する。

各パケットデータは、転送が開始されるときに、ヘッダに含まれているＰＴＳ（Presentation Time Stamp）がＳＴＣ部２４８へロードされる（すなわち、第１ＣＰＵ１６１がナビゲーションパックＮＶ内のＰＴＳをＳＴＣ部２４８へセットするか、または、動画デコーダ（ＶＤＥＣ）２３４が動画データのＰＴＳを自動的にＳＴＣ部２４８へセットする）。

その後、各デコーダは、パケットデータ内のＰＴＳの値に同期して（ＰＴＳとＳＴＣ部２４８の値とを比較しながら）再生処理を行い、映像デコーダ（ＶＤＥＣ）２３４からの映像データと副映像デコーダ（ＳＤＥＣ）２３５からの副映像データとが動画プロセッサ２３７により適宜合成されて、モニタＴＶ２３９、または表示部１６５により音声字幕付きの動画として再生される。

なお、上述では、生体情報としての角速度データや視線方向データも動画データと同様の記録フォーマットで記録するようにした。しかし、生体情報は動画データと異なり編集処理にのみ利用されるものであるために、必ずしも動画データと同様のフォーマットで記録する必要はない。ただし、他のフォーマットで記録される場合には、生体情報が、その検出された時刻からの相対的な時間経過がわかるように記録されている必要がある。例えば、生体情報は、そのヘッダに検出開始から検出終了までの時間を記録しておき、生体情報の記録容量が記録開始からの時間経過に比例するように記録しても良い。このような記録を行うことにより、生体情報の記録や読み出しがより簡単になる。

また、上述では、記録媒体としてＤＶＤなどの光ディスクを用いているが、もちろんこれに限るものではなく、例えば半導体メモリ等の記録媒体を用いるようにしても構わない。

さらに、上述では、生体情報として、頭部の角速度と、視線方向と、を用いたが、撮影者の撮影意図を表す情報であれば、これらに限らず、その他の情報を用いるようにしても構わない。

このような実施例１によれば、撮影者自身の動きに関連する生体情報を記録しておき、記録された生体情報に基づいて、記録された画像データに対し事後的に所定の編集処理を行うことが可能となるようにしたために、カメラの構成を簡単にすることが可能になると共に、撮影者は、撮影動作に専念する必要なく撮影を行うことができる。従って、撮影者は撮影の負担を感じることなく、撮影者以外の者と同様の自然な行動をとることができる。

そして、画像編集を撮影者の生体情報に基づいて行うようにしたために、撮影者の意図に添った画像編集を自動的に行うことが可能となる。記録後の画像データに対して編集処理を行う場合には、撮影中にリアルタイムで編集処理を行う場合に必要となる例えば予測処理等の複雑な処理が不要となるために、比較的簡単に編集処理を行うことが可能となる。

加えて、編集後の画像を表示することができるために、見易い状態となった画像を楽しむことが可能となる。

さらに、動画データおよび生体情報がブロック（セル）に分割して記録されているために、該ブロックデータを読み出すだけで、編集処理をブロック単位で容易に行うことができる。

このとき、編集処理後の動画データとして、編集処理が施されたセルのデータのみを記録するようにしているために、編集処理前の動画データとの重複を最小限にすることができ、記録容量の節約を図ることができる。そして、再生順序を示すプログラムチェーン情報を記録し、再生時にこのプログラムチェーン情報を用いて再生を行うようにしているために、編集処理前のセルの位置を、編集処理後のセルの位置に書き換えるだけで、容易に編集処理後の動画データの再生を行うことができる。

また、撮像部と視線方向／角速度検出部とを撮影者の頭部に装着し得るようにしたために、撮影者の観察している被写体を高い精度で検出することが可能となる。

さらに、撮影者の頭部自体の回転を角速度により検出するようにしたために、頭部のぶれに起因する画像ぶれの補正や、カッティングや、記録時間の引き延ばしなどの編集処理を自動的に行うことが可能となる。

そして、撮影者の注視点の方向である視線方向を検出するようにしたために、電子ズーミング（拡大／縮小）やトリミングなどの編集処理を自動的に行うことが可能となる。このとき、視線方向情報として、視線方向の移動速度と、視線方向の連続的な移動量と、の少なくとも一方を含むようにしたために、撮影者の意志をより忠実に反映することができる。

また、視線方向／角速度検出部と、撮像部と、のパララックスを考慮して、視線方向／角速度検出部により検出された視線方向θに対応する撮像部からみた角度θ’を求めるようにしているために、被写体が近距離にある場合でも、撮影者の視線方向に対応する撮像部による撮影範囲（撮像される画像における撮影者の注視点）を正確に把握することが可能となり、視線方向情報に基づく編集処理等を正確に行うことができる。

さらに、自然な行動をしながら観察が可能な頭部装着型表示装置は、例えば歩行中や車の運転中などにも使用してしまいがちである。このような状態で使用すると、表示手段に表示される撮影情報等の表示に気をとられて、前方物体と衝突したりする可能性があるが、本実施例の画像システムは、このような使用状態を検出して、検出時には警告を行ったり表示を禁止したりするようにしたために、未然に防止することができる。

また、視線検出を行う際に、他の領域に比べて極めて明るい角膜反射光を利用しているために、瞳孔の存在するおよその位置を、簡単に求めることができる。このとき、角膜反射光を得るための照明として、赤外線を照射するＬＥＤを用いているために、観察者による被写体の観察を妨げることはない。

さらに、角膜反射光の位置を含む所定範囲の領域の中から、最小値を有する画素を検出し、この最小値に所定の値を加えた値（これは、該最小の画素値よりも大きく、虹彩の画素値よりも小さい所定値である。）を閾値として、該閾値よりも画素値が小さい画素群を瞳孔の像に属する画素群として判別しているために、瞳孔の領域を簡単にかつ精度良く求めることができる。

そして、瞳孔の領域の重心を瞳孔中心としているために、画素データの中に幾らかのノイズが含まれていたとしても、瞳孔中心の位置を確実に精度良く求めることが可能となる。

加えて、上述したようにして求めた瞳孔中心の位置と、角膜反射光の位置と、に基づいて、視線方向を簡単にかつ精度良く求めることができる。

また、視度調整用のレンズを透明光学部材の前面にそれぞれ配置するようにしたために、視力が異なる観察者でも、実質的に直接観察する（すなわち、この場合には、視度調整用のレンズを介して観察する）被写体に所定の画像を重ねて観察することができる。

さらに、簡単な構成で、デザイン的に美しく自然な感じの略めがね型の撮像装置を構成することが可能となる。

そして、視度調整用のレンズを透明光学部材とは別々に簡単に取り外すことができるように構成したために、表示装置毎にユーザーに応じた視度調整を容易に行うことが可能となる。加えて、このときには、左眼と右眼の視力が異なっていたとしても、各眼に合わせたレンズを装着することが可能となる。

加えて、透明光学部材と撮像部とはフレーム部に一体的に保持されているために、視度調整用のレンズを交換しても、これら透明光学部材と撮像部との角度調整等をその度に行う必要がなく、使い勝手の良い視度調整用レンズ付頭部装着型カメラとなる。

また、頭部装着部と画像記録／編集装置とを無線で接続して、画像データや操作信号を授受するようにしたために、コード等に煩わされることなく、軽快に使用することが可能となる。こうして、携帯に便利で機動性に優れた頭部装着型カメラとなる。

さらに、シースルー画像表示部において、ＬＣＤの画像を液体レンズを用いて一次結像させるようにしたために、該画像を、所望の距離の位置に虚像として表示することが可能となる。そして、液体レンズを採用したことにより、構成が簡単となって装置の小型軽量化を図ることができ、アクチュエータ等を用いていないために、動作中の騒音が発生する心配もない。従って、頭部に装着して用いる装置に、特に有効に用いることができる。

なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、記録媒体から動画データを読み出して編集を行うための画像編集装置、画像編集プログラム、記録媒体に好適に利用することができる。

本発明の実施例１における画像システムの使用形態を示す斜視図。 上記実施例１における頭部装着部を示す正面図。 上記実施例１における頭部装着部を示す平面図。 上記実施例１における頭部装着部を示す右側面図。 上記実施例１において、操作パネルを閉じた状態の画像記録／編集装置を示す平面図。 上記実施例１において、操作パネルを閉じた状態の画像記録／編集装置を示す右側面図。 上記実施例１において、操作パネルを閉じた状態の画像記録／編集装置を示す左側面図。 上記実施例１において、操作パネルに配置された操作スイッチ類を示す平面図。 上記実施例１において、操作パネルを開いた状態の画像記録／編集装置を示す斜視図。 上記実施例１における頭部装着部の主として電子回路に係る構成を示すブロック図。 上記実施例１における画像記録／編集装置の主として電子回路に係る構成を示すブロック図。 上記実施例１におけるシースルー画像表示部の光学系の原理を説明するための図。 上記実施例１におけるシースルー画像表示部の光学系の構成を示す一部断面を含む正面図。 上記実施例１におけるシースルー画像表示部の光学系の構成を示す左側面図。 上記実施例１において、眼から虚像までの位置を変更する原理を説明するための図。 上記実施例１において、ＬＣＤをアクチュエータにより光軸方向に駆動する構成例を示す図。 上記実施例１において、ＬＣＤの像を一次結像させるようにし、この一次結像の位置を光軸方向に変化させるようにした構成の一例を示す図。 上記実施例１において、ＬＣＤの像を一次結像させるようにし、この一次結像の位置を光軸方向に変化させるようにした構成の他の例を示す図。 上記図１８における液体レンズの詳細な構成を示す図。 上記実施例１における視線方向検出部の光学系の一構成例を示す一部断面を含む正面図。 上記実施例１における視線方向検出部の光学系の一構成例を示す左側面図。 上記実施例１における視線方向検出部の光学系の他の構成例を示す一部断面を含む正面図。 上記実施例１における視線方向検出部の光学系の他の構成例を示す左側面図。 上記実施例１において、撮像部をフレーム部に取り付ける構成を示す平面図および右側面図。 上記実施例１において、撮像部を取り付けるためにフレーム部に設けられた孔の構成を示す右側面図。 上記実施例１のシースルー表示における初期状態の表示例を示す図。 上記実施例１において、テレへのズームが行われたときの表示例を示す図。 上記実施例１において、ワイドへのズームおよび露出補正が行われたときの表示例を示す図。 上記実施例１において、電子ビュー表示を行うときの表示例を示す図。 上記実施例１において、動画を録画中の表示例を示す図。 上記実施例１において、マニュアルモード時の表示例を示す図。 上記実施例１において、フルオートモードで動画を録画中の表示例を示す図。 上記実施例１において、撮影光学系の焦点距離が焦点調節可能な下限値に達しているにもかかわらず、さらに小さい方へ操作されようとしている場合にシースルー表示される警告表示の例を示す図。 上記実施例１において、撮影光学系の焦点距離が焦点調節可能な上限値に達しているにもかかわらず、さらに大きい方へ操作されようとしている場合にシースルー表示される警告表示の例を示す図。 上記実施例１において、静止画を撮影する操作が行われたときの表示例を示す図。 上記実施例１のキャリブレーションモードにおける表示例を示す図。 上記実施例１において、被写体と撮影光学系とＣＣＤとの光学的な関係を説明するための図。 上記実施例１において、ＨＯＥとこのＨＯＥにより形成される虚像と眼との光学的な関係を説明するための図。 上記実施例１において、パララックスを補正するのに必要な虚像のシフト量を説明するための図。 上記実施例１において、視線方向にある被写体を撮像部から見るときの角度の関係を示す図。 上記実施例１において、照明光束の光軸Ｌｍと眼の視線方向の視軸Ｌｍ’とが一致しているときの、該光軸Ｌｍおよび視軸Ｌｍ’を含む面による眼の断面図。 上記実施例１において、光軸Ｌｍに垂直に交差する線を横軸として、眼の像を視線方向／角速度検出部により撮像したときのＣＣＤの出力信号を縦軸方向にプロットした図。 上記実施例１において、照明光束の光軸Ｌｍと眼の視線方向の視軸Ｌｍ’とが交差しているときの、該光軸Ｌｍおよび視軸Ｌｍ’を含む面による眼の断面図。 上記実施例１において、光軸Ｌｍおよび視軸Ｌｍ’に交差し該光軸Ｌｍに垂直な線を横軸として、眼の像を視線方向／角速度検出部により撮像したときのＣＣＤの出力信号を縦軸方向にプロットした図。 上記実施例１において、２次元の撮像素子から得られる眼の像を示す図。 上記実施例１において、プルキンエ像を中心として眼の像に設定される所定の領域を示す図。 上記実施例１において、通信制御部から出力される信号の時系列的な構成を示す図。 上記実施例１における画像システムの動作の他の一部を示すフローチャート。 上記実施例１における画像システムの動作の一部を示すフローチャート。 上記図４８のステップＳ４に示した危険防止のサブルーチンの詳細を示すフローチャート。 上記実施例１において、瞳孔中心の位置とプルキンエ像の位置とを求める処理を示すフローチャート。 上記実施例１において、視線方向検出に係るキャリブレーションの処理を示すフローチャート。 上記実施例１における、ディスクの論理構造を示す図。 上記実施例１における、ビデオタイトルセットＶＴＳのファイル構成を示す図。 上記実施例１における、ビデオタイトルセット管理情報ＶＴＳＩの構成を示す図。 上記実施例１における、動画パックのデータ構造を示す図。 上記実施例１における、音声パックのデータ構造を示す図。 上記実施例１における、副映像パックのデータ構造を示す図。 上記実施例１における、角速度パックのデータ構造を示す図。 上記実施例１における、視線方向パックのデータ構造を示す図。 上記実施例１における、ナビゲーションパックの構造を示す図。 上記実施例１における、ビデオデータの編集処理を示すフローチャート。 上記実施例１における、編集データの記録形式を示す図。 上記実施例１における生体情報の解析処理を示すフローチャート。 上記実施例１において、Ｘ方向の視線位置の時間変化を示す図。 上記実施例１において、Ｙ方向の視線位置の時間変化を示す図。 上記実施例１におけるズーミングの時間変化を示す図。 上記実施例１における角速度の時間変化を示す線図。 上記実施例１における角速度の絶対値の時間変化を示す線図。 上記実施例１における角速度の時間積分値の変化の様子を示す線図。 上記実施例１において、カッティングを行った後に孤立した画像が残っている様子を示す図。 上記実施例１において、編集開始時間と編集終了位置とが２つのセルにまたがっているときの一例を示す図。

符号の説明

１…画像システム
２…頭部装着部
４…画像記録／編集装置
４ａ…通信部
４ｂ…記録部（動画データ記録手段、生体情報記録手段）
４ｃ…再生部（動画データ読出手段、生体情報読出手段）
４ｄ…ディスクドライブ部（動画データ読出手段、生体情報読出手段、動画データ記録手段、生体情報記録手段）
６…シースルー画像表示部（表示手段）
７…視線方向／角速度検出部
８…通信部（受信手段、送信手段）
１１…フロント部
１２…テンプル部
１３…フレーム部
１４，１５…透明光学部材
１６…投光用発光部
１６ａ…投光用ＬＥＤ
１６ｂ…集光レンズ
１７…第１マイク
１８…第２マイク
１９…鼻パッド
２０…リム
２１，２２…視度調整用のレンズ
２４，２５…ホログラフィー光学素子（ＨＯＥ）
２６…先セルモダン
２７…収納部
３０…撮像部（撮像手段、測距手段、カメラ）
３１…撮影光学系
３３…台座
３４，３５，３６，３７…ビス
３９…スイッチ
４１…本体部
４２…操作パネル
４４…電源スイッチ
４８…ＬＣＤ表示素子（表示手段）
５０…ＡＶ／Ｓ接続端子
５１…ＰＣ接続端子
５４…ディスク挿入口
５５…バッテリ挿入口
５６…スピーカ
５９…再生／停止スイッチ
６１，６２…スイッチ
６３…メニューボタン
６５…確定スイッチ
６６，６７，６８，６９…メニュー選択スイッチ
７１…ＦＡ／Ａ／Ｍスイッチ
７２…Ｆ／Ｖスイッチ
７３…レリーズスイッチ
７４…録画スイッチ
７５…ズームスイッチ
７６…露出補正スイッチ
７８，７９…丁番
８７…ＣＣＤ（撮像素子）
８８…ＣＤＳ／ＡＧＣ回路
８９…Ａ／Ｄ変換回路
９０…タイミングジェネレータ（ＴＧ）
９１…ＣＣＤドライバ
９２，９３，９４…超音波モータ（ＵＳＭ）
９５…ＵＳＭドライバ
９６…絞りシャッタドライバ
９７…オート露出処理回路（ＡＥ処理回路）
９８…オートフォーカス処理回路（ＡＦ処理回路）
１０２…ＥＥＰＲＯＭ
１０３…第３ＣＰＵ
１０４…メモリ
１１１…第４ＣＰＵ
１１２…ＬＥＤドライバ
１１３…ＬＥＤ
１１４…集光レンズ
１１５…ＬＣＤ表示素子
１１６…ホログラフィー光学素子（ＨＯＥ）
１１７…ＬＣＤドライバ
１１８…ＬＥＤドライバ
１２１…第２ＣＰＵ（制御手段）
１２２…ＲＡＭ
１２３…タイマ
１２４…ＬＥＤドライバ
１２５…ＬＥＤ
１２６…集光レンズ
１２７…反射ミラー
１２８…ハーフミラー
１２９…ホログラフィー光学素子（ＨＯＥ）
１３１…反射ミラー
１３２…結像レンズ
１３３…バンドパスフィルタ
１３４…ＣＣＤ
１３５…ＣＣＤドライバ
１３６…ＣＤＳ／ＡＧＣ回路
１３７…Ａ／Ｄ変換回路
１３８…ＴＧ
１４１，１４２…角速度センサ
１５１…通信制御回路
１５２…ＤＳＰ回路
１５３…画像圧縮回路
１５４…音声圧縮回路
１５５…角速度圧縮回路
１５６…視線方向圧縮回路
１５７…副映像圧縮回路
１５８…フォーマッタ
１５９…バッファメモリ
１６１…第１ＣＰＵ（制御手段、編集処理手段）
１６２…第１操作スイッチ
１６３…送受信回路
１６４…電源回路
１６５…表示部
１７１…第２操作スイッチ
１７２…送受信部
１７３…通信制御部
１７４…電源回路
１８１…電気回路基板
１８２，１８３…導光部材
１９１，１９３…孔
１９２，１９４…長孔
２０１…撮影画枠
２０２，２０４，２０５，２０６，２０７，２１０，２１１…情報表示
２０３…電子画像
２０８，２０９…警告表示
２３１…記録再生用データプロセッサ
２３２…記録再生用バッファメモリ
２３３…セパレータ
２３４…映像デコーダ（ＶＤＥＣ）
２３５…副映像デコーダ（ＳＤＥＣ）
２３６…音声デコーダ（ＡＤＥＣ）
２３７…動画プロセッサ
２３８…Ｄ／Ａ変換器（ＤＡＣ）
２３９…モニタＴＶ
２４０…Ｄ／Ａ変換器（ＤＡＣ）
２４２…角速度デコーダ（ＡＶＤＥＣ）
２４３…視線方向デコーダ（ＥＤＥＣ）
２４４…生体情報バッファメモリ
２４５…サーボ回路
２４６…ピックアップ部
２４７…モータ
２４８…ＳＴＣ部
２４９…ディスク（記録媒体）
２５１，２５５…ラック
２５２，２５６…アクチュエータ
２５３…結像レンズ
２５４…一次結像面の位置
２５７…液体レンズ
２５８…電圧制御回路
２６１ａ…円筒
２６１ｂ，２６１ｃ…円板
２６２ａ，２６２ｂ…電極
２６３…絶縁体
２６４…疎水性コーティング
２６５…伝導性液体
２６６…非伝導液体
代理人 弁理士 伊 藤 進

Claims (10)

1. 記録媒体から、複数のブロックに分割して記録された動画データと、上記動画データの再生順序を示す動画再生プログラムチェーン情報と、を読み出す動画データ読出手段と、
   上記記録媒体から、上記動画データと同時に記録された生体情報と、上記生体情報が検出された時刻からの相対的な経過時間を検出するための情報と、を読み出す生体情報読出手段と、
   上記動画データに時間的に対応する上記生体情報に基づいて、該動画データに所定の編集処理を施す編集処理手段と、
   を具備したことを特徴とする画像編集装置。
2. 上記編集処理手段は、所定のブロック単位で編集処理を行い、編集前のブロックの内の上記編集処理が施されなかったブロックと上記編集処理が施されたブロックとの再生順序が記録されたプログラムチェーン情報に基づいて、編集処理後の動画データの再生を行うものであることを特徴とする請求項１に記載の画像編集装置。
3. 上記動画データは、撮影者の頭部に装着された状態のカメラにより撮影して得られたものであることを特徴とする請求項１に記載の画像編集装置。
4. 上記生体情報は、撮影者の頭部の角速度に係る角速度情報を含むことを特徴とする請求項１に記載の画像編集装置。
5. 上記編集処理手段は、上記角速度情報に基づいて、記録された画像データの、カッティングと、ぶれ補正と、記録時間の引き延ばしと、電子ズーミングと、の内の少なくとも１つを、上記編集処理として行うものであることを特徴とする請求項４に記載の画像編集装置。
6. 上記生体情報は、撮影者の視線方向に係る視線方向情報を含むことを特徴とする請求項１に記載の画像編集装置。
7. 上記編集処理手段は、上記視線方向情報に基づいて、記録された画像データの電子ズーミングを、上記編集処理として行うものであることを特徴とする請求項６に記載の画像編集装置。
8. 記録媒体から、複数のブロックに分割して記録された動画データと、上記動画データの再生順序を示す動画再生プログラムチェーン情報と、を読み出す動画データ読出ステップと、
   上記記録媒体から、上記動画データと同時に記録された生体情報を読み出す生体情報読出ステップと、
   上記生体情報に基づいて上記動画データに所定の編集処理を施す編集処理ステップと、
   をコンピュータに実行させるための画像編集プログラム。
9. 上記編集処理ステップは、セル単位で編集処理を行い、編集前のセルの内の上記編集処理が施されなかったセルと上記編集処理が施されたセルとの再生順序が記録されたプログラムチェーン情報に基づいて、編集処理後の動画データの再生を行うステップであることを特徴とする請求項８に記載の画像編集プログラム。
10. 記録媒体から、複数のブロックに分割して記録された動画データと、上記動画データの再生順序を示す動画再生プログラムチェーン情報と、を読み出す動画データ読出ステップと、
    上記記録媒体から、上記動画データと同時に記録された生体情報を読み出す生体情報読出ステップと、
    上記生体情報に基づいて上記動画データに所定の編集処理を施す編集処理ステップと、
    をコンピュータに実行させるための画像編集プログラムが記録された記録媒体。

Images