JP2005252735A - Head-mounted display having danger prevention function - Google Patents
Head-mounted display having danger prevention function Download PDFInfo
- Publication number
- JP2005252735A JP2005252735A JP2004061440A JP2004061440A JP2005252735A JP 2005252735 A JP2005252735 A JP 2005252735A JP 2004061440 A JP2004061440 A JP 2004061440A JP 2004061440 A JP2004061440 A JP 2004061440A JP 2005252735 A JP2005252735 A JP 2005252735A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- recording
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、外界像に重ねて所定の情報を観察可能に表示し得る危険防止機能付き頭部装着型表示装置に関する。 The present invention relates to a head-mounted display device with a risk prevention function capable of displaying predetermined information in an observable manner so as to overlap an external image.
従来から、頭部に装着して撮影する撮像装置が知られている。このような技術として、例えば特開２００１−２８１５２０号公報（特許文献１）には、ユーザの眼球の近くに配置されるように視線検知センサを設けて、この視線検知センサによりユーザの眼球の状態を検出し、該検出結果に基づいて、撮像装置の焦点調節、ズーム制御、視線方向に基づくレンズ回動制御を行うことができるように構成された光学装置が記載されている。 2. Description of the Related Art Conventionally, an imaging device that is worn on a head and shoots is known. As such a technique, for example, in Japanese Patent Laid-Open No. 2001-281520 (Patent Document 1), a line-of-sight detection sensor is provided so as to be arranged near the user's eyeball, and the state of the user's eyeball is detected by the line-of-sight detection sensor. And an optical device configured to be able to perform focus adjustment, zoom control, and lens rotation control based on the line-of-sight direction based on the detection result.
また、特開平９−５８３５号公報（特許文献２）には、ヘッドバンドを介して頭部に装着し得るように構成されたゴーグル部に、人間の眼のまばたきを検出する検出装置を組み込むとともに、被写体を撮影するカメラ部を組み込んで、上記検出装置から得られる撮影者の眼のまばたきを示す信号に基づき、自動的にシャッタレリーズを行うように制御する頭部装着型ファインダを備えたカメラが記載されている。
しかしながら、上記各特許文献に記載されたようなカメラや表示装置では、通常の行動をとりながら撮影を行ったり観察したりすることが可能であるために、ファインダ表示に気を取られて前方物体と衝突する等の事態が発生する可能性がある。 However, in cameras and display devices such as those described in the above patent documents, it is possible to perform shooting and observation while taking normal actions. There is a possibility that a situation such as collision will occur.
本発明は上記事情に鑑みてなされたものであり、外界像に重ねて所定の情報を観察する際の安全を図り得るようにした危険防止機能付き頭部装着型表示装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a head-mounted display device with a risk prevention function that can ensure safety when observing predetermined information superimposed on an external image. It is said.
上記の目的を達成するために、第１の発明による危険防止機能付き頭部装着型表示装置は、観察している外界像に重ねて所定の情報を観察可能に表示するための表示手段と、上記表示手段により情報を表示している最中に生じ得る危険を防止するための危険防止手段と、を具備したものである。 In order to achieve the above object, the head-mounted display device with a danger prevention function according to the first invention comprises display means for displaying predetermined information in an observable manner so as to be superimposed on the external image being observed, Risk prevention means for preventing a danger that may occur during the display of information by the display means.
また、第２の発明による危険防止機能付き頭部装着型表示装置は、上記第１の発明による危険防止機能付き頭部装着型表示装置において、観察者と前方物体との相対的な速度を検出するための相対速度検出手段をさらに具備し、上記危険防止手段は、上記相対速度検出手段の検出結果に基づいて、上記表示手段により所定の警告を表示することと、該表示手段による表示を禁止することと、の少なくとも一方を行うものである。 According to a second aspect of the present invention, there is provided a head-mounted display device with a risk prevention function that detects a relative speed between an observer and a front object in the head-mounted display device with a risk prevention function according to the first invention. And a relative speed detecting means for displaying the predetermined warning on the display means based on the detection result of the relative speed detecting means, and prohibiting display by the display means. Doing at least one of doing.
さらに、第３の発明による危険防止機能付き頭部装着型表示装置は、上記第１の発明による危険防止機能付き頭部装着型表示装置において、観察者と前方物体との相対的な速度と相対的な距離とを検出するための相対速度距離検出手段をさらに具備し、上記危険防止手段は、上記相対速度距離検出手段の検出結果に基づいて、上記表示手段により所定の警告を表示することと、該表示手段による表示を禁止することと、の少なくとも一方を行うものである。 Furthermore, the head-mounted display device with a risk prevention function according to the third aspect of the invention is the head-mounted display device with a risk prevention function according to the first aspect of the invention, in which the relative speed and relative speed between the observer and the front object are relative. A relative speed distance detection means for detecting a specific distance, and the danger prevention means displays a predetermined warning on the display means based on a detection result of the relative speed distance detection means. And / or prohibiting display by the display means.
第４の発明による危険防止機能付き頭部装着型表示装置は、上記第１の発明による危険防止機能付き頭部装着型表示装置において、撮影者が移動中であるか否かを検出するための歩行検出手段をさらに具備し、上記危険防止手段は、上記歩行検出手段の検出結果に基づいて撮影者が移動していると判断したときは、上記表示手段により所定の警告を表示することと、該表示手段による表示を禁止することと、の少なくとも一方を行うものである。 A head-mounted display device with a risk prevention function according to a fourth aspect of the invention is a head-mounted display device with a risk prevention function according to the first aspect of the invention for detecting whether or not the photographer is moving. Further comprising walking detection means, wherein the danger prevention means displays a predetermined warning by the display means when it is determined that the photographer is moving based on the detection result of the walking detection means; Prohibiting display by the display means and / or prohibiting display.
第５の発明による危険防止機能付き頭部装着型表示装置は、上記第１の発明による危険防止機能付き頭部装着型表示装置において、上記危険防止手段が、上記表示手段による表示を、操作により強制的に禁止するための危険防止操作手段を有して構成されたものである。 A head-mounted display device with a risk prevention function according to a fifth aspect of the present invention is the head-mounted display device with a risk prevention function according to the first aspect of the present invention, wherein the risk prevention means displays the display by the display means by an operation. It is configured to have a danger prevention operation means for forcibly prohibiting.
本発明の危険防止機能付き頭部装着型表示装置によれば、外界像に重ねて所定の情報を観察する際の安全を図ることができる。 According to the head-mounted display device with a danger prevention function of the present invention, it is possible to achieve safety when observing predetermined information superimposed on an external image.
以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１から図７０は本発明の実施例１を示したものであり、図１は頭部装着型カメラの使用形態を示す斜視図である。
1 to 70
なお、本実施例の頭部装着型カメラは、画像を撮像する機能に着目すれば撮像装置であり、画像を再生する機能に着目すれば画像再生装置でもある。そして、後述するように、危険防止機能付き頭部装着型表示装置となっている。さらに、この頭部装着型カメラは、画像を編集することも可能であるために、画像編集装置を兼ねたものとなっている。 Note that the head-mounted camera of the present embodiment is an imaging device if attention is focused on the function of capturing an image, and is also an image playback device if attention is focused on the function of reproducing an image. As will be described later, a head-mounted display device with a risk prevention function is provided. Furthermore, since this head-mounted camera can also edit an image, it also serves as an image editing device.
また、画像再生装置は、画像再生方法や画像再生プログラムとしても適用することができ、該画像再生プログラムを記録媒体に記録することにより、画像再生プログラムを記録する記録媒体となる。 The image reproducing apparatus can also be applied as an image reproducing method and an image reproducing program. By recording the image reproducing program on a recording medium, a recording medium for recording the image reproducing program is obtained.
同様に、画像編集装置は、画像編集方法や画像編集プログラムとしても適用することができ、該画像編集プログラムを記録媒体に記録することにより、画像編集プログラムを記録する記録媒体となる。 Similarly, the image editing apparatus can also be applied as an image editing method or an image editing program. By recording the image editing program on a recording medium, a recording medium for recording the image editing program is obtained.
この頭部装着型カメラ（以下では適宜、「カメラ」と略称する。）１は、図１に示すように、略めがね型をなす頭部装着部２と、この頭部装着部２と例えば接続手段たるケーブル３を介して接続された本体部たる制御／記録部４と、該カメラ１に係る操作入力を遠隔で行うためのリモートコントロール部（以下では、リモコン部と略称する。）５と、に大別される。
As shown in FIG. 1, the head-mounted camera (hereinafter abbreviated as “camera” as appropriate) 1 includes a head-mounted
上記頭部装着部２は、シースルー表示時に観察対象である被写体を実質的に直接観察することが可能であるとともに、該被写体の撮像も行うことができるように構成されたものである。この頭部装着部２は、形状が略めがね型をなすことで分かるように、視度補正用の一般的な眼鏡とほぼ同様にして頭部に装着し用いるものとなっており、重量やサイズ等も通常の眼鏡に極力近似するように小型軽量化が図られている。
The head-mounted
上記ケーブル３は、一端側に設けられた接続端子３ａを頭部装着部２のケーブル接続端子３２（図２等参照）と接続し、他端側に設けられた接続端子３ｂを制御／記録部４のケーブル接続端子４９（図６参照）と接続することにより、これら頭部装着部２と制御／記録部４とを接続するようになっている。なお、ここでは、頭部装着部２と制御／記録部４とを電気的に接続する接続手段として、有線でなるケーブル３を用いているが、これに限らず、例えば無線で互いに通信する手段を用いても構わない。
The
上記制御／記録部４は、画像データ記録手段、生体情報記録手段、処理手段、パララックス補正手段、演算手段、危険防止手段、相対速度検出手段、相対速度距離検出手段、歩行検出手段、角膜反射光検出手段、領域設定手段、最小値検出手段、瞳孔検出手段、視線方向演算手段を兼ねたものであり、このカメラ１全体の制御を行うとともに、上記頭部装着部２により撮像された画像の記録を行い、さらに記録後の画像を編集するための画像編集装置としても機能し得るように構成されたものである。この制御／記録部４は、腰のベルト等に取り付けた状態、あるいは上着の内ポケット等に収納した状態、などの各種の状態で使用することができるように、やはり可能な範囲内での小型軽量化が図られたものとなっている。もちろん、ケーブル３として長いものを用いるなどにより、この制御／記録部４をカバンなどに収納した状態で使用することも可能である。
The control /
上記リモコン部５は、上記頭部装着部２のシースルー表示の制御や撮影動作の制御などの比較的頻繁に行われる操作を、撮影者が遠隔操作により手元で行うためのものである。従って、このリモコン部５は、例えば片手の掌に収まる程度の小型な大きさで、かつ軽量となるように構成されており、上記制御／記録部４に対して例えば無線で通信を行うようになっている。
The
これらの頭部装着部２と制御／記録部４とリモコン部５とは、本実施例では互いに別体として構成されており、これにより、頭部装着部２を小型軽量化することによる装着感の向上、リモコン部５の採用による操作性の向上、などを図るようにしている。
The
次に、図２から図４を参照して、頭部装着部２の外観および概要について説明する。図２は頭部装着部を示す正面図、図３は頭部装着部を示す平面図、図４は頭部装着部を示す右側面図である。
Next, with reference to FIGS. 2 to 4, the appearance and outline of the
この頭部装着部２は、一般的な眼鏡におけるレンズ、リム、ブリッジ、智などに相当する部分であるフロント部１１と、このフロント部１１の左右両側から後方（被写体と反対側）に向けて各延設されており該フロント部１１に対して折り畳み可能となっているテンプル部１２と、を有して構成されている。
The
上記フロント部１１は、画像表示用の光学系の一部や視線方向検出用の光学系の一部や電気回路等を内蔵する保持手段たるフレーム部１３を有して構成されている。
The
このフレーム部１３は、略中央部に被写体までの距離を測定するために用いられる測距手段たる投光用発光部１６が、左右両側部に被写体側からの音声をステレオで収録するための第１マイク１７および第２マイク１８が、それぞれ設けられている。
The
さらに、上記フレーム部１３には、左右両眼に各対応するように導光部材たる透明光学部材１４，１５が取り付けられている。これらの透明光学部材１４，１５の内の、一方である透明光学部材１４は後述するように視線方向を検出するために用いられ、他方である透明光学部材１５は後述するように画像を表示するために用いられるようになっている。そして、これらの透明光学部材１４，１５は、それぞれの機能を果たすために必要な最小限の大きさとなるように形成されている。
Further, transparent
上記透明光学部材１４には、ＨＯＥ（Holographic Optical Element：ホログラフィー光学素子）２４とハーフミラー１２８とＨＯＥ１２９とがそれぞれ配設されており、上記透明光学部材１５にはコンバイナとしてのＨＯＥ２５が配設されている。各光学系の詳細については後述する。
The transparent
加えて、上記フレーム部１３には、上記透明光学部材１４，１５の被写体側に位置するように、視度調整のためのレンズ２１，２２がそれぞれ着脱可能に取り付けられるようになっている。
In addition,
すなわち、フレーム部１３には、上記レンズ２１，２２を取り付けるための取付手段たるリム２０が、例えば中央側と、左眼の左横側と、右眼の右横側と、でそれぞれビス２８により取り付けられるようになっている。
That is, a
このリム２０には、鼻梁を左右から支持することにより、鼻梁に対してこの頭部装着部２を載置するための一対の鼻パッド１９が、一対のクリングス２３を介して設けられている。
The
このような構成において、上記ビス２８を外すことにより、リム２０およびレンズ２１，２２を容易に取り外すことができるようになっており、また、レンズ２１，２２を他の視度に対応するものに交換して、再び取り付けることも容易となっている。
In such a configuration, the
このとき、リム２０を所定以上の弾力性のある素材により形成すれば、１つのビス２８を外すかまたは緩めるだけで、左眼用のレンズ２１または右眼用のレンズ２２の一方のみを選択的に（独立して）着脱することができて利便性が高まる。
At this time, if the
このように、この頭部装着型カメラは、視度調整用レンズ付頭部装着型カメラであって、画像を表示する機能に着目すれば、視度調整用レンズ付頭部装着型表示装置を兼ねたものとなっている。 As described above, this head-mounted camera is a head-mounted camera with a diopter adjusting lens. If attention is paid to the function of displaying an image, the head-mounted display device with a diopter adjusting lens is It has also become a thing.
なお、上記視度調整用のレンズ２１，２２は、一般的な眼鏡に用いられるレンズを利用することも可能であり、安価に構成することが可能となっている。
The
また、上述では、視度調整用のレンズ２１，２２を透明光学部材１４，１５の被写体側に配設したが、これに限らず、透明光学部材１４，１５の背面側（眼の側）に配設することも勿論可能である。
Further, in the above description, the
さらに、フレーム部１３の左眼側（つまり、図２や図３における右側）の側面の継手２９には、被写体像を撮像するための撮像手段であり測距手段も兼ねた撮像部３０が、台座３３を介して、撮影方向を調節可能に固定されるようになっている。
Furthermore, an
この台座３３は、ビス３４，３５により上記継手２９に対して取り付けられ、ビス３６，３７を介して自己の上に上記撮像部３０を取り付けるように構成されている。該台座３３を介して、撮像部３０の上記フロント部１１に対する相対的な角度を調整することにより、後述するように、該撮像部３０に含まれる撮影光学系３１（図１１等も参照）の光軸と視軸とを調整することができるようになっている。このような構成における撮像部３０の取付位置の調整については、後で図１９、図２０を参照して説明する。
The
上記撮像部３０の下端側には、上記ケーブル３の一端側の接続端子３ａを接続するためのケーブル接続端子３２が設けられている。
A
そして、上記撮像部３０の背面側からは、ケーブル３８が一旦延出されて、左眼側のテンプル部１２の下側を潜った後に、上記フレーム部１３に接続されている。これにより、フレーム部１３内の電気回路と、撮像部３０内の電気回路とが互いに接続されている。
A
上記テンプル部１２は、丁番７８，７９を用いて上記フロント部１１と接続されていて、これにより該フロント部１１に対して折り畳み可能となっている。すなわち、非使用時には、テンプル部１２をフロント部１１の中央部に向けて折り曲げ、該フロント部１１に沿って折り畳まれた位置を取らせることができるために、小型化して収納や運搬を便利に行うことが可能となっている。また、左右の各テンプル部１２の先端部には、耳にかけるための先セルモダン２６がそれぞれ設けられている。
The
右眼側のテンプル部１２には、後述する角速度センサ１４１，１４２（図１１参照）などの、この頭部装着部２に係る各種の電子回路を収納するための収納部２７が設けられている。この収納部２７の例えば上面には、画像のシースルー表示を強制的に禁止するための危険防止操作手段たるスイッチ３９が外部から所望に操作可能となるように配設されている。そして、該収納部２７からは、ケーブル２７ａが延設されて、上記フレーム部１３内の各回路に接続されており、さらには上記撮像部３０内の回路を介して、上記制御／記録部４の回路と接続されるようになっている。
The
次に、図５から図９を参照して、制御／記録部４の外観および概要について説明する。図５は操作パネルを閉じた状態の制御／記録部を示す平面図、図６は操作パネルを閉じた状態の制御／記録部を示す右側面図、図７は操作パネルを閉じた状態の制御／記録部を示す左側面図、図８は操作パネルに配置された操作スイッチ類を示す平面図、図９は操作パネルを開いた状態の制御／記録部を示す斜視図である。
Next, the external appearance and outline of the control /
この制御／記録部４は、制御／記録本体部４１と、この制御／記録本体部４１に対してヒンジ４３を介して開閉自在に設けられた操作パネル４２と、を有して構成されている。
The control /
上記制御／記録本体部４１は、後述するような各回路を内蔵するとともに、上記操作パネル４２を開いたときに観察可能となる位置に液晶モニタとして構成された表示手段であるＬＣＤ表示素子（以下、「ＬＣＤ」と省略する。）４８が配設されたものとなっている。このＬＣＤ４８は、再生時に画像を表示するのに用いられる他に、各種のモードを設定するためのメニュー画面等の表示にも用いられるようになっている。さらに、この制御／記録本体部４１には、上記操作パネル４２を開閉する際に指先等を掛け易いように、凹部４５が形成されている。
The control / recording
また、この制御／記録本体部４１の右側面には、図６に示すように、ヒンジ４６により該制御／記録本体部４１に対して開閉自在となる蓋５２が設けられており、該蓋５２の係止部５２ａを制御／記録本体部４１側の被係止部５２ｂに係止させることで、閉じ状態が保たれるようになっている。この蓋５２を開くと、該図６に示すように、上記ケーブル３を介して頭部装着部２のケーブル接続端子３２と接続されるようになされたケーブル接続端子４９と、テレビと接続するための端子であるＡＶ／Ｓ接続端子５０と、パーソナルコンピュータ（ＰＣ）と接続するための端子であるＰＣ接続端子５１と、が露呈する。このように、コード類は、制御／記録本体部４１の右側面において、まとめて接続されるようになっており、他の面からコード類が延出することがなく、コードを取り回すときの煩わしさを軽減することができるようになっている。
Further, as shown in FIG. 6, a
一方、制御／記録本体部４１の左側面にも、図７に示すように、ヒンジ４７により該制御／記録本体部４１に対して開閉自在となる蓋５３が設けられており、該蓋５３の係止部５３ａを制御／記録本体部４１側の被係止部５３ｂに係止させることで、閉じ状態が保たれるようになっている。この蓋５３を開くと、該図７に示すように、カードメモリ等でなる着脱式の記録手段たる記録用メモリ１５７（図１１等参照）を挿入するための記録用メモリ挿入口５４と、電源を供給するためのバッテリを着脱自在に挿入するためのバッテリ挿入口５５と、が露呈するようになっている。
On the other hand, as shown in FIG. 7, a
上記操作パネル４２は、閉じた状態でも外部に露呈する外面側に図５に示すように電源スイッチ４４が配設されていて、さらに、開いた状態でのみ操作可能に露呈する内面側に、図８に示すような各種の操作スイッチ類が配置されている。
As shown in FIG. 5, the
すなわち、操作パネル４２の内面側には、音声を再生するためのスピーカ５６と、このスピーカ５６から発生される音声のボリュームを大きくするためのスイッチ５７と、該ボリュームを小さくするためのスイッチ５８と、上記記録用メモリ１５７に記録された画像情報を再生したり一時停止したりするための再生／停止スイッチ５９と、画像を逆方向に早送りしてサーチするためのスイッチ６１と、画像を順方向に早送りしてサーチするためのスイッチ６２と、カメラ１に係る各種の機能や日付などを設定するためのメニュー画面を上記ＬＣＤ４８に表示するためのメニューボタン６３と、該メニュー画面に表示されている各項目の内の着目項目を上、下、左、右の各方向へ移動したり表示情報をスクロールしたりするためのメニュー選択スイッチ６６，６７，６８，６９と、表示されている着目項目等を確定するための確定スイッチ６５と、が配設されている。
That is, on the inner surface side of the
なお、後述するような視線方向検出のキャリブレーションモードに関する設定などの、通常使用しない特殊なモードの設定は、上記メニューボタン６３を操作して所定のメニューを選択することにより行うようになっている。
It should be noted that special mode settings that are not normally used, such as settings relating to the gaze direction detection calibration mode described later, are performed by operating the
このように、操作パネル４２に配置されたスイッチ類は、主に、撮影動作の際に変更する頻度が比較的低い情報を設定するためのスイッチ類となっている。
As described above, the switches arranged on the
続いて、図１０を参照して、リモコン部５の外観および概要について説明する。図１０はリモコン部の構成を示す平面図である。
Next, the external appearance and outline of the
このリモコン部５は、上述したように、撮影動作の際に比較的高い頻度で情報を変更するためのスイッチ類が配置されたものとなっていて、図１０に示すように、ＦＡ／Ａ／Ｍスイッチ７１と、Ｆ／Ｖスイッチ７２と、レリーズスイッチ（ＲＥＬ）７３と、録画スイッチ（ＲＥＣ）７４と、ズームスイッチ７５と、露出補正スイッチ７６と、を有して構成されている。
As described above, the
上記ＦＡ／Ａ／Ｍスイッチ７１は、切換手段であって、所定の焦点距離以上の望遠撮影時に撮影範囲を示す撮影画枠に対応する撮影画像を拡大して電子ビューとしてシースルー表示する動作を、全自動（ＦＡ：フルオートモード）で行うか、自動（Ａ：オートモード）で行うか、手動（Ｍ：マニュアルモード）で行うか、を切り替えるためものである。
The FA / A /
上記Ｆ／Ｖスイッチ７２は、切換手段であって、上記透明光学部材１５におけるシースルー表示を、撮影範囲を示す撮影画枠（Ｆ）にするか、あるいは撮像部３０からの撮影画像（Ｖ）（電子ビュー）にするか、を切り替えるためのものである。
The F /
上記レリーズスイッチ（ＲＥＬ）７３は、動画に比して高精細な静止画の撮影を開始するためのものである。 The release switch (REL) 73 is for starting to capture a still image with higher definition than a moving image.
上記録画スイッチ（ＲＥＣ）７４は、動画の録画開始と録画停止とを押される毎に切り替えるためのものである。 The recording switch (REC) 74 is for switching each time a moving image recording start and a recording stop are pressed.
上記ズームスイッチ７５は、撮影画枠設定手段であって、上記撮影光学系３１を含む撮像部３０のズーム（光学ズームおよび／または電子ズーム）を、望遠（Ｔ：テレ）側に行うためのテレスイッチ７５ａと、広角（Ｗ：ワイド）側に行うためのワイドスイッチ７５ｂと、を含んで構成されている。
The
上記露出補正スイッチ７６は、撮影される画像の露出補正をマイナス側に行うためのマイナス露出補正スイッチ７６ａと、該露出補正をプラス側に行うためのプラス露出補正スイッチ７６ｂと、を含んで構成されている。
The
なお、上記撮影光学系３１のズーム動作と、観察者でもある撮影者から観察する撮影画枠の視角の変更と、は連動して行われるように構成されているために、上記ズームスイッチ７５は、撮影者から観察する撮影画枠の視角を縮小するためのテレスイッチ７５ａと、該視角を拡大するためのワイドスイッチ７５ｂと、を有するものであると言い換えることもできる。
Since the zoom operation of the photographic
また、「撮影画枠」とは、上記撮像部３０により撮影される被写体の範囲を表す指標である（図２１等参照）。 Further, the “shooting image frame” is an index representing the range of the subject shot by the imaging unit 30 (see FIG. 21 and the like).
図１１は頭部装着型カメラの主として電子回路に係る構成を示すブロック図である。 FIG. 11 is a block diagram showing a configuration mainly related to an electronic circuit of the head-mounted camera.
このカメラ１の構成は、上述したように、撮像機能を有する頭部装着部２と、この頭部装着部２により撮影された画像を記録する機能を備えると共に当該カメラ１全体の制御を行う機能を備えた制御／記録部４と、該カメラ１を遠隔操作するためのリモコン部５と、に大別される。これらの内でも上記頭部装着部２は、さらに、撮像を行うための撮像手段たる撮像部３０と、主としてシースルー表示を行うための表示手段であり危険防止手段も兼ねたシースルー画像表示部６と、撮影者の視線方向を検出したり撮影者の頭部の動きに伴う角速度を検出したりするための生体情報検出手段であり視線方向検出手段と角速度検出手段とを兼ねた視線方向／角速度検出部７と、に分けられる。これら撮像部３０とシースルー画像表示部６と視線方向／角速度検出部７とは、何れも、上記ケーブル３を介して、上記制御／記録部４と接続されるようになっている。
As described above, the configuration of the
上記シースルー画像表示部６は、ＬＥＤドライバ１１２と、ＬＥＤ１１３と、集光レンズ１１４と、ＬＣＤ１１５と、ＬＣＤドライバ１１７と、ＨＯＥ１１６と、ＨＯＥ２５と、投光用ＬＥＤ１６ａと、ＬＥＤドライバ１１８と、集光レンズ１６ｂと、上記スイッチ３９と、第４ＣＰＵ１１１と、を有して構成されている。このシースルー画像表示部６は、本実施例においては、観察者の片方の眼（ここでは、具体例として右眼）側にのみ配設されている。従って、観察者は、シースルー画像を、該片眼側のみで観察するようになっている。
The see-through
上記ＬＥＤドライバ１１２は、上記第４ＣＰＵ１１１の制御に基づき上記ＬＥＤ１１３を発光させるものである。
The
上記ＬＥＤ１１３は、発光源であって投影手段を構成するものであり、上記ＬＥＤドライバ１１２により駆動されて光を発光するようになっている。このＬＥＤ１１３は、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色の光をそれぞれ発光可能なダイオードを含んで構成されている。
The
上記集光レンズ１１４は、上記投影手段を構成するものであって、このＬＥＤ１１３により発光された光を集光するものである。
The condensing
上記ＬＣＤ１１５は、上記投影手段を構成するものであって、上記撮影画枠や撮影された映像などを表示するためのものであり、上記集光レンズ１１４を介したＬＥＤ１１３の光により背面側から照明される透過型の液晶表示手段となっている。
The
上記ＬＣＤドライバ１１７は、上記第４ＣＰＵ１１１の制御に基づいて、ＬＣＤ１１５を駆動して撮影画枠等を表示させるものであり、後述するようなパララックスを補正するための補正手段も兼ねている。
The
上記ＨＯＥ１１６は、上記ＬＣＤ１１５を介して射出される光を、後述するように収差を補正しながら鉛直下方（図１３、図１４参照）へ向けて反射する反射光学部材である。
The
上記ＨＯＥ２５は、反射型コンバイナとしての機能を果たすものであり、上記ＨＯＥ１１６からの光を撮影者の眼へ向けて反射し回折させることにより、上記ＬＣＤ１１５に表示された撮影画枠等を観察可能に投影するとともに、外界光を撮影者の眼へ向けて透過させ得るように構成されたコンバイナである。なお、この実施例１のＨＯＥ２５は、最小限の大きさとなるように構成された上記透明光学部材１５に合わせて、同様に、最小限の大きさとなるように構成されている。
The
上記投光用ＬＥＤ１６ａは、上記測距を行うための上記投光用発光部１６に含まれていて、測距用の光を発光する発光源である。
The light projecting LED 16a is included in the light projecting
上記集光レンズ１６ｂは、上記投光用ＬＥＤ１６ａにより発光された測距用の光を、被写体に向けて投影するためのものである。 The condensing lens 16b is for projecting the distance measuring light emitted from the light projecting LED 16a toward the subject.
上記ＬＥＤドライバ１１８は、上記第４ＣＰＵ１１１の制御に基づいて、上記投光用ＬＥＤ１６ａを駆動するためのものである。
The
上記スイッチ３９は、上記第４ＣＰＵ１１１に接続されていて、該スイッチ３９が閉じたことが第４ＣＰＵ１１１により検出されると、該第４ＣＰＵ１１１がこのシースルー画像表示部６の表示を禁止するようになっている。このカメラ１は、撮影動作にとらわれることなく通常の行動をしながら撮影することが可能となるように構成されたものであるために、例えば、歩行時や車の運転時にも使用してしまいがちである。しかし、撮影者がこのような状態にあるときにシースルー表示がされると、その表示に気をとられることもあり得る。従って、これを未然に防止するために、スイッチ３９を設けて、シースルー表示を禁止することができるようにしている。なお、このときには表示は禁止されるが、撮影自体は継続することが可能となっている。
The
上記第４ＣＰＵ１１１は、制御手段であって、このシースルー画像表示部６内の各回路を制御するものであり、上記撮像部３０の後述する第３ＣＰＵ１０３と双方向に接続されて連携を取りながら、制御動作を行うようになっている。
The
このようなシースルー画像表示部６の作用は、ほぼ次のようになっている。
The operation of the see-through
第４ＣＰＵ１１１は、ＬＥＤドライバ１１２を介してＬＥＤ１１３を発光させる。
The
ＬＥＤ１１３から発光された光は、集光レンズ１１４により集光されて、ＬＣＤ１１５を背面から照明する。
The light emitted from the
ＬＥＤ１１３は、撮影画枠を表示する場合には、上記Ｒ（赤），Ｇ（緑），Ｂ（青）の３色の光を発光させるダイオードの内の、例えばＧ（緑）のダイオードのみを発光させる。
The
第４ＣＰＵ１１１が撮影範囲を示す撮影画枠に対応する信号を生成してＬＣＤドライバ１１７へ転送するとともに、発光を行わせる制御信号をＬＥＤドライバ１１２へ転送すると、ＬＣＤドライバ１１７が、該信号に基づきＬＣＤ１１５を駆動して撮影画枠を表示面上に表示させるとともに、ＬＥＤ１１３が発光して該ＬＣＤ１１５を背面側から照明する。
When the
こうして照明されたＬＣＤ１１５から投影される上記撮影画枠の映像は、収差を補正されながらＨＯＥ１１６により鉛直下方に反射され、ＨＯＥ２５に投影される。
The image of the photographic image frame projected from the
ＨＯＥ２５は、上記ＨＯＥ１１６からの光線を、撮影者の眼へ向けて反射する。これにより、撮影者は、撮影範囲を示す撮影画枠を虚像として観察することができる。
The
一方、測距を行う場合には、第４ＣＰＵ１１１が、測距用の発光を行わせる制御信号をＬＥＤドライバ１１８へ転送する。
On the other hand, in the case of performing distance measurement, the
ＬＥＤドライバ１１８は、上記制御信号を受けると、投光用ＬＥＤ１６ａを発光させる。この投光用ＬＥＤ１６ａにより発光された測距用の光は、上記集光レンズ１６ｂにより平行光に変換されて、被写体へ向けて投光される。
Upon receiving the control signal, the
こうして投光された照明光は、被写体により反射され、該反射光が上記撮像部３０により受光されて、後述するように測距演算が行われることになる。
The illumination light thus projected is reflected by the subject, the reflected light is received by the
次に、上記視線方向／角速度検出部７は、上記シースルー画像表示部６が配設されているのとは反対側の片眼（ここでは、具体例として左眼）側に配設されるようになっている。この視線方向／角速度検出部７は、視線方向検出装置として機能する視線方向検出部と、角速度検出装置として機能する角速度検出部と、に大別される。
Next, the line-of-sight direction / angular
上記視線方向検出部は、視線方向検出手段であって、ＬＥＤドライバ１２４と、ＬＥＤ１２５と、集光レンズ１２６と、反射ミラー１２７と、ハーフミラー１２８と、ＨＯＥ２４と、ＨＯＥ１２９と、反射ミラー１３１と、結像レンズ１３２と、バンドパスフィルタ１３３と、ＣＣＤ１３４と、ＣＣＤドライバ１３５と、ＣＤＳ／ＡＧＣ回路１３６と、Ａ／Ｄ変換回路１３７と、ＴＧ１３８と、を有して構成されている。これらの内のＬＥＤドライバ１２４、ＬＥＤ１２５、集光レンズ１２６、反射ミラー１２７、およびＨＯＥ２４は、観察者の眼へ赤外平行光束を投光するための赤外光投影手段たる投光系を構成している。また、上述した内のＨＯＥ２４、ハーフミラー１２８、ＨＯＥ１２９、反射ミラー１３１、結像レンズ１３２、バンドパスフィルタ１３３、およびＣＣＤ１３４は、観察者の眼から反射された光束を受光するための受光系を構成している。
The line-of-sight direction detection unit is a line-of-sight direction detection unit, and includes an
また、上記角速度検出部は、角速度検出手段であって、角速度センサ１４１，１４２と、増幅器１４３，１４４と、Ａ／Ｄ変換回路１４５と、を有して構成されている。
The angular velocity detection unit is angular velocity detection means, and includes angular velocity sensors 141 and 142,
そして、これら視線方向検出部と角速度検出部とを含む視線方向／角速度検出部７全体を制御するためのものとして、第２ＣＰＵ１２１が設けられている。
The
上記ＬＥＤドライバ１２４は、上記第２ＣＰＵ１２１の制御に基づいて、上記ＬＥＤ１２５を駆動するためのものである。
The
上記ＬＥＤ１２５は、ＬＥＤドライバ１２４により駆動されて、視線方向検出用の赤外光を発光する赤外発光ダイオードである。
The
上記集光レンズ１２６は、ＬＥＤ１２５により発光された赤外光を、平行光束に変換するものである。
The condensing
上記反射ミラー１２７は、集光レンズ１２６により平行光束に変換された赤外光を、鉛直下方（図１５、図１６参照）へ向けて反射する反射光学部材である。
The
上記ハーフミラー１２８は、上記反射ミラー１２７からの赤外光を上記ＨＯＥ２４側へ透過させると共に、該ＨＯＥ２４からの光を水平方向へ反射するものである。
The
上記ＨＯＥ２４は、ハーフミラー１２８を透過してきた赤外光を観察者の眼へ向けて反射するとともに、該観察者の眼からの光を該ハーフミラー１２８へ向けて反射するものである。なお、この実施例１のＨＯＥ２４は、最小限の大きさとなるように構成された上記透明光学部材１４に合わせて、同様に、最小限の大きさとなるように構成されている。このＨＯＥ２４は、赤外域における狭い所定の帯域についての波長選択性を有しており、選択された帯域の赤外光のみについては高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示すものとなっている。このようにＨＯＥ２４は、上記シースルー画像表示部６のＨＯＥ２５とは全く異なる帯域の波長選択機能を有するものであるが、全体的な視感透過特性（あるいは、平均的な視感透過特性）については該ＨＯＥ２５とほぼ同様となっている。このように、左右の眼に対して平均的に同様の視感透過特性を有する光学素子を配置することにより、違和感を感じることがなく、かつ長時間使用しても眼の疲れを少なくすることができる。
The
上記ＨＯＥ１２９は、上記ＨＯＥ２４とハーフミラー１２８とにより導かれた観察者の眼からの光束を、鉛直上方へ向けて反射するものある。このＨＯＥ１２９は、上記ＨＯＥ２４と同じ波長選択性を有するものとなっている。従って、このＨＯＥ１２９を介することにより、観察者の眼側から入射する光束の内の、上記所定の帯域に含まれる赤外光以外の波長の光線をカットする（つまり、反射することなく透過してしまう。）ことができるようになっている。こうして、後述するようなプルキンエ像を、他の波長域の光線によるノイズの影響を軽減しながら、より高い精度で検出することが可能となっている。なお、光学素子としてＨＯＥ１２９を用いることにより、波長選択性が高まるという利点があるだけでなく、赤外光以外に対して透過性を有しているために、透明光学部材１４内に配設しても目立ち難いという利点もある。
The
上記反射ミラー１３１は、上記ＨＯＥ１２９からの光束を水平方向に反射するものである。
The
上記結像レンズ１３２は、上記反射ミラー１３１により反射された光束を、上記ＣＣＤ１３４の撮像面上に結像するためのものである。
The
上記バンドパスフィルタ１３３は、上記結像レンズ１３２により結像される光束の内の、上記所定の帯域の赤外光のみを透過するものである。上述したように、上記ＨＯＥ１２９により既に帯域の制限が行われているが、該ＨＯＥ１２９を透明光学部材１４内に配置した場合には、さらに他の可視光等が混入する可能性があるために、このバンドパスフィルタ１３３により再度帯域の制限を行うようにしている。こうして、ＣＣＤ１３４の前面側にバンドパスフィルタ１３３を設けることにより、外光ノイズによる影響をさらに軽減することが可能となっている。
The
上記ＣＣＤ１３４は、二次元の光電変換手段であって、撮像面が２次元となった撮像素子として構成されており、上述したように結像された観察者の眼の像を光電変換して、電気信号として出力するものである。このＣＣＤ１３４の出力に基づいて、プルキンエ像の位置と瞳孔中心の位置とが後述するように求められ、これらの相対的な位置関係に基づいて視線方向が算出されるようになっている。
The
上記ＣＣＤドライバ１３５は、上記第２ＣＰＵ１２１の制御に基づいて、上記ＣＣＤ１３４を駆動するためのものである。
The
上記ＣＤＳ／ＡＧＣ回路１３６は、上記ＣＣＤ１３４から出力される映像信号に、ノイズ除去や増幅の処理を行うものである。
The CDS /
上記ＴＧ１３８は、上記第２ＣＰＵ１２１の制御に基づいて、上記ＣＣＤドライバ１３５と、上記ＣＤＳ／ＡＧＣ回路１３６とへ、連係して動作を行わせるためのタイミング信号をそれぞれ供給するものである。
The TG 138 supplies timing signals for operating the
上記Ａ／Ｄ変換回路１３７は、上記ＣＤＳ／ＡＧＣ回路１３６から出力されるアナログの映像信号をデジタルの映像信号に変換するものである。このＡ／Ｄ変換回路１３７により変換されたデジタルの映像信号は、上記撮像部３０の後述する多重化回路１０４へ出力されるようになっている。
The A /
上記角速度センサ１４１，１４２は、上述したように収納部２７内に格納されており、互いに独立した方向（例えばヨー方向とピッチ方向）の角速度を検出するためのものである。
The angular velocity sensors 141 and 142 are stored in the
上記増幅器１４３，１４４は、上記角速度センサ１４１，１４２の出力をそれぞれ増幅するためのものである。
The
上記Ａ／Ｄ変換回路１４５は、上記増幅器１４３，１４４によりそれぞれ増幅された角速度センサ１４１，１４２からのアナログ信号を、デジタルデータへそれぞれ変換するものである。このＡ／Ｄ変換回路１４５により変換されたデジタルデータは、上記第２ＣＰＵ１２１へ出力されるようになっている。
The A /
上記第２ＣＰＵ１２１は、制御手段であって、この視線方向／角速度検出部７内の各回路を制御するものであり、上記撮像部３０の後述する第３ＣＰＵ１０３と双方向に接続されて連携を取りながら、制御動作を行うようになっている。この第２ＣＰＵ１２１は、メモリとして機能するＲＡＭ１２２と、時間を計測するためのタイマ１２３と、を内部に有して構成されている。
The
このような視線方向／角速度検出部７の動作原理や作用等については、後で他の図面を参照して説明する。
The operation principle, action, and the like of the line-of-sight direction / angular
上記撮像部３０は、撮影光学系３１と、ローパスフィルタ８６と、ＣＣＤ８７と、ＣＤＳ／ＡＧＣ回路８８と、Ａ／Ｄ変換回路８９と、ＴＧ（タイミングジェネレータ）９０と、ＣＣＤドライバ９１と、ＵＳＭドライバ９５と、絞りシャッタドライバ９６と、ＡＥ処理回路９７と、ＡＦ処理回路９８と、上記第１マイク１７と、上記第２マイク１８と、増幅回路９９と、増幅回路１００と、Ａ／Ｄ変換回路１０１と、ＥＥＰＲＯＭ１０２と、多重化回路１０４と、第３ＣＰＵ１０３と、を有して構成されている。
The
上記撮影光学系３１は、光学的な被写体像を結像するためのものであり、焦点距離可変なズーム光学系として構成されている。
The photographing
上記ローパスフィルタ８６は、この撮影光学系３１を通過した光束から不要な高周波成分を取り除くためのものである。
The low-
ＣＣＤ８７は、撮像素子であって、このローパスフィルタ８６を介して上記撮影光学系３１により結像された光学的な被写体像を電気的な信号に変換して出力するものである。
The
上記ＣＤＳ／ＡＧＣ回路８８は、信号処理手段であって、このＣＣＤ８７から出力される信号に後述するようなノイズ除去や増幅の処理を行うものである。
The CDS / AGC circuit 88 is a signal processing means for performing noise removal and amplification processing as will be described later on the signal output from the
上記Ａ／Ｄ変換回路８９は、信号処理手段であって、このＣＤＳ／ＡＧＣ回路８８から出力されるアナログの画像信号をデジタルの画像信号に変換するものである。
The A /
上記ＣＣＤドライバ９１は、上記ＣＣＤ８７を制御して駆動するためのものである。
The CCD driver 91 is for controlling and driving the
上記ＴＧ（タイミングジェネレータ）９０は、上記ＣＤＳ／ＡＧＣ回路８８，Ａ／Ｄ変換回路８９，ＣＣＤドライバ９１に、タイミングを制御するための信号をそれぞれ供給するものである。このＴＧ９０は、上記視線方向／角速度検出部７の第２ＣＰＵ１２１と双方向に接続されて、制御されるようになっている。
The TG (timing generator) 90 supplies signals for controlling the timing to the CDS / AGC circuit 88, the A /
上記ＵＳＭドライバ９５は、上記撮影光学系３１に含まれる後述するＵＳＭ（Ultra Sonic Motor：超音波モータ）９２，９３，９４を選択的に駆動するための駆動回路である。このＵＳＭドライバ９５も、上記視線方向／角速度検出部７の第２ＣＰＵ１２１により制御されるようになっている。
The
上記絞りシャッタドライバ９６は、上記撮影光学系３１に含まれる後述する絞りシャッタ８４を制御して駆動するための駆動回路である。この絞りシャッタドライバ９６は、上記視線方向／角速度検出部７の第２ＣＰＵ１２１により制御されるようになっている。
The
上記ＡＥ処理回路９７は、上記Ａ／Ｄ変換回路８９の出力に基づいて、露出制御用の算出を行うオート露出処理回路であり、演算結果を上記第３ＣＰＵ１０３へ出力するようになっている。
The AE processing circuit 97 is an auto exposure processing circuit that performs calculation for exposure control based on the output of the A /
上記ＡＦ処理回路９８は、上記Ａ／Ｄ変換回路８９の出力に基づいて、オートフォーカス（ＡＦ）制御用の算出を行うオートフォーカス処理回路であり、演算結果を上記第３ＣＰＵ１０３へ出力するものである。
The AF processing circuit 98 is an autofocus processing circuit that performs calculation for autofocus (AF) control based on the output of the A /
上記第１マイク１７および第２マイク１８は、上述したように、被写体側からの音声をステレオで収録するためのものである。
The
上記増幅回路９９および増幅回路１００は、上記第１マイク１７および第２マイク１８から入力された音声信号をそれぞれ増幅するためのものである。
The
上記Ａ／Ｄ変換回路１０１は、上記増幅回路９９および増幅回路１００によりそれぞれ増幅されたアナログの音声信号をデジタルの音声信号に変換して上記第３ＣＰＵ１０３へ出力するものである。
The A /
上記ＥＥＰＲＯＭ１０２は、露出制御やオートフォーカス処理等のための各種補正データがカメラ製造時に記録されたものである。このＥＥＰＲＯＭ１０２に記録されたデータは、上記第３ＣＰＵ１０３により読み出されるようになっている。
The
上記多重化回路１０４は、上記Ａ／Ｄ変換回路８９から出力される映像信号と、上記視角方向／角速度検出部７のＡ／Ｄ変換回路１３７から出力される撮影者の眼に係る映像信号（生体情報の１つ）と、該視角方向／角速度検出部７の第２ＣＰＵ１２１から出力される撮影者の頭部に係る角速度情報（生体情報の１つ）と、上記第３ＣＰＵ１０３を介して出力される音声データとを、該第２ＣＰＵ１２１から出力されるタイマ情報に基づいて、同一時刻に生成された映像信号と生体情報とが互いに関連性をもつように多重化して、上記制御／記録部４へ出力するものである。
The
上記第３ＣＰＵ１０３は、この撮像部３０内の各回路を制御するための制御手段であり、上記シースルー画像表示部６の第４ＣＰＵ１１１や、上記視角方向／角速度検出部７の第２ＣＰＵ１２１と連携を取りながら制御動作を行うようになっている。さらに、この第３ＣＰＵ１０３は、上記制御／記録部４の後述する第１ＣＰＵ１６１と双方向に通信を行って制御されるようになっている。
The
上記撮影光学系３１は、さらに詳しくは、フロントレンズ８１と、バリエータレンズ８２と、コンペンセータレンズ８３と、絞りシャッタ８４と、フォーカスレンズ８５と、ＵＳＭ９２，９３，９４と、を有して構成されている。
More specifically, the photographing
上記フロントレンズ８１は、撮影光学系３１に含まれる複数のレンズの中で最も被写体側に位置するものである。
The front lens 81 is located closest to the subject among the plurality of lenses included in the photographing
上記バリエータレンズ８２は、この撮影光学系３１の焦点距離を変更するためのものである。
The
上記コンペンセータレンズ８３は、上記バリエータレンズ８２により撮影光学系３１の焦点距離を変化させるのに伴うピント位置のずれを、補正するためのものである。
The
上記絞りシャッタ８４は、撮影光学系３１を通過する光束の通過範囲を規定するための絞りの機能と、該光束の通過時間を規定するためのシャッタの機能と、を兼用するものである。
The
上記フォーカスレンズ８５は、この撮影光学系３１のピントを調整するためのものであり、ピントが調整されたときには、上記ＣＣＤ８７に被写体像が合焦して結像される。
The focus lens 85 is for adjusting the focus of the photographic
上記ＵＳＭ９２，９３，９４は、上記バリエータレンズ８２，コンペンセータレンズ８３，フォーカスレンズ８５をそれぞれ駆動するための駆動源である。
The
上記制御／記録部４は、分離回路１５１と、ＤＳＰ回路１５２と、遅延回路１５３と、多重化回路１５４と、メモリ１５５と、圧縮／伸張回路１５６と、記録用メモリ１５７と、Ｄ／Ａ変換回路１５８と、上記ＬＣＤ４８（図１０参照）と、ＬＣＤドライバ１６０と、第１操作スイッチ１６２と、受信回路１６３と、電源回路１６４と、第１ＣＰＵ１６１と、を有して構成されている。
The control /
上記分離回路１５１は、上記多重化回路１０４により伝送された信号を、再び画像データとそれ以外のデータとに分離するものである。該分離回路１５１は、画像データを上記ＤＳＰ回路１５２へ、それ以外のデータを上記遅延回路１５３へ、それぞれ出力するようになっている。
The
上記ＤＳＰ回路１５２は、上記分離回路１５１からの画像データに対して、所定のデジタル信号処理を行うものである。
The
上記遅延回路１５３は、上記ＤＳＰ回路１５２により処理される画像データとの時間的な同期をとるために、上記分離回路１５１から入力されるデータを遅延させるためのものである。
The
上記多重化回路１５４は、上記ＤＳＰ回路１５２により処理された画像データと、上記遅延回路１５３から送信されるデータと、を多重化するものである。
The
上記メモリ１５５は、上記この多重化回路１５４からの信号を一時的に記憶するものであり、例えばフレームバッファ等で構成されている。
The memory 155 temporarily stores the signal from the
上記圧縮／伸張回路１５６は、このメモリ１５５に記憶されているデジタル信号を圧縮するとともに、上記記録用メモリ１５７から読み出した圧縮されたデジタル信号の伸張も行うものである
上記記録用メモリ１５７は、画像データ記録手段と生体情報記録手段とを兼ねたものであって、上記圧縮／伸張回路１５６により圧縮されたデジタル信号を記録するものである。
The compression /
上記Ｄ／Ａ変換回路１５８は、上記メモリ１５５に記憶されているデジタル信号をアナログ信号に変換するものである。 The D / A conversion circuit 158 converts the digital signal stored in the memory 155 into an analog signal.
上記ＬＣＤ４８は、上記Ｄ／Ａ変換回路１５８により変換されたアナログの画像信号に基づき、画像を表示するものである。
The
上記ＬＣＤドライバ１６０は、上記ＬＣＤ４８を制御して駆動するためのものである。
The
上記第１操作スイッチ１６２は、当該カメラ１に係る各種の操作入力を行うためのものであり、上記図８に示したような各スイッチ類を含んで構成されている。
The
上記受信回路１６３は、上記リモコン部５の後述する送信回路１７３からの信号を受信するためのものである。
The receiving
上記電源回路１６４は、例えば着脱式となるように構成されたバッテリ等を含み、この制御／記録部４へ電源を供給するように構成されているだけでなく、上記頭部装着部２へも電源を供給することができるように構成されている。
The
上記第１ＣＰＵ１６１は、このカメラ１に係る統合的な制御手段であって、この制御／記録部４内の各回路を制御するとともに、上記第３ＣＰＵ１０３と通信を行うことにより上記頭部装着部２の制御も行うように構成されたものである。
The first CPU 161 is an integrated control unit related to the
そして、上記リモコン部５は、第２操作スイッチ１７１と、デコーダ１７２と、送信回路１７３と、電源回路１７４と、を有して構成されている。
The
上記第２操作スイッチ１７１は、上記図１０に示したようなスイッチ類を含んで構成されたものである。 The second operation switch 171 includes switches as shown in FIG.
上記デコーダ１７２は、この第２操作スイッチ１７１からの操作入力を無線送信用の信号へ符号化するためのものである。 The decoder 172 is for encoding the operation input from the second operation switch 171 into a signal for wireless transmission.
上記送信回路１７３は、このデコーダ１７２により符号化された信号を上記制御／記録部４の受信回路１６３へ送信するためのものである。該制御／記録部４の第１ＣＰＵ１６１は、受信回路１６３により受信した操作スイッチの情報に所定の処理を行って、第３ＣＰＵ１０３を介して頭部装着部２に所定の制御を行うようになっている。
The
上記電源回路１７４は、このリモコン部５内の各回路へ電源を供給するためのものであり、電池等を含んで構成されている。
The power supply circuit 174 is for supplying power to each circuit in the
このようなカメラ１の作用は、ほぼ次のようになっている。
The operation of the
上記撮影光学系３１を通過した光束は、ローパスフィルタ８６を介して、ＣＣＤ８７の撮像面に結像する。
The light beam that has passed through the photographing
上記制御／記録部４の第１操作スイッチ１６２により動画記録の操作が行われるか、または、上記リモコン部５のレリーズスイッチ７３により静止画撮影の操作が行われると、上記ＣＣＤ８７により被写体像が光電変換されて、アナログの画像信号が出力される。
When a moving image recording operation is performed by the
このＣＣＤ８７からの画像信号は、ＣＤＳ／ＡＧＣ回路８８に入力されて、該ＣＤＳ／ＡＧＣ回路８８内のＣＤＳ回路部により公知の相関二重サンプリングなどが行われてリセットノイズが除去されるとともに、該ＣＤＳ／ＡＧＣ回路８８内のＡＧＣ回路部により所定の信号レベルへの増幅が行われて出力される。
The image signal from the
このＣＤＳ／ＡＧＣ回路８８からのアナログの画像信号は、続くＡ／Ｄ変換回路８９によって、デジタルの画像信号（画像データ）に変換される。本実施例においては、このＡ／Ｄ変換回路８９の出力信号をＲＡＷ画像データということにする。すなわち、本実施例におけるＲＡＷ画像データは、ＣＣＤ８７からのアナログ出力信号を最初にＡ／Ｄ変換した直後のデジタルデータとして定義され、他のデジタル信号処理等を施す前のデータとなっている。
The analog image signal from the CDS / AGC circuit 88 is converted into a digital image signal (image data) by the subsequent A /
これらＣＤＳ／ＡＧＣ回路８８、上記Ａ／Ｄ変換回路８９へは、上記ＴＧ９０により生成されたタイミング制御信号が入力されるようになっており、該ＴＧ９０からのタイミング制御信号は、さらに上記ＣＣＤドライバ９１へも入力される。
The timing control signal generated by the TG 90 is inputted to the CDS / AGC circuit 88 and the A /
一方、上記第１マイク１７および第２マイク１８からの出力信号は、増幅回路９９，１００によってそれぞれ増幅された後に、Ａ／Ｄ変換回路１０１により所定のサンプリング周期で時分割的にデジタルデータに変換され、第３ＣＰＵ１０３へ転送される。第３ＣＰＵ１０３は、デジタルデータに変換された音声データを、所定のタイミングで多重化回路１０４に転送する。
On the other hand, the output signals from the
上記Ａ／Ｄ変換回路８９からの出力信号である画像データと、上記第１マイク１７および第２マイク１８からの音声データと、上記視線方向／角速度検出部７からの視線方向データ（視線方向情報）および撮影者の頭部の角速度データと、上記第２ＣＰＵのタイマ１２３により計時されたタイマ情報と、が多重化回路１０４により多重化される。
Image data which is an output signal from the A /
この多重化回路１０４により多重化された信号は、図４２に示すように、上記各データが検出された検出開始時刻が先頭に記録されて、次に上記画像データや音声データ等の各種データがそれぞれ所定の間隔で交互に出力される。この図４２は、多重化回路１０４から出力される信号の時系列的な構成を示す図である。例えば、画像データ、音声データ、角速度データの取り込み周期をそれぞれ１／３０秒とし、視線方向データの取り込み周期を１秒とし、かつ、１秒間のデータを１つのユニットとすると、この単位ユニットには、該図４２に示すように、開始時刻データを先頭にして、画像データ、音声データ、および角速度データの３つを一組とするデータが繰り返し３０組記録され、最後に視線方向データが記録される。なお、この図４２に示したデータの順序は単なる一例であるために、例えば視線方向データを時刻データの直後に記録するようにしてももちろん構わない。
As shown in FIG. 42, the signal multiplexed by the
このようなデジタル化されたデータを含むユニット単位のデータが、複数、上記ケーブル３を介して制御／記録部４へ出力される。
A plurality of unit-unit data including such digitized data is output to the control /
このように、撮像部３０は、ＣＣＤ８７で生成された画像信号のアナログ信号処理を行って、画像データをデジタル信号に変換した後に出力するようになっているために、アナログ信号が該撮像部３０から外部に出力されることがない。従って、上記ケーブル３などを介して画像信号を伝送する際に受ける可能性があると考えられる外来ノイズにも強い構成となっている。
As described above, the
また、撮像部３０は、ＲＡＷ画像データを出力するようになっているために、色分離やホワイトバランス調整等の信号処理回路を該撮像部３０の内部に設ける必要がなく、該撮像部３０が設けられている頭部装着部２の小型軽量化を図ることが可能となっている。
Further, since the
上記多重化回路１０４から制御／記録部４へ伝送された信号は、該制御／記録部４内の分離回路１５１により、画像データとそれ以外のデータとに再び分離される。
The signal transmitted from the
この分離回路１５１により分離された画像データは、ＤＳＰ回路１５２において所定の画像処理演算が行われるとともに、得られた演算結果に基づいて該画像データにオートホワイトバランス処理も行われる。
The image data separated by the
一方、分離回路１５１により分離された画像データ以外のデータ（つまり、視線方向データ、角速度データ、音声データなどを含むデータ）は、遅延回路１５３により上記ＤＳＰ回路１５２で処理される画像データと時間的な同期をとるために遅延される。
On the other hand, data other than the image data separated by the separation circuit 151 (that is, data including line-of-sight direction data, angular velocity data, audio data, etc.) is temporally related to the image data processed by the
上記ＤＳＰ回路１５２からの出力と、上記遅延回路１５３からの出力と、は多重化回路１５４に入力されて、該多重化回路１５４により多重化され、多重化後の信号がメモリ１５５に一時的に記録される。
The output from the
上記メモリ１５５に記録された各種のデータの内の、画像データと音声データとは圧縮／伸張回路１５６に含まれる圧縮回路部により、それぞれ所定のフォーマットで圧縮された後に、記録用メモリ１５７に記録される。
Of the various data recorded in the memory 155, the image data and audio data are each compressed in a predetermined format by the compression circuit unit included in the compression /
一方、上記メモリ１５５に記録された各種のデータの内の、時刻データ、角速度データ、および視線方向データは、記録用メモリ１５７に直接記録される。なお、これらの内の角速度データおよび視線方向データは、公知の可逆圧縮処理を施した後に、記録用メモリ１５７に記録するようにしても良い。
On the other hand, time data, angular velocity data, and line-of-sight direction data out of various data recorded in the memory 155 are directly recorded in the
なお、上記記録用メモリ１５７としては、カードメモリや、ＤＶＤ等のディスクメモリなど、各種の記録媒体を広く適用することができる。また、上述したような各種のデータに係る記録フォーマットの概要については、後で説明する。
As the
また、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などの操作により記録済みの画像が選択されて、上記再生／停止スイッチ５９の操作により再生の指示が行われた場合には、記録用メモリ１５７に記憶されている圧縮されたデータが、圧縮／伸張回路１５６内の伸張回路部により伸張されてメモリ１５５に一時的に記憶され、その画像データがＤ／Ａ変換回路１５８によりアナログの画像信号に変換された後に、ＬＣＤ４８に表示される。このときのＬＣＤ４８の動作は、ＬＣＤドライバ１６０から発生された信号により制御される。
Further, a recorded image is selected by operating the
一方、上記Ａ／Ｄ変換回路８９からのデジタル画像データは、該撮像部３０内のＡＥ処理回路９７とＡＦ処理回路９８とへそれぞれ入力される。
On the other hand, the digital image data from the A /
上記ＡＥ処理回路９７は、１フレーム（１画面）分の画像データの輝度値を算出して重み付け加算する等の処理を行うことにより、被写体の明るさに対応したＡＥ評価値を算出し、算出結果を第３ＣＰＵ１０３を介して第２ＣＰＵ１２１へ出力する。第２ＣＰＵ１２１は、上記ＡＥ評価値に基づいて、ＣＣＤ８７の露光時間の制御や、絞りシャッタ８４の制御を行うようになっている。
The AE processing circuit 97 calculates and calculates the AE evaluation value corresponding to the brightness of the subject by performing processing such as calculating the luminance value of image data for one frame (one screen) and performing weighted addition. The result is output to the
また、ＡＦ処理回路９８は、上記第３ＣＰＵ１０３を介した第２ＣＰＵ１２１の制御に基づいて、１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積加算値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、算出結果を該第３ＣＰＵ１０３を介して第２ＣＰＵ１２１へ出力する。第２ＣＰＵ１２１は、ＡＦ処理回路９８により算出された上記ＡＦ評価値に基づいて、上記ＵＳＭドライバ９５を介して上記フォーカスレンズ８５を駆動し、焦点検出を行って合焦状態を得るようになっている。
Further, the AF processing circuit 98 extracts a high frequency component from the luminance component of the image data for one frame (one screen) using a high-pass filter or the like based on the control of the
上記ＥＥＰＲＯＭ１０２は、露出制御やオートフォーカス処理等に必要な各種補正データがカメラ製造時に記録されたものであり、第２ＣＰＵ１２１は、必要に応じて、このＥＥＰＲＯＭ１０２から第３ＣＰＵ１０３を介して補正データを読み出し、各種の演算を行うようになっている。
The
次に、図１２〜図１４を参照して、シースルー画像表示部６の主として光学的な構成について説明する。図１２はシースルー画像表示部の光学系の原理を説明するための図、図１３はシースルー画像表示部の光学系の構成を示す一部断面を含む正面図、図１４はシースルー画像表示部の光学系の構成を示す左側面図である。
Next, a mainly optical configuration of the see-through
このシースルー画像表示部６は、撮影者が実質的に直接観察している被写体上に、撮影範囲を示す撮影画枠を虚像としてスーパーインポーズ表示することができるようになっており、このような表示を、以下では、シースルー表示と呼ぶことにする。なお、「実質的に直接観察している」とは、肉眼で観察している場合だけでなく、ガラスやプラスチックなどで形成された略平板な透明部材を介して観察している場合や、あるいは視度調整用のレンズを介して観察している場合などを含んでいる。
This see-through
まず、図１２を参照して、この実施例１におけるシースルー画像表示部６の光学系（以下、「シースルー画像表示光学系」という。）によりシースルー画像を表示する原理について説明する。
First, the principle of displaying a see-through image by the optical system of the see-through
ＬＥＤ１１３により発光された光は、集光レンズ１１４により集光されて、ＬＣＤ１１５を背面から照明する。ＬＥＤ１１３は、上述したように、撮影画枠を表示する場合には、例えばＧ（緑）のダイオードのみを発光させる。
The light emitted from the
第４ＣＰＵ１１１は、撮影範囲を示す撮影画枠に対応する信号を生成して、ＬＣＤドライバ１１７へ出力する。ＬＣＤドライバ１１７は、この信号に基づいてＬＣＤ１１５を駆動することにより、該ＬＣＤ１１５に撮影画枠を表示させる。
The
上記ＬＥＤ１１３の光を受けてＬＣＤ１１５から射出された撮影画枠の像は、ＨＯＥ２５によって反射された後に、撮影者の眼に導かれる。こうして、撮影者は、撮影範囲を示す撮影画枠を虚像ＶＩとして観察することができる。なお、この図１２では原理を説明しているために、ＨＯＥ１１６の図示は省略している。
The image of the photographic image frame received from the
ＨＯＥ２５は、フォトポリマーや重クロム酸ゼラチン等の感光材料を使用した体積位相型のホログラフィー光学素子であり、上記ＬＥＤ１１３により発光されるＲ，Ｇ，Ｂの各波長において最大の反射率で光を反射する特性を備えるように設計されている。従って、撮影画枠を表示するときにＧの光を発光させる場合には、グリーンの撮影画枠が虚像としてクリアに表示されることになる。ＨＯＥは、優れた波長選択性を備えており、上述したＲ，Ｇ，Ｂの各波長の光線に対しては極めて狭い波長幅において高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示す。従って、表示光と同じ波長域の外界光は回折反射されて撮影者の瞳に届かないが、それ以外の波長域の外界光は撮影者の瞳に到達する。一般に、可視光は、波長の帯域幅が広いために、Ｒ，Ｇ，Ｂの各波長を含む極めて狭い波長幅の光が到達しなくても、何等支障なく外界像を観察することが可能である。
The
また、このシースルー画像表示部６は、上記撮像部３０により撮像された画像をカラー画像としてシースルー表示することも可能となっており、この場合には、ＬＣＤ１１５に撮像された映像を表示させるとともに、上記ＬＥＤ１１３によりＲ，Ｇ，Ｂ３色の光を発光させれば良い。これにより、撮像された映像が、ＨＯＥ２５から、撮影者の瞳に虚像として到達することになる。
In addition, the see-through
上記ＨＯＥ１１６は、ＬＣＤ１１５からの光をＨＯＥ２５に導くように反射するだけでなく、像面歪曲も補正する機能を備えたものとなっている。なお、ここではＨＯＥ１１６を用いたが、これに代えて、自由曲面の光学素子を用いることも可能である。自由曲面の光学素子は、小型軽量でありながら複雑な収差を補正することができるために、重量をあまり増加させることなく収差の少ないクリアな像を表示することが可能となる。
The
続いて、図１３および図１４を参照して、上記シースルー画像表示光学系の具体的な配置例を説明する。 Subsequently, a specific arrangement example of the see-through image display optical system will be described with reference to FIGS. 13 and 14.
上記フレーム部１３の内部における上記透明光学部材１５の上部となる位置に、上記ＬＥＤ１１３，集光レンズ１１４，ＬＣＤ１１５，ＨＯＥ１１６が図１３に示すように順に配置されている。これらの各部材は、フレーム部１３内に設けられた保持枠により挟み込まれるようにして固定されている。このとき、上記ＬＥＤ１１３は、電気回路基板１８１に実装された状態で、上記保持枠により固定されるようになっている。また、これらの内のＨＯＥ１１６は、上述したように、ＬＥＤ１１３からの光を鉛直下方へ向けて反射するように、傾けて配置されている。
The
上記透明光学部材１５は、図１４に示すように、透明なガラスやプラスチック等により所定の厚みを有するように形成された導光部材１８２，１８３と、これらの導光部材１８２，１８３の間に挟み込まれながら後方へ向けて光を反射するように傾けて配設された上記ＨＯＥ２５と、を有して構成されている。このような構成において、上記ＨＯＥ１１６から反射された光は、ＨＯＥ２５の上側に配置された導光部材１８２の内部を透過して、該ＨＯＥ２５に到達するようになっている。なお、この導光部材１８２の内部における光の伝播は、図１４に示すように透過のみであっても良いが、透過と内面における全反射とを組み合わせたものであっても構わない。透過と全反射とを組み合わせるような光学設計を行った場合には、透明光学部材１５を肉薄にすることが可能となるために、頭部装着部２の軽量化をより一層図ることができる。
As shown in FIG. 14, the transparent
なお、シースルー画像表示光学系は、上述したような各部材の内の、ＬＥＤ１１３と、集光レンズ１１４と、ＬＣＤ１１５と、ＨＯＥ１１６と、ＨＯＥ２５と、導光部材１８２，１８３と、を含むものとなっている。
The see-through image display optical system includes the
次に、図１５、図１６を参照して、視線方向／角速度検出部７における視線方向検出部の光学系の構成の一例について説明する。図１５は視線方向検出部の光学系の一構成例を示す一部断面を含む正面図、図１６は視線方向検出部の光学系の一構成例を示す左側面図である。
Next, an example of the configuration of the optical system of the line-of-sight direction detection unit in the line-of-sight direction / angular
上記フレーム部１３の内部における上記透明光学部材１４の上部となる位置に、上記
ＬＥＤ１２５，集光レンズ１２６，反射ミラー１２７，反射ミラー１３１，結像レンズ１３２，バンドパスフィルタ１３３，ＣＣＤ１３４が、図１５に示すように、順に配置されている。
The
上記反射ミラー１２７の下方となる透明光学部材１４内には、ハーフミラー１２８とＨＯＥ２４とが配設されている。さらに、該ハーフミラー１２８の側方となる透明光学部材１４内には、ＨＯＥ１２９が配設されている。
A
このような構成において、上記ＬＥＤ１２５から赤外光が発光されると、集光レンズ１２６により平行光束に変換された後に、反射ミラー１２７により鉛直下方へ反射される。
In such a configuration, when infrared light is emitted from the
この反射ミラー１２７により反射された赤外光は、透明光学部材１４の内部に入って、該透明光学部材１４内に配置されているハーフミラー１２８を透過し、ＨＯＥ２４により観察者の眼へ向けて反射される。
The infrared light reflected by the reflecting
一方、観察者の眼から反射された赤外光は、上記ＨＯＥ２４により上方へ向けて反射され、さらに、ハーフミラー１２８により側方へ向けて反射される。この反射光は、さらにＨＯＥ１２９により上方へ向けて反射され、フレーム部１３内に配設された反射ミラー１３１に到達する。
On the other hand, the infrared light reflected from the observer's eyes is reflected upward by the
この反射ミラー１３１により側方へ向けて反射された光は、結像レンズ１３２とバンドパスフィルタ１３３とを介して、上記ＨＯＥ２４により反射された赤外光の波長域に係る観察者の眼の像として、ＣＣＤ１３４上に結像される。
The light reflected to the side by the reflecting
このＣＣＤ１３４によって変換された画像信号は、上記ＣＤＳ／ＡＧＣ回路１３６、Ａ／Ｄ変換回路１３７、多重化回路１０４等を介して、上記制御／記録部４へ転送され、該制御／記録部４内の第１ＣＰＵ１６１において、後述するように、プルキンエ像の位置と、瞳孔の中心位置と、が求められ、さらにこれらの相対的な関係から視線方向が求められる。
The image signal converted by the
なお、上記ハーフミラー１２８およびＨＯＥ１２９は、このように例えば透明光学部材１４内に配置されるが、このときの位置としては、この頭部装着部２を装着して被写体を観察する観察者の視界に通常入り難いような上部であることが望ましい。
The
これら図１５、図１６に示したような構成によれば、高い波長選択性と、選択された波長域の光に対する高い反射率と、を有するＨＯＥ２４を用いるとともに、同様の波長選択性を有するバンドパスフィルタ１３３をＣＣＤ１３４の前に配置しているために、高いＳ／Ｎ比の信号を得ることが可能になる。
According to the configuration shown in FIGS. 15 and 16, the
そして、このような構成により、被写体を観察している観察者の視線方向を、正確に求めることが可能となる。 With such a configuration, it is possible to accurately determine the line-of-sight direction of the observer who is observing the subject.
続いて、図１７、図１８を参照して、視線方向／角速度検出部７における視線方向検出部の光学系の構成の他の例について説明する。図１７は視線方向検出部の光学系の他の構成例を示す一部断面を含む正面図、図１８は視線方向検出部の光学系の他の構成例を示す左側面図である。
Next, another example of the configuration of the optical system of the visual line direction detection unit in the visual line direction / angular
上記図１５、図１６に示したような構成は、ハーフミラー１２８およびＨＯＥ１２９が外光に直接さらされることになるために、外光ノイズがＣＣＤ１３４に到達するのを完全に遮断するのは困難である。これに対して、この図１７、図１８に示すような構成は、観察者の眼へ赤外光を投光する光路と、観察者の眼により反射された赤外光をＣＣＤ１３４により受光する光路と、を完全に分離するようにしたものとなっている。
In the configuration shown in FIGS. 15 and 16, since the
すなわち、この視線方向検出部の光学系においては、上記ハーフミラー１２８およびＨＯＥ１２９が省略されると共に、ＨＯＥ２４が、上記図１５に示したものよりも左右方向にやや長くなるように構成されている。
That is, in the optical system of the line-of-sight direction detection unit, the
そして、上記反射ミラー１２７により反射された赤外光は、このＨＯＥ２４の例えば左側部分へ向けて、斜めに入射されるようになっている。ＨＯＥ２４は、この反射ミラー１２７からの赤外光を、観察者の眼へ向けて、水平方向に少し斜めとなるように投射する。
The infrared light reflected by the
一方、観察者の眼からの反射光は、該ＨＯＥ２４の例えば右側部分により受光されて、上記反射ミラー１３１へ向けてほぼ鉛直真上に反射される。この反射ミラー１３１以降の構成等は、上記図１５、図１６に示したものと同様である。
On the other hand, the reflected light from the observer's eyes is received by, for example, the right side portion of the
これら図１７、図１８に示したような構成によれば、高い波長選択性と、選択された波長域の光に対する高い反射率と、を有するＨＯＥ２４を用いるとともに、同様の波長選択性を有するバンドパスフィルタ１３３をＣＣＤ１３４の前に配置しているために、高いＳ／Ｎ比の信号を得ることが可能になる。そして、外光が照射される透明光学部材１４に配置されるのをＨＯＥ２４のみとしたために、透明光学部材１４にハーフミラー１２８やＨＯＥ１２９が配置されている上記図１５、図１６の構成に比して、さらに外光ノイズの影響を低減することが可能となる。
According to the configuration shown in FIGS. 17 and 18, the
なお、透明光学部材１４内部における光の伝播は、図１６や図１８に示したように透過のみであっても良いが、上記透明光学部材１５内部における光の伝播と同様に、透過と内面における全反射とを組み合わせたものであっても構わない。この透過と全反射とを組み合わせる光学設計を行う場合には、透明光学部材１４を肉薄にすることが可能となって、頭部装着部２の軽量化をより一層図ることができる。
The propagation of light inside the transparent
次に、撮像部３０を、フレーム部１３の側面に対して、ピッチ方向およびヨー方向に相対的に角度調整可能となるように取り付ける構成について、図１９および図２０を参照して説明する。図１９は撮像部３０をフレーム部１３に取り付ける構成を示す平面図および右側面図、図２０は撮像部３０を取り付けるためにフレーム部１３に設けられた孔の構成を示す右側面図である。
Next, a configuration in which the
本実施例の頭部装着型カメラ１は、撮影者が撮影範囲を示す撮影画枠を指定し、指定された撮影画枠の視角に対応する画角で撮影を行うものであるために、パララックスを補正する必要がある。このパララックスの発生原因として、撮影者の視軸と撮影光軸との水平方向の位置的なずれと、視軸と撮影光軸との角度のずれと、があるが、後者の角度のずれの影響が非常に大きいために、この角度のずれを精密に補正することができるような調整機構（調整手段）を設けたものとなっている。
The head-mounted
フレーム部１３とテンプル部１２とは、図１９（Ａ）に示すように、丁番７８を介して、折り畳み可能に接続されている。この丁番７８は、上記フレーム部１３から延設されるやや長めの継手２９を介して、右眼側の丁番７９よりもややフロント部１１側から離れた位置に配設されている。
As shown in FIG. 19A, the
上記継手２９の側面には、該側面に沿った形状部３３ａと、該側面から略垂直に立設される形状部３３ｂと、を備えた、正面から見たときに略Ｌ形状をなす調整機構（調整手段）たる台座３３が接続されるようになっている。この調整機構は、頭部装着型カメラの調整方法が適用される頭部装着型カメラの調整装置における、フロント部１１と撮像部３０との相対的な角度を調整するための機構であり、該調整機構を用いることにより、撮像部３０に含まれる撮影光学系３１の光軸と視軸とを調整することが可能となっている。
An adjustment mechanism having a shape portion 33a along the side surface and a shape portion 33b erected substantially perpendicularly from the side surface on the side surface of the joint 29 and having a substantially L shape when viewed from the front. (Adjustment means) A
すなわち、上記継手２９には、図２０に示すように、前方側にピッチ方向調整手段たる孔１９１が、後方側に該孔１９１を中心とした円弧状をなすピッチ方向調整手段たる長孔１９２が、それぞれ穿設されている。これらの孔１９１，１９２を介して、ピッチ方向調整手段たるビス３４，３５をそれぞれ台座３３の上記形状部３３ａに螺合することにより、該台座３３が継手２９に対して取り付けられている。
That is, as shown in FIG. 20, the joint 29 has a
また、上記台座３３の形状部３３ｂには、図１９（Ａ）に示すように、前方側にヨー方向調整手段たる孔１９３が、後方側に該孔１９３を中心とした円弧状をなすヨー方向調整手段たる長孔１９４が、それぞれ穿設されている。これらの孔１９３，１９４を介して、図１９（Ｂ）に示すように、ヨー方向調整手段たるビス３６，３７をそれぞれ撮像部３０の底面側に螺合することにより、該撮像部３０が台座３３に対して取り付けられている。なお、上記撮像部３０の背面側からはケーブル３８が延出されていて、被写体側に曲折された後に、上記フレーム部１３内の電気回路等に接続されている。
Further, in the shape portion 33b of the
このような構成において、ビス３４およびビス３５をやや緩めた状態で、ビス３５が挿通される長孔１９２内の位置を変更することにより、台座３３がビス３４を中心として回動し、台座３３、ひいてはこの台座３３に取り付けられている撮像部３０のピッチ方向の角度調整を行うことができる。こうして、所望の位置に調整された後には、上記ビス３４およびビス３５を固締めすれば良い。
In such a configuration, by changing the position in the
同様に、ビス３６およびビス３７をやや緩めた状態で、ビス３７が挿通される長孔１９４内の位置を変更することにより、撮像部３０がビス３６を中心として台座３３に対して回動し、該撮像部３０のヨー方向の角度調整を行うことができる。こうして、所望の位置に調整された後には、同様に、上記ビス３６およびビス３７を固締めすることになる。
Similarly, by changing the position in the
このような構成によれば、シースルー画像表示部６と撮像部３０との相対的なピッチ方向およびヨー方向の角度調整を行うことが可能となる。さらに、撮像部３０が台座を介してフロント部１１に固定されているために、テンプル部１２を折り畳んでも撮像部３０が折り畳まれることはなく、撮像部３０とシースルー画像表示部６との相対的な角度ずれが発生する可能性が小さくなる。また、調整機構が簡単であるために、安価に構成することが可能となる。
According to such a configuration, it is possible to adjust the relative angle between the see-through
なお、上述においては、撮像部３０と台座３３との相対的なヨー方向の角度を調整し、フレーム部１３の側面の継手２９と台座３３との相対的なピッチ方向の角度を調整するようにしたが、これとは逆に、台座３３に対する撮像部３０の取り付け位置を変更することにより、撮像部３０と台座３３との相対的なピッチ方向の角度を調整し、台座３３に対するフレーム部１３の取り付け位置を変更することにより、フレーム部１３の側面の継手２９と台座３３との相対的なヨー方向の角度を調整するように構成することも可能である。
In the above description, the relative angle in the yaw direction between the
続いて、図２１から図３１を参照して、シースルー画像表示部６による画像の表示例について説明する。
Next, an example of displaying an image by the see-through
まず、図２１は、シースルー表示における初期状態の表示例を示す図である。カメラ１の電源を投入するか、またはシステムをリセットしたときに、この図２１に示すような表示が行われるようになっている。このときには、図示のように、標準レンズ（例えば、画角が５０度であるものとする）に相当する撮影範囲を示す撮影画枠２０１がシースルー表示される（つまり、撮影者から見たときの視角が５０度となるような撮影画枠２０１がシースルー表示される）ようになっている。
First, FIG. 21 is a diagram illustrating a display example of an initial state in the see-through display. When the
次に、図２２は、テレへのズームが行われたときの表示例を示す図である。表示される撮影画枠２０１が、上記図２１に示したよりもテレに対応する撮影範囲を示すものになっている。この撮影画枠２０１の変更は、上述したように、例えば上記ズームスイッチ７５の操作により行われ、このときには撮像部３０の撮影画角も該撮影画枠２０１の視角に一致するように、上記撮影光学系３１の焦点距離が変更される。具体的には、上記図２１に示したような標準レンズの焦点距離に対応する撮影範囲において、該ズームスイッチ７５のテレスイッチ７５ａを操作することにより、この図２２に示すような望遠側への変更が行われる。
Next, FIG. 22 is a diagram illustrating a display example when zooming to tele is performed. The displayed
続いて、図２３は、ワイドへのズームおよび露出補正が行われたときの表示例を示す図である。表示される撮影画枠２０１が、上記図２１に示したよりもワイドに対応する撮影範囲を示すものになっているとともに、この撮影画枠２０１の例えば右下に、露出補正量が情報表示２０２として表示されている。この図に示す例では、例えば上記露出補正スイッチ７６により、＋１．０の露出補正が行われたことが示されている。なお、露出補正は、数字で示すに限るものではなく、棒グラフや指標などの各種の表示を用いても構わないことは勿論である。また、この図２３に示すような撮影画枠２０１は、例えば上記図２１に示したような標準レンズの焦点距離に対応する撮影範囲において、上記ズームスイッチ７５のワイドスイッチ７５ｂを操作することにより、設定される。
Next, FIG. 23 is a diagram illustrating a display example when zoom to wide and exposure correction are performed. The displayed
また、図２４は、電子ビュー表示を行うときの表示例を示す図である。例えば上記Ｆ／Ｖスイッチ７２によりビューモード（Ｖ）が選択されると、この図に示すように、撮像部３０で撮像された電子画像２０３が虚像として撮影者の目に投影されるようになっている。なお、この電子ビューとして表示する画像の大きさは、該画像の解像度により設定することができ、例えば解像度が低い場合は画像を小さく表示すれば良い。
FIG. 24 is a diagram illustrating a display example when electronic view display is performed. For example, when the view mode (V) is selected by the F /
図２５は、動画を録画中の表示例を示す図である。例えば上記録画スイッチ７４が操作されて録画中となったときには、この図２５に示すように、撮影範囲を示す撮影画枠２０１が表示されるとともに、録画中であることを示す情報表示２０４が「ＲＥＣ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。この録画中であることを示す表示も、上述と同様に、文字に限るものではない。
FIG. 25 is a diagram illustrating a display example during video recording. For example, when the
図２６は、マニュアルモード時の表示例を示す図である。例えば上記ＦＡ／Ａ／Ｍスイッチ７１が操作されることによりマニュアルモード（Ｍ）に設定されているときには、該マニュアルモード（Ｍ）を示す情報表示２０５が「ＭＡＮＵ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。一方、「ＭＡＮＵ」の情報表示２０５が行われていないときには、オートモード（Ａ）であることになる。
FIG. 26 is a diagram illustrating a display example in the manual mode. For example, when the manual mode (M) is set by operating the FA / A /
図２７は、フルオートモードで動画を録画中の表示例を示す図である。例えば上記ＦＡ／Ａ／Ｍスイッチ７１が操作されることによりフルオートモード（ＦＡ）に設定されていて、かつ録画スイッチ７４が操作されて録画中となったときには、この図２７に示すように、撮影範囲を示す撮影画枠２０１が表示されるとともに、フルオートモードであることを示す情報表示２０６が「ＦＡ」の文字として、また、録画中であることを示す情報表示２０７が「ＲＥＣ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。これらのフルオードモードであることや録画中であることを示す表示も、上述と同様に、文字に限るものではない。
FIG. 27 is a diagram illustrating a display example during video recording in the full auto mode. For example, when the full auto mode (FA) is set by operating the FA / A /
図２８は、撮影光学系３１の焦点距離ｆが焦点調節可能な下限値ｋ１に達しているにもかかわらず、さらに小さい方へ操作されようとしている場合にシースルー表示される警告表示２０８の例を示す図である。すなわち、ワイド側へのズーム操作を行ってズームのワイド端に達したときに、依然としてワイド側へのズーム操作が行われている場合に、この警告表示２０８が撮影範囲を示す撮影画枠２０１の表示とともに行われる。
FIG. 28 shows an example of a
図２９は、撮影光学系３１の焦点距離ｆが焦点調節可能な上限値ｋ２に達しているにもかかわらず、さらに大きい方へ操作されようとしている場合にシースルー表示される警告表示２０９の例を示す図である。すなわち、テレ側へのズーム操作を行ってズームのテレ端に達したときに、依然としてテレ側へのズーム操作が行われている場合に、この警告表示２０９が撮影範囲を示す撮影画枠２０１の表示とともに行われる。
FIG. 29 shows an example of a
図３０は、静止画を撮影する操作が行われたときの表示例を示す図である。このときには、撮影範囲を示す撮影画枠２０１が表示されるとともに、静止画を記録したことを示す情報表示２１０が「ＲＥＬ」の文字として、撮影画枠２０１の例えば右下に表示されるようになっている。この静止画を記録したことを示す表示も、上述と同様に、文字に限るものではない。
FIG. 30 is a diagram illustrating a display example when an operation for capturing a still image is performed. At this time, the
図３１は、キャリブレーションモードにおける表示例を示す図である。例えば、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などを操作することによりキャリブレーションモードが選択されると、この図３１に示すような表示を行うようになっている。すなわち、ここでは、キャリブレーションモードであることを示す情報表示２１１が、「ＣＡＬ」の文字として、視野の例えば右下に表示されるとともに、さらに、キャリブレーション用の指標Ｐ１〜Ｐ５が、後述するように、順次点滅して表示されるようになっている。これらの内の、指標Ｐ１は視野の中央部に、指標Ｐ２は視野の上部に、指標Ｐ３は視野の右側部に、指標Ｐ４は視野の下部に、指標Ｐ５は視野の左側部に、それぞれ表示される。
FIG. 31 is a diagram illustrating a display example in the calibration mode. For example, when the calibration mode is selected by operating the
なお、上述したような各表示において、通常の情報表示は上記ＬＥＤ１１３の中の例えばＧ（緑）のダイオードを発光させることにより行い、警告表示は上記ＬＥＤ１１３の中の例えばＲ（赤）のダイオードを発光させることにより行うようにすると良い。
In each display as described above, normal information display is performed by causing, for example, a G (green) diode in the
次に、図３２〜図３４を参照して、上述したような被写体までの距離に基づくパララックスの補正の原理について説明する。図３２は被写体と撮影光学系とＣＣＤとの光学的な関係を説明するための図、図３３はＨＯＥとこのＨＯＥにより形成される虚像と眼との光学的な関係を説明するための図、図３４はパララックスを補正するのに必要な虚像のシフト量を説明するための図である。 Next, the principle of parallax correction based on the distance to the subject as described above will be described with reference to FIGS. FIG. 32 is a diagram for explaining the optical relationship between the subject, the photographing optical system, and the CCD, and FIG. 33 is a diagram for explaining the optical relationship between the HOE, the virtual image formed by the HOE, and the eye. FIG. 34 is a diagram for explaining the shift amount of the virtual image necessary for correcting the parallax.
図３２に示すように、ＣＣＤ８７の撮像領域の水平方向のサイズをｈ２、撮影光学系３１の焦点距離をｆ、撮影光学系３１の主点からＣＣＤ８７までの距離をｆ＋ｘ、撮影光学系３１の主点から被写体Ｏまでの距離をＬ２、ＣＣＤ８７で撮影される被写体Ｏの水平方向の長さをＨ２、水平方向の撮影画角をθ２、とすると、次の数式１に示すような関係式が成り立つ。
［数１］
[Equation 1]
一方、図３３に示すように、撮影者の瞳Ｐの位置から撮影範囲を示す水平方向の撮影画枠の位置（虚像ＶＩ）までの距離をＬ１、該撮影画枠の水平方向の長さをＨ１、瞳Ｐの位置から水平方向の長さＨ１でなる該撮影画枠を見込む角度（視角）をθ１とすると、次の数式２に示すような関係式が成り立つ。
［数２］
[Equation 2]
撮影者が設定した撮影範囲で撮影するためには、撮影画角と視角が等しくなること、すなわち、θ２＝θ１であることが必要である。このθ２＝θ１が成り立つ条件の下では、数式１の右辺と数式２の右辺とが等しくなるために、撮影光学系３１の焦点距離ｆは、次の数式３に示すように求められる。
［数３］
[Equation 3]
一方、レンズの結像原理から、次の数式４が成り立つ。
［数４］
[Equation 4]
これら数式３と数式４とから、ｘを消去することにより、次の数式５が導かれる。
［数５］
[Equation 5]
この数式５から、被写体距離Ｌ２を求めることができれば焦点距離ｆを求めることができることがわかる。
From
ここで、通常の被写体においてはｈ２／Ｌ２≪Ｈ１／Ｌ１の関係が成立するために、計算を簡略化したいときや、被写体距離を求める手段を備えていないときは、次の数式６により近似値を求めることができる。
［数６］
[Equation 6]
次に、パララックスの補正原理について、図３４を参照して説明する。 Next, the principle of parallax correction will be described with reference to FIG.
まず、パララックスの補正の原理を説明する際の前提条件として、撮影光学系３１の光軸方向と撮影者の視軸の方向とは、ともに顔面に対して垂直であるものとし、これらの光軸と視軸とは距離Ｘだけ隔てて配置されているものとする。ここに、パララックスは、光軸と視軸とが距離Ｘだけ離れていることに起因して発生するものである。なお、光軸と視軸とが相対的に傾いている場合には、大きなパララックスを生ずる要因となり得るために、これらは平行となるように調整する必要がある。このために、上記図１９、図２０に示したような調整機構を用いて、光軸と視軸との調整を行うようになっている。
First, as a precondition for explaining the principle of parallax correction, it is assumed that the optical axis direction of the photographing
図３４の実線および点線に示すように、もし、撮影範囲を示す撮影画枠の虚像ＶＩ０までの距離と、被写体Ｏまでの距離と、が同じであれば、撮影者が観察している範囲と撮像部３０が撮像している範囲とのずれ量（パララックス）は、Ｘとなって不変である。しかし、実際には、撮影者の瞳Ｐから虚像ＶＩ１までの距離Ｌ１は、撮影光学系の主点から被写体Ｏまでの距離Ｌ２と異なるために、虚像としての撮影画枠が示す範囲を実際の撮像範囲に合致させるためのパララックス補正量Ｘ’は、次の数式７に示すようになる。
［数７］
[Equation 7]
撮影画枠の虚像ＶＩ１の倍率（つまり、ＬＣＤ１１５上に表示される像に対する虚像の大きさの比）の逆数をβとすると、パララックスを補正するために、ＬＣＤ１１５上に表示する像のシフト量ＳＰは、次の数式８に示すようになる。
［数８］
[Equation 8]
従って、第４ＣＰＵ１１１は、この数式８で表わされる量ＳＰだけ、ＬＣＤ１１５に表示する像の位置をシフトさせるように、上記ＬＣＤドライバ１１７を制御することになる。これにより、虚像ＶＩ１の位置が距離Ｘ’だけシフトされて虚像ＶＩ２となり、図３４の２点鎖線に示すように、虚像の撮影画枠が示す範囲が、実際の撮像範囲に一致する。
Accordingly, the
このように、パララックス補正を行うためのシフト量ＳＰは、被写体距離Ｌ２に依存しているために、被写体距離が異なる毎に、随時行うことが基本となる。 Thus, since the shift amount SP for performing the parallax correction depends on the subject distance L2, it is basically performed whenever the subject distance is different.
しかしながら、例えば、β＝１／１００、Ｌ１＝２ｍ、Ｌ２＝２ｍ、Ｘ＝４ｃｍの場合を例に取ると、シフト量ＳＰは０．４ｍｍとなるが、このパララックス補正量を次のような数式９、
［数９］
[Equation 9]
なお、以上の説明においては、被写体距離Ｌ２を三角測距の原理に基づいて求めるようになっている。すなわち、投光用ＬＥＤ１６ａの光を被写体へ投光して、該被写体から反射した光を上記ＣＣＤ８７で撮像し、該ＣＣＤ８７上の像の位置から、三角測距の原理に基づいて求めるようになっている。
In the above description, the subject distance L2 is obtained based on the principle of triangulation. That is, the light emitted from the LED for projection 16a is projected onto the subject, the light reflected from the subject is imaged by the
また、Ｌ２は視線方向の被写体距離であるために、投光用ＬＥＤ１６ａを、視線検出を行う眼になるべく近い位置に配置して、公知の投光方向を制御する手段により、視線方向（θ）に投光するようにすれば良い。 Since L2 is the subject distance in the line-of-sight direction, the LED 16a for light projection is arranged as close as possible to the eye for detecting the line-of-sight, and the line-of-sight direction (θ) is controlled by a known means for controlling the light projection direction. You should make it light up.
さらに、上述したような三角測距の原理に基づいて被写体距離を求める代わりに、オートフォーカスを行ったときのフォーカスレンズ８５の位置から被写体距離Ｌ２を求めるようにしても構わない。すなわち、被写体の位置が無限大であると仮定して、上記図１１に示したようなＡＦ処理回路９８により、視線方向（θ）と同じ画角の所定範囲にある被写体の画像信号の高周波成分が最大になる位置に、フォーカスレンズ８５を駆動し（いわゆるコントラスト方式による焦点検出を行い）、このフォーカスレンズ８５の位置から逆に被写体距離Ｌ２を求めるようにすれば良い。この場合には、視線方向（θ）の被写体と、上記ＡＦ処理の対象となる視線方向（θ）と同じ画角の被写体と、は厳密には一致しないが、被写体はある大きさを有するために実用上の問題が生じることはない。 Furthermore, instead of obtaining the subject distance based on the principle of triangulation as described above, the subject distance L2 may be obtained from the position of the focus lens 85 when autofocusing is performed. That is, assuming that the position of the subject is infinite, the high-frequency component of the image signal of the subject within the predetermined range of the same angle of view as the line-of-sight direction (θ) is obtained by the AF processing circuit 98 as shown in FIG. The focus lens 85 may be driven to a position where the maximum is obtained (focus detection is performed by a so-called contrast method), and the subject distance L2 may be obtained in reverse from the position of the focus lens 85. In this case, the subject in the line-of-sight direction (θ) and the subject having the same angle of view as the line-of-sight direction (θ) to be subjected to the AF processing do not exactly match, but the subject has a certain size. There is no practical problem.
続いて、図３５を参照して、撮像部３０と視線方向／角速度検出部７の視線方向検出部とが所定距離だけ隔てて配置されていることに起因して生じるパララックスを考慮する技術について説明する。図３５は、視線方向にある被写体を撮像部から見るときの角度の関係を示す図である。
Next, referring to FIG. 35, a technique that takes into account the parallax caused by the
例えば、視線方向／角速度検出部７により検出された視線方向にある被写体に、撮像部３０の撮影光学系３１のピントを合わせようとする場合を考える。被写体までの距離が遠い場合には、撮像部３０から見た撮影者の視線方向にある被写体は、撮影者が実際に注視している被写体にほぼ一致するが、被写体までの距離が近くなると、これらにずれが生じてくる。従って、ずれた位置にある被写体にピントを合わせたとしても、撮影者が注視している被写体にピントが合うとは限らない。図３５は、このようなパララックスが生じているときの位置関係の例を示している。
For example, consider a case where the subject of the imaging
今、撮影者が、撮影光学系３１の光軸と平行な視軸に対して角度θをなす方向の、距離Ｌにある被写体Ｏを注視しているものとする。このときに、撮影光学系３１の光軸と撮影者の瞳との間の距離をＸe とする。また、撮影光学系３１の光軸と、撮影光学系３１の主点Ｈと被写体Ｏを結ぶ直線と、のなす角度をθ’とする。すると、次の数式１０が成り立つ。
［数１０］
[Equation 10]
従って、視線方向／角速度検出部７により検出された視線方向θと、ＡＦ処理回路９８等により検出された被写体距離Ｌと、設計的に定まるＸe と、をこの数式１０に代入して上記角度θ’を求め、この求めた角度θ’の方向に該当する被写体に撮影光学系３１のピントを合わせるようにすればよい。なお、被写体距離Ｌが大きい場合には、数式１０の右辺の第２項を無視することができるために、θ’≒θとなり、つまりパララックスの影響をほぼ考えなくて良いことが分かる。
Accordingly, the line-of-sight direction θ detected by the line-of-sight direction /
なお、上記被写体距離Ｌは、上述したように、三角測距により求めたものでも良いし、あるいはコントラスト方式により焦点検出を行った結果に基づいて求めたものであっても構わない。 The subject distance L may be obtained by triangulation as described above, or may be obtained based on the result of focus detection by the contrast method.
次に、このようなカメラ１の動作について、図５４および図５５を参照して説明する。図５４はカメラの動作の一部を示すフローチャート、図５５はカメラの動作の他の一部を示すフローチャートである。これら図５４および図５５は、カメラの動作の流れを、図面の都合上、２図に分割して示したものである。
Next, the operation of the
このカメラ１の電源を投入するか、またはシステムをリセットすると、標準レンズ（上述したように、例えば、画角が５０度となる。）に相当する撮影範囲を示す撮影画枠を、上記シースルー画像表示部６により上記図２１に示したようにシースルー表示する（ステップＳ１）。
When the
次に、上記第２ＣＰＵ１２１に内蔵されているタイマ１２３をチェックすることにより、所定時間が経過したか否かを判断する（ステップＳ２）。
Next, it is determined whether or not a predetermined time has elapsed by checking a
ここで、所定時間が経過していると判断された場合には、図８に示したような第１操作スイッチ１６２や、図１０に示したような第２操作スイッチ１７１などの各種スイッチの入力状況をモニタする（ステップＳ３）。
Here, if it is determined that the predetermined time has elapsed, input of various switches such as the
なお、上記ステップＳ２におけるタイマは、所定時間が経過して上記ステップＳ３に移行した時点で、再度、計時を開始するものとなっている。そして、タイマによる計時が所定時間に達していないときには、上記ステップＳ３におけるスイッチのモニタは行わないようになっている。このように、タイマをチェックしながら所定の時間間隔でスイッチの入力状況を確認することにより、各ＣＰＵの負荷を軽減することができるとともに、スイッチのチャタリングによる誤動作を防止することも可能となっている。なお、後述するステップＳ１４，Ｓ２０，Ｓ２５のタイマは、上記ステップＳ２におけるタイマと同様の機能を果たすものとなっている。 The timer in step S2 starts counting again when the predetermined time has passed and the process proceeds to step S3. When the time measured by the timer has not reached the predetermined time, the switch is not monitored in step S3. In this way, by checking the switch input status at predetermined time intervals while checking the timer, it is possible to reduce the load on each CPU and to prevent malfunction due to switch chattering. Yes. Note that the timers in steps S14, S20, and S25, which will be described later, perform the same functions as the timers in step S2.
上記ステップＳ３の処理が終了したら、次に、後述するような危険防止のサブルーチンを実行する（ステップＳ４）。 When the process of step S3 is completed, a danger prevention subroutine as described later is executed (step S4).
このステップＳ４の処理が終了するか、または上記ステップＳ２において所定時間が経過していないと判断された場合には、カメラ１が、オートモード（Ａ）もしくはマニュアルモード（Ｍ）の何れかに設定されているか、または、これらのモード以外（つまりフルオートモード（ＦＡ））に設定されているか、を判断する（ステップＳ５）。このモード設定は、上述したように、ＦＡ／Ａ／Ｍスイッチ７１の操作により行われるものである。
When the process of step S4 ends or when it is determined in step S2 that the predetermined time has not elapsed, the
ここで、オートモード（Ａ）でもマニュアルモード（Ｍ）でもなく、つまりフルオートモード（ＦＡ）であると判断されたときは、録画スイッチ７４により録画モードに設定されているか否かを判断する（ステップＳ６）。 Here, when it is determined that neither the auto mode (A) nor the manual mode (M), that is, the full auto mode (FA) is determined, it is determined whether or not the recording mode is set by the recording switch 74 ( Step S6).
ここで、もし録画モードに設定されていないときには、上記ステップＳ２へ戻って、上述したような処理を繰り返して行う。 Here, if the recording mode is not set, the process returns to step S2 and the above-described processing is repeated.
また、上記ステップＳ６において、録画モードに設定されていると判断された場合には、標準撮影画枠に設定するとともに、フルオートモードであることを示す情報表示２０６（文字「ＦＡ」）と、録画中であることを示す情報表示２０７（文字「ＲＥＣ」）と、を上記図２７に示したようにシースルー表示する（ステップＳ７）。 If it is determined in step S6 that the recording mode is set, the information display 206 (character “FA”) indicating that the recording mode is set and the full auto mode is set, An information display 207 (character “REC”) indicating that recording is in progress is displayed in a see-through manner as shown in FIG. 27 (step S7).
そして、動画データ、角速度データ、視線方向データ、音声データを、上記記録用メモリ１５７に後述する図４３に示すように記録してから（ステップＳ８）、上記ステップＳ２へ戻って、上述したような処理を繰り返して行う。
Then, the moving image data, the angular velocity data, the line-of-sight direction data, and the audio data are recorded in the
一方、上記ステップＳ５において、オートモード（Ａ）またはマニュアルモード（Ｍ）の何れかが設定されていると判断された場合には、露出補正が設定されているか否かを判断する（ステップＳ９）。 On the other hand, if it is determined in step S5 that either the auto mode (A) or the manual mode (M) is set, it is determined whether exposure correction is set (step S9). .
ここで、露出補正が設定されていると判断された場合には、例えば図２３に示したように、設定されている露出補正量（補正値）を情報表示２０２としてシースルー表示する（ステップＳ１０）。
If it is determined that exposure correction is set, for example, as shown in FIG. 23, the set exposure correction amount (correction value) is displayed as an
このステップＳ１０の処理が終了するか、または上記ステップＳ９において露出補正が設定されていないと判断された場合には、カメラ１が、撮像部３０で撮像された画像をシースルー表示するビューモード（Ｖ）に設定されているか、または、撮影範囲である撮影画枠のみを表示するフレームモード（Ｆ）に設定されているかを判断する（ステップＳ１１）。このモード設定は、上述したように、Ｆ／Ｖスイッチ７２の操作により行われるものである。
When the process of step S10 ends or when it is determined in step S9 that exposure correction has not been set, the view mode (V) in which the
ここで、モードがフレームモード（Ｆ）に設定されていると判断されたときには、次に、カメラ１が、オートモード（Ａ）に設定されているか、または、マニュアルモード（Ｍ）に設定されているか、を判断する（ステップＳ１２）。このモード設定は、上述したように、ＦＡ／Ａ／Ｍスイッチ７１の操作により行われるものである。
Here, when it is determined that the mode is set to the frame mode (F), the
ここに、オートモード（Ａ）は、撮影光学系３１の焦点距離が所定値以上であるときは、フレームモード（Ｆ）に設定されていても、撮像部３０により撮像された画像を自動的に拡大してシースルー表示するモードとなっている。このような表示を行うことにより、望遠撮影においても面倒な操作を行うことなく被写体の詳細を容易に確認することができるとともに、通常の焦点距離（上記所定値未満の焦点距離）においては撮影範囲を示す撮影画枠が表示されるのみであるために、長時間の撮影においても違和感なく撮影を行うことが可能となる。
Here, in the auto mode (A), when the focal length of the photographing
一方、マニュアルモードは、上述したように、上記シースルー表示を行うか否かをマニュアルで設定するものであり、通常は撮影画枠の表示のみを行うモードである。 On the other hand, as described above, the manual mode is a mode in which whether or not to perform the see-through display is manually set, and is usually a mode in which only the photographic image frame is displayed.
上記ステップＳ１２において、マニュアルモード（Ｍ）が選択されていると判断された場合には、上記図２６に示したように「ＭＡＮＵ」の情報表示２０５を行う（ステップＳ１３）。
If it is determined in step S12 that the manual mode (M) is selected, the “MANU”
そして、タイマをチェックすることにより、所定時間が経過したか否かを判断する（ステップＳ１４）。 Then, it is determined whether or not a predetermined time has elapsed by checking the timer (step S14).
ここで、所定時間が経過している場合には、上記ステップＳ４の危険防止の処理において、後述する図５６のステップＳ４１で求めた被写体までの距離に基づき、撮影者の観察している範囲と撮像部３０による撮影範囲とのずれであるパララックスを補正するために必要な補正値を上述したような原理に基づき算出する（ステップＳ１５）。
Here, when the predetermined time has elapsed, in the risk prevention process in step S4, based on the distance to the subject obtained in step S41 in FIG. A correction value necessary for correcting the parallax, which is a deviation from the imaging range by the
そして、このステップＳ１５で算出された補正値に基づいて、正しい位置に撮影画枠を表示するように、撮影画枠の表示を更新する（ステップＳ１６）。このような処理を行うことにより、被写体距離が変化した場合にも、正確に撮影範囲を表示することができるようになっている。 Based on the correction value calculated in step S15, the display of the photographic image frame is updated so that the photographic image frame is displayed at the correct position (step S16). By performing such processing, the shooting range can be accurately displayed even when the subject distance changes.
一方、上記ステップＳ１２において、オートモード（Ａ）に設定されていると判断されたときは、次に、撮影光学系３１の焦点距離が所定値αよりも大きい望遠側に設定されているか否かを判断する（ステップＳ１７）。
On the other hand, if it is determined in step S12 that the auto mode (A) is set, then whether or not the focal length of the photographing
ここで、撮影光学系３１の焦点距離が所定値α以下であると判断された場合には、上記ステップＳ１４の処理に移行する。また、撮影光学系３１の焦点距離が所定値αよりも大きいと判断された場合、あるいは上記ステップＳ１１において、ビューモード（Ｖ）が設定されていると判断された場合には、撮像部３０により撮像した電子画像をシースルー画像表示部６により被写体に重畳してシースルー表示する（ステップＳ１８）。
If it is determined that the focal length of the photographic
このステップＳ１８の処理が終了した場合、上記ステップＳ１６の処理が終了した場合、または上記ステップＳ１４において所定時間が経過していないと判断された場合には、撮影者が上記リモコン部５のワイドスイッチ７５ｂを操作することにより、撮影画枠の大きさを広く（Ｗ）したか否かを判断する（ステップＳ１９）。
When the process of step S18 is completed, when the process of step S16 is completed, or when it is determined in step S14 that the predetermined time has not elapsed, the photographer switches the wide switch of the
ここで、撮影画枠の大きさを広く（Ｗ）する操作が行われていると判断された場合には、タイマをチェックすることにより、所定時間が経過しているか否かを判断する（ステップＳ２０）。 Here, when it is determined that an operation for widening (W) the size of the photographic image frame is performed, it is determined whether or not a predetermined time has elapsed by checking a timer (step S20).
そして、所定時間が経過していると判断された場合には、撮影光学系３１の焦点距離ｆが、焦点調節可能な下限値ｋ１に達しているにもかかわらず、さらにこの下限値ｋ１よりも小さい方へ操作されようとしているか否かを判断する（ステップＳ２１）。
If it is determined that the predetermined time has elapsed, the focal length f of the photographing
ここで、焦点調節可能な下限値ｋ１よりも小さい方へ操作されようとしている場合には上記図２８に示したように、シースルーにより警告表示２０８を行う（ステップＳ２２）。また、焦点距離ｆが焦点調節可能な下限値ｋ１にまだ達していない場合には、撮影光学系３１のバリエータレンズ８２を駆動することにより焦点距離ｆを小さくして、撮影者が設定した撮影範囲になるように撮影光学系３１の焦点距離を設定する（ステップＳ２３）。
Here, when it is going to be operated to a value smaller than the lower limit k1 where the focus can be adjusted, as shown in FIG. 28, a
一方、上記ステップＳ１９において、撮影画枠の大きさを広く（Ｗ）する操作が行われていないと判断された場合には、上記リモコン部５のテレスイッチ７５ａを介して、撮影画枠の大きさを狭く（Ｔ）する操作が行われているか否かを判断する（ステップＳ２４）。
On the other hand, if it is determined in step S19 that an operation to widen (W) the size of the photographic image frame has not been performed, the size of the photographic image frame is determined via the
ここで、撮影画枠の大きさを狭く（Ｔ）する操作が行われていると判断された場合には、タイマをチェックすることにより、所定時間が経過しているか否かを判断する（ステップＳ２５）。 Here, if it is determined that an operation for reducing (T) the size of the photographic image frame is performed, it is determined whether or not a predetermined time has elapsed by checking a timer (step S1). S25).
そして、所定時間が経過していると判断された場合には、撮影光学系３１の焦点距離ｆが、焦点調節可能な上限値ｋ２に達しているにもかかわらず、さらにこの上限値ｋ２よりも大きい方へ操作されようとしているか否かを判断する（ステップＳ２６）。
If it is determined that the predetermined time has elapsed, the focal length f of the photographing
ここで、焦点調節可能な上限値ｋ２よりも大きい方へ操作されようとしている場合には上記図２９に示したように、シースルーにより警告表示２０９を行う（ステップＳ２７）。また、焦点距離ｆが焦点調節可能な上限値ｋ２にまだ達していない場合には、撮影光学系３１のバリエータレンズ８２を駆動することにより焦点距離ｆを大きくして、撮影者が設定した撮影範囲になるように撮影光学系３１の焦点距離を設定する（ステップＳ２８）。
Here, when it is going to be operated to a value larger than the upper limit k2 at which the focus can be adjusted, as shown in FIG. 29, a
上記ステップＳ２４において撮影画枠の大きさを狭く（Ｔ）する操作が行われていないと判断された場合、上記ステップＳ２０あるいはステップＳ２５において所定時間が経過していないと判断された場合、または、上記ステップＳ２２，Ｓ２３，Ｓ２７、あるいはステップＳ２８の処理が終了した場合、には、リモコン部５の第２操作スイッチ１７１に含まれる録画スイッチ７４による動画記録の操作（あるいは、第１操作スイッチ１６２による動画記録の操作）が行われて録画モードが設定された否かを判断する（ステップＳ２９）。
If it is determined in step S24 that an operation for reducing (T) the size of the photographic image frame has not been performed, if it is determined in step S20 or step S25 that a predetermined time has not elapsed, or When the process of step S22, S23, S27 or step S28 is completed, the moving image recording operation (or the first operation switch 162) is performed by the
ここで、録画モードが設定されている場合には、図２５に示したように、「ＲＥＣ」の文字による情報表示２０４をシースルーにより行ってから（ステップＳ３０）、録画を開始する（ステップＳ３１）。
Here, when the recording mode is set, as shown in FIG. 25, after the
このステップＳ３１の処理が終了するか、または、上記ステップＳ２９において録画モードが設定されていないと判断された場合には、リモコン部５の第２操作スイッチ１７１に含まれるレリーズスイッチ７３による静止画撮影の操作（あるいは、第１操作スイッチ１６２による静止画撮影の操作）が行われたか否かを判断する（ステップＳ３２）。
When the processing of step S31 ends or when it is determined in step S29 that the recording mode is not set, still image shooting by the
ここで、静止画撮影の操作が行われたと判断される場合には、まず、静止画像の記録を行ってから（ステップＳ３３）、図３０に示したように、静止画の記録が行われたことを示す「ＲＥＬ」の文字による情報表示２１０をシースルーにより行う（ステップＳ３４）。
If it is determined that a still image shooting operation has been performed, a still image is first recorded (step S33), and then a still image is recorded as shown in FIG. The
このステップＳ３４が終了するか、または、上記ステップＳ３２においてレリーズスイッチ７３による静止画撮影の操作が行われていないと判断される場合には、上記ステップＳ２の処理に戻って、上述したような動作を繰り返して行う。
If this step S34 is completed or if it is determined in step S32 that the operation of taking a still image by the
図５６は、上記図５４のステップＳ４に示した危険防止のサブルーチンの詳細を示すフローチャートである。 FIG. 56 is a flowchart showing details of the danger prevention subroutine shown in step S4 of FIG.
上述したように、スイッチ３９を操作することにより、シースルー画像の表示を所望に禁止することができるようにして安全を図るようにしているが、これに代えて、またはこれと共に、撮影者の状態を検出して、検出された状態に応じて撮影動作中のシースルー表示を自動的に禁止するようにしたものである。
As described above, by operating the
この危険防止の処理を開始すると、まず、被写体までの距離を測定する（ステップＳ４１）。このときの測距原理は、次のようになっている。 When this danger prevention process is started, first, the distance to the subject is measured (step S41). The distance measurement principle at this time is as follows.
フレーム部１３の中央部に配置された投光用発光部１６の投光用ＬＥＤ１６ａから発光された光束は、集光レンズ１６ｂによりほぼ平行光束となって射出され、被写体に照射される。この光は、該被写体によって反射され、撮影光学系３１を介してＣＣＤ８７の撮像面に入射する。
The light beam emitted from the light projecting LED 16a of the light projecting
このときに、集光レンズ１６ｂと撮影光学系３１との間の距離をＬ、撮影光学系３１の主点からＣＣＤ８７の撮像面までの距離をｆ１、被写体からの反射光のＣＣＤ８７の撮像面上における結像位置と撮影光学系３１の光軸が該撮像面に交差する位置との距離を△Ｌ、とすると、被写体までの距離Ｒは、公知の三角測距の原理に基づいて、次の数式１１により求めることができる。
［数１１］
[Equation 11]
このようにして求めた距離Ｒを、第２ＣＰＵ１２１の内部に設けられたＲＡＭ１２２に一時的に記憶する。
The distance R thus obtained is temporarily stored in a
続いて、上記角速度センサ１４１，１４２により、独立な２軸周りの角速度を検出して、上記ＲＡＭ１２２に一時的に記憶する（ステップＳ４２）。 Subsequently, the angular velocity sensors 141 and 142 detect angular velocities about two independent axes and temporarily store them in the RAM 122 (step S42).
次に、今回取得した測距結果と、以前に取得した測距結果と、を比較して、撮影者の前方にある物体が相対的に近づいているか否かを判断する（ステップＳ４３）。 Next, the distance measurement result acquired this time is compared with the distance measurement result acquired previously, and it is determined whether or not an object in front of the photographer is relatively approaching (step S43).
ここで、前方の物体が近づいていると判断された場合には、さらに、今回取得した被写体までの距離Ｌが、所定の距離ｋ３よりも近い距離となっているか否かを判断する（ステップＳ４４）。 If it is determined that the object ahead is approaching, it is further determined whether or not the distance L to the subject acquired this time is closer than the predetermined distance k3 (step S44). ).
ここで、上記距離Ｌが所定の距離ｋ３よりも近いと判断されたときには、所定の警告マークを上記シースルー画像表示部６によりシースルー表示する（ステップＳ４５）。なお、ここでは、前方の物体までの距離のみを考慮して、該前方の物体の移動速度は考慮していないが、上記ステップＳ４３において、前方物体までの距離を求めるとともにさらに移動速度（近接してくるスピード）も求めて、該移動速度に応じて上記所定の距離ｋ３を適応的に設定するようにしても良い。この場合には、前方物体が近接してくるスピードが速いほど、上記所定の距離ｋ３を大きくするように設定する。そして、前方物体の移動速度は、上記距離Ｌを所定時間間隔で検出することにより、測定することが可能である。 Here, when it is determined that the distance L is closer than the predetermined distance k3, a predetermined warning mark is displayed on the see-through image display unit 6 (step S45). Here, only the distance to the front object is considered and the moving speed of the front object is not considered, but in step S43, the distance to the front object is obtained and the moving speed (close The predetermined distance k3 may be set adaptively according to the moving speed. In this case, the predetermined distance k3 is set to be larger as the speed at which the front object approaches is faster. The moving speed of the front object can be measured by detecting the distance L at predetermined time intervals.
一方、上記ステップＳ４３において、前方の物体は近づいていないと判断された場合には、さらに、上記角速度データに基づいて撮影者が歩行中であるか否かを判断する（ステップＳ４６）。 On the other hand, if it is determined in step S43 that the object ahead is not approaching, it is further determined whether or not the photographer is walking based on the angular velocity data (step S46).
すなわち、人が歩行しているとき、または人が走行しているときの、頭部に装着した角速度センサ１４１，１４２からの出力の特徴パターンを、予めＥＥＰＲＯＭ１０２に記憶しておく。そして、該角速度センサ１４１，１４２からの出力パターンが、該歩行時または走行時の特徴パターンと一致するときに、撮影者が歩行（または走行）していると判断するようになっている。
That is, the feature pattern of the output from the angular velocity sensors 141 and 142 attached to the head when a person is walking or when the person is running is stored in the
このステップＳ４６において、撮影者が歩行（または走行）していると判断されたときは、上記ステップＳ４５へ行って、上述したように警告表示を行う。 If it is determined in step S46 that the photographer is walking (or running), the process proceeds to step S45 to display a warning as described above.
また、上記ステップＳ４４において、前方物体までの距離Ｌが所定の距離ｋ３以上であると判断された場合、あるいは、上記ステップＳ４６において、撮影者が歩行（または走行）していないと判断された場合には、危険はないとして、上記ステップＳ４５の警告表示は行わない。 Further, when it is determined in step S44 that the distance L to the front object is equal to or greater than the predetermined distance k3, or when it is determined in step S46 that the photographer is not walking (or running). No warning is displayed in step S45, assuming that there is no danger.
こうして、ステップＳ４５の処理が終了するか、または上記ステップＳ４４あるいはステップＳ４６において危険がないと判断された場合には、この危険防止の処理を終了して、上記図５４に示した処理に復帰する。 In this way, when the process of step S45 ends or when it is determined that there is no danger in step S44 or step S46, this danger prevention process ends and the process returns to the process shown in FIG. .
なお、上述では警告表示を行っているが、この警告表示に代えて、強制的に（自動的に）シースルー画像表示部６によるシースルー表示をオフにするようにしても構わない。
In the above description, warning display is performed. However, instead of this warning display, the see-through display by the see-through
また、上述では、角速度センサ１４１，１４２の出力値のパターンを所定の特徴パターンと比較して撮影者の状態を検出したが、より簡易的な手段としては、角速度センサ１４１，１４２の出力値が所定時間継続して所定値以上であるときに、警告表示を行ったり、シースルー表示を禁止したりすることも考えられる。 In the above description, the pattern of the output values of the angular velocity sensors 141 and 142 is compared with a predetermined feature pattern to detect the photographer's state. However, as a simpler means, the output values of the angular velocity sensors 141 and 142 are It may be possible to display a warning or to prohibit see-through display when the predetermined value continues for a predetermined time or more.
さらに、上述では、撮影者の状態として、撮影者が歩行もしくは走行している状態を例に挙げたが、これらに限らず、危険を防止することが望ましい状態に対応することができるようにすると良い。例えば、前方物体との相対的な速度に基づいて、自動車等を運転中であるか否かを判断し、運転中であると判断された場合にも、所定の警告を行ったり、シースルー表示を禁止したりするようにすると良い。このときには、運転中であって危険を防止することが望ましい状態であるか、または、列車やバス等に乗車中であって特に警告等を行う必要はない状態であるか、をより精度良く判別するために、上記角速度センサ１４１，１４２の出力を用いたり、その他のセンサ等を設けてさらに検出精度を高めるようにすると良い。 Furthermore, in the above description, the state where the photographer is walking or running is taken as an example of the state of the photographer. However, the present invention is not limited thereto, and it is possible to cope with a state where it is desirable to prevent danger. good. For example, based on the relative speed with the front object, it is determined whether or not a car or the like is being driven, and even when it is determined that the vehicle is being driven, a predetermined warning or a see-through display is displayed. It is better to ban it. At this time, it is more accurately determined whether it is in a state where it is desirable to prevent danger while driving, or whether it is in a state where it is on a train or bus and there is no need to give a warning or the like. In order to achieve this, the output of the angular velocity sensors 141 and 142 may be used, or other sensors may be provided to further increase the detection accuracy.
そして、上記撮影中における前方物体との衝突等の危険を防止する技術は、頭部装着型カメラに適用するに限るものではなく、シースルー表示機能を有する頭部装着型の表示装置に対しても適用可能であり、さらには、その他の一般的なカメラや表示装置に対しても広く適用することが可能である。 The technique for preventing a danger such as a collision with a front object during photographing is not limited to being applied to a head-mounted camera, but also for a head-mounted display device having a see-through display function. The present invention can be applied, and can also be widely applied to other general cameras and display devices.
このような危険防止機能を設けることにより、頭部装着型カメラを、安全に使用することが可能となる。このような機能は、通常の行動をしながら簡単に撮影を行うことができる本実施例の頭部装着型カメラにおいて、特に有効となっている。 By providing such a risk prevention function, the head mounted camera can be used safely. Such a function is particularly effective in the head-mounted camera according to the present embodiment, which can easily perform shooting while performing a normal action.
次に、図３６〜図３９を参照して、視線方向検出の原理について説明する。 Next, the principle of gaze direction detection will be described with reference to FIGS.
図３６は、照明光束の光軸Ｌｍと眼の視線方向の視軸Ｌｍ’とが一致しているときの、該光軸Ｌｍおよび視軸Ｌｍ’を含む面による眼の断面図である。この図３６において、点Ｏを中心とする大きな円弧は眼球２２１を、点Ｏ’を中心とする円弧は角膜２２２を、角膜２２２を示す円弧が眼球２２１を示す円弧と交差する点から伸びる線分は虹彩２２３を、それぞれ示している。
FIG. 36 is a cross-sectional view of the eye taken along a plane including the optical axis Lm and the visual axis Lm ′ when the optical axis Lm of the illumination light beam coincides with the visual axis Lm ′ in the visual line direction of the eye. In FIG. 36, a large arc centered at the point O is the
このような眼に対して、光軸をＬｍとする平行光束を照射すると、角膜２２２の曲率中心Ｏ’と角膜２２２の頂点Ｋとのほぼ中点の位置に、光点Ｐｉ（以下、「プルキンエ像」という。）を生ずる。
When such an eye is irradiated with a parallel light flux having an optical axis of Lm, a light spot Pi (hereinafter, “Purkinje”) is positioned at a substantially midpoint between the center of curvature O ′ of the
角膜２２２を照明する光束の光軸Ｌｍと、眼の視線方向を示す視軸Ｌｍ’と、が一致している場合には、図３６に示すように、虹彩２２３中の円形孔でなる瞳孔の中心と、プルキンエ像Ｐｉと、角膜２２２の曲率中心Ｏ’と、眼球２２１の回旋中心Ｏと、は上記光軸Ｌｍ上にある。そして、プルキンエ像Ｐｉは、上記瞳孔の中心位置に生じている。このときに、眼を正面から観察すると、プルキンエ像Ｐｉの反射率は大きいために明るい光像として観察され、これに対して、瞳孔や虹彩の反射率は大幅に小さいために暗く観察される。
When the optical axis Lm of the light beam that illuminates the
図３７は、光軸Ｌｍに垂直に交差する線を横軸として、眼の像を上記視線方向／角速度検出部７により撮像したときのＣＣＤ１３４の出力信号を縦軸方向にプロットした図である。
FIG. 37 is a diagram in which the output signal of the
図示のように、虹彩２２３の像ＩＲはその周囲の眼球２２１の像部分よりも暗く、瞳孔の像ＰＬは虹彩２２３の像ＩＲよりもさらに暗い。これらに対して、プルキンエ像Ｐｉは突出して明るい。従って、このような明るさの分布を検出することにより、プルキンエ像の虹彩（または瞳孔）の中心からの位置を求めることが可能となっている。
As illustrated, the image IR of the
一方、図３８は、照明光束の光軸Ｌｍと眼の視線方向の視軸Ｌｍ’とが交差しているときの、該光軸Ｌｍおよび視軸Ｌｍ’を含む面による眼の断面図である。 On the other hand, FIG. 38 is a cross-sectional view of the eye by a plane including the optical axis Lm and the visual axis Lm ′ when the optical axis Lm of the illumination light beam intersects the visual axis Lm ′ in the visual line direction. .
眼球２２１が、回旋中心Ｏ周りに光軸Ｌｍに対して角度θだけ回旋すると、瞳孔の中心位置とプルキンエ像Ｐｉの位置との間に相対的なずれが生じる。今、角膜の曲率中心Ｏ’から瞳孔の中心ｉまでの距離をＬｘとすると、光軸Ｌｍの方向から見たときの瞳孔中心ｉとプルキンエ像ＰｉとのＣＣＤ１３４の撮像面上における距離ｄ（図３８においては実距離であるように図示しているが、より正確には距離ｄは撮像面上の距離であるものとする。）は、次の数式１２により表わされる。
When the
［数１２］
図３９は、光軸Ｌｍおよび視軸Ｌｍ’に交差し該光軸Ｌｍに垂直な線を横軸として、眼の像を上記視線方向／角速度検出部７により撮像したときのＣＣＤ１３４の出力信号を縦軸方向にプロットした図である。
FIG. 39 shows the output signal of the
図示のように、プルキンエ像Ｐｉは、虹彩（または瞳孔）の中心に対して、上記距離ｄだけずれた位置に検出される。 As shown in the figure, the Purkinje image Pi is detected at a position shifted from the center of the iris (or pupil) by the distance d.
従って、上記眼の像を視線方向検出部の受光系により結像して撮像し、撮像された画像データに画像処理を行って、プルキンエ像Ｐｉの位置と虹彩（または瞳孔）の中心位置との距離ｄを求めることにより、視線方向θを求めることが可能となる。なお、上記図１５または図１７に示したような受光系を介してＣＣＤ１３４に結像される像は、上下左右に非対称な、歪んだ画像となるが、このような幾何特性をＥＥＰＲＯＭ１０２等に予め補正情報として記憶しておき、この補正情報に基づいて上記歪みを補正した後に、上記数式１２に基づいて視線方向を示す角度θを演算することになる。
Therefore, the image of the eye is formed by the light receiving system of the line-of-sight direction detection unit and imaged, image processing is performed on the captured image data, and the position of the Purkinje image Pi and the center position of the iris (or pupil) are determined. By obtaining the distance d, the line-of-sight direction θ can be obtained. Note that the image formed on the
次に、上記距離ｄを求めるための画像処理について詳細に説明する。 Next, image processing for obtaining the distance d will be described in detail.
上述した原理においては、一次元の視線方向検出について述べたが、実際には二次元の視線方向を検出する必要がある。図４０は、２次元の撮像素子から得られる眼の像を示す図である。この図４０に示すように、瞳孔の中心をＯｐ、プルキンエ像をＰｉ、瞳孔中心Ｏｐを通る所定の中心線をＬｐ、この中心線Ｌｐと、該瞳孔中心Ｏｐとプルキンエ像Ｐｉとを結ぶ直線と、のなす角をγ、とそれぞれすると、瞳孔中心Ｏｐとプルキンエ像Ｐｉとの距離が上記数式１２における距離ｄに対応する。従って、この距離ｄに基づき観察者の眼への赤外光の投光方向（以下「基準視軸」と呼ぶ）を基準とする視線方向（傾き角）θを求めることができ、また、上記γが眼球の回転方向を表わしている。こうして、ＣＣＤ１３４に結像される２次元像における、瞳孔中心Ｏｐの位置と、プルキンエ像Ｐｉの位置と、を検出することができれば、上記θとγとで表される二次元の視線方向を求めることが可能となる。
In the above-described principle, one-dimensional gaze direction detection has been described, but in practice it is necessary to detect a two-dimensional gaze direction. FIG. 40 is a diagram illustrating an eye image obtained from a two-dimensional image sensor. As shown in FIG. 40, the center of the pupil is Op, the Purkinje image is Pi, the predetermined center line passing through the pupil center Op is Lp, and the center line Lp is a straight line connecting the pupil center Op and the Purkinje image Pi. And γ, respectively, the distance between the pupil center Op and the Purkinje image Pi corresponds to the distance d in the
次に、図５７は、このような瞳孔中心Ｏｐの位置とプルキンエ像Ｐｉの位置とを求める処理を示すフローチャートである。 Next, FIG. 57 is a flowchart showing processing for obtaining the position of the pupil center Op and the position of the Purkinje image Pi.
この処理を開始すると、まず、視線方向／角速度検出部７のＣＣＤ１３４により光電変換して得られた観察者の眼の画像データを、制御／記録部４内のメモリ１５５に記憶する（ステップＳ５１）。そして、この画像データに基づいて、例えば第１ＣＰＵ１６１により、以下に示すような処理を行う。
When this processing is started, first, image data of the observer's eye obtained by photoelectric conversion by the
なお、外光によるノイズ成分を除去するために、観察者の眼に赤外光を投光する前にまずＣＣＤ１３４の画像データを取り込んでおき、その後に、観察者の眼に赤外光を投光したときのＣＣＤ１３４の画像データを取り込んで、後者の画像データから前者の画像データを減算することにより、Ｓ／Ｎを改善した画像データを生成し、この画像データに基づいて、以下に示すような処理を行うようにしても良い。
In order to remove noise components due to external light, the
また、上述では、ＣＣＤ１３４から得られた画像データを制御／記録部４内のメモリ１５５へ転送するようにしているが、例えば、視線方向／角速度検出部７におけるＡ／Ｄ変換回路１３７の後段にバッファメモリ等を設けて、該画像データをこのバッファメモリに記憶し、例えば第２ＣＰＵ１２１により以下のような処理を行うようにしても構わない。このように構成すれば、視線検出に係る画像データを上記制御／記録部４へ転送することなく直ちに処理することができるために、より短い時間で視線方向を検出することが可能となり、視線方向が変化したときの追従性が高まる。
In the above description, the image data obtained from the
次に、取得した画像データから、プルキンエ像を検出し、該プルキンエ像の位置（例えば、図４１に示すようなＸ座標およびＹ座標。ここに、図４１に示す例では、上記中心線Ｌｐの方向にＸ軸を、該中心線Ｌｐに垂直な方向にＹ軸を、それぞれとっている。）を求める（ステップＳ５２）。上述したようにプルキンエ像は、他の画像部分に比べて極めて明るいために、例えば所定の閾値ＴＨPiを設定して、この閾値ＴＨPiよりも明るい領域をプルキンエ像として判定する処理を採用することができる。もちろん、プルキンエ像を判定する処理はこれに限らず、その他の画像処理も採用することが可能である。また、プルキンエ像の位置は、上記閾値ＴＨPiよりも明るい領域の重心を採用しても良いし、あるいは、出力データのピーク位置を採用することも可能である。 Next, a Purkinje image is detected from the acquired image data, and the position of the Purkinje image (for example, an X coordinate and a Y coordinate as shown in FIG. 41. Here, in the example shown in FIG. 41, the center line Lp The X axis is taken in the direction and the Y axis is taken in the direction perpendicular to the center line Lp) (step S52). As described above, since the Purkinje image is extremely brighter than other image portions, for example, a predetermined threshold value THPi is set, and a process of determining an area brighter than the threshold value THPi as a Purkinje image can be employed. . Of course, the processing for determining the Purkinje image is not limited to this, and other image processing can also be employed. As the position of the Purkinje image, the center of gravity of an area brighter than the threshold value THPi may be employed, or the peak position of output data may be employed.
続いて、プルキンエ像であると判定された画素の画素データを、該プルキンエ像の近傍の画素の画素データに基づいて、該プルキンエ像が発生しなかった場合の画素データに置き換える（ステップＳ５３）。具体的には、画素データの値を、プルキンエ像の位置を中心にして二次元方向に追跡し、画素データの変曲点を検出する。そして、この変曲点を結んでできる閉じた境界線の内部の像をプルキンエ像であるとして、このプルキンエ像の画像データの値を、その境界線の外側の近隣画像データと置き換える処理を行う。このときに、プルキンエ像に係る複数の近傍同士の間に画素データのレベルの傾きが存在する場合には、線形補間等を行うことによりレベルを補正して、プルキンエ像と置き換える画像データが、その近傍の画像データと滑らかなレベル変化で接続されるようにすると良い。 Subsequently, pixel data of a pixel determined to be a Purkinje image is replaced with pixel data when the Purkinje image is not generated based on pixel data of a pixel in the vicinity of the Purkinje image (step S53). Specifically, the value of pixel data is traced in a two-dimensional direction around the position of the Purkinje image, and an inflection point of the pixel data is detected. Then, assuming that the image inside the closed boundary line formed by connecting the inflection points is the Purkinje image, the image data value of the Purkinje image is replaced with the neighboring image data outside the boundary line. At this time, if there is an inclination of the level of the pixel data between a plurality of neighborhoods related to the Purkinje image, the image data to be replaced with the Purkinje image by correcting the level by performing linear interpolation or the like is used. It is preferable to connect to neighboring image data with a smooth level change.
さらに、図４１に示すように、プルキンエ像Ｐｉを中心として所定の領域Ｓｄを設定する（ステップＳ５４）。図４１はプルキンエ像を中心として眼の像に設定される所定の領域を示す図である。なお、この図４１に示す例では、上記所定の領域Ｓｄを、一辺が上記Ｘ座標に平行となり他辺が上記Ｙ座標に平行となるような正方形としているが、これに限るものではなく、例えば円形の領域であっても構わない。なお、この所定の領域Ｓｄの大きさは、プルキンエ像Ｐｉが瞳孔中心Ｏｐから最大に変位した場合にも瞳孔全体の像が含まれるように、設定される。この設定は、領域Ｓｄが例えば図４１に示したような正方形をなすときには、図示のような一辺の半分の長さＬｄを指定することにより行われる。また、領域Ｓｄが円形であるときには、その半径を指定することにより行われる。 Further, as shown in FIG. 41, a predetermined region Sd is set around the Purkinje image Pi (step S54). FIG. 41 is a diagram showing a predetermined area set in the eye image with the Purkinje image as the center. In the example shown in FIG. 41, the predetermined region Sd is a square having one side parallel to the X coordinate and the other side parallel to the Y coordinate. However, the present invention is not limited to this. It may be a circular area. The size of the predetermined region Sd is set so that the entire pupil image is included even when the Purkinje image Pi is displaced to the maximum from the pupil center Op. This setting is performed by designating a length Ld that is half of one side as shown when the region Sd has a square shape as shown in FIG. 41, for example. Further, when the area Sd is circular, the radius is designated.
そして、正方形をなす上記領域Ｓｄに含まれる画素データの内の最小値Ｖmin を検出する（ステップＳ５５）。 Then, the minimum value Vmin in the pixel data included in the area Sd forming a square is detected (step S55).
次に、上記最小値Ｖmin に所定値αを加えた値Ｖmin ＋αを設定する。ただし、この値Ｖmin ＋αは、虹彩領域の画像データのレベルよりも低い値となるような範囲内で設定される。そして、この値Ｖmin ＋α以下の画素データを有する画素のＸ座標およびＹ座標を検出する（ステップＳ５６）。なお、ここで検出された画素の集合でなる領域をＳ’とする。 Next, a value Vmin + α obtained by adding a predetermined value α to the minimum value Vmin is set. However, this value Vmin + α is set within a range that is lower than the level of the image data in the iris region. Then, the X coordinate and Y coordinate of a pixel having pixel data equal to or smaller than this value Vmin + α are detected (step S56). Note that an area formed by a set of detected pixels is S ′.
そして、このステップＳ５６により求めた領域Ｓ’の重心の位置を求めて、これを瞳孔中心の位置とする（ステップＳ５７）。ここでは、具体的には、領域Ｓ’に含まれる全ての画素について、Ｘ座標の平均値と、Ｙ座標の平均値と、を求めて、これを瞳孔中心の位置とすることになる。 Then, the position of the center of gravity of the area S ′ obtained in step S56 is obtained, and this is set as the position of the pupil center (step S57). Here, specifically, the average value of the X coordinate and the average value of the Y coordinate are obtained for all the pixels included in the region S ′, and this is set as the position of the pupil center.
なお、上述では、瞳孔中心の位置を求めるのに、瞳孔に該当する画素の重心を採用したが、これに限らず、瞳孔に該当する画素領域の、Ｘ座標の最大位置と最小位置との中点、およびＹ座標の最大位置と最小位置との中点、を求めて、これを瞳孔中心としても良い。瞳孔はほぼ円形をなしているために、眼球が回旋したときの画像は楕円形となる。従って、このような処理を行うことも可能となっている。 In the above description, the center of gravity of the pixel corresponding to the pupil is used to obtain the position of the pupil center. However, the present invention is not limited to this. It is also possible to obtain a point and the midpoint between the maximum position and the minimum position of the Y coordinate and use this as the pupil center. Since the pupil has a substantially circular shape, the image when the eyeball rotates is elliptical. Therefore, it is possible to perform such processing.
上述したような処理を行うことにより、プルキンエ像のＸ座標およびＹ座標と、瞳孔中心のＸ座標およびＹ座標と、を求めることができる。 By performing the processing described above, the X and Y coordinates of the Purkinje image and the X and Y coordinates of the pupil center can be obtained.
なお、上記処理の説明における画素は、ＣＣＤ１３４の撮像面に構成されている実際の画素であっても良いし、隣接する複数の画素をひとまとめとして考えた仮想的な画素であっても構わない。例えば、複数の画素をひとまとめの画素とする場合には、処理時間を短縮することができる利点がある。
The pixels in the above description of the processing may be actual pixels configured on the imaging surface of the
ところで、眼の各器官の大きさは、年齢毎に、性別毎に、あるいは人種毎に異なり、ひいては個人毎に異なるといえる。また、視線方向検出部を製作する際の個体差（機器毎の個体差）や、頭部装着部２の装着の仕方、などによっても、視線方向検出部の眼との相対的な位置関係が微妙に変化する。従って、上記数式１２に基づいた一律的なパラメータにより求めた視線方向は、全ての撮影者に対して正確であるとはいえない。
By the way, it can be said that the size of each organ of the eye differs for each age, for each sex, for each race, and for each individual. Also, the relative positional relationship between the eye direction detection unit and the eye depends on the individual difference (individual difference for each device) at the time of manufacturing the eye direction detection unit, the manner in which the
このような理由から、本実施例のカメラ１では、視線方向検出に係るキャリブレーションを、必要に応じて所望に行うことができるようになっている。これにより、使用者毎の最適化を行うことが可能である。
For this reason, the
図５８は、視線方向検出に係るキャリブレーションの処理を示すフローチャートである。 FIG. 58 is a flowchart showing a calibration process related to the gaze direction detection.
例えば、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などを操作することによりキャリブレーションモードを選択すると、このキャリブレーション処理が開始される。
For example, when the calibration mode is selected by operating the
処理を開始すると、まず、上記図３１に示したようなキャリブレーション用の指標Ｐ１〜Ｐ５の内の何れを表示させるかを設定する（ステップＳ６１）。 When the process is started, first, which of the calibration indices P1 to P5 as shown in FIG. 31 is displayed is set (step S61).
そして、設定した指標を例えば点滅してシースルー表示する（ステップＳ６２）。この表示は、上述したように、視線方向検出部を含む視線方向／角速度検出部７が配設されている側の眼とは異なる側の眼により観察可能となっている。
Then, the set index is displayed, for example, by blinking (step S62). As described above, this display can be observed by an eye on the side different from the eye on which the line-of-sight direction / angular
例えば、まず指標Ｐ１を点滅させて、この指標Ｐ１を注視するように、観察者を促す。観察者は、指標Ｐ１を注視した状態となったら、所定のキー操作を行う。このキー操作入力を検出すると、上記ＣＣＤ１３４により画像データを取り込んで、上記数式１２に基づき、瞳孔中心ｉとプルキンエ像Ｐｉとの間の距離ｄを演算する（ステップＳ６３）。このときに、指標Ｐ１を注視することにより得られた距離ｄの値をｄ１とする。
For example, first, the indicator P1 is blinked, and the observer is prompted to watch the indicator P1. When the observer is in a state of gazing at the index P1, the observer performs a predetermined key operation. When this key operation input is detected, image data is taken in by the
そして、上記指標Ｐ１〜Ｐ５の全てについて上記ステップＳ６１〜Ｓ６３の処理が終了したか否かを判断する（ステップＳ６４）。 And it is judged whether the process of said step S61-S63 was complete | finished about all the said parameter | index P1-P5 (step S64).
ここで、まだ、全ての指標Ｐ１〜Ｐ５について処理が終了していない場合には、上記ステップＳ６１へ行って、次の指標について、上述したような処理を行うことにより、全ての指標Ｐ１〜Ｐ５に各係る距離ｄ１〜ｄ５を算出する。 Here, if the processing has not been completed for all the indexes P1 to P5, the process proceeds to step S61, and the processing as described above is performed for the next index, whereby all the indexes P1 to P5 are obtained. The distances d1 to d5 related to the above are calculated.
ここで、上記数式１２は理想的な場合にのみ成立する式であり、実際には、上述したような種々の誤差を考慮する必要がある。そこで、上記数式１２を修正して、
［数１３］
[Equation 13]
この数式１３において、角度θは、指標Ｐ１〜Ｐ５の表示位置により予め設定される値（指標Ｐ１〜Ｐ５に各対応して、それぞれ角度θ１〜θ５とする。）である。また、距離ｄは、視線方向検出部により実際に検出される値（上述した距離ｄ１〜ｄ５）である。さらに、Ｌｘは、個人毎に異なる値であるものとする。
In
この数式１３に、既知である上記角度θ１〜θ５と、上記ステップＳ６３において各求めた距離ｄ１〜ｄ５と、上述したような結像レンズ１３２の結像倍率β1 と、を代入することにより、ΔｄとＬｘとを未知数とする５つの数式（一次式）が求められる。２つの未知数Δｄ，Ｌｘを求めるためには、これらの未知数を含む２つの一次式を連立すれば良いために、可能な解の組として、5Ｃ2＝１０（組）の解が求められることになる。そして、これらの解の組に所定の統計演算を行うことにより、各個人毎のパラメータとして最も確からしいと考えられるΔｄおよびＬｘを求める（ステップＳ６５）。
By substituting the known angles θ1 to θ5, the distances d1 to d5 obtained in step S63, and the imaging magnification β1 of the
その後、このようにして求めたΔｄおよびＬｘを、上記ＥＥＰＲＯＭ１０２に記憶してから（ステップＳ６６）、このキャリブレーションの処理を終了する。 Thereafter, Δd and Lx determined in this way are stored in the EEPROM 102 (step S66), and the calibration process is terminated.
なお、実際に視線方向を検出するに当たっては、上述したようなキャリブレーションによって求めたΔｄおよびＬｘと、実際に検出した瞳孔中心ｉとプルキンエ像Ｐｉとの距離ｄと、を上記数式１３に代入し、視線方向θを算出して求めることになる。
In actually detecting the direction of the line of sight, Δd and Lx obtained by the calibration as described above and the distance d between the pupil center i and the Purkinje image Pi actually detected are substituted into the
このようにして求めた視線方向のデータは、撮影時にリアルタイムで利用することができると共に、撮影後に例えば後述するような画像編集を行う際に利用することもできる。従って、動画データを記録するときには、後述するように、求めた視線方向を、検出されたタイム情報に関連付けて、動画データとともに記録するようになっている。 The line-of-sight data obtained in this way can be used in real time at the time of shooting, and can also be used for image editing as described later after shooting. Therefore, when recording moving image data, as will be described later, the obtained line-of-sight direction is associated with the detected time information and recorded together with the moving image data.
撮影時にリアルタイムで視線方向データを利用する例としては、撮像部３０の撮影光学系３１のピントを、視線方向の被写体に自動的に合わせることが挙げられる。この場合には、ＣＣＤ８７に結像される被写体像の中の、上記視線方向に対応する部分を中心とした所定範囲について焦点検出を行うようにすればよい。このときには、上記図３５を参照して説明したように、パララックスを考慮すると良い。
An example of using the gaze direction data in real time at the time of shooting is to automatically adjust the focus of the shooting
図４３は、図５４のステップＳ８の処理において記録される各種データの構造を示す図である。 FIG. 43 is a diagram showing the structure of various data recorded in the process of step S8 of FIG.
上記記録用メモリ１５７に記録されるデータは、例えば、この図４３に示すようなデータ構造となっている。
The data recorded in the
すなわち、該データは、静止画データ管理エリアと、動画データ管理エリアと、編集済動画データ管理エリアと、静止画データエリアと、動画データエリアと、音声データエリアと、角速度データエリアと、視線方向データエリアと、編集済動画データエリアと、を有して構成されている。 That is, the data includes a still image data management area, a moving image data management area, an edited moving image data management area, a still image data area, a moving image data area, an audio data area, an angular velocity data area, and a line-of-sight direction. It has a data area and an edited moving image data area.
上記静止画データ管理エリアは、上記オートモード（Ａ）、またはマニュアルモード（Ｍ）において上記静止画データエリアに記録される静止画データの管理を行うための領域であり、撮影された各静止画データの先頭番地等が記録されている。 The still image data management area is an area for managing still image data recorded in the still image data area in the auto mode (A) or the manual mode (M). The top address of the data is recorded.
上記動画データ管理エリアは、上記動画データエリアにユニット単位で記録される動画データの管理を行うための領域であるが、その詳細については後述する。 The moving image data management area is an area for managing moving image data recorded in units in the moving image data area. Details thereof will be described later.
上記編集済動画データ管理エリアは、後述するように編集が行われた動画データが記録される編集済動画データエリアの管理を行うための領域であり、この詳細についても後述する。 The edited moving image data management area is an area for managing the edited moving image data area in which the edited moving image data is recorded as will be described later, and details thereof will be described later.
上記静止画データエリアは、上述したように、静止画データが記録される領域である。 As described above, the still image data area is an area in which still image data is recorded.
上記動画データエリアは、上述したように、動画データがユニット単位で記録される領域である。 As described above, the moving image data area is an area in which moving image data is recorded in units.
上記音声データエリアは、上記第１マイク１７や第２マイク１８により収録された音声データがユニット単位で記録される領域である。
The audio data area is an area in which audio data recorded by the
上記角速度データエリアは、上記角速度センサ１４１，１４２により検出された角速度データがユニット単位で記録される領域である。 The angular velocity data area is an area where angular velocity data detected by the angular velocity sensors 141 and 142 is recorded in units.
上記視線方向データエリアは、上記視線方向／角速度検出部７からの画像データに基づき上記第１ＣＰＵ１６１等により算出された視線方向データが、ユニット単位で記録される領域である。なお、この視線方向データエリアに記録する視線方向データとしては、上記視線方向／角速度検出部７の視線方向検出部からの画像データに基づき求めた視軸方向を示す角度θそのものであっても良いが、これに代えて、上記数式１０に示したように、視軸方向の被写体を撮像部３０から見た角度となるパララックス補正された角度θ’を記録するようにしても構わないし、あるいはこれらの両方を記録するようにしても良い。こうして、視線方向データ（視線方向情報）には、視線方向が所定時間間隔で記録されることになるために、視線方向の連続的な移動量を算出することが可能であり、また、視線方向の移動速度を算出することも可能である。従って、視線方向データは、視線方向の連続的な移動量と、視線方向の移動速度と、の少なくとも一方を含むということができる。
The line-of-sight direction data area is an area where the line-of-sight direction data calculated by the first CPU 161 and the like based on the image data from the line-of-sight direction /
上記編集済動画データエリアは、上述したように、編集済みの動画データがユニット単位で記録される領域である。 As described above, the edited moving image data area is an area in which edited moving image data is recorded in units.
次に、動画データの構造の基本概念について説明する。 Next, the basic concept of the structure of moving image data will be described.
動画データは、該動画データの撮像と同時的に収録された音声データ、そして、該動画データの撮像と同時的に検出された角速度データおよび視線方向データと、その時間的な関係に応じて相互に関連付けられて記録されている必要がある。そこで、本実施例においては、これらの各データを所定時間毎にまとめてユニットという単位とし、ユニット内に含まれる各データが実際に記録されているメモリ領域の先頭アドレスを、上記動画データ管理エリアにまとめて記録している。従って、動画データ管理エリアに記録されている管理データを参照することにより、所望のユニットに含まれる動画データ、音声データ、角速度データ、および視線方向データにアクセスすることが可能となっている。 The moving image data includes audio data recorded at the same time as the imaging of the moving image data, and angular velocity data and gaze direction data detected at the same time as the imaging of the moving image data. Must be recorded in association with. Therefore, in this embodiment, each of these data is grouped into a unit called a unit every predetermined time, and the start address of the memory area where each data included in the unit is actually recorded is set as the moving image data management area. Are recorded together. Therefore, by referring to the management data recorded in the moving image data management area, it is possible to access moving image data, audio data, angular velocity data, and line-of-sight direction data included in a desired unit.
例えば、動画データ、音声データ、角速度データの取り込み周期を１／３０秒とし、視線方向データの取り込み周期を１秒とし、１秒間分の各データを１つのユニットにまとめるものとする。このときには、１つのユニット内に、画像データ、音声データ、および角速度データがそれぞれ３０個ずつ、また、視線方向データが１個、記録されていることになる。従って、上記動画データ管理エリアには、３０個分の画像データを管理するためのデータ、３０個分の音声データを管理するためのデータ、３０個分の角速度データを管理するためのデータ、１個分の視線方向データを管理するためのデータ、が１つのユニットに対して記録されていることになる。従って、該動画データ管理エリアには、このような管理データが、ユニットの数だけ繰り返し記録されている。 For example, it is assumed that the capturing period of moving image data, audio data, and angular velocity data is 1/30 seconds, the capturing period of the line-of-sight direction data is 1 second, and each data for 1 second is collected into one unit. At this time, 30 pieces of image data, audio data, and angular velocity data, and one line-of-sight direction data are recorded in one unit. Accordingly, the moving image data management area includes data for managing 30 pieces of image data, data for managing 30 pieces of audio data, data for managing 30 pieces of angular velocity data, 1 Data for managing the line-of-sight direction data is recorded for one unit. Accordingly, such management data is repeatedly recorded in the moving image data management area by the number of units.
図４４は、動画データ管理エリアの詳細な構成を示す図である。 FIG. 44 is a diagram showing a detailed configuration of the moving image data management area.
動画データ管理エリアには、ファイルに関する管理データが、ファイル名を先頭にして、ファイルの数だけ記録されている。 In the moving image data management area, management data related to files is recorded in the number of files starting from the file name.
１つのファイルに関する管理データは、該図４４に示すように、ファイル（Ｆｉｌｅ）名と、フラグ（ＦＬＧ）と、開始時刻と、終了時刻と、ユニットサイズと、ユニットに関するデータと、を含んでいる。 As shown in FIG. 44, the management data relating to one file includes a file name, a flag (FLG), a start time, an end time, a unit size, and data relating to the unit. .
上記ファイル名は、動画データに付されたファイルの名前である。 The file name is the name of the file attached to the moving image data.
上記フラグ（ＦＬＧ）は、編集処理が実施済みであるか否かを示すものである。 The flag (FLG) indicates whether the editing process has been performed.
上記開始時刻は、動画データの撮影が開始された時刻を示すものである。 The start time indicates the time when shooting of moving image data is started.
上記終了時刻は、動画データの撮影が終了した時刻を示すものである。 The end time indicates the time when the shooting of the moving image data has ended.
上記ユニットサイズは、動画データ、音声データ、角速度データ、および視線方向データを１組のユニット単位で記録するときのサイズを示すものである。 The unit size indicates a size when moving image data, audio data, angular velocity data, and line-of-sight direction data are recorded in one unit unit.
上記ユニットに関するデータは、このファイルに含まれるユニットの数だけ設けられており、１つのユニットに対しては、動画データの先頭番地を示すＡＤＲ（Ａ）、音声データの先頭番地を示すＡＤＲ（Ｂ）、角速度データの先頭番地を示すＡＤＲ（Ｃ）、視線方向データの先頭番地を示すＡＤＲ（Ｄ）がそれぞれ記録されるようになっている。 Data relating to the above units is provided for the number of units included in this file. For one unit, ADR (A) indicating the start address of the video data and ADR (B) indicating the start address of the audio data are provided for one unit. ), ADR (C) indicating the head address of the angular velocity data, and ADR (D) indicating the head address of the line-of-sight direction data are recorded.
従って、この動画データ管理エリアを参照することにより、記録用メモリ１５７にどのようなデータが記録されているかを、例えば図４５に示すように把握することができるようになっている。図４５は、動画データ管理エリアを参照して得られる情報表示の一例を示す図である。
Accordingly, by referring to this moving image data management area, it is possible to grasp what data is recorded in the
この図４５に示す例では、記録用メモリ１５７内に記録されているファイル名の一覧が表示され、各ファイルに対応する撮影日や撮影時刻、そして後述するような編集処理が行われているか否かが表示される。
In the example shown in FIG. 45, a list of file names recorded in the
次に、図４６は、編集済動画データ管理エリアの詳細な構成を示す図である。 Next, FIG. 46 is a diagram showing a detailed configuration of the edited moving image data management area.
この編集済動画データ管理エリアには、編集済みの動画データに係るファイルに関する管理データが、ファイル名を先頭にして、ファイルの数だけ記録されている。 In this edited moving image data management area, management data relating to files related to the edited moving image data is recorded by the number of files starting from the file name.
１つのファイルに関する管理データは、該図４６に示すように、ファイル（Ｆｉｌｅ）名と、開始時刻と、終了時刻と、撮影時間と、記録領域と、を含んでいる。 As shown in FIG. 46, the management data relating to one file includes a file name, a start time, an end time, a shooting time, and a recording area.
上記ファイル名、開始時刻、終了時刻は、上記動画データ管理エリアに記録されているものと同様である。 The file name, start time, and end time are the same as those recorded in the moving image data management area.
また、上記撮影時間は、撮影された動画像のトータル時間を示す情報である。 The shooting time is information indicating the total time of the shot moving image.
さらに、上記記録領域は、所定のユニットサイズでなるユニット毎に、記録領域の先頭アドレスを表わす先頭番地が、上記動画データ管理エリアに記録されているものと同様に記録されている。 Further, in the recording area, the head address indicating the head address of the recording area is recorded for each unit having a predetermined unit size in the same manner as that recorded in the moving image data management area.
次に、図５９は、編集処理を示すフローチャートである。 Next, FIG. 59 is a flowchart showing the editing process.
例えば、上記第１操作スイッチ１６２のメニューボタン６３やメニュー選択スイッチ６６，６７，６８，６９、確定スイッチ６５などを操作することにより編集モードが選択されると、この編集処理が開始されるようになっている。
For example, when the editing mode is selected by operating the
この処理を開始すると、まず、連続して撮影された画像ファイル（つまり動画像ファイル）を１つの単位として、上記図４５に示したように、撮影日、撮影時刻、既に編集済みであるか否かを示す情報、を一覧として表示する。そして、このように表示された画像の中から、操作者により１つ以上の画像ファイルが選択されるのを待機する（ステップＳ７１）。 When this process is started, first, as shown in FIG. 45, the image date (shooting time) and whether or not the image file (that is, the moving image file) that has been continuously shot is already edited as a unit. Is displayed as a list. Then, it waits for the operator to select one or more image files from the displayed images (step S71).
こうして、画像ファイルの選択が行われた場合には、上記図４４に示したような動画データ管理エリアに記録されている管理情報を参照して、選択された画像ファイルに対応する視線方向データを読み出す（ステップＳ７２）。 When the image file is thus selected, the line-of-sight direction data corresponding to the selected image file is obtained by referring to the management information recorded in the moving image data management area as shown in FIG. Read (step S72).
そして、読み出した視線方向データに基づいて、注視時間が所定時間ｔ１以上であるか否かを判断する（ステップＳ７３）。ここで注視しているか否かは、視線方向を表わすベクトルの大きさの変化が所定量以内であれば、一定の方向を注視しているものとする。 Then, based on the read gaze direction data, it is determined whether or not the gaze time is equal to or longer than the predetermined time t1 (step S73). Here, whether or not the user is gazing is determined to be gazing at a certain direction if the change in the magnitude of the vector representing the sight line direction is within a predetermined amount.
ここで注視時間が所定以上であると判断された場合には、ズームアップ処理を行う（ステップＳ７４）。 If it is determined that the gaze time is equal to or greater than the predetermined time, a zoom-up process is performed (step S74).
ここで、図４７〜図４９を参照して、上記ズームアップ処理について説明する。図４７はＸ方向の視線位置の時間変化を示す図、図４８はＹ方向の視線位置の時間変化を示す図、図４９はズーミングの時間変化を示す図である。なお、これら図４７〜図４９は、横軸にプロットした時間が、同一位置において同一時間を示すように図示している。 Here, the zoom-up process will be described with reference to FIGS. 47 to 49. 47 is a diagram showing a temporal change in the line-of-sight position in the X direction, FIG. 48 is a diagram showing a temporal change in the line-of-sight position in the Y direction, and FIG. 49 is a diagram showing a temporal change in zooming. In FIGS. 47 to 49, the time plotted on the horizontal axis shows the same time at the same position.
なお、Ｘ軸とＹ軸は、視線方向を示すベクトル空間を記述する互いに直交する２軸である。 Note that the X axis and the Y axis are two axes that are orthogonal to each other and describe a vector space indicating the line-of-sight direction.
ΔＸ，ΔＹをＸ方向，Ｙ方向のそれぞれに対する所定の視線位置変化量であるとする。このとき、Ｘ方向，Ｙ方向の視線位置変化が各々ΔＸ，ΔＹ以下で、かつ注視時間が上記所定時間ｔ１以上であるときは、図４９に示すように、注視点に向けて画像をゆっくりと拡大して行く。つまり、注視点が徐々に画像の中央にくるように、拡大とトリミング（拡大領域の変更）とを同時に実行して行く。一定の拡大量に達したところでその状態をしばらく維持し、再び、注視時間の終了ｔ０に向けてゆっくりと元の倍率（標準の画角）へ戻して行く。 Assume that ΔX and ΔY are predetermined line-of-sight position change amounts in the X direction and the Y direction, respectively. At this time, when the line-of-sight position changes in the X direction and the Y direction are ΔX and ΔY or less and the gaze time is the predetermined time t1 or more, as shown in FIG. 49, the image is slowly directed toward the gaze point. Expand. That is, enlargement and trimming (change of the enlarged area) are performed simultaneously so that the gazing point gradually comes to the center of the image. When a certain amount of magnification is reached, the state is maintained for a while and then slowly returned to the original magnification (standard angle of view) toward the end of the gaze time t0.
なお、注視をしている途中で、瞬間的に視線方向が他に移動して再び元の注視方向へ戻ることがあるが、このような視線の動きについてはノイズであるとして、注視時間の考慮に入れないような画像処理を行うようにしている。このような画像処理は、公知の移動平均とノイズ処理とにより簡単に実行することができるために、その処理の詳細については省略する。 In the middle of gaze, the gaze direction may momentarily move elsewhere and return to the original gaze direction again. Considering the gaze time as such gaze movement is noise. Image processing that cannot be included in the image is performed. Since such image processing can be easily executed by known moving average and noise processing, details of the processing are omitted.
図５９の説明に再び戻って、このステップＳ７４のズームアップ処理が終了するか、または、上記ステップＳ７３において注視時間がｔ１よりも大きいと判断されたときには、上記２方向（ヨー方向とピッチ方向）の角速度データを読み出す（ステップＳ７５）。 Returning again to the description of FIG. 59, when the zoom-up process in step S74 ends or when it is determined in step S73 that the gaze time is longer than t1, the two directions (yaw direction and pitch direction) are described. Is read (step S75).
その後、読み出した角速度データに基づいて、所定の編集処理を実行することになるが、図５９のフローチャートに沿って説明を進める前に、この編集処理の基本的な考え方について、図５０〜図５２を参照して説明する。図５０は角速度の時間変化を示す線図、図５１は角速度の絶対値の時間変化を示す線図、図５２は角速度の時間積分値の変化の様子を示す線図である。なお、これら図５０〜図５２は、横軸にプロットした時間が、同一位置において同一時間を示すように図示している。また、図５２に示す角速度の時間積分（ΣωΔｔ）は、振幅に該当している。 Thereafter, a predetermined editing process is executed on the basis of the read angular velocity data. Before proceeding with the description according to the flowchart of FIG. 59, the basic concept of this editing process will be described with reference to FIGS. Will be described with reference to FIG. FIG. 50 is a diagram showing the time change of the angular velocity, FIG. 51 is a diagram showing the time change of the absolute value of the angular velocity, and FIG. 52 is a diagram showing the change of the time integral value of the angular velocity. 50 to 52 are illustrated such that the times plotted on the horizontal axis indicate the same time at the same position. Also, the angular velocity time integral (ΣωΔt) shown in FIG. 52 corresponds to the amplitude.
編集処理の基本的な考え方は、次のようになっている。まず、ごく短い時間ｔ２以下の角速度ωの変化は、ノイズであるとして無視する。次に、所定時間ｔ３（ここにｔ３は、上記ｔ２よりも長い時間である。）を閾値として、持続時間ｔがこのｔ３に満たないときは短い周期の振動（つまり、ぶれ）であると判断し、ｔ３以上のときはぶれでない方向の変化であると判断する。そして、ぶれであると判断されたときは、可能であればぶれ補正を行い、不可能であればカッティング処理を行う。同様に、ぶれでない方向の変化であると判断されたときは、可能であればスムージング処理（急激に画像が流れるのを補正して、滑らかな変化にする編集処理であり、記録時間の引き延ばしとなっている。）を行い、不可能であればカッティング処理を行う。 The basic idea of the editing process is as follows. First, the change in the angular velocity ω for a very short time t2 or less is ignored as noise. Next, with a predetermined time t3 (here, t3 is longer than the above t2) as a threshold, when the duration t is less than t3, it is determined that the vibration has a short period (that is, shake). If it is equal to or greater than t3, it is determined that there is a change in the direction that is not shaken. When it is determined that there is a shake, a shake correction is performed if possible, and a cutting process is performed if impossible. Similarly, if it is determined that the change is not in the direction of blurring, if possible, smoothing processing (editing processing that corrects the sudden flow of the image to make a smooth change and extends the recording time) If not possible, the cutting process is performed.
このような考え方に基づいて、図５０〜図５２に示したような区間Ａ，Ｂ，Ｃの３つのケースについて、具体的に説明する。 Based on this concept, the three cases of sections A, B, and C as shown in FIGS. 50 to 52 will be specifically described.
区間Ａは、図５１に示すように、持続時間ｔが所定時間ｔ３以上であって、ぶれでない方向の変化と考えられ、かつ、角速度の絶対値｜ω｜が、スムージング処理を行うことが可能な程度の大きさであるために、該スムージング処理を行う。このスムージング処理の具体的な方法としては、動画像を構成するコマ（フレーム画像）の間に、スムージングの程度に応じた数のコマを挿入する方法が挙げられる。ただし、この方法では、スムージングの程度が大きくなる（画像の時間変化を引き伸ばす）ほどぎこちない動きになるために、隣接するコマの画像データに基づいて動きを補間するようなコマを作成し、作成したコマを挿入するようにすると良い。 In section A, as shown in FIG. 51, the duration t is not less than the predetermined time t3 and is considered to be a change in the direction of no shaking, and the absolute value | ω | of the angular velocity can be smoothed. The smoothing process is performed because of the size. As a specific method of the smoothing process, there is a method of inserting a number of frames according to the degree of smoothing between frames (frame images) constituting a moving image. However, with this method, since the level of smoothing increases (stretches the time change of the image), the motion becomes awkward, so a frame that interpolates the motion based on the image data of adjacent frames is created and created. It is better to insert a frame.
区間Ｂは、持続時間ｔが所定時間ｔ３よりも小さく、ぶれであると考えられ、かつ、角速度の絶対値｜ω｜が、ぶれ補正を行うことが可能な程度の大きさであるために、ぶれ補正を行う。 In the section B, the duration t is smaller than the predetermined time t3 and is considered to be shake, and the absolute value of the angular velocity | ω | is large enough to perform shake correction. Perform image stabilization.
区間Ｃは、持続時間ｔが所定時間ｔ３よりも小さく、ぶれであると考えられるが、角速度の絶対値｜ω｜が、ぶれ補正を行うのに適さない程大きいために、この区間の画像をカッティングする。 The interval C has a duration t smaller than the predetermined time t3 and is considered to be shaken. However, the absolute value of the angular velocity | ω | is so large that it is not suitable for shake correction. Cutting.
また、図示はしないが、持続時間ｔが所定時間ｔ３以上であって、ぶれでない方向の変化と考えられるが、角速度の絶対値｜ω｜が、スムージング処理を行うのに適さない程大きい場合にも、該区間の画像をカッティングするようになっている。 Although not shown, it is considered that the duration t is equal to or longer than the predetermined time t3 and it is considered that the direction is not shaken. However, when the absolute value of the angular velocity | ω | is not large enough to perform the smoothing process. Also, the image of the section is cut.
さらに、区間Ａの前の時間区間や、区間Ａと区間Ｂとの間の区間などは、角速度の絶対値｜ω｜が、ぶれ補正を不要とする程小さく、かつスムージング処理を不要とする程小さいために、特に編集処理の対象とはならない。 Further, in the time interval before the interval A, the interval between the interval A and the interval B, etc., the absolute value of the angular velocity | ω | is so small that the blur correction is unnecessary and the smoothing process is unnecessary. Because it is small, it is not a subject of editing.
なお、上述したような考え方に基づいてカッティングを行うと、例えば、図５３に示すような孤立した画像が残る可能性がある。図５３は、カッティングを行った後に孤立した画像が残っている様子を示す図であり、時間軸に沿って画像が存在するか否かを２値で示している。この図５３に示す例では、区間Ｃ１、区間Ｃ２、区間Ｃ３の３つの区間がカッティングされているが、区間Ｃ２における画像ＳＬ１、区間Ｃ３における画像ＳＬ２，ＳＬ３が、それぞれ孤立した画像として残っている。このような画像は、後述するように、除去する処理が行われる。 If cutting is performed based on the above-described concept, for example, an isolated image as shown in FIG. 53 may remain. FIG. 53 is a diagram illustrating a state in which an isolated image remains after cutting, and indicates in binary whether or not an image exists along the time axis. In the example shown in FIG. 53, three sections of section C1, section C2, and section C3 are cut, but image SL1 in section C2 and images SL2 and SL3 in section C3 remain as isolated images. . Such an image is subjected to a removal process as will be described later.
再び図５９の説明に戻って、上述したような基本的な考え方に基づくステップＳ７６以降の処理について説明する。 Returning to the description of FIG. 59 again, the processing after step S76 based on the basic concept as described above will be described.
２軸方向の角速度の内の、少なくとも一方の角速度ωの変化の持続時間ｔが、ｔ２＜ｔ＜ｔ３を満たすか否かを判断し、この条件を満たすときは、さらに角速度の絶対値｜ω｜が、ω１＜｜ω｜＜ω２（ω１はぶれ補正が必要な角速度の下限値、ω２はぶれ補正が可能な角速度の上限値）を満たすか否かを判断する（ステップＳ７６）。 It is determined whether or not the duration t of the change in at least one of the angular velocities in the biaxial directions satisfies t2 <t <t3. When this condition is satisfied, the absolute value of the angular velocity | ω It is determined whether or not | satisfies ω1 <| ω | <ω2 (ω1 is the lower limit value of the angular velocity that needs to be corrected and ω2 is the upper limit value of the angular velocity that can be corrected) (step S76).
ここで、ステップＳ７６の条件が満たされている場合には、公知の画像処理により、ぶれ補正処理を行う（ステップＳ７７）。 Here, when the condition of step S76 is satisfied, blur correction processing is performed by known image processing (step S77).
また、上記ステップＳ７６の条件が満たされない場合には、上記角速度ωの変化の持続時間ｔが、ｔ３≦ｔを満たすか否かを判断し、この条件を満たすときは、さらに角速度の絶対値｜ω｜が、ω３＜｜ω｜＜ω４（ω３はスムージングが必要な角速度の下限値、ω４はスムージングが可能な角速度の上限値）を満たすか否かを判断する（ステップＳ７８）。 If the condition of step S76 is not satisfied, it is determined whether the change time t of the angular velocity ω satisfies t3 ≦ t. If this condition is satisfied, the absolute value of the angular velocity | It is determined whether or not ω | satisfies ω3 <| ω | <ω4 (ω3 is a lower limit value of the angular velocity that requires smoothing and ω4 is an upper limit value of the angular velocity that can be smoothed) (step S78).
ここで、ステップＳ７８の条件が満たされている場合には、上述したようなスムージング処理を行う（ステップＳ７９）。 If the condition in step S78 is satisfied, the smoothing process as described above is performed (step S79).
一方、上記ステップＳ７８の条件が満たされない場合には、角速度ωの変化の持続時間ｔがｔ２＜ｔ＜ｔ３を満たしかつ角速度の絶対値｜ω｜がω２≦｜ω｜を満たすケースと、角速度ωの変化の持続時間ｔがｔ３≦ｔを満たしかつ角速度の絶対値｜ω｜がω４≦｜ω｜を満たすケースと、の何れか一方に該当するか否かを判断する（ステップＳ８０）。 On the other hand, when the condition of step S78 is not satisfied, a case where the duration t of the change in the angular velocity ω satisfies t2 <t <t3 and the absolute value | ω | of the angular velocity satisfies ω2 ≦ | ω | It is determined whether or not the duration t of the change of ω satisfies t3 ≦ t and the absolute value of the angular velocity | ω | satisfies ω4 ≦ | ω | (step S80).
ここで、ステップＳ８０の条件が満たされている場合には、該区間をカッティング処理する（ステップＳ８１）。 If the condition in step S80 is satisfied, the section is cut (step S81).
また、上記ステップＳ８０の条件が満たされていない場合は、次のような３つのケースが考えられる。 Further, when the condition of step S80 is not satisfied, the following three cases are conceivable.
第１のケースは、持続時間ｔがぶれ（ｔ２＜ｔ＜ｔ３）に相当するが、角速度の絶対値｜ω｜が下限値ω１以下のときである。このときには、補正が必要なぶれであるとは見なされず、そのまま無編集となる。 The first case corresponds to the case where the duration t corresponds to the fluctuation (t2 <t <t3), but the absolute value | ω | of the angular velocity is not more than the lower limit value ω1. At this time, it is not considered that the shake needs to be corrected, and no editing is performed as it is.
第２のケースは、持続時間ｔがぶれでない方向の変化（ｔ３≦ｔ）に相当するが、角速度の絶対値｜ω｜が下限値ω３以下の時である。このときには、方向の変化が十分に緩やかであってスムージングが不要であると見なされ、そのまま無編集となる。 The second case corresponds to a change in the direction in which the duration t is not shaken (t3 ≦ t), but is when the absolute value of the angular velocity | ω | is equal to or less than the lower limit value ω3. At this time, the direction change is considered to be sufficiently gradual and smoothing is unnecessary, and no editing is performed.
第３のケースは、角速度ωの変化の持続時間ｔがｔ２以下（つまり、ｔ≦ｔ２）であって、ノイズに相当する場合である。このノイズは、通常の区間に存在する場合と、カッティング処理された区間に存在する場合（つまり、上記図５３に示したような孤立点として残る場合）と、があり得るが、これらの内の孤立点については、次に説明するような処理が行われる。 The third case is a case where the duration t of the change in the angular velocity ω is t2 or less (that is, t ≦ t2) and corresponds to noise. This noise can be present in a normal section or in a section that has been subjected to cutting processing (that is, when it remains as an isolated point as shown in FIG. 53). For isolated points, the following processing is performed.
すなわち、上記ステップＳ７７、ステップＳ７９、ステップＳ８１の何れかの処理が終了するか、または上記ステップＳ８０の条件が満たされない場合には、次に、孤立点の除去を行う（ステップＳ８２）。 That is, when any of the processes of step S77, step S79, and step S81 ends, or when the condition of step S80 is not satisfied, isolated points are removed (step S82).
その後、編集済の動画データを上記記録用メモリ１５７に記録してから（ステップＳ８３）、この編集処理を終了する。 Thereafter, the edited moving image data is recorded in the recording memory 157 (step S83), and the editing process is terminated.
こうして、画質が劣化すると考えられるケースにおいて、可能な範囲内で画質を向上する補正を行い、補正が不可能である場合にはカッティングするようにしているために、品質が良く見易い画像を得ることができる。そして、この編集処理を自動的に行うようにしているために、使用者が面倒な操作を行う必要がなく、簡便となる。 In this way, in a case where image quality is considered to deteriorate, correction is performed to improve the image quality within the possible range, and cutting is performed when correction is impossible, so an image with good quality and easy to see can be obtained. Can do. Since the editing process is automatically performed, the user does not need to perform a troublesome operation, which is simple.
なお、この図５９に示したような編集処理の例においては、生体情報としての視線情報や角速度情報に基づいて、ズーミング、カッティング、スムージング、ぶれ補正を行うようにしているが、編集処理は、これらに限られるものではない。例えば、角速度データの時間的な変動パターンに基づいて、撮影者が歩行中であるか否かを判断し、歩行中であると判断されたときには、通常よりも広角側にズーミング処理を行うようにすることが考えられる。また、これとは逆に、歩行中であると判断されたときには、画像の変動を抑制するように画像の一部を切り出して、切り出した画像を望遠側にズーミング（拡大）するようにしても良い。このような処理を行うことにより、画像の変動を少なくして、視覚的に違和感のない動画像を再生することが可能となる。 In the example of the editing process as shown in FIG. 59, zooming, cutting, smoothing, and blur correction are performed based on line-of-sight information and angular velocity information as biological information. However, it is not limited to these. For example, based on the temporal variation pattern of the angular velocity data, it is determined whether or not the photographer is walking, and when it is determined that the photographer is walking, zooming processing is performed on the wide angle side than usual. It is possible to do. Conversely, when it is determined that the user is walking, a part of the image is cut out so as to suppress the fluctuation of the image, and the cut out image is zoomed (enlarged) to the telephoto side. good. By performing such processing, it is possible to reproduce a moving image that is visually uncomfortable with less fluctuation of the image.
また、上述した編集処理においては、撮影後に、視線情報や頭部の角速度情報等の生体情報に基づいて画像を編集し、編集済みの画像データを記録媒体に記録するものであったが、再生時にリアルタイムで編集処理するようにすることも可能である。すなわち、所定の編集処理の内容（以下「編集情報」と呼ぶ。）と該編集処理の開始時刻に関するタイム情報とを、原画像と上記生体情報とが取得されたタイム情報に関連付けてメモリに記憶しておく。そして、画像データを再生するときに、原画像データを残したまま、上記原画像データと上記編集情報とを同時に読み出して、原画像データを編集情報に基づいてリアルタイムに編集しながら再生する（以下では、これを「動的編集処理」と呼ぶ。）ようにしても良い。 In the editing process described above, after shooting, an image is edited based on biological information such as line-of-sight information and head angular velocity information, and the edited image data is recorded on a recording medium. Sometimes it is possible to edit in real time. That is, the contents of a predetermined editing process (hereinafter referred to as “editing information”) and time information regarding the start time of the editing process are stored in the memory in association with the time information from which the original image and the biological information are acquired. Keep it. Then, when reproducing the image data, the original image data and the editing information are simultaneously read out while leaving the original image data, and the original image data is reproduced while being edited in real time based on the editing information (hereinafter referred to as the original image data). Then, this may be referred to as “dynamic editing processing”).
図６０は、動的編集処理装置の構成の要部を示すブロック図である。 FIG. 60 is a block diagram showing a main part of the configuration of the dynamic editing processing apparatus.
この動的編集処理装置は、原画像メモリ２３１と、操作部２３２と、プログラム修正部２３３と、編集情報メモリ２３４と、読出部２３５と、編集処理部２３６と、編集処理プログラムメモリ２３７と、表示部２３８と、を有して構成されていて、画像編集装置と画像再生装置とを兼ねたものとなっている。
This dynamic editing processing apparatus includes an
上記原画像メモリ２３１は、画像データ記録手段であり、原画像データが、それぞれ撮像（取得）された時刻に関するタイム情報に関連付けられて記憶されているものである。
The
上記操作部２３２は、この動的編集処理装置に対する操作入力を、外部から手動で行うための操作手段である。
The
上記プログラム修正部２３３は、操作部２３２からの操作に応じて、上記編集情報メモリ２３４に記憶されている編集情報を修正するための編集情報修正手段である。
The
上記編集情報メモリ２３４は、生体情報記録手段であり、上記図５９を参照しながら説明したような編集処理プログラムに関連する後述するようなコード情報（図６１〜図７０参照）と、上記原画像メモリ２３１に記憶されている原画像データに関連する編集情報（生体情報に基づき生成された編集情報）と、が上記タイム情報に関連付けて記憶されたものである。なお、編集情報として使用されていない生体情報がある場合には、該生体情報もこの編集情報メモリ２３４に記録しておくようにすると良い。
The
上記読出部２３５は、処理手段を構成するものであり、上記原画像メモリ２３１から原画像データを、また、上記編集情報メモリ２３４から上記編集情報を、関連付けられたタイム情報に応じて読み出し、上記編集処理部２３６へ転送するものである。
The
上記編集処理部２３６は、処理手段を構成するものであり、上記読出部２３５により読み出された原画像データを、該読出部２３５により読み出された編集情報（つまり、上記タイム情報に応じて、該原画像データに関連付けられている編集情報）を用いて、編集処理するためのものである。
The
上記編集処理プログラムメモリ２３７は、処理手段を構成するものであり、後述するような編集パターンに応じた具体的な編集処理プログラムが記憶されているものである。
The edit
上記表示部２３８は、表示手段であって、上記編集処理部２３６により処理された画像データを観察可能に表示するためのものである。
The
次に、上記編集情報メモリ２３４に記憶されている情報の詳細について、図６１〜図７０を参照しながら説明する。
Next, details of the information stored in the
図６１は第１のズーミングのパターンを示す図、図６２は第１のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図、図６３は第２のズーミングのパターンを示す図、図６４は第２のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図、図６５は第３のズーミングのパターンを示す図、図６６は第３のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図、図６７は第４のズーミングのパターンを示す図、図６８は第４のズーミングパターンに応じて編集情報メモリに記憶されているズーミングに関する編集情報を示す図である。 61 is a diagram showing a first zooming pattern, FIG. 62 is a diagram showing editing information related to zooming stored in the editing information memory in accordance with the first zooming pattern, and FIG. 63 is a diagram showing the second zooming pattern. FIG. 64 is a diagram showing editing information related to zooming stored in the editing information memory in accordance with the second zooming pattern, FIG. 65 is a diagram showing a third zooming pattern, and FIG. 66 is a third zooming. FIG. 67 shows a fourth zooming pattern, and FIG. 68 shows a fourth zooming pattern stored in the editing information memory in accordance with the fourth zooming pattern. It is a figure which shows the edit information regarding zooming.
図６１に示すような第１のズーミングのパターンは、時間Ｔ１の間に、縮小から拡大へズーミングを行って、その後はそのままズーミングを停止するパターンとなっている。 The first zooming pattern as shown in FIG. 61 is a pattern in which zooming is performed from reduction to enlargement during time T1, and thereafter zooming is stopped as it is.
また、上記編集情報メモリ２３４には、図６２に示すようなズーミングに関する編集情報が記憶されている。この編集情報は、下位の４ビットがズーミングのパターン、次の４ビットが最初のズーミングの時間（Ｔ１）、その次の４ビットが停止時間（Ｔ２）、さらに次の４ビットが最初の状態に戻すズーミングの時間（Ｔ３）、最上位の１６ビットが編集の開始時刻を表わすタイム情報となっている。
The
なお、この例では、各時間Ｔ１，Ｔ２，Ｔ３を記憶するメモリ容量を４ビットとしているが、これに限るものではなく、必要に応じた容量を定めるようにすれば良い。 In this example, the memory capacity for storing each of the times T1, T2, and T3 is 4 bits. However, the present invention is not limited to this, and the capacity may be determined as necessary.
そして、上記下位の４ビットには、第１のズーミングのパターンを示すズーミングパターンコード（ここでは、「００００」）が記憶されている。 In the lower 4 bits, a zooming pattern code (here, “0000”) indicating a first zooming pattern is stored.
また、次の４ビット（Ｔ１）には、上記図６１に示すようなズーム時間に対応する情報が記憶されている。一方、この第１のズーミングのパターンでは、Ｔ２，Ｔ３を定義しないために、何れにもコード「００００」が記憶されている。 In the next 4 bits (T1), information corresponding to the zoom time as shown in FIG. 61 is stored. On the other hand, in this first zooming pattern, since codes T2 and T3 are not defined, the code “0000” is stored in both.
次に、図６３に示すような第２のズーミングパターンは、時間Ｔ１だけ縮小から拡大へズーミングを行い、時間Ｔ２だけズーミングを停止し、時間Ｔ３だけ拡大から縮小へズーミングを行うパターンとなっている。 Next, the second zooming pattern as shown in FIG. 63 is a pattern in which the zooming is performed from the reduction to the enlargement for the time T1, the zooming is stopped for the time T2, and the zooming is performed from the enlargement to the reduction for the time T3. .
この第２のズーミングパターンにおいては、図６４に示すように、ズーミングパターンコードとして「０００１」が記憶されている。また、各時間Ｔ１，Ｔ２，Ｔ３もそれぞれ定義されて記憶されている。 In the second zooming pattern, “0001” is stored as a zooming pattern code as shown in FIG. Each time T1, T2, T3 is also defined and stored.
続いて、図６５に示すような第３のズーミングパターンは、時間Ｔ１だけ拡大から縮小へズーミングを行い、その後はそのままズーミングを停止するパターンとなっている。 Subsequently, the third zooming pattern as shown in FIG. 65 is a pattern in which zooming is performed from enlargement to reduction for the time T1, and then the zooming is stopped as it is.
この第３のズーミングパターンにおいては、図６６に示すように、ズーミングパターンコードとして「００１０」が記憶されている。また、時間Ｔ１のみが定義されて記憶され、時間Ｔ２，Ｔ３には上述したように未定義であることを示すコード「００００」が記憶されている。 In the third zooming pattern, as shown in FIG. 66, “0010” is stored as the zooming pattern code. Further, only the time T1 is defined and stored, and the code “0000” indicating that it is not defined is stored at the times T2 and T3 as described above.
そして、図６７に示すような第４のズーミングパターンは、時間Ｔ１だけ拡大から縮小へズーミングを行い、時間Ｔ２だけズーミングを停止し、時間Ｔ３だけ縮小から拡大へズーミングを行うパターンとなっている。 The fourth zooming pattern as shown in FIG. 67 is a pattern in which zooming is performed from enlargement to reduction for time T1, stop zooming for time T2, and zoom from reduction to enlargement for time T3.
この第４のズーミングパターンにおいては、図６８に示すように、ズーミングパターンコードとして「００１１」が記憶されている。また、各時間Ｔ１，Ｔ２，Ｔ３もそれぞれ定義されて記憶されている。 In the fourth zooming pattern, as shown in FIG. 68, “0011” is stored as the zooming pattern code. Each time T1, T2, T3 is also defined and stored.
図６９は、スムージングの編集情報を表すコードの例を示す図である。 FIG. 69 is a diagram illustrating an example of a code representing smoothing editing information.
下位の４ビットには、編集処理がスムージングであることを示すコード「０１００」が、次の８ビットにはスムージングの開始から終了までの時間間隔（スムージング時間）が、最上位の１６ビットには編集の開始時刻を表わすタイム情報が、それぞれ記憶されている。 In the lower 4 bits, a code “0100” indicating that the editing process is smoothing is performed. In the next 8 bits, a time interval from the start to the end of smoothing (smoothing time) is displayed. In the upper 16 bits, Time information representing the start time of editing is stored.
図７０は、カッティングの編集情報を表すコードの例を示す図である。 FIG. 70 is a diagram illustrating an example of a code representing cutting editing information.
下位の４ビットには、編集処理がカッティングであることを示すコード「０１０１」が、次の８ビットにはカッティングの開始から終了までの時間間隔が、最上位の１６ビットには編集の開始時刻を表わすタイム情報が、それぞれ記憶されている。 The lower 4 bits are a code “0101” indicating that the editing process is cutting, the next 8 bits are the time interval from the start to the end of cutting, and the most significant 16 bits are the editing start time. Each time information representing is stored.
従って、上記読出部２３５は、編集情報メモリ２３４に記憶されたこのような編集情報を、タイム情報に関連付けて、上記原画像メモリ２３１に記憶された画像データと同期して読み出すようになっている。
Therefore, the
また、上記編集処理プログラムメモリ２３７に記憶されている編集処理プログラムは、上記編集情報メモリ２３４に記憶された編集情報の最下位４ビットに応じた編集パターンを実行するためのプログラムとなっている。
The edit processing program stored in the edit
そして、上記編集処理部２３６は、読出部２３５により読み出された編集情報から上記編集パターンを読み取って、この編集パターンに対応した編集処理プログラムを編集処理プログラムメモリ２３７から読み出し、所定の編集処理を実行する。
Then, the
こうして編集処理された画像が、上記表示部２３８により表示される。
The edited image is displayed on the
なお、上述したような動的編集処理は、自動的に行われるものとなっている。しかし、使用者が個々人の好みに応じて編集処理を行うことができると便利であるために、本実施例では、上記図６０に示したように、操作部２３２とプログラム修正部２３３とを設けて、上記編集情報メモリ２３４に記憶されている編集情報を、手動により外部から修正することができるようにしている。
The dynamic editing process as described above is automatically performed. However, since it is convenient if the user can perform editing processing according to individual preference, in this embodiment, as shown in FIG. 60, an
すなわち、編集情報を修正する際には、再生に関する公知の機能、つまり、再生の一次停止、戻し、スロー再生などを用いることにより、画像を表示部２３８により観察しながら、図６２、図６４、図６６、図６８、図６９、図７０に示したような編集情報を変更することになる。このときには、編集結果を該表示部２３８により確認することができ、さらに原画像が上述したように保存されているために、何度でも編集作業を行うことができて、最終的に、使用者の好みに最適な編集画像を得ることが可能となる。
That is, when editing the editing information, a known function related to playback, that is, primary stop, return, slow playback, etc. of playback is used to observe the image on the
また、上述したような視線方向の検出は、高度の技術と高いコストとを要するために、単に上述した編集処理のみに利用するために視線方向検出装置を設けるのは、コストパフォーマンスが良いとはいえない。従って、単に上述したような編集処理に利用するのみであれば、視線情報の代わりに角速度情報を用いて制御を行っても、ほぼ同等の効果を得ながら、かつコストパフォーマンスを改善することができる。この場合には、角速度情報に基づいて、頭部の角度変化が所定時間以上一定範囲内であるときには、観察者が被写体のほぼ一方向を観察しているものとして扱い、図５９に示したような視線情報に基づく処理（例えば、ステップＳ７４のズームアップ処理）と同様の処理を行うことが考えられる。 In addition, since the detection of the gaze direction as described above requires a high level of technology and high cost, it is cost effective to provide a gaze direction detection device for use only in the editing process described above. I can't say that. Therefore, if only the editing process as described above is used, even if the control is performed using the angular velocity information instead of the line-of-sight information, the cost performance can be improved while obtaining substantially the same effect. . In this case, based on the angular velocity information, when the change in the angle of the head is within a certain range for a predetermined time or more, it is assumed that the observer is observing almost one direction of the subject, as shown in FIG. It is conceivable to perform the same processing as the processing based on accurate line-of-sight information (for example, the zoom-up processing in step S74).
上記図６０〜図７０に示したような動的編集処理装置を用いれば、編集処理後の画像データを記憶するための記録媒体が不要になるために、特に動画データの記録を行う場合に、メモリ容量の節約効果を大きく得ることができる。また、自動編集処理を行うための編集情報を、使用者が好みに応じて変更することができるために、個々人の意思を忠実に反映した編集処理を行うことができる。 When the dynamic editing processing apparatus as shown in FIGS. 60 to 70 is used, a recording medium for storing the image data after the editing process becomes unnecessary, and particularly when recording moving image data. A large memory saving effect can be obtained. In addition, since the user can change the editing information for performing the automatic editing process according to his / her preference, the editing process reflecting the intention of each individual can be performed.
なお、上記図５４〜図５９に示した処理の内、撮像に関する処理と視線方向検出に関する処理は、主に上記第２ＣＰＵ１２１が行うようになっている。また、シースルー画像表示に関する処理と測距のための投光処理は、主に上記第４ＣＰＵ１１１が行うようになっている。さらに、ＡＦ処理とＡＥ処理は、主に第３ＣＰＵ１０３が行うようになっている。そして、画像データの記録処理と編集処理と再生処理と操作スイッチの検出処理は、主に第１ＣＰＵ１６１が行うようになっている。このように、各関連する機能を有する周辺装置が接続されているＣＰＵが、主にその機能に関連する処理を実行するように構成されている。ただし、各ＣＰＵはそれぞれ相互に接続されているために、処理能力に応じて、適宜処理を分散させるようにしても構わない。
Of the processes shown in FIGS. 54 to 59, the process related to imaging and the process related to line-of-sight direction detection are mainly performed by the
また、上述した説明においては、シースルー画像表示部６のコンバイナとしてＨＯＥ２５を用いたが、これに代えて、ガラスやプラスチック等を素材とする凸レンズ光学系や凹レンズ光学系、ハーフミラー、自由曲面光学系、またはこれらの組み合わせを用いることも可能である。
In the above description, the
さらに、上述ではシースルー画像表示部６において画像を投影する手段として、ＬＥＤ１１３や集光レンズ１１４やＬＣＤ１１５を用いたが、これらの代わりに、ＥＬ（Electro Luminescence）パネルや自己発光型のプラズマディスプレイなどの他の表示素子を用いても良い。
Further, in the above description, the
このような実施例１によれば、撮影者自身の動きに関連する生体情報を記録しておき、記録された生体情報に基づいて、記録された画像データに対し事後的に所定の編集処理を行うことが可能となるようにしたために、カメラの構成を簡単にすることが可能になると共に、撮影者は、撮影動作に専念する必要なく撮影を行うことができる。従って、撮影者は撮影の負担を感じることなく、撮影者以外の者と同様の自然な行動をとることができる。そして、画像編集を撮影者の生体情報に基づいて行うようにしたために、撮影者の意図に添った画像編集を自動的に行うことが可能となる。記録後の画像データに対して編集処理を行う場合には、撮影中にリアルタイムで編集処理を行う場合に必要となる例えば予測処理等の複雑な処理が不要となるために、比較的簡単に編集処理を行うことが可能となる。加えて、編集後の画像を表示することができるために、見易い状態となった画像を楽しむことが可能となる。 According to the first embodiment, biological information related to the movement of the photographer himself / herself is recorded, and a predetermined editing process is subsequently performed on the recorded image data based on the recorded biological information. Since the camera can be configured, the configuration of the camera can be simplified, and the photographer can perform shooting without having to concentrate on the shooting operation. Therefore, the photographer can take the same natural action as a person other than the photographer without feeling the burden of photographing. Since the image editing is performed based on the photographer's biological information, it is possible to automatically perform image editing in accordance with the photographer's intention. When editing image data after recording, it is relatively easy to edit because it eliminates the need for complicated processing such as prediction processing, which is necessary when editing in real time during shooting. Processing can be performed. In addition, since the edited image can be displayed, it is possible to enjoy an image that is easy to view.
また、撮像部と視線方向／角速度検出部とを撮影者の頭部に装着し得るようにしたために、撮影者の観察している被写体を高い精度で検出することが可能となる。 In addition, since the imaging unit and the line-of-sight direction / angular velocity detection unit can be mounted on the photographer's head, the subject that the photographer is observing can be detected with high accuracy.
さらに、撮影者の頭部自体の回転を角速度により検出するようにしたために、頭部のぶれに起因する画像ぶれの補正や、カッティングや、記録時間の引き延ばしなどの編集処理を自動的に行うことが可能となる。 Furthermore, since the rotation of the photographer's head itself is detected based on the angular velocity, editing processing such as correction of image blur due to head shake, cutting, and extended recording time is automatically performed. Is possible.
そして、撮影者の注視点の方向である視線方向を検出するようにしたために、電子ズーミング（拡大／縮小）やトリミングなどの編集処理を自動的に行うことが可能となる。このとき、視線方向情報として、視線方向の移動速度と、視線方向の連続的な移動量と、の少なくとも一方を含むようにしたために、撮影者の意志をより忠実に反映することができる。 Since the gaze direction, which is the direction of the photographer's gazing point, is detected, editing processing such as electronic zooming (enlargement / reduction) and trimming can be automatically performed. At this time, since the line-of-sight direction information includes at least one of the movement speed in the line-of-sight direction and the continuous movement amount in the line-of-sight direction, the will of the photographer can be reflected more faithfully.
また、視線方向／角速度検出部と、撮像部と、のパララックスを考慮して、視線方向／角速度検出部により検出された視線方向θに対応する撮像部からみた角度θ’を求めるようにしているために、被写体が近距離にある場合でも、撮影者の視線方向に対応する撮像部による撮影範囲（撮像される画像における撮影者の注視点）を正確に把握することが可能となり、視線情報に基づく編集処理等を正確に行うことができる。 Further, in consideration of the parallax between the line-of-sight direction / angular velocity detection unit and the imaging unit, an angle θ ′ viewed from the imaging unit corresponding to the line-of-sight direction θ detected by the line-of-sight direction / angular velocity detection unit is obtained. Therefore, even when the subject is at a short distance, it is possible to accurately grasp the imaging range (the photographer's point of sight in the captured image) by the imaging unit corresponding to the photographer's gaze direction. Editing processing based on can be performed accurately.
さらに、自然な行動をしながら観察が可能な頭部装着型表示装置は、例えば歩行中や車の運転中などにも使用してしまいがちである。このような状態で使用すると、表示手段に表示される撮影情報等の表示に気をとられて、前方物体と衝突したりする可能性があるが、本実施例のカメラは、このような使用状態を検出して、検出時には警告を行ったり表示を禁止したりするようにしたために、未然に防止することができる。 Furthermore, a head-mounted display device that allows observation while performing natural behavior tends to be used, for example, while walking or driving a car. If it is used in such a state, the display of shooting information displayed on the display means may be distracted, and there is a possibility of colliding with a front object. Since the state is detected and a warning is given or display is prohibited at the time of detection, this can be prevented beforehand.
また、視線検出を行う際に、他の領域に比べて極めて明るい角膜反射光を利用しているために、瞳孔の存在するおよその位置を、簡単に求めることができる。このとき、角膜反射光を得るための照明として、赤外線を照射するＬＥＤを用いているために、観察者による被写体の観察を妨げることはない。 In addition, when performing line-of-sight detection, corneal reflected light that is extremely brighter than other regions is used, so that the approximate position of the pupil can be easily obtained. At this time, since an LED that emits infrared rays is used as illumination for obtaining corneal reflected light, observation of the subject by the observer is not hindered.
さらに、角膜反射光の位置を含む所定範囲の領域の中から、最小値を有する画素を検出し、この最小値に所定の値を加えた値（これは、該最小の画素値よりも大きく、虹彩の画素値よりも小さい所定値である。）を閾値として、該閾値よりも画素値が小さい画素群を瞳孔の像に属する画素群として判別しているために、瞳孔の領域を簡単にかつ精度良く求めることができる。 Further, the pixel having the minimum value is detected from the region of the predetermined range including the position of the corneal reflection light, and a value obtained by adding the predetermined value to the minimum value (this is larger than the minimum pixel value, Since a pixel group having a pixel value smaller than the threshold value is determined as a pixel group belonging to the pupil image, the pupil region can be easily and It can be obtained with high accuracy.
そして、瞳孔の領域の重心を瞳孔中心としているために、画素データの中に幾らかのノイズが含まれていたとしても、瞳孔中心の位置を確実に精度良く求めることが可能となる。 Since the center of the pupil region is the center of the pupil, even if some noise is included in the pixel data, the position of the pupil center can be obtained accurately and accurately.
加えて、上述したようにして求めた瞳孔中心の位置と、角膜反射光の位置と、に基づいて、視線方向を簡単にかつ精度良く求めることができる。 In addition, the line-of-sight direction can be easily and accurately obtained based on the position of the pupil center obtained as described above and the position of the corneal reflected light.
一方、編集処理前の原画像データを記録媒体から読み出して、生体情報に基づく編集情報によって編集処理を実行しながら、編集処理後の画像を表示するようにする場合には、編集処理後の画像データを記憶するための記録媒体が不要になり、特に動画データを記録するための記録媒体のメモリ容量を大幅に節約することができる。 On the other hand, when the original image data before the editing process is read from the recording medium and the image after the editing process is displayed while executing the editing process based on the editing information based on the biometric information, the image after the editing process is displayed. A recording medium for storing data becomes unnecessary, and in particular, the memory capacity of the recording medium for recording moving image data can be greatly saved.
このとき、自動編集処理を行うための編集情報を、使用者が好みに応じて変更することができるようにしたために、個々人の意思を忠実に反映した編集処理を行うことができる。 At this time, the editing information for performing the automatic editing process can be changed by the user according to his / her preference, so that the editing process reflecting the intention of each individual can be performed.
また、視度調整用のレンズを透明光学部材の前面にそれぞれ配置するようにしたために、視力が異なる観察者でも、実質的に直接観察する（すなわち、この場合には、視度調整用のレンズを介して観察する）被写体に所定の画像を重ねて観察することができる。 In addition, since the diopter adjusting lenses are arranged on the front surface of the transparent optical member, even observers with different visual acuity can observe substantially directly (that is, in this case, the diopter adjusting lens). It is possible to superimpose a predetermined image on the subject.
さらに、簡単な構成で、デザイン的に美しく自然な感じの略めがね型のカメラを構成することが可能となる。 In addition, it is possible to construct an eyeglass-type camera with a simple structure and a beautiful and natural design.
そして、視度調整用のレンズを透明光学部材とは別々に簡単に取り外すことができるように構成したために、表示装置毎にユーザーに応じた視度調整を容易に行うことが可能となる。加えて、このときには、左眼と右眼の視力が異なっていたとしても、各眼に合わせたレンズを装着することが可能となる。 Since the diopter adjustment lens can be easily detached separately from the transparent optical member, diopter adjustment according to the user can be easily performed for each display device. In addition, at this time, even if the visual acuity of the left eye and the right eye is different, it is possible to wear a lens suitable for each eye.
加えて、透明光学部材と撮像部とはフレーム部に一体的に保持されているために、視度調整用のレンズを交換しても、これら透明光学部材と撮像部との角度調整等をその度に行う必要がなく、使い勝手の良い視度調整用レンズ付頭部装着型カメラとなる。 In addition, since the transparent optical member and the imaging unit are integrally held by the frame unit, even if the diopter adjustment lens is replaced, the angle adjustment between the transparent optical member and the imaging unit can be performed. This is a user-friendly head mounted camera with a diopter adjustment lens.
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。 In addition, this invention is not limited to the Example mentioned above, Of course, a various deformation | transformation and application are possible within the range which does not deviate from the main point of invention.
本発明は、外界像に重ねて所定の情報を観察可能に表示し得る表示装置に好適に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be suitably used for a display device that can display predetermined information in an observable manner so as to be superimposed on an external image.
１…頭部装着型カメラ
２…頭部装着部
３…ケーブル
４…制御／記録部（画像データ記録手段、生体情報記録手段、処理手段、パララックス補正手段、演算手段、危険防止手段、相対速度検出手段、相対速度距離検出手段、歩行検出手段、角膜反射光検出手段、領域設定手段、最小値検出手段、瞳孔検出手段、視線方向演算手段）
５…リモートコントロール部（リモコン部）
６…シースルー画像表示部（表示手段、危険防止手段）
７…視線方向／角速度検出部（生体情報検出手段、視線方向検出手段、角速度検出手段）
１１…フロント部
１２…テンプル部
１３…フレーム部
１４，１５…透明光学部材
１６…投光用発光部（測距手段）
１６ａ…投光用ＬＥＤ
１６ｂ…集光レンズ
１７…第１マイク
１８…第２マイク
１９…鼻パッド
２０…リム（取付手段）
２１，２２…視度調整用のレンズ
２４…ホログラフィー光学素子（ＨＯＥ、赤外光投影手段）
２５…ホログラフィー光学素子（ＨＯＥ）
２６…先セルモダン
２７…収納部
３０…撮像部（撮像手段、測距手段）
３１…撮影光学系
３２…ケーブル接続端子
３３…台座（調整手段）
３４，３５…ビス（ピッチ方向調整手段）
３６，３７…ビス（ヨー方向調整手段）
３９…スイッチ（危険防止操作手段）
４１…制御／記録本体部
４２…操作パネル
４４…電源スイッチ
４８…ＬＣＤ表示素子（表示手段）
４９…ケーブル接続端子
５０…ＡＶ／Ｓ接続端子
５１…ＰＣ接続端子
５４…記録用メモリ挿入口
５５…バッテリ挿入口
５６…スピーカ
５９…再生／停止スイッチ
６１，６２…スイッチ
６３…メニューボタン
６５…確定スイッチ
６６，６７，６８，６９…メニュー選択スイッチ
７１…ＦＡ／Ａ／Ｍスイッチ（切換手段）
７２…Ｆ／Ｖスイッチ（切換手段）
７３…レリーズスイッチ
７４…録画スイッチ
７５…ズームスイッチ（撮影画枠設定手段）
７６…露出補正スイッチ
７８，７９…丁番
８７…ＣＣＤ（撮像素子）
８８…ＣＤＳ／ＡＧＣ回路（信号処理手段）
８９…Ａ／Ｄ変換回路（信号処理手段）
９０…タイミングジェネレータ（ＴＧ）
９１…ＣＣＤドライバ
９２，９３，９４…超音波モータ（ＵＳＭ）
９５…ＵＳＭドライバ
９６…絞りシャッタドライバ
９７…オート露出処理回路（ＡＥ処理回路）
９８…オートフォーカス処理回路（ＡＦ処理回路）
１０２…ＥＥＰＲＯＭ
１０３…第３ＣＰＵ
１０４…多重化回路
１１１…第４ＣＰＵ
１１２…ＬＥＤドライバ
１１３…ＬＥＤ（投影手段）
１１４…集光レンズ（投影手段）
１１５…ＬＣＤ表示素子（投影手段、表示素子）
１１６…ホログラフィー光学素子（ＨＯＥ）
１１７…ＬＣＤドライバ（補正手段、視角調整手段）
１１８…ＬＥＤドライバ
１２１…第２ＣＰＵ（制御手段）
１２２…ＲＡＭ
１２３…タイマ
１２４…ＬＥＤドライバ（赤外光投影手段）
１２５…ＬＥＤ（赤外光投影手段）
１２６…集光レンズ（赤外光投影手段）
１２７…反射ミラー（赤外光投影手段）
１２８…ハーフミラー
１２９…ホログラフィー光学素子（ＨＯＥ）
１３１…反射ミラー
１３２…結像レンズ
１３３…バンドパスフィルタ
１３４…ＣＣＤ（二次元の光電変換手段）
１３５…ＣＣＤドライバ
１３６…ＣＤＳ／ＡＧＣ回路
１３７…Ａ／Ｄ変換回路
１３８…ＴＧ
１４１，１４２…角速度センサ（角速度検出手段）
１５１…分離回路
１５２…ＤＳＰ回路
１５３…遅延回路
１５４…多重化回路
１５５…メモリ
１５６…圧縮／伸張回路
１５７…記録用メモリ（画像データ記録手段、生体情報記録手段）
１５８…Ｄ／Ａ変換回路
１６０…ＬＣＤドライバ
１６１…第１ＣＰＵ（制御手段）
１６２…第１操作スイッチ
１６３…受信回路
１６４…電源回路
１７１…第２操作スイッチ
１７２…デコーダ
１７３…送信回路
１７４…電源回路
１９１…孔（ピッチ方向調整手段）
１９２…長孔（ピッチ方向調整手段）
１９３…孔（ヨー方向調整手段）
１９４…長孔（ヨー方向調整手段）
２０１…撮影画枠
２０３…電子画像
２０２，２０４，２０５，２０６，２０７，２１０，２１１…情報表示
２０８，２０９…警告表示
２３１…原画像メモリ（画像データ記録手段）
２３２…操作部（操作手段）
２３３…プログラム修正部（編集情報修正手段）
２３４…編集情報メモリ（生体情報記録手段）
２３５…読出部（処理手段）
２３６…編集処理部（処理手段）
２３７…編集処理プログラムメモリ（処理手段）
２３８…表示部（表示手段）
代理人 弁理士 伊 藤 進
DESCRIPTION OF
5. Remote control part (remote control part)
6 ... See-through image display section (display means, danger prevention means)
7: Gaze direction / angular velocity detection unit (biological information detection means, gaze direction detection means, angular velocity detection means)
DESCRIPTION OF
16a ... LED for floodlight
16b ... Condensing
21, 22 ...
25. Holographic optical element (HOE)
26: Cell modern 27: Storage unit 30: Imaging unit (imaging means, ranging means)
31 ... Shooting
34, 35 ... Screw (pitch direction adjusting means)
36, 37 ... screws (yaw direction adjusting means)
39 ... Switch (Danger prevention operation means)
41 ... Control / Recording
49 ...
72 ... F / V switch (switching means)
73 ...
76 ...
88 ... CDS / AGC circuit (signal processing means)
89... A / D conversion circuit (signal processing means)
90 ... Timing generator (TG)
91 ...
95 ...
98 ... Autofocus processing circuit (AF processing circuit)
102 ... EEPROM
103 ... 3rd CPU
104: Multiplexing circuit 111: Fourth CPU
112 ...
114 ... Condensing lens (projection means)
115 ... LCD display element (projection means, display element)
116: Holographic optical element (HOE)
117 ... LCD driver (correction means, viewing angle adjustment means)
118 ...
122 ... RAM
123 ...
125 ... LED (infrared light projection means)
126 ... Condensing lens (infrared light projection means)
127: Reflection mirror (infrared light projection means)
128 ...
131: Reflecting
135 ...
141, 142 ... Angular velocity sensor (angular velocity detecting means)
151 ...
158 ... D / A
162 ...
192 ... long hole (pitch direction adjusting means)
193 ... hole (yaw direction adjusting means)
194 ... slot (yaw direction adjusting means)
201 ... Shooting image frame 203 ...
232 ... Operation unit (operation means)
233 ... Program correction section (editing information correction means)
234 ... Editing information memory (biological information recording means)
235 ... Reading unit (processing means)
236 ... Editing processing section (processing means)
237 ... Editing processing program memory (processing means)
238 ... Display section (display means)
Agent Patent Attorney Susumu Ito
Claims (5)
上記表示手段により情報を表示している最中に生じ得る危険を防止するための危険防止手段と、
を具備したことを特徴とする危険防止機能付き頭部装着型表示装置。 Display means for displaying predetermined information in an observable manner so as to be superimposed on the external image being observed;
Danger prevention means for preventing danger that may occur while displaying information by the display means;
A head-mounted display device with a risk prevention function, comprising:
上記危険防止手段は、上記相対速度検出手段の検出結果に基づいて、上記表示手段により所定の警告を表示することと、該表示手段による表示を禁止することと、の少なくとも一方を行うものであることを特徴とする請求項１に記載の危険防止機能付き頭部装着型表示装置。 A relative speed detecting means for detecting a relative speed between the observer and the front object;
The danger prevention means performs at least one of displaying a predetermined warning by the display means and prohibiting the display by the display means based on the detection result of the relative speed detection means. The head-mounted display device with a danger prevention function according to claim 1.
上記危険防止手段は、上記相対速度距離検出手段の検出結果に基づいて、上記表示手段により所定の警告を表示することと、該表示手段による表示を禁止することと、の少なくとも一方を行うものであることを特徴とする請求項１に記載の危険防止機能付き頭部装着型表示装置。 A relative speed distance detecting means for detecting a relative speed and a relative distance between the observer and the front object;
The danger prevention means performs at least one of displaying a predetermined warning by the display means and prohibiting display by the display means based on the detection result of the relative speed distance detection means. The head-mounted display device with a danger prevention function according to claim 1, wherein the head-mounted display device has a danger prevention function.
上記危険防止手段は、上記歩行検出手段の検出結果に基づいて撮影者が移動していると判断したときは、上記表示手段により所定の警告を表示することと、該表示手段による表示を禁止することと、の少なくとも一方を行うものであることを特徴とする請求項１に記載の危険防止機能付き頭部装着型表示装置。 It further comprises walking detection means for detecting whether the photographer is moving,
When the danger prevention means determines that the photographer is moving based on the detection result of the walking detection means, the display means displays a predetermined warning and prohibits display by the display means. The head-mounted display device with a danger prevention function according to claim 1, wherein at least one of the above and
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004061440A JP2005252735A (en) | 2004-03-04 | 2004-03-04 | Head-mounted display having danger prevention function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004061440A JP2005252735A (en) | 2004-03-04 | 2004-03-04 | Head-mounted display having danger prevention function |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005252735A true JP2005252735A (en) | 2005-09-15 |
Family
ID=35032794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004061440A Withdrawn JP2005252735A (en) | 2004-03-04 | 2004-03-04 | Head-mounted display having danger prevention function |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005252735A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140020217A (en) * | 2012-08-07 | 2014-02-18 | 한양대학교 산학협력단 | Wearable display deice having sensing function |
| US9568735B2 (en) | 2012-08-07 | 2017-02-14 | Industry-University Cooperation Foundation Hanyang University | Wearable display device having a detection function |
| JP2019153347A (en) * | 2013-03-06 | 2019-09-12 | クアルコム，インコーポレイテッド | Disabling augmented reality (AR) devices at real speed |
| JPWO2020230892A1 (en) * | 2019-05-15 | 2020-11-19 | ||
| US11164380B2 (en) | 2017-12-05 | 2021-11-02 | Samsung Electronics Co., Ltd. | System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality |
-
2004
- 2004-03-04 JP JP2004061440A patent/JP2005252735A/en not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140020217A (en) * | 2012-08-07 | 2014-02-18 | 한양대학교 산학협력단 | Wearable display deice having sensing function |
| KR101375868B1 (en) | 2012-08-07 | 2014-03-17 | 한양대학교 산학협력단 | Wearable Display Deice Having Sensing Function |
| US9568735B2 (en) | 2012-08-07 | 2017-02-14 | Industry-University Cooperation Foundation Hanyang University | Wearable display device having a detection function |
| KR101952972B1 (en) * | 2012-08-07 | 2019-02-27 | 한양대학교 산학협력단 | Wearable Display Deice Having Sensing Function |
| JP2019153347A (en) * | 2013-03-06 | 2019-09-12 | クアルコム，インコーポレイテッド | Disabling augmented reality (AR) devices at real speed |
| US11217026B2 (en) | 2013-03-06 | 2022-01-04 | Qualcomm Incorporated | Disabling augmented reality (AR) devices at speed |
| US11164380B2 (en) | 2017-12-05 | 2021-11-02 | Samsung Electronics Co., Ltd. | System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality |
| JPWO2020230892A1 (en) * | 2019-05-15 | 2020-11-19 | ||
| WO2020230892A1 (en) * | 2019-05-15 | 2020-11-19 | 株式会社Ｎｔｔドコモ | Processing device |
| JP7316354B2 (en) | 2019-05-15 | 2023-07-27 | 株式会社Ｎｔｔドコモ | processing equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4364047B2 (en) | Display device, imaging device | |
| JP2005252732A (en) | Imaging device | |
| US10666856B1 (en) | Gaze-directed photography via augmented reality feedback | |
| JP4364002B2 (en) | Head-mounted camera and photographing method using head-mounted camera | |
| US7447330B2 (en) | Image capturing apparatus | |
| JP4635572B2 (en) | Video display device | |
| JP2009075610A (en) | See-through type display device with hazard prevention function and hazard prevention method when see-through type display device is used | |
| JP2005172851A (en) | Image display apparatus | |
| US20160378180A1 (en) | Retinal projection device and method for activating a display of a retinal projection device | |
| JP2009251154A (en) | Head mounted type video display | |
| JP2006217520A (en) | Video display device and glasses type video display device | |
| JP2011101300A (en) | Photographing device and remote operation support system | |
| JP2005252734A (en) | Head-mounted camera | |
| JP2008123257A (en) | Remote operation support system and display control method | |
| WO2011058707A1 (en) | Imaging device and remote operations support system | |
| JP2007122340A (en) | Image display system | |
| JP2005303842A (en) | Head-mounting camera | |
| JP2005252735A (en) | Head-mounted display having danger prevention function | |
| JP2005245791A (en) | Direction detector for line of vision | |
| JP2000201289A (en) | Image input-output device and image acquiring method | |
| JP2006050163A (en) | Image pickup device | |
| JP2005252736A (en) | Image reproducing device, image reproducing method, image reproducing program and recording medium for recording image reproducing program | |
| JP2005277567A (en) | Image recording device | |
| JP2005221887A (en) | Display device and imaging device | |
| JP2006050164A (en) | Image editing apparatus, image editing program and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070605 |