JP2008060981A - 画像観察装置 - Google Patents

Abstract

【課題】動きの速い被写体を撮像及び観察する場合に、残像のある画像が観察されてしまうことを回避できるビデオシースルー型の画像観察装置を提供する。
【解決手段】画像観察装置２０は、撮像素子２を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子１５と、該表示素子に表示された画像を観察するための接眼光学系１６と、該生成された画像から被写体の動きを検出する動き検出手段９とを有する。制御手段１１は、該動き検出部で検出された被写体の動き速度に応じて、撮像素子の電子シャッタ速度を制御する。
【選択図】図１

Description

本発明は、撮像系により取得した外界画像を表示素子に表示して接眼光学系を介して観察する画像観察装置に関する。

外界画像をＣＣＤセンサ等の撮像素子を含む撮像系を用いて取得し、その外界画像をＬＣＤ等の表示素子に表示して接眼光学系を介して観察させる、いわゆるビデオシースルー型の画像観察装置が従来提案されている（例えば、特許文献１）。

また、このようなビデオシースルー型画像観察装置では、外界画像（現実空間画像）に対してＣＧ（コンピュータグラフィクス）画像やビデオカメラ等の撮像装置による記録画像といった仮想空間画像を合成して表示及び観察可能とする場合もある。

ところで、このような画像観察装置では、あたかも外界を裸眼で観察しているように観察者が感じるように、外界画像をできるだけ遅延なく、高いフレームレートで表示する必要がある。これは、外界画像の表示に遅延があると、実際の外界の動き（例えば、観察者自身の手の動き）と観察画像上での動きとでずれが生じ、観察者に違和感を与えてしまうからである。

一般に、人間は、高速で変化するパターンや画像を認識できる時間分解能は１０Ｈｚ程度であり、２０Ｈｚになると殆んど認識できないとされている。このため、図８に示すように黒い長方形物体が１秒間に２０回転、つまり１２０ｒｐｍ以上の高速で回転すると、人間には、図９に示すような中心が黒くて周辺ほど明るくなる灰色の丸物体として認識される。

逆に言えば、外界画像の表示遅延が０．０５秒程度であれば、観察者にそれほど大きな違和感を与えないと考えられる。
特開２００１−１３３７２５号公報（図１等）

しかしながら、上記のような画像観察装置では、外界画像の撮影系により撮像（光電変換）から表示素子上での表示までには、電気的な処理の遅れに起因して、数フレーム分の遅れが発生する。例えば、６０Ｈｚ（６０ｆｐｓ）のフレームレートで撮像した画像を表示素子に表示させる場合、観察者は、上記時間分解能の０．０５秒程度の間に２〜３フレームの画像を見ることになる。

このため、例えば図１０に示すように、観察対象である物体が０．０５秒の間にある程度大きく移動すると、図１１に示すように、互いに物体位置が異なる２つ又は３つの画像が重なった画像、いわゆる残像のある画像として観察されてしまう。

本発明は、動きの速い被写体を撮像及び観察する場合に、残像のある画像が観察されてしまうことを回避できるようにしたビデオシースルー型の画像観察装置及びその制御方法を提供することを目的の１つとしている。

本発明の一側面としての画像観察装置は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系と、該生成された画像から被写体の動きを検出する動き検出手段とを有する。そして、該動き検出部で検出された被写体の動き速度に応じて、撮像素子の電子シャッタ速度を制御する制御手段を有することを特徴とする。

また、本発明の他の側面としての画像観察装置は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系と、該生成された画像から被写体の動きを検出する動き検出手段と、該生成された画像における動き検出手段により被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う画像処理手段とを有する。そして、動き検出部で検出された被写体の動き速度に応じて、上記画素エリアの大きさを変更する制御手段を有することを特徴とする。

また、本発明の他の側面としての画像観察装置は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系と、該生成された画像から被写体の動きを検出する動き検出手段と、該生成された画像における動き検出手段により被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う画像処理手段とを有する。そして、動き検出部で検出された被写体の動き速度が第１の動き速度より速い場合に、画像処理手段に上記画素エリアでの画素加算及びスムージング処理を行わせる制御手段とを有することを特徴とする。

さらに、本発明の他の側面としての画像観察装置は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系と、該生成された画像から被写体の動きを検出する動き検出手段と、該生成された画像であって複数のフレーム画像に対して画素加算処理を行う画像処理手段とを有する。そして、動き検出部で検出された被写体の動き速度が第１の動き速度より速い場合に、画像処理手段に上記複数のフレーム画像に対する画素加算処理を行わせることを特徴とする。

また、本発明の他の側面である制御方法は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法である。該制御方法は、該生成された画像から被写体の動きを検出する検出ステップと、該検出ステップで検出された被写体の動き速度に応じて、撮像素子の電子シャッタ速度を制御するステップとを有することを特徴とする。

また、本発明の他の側面である制御方法は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法である。該制御方法は、該生成された画像から被写体の動きを検出する検出ステップと、該生成された画像における検出ステップにより被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う処理ステップとを有する。そして、処理ステップにおいて、検出ステップで検出された被写体の動き速度に応じて、上記画素エリアの大きさを変更することを特徴とする。

また、本発明の他の側面である制御方法は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法である。該制御方法は、該生成された画像から被写体の動きを検出する検出ステップと、該生成された画像における検出ステップにより被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う処理ステップとを有する。そして、処理ステップにおいて、検出ステップで検出された被写体の動き速度が第１の動き速度より速い場合に、上記画素エリアでの画素加算及びスムージング処理を行うことを特徴とする。

さらに、本発明の他の側面である制御方法は、撮像素子を含み、被写体を撮像する撮像系と、撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法である。該制御方法は、該生成された画像から被写体の動きを検出する検出ステップと、該生成された画像であって複数のフレーム画像に対して画素加算処理を行う処理ステップとを有する。そして、処理ステップにおいて、検出ステップで検出された被写体の動き速度が第１の動き速度より速い場合に、複数のフレーム画像に対して画素加算処理を行うことを特徴とする。

本発明によれば、動きの速い被写体を撮像した画像に対して、残像を目立たなくする処理を行ってこれを観察させることで、観察者に違和感のない良好な画像観察を行わせることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像観察システムの構成を示す。図１において、２０はビデオシースルー型ヘッドマウントディスプレイ（画像観察装置）であり、３０は該ヘッドマウントディスプレイ２０に対してＣＧ画像やビデオカメラ等の撮像装置により記録された仮想空間画像を供給する画像供給装置としてのパーソナルコンピュータである。

ビデオシースルー型ヘッドマウントディスプレイ２０において、撮像レンズ１により形成された被写体像は、ＣＣＤセンサやＣＭＯＳセンサ等により構成される固体撮像素子２の撮像面上に結像される。撮像素子２は、パルス発生回路４から出力されるタイミングパルス信号に基づいて動作する駆動回路３からの駆動パルス信号により駆動される。撮像レンズ１および撮像素子２により撮像系が構成される。

撮像素子２からの撮像出力信号は、プリアンプ５にて所定レベルに増幅された後、カメラプロセス回路６に入力される。カメラプロセス回路６は、撮像出力信号に対してガンマ補正等の信号処理を施し、順次フレーム画像を生成する。

カメラプロセス回路６において生成されたフレーム画像は、順次、ＬＣＤ等により構成される表示素子１５に送られて表示される。観察者は、表示素子１５に表示された画像を接眼光学系１６を通して観察する。Ｅは観察者の眼である。

また、カメラプロセス回路６において生成された１つのフレーム画像は、フレームメモリ７に書き込まれる。また、これに先だってフレームメモリ７に書き込まれていた１つ前のフレーム画像は、フレームメモリ８に書き込まれる。フレームメモリ７，８に書き込まれた２つのフレーム画像（すなわち、互いに時間差を有して撮像及び生成された２つの画像）は、動き検出部としての動きベクトル検出回路９に入力される。

動きベクトル検出回路９は、入力された２つのフレーム画像から、公知の動きベクトル検出方法を用いて、画素毎に被写体の動きの方向と大きさ（速度）を表す動きベクトルを検出する。そして、動きベクトルの検出結果は、マイクロコンピュータにより構成されるシステム制御部１１に送られる。

システム制御部１１は、入力された動きベクトルにより示される被写体の動き速度（以下、動きベクトル速度という）に応じて、撮像素子２の電子シャッタ速度とプリアンプ５のゲインの制御を行う。電子シャッタは、撮像素子２の受光部での光電変換により得られる電荷の蓄積を所定時間で一旦停止し、該所定時間内に蓄積された電荷をレジスタを介して撮像出力信号として読み出す（転送する）動作であり、動画撮影ではこの動作が繰り返されることで、順次フレーム画像が生成されていく。そして、上記所定時間が電子シャッタ速度に相当する。

ここで、図２を用いて、本実施例における動きベクトル速度と電子シャッタ速度との関係について説明する。図２には、撮像レンズ１、撮像素子２及び被写体Ａを示している。

一般に、撮像系の画角は、垂直方向（図２の紙面に垂直な方向）よりも水平方向（図２の紙面に平行な方向）のほうが広く、また、撮像される被写体の動きも垂直方向よりも水平方向の動きが多い。このため、本実施例では、水平方向を基準として考える。

撮像系の水平画角をφ°、撮像素子２の水平解像度をωピクセルとする。また、撮像素子２上で被写体の移動速度、すなわち動きベクトル速度をＰピクセル／ｓとする。この場合、人間の目の分解能が画角に換算して１分程度であり、時間分解能の０．０５秒で被写体が画角換算で１分以上動くと、残像のある画像が観察されてしまう。

画角換算での１分は、撮像素子２上でω／（６０×φ）ピクセルに相当する。このため、ω／（６０×φ）／０．０５＝ω／（３×φ）［ピクセル／ｓ］以上の動きベクトル速度であれば、観察者は残像のある観察画像として認識する。

また、撮像素子２の水平解像度によっては、１分相当のピクセル数が、２ピクセル以下の場合もあり得る。つまり、ω／（６０×φ）＜２の場合は、０．０５秒の間に２〜３ピクセル、つまり４０ピクセル／ｓ以上の動きベクトル速度で被写体が移動する場合に、観察者は残像のある画像を認識する。

これらのことから、電子シャッタ速度の制御に対する動きベクトル速度の閾値（第１の動き速度）を、
ω／（６０×φ）＞２の場合は、ω／（３×φ）［ピクセル／ｓ］
ω／（６０×φ）≦２の時、４０ピクセル／ｓ
とするとよい。

本実施例では、撮像素子２の駆動周波数は６０Ｈｚであり、電子シャッタ速度を、例えば１／５００秒から１／６０秒まで変化させることができる。また、撮像レンズ１の水平画角φは５０°、撮像素子２の解像度（画素数）は、ＶＧＡ出力に対応した水平６４０（＝ω）ピクセル、垂直４８０ピクセルである。このため、
ω／（６０×φ）≒０．２ピクセル≦２
である。したがって、上記閾値は、４０ピクセル／ｓである。

図３Ａには、本実施例における動きベクトル速度［ピクセル／ｓ］に対する撮像素子２の電子シャッタ速度［秒（ｓ）］の制御方法を示す。

図３Ａにおいて、動きベクトル速度が零の場合（被写体が静止している場合）は、撮像環境に応じた標準的なプリアンプ５のゲインでの電子シャッタ速度、例えば１／１２５秒が設定される。そして、動きベクトル速度が零でない場合（被写体が動いている場合）は、電子シャッタ速度は、動きベクトル速度が４０ピクセル／ｓまで速くなるほど、該動きベクトル速度に比例して１／６０秒まで遅くなるように設定する。

また、電子シャッタ速度の変更に応じて、プリアンプ５のゲインも制御され、露出が一定に維持される。具体的には、動きベクトル速度が速いほど、ゲインが低く設定される。

本実施例では、撮像素子２が６０Ｈｚで駆動されるため、人間の一般的な時間分解能である０．０５秒の間に３つのフレーム画像が表示される。このため、画角換算の分解能である１分に相当する撮像素子２上での動きベクトル速度４０ピクセル／ｓ以上では、電子シャッタ速度を一番遅い１／６０秒にすることによって、残像が認識される画像が表示されることを回避している。

つまり、図１０に示した物体が図の左から右へ移動するシーンを撮像したときに、電子シャッタ速度が、例えば１／５００秒といった高速であると、図１１に示すように残像（３つの画像の重なり）が認識されてしまう。しかし、上述したように、電子シャッタ速度を１／６０秒に設定することによって、図１２に示すように、画像がぶれて（ぼけて）残像が目立たなくなる。

図３Ｂのフローチャートには、システム制御部１１で行われる撮像素子２の電子シャッタ速度及びプリアンプ５のゲインの制御手順を示す。この制御は、システム制御部１１内に格納されたコンピュータプログラムに従って実行される。このことは、以下に説明する他の実施例でも同様である。

まず、システム制御部１１は、ステップ（図にはＳと記す）１０１において、２つのフレーム画像から動きベクトルを検出し、動きベクトル速度を演算する。

次に、ステップ１０２では、動きベクトル速度が零か否かを判別する。零の場合は、ステップ１０４に進み、電子シャッタ速度を１／１２５秒に設定するとともに、プリアンプ５のゲインをＬｏｗ（標準的なゲイン）に設定する。

また、動きベクトル速度が零でない場合は、ステップ１０３に進み、動きベクトル速度が４０ピクセル／ｓ以上か否かを判別する。４０ピクセル／ｓより遅い場合は、ステップ１０５に進み、動きベクトル速度に比例した電子シャッタ速度及びそれに応じたプリアンプ５のゲインを設定する。

一方、４０ピクセル／ｓ以上である場合は、ステップ１０６に進み、動きベクトル速度を１／６０秒に設定するとともに、プリアンプ５のゲインをＨｉｇｈに設定する。ステップ１０５及びステップ１０６で設定されるゲインは、電子シャッタ速度が１／１２５秒でプリアンプ５のゲインがＬｏｗである場合と同一レベルの露出が得られるように設定される。

１分相当のピクセル数ω／（６０×φ）＞２の場合は、図３Ｂのステップ１０３において、動きベクトル速度がω／（３×φ）［ピクセル／ｓ］以上か否かを判断し、それより遅い場合はステップ１０５に、それ以上である場合はステップ１０６に進めばよい。

なお、上述した各動きベクトル速度に対する電子シャッタ速度は例に過ぎず、任意に選択することができる。

また、本実施例では、電子シャッタ速度の変更に応じてプリアンプ５のゲインを制御する場合について説明したが、プリアンプ５のゲインに変えて、撮像レンズ１内に設けられた絞りを制御して、露出を一定に維持するようにしてもよい。

さらに、本実施例では、撮像系（ヘッドマウントディスプレイ）に対して被写体が動く場合について説明したが、同様の電子シャッタ制御は、被写体に対して撮像系が動く場合にも行うことができる。このことは、以下の実施例でも同様である。

図４には、本発明の実施例２であるビデオシースルー型ヘッドマウントディスプレイを示している。本実施例でも、ビデオシースルー型ヘッドマウントディスプレイに画像供給装置が接続されて画像観察システムを構成する点は、実施例１と同じである。

ビデオシースルー型ヘッドマウントディスプレイ２１において、撮像レンズ１により形成された被写体像は、ＣＣＤセンサやＣＭＯＳセンサ等により構成される固体撮像素子２の撮像面上に結像される。撮像素子２は、パルス発生回路４から出力されるタイミングパルス信号に基づいて動作する駆動回路３からの駆動パルス信号により駆動される。撮像レンズ１および撮像素子２により撮像系が構成される。

撮像素子２からの撮像出力信号は、プリアンプ５にて所定レベルに増幅された後、カメラプロセス回路６に入力される。カメラプロセス回路６は、撮像出力信号に対してガンマ補正等の信号処理を施し、順次フレーム画像を生成する。

カメラプロセス回路６において生成された１つのフレーム画像は、フレームメモリ７に書き込まれる。また、これに先だってフレームメモリ７に書き込まれていた１つ前のフレーム画像は、フレームメモリ８に書き込まれる。フレームメモリ７，８に書き込まれた２つのフレーム画像は、動きベクトル検出回路９に入力される。

動きベクトル検出回路９は、入力された２つのフレーム画像から、公知の動きベクトル検出方法を用いて、画素毎に被写体の動きの方向と大きさ（速度）を表す動きベクトルを検出する。そして、動きベクトルの検出結果は、マイクロコンピュータにより構成されるシステム制御部１１に送られる。

また、カメラプロセス回路６において生成されたフレーム画像は、フレームメモリ７を介して画像処理手段としての画素加算回路１０にも入力される。

システム制御部１１は、入力された動きベクトルにより示される被写体の動き速度（以下、動きベクトル速度という）に応じて、画素加算回路１０において画素加算処理を行う画素数、すなわち画素エリアの大きさを制御する。画素加算回路１０は、システム制御部１１により指定された画素数での画素加算処理とスムージング処理を行う。画素加算処理は、各フレーム画像における動きベクトル速度が所定の閾値以上である画素を中心とした又はこれを含む所定数の画素（画素エリア）の信号を、対応画素同士で加算（及び平均化）して、各フレーム画像での該当画素の信号として出力する処理である。また、スムージング処理は、画素加算処理を行った画素エリアのエッジを滑らかにする処理である。

画素加算処理後のフレーム画像は、カメラプロセス回路６を介してＬＣＤ等により構成される表示素子１５に送られて表示される。観察者は、表示素子１５に表示された画像を接眼光学系１６を通して観察する。Ｅは観察者の眼である。

ここで、画素加算処理を行う動きベクトル速度の閾値（第１の動き速度）を、
ω／（６０×φ）＞２の場合は、ω／（３×φ）［ピクセル／ｓ］
ω／（６０×φ）≦２の時、４０ピクセル／ｓ
とする。

本実施例では、撮像素子２の駆動周波数は６０Ｈｚであり、電子シャッタ速度を、例えば１／５００秒から１／６０秒まで変化させることができる。また、撮像レンズ１の水平画角φは５０°、撮像素子２の解像度（画素数）は、ＶＧＡ出力に対応した水平６４０（＝ω）ピクセル、垂直４８０ピクセルである。このため、
ω／（６０×φ）≒０．２ピクセル≦２
となる。したがって、上記閾値は４０ピクセル／ｓである。

図５Ａには、本実施例における動きベクトル速度と画素加算を行う画素数との関係を示す。 動きベクトル速度が、０（ピクセル／ｓ）以上で４０（ピクセル／ｓ）より遅い場合は、画素加算処理を行わない。また、動きベクトル速度が４０（ピクセル／ｓ）以上で８０（ピクセル／ｓ）より遅い場合は、４×４画素の画素エリアで画素加算処理を行う。

また、動きベクトル速度が８０（ピクセル／ｓ）以上で１６０（ピクセル／ｓ）より遅い場合は、８×８画素の画素エリアで画素加算処理を行う。さらに、動きベクトル速度が、１６０（ピクセル／ｓ）以上の場合は、１６×１６画素の画素エリアで画素加算処理を行う。

本実施例では、撮像素子２が６０Ｈｚで駆動されるため、人間の一般的な時間分解能である０．０５秒の間に３つのフレーム画像が表示される。このため、撮像素子２上での動きベクトル速度が速いほど画素加算する画素数を増やすことによって、残像が認識される画像が表示されることを回避している。

また、画素毎に動きベクトル速度を算出し、動きベクトル速度が上記閾値以上の画素を中心とした所定画素数のエリアで画素加算処理を行うことにより、動きの少ない背景等の画像部分の画質を低下させることなく、高速で動く被写体に対する残像を除去できる。さらに、画素加算処理を行った画素エリアでスムージング処理を行うことで、動く被写体の輪郭がギザギザになった不自然な画像が観察されてしまうことを防止している。

つまり、図１０に示した物体が図の左から右へ移動するシーンを撮像したときには、図１１に示すように残像（３つの画像の重なり）が観察されるような画像とはならず、図１２に示すように画像がぶれて（ぼけて）残像が目立たなくなる。

図５Ｂのフローチャートには、システム制御部１１で行われる画素加算処理での画素数設定制御の手順を示す。

まず、システム制御部１１は、ステップ（図にはＳと記す）２０１において、２つのフレーム画像から動きベクトルを検出し、動きベクトル速度を演算する。

次に、ステップ２０２では、動きベクトル速度Ｖが、０≦Ｖ＜４０（ピクセル／ｓ）か否かを判別する。動きベクトル速度Ｖがこの範囲であれば、ステップＳ２０５に進み、画素加算処理を行わない。また、動きベクトル速度Ｖがこの範囲でなければ、ステップＳ２０３に進む。

ステップ２０３では、動きベクトル速度Ｖが、４０≦Ｖ＜８０（ピクセル／ｓ）か否かを判別する。動きベクトル速度Ｖがこの範囲であれば、ステップＳ２０６に進み、画素加算処理を行う画素数を、４×４画素に設定する。また、動きベクトル速度Ｖがこの範囲でなければ、ステップＳ２０４に進む。

ステップ２０４では、動きベクトル速度Ｖが、８０≦Ｖ＜１６０（ピクセル／ｓ）か否かを判別する。動きベクトル速度Ｖがこの範囲であれば、ステップＳ２０７に進み、画素加算処理を行う画素数を、８×８画素に設定する。また、動きベクトル速度Ｖがこの範囲でなければ、ステップＳ２０８に進む。

ステップ２０８では、Ｖ≧１６０（ピクセル／ｓ）であるとして、画素加算処理を行う画素数を、１６×１６画素に設定する。

なお、ω／（６０×φ）＞２である場合は、図５Ｂのステップ２０２，２０３においてそれぞれ、０≦Ｖ＜ω／（３×φ）［ピクセル／ｓ］か否か、ω／（３×φ）≦Ｖ＜８０ピクセル／ｓか否かを判断すればよい。

また、上述した各動きベクトル速度に対する画素加算処理を行う画素数は例に過ぎず、任意に選択することができる。

図６には、本発明の実施例３であるビデオシースルー型ヘッドマウントディスプレイを示している。本実施例でも、ビデオシースルー型ヘッドマウントディスプレイに画像供給装置が接続されて画像観察システムを構成する点は、実施例１と同じである。

ビデオシースルー型ヘッドマウントディスプレイ２２において、撮像レンズ１により形成された被写体像は、ＣＣＤセンサやＣＭＯＳセンサ等により構成される固体撮像素子２の撮像面上に結像される。撮像素子２は、パルス発生回路４から出力されるタイミングパルス信号に基づいて動作する駆動回路３からの駆動パルス信号により駆動される。撮像レンズ１および撮像素子２により撮像系が構成される。

撮像素子２からの撮像出力信号は、プリアンプ５にて所定レベルに増幅された後、カメラプロセス回路６に入力される。カメラプロセス回路６は、撮像出力信号に対してガンマ補正等の信号処理を施し、順次フレーム画像を生成する。

カメラプロセス回路６において生成された１つのフレーム画像は、フレームメモリ７に書き込まれる。また、これに先だってフレームメモリ７に書き込まれていた１つ前のフレーム画像は、フレームメモリ８に書き込まれる。フレームメモリ７，８に書き込まれた２つのフレーム画像は、動きベクトル検出回路９に入力される。

動きベクトル検出回路９は、入力された２つのフレーム画像から、公知の動きベクトル検出方法を用いて、画素毎に被写体の動きの方向と大きさ（速度）を表す動きベクトルを検出する。そして、動きベクトルの検出結果は、マイクロコンピュータにより構成されるシステム制御部１１に送られる。

また、カメラプロセス回路６において生成されたフレーム画像は、フレームメモリ７を介して画像処理手段としての画素加算回路１０′にも入力される。画素加算回路１０′では、フレーム画像間での画素加算処理を行う。

システム制御部１１は、入力された動きベクトルにより示される被写体の動き速度（以下、動きベクトル速度という）に応じて、撮像素子２の電子シャッタ速度の制御と、画素加算回路１０′でのフレーム画像間での画素加算処理の制御とを行う。なお、電子シャッタ速度の制御方法は、実施例１と同様である。また、本実施例でのフレーム画像間での画素加算処理は、各フレーム画像の全画素について行う。

画素加算処理後のフレーム画像は、カメラプロセス回路６を介してＬＣＤ等により構成される表示素子１５に送られて表示される。観察者は、表示素子１５に表示された画像を接眼光学系１６を通して観察する。Ｅは観察者の眼である。

ここで、画素加算処理を行う動きベクトル速度の閾値（第１の動き速度）を、
ω／（６０×φ）＞２の場合は、ω／（３×φ）［ピクセル／ｓ］
ω／（６０×φ）≦２の時、４０ピクセル／ｓ
とよい。

本実施例では、撮像素子２の駆動周波数は６０Ｈｚであり、電子シャッタ速度を、例えば１／５００秒から１／６０秒まで変化させることができる。また、撮像レンズ１の水平画角φは５０°、撮像素子２の解像度（画素数）は、ＶＧＡ出力に対応した水平６４０（＝ω）ピクセル、垂直４８０ピクセルである。このため、
ω／（６０×φ）≒０．２ピクセル≦２
となる。したがって、上記閾値は４０ピクセル／ｓである。

また、撮像素子２が６０Ｈｚで駆動されるため、人間の一般的な時間分解能である０．０５秒の間に３つのフレーム画像が表示される。このため、撮像素子２上での動きベクトル速度が速いほど画素加算するフレーム数を増やすことによって、残像が認識される画像が表示されることを回避できる。

つまり、動きベクトル速度が、０（ピクセル／ｓ）以上で４０（ピクセル／ｓ）より遅い場合は、その画素を含むフレーム画像間の画素加算処理は行わない。しかし、動きベクトル速度が、４０（ピクセル／ｓ）以上の場合は、その画素を含むフレーム画像間の画素加算処理を行う。

このように、フレーム画像間の画素加算処理を、動きベクトル速度が速い画素を含むフレーム画像に対してのみ行うことによって、動きの少ない背景等の画像部分の画質を低下させることなく、高速で動く被写体に対する残像を除去できる。

つまり、図１０に示した物体が図の左から右へ移動するシーンを撮像したときには、図１１に示すように残像（３つの画像の重なり）が観察されるような画像とはならず、図１２に示すように画像がぶれて（ぼけて）残像が目立たなくなる。

さらに、このフレーム画像間の画素加算処理に併せて、実施例１と同様な電子シャッタ速度の制御（及びプリアンプ５のゲイン又は絞りの制御）を行うことで、より効果的に高速で動く被写体に対する残像を除去できる。

図５Ｂのフローチャートには、システム制御部１１で行われる電子シャッタ速度とフレーム画像間での画素加算処理の制御手順を示す。

まず、システム制御部１１は、ステップ（図にはＳと記す）３０１において、２つのフレーム画像から動きベクトルを検出し、動きベクトル速度を演算する。

次に、ステップ３０２では、動きベクトル速度Ｖが、０≦Ｖ＜４０（ピクセル／ｓ）か否かを判別する。動きベクトル速度Ｖがこの範囲であれば、ステップＳ３０３に進み、画素加算処理を行わない。また、動きベクトル速度Ｖがこの範囲でなければ、ステップＳ３０４に進み、フレーム画像間での画素加算処理を行う。

また、ステップ３０１で動きベクトル速度を求めた後、ステップ３０２以降の処理と並行して、図３Ｂに示したステップ１０２に進み、電子シャッタ速度の制御を行う。

なお、画素加算処理を行うフレーム画像数は、｜０．０３３×Ｈ｜フレーム以上に設定するとよい。

本実施例では、Ｈ＝６０Ｈｚであるため、画素加算処理を行うべきフレーム画像数は、１．９８フレーム以上となり、少なくとも２フレームを加算している。

また、上記各実施例では、１フレーム画像を１画像単位として動きベクトルの検出や画素加算処理を行う場合について説明したが、１フィールド画像を１画像単位として動きベクトルの検出や画素加算処理を行うようにしてもよい。

本発明の実施例１である画像観察システムの構成を示すブロック図。 実施例１のヘッドマウントディスプレイにおける画角、水平解像度及び被写体の動き速度に関する説明図。 実施例１のヘッドマウントディスプレイにおける動きベクトル速度と電子シャッタ速度との関係を示す図。 実施例１のヘッドマウントディスプレイにおける制御手順を示すフローチャート。 本発明の実施例２であるヘッドマウントディスプレイの構成を示すブロック図。 実施例２のヘッドマウントディスプレイにおける動きベクトル速度と画像加算を行う画素数との関係を示す図。 実施例２のヘッドマウントディスプレイにおける制御手順を示すフローチャート。 本発明の実施例３であるヘッドマウントディスプレイの構成を示すブロック図。 実施例３のヘッドマウントディスプレイにおける制御手順を示すフローチャート。 本発明の課題を説明するための図。 本発明の課題を説明するための図。 本発明の課題を説明するための図。 本発明の課題を説明するための図。 本発明の実施例の効果を説明するための図。

符号の説明

１ 撮像レンズ
２ 固体撮像素子
３ 駆動回路
４ パルス発生回路
５ プリアンプ
６ カメラプロセス回路
７，８ フレームメモリ
９ 動きベクトル検出回路
１０，１０′ 画素加算回路
１１ システム制御部
１５ 表示素子
１６ 接眼光学系

Claims (17)

1. 撮像素子を含み、被写体を撮像する撮像系と、
   前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、
   該表示素子に表示された画像を観察するための接眼光学系と、
   前記生成された画像から被写体の動きを検出する動き検出手段と、
   該動き検出部で検出された被写体の動き速度に応じて、前記撮像素子の電子シャッタ速度を制御する制御手段とを有することを特徴とする画像観察装置。
2. 前記制御手段は、前記動き速度が速いほど前記電子シャッタ速度を遅くすることを特徴とする請求項１に記載の画像観察装置。
3. 前記制御手段は、前記動き速度が第１の動き速度より速い場合は、遅い場合に比べて、前記電子シャッタ速度を遅くすることを特徴とする請求項１又は２に記載の画像観察装置。
4. 前記撮像素子からの出力信号を増幅するプリアンプを有し、
   前記制御手段は、前記動き速度に応じて、前記プリアンプのゲインを制御することを特徴とする請求項１から３のいずれか１つに記載の画像観察装置。
5. 前記制御手段は、前記動き速度が速いほど前記ゲインを低くすることを特徴とする請求項４に記載の画像観察装置。
6. 前記制御手段は、前記動き速度が第１の動き速度より速い場合は、遅い場合に比べて、前記ゲインを低くすることを特徴とする請求項５に記載の画像観察装置。
7. 撮像素子を含み、被写体を撮像する撮像系と、
   前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、
   該表示素子に表示された画像を観察するための接眼光学系と、
   前記生成された画像から被写体の動きを検出する動き検出手段と、
   前記生成された画像における前記動き検出手段により被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う画像処理手段と、
   前記動き検出部で検出された被写体の動き速度に応じて、前記画素エリアの大きさを変更する制御手段とを有することを特徴とする画像観察装置。
8. 撮像素子を含み、被写体を撮像する撮像系と、
   前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、
   該表示素子に表示された画像を観察するための接眼光学系と、
   前記生成された画像から被写体の動きを検出する動き検出手段と、
   前記生成された画像における前記動き検出手段により被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う画像処理手段と、
   前記動き検出部で検出された被写体の動き速度が第１の動き速度より速い場合に、前記画像処理手段に前記画素エリアでの前記画素加算及びスムージング処理を行わせる制御手段とを有することを特徴とする画像観察装置。
9. 撮像素子を含み、被写体を撮像する撮像系と、
   前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、
   該表示素子に表示された画像を観察するための接眼光学系と、
   前記生成された画像から被写体の動きを検出する動き検出手段と、
   前記生成された画像であって複数のフレーム画像に対して画素加算処理を行う画像処理手段と、
   前記動き検出部で検出された被写体の動き速度が第１の動き速度より速い場合に、前記画像処理手段に前記複数のフレーム画像に対する前記画素加算処理を行わせることを特徴とする画像観察装置。
10. 前記撮像素子の駆動周波数がＨヘルツであるとき、
    前記画像処理手段は、｜０．０３３×Ｈ｜フレーム以上のフレーム画像に対して前記画素加算処理を行うことを特徴とする請求項９に記載の画像観察装置。
11. 前記撮像系の特定方向での画角をφ°、前記撮像素子の該特定方向での解像度をωピクセルとするとき、ω/（６０×φ）＞２の場合は、前記第１の動き速度は、ω/（３×φ）ピクセル/ｓであることを特徴とする請求項３，６，８又は９に記載の画像処理装置。
12. 前記撮像系の特定方向での画角をφ°、前記撮像素子の該特定方向での解像度をωピクセルとするとき、ω/（６０×φ）≦２の場合は、前記第１の動き速度は、４０ピクセル/ｓであることを特徴とする請求項３，６，８又は９に記載の画像観察装置。
13. 請求項１から１２のいずれか１つに記載の画像観察装置と、
    該画像観察装置に対して、前記撮像素子からの出力信号に基づいて生成された画像に合成される画像を供給する画像供給装置とを有することを特徴とする画像観察システム。
14. 撮像素子を含み、被写体を撮像する撮像系と、前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法であって、
    前記生成された画像から被写体の動きを検出する検出ステップと、
    該検出ステップで検出された被写体の動き速度に応じて、前記撮像素子の電子シャッタ速度を制御するステップとを有することを特徴とする画像観察装置の制御方法。
15. 撮像素子を含み、被写体を撮像する撮像系と、前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法であって、
    前記生成された画像から被写体の動きを検出する検出ステップと、
    前記生成された画像における前記検出ステップにより被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う処理ステップとを有し、
    前記処理ステップにおいて、前記検出ステップで検出された被写体の動き速度に応じて、前記画素エリアの大きさを変更することを特徴とする画像観察装置の制御方法。
16. 撮像素子を含み、被写体を撮像する撮像系と、前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法であって、
    前記生成された画像から被写体の動きを検出する検出ステップと、
    前記生成された画像における前記検出ステップにより被写体の動きが検出された画素を含む画素エリアで画素加算及びスムージング処理を行う処理ステップとを有し、
    前記処理ステップにおいて、前記検出ステップで検出された被写体の動き速度が第１の動き速度より速い場合に、前記画素エリアでの前記画素加算及びスムージング処理を行うことを特徴とする画像観察装置の制御方法。
17. 撮像素子を含み、被写体を撮像する撮像系と、前記撮像素子からの出力信号に基づいて生成された画像を表示する表示素子と、該表示素子に表示された画像を観察するための接眼光学系とを有する画像観察装置の制御方法であって、
    前記生成された画像から被写体の動きを検出する検出ステップと、
    前記生成された画像であって複数のフレーム画像に対して画素加算処理を行う処理ステップとを有し、
    前記処理ステップにおいて、前記検出ステップで検出された被写体の動き速度が第１の動き速度より速い場合に、前記複数のフレーム画像に対して前記画素加算処理を行うことを特徴とする画像観察装置の制御方法。