JP2001511961A - 画面の動きに基づく動的シャッター速度調整システムおよび方法 - Google Patents

Abstract

(57)【要約】 シャッター速度調整システムは、画面の動きに基づいてシャッター速度を調整する。このシステムを装備したビデオカメラは、画像ピックアップ素子を有しており、プリセットされたシャッター速度で作動するように設定される。取得機構は、上記のピックアップ素子から複数の画像を取得する。動きセンサ／推定器は上記の複数の画像間の関連動きを検出し、また画面の動きパラメータが定義される。シャッター速度コントローラは、プリセットされたシャッター速度と画面の動きパラメータの関数として、新たなシャッター速度を設定する。画面内での動きに基づいてシャッター速度を調整するための方法は、プリセットされたシャッター速度で複数の画像を取得するステップと、複数の画像間の画面の動きの関連に基づいて画面の動きパラメータを決定するステップと、プリセットされたシャッター速度および画面の動きの関数として、新たなシャッター速度を設定するステップとを有している。

Description

【発明の詳細な説明】 画面の動きに基づく動的シャッター速度調整システムおよび方法 発明の分野 本発明は、画面の動きに基づく動的シャッター速度調整に関し、この調整によ り定量的画面の動きパラメータを決定し、シャッター速度の調整をすることによ り、ブレを最小にしてかつビデオテープでの画面の取得を最適化する。 発明の背景 取得された画像から検出された動き成分に基づいて、シャッター速度を自動的 に調整するスチールカメラやビデオカメラには多くのものが知られている。この ような公知の装置には、画面の動きの決定に自動焦点機構を利用しているものが ある。しかし残念ながらこの機構は、検出される動きを光学軸方向の動きに制限 するものである。このような制限は、スチールカメラの場合にある種の目的に対 しては有利であるが、光学軸に対して垂直な成分と共に移動する動きを取得しよ うとするビデオカメラの場合には、ブレを無くすことができない。他の公知の装 置では、シャッター速度は調整するが、新たに調整したシャッター速度を現在の シャッター速度に関連付けすることはしない。公知の装置は、全てシャッター速 度を速くするときにのみ作動可能である。シャッター速度を自動的に遅くし、ま たレンズの絞りを小さくし、これによって被写界深度を深くすることが望まれる 例が多い。 移動している被写体の取得に際し、特に、被写体がカメラのレンズの光学軸に 対して垂直に動いている時はできるだけ速いシャッター速度を用いるのがよい。 同時にまた、通常の環境で、被写界深度を深く維持するために絞りを小さく維持 することが望まれており、そうすることによって、できるだけ広い範囲で画像に 焦点を合わせることができる。これらの相反する基準は、通常は、自動露出制御 の或る様式で調節される。この制御は、シャッター速度、絞り、照度状況に応じ て画像を最適化するが、普通は、絞りを小さくしてシャッター速度を遅くするよ うに調整する。 このような機構は、一般的に自動焦点機構と組み合わせられる。多くのビデオカ メラや幾つかのスチールカメラでは、カメラの動きを検出してこの動きを補償す る画像安定化システムが備えられている。 当業者にはよく知られている通り、シャッター速度の増加につれて、必要量の 光を受け入れるようにするために絞りも大きくしなければならない。こうするこ とによって、被写界深度は浅くなるし、また画像の鮮鋭度は低下する。 本発明の目的は、画面の動きの増加に従ってシャッター速度が速くなるような 動的シャッター速度調整機構およびシャッター速度を動的に調整する方法を提供 しようとするものである。 本発明の他の目的は、画面の動きの減少に従ってシャッター速度が遅くなるよう な動的シャッター速度調整機構およびシャッター速度を動的に調整する方法を提 供しようとするものである。 本発明の他の目的は、画面における支配的動きに基づいてシャッター速度を調 整する動的シャッター速度調整機構および方法を提供しようとするものである。 更に、本発明の他の目的は、現在のシャッター速度に基づく動的シャッター速 度調整機構を提供しようとするものである。 また、本発明の他の目的は、画面の動きがカメラレンズの光学軸に対して垂直 であるか並行であるかに関わらず、その動きに基づいてシャッター速度を調整す る動的シャッター速度調整機構および方法を提供しようとするものである。 発明の概要 本発明のシャッター速度調整システムまたは機構は、画面の動きに基づいてシ ャッター速度を調整する。本発明のシステムを備えたビデオカメラは、画像ピッ クアップ素子をその中に有しており、現在のシャッター速度で作動するように設 定される。取得機構は、上記画像ピックアップ素子から複数の画像を取得する。 動きセンサ／推定器は、上記複数の画像間の相対的動きを検出して評価し、そし て画面の動きパラメータを決定する。画面の動きパラメータは、画面の動き内容 の定量的示度(indication)である。シャッター速度制御器は、現在のシャッタ ー速度と画面の動きパラメータとの関数として、新たなシャッター速度と絞りを 設定する。この機構は、各種モードで作動可能である。 画面内の動きに基づいて、シャッター速度を調整する本発明の方法は、以下の ステップを備えている：現在のシャッター速度で複数の画像を取得し、この複数 の画像間の関連する画面の動きに基づいて画面の動きパラメータを決定し、現在 のシャッター速度と画面の動きパラメータの関数として新たなシャッター速度と 絞りを設定する。 本発明における上記及びその他の目的及び利点は、図面を参照して以下の詳細 な説明からより明らかになるであろう。 図面の簡単な説明 図１は、本発明のシャッター速度調整システムを説明するためのブロック図で ある。 図２は、本発明の方法を説明するためのフローチャートである。 実施態様の詳細な説明 本発明のシャッター速度調整システムおよび方法は、先ず第１にビデオカメラ での使用を意図しており、特に民生用デジタル動画記録装置（ＤＶＣＲ）におけ る使用を意図している。しかしながら、このシステムおよび方法は、フィルム式 、最新写真システムやデジタルを問わず、従来のアナログ式動画記録装置、スチ ールカメラにおける使用にも好適である。 図１を参照すれば、本発明のシャッター速度調整システムを表すブロック図は 、全体として１０で示されている。なお、全体のシステム１０は、ビデオカメラ に組み込まれている。このビデオカメラは、画像ピックアップ素子１２を備えて おり、このピックアップ素子は、ある形式の電荷結合素子（ＣＣＤ）であっても よい。画像ピックアップ素子１２は、現在のあるいはプリセットされたシャッタ ー速度（Ｓ_PRE）１４として参照された速度で作動している。 取得機構１６は、画像ピックアップ素子１２からの複数の画像Ｉ₁，Ｉ₂の取得 が可能である。取得機構として機能するビデオカメラの構成部品にはいくつかあ り、例えば、ビデオテープやその他の形式の記憶装置があるが、ここで「取得機 構」とは、ソリッドステート集積回路の最も一般的な形式の例である記憶装置を 指している。 取得機構からのデータは、動きセンサ／推定器１８に送信され、またここでは 動きセンサと呼ぶ。これは、複数の画像Ｉ₁，Ｉ₂の分析を実行すると共に、画面 の動きパラメータＭとして参照されるものを決定する。動きセンサ／推定器１８ は、連続的（通常は逐次あるいはシーケンシャル）画像間で決定されるように、 実動きベクトルを基準として動きを予測する動き推定器１８ａを有している。 次いで、動きセンサ／推定器１８は、Ｍを定義するが（ブロック１９）、これ は、画面の支配的動き内容の定量的表示である。動きセンサ１８は、画像安定化 システムの一部であってもよいし、別個のカムコーダ部品であってもよい。 シャッター速度コントローラは、予めセットされたシャッター速度１４および 画面の動きパラメータＭを分析して、新たなシャッター速度（Ｓ_NEW）２２を決 定する。次いで、新たなシャッター速度２２は、画像ピックアップ素子１２とと もに作動する現在のシャッター速度となる。画像ピックアップ素子１２によって 検出された画面内で動きの結果として画面の動きパラメータＭが変化するので、 シャッター速度コントローラは、動作モードに依存して、シャッター速度を変化 させ続ける。詳細は後述する。 シャッター速度の変化は、勿論、照度や絞りの範囲によって定められるが、適 切な安全保護システムがシャッター速度コントローラ２０に装備されることによ り、シャッター速度が速くなることを制限するので、Ｓ_NEWは、画像が過度に暗 くなるほど速くはならないし、またシャッター速度が遅くなることは必ず制限す るので、画像が露出過度になることがない。この点について、シャッター速度コ ントローラ２０は、レンズの絞りも調整する。 ビデオカメラもしくはカムコーダは、電子式シャッター機構を利用している。 この機構は、画像がカムコーダの記録機構に伝送されるまでは画像ピックアップ 素子に残るように時間量を決定する。この記録機構は、ビデオテープまたは集積 回路メモリの形式であってもよい。 シャッター速度の例は、表１にＳ_PREおよびＳ_NEWとして示されている。遅いシ ャッター速度例えば１／６０秒，１／１００秒，１／２５０秒では、画面中に目 立った動きがあった場合は、動きのブレの問題が起こる。 動きの大きさとシャッター速度に依って、動きのブレは大きくなる。レンズの光 学軸に垂直な画面の動きは、動きのブレに対して特に影響が大きい。しかしなが ら、光学軸に垂直な成分を有するどのような動きであっても、その動きが比較的 に速いときは、ブレとなる可能性がある。シャッター速度が遅いときは、ブレに よって動画の視賞的品質はある範囲内に制限される。この制限は、静止画が動画 から生成される場合に、特に該当する。ここで説明する本発明は、画面における 動きを分析し、適切であれば、ブレを除去するためにシャッター速度を速くする 。最終画像にエッジリンギングのような不快な見かけの疑似アーチファクトが入 り込まないように、後処理で動きのブレを除去することは困難である。第１の動 作モードでは、画面内の動きの量が減少するときは、シャッター速度は元の値に リセットされる。第２の動作モードでは、画面の動きが減少するとき、シャッタ ー速度はもとの値に、もしくは適切であればより低い値にリセットすることが可 能である。 ビデオカメラは、画像を取得するための多くの機構を用いている。更には、動 画は、飛越し走査であっても非飛越し走査であってもよい。飛越し走査動画の場 合は、第１のフィールドは、画像ピックアップ素子の交互のラスタで画像を提供 し、最初の取得中に充たされなかったラスタ中に次の画像を充たすことになる。 この場合の画像のフィールドは、完全な画像を形成するために必要な２つの連続 画像フィールドを指す。非飛越し走査の場合は、全てのラスタはシングルのパス で充たされ、映画フィルムのフレームとは異なるが「フレーム」として参照され るものが作られる。動きセンサは、画面の動きパラメータの分析のためにどのフ ィールドやフレームでも選択することができるが、最も現実的技術としては、画 面の動きパラメータを決定するために、２つの逐次・連続フィールドを分析する ことがある。ここで使用するＩ₁は第１のフィールドまたはフレームを指し、Ｉ₂ は第２のフレームまたはフィールドを指す。 画面の動き内容は、各種方法で決定することができる。本発明に好適な方法は 、動き内容の決定に画面の支配的動き成分を用いることである。支配的動きは、 一 般的には、カメラの動き即ちパンニング、シェイキング、もしくはカメラのズー ムによるものである。また、支配的動きは、画像フィールドの実質的部分を占め 動きが速い被写体によることもある。ここでのより大きな関心事は、特にＤＶＣ Ｒでは、高速移動カメラや高速ズームの結果である支配的動きである。 支配的動きは、４パラメータ回転−ズーム−変換モデル（式（１））を用いて モデリングすることができる。 ここで式（１）は、パラメータα₁、α₂、α₃およびα₄を有している。フレー ムＩ₁の座標[ｘｙ]は、４パラメータ動き変換を用いて、フレームＩ2の座標［ｕ ｖ］と関連付けられている。［ｘｙ］面での全点は、ｋで測定(ズーム)された角 度θ(ほぼ元のとおり)分回転される。ここでｋは定数で、[α₃α₄]で変換される 。この場合、α₁＝ｋｃｏｓθおよびα₂＝−ｋｓｉｎθである。 支配的動きは、方向スケーリングおよび４パラメータモデルへのシア(sheer) を加える６パラメータアフィンモデルで、モデリングすることが可能で、その結 果は： ｕ＝α₁₁ｘ＋α₁₂ｙ＋α₁₃ …（２） ν＝α₂₁ｘ＋α₂₂ｙ＋α₂₃ …（３） となる。 支配的動きモデルのパラメータ（回転−ズーム−変換またはアフィン）は、多重 解像度対話型アルゴリズム(multi-resolution，interactive algorithm)を用い て推定することができる。J.Bergen他「２成分画像動き予測用３フレームアルゴ リズム(A Three-Frame Algorithm for Estimating Two-Component Image Motion )」（IEEE Trans．Pattern Anal.＆Mach.Intel.，１４巻，第９号，８８６−８ ９６頁，１９９２年９月）を参照。より高いオーダーのモデル、例えば８パラメ ータ斜視モデルのようなものを使うことも可能である。S.Mann他「投影グループ の動画オービット：画像モザイクについての新たな考え方(Video Orbits of the Projective Group:A New Perspective on Image Mosaicing)」(ＭＩＴ Media Laboratory Perceptual Computing Section Techni cal Report No.338，1995)などがある。 本発明の一つの実施態様において、支配的動きは、回転−ズーム−変換モデル でモデリングされる。この場合、変換パラメータが推定され、一方動き内容は、 式４で示される変換成分の大きさを基準として決定される。 Ｍ＝（α₃ ²+α₄ ²）^1/2 …（４） 他の実施態様では、変換および回転成分共に、画面の動きパラメータを導き出 す際に用いることができる。パラメータα₁，α₂，α₃およびα₄の適切な関数は 、式５で示される動き内容の指標として定義することができる。 例えば動きセンサを画像安定化システム（電子式、光学式を問わない）に接続 するような、その他の動き推定スキームを用いることができる。このような画像 安定器は、動きの推定を利用可能とするが、これは通常はある種の支配的動き推 定である。画像安定器の動き推定器の出力は、次いで現在のシャッター速度に沿 って、シャッター速度コントローラに向けられる。 本発明の自動シャッター速度調整機構には、２つ動作モードがある：即ち第１ の動作モードでは、ユーザが手動で設定したかまたはカメラのデフォルトで設定 したシャッター速度（ここではプリセットされたシャッター速度という）を越え て、シャッター速度を速くすることのみができ、第２の動作モードでは、初期設 定とは関係なく画面の動きパラメータＭに沿って、シャッター速度が連続的に変 化する。 表１において、第１の動作モードが説明される。先に述べたように、このモー ドでは、シャッター速度は初期またはプリセット値を越えて速くなるのみで、上 述のように、画面を取得するための照度状況で強制的に定まる。このモードでは 、記録（録画）を止めたとき、シャッター速度は元のプリセット値にリセットさ れる。 シャッター速度を速くする引き金として画面に充分な動きがない場合は、シャ ッター速度は変化しない。表１で、表の左側に沿ったシャッター速度値は、プリ セット値Ｓ_PREで、表の上側に沿う値は、本発明の調整機構が実行された後の新 たなシャッター速度値Ｓ_NEWである。 表１で、ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉおよびｆｉは、画面の動き内容パラメ ータＭのしきい値で、ｉは、この場合のシャッター速度で１から６の整数である 。カメラに依ってシャッター速度の性能は異なることがある。本発明の調整機構 によるシャッター速度調整の例は以下の通りである。 プリセットのシャッター速度が１／６０秒（０≦Ｍ＜ａ１）のとき、シャッタ ー速度は変化しない。ａ２≦Ｍ＜ａ３のとき、シャッター速度は速くなって１／ ２５０秒になる。動き内容パラメータがさらに増加して、ａ５≦Ｍ＜ａ６のよう になると、シャッター速度はさらに速くなって１／７０００秒になる。動き内容 パラメータが減少して、０≦Ｍ＜ａ１のようになると、シャッター速度は遅くな って元のプリセット値の１／６０秒になる。 現在またはプリセットのシャッター速度が１／１０００秒で、ｄ１≦Ｍ＜ｄ２ のとき、シャッター速度は速くなって１／４０００秒となる。画面の動きの内容 が減少して０≦Ｍ＜ｄ１となれば、シャッター速度は元のプリセット値の１／１ ０００秒に戻る。このモードでは、シャッター速度は決して減少して元のプリセ ット値にはなることはない。このモードで、シャッター速度が１／１００００秒 にセットされると、画面の動き内容パラメータとは関係なく、シャッター速度は 変化しない。 なお、第１の動作モードでは、プリセット値の増加に従って、調整機構は、上 位シフト保護を可能にする。これは、ｉ＝１，２，３，４，５のときｂｉ＞ａ（ ｉ＋１）、ｉ＝１，２，３，４のときｃｉ＞ｂ（ｉ＋１）、ｉ＝１，２，３のと きｄｉ＞ｃ（ｉ＋１）、ｉ＝１，２のときｅｉ＞ｄ（ｉ＋１）、およびｆ１＞ｅ ２とすることによって達成される。このスキーマ（構成）は、調整機構が、現実 には画像が暗くなるような画面動き内容の過大評価とならないように、十分ロバ ストであることを保証するために用いられるものである。このモードは、プリセ ット値の大きさが充分でない場合に、動きがレベルを瞬間的に超えたときに、画 像のブレ予防もする。 表２は、第２の動作モードを示しており、ここでは、初期設定とは関係なく画 面の動きパラメータＭに従って、シャッター速度が連続的に変化する。このモー ドは、Ｍの値とシャッター速度Ｓとの間の表２の制限を使って実行されるもので 、連続的変化を可能にすると共に、初期値すなわちプリセット値への制限はない 。 図２について、符号３０は、全体として本発明の方法を示すもので、その概略 を述べる。先ず、画像Ｉ₁，Ｉ₂は、現在のまたはプリセットされたシャッター速 度で取得される（ブロック３２）。次いで本実施態様では動きセンサ／推定器１ ８は、逐次画像(sequential images)間で決定される実動きベクトルを基準とし て、画面の動きを推定する（ブロック３４）。次いで画面の動きパラメータＭが 、Ｉ₁およびＩ₂間の画面の動きを基準として定義される（ブロック３５）。プリ セットされたシャッター速度１４が読み込まれて（ブロック３６）、シャッター 速度コントローラ２０は、新たなシャッター速度を設定する（ブロック３８）。 前述のように、画面の動きの分析は続けられて、画面の動きおよび照度に応じて シャッター速度をさらに速くしたり、遅くしたりする。 かように、自動シャッター速度調整システムおよび自動シャッター速度調整方 法が開示された。本発明のシステムおよび方法は、ビデオカメラ内の画像ピック アップ素子で取得された画面の動きに応じた適正なシャッター速度の増減に備え るものである。 本発明の好適な実施態様およびその変更はここに開示されたが、特許請求の範 囲で定義される本発明の範囲から外れない限り、更なる変更や修正が可能である ことは勿論である。

Claims (1)

1. 【特許請求の範囲】 １．画面の動きを基準としてシャッター速度を調整するためのシャッター速度調 整システムにおいて、 画像ピックアップ素子を有し、プリセットされたシャッター速度（Ｓ_PRE）で 作動するように設定されたビデオカメラと、 前記画像ピックアップ素子から複数の画像（Ｉ₁，Ｉ₂）を取得するための取得 機構と、 前記Ｉ₁および前記Ｉ₂間の動きを推定するため且つ画面の動きパラメータＭを 決定するための動きセンサと、 前記（Ｓ_PRE）と前記Ｍの関数として、新たなシャッター速度（Ｓ_NEW）を設定 するためのシャッター速度コントローラとを備えたことを特徴とするシャッター 速度調整システム。 ２．請求項１記載のシャッター速度調整システムにおいて、前記動きセンサは、 画面の支配的動きを検出することを特徴とするシャッター速度調整システム。 ３．請求項１記載のシャッター速度調整システムにおいて、前記動きセンサは、 画面内での実動きベクトルを基準として動きを推定するための動き推定器を有す ることを特徴とするシャッター速度調整システム。 ４．請求項１記載のシャッター速度調整システムにおいて、前記動きセンサは、 画像安定化システムであることを特徴とするシャッター速度調整システム。 ５．請求項１記載のシャッター速度調整システムにおいて、前記複数の画像は、 逐次(sequential)画像であることを特徴とするシャッター速度調整システム。 ６．請求項１記載のシャッター速度調整システムにおいて、前記複数の画像は、 連続画像であることを特徴とするシャッター速度調整システム。 ７．請求項１記載のシャッター速度調整システムにおいて、前記Ｉ₁および前記 Ｉ₂は、飛越し走査式動画における連続フィールドであることを特徴とするシャ ッター速度調整システム。 ８．請求項１記載のシャッター速度調整システムにおいて、前記Ｉ₁および前記 Ｉ₂は、非飛越し走査式動画における連続フレームであることを特徴とするシャ ッター速度調整システム。 ９．画面内での動きに基づいたシャッター速度調整方法において、 プリセットされたシャッター速度（Ｓ_PRE）で、複数の画像（Ｉ₁，Ｉ₂）を取得 し、 前記Ｉ₁および前記Ｉ₂間の画面の動きに基づいて、画面の動きパラメータＭを 決定し、 前記Ｓ_PREと前記Ｍの関数として、新たなシャッター速度（Ｓ_NEW）を設定する ことを特徴とするシャッター速度調整方法。 １０．請求項９に記載の方法において、前記複数の画像の取得は、逐次(sequent ial)画像の取得を含むことを特徴とするシャッター速度調整方法。 １１．請求項９に記載の方法において、前記複数の画像の取得は、連続画像の取 得を含むことを特徴とするシャッター速度調整方法。 １２．請求項９に記載の方法において、前記Ｍの決定は、画面内の支配的動きに 基づくことを特徴とするシャッター速度調整方法。 １３．請求項１２に記載の方法において、前記支配的動きは、次式の４パラメー タ回転−ズーム−変換モデルで決定されることを特徴とするシャッター速度調整 方法。 ここで、Ｉ₁の[ｘ，ｙ]は、４パラメータ回転−ズーム−変換モデルを経て、 Ｉ₂の[ｕ，ｖ]に関連する。 １４．請求項１２に記載の方法において、前記支配的動きは、次式の６パラメー タアフィンモデルで決定されることを特徴とするシャッター速度調整方法。 ｕ＝α₁₁ｘ＋α₁₂ｙ+α₁₃ ν＝α₂₁ｘ＋α₂₂ｙ+α₂₃ １５．請求項９に記載の方法において、前記Ｍの決定は、画像安定器からの出力 に基づくことを特徴とするシャッター速度の調整方法。 １６．請求項９に記載の方法において、前記Ｉ₁および前記Ｉ₂は、飛越し走査 式動画における連続フィールドであることを特徴とするシャッター速度調整方法 。 １７．請求項９に記載の方法において前記Ｉ₁および前記Ｉ₂は、非飛越し走査式 動画における連続フレームであることを特徴とするシャッター速度調整方法。