JP2007214666A

JP2007214666A - 動画撮影機能付デジタルカメラ

Info

Publication number: JP2007214666A
Application number: JP2006029835A
Authority: JP
Inventors: Yuuri Miura; 祐理三浦
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-02-07
Filing date: 2006-02-07
Publication date: 2007-08-23

Abstract

【課題】高い演算負荷を要することなく手振れ補正を良好に行って動画ブレ補正の不自然さを無くす。
【解決手段】撮像素子１０から出力される動画像データを連続する複数フレーム分だけ格納するメモリ２１と、メモリ２１に次の新しいフレームの画像データを格納するとき該メモリ２１内の最も古いフレームの画像データを出力する入出力制御手段１２，２４と、メモリ２１に新たに格納された画像データの動きベクトルが大きすぎて該画像データから切り出される部分画像の切出範囲が該画像データの存在範囲を逸脱するか否かを監視すると共に該逸脱を検出したとき該検出後にメモリ２１から出力される画像データの部分画像切出位置の移動量を当該画像データの動きベクトルで決まる移動量より小さく修正する切出制御手段２３とを設ける。
【選択図】図１

Description

本発明は、動画を撮影するときの動画ブレを電子的に補正する動画撮影機能付デジタルカメラに関する。

動画撮影機能付デジタルスチルカメラやデジタルビデオカメラには、固体撮像素子から出力される撮像画像の手振れを電子的に補正するものがある。この電子的手振れ補正の原理を図７で説明する。

電子的手振れ補正機能を搭載したデジタルカメラでは、実際に記録メディアに記録される一画面の大きさよりも一回り広い面積の画像を固体撮像素子が撮像し、この撮像画像データをフレームメモリに格納する。そして、図７に示すように、フレームメモリ１から所定矩形範囲２の部分画像を切り出し、この切り出し画像を出力する様になっている。

デジタルカメラを手に持って撮影を行っている場合、手振れが生じ、画面上すなわちフレームメモリ１上で、被写体３の画像は揺れることになる。そこで、デジタルカメラに搭載されている演算制御部は、先行する画像（前フレーム画像）に対し、後続画像（次フレーム画像）が揺れた量（矢印Ａ）を動きベクトルとして検出し、被写体画像３が被写体画像３’にシフトしたと判断する。そして、次フレーム画像から切り出す部分画像切出範囲４を、前フレーム画像で用いた部分画像切出範囲２から動きベクトル（矢印Ａ）だけ移動させる。これにより、前フレームの出力画像２中の被写体３に対し次フレームの出力画像４中の被写体画像３’は恰も動いていない様になり、手振れが補正される。

この様な電子的手振れ補正を行う場合、下記特許文献１に記載されている様に、従来は１つのフレームメモリを用い、このフレームメモリに順次格納される画像データから、順次、部分画像を切り出す様になっている。そして、過去数回に亘って連続して検出した動きベクトルを参考にして補正限界を演算処理によって予測している。

特開平５―２４４４８１号公報

電子的手振れ補正を行う場合、動きベクトルの検出が必要であるが、この動きベクトルは、被写体が動いても、また、カメラ側が動いても検出される。また、カメラ側の動きも、手振ればかりでなく、カメラのパンニング操作の様な意図的な動きもあり、これらの動きによっても動きベクトルが検出される。

このため、上述した従来技術では、様々な撮影状況の基で夫々検出される動きベクトルから「手振れ」に起因する動きベクトルだけを精度良く弁別して手振れ補正限界の予測演算処理を行わなければならず、演算負荷が高くなると共に、予測が外れたとき動画が不自然な動き（例えば急激な画像の移動）をしてしまうという問題がある。

本発明の目的は、高い演算負荷を要することなく手振れ補正を良好に行って動画ブレ補正の不自然さを無くし、また、意図的なカメラの動きに対しては手振れ補正を行うことのない動画撮影機能付デジタルカメラを提供することにある。

本発明の動画撮影機能付デジタルカメラは、撮像素子からフレーム順に出力される画像データをメモリに格納し該メモリ内の画像データから所定範囲の部分画像を切り出し出力画像とするとき該画像データの前フレーム画像に対する動きベクトルに応じて決まる移動量だけ部分画像切出位置を移動させて前記出力画像の動画ブレを電子的に補正する動画撮影機能付デジタルカメラにおいて、前記撮像素子から出力される動画像データを連続する複数フレーム分だけ格納するフレームメモリと、該フレームメモリに次の新しいフレームの画像データを格納するとき該フレームメモリ内の最も古いフレームの画像データを出力するメモリ入出力制御手段と、前記フレームメモリに新たに格納された画像データの前記動きベクトルが大きすぎて該画像データから切り出される前記部分画像の切出範囲が該画像データの存在範囲を逸脱するか否かを監視すると共に該逸脱を検出したとき該検出後に前記フレームメモリから出力される画像データの前記部分画像切出位置の前記移動量を当該画像データの動きベクトルで決まる移動量より小さく修正する部分画像切出制御手段とを備えることを特徴とする。

本発明の動画撮影機能付デジタルカメラは、撮像素子からフレーム順に出力される画像データをメモリに格納し該メモリ内の画像データから所定範囲の部分画像を切り出し出力画像とするとき該画像データの前フレーム画像に対する動きベクトルに応じて決まる移動量だけ部分画像切出位置を移動させて前記出力画像の動画ブレを電子的に補正する動画撮影機能付デジタルカメラにおいて、前記撮像素子から出力される動画像データを連続する複数フレーム分だけ格納するフレームメモリと、該フレームメモリに次の新しいフレームの画像データを格納するとき該フレームメモリ内の最も古いフレームの画像データを出力するメモリ入出力制御手段と、前記フレームメモリから出力される画像データから前記部分画像を切り出すとき当該画像データの動きベクトルに応じて部分画像切出位置を移動させると共に前記フレームメモリに格納されている各画像データに対する動きベクトルから動画ブレでないと判断したときは前記部分画像切出位置の移動を停止する部分画像切出制御手段とを備えることを特徴とする。

本発明の動画撮影機能付デジタルカメラは、前記出力画像を記録メディアに書き込む手段またはモニタ表示する手段を備えることを特徴とする。

本発明によれば、フレームメモリ内に複数フレーム分の画像データを蓄積しながら手振れ補正を行うため、つまり時間遅れを持って部分画像の出力を行うため、小さな演算負荷で的確に補正限界に達したことを部分画像の出力前に知ることができ、また遅れ時間中に手振れであるか意図的な動きであるかの判断を行うことが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る動画撮影機能付デジタルカメラの要部機能構成図である。本実施形態の動画撮影機能付デジタルカメラは、被写界からの入射光を受光して動画像データをフレーム順に出力する撮像素子１０と、撮像素子１０から出力されるアナログデータ（動画像データ）をデジタルデータに変換するアナログデジタル（Ａ／Ｄ）変換部１１と、Ａ／Ｄ変換部１１の出力画像データを取り込み後段回路に出力するメモリ入力制御部１２と、電子的手振れ補正装置２０とを備える。

電子的手振れ補正装置２０は、フレームバッファ２１と、フレーム間動きベクトル検出部２２と、フレーム切り出し制御部２３と、メモリ出力制御部２４とを備え、メモリ出力制御部２４から出力された部分画像データが、図示しない書込手段によって記録メディアに書き込まれる。

本実施形態のフレームバッファ２１は、今回フレーム及び直近の過去４フレーム（計５フレーム分）のデジタル画像データを保持する５個分のフレームメモリを備える。このフレームバッファ２１には、メモリ入力制御部１２によって、常時、最新フレームのデジタル画像データが次々と書き込まれ、メモリ出力制御部２４によって、フレームバッファ内最古のフレームの画像データが次々と読み出される。

フレーム間動きベクトル検出部２２は、メモリ入力制御部１２から渡される今回フレームの画像データと、フレームバッファ２１内に蓄積されている前回フレームの画像データとを比較し、今回フレーム画像の前回フレーム画像に対する画像全体の動きベクトルを検出し、検出した動きベクトルを出力する。

フレーム切り出し制御部２３は、フレーム間動きベクトル検出部２２が検出し出力した各フレーム画像毎の動きベクトルを保存する。そして、通常の電子的手振れ補正を行うときは、フレームバッファ２１から出力される画像データから切り出す部分画像の切出位置を当該画像データに対応する動きベクトルから決定し、切出位置指令を出力する。

メモリ出力制御部２４は、フレーム切り出し制御部２３から出力された部分画像切出位置指令に基づき、フレームバッファ２１から読み出した画像データ中の部分画像を切り出し、この部分画像を出力画像とする。

図２は、上述した通常の電子的手振れ補正装置２０の動作説明図である。フレームバッファ２１には５枚のフレームメモリ（Ｎｏ.１，Ｎｏ．２，Ｎｏ３，Ｎｏ４，Ｎｏ５）が設けられており、今回フレームの最新の画像データはＮｏ．５のフレームメモリに格納される。Ｎｏ．４のフレームメモリには前回フレームの画像データが格納されており、Ｎｏ．３のフレームメモリには前々回フレームの画像データが格納されており、Ｎｏ．２のフレームメモリには前々々回（３フレーム前）の画像データが格納されており、Ｎｏ．１のフレームメモリには４フレーム前の画像データが格納されている。

フレーム間動きベクトル検出部２２は、今回フレーム画像の前回フレーム画像に対する動きベクトルＫ５を検出する。また、フレーム間動きベクトル検出部２２は、過去に、前々回フレーム画像に対する前回フレーム画像の動きベクトルＫ４と、３フレーム前のフレーム画像に対する前々回フレーム画像の動きベクトルＫ３と、４フレーム前のフレーム画像に対する３フレーム前のフレーム画像の動きベクトルＫ２と、……とを検出している。

フレーム切り出し制御部２３は、これらの動きベクトルＫ５，Ｋ４，Ｋ３，Ｋ２，…を保存しており、動きベクトルに対応して部分画像切出位置を移動させる。この結果、図２に示す例では、次回フレーム画像が新たにフレームバッファ２１内に書き込まれるとき、最も古いフレーム画像データを格納したＮｏ．１フレームメモリから切出範囲３１の部分画像が切り出され出力されると共に、Ｎｏ．１フレームメモリ内のデータは消去され、次回フレーム画像データが新たに書き込まれる。

同様に、Ｎｏ．２フレームメモリからは前回切出範囲３１を動きベクトルＫ２だけ移動させた切出範囲３２によって部分画像が切り出され、Ｎｏ．３フレームメモリからは前回切出範囲３２を動きベクトルＫ３だけ移動させた切出範囲３３によって部分画像が切り出され、Ｎｏ．４フレームメモリからは前回切出範囲３３を動きベクトルＫ４だけ移動させた切出範囲３４によって部分画像が切り出され、Ｎｏ．５フレームメモリからは前回切出範囲３４を動きベクトルＫ５だけ移動させた切出範囲３５によって部分画像が切り出される。

図２に示す例では、画像全体（撮像素子の出力画像全体）中の被写体画像３０の位置は手振れによって動きベクトルＫ１，Ｋ２，…分だけ少しずつ移動しているが、切出範囲３１，３２，３３，３４，３５が動きベクトルＫ１，Ｋ２，…に応じて移動されるため、各部分画像中の被写体画像３０の位置はいずれの切出範囲３１，３２，３３，３４，３５の中央位置になる。つまり、出力画像中での被写体画像３０の位置は変化せず、手振れが補正される。

図２に示す例では、切出範囲３１，３２，…はいずれもフレームメモリの画像全体の内側だけで移動している。しかし、図３（ａ）のＮｏ．４，Ｎｏ．５のフレームメモリに示す様に、手振れ量が大きくなると、切出範囲３７，３８がフレームメモリ内の画像データの存在範囲から外側に逸脱してしまう。外側に出た部分（図中に斜線を施した部分）には画像データが存在しないため、出力画像が一部欠損して破綻することになる。

この様な場合、本実施形態では、図３（ｂ）に示す様に修正処理を行う。即ち、図３（ａ）に示す様に、動きベクトル…，Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５が既に検出されているため、フレーム切り出し制御部２３は、これらの動きベクトルに従って切出範囲を移動させていくと、出力画像が破綻してしまうと判断できる。

そこで、フレーム切り出し制御部２３は、図示の例では、破綻する画像データの動きベクトルＭ４，Ｍ５に先行する動きベクトルＭ３を自身内のベクトル保存メモリから取り出し、ベクトルＫ３がベクトルＭ４と同一方向であるか否かを調べる。同一方向である場合には、更に先行する動きベクトルＫ２を取り出して調べるという処理を、フレームバッファ２１内に画像データが存在する動きベクトルに対して行う。

図３に示す例では、ベクトルＭ３がベクトルＭ４と同一方向でありベクトルＭ２は同一方向でないため、ベクトルＭ３以降を修正する。即ち、動きベクトルＭ３を動きベクトルＭ３より短い移動ベクトルＮ３に修正して切出範囲４１を定め、動きベクトルＭ４を動きベクトルＭ４より短い移動ベクトルＮ４に修正して切出範囲４２を定め、動きベクトルＭ５を動きベクトルＭ５より短い移動ベクトルＮ５に修正して切出範囲４３を定め、出力範囲４１，４２，４３がフレームメモリ内の画像全体の中から外部にはみ出さない様に制御する。

これにより、出力画像中の被写体画像３０は、少しずつ移動し中央部分に停止することはなくなるが、出力画像が破綻したり、出力画像が急に移動して不自然になるということがなくなる。

図４は、撮影者が意図的にカメラを動かしたときの本実施形態に係る電子的手振れ補正装置２０の動作説明図である。カメラが意図的に動かされたとき、例えばパンニングされたとき、撮像画像は画面中で移動することになる。

このとき、電子的手振れ補正機能が働いていると、従来は、パンニング初期の「移動」と「手振れ」とをカメラ制御部が区別することができず、パンニング初期に出力画像中の被写体画像が動かず、補正限界を超えたときいきなり画像が大きく移動してしまうということが生じる。

これに対し、本実施形態の電子的手振れ補正装置２０は、パンニングが行われた場合にも、図４に示す様に、パンニング開始順にＮｏ．１→Ｎｏ．２→Ｎｏ．３→Ｎｏ．４→Ｎｏ．５と順に各フレーム画像データがフレームメモリに格納され、夫々の動きベクトルＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５が検出される。

フレーム切り出し制御部２３は、Ｎｏ．１フレームメモリの画像データを出力する前に、これら動きベクトルＬ５，Ｌ４，Ｌ３，Ｌ２，Ｌ１を調べることで、ベクトルＬ２，Ｌ３，Ｌ４，Ｌ５の方向が略同一方向であり略一定速度で動いていると判断でき、これが意図的なパンニング操作の結果であると判断できる。この結果、フレーム切り出し制御部２３は、電子的手振れ補正機能をパンニングと判断される期間停止させ、出力画像をパンニングに従って画面内で移動させる。即ち、切出範囲４４の移動を停止させる。

本実施形態では、図４のＮｏ．２のフレームメモリ内に記載したように、パンニング初期にはパンニングと手振れとを区別できずに出力範囲４５の予定位置をずらすことになるが、メモリ出力制御部２４が出力画像を切り出すまでに時間遅れがあるため、手振れ補正の停止が間に合うことになる。

この様に、本実施形態では、５フレーム分の画像データを保持し、僅かな時間遅れはあるが、５フレーム前の画像データから出力する構成のため、複雑な演算処理を行うことなく、動画像の不自然さを回避して電子的手振れ補正を行うことが可能となる。また、電子的手振れ補正を停止させるカメラ操作状況を適切に判断可能となる。

（第２実施形態）
図５は、本発明の第２実施形態に係る動画撮影機能付デジタルカメラの要部機能構成図である。第１実施形態では、動きベクトルを、今回フレーム画像と前回フレーム画像とを比較して検出したが、この動きベクトル検出のための演算量は、比較対象となる画像ブロックを１画素単位または数画素単位で移動させながら画像ブロック内の画像を１画素毎に比較するため、膨大な演算量が必要となる。

そこで本実施形態では、電子的手振れ補正装置５０内にジャイロセンサ等の動き検出センサ５１とこのセンサ出力をデジタル信号化するアナログデジタル変換部５２とを設け、フレーム間動きベクトル検出部２２が今回フレーム画像データの取り込みタイミングと動き検出センサ出力とにより動きベクトルを検出する構成としている。他の構成は第１実施形態と同様である。本実施形態でも、第１実施形態と同様の効果を得ることができる。

（第３実施形態）
図６は、本発明の第３実施形態に係る動画撮影機能付デジタルカメラの要部機能構成図である。本実施形態の電子的手振れ補正装置６０は、第１実施形態の構成に加え、モニタ表示するモニタ表示用制御部６１を備え、このモニタ表示用制御部６１がメモリ出力制御部２４と同様にフレーム切り出し制御部２３からの切出位置指令を受けて表示出力処理を行い、モニタ表示画像の電子的手振れ補正を行う。

尚、上述した実施形態では、フレームバッファが５個のフレームメモリを備える例で説明したが、任意の複数個のフレームメモリを備えればよく、フレームメモリ数が多ければそれだけ画像出力までの時間遅れは長くなるが、その遅れ時間内に様々な処理が可能となり、動画像の不自然さを回避する処理が可能となる。また、「複数個」といったのは説明の都合であり、フレーム画像を複数フレーム分格納する領域を持つ１つのフレームメモリでも良いことはいうまでもない。

本発明では、複数個のフレームメモリを用いて電子的手振れ補正を行うため、画像出力までの遅れ時間を利用して出力画像の切出範囲の判定が可能となり、不自然さの無い動画を撮影するデジタルカメラに適用すると有用である。

本発明の第１実施形態に係る動画撮影機能付デジタルカメラの要部機能構成図である。図１に示す動画撮影機能付デジタルカメラに搭載される電子的手振れ補正装置の動作説明図である。手振れ量が大きくなったときの図１に示す電子的手振れ補正装置の動作説明図である。カメラをパンニングしたときの図１に示す電子的手振れ補正装置の動作説明図である。本発明の第２実施形態に係る動画撮影機能付デジタルカメラの要部機能構成図である。本発明の第３実施形態に係る動画撮影機能付デジタルカメラの要部機能構成図である。電子的手振れ補正の原理説明図である。

符号の説明

１０撮像素子
１２入力制御部
２０，５０，６０電子的手振れ補正装置
２１複数個のフレームメモリを搭載するフレームバッファ
２２フレーム間動きベクトル検出部
２３フレーム切り出し制御部
２４出力制御部
３０部分画像中央の被写体画像
３１，３２，３３，３４，３５部分画像切出範囲
５１動き検出センサ
６１モニタ表示用制御部
Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５動きベクトル
Ｎ３，Ｎ４，Ｎ５動きベクトルを修正した移動ベクトル

Claims

撮像素子からフレーム順に出力される画像データをメモリに格納し該メモリ内の画像データから所定範囲の部分画像を切り出し出力画像とするとき該画像データの前フレーム画像に対する動きベクトルに応じて決まる移動量だけ部分画像切出位置を移動させて前記出力画像の動画ブレを電子的に補正する動画撮影機能付デジタルカメラにおいて、前記撮像素子から出力される動画像データを連続する複数フレーム分だけ格納するフレームメモリと、該フレームメモリに次の新しいフレームの画像データを格納するとき該フレームメモリ内の最も古いフレームの画像データを出力するメモリ入出力制御手段と、前記フレームメモリに新たに格納された画像データの前記動きベクトルが大きすぎて該画像データから切り出される前記部分画像の切出範囲が該画像データの存在範囲を逸脱するか否かを監視すると共に該逸脱を検出したとき該検出後に前記フレームメモリから出力される画像データの前記部分画像切出位置の前記移動量を当該画像データの動きベクトルで決まる移動量より小さく修正する部分画像切出制御手段とを備えることを特徴とする動画撮影機能付デジタルカメラ。
撮像素子からフレーム順に出力される画像データをメモリに格納し該メモリ内の画像データから所定範囲の部分画像を切り出し出力画像とするとき該画像データの前フレーム画像に対する動きベクトルに応じて決まる移動量だけ部分画像切出位置を移動させて前記出力画像の動画ブレを電子的に補正する動画撮影機能付デジタルカメラにおいて、前記撮像素子から出力される動画像データを連続する複数フレーム分だけ格納するフレームメモリと、該フレームメモリに次の新しいフレームの画像データを格納するとき該フレームメモリ内の最も古いフレームの画像データを出力するメモリ入出力制御手段と、前記フレームメモリから出力される画像データから前記部分画像を切り出すとき当該画像データの動きベクトルに応じて部分画像切出位置を移動させると共に前記フレームメモリに格納されている各画像データに対する動きベクトルから動画ブレでないと判断したときは前記部分画像切出位置の移動を停止する部分画像切出制御手段とを備えることを特徴とする動画撮影機能付デジタルカメラ。
前記出力画像を記録メディアに書き込む手段またはモニタ表示する手段を備えることを特徴とする請求項１または請求項２に記載の動画撮影機能付デジタルカメラ。