JP2014176060A - 撮像装置及び画像再生装置 - Google Patents

Abstract

【課題】動画像におけるぶれを軽減する。
【解決手段】撮像装置は、複数のフレームから成る入力動画像の画像データを出力する撮像部と、時間的に隣接するフレーム間の動き量を導出する動き量導出部と、入力動画像の画像データから出力動画像の画像データを生成する画像処理部とを備え、出力動画像の画像データを記録媒体に記録する。画像処理部は、前回及び今回のフレーム間の動き量が所定の基準量以上であるとき、今回のフレームを前回のフレームに置き換えて出力動画像の画像データを生成する。
【選択図】図７

Description

本発明は、撮像装置及び画像再生装置に関する。

動画像の撮影及び記録において手振れ等の影響を軽減する技術が存在する。一般的な動画像に対する電子式手振れ補正では、フレーム間の動きベクトルを算出して該動きベクトルに基づき入力フレームの一部を切り出して出力する。

尚、下記特許文献１には、隣接フレーム間の動き量の大きさに応じて、フレームの繰り返し挿入又は間引きを制御する方法が示されている。

特開２００６−５０２３０号公報

動画像の撮影及び記録においてぶれ軽減が重要であることは言うまでも無い。また、ぶれを含む動画像の再生時において、当該ぶれを軽減することができれば有益である。尚、特許文献１の技術は、フレームレートを第１フレームレートから第２フレームレートに増大又は減少させる際にフレームの繰り返し挿入又は間引きを行う技術であって、ぶれの軽減には寄与しない。

そこで本発明は、記録又は再生される動画像のぶれ軽減に寄与する撮像装置及び画像再生装置を提供することを目的とする。

本発明に係る撮像装置は、複数のフレームから成る入力動画像の画像データを出力する撮像部と、時間的に隣接するフレーム間の動き量を導出する動き量導出部と、前記入力動画像の画像データから出力動画像の画像データを生成する画像処理部とを備え、前記出力動画像の画像データを記録媒体に記録する撮像装置であって、前記複数のフレームは、第１フレームと、前記第１フレームの次に撮影される第２フレームを含み、前記画像処理部は、前記第１及び第２フレーム間の動き量が所定の基準量以上のとき、前記第２フレームを前記第１フレームに置き換えて前記出力動画像の画像データを生成することを特徴とする。

これにより、動き量が大きくなっている部分のフレームが動きの発生前のフレームにて置き換えられるため、出力動画像においてぶれの軽減が期待される。

本発明に係る画像再生装置は、複数のフレームから成る入力動画像の画像データの提供を受けるデータ入力部と、時間的に隣接するフレーム間の動き量を導出する動き量導出部と、前記入力動画像の画像データから出力動画像の画像データを生成する画像処理部とを備え、前記出力動画像を再生する画像再生装置であって、前記複数のフレームは、第１フレームと、前記第１フレームの次に撮影される第２フレームを含み、前記画像処理部は、前記第１及び第２フレーム間の動き量が所定の基準量以上のとき、前記第２フレームを前記第１フレームに置き換えて前記出力動画像の画像データを生成することを特徴とする。

これにより、動き量が大きくなっている部分のフレームが動きの発生前のフレームにて置き換えられるため、出力動画像においてぶれの軽減が期待される。

本発明によれば、記録又は再生される動画像のぶれ軽減に寄与する撮像装置及び画像再生装置を提供することが可能である。

本発明の第１実施形態に係る撮像装置の構成ブロック図である。 入力動画像と出力動画像の構成を示す図である。 隣接フレーム間の動き量を示す図である。 本発明の第１実施形態に係るフレーム置換制御処理を説明するための図である。 本発明の第１実施形態に係る連続置換制御処理を説明するための図である。 本発明の第１実施形態に係る連続置換制御処理を説明するための図である。 本発明の第１実施形態に係る入力動画像及び出力動画像の具体例を示す図である。 本発明の第２実施形態に係り、記録媒体とデータ入力部との関係を示す図である。 画像ファイルの構造を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の構成ブロック図である。撮像装置１は、符号１１〜１７によって参照される各部位を備える。

撮像部１１は、複数枚のレンズから形成される光学系と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）を備える。撮像素子は、光学系を介して入射した、被写体に応じた光を光電変換することで、被写体の画像データを生成し且つ出力する。即ち、撮像部１１は、撮像素子を用いて被写体を撮影することで被写体の画像データを生成及び出力する。撮像部１１から出力される段階での画像データは、アナログ信号でも良いし、デジタル信号でも良い。本明細書において、画像データを画像信号と読み替えても良い。

画像処理部１２は、撮像部１１の出力データに対して所定の画像処理を施す。主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等にて形成され、操作部１６に入力された各種指示及び操作に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。表示画面１４は、液晶ディスプレイパネル等から成り、任意の映像を表示する。記録媒体１５は、任意のデータを読み書き可能な不揮発性の記録媒体であり、半導体メモリ又は磁気ディスク等にて形成される。操作部１６は、機械式押しボタンスイッチやダイヤル等の機械式操作部材、及び／又は、表示画面１４に付随するタッチパネルにて形成され、ユーザからの各種指示及び操作を受け付ける。ユーザとは、撮像装置１の操作者（撮影者を含む）である。

撮像装置１は、動画像の撮影及び記録機能を備える。ここでは、動画像の撮影及び記録が行われる期間の１つとして、図２の録画期間３００に注目する。録画期間３００は、時刻ｔ［１］〜ｔ［ｎ］までの期間である。ｎは２以上の整数である。録画期間３００は、例えば、操作部１６に対して所定の録画開始操作が入力された時点から操作部１６に対して所定の録画終了操作が入力される時点までの期間である。但し、他の条件を以って録画期間３００が定められても構わない。

録画期間３００中において、撮像部１１は所定のフレーム周期で順次被写体の撮影を行い、これによって入力動画像ＭＩの画像データを生成及び出力する。入力動画像ＭＩは、入力フレームＦＩ［１］〜ＦＩ［ｎ］から成る。任意の整数ｉに関し、入力フレームＦＩ［ｉ］は、時刻ｔ［ｉ］における撮像部１１の撮影画像（撮影静止画像）であり、時刻ｔ［ｉ＋１］は時刻ｔ［ｉ］より１フレーム周期分だけ遅い。

画像処理部１２は、入力動画像ＭＩの画像データに所定の画像処理を施して出力動画像ＭＯの画像データを生成する。主制御部１３に含まれる記録制御部（不図示）は、出力動画像ＭＯの画像データを記録媒体１５に記録する。出力動画像ＭＯは、出力フレームＦＯ［１］〜ＦＯ［ｎ］から成る。出力フレームＦＯ［ｉ］は、時刻ｔ［ｉ］及び入力フレームＦＩ［ｉ］に対応するフレームであり、原則として、時刻ｔ［ｉ］における撮像部１１の撮影画像と一致する。但し、後述のフレーム置換制御処理により、出力フレームＦＯ［ｉ］は時刻ｔ［ｉ−１］における撮像部１１の撮影画像と一致せしめられる場合がある。

動き量導出部１７は、時間的に隣接する入力フレーム間の動き量を導出する。任意の整数ｉに関し、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ］は時間的に隣接する入力フレームである。図３に示す如く、動き量導出部１７によって導出される、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ］間の動き量を、記号Ｖ［ｉ］にて表す。動き量導出部１７は、時間的に隣接する２枚の入力フレームの組み合わせごとに動き量を導出することで、入力動画像ＭＩに対し動き量Ｖ［２］〜Ｖ［ｎ］を求めることができる。動き量Ｖ［ｉ］は、入力動画像ＭＩ上の物体の、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ］間における動きの大きさを示している（ここでは、当該物体が実空間上で静止している静止物体であると考える）。

動き量導出部１７は、入力動画像ＭＩの画像データに基づき動き量を求めることができる。この場合、動き量導出部１７は、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ］の画像データを対比することで動き量Ｖ［ｉ］を求める。

動き量導出部１７に、撮像装置１の動きを検出する動き検出センサ（不図示）を設けておいても良い。動き検出センサは、撮像装置１の動きを示す動き検出データをリアルタイムで出力する。そして、動き量導出部１７は、動き検出センサから出力される動き検出データに基づき動き量を求めても良い。この場合、動き量導出部１７は、時刻ｔ［ｉ−１］及びｔ［ｉ］間に動き検出センサから出力された動き検出データに基づき、動き量Ｖ［ｉ］を求めることができる。動き検出センサによって検出される、撮像装置１の動きを示す物理量は任意であり、例えば撮像装置１の加速度又は角加速度である。

入力動画像ＭＩから出力動画像ＭＯを得るための画像処理には、ノイズ低減処理、エッジ強調処理及び画像圧縮処理等が含まれうるが、ここでは、当該画像処理に含まれるフレーム置換制御処理について説明する。

フレーム置換制御処理においては、入力フレームＦＩ［１］〜ＦＩ［ｎ］の内、時間的に隣接する任意の２枚の入力フレームが第１及び第２入力フレームとして注目される。第１及び第２入力フレームの撮影時刻は夫々第１及び第２時刻であり、第２入力フレームは、第１入力フレームの次に撮影されるフレームである（従って第２時刻は第１時刻よりも１フレーム周期分だけ遅い）。まず、第１入力フレームは、第１時刻の出力フレームとして出力動画像ＭＯに含められているものとする。フレーム置換制御処理において、画像処理部１２は、第１及び第２入力フレーム間の動き量を所定の基準量ＴＨと比較し、第１及び第２入力フレーム間の動き量が基準量ＴＨ未満の場合には第２入力フレームを第２時刻の出力フレームとして出力動画像ＭＯに含める一方、第１及び第２入力フレーム間の動き量が基準量ＴＨ以上の場合には第２入力フレームの代わりに第１入力フレームを第２時刻の出力フレームとして出力動画像ＭＯに含める（即ち、第２入力フレームを第１入力フレームに置き換えて出力動画像ＭＯの画像データを生成する）。

図４（ａ）及び（ｂ）を参照し、第１及び第２入力フレームが夫々フレームＦＩ［ｉ−１］及びＦＩ［ｉ］であると考えて、フレーム置換制御処理を説明する。入力フレームＦＩ［ｉ−１］は、出力フレームＦＯ［ｉ−１］として出力動画像ＭＯに含められているものとする。画像処理部１２は、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ］間の動き量Ｖ［ｉ］を所定の基準量ＴＨと比較する。そして、動き量Ｖ［ｉ］が基準量ＴＨ未満の場合、図４（ａ）に示す如く、画像処理部１２は、今回の入力フレームＦＩ［ｉ］を今回の出力フレームＦＯ［ｉ］として出力動画像ＭＯに含める。一方、動き量Ｖ［ｉ］が基準量ＴＨ以上の場合、図４（ｂ）に示す如く、画像処理部１２は、今回の入力フレームＦＩ［ｉ］の代わりに前回の入力フレームＦＩ［ｉ−１］を今回の出力フレームＦＯ［ｉ］として出力動画像ＭＯに含める。即ち、今回の入力フレームを前回の入力フレームに置き換えて出力動画像ＭＯの画像データを生成する。

画像処理部１２は、時間的に隣接する２枚の入力フレームの組み合わせの夫々について、上述したフレーム置換制御処理を実行することがきる。

但し、動き量Ｖ［ｉ］が基準量ＴＨ以上である結果、入力フレームＦＩ［ｉ−１］を出力フレームＦＯ［ｉ］として出力動画像ＭＯに含めた場合には、以下の連続置換制御処理を行うことができる。連続置換制御処理はフレーム置換制御処理の一種である。連続置換制御処理において、画像処理部１２は、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋１］間の動き量に基づき、入力フレームＦＩ［ｉ−１］又はＦＩ［ｉ＋１］を出力フレームＦＯ［ｉ＋１］として出力動画像ＭＯに含める。即ち、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋１］間の動き量が基準量ＴＨ未満の場合には、図５（ａ）に示す如く、今回の入力フレームＦＩ［ｉ＋１］を今回の出力フレームＦＯ［ｉ＋１］として出力動画像ＭＯに含める一方で、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋１］間の動き量が基準量ＴＨ以上の場合には、図５（ｂ）に示す如く、今回の入力フレームＦＩ［ｉ＋１］の代わりに前々回の入力フレームＦ［ｉ−１］を出力フレームＦＯ［ｉ＋１］として出力動画像ＭＯに含める。

これと同様の処理をフレームＦＩ［ｉ＋２］に対しても実行することができる。ｊが１以上の任意の整数であると考えて連続置換制御処理を一般化すると、連続置換制御処理では、以下の動作が行われていると言える。
入力フレームＦＩ［ｉ−１］が出力フレームＦＯ［ｉ］〜ＦＯ［ｉ＋ｊ−１］として出力動画像ＭＯに含められた場合、画像処理部１２は、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］間の動き量に基づき、入力フレームＦＩ［ｉ−１］又はＦＩ［ｉ＋ｊ］を出力フレームＦＯ［ｉ＋ｊ］として出力動画像ＭＯに含める。即ち、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］間の動き量が基準量ＴＨ未満の場合には、図６（ａ）に示す如く、今回の入力フレームＦＩ［ｉ＋ｊ］を今回の出力フレームＦＯ［ｉ＋ｊ］として出力動画像ＭＯに含める一方で、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］間の動き量が基準量ＴＨ以上の場合には、図６（ｂ）に示す如く、今回の入力フレームＦＩ［ｉ＋ｊ］の代わりに過去の入力フレームＦ［ｉ−１］を出力フレームＦＯ［ｉ＋ｊ］として出力動画像ＭＯに含める。

動き量導出部１７は、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］の画像データに基づき、或いは、時刻ｔ［ｉ−１］及びｔ［ｉ＋ｊ］間に動き検出センサから出力された動き検出データに基づき、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］間の動き量を導出することができる。

図７に、上述のフレーム置換制御処理を行ったときの入力動画像ＭＩ及び出力動画像ＭＯの具体例を示す。動き量が大きくなっている部分のフレームが他のフレームにて置き換えられ、出力動画像ＭＯにおいてぶれが大幅に軽減されていることが分かる。手振れ等の影響により撮影されるべき被写体がフレームの外に出てしまうような入力フレームが取得された場合、その入力フレームは、記録しても有益ではなく、記録動画像を見づらくする不要なフレームであると言える。本実施形態によれば、そのような入力フレームの記録が省略され、結果、ぶれの軽減された見やすい出力動画像を取得することが可能となる。

撮像装置１を備えた任意の電子機器（携帯電話機、携帯情報端末、パーソナルコンピュータ、電子書籍リーダ、電子辞書、ゲーム機器又はナビゲーション装置等）を形成しても良い。尚、撮像装置１も電子機器の一種である。撮像装置１を備えた電子機器は、懐中電灯としての機能を備えたカメラ付き懐中電灯であっても良い。例えば、警備員がカメラ付き懐中電灯を携行し、カメラ付き懐中電灯にて、警備現場を照らしながら且つ必要に応じて動画像の撮影及び記録を行いながら警備現場を巡回する。このような使用形態においては、相当に大きな手振れがカメラ付き懐中電灯に作用するため、本実施形態の方法が特に有益に機能する。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とする実施形態であり、第２実施形態において特に述べない事項に関しては、特に記述無き限り且つ矛盾の無い限り、第１実施形態の記載が第２実施形態にも適用される。

第１実施形態では、画像撮影時において出力動画像ＭＯの画像データを生成及び記録しているが、第２実施形態では、画像再生時において出力動画像ＭＯの画像データを生成する。即ち、入力動画像ＭＩの撮影時において、まず入力動画像ＭＩの画像データを記録媒体１５に記録しておく。この際、画像データの圧縮等は行われても良い。そして、その後の必要なタイミングにおいて、記録媒体１５から入力動画像ＭＩの画像データを読み出し、第１実施形態で述べた方法により出力動画像ＭＯの画像データを生成する。主制御部１３は、これによって得られた出力動画像ＭＯを表示画面１４にて再生することができ、結果、ぶれが大幅に軽減された動画像の再生が可能となる。

第２実施形態では、図１の撮像装置１に、図８のデータ入力部２１が備えられていると考えることができる。データ入力部２１は、記録媒体１５に記録された入力動画像ＭＩの画像データの提供を受ける。入力動画像ＭＩの画像データが、データ入力部２１を介して画像処理部１２や動き量導出部１７等に供給される。

第２実施形態においても、動き量導出部１７は、第１実施形態で述べた方法により動き量を導出することができる。即ち、ｊが０以上の整数である場合、動き量導出部１７は、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］の画像データに基づき、或いは、時刻ｔ［ｉ−１］及びｔ［ｉ＋ｊ］間に動き検出センサから出力された動き検出データに基づき、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］間の動き量を導出することができる。但し、動き検出データを利用する場合、記録媒体１５に録画期間３００中の動き検出データが記録されている必要がある。例えば、入力動画像ＭＩの撮影時において、主制御部１３は、図９に示す如く、ヘッダ領域及び本体領域から成る画像ファイルを記録媒体１５内に作成し、本体領域に入力動画像ＭＩの画像データを書き込む一方で、ヘッダ領域に録画期間３００中の動き検出データを含む付加データを書き込む。動き量導出部１７は、記録媒体１５に記録された当該ヘッダ領域中の動き検出データを用いて、入力フレームＦＩ［ｉ−１］及びＦＩ［ｉ＋ｊ］間の動き量を導出できる。

画像の再生を行うとき、撮像装置１又は撮像装置１を備えた電子機器は、画像再生装置として機能する。撮影装置１を備えていない画像再生装置を形成しても良い。撮影装置１を備えていない画像再生装置に、撮像部１１を除く、撮像装置１の各構成要素を設けておけば、当該画像再生装置において、入力動画像ＭＩから出力動画像ＭＯを生成して出力動画像ＭＯを再生することができる。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

撮像装置１又は画像再生装置である対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体は対象装置と異なる機器（サーバ機器等）に搭載又は接続されても良い。

１ 撮像装置
１１ 撮像部
１２ 画像処理部
１７ 動き量導出部
２１ データ入力部

Claims (4)

1. 複数のフレームから成る入力動画像の画像データを出力する撮像部と、
   時間的に隣接するフレーム間の動き量を導出する動き量導出部と、
   前記入力動画像の画像データから出力動画像の画像データを生成する画像処理部とを備え、前記出力動画像の画像データを記録媒体に記録する撮像装置であって、
   前記複数のフレームは、第１フレームと、前記第１フレームの次に撮影される第２フレームを含み、
   前記画像処理部は、前記第１及び第２フレーム間の動き量が所定の基準量以上のとき、前記第２フレームを前記第１フレームに置き換えて前記出力動画像の画像データを生成する
   ことを特徴とする撮像装置。
2. 前記動き量導出部は、前記入力動画像の画像データに基づき前記動き量を導出する、又は、当該撮像装置の動きを検出する動き検出センサを用いて前記動き量を導出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 複数のフレームから成る入力動画像の画像データの提供を受けるデータ入力部と、
   時間的に隣接するフレーム間の動き量を導出する動き量導出部と、
   前記入力動画像の画像データから出力動画像の画像データを生成する画像処理部とを備え、前記出力動画像を再生する画像再生装置であって、
   前記複数のフレームは、第１フレームと、前記第１フレームの次に撮影される第２フレームを含み、
   前記画像処理部は、前記第１及び第２フレーム間の動き量が所定の基準量以上のとき、前記第２フレームを前記第１フレームに置き換えて前記出力動画像の画像データを生成する
   ことを特徴とする画像再生装置。
4. 前記動き量導出部は、前記入力動画像の画像データに基づき前記動き量を導出する、又は、前記入力動画像を撮影した撮像装置の動きを示す動き検出データに基づき前記動き量を導出する
   ことを特徴とする請求項３に記載の画像再生装置。

Images