JP2020102794A - 画像処理装置 - Google Patents

Abstract

【課題】 被写体ブレが大きい露出設定、すなわち低速なシャッター速度で撮影しても、精度よく振れ検出を行うことが必要である。【解決手段】 シャッター速度が所定より低速な撮影時に、動画像の撮影１周期内に記録用画像と、記録用画像より高速なシャッター速度を設定した振れ検出用画像との２つの撮像を行い、振れ検出処理は振れ検出用画像に対して行い、ブレ補正処理は前記振れ検出結果に基づいて記録用画像に対して実施する。【選択図】図６

Description

本発明は、露光時間を長く設定した画像に対して撮像装置の振れ検出精度を向上させる技術に関する。

近年、手ブレ補正機能を備える撮像装置が主流となっている。手ブレ補正機能の実現方法には様々な手法が提案されている。

例えば、振れの検出には加速度センサ、角速度センサなどの専用センサを有する方法や、撮影した画像から被写体像の位置変化、すなわち動きベクトル等を算出して装置の振れを求める方法がある。

ここで、後者の場合においては、被写体像の位置を正しく検出できない場合に、撮像装置の振れ検出の精度が低下する可能性がある。被写体像の位置が正しく検出できない一例として、露光時間が長い、すなわちシャッター速度を遅くする撮影シーンがある。

従来より被写体ブレを軽減させる技術は従来から提案されている。特許文献１に記載された撮像装置では、被写体の動きの速さから被写体ブレの発生有無を判定して、被写体ブレが発生しうると判定したときに、感度を上げて露光時間を短くする。

特開２００８−２０６０２１号公報

しかしながら、撮影者が意図して設定したシャッター速度、または撮像装置が最適な露光条件となるように決定したシャッター速度を変更することは、撮影者の所望する映像が撮影されない可能性がある。

このため、シャッター速度などの露出設定を変更することなく、被写体ブレによるカメラの振れ検出精度低下を回避することが好ましい。

上記の課題を解決するために、本出願に係る画像処理装置は、
動画像のフレームレートに基づく単位時間中に少なくとも二回の撮像を行う撮像手段と、第一の撮像と第二の撮像における露光時間を制御する露光時間制御手段と、撮影した画像から撮像装置の振れを検出する振れ検出手段と、前記検出した振れに基づいて映像ブレを補正するブレ補正手段とを備え、撮像手段は、第一の撮像における露光時間に基づいて第二の撮像を行うか否かを判定し、露光時間制御手段は、第二の撮影時の露光時間は第一の撮影時の露光時間より短い時間で制御し、振れ検出手段は、第二の露光時間で撮像された画像から撮像装置の振れを検出し、ブレ補正手段は、第一の露光時間で撮像された画像を補正することを特徴とする。

本発明によれば、露光時間を長く設定して撮影した映像において、振れ検出用のセンサを備えることなく良好な振れ検出が可能な画像処理装置を提供することができる。

第一の実施形態におけるデジタルビデオカメラの構成を示すブロック図である。 第一の実施形態におけるシステム制御部５０の内部構成を示すブロック図である。 第一の実施形態における画像処理部２４の内部構成を示すブロック図である。 第一の実施形態における撮像処理の流れを表すフローチャートである。 第一の実施形態におけるブレ補正処理の流れを表すフローチャートである。 本発明における撮像およびブレ補正の概要を示す図である。 本発明における記録用画像と評価値用画像の撮像処理の時間関係を示す図である。 第一の実施形態における画像処理部２４とメモリ制御部との関係を示すブロック図である。

以下、図面を参照して本発明の好適な実施形態を説明する。

＜第１の実施形態＞
図１は、本発明の実施形態のデジタルビデオカメラ１００の内部構成を示すブロック図である。

図１において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤ１０４は減光用に使用するＮＤである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。本実施形態で特徴となる記録用画像の他に評価値取得用画像の撮像処理も撮像部２２が備える。

前記記録用画像と評価値用画像の関係を図６に示す。一連のシーン撮影において、従来記録用画像のみ撮像していた区間に、評価値用画像の撮像も行う。

図６中のＡｎが記録用画像、Ｂｎが評価値用画像である（ｎは任意の数字）。ただし、評価値用画像の撮像を記録用画像より先に行っても良い。評価値用画像は被写体ブレを軽減させるために記録用画像よりも速いシャッター速度で撮影し、この評価値用画像に基づいて振れ検出を行う。検出した振れ情報に基づいて、通常の露出設定で撮像した記録用画像に対してブレ補正を行う。

Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理が行われ、演算結果をシステム制御部５０に送信する。送信された演算結果に基づいてシステム制御部５０が露出制御、測距制御をホワイトバランス制御等行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部２４についての詳細は後述する。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。

表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本発明の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本発明の第１の実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。

モード切替スイッチ６０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器９１とのインターフェースである。図では記録媒体９０と出力機器９１が接続されている状態を示している。記録媒体９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。出力装置９１は撮影された画像を表示するためのモニタ等の出力装置である。

次に、本発明の第１の実施形態のシステム制御部５０の内部構成について説明する。

図２はシステム制御部５０の内部構成と関係部位を示すブロック図である。ここでは記録用画像と評価値用画像の撮像に関する部分以外は省略する。

撮像切替部１００は、記録用画像の他に評価値用画像の撮像処理を行うか否かを決定し、撮像部２２で上記画像取得を行うための制御を行う。現在設定されているフレームレートに基づいて通常は記録用画像を取得するために１回の撮像を行うが、シャッター速度が長い場合には被写体ブレを軽減させた評価値用画像を取得するために２回目の撮像を行う。

シャッター速度制御手段は、評価値用画像の撮像におけるシャッター速度を決定する。以降は評価値用画像の撮像時のシャッター速度を第二のシャッター速度と定義する。第二のシャッター速度は予め定められたシャッター速度に関するパラメータを撮像装置に保持する方法でもよく、または撮像毎に算出する方法でもよい。ただし、第二のシャッター速度は被写体ブレ影響が軽減されるようなシャッター速度であり、その算出方法は焦点距離と撮像素子のサイズ、画素ピッチ情報に基づいて決定される。

ゲイン設定部１０１は、評価値用画像の撮像時のゲインを設定する。前述のとおり、評価値用画像はシャッター速度を速くする撮像をするために光量が不足してしまう。このため、ゲインをあげることで画像が暗くなるのを防ぐ。

ここで、ゲインとはアナログゲイン、デジタルゲインのどちらを変更してもよい。また、ゲイン設定に関しては、例えばシャッター速度が記録用画像の撮像時よりも評価値用画像を撮像したときに１段速くしたならば、ゲインは評価値用画像を撮像するときは記録用画像の撮像時よりも１段大きい値に設定する。さらに、評価値用画像に関しては記録用画像の撮像時に上限として設定した値以上のゲインを設定してもよい。

ゲイン値を処置値以上にすると画像のノイズが大きくなる。これを回避するために記録用画像は撮影者がゲイン上限を設定したり、または撮像装置内にゲインの上限が設定されていたりするが、評価値用画像は評価値取得のために使用する画像であるため、画像の見栄えは特に考慮する必要がない。このため、評価値算出に有利になるように、前記ゲイン上限を超えたゲインを設定できるものとする。

ここで、図６を用いて撮像タイミングに関してさらに説明する。横軸は時間方向を示している。図中の動画像撮影基本周期が通常１枚の画像を撮像する周期を表している。画像Ａ１または画像Ａ２が前述の記録用画像を示しており、画像Ｂ１または画像Ｂ２が評価値用画像を示している。本発明は動画像撮影基本周期の１周期内で記録用画像と評価値用画像との２回の撮影を行うことを特徴としている。

記録用画像を第一にシャッター速度に基づく露光時間だけ露光した後撮像素子読み出しを行う。このとき得られた画像が記録用画像である。また、その後第二のシャッター速度に基づく露光時間だけ露光して撮像素子読み出しを行う。この処理によって得られた画像が評価値用画像である。

ただし、評価値用画像は記録用画像が被写体ブレが小さい場合には不要なため、第一のシャッター速度が所定値より高速な場合には評価値用画像の記録は行わない。また、記録用画像と評価値用画像の２回の撮影が動画像撮影周期に収まらない場合でも、評価値用画像の撮像を行わないようにする。この判定は、後述のＳ３０２で行うものとする。

次に、本発明の第１の実施形態の画像処理部２４の内部構成について説明する。

図３は画像処理部２４の内部構成と関係部位を示すブロック図である。通常、ＷＢの制御やシャープネス制御などもこの部分で行うが、本実施形態の説明には不要のため表記を省略している。なお画像処理部２４内の各ブロックは、システム制御部５０を通じて、絞りや、ＮＤ情報、シャッター速度などの露出パラメータを含めたカメラ内部のあらゆるデータを取得可能である。

図２において、画像選択部２００は、システム制御部５０で決定した撮像画像モード情報を元に、Ａ／Ｄ変換器２３からのデータを記録用画像の処理か、評価値取得用画像の処理かを選択する。記録用画像はガンマ補正部２０１に送られる。ガンマ補正部２０１は、映像の入出力特性いわゆるガンマ特性を変更し、信号変換部２０６で信号変換されたデータに対してガンマ補正を行う。これに対し、評価値取得用画像は画像加工部２０２に送られて、デジタルビデオカメラ１００の振れ検出の処理用に必要な画像加工が行われる。

ここで、画像加工の一例としてエッジ強調や二値化処理、あるいは画像の縮小処理である。ただし、前述の加工処理は必須ではなく、加工しない画像を振れ検出部２０３に入力してもよい。

振れ検出部２０３は、メモリ３２に保持されている前回の評価値取得用画像と、今回の評価値取得用画像とでブロックマッチングを行い、動きベクトルを算出する。ブロックマッチング以外にも、例えば特徴点を抽出してその点の軌跡から振れを検出する方法でもよい。ここで、振れ検出に用いた評価値取得用画像は、次回の振れ検出処理で使用するためメモリ３２に保持される。

ブレ補正量算出部２０４は、検出した振れ量に基づいてブレ補正量を算出する。ブレ補正部２０５は前述の表示用画像に対してブレ補正を行う。ブレ補正処理は具体的には画像内の切り出し位置の変更処理である。

本実施形態における各処理はシステム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

次に、以上の通りに構成された撮像装置における本実施形態に係わる動作について説明する。

まず、本実施形態の信号変換処理の動作について説明する。

本実施形態の処理は、以下の２つの処理に分けて説明する。システム制御部５０における記録用画像と評価値用画像の撮像に関する処理と、画像処理部２４におけるブレ補正処理とである。

以下に、システム制御部５０の処理について説明する。図４に１回の動画単位時間における撮像処理のフローチャートを示す。ここでの動画単位時間とはフレームレートに基づいて決定される周期である。

まず、第一の露光設定を行う（Ｓ３００）。これは記録用画像の撮像に関する露出条件を設定する処理である。例えばここでのシャッター速度やゲインなどのパラメータは、マニュアル撮影時には撮影者によって決められたパラメータを使用し、オート撮影時には撮像装置内で予め決められたパラメータを使用する。このパラメータに基づいて、撮像手段は記録用画像の撮像を行う（Ｓ３０１）。ここまでは通常の撮像処理であり、以降が本実施形ｉの特徴である評価値用画像の取得に関する処理である。

まず、現在のシャッター速度に応じて評価値用画像の撮像を行うか否かを決定する（Ｓ３０２）。予め設定されているシャッター速度閾値を現在のシャッター速度設定値が超えている場合、記録用画像とは別の評価値用画像の撮像を行うことを決定する。また、記録用画像と評価値用画像との２回の露光処理が動画像の撮影周期内に収まらない場合は評価値用画像の撮像を行わないことを決定する。評価値用画像の撮像を行わないと決定した場合は、撮像処理を終了する。

評価値用画像の撮像を行う場合は、第二の露出設定を行う（Ｓ３０３）。第二の露出設定とは、主に前述のとおりシャッター速度とゲインに関する設定である。被写体ブレ影響を軽減させるために予め定められたシャッター速度閾値を第二の露出設定値とし、また、これによって画像の明るさが落ちる分だけ大きくしたゲイン値も第二の露出設定値とする。この第二の露出設定に基づいて、評価値用画像を撮像する（Ｓ３０４）。

次に、ブレ補正処理に関して図５のフローチャートを用いて説明する。システム制御部から現在の撮像が記録用画像か評価値用画像かという情報を取得する。これに基づいて画像選択部２００は、振れ検出処理かブレ補正処理かを選択する（Ｓ４００）。ブレ補正処理であれば処理をＳ４０１に、振れ検出処理であれば処理をＳ４０５に移行する。Ｓ４０１は記録用画像に対する信号処理を行う。これは前述したように通常の画像に対する処理と同じであり、色変換処理、ガンマ補正、デジタルゲインを含むものである。

次に現在のカメラの振れ情報を取得する（Ｓ４０２）。この振れ情報は、後述のＳ４０７で検出した振れ情報である。取得したカメラの振れ情報に基づいて画像のブレ補正を行う（Ｓ４０３）。これは、前記振れ情報に含まれる振れ方向および振れの大きさに基づいて、記録用画像を切り出す位置を変更する。あるいは、振れ情報に含まれる回転情報、装置の傾き情報に基づいて、幾何変系処理によって画像の回転補正、歪曲補正、あおり補正といった処理を行う。ブレ補正を行った画像を画像処理部２４の最終出力として、メモリ制御部などに出力する（Ｓ４０４）。

Ｓ４０５では評価値用画像に対する信号処理を行う。この処理は振れ検出に有利になるような信号処理である。例えば振れ検出処理が前後の画像を比較して行うブロックマッチング処理である場合、画像の輪郭情報が際立っていた方が有利となる。このため、被写体のエッジ強調、低周波成分除去、２値化処理といった処理を行う。あるいは、マッチング処理を階層化する場合、拡大縮小処理もこのＳ４０５の処理に含める。

振れ検出処理は前後の画像間の被写体位置ズレを検出する処理である（Ｓ４０６）。これは具体的には画像内を複数のブロックに分割して各々ブロックの被写体位置を検出するブロックマッチング処理である。ただし、振れ検出の方法はこれに限定するものでなく、例えばブロック単位に分割せず、被写体の特徴点の集まりから被写体位置を特定するような方法でもよく、また、前後の画像比較でなく、一連の撮影シーンにおける複数枚画像で画像間の被写体位置を検出する方法であってもよい。

振れ検出結果は一旦メモリに保持されて、前述のＳ４０２の処理で呼び出されてブレ補正を行うために用いられる（Ｓ４０７）。ここで、本実施形態では振れ検出した画像は画像処理部２４から外部に出力することなく処理を終了する。よって、評価用画像はモニタ表示も行われず、また記録媒体への保存もされない。

このように記録用画像と評価値用画像を別々に撮像し、振れ検出とブレ補正とを各々の画像に対し施すことで、撮影者が取得する画像の露出条件は変更することなく、精度のよい振れ検出を行うことが可能となる。

＜第２の実施形態＞
第１の実施形態で説明した撮像装置は、撮像時に記録用画像と評価値用画像の２つの画像を撮像し、振れ検出を行った後は記録媒体への保存や表示媒体への画像表示は行わない。ただし、撮影時には振れ検出を行わず、記録媒体に保存した画像から、再生時に振れ検出およびブレ補正を行う制御が必要となる場合もある。例えば、撮影時には撮像処理が行われるため、振れ検出や補正処理は再生時に行う場合がある。

本実施形態では、撮影時には記録用画像と評価値用画像を撮像し、それらの画像を記録媒体に保存する。評価用画像から振れ検出を行い、ブレ補正を行う処理は記録した映像の再生時に行う処理について説明する。撮像処理に関しては図２および図４の処理を同じであるため省略する。

図８に、本実施形態のブロック図を示す。ただし、画像処理部２４自体は第一の実施形態と同じため、各ブロックに同じ番号を付与する。

画像処理部２４は、メモリ制御部１５からのデータに対して振れ検出処理およびブレ補正処理を行う。メモリ制御部は記録媒体に記録した画像データを取得して画像処理部２４に送ることで、画像処理部２４は録画した映像に対してブレ補正を行うことができる。また、記録媒体に記録された画像は、記録用画像か評価値用画像かいずれの制御によって撮像した画像かを判定するための画像判別用情報が付与されている。この情報は撮像切替部３００によって決定された撮像情報がシステム制御部５０からメモリ制御部に渡されて、メモリ制御部で撮像した画像に紐づけられて、記録媒体に記録される。

以降の処理の内容は図５に記載のとおりで、第一の実施形態で示した処理では、画像選択部２００の処理（Ｓ４００）では、システム制御部から現在の撮像が記録用画像か評価値用画像かという情報を取得していたが、本実施形態では前述のとおり画像に紐づけられた判定用情報に基づいて選択を行う。

また、第一の実施形態でＡ／Ｄ変換器２３から出力された画像に対して行っていた処理を、図７記載のとおりメモリ制御部から出力される記録媒体に記録されている画像に対して行う。

ここで、本実施形態では再生時の処理として図８に示すように画像処理部２４への入力はメモリ制御部１５の出力を通すように図示しているが、撮影時には第一の実施形態に示すようにＡ／Ｄ変換器２３の出力が入力される。このとき、評価値用画像に対して画像加工部２０２で処理を行った画像を記録媒体に記録してもよい。

すなわち、評価値用画像は表示に使用しないため、評価値演算に特化した形式で記録することが許容される。よって、評価値用画像はシャッター速度を高速にするだけでなく、エッジ強調処理など前述の画像加工部２０２での処理を施した状態で記録媒体に記録することで、再生時の処理を省き、場合によっては通常形式で記録するよりも画像容量の削減も可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ デジタルビデオカメラ、１０１ 絞り、１０２ バリア、
１０３ 撮影レンズ、１０４ ＮＤ、１５ メモリ制御部、２２ 撮像部、
２３ Ａ／Ｄ変換器、２４ 画像処理部、５０ てシステム制御部

Claims (7)

1. 動画像のフレームレートに基づく単位時間中に少なくとも二回の撮像を行う撮像手段と、
   第一の撮像と第二の撮像における露光時間を制御する露光時間制御手段と、
   撮影した画像から撮像装置の振れを検出する振れ検出手段と、
   前記検出した振れに基づいて映像ブレを補正するブレ補正手段と、を備え、
   撮像手段は、第一の撮像における露光時間に基づいて第二の撮像を行うか否かを判定し、
   露光時間制御手段は、第二の撮影時の露光時間は第一の撮影時の露光時間より短い時間で制御し、
   振れ検出手段は、第二の露光時間で撮像された画像から撮像装置の振れを検出し、
   ブレ補正手段は、第一の露光時間で撮像された画像を補正することを特徴とする画像処理装置。
2. 撮像手段は、第一の撮像における露光時間が所定時間よりも長い場合に第二の撮像を行うことを特徴とする請求項１に記載の画像処理装置。
3. ブレ補正出力手段で行う補正は、垂直水平方向の画像の切り出し位置の変更、または、回転方向の画像変形、または拡大縮小処理のいずれかを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像された画像を表示装置に出力する出力手段を備え、
   出力手段は、第一の撮像で得られた画像のみを出力し、第二の撮像で得られた画像は出力しないことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 少なくとも感度、ゲインを含む露出パラメータを決定する露出決定手段を備え、
   第二の撮影時に設定する露出パラメータは、第一の撮影時に設定可能な露出パラメータよりも光量を大きくすることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 撮像された画像に対し、振れ検出用の前処理を行う画像加工手段を備え、
   画像加工手段は、第一の撮像で得られた画像に対しては加工処理を行わず、第二の撮像で得られた画像にのみ加工処理を行うことを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記加工処理は、被写体のエッジ強調、低周波成分除去、２値化処理、拡大縮小処理のいずれかを含むことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。