JP2006148550A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】手ぶれ、被写体ぶれ発生によるずれが撮像画像の一部に発生する場合にも、適切にぶれ補正を行うことである。
【解決手段】連写された複数の画像信号（画像データ）Ｆ１，Ｆ２，Ｆ３の同じ位置の領域の信号値を比較し、その比較結果に基づいて、画像信号Ｆ１，Ｆ２，Ｆ３のうちの所定の画像信号Ｆ１の比較した領域を選択し、又は所定の画像信号Ｆ１を含む少なくとも２つの画像信号の比較した領域の信号値を合成して領域を生成し、当該選択又は生成した領域から構成される画像信号Ｆ４を取得する。
【選択図】図４

Description

本発明は、画像処理装置及び撮像装置に関する。

従来、カメラでの撮影時に手ぶれが発生する場合があった。手ぶれとは、カメラのシャッタを切るときに、カメラ自体が動いたりして写真がぶれてしまうことである。これは、撮影者としての人間が生物学的に避けられない微小なゆれを起こすために、どうしても伴ってしまう現象である。手ぶれは、露光時間中のカメラの揺れであるため、屋外の天気がいい日の撮影等のシャッタスピードが高速であるシーンでは問題にならない。

しかしながら、夕暮れ時や室内等のシャッタスピードが低下する場合の撮影や、揺れが画像に大きく影響する望遠等の撮影の場合、手ぶれの影響が画像に現れてしまう。三脚を使う等して、カメラをきちんと固定して、カメラを揺らさずにシャッタを切ることにより回避できるが、携帯電話機等の携帯機器のカメラの場合、液晶画面越しに撮影することから、カメラが固定されず、手ぶれが多く発生する。また、携帯機器のカメラは、Ｆ値が低く、感度が低く、ストロボがない等のため、フィルムカメラより手ぶれが発生しやすくなっている。

上記のような撮影者の手の揺れが原因で発生する「光軸のずれ」を補正するのが、手ぶれ補正である。手ぶれ補正機能は、フィルムカメラでは、高級一眼レフカメラを中心に採用されていたが、近年、デジタルスチルカメラ、デジタルビデオカメラでも、手ぶれ補正機能を搭載した製品が増えている。手ぶれ補正としては、大きく分けて、シャッタスピードやＩＳＯ（International Organization for Standardization）感度を調整するだけの露光時間制御方法と、レンズや撮像素子をスライドさせることで光軸のずれを補正する光学的補正方法と、撮像画像を画像処理により補正する電子的補正方法と、がある。

露光時間制御方法は、シャッタスピードを制限し、高速シャッタ寄りの設定のみを用いることで手ぶれの影響を抑える方法である。露光時間制御方法では、低輝度シーンでは暗くなってしまうため、一般的に、ＩＳＯ感度を上げて対応する。

光学的補正方法は、角速度センサなどによって手ぶれの大きさを検出し、その大きさに合わせてレンズやＣＣＤを物理的に動かして光軸のずれを補正する（例えば、特許文献１参照）。光学的補正方法は、感度アップが不要であるため、それに伴うノイズの増加を防ぐことができるとともに、電子的補正方法と異なり、光軸上のぶれをキャンセルするため、画質劣化することがない。

電子的補正方法は、例えば、角速度センサ等によって手ぶれの大きさを検出し、センサからの読み出し又はメモリ読み出し位置を変えることにより手ぶれ補正する構成である（例えば、特許文献２参照）。また、動きベクトルを検出し、手ぶれの発生の有無を判定し、手ぶれ発生があった場合に手ぶれ補正処理を行う構成が考えられている（例えば、特許文献３参照）。また、動きベクトルを検出し、その検出結果に基づいて予測画像を生成して手ぶれ補正をする構成も考えられている（例えば、特許文献４参照）。

また、手ぶれ量のデータから、画素データの読み出し位置を決定し、読み出されるべき位置の画素が２つの画素にまたがるような位置に位置する画素である場合に、複数の画素データからその読み出すべき位置に位置する画素の画素データを生成（補間）する構成が考えられている（例えば、特許文献５参照）。
特開平６−３０３２６号公報 特開平５−１１０９３１号公報 特開２００３−１３４３８５号公報 特開２００４−４８３９０号公報 特開２００４−２６６３２２号公報

しかし、上記露光時間制御方法では、感度アップするため、それに伴うノイズが発生してしまう。また、特許文献１に記載のように、光学的補正方法では、角速度センサ等の手ぶれ検知センサや、レンズ、撮像素子を物理的に動かす部材が必要であるため、装置構成が複雑となり、装置のコンパクト化が困難であった。

また、特許文献２〜５に記載のように、従来の電子的補正方法では、手ぶれ検知センサを用いることなく、画像から手ぶれ方向及び手ぶれ量を検出できるが、手ぶれや被写体ぶれにより発生したずれが撮像画像の一部に発生しているとそのずれを検出及び補正できないおそれがあった。

本発明の課題は、手ぶれ、被写体ぶれ発生によるずれが撮像画像の一部に発生する場合にも、適切にぶれ補正を行うことである。

上記課題を解決するために、請求項１に記載の発明は、
連写された複数の画像信号の同じ位置の領域の信号値を比較し、その比較結果に基づいて、前記複数の画像信号のうちの所定の画像信号の比較した領域を選択し、又は前記所定の画像信号を含む少なくとも２つの画像信号の比較した領域の信号値を合成して領域を生成し、当該選択又は生成した領域から構成される画像信号を取得する画像処理部を備えることを特徴とする画像処理装置である。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記画像処理部は、前記所定の画像信号の比較した領域の選択時に、その領域の信号値に連写数をかけて増幅し、前記少なくとも２つの画像信号の比較した領域の合成時に、当該比較した領域の信号値を加算し、その領域の信号値に、連写数／合成した画像信号数をかけて増幅し、前記取得した画像信号の信号値を適切な範囲に補正することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記画像処理部は、前記所定の画像信号と他の画像信号との同じ位置の領域の信号値の類似度が所定閾値以上か否かを判別して比較し、前記類似度が所定閾値以上の画像信号がない場合に、前記所定の画像信号の比較した領域を選択し、前記類似度が所定閾値以上の画像信号がある場合に、前記所定の画像信号と前記類似度が所定閾値以上の画像信号との比較した領域の信号値を合成して領域を生成することを特徴とする。

請求項４に記載の発明は、
請求項１から３のいずれか一項に記載の画像処理装置と、
被写体の光を結像する光学系と、
連写により前記結像された光を変換して複数の画像信号を出力する撮像部と、を備え、
前記画像処理部は、前記撮像部により連写された複数の画像信号の同じ位置の領域の信号値を比較し、その比較結果に基づいて、前記複数の画像信号のうちの所定の画像信号の比較した領域を選択し、又は前記所定の画像信号を含む少なくとも２つの画像信号の比較した領域の信号値を合成して領域を生成し、当該選択又は生成した領域から構成される画像信号を取得することを特徴とする撮像装置である。

請求項１に記載の発明によれば、連写された複数の画像信号の同じ位置の領域の信号値の比較結果に基づいて、所定の画像信号の領域を選択し、又は所定の画像信号を含む少なくとも２つの画像信号の比較領域の信号値を合成して領域を生成し、その選択又は生成した領域から構成される画像信号を取得するので、手ぶれや被写体ぶれが発生し、画像信号の少なくとも一部にずれが発生する場合でも、所定の画像信号を基準として、画像信号内のずれを適切に補正できるとともに、画像信号のノイズを低減できる。

請求項２に記載の発明によれば、所定の画像信号の比較した領域の選択時に、その領域の信号値に連写数をかけて増幅し、少なくとも２つの画像信号の比較した領域の合成時に、比較した領域の信号値を加算し、その領域の信号値に（連写数／合成した画像信号数）をかけて増幅し、また、取得した画像信号の信号値を適切な範囲に補正するので、適切な範囲の信号値の画像信号を取得できるとともに、画像信号のノイズをより低減できる。

請求項３に記載の発明によれば、類似度が所定閾値以上の画像信号がない場合に、所定の画像信号の比較した領域を選択し、類似度が所定閾値以上の画像信号がある場合に、類似度が所定閾値以上の画像信号の比較した領域の信号値を合成して領域を生成するので、所定の画像信号を基準として、画像信号内のずれをより適切にぶれ補正できるとともに、画像信号のノイズをより適切に低減できる。

請求項４に記載の発明によれば、手ぶれ及び被写体ぶれが発生し、画像信号の少なくとも一部にずれが発生する場合でも、被写体を連写撮像し、連写撮像した画像信号を用いて、所定の画像信号を基準として、画像信号内のずれを適切に補正できるとともに、画像信号のノイズを低減できる。

以下、添付図を参照して本発明に係る第１及び第２の実施の形態を順に詳細に説明する。ただし、発明の範囲は、説明する例に限定されるものではない。

（第１の実施の形態）
図１〜図５を参照して、本発明に係る第１の実施の形態の装置構成を説明する。図１に、本実施の形態のデジタルスチルカメラ１の内部構成を示す。

図１に示すように、撮像装置としてのデジタルスチルカメラ１は、光学系１０と、撮像素子２０と、制御部５０と、光学系駆動部６０と、画像処理部７０と、画像メモリ８０と、画像圧縮部９０と、画像記録部１００と、表示部１１０と、操作部１２０と、を備えて構成される。

光学系１０は、ズームレンズ等のレンズや絞り等を含む光学系であり、被写体からの光が入射され、撮像素子２０の撮像部２１に結像する。撮像素子２０は、撮像部２１と、ＡＦＥ（Analog Front End）３０と、タイミング発生部４０と、を備えて構成される。撮像部２１は、２次元マトリクス状（Ｘ−Ｙ）アドレス読み出し式撮像素子としてのライン露光型（ローリング・シャッタ）のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子であるものとする。しかし、これに限定されるものではなく、ＣＣＤ（Charge-Coupled Devices）イメージセンサ等の撮像素子であるものとしてもよい。この場合、撮像部２１が撮像素子としてのＣＣＤイメージセンサ等に代わり、ＡＦＥ３０、タイミング発生部４０とは、別の部材としての構成となる。

ＡＦＥ３０は、センサ駆動回路、センサ出力のノイズを軽減させるＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路、信号の増幅を行うＡＧＣ（Automatic Gain Control：自動利得制御）回路、Ａ／Ｄ変換回路等から構成され、撮像部２１から出力されたアナログの画像信号に各処理を施してデジタル画像データを出力する。タイミング発生部４０は、制御部５０の制御により、撮像部２１及びＡＦＥ３０における画像信号出力用の各種タイミングをとるためのタイミング信号を出力する。

制御部５０は、デジタルスチルカメラ１の各部を制御する。制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を含み、ＲＯＭから読み出されてＲＡＭに展開された各種プログラムと、ＣＰＵとの協働で各種処理を実行する。

光学系駆動部６０は、制御部５０の制御により、変倍、フォーカス、絞り等において、光学系１０を駆動制御する。

画像処理部７０は、画像データに各種画像処理を施し、例えば、ＡＦＥ３０から出力されたデジタルの画像データを輝度信号及び色差信号に変換する。

画像メモリ８０は、画像データを読み出し及び書き込み可能に記憶する。画像圧縮部９０は、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式により、輝度信号及び色差信号で表現される画像データを圧縮する。画像記録部１００は、図示しないスロットにセットされた、ＳＤ（Secure Digital）メモリカード、メモリスティック、ｘＤピクチャカード等の記録メディアに画像データを記録する。

表示部１１０は、カラー液晶パネル、ＥＬ（ElectroLuminescent）ディスプレイ等であり、撮影後の画像データ、撮影前のスルー画像、各種操作画面等を表示する。操作部１２０は、レリーズボタン、各種モード、値を設定するための各種操作キーを含み、ユーザにより操作入力された情報を制御部５０に出力する。

次いで、図２、図３を参照して、撮像素子２０の構成を詳細に説明する。図２に、撮像部２１の構成を示す。図３に、光電変換部２１１の構成を示す。

図２に示すように、撮像部２１は、光電変換部２１１と、読み出し用垂直シフトレジスタ２１２と、リセット用垂直シフトレジスタ２１３と、水平シフトレジスタ２１４と、出力アンプ２１５と、を備える。

読み出し用垂直シフトレジスタ２１２は、光電変換部２１１で光電変換された信号電荷を水平画素列（走査線）毎に読み出すアドレス指定を行う。リセット用垂直シフトレジスタ２１３は、水平画素列（走査線）毎に各画素に蓄積された信号電荷をリセットするためのアドレス指定を行う。水平シフトレジスタ２１４は、光電変換部２１１で光電変換された信号電荷を水平画素列毎に水平転送する。

図３に示すように、光電変換部２１１は、二次元マトリクス状に配列されている複数の単位画素回路としての単位光電変換部２１１１と、読み出し用垂直シフトレジスタ２１２に接続されている複数の垂直走査線２１１２と、リセット用垂直シフトレジスタ２１３に接続されている複数のリセット走査線２１１３と、水平スイッチトランジスタ２１６を介して水平シフトレジスタ２１４及び出力信号線２１７に接続されている垂直信号線２１１４と、を有している。

各単位光電変換部２１１１は、フォトダイオード２１１５と、アンプ２１１６と、垂直走査線２１１２及び垂直信号線２１１４に接続されている選択トランジスタ２１１７と、リセット走査線２１１３に接続されているリセットトランジスタ２１１８等とを備える。

フォトダイオード２１１５で光電変換された信号電荷は、フォトダイオード２１１５の電圧変化に置き換えられ、アンプ２１１６で増幅される。そして、読み出し用垂直シフトレジスタ２１２から垂直走査線２１１２に順次選択パルスが印加されると、選択パルスの印加された垂直走査線２１１２に接続された選択トランジスタ２１１７がＯＮになり、アンプ２１１６で増幅された信号電荷が選択トランジスタ２１１７を介して垂直信号線２１１４に読み出される。そして、水平シフトレジスタ２１４から水平スイッチトランジスタ２１６に順次選択パルスが印加されると、垂直信号線２１１４上の信号電荷が、順次出力信号線２１７に読み出されて出力アンプ２１５で増幅され、その電圧信号が画素信号として出力される。

また、リセット用垂直シフトレジスタ２１３からリセットパルスが各リセット走査線２１１３に印加されると、リセットトランジスタ２１１８がＯＮになり、フォトダイオード２１１５の信号電荷がリセットされる。

タイミング発生部４０は、制御部５０から入力される露光時間指示信号に基づいて、撮像部２１の読み出し用垂直シフトレジスタ２１２、リセット用垂直シフトレジスタ２１３、水平シフトレジスタ２１４を駆動する各種タイミング信号を発生し、撮像部２１に出力する。また、各フレームの画像信号を区別するために用いられる読み出しタイミング信号を制御部５０に出力する。

ここで、デジタルスチルカメラ１における全体的な動作を説明する。被写体撮影では、被写体のモニタリング（スルー画像表示）と、画像撮影実行とが行われる。また、デジタルスチルカメラ１の撮影には、通常撮像を行う通常撮像モードと、ぶれ補正して画像を撮像するぶれ補正撮像モードと、を有するものとする。

先ず、通常撮像モード時の撮像動作を説明する。モニタリングにおいては、光学系１０を介して得られた被写体の光が、撮像素子２０の撮像部２１に結像される。光学系１０の撮影光軸後方に配置された撮像部２１が、タイミング発生部４０のタイミング信号によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力としてのアナログの画素信号が１画面分出力される。

このアナログの画像信号は、ＡＦＥ３０によりＲＧＢの各原色成分毎に各処理が行われた後にデジタルの画像データに変換される。撮像素子２０から出力されたデジタルの画像データは、画像処理部７０により、画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成されて画像メモリ８０に格納され、定期的にその輝度信号及び色差信号が読み出されて、画像処理部７０によりそのビデオ信号に変換されて、表示部１１０に出力される。

この表示部１１０は、入力されるビデオ信号に基づいて画像表示し、モニタリングにおいては電子ファインダとして機能し、撮像画像をリアルタイムに表示することとなる。この状態で、随時、ユーザの操作部１２０を介する操作入力に基づいて、光学系駆動部６０の駆動により光学系１０の変倍、フォーカス、絞り等が設定される。

このようなモニタリング状態において、静止画撮影を行ないたいタイミングで、ユーザが操作部１２０のレリーズボタンを押下することにより、静止画像データが撮影される。レリーズボタンの押下のタイミングで、画像メモリ８０に格納された１コマの画像データが読み出される。そして、その画像データが画像圧縮部９０により圧縮され、その圧縮された画像データが、画像記録部１００により記録メディアに記録される。

次いで、図４及び図５を参照して、本実施の形態におけるぶれ補正撮像モードでのぶれ補正撮像処理を説明する。図４（ａ）に、通常画像データＦ０を示す。図４（ｂ），（ｃ），（ｄ）に、高速連写撮像された画像データＦ１，Ｆ２，Ｆ３を示す。図４（ｅ）に、合成画像データＦ４を示す。図５に、ぶれ補正撮像処理の流れを示す。

図４（ａ）は、通常のシャッタ速度で撮影された被写体の通常画像データＦ０である。通常画像データＦ０は、例えば露光時間を300［ms］とした場合の画像データである。通常画像データＦ０において、被写体の右手がある程度以上の速度で動いているために、手ぶれが起こっている。このような場合に、図５に示すように、撮像画像データの手ぶれ部分を補正するぶれ補正撮像処理を説明する。

例えば、ユーザにより操作部１２０を介して手ぶれ補正撮影モードの入力が行われたことをトリガとして、画像処理部、画像処理装置としての制御部５０におけるぶれ補正撮像プログラムの実行によりぶれ補正撮像処理が行われる。

先ず、光学系１０及び撮像素子２０において、高速なシャッタ速度で被写体が連写撮像され、３枚の画像データＦ１，Ｆ２，Ｆ３が取得される（ステップＳ１１）。撮像の過程は、通常撮影モードでの撮像と同様に、高速シャッタ速度で連写撮像される。また、例えば、露光時間を100［ms］とする。また、画像データＦ１，Ｆ２，Ｆ３は、画像処理部７０により、輝度信号及び色差信号に変換されたデジタルの画像データとする。

そして、ユーザによる操作部１２０を介した操作入力等により、画像データＦ１，Ｆ２，Ｆ３の画像サイズが設定（サイズ変換）され、画像メモリ８０内の使用領域が設定される（ステップＳ１２）。そして、画像データＦ１，Ｆ２，Ｆ３の同じ位置にある最初の画素が選択される（ステップＳ１３）。以下、選択中の画素を選択画素とする。

そして、画像データＦ１，Ｆ２での選択画素の画素値が比較され、同一であるか否かが判別される（ステップＳ１４）。画像データＦ１，Ｆ２での選択画素値が同一である場合（ステップＳ１４；ＹＥＳ）、画像データＦ１，Ｆ３での選択画素の画素値が比較され、同一であるか否かが判別される（ステップＳ１５）。ステップＳ１５，Ｓ１６においては、例えば、選択画素値の類似度が、所定の閾値以上であるか否かにより判別され、ノイズ程度の差である場合には、画素値が同一であるとすることが好ましい。

画像データＦ１，Ｆ３での選択画素値が同一である場合（ステップＳ１５；ＹＥＳ）、画像データＦ１，Ｆ２，Ｆ３の選択画素の画素値が単純に加算され、（１（＝連写数／合成した画像データ数）倍され）、その加算された画素値の画素が合成画像データの同位置の画素に設定される（ステップＳ１６）。そして、ステップＳ１３、Ｓ１８により、全画素の選択が終了したか否かが判別される（ステップＳ１７）。全画素の選択が終了していない場合（ステップＳ１７；ＮＯ）、画像データＦ１，Ｆ２，Ｆ３の同じ位置の未選択の次の画素が選択され（ステップＳ１８）、ステップＳ１４に移行される。

画像データＦ１，Ｆ２での選択画素値が同一でない場合（ステップＳ１４；ＮＯ）、画像データＦ１の選択画素の画素値が３（＝連写数）倍され、その画素値の画素が合成画像データの同位置の画素に設定され（ステップＳ１９）、ステップＳ１７に移行される。画像データＦ１，Ｆ３での選択画素値が同一でない場合（ステップＳ１５；ＮＯ）、画像データＦ１，Ｆ２の選択画素の画素値が加算される（ステップＳ２０）。そして、ステップＳ２０で加算された画素値が１．５（＝連写数／合成した画像データ数）倍され、その画素値の画素が合成画像データの同位置の画素に設定され（ステップＳ２１）、ステップＳ１７に移行される。

全画素の選択が終了した場合（ステップＳ１７；ＹＥＳ）、合成画像データに適宜ダイナミックレンジ処理が施される（ステップＳ２２）。合成画像データの各画素は、通常の約３倍の画素値を有するからである。そして、ダイナミックレンジ処理された合成画像データが画像メモリ８０に記憶され（ステップＳ２３）、ぶれ補正撮像処理が終了する。その後、合成画像データは、適宜、画像圧縮部９０により圧縮され、画像記録部１００により記録メディアに記録される。

例えば、ステップＳ１において、図４（ｂ），（ｃ），（ｄ）に示すような画像データＦ１，Ｆ２，Ｆ３が取得された場合、図４（ｅ）に示すような合成画像データＦ４に合成される。合成画像データＦ４では、被写体の手ぶれ部分に、主として画像データＦ１の手の部分が用いられる。

以上、本実施の形態によれば、デジタルスチルカメラ１において、被写体を連写撮像し、連写された複数の画像データの同じ位置の画素を選択及び比較していき、画像データＦ１と他の画像データの画素値が同一でない場合に、選択画素の画素値を画像データＦ１の画素値とし、画像データＦ１と画素値が同一の他の画像データがある場合に、選択画素の画素値をその画素値が同一の画像データと画像データＦ１との合成値として、画像データを生成するので、手ぶれや被写体ぶれが発生し、画像データの少なくとも一部にずれが発生する場合でも、最初のコマの画像データＦ１を基準として、画像データ内のずれを適切に補正できるとともに、画像データのノイズを低減できる。

また、画像データＦ１の比較した領域の選択時に、その領域の信号値に連写数をかけて増幅し、画像データＦ１，Ｆ２，Ｆ３の少なくとも２つの画像信号の比較した領域の合成時に、比較した領域の信号値を加算し、その領域の信号値に（連写数／合成した画像信号数）をかけて増幅し、得られた画像データにダイナミックレンジ処理を施すので、適切な範囲の画素値の画像データを取得できるとともに、画像データのノイズをより低減できる。

なお、本実施の形態では、高速で連写撮像する画像データを３枚としたが、これに限定されるものではなく、２枚又は４枚以上の任意の複数としてもよい。また、ぶれ補正撮像処理において、高速撮像された画像データの各画素を選択及び比較していく構成としたが、これに限定されるものではなく、画像データを少なくとも１つの画素からなる領域に分割し、その各領域を選択及び比較していく構成としてもよい。１枚の画像データ上の各領域の大きさ、形状は、同一としてもよく、異なるものとしてもよい。また、この構成での領域の信号値の比較においても、所定の閾値を用いて比較を行い、ノイズ程度の差があっても同一の信号値の領域とすることが好ましい。

また、比較の基準としての画像データを最初のコマの画像データＦ１としたが、この構成に限定されるものではなく、他のコマの画像データとしてもよい。

また、ぶれ補正撮像処理において、各画素又は各領域を、選択、比較及びぶれ補正する対象は、（高速撮像された）輝度信号及び色差信号に変換された画像データ（画像信号）としたが、これに限定されるものでなく、輝度信号及び色差信号に変換前の画像データや、圧縮後の画像信号等としてもよい。また、撮像素子をＣＣＤイメージセンサ等とする場合等に、選択、比較及びぶれ補正する対象は、アナログの画像信号としてもよい。

（第２の実施の形態）
図６を参照して、本発明に係る第２の実施の形態を説明する。図６（ａ）に、被写体Ｃを撮像した画像データＢ０の構成を示す。図６（ｂ）に、被写体Ｃに対する手ぶれ方向及び手ぶれ量を示す。

本実施の形態の装置構成は、第１の実施の形態のデジタルスチルカメラ１の装置構成と同様であるが、撮像素子としては、ＣＭＯＳセンサ等の２次元マトリクス状アドレス読み出し式のライン露光型の撮像素子２０とする。

本実施の形態では、撮像素子２０において、通常撮像される１枚の画像データに加えてさらに次コマにあたる３ラインを余分に撮像するものである。例えば、図６（ａ）に示すように、被写体Ｃを撮影する場合に、１枚の画像データの通常のライン数がラインＬ０〜Ｌ９である場合に、その１０本のラインに加えて、さらに３本のラインが撮像され、合計１２本のラインを有する画像データＢ０が出力される。画像データＢ０において、領域Ｂ１と、追加撮像された追加領域Ｂ２との水平位置は、ともにラインＬ０〜Ｌ２で同じである。第２の実施の形態において説明したように、２次元マトリクス状アドレス読み出し方式のライン露光型の撮像素子２０において、領域Ｂ１と、追加領域Ｂ２との露光開始タイミングには、所定量のずれが生じている。

撮像素子２０から出力された画像データＢ０は、画像処理部７０により輝度信号及び色差信号に変換される。そして、制御部５０により、輝度信号及び色差信号に変換された画像データＢ０の領域Ｂ１と追加領域Ｂ２とが比較され、そのずれの量に基づいて、手ぶれ、被写体ぶれ発生によるぶれ方向及びぶれ量が算出される。例えば、図６（ａ）の例の場合、図６（ｂ）に示すように、被写体Ｃに対する手ぶれ方向及び手ぶれ量が算出される。

そして、制御部５０により、画像データＢ０から追加領域Ｂ２が削除され、輝度信号及び色差信号で表した画像データＢ３が生成され、前記算出された手ぶれ方向及び手ぶれ量に基づいて、画像データＢ３にぶれ補正処理が施される。このぶれ補正処理は、ぶれ方向及びぶれ量に基づく公知のぶれ補正処理とする。そして、ぶれ補正された画像データＢ３が画像メモリ８０に記憶される。

以上、本実施の形態によれば、ライン露光式の光電変換部２１１から読み出した画像信号のうち、追加領域Ｂ２の画素値と、一画面のライン内のうちの追加ラインに対応する位置のラインの領域のＢ１画素値と、に基づいてぶれ方向及びぶれ量を算出して補正するので、手ぶれや被写体ぶれが発生しても、複数コマの画像信号を用いることなく、画像信号内のぶれ方向及びぶれ量を容易に検出でき、そのぶれによる画像信号内のずれを適切に補正できる。

なお、本実施の形態では、追加撮像するライン数を３本にしたが、これに限定されるものではなく、他の本数としてもよい。また、撮像素子をライン露光型でないものとすれば、追加する部分をラインの組合せとするだけでなく、他の形状、大きさ（画素量）の追加領域としてもよい。また、画像データの最上部を追加領域としない構成としてもよい。

また、本実施の形態でのぶれ方向及びぶれ量の検出において、検出する対象は、輝度信号及び色差信号に変換された画像データ（画像信号）としたが、これに限定されるものでなく、輝度信号及び色差信号に変換前の画像信号や、圧縮後の画像信号等としてもよい。

なお、上記各実施の形態における記述は、本発明に係る好適な画像処理装置及び撮像装置の一例であり、これに限定されるものではない。

例えば、上記各実施の形態において、撮像装置として、デジタルスチルカメラの例を説明したがこれに限定されるものではなく、ビデオカメラや、撮像機能付の携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等の少なくとも撮像機能を有する携帯端末等の機器としてもよい。

また、撮像装置を、上記機器に搭載される撮像ユニットとしてもよい。ここで、図７を参照して、撮像装置としての撮像ユニット３５０を搭載した携帯電話機３００の例を説明する。図７に、携帯電話機３００の内部構成を示す。

図７に示すように、携帯電話機３００は、各部を統括的に制御すると共に各処理に応じたプログラムを実行する制御部（ＣＰＵ）３１０と、番号等をキーにより操作入力するための操作部３２０と、所定のデータの他に撮像した映像等を表示する表示部３３０と、アンテナ３４１を介して外部サーバ等との間の各種情報通信を実現するための無線通信部３４０と、撮像装置としての撮像ユニット３５０と、携帯電話機３００のシステムプログラムや各種処理プログラム等の必要な諸データを記憶している記憶部（ＲＯＭ）３６０と、制御部３１０によって実行される各種処理プログラムやデータ、若しくは処理データ、或いは撮像ユニット３５０により撮像データ等を一時的に格納する作業領域として用いられる一時記憶部（ＲＡＭ）３７０とを備えている。

撮像ユニット３５０は、光学系１０と、撮像素子２０と、鏡筒と、光学系１０及び撮像素子２０の駆動機構等と、を備えて構成され、撮像ユニット３５０自体は、制御部や画像処理部を有せず、コネクタ等により制御部、操作部、表示部等に結合されることを前提としたレンズユニットとする。具体的には、撮像ユニット３５０は、例えば、光学系における筐体の物体側端面が携帯電話機３００の背面（表示部３３０のメイン表示部を正面とする）に設けられ、メイン表示部の下方に相当する位置に配設される。また、撮像ユニット３５０の外部接続端子は、携帯電話機３００の制御部３１０と接続され、撮像ユニット３５０により撮像された輝度信号や色差信号等の画像信号が外部接続端子を介して制御部３１０側に出力される。また、撮像ユニット３５０から入力された画像信号は、携帯電話機３００の制御系により、記憶部３６０に記憶されたり、或いは表示部３３０で表示され、さらには、無線通信部３４０を介して映像情報として外部に送信される。

また、撮像装置としての撮像ユニットは、光学系１０と、撮像素子２０と、鏡筒と、光学系１０及び撮像素子２０の駆動機構等と、基板上に配置された制御部及び画像処理部等と、を有し、コネクタ等により表示部及び操作部等を有する別体に結合され用いられることを前提とするカメラモジュールとして構成してもよい。

本発明に係る第１の実施の形態のデジタルスチルカメラ１の内部構成を示す図である。 撮像部２１の内部構成を示すブロック図である。 光電変換部２１１の構成を示す図である。 （ａ）は、通常画像データＦ０を示す図である。（ｂ），（ｃ），（ｄ）は、高速連写撮像された画像データＦ１，Ｆ２，Ｆ３を示す図である。（ｅ）は、合成画像データＦ４を示す図である。 ぶれ補正撮像処理を示すフローチャートである。 （ａ）は、被写体Ｃを撮像した画像データＢ０の構成を示す図である。（ｂ）は、被写体Ｃに対する手ぶれ方向及び手ぶれ量を示す図である。 携帯電話機３００の内部構成を示すブロック図である。

符号の説明

１ デジタルスチルカメラ
２０ 撮像素子
２１ 撮像部
３０ ＡＦＥ
４０ タイミング発生部
２１１ 光電変換部
２１１１ 単位光電変換部
２１１２ 垂直走査線
２１１３ リセット走査線
２１１４ 垂直信号線
２１１５ フォトダイオード
２１１６ アンプ
２１１７ 選択トランジスタ
２１１８ リセットトランジスタ
２１２ 読み出し用垂直シフトレジスタ
２１３ リセット用垂直シフトレジスタ
２１４ 水平シフトレジスタ
２１５ 出力アンプ
２１６ 水平スイッチトランジスタ
２１７ 出力信号線
５０ 制御部
６０ 光学系駆動部
７０ 画像処理部
８０ 画像メモリ
９０ 画像圧縮部
１００ 画像記録部
１１０ 表示部
１２０ 操作部
３００ 携帯電話機
３１０ 制御部
３２０ 操作部
３３０ 表示部
３４０ 無線通信部
３４１ アンテナ
３５０ 撮像ユニット
３６０ 記憶部
３７０ 一時記憶部

Claims (4)

1. 連写された複数の画像信号の同じ位置の領域の信号値を比較し、その比較結果に基づいて、前記複数の画像信号のうちの所定の画像信号の比較した領域を選択し、又は前記所定の画像信号を含む少なくとも２つの画像信号の比較した領域の信号値を合成して領域を生成し、当該選択又は生成した領域から構成される画像信号を取得する画像処理部を備えることを特徴とする画像処理装置。
2. 前記画像処理部は、前記所定の画像信号の比較した領域の選択時に、その領域の信号値に連写数をかけて増幅し、前記少なくとも２つの画像信号の比較した領域の合成時に、当該比較した領域の信号値を加算し、その領域の信号値に、前記連写数／合成した画像信号数をかけて増幅し、前記取得した画像信号の信号値を適切な範囲に補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記所定の画像信号と他の画像信号との同じ位置の領域の信号値の類似度が所定閾値以上か否かを判別して比較し、前記類似度が所定閾値以上の画像信号がない場合に、前記所定の画像信号の比較した領域を選択し、前記類似度が所定閾値以上の画像信号がある場合に、前記所定の画像信号と前記類似度が所定閾値以上の画像信号との比較した領域の信号値を合成して領域を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置と、
   被写体の光を結像する光学系と、
   連写により前記結像された光を変換して複数の画像信号を出力する撮像部と、を備え、
   前記画像処理部は、前記撮像部により連写された複数の画像信号の同じ位置の領域の信号値を比較し、その比較結果に基づいて、前記複数の画像信号のうちの所定の画像信号の比較した領域を選択し、又は前記所定の画像信号を含む少なくとも２つの画像信号の比較した領域の信号値を合成して領域を生成し、当該選択又は生成した領域から構成される画像信号を取得することを特徴とする撮像装置。

Images