JP2004248021A - 撮像装置並びに画像処理装置及び方法 - Google Patents
撮像装置並びに画像処理装置及び方法 Download PDFInfo
- Publication number
- JP2004248021A JP2004248021A JP2003036548A JP2003036548A JP2004248021A JP 2004248021 A JP2004248021 A JP 2004248021A JP 2003036548 A JP2003036548 A JP 2003036548A JP 2003036548 A JP2003036548 A JP 2003036548A JP 2004248021 A JP2004248021 A JP 2004248021A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color information
- exposure
- live view
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】ノイズ成分の増加を抑制しつつ、ぶれの影響を解消した画像を生成すること。
【解決手段】撮像装置１は、撮像素子１０の露光中にぶれが検知された場合、撮像素子１０の露光停止し、当該露光で得られる画像信号の増幅を行うことで露光不足を補うように構成される。そして撮影画像から輝度情報を抽出するとともに、撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出する。撮影画像の輝度情報とライブビュー画像の色情報とを合成することによって、色情報に含まれるノイズ成分を低減させる。
【選択図】 図４
【解決手段】撮像装置１は、撮像素子１０の露光中にぶれが検知された場合、撮像素子１０の露光停止し、当該露光で得られる画像信号の増幅を行うことで露光不足を補うように構成される。そして撮影画像から輝度情報を抽出するとともに、撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出する。撮影画像の輝度情報とライブビュー画像の色情報とを合成することによって、色情報に含まれるノイズ成分を低減させる。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
この発明は、デジタルカメラ等の撮像装置並びに画像処理装置及びその方法に関し、特に、撮影時にぶれが生じた場合に、撮影によって得られる画像に対する画像処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等の撮像装置において、撮影時に手ぶれが発生した場合、撮像装置と被写体との相対的なぶれを機械的に補正する手ぶれ補正機構を備えたものが知られている。この種の手ぶれ補正は、加速度センサ等を利用してぶれ量を検出し、そのぶれ量に応じて撮像装置と被写体との相対的な変位を解消させるべく、例えば光学系を変位させたり、或いは、ＣＣＤイメージセンサ等の撮像素子を変位させることによって実現される。
【０００３】
しかし、このような機械的な手ぶれ補正機構は構成及び制御が複雑となる。また、手ぶれに対する応答速度に限界があり、手ぶれによる撮像素子と被写体との相対的な変位が応答速度よりも速い速度で生じた場合には、機械的な手ぶれ補正機構によってぶれを解消することができない事態が生じうる。そのため、上記のような機械的な手ぶれ補正機構を設けることなく、手ぶれ補正を行う試みがなされている。
【０００４】
手ぶれ補正機構を設けることなく、手ぶれを補正する技術として、例えば、撮像素子の露光中にぶれ量を検出し、露光中にぶれ量が所定値を越えた場合に露光を中断し、露光不足による画質の低下を撮像素子の後段に設けられたアンプのゲインアップによって補うようにした撮像装置が知られている（例えば、特許文献１）。
【０００５】
【特許文献１】
特開平２００１−４５３６１号公報
【特許文献２】
特開平２００１−１７７７６０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術では、露光量が不足する場合、画像全体に対して一律にゲインアップが行われるため、ノイズ成分までもが増幅されてしまい、ノイズが目立った低画質の画像しか得られないという問題がある。
【０００７】
そこで、この発明は、上記課題に鑑みてなされたものであって、ノイズ成分の増加を抑制しつつ、ぶれの影響を解消した画像を生成することのできる画像処理技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、当該露光によって得られる画像信号を増幅することによって撮影画像を生成する撮影画像生成手段と、前記撮影画像から輝度情報を抽出するとともに、前記撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出し、前記輝度情報と前記色情報とを合成することによって合成画像を生成する合成手段と、を備えて構成される。
【０００９】
請求項２に記載の発明は、画像処理装置であって、適正値よりも短時間の露光によって得られる第１の画像と、前記第１の画像とは異なるタイミングで得られる第２の画像とを入力する入力手段と、前記第１の画像から輝度情報及び色情報を抽出するとともに、前記第２の画像から色情報を抽出する画像成分抽出手段と、前記第１の画像から得られる色情報、及び、前記第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、前記合成画像の輝度成分を前記輝度情報によって規定する合成手段と、を備えて構成される。
【００１０】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記合成手段が、前記第１の画像から得られる色情報と、前記第２の画像から得られる色情報とを合成する際、前記第１及び第２の画像のそれぞれを複数の領域に分割し、分割された領域毎に合成処理を行うことを特徴としている。
【００１１】
請求項４に記載の発明は、請求項２又は３に記載の画像処理装置において、前記合成手段が、前記第１及び第２の画像の相関値を求め、前記相関値が所定値よりも高い場合には、前記第２の画像から得られる色情報を採用し、前記相関値が所定値よりも低い場合には、前記第１の画像から得られる色情報を採用して、前記合成画像の色情報を生成することを特徴としている。
【００１２】
請求項５に記載の発明は、画像処理方法であって、適正値よりも短時間の露光によって得られる第１の画像と、前記第１の画像とは異なるタイミングで得られる第２の画像とを入力する工程と、前記第１の画像から輝度情報及び色情報を抽出するとともに、前記第２の画像から色情報を抽出する工程と、前記第１の画像から得られる色情報、及び、前記第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、前記合成画像の輝度成分を前記輝度情報によって規定する工程と、を含んで構成される。
【００１３】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照しつつ詳細に説明する。
【００１４】
＜１．第１の実施の形態＞
まず、撮像装置にかかる実施の形態について説明する。図１、図２および図３は、撮像装置１の外観を示す図であり、図１は正面図、図２は上面図、図３は背面図に相当する。これらの図は必ずしも三角図法に則っているものではなく、撮像装置１の構成を概念的に例示することを主眼としている。
【００１５】
撮像装置１はいわゆるデジタルカメラとして機能するものであり、被写体を撮影することによって画像データを生成することが可能なように構成される。図２に示すように、撮像装置１の前面側には、撮影光学系であるマクロ機能付き撮影レンズ３が設けられている。撮影レンズ３はズーム機能を有しており、例えばズームリング９１を手動操作で回転させることにより、撮影時における撮影倍率の変更を行うことができるようになっている。撮影レンズ３の上面側には、マクロ切替えレバー９２が設けられており、マクロ撮影と通常撮影とを切り換えることができるようになっている。
【００１６】
また、撮像装置１の上面には撮影指示を行うためのシャッタボタン９が設けられている。シャッタボタン９は、半押し状態（以下、Ｓ１状態という。）と全押し状態（以下、Ｓ２状態という。）とを区別して検知可能な２段階押し込みスイッチとして構成される。撮像装置１は、撮影モード時にシャッタボタン９がＳ１状態とされることにより、自動露出制御（ＡＥ）や自動合焦制御（ＡＦ）等の撮影準備動作を開始し、Ｓ２状態とされることにより、記録用画像を生成するための撮影動作を開始する。
【００１７】
また、撮像装置１の上面には、「撮影モード」と「再生モード」と「設定モード」とを切替設定するモード切替えダイアル９３が設けられている。
【００１８】
撮影モードは写真撮影を行って撮影時に得られる画像データを記録するモードであり、再生モードはメモリカード８に記録された撮影画像データをＬＣＤ４やＥＶＦ５などの表示デバイスに再生表示するモードである。また、設定モードは設定メニュー画面をＬＣＤ４等に表示し、ユーザがその設定メニュー画面に基づいて複数の手ぶれ補正処理のうちから、所望する手ぶれ補正処理を選択設定する等、撮像装置１の各種機能設定を行うためのモードである。そのため、手ぶれ補正モードのオンオフは設定モードにおいて切替可能なようになっている。
【００１９】
また、撮像装置１の上面には、設定モードにおいて設定された手ぶれ補正モード等の設定状態が表示される表示部９４が設けられる。
【００２０】
図３に示すように、撮像装置１の背面左方には、設定メニュー画面の表示、撮影モード時において撮影指示が与えられるまでの撮影待機状態において被写体像を動画的態様でリアルタイムに表示するライブビュー表示、撮影指示が与えられた場合の撮影動作によって得られる画像を確認のために表示するアフタービュー表示、及び、記録画像の再生表示等を行うための表示デバイスとして、液晶ディスプレイ（ＬＣＤ）４と電子ビューファインダ（ＥＶＦ）５とが設けられる。ＬＣＤ４及びＥＶＦ５は、例えば表示画素数が６４０×４８０として構成され、カラー画像を表示可能なように構成される。
【００２１】
撮像装置１の背面右方には、カーソルボタン（十字キー）９５ａ、９５ｂ、９５ｃ、９５ｄ及び実行ボタン９５ｅを含むコントロールボタン９５が設けられており、このコントロールボタン９５を用いて各種設定操作が行われる。また、撮像装置１の背面には、メニューボタン９６が設けられている。メニューボタン９６がユーザによって押下されることにより、各種のメニュー画面がＬＣＤ４に表示される。
【００２２】
また、撮像装置１の背面には、ディスプレイ切替レバー９７が設けられている。ディスプレイ切替レバー９７を操作することによって、ＬＣＤ４又はＥＶＦ５に画像表示が行われる。
【００２３】
撮像装置１の側面には、画像データ等を記録するメモリカード８を装着可能なメモリスロット８１が設けられている。メモリカード８は半導体メモリや小型磁気ディスク装置等によって構成される記録媒体であり、メモリカード８がメモリスロット８１に挿入装着されることにより、撮影時に取得される画像データがメモリカード８に記録されるようになる。
【００２４】
次に、図４は撮像装置１の内部機能を示すブロック図である。
【００２５】
撮像装置１には、撮影レンズ３の後方にＣＣＤイメージセンサ等で構成された撮像素子１０が設けられている。撮像素子１０は、撮影レンズ３を介して受光する被写体像を、画素毎に光電変換することによって画像信号を生成するものである。撮像素子１０の受光面には、例えば２５６０×１９２０個の画素が二次元配列されており、ＲＧＢの原色透過フィルタが画素単位で市松状に配置される。
【００２６】
撮像素子１０の露光によって各画素に蓄積された信号は、タイミングジェネレータ１４によって読出制御が行われる。すなわち、撮像素子１０は、タイミングジェネレータ１４からの制御信号に基づいて、画素毎に蓄積された信号をＣＤＳ（相関二重サンプリング）回路１１に順次出力するように構成される。そして各画素信号の集合により、１フレーム分の画像信号が形成される。
【００２７】
また、撮像素子１０には、画像信号の読出モードとして、ドラフトモードと全画素読出モードとが設定可能であり、例えば撮像素子１０の読出モードがドラフトモードに設定されると、撮像素子１０から画素間引きが行われて画像信号の出力が行われる。これに対し、撮像素子１０の読出モードが全画素読出モードに設定されると、撮像素子１０の全画素に蓄積された画素信号によって構成される画像信号の出力が行われる。
【００２８】
撮像素子１０で光電変換された画像信号は、ＣＤＳ回路１１でノイズ成分の除去が行われる。そして、ＡＧＣ（オートゲインコントロール）回路１２において、全体制御部２０から指示されるゲインを適用して画像信号の増幅が行われる。ＡＧＣ回路１２において信号増幅された画像信号は、Ａ／Ｄ変換器１３に与えられ、例えば画素毎に１２ビットで表現されたデジタル信号に変換される。Ａ／Ｄ変換器１３から出力される画像データは、画像処理部３０に与えられる。
【００２９】
撮像素子１０、ＣＤＳ回路１１、ＡＧＣ回路１２及びＡ／Ｄ変換器１３はタイミングジェネレータ１４によって制御され、各部が同期した動作を行うように構成される。
【００３０】
画像処理部３０は、後述するようにＡ／Ｄ変換器１３から入力する画像データに対して各種画像処理を施すものである。画像処理部３０に入力する画像データはＲＧＢの色成分に関する情報を有するものであるが、画像処理部３０では色空間の変換処理が行われ、輝度成分（輝度情報）と色差成分（色情報）とによってカラー画像が表現された画像データが出力される。
【００３１】
そして画像処理部３０から出力される画像データは表示切替部４１又は画像圧縮部４２に与えられる。例えば、画像表示を行う場合、画像処理部３０から出力される画像データは表示切替部４１に与えられ、ディスプレイ切替レバー９７の設定状態に基づいて、ＬＣＤ４又はＥＶＦ５に画像データが出力されるようになっている。一方、画像記録を行う場合、画像処理部３０から出力される画像データは画像圧縮部４２に与えられ、画像圧縮部４２にて所定の符号化処理が行われて、メモリカード８に画像データが記録されるようになっている。
【００３２】
ジャイロセンサ１７は撮像装置１の変位を検出するものであり、撮像装置１の移動方向と移動量とを検知する。したがって、ジャイロセンサ１７は撮影時における手ぶれを検出することが可能であり、撮像装置１の移動方向がぶれ方向を、移動量がぶれ量を示すこととなり、ジャイロセンサ１７によって取得されるそれらの情報は全体制御部２０に出力される。
【００３３】
操作部１９は、上述したシャッタボタン９やその他のボタン及びスイッチを含むものであり、操作部１９に対する操作は電気信号に変換されて全体制御部２０に与えられる。
【００３４】
次に、画像処理部３０の詳細について説明する。図５は画像処理部３０の詳細構成を示す図である。画像処理部３０には、Ａ／Ｄ変換器１３にて生成される各画素１２ビットで表現された画像データが入力する。
【００３５】
そして、ＷＢ（ホワイトバランス）乗算器３１によりホワイトバランス補正が行われる。そして、インターポーレション回路３２にてＲＧＢの画素補間を行うことによりＲＧＢの３チャンネルデータが生成される。つまり、画素補間によって各画素がＲＧＢ全ての色成分についての情報を有することになる。インターポーレション回路３２で生成されるＲＧＢの各画像データは、色変換マトリクス回路３３、γ補正回路３４及び色変換回路３５に順次入力し、再生デバイスの再生特性に応じた可変のカラーマッチング処理が行われる。具体的には、色変換マトリクス回路３３は、インターポーレション回路３２で生成されたＲＧＢの各画像データに対して、３×３リニアマトリクス３３ａによって色変換マトリクス演算を行う。色変換マトリクス演算が施された後、γ補正回路３４で、γ補正情報に相当するγテーブル３４ａにより、ＲＧＢの各画像とも再生デバイス等に合わせた階調補正が行われる。またγ補正回路３４では、１２ビットの入力信号を８ビットに低下させることにより、階調数変換を同時に行うようになっている。
【００３６】
そして、γ補正後、色変換回路３５において、色差マトリクス３５ａ，３５ｂ，３５ｃを用いたマトリクス演算が行われる。これにより、ＲＧＢで表現されたカラー画像がＹＣｒＣｂで表現されたカラー画像に変換されることになり、画像データに含まれる画像情報は、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに分離される。ここで、輝度信号Ｙは画像の明るさを示す情報（輝度情報）であり、色差信号Ｃｒ、Ｃｂは色差によって画像の色成分を示す色情報である。そのため、概念的には１フレーム分のカラー画像が、Ｙ成分の画像、Ｃｒ成分の画像、及び、Ｃｂ成分の画像の集合によって表現されることになる。
【００３７】
輝度信号Ｙについては、Ｙエンハンサー回路３６において周波数帯域毎に分離され、輝度信号Ｙの高域側に対しては、信号レベルの調整とベースクリップ処理によって輪郭補正およびノイズ抑制が行われる。その後、高域側輝度信号と低域側輝度信号とが加算され、それによって得られる補正後の輝度信号Ｙがリサイザー回路３７に入力する。
【００３８】
Ｙ、Ｃｒ、Ｃｂ信号はリサイザー回路３７で、撮像装置１における内部状態（動作状態）に応じて、各チャンネルの解像度変換処理（縮小処理）が適宜行われる。例えば、撮影待機状態においてライブビュー表示を行う場合には、表示デバイス（ＬＣＤ４又はＥＶＦ５）の表示サイズ６４０×４８０に適合するようにリサイズされ、リサイズされた画像データが表示切替部４１に出力される。
【００３９】
以上のように画像処理部３０では、ホワイトバランスの調整、画素補間、色変換、縮小処理等の画像処理が行われるようになっている。そして色変換マトリクス回路３３、γ補正回路３４及び色変換回路３５のそれぞれで適用される３×３リニアマトリクス３３ａ、γテーブル３４ａ及び色差マトリクス３５ａ，３５ｂ，３５ｃは全体制御部２０によって指定されるようになっている。さらに、色変換回路３５は、全体制御部２０と画像データの送受信を行うことができるようになっている。すなわち、色変換回路３５は、ＲＧＢの画像データから求められるＹＣｒＣｂの各画像データを全体制御部２０に与えることができ、また、全体制御部２０において生成される画像データを入力して後段の処理部に送出することができるように構成されている。
【００４０】
全体制御部２０は例えばＲＡＭ２８及びＲＯＭ２９を内蔵するＣＰＵによって構成されるものであり、ＣＰＵがＲＯＭ２９に格納された所定のプログラムを実行することにより、撮影動作を統括的に制御する撮影制御部２１、及び、撮影時に手ぶれが発生した場合に手ぶれの影響を低減した画像を生成する画像合成部２２として機能する。
【００４１】
撮影制御部２１は、撮影モード時における各部の動作を制御するものであり、例えば、シャッタボタン９が押下操作される前の撮影待機状態において、撮像素子１０の読出モードをドラフトモードに設定し、ライブビュー表示のための画像取得及び表示動作を繰り返し行うように制御する。また、シャッタボタン９がＳ１状態とされた場合には、撮影準備動作を制御する。さらに、Ｓ２状態とされた場合には、撮像素子１０の読出モードを全画素読出モードに設定変更し、高解像度の記録用画像を生成するための撮影動作を制御する。
【００４２】
また、撮影制御部２１は手ぶれ検出部２１ａとしても機能し、撮影モード時において撮像装置１のぶれ状態を監視する。そして撮像装置１において手ぶれ補正モードがオン状態に設定されている場合、撮影制御部２１は、撮影待機状態若しくは撮影準備状態において取得される最新のライブビュー画像をＲＡＭ２８に格納しておく。なお、ＲＡＭ２８に格納しておくライブビュー画像は、少なくとも１フレーム分あればよいが、記録用画像のＳ／Ｎを良好に向上させるためには複数フレーム分のライブビュー画像がＲＡＭ２８に格納されることが好ましい。
【００４３】
そして記録用画像を撮影するための撮像素子１０の露光中に、ジャイロセンサ１７から入力するぶれ量が所定量以上となった場合には撮像素子１０の露光を停止させる。これにより、記録用の画像がぶれた画像になることを防止する。一方、撮像素子１０の露光を途中で停止させることにより、それによって得られる撮影画像は露光不足となる。そこで、撮影制御部２１はＡＧＣ回路１２において適用されるゲインをゲインアップし、露光不足を解消させる。このとき、ノイズ成分も同時に増幅させてしまうことになるため、本実施形態では全体制御部２０においてノイズ成分が目立たなくなるような画像処理が行われる。この画像処理は全体制御部２０の画像合成部２２によって行われる。
【００４４】
画像合成部２２は、撮影待機状態においてＲＡＭ２８に格納しておいたライブビュー画像の色情報を、撮影動作によって得られる撮影画像に合成することにより、色情報に含まれるノイズ成分を低減するように構成される。
【００４５】
以下、撮影モード時における撮像装置１の処理シーケンスについて具体的に説明する。
【００４６】
図６乃至図９は撮影モード時の撮像装置１における処理シーケンスを示すフローチャートであり、撮像装置１において手ぶれ補正モードがオン状態に設定されている場合を示している。
【００４７】
まず、撮影モードに入ると、撮影制御部２１は撮像素子１０の読出モードをドラフトモードに設定する（ステップＳ１０）。読出モードをドラフトモードに設定することにより、効率的な画像読み出しを行うことが可能になり、ライブビュー表示時に高フレームレートで画像取得を行うことができる。
【００４８】
そして撮影制御部２１はライブビュー画像の取得動作を開始するとともに（ステップＳ１１）、ＬＣＤ４又はＥＶＦ５に対するライブビュー表示を開始する（ステップＳ１２）。このようなライブビュー表示は繰り返し行われることになる。そしてシャッタボタン９がＳ１状態になると、撮影準備動作を開始する（ステップＳ１３にてＹＥＳ）。
【００４９】
撮影制御部２１は、Ｓ１状態に移ると、その時点で取得されるライブビュー画像に基づいて自動露出制御（ＡＥ）、自動合焦制御（ＡＦ）、及びＡＷＢ（自動ホワイトバランス）制御等を行う。特に、自動露出制御では、記録用画像の撮影動作を行う際に適正露出の画像が得られるような、撮像素子１０の露光時間（シャッタスピード）が決定される（ステップＳ１４）。
【００５０】
そして撮影制御部２１はジャイロセンサ１７をオン状態とする（ステップＳ１５）。このとき撮影制御部２１では手ぶれ検出部２１ａが機能し、撮像装置１のぶれ状態を監視するための動作が開始される。
【００５１】
図７のフローチャートに進み、撮影制御部２１は撮影準備状態においてもＬＣＤ４又はＥＶＦ５にライブビュー表示を継続させるべく、ライブビュー画像の取得動作（ステップＳ１６）と、ＬＣＤ４又はＥＶＦ５に対するライブビュー表示とを行う（ステップＳ１７）。
【００５２】
このとき撮影制御部２１は、画像処理部３０において逐次生成されるライブビュー画像を取得し、それをＲＡＭ２８に順次格納していく（ステップＳ１８）。例えば、ＲＡＭ２８には４フレーム分のライブビュー画像を格納する領域が設定されており、撮影制御部２１は最新４フレーム分のライブビュー画像をＲＡＭ２８に格納する。
【００５３】
そして手ぶれ検出部２１ａはジャイロセンサ１７からぶれ量に関する情報を取得する（ステップＳ１９）。このとき取得されるぶれ量は、ステップＳ２０における手ぶれ判断に用いられる。またぶれ量及びぶれ方向に関する情報は、ステップＳ１８でＲＡＭ２８に格納されるライブビュー画像に対応付けてＲＡＭ２８に格納される。
【００５４】
そして手ぶれ検出部２１ａは、ステップＳ１９で取得されるぶれ量が所定値Ｖ２以下であるか否かを判断する（ステップＳ２０）。
【００５５】
ＲＡＭ２８に格納されるライブビュー画像は、撮影画像を取得する際に手ぶれが発生した場合、撮影画像の色情報を補正するための画像であるため、ライブビュー画像を取得した状態から、撮影動作時における状態が大きく変位したときには、ライブビュー画像を用いた補正精度は低下する。そのため、ステップＳ２０においてぶれ量が所定値Ｖ２以上である場合には、ＲＡＭ２８に格納したライブビュー画像を全て削除することによってＲＡＭ２８の記憶状態をクリアにする（ステップＳ２１）。そしてステップＳ１６からの処理が繰り返し行われ、再度ＲＡＭ２８に最新４フレーム分のライブビュー画像が格納される（ステップＳ１６〜ステップＳ１８）。
【００５６】
一方、ぶれ量が所定値Ｖ２よりも小さい場合には、撮影制御部２１はシャッタボタン９がＳ２状態に遷移したか否かを判断し（ステップＳ２２）、Ｓ２状態に遷移していない場合には、Ｓ１状態が解除されたか否かを判断する（ステップＳ２３）。そして、シャッタボタン９がＳ１状態を継続する場合には、ステップＳ１６〜Ｓ２３の処理が繰り返し実行されることになり、ＲＡＭ２８には最新４フレーム分のライブビュー画像が格納される。
【００５７】
そしてシャッタボタン９がＳ２状態に遷移すると（ステップＳ２２にてＹＥＳ）、図８のフローチャートに進み、手ぶれ検出部２１ａが再びジャイロセンサ１７からぶれ量に関する情報を取得し（ステップＳ２５）、ぶれ量が所定値Ｖ１（ただし、Ｖ１＜Ｖ２）以下であるか否かを判断する（ステップＳ２６）。そしてぶれ量が所定値Ｖ１以下になるまで処理手順の進行を停止し、撮像素子１０の露光動作を開始しないようになっている。すなわち、撮像装置１は、ユーザによってシャッタボタン９がＳ２状態に押下されたとしても、フレーミングの状態が比較的ぶれ量が少ない安定した状態となるまでは、記録用画像の撮影動作を開始せず、撮影画像にぶれが生じることを抑制しているのである。
【００５８】
そしてぶれ量が所定値Ｖ１以下になると（ステップＳ２６にてＹＥＳ）、撮影制御部２１は撮像素子１０の読出モードを全画素読出モードに設定変更し、高解像度の撮影画像を取得可能な状態にする（ステップＳ２７）。
【００５９】
そして撮影制御部２１は撮像素子１０の露光を開始する（ステップＳ２８）。記録用画像を取得するための撮像素子１０の露光中、手ぶれ検出部２１ａはジャイロセンサ１７からぶれ量に関する情報を逐次取得し（ステップＳ２９）、ぶれ量が所定値Ｖ１以下であるか否かを判断する（ステップＳ３０）。
【００６０】
ぶれ量が所定値Ｖ１以下で安定したフレーミング状態が継続される場合には、自動露出制御時（ステップＳ１４）に求められた露光時間に達するまで、撮像素子１０の露光が継続する（ステップＳ２９，Ｓ３０，Ｓ３１のループ）。そして自動露出制御時に求められた露光時間に達したときには露光を終了し（ステップＳ３２）、通常の記録用画像に対する画像処理を行って（ステップＳ３３）、メモリカード８への記録処理を行う（ステップＳ３６）。通常の画像処理とは、撮像素子１０を露光することによって得られる１フレーム分の撮影画像のみで記録用画像を生成する画像処理であり、撮像素子１０から得られる画像データは画像処理部３０において上述した一連の画像処理が施されるだけであり、ライブビュー画像との合成処理は行われない。
【００６１】
これに対し、記録用画像を取得するための撮像素子１０の露光中にぶれ量が所定値Ｖ１よりも大きくなった場合には（ステップＳ３０にてＮＯ）、その時点で露光を終了させる（ステップＳ３４）。これにより、撮像素子１０に蓄積される撮影画像に手ぶれが影響することを防止することができる。
【００６２】
そして撮像装置１において手ぶれ補正画像処理が実行されることになる（ステップＳ３５）。すなわち、ＡＧＣ回路１２のゲインをゲインアップし、それによって得られる画像データが、画像処理部３０を介して全体制御部２０に与えられる。全体制御部２０は、このようにして得られる撮影画像データをＲＡＭ２８に格納するとともに、露光中に検出されたぶれ量及びぶれ方向に関する情報を撮影画像データに対応付けてＲＡＭ２８に格納する。そして画像合成部２２によってノイズ成分が目立たないように、撮影画像とそれ以前にＲＡＭ２８に格納されたライブビュー画像との画像合成処理が実行される。そして画像合成処理によって生成される記録用画像は、全体制御部２０から画像処理部３０に与えられた後、メモリカード８への記録処理が行われる（ステップＳ３６）。
【００６３】
そして図９のフローチャートに進み、撮影制御部２１はジャイロセンサ１７をオフ状態にし（ステップＳ３７）、ＲＡＭ２８に格納されたライブビュー画像を削除して、ＲＡＭ２８の記憶状態をクリアにする（ステップＳ３８）。そして撮影モードの終了操作が行われた場合には、撮影モードにおける処理を終了し、終了操作が行われていない場合には、ステップＳ１０以降の処理を繰り返し行い、次の撮影のための撮影待機状態に戻る（ステップＳ３９）。
【００６４】
なお、ステップＳ２３においてシャッタボタン９のＳ１状態が解除された場合（シャッタボタン９が全く操作されていない場合）には、ステップＳ３７〜Ｓ３９の処理が行われ、撮影モードを継続する場合には、ステップＳ１０以降の処理が繰り返し行われる。
【００６５】
図１０は以上のような処理シーケンスによって撮影モード時にどのような露光が行われるかを示すタイミングチャートである。図１０においては、時刻Ｔ３にシャッタボタン９がＳ２状態に遷移する場合を例示している。
【００６６】
シャッタボタン９がＳ２状態とされる前には、撮像装置１においてライブビュー画像の取得が一定時間ごとに連続して行われることになり、最新４フレーム分のライブビュー画像がＲＡＭ２８に格納される。ところが、時刻Ｔ１に、撮像装置１のぶれ量が所定値Ｖ２を越えた場合、ＲＡＭ２８に格納された４フレーム分のライブビュー画像は全て消去される。そしてぶれ量が所定値Ｖ２以下となった以降に再度最新４フレーム分のライブビュー画像がＲＡＭ２８に格納されることになる。このようなライブビュー画像の格納動作により、記録用画像を撮影するための撮影動作時とほぼ同一の状態で取得された最新のライブビュー画像がＲＡＭ２８に格納されることになる。
【００６７】
そして時刻Ｔ３にシャッタボタン９がＳ２状態へ操作される。このとき、手ぶれ補正モードがオフ状態である場合には、撮像素子１０の露光時間は自動露出制御（ＡＥ）によって求められた時間ＳＳ１となる。
【００６８】
これに対し、手ぶれ補正モードがオン状態である場合には、Ｓ２状態への遷移から直ちに撮像素子１０を露光開始するのではなく、撮像装置１のぶれ量が所定値Ｖ１以下の安定した状態となってから露光を開始する。図１０では、時刻Ｔ４から撮像素子１０の露光が開始される。そして撮像素子１０は、自動露出制御（ＡＥ）によって求められた露光時間ＳＳ１以下であって、ぶれ量が所定値Ｖ１以下である間、露光される。換言すれば、適正露出が得られる露光時間ＳＳ１に達していなくとも、撮像装置１のぶれ量が所定値Ｖ１を越えた場合に、露光が停止される。よって、手ぶれ補正モードがオン状態である場合には、撮影動作時の露光中に手ぶれが発生した場合、露光時間ＳＳ２は適正露出の画像を得るための露光時間ＳＳ１よりも短くなる。そして露光時間ＳＳ２で得られる撮影画像は、手ぶれの影響が少ない画像となる。
【００６９】
そして露光時間ＳＳ２で得られる撮影画像の露光不足を補うために、ＡＧＣ回路１２において通常よりも大きなゲインで信号増幅が行われ、画像処理部３０にてＹＣｒＣｂに色変換された画像データが全体制御部２０に与えられる。
【００７０】
したがって、撮影画像の露光が中断された場合、全体制御部２０のＲＡＭ２８には、図１１に示すようなデータが格納されることになる。すなわち、ＲＡＭ２８には、ライブビュー画像を格納するためのライブビュー画像格納領域２８ａと、記録用画像を撮影するための撮影動作によって得られる撮影画像を格納する撮影画像格納領域２８ｂとが規定され、ライブビュー画像格納領域２８ａの各領域５１，５２，５３，５４には、シャッタボタン９がＳ２状態になる直前のライブビュー画像と、そのライブビュー画像を取得した際のぶれ情報とが格納される。また、撮影画像格納領域２８ｂには撮影画像と、その撮影画像を取得した際のぶれ情報とが格納される。なお、全体制御部２０には、色変換回路３５にて生成されるＹＣｒＣｂの各画像データが入力するので、ＲＡＭ２８には、それぞれの画像について、Ｙ成分の画像と、Ｃｒ成分の画像と、Ｃｂ成分の画像とが格納される。
【００７１】
また、ライブビュー画像はドラフトモードで取得される画像であるので、ライブビュー画像のＹＣｒＣｂ各成分画像は、例えば６４０×４８０の画像サイズになっている。これに対し、撮影画像は全画素読出モードで取得される画像であるので、例えば、撮影画像のＹ成分画像は２５６０×１９２０の画像サイズとなっており、Ｃｒ，Ｃｂ成分の各成分画像は１２８０×９６０の画像サイズとなっている。
【００７２】
以下、全体制御部２０における手ぶれ補正について詳細に説明する。図１２は、上述したフローチャートのステップＳ３５における手ぶれ補正画像処理の詳細を示すフローチャートである。この処理は主として全体制御部２０の画像合成部２２によって行われる。
【００７３】
手ぶれ補正画像処理を開始すると、画像合成部２２は、ＲＡＭ２８に格納されたライブビュー画像からＳ／Ｎ補正用画像を生成する（ステップＳ４０）。Ｓ／Ｎ補正用画像は、ライブビュー画像から撮影画像の色情報を補正するための画像である。このため、Ｓ／Ｎ補正用画像は、Ｃｒ成分及びＣｂ成分のそれぞれについて生成される。
【００７４】
以下、具体的に、Ｓ／Ｎ補正用画像の生成手法について説明する。
【００７５】
ＲＡＭ２８に格納されるＣｒ成分及びＣｂ成分のライブビュー画像の画像サイズは、撮影画像のＣｒ成分及びＣｂ成分の画像サイズに比して小さくなっている。そのため、Ｓ／Ｎ補正用画像生成処理では、まず、図１３及び図１４に示すように、ＲＡＭ２８に格納されたライブビュー画像のＣｒ成分画像及びＣｂ成分画像のそれぞれに対して拡大処理を行い、撮影画像のＣｒ成分画像及びＣｂ成分画像と同一サイズにサイズ変換する。この処理は、ＲＡＭ２８に格納された４フレーム分のライブビュー画像の全てに対して実行される。この結果、各ライブビュー画像のＣｒ成分画像及びＣｂ成分画像は、撮影画像のそれらと同一サイズになる。
【００７６】
そして各ライブビュー画像に対応付けられたぶれ情報に基づいて、各ライブビュー画像のＣｒ成分を合成して、Ｓ／Ｎ補正用画像のＣｒ成分を生成する。例えば、図１５に示すように、ライブビュー画像５１ａ，５２ａ，５３ａ，５４ａを順次取得する際、撮像装置１がα方向に一定量ずつ変位していたとすると、画像合成部２２は各ライブビュー画像のＣｒ成分画像をα方向にぶれ量に応じて配置する。このとき、図１５の斜線部分は、４フレーム分のライブビュー画像が重ならない部分である。そして画像合成部２２は、４フレーム分のライブビュー画像が重なった部分についてＣｒ成分信号の加算平均を行うことにより、Ｓ／Ｎ補正用画像のＣｒ成分画像５５を生成する。ただし、全てのフレームが重ならない画像部分については、加算平均を行わずにＳ／Ｎ補正用画像のＣｒ成分画像５５を生成する。このため、図１５に示すＳ／Ｎ補正用画像のＣｒ成分画像５５では、斜線が施された画像周縁部分にＣｒ成分情報が含まれない状態となる。
【００７７】
また、Ｃｂ成分についても同様の処理が行われることにより、Ｓ／Ｎ補正用画像のＣｂ成分画像が生成される。
【００７８】
このようにして生成されるＳ／Ｎ補正用画像は一時的にＲＡＭ２８に格納され、ステップＳ４１以降の処理が行われる。図１６はステップＳ４１以降の処理において、Ｓ／Ｎ補正用画像５５と撮影画像５６とに基づいて記録用画像５７を生成する処理概念を示す図である。
【００７９】
画像合成部２２はＳ／Ｎ補正用画像のＣｒ成分及びＣｂ成分並びに撮影画像のＣｒ成分及びＣｂ成分のそれぞれをブロック分割する（ステップＳ４１）。
【００８０】
そして、ステップＳ４２〜Ｓ４８において、Ｓ／Ｎ補正用画像のＣｒ成分と撮影画像のＣｒ成分との相関値をブロック毎に求め、相関値が高い場合にはＳ／Ｎ補正用画像のＣｒ成分を記録用画像のＣｒ成分として採用することにより、記録用画像のＣｒ成分画像を決定していく。また、同様に、Ｓ／Ｎ補正用画像のＣｂ成分と撮影画像のＣｂ成分との相関値をブロック毎に求め、相関値が高い場合にはＳ／Ｎ補正用画像のＣｂ成分を記録用画像のＣｂ成分として採用することにより、記録用画像のＣｂ成分画像を決定する。
【００８１】
このような処理をさらに具体的に説明する。画像合成部２２は、ブロック分割によって撮影画像に形成された１つのブロックを選択し（ステップＳ４２）、Ｓ／Ｎ補正用画像に、対応するブロックが存在するか否かを判定する（ステップＳ４３）。Ｓ／Ｎ補正用画像の画像周縁部には有効な色情報が存在しないため、撮影画像において選択されたブロックに対応するブロックが存在しない可能性がある。そのため、Ｓ／Ｎ補正用画像に、対応するブロックが存在しない場合には、ステップＳ４７に進み、対応するブロックが存在する場合にはステップＳ４４に進む。
【００８２】
また、各ブロックの対応関係は、撮影画像についてのぶれ情報に基づいて決定される。例えば、図１７に示すようにＳ／Ｎ補正用画像５５と撮影画像５６との間に撮像装置１がβ方向に変位した場合には、Ｓ／Ｎ補正用画像５５に対して、撮影画像５６をβ方向にずらした状態で対応するブロックの決定が行われる。これにより、ライブビュー画像の取得以降のぶれを解消した状態で互いに対応するブロックを決定することができるので、手ぶれ補正の精度が高くなる。
【００８３】
撮影画像について選択されたブロックに対応するブロックがＳ／Ｎ補正用画像に存在する場合には、画像合成部２２は、対応するブロック同士での相関値演算を行うことにより、ブロック間の相関値を求める（ステップＳ４４）。例えば、各ブロックが８×８の画素を有する場合には、６４個の対応する２画素間で画素信号（ここでは色差情報）の差分絶対値を求め、それによって得られる６４個の差分絶対値の平均値を、相関値とすることができる。このような相関値は、対応するブロック同士が被写体の同一部分を含む場合には小さな値となり、異なる部分である場合には大きな値となる。
【００８４】
よって、ステップＳ４４において求められる相関値が所定値よりも高い場合には（ステップＳ４５にてＹＥＳ）、Ｓ／Ｎ補正用画像における当該ブロックの色情報を採用してＲＡＭ２８に格納する（ステップＳ４６）。つまり、ノイズ成分が多く含まれている撮影画像の色情報は採用せずに、ライブビュー画像から得られた色情報を、記録用画像の色情報として採用するのである。
【００８５】
一方、ステップＳ４４において求められる相関値が所定値よりも低い場合には（ステップＳ４５にてＮＯ）、撮影画像における当該ブロックの色情報を採用してＲＡＭ２８に格納する（ステップＳ４７）。つまり、Ｓ／Ｎ補正用画像の当該ブロックは、撮影画像のブロック画像とは異なる被写体部分を撮影している可能性が高いので、画質低下を防止するために、撮影画像の色情報を、記録用画像の色情報として採用するのである。また、撮影画像について選択されたブロックに対応するブロックがＳ／Ｎ補正用画像に存在しない場合にも、撮影画像における当該ブロックの色情報が採用される。
【００８６】
そしてステップＳ４８に進み、撮影画像の全てのブロックについて処理が行われたか否かを判断し、全てのブロックについて色情報が決定されるまで、上記処理（ステップＳ４２〜Ｓ４７）が繰り返し行われる。
【００８７】
このような処理が、Ｓ／Ｎ補正用画像及び撮影画像を対象として、Ｃｒ成分及びＣｂ成分の双方について行われ、最終的に、ＲＡＭ２８において記録用画像のＣｒ成分画像及びＣｂ成分画像が生成される。
【００８８】
そして記録用画像の輝度情報（Ｙ成分）には、撮影画像５６のＹ成分画像が採用される。このとき、例えばＳ／Ｎ補正用画像５５に含まれる色情報が全て採用されて記録用画像の色差成分（Ｃｒ成分、Ｃｂ成分）を構成するとき、撮影画像５６のＹ成分画像と、Ｓ／Ｎ補正用画像５５の色差成分とが互いに位置ずれしている可能性があるので、撮影画像５６のＹ成分画像と、Ｓ／Ｎ補正用画像５５の色情報とを合成する際には、図１７にて示した場合と同様の位置合わせが行われる。
【００８９】
そして画像合成部２２によって生成される記録用画像（合成画像）は、その色情報においてノイズ成分が抑制された画像となって出力され、メモリカード８に記録される。
【００９０】
以上のように、撮像装置１は、撮影モード時において当該撮像装置１と被写体との相対的なぶれを検知可能なように構成されており、手ぶれ補正モードがオン状態に設定されている場合、記録用画像を得るための撮像素子１０の露光中に、ぶれが検知されると、撮像素子１０の露光を停止させ、当該露光によって得られる画像信号を増幅することによって撮影画像を生成するようになっている。また、それによって得られる撮影画像から輝度情報を抽出するとともに、撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出して、撮影画像の輝度情報とライブビュー画像の色情報とを合成することによって、記録用画像となる合成画像を生成するように構成されている。
【００９１】
Ｃｒ成分及びＣｂ成分によって示される色情報は、同一被写体を撮影したものであれば、別のタイミングで得られた情報に入れ替えたとしても、画質的に問題は生じない。
【００９２】
したがって、本実施形態の撮像装置１では、手ぶれ補正モードがオン状態となっていると、手ぶれの影響がない画像を取得することができるとともに、信号増幅によって増幅されるノイズ成分を目立たなくすることができる。
【００９３】
また、記録用画像に用いられる色情報は、シャッタボタン９がＳ２状態とされる直前（すなわち、露光開始の指令が与えられる直前）に取得される少なくとも１フレーム分のライブビュー画像に基づいて生成されるので、画像合成処理の対象となるライブビュー画像と撮影画像との時間差を最も短くすることができ、整合性の高い補正処理が行える。
【００９４】
また、ＲＡＭ２８に格納されたライブビュー画像は、撮像装置１のぶれ量が所定量以上となった場合に消去され、その後あらためてライブビュー画像の格納が行われるので、撮影画像と整合性の低い画像が画像合成処理に用いられることを防止することができる。
【００９５】
また、複数のライブビュー画像を用いて、記録用画像に適用されうる色情報を生成することにより、個々のライブビュー画像に含まれるノイズ成分を抑制することができる。すなわち、複数のライブビュー画像を加算平均してＳ／Ｎ補正用画像を生成することにより、個々のライブビュー画像の重複部分に含まれているノイズ成分を良好に低減することができる。
【００９６】
また、撮影画像の色情報と、ライブビュー画像から得られるＳ／Ｎ補正用画像の色情報とを合成する際、又は、撮影画像の輝度情報と、記録用画像として生成された色情報とを合成する際には、撮影画像が取得されたときのぶれ情報に基づいて互いの位置合わせが行われるようになっているので、画像合成時の整合性が高くなり、高品質な記録用画像を得ることができる。
【００９７】
また、撮像装置１は、シャッタボタン９がＳ２状態にされて撮影開始指令が与えられた後であって、撮像装置１のぶれ量が所定量以下になった後に、記録用画像を撮影するための露光を開始するように構成されているので、ぶれの少ない画像を撮影することができる。特に、ユーザがシャッタボタン９を操作した直後は、シャッタボタン操作に伴うぶれが発生しやすいが、本実施形態のようにぶれ量が所定量以下となった後に露光を開始するように構成することで、シャッタボタン操作直後の手ぶれが撮影画像に影響することを防止することができる。
【００９８】
また、撮像装置１は、撮影画像から得られる色情報と、ライブビュー画像から得られる色情報とを合成する際、それぞれの画像を複数の領域に分割し、分割された領域毎に合成処理を行うように構成されている。このため、ブロック毎に整合性の高い合成処理を行うことができ、高品質な記録用画像を得ることができる。
【００９９】
また、撮像装置１では、ライブビュー画像から求められるＳ／Ｎ補正用画像と、撮影画像との相関値を求め、相関値が所定値よりも高い場合には、ライブビュー画像から求められたＳ／Ｎ補正用画像の色情報を採用し、相関値が所定値よりも低い場合には、撮影画像の色情報を採用して、記録用画像の色情報を生成するようになっている。すなわち、撮影画像とＳ／Ｎ補正用画像との整合性が高い場合は、ノイズ成分の少ない色情報が採用され、撮影画像とＳ／Ｎ補正用画像との整合性が低い場合は、撮影画像の色情報が採用されて、異なる被写体部分の色情報を用いないようになっている。よって、合成処理時の整合性と、画像品質とが考慮された処理が実現され、良好な記録用画像が得られる。
【０１００】
さらに、撮像装置１は、画像合成を行う際に、記録用画像の画像周縁部の色情報として、撮影画像から得られる色情報を採用し、記録用画像の画像中央部の色情報として、Ｓ／Ｎ補正用画像から得られる色情報を採用するように構成される。したがって、画像中央部については良好にノイズ成分を抑制することができるとともに、画像周縁部に撮影画像とは異なる被写体が含まれることを防止することができる。
【０１０１】
次に、撮像装置１において設定モードが機能している場合の動作について説明する。上述した撮像装置１は、設定モードにおいて、手ぶれ補正モードの設定と、ＡＧＣ回路１２において通常適用されるゲインの設定とを行うことができるようになっている。
【０１０２】
図１８及び図１９は、設定モード時にＬＣＤ４又はＥＶＦ５に表示される手ぶれ補正処理の選択メニュー画面及びＩＳＯ感度選択メニュー画面の一例を示す図である。
【０１０３】
例えば図１８のメニュー画面では、手ぶれ補正モードの選択可能な項目として、「露光停止のみ」、「露光停止し自動ゲインアップ」、「露光停止し自動ゲインアップ＋色補正」及び「手ぶれ補正を行わない」が表示され、ユーザはコントロールボタン９５を操作することにより、これらのうちから一の項目を選択設定するようになっている。なお、図１８においては「露光停止し自動ゲインアップ＋色補正」の項目が選択された状態を示している。
【０１０４】
図１８において「露光停止のみ」が選択されると、記録用画像の露光中に手ぶれが発生した場合、撮像素子１０の露光を停止するだけの処理で、その後は通常の撮影画像と同様の処理が行われる。ただし、この場合、露光不足になるため、メモリカード８に格納される撮影画像は比較的暗い画像になる。
【０１０５】
また「露光停止し自動ゲインアップ」が選択されると、記録用画像の露光中に手ぶれが発生した場合、撮像素子１０の露光を停止し、さらにＡＧＣ回路１２にて適用されるゲインのゲインアップが行われる処理で、ＡＧＣ回路１２から後段は通常の撮影画像と同様の処理が行われる。ただし、この場合の撮影画像にはゲインアップによってノイズ成分が目立つことになる。
【０１０６】
また「露光停止し自動ゲインアップ＋色補正」が選択されると、上述した手ぶれ補正処理が行われることになる。すなわち、撮影直前のライブビュー画像がＲＡＭ２８に格納され、記録用画像の露光中に手ぶれが発生した場合、撮像素子１０の露光を停止し、記録用画像の色情報がライブビュー画像の色情報を用いて生成される。このため、本項目が選択されることにより、良好な手ぶれ補正が実現される。
【０１０７】
さらに「手ぶれ補正処理を行わない」が選択されると、撮影モードにおいてジャイロセンサ１７は常時オフ状態となり、露光中の手ぶれの有無にかかわらず、自動露出制御（ＡＥ）で求められた露光時間分の露光動作が行われる。よって、この場合、撮影中に手ぶれが発生すれば、撮影画像に手ぶれの影響が顕著に現れる。
【０１０８】
次に、ＡＧＣ回路１２に設定されるゲインの選択項目は、一般にＩＳＯ感度に対応して表示される。このため、例えば図１９のメニュー画面では、選択可能な項目として、「ＩＳＯ１００」、「ＩＳＯ２００」、「ＩＳＯ４００」及び「ＩＳＯ８００」が表示され、ユーザはコントロールボタン９５を操作することにより、これらのうちから一の項目を選択設定するようになっている。なお、図１９においては「ＩＳＯ１００」の項目が選択された状態を示している。またＡＧＣ回路１２に設定されるゲインの関係は、ＩＳＯ１００＜ＩＳＯ２００＜ＩＳＯ４００＜ＩＳＯ８００となっている。
【０１０９】
ところが、上記のような選択メニュー画面を、手ぶれ補正処理選択メニュー画面と、ＩＳＯ感度選択メニュー画面とで何ら関係を持たせずに、別個独立して設定可能な状態にすると、動作不可能な状態が生じうる。
【０１１０】
例えば、ＡＧＣ回路１２において通常適用されるゲインが実行可能な最大ゲイン（ＩＳＯ８００）に設定されているとすると、手ぶれ補正処理選択メニュー画面で自動ゲインアップを含む項目が選択されても、実質的にゲインを行うことができなくなる。
【０１１１】
そこで撮像装置１では、設定モード時において、手ぶれ補正に関する設定と、ＩＳＯ感度（ゲイン）に関する設定との間に従属関係を持たせ、動作不可能な状態が設定できないように構成することが好ましい。以下、この構成例について説明する。
【０１１２】
図２０及び図２１は、設定モード時における撮像装置１の処理シーケンスを示すフローチャートである。
【０１１３】
設定モード時に入ると、全体制御部２０は、手ぶれ補正モードの変更操作が行われたか否かを判断する（ステップＳ５０）。手ぶれ補正モードの変更操作が行われなかった場合はステップＳ５６（図２１）に進み、変更操作が行われた場合はステップＳ５１に進む。
【０１１４】
そして手ぶれ補正モードの変更操作が行われた場合、自動ゲインアップを含む処理が選択されているか否かを判断する（ステップＳ５１）。自動ゲインアップを含む処理が選択されていない場合はステップＳ５６（図２１）に進み、自動ゲインアップを含む処理が選択された場合はステップＳ５２に進む。
【０１１５】
そして自動ゲインアップを含む処理が選択された場合、現在のＩＳＯ感度設定（ゲイン設定）がＩＳＯ８００の上限値であるか否かを判断する（ステップＳ５２）。現在のＩＳＯ感度設定が上限値でない場合はステップＳ５６（図２１）に進み、上限値である場合はステップＳ５３に進む。
【０１１６】
したがって、ステップＳ５３に進む場合は、手ぶれ補正処理として自動ゲインアップを含む処理が選択され、かつ、ＡＧＣ回路１２において通常適用されるゲインが実行可能な最大ゲイン（ＩＳＯ８００）に設定されている場合であるため、ユーザが所望する手ぶれ補正処理は実質的に実行不可能な状態になる。
【０１１７】
そのため、ステップＳ５３では、現在の設定内容が動作不可能な状態であることをユーザに示すために、例えば図２２に示すような警告表示をＬＣＤ４等に表示し、ユーザによる確認の操作が行われるまで待機する。図２２の警告表示に基づき、ＩＳＯ感度設定の自動変更を承諾する場合、ユーザはコントロールボタン９５を操作して「ＯＫ」を選択入力する。一方、ＩＳＯ感度設定の自動変更を承諾しない場合には、ユーザはコントロールボタン９５を操作して「キャンセル」を選択入力する。
【０１１８】
そして全体制御部２０はユーザによって行われた選択入力が「ＯＫ」である場合、全体制御部２０はＡＧＣ回路１２のゲインをＩＳＯ４００に自動設定することにより、通常適用されるゲインをゲインダウンさせる。これにより、ユーザが設定した手ぶれ補正モードに関する設定状態を有効に機能させることが可能になる。これに対し、ユーザによって行われた選択入力が「キャンセル」である場合にはステップＳ６１（図２１）に進んで、手ぶれ補正モードを「手ぶれ補正を行わない」状態に自動変更する。
【０１１９】
図２１のフローチャートに進み、全体制御部２０は、ＡＧＣ回路１２において通常適用されるＩＳＯ感度（ゲイン）の変更操作が行われたか否かを判断する（ステップＳ５６）。ＩＳＯ感度の変更操作が行われなかった場合は設定モードを終了し、変更操作が行われた場合はステップＳ５７に進む。
【０１２０】
そしてＩＳＯ感度の変更操作が行われた場合、ＩＳＯ感度の設定がＩＳＯ８００の上限値であるか否かを判断する（ステップＳ５７）。ＩＳＯ感度設定が上限値でない場合はその設定を有効にして設定モードは終了する。ＩＳＯ感度設定が上限値であるステップＳ５８に進む。
【０１２１】
そしてＩＳＯ感度が上限値に設定された場合、現在、手ぶれ補正モードとして自動ゲインアップを含む処理が選択されているか否かを判断する（ステップＳ５８）。自動ゲインアップを含む処理が選択されていない場合は、その設定を有効にして設定モードは終了する。一方、自動ゲインアップを含む処理が選択されている場合はステップＳ５９に進む。
【０１２２】
したがって、ステップＳ５９に進む場合は、ＩＳＯ感度設定として上限値（ＩＳＯ８００）が選択され、かつ、手ぶれ補正処理として自動ゲインアップを含む処理が選択されている場合であるため、ユーザが所望する手ぶれ補正処理は実質的に実行不可能な状態になる。
【０１２３】
そのため、ステップＳ５９では、現在の設定内容が動作不可能な状態であることをユーザに示すために、例えば図２３に示すような警告表示をＬＣＤ４等に表示し、ユーザによる確認の操作が行われるまで待機する。図２３の警告表示に基づき、手ぶれ補正モードの自動変更を承諾する場合、ユーザはコントロールボタン９５を操作して「ＯＫ」を選択入力する。一方、手ぶれ補正モードの自動変更を承諾しない場合には、ユーザはコントロールボタン９５を操作して「キャンセル」を選択入力する。
【０１２４】
そして全体制御部２０はユーザによって行われた選択入力が「ＯＫ」である場合、全体制御部２０は手ぶれ補正モードの設定状態を「手ぶれ補正を行わない」に自動変更する（ステップＳ６１）。一方、ユーザによって行われた選択入力が「キャンセル」である場合、ステップＳ５５に戻り、ＩＳＯ感度設定をＩＳＯ４００に自動設定することにより、通常適用されるゲインをゲインダウンさせる。これにより、ユーザが設定した手ぶれ補正モードに関する設定状態を有効に機能させることが可能になる。
【０１２５】
以上のように、本実施形態の撮像装置１は、ＡＧＣ回路１２に設定されるゲインが最大ゲインに設定されている場合には、設定モードにおいて自動ゲインアップを含む処理が有効な状態に選択されることを禁止するように構成される。また、自動ゲインアップを含む処理が有効な状態に選択されている場合に、ＡＧＣ回路１２のゲインが最大ゲインに設定された場合には、自動ゲインアップを含む処理が有効な状態を解除するように構成される。
【０１２６】
また、撮像装置１は、自動ゲインアップを含む処理が有効な状態に選択されている場合には、ＡＧＣ回路１２のゲインが最大ゲインに設定されることを禁止するように構成される。さらに、ＡＧＣ回路１２のゲインが最大ゲインに設定されている場合であって、自動ゲインアップを含む処理が有効な状態に選択された場合には、ＡＧＣ回路１２におけるゲインの設定値を最大ゲインよりも小さな値に変更するように構成されている。
【０１２７】
このため、撮像装置１において手ぶれ補正に関する設定とゲイン設定に関する設定とに従属関係が生じており、実行不可能な処理が設定されることを防止するようになっている。よって、ユーザは設定モード時に選択入力した内容に誤りがあることを事前に把握することができ、撮影が失敗することを防止できる。
【０１２８】
また、上記のような撮像装置１において、ＩＳＯ感度がＩＳＯ８００（上限値）に設定されている場合には、図２４に示すように、手ぶれ補正処理選択メニュー画面で、自動ゲインアップを含む処理の項目を異なる色で表示したり、グレーダウン表示することにより、自動ゲインアップを含む処理を選択することができない状況にあることをユーザに知らせるようにしてもよい。
【０１２９】
同様に、手ぶれ補正処理として、自動ゲインアップを含む処理が有効な状態に選択されている場合には、図２５に示すように、ＩＳＯ感度（ゲイン）選択メニュー画面で、ＩＳＯ感度の最大値であるＩＳＯ８００の項目を異なる色で表示したり、グレーダウン表示することにより、ＩＳＯ８００を選択することができない状況にあることをユーザに知らせるようにしてもよい。
【０１３０】
なお、以上の説明では、４フレーム分のライブビュー画像からＳ／Ｎ補正用画像を生成する場合を例示したが、Ｓ／Ｎ補正用画像は１枚のライブビュー画像から生成されてもよい。例えば、撮影指示が与えられる直前にＲＡＭ２８に格納されたライブビュー画像が全て削除され、撮影指示が与えられたときに、１フレーム分のライブビュー画像しかＲＡＭ２８に格納されていない場合には、そのライブビュー画像からＳ／Ｎ補正用画像が生成される。
【０１３１】
＜２．第２の実施の形態＞
次に、画像処理装置にかかる実施の形態について説明する。上述した撮像装置１において全体制御部２０で行われる手ぶれ補正処理、より具体的には、図１２のフローチャートに示される処理は、撮像装置１とは別個独立した構成の画像処理装置によっても実行可能なものである。本実施形態においては、そのような処理を実現する画像処理装置について説明する。
【０１３２】
図２６は、画像処理装置７を含む画像処理システム１００の構成を示す図である。画像処理装置７は撮像装置１ａと接続されており、撮像装置１ａから画像データを入力することができるように構成される。
【０１３３】
撮像装置１ａは、撮影レンズ１１０と撮像素子１１１とＡＧＣ回路１１２と出力部１１３とジャイロセンサ１１４と撮影制御部１１５とを備えて構成される。撮影制御部１１５は、図示しないシャッタボタンが押下されたことに伴う撮影指示信号に応答して被写体を撮影する際、ジャイロセンサ１１４からの出力に基づいて撮像装置１ａのぶれ量を検知し、ぶれ量が所定値以上となったときに撮像素子１１１の露光を停止し、当該露光によって得られた画像信号をＡＧＣ回路１１２に出力させる。撮影制御部１１５は撮像素子１１１の露光を途中で停止させたときには、ＡＧＣ回路１１２のゲインをゲインアップすることにより、露光不足を解消するように構成される。そして出力部１１３を介して画像処理装置７に、撮影画像が送出されるようになっている。
【０１３４】
また、撮像装置１ａは、撮影指示信号に応答した撮影動作のタイミングとは別のタイミングで撮影動作を行い、それによって得られる画像（撮影画像とは異なる画像）を逐次、画像処理装置７に送出するように構成される。
【０１３５】
また、撮像装置１ａは、より好ましくは、ジャイロセンサ１１４から得られるぶれ情報を、画像に対応付けて画像処理装置７に送出するように構成される。
【０１３６】
画像処理装置７は、表示部１２０と処理部１３０と操作部１４０とを備えて構成され、処理部１３０には、撮像装置１ａからデータを入力する入力部１３３と、プログラムを実行して各種機能を実現するＣＰＵ１３１と、撮像装置１ａから入力する画像データを記憶する記憶部１３５と、ＣＤ−ＲＯＭ等の記録媒体１５０からプログラムを読み出すことが可能な入出力部１３４とが設けられる。
【０１３７】
ＣＰＵ１３１は例えば記録媒体１５０に格納される画像処理プログラムを読み出して実行することにより、画像処理部１３２として機能する。
【０１３８】
画像処理部１３２は、撮像装置１ａから入力する、撮影画像と、撮影画像とは異なるタイミングで撮影された画像とを記憶部１３５に一時的に格納し、第１の実施の形態において説明した手ぶれ補正処理を行うことにより、手ぶれの影響がなく、ノイズ成分の目立たない記録用画像を生成するように構成される。
【０１３９】
すなわち、画像処理装置７は、適正値よりも短時間の露光によって得られる撮影画像と、撮影画像とは異なるタイミングで得られる補正用画像（上記ライブビュー画像に相当）とを入力し、撮影画像から輝度情報及び色情報を抽出するとともに、補正用画像から色情報を抽出する。そして撮影画像から得られる色情報と、補正用画像から得られる色情報とを合成することによって記録用画像となる合成画像を生成するとともに、当該合成画像の輝度成分を、撮影画像の輝度情報によって規定するように構成される。
【０１４０】
したがって、本実施形態の画像処理装置７によれば、ノイズ成分の増加を抑制しつつ、ぶれの影響を解消した画像を生成することが可能である。
【０１４１】
また、画像処理装置７は、第１の実施の形態と同様に、記録用画像の画像周縁部の色情報として、撮影画像から得られる色情報を採用し、記録用画像の画像中央部の色情報として、撮影画像とは異なるタイミングで得られる補正用画像の色情報を採用するように構成される。これにより、画像中央部については良好にノイズ成分を抑制することができるとともに、画像周縁部に撮影画像とは異なる被写体が含まれることを防止することができる。
【０１４２】
また、画像処理装置７は、第１の実施の形態と同様に、撮影画像から得られる色情報と、撮影画像とは異なるタイミングで得られる補正用画像の色情報とを合成する際、それぞれの画像を複数の領域に分割し、分割された領域毎に合成処理を行うように構成される。このため、ブロック毎に整合性の高い合成処理を行うことができ、高品質な記録用画像を得ることができる。
【０１４３】
また、画像処理装置７は、撮影画像と、撮影画像とは別のタイミングで得られる補正用画像との相関値を求め、その相関値が所定値よりも高い場合には、補正用画像の色情報を採用し、相関値が所定値よりも低い場合には、撮影画像の色情報を採用して、記録用画像の色情報を生成するように構成される。すなわち、撮影画像と補正用画像との整合性が高い場合は、ノイズ成分の少ない色情報が採用され、撮影画像と補正用画像との整合性が低い場合は、撮影画像の色情報が採用されて、異なる被写体部分の色情報を用いないようになっている。よって、合成処理時の整合性と、画像品質とが考慮された処理が実現され、良好な記録用画像が得られる。
【０１４４】
なお、本実施形態においても第１の実施の形態と同様に、撮影画像と異なるタイミングで取得される複数フレーム分の画像を入力し、それら複数フレーム分の画像の重複した部分から補正用画像を生成するようにしてもよい。
【０１４５】
以上のように、本実施形態の画像処理装置７は、第１の実施の形態において説明した画像処理機能を、撮像装置とは別体として構成したものである。したがって、画像処理装置７は、第１の実施の形態で説明したものと同様の作用効果を奏する。
【０１４６】
なお、本実施形態においては、画像処理装置７に撮像装置１ａが接続され、画像処理装置７が接続ケーブル等を介して撮像装置１ａから画像を入力する場合を例示したが、これに限定されるものではない。例えば、画像処理装置７は、撮像装置１ａから無線通信により画像入力を行うように構成されてもよいし、メモリカード８を介して画像入力を行うように構成されてもよい。
【０１４７】
＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１４８】
例えば、上述した実施形態においては、露光停止が行われた場合に、画像信号がアナログ信号の段階でゲインアップを行う構成を例示した。しかし、これに限られるものではなく、ゲインアップは、Ａ／Ｄ変換器１３よりも後段側でデジタル信号に対して行われてもよい。
【０１４９】
また、上述した実施形態においては、撮像装置のぶれを検出するためにジャイロセンサ１７，１１４が設けられる構成を例示した。しかし、これに限定されるものではなく、撮像装置のぶれを検出するセンサは、光学的なセンサを用いても構成することができる。
【０１５０】
なお、上述した実施形態には、以下の発明概念が含まれる。
【０１５１】
（１）請求項１に記載の撮像装置において、露光開始の指令が与えられる直前に取得されるライブビュー画像を記憶する記憶手段をさらに備え、前記合成手段は、前記記憶手段に記憶されたライブビュー画像から前記色情報を抽出し、前記合成画像を生成することを特徴とする撮像装置。
【０１５２】
これにより、合成処理の対象となるライブビュー画像と撮影画像との時間差を最も短くすることができ、整合性の高い合成処理が行える。
【０１５３】
（２）上記（１）に記載の撮像装置において、前記記憶手段は、前記ぶれ検知手段によって所定量以上のぶれが検知された場合に、既に記憶していたライブビュー画像を消去することを特徴とする撮像装置。
【０１５４】
これにより、撮影画像と整合性の低い画像が合成処理に用いられることを防止することができる。
【０１５５】
（３）請求項１又は上記（１）若しくは（２）に記載の撮像装置において、前記合成手段は、複数のライブビュー画像に基づいて前記色情報を抽出することを特徴とする撮像装置。
【０１５６】
これにより、複数のライブビュー画像を用いて、合成画像（記録用画像）に適用されうる色情報を生成することができ、個々のライブビュー画像に含まれるノイズ成分を抑制することができる。
【０１５７】
（４）請求項１又は上記（１）乃至（３）のいずれかに記載の撮像装置において、前記合成手段は、前記ぶれ検知手段からの情報に基づいて、前記輝度情報と前記色情報とを合成する際の位置合わせを行うことを特徴とする撮像装置。
【０１５８】
これにより、画像合成時の整合性が高くなり、高品質な合成画像を得ることができる。
【０１５９】
（５）請求項１又は上記（１）乃至（４）のいずれかに記載の撮像装置において、前記撮影画像生成手段は、撮影開始指令が与えられた後であって、前記ぶれ検知手段によって検知されるぶれ量が所定量以下になった後に、前記撮像素子の露光を開始させることを特徴とする撮像装置。
【０１６０】
これにより、ぶれの少ない画像を撮影することができる。特に、ユーザが撮影開始指示を与えた直後の手ぶれが撮影画像に影響することを防止することができる。
【０１６１】
（６）撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、前記撮像素子から得られる画像信号を増幅する増幅手段と、前記増幅手段において適用されるゲインを設定するゲイン設定手段と、前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、前記ゲイン設定手段によって設定されるゲインよりも大きな値のゲインを前記増幅手段に設定することで、当該露光によって得られる画像信号に適用されるゲインのゲインアップを行う撮影制御機能を有効にするか否かを選択する選択手段と、を備え、前記ゲイン設定手段によって設定されるゲインが最大ゲインに設定されている場合には、前記選択手段によって前記撮影制御機能が有効な状態に選択されることを禁止する、又は、前記選択手段によって前記撮影制御機能が有効な状態に選択されている場合であって、前記ゲイン設定手段によってゲインが最大ゲインに設定された場合には、前記撮影制御機能が有効な状態を解除することを特徴とする撮像装置。
【０１６２】
これにより、撮像装置において手ぶれ補正に関する設定とゲイン設定に関する設定とに従属関係を生じさせることができ、実行不可能な処理が設定されることを防止することができる。
【０１６３】
（７）撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、前記撮像素子から得られる画像信号を増幅する増幅手段と、前記増幅手段において適用されるゲインを設定するゲイン設定手段と、前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、前記ゲイン設定手段によって設定されるゲインよりも大きな値のゲインを前記増幅手段に設定することで、当該露光によって得られる画像信号に適用されるゲインのゲインアップを行う撮影制御機能を有効にするか否かを選択する選択手段と、を備え、前記撮影制御機能が有効な状態に選択されている場合には、前記ゲイン設定手段によってゲインが最大ゲインに設定されることを禁止する、又は、前記ゲイン設定手段によってゲインが最大ゲインに設定された場合であって、前記選択手段によって前記撮影制御機能が有効な状態に選択された場合には、前記ゲインの設定値を最大ゲインよりも小さな値に変更することを特徴とする撮像装置。
【０１６４】
これにより、上記（６）と同様に、撮像装置において手ぶれ補正に関する設定とゲイン設定に関する設定とに従属関係を生じさせることができ、実行不可能な処理が設定されることを防止することができる。
【０１６５】
（８）請求項２に記載の画像処理装置において、前記合成手段は、前記合成画像の画像周縁部の色情報として、前記第１の画像から得られる色情報を採用し、前記合成画像の画像中央部の色情報として、前記第２の画像から得られる色情報を採用することを特徴とする画像処理装置。
【０１６６】
これにより、画像中央部については良好にノイズ成分を抑制することができるとともに、画像周縁部に第１の画像とは異なる被写体が含まれることを防止することができる。
【０１６７】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、撮像素子の露光中にぶれが検知された場合、撮像素子の露光停止、及び、信号増幅によって得られる撮影画像から輝度情報を抽出するとともに、撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出するように構成される。そして撮影画像の輝度情報とライブビュー画像の色情報とを合成することによって合成画像が生成されるので、手ぶれの影響がない画像を取得することができるとともに、信号増幅によって増幅されるノイズ成分を目立たなくすることができる。
【０１６８】
請求項２及び５に記載の発明によれば、適正値よりも短時間の露光によって得られる第１の画像と、第１の画像とは異なるタイミングで得られる第２の画像とを入力し、第１の画像から輝度情報及び色情報を抽出し、第２の画像から色情報を抽出する。そして第１の画像から得られる色情報、及び、第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、合成画像の輝度成分を第１の画像の輝度情報によって規定するので、色情報に含まれるノイズ成分を低減することができる。
【０１６９】
請求項３に記載の発明によれば、第１の画像から得られる色情報と、第２の画像から得られる色情報とを合成する際、第１及び第２の画像のそれぞれが複数の領域に分割され、分割された領域毎に合成処理が行われるので、領域毎に整合性の高い合成処理を行うことができ、高品質な合成画像を得ることができる。
【０１７０】
請求項４に記載の発明によれば、第１の画像と第２の画像との相関値が所定値よりも高い場合には、第２の画像から得られる色情報が採用され、その相関値が所定値よりも低い場合には、第１の画像から得られる色情報が採用されるので、第１の画像と第２の画像との整合性が高い場合は、ノイズ成分の少ない色情報が採用され、第１の画像と第２の画像との整合性が低い場合は、第１の画像の色情報が採用されて、異なる被写体部分の色情報を用いないようになっている。よって、合成処理時の整合性と、画像品質とが考慮された処理が実現され、良好な合成画像が得られる。
【図面の簡単な説明】
【図１】撮像装置の外観を示す正面図である。
【図２】撮像装置の外観を示す上面図である。
【図３】撮像装置の外観を示す背面図である。
【図４】撮像装置の内部機能を示すブロック図である。
【図５】画像処理部の詳細構成を示す図である。
【図６】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図７】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図８】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図９】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図１０】撮影モード時の露光に関するタイミングチャートである。
【図１１】ＲＡＭに格納されるデータの一例を示す図である。
【図１２】手ぶれ補正画像処理の詳細を示すフローチャートである。
【図１３】ライブビュー画像（Ｃｒ成分画像）の拡大処理を示す図である。
【図１４】ライブビュー画像（Ｃｂ成分画像）の拡大処理を示す図である。
【図１５】複数のライブビュー画像からＳ／Ｎ補正用画像を生成する場合の処理概念を示す図である。
【図１６】Ｓ／Ｎ補正用画像と撮影画像とに基づいて記録用画像を生成する場合の処理概念を示す図である。
【図１７】Ｓ／Ｎ補正用画像と撮影画像との位置合わせの概念を示す図である。
【図１８】手ぶれ補正処理の選択メニュー画面の一例を示す図である。
【図１９】ＩＳＯ感度選択メニュー画面の一例を示す図である。
【図２０】設定モード時における撮像装置の処理シーケンスを示すフローチャートである。
【図２１】設定モード時における撮像装置の処理シーケンスを示すフローチャートである。
【図２２】警告表示の一例を示す図である。
【図２３】警告表示の一例を示す図である。
【図２４】手ぶれ補正処理の選択メニュー画面の一例を示す図である。
【図２５】ＩＳＯ感度選択メニュー画面の一例を示す図である。
【図２６】画像処理装置を含む画像処理システムの構成を示す図である。
【符号の説明】
１，１ａ 撮像装置
７ 画像処理装置
１０ 撮像素子
１２ ＡＧＣ回路（増幅手段）
１７ ジャイロセンサ（ぶれ検知手段）
２０ 全体制御部
２１ 撮影制御部
２１ａ 手ぶれ検出部
２２ 画像合成部（合成手段）
２８ ＲＡＭ（記憶手段）
１００ 画像処理システム
１３２ 画像処理部
【発明の属する技術分野】
この発明は、デジタルカメラ等の撮像装置並びに画像処理装置及びその方法に関し、特に、撮影時にぶれが生じた場合に、撮影によって得られる画像に対する画像処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等の撮像装置において、撮影時に手ぶれが発生した場合、撮像装置と被写体との相対的なぶれを機械的に補正する手ぶれ補正機構を備えたものが知られている。この種の手ぶれ補正は、加速度センサ等を利用してぶれ量を検出し、そのぶれ量に応じて撮像装置と被写体との相対的な変位を解消させるべく、例えば光学系を変位させたり、或いは、ＣＣＤイメージセンサ等の撮像素子を変位させることによって実現される。
【０００３】
しかし、このような機械的な手ぶれ補正機構は構成及び制御が複雑となる。また、手ぶれに対する応答速度に限界があり、手ぶれによる撮像素子と被写体との相対的な変位が応答速度よりも速い速度で生じた場合には、機械的な手ぶれ補正機構によってぶれを解消することができない事態が生じうる。そのため、上記のような機械的な手ぶれ補正機構を設けることなく、手ぶれ補正を行う試みがなされている。
【０００４】
手ぶれ補正機構を設けることなく、手ぶれを補正する技術として、例えば、撮像素子の露光中にぶれ量を検出し、露光中にぶれ量が所定値を越えた場合に露光を中断し、露光不足による画質の低下を撮像素子の後段に設けられたアンプのゲインアップによって補うようにした撮像装置が知られている（例えば、特許文献１）。
【０００５】
【特許文献１】
特開平２００１−４５３６１号公報
【特許文献２】
特開平２００１−１７７７６０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術では、露光量が不足する場合、画像全体に対して一律にゲインアップが行われるため、ノイズ成分までもが増幅されてしまい、ノイズが目立った低画質の画像しか得られないという問題がある。
【０００７】
そこで、この発明は、上記課題に鑑みてなされたものであって、ノイズ成分の増加を抑制しつつ、ぶれの影響を解消した画像を生成することのできる画像処理技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、当該露光によって得られる画像信号を増幅することによって撮影画像を生成する撮影画像生成手段と、前記撮影画像から輝度情報を抽出するとともに、前記撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出し、前記輝度情報と前記色情報とを合成することによって合成画像を生成する合成手段と、を備えて構成される。
【０００９】
請求項２に記載の発明は、画像処理装置であって、適正値よりも短時間の露光によって得られる第１の画像と、前記第１の画像とは異なるタイミングで得られる第２の画像とを入力する入力手段と、前記第１の画像から輝度情報及び色情報を抽出するとともに、前記第２の画像から色情報を抽出する画像成分抽出手段と、前記第１の画像から得られる色情報、及び、前記第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、前記合成画像の輝度成分を前記輝度情報によって規定する合成手段と、を備えて構成される。
【００１０】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記合成手段が、前記第１の画像から得られる色情報と、前記第２の画像から得られる色情報とを合成する際、前記第１及び第２の画像のそれぞれを複数の領域に分割し、分割された領域毎に合成処理を行うことを特徴としている。
【００１１】
請求項４に記載の発明は、請求項２又は３に記載の画像処理装置において、前記合成手段が、前記第１及び第２の画像の相関値を求め、前記相関値が所定値よりも高い場合には、前記第２の画像から得られる色情報を採用し、前記相関値が所定値よりも低い場合には、前記第１の画像から得られる色情報を採用して、前記合成画像の色情報を生成することを特徴としている。
【００１２】
請求項５に記載の発明は、画像処理方法であって、適正値よりも短時間の露光によって得られる第１の画像と、前記第１の画像とは異なるタイミングで得られる第２の画像とを入力する工程と、前記第１の画像から輝度情報及び色情報を抽出するとともに、前記第２の画像から色情報を抽出する工程と、前記第１の画像から得られる色情報、及び、前記第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、前記合成画像の輝度成分を前記輝度情報によって規定する工程と、を含んで構成される。
【００１３】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照しつつ詳細に説明する。
【００１４】
＜１．第１の実施の形態＞
まず、撮像装置にかかる実施の形態について説明する。図１、図２および図３は、撮像装置１の外観を示す図であり、図１は正面図、図２は上面図、図３は背面図に相当する。これらの図は必ずしも三角図法に則っているものではなく、撮像装置１の構成を概念的に例示することを主眼としている。
【００１５】
撮像装置１はいわゆるデジタルカメラとして機能するものであり、被写体を撮影することによって画像データを生成することが可能なように構成される。図２に示すように、撮像装置１の前面側には、撮影光学系であるマクロ機能付き撮影レンズ３が設けられている。撮影レンズ３はズーム機能を有しており、例えばズームリング９１を手動操作で回転させることにより、撮影時における撮影倍率の変更を行うことができるようになっている。撮影レンズ３の上面側には、マクロ切替えレバー９２が設けられており、マクロ撮影と通常撮影とを切り換えることができるようになっている。
【００１６】
また、撮像装置１の上面には撮影指示を行うためのシャッタボタン９が設けられている。シャッタボタン９は、半押し状態（以下、Ｓ１状態という。）と全押し状態（以下、Ｓ２状態という。）とを区別して検知可能な２段階押し込みスイッチとして構成される。撮像装置１は、撮影モード時にシャッタボタン９がＳ１状態とされることにより、自動露出制御（ＡＥ）や自動合焦制御（ＡＦ）等の撮影準備動作を開始し、Ｓ２状態とされることにより、記録用画像を生成するための撮影動作を開始する。
【００１７】
また、撮像装置１の上面には、「撮影モード」と「再生モード」と「設定モード」とを切替設定するモード切替えダイアル９３が設けられている。
【００１８】
撮影モードは写真撮影を行って撮影時に得られる画像データを記録するモードであり、再生モードはメモリカード８に記録された撮影画像データをＬＣＤ４やＥＶＦ５などの表示デバイスに再生表示するモードである。また、設定モードは設定メニュー画面をＬＣＤ４等に表示し、ユーザがその設定メニュー画面に基づいて複数の手ぶれ補正処理のうちから、所望する手ぶれ補正処理を選択設定する等、撮像装置１の各種機能設定を行うためのモードである。そのため、手ぶれ補正モードのオンオフは設定モードにおいて切替可能なようになっている。
【００１９】
また、撮像装置１の上面には、設定モードにおいて設定された手ぶれ補正モード等の設定状態が表示される表示部９４が設けられる。
【００２０】
図３に示すように、撮像装置１の背面左方には、設定メニュー画面の表示、撮影モード時において撮影指示が与えられるまでの撮影待機状態において被写体像を動画的態様でリアルタイムに表示するライブビュー表示、撮影指示が与えられた場合の撮影動作によって得られる画像を確認のために表示するアフタービュー表示、及び、記録画像の再生表示等を行うための表示デバイスとして、液晶ディスプレイ（ＬＣＤ）４と電子ビューファインダ（ＥＶＦ）５とが設けられる。ＬＣＤ４及びＥＶＦ５は、例えば表示画素数が６４０×４８０として構成され、カラー画像を表示可能なように構成される。
【００２１】
撮像装置１の背面右方には、カーソルボタン（十字キー）９５ａ、９５ｂ、９５ｃ、９５ｄ及び実行ボタン９５ｅを含むコントロールボタン９５が設けられており、このコントロールボタン９５を用いて各種設定操作が行われる。また、撮像装置１の背面には、メニューボタン９６が設けられている。メニューボタン９６がユーザによって押下されることにより、各種のメニュー画面がＬＣＤ４に表示される。
【００２２】
また、撮像装置１の背面には、ディスプレイ切替レバー９７が設けられている。ディスプレイ切替レバー９７を操作することによって、ＬＣＤ４又はＥＶＦ５に画像表示が行われる。
【００２３】
撮像装置１の側面には、画像データ等を記録するメモリカード８を装着可能なメモリスロット８１が設けられている。メモリカード８は半導体メモリや小型磁気ディスク装置等によって構成される記録媒体であり、メモリカード８がメモリスロット８１に挿入装着されることにより、撮影時に取得される画像データがメモリカード８に記録されるようになる。
【００２４】
次に、図４は撮像装置１の内部機能を示すブロック図である。
【００２５】
撮像装置１には、撮影レンズ３の後方にＣＣＤイメージセンサ等で構成された撮像素子１０が設けられている。撮像素子１０は、撮影レンズ３を介して受光する被写体像を、画素毎に光電変換することによって画像信号を生成するものである。撮像素子１０の受光面には、例えば２５６０×１９２０個の画素が二次元配列されており、ＲＧＢの原色透過フィルタが画素単位で市松状に配置される。
【００２６】
撮像素子１０の露光によって各画素に蓄積された信号は、タイミングジェネレータ１４によって読出制御が行われる。すなわち、撮像素子１０は、タイミングジェネレータ１４からの制御信号に基づいて、画素毎に蓄積された信号をＣＤＳ（相関二重サンプリング）回路１１に順次出力するように構成される。そして各画素信号の集合により、１フレーム分の画像信号が形成される。
【００２７】
また、撮像素子１０には、画像信号の読出モードとして、ドラフトモードと全画素読出モードとが設定可能であり、例えば撮像素子１０の読出モードがドラフトモードに設定されると、撮像素子１０から画素間引きが行われて画像信号の出力が行われる。これに対し、撮像素子１０の読出モードが全画素読出モードに設定されると、撮像素子１０の全画素に蓄積された画素信号によって構成される画像信号の出力が行われる。
【００２８】
撮像素子１０で光電変換された画像信号は、ＣＤＳ回路１１でノイズ成分の除去が行われる。そして、ＡＧＣ（オートゲインコントロール）回路１２において、全体制御部２０から指示されるゲインを適用して画像信号の増幅が行われる。ＡＧＣ回路１２において信号増幅された画像信号は、Ａ／Ｄ変換器１３に与えられ、例えば画素毎に１２ビットで表現されたデジタル信号に変換される。Ａ／Ｄ変換器１３から出力される画像データは、画像処理部３０に与えられる。
【００２９】
撮像素子１０、ＣＤＳ回路１１、ＡＧＣ回路１２及びＡ／Ｄ変換器１３はタイミングジェネレータ１４によって制御され、各部が同期した動作を行うように構成される。
【００３０】
画像処理部３０は、後述するようにＡ／Ｄ変換器１３から入力する画像データに対して各種画像処理を施すものである。画像処理部３０に入力する画像データはＲＧＢの色成分に関する情報を有するものであるが、画像処理部３０では色空間の変換処理が行われ、輝度成分（輝度情報）と色差成分（色情報）とによってカラー画像が表現された画像データが出力される。
【００３１】
そして画像処理部３０から出力される画像データは表示切替部４１又は画像圧縮部４２に与えられる。例えば、画像表示を行う場合、画像処理部３０から出力される画像データは表示切替部４１に与えられ、ディスプレイ切替レバー９７の設定状態に基づいて、ＬＣＤ４又はＥＶＦ５に画像データが出力されるようになっている。一方、画像記録を行う場合、画像処理部３０から出力される画像データは画像圧縮部４２に与えられ、画像圧縮部４２にて所定の符号化処理が行われて、メモリカード８に画像データが記録されるようになっている。
【００３２】
ジャイロセンサ１７は撮像装置１の変位を検出するものであり、撮像装置１の移動方向と移動量とを検知する。したがって、ジャイロセンサ１７は撮影時における手ぶれを検出することが可能であり、撮像装置１の移動方向がぶれ方向を、移動量がぶれ量を示すこととなり、ジャイロセンサ１７によって取得されるそれらの情報は全体制御部２０に出力される。
【００３３】
操作部１９は、上述したシャッタボタン９やその他のボタン及びスイッチを含むものであり、操作部１９に対する操作は電気信号に変換されて全体制御部２０に与えられる。
【００３４】
次に、画像処理部３０の詳細について説明する。図５は画像処理部３０の詳細構成を示す図である。画像処理部３０には、Ａ／Ｄ変換器１３にて生成される各画素１２ビットで表現された画像データが入力する。
【００３５】
そして、ＷＢ（ホワイトバランス）乗算器３１によりホワイトバランス補正が行われる。そして、インターポーレション回路３２にてＲＧＢの画素補間を行うことによりＲＧＢの３チャンネルデータが生成される。つまり、画素補間によって各画素がＲＧＢ全ての色成分についての情報を有することになる。インターポーレション回路３２で生成されるＲＧＢの各画像データは、色変換マトリクス回路３３、γ補正回路３４及び色変換回路３５に順次入力し、再生デバイスの再生特性に応じた可変のカラーマッチング処理が行われる。具体的には、色変換マトリクス回路３３は、インターポーレション回路３２で生成されたＲＧＢの各画像データに対して、３×３リニアマトリクス３３ａによって色変換マトリクス演算を行う。色変換マトリクス演算が施された後、γ補正回路３４で、γ補正情報に相当するγテーブル３４ａにより、ＲＧＢの各画像とも再生デバイス等に合わせた階調補正が行われる。またγ補正回路３４では、１２ビットの入力信号を８ビットに低下させることにより、階調数変換を同時に行うようになっている。
【００３６】
そして、γ補正後、色変換回路３５において、色差マトリクス３５ａ，３５ｂ，３５ｃを用いたマトリクス演算が行われる。これにより、ＲＧＢで表現されたカラー画像がＹＣｒＣｂで表現されたカラー画像に変換されることになり、画像データに含まれる画像情報は、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに分離される。ここで、輝度信号Ｙは画像の明るさを示す情報（輝度情報）であり、色差信号Ｃｒ、Ｃｂは色差によって画像の色成分を示す色情報である。そのため、概念的には１フレーム分のカラー画像が、Ｙ成分の画像、Ｃｒ成分の画像、及び、Ｃｂ成分の画像の集合によって表現されることになる。
【００３７】
輝度信号Ｙについては、Ｙエンハンサー回路３６において周波数帯域毎に分離され、輝度信号Ｙの高域側に対しては、信号レベルの調整とベースクリップ処理によって輪郭補正およびノイズ抑制が行われる。その後、高域側輝度信号と低域側輝度信号とが加算され、それによって得られる補正後の輝度信号Ｙがリサイザー回路３７に入力する。
【００３８】
Ｙ、Ｃｒ、Ｃｂ信号はリサイザー回路３７で、撮像装置１における内部状態（動作状態）に応じて、各チャンネルの解像度変換処理（縮小処理）が適宜行われる。例えば、撮影待機状態においてライブビュー表示を行う場合には、表示デバイス（ＬＣＤ４又はＥＶＦ５）の表示サイズ６４０×４８０に適合するようにリサイズされ、リサイズされた画像データが表示切替部４１に出力される。
【００３９】
以上のように画像処理部３０では、ホワイトバランスの調整、画素補間、色変換、縮小処理等の画像処理が行われるようになっている。そして色変換マトリクス回路３３、γ補正回路３４及び色変換回路３５のそれぞれで適用される３×３リニアマトリクス３３ａ、γテーブル３４ａ及び色差マトリクス３５ａ，３５ｂ，３５ｃは全体制御部２０によって指定されるようになっている。さらに、色変換回路３５は、全体制御部２０と画像データの送受信を行うことができるようになっている。すなわち、色変換回路３５は、ＲＧＢの画像データから求められるＹＣｒＣｂの各画像データを全体制御部２０に与えることができ、また、全体制御部２０において生成される画像データを入力して後段の処理部に送出することができるように構成されている。
【００４０】
全体制御部２０は例えばＲＡＭ２８及びＲＯＭ２９を内蔵するＣＰＵによって構成されるものであり、ＣＰＵがＲＯＭ２９に格納された所定のプログラムを実行することにより、撮影動作を統括的に制御する撮影制御部２１、及び、撮影時に手ぶれが発生した場合に手ぶれの影響を低減した画像を生成する画像合成部２２として機能する。
【００４１】
撮影制御部２１は、撮影モード時における各部の動作を制御するものであり、例えば、シャッタボタン９が押下操作される前の撮影待機状態において、撮像素子１０の読出モードをドラフトモードに設定し、ライブビュー表示のための画像取得及び表示動作を繰り返し行うように制御する。また、シャッタボタン９がＳ１状態とされた場合には、撮影準備動作を制御する。さらに、Ｓ２状態とされた場合には、撮像素子１０の読出モードを全画素読出モードに設定変更し、高解像度の記録用画像を生成するための撮影動作を制御する。
【００４２】
また、撮影制御部２１は手ぶれ検出部２１ａとしても機能し、撮影モード時において撮像装置１のぶれ状態を監視する。そして撮像装置１において手ぶれ補正モードがオン状態に設定されている場合、撮影制御部２１は、撮影待機状態若しくは撮影準備状態において取得される最新のライブビュー画像をＲＡＭ２８に格納しておく。なお、ＲＡＭ２８に格納しておくライブビュー画像は、少なくとも１フレーム分あればよいが、記録用画像のＳ／Ｎを良好に向上させるためには複数フレーム分のライブビュー画像がＲＡＭ２８に格納されることが好ましい。
【００４３】
そして記録用画像を撮影するための撮像素子１０の露光中に、ジャイロセンサ１７から入力するぶれ量が所定量以上となった場合には撮像素子１０の露光を停止させる。これにより、記録用の画像がぶれた画像になることを防止する。一方、撮像素子１０の露光を途中で停止させることにより、それによって得られる撮影画像は露光不足となる。そこで、撮影制御部２１はＡＧＣ回路１２において適用されるゲインをゲインアップし、露光不足を解消させる。このとき、ノイズ成分も同時に増幅させてしまうことになるため、本実施形態では全体制御部２０においてノイズ成分が目立たなくなるような画像処理が行われる。この画像処理は全体制御部２０の画像合成部２２によって行われる。
【００４４】
画像合成部２２は、撮影待機状態においてＲＡＭ２８に格納しておいたライブビュー画像の色情報を、撮影動作によって得られる撮影画像に合成することにより、色情報に含まれるノイズ成分を低減するように構成される。
【００４５】
以下、撮影モード時における撮像装置１の処理シーケンスについて具体的に説明する。
【００４６】
図６乃至図９は撮影モード時の撮像装置１における処理シーケンスを示すフローチャートであり、撮像装置１において手ぶれ補正モードがオン状態に設定されている場合を示している。
【００４７】
まず、撮影モードに入ると、撮影制御部２１は撮像素子１０の読出モードをドラフトモードに設定する（ステップＳ１０）。読出モードをドラフトモードに設定することにより、効率的な画像読み出しを行うことが可能になり、ライブビュー表示時に高フレームレートで画像取得を行うことができる。
【００４８】
そして撮影制御部２１はライブビュー画像の取得動作を開始するとともに（ステップＳ１１）、ＬＣＤ４又はＥＶＦ５に対するライブビュー表示を開始する（ステップＳ１２）。このようなライブビュー表示は繰り返し行われることになる。そしてシャッタボタン９がＳ１状態になると、撮影準備動作を開始する（ステップＳ１３にてＹＥＳ）。
【００４９】
撮影制御部２１は、Ｓ１状態に移ると、その時点で取得されるライブビュー画像に基づいて自動露出制御（ＡＥ）、自動合焦制御（ＡＦ）、及びＡＷＢ（自動ホワイトバランス）制御等を行う。特に、自動露出制御では、記録用画像の撮影動作を行う際に適正露出の画像が得られるような、撮像素子１０の露光時間（シャッタスピード）が決定される（ステップＳ１４）。
【００５０】
そして撮影制御部２１はジャイロセンサ１７をオン状態とする（ステップＳ１５）。このとき撮影制御部２１では手ぶれ検出部２１ａが機能し、撮像装置１のぶれ状態を監視するための動作が開始される。
【００５１】
図７のフローチャートに進み、撮影制御部２１は撮影準備状態においてもＬＣＤ４又はＥＶＦ５にライブビュー表示を継続させるべく、ライブビュー画像の取得動作（ステップＳ１６）と、ＬＣＤ４又はＥＶＦ５に対するライブビュー表示とを行う（ステップＳ１７）。
【００５２】
このとき撮影制御部２１は、画像処理部３０において逐次生成されるライブビュー画像を取得し、それをＲＡＭ２８に順次格納していく（ステップＳ１８）。例えば、ＲＡＭ２８には４フレーム分のライブビュー画像を格納する領域が設定されており、撮影制御部２１は最新４フレーム分のライブビュー画像をＲＡＭ２８に格納する。
【００５３】
そして手ぶれ検出部２１ａはジャイロセンサ１７からぶれ量に関する情報を取得する（ステップＳ１９）。このとき取得されるぶれ量は、ステップＳ２０における手ぶれ判断に用いられる。またぶれ量及びぶれ方向に関する情報は、ステップＳ１８でＲＡＭ２８に格納されるライブビュー画像に対応付けてＲＡＭ２８に格納される。
【００５４】
そして手ぶれ検出部２１ａは、ステップＳ１９で取得されるぶれ量が所定値Ｖ２以下であるか否かを判断する（ステップＳ２０）。
【００５５】
ＲＡＭ２８に格納されるライブビュー画像は、撮影画像を取得する際に手ぶれが発生した場合、撮影画像の色情報を補正するための画像であるため、ライブビュー画像を取得した状態から、撮影動作時における状態が大きく変位したときには、ライブビュー画像を用いた補正精度は低下する。そのため、ステップＳ２０においてぶれ量が所定値Ｖ２以上である場合には、ＲＡＭ２８に格納したライブビュー画像を全て削除することによってＲＡＭ２８の記憶状態をクリアにする（ステップＳ２１）。そしてステップＳ１６からの処理が繰り返し行われ、再度ＲＡＭ２８に最新４フレーム分のライブビュー画像が格納される（ステップＳ１６〜ステップＳ１８）。
【００５６】
一方、ぶれ量が所定値Ｖ２よりも小さい場合には、撮影制御部２１はシャッタボタン９がＳ２状態に遷移したか否かを判断し（ステップＳ２２）、Ｓ２状態に遷移していない場合には、Ｓ１状態が解除されたか否かを判断する（ステップＳ２３）。そして、シャッタボタン９がＳ１状態を継続する場合には、ステップＳ１６〜Ｓ２３の処理が繰り返し実行されることになり、ＲＡＭ２８には最新４フレーム分のライブビュー画像が格納される。
【００５７】
そしてシャッタボタン９がＳ２状態に遷移すると（ステップＳ２２にてＹＥＳ）、図８のフローチャートに進み、手ぶれ検出部２１ａが再びジャイロセンサ１７からぶれ量に関する情報を取得し（ステップＳ２５）、ぶれ量が所定値Ｖ１（ただし、Ｖ１＜Ｖ２）以下であるか否かを判断する（ステップＳ２６）。そしてぶれ量が所定値Ｖ１以下になるまで処理手順の進行を停止し、撮像素子１０の露光動作を開始しないようになっている。すなわち、撮像装置１は、ユーザによってシャッタボタン９がＳ２状態に押下されたとしても、フレーミングの状態が比較的ぶれ量が少ない安定した状態となるまでは、記録用画像の撮影動作を開始せず、撮影画像にぶれが生じることを抑制しているのである。
【００５８】
そしてぶれ量が所定値Ｖ１以下になると（ステップＳ２６にてＹＥＳ）、撮影制御部２１は撮像素子１０の読出モードを全画素読出モードに設定変更し、高解像度の撮影画像を取得可能な状態にする（ステップＳ２７）。
【００５９】
そして撮影制御部２１は撮像素子１０の露光を開始する（ステップＳ２８）。記録用画像を取得するための撮像素子１０の露光中、手ぶれ検出部２１ａはジャイロセンサ１７からぶれ量に関する情報を逐次取得し（ステップＳ２９）、ぶれ量が所定値Ｖ１以下であるか否かを判断する（ステップＳ３０）。
【００６０】
ぶれ量が所定値Ｖ１以下で安定したフレーミング状態が継続される場合には、自動露出制御時（ステップＳ１４）に求められた露光時間に達するまで、撮像素子１０の露光が継続する（ステップＳ２９，Ｓ３０，Ｓ３１のループ）。そして自動露出制御時に求められた露光時間に達したときには露光を終了し（ステップＳ３２）、通常の記録用画像に対する画像処理を行って（ステップＳ３３）、メモリカード８への記録処理を行う（ステップＳ３６）。通常の画像処理とは、撮像素子１０を露光することによって得られる１フレーム分の撮影画像のみで記録用画像を生成する画像処理であり、撮像素子１０から得られる画像データは画像処理部３０において上述した一連の画像処理が施されるだけであり、ライブビュー画像との合成処理は行われない。
【００６１】
これに対し、記録用画像を取得するための撮像素子１０の露光中にぶれ量が所定値Ｖ１よりも大きくなった場合には（ステップＳ３０にてＮＯ）、その時点で露光を終了させる（ステップＳ３４）。これにより、撮像素子１０に蓄積される撮影画像に手ぶれが影響することを防止することができる。
【００６２】
そして撮像装置１において手ぶれ補正画像処理が実行されることになる（ステップＳ３５）。すなわち、ＡＧＣ回路１２のゲインをゲインアップし、それによって得られる画像データが、画像処理部３０を介して全体制御部２０に与えられる。全体制御部２０は、このようにして得られる撮影画像データをＲＡＭ２８に格納するとともに、露光中に検出されたぶれ量及びぶれ方向に関する情報を撮影画像データに対応付けてＲＡＭ２８に格納する。そして画像合成部２２によってノイズ成分が目立たないように、撮影画像とそれ以前にＲＡＭ２８に格納されたライブビュー画像との画像合成処理が実行される。そして画像合成処理によって生成される記録用画像は、全体制御部２０から画像処理部３０に与えられた後、メモリカード８への記録処理が行われる（ステップＳ３６）。
【００６３】
そして図９のフローチャートに進み、撮影制御部２１はジャイロセンサ１７をオフ状態にし（ステップＳ３７）、ＲＡＭ２８に格納されたライブビュー画像を削除して、ＲＡＭ２８の記憶状態をクリアにする（ステップＳ３８）。そして撮影モードの終了操作が行われた場合には、撮影モードにおける処理を終了し、終了操作が行われていない場合には、ステップＳ１０以降の処理を繰り返し行い、次の撮影のための撮影待機状態に戻る（ステップＳ３９）。
【００６４】
なお、ステップＳ２３においてシャッタボタン９のＳ１状態が解除された場合（シャッタボタン９が全く操作されていない場合）には、ステップＳ３７〜Ｓ３９の処理が行われ、撮影モードを継続する場合には、ステップＳ１０以降の処理が繰り返し行われる。
【００６５】
図１０は以上のような処理シーケンスによって撮影モード時にどのような露光が行われるかを示すタイミングチャートである。図１０においては、時刻Ｔ３にシャッタボタン９がＳ２状態に遷移する場合を例示している。
【００６６】
シャッタボタン９がＳ２状態とされる前には、撮像装置１においてライブビュー画像の取得が一定時間ごとに連続して行われることになり、最新４フレーム分のライブビュー画像がＲＡＭ２８に格納される。ところが、時刻Ｔ１に、撮像装置１のぶれ量が所定値Ｖ２を越えた場合、ＲＡＭ２８に格納された４フレーム分のライブビュー画像は全て消去される。そしてぶれ量が所定値Ｖ２以下となった以降に再度最新４フレーム分のライブビュー画像がＲＡＭ２８に格納されることになる。このようなライブビュー画像の格納動作により、記録用画像を撮影するための撮影動作時とほぼ同一の状態で取得された最新のライブビュー画像がＲＡＭ２８に格納されることになる。
【００６７】
そして時刻Ｔ３にシャッタボタン９がＳ２状態へ操作される。このとき、手ぶれ補正モードがオフ状態である場合には、撮像素子１０の露光時間は自動露出制御（ＡＥ）によって求められた時間ＳＳ１となる。
【００６８】
これに対し、手ぶれ補正モードがオン状態である場合には、Ｓ２状態への遷移から直ちに撮像素子１０を露光開始するのではなく、撮像装置１のぶれ量が所定値Ｖ１以下の安定した状態となってから露光を開始する。図１０では、時刻Ｔ４から撮像素子１０の露光が開始される。そして撮像素子１０は、自動露出制御（ＡＥ）によって求められた露光時間ＳＳ１以下であって、ぶれ量が所定値Ｖ１以下である間、露光される。換言すれば、適正露出が得られる露光時間ＳＳ１に達していなくとも、撮像装置１のぶれ量が所定値Ｖ１を越えた場合に、露光が停止される。よって、手ぶれ補正モードがオン状態である場合には、撮影動作時の露光中に手ぶれが発生した場合、露光時間ＳＳ２は適正露出の画像を得るための露光時間ＳＳ１よりも短くなる。そして露光時間ＳＳ２で得られる撮影画像は、手ぶれの影響が少ない画像となる。
【００６９】
そして露光時間ＳＳ２で得られる撮影画像の露光不足を補うために、ＡＧＣ回路１２において通常よりも大きなゲインで信号増幅が行われ、画像処理部３０にてＹＣｒＣｂに色変換された画像データが全体制御部２０に与えられる。
【００７０】
したがって、撮影画像の露光が中断された場合、全体制御部２０のＲＡＭ２８には、図１１に示すようなデータが格納されることになる。すなわち、ＲＡＭ２８には、ライブビュー画像を格納するためのライブビュー画像格納領域２８ａと、記録用画像を撮影するための撮影動作によって得られる撮影画像を格納する撮影画像格納領域２８ｂとが規定され、ライブビュー画像格納領域２８ａの各領域５１，５２，５３，５４には、シャッタボタン９がＳ２状態になる直前のライブビュー画像と、そのライブビュー画像を取得した際のぶれ情報とが格納される。また、撮影画像格納領域２８ｂには撮影画像と、その撮影画像を取得した際のぶれ情報とが格納される。なお、全体制御部２０には、色変換回路３５にて生成されるＹＣｒＣｂの各画像データが入力するので、ＲＡＭ２８には、それぞれの画像について、Ｙ成分の画像と、Ｃｒ成分の画像と、Ｃｂ成分の画像とが格納される。
【００７１】
また、ライブビュー画像はドラフトモードで取得される画像であるので、ライブビュー画像のＹＣｒＣｂ各成分画像は、例えば６４０×４８０の画像サイズになっている。これに対し、撮影画像は全画素読出モードで取得される画像であるので、例えば、撮影画像のＹ成分画像は２５６０×１９２０の画像サイズとなっており、Ｃｒ，Ｃｂ成分の各成分画像は１２８０×９６０の画像サイズとなっている。
【００７２】
以下、全体制御部２０における手ぶれ補正について詳細に説明する。図１２は、上述したフローチャートのステップＳ３５における手ぶれ補正画像処理の詳細を示すフローチャートである。この処理は主として全体制御部２０の画像合成部２２によって行われる。
【００７３】
手ぶれ補正画像処理を開始すると、画像合成部２２は、ＲＡＭ２８に格納されたライブビュー画像からＳ／Ｎ補正用画像を生成する（ステップＳ４０）。Ｓ／Ｎ補正用画像は、ライブビュー画像から撮影画像の色情報を補正するための画像である。このため、Ｓ／Ｎ補正用画像は、Ｃｒ成分及びＣｂ成分のそれぞれについて生成される。
【００７４】
以下、具体的に、Ｓ／Ｎ補正用画像の生成手法について説明する。
【００７５】
ＲＡＭ２８に格納されるＣｒ成分及びＣｂ成分のライブビュー画像の画像サイズは、撮影画像のＣｒ成分及びＣｂ成分の画像サイズに比して小さくなっている。そのため、Ｓ／Ｎ補正用画像生成処理では、まず、図１３及び図１４に示すように、ＲＡＭ２８に格納されたライブビュー画像のＣｒ成分画像及びＣｂ成分画像のそれぞれに対して拡大処理を行い、撮影画像のＣｒ成分画像及びＣｂ成分画像と同一サイズにサイズ変換する。この処理は、ＲＡＭ２８に格納された４フレーム分のライブビュー画像の全てに対して実行される。この結果、各ライブビュー画像のＣｒ成分画像及びＣｂ成分画像は、撮影画像のそれらと同一サイズになる。
【００７６】
そして各ライブビュー画像に対応付けられたぶれ情報に基づいて、各ライブビュー画像のＣｒ成分を合成して、Ｓ／Ｎ補正用画像のＣｒ成分を生成する。例えば、図１５に示すように、ライブビュー画像５１ａ，５２ａ，５３ａ，５４ａを順次取得する際、撮像装置１がα方向に一定量ずつ変位していたとすると、画像合成部２２は各ライブビュー画像のＣｒ成分画像をα方向にぶれ量に応じて配置する。このとき、図１５の斜線部分は、４フレーム分のライブビュー画像が重ならない部分である。そして画像合成部２２は、４フレーム分のライブビュー画像が重なった部分についてＣｒ成分信号の加算平均を行うことにより、Ｓ／Ｎ補正用画像のＣｒ成分画像５５を生成する。ただし、全てのフレームが重ならない画像部分については、加算平均を行わずにＳ／Ｎ補正用画像のＣｒ成分画像５５を生成する。このため、図１５に示すＳ／Ｎ補正用画像のＣｒ成分画像５５では、斜線が施された画像周縁部分にＣｒ成分情報が含まれない状態となる。
【００７７】
また、Ｃｂ成分についても同様の処理が行われることにより、Ｓ／Ｎ補正用画像のＣｂ成分画像が生成される。
【００７８】
このようにして生成されるＳ／Ｎ補正用画像は一時的にＲＡＭ２８に格納され、ステップＳ４１以降の処理が行われる。図１６はステップＳ４１以降の処理において、Ｓ／Ｎ補正用画像５５と撮影画像５６とに基づいて記録用画像５７を生成する処理概念を示す図である。
【００７９】
画像合成部２２はＳ／Ｎ補正用画像のＣｒ成分及びＣｂ成分並びに撮影画像のＣｒ成分及びＣｂ成分のそれぞれをブロック分割する（ステップＳ４１）。
【００８０】
そして、ステップＳ４２〜Ｓ４８において、Ｓ／Ｎ補正用画像のＣｒ成分と撮影画像のＣｒ成分との相関値をブロック毎に求め、相関値が高い場合にはＳ／Ｎ補正用画像のＣｒ成分を記録用画像のＣｒ成分として採用することにより、記録用画像のＣｒ成分画像を決定していく。また、同様に、Ｓ／Ｎ補正用画像のＣｂ成分と撮影画像のＣｂ成分との相関値をブロック毎に求め、相関値が高い場合にはＳ／Ｎ補正用画像のＣｂ成分を記録用画像のＣｂ成分として採用することにより、記録用画像のＣｂ成分画像を決定する。
【００８１】
このような処理をさらに具体的に説明する。画像合成部２２は、ブロック分割によって撮影画像に形成された１つのブロックを選択し（ステップＳ４２）、Ｓ／Ｎ補正用画像に、対応するブロックが存在するか否かを判定する（ステップＳ４３）。Ｓ／Ｎ補正用画像の画像周縁部には有効な色情報が存在しないため、撮影画像において選択されたブロックに対応するブロックが存在しない可能性がある。そのため、Ｓ／Ｎ補正用画像に、対応するブロックが存在しない場合には、ステップＳ４７に進み、対応するブロックが存在する場合にはステップＳ４４に進む。
【００８２】
また、各ブロックの対応関係は、撮影画像についてのぶれ情報に基づいて決定される。例えば、図１７に示すようにＳ／Ｎ補正用画像５５と撮影画像５６との間に撮像装置１がβ方向に変位した場合には、Ｓ／Ｎ補正用画像５５に対して、撮影画像５６をβ方向にずらした状態で対応するブロックの決定が行われる。これにより、ライブビュー画像の取得以降のぶれを解消した状態で互いに対応するブロックを決定することができるので、手ぶれ補正の精度が高くなる。
【００８３】
撮影画像について選択されたブロックに対応するブロックがＳ／Ｎ補正用画像に存在する場合には、画像合成部２２は、対応するブロック同士での相関値演算を行うことにより、ブロック間の相関値を求める（ステップＳ４４）。例えば、各ブロックが８×８の画素を有する場合には、６４個の対応する２画素間で画素信号（ここでは色差情報）の差分絶対値を求め、それによって得られる６４個の差分絶対値の平均値を、相関値とすることができる。このような相関値は、対応するブロック同士が被写体の同一部分を含む場合には小さな値となり、異なる部分である場合には大きな値となる。
【００８４】
よって、ステップＳ４４において求められる相関値が所定値よりも高い場合には（ステップＳ４５にてＹＥＳ）、Ｓ／Ｎ補正用画像における当該ブロックの色情報を採用してＲＡＭ２８に格納する（ステップＳ４６）。つまり、ノイズ成分が多く含まれている撮影画像の色情報は採用せずに、ライブビュー画像から得られた色情報を、記録用画像の色情報として採用するのである。
【００８５】
一方、ステップＳ４４において求められる相関値が所定値よりも低い場合には（ステップＳ４５にてＮＯ）、撮影画像における当該ブロックの色情報を採用してＲＡＭ２８に格納する（ステップＳ４７）。つまり、Ｓ／Ｎ補正用画像の当該ブロックは、撮影画像のブロック画像とは異なる被写体部分を撮影している可能性が高いので、画質低下を防止するために、撮影画像の色情報を、記録用画像の色情報として採用するのである。また、撮影画像について選択されたブロックに対応するブロックがＳ／Ｎ補正用画像に存在しない場合にも、撮影画像における当該ブロックの色情報が採用される。
【００８６】
そしてステップＳ４８に進み、撮影画像の全てのブロックについて処理が行われたか否かを判断し、全てのブロックについて色情報が決定されるまで、上記処理（ステップＳ４２〜Ｓ４７）が繰り返し行われる。
【００８７】
このような処理が、Ｓ／Ｎ補正用画像及び撮影画像を対象として、Ｃｒ成分及びＣｂ成分の双方について行われ、最終的に、ＲＡＭ２８において記録用画像のＣｒ成分画像及びＣｂ成分画像が生成される。
【００８８】
そして記録用画像の輝度情報（Ｙ成分）には、撮影画像５６のＹ成分画像が採用される。このとき、例えばＳ／Ｎ補正用画像５５に含まれる色情報が全て採用されて記録用画像の色差成分（Ｃｒ成分、Ｃｂ成分）を構成するとき、撮影画像５６のＹ成分画像と、Ｓ／Ｎ補正用画像５５の色差成分とが互いに位置ずれしている可能性があるので、撮影画像５６のＹ成分画像と、Ｓ／Ｎ補正用画像５５の色情報とを合成する際には、図１７にて示した場合と同様の位置合わせが行われる。
【００８９】
そして画像合成部２２によって生成される記録用画像（合成画像）は、その色情報においてノイズ成分が抑制された画像となって出力され、メモリカード８に記録される。
【００９０】
以上のように、撮像装置１は、撮影モード時において当該撮像装置１と被写体との相対的なぶれを検知可能なように構成されており、手ぶれ補正モードがオン状態に設定されている場合、記録用画像を得るための撮像素子１０の露光中に、ぶれが検知されると、撮像素子１０の露光を停止させ、当該露光によって得られる画像信号を増幅することによって撮影画像を生成するようになっている。また、それによって得られる撮影画像から輝度情報を抽出するとともに、撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出して、撮影画像の輝度情報とライブビュー画像の色情報とを合成することによって、記録用画像となる合成画像を生成するように構成されている。
【００９１】
Ｃｒ成分及びＣｂ成分によって示される色情報は、同一被写体を撮影したものであれば、別のタイミングで得られた情報に入れ替えたとしても、画質的に問題は生じない。
【００９２】
したがって、本実施形態の撮像装置１では、手ぶれ補正モードがオン状態となっていると、手ぶれの影響がない画像を取得することができるとともに、信号増幅によって増幅されるノイズ成分を目立たなくすることができる。
【００９３】
また、記録用画像に用いられる色情報は、シャッタボタン９がＳ２状態とされる直前（すなわち、露光開始の指令が与えられる直前）に取得される少なくとも１フレーム分のライブビュー画像に基づいて生成されるので、画像合成処理の対象となるライブビュー画像と撮影画像との時間差を最も短くすることができ、整合性の高い補正処理が行える。
【００９４】
また、ＲＡＭ２８に格納されたライブビュー画像は、撮像装置１のぶれ量が所定量以上となった場合に消去され、その後あらためてライブビュー画像の格納が行われるので、撮影画像と整合性の低い画像が画像合成処理に用いられることを防止することができる。
【００９５】
また、複数のライブビュー画像を用いて、記録用画像に適用されうる色情報を生成することにより、個々のライブビュー画像に含まれるノイズ成分を抑制することができる。すなわち、複数のライブビュー画像を加算平均してＳ／Ｎ補正用画像を生成することにより、個々のライブビュー画像の重複部分に含まれているノイズ成分を良好に低減することができる。
【００９６】
また、撮影画像の色情報と、ライブビュー画像から得られるＳ／Ｎ補正用画像の色情報とを合成する際、又は、撮影画像の輝度情報と、記録用画像として生成された色情報とを合成する際には、撮影画像が取得されたときのぶれ情報に基づいて互いの位置合わせが行われるようになっているので、画像合成時の整合性が高くなり、高品質な記録用画像を得ることができる。
【００９７】
また、撮像装置１は、シャッタボタン９がＳ２状態にされて撮影開始指令が与えられた後であって、撮像装置１のぶれ量が所定量以下になった後に、記録用画像を撮影するための露光を開始するように構成されているので、ぶれの少ない画像を撮影することができる。特に、ユーザがシャッタボタン９を操作した直後は、シャッタボタン操作に伴うぶれが発生しやすいが、本実施形態のようにぶれ量が所定量以下となった後に露光を開始するように構成することで、シャッタボタン操作直後の手ぶれが撮影画像に影響することを防止することができる。
【００９８】
また、撮像装置１は、撮影画像から得られる色情報と、ライブビュー画像から得られる色情報とを合成する際、それぞれの画像を複数の領域に分割し、分割された領域毎に合成処理を行うように構成されている。このため、ブロック毎に整合性の高い合成処理を行うことができ、高品質な記録用画像を得ることができる。
【００９９】
また、撮像装置１では、ライブビュー画像から求められるＳ／Ｎ補正用画像と、撮影画像との相関値を求め、相関値が所定値よりも高い場合には、ライブビュー画像から求められたＳ／Ｎ補正用画像の色情報を採用し、相関値が所定値よりも低い場合には、撮影画像の色情報を採用して、記録用画像の色情報を生成するようになっている。すなわち、撮影画像とＳ／Ｎ補正用画像との整合性が高い場合は、ノイズ成分の少ない色情報が採用され、撮影画像とＳ／Ｎ補正用画像との整合性が低い場合は、撮影画像の色情報が採用されて、異なる被写体部分の色情報を用いないようになっている。よって、合成処理時の整合性と、画像品質とが考慮された処理が実現され、良好な記録用画像が得られる。
【０１００】
さらに、撮像装置１は、画像合成を行う際に、記録用画像の画像周縁部の色情報として、撮影画像から得られる色情報を採用し、記録用画像の画像中央部の色情報として、Ｓ／Ｎ補正用画像から得られる色情報を採用するように構成される。したがって、画像中央部については良好にノイズ成分を抑制することができるとともに、画像周縁部に撮影画像とは異なる被写体が含まれることを防止することができる。
【０１０１】
次に、撮像装置１において設定モードが機能している場合の動作について説明する。上述した撮像装置１は、設定モードにおいて、手ぶれ補正モードの設定と、ＡＧＣ回路１２において通常適用されるゲインの設定とを行うことができるようになっている。
【０１０２】
図１８及び図１９は、設定モード時にＬＣＤ４又はＥＶＦ５に表示される手ぶれ補正処理の選択メニュー画面及びＩＳＯ感度選択メニュー画面の一例を示す図である。
【０１０３】
例えば図１８のメニュー画面では、手ぶれ補正モードの選択可能な項目として、「露光停止のみ」、「露光停止し自動ゲインアップ」、「露光停止し自動ゲインアップ＋色補正」及び「手ぶれ補正を行わない」が表示され、ユーザはコントロールボタン９５を操作することにより、これらのうちから一の項目を選択設定するようになっている。なお、図１８においては「露光停止し自動ゲインアップ＋色補正」の項目が選択された状態を示している。
【０１０４】
図１８において「露光停止のみ」が選択されると、記録用画像の露光中に手ぶれが発生した場合、撮像素子１０の露光を停止するだけの処理で、その後は通常の撮影画像と同様の処理が行われる。ただし、この場合、露光不足になるため、メモリカード８に格納される撮影画像は比較的暗い画像になる。
【０１０５】
また「露光停止し自動ゲインアップ」が選択されると、記録用画像の露光中に手ぶれが発生した場合、撮像素子１０の露光を停止し、さらにＡＧＣ回路１２にて適用されるゲインのゲインアップが行われる処理で、ＡＧＣ回路１２から後段は通常の撮影画像と同様の処理が行われる。ただし、この場合の撮影画像にはゲインアップによってノイズ成分が目立つことになる。
【０１０６】
また「露光停止し自動ゲインアップ＋色補正」が選択されると、上述した手ぶれ補正処理が行われることになる。すなわち、撮影直前のライブビュー画像がＲＡＭ２８に格納され、記録用画像の露光中に手ぶれが発生した場合、撮像素子１０の露光を停止し、記録用画像の色情報がライブビュー画像の色情報を用いて生成される。このため、本項目が選択されることにより、良好な手ぶれ補正が実現される。
【０１０７】
さらに「手ぶれ補正処理を行わない」が選択されると、撮影モードにおいてジャイロセンサ１７は常時オフ状態となり、露光中の手ぶれの有無にかかわらず、自動露出制御（ＡＥ）で求められた露光時間分の露光動作が行われる。よって、この場合、撮影中に手ぶれが発生すれば、撮影画像に手ぶれの影響が顕著に現れる。
【０１０８】
次に、ＡＧＣ回路１２に設定されるゲインの選択項目は、一般にＩＳＯ感度に対応して表示される。このため、例えば図１９のメニュー画面では、選択可能な項目として、「ＩＳＯ１００」、「ＩＳＯ２００」、「ＩＳＯ４００」及び「ＩＳＯ８００」が表示され、ユーザはコントロールボタン９５を操作することにより、これらのうちから一の項目を選択設定するようになっている。なお、図１９においては「ＩＳＯ１００」の項目が選択された状態を示している。またＡＧＣ回路１２に設定されるゲインの関係は、ＩＳＯ１００＜ＩＳＯ２００＜ＩＳＯ４００＜ＩＳＯ８００となっている。
【０１０９】
ところが、上記のような選択メニュー画面を、手ぶれ補正処理選択メニュー画面と、ＩＳＯ感度選択メニュー画面とで何ら関係を持たせずに、別個独立して設定可能な状態にすると、動作不可能な状態が生じうる。
【０１１０】
例えば、ＡＧＣ回路１２において通常適用されるゲインが実行可能な最大ゲイン（ＩＳＯ８００）に設定されているとすると、手ぶれ補正処理選択メニュー画面で自動ゲインアップを含む項目が選択されても、実質的にゲインを行うことができなくなる。
【０１１１】
そこで撮像装置１では、設定モード時において、手ぶれ補正に関する設定と、ＩＳＯ感度（ゲイン）に関する設定との間に従属関係を持たせ、動作不可能な状態が設定できないように構成することが好ましい。以下、この構成例について説明する。
【０１１２】
図２０及び図２１は、設定モード時における撮像装置１の処理シーケンスを示すフローチャートである。
【０１１３】
設定モード時に入ると、全体制御部２０は、手ぶれ補正モードの変更操作が行われたか否かを判断する（ステップＳ５０）。手ぶれ補正モードの変更操作が行われなかった場合はステップＳ５６（図２１）に進み、変更操作が行われた場合はステップＳ５１に進む。
【０１１４】
そして手ぶれ補正モードの変更操作が行われた場合、自動ゲインアップを含む処理が選択されているか否かを判断する（ステップＳ５１）。自動ゲインアップを含む処理が選択されていない場合はステップＳ５６（図２１）に進み、自動ゲインアップを含む処理が選択された場合はステップＳ５２に進む。
【０１１５】
そして自動ゲインアップを含む処理が選択された場合、現在のＩＳＯ感度設定（ゲイン設定）がＩＳＯ８００の上限値であるか否かを判断する（ステップＳ５２）。現在のＩＳＯ感度設定が上限値でない場合はステップＳ５６（図２１）に進み、上限値である場合はステップＳ５３に進む。
【０１１６】
したがって、ステップＳ５３に進む場合は、手ぶれ補正処理として自動ゲインアップを含む処理が選択され、かつ、ＡＧＣ回路１２において通常適用されるゲインが実行可能な最大ゲイン（ＩＳＯ８００）に設定されている場合であるため、ユーザが所望する手ぶれ補正処理は実質的に実行不可能な状態になる。
【０１１７】
そのため、ステップＳ５３では、現在の設定内容が動作不可能な状態であることをユーザに示すために、例えば図２２に示すような警告表示をＬＣＤ４等に表示し、ユーザによる確認の操作が行われるまで待機する。図２２の警告表示に基づき、ＩＳＯ感度設定の自動変更を承諾する場合、ユーザはコントロールボタン９５を操作して「ＯＫ」を選択入力する。一方、ＩＳＯ感度設定の自動変更を承諾しない場合には、ユーザはコントロールボタン９５を操作して「キャンセル」を選択入力する。
【０１１８】
そして全体制御部２０はユーザによって行われた選択入力が「ＯＫ」である場合、全体制御部２０はＡＧＣ回路１２のゲインをＩＳＯ４００に自動設定することにより、通常適用されるゲインをゲインダウンさせる。これにより、ユーザが設定した手ぶれ補正モードに関する設定状態を有効に機能させることが可能になる。これに対し、ユーザによって行われた選択入力が「キャンセル」である場合にはステップＳ６１（図２１）に進んで、手ぶれ補正モードを「手ぶれ補正を行わない」状態に自動変更する。
【０１１９】
図２１のフローチャートに進み、全体制御部２０は、ＡＧＣ回路１２において通常適用されるＩＳＯ感度（ゲイン）の変更操作が行われたか否かを判断する（ステップＳ５６）。ＩＳＯ感度の変更操作が行われなかった場合は設定モードを終了し、変更操作が行われた場合はステップＳ５７に進む。
【０１２０】
そしてＩＳＯ感度の変更操作が行われた場合、ＩＳＯ感度の設定がＩＳＯ８００の上限値であるか否かを判断する（ステップＳ５７）。ＩＳＯ感度設定が上限値でない場合はその設定を有効にして設定モードは終了する。ＩＳＯ感度設定が上限値であるステップＳ５８に進む。
【０１２１】
そしてＩＳＯ感度が上限値に設定された場合、現在、手ぶれ補正モードとして自動ゲインアップを含む処理が選択されているか否かを判断する（ステップＳ５８）。自動ゲインアップを含む処理が選択されていない場合は、その設定を有効にして設定モードは終了する。一方、自動ゲインアップを含む処理が選択されている場合はステップＳ５９に進む。
【０１２２】
したがって、ステップＳ５９に進む場合は、ＩＳＯ感度設定として上限値（ＩＳＯ８００）が選択され、かつ、手ぶれ補正処理として自動ゲインアップを含む処理が選択されている場合であるため、ユーザが所望する手ぶれ補正処理は実質的に実行不可能な状態になる。
【０１２３】
そのため、ステップＳ５９では、現在の設定内容が動作不可能な状態であることをユーザに示すために、例えば図２３に示すような警告表示をＬＣＤ４等に表示し、ユーザによる確認の操作が行われるまで待機する。図２３の警告表示に基づき、手ぶれ補正モードの自動変更を承諾する場合、ユーザはコントロールボタン９５を操作して「ＯＫ」を選択入力する。一方、手ぶれ補正モードの自動変更を承諾しない場合には、ユーザはコントロールボタン９５を操作して「キャンセル」を選択入力する。
【０１２４】
そして全体制御部２０はユーザによって行われた選択入力が「ＯＫ」である場合、全体制御部２０は手ぶれ補正モードの設定状態を「手ぶれ補正を行わない」に自動変更する（ステップＳ６１）。一方、ユーザによって行われた選択入力が「キャンセル」である場合、ステップＳ５５に戻り、ＩＳＯ感度設定をＩＳＯ４００に自動設定することにより、通常適用されるゲインをゲインダウンさせる。これにより、ユーザが設定した手ぶれ補正モードに関する設定状態を有効に機能させることが可能になる。
【０１２５】
以上のように、本実施形態の撮像装置１は、ＡＧＣ回路１２に設定されるゲインが最大ゲインに設定されている場合には、設定モードにおいて自動ゲインアップを含む処理が有効な状態に選択されることを禁止するように構成される。また、自動ゲインアップを含む処理が有効な状態に選択されている場合に、ＡＧＣ回路１２のゲインが最大ゲインに設定された場合には、自動ゲインアップを含む処理が有効な状態を解除するように構成される。
【０１２６】
また、撮像装置１は、自動ゲインアップを含む処理が有効な状態に選択されている場合には、ＡＧＣ回路１２のゲインが最大ゲインに設定されることを禁止するように構成される。さらに、ＡＧＣ回路１２のゲインが最大ゲインに設定されている場合であって、自動ゲインアップを含む処理が有効な状態に選択された場合には、ＡＧＣ回路１２におけるゲインの設定値を最大ゲインよりも小さな値に変更するように構成されている。
【０１２７】
このため、撮像装置１において手ぶれ補正に関する設定とゲイン設定に関する設定とに従属関係が生じており、実行不可能な処理が設定されることを防止するようになっている。よって、ユーザは設定モード時に選択入力した内容に誤りがあることを事前に把握することができ、撮影が失敗することを防止できる。
【０１２８】
また、上記のような撮像装置１において、ＩＳＯ感度がＩＳＯ８００（上限値）に設定されている場合には、図２４に示すように、手ぶれ補正処理選択メニュー画面で、自動ゲインアップを含む処理の項目を異なる色で表示したり、グレーダウン表示することにより、自動ゲインアップを含む処理を選択することができない状況にあることをユーザに知らせるようにしてもよい。
【０１２９】
同様に、手ぶれ補正処理として、自動ゲインアップを含む処理が有効な状態に選択されている場合には、図２５に示すように、ＩＳＯ感度（ゲイン）選択メニュー画面で、ＩＳＯ感度の最大値であるＩＳＯ８００の項目を異なる色で表示したり、グレーダウン表示することにより、ＩＳＯ８００を選択することができない状況にあることをユーザに知らせるようにしてもよい。
【０１３０】
なお、以上の説明では、４フレーム分のライブビュー画像からＳ／Ｎ補正用画像を生成する場合を例示したが、Ｓ／Ｎ補正用画像は１枚のライブビュー画像から生成されてもよい。例えば、撮影指示が与えられる直前にＲＡＭ２８に格納されたライブビュー画像が全て削除され、撮影指示が与えられたときに、１フレーム分のライブビュー画像しかＲＡＭ２８に格納されていない場合には、そのライブビュー画像からＳ／Ｎ補正用画像が生成される。
【０１３１】
＜２．第２の実施の形態＞
次に、画像処理装置にかかる実施の形態について説明する。上述した撮像装置１において全体制御部２０で行われる手ぶれ補正処理、より具体的には、図１２のフローチャートに示される処理は、撮像装置１とは別個独立した構成の画像処理装置によっても実行可能なものである。本実施形態においては、そのような処理を実現する画像処理装置について説明する。
【０１３２】
図２６は、画像処理装置７を含む画像処理システム１００の構成を示す図である。画像処理装置７は撮像装置１ａと接続されており、撮像装置１ａから画像データを入力することができるように構成される。
【０１３３】
撮像装置１ａは、撮影レンズ１１０と撮像素子１１１とＡＧＣ回路１１２と出力部１１３とジャイロセンサ１１４と撮影制御部１１５とを備えて構成される。撮影制御部１１５は、図示しないシャッタボタンが押下されたことに伴う撮影指示信号に応答して被写体を撮影する際、ジャイロセンサ１１４からの出力に基づいて撮像装置１ａのぶれ量を検知し、ぶれ量が所定値以上となったときに撮像素子１１１の露光を停止し、当該露光によって得られた画像信号をＡＧＣ回路１１２に出力させる。撮影制御部１１５は撮像素子１１１の露光を途中で停止させたときには、ＡＧＣ回路１１２のゲインをゲインアップすることにより、露光不足を解消するように構成される。そして出力部１１３を介して画像処理装置７に、撮影画像が送出されるようになっている。
【０１３４】
また、撮像装置１ａは、撮影指示信号に応答した撮影動作のタイミングとは別のタイミングで撮影動作を行い、それによって得られる画像（撮影画像とは異なる画像）を逐次、画像処理装置７に送出するように構成される。
【０１３５】
また、撮像装置１ａは、より好ましくは、ジャイロセンサ１１４から得られるぶれ情報を、画像に対応付けて画像処理装置７に送出するように構成される。
【０１３６】
画像処理装置７は、表示部１２０と処理部１３０と操作部１４０とを備えて構成され、処理部１３０には、撮像装置１ａからデータを入力する入力部１３３と、プログラムを実行して各種機能を実現するＣＰＵ１３１と、撮像装置１ａから入力する画像データを記憶する記憶部１３５と、ＣＤ−ＲＯＭ等の記録媒体１５０からプログラムを読み出すことが可能な入出力部１３４とが設けられる。
【０１３７】
ＣＰＵ１３１は例えば記録媒体１５０に格納される画像処理プログラムを読み出して実行することにより、画像処理部１３２として機能する。
【０１３８】
画像処理部１３２は、撮像装置１ａから入力する、撮影画像と、撮影画像とは異なるタイミングで撮影された画像とを記憶部１３５に一時的に格納し、第１の実施の形態において説明した手ぶれ補正処理を行うことにより、手ぶれの影響がなく、ノイズ成分の目立たない記録用画像を生成するように構成される。
【０１３９】
すなわち、画像処理装置７は、適正値よりも短時間の露光によって得られる撮影画像と、撮影画像とは異なるタイミングで得られる補正用画像（上記ライブビュー画像に相当）とを入力し、撮影画像から輝度情報及び色情報を抽出するとともに、補正用画像から色情報を抽出する。そして撮影画像から得られる色情報と、補正用画像から得られる色情報とを合成することによって記録用画像となる合成画像を生成するとともに、当該合成画像の輝度成分を、撮影画像の輝度情報によって規定するように構成される。
【０１４０】
したがって、本実施形態の画像処理装置７によれば、ノイズ成分の増加を抑制しつつ、ぶれの影響を解消した画像を生成することが可能である。
【０１４１】
また、画像処理装置７は、第１の実施の形態と同様に、記録用画像の画像周縁部の色情報として、撮影画像から得られる色情報を採用し、記録用画像の画像中央部の色情報として、撮影画像とは異なるタイミングで得られる補正用画像の色情報を採用するように構成される。これにより、画像中央部については良好にノイズ成分を抑制することができるとともに、画像周縁部に撮影画像とは異なる被写体が含まれることを防止することができる。
【０１４２】
また、画像処理装置７は、第１の実施の形態と同様に、撮影画像から得られる色情報と、撮影画像とは異なるタイミングで得られる補正用画像の色情報とを合成する際、それぞれの画像を複数の領域に分割し、分割された領域毎に合成処理を行うように構成される。このため、ブロック毎に整合性の高い合成処理を行うことができ、高品質な記録用画像を得ることができる。
【０１４３】
また、画像処理装置７は、撮影画像と、撮影画像とは別のタイミングで得られる補正用画像との相関値を求め、その相関値が所定値よりも高い場合には、補正用画像の色情報を採用し、相関値が所定値よりも低い場合には、撮影画像の色情報を採用して、記録用画像の色情報を生成するように構成される。すなわち、撮影画像と補正用画像との整合性が高い場合は、ノイズ成分の少ない色情報が採用され、撮影画像と補正用画像との整合性が低い場合は、撮影画像の色情報が採用されて、異なる被写体部分の色情報を用いないようになっている。よって、合成処理時の整合性と、画像品質とが考慮された処理が実現され、良好な記録用画像が得られる。
【０１４４】
なお、本実施形態においても第１の実施の形態と同様に、撮影画像と異なるタイミングで取得される複数フレーム分の画像を入力し、それら複数フレーム分の画像の重複した部分から補正用画像を生成するようにしてもよい。
【０１４５】
以上のように、本実施形態の画像処理装置７は、第１の実施の形態において説明した画像処理機能を、撮像装置とは別体として構成したものである。したがって、画像処理装置７は、第１の実施の形態で説明したものと同様の作用効果を奏する。
【０１４６】
なお、本実施形態においては、画像処理装置７に撮像装置１ａが接続され、画像処理装置７が接続ケーブル等を介して撮像装置１ａから画像を入力する場合を例示したが、これに限定されるものではない。例えば、画像処理装置７は、撮像装置１ａから無線通信により画像入力を行うように構成されてもよいし、メモリカード８を介して画像入力を行うように構成されてもよい。
【０１４７】
＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１４８】
例えば、上述した実施形態においては、露光停止が行われた場合に、画像信号がアナログ信号の段階でゲインアップを行う構成を例示した。しかし、これに限られるものではなく、ゲインアップは、Ａ／Ｄ変換器１３よりも後段側でデジタル信号に対して行われてもよい。
【０１４９】
また、上述した実施形態においては、撮像装置のぶれを検出するためにジャイロセンサ１７，１１４が設けられる構成を例示した。しかし、これに限定されるものではなく、撮像装置のぶれを検出するセンサは、光学的なセンサを用いても構成することができる。
【０１５０】
なお、上述した実施形態には、以下の発明概念が含まれる。
【０１５１】
（１）請求項１に記載の撮像装置において、露光開始の指令が与えられる直前に取得されるライブビュー画像を記憶する記憶手段をさらに備え、前記合成手段は、前記記憶手段に記憶されたライブビュー画像から前記色情報を抽出し、前記合成画像を生成することを特徴とする撮像装置。
【０１５２】
これにより、合成処理の対象となるライブビュー画像と撮影画像との時間差を最も短くすることができ、整合性の高い合成処理が行える。
【０１５３】
（２）上記（１）に記載の撮像装置において、前記記憶手段は、前記ぶれ検知手段によって所定量以上のぶれが検知された場合に、既に記憶していたライブビュー画像を消去することを特徴とする撮像装置。
【０１５４】
これにより、撮影画像と整合性の低い画像が合成処理に用いられることを防止することができる。
【０１５５】
（３）請求項１又は上記（１）若しくは（２）に記載の撮像装置において、前記合成手段は、複数のライブビュー画像に基づいて前記色情報を抽出することを特徴とする撮像装置。
【０１５６】
これにより、複数のライブビュー画像を用いて、合成画像（記録用画像）に適用されうる色情報を生成することができ、個々のライブビュー画像に含まれるノイズ成分を抑制することができる。
【０１５７】
（４）請求項１又は上記（１）乃至（３）のいずれかに記載の撮像装置において、前記合成手段は、前記ぶれ検知手段からの情報に基づいて、前記輝度情報と前記色情報とを合成する際の位置合わせを行うことを特徴とする撮像装置。
【０１５８】
これにより、画像合成時の整合性が高くなり、高品質な合成画像を得ることができる。
【０１５９】
（５）請求項１又は上記（１）乃至（４）のいずれかに記載の撮像装置において、前記撮影画像生成手段は、撮影開始指令が与えられた後であって、前記ぶれ検知手段によって検知されるぶれ量が所定量以下になった後に、前記撮像素子の露光を開始させることを特徴とする撮像装置。
【０１６０】
これにより、ぶれの少ない画像を撮影することができる。特に、ユーザが撮影開始指示を与えた直後の手ぶれが撮影画像に影響することを防止することができる。
【０１６１】
（６）撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、前記撮像素子から得られる画像信号を増幅する増幅手段と、前記増幅手段において適用されるゲインを設定するゲイン設定手段と、前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、前記ゲイン設定手段によって設定されるゲインよりも大きな値のゲインを前記増幅手段に設定することで、当該露光によって得られる画像信号に適用されるゲインのゲインアップを行う撮影制御機能を有効にするか否かを選択する選択手段と、を備え、前記ゲイン設定手段によって設定されるゲインが最大ゲインに設定されている場合には、前記選択手段によって前記撮影制御機能が有効な状態に選択されることを禁止する、又は、前記選択手段によって前記撮影制御機能が有効な状態に選択されている場合であって、前記ゲイン設定手段によってゲインが最大ゲインに設定された場合には、前記撮影制御機能が有効な状態を解除することを特徴とする撮像装置。
【０１６２】
これにより、撮像装置において手ぶれ補正に関する設定とゲイン設定に関する設定とに従属関係を生じさせることができ、実行不可能な処理が設定されることを防止することができる。
【０１６３】
（７）撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、前記撮像素子から得られる画像信号を増幅する増幅手段と、前記増幅手段において適用されるゲインを設定するゲイン設定手段と、前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、前記ゲイン設定手段によって設定されるゲインよりも大きな値のゲインを前記増幅手段に設定することで、当該露光によって得られる画像信号に適用されるゲインのゲインアップを行う撮影制御機能を有効にするか否かを選択する選択手段と、を備え、前記撮影制御機能が有効な状態に選択されている場合には、前記ゲイン設定手段によってゲインが最大ゲインに設定されることを禁止する、又は、前記ゲイン設定手段によってゲインが最大ゲインに設定された場合であって、前記選択手段によって前記撮影制御機能が有効な状態に選択された場合には、前記ゲインの設定値を最大ゲインよりも小さな値に変更することを特徴とする撮像装置。
【０１６４】
これにより、上記（６）と同様に、撮像装置において手ぶれ補正に関する設定とゲイン設定に関する設定とに従属関係を生じさせることができ、実行不可能な処理が設定されることを防止することができる。
【０１６５】
（８）請求項２に記載の画像処理装置において、前記合成手段は、前記合成画像の画像周縁部の色情報として、前記第１の画像から得られる色情報を採用し、前記合成画像の画像中央部の色情報として、前記第２の画像から得られる色情報を採用することを特徴とする画像処理装置。
【０１６６】
これにより、画像中央部については良好にノイズ成分を抑制することができるとともに、画像周縁部に第１の画像とは異なる被写体が含まれることを防止することができる。
【０１６７】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、撮像素子の露光中にぶれが検知された場合、撮像素子の露光停止、及び、信号増幅によって得られる撮影画像から輝度情報を抽出するとともに、撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出するように構成される。そして撮影画像の輝度情報とライブビュー画像の色情報とを合成することによって合成画像が生成されるので、手ぶれの影響がない画像を取得することができるとともに、信号増幅によって増幅されるノイズ成分を目立たなくすることができる。
【０１６８】
請求項２及び５に記載の発明によれば、適正値よりも短時間の露光によって得られる第１の画像と、第１の画像とは異なるタイミングで得られる第２の画像とを入力し、第１の画像から輝度情報及び色情報を抽出し、第２の画像から色情報を抽出する。そして第１の画像から得られる色情報、及び、第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、合成画像の輝度成分を第１の画像の輝度情報によって規定するので、色情報に含まれるノイズ成分を低減することができる。
【０１６９】
請求項３に記載の発明によれば、第１の画像から得られる色情報と、第２の画像から得られる色情報とを合成する際、第１及び第２の画像のそれぞれが複数の領域に分割され、分割された領域毎に合成処理が行われるので、領域毎に整合性の高い合成処理を行うことができ、高品質な合成画像を得ることができる。
【０１７０】
請求項４に記載の発明によれば、第１の画像と第２の画像との相関値が所定値よりも高い場合には、第２の画像から得られる色情報が採用され、その相関値が所定値よりも低い場合には、第１の画像から得られる色情報が採用されるので、第１の画像と第２の画像との整合性が高い場合は、ノイズ成分の少ない色情報が採用され、第１の画像と第２の画像との整合性が低い場合は、第１の画像の色情報が採用されて、異なる被写体部分の色情報を用いないようになっている。よって、合成処理時の整合性と、画像品質とが考慮された処理が実現され、良好な合成画像が得られる。
【図面の簡単な説明】
【図１】撮像装置の外観を示す正面図である。
【図２】撮像装置の外観を示す上面図である。
【図３】撮像装置の外観を示す背面図である。
【図４】撮像装置の内部機能を示すブロック図である。
【図５】画像処理部の詳細構成を示す図である。
【図６】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図７】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図８】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図９】撮影モード時の撮像装置における処理シーケンスを示すフローチャートである。
【図１０】撮影モード時の露光に関するタイミングチャートである。
【図１１】ＲＡＭに格納されるデータの一例を示す図である。
【図１２】手ぶれ補正画像処理の詳細を示すフローチャートである。
【図１３】ライブビュー画像（Ｃｒ成分画像）の拡大処理を示す図である。
【図１４】ライブビュー画像（Ｃｂ成分画像）の拡大処理を示す図である。
【図１５】複数のライブビュー画像からＳ／Ｎ補正用画像を生成する場合の処理概念を示す図である。
【図１６】Ｓ／Ｎ補正用画像と撮影画像とに基づいて記録用画像を生成する場合の処理概念を示す図である。
【図１７】Ｓ／Ｎ補正用画像と撮影画像との位置合わせの概念を示す図である。
【図１８】手ぶれ補正処理の選択メニュー画面の一例を示す図である。
【図１９】ＩＳＯ感度選択メニュー画面の一例を示す図である。
【図２０】設定モード時における撮像装置の処理シーケンスを示すフローチャートである。
【図２１】設定モード時における撮像装置の処理シーケンスを示すフローチャートである。
【図２２】警告表示の一例を示す図である。
【図２３】警告表示の一例を示す図である。
【図２４】手ぶれ補正処理の選択メニュー画面の一例を示す図である。
【図２５】ＩＳＯ感度選択メニュー画面の一例を示す図である。
【図２６】画像処理装置を含む画像処理システムの構成を示す図である。
【符号の説明】
１，１ａ 撮像装置
７ 画像処理装置
１０ 撮像素子
１２ ＡＧＣ回路（増幅手段）
１７ ジャイロセンサ（ぶれ検知手段）
２０ 全体制御部
２１ 撮影制御部
２１ａ 手ぶれ検出部
２２ 画像合成部（合成手段）
２８ ＲＡＭ（記憶手段）
１００ 画像処理システム
１３２ 画像処理部
Claims (5)
- 撮像素子において被写体からの光を光電変換することによって画像信号を生成する撮像装置であって、
当該撮像装置と被写体との相対的なぶれを検知するぶれ検知手段と、
前記撮像素子の露光中に、前記ぶれ検知手段によってぶれが検知された場合に、前記撮像素子の露光を停止させ、当該露光によって得られる画像信号を増幅することによって撮影画像を生成する撮影画像生成手段と、
前記撮影画像から輝度情報を抽出するとともに、前記撮影画像とは異なるタイミングで取得されるライブビュー画像から色情報を抽出し、前記輝度情報と前記色情報とを合成することによって合成画像を生成する合成手段と、
を備える撮像装置。 - 画像処理装置であって、
適正値よりも短時間の露光によって得られる第１の画像と、前記第１の画像とは異なるタイミングで得られる第２の画像とを入力する入力手段と、
前記第１の画像から輝度情報及び色情報を抽出するとともに、前記第２の画像から色情報を抽出する画像成分抽出手段と、
前記第１の画像から得られる色情報、及び、前記第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、前記合成画像の輝度成分を前記輝度情報によって規定する合成手段と、
を備える画像処理装置。 - 請求項２に記載の画像処理装置において、
前記合成手段は、前記第１の画像から得られる色情報と、前記第２の画像から得られる色情報とを合成する際、前記第１及び第２の画像のそれぞれを複数の領域に分割し、分割された領域毎に合成処理を行うことを特徴とする画像処理装置。 - 請求項２又は３に記載の画像処理装置において、
前記合成手段は、前記第１及び第２の画像の相関値を求め、前記相関値が所定値よりも高い場合には、前記第２の画像から得られる色情報を採用し、前記相関値が所定値よりも低い場合には、前記第１の画像から得られる色情報を採用して、前記合成画像の色情報を生成することを特徴とする画像処理装置。 - 画像処理方法であって、
適正値よりも短時間の露光によって得られる第１の画像と、前記第１の画像とは異なるタイミングで得られる第２の画像とを入力する工程と、
前記第１の画像から輝度情報及び色情報を抽出するとともに、前記第２の画像から色情報を抽出する工程と、
前記第１の画像から得られる色情報、及び、前記第２の画像から得られる色情報を合成することによって合成画像を生成するとともに、前記合成画像の輝度成分を前記輝度情報によって規定する工程と、
を備える画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036548A JP3804617B2 (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置及び方法 |
| US10/446,195 US7239342B2 (en) | 2003-02-14 | 2003-05-28 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036548A JP3804617B2 (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004248021A true JP2004248021A (ja) | 2004-09-02 |
| JP3804617B2 JP3804617B2 (ja) | 2006-08-02 |
Family
ID=32844419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003036548A Expired - Fee Related JP3804617B2 (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7239342B2 (ja) |
| JP (1) | JP3804617B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007295427A (ja) * | 2006-04-27 | 2007-11-08 | Seiko Epson Corp | 手ぶれ補正装置、撮影装置及び手ぶれ補正方法 |
| JP2008529435A (ja) * | 2005-02-03 | 2008-07-31 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 高ダイナミックレンジ画像を複数回の露光により生成するための方法および装置 |
| JP2009100417A (ja) * | 2007-10-19 | 2009-05-07 | Acutelogic Corp | 画像処理装置及び画像処理方法、画像処理プログラム |
| JP2009118434A (ja) * | 2007-11-09 | 2009-05-28 | Sanyo Electric Co Ltd | ぶれ補正装置及び撮像装置 |
| JP2010219797A (ja) * | 2009-03-16 | 2010-09-30 | Fujitsu Semiconductor Ltd | エッジ強調画像処理装置 |
| JP2010226481A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | 撮影装置 |
| JP2015534765A (ja) * | 2012-09-25 | 2015-12-03 | サムスン エレクトロニクス カンパニー リミテッド | 撮影イメージ生成方法及び装置 |
| WO2017090458A1 (ja) * | 2015-11-26 | 2017-06-01 | ソニー株式会社 | 撮影装置、および撮影方法、並びにプログラム |
Families Citing this family (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4000872B2 (ja) * | 2002-03-05 | 2007-10-31 | ソニー株式会社 | 画像撮影装置及び色収差補正方法 |
| JP2004361486A (ja) * | 2003-06-02 | 2004-12-24 | Nikon Corp | デジタルスチルカメラ |
| JP4599920B2 (ja) * | 2003-09-02 | 2010-12-15 | セイコーエプソン株式会社 | 画像生成装置、および画像生成方法 |
| JP2005077886A (ja) * | 2003-09-02 | 2005-03-24 | Canon Inc | 撮影装置 |
| US7551218B2 (en) * | 2004-03-15 | 2009-06-23 | Fujifilm Corporation | Digital camera with a mode selectable structure |
| US8045009B2 (en) * | 2004-05-10 | 2011-10-25 | Hewlett-Packard Development Company, L.P. | Image-exposure systems and methods using detecting motion of a camera to terminate exposure |
| JP2006067181A (ja) * | 2004-08-26 | 2006-03-09 | Fuji Photo Film Co Ltd | カメラシステム |
| EP3310037A1 (en) | 2004-10-26 | 2018-04-18 | Nikon Corporation | Digital camera and image combination device |
| JP2006157568A (ja) * | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | 撮像装置およびプログラム |
| JP4533119B2 (ja) | 2004-12-13 | 2010-09-01 | キヤノン株式会社 | 撮像装置及び撮像装置の画像表示方法 |
| US7791642B2 (en) * | 2004-12-13 | 2010-09-07 | Fujifilm Corporation | Image-taking apparatus |
| JP4277216B2 (ja) * | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
| JP3935500B2 (ja) * | 2005-01-14 | 2007-06-20 | 株式会社モルフォ | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 |
| US8482618B2 (en) * | 2005-02-22 | 2013-07-09 | Hewlett-Packard Development Company, L.P. | Reduction of motion-induced blur in images |
| US20060227221A1 (en) * | 2005-04-05 | 2006-10-12 | Mitsumasa Okubo | Image pickup device |
| ATE519180T1 (de) * | 2005-05-10 | 2011-08-15 | Active Optics Pty Ltd | Verfahren zur steuerung eines bilderfassungssystems, bilderfassungssystem und digitalkamera |
| US20060271873A1 (en) * | 2005-05-31 | 2006-11-30 | Samsung Electronics Co., Ltd. | Method and apparatus for selecting image in image forming apparatus having display screen |
| US7643062B2 (en) * | 2005-06-08 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Method and system for deblurring an image based on motion tracking |
| JP2006352735A (ja) * | 2005-06-20 | 2006-12-28 | Fujitsu Ltd | 撮影装置及び撮影方法 |
| US8274715B2 (en) | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
| JP4708479B2 (ja) * | 2005-09-14 | 2011-06-22 | ノキア コーポレイション | 動き主導のマルチショット画像安定化を実現するためのシステム及び方法 |
| US7546026B2 (en) * | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
| CN101341737A (zh) * | 2005-11-21 | 2009-01-07 | 松下电器产业株式会社 | 数字照相机、安装了数字照相机的电子设备、数字照相机的摄像方法以及存储了数字照相机的程序的存储介质 |
| US7728906B2 (en) * | 2006-01-04 | 2010-06-01 | Apple Inc. | Embedded camera with privacy filter |
| JP2007189472A (ja) * | 2006-01-13 | 2007-07-26 | Hitachi Ltd | 撮像装置および撮像素子 |
| US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
| US7970239B2 (en) | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
| US8019179B2 (en) | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
| US7586521B2 (en) * | 2006-01-27 | 2009-09-08 | Nethra Imaging Inc. | Automatic color calibration of an image sensor |
| JP4745851B2 (ja) * | 2006-02-09 | 2011-08-10 | キヤノン株式会社 | 撮像装置 |
| JP4912694B2 (ja) * | 2006-02-23 | 2012-04-11 | オリンパスイメージング株式会社 | 電子的ぶれ補正装置及び電子的ぶれ補正方法 |
| US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
| US7822328B2 (en) * | 2006-07-03 | 2010-10-26 | Samsung Electronics Co., Ltd. | Method for controlling digital photographing apparatus and digital photographing apparatus adopting the method |
| US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
| US7697836B2 (en) * | 2006-10-25 | 2010-04-13 | Zoran Corporation | Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired |
| US8508039B1 (en) | 2008-05-08 | 2013-08-13 | Invensense, Inc. | Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics |
| US8047075B2 (en) | 2007-06-21 | 2011-11-01 | Invensense, Inc. | Vertically integrated 3-axis MEMS accelerometer with electronics |
| US20100071467A1 (en) * | 2008-09-24 | 2010-03-25 | Invensense | Integrated multiaxis motion sensor |
| US8141424B2 (en) | 2008-09-12 | 2012-03-27 | Invensense, Inc. | Low inertia frame for detecting coriolis acceleration |
| US8250921B2 (en) | 2007-07-06 | 2012-08-28 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
| US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| US7796872B2 (en) | 2007-01-05 | 2010-09-14 | Invensense, Inc. | Method and apparatus for producing a sharp image from a handheld device containing a gyroscope |
| US8462109B2 (en) * | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| US7934423B2 (en) * | 2007-12-10 | 2011-05-03 | Invensense, Inc. | Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics |
| US8020441B2 (en) | 2008-02-05 | 2011-09-20 | Invensense, Inc. | Dual mode sensing for vibratory gyroscope |
| JP5167676B2 (ja) * | 2007-04-10 | 2013-03-21 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US8208750B2 (en) * | 2007-10-26 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Method and system for dual-envelope image enhancement |
| US8482620B2 (en) | 2008-03-11 | 2013-07-09 | Csr Technology Inc. | Image enhancement based on multiple frames and motion estimation |
| US8164651B2 (en) * | 2008-04-29 | 2012-04-24 | Omnivision Technologies, Inc. | Concentric exposure sequence for image sensor |
| JP4900401B2 (ja) * | 2008-05-16 | 2012-03-21 | カシオ計算機株式会社 | 撮影装置およびプログラム |
| JP2009284394A (ja) * | 2008-05-26 | 2009-12-03 | Olympus Imaging Corp | 撮像装置および撮像方法 |
| US7859033B2 (en) | 2008-07-09 | 2010-12-28 | Eastman Kodak Company | Wafer level processing for backside illuminated sensors |
| US7915067B2 (en) * | 2008-07-09 | 2011-03-29 | Eastman Kodak Company | Backside illuminated image sensor with reduced dark current |
| JP5498087B2 (ja) * | 2008-09-29 | 2014-05-21 | キヤノン株式会社 | 撮像装置および撮像方法、プログラム |
| US8073246B2 (en) * | 2008-11-07 | 2011-12-06 | Omnivision Technologies, Inc. | Modifying color and panchromatic channel CFA image |
| KR101577440B1 (ko) * | 2008-12-29 | 2015-12-15 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 방법 |
| JP5430379B2 (ja) * | 2009-02-03 | 2014-02-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
| US8068153B2 (en) * | 2009-03-27 | 2011-11-29 | Omnivision Technologies, Inc. | Producing full-color image using CFA image |
| US8045024B2 (en) * | 2009-04-15 | 2011-10-25 | Omnivision Technologies, Inc. | Producing full-color image with reduced motion blur |
| US8203633B2 (en) * | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
| US8237831B2 (en) * | 2009-05-28 | 2012-08-07 | Omnivision Technologies, Inc. | Four-channel color filter array interpolation |
| US8125546B2 (en) * | 2009-06-05 | 2012-02-28 | Omnivision Technologies, Inc. | Color filter array pattern having four-channels |
| US8253832B2 (en) * | 2009-06-09 | 2012-08-28 | Omnivision Technologies, Inc. | Interpolation for four-channel color filter array |
| JP5436975B2 (ja) * | 2009-08-21 | 2014-03-05 | オリンパスイメージング株式会社 | カメラ、カメラの表示制御方法、表示装置、及び表示方法 |
| US8724928B2 (en) | 2009-08-31 | 2014-05-13 | Intellectual Ventures Fund 83 Llc | Using captured high and low resolution images |
| US8203615B2 (en) * | 2009-10-16 | 2012-06-19 | Eastman Kodak Company | Image deblurring using panchromatic pixels |
| US8390704B2 (en) * | 2009-10-16 | 2013-03-05 | Eastman Kodak Company | Image deblurring using a spatial image prior |
| US8379120B2 (en) * | 2009-11-04 | 2013-02-19 | Eastman Kodak Company | Image deblurring using a combined differential image |
| TWI398161B (zh) * | 2009-12-24 | 2013-06-01 | Ability Entpr Co Ltd | 校正感度增益的方法 |
| US20120007996A1 (en) * | 2009-12-30 | 2012-01-12 | Nokia Corporation | Method and Apparatus for Imaging |
| US8179445B2 (en) | 2010-03-03 | 2012-05-15 | Eastman Kodak Company | Providing improved high resolution image |
| JP5548552B2 (ja) * | 2010-08-03 | 2014-07-16 | キヤノン株式会社 | 撮像装置 |
| US8582820B2 (en) | 2010-09-24 | 2013-11-12 | Apple Inc. | Coded aperture camera with adaptive image processing |
| KR20120047598A (ko) * | 2010-11-04 | 2012-05-14 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
| KR20120067199A (ko) * | 2010-12-15 | 2012-06-25 | 한국전자통신연구원 | 비디오 인코딩 장치 및 그 제어 방법 |
| JP2012161012A (ja) * | 2011-02-02 | 2012-08-23 | Canon Inc | 動画記録装置 |
| US8446481B1 (en) | 2012-09-11 | 2013-05-21 | Google Inc. | Interleaved capture for high dynamic range image acquisition and synthesis |
| US8866927B2 (en) | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| US9087391B2 (en) | 2012-12-13 | 2015-07-21 | Google Inc. | Determining an image capture payload burst structure |
| US8866928B2 (en) | 2012-12-18 | 2014-10-21 | Google Inc. | Determining exposure times using split paxels |
| US9247152B2 (en) | 2012-12-20 | 2016-01-26 | Google Inc. | Determining image alignment failure |
| US9686537B2 (en) | 2013-02-05 | 2017-06-20 | Google Inc. | Noise models for image processing |
| US9117134B1 (en) | 2013-03-19 | 2015-08-25 | Google Inc. | Image merging with blending |
| US9066017B2 (en) | 2013-03-25 | 2015-06-23 | Google Inc. | Viewfinder display based on metering images |
| US9131201B1 (en) * | 2013-05-24 | 2015-09-08 | Google Inc. | Color correcting virtual long exposures with true long exposures |
| US9077913B2 (en) | 2013-05-24 | 2015-07-07 | Google Inc. | Simulating high dynamic range imaging with virtual long-exposure images |
| US9615012B2 (en) | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
| US9357136B2 (en) | 2014-02-04 | 2016-05-31 | Nokia Technologies Oy | Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications |
| US9483837B2 (en) * | 2014-03-14 | 2016-11-01 | Xerox Corporation | Compensating for motion during real-time batch processing of video for physiological function assessment |
| US9832379B1 (en) * | 2015-03-05 | 2017-11-28 | Amazon Technologies, Inc. | Discontinuous transmission of images |
| JP2017067954A (ja) * | 2015-09-29 | 2017-04-06 | オリンパス株式会社 | 撮像装置、及び撮像装置の像ブレ補正方法 |
| US10306148B2 (en) * | 2016-08-30 | 2019-05-28 | Microsoft Technology Licensing, Llc | Motion triggered gated imaging |
| CN109983758B (zh) * | 2016-12-02 | 2021-11-16 | 索尼半导体解决方案公司 | 成像元件、成像方法以及电子设备 |
| JP2018146672A (ja) * | 2017-03-02 | 2018-09-20 | キヤノン株式会社 | 撮像装置およびその制御方法、外付け装置 |
| WO2020021601A1 (ja) * | 2018-07-23 | 2020-01-30 | 三菱電機株式会社 | 画像補正装置及び画像補正方法 |
| JP2022501982A (ja) * | 2018-09-13 | 2022-01-06 | スペクトル オプティックス インコーポレイテッド | ニューラルネットワークを使用した写真の露出不足補正 |
| RU2717252C1 (ru) * | 2019-09-03 | 2020-03-19 | Владимир Эльич Пашковский | Устройство фиксации изображения длительной экспозиции |
| EP4138384A3 (en) * | 2021-08-16 | 2023-04-19 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, and storage medium |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4879600A (en) | 1987-03-27 | 1989-11-07 | Canon Kabushiki Kaisha | Image sensing apparatus with control for varying the readout methodology |
| US5379063A (en) * | 1991-04-24 | 1995-01-03 | Olympus Optical Co., Ltd. | Electronic still camera system compensating for image displacement |
| EP0611125B1 (en) * | 1993-02-12 | 2000-11-22 | Sony Corporation | Electronic zoom control and image stabilization |
| JPH06284328A (ja) * | 1993-03-29 | 1994-10-07 | Sharp Corp | 撮像装置 |
| JP2000023016A (ja) | 1998-06-29 | 2000-01-21 | Minolta Co Ltd | デジタルカメラ |
| US6639626B1 (en) | 1998-06-18 | 2003-10-28 | Minolta Co., Ltd. | Photographing apparatus with two image sensors of different size |
| JP2001045361A (ja) | 1999-07-30 | 2001-02-16 | Hitachi Ltd | 撮像装置 |
| JP3697983B2 (ja) | 1999-12-20 | 2005-09-21 | カシオ計算機株式会社 | 撮像装置及び撮像方法 |
-
2003
- 2003-02-14 JP JP2003036548A patent/JP3804617B2/ja not_active Expired - Fee Related
- 2003-05-28 US US10/446,195 patent/US7239342B2/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008529435A (ja) * | 2005-02-03 | 2008-07-31 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 高ダイナミックレンジ画像を複数回の露光により生成するための方法および装置 |
| JP2007295427A (ja) * | 2006-04-27 | 2007-11-08 | Seiko Epson Corp | 手ぶれ補正装置、撮影装置及び手ぶれ補正方法 |
| JP2009100417A (ja) * | 2007-10-19 | 2009-05-07 | Acutelogic Corp | 画像処理装置及び画像処理方法、画像処理プログラム |
| JP2009118434A (ja) * | 2007-11-09 | 2009-05-28 | Sanyo Electric Co Ltd | ぶれ補正装置及び撮像装置 |
| JP2010219797A (ja) * | 2009-03-16 | 2010-09-30 | Fujitsu Semiconductor Ltd | エッジ強調画像処理装置 |
| JP2010226481A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | 撮影装置 |
| JP2015534765A (ja) * | 2012-09-25 | 2015-12-03 | サムスン エレクトロニクス カンパニー リミテッド | 撮影イメージ生成方法及び装置 |
| WO2017090458A1 (ja) * | 2015-11-26 | 2017-06-01 | ソニー株式会社 | 撮影装置、および撮影方法、並びにプログラム |
| US10542217B2 (en) | 2015-11-26 | 2020-01-21 | Sony Semiconductor Solutions Corporation | Shooting device and shooting method to suppress blur in an image |
Also Published As
| Publication number | Publication date |
|---|---|
| US7239342B2 (en) | 2007-07-03 |
| JP3804617B2 (ja) | 2006-08-02 |
| US20040160525A1 (en) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3804617B2 (ja) | 画像処理装置及び方法 | |
| US8488019B2 (en) | Image-capturing device, image-capturing method and storage medium storing image-capturing program for generating a wide dynamic range image | |
| JP6343200B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| JP5806007B2 (ja) | 撮像装置 | |
| US7030911B1 (en) | Digital camera and exposure control method of digital camera | |
| JP2005191985A (ja) | デジタルカメラ | |
| JP5873380B2 (ja) | 画像処理装置およびその制御方法 | |
| JP2010093679A (ja) | 撮像装置及び撮像制御方法 | |
| JP2004023747A (ja) | 電子カメラ | |
| JP2008160291A (ja) | 画像信号処理装置、画像信号処理プログラム及び撮像装置 | |
| JP2007049320A (ja) | 電子カメラ | |
| JP2004328460A (ja) | ホワイトバランス調整方法および電子カメラ | |
| JP2006287814A (ja) | 撮像装置及び動きベクトル決定方法 | |
| JP4061645B2 (ja) | 電子カメラ | |
| JP2004096392A (ja) | デジタルカメラ | |
| JP2013085040A (ja) | 画像処理装置 | |
| JP2009118052A (ja) | 画像信号処理方法及び装置 | |
| JP3864407B2 (ja) | デジタルカメラ | |
| JP2004245923A (ja) | オートブラケティング撮影方法 | |
| JP2008182486A (ja) | 撮影装置及び画像処理方法 | |
| JP3947912B2 (ja) | 画像信号処理装置 | |
| JP5268823B2 (ja) | 撮像装置及び撮像方法 | |
| JP2004343177A (ja) | 撮像装置 | |
| JP2012044377A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
| JP2004120511A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050603 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060501 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| LAPS | Cancellation because of no payment of annual fees |