JP2010141657A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】手ぶれを効果的に抑制した画像を得ることを可能とする撮像装置や、その撮像方法を提供することを目的とする。
【解決手段】撮像装置は、第１画像の撮像（ＳＴＥＰ６）及び第２画像の撮像（ＳＴＥＰ７）を行い、合成することによって合成画像を生成する。第２画像は、第１画像よりも露光時間が長いものとなる。そして、第１画像を第２画像に先立って撮像することにより、第１期間の撮像が、撮像開始指示が入力されてから（ＳＴＥＰ４）長時間経過後の手ぶれ増大期間中に撮像されることを抑制する。また、第１画像の撮像をする前に撮像待機時間が経過するのを待つことで（ＳＴＥＰ５）、手ぶれが特に小さい期間中に第１画像の撮像を行うことが可能となる。
【選択図】図６

Description

本発明は、撮像して画像を得るとともに当該画像に電子式の手ぶれ補正処理を施す撮像装置や、その撮像方法に関する。

近年、デジタルカメラに代表される静止画を撮像可能な撮像装置において、撮像時の撮像装置のぶれ（いわゆる、手ぶれ）を補正するものが広く用いられている。例えば、レンズなどの光学系を駆動させて、撮像装置に入射される光学像自体を補正する光学式の補正処理や、撮像して得られた画像を補正する電子式の補正処理を行うものがある。特に、電子式の補正処理を行う撮像装置は、ぶれを検出するセンサや駆動機構を不要として小型化を図ることができるため、注目されている。

電子式の手ぶれ補正処理の一つとして、合成式の手ぶれ補正処理がある。合成式の手ぶれ補正処理とは、複数の画像を合成して手ぶれを低減した画像を得る処理である。本補正処理では、露光時間を長くして撮像した画像（以下、第２画像とする）と、露光時間を短くして撮像した画像（以下、第１画像とする）と、を合成することにより手ぶれを抑制する（特許文献１〜３参照）。

第２画像は、手ぶれが含まれるがノイズが少ない画像となる。一方、第１画像は、手ぶれが小さい画像となるがノイズが多くなる。そのため、これらの画像を合成することにより、手ぶれ及びノイズを抑制した画像が得られる。

特開２００１−３４６０９３号公報 特開２００７−１５０８０２号公報 特開２００７−３２４７７０号公報

しかしながら、場合によっては第１画像にまで手ぶれが多く含まれる場合が生じ得る。例えば、焦点距離が長い（光学ズーム倍率が大きい）場合や、被写体が暗く第２画像だけでなく第１画像の露光時間までも長くせざるを得ない場合などに生じやすい。このように、第１画像に含まれる手ぶれが大きくなると、合成後の画像の手ぶれも大きくなり、手ぶれを十分に抑制することができなくなるため問題となる。

そこで、本発明は、手ぶれを効果的に抑制した画像を得ることを可能とする撮像装置や、その撮像方法を提供することを目的とする。

上記目的を達成するために、本発明における撮像装置は、撮像によって画像を得る撮像部と、当該撮像部で得られた第１画像及び第２画像を合成して合成画像を生成する合成処理部と、を備える撮像装置において、前記撮像部の撮像タイミングを制御する制御部を備え、前記第１画像の撮像時の露光時間が、前記第２画像の撮像時の露光時間よりも短いものであり、前記撮像部が前記第１画像を撮像した後に前記第２画像を撮像するように、前記制御部が前記撮像部を制御することを特徴とする。

なお、以下に記載する撮像装置の実施形態においては、制御部の一例としてＣＰＵ（Central Processing Unit）を挙げて説明している。

また、上記構成の撮像装置において、前記制御部が、前記撮像装置に撮像を行う指示が入力されたことを検出した後、所定の時間である撮像待機時間の経過を待った直後に前記第１画像の撮像が開始されるように、前記撮像部を制御することとしても構わない。

このように構成すると、手ぶれが小さくなる期間を待って、第１画像の撮像を開始することが可能となる。そのため、第１画像に含まれる手ぶれを抑制して、合成画像に含まれる手ぶれを効果的に抑制することが可能となる。

また、上記構成の撮像装置において、前記撮像待機時間が、前記撮像装置の構造的特徴に基づいて設定されるものであり、前記撮像装置に撮像を行う指示が入力されてから、前記撮像装置に生じる動きが所定の大きさよりも小さくなる期間までの時間であることとしても構わない。

このように構成すると、予め撮像待機時間を設定することが可能となるため、撮像装置に手ぶれを検出する装置を備える必要がなくなる。そのため、撮像装置の小型化を図ることが可能となる。また、撮像装置のコストダウンを図ることが可能となる。なお、構造的特徴とは、例えば、撮像装置の形状や重量などである。

また、上記構成の撮像装置において、前記撮像待機時間が、前記撮像部の撮像条件によって設定される閾値よりも短い場合、前記撮像待機時間が０となることとしても構わない。

このように構成すると、可能な限り第１画像の撮像を早くすることが可能となる。そのため、シャッターチャンスを逃したり、得られた画像が所望の構図からずれたものとなったり、撮像開始指示が正しく入力されたか否かをユーザが不審に思ったりするなど、撮像装置の操作性が悪化することを抑制することが可能となる。

また、上記構成の撮像装置において、前記閾値が、手ぶれ限界露光時間に基づいて設定されることとしても構わない。また、前記閾値が、手ぶれ限界露光時間のｋ倍（ｋ＜１）であっても構わない。

また、本発明の撮像方法は、撮像によって第１画像を得る第１画像生成ステップと、撮像によって第２画像を得る第２画像生成ステップと、前記第１画像生成ステップで得られる前記第１画像と、前記第２ステップで得られる前記第２画像と、を合成して合成画像を生成する合成ステップと、を備え、前記第１画像生成ステップで行われる撮像の露光時間が、前記第２画像生成ステップで行われる撮像の露光時間よりも短いものであり、前記第１画像生成ステップが、前記第２画像生成ステップよりも先に行われることを特徴とする。

また、上記構成の撮像方法において、撮像を行う指示が入力されたことを検出する検出ステップと、前記検出ステップの後、所定の時間である撮像待機時間の経過を待つ待機ステップと、を備え、前記第１画像生成ステップが、前記待機ステップの直後に開始されることとしても構わない。

本発明の構成とすると、第１画像の撮像が、露光時間の長い第２画像の撮像に先立って行われることとなる。そのため、ユーザが撮像開始の指示を入力した後、比較的早い時間に第１画像の撮像を行うことが可能となる。そのため、撮像開始の指示の入力から長時間経過後の手ぶれが増大しやすくなる期間に第１画像が撮像されることを確実に抑制することが可能となる。したがって、合成画像に手ぶれが含まれることを効果的に抑制することが可能となる。

以下、本発明における撮像装置や撮像方法の実施形態について、図面を参照して説明する。最初に、撮像装置の基本構成及び基本動作について説明する。なお、以下では、動画像及び静止画像を撮像可能な撮像装置について説明する。また、本発明の撮像装置及び撮像方法におけるノイズ低減処理は、基本的に静止画像に対して適用されるものであるが、可能であれば動画像に適用しても構わないものとする。

＜＜撮像装置＞＞
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに光量などの調整を行うレンズ部４と、を備えた撮像部２を備える。

さらに、撮像装置１は、イメージセンサ３から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、入力される音声を電気信号に変換する集音部７と、集音部７から出力されるアナログの音声信号をデジタル信号に変換するとともに音声信号にノイズ除去などの各種音声処理を施す音声処理部８と、画像処理部６から出力される画像信号と音声処理部８から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示部（不図示）で表示するためにアナログ信号に変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声信号をスピーカなどの再生部（不図示）で再生するためにアナログ信号に変換する音声出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（制御部）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス回線１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、を備える。

また、画像処理部６は、入力される複数の画像信号を合成して一つの画像信号として出力する合成処理部６０を備える。なお、合成処理部６０の構成についての詳細は後述する。

なお、動画と静止画の画像信号を作成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ作成可能であっても構わない。この場合、集音部７や音声処理部８、音声出力回路部１４などを備えない構成としても構わない。

また、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部４より入射される光をイメージセンサ３において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ３は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ５に画像信号を出力する。

そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部４において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたり、イメージセンサ３の感度（例えば、ＩＳＯ（International Organization for Standardization）感度）の調整が行われたりする。このフォーカスや露出、感度の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、画像処理部６は、合成処理部６０において複数の画像の合成を行う。なお、合成処理部６０の動作の詳細については後述する。

動画の画像信号を作成する場合、集音部７において集音を行う。集音部７で集音されて電気信号に変換される音声信号は、音声処理部８に入力される。音声処理部８は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの各種音声処理を施す。そして、画像処理部６から出力される画像信号と、音声処理部８から出力される音声信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を作成する場合、画像処理部６から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１３、音声信号を音声出力回路部１４にそれぞれ出力する。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

一方、外部メモリ１０に記録された静止画の圧縮符号化信号は、伸長処理部１２に入力されて画像信号が生成される。そして、この画像信号は画像出力回路部１３に出力され、画像出力回路部１３において表示装置で再生可能な形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

＜＜合成処理部＞＞
次に、図１に示した画像処理部６に備えられる合成処理部の構成例について図面を参照して説明する。また、以下の説明において、合成処理部６０で合成される２つの画像信号のうち、露光時間が長い方を「第２画像」、露光時間が短い方を「第１画像」とする。また、合成後の画像信号を「合成画像」とする。なお、以下では説明の具体化のために、これらの画像信号を画像として表現することとする。また、以下に示す構成例は一例に過ぎず、第２画像及び第１画像を合成して合成画像を生成するものであれば、どのような構成であっても構わないものとする。

図２は、本発明の実施形態における撮像装置の合成処理部の構成例について示すブロック図である。図２に示すように、合成処理部６０は、第１画像に基づいて第２画像の位置ずれの補正を行う位置ずれ補正部６１と、第１画像の空間周波数のうち所定の周波数以上の高周波成分を濾波して第３画像を作成し出力するＬＰＦ（Low Pass Filter）部６２と、位置ずれの補正が行われた第２画像と第３画像との差分を求めて差分値を算出する差分値算出部６３と、第３画像と位置ずれ補正部６１によって位置ずれの補正が行われた第２画像とを差分値に基づいて合成して第４画像を出力する第１合成部６４と、第３画像からエッジ（例えば、物体の輪郭）を抽出してエッジ強度値を算出するエッジ強度値算出部６５と、第１画像と第４画像とをエッジ強度値に基づいて合成して合成画像を作成し出力する第２合成部６６と、を備える。

第１画像を撮像する際の露光時間は、例えば、手ぶれ限界露光時間（焦点距離ｆ［ｍｍ］である場合の１／ｆ［ｓｅｃ］であり、手ぶれが発生しにくい目安となる時間、ｆは３５ｍｍフィルム換算した値）以下の短い時間とすると好適である。また、第２画像を撮像する際の露光時間は、少なくとも第１画像を撮像する際の露光時間よりも長いものとする。例えば、適正露光時間（撮像部２で生成される画像の明るさが適正となる露光時間）で撮像を行うこととしても構わない。なお、適正露光時間が、焦点距離、絞り値または感度、露出値（被写体の明るさを示す値）などの各値に応じて、所定の関係を満たすように自動的に設定されることとしても構わない。

次に、合成処理部６０の動作について、図面を参照して説明する。図２に示すように、最初に、撮像部２が撮像することによって得られる第２画像及び第１画像が、合成処理部６０に入力される。上述のように、第２画像は、第１画像よりも露光時間を長くして撮像された画像となる。このとき、第１画像を撮像する際のイメージセンサ３の感度を、第２画像を撮像する際のイメージセンサ３の感度よりも大きくする。さらに、露光時間と感度とを設定することにより、第１画像と第２画像との明るさが略等しくなるように調整する。

第１画像と第２画像とが撮像されるタイミングは、ＣＰＵ１５によって制御される。なお、第１画像と第２画像とが撮像されるタイミングの詳細については、後述する。

第１画像は、露光時間が短いものとなるため、手ぶれが抑制された画像となる。そのため、エッジが明瞭な画像となる。ただし、イメージセンサ３の感度を大きくするため、ノイズが多く含まれる画像となりやすい。

これに対して第２画像は、第１画像よりも露光時間が長くなるとともにイメージセンサ３の感度が小さく設定される。そのため、ノイズが抑制された画像となる。ただし、露光時間を長くするため、手ぶれが生じやすい画像となる。そのため、エッジが不明瞭な画像になりやすい。

第１画像及び第２画像は、基本的には連続的に撮像されて生成されるため、略等しい構図となる。しかしながら、完全に同時には撮像されないため、構図がわずかにずれることがある。そのため、位置ずれ補正部６１が、第１画像と第２画像との位置ずれを補正する。

位置ずれ補正部６１は、例えば第２画像と第１画像とが略等しくなる部分を探索することにより、「ずれ」を検出する。そして、得られた「ずれ」に基づいて、第２画像の画素の座標を変換することにより、等しい対象物を示した画素の座標が第１画像と第２画像とで略等しくなるように補正を行う。即ち、第１画像の画素と第２画像の画素とを対応させる処理を行う。

第１画像と第２画像とが略等しくなる部分を探索する方法として、例えば、オプティカルフローを求める種々の方法や、代表点マッチングなどの方法を採用することができる。ここで、探索方法の一例として、オプティカルフローを求める方法であるブロックマッチング法を採用する場合について図３を用いて説明する。図３は、ブロックマッチング法について説明する模式図である。

図３（ａ）において、符号１００は第１画像を表し、符号１０１は第１画像において着目した着目ブロックを表す。図３（ｂ）において、符号１１０は第２画像を表し、符号１１１は第２画像において着目した候補ブロックを表す。また、符号１１２は候補ブロック１１１が位置し得る探索ブロックを表す。

位置ずれ補正部６１は、着目ブロック１０１と候補ブロック１１１との間の相関値を算出する。この際、候補ブロック１１１は、探索ブロック１１２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動のたびに相関値が算出される。相関値は、例えば、着目ブロック１０１と候補ブロック１１１との間における、各画素の輝度差の絶対値の総和とすることができる。この相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。なお、相関値として輝度差の２乗和（Sum of Squared Difference)を用いても構わない。

相関値は、着目ブロック１０１の画像と候補ブロック１１１の画像との間の相関が高いほど小さくなる。したがって、相関値が最も小さくなる候補ブロック１１１の位置を求めれば、着目ブロック１０１と略等しい画像を示すブロックが、第２画像内のどこに位置しているかを求めることができるとともに、第１画像と第２画像との間の着目ブロック１０１の動きベクトル（オプティカルフロー、第１画像と第２画像との位置ずれの方向及び大きさ）が求められる。そして、得られた動きベクトルに基づいて「ずれ」を求めることができる。

また、ＬＰＦ部６２は、第１画像のＬＰＦ処理を行うことで、第３画像を生成する。ＬＰＦ部６２は、第１画像の空間周波数が高い部分の濾波（即ち、ノイズの抑制）を行う。ＬＰＦ部６２は、ノイズが抑制されるとともにエッジが極端に不明瞭にならない程度（特に、後述するエッジ強度値算出部６５でエッジが明瞭に抽出される程度）のカットオフ周波数となるように設定される。

そして、差分値算出部６３が、第２画像と第３画像との差分処理を行い、差分値を算出する。差分値とは、二つ画像中の対応する画素の色や明るさの差を示す値であり、画素（ｘ，ｙ）の差分値を差分値Ｄ（ｘ，ｙ）で表すこととする。例えば、下記式（１）を用いて、差分値Ｄ（ｘ，ｙ）を求めることができる。なお、ｘが画像の水平方向の位置（座標）を表し、ｙが画像の垂直方向の位置（座標）を表すものとする。

上記式（１）において、Ｐ２（ｘ，ｙ）は、第２画像の画素（ｘ，ｙ）の信号値を示すものである。また、Ｐ３（ｘ，ｙ）は、第３画像の画素（ｘ，ｙ）の信号値を示すものである。そして、Ｄ（ｘ，ｙ）は、上述のようにこれらの信号値から得られる差分値を示すものである。

具体的に例えば、以下の式（１ａ）に基づいて差分値Ｄ（ｘ，ｙ）を求めても構わない。式（１ａ）は、式（１）における画素（ｘ，ｙ）の信号値Ｐ２（ｘ，ｙ），Ｐ３（ｘ，ｙ）として、ＲＧＢから成る信号値を用いた場合について示すものである。また、式（１ａ）では、第２画像の画素（ｘ，ｙ）の信号値のＲＧＢ各成分の値をＰ２_R（ｘ，ｙ），Ｐ２_G（ｘ，ｙ），Ｐ２_B（ｘ，ｙ）として表し、第３画像の画素（ｘ，ｙ）の信号値のＲＧＢ各成分の値をＰ３_R（ｘ，ｙ），Ｐ３_G（ｘ，ｙ），Ｐ３_B（ｘ，ｙ）として表している。なお、式（１ａ）に示す算出方法では、ＲＧＢ各成分の差の絶対値をそれぞれ求め、これらの絶対値の和の値を差分値Ｄ（ｘ，ｙ）としている。

また例えば、以下の式（１ｂ）に基づいて差分値Ｄ（ｘ，ｙ）を求めても構わない。式（１ｂ）においても、式（１ａ）と同様にＲＧＢから成る信号値を用いた場合について示すものとし、式（１ａ）と同様の方法でそれぞれの信号値のそれぞれの成分の値を表すこととする。式（１ｂ）では、ＲＧＢ各成分の差を２乗し、これらの和を１／２乗した値を差分値Ｄ（ｘ，ｙ）としている。

上記式（１），（１ａ）及び（１ｂ）の各算出方法は一例に過ぎず、他の方法を用いて差分値Ｄ（ｘ，ｙ）を求めても構わない。また、ＲＧＢの代わりにＹＵＶの値を用い、ＲＧＢを用いる場合と同様の方法で（ＲＧＢをＹＵＶでそれぞれ置き換えて）差分値Ｄ（ｘ，ｙ）を算出しても構わない。さらに、第２画像及び第３画像の信号値のＹ成分にのみに基づいて差分値Ｄ（ｘ，ｙ）を算出しても構わない。

また、第１合成部６４は、第２画像と第３画像との合成を行い、第４画像を生成する。例えば第２画像と第３画像とを加重加算することによって、合成を行う。加重加算によって合成を行う場合の一例について、図４を用いて説明する。図４は、第１合成部による合成方法の一例を示すグラフである。

図４に示すように、本例の方法では、差分値Ｄ（ｘ，ｙ）に基づいて混合率α（ｘ，ｙ）を設定し、この混合率α（ｘ，ｙ）にしたがって加重加算を行う。具体的には、下記式（２）によって、第２画像と第３画像とを合成する。

混合率α（ｘ，ｙ）は、第２画像の（ｘ，ｙ）の位置における画素の信号値Ｐ２（ｘ，ｙ）と、第３画像の（ｘ，ｙ）の位置における画素の信号値Ｐ３（ｘ，ｙ）と、を加重加算する際に用いる加算割合（合成比率）を示すものである。また、混合率α（ｘ，ｙ）は第２画像の加算割合について示すものであり、第３画像の加算割合は１−α（ｘ，ｙ）となる。

混合率α（ｘ，ｙ）は、差分値Ｄ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌよりも小さければ１とし、差分値Ｄ（ｘ，ｙ）が閾値Ｔｈ１＿Ｈ以上であれば０とする。また、差分値Ｄ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌ以上であり閾値Ｔｈ１＿Ｈよりも小さければ、１−（Ｄ（ｘ，ｙ）−Ｔｈ１＿Ｌ）／（Ｔｈ１＿Ｈ−Ｔｈ１＿Ｌ）とする。即ち、差分値Ｄ（ｘ，ｙ）の値を閾値Ｔｈ１＿Ｌから閾値Ｔｈ１＿Ｈに増大させると、混合率α（ｘ，ｙ）は、１から０へと線形に減少することとなる。なお、非線形に減少させても構わないが、単調減少するものとすると好ましい。

そして、上記式（２）に示す加重加算を行うことにより、第４画像の（ｘ，ｙ）の位置における画素の信号値Ｐ４（ｘ，ｙ）を得る。なお、第２画像及び第３画像の画素の信号値Ｐ２（ｘ，ｙ），Ｐ３（ｘ，ｙ）としてＹＵＶから成る信号値を用いる場合、ＹＵＶの成分毎に算出して第４画像の画素の信号値Ｐ４（ｘ，ｙ）を得ることとしても構わない。また、ＹＵＶから成る信号値の代わりにＲＧＢから成る信号値を用いても構わない。

また、エッジ強度値算出部６５は、第３画像のエッジ抽出処理を行い、エッジ強度値を算出する。エッジ強度値とは、画素の変化量（周囲の画素との変化量）を示す値である。ここで、画素（ｘ，ｙ）におけるエッジ強度値をＥ（ｘ，ｙ）で表す。例えば、下記式（３）を用いて、画素（ｘ，ｙ）におけるエッジ強度値Ｅ（ｘ，ｙ）を求めることができる。

上記式（３）において、Ｐ３_Y（ｘ，ｙ）は、第３画像の画素（ｘ，ｙ）の信号値のＹ成分の値を示すものである。なお、画素の信号値としてＲＧＢの信号値を用いる場合、ＲＧＢの各成分を用いてＹ成分に相当する値を算出し、この値を用いることとしても構わない。

また、Ｆｘ（ｉ，ｊ）及びＦｙ（ｉ，ｊ）は、それぞれエッジを抽出するためのフィルタを示すものとする。換言すると、画像中の輪郭を強調するフィルタを示すものである。このようなフィルタとして、例えば、ソーベルフィルタやプレウィットフィルタなどの微分フィルタを適用することができる。また、上記式（３）では一例として、３×３のフィルタを適用する場合について示している。また、Ｆｘ（ｉ，ｊ）は、ｘ方向（水平方向）のエッジを抽出するためのフィルタであり、Ｆｙ（ｉ，ｊ）は、ｙ方向（垂直方向）のエッジを抽出するためのフィルタであるものとする。

エッジを抽出するフィルタとしてプレウィットフィルタを用いる場合、Ｆｘ（ｉ，ｊ）を、Ｆｘ（−１，−１）＝Ｆｘ（−１，０）＝Ｆｘ（−１，１）＝−１、Ｆｘ（０，−１）＝Ｆｘ（０，０）＝Ｆｘ（０，１）＝１、Ｆｘ（１，−１）＝Ｆｘ（１，０）＝Ｆｘ（１，１）＝１としても構わない。また、Ｆｙ（ｉ，ｊ）を、Ｆｙ（−１，−１）＝Ｆｙ（０，−１）＝Ｆｙ（１，−１）＝−１、Ｆｙ（−１，０）＝Ｆｙ（０，０）＝Ｆｙ（１，０）＝０、Ｆｙ（−１，１）＝Ｆｙ（０，１）＝Ｆｙ（１，１）＝１としても構わない。

以上のような３×３のフィルタＦｘ（ｉ，ｊ）と第３画像の画素（ｘ，ｙ）を中心とした３×３の領域におけるＹ成分とをそれぞれ積算するとともに合算した値の絶対値と、３×３のフィルタＦｙ（ｉ，ｊ）と第３画像の画素（ｘ，ｙ）を中心とした３×３の領域におけるＹ成分とをそれぞれ積算するとともに合算した値の絶対値と、の和を求めることにより、上記式（３）に示すような画素（ｘ，ｙ）のエッジ強度値Ｅ（ｘ，ｙ）を求めることができる。なお、上記式（３）に示す方法は一例に過ぎず、他の方法を用いてエッジ強度値Ｅ（ｘ，ｙ）を求めても構わない。

そして最後に、第２合成部６６が第１画像と第４画像との合成を行い、合成画像を生成する。このとき、例えば第１画像と第４画像とを加重加算することによって、合成を行う。加重加算によって合成を行う場合の一例について、図５を用いて説明する。図５は、第２合成部による合成方法の一例を示すグラフである。

図５に示すように、本例の方法では、エッジ強度値Ｅ（ｘ，ｙ）に基づいて混合率β（ｘ，ｙ）を設定し、この混合率β（ｘ，ｙ）にしたがって加重加算を行う。具体的には、下記式（４）によって、第１画像と第４画像とを合成する。

混合率β（ｘ，ｙ）は、第１画像の（ｘ，ｙ）の位置における画素の信号値Ｐ１（ｘ，ｙ）と、第４画像の（ｘ，ｙ）の位置における画素の信号値Ｐ４（ｘ，ｙ）と、を加重加算する際に用いる加算割合（合成比率）を示すものである。また、混合率β（ｘ，ｙ）は第１画像の加算割合について示すものであり、第４画像の加算割合は１−β（ｘ，ｙ）となる。

混合率β（ｘ，ｙ）は、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌよりも小さければ０とし、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｈ以上であれば１とする。また、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌ以上であり閾値Ｔｈ２＿Ｈよりも小さければ、（Ｅ（ｘ，ｙ）−Ｔｈ２＿Ｌ）／（Ｔｈ２＿Ｈ−Ｔｈ１＿Ｌ）とする。即ち、エッジ強度値Ｅ（ｘ，ｙ）の値を閾値Ｔｈ２＿Ｌから閾値Ｔｈ２＿Ｈに増大させると、混合率β（ｘ，ｙ）は、０から１へと線形に増加することとなる。なお、非線形に増加させても構わないが、単調増加するものとすると好ましい。

そして、上記式（４）に示す加重加算を行うことにより、合成画像の（ｘ，ｙ）の位置における画素の信号値Ｐ（ｘ，ｙ）を得る。なお、第１画像及び第４画像の画素の信号値Ｐ１（ｘ，ｙ），Ｐ４（ｘ，ｙ）としてＹＵＶから成る信号値を用いる場合、ＹＵＶの成分毎に算出して合成画像の画素の信号値Ｐ（ｘ，ｙ）を得ることとしても構わない。また、ＹＵＶから成る信号値の代わりにＲＧＢから成る信号値を用いても構わない。

合成処理部６０を以上のように構成することによって、第１画像の明瞭なエッジと、第２画像の少ないノイズと、の双方の特長を効果的に合成した合成画像を得ることが可能となる。

具体的には、第２画像と第３画像とから得られる差分値を用いて、第２画像及び第３画像の合成を行うため、第２画像の被写体ぶれ（露光時間中に被写体が動くことによって発生するぶれ）や第１画像のノイズが第４画像に反映されることを抑制することができる。また、第３画像から得られるエッジ強度値を用いて第１画像及び第４画像の合成を行うため、手ぶれが少なく明瞭となる第１画像のエッジを効果的に合成画像に反映させるとともに、第１画像のノイズが合成画像に反映されることを抑制することが可能となる。したがって、合成画像を、手ぶれ及び被写体ぶれが抑制されてエッジが明瞭であるものにするとともに、ノイズが少ないものにすることが可能となる。

また、エッジ強度値を算出するために、第１画像をＬＰＦ処理した第３画像を用いるため、第１画像に含まれるノイズによってエッジ強度値Ｅ（ｘ，ｙ）がエッジ以外で大きくなることを抑制することが可能となる。

なお、上述した合成処理部６０の構成は一例に過ぎず、他の構成であっても構わないものとする。例えば、第３画像や第４画像などの中間的な画像（即ち、第１画像や第２画像を変形して生成される画像）を生成しないこととして、第１画像及び第２画像が直接的に合成される構成としても構わない。

＜＜撮像部の制御例＞＞
次に、第１画像及び第２画像を撮像する際の撮像装置１の動作例、即ち、ＣＰＵ１５による撮像装置１の制御例について図面を参照して説明する。図６は、本発明の実施形態における撮像装置の動作例を示すフローチャートである。

図６に示すように、第１画像及び第２画像の撮像に先立ち、ユーザから撮像条件を設定する指示が入力される（ＳＴＥＰ１）。例えば、図１の操作部１７の一部であるシャッタボタンが半押しされることなどによって、この指示が撮像装置１に入力される。なお、このとき表示部などに撮像装置１に入力されている画像を表示する、プレビューを行うこととしても構わない。この場合、ユーザは表示部に表示される画像を見ることによって生成しようとする画像の構図を確認し、それによって撮像条件の設定指示を撮像装置１に入力する。

撮像条件の設定指示が入力されると、撮像装置１に入力されている画像に基づいて、第２画像の撮像条件が設定される（ＳＴＥＰ２）。例えば、上述のように画像処理部６によって画像が確認されることによって、フォーカスや露出、ホワイトバランスなどが制御される。また、このとき第２画像を撮像する際の条件が設定される。特に、フォーカスや露出値などに基づいて、第２画像の撮像時の感度である第２感度や、第２画像の撮像時の露光時間である第２露光時間が設定される。なお、第２露光時間を、上記のように適正露光時間としても構わない。

次に、ＳＴＥＰ２で設定された第２画像の撮像条件に基づいて、第１画像の撮像条件が設定される（ＳＴＥＰ３）。このとき、第１画像の撮像条件として、第１画像の撮像時の露光時間である第１露光時間や、第１画像の撮像時の感度である第１感度が設定される。第１露光時間は、第２露光時間よりも短いものとして、第１画像に手ぶれが含まれることを抑制する。また、第２感度は、第１感度よりも大きいものとして、第１画像及び第２画像の明るさが略等しくなるようにする。例えば、第２露光時間を、第１露光時間の１／４として設定する場合、第２感度を第１感度の４倍とする。即ち、露光時間と感度との積が一定となるようにする。

さらに、ＳＴＥＰ３では、撮像開始の指示が入力されてから第１画像の撮像を開始するまでの時間（以下、撮像待機時間とする）の設定も行う。この撮像待機時間の詳細については、後述する。

ＳＴＥＰ３で第１画像の撮像条件を設定した後、ユーザから撮像を開始する指示（以下、撮像開始指示とする）が入力される（ＳＴＥＰ４）。例えば、図１の操作部１７の一部であるシャッタボタンが全押しされることなどによって、この撮像開始指示が撮像装置１に入力される。

撮像装置１は、第１画像、第２画像の順に撮像を行う。このとき撮像装置１は、ＳＴＥＰ４の撮像指示が入力されてから、撮像待機時間の経過を待った後に（ＳＴＥＰ５）、第１画像の撮像を開始する（ＳＴＥＰ６）。そして、第１画像の撮像が終了したら、連続的に第２画像の撮像を行い（ＳＴＥＰ７）、撮像を終了する。

（撮像待機時間）
ＳＴＥＰ５の撮像待機時間について図面を参照して説明する。図７は、撮像開始指示が入力されてから撮像装置に生じる手ぶれの一例を示すグラフである。なお、図７のグラフは、ある撮像装置１をユーザが使用した場合に生じる手ぶれの時間的な変動を示すものであり、実験的に求められるものである。なお、以下ではこのグラフによって示されるある撮像装置１特有の手ぶれの発生パターンを、手ぶれ傾向とも呼ぶこととする。

図７のグラフでは、時間０の時点を撮像開始指示が入力された時点としている。また、手ぶれの大きさを角速度で示しており、ヨー方向の角速度を破線、ピッチ方向の角速度を一点鎖線、ロール方向の角速度を細線、これらの角速度の平均値を太線で示している。

ヨー、ピッチ及びロールの各方向について、図８を参照して説明する。図８は、ヨー、ピッチ及びロールの各方向について示す撮像装置の斜視図である。図８では、光軸Ｏが水平面に対して略平行であるものとし、水平面と略垂直な軸を垂直軸Ｖ、光軸Ｏ及び垂直軸Ｖと略垂直な軸を水平軸Ｈとしている。垂直軸Ｖを中心とした回転方向をヨー方向、水平軸Ｈを中心とした回転方向をピッチ方向、光軸Ｏを中心とした回転方向をロール方向とする。なお、それぞれの方向の各速度は、撮像装置１の右回り方向（図中の矢印方向）となる方向を正とする。

図７に示すように、撮像開始指示が入力された直後は、各方向の手ぶれが大きいものとなる。例えば、撮像開始指示を入力するためユーザがシャッタボタンを全押しするなどの動作によって、撮像装置１全体が動くことによりこの手ぶれが生じる（例えば、０〜０．０８秒の期間）。また、さらに時間が経過すると、例えばユーザがシャッタボタンを離す反動や、ユーザの撮像装置１を把持する緊張感が次第に低下するなどの要因により、次第に手ぶれが大きくなる（例えば、０．１３秒以降の期間：以下、手ぶれ増大期間と呼ぶ）。

本実施形態の撮像装置１では、露光時間が長い第２画像を撮像する前に、第１画像の撮像を行う。これによって、第１画像の撮像を手ぶれ増大期間の前に行う。

また、図７の手ぶれの傾向が得られる撮像装置１においては、手ぶれ増大期間の前の全体的に手ぶれが小さくなる期間（例えば、０．０８〜０．１３秒の期間であれば、手ぶれの平均値の絶対値が０．５以下となる）に、第１画像を撮像するとさらに好ましい。そのため、図７に示す場合では、撮像待機時間を約０．８秒に設定する。なお、特に低減したい方向があれば、その方向の手ぶれが小さくなる期間に応じて撮像待機時間を設定しても構わない。例えば、図７に示す場合であって、撮像後の画像の補正が特に困難であるロール方向の手ぶれを極力抑制したいと考える場合、撮像待機時間を約０・１秒に設定すると好ましい。

第２画像の撮像開始は、第１画像の撮像が終わった直後とする。即ち、第１画像の撮像を行い、撮像部２が次の画像を撮像する準備ができたときに、第２画像の撮像を開始する。これにより、可能な限り待ち時間を抑制して、第１画像及び第２画像のずれを抑制することが可能となる。

以上のように構成すると、露光時間の短い第１画像の撮像が、露光時間の長い第２画像の撮像に先立って行われるようになる。そのため、第１画像の撮像が、手ぶれ増大期間内に行われることを確実に抑制することが可能となる。したがって、第１画像に含まれる手ぶれを抑制し、合成画像に含まれる手ぶれを効果的に抑制することが可能となる。

さらに、撮像待機時間を設けることによって、特に手ぶれが小さくなる期間（例えば、図７の０．０８〜０．１３秒の期間）に第１画像の撮像を行うことが可能となる。そのため、第１画像に手ぶれが含まれることを抑制し、合成画像に含まれる手ぶれをより効果的に抑制することが可能となる。

また、撮像装置の形状や重量など、撮像装置の構造的特徴に起因する手ぶれ傾向を求めて撮像待機時間を設定するため、撮像装置に手ぶれを検出する装置（例えば、角速度センサ）を備える必要がなくなる。そのため、撮像装置の小型化をはかることが可能となる。また、撮像装置のコストダウンを図ることが可能となる。

なお、図７に示される手ぶれ傾向は一例に過ぎない。手ぶれ傾向は、撮像装置の形状（ユーザが把持する部分の形状やシャッタボタンの配置、レンズ（光軸）の位置など）や重量などの撮像装置の構造的特徴によって異なるものとなる。したがって、撮像装置のモデル毎に予め（例えば出荷前に）実験的に手ぶれ傾向を求め、それぞれのモデルに対して撮像待機時間を設定することとすると好ましい。

図９に、撮像装置の形状の差異の代表的なものを示す。図９（ａ）は、撮像装置の型の差異について示したものである。左方に示すような片手で把持するグリップ部Ｇを備える撮像装置を縦型、右方に示すような全体を両手で把持する撮像装置を横型とする。図９（ｂ）は、縦側の撮像装置のグリップ部Ｇの形状の差異について示したものである。左方の撮像装置のグリップ部Ｇは、撮像方向と略垂直な方向に突出するとともに、突出した下方ほど撮像方向の反対方向に向かうように傾斜している。一方、右方の撮像装置のグリップ部Ｇは、撮像方向と垂直となる方向に突出するのみの形状となっている。図９（ｃ）は、縦型の撮像装置のシャッタボタンの配置の差異について示したものである。左方の撮像装置のシャッタボタンＳは、光軸Ｏ上に備えられている。一方、右方の撮像装置のシャッタボタンＳは、光軸Ｏからずれた位置（光軸Ｏの上方）に備えられている。

例えばこれらの差異によって、撮像装置の手ぶれ傾向は異なる。例えば、手ぶれが大きくなる時間や方向などが、それぞれの撮像装置において異なるものとなる。

また、設定された第１露光時間が、所定の目安時間（例えば、手ぶれ限界露光時間）よりも極端に短い場合、即ち、第１露光時間≦目安時間×ｋを満たす場合に、第１画像に手ぶれが含まれにくいと判定しても構わない（ただし、ｋ＜１）。そしてこのとき、撮像待機時間を０としても構わない。

このように構成すると、第１画像に含まれる手ぶれが小さいことが見込まれる場合に、可能な限り第１画像の撮像を早くすることが可能となる。そのため、シャッターチャンスを逃したり、得られた画像が所望の構図からずれたものとなったり、撮像開始指示が正しく入力されたか否かをユーザが不審に思ったりするなど、撮像装置の操作性が悪化することを抑制することが可能となる。

また、撮像装置の性能やその手ぶれ傾向によっては、撮像開始指示が入力された直後から第１画像の撮像を開始しようとしても、第１画像の撮像の開始時が手ぶれの小さい期間を過ぎている場合が生じ得る。例えば、第１画像の撮像開始に長時間を要する場合や、撮像開始指示の入力直後に手ぶれの小さい期間がある場合などである。これらの場合、上記の場合と同様に、撮像待機時間を０としても構わない。即ち、第１画像の撮像が開始可能となった時点で、第１画像の撮像を開始しても構わない。または、第１画像の撮像が開始可能となる時間の経過後に存在する手ぶれが小さい期間に、第１画像の撮像が行われるように、撮像待機時間を設定しても構わない。

また、撮像待機時間に限界値を設けても構わない。このように構成すると、第１画像の撮像開始が遅くなりすぎることを防止することが可能となる。そのため、撮像装置の操作性が悪化することを抑制することが可能となる。

また、第１画像と第２画像との間にも、撮像待機時間を設けても構わない。ただし、撮像開始指示の入力から撮像終了までの時間が長くなり過ぎないようにする観点や、第１画像及び第２画像のずれを小さくする観点などから、第１画像と第２画像との間を短くすると好適である。

また、ユーザが撮像待機時間を変更可能な構成としても構わない。即ち、撮像装置の構造的特徴に起因する手ぶれ傾向に加え、ユーザに起因する手ぶれ傾向に応じても、撮像待機時間が設定されるように構成しても構わない。

＜＜変形例＞＞
本発明の実施形態における撮像装置１について、画像処理部６や合成処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１や図２の合成処理６０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や合成処理部６０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、撮像して画像を得るとともに当該画像に電子式の手ぶれ補正処理を施す撮像装置や、その撮像方法に関する。特に、複数の画像を撮像して合成することで補正を行う撮像装置や、その撮像方法に関する。

は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。 は、本発明の実施形態における撮像装置の合成処理部の構成例について示すブロック図である。 は、ブロックマッチング法について説明する模式図である。 は、第１合成部による合成方法の一例を示すグラフである。 は、第２合成部による合成方法の一例を示すグラフである。 は、本発明の実施形態における撮像装置の動作例を示すフローチャートである。 は、撮像開始指示が入力されてから撮像装置に生じる手ぶれの一例を示すグラフである。 は、ヨー、ピッチ及びロールの各方向について示す撮像装置の斜視図である。 は、撮像装置の形状の差異の代表的なものを示す斜視図である。

符号の説明

１ 撮像装置
２ 撮像部
３ イメージセンサ
４ レンズ部
５ ＡＦＥ
６ 画像処理部
６０ 合成処理部
６１ 位置ずれ補正部
６２ ＬＰＦ部
６３ 差分値算出部
６４ 第１合成部
６５ エッジ強度値算出部
６６ 第２合成部
７ 集音部
８ 音声処理部
９ 圧縮処理部
１０ 外部メモリ
１１ ドライバ部
１２ 伸長処理部
１３ 画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス

Claims (6)

1. 撮像によって画像を得る撮像部と、
   当該撮像部で得られた第１画像及び第２画像を合成して合成画像を生成する合成処理部と、を備える撮像装置において、
   前記撮像部の撮像タイミングを制御する制御部を備え、
   前記第１画像の撮像時の露光時間が、前記第２画像の撮像時の露光時間よりも短いものであり、
   前記撮像部が前記第１画像を撮像した後に前記第２画像を撮像するように、前記制御部が前記撮像部を制御することを特徴とする撮像装置。
2. 前記制御部が、前記撮像装置に撮像を行う指示が入力されたことを検出した後、所定の時間である撮像待機時間の経過を待った直後に前記第１画像の撮像が開始されるように、前記撮像部を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像待機時間が、
   前記撮像装置の構造的特徴に基づいて設定されるものであり、
   前記撮像装置に撮像を行う指示が入力されてから、前記撮像装置に生じる動きが所定の大きさよりも小さくなる期間までの時間であることを特徴とする請求項２に記載の撮像装置。
4. 前記撮像待機時間が、前記撮像部の撮像条件によって設定される閾値よりも短い場合、前記撮像待機時間が０となることを特徴とする請求項２または請求項３に記載の撮像装置。
5. 撮像によって第１画像を得る第１画像生成ステップと、
   撮像によって第２画像を得る第２画像生成ステップと、
   前記第１画像生成ステップで得られる前記第１画像と、前記第２ステップで得られる前記第２画像と、を合成して合成画像を生成する合成ステップと、を備え、
   前記第１画像生成ステップで行われる撮像の露光時間が、前記第２画像生成ステップで行われる撮像の露光時間よりも短いものであり、
   前記第１画像生成ステップが、前記第２画像生成ステップよりも先に行われることを特徴とする撮像方法。
6. 撮像を行う指示が入力されたことを検出する検出ステップと、
   前記検出ステップの後、所定の時間である撮像待機時間の経過を待つ待機ステップと、を備え、
   前記第１画像生成ステップが、前記待機ステップの直後に開始されることを特徴とする請求項５に記載の撮像方法。

Images