JP2006254365A

JP2006254365A - 画像信号処理装置、撮影装置、および画像信号処理方法

Info

Publication number: JP2006254365A
Application number: JP2005071675A
Authority: JP
Inventors: Minoru Ishida; 実石田; Masaharu Nagata; 政晴永田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-03-14
Filing date: 2005-03-14
Publication date: 2006-09-21

Abstract

【課題】画質の劣化を招くことなく精度高く手ぶれ補正を行うことが可能な画像信号処理装置、撮像装置、および画像信号処理方法を提供する。
【解決手段】複数枚の画像を撮影し、画像間の手ぶれによるカメラの移動量を検出し、撮影した複数枚の画像を撮影中に発生したカメラの移動量を補正しながら画像を足し合わせて１枚の画像を作り出す機能からなる手ぶれ補正技術を用いた第１の撮影方式と、通常の１回の露光で１枚の画像を作り出す第２の撮影方式との中から、どちらの方式を用いて撮影するか、すなわち、手ぶれ補正をする撮影を行うか手ぶれ補正をしない撮影を行うかを、たとえば露光時間Ｔと、光学レンズ系２０２のズームレンズ２０２ａと撮像素子１０７の受光面間の焦点距離Ｌに基づいて（基本式Ｔ＞(１/L）を基に)判断するカメラ信号処理ＬＳＩ２０９を設ける。
【選択図】図６

Description

本発明は、デジタルカメラ等に適用される画像信号処理装置、撮影振れ（手ぶれ）補正機能を備えたデジタルカメラ等の撮影装置、および画像信号処理方法に係り、特に手ぶれ防止技術に関するものである。

デジタルカメラ撮影中に、撮影者の手が振れると、画像が乱れるいわゆる手ぶれ画像となる。
デジタルカメラ撮影中に、撮影者の手が振れても、その影響を排除して、乱れのない画像を得る技術が、手ぶれ防止技術である。
特許文献１に、手ぶれ防止技術の１つとしての技術が開示されている。

ここで、特許文献１に開示されている手ぶれ防止技術について説明する前に、一般的な写真撮影装置（カメラという場合もある）の構成と、写真を撮影する際に実行される処理手順を説明し、次いで、一般的な写真撮影における手ぶれについて説明する。

図１は、手ぶれ補正技術を使用しない写真撮影装置（カメラ）の構成例を示す図である。
図２は、図１の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。

図１の撮影装置１００は、レンズ絞り１０１、ズームレンズ１０２ａおよびフォーカスレンズ１０２ｂを含む光学レンズ系１０２、レンズ絞り１０１を駆動するステッピングモータ１０３、ズームを行うためにズームレンズ１０２ａを駆動するステッピングモータ１０４、フォーカス調整を行うためにフォーカスレンズ１０２ｂを駆動するステッピングモータ１０５、ステッピングモータ１０３〜１０５の動作を制御するモータコントローラ１０６、たとえばＣＭＯＳセンサを含む撮像素子１０７、撮像素子１０７のアナログ出力を相関二重サンプリング処理、アナログ増幅処理、デジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換処理や、撮像素子に画像読み出しのタイミング信号を供給する処理を行うデバイスであるアナログフロントエンド部１０８、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理、撮影した画像を記録媒体へ書き込むための制御を司り、カメラの信号処理全般を司るカメラ信号処理回路（ＬＳＩ）１０９、撮影した画像の一時的な保存、カメラ信号処理ＬＳＩ１０９で行われる演算の途中結果の一時的な保存など司るメモリであるＤＲＡＭ１１０、不揮発性メモリであるフラッシュメモリ１１１、撮影した画像を長時間保存するための記録媒体１１２、液晶表示装置（ＬＣＤ）等の表示デバイス１１３、表示デバイスを駆動するアナログＬＣＤドライバ１１４、および外部機器との接続のためのＵＳＢ等のインタフェース１１５を有している。
なお、近年、撮像素子１０７が、アナログフロントエンド部１０８の機能をも持ち合わせている撮像素子もある。

市販の一般的なカメラの場合、撮影方式として、「絞り優先方式撮影」、「シャッタスピード優先方式撮影」、「プログラム方式撮影」、「マニュアル設定方式撮影」、などがある。

絞り優先方式撮影とは、ユーザが撮影時に用いたいレンズ絞りの値をカメラ上で設定すると、そのレンズ絞り値と、被写体の照度とから、適切なシャッタスピードをカメラが求め、ユーザが設定したレンズ絞り値とカメラが求めたシャッタスピードとを用いて写真を撮影する方法である。
シャッタスピード優先方式撮影とは、ユーザが撮影時に用いたいシャッタスピードの値をカメラ上で設定すると、そのシャッタスピードと、被写体の照度とから、適切なレンズ絞り値をカメラが求め、ユーザが設定したシャッタスピードとカメラが求めたレンズ絞り値とを用いて写真を撮影する方法である。
プログラム方式撮影とは、撮影に適したレンズ絞り値とシャッタスピードとの双方をカメラが求め、写真を撮影する方法である。
マニュアル方式撮影とは、撮影に用いるレンズ絞り値とシャッタスピードとの双方をユーザがカメラ上で設定して、写真を撮影する方法である。

以下に、上記撮影方式の一例として、絞り優先方式撮影を例にとって、写真撮影の際に実行される処理手順を図２のフローチャートに関連付けて説明する。

まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子１０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、以下の関係を満たす露光時間Ｔが適正な露光時間とされている。

（数１）
log2(L) − log2(2.5) = log2(F^2) − log2(T) − log2(ISO/100) …（１）

次いでユーザがシャッタボタンを押すと、上記のレンズ絞り値および露光時間を用いて撮影が行われ（ＳＴ４）、ＤＲＡＭ１１０やフラッシュメモリ１１１、あるいは記録媒体１１２に格納（保存）する（ＳＴ５）。

ここで、一般的な写真撮影において、撮影時にカメラを持つ手が振れると、手ぶれした画像が撮影されることについて、図３（Ａ）〜（Ｄ）に関連付けて説明する。

上述したように、手ぶれ防止技術を用いない写真撮影（通常撮影モードと呼ぶ）においては、被写体照度＝Ｌ、レンズ絞り値＝Ｆ、露光時間＝Ｔ、ＩＳＯ感度＝Ａと表記すると、上記（１）式の関係を満たす露光時間Ｔにて写真が撮影される。
ここでは、露光時間Ｔ秒の間に、手ぶれによるカメラの移動距離がカメラの画素の大きさに換算してＸピクセル分だけ移動したとする。
露光時間Ｔをｎ個に分割した、単位露光時間dt (=T/n) が、十分に小さくなるnを仮定して、撮影中の被写体とカメラの画格との位置関係、および撮影の結果最終的に得られる画像について説明する。

図３（Ａ）〜（Ｄ）において、１２０は被写体表し、１２１は撮影開始時のカメラの画格を表し、１２２は撮影開始後、dt*1秒後のカメラの画格を表し、１２３は撮影開始後、dt*2秒後のカメラの画格を表している。

（１）露光開始から、露光時間dt*1秒後までの間には、図３（Ａ）に示す、撮影開始時の画格１２１において、露光時間dtで撮影された画像が撮像素子に蓄積される。
（２）露光時間dt*1秒後から、露光時間dt*2秒後までの間には、図３（Ｂ）に示す、撮影開始時の画格１２２から手ぶれによるカメラの移動距離としてX/n*1ピクセル相当ずれた画格において、露光時間dtで撮影された画像が撮像素子に追加して蓄積される。
（３）露光時間dt*2秒後から、露光時間dt*3秒後までの間には、図３（Ｃ）に示す、撮影開始時の画格１２３から手ぶれによるカメラの移動距離としてX/n*2ピクセル相当ずれた画格において、露光時間dtで撮影された画像が撮像素子に追加して蓄積される。
（n）露光時間dt*(n-1)秒後から、露光時間dt*n秒後までの間には、撮影開始時の画格から手ぶれによるカメラの移動距離としてX/n*(n-1)ピクセル相当ずれた画格において、露光時間dtで撮影された画像が撮像素子に追加して蓄積される。
そして、露光終了後には、上記（１）から上記（n）までの間に撮像素子に蓄積された画像を足し合わせた画像が１枚だけ、撮像素子から出力されることになる。
その結果、得られた１枚の画像は、被写体が静止した画像にはならず、図３（Ｄ）に示すように、撮影中に被写体がカメラに対して相対的に移動している状態を撮影した画像、いわゆる手ぶれした画像が１枚だけ、撮像素子から出力されることになる。

次に、特許文献１に開示された手ぶれ防止技術について説明する。
特許文献１に開示された手ぶれ防止技術においては、露光時間Ｔなる画像を１枚だけ撮影して撮像素子から出力するのではなく、露光時間Ｔを複数の露光時間に分割する露光時間分割数ｍを定義して、露光時間Ｔ/mなる画像をm枚撮影する。
ｍ枚撮影した各画像の中で露光した順番が隣り合う２枚の画像をそれぞれ比較し、各画像を撮影した間にカメラが移動した方向と移動量を表す移動ベクトル(xi, yi)を求める。
露光時間Ｔ/mでｍ枚撮影した画像を足し合わせて、最終的に、露光時間Ｔで１枚撮影した場合と同じ露光量の画像を得るが、ｍ枚撮影した画像を足し合わせる際に、上記で求めた各画像を撮影した間にカメラが移動した移動ベクトル(xi, yi)を考慮し、移動ベクトル(-xi, -yi)だけ画像をずらして足し合わせる。
その結果、最終的に、露光時間Ｔで１枚撮影した場合と同じ露光量の画像を得るが、得られた画像は、上記した一般的な写真撮影によって得られた画像よりも、手ぶれによる画像の乱れが少なくなった画像を得ることができる。
以後、本件の中では、上で述べた手ぶれ防止技術を、「開示された手ぶれ防止（補正）技術」、もしくは単に「手ぶれ防止（補正）技術」と呼ぶ。

図４は、開示された手ぶれ補正技術を使用した写真撮影装置（カメラ）の構成例を示す図である。
図５は、図４の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。

図４の撮影装置１００Ａは、手ぶれ補正処理機能を有しているが、その機能は電子的な補正機能であり、カメラ信号処理ＬＳＩ１０９Ａがその機能を備えた構成となっており、他の構成は基本的に図１の装置と同様である。したがって、図４においては同一構成部分には図１と同一符号を付している。

次いで、開示された手ぶれ補正技術を用いた図４の撮影装置の写真を撮影する際に実行される処理を図５のフローチャートに関連付けて説明する。図５においても、上記撮影方式の一例として、絞り優先方式撮影を例にとって、写真撮影の際に実行される処理を説明する。

まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ１１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ１２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子１０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ１３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、上記（１）式の関係を満たす露光時間Ｔが適正な露光時間とされている。
そして、適正露光時間を、複数の時間に分割し、撮影する（ＳＴ１４）。
露光分割数をｍとすると、上記適正露光時間の１/ｍの露光時間でｍ枚の画像を撮影する。
撮影したｍ枚の画像の中から、露光時刻が隣り合う2枚の画像をｍ−１組取り上げ、取り上げた2枚の画像データを比較して、2枚の画像の撮影の間で、どの程度手ぶれによりカメラの画角が移動したかを求める。その移動量を補正しながら、ｍ枚の画像を重ね合わせ、1枚の画像を作り出す（ＳＴ１５）。
そして、ＤＲＡＭ１１０やフラッシュメモリ１１１、あるいは記録媒体１１２に格納（保存）する（ＳＴ１６）。
特開２００５−３８３９６号公報

ところが、上述の開示された手ぶれ防止技術を用いて写真撮影を行うと、場合によっては、一般的な写真撮影によって得られた画像よりも、画質が劣化するおそれがある

上記の問題点を説明する前に、まずカメラの画像信号とノイズの関係（Ｓ/Ｎ）について説明する。

まず、デジタルカメラにおいて、被写体を撮影して、画像信号を得るまでのメカニズムについて説明する。

デジタルカメラは、その構成の概要を述べると、レンズ系１０２、撮像素子１０７、信号処理回路１０９Ａ、記録媒体および記録媒体への書き込み回路を含んで構成される。
撮像素子１０７は、光電変換するフォトダイオードからなる画素部と、光電変換した信号を読み出すための周辺回路部とからなる。
信号処理回路１０９Ａにおいては、画像を綺麗にするための、明るさの調整や色の調整を行っている。

被写体を撮影することでカメラに入射した光は、撮像素子の画素部で光電変換され、電気信号に変換されて、画素内に蓄えられる。
画素内に蓄えられた電気信号は、読み出し回路によって、読み出される。
読み出された電気信号が、信号処理回路において明るさや色の調整を行った後、記録媒体へ書き込まれて保存される。

次に、デジタルカメラにおいて、被写体を撮影した際に発生するノイズについて説明する。

被写体を撮影した際に発生するノイズは、入射光を光電変換して得られた発生信号の大きさに依存するノイズと、発生信号の大きさに依存しないノイズとに分類される。
発生信号の大きさに依存しないノイズとして、たとえば、画素部において発生する暗電流ノイズ、画素部において発生する画素リセットノイズ、読み出し回路部において発生する、信号線リセットノイズがある。
発生信号の大きさに依存するノイズとしては、たとえば画素部において発生する電荷転送ノイズ、読み出し回路部において発生する、差動アンプノイズがある。
暗電流ノイズは、たとえばフォトダイオードを構成する半導体結晶の格子欠陥から発生する電流により、入射光の光電変換によって発生した電気信号以外の電気信号が発生することに起因する。
画素リセットノイズは、画素の電気信号を読み出した後、理想的にはフォトダイオードの出力信号電圧が接地レベルにリセットされているべきところ、フォトダイオード内部に残留した電荷によって、接地レベル電圧が理想的な信号電圧レベルにならないことに起因する。
電荷転送ノイズは、フォトダイオードから電気信号を読み出す際に、Ｐ型半導体とＮ型半導体とが接触した半導体ジャンクションを乗り越える際に発生するノイズである。

次に、カメラの画像信号とノイズの関係（Ｓ/Ｎ）を説明するために、カメラの画像信号について説明する。

図１および図２に関連付けて説明した一般的な写真撮影を行う場合に用いられる露光時間をＴ、入射した光を光電変換してその結果得られた電気信号の最大S_norm_maxと表記する。
一方、図４および図５に関連付けて説明した開示された手ぶれ防止技術を用いる場合、上記露光時間Ｔを複数の露光時間に分割する露光時間分割数ｍを定義して、露光時間Ｔ/mなる画像をm枚撮影する。
入射露光量と、撮像素子の光電変換発生信号とは線形な関係にある。
その結果、開示された手ぶれ防止技術を用いる場合、出力される電気信号の最大値は、一般的な写真撮影を行う場合に、出力される電気信号の最大値の1/mとなる。
つまり、開示された手ぶれ防止技術を用いる場合、出力される電気信号の最大値をS_bru_maxと表記すると、（S_bru_max = S_norm_max/m）となる。

次に、カメラの画像信号とノイズの関係（信号/ノイズ比）を説明する。

被写体を撮影した際に発生するノイズのうち、既に述べた入射光を光電変換して得られた発生信号の大きさに依存するノイズの大きさを、一般的な写真撮影を行う場合、Ｎ_norm_ｖａｒ、開示された手ぶれ防止技術を用いる場合、N_bru_varと表記する。
また、被写体を撮影した際に発生するノイズのうち、既に述べた発生信号の大きさに依存しないノイズの大きさを、一般的な写真撮影を行う場合、Ｎ_norm_ｃｏｎｓｔ、開示された手ぶれ防止技術を用いる場合、N_bru_constと表記する。
一般的な写真撮影を行う場合に得られる電気信号の最大値をS_norm_maxと表記する。
開示された手ぶれ防止技術を用いる場合に得られる電気信号の最大値をS_bru_maxと表記する。
一般的な写真撮影を行う場合に用いられる露光時間をＴと表記する。
開示された手ぶれ防止技術を用いる場合、上記露光時間Ｔを複数の露光時間に分割する露光時間分割数をｍと表記する。
一般的な写真撮影を行う場合に得られる信号/ノイズ比SN_normと表記する。
開示された手ぶれ防止技術を用いる場合に得られる信号/ノイズ比SN_bruと表記する。

既に述べた関係により、次式が成立する。

（数２）
SN_norm = S_norm_max / (Ｎ_norm_ｖａｒ + Ｎ_norm_ｃｏｎｓｔ)
SN_bru = S_bru_max / (Ｎ_ bru_ｖａｒ + Ｎ_bru_ｃｏｎｓｔ)

また、入射露光量と、撮像素子１０７の光電変換発生信号とは線形な関係にあり、入射光を光電変換して得られた発生信号の大きさに依存するノイズもまた撮像素子１０７の光電変換発生信号と線形な関係にあることから、次の関係が成り立つ。

（数３）
S_bru_max = S_norm_max/m
N_bru_max = N_norm_max/m
したがって、
SN_norm = S_norm_max / (Ｎ_norm_ｖａｒ + Ｎ_norm_ｃｏｎｓｔ)
SN_bru = S_norm_max/m / (N_norm_var/m + Ｎ_bru_ｃｏｎｓｔ)

さらに、一般的な写真撮影を行う場合、被写体を撮影した際に発生するノイズのうち、入射光を光電変換して得られた発生信号の大きさに依存するノイズの大きさと、発生信号の大きさに依存しないノイズの大きさは、概ね同等の大きさと近似できる。
したがって、以下の関係が成り立つ。

（数４）
SN_norm = S_norm_max / (Ｎ_norm_ｖａｒ + Ｎ_norm_ｖａｒ) = (1/2) * (S_norm_max / Ｎ_norm_ｖａｒ)
SN_bru = S_norm_max/m / (N_norm_var/m + Ｎ_norm_ｖａｒ) = (1/(m+1)) * (S_norm_max / Ｎ_norm_ｖａｒ)
したがって、
SN_bru = (2/(m+1)) * (S_norm_max / Ｎ_norm_ｖａｒ)

このため、露光時間分割数をｍ大きくすればするほど、開示された手ぶれ防止技術を用いる場合の信号/ノイズ比は、劣化する（小さくなる）。
m ≧ 2であるため、開示された手ぶれ防止技術を用いる場合の信号/ノイズ比を最善にする目的で、仮にm = 2と仮定すると、次のようになり、信号/ノイズ比は、一般的な写真撮影を行う場合の、６７％に低下してしまう。

（数５）
SN_bru = (2/3) * (S_norm_max / Ｎ_norm_ｖａｒ)

開示された手ぶれ防止技術を用いた場合に信号/ノイズ比をさらに低下させる要因として、アナログ信号をデジタル信号に変換する際の量子化ノイズの増大がある。
図１および図２に関連付けて説明した手ぶれ防止技術を用いない撮影装置１００と、図４および図５に関連付けて説明した手ぶれ防止技術を用いた撮影装置１００Ａのどちらにおいても、撮像素子１０７から出力される信号はアナログ信号であり、これをアナログフロントエンド部１０８においてデジタル信号に変換した後、カメラ信号処理ＬＳＩ１０９に入力している。
アナログ信号を、離散的な値しか取り得ないデジタル信号に変換すると、変換の際に丸め誤差が発生する。これが量子化ノイズである。

図１および図２に関連付けて説明した手ぶれ防止技術を用いない撮影装置１００の場合、撮像素子１０７の出力であるアナログ信号をデジタル信号に変換するのは、１枚の画像に付き、１回である。
図４および図５に関連付けて説明した手ぶれ防止技術を用いた撮影装置１００Ａの場合、一般的な撮影装置１００の場合に１枚の画像を撮影する用いる露光時間を、複数個に分割し、複数枚の画像を撮影する。これらの撮影した画像は、それぞれ撮像素子の出力であるアナログ信号をデジタル信号に変換する。ｍ枚の画像を撮影した場合、ｍ回のＡＤ変換を行う。そして変換後にｍ枚の画像を足し合わせて、１枚の画像を作り出す。
足し合わせの結果、ＡＤ変換の際の量子化ノイズは、従来例その１の場合の√ｍ倍となる。
その結果、開示された手ぶれ防止技術を用いた撮影装置１００Ａにおける信号/ノイズ比は、先に述べた従来例その１の信号/ノイズ比の６７％よりも、さらに低くなってしまう。

次に、撮影時の手ぶれの大きさを、その結果得られる画像上での手ぶれの大きさについて説明する。

撮影時の手ぶれによって発生する画像の乱れの大きさは、手ぶれによって撮像素子上の結像が移動する距離で表される。

カメラを撮影者が手に持って撮影した場合、手ぶれによるカメラの移動量は、露光時間に概ね比例する。手ぶれによりカメラが一定距離移動した場合、撮像素子上の結像の移動距離は、レンズ−撮像素子間の焦点距離に比例する。
したがって、カメラを撮影者が手に持って撮影した場合、手ぶれによる画像の乱れの大きさ、すなわち、手ぶれによって撮像素子上の結像が移動する距離は、露光時間に比例し、かつ、レンズ−撮像素子間の焦点距離に比例する。

さらに、露光時間をＴ(sec)、レンズ−撮像素子間の焦点距離をＬｍｍとすると、｛T > (1/L)｝（ここで、Ｔ：露光時間を、秒の単位で表示した場合の値、Ｌ：レンズ−撮像素子間の焦点距離をmmの単位で表示した場合の値）の関係を満たす露光時間Ｔ秒で撮影した場合、手ぶれによる画像の乱れを、乱れとして人が視覚的に認識できること経験的に判っており、かつこのことは、カメラや写真撮影に関する書籍や雑誌で公開されており、公知の事実となっている。

したがって、たとえば通常市販されている３５ｍｍ版カメラの場合、レンズ−撮像素子間の焦点距離を３５ｍｍにして撮影される頻度が最も高いが、この場合、カメラを撮影者が手に持って撮影すると、露光時間が１/３５秒よりも大きい時には、手ぶれによる画像の乱れの大きさが、人が視覚的に認識できる大きさになる。
露光時間が１/３５秒以下のときには、手ぶれによる画像の乱れの大きさが、人が視覚的に認識できる大きさに達しない。

一般的な写真撮影を行う場合、前述したように、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、上記（１）式を満たす条件で撮影される。
このため、たとえば市販のデジタル一眼レフカメラにおいて最も頻繁に使われているレンズ絞り値＝５、ＩＳＯ感度＝２００、レンズ−撮像素子間の焦点距離＝３５ｍｍと言う撮影条件の場合、被写体照度＝１０００ルクスの時に、適正露光時間が１/３５秒となる。

したがって、たとえば上記の撮影条件を用いて、かつ被写体の照度が１０００ルクス以上の場合、適正露光時間が１/３５秒よりも短くなり、この撮影環境において、撮影者がカメラを手に持って撮影した場合、手ぶれによる画像の乱れの大きさは、人が視覚的に認識できる大きさに達しない。
これは、通常、日中、屋外において撮影する場合、手ぶれによる画像の乱れは、人が視覚的に認識できる大きさに達しないことを意味する。
また、三脚を用いて撮影する場合、そもそも、手ブレが発生しないため、手ぶれによる画像の乱れは発生しない。
これらのような撮影環境では、上述した開示されている手ぶれ防止技術を用いても、手ぶれ緩和効果を人が認識できないことが明らかである。

一方、被写体の照度が１０００ルクス未満の場合、適正露光時間が１/３５秒よりも大きくなり、この撮影環境において、撮影者がカメラを手に持って撮影した場合、手ぶれによる画像の乱れの大きさは、人が視覚的に認識できる大きさに達する。
これは、夕方もしくは夜間、屋外においてカメラを撮影者が手に持って撮影する場合、あるいは、屋内でカメラを撮影者が手に持って撮影する場合、手ぶれによる画像の乱れが、人が視覚的に認識できる大きさに達することを意味する。
このような撮影環境では、上述した開示されている手ぶれ防止技術を用いると、手ぶれ緩和効果を人が認識できることが明らかである。

上述した理由により、カメラを三脚に固定して撮影する場合において、あるいは、日中、屋外においてカメラを撮影者が手に持って撮影する場合において、上述した開示されている手ぶれ防止技術を用いると、これによる手ぶれ緩和効果を人が認識できず、かつ、信号/ノイズ比が、一般的な写真撮影を行う場合の６７％以下に低下してしまい、画質の劣化が人に認識されてしまう。
つまり、開示された手ぶれ防止技術による利点がもたらされず、画質が劣化するという不利益がもたらされおそれがある。

市場の一般的なユーザがカメラを用いて写真撮影を行う際の環境を考えてみると、日中、屋外においてカメラを撮影者が手に持って撮影する頻度と、日中または夜間、屋内屋外を問わず、カメラを三脚に固定して撮影する頻度の合計は、夕方もしくは夜間、屋外においてカメラを撮影者が手に持って撮影する頻度と、屋内でカメラを撮影者が手に持って撮影する頻度の合計よりも、はるかに大きいと考えられる。

したがって、市場の一般的なユーザがカメラを用いて写真撮影を行う際の、大半の場合において、開示された手ぶれ防止技術を用いて写真撮影を行うと、画質が劣化するという不利益のみがもたらされてしまう。

本発明の目的は、画質の劣化を招くことなく精度高く手ぶれ補正を行うことが可能な画像信号処理装置、撮像装置および画像信号処理方法を提供することにある。

本発明の第１の観点は、撮像素子による画像信号を処理する画像信号処理装置であって、上記撮像素子による画像信号に対するぶれ補正機能を有し、所定の信号と所定の閾値に基づいてぶれ補正の適用の可否を自動的に判定し、閾値の範囲外にあると判定すると上記ぶれ補正を行わないように処理し、閾値の範囲内にあると判定するとぶれ補正を伴うように処理する信号処理回路を有する。

好適には、上記信号処理回路は、所定の信号と所定の閾値に基づいて上記ぶれ補正処理による画像改善効果が視覚的に認識し難い撮影状況下にあるか否かを自動的に判定し、認識し難い状況下にあると判定すると上記ぶれ補正を行わないように処理し、認識し難い状況下にないと判定するとぶれ補正を伴うように処理する。

好適には、上記信号処理回路は、複数枚の画像を撮影し、画像間のぶれによる装置の移動量を検出し、撮影した複数枚の画像を撮影中に発生した移動量を補正しながら画像を足し合わせて１枚の画像を作り出す機能からなるぶれ補正技術を用いた第１の撮影方式と、通常の１回の露光で１枚の画像を作り出す第２の撮影方式と、を選定可能で、ぶれ補正を行うと判定した場合には上記第１の撮影方式を選定し、ぶれ補正を行わないと判定した場合には上記第２の撮影方式を選定する。

好適には、上記信号処理回路は、ぶれ補正をするか否かを露光時間Ｔ、または／および光学系の焦点距離Ｌに基づいて判断する。

好適には、上記信号処理回路は、ぶれ補正をするか否かを、装置の移動量に関する情報に基づいて判断する。

好適には、上記信号処理回路は、移動量としてはぶれ検出器の検出したぶれ量に基づいて取得し、当該移動量と所定の閾値とを比較してぶれ補正をするか否かを判断する。

好適には、上記信号処理回路は、移動量としては複数の画像信号に基づいて取得し、当該移動量と所定の閾値とを比較してぶれ補正をするか否かを判断する。

好適には、上記信号処理回路は、撮影装置を固定する部材に取り付けられた否かの検出器の検出結果に応じてぶれ補正するか否かを判断する。

好適には、上記信号処理回路は、ぶれ補正する否かを強制的に指示する信号を受けると、当該指示に応じてぶれ補正するか否かを判断する。

本発明の第２の観点は、光学系による被写体の像を受けて画像信号を出力する撮像素子と、上記撮像素子による画像信号に対するぶれ補正機能を有し、所定の信号と所定の閾値に基づいてぶれ補正の適用の可否を自動的に判定し、閾値の範囲外にあると判定する記ぶれ補正を行わないように処理し、閾値の範囲内にあると判定するとぶれ補正を伴うように処理する信号処理回路とを有する。

本発明の第３の観点は、撮像素子による画像信号を処理する画像信号処理方法であって、所定の信号と所定の閾値に基づいてぶれ補正の適用の可否を自動的に判定するステップと、閾値の範囲外にあると判定すると上記ぶれ補正を行わないように処理するステップと、閾値の範囲内にあると判定するとぶれ補正を伴うように処理するステップとを有する。

本発明の第４の観点は、撮像素子による画像信号を処理する画像信号処理方法であって、所定の信号に基づいてぶれ補正処理による画像改善効果が視覚的に認識し難い撮影状況下にあるか否かを自動的に判定するステップと、認識し難い状況下にあると判定すると上記ぶれ補正を行わないように処理するステップと、認識し難い状況下にないと判定するとぶれ補正を伴うように処理するステップとを有する。

本発明によれば、画質の劣化を招くことなく精度高く手ぶれ補正を行うことが可能となる。

以下、本発明の実施形態を、図面に関連付けて説明する。

＜第１実施形態＞
図６は、第１の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。

本実施形態の撮影装置（カメラ）は、写真の撮影方式として、
（１）複数枚の画像を撮影し、
画像間の手ぶれによるカメラの移動量を検出し、
撮影した複数枚の画像を撮影中に発生したカメラの移動量を補正しながら画像を足し合わせて
１枚の画像を作り出す機能からなる手ぶれ補正技術を用いた第１の撮影方式と、
（２）通常の１回の露光で１枚の画像を作り出す、第２の撮影方式と、を採用し、
第１の撮影方式と第２の撮影方式の中から、どちらの方式を用いて撮影するか、すなわち、手ぶれ補正をする撮影を行うか手ぶれ補正をしない撮影を行うかを、カメラが自動的に判断して、撮影を行うように構成されている。

図６の撮影装置２００は、レンズ絞り２０１、ズームレンズ２０２ａおよびフォーカスレンズ２０２ｂを含む光学レンズ系２０２、レンズ絞り２０１を駆動するステッピングモータ２０３、ズームを行うためにズームレンズ２０２ａを駆動するステッピングモータ２０４、フォーカス調整を行うためにフォーカスレンズ２０２ｂを駆動するステッピングモータ２０５、ステッピングモータ２０３〜２０５の動作を制御するモータコントローラ２０６、たとえばＣＭＯＳセンサを含む撮像素子２０７、アナログフロントエンド部２０８、カメラ信号処理回路（ＬＳＩ）２０９、撮影した画像の一時的な保存、カメラ信号処理ＬＳＩ２０９で行われる演算の途中結果の一時的な保存など司るメモリであるＤＲＡＭ２１０、不揮発性メモリであるフラッシュメモリ２１１、撮影した画像を長時間保存するための記録媒体２１２、液晶表示装置（ＬＣＤ）等の表示デバイス２１３、表示デバイスを駆動するアナログＬＣＤドライバ２１４、ストロボ２１５、ストロボ発行回路２１６、オートフォーカス（ＡＦ）用の補助光ＬＥＤ２１７、報知用ブザー２１８、ボタン／スイッチ類を含む操作部２１９、外部機器との接続のためのＵＳＢ等のインタフェース２２０、各部に駆動電力を供給する電源回路（ＩＣ）２２１、およびバックアップ電源用ボタン電池２２２を有している。

アナログフロントエンド部２０８は、撮像素子２０７のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理、デジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換処理や、撮像素子に画像読み出しのタイミング信号を供給する処理を行うデバイスである。
なお、近年、撮像素子２０７が、アナログフロントエンド部２０８の機能をも持ち合わせている撮像素子もある。

カメラ信号処理ＬＳＩ２０９は、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理、撮影した画像を記録媒体へ書き込むための制御を司り、カメラの信号処理全般を司る。
カメラ信号処理ＬＳＩ２０９は、手ぶれ防止技術の中で用いる演算処理も行う。
また、カメラ信号処理ＬＳＩ２０９は、第１の撮影方式と第２の撮影方式の中からいずれか方式を用いて撮影を行うか、すなわち、手ぶれ補正をする撮影を行うか手ぶれ補正をしない撮影を行うかを、自動的に判断して、撮影の制御を行う。
カメラ信号処理ＬＳＩ２０９は、手ぶれ補正を行うか行わないかの判断は、たとえば露光時間Ｔと、光学レンズ系２０２のズームレンズ２０２ａと撮像素子１０７の受光面間の焦点距離Ｌに基づいて（基本式Ｔ＞(１/L）を基に)判断する。具体的な処理例については後述する。

図７は、本実施形態のカメラ信号処理ＬＳＩの具体的な構成例を示すブロック図である。

図７のカメラ信号処理ＬＳＩ２０９は、画像データ検出部２０９１、露光量調整部２０９２、焦点調整部２０９３、手ぶれ補正部２０９４、画質調整部２０９５、画像圧縮部２０９６、外部記録インタフェース（Ｉ／Ｆ）２０９７、表示用画像作成部２０９８、表示装置インタフェース（Ｉ／Ｆ）２０９９、およびメモリインタフェース（Ｉ／Ｆ）２１００を有している。

画像データ検出部２０９１は、撮像素子２０７の出力画像データをアナログフロントエンド部２０８の処理を通して受け取り、この画像データに基づいて自動露出に利用するために画像の明るさを検出し、オートフォーカス（ＡＦ）に利用するために顔図の画像のフォーカスがあっているか否かを検出し、撮影された画像の各種メモリへの書き込み制御を行う。

露光量調整部２０９２は、絞り値やシャッタスピードを制御する指示を、絞りやシャッタの動作を制御しているマイクロコンピュータを主体とするモータコントローラ２０６に出す。

焦点調整部２０９３は、フォーカスを制御する指示を、フォーカスレンズ２０２ｂの動作を制御しているモータコントローラ２０６に出す。

手ぶれ補正部２０９４は、画像の手ぶれを検出し、検出した手ぶれを補正した画像を生成する。

画質調整部２０９５は、画像の階調再現処理や色再現処理を行う。
画像の階調再現処理とは、見た目の良い画像を得るために、デジタル信号処理により、画像のコントラストを意図的に調整する処理をいう。
色再現処理とは、見た目の良い画像を得るために、デジタル信号処理により、画像の色相や彩度を意図的に調整する処理である。

画像圧縮部２０９６は、外部の記憶装置である記録媒体２１２に画像を圧縮して保存するために、撮影した画像をたとえばＪＰＥＧ形式に従って圧縮処理を行う。
外部記録インタフェース２０９７は、外部の記録媒体２１２への圧縮画像の書き込み、読み出しを制御する。

表示用画像作成部２０９８は、撮影装置２００の筐体（本体）の背面に配置してある液晶パネルに、撮影した画像を表示させるため、液晶パネルの画素数に応じて撮影画像から縮小画像を作り出す。
表示装置インタフェース２０９９は、外部の液晶パネル２１３に表示させる画像データをアナログＬＣＤドライバ２１４を通して制御する。
メモリインタフェース２１００は、外部のメモリ２１０，２１１への画像データの書き込み、読み出しを制御する。

以下に、本第１の実施形態の撮影装置２００において撮影する際の処理を、図８および図９に関連付けて、カメラ信号処理ＬＳＩ２０９の処理を中心に説明する。

図８は、図６の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。
図９は、図６の撮影装置において撮影する際に実行される処理を説明するための図であって、処理時の主要な信号の流れを示す図である。
なお、ここでは、撮影装置が備える各種撮影方式の一例として、絞り優先方式撮影を例にとって、写真撮影の際に実行される処理を説明する。

まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ１０１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ１０２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子２０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ１０３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、以下の関係を満たす露光時間Ｔが適正な露光時間とされている。

（数６）
log2(L) − log2(2.5) = log2(F^2) − log2(T) − log2(ISO/100) …（６）

次に、ズームレンズ２０２ａのズーム量を制御しているマイクロコンピュータを含むモータコントローラ２０６から、レンズ−撮像素子間の焦点距離Ｌ(mm)の値を取得する（ＳＴ１０４）。

次に、算出した最適露光時間とズームレンズ２０２ａのズーム量から手ぶれした場合の画像の乱れ量を算出する（ＳＴ１０５）。

手ぶれによる画像の乱れの大きさが、人が視覚的に認識できる大きさに達しているか否かを判断する。
すなわち、一般的には、レンズ−撮像素子間の焦点距離をＬｍｍとすると、露光時間Ｔ(sec)が(１/Ｌ)(sec)より大きい場合、つまり、T(sec) > (1/L)（Ｌ：レンズ−撮像素子間の焦点距離をmmの単位で表示した場合の値）なる場合に、画像の乱れとして人が視覚的に認識できると言われているので、上記で取得した、露光時間Ｔ(sec)とレンズ−撮像素子間の焦点距離Ｌ(mm)の値から、式｛T > 1/L ｝の関係にあるか否かを求め、手ぶれ補正するする必要があるか否かを判断する。
そして、第１の撮影方式を採用するか第２の撮影方式を採用するかの選定処理を行う（ＳＴ１０６）。

より好ましくは、手ぶれによる画像の乱れを人が視覚的に認識できる能力は、個人差があるため、その能力バラツキを考慮しての補正を考え、式｛T > Ａ * 1/L ｝（Ａ：補正係数）の関係にあるか否かを求め、手ぶれ補正するする必要があるか否かを判断する。

さらに、上記実施形態の装置の構成あるいは、処理のフローを簡単にするための改善を行った例として、以下のようにしても良い。
撮影を行う際に毎回、露光時間Ｔ(sec)とレンズ−撮像素子間の焦点距離Ｌ(mm)の値を取得するのではなく、撮影の際には、露光時間Ｔ(sec)の値のみを取得し、レンズ−撮像素子間の焦点距離Ｌ(mm)の値は、固定値を用いても良い。
またこのＬに補正係数Ａを掛けた値、A * L (mm) を、固定値を用いても良い。
たとえば、レンズが換装不可能なカメラにおいては、備えているレンズにおいて、手ぶれによる画像の乱れが最大となる条件、つまり、レンズ−撮像素子間の焦点距離Ｌ(mm)が最大となる値を用いても良い。
また、レンズの換装が可能なカメラにおいては、装着される可能性が最も高いレンズ、すなわち撮影に用いるカメラに装着可能なレンズのうち、最も販売量が大きいレンズにおいて、手ぶれによる画像の乱れが最大となる条件、つまり、レンズ−撮像素子間の焦点距離Ｌ(mm)が最大となる値を用いても良い。
また、このＬに補正係数Ａを掛けた値、A * L (mm) を、固定値を用いても良い。

上記の処理により、手ぶれ補正が必要と判断された場合は、手ぶれ補正処理技術を用いた第１の撮影方式による手ぶれ補正撮影を実施する。
すなわち、適正露光時間を、複数の時間に分割し、撮影する（ＳＴ１０７）。
露光分割数をｍとすると、上記適正露光時間の１/ｍの露光時間でｍ枚の画像を撮影する。
撮影したｍ枚の画像の中から、露光時刻が隣り合う2枚の画像をｍ−１組取り上げ、取り上げた2枚の画像データを比較して、2枚の画像の撮影の間で、どの程度手ぶれによりカメラの画角が移動したかを求める。その移動量を補正しながら、ｍ枚の画像を重ね合わせ、1枚の画像を作り出す（ＳＴ１０８）。
そして、手ぶれ補正の処理を行い、手ぶれによる画像の乱れを改善した後の画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ１１０）。

上記の処理により、手ぶれ補正が不必要と判断された場合は、手ぶれ補正処理技術を用いない、第２の撮影方式による撮影を実施する（ＳＴ１０９）。
すなわち、ユーザがシャッタボタンを押すと、上記のレンズ絞り値および露光時間を用いて撮影が行われ（ＳＴ１０９）、得られた画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ１１０）。

以上説明したように、本第１の実施形態によれば、複数枚の画像を撮影し、画像間の手ぶれによるカメラの移動量を検出し、撮影した複数枚の画像を撮影中に発生したカメラの移動量を補正しながら画像を足し合わせて１枚の画像を作り出す機能からなる手ぶれ補正技術を用いた第１の撮影方式と、通常の１回の露光で１枚の画像を作り出す第２の撮影方式との中から、どちらの方式を用いて撮影するか、すなわち、手ぶれ補正をする撮影を行うか手ぶれ補正をしない撮影を行うかを、たとえば露光時間Ｔと、光学レンズ系２０２のズームレンズ２０２ａと撮像素子１０７の受光面間の焦点距離Ｌに基づいて（基本式Ｔ＞(１/L）を基に)判断するカメラ信号処理ＬＳＩ２０９を設けたことから、以下の効果を得ることができる。

撮影装置（カメラ）２００を用いて写真撮影する際に、手ぶれ補正処理が効果を発揮する時のみ、手ぶれ補正処理を実行し、手ぶれ補正処理が効果を発揮しない時は、手ぶれ補正処理を実行しないため、手ぶれ補正処理が効果を発揮しない状況においては、手ぶれ補正処理が効果を発揮しないときでも手ぶれ補正処理を実行する場合よりも、美しい画像を撮影することが可能となる。
さらに、手ぶれ補正処理が効果を発揮しない状況においては、手ぶれ補正処理が効果を発揮しないときでも手ぶれ補正処理を実行する場合よりも、消費電力を低減することが可能となる。

＜第２実施形態＞
図１０は、本実施形態に係る撮影装置（カメラ）の構成例を示すブロックである。

本第２の実施形態の撮影装置２００Ａが第１の実施形態の撮影装置２００と異なる点は、２軸ジャイロセンサからなる角速度センサ２２３、および２２４を設けて、撮影前の時点での手ぶれ量（大きさ）測定し、角速度度センサの出力から手ぶれにより画像の乱れの大きさを算出して、手ぶれ補正が必要か否かを判断し、撮影方式の選定を行うようにしたことにある。

角速度センサ２２３，２２４は、撮影装置（カメラ）２００ＡのＸ軸を中心とした手ぶれによる回転運動の大きさ、および、Ｙ軸を中心とした手ぶれによる回転運動の大きさを検出する。

次に、本第２の実施形態の撮影装置２００Ａにおいて撮影する際の処理を、図１１に関連付けて、カメラ信号処理ＬＳＩ２０９Ａの処理を中心に説明する。

図１１は、図１０の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。
なお、ここでは、撮影装置が備える各種撮影方式の一例として、絞り優先方式撮影を例にとって、写真撮影の際に実行される処理を説明する。

まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ２０１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ２０２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子２０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ２０３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、上記（６）式の関係を満たす露光時間Ｔが適正な露光時間とされている。

次に、ジャイロセンサからなる角速度センサ２２３，２２４の出力から撮影前の時点での手ぶれの大きさを測定する（ＳＴ２０４）。そして、角速度センサ２２３，２２４の出力から手ぶれによる画像の乱れの大きさを算出する（ＳＴ２０５）。

手ぶれなどのカメラ外部からカメラに加えられた力によって、カメラがどの程度移動しているのかを測定し、その移動量の値を取得する。
撮影装置（カメラ）２００Ａの移動量が大きいために、これによる画像の乱れが大きく、このため手ぶれ補正処理を実施した方が、良好な画像を得られるか、それとも、カメラの移動量が小さいために、これによる画像の乱れが小さく、このため手ぶれ補正処理を実施しない方が、ノイズが少ない良好な画像を得られるか、を判断するための閾値を、予め定めておく。
この閾値は、カメラを製造する際に、製造者が予めカメラ内部に設定しておいても良いし、あるいは、ユーザがカメラ使用時に、手ブレがどの様な大きさ以上であったら手ぶれ補正処理機能を用いるか、ユーザの好みで任意の値に設定できる様にしておいても良い。

取得したカメラの移動量が、その閾値より大きい場合は、手ぶれ補正が必要と判断する。
取得したカメラの移動量が、その閾値より小さい場合は、手ぶれ補正が不必要と判断する。

上記の処理により、手ぶれ補正が必要と判断された場合は、手ぶれ補正処理技術を用いた第１の撮影方式による手ぶれ補正撮影を実施する。
すなわち、適正露光時間を、複数の時間に分割し、撮影する（ＳＴ２０７）。
露光分割数をｍとすると、上記適正露光時間の１/ｍの露光時間でｍ枚の画像を撮影する。
撮影したｍ枚の画像の中から、露光時刻が隣り合う2枚の画像をｍ−１組取り上げ、
取り上げた2枚の画像データを比較して、2枚の画像の撮影の間で、どの程度手ぶれによりカメラの画角が移動したかを求める。その移動量を補正しながら、ｍ枚の画像を重ね合わせ、1枚の画像を作り出す（ＳＴ２０８）。
そして、手ぶれ補正の処理を行い、手ぶれによる画像の乱れを改善した後の画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ２１０）。

上記の処理により、手ぶれ補正が不必要と判断された場合は、手ぶれ補正処理技術を用いない、第２の撮影方式による撮影を実施する（ＳＴ２０９）。
すなわち、ユーザがシャッタボタンを押すと、上記のレンズ絞り値および露光時間を用いて撮影が行われ（ＳＴ２０９）、得られた画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ２１０）。

ここで、上に述べた閾値を求める方法について、その一具体例を説明する。
説明の前に、手ぶれの方向と、それによる画像の乱れの大きさとの関係を、図１２および図１３の（Ａ），（Ｂ）に関連付けて説明する。

図１２および図１３（Ａ）は、手ぶれが無い場合の、写真撮影の状況を表している。
図１７（Ａ）において、３００はカメラ（撮影装置２００Ａ）を表し、３０１はカメラのレンズ（光学系２０２）を表し、３０２はカメラ内の撮像素子（２０７）を表している。
３０３は撮像素子３０２上に写る像のＹ方向の位置を表し、３０３中に図示した水平方向の２本の実線が、撮像素子上でのＹ方向の画格つまり撮影領域の最外周を表している。
３０４は、撮像素子上に写る像の全体像を表し、３０７はレンズ−撮像素子間の距離を表し、３０８はレンズ−被写体間の距離を表し、３０９は被写体を表している。

図１２（Ｂ）は、レンズの中心を回転中心として、図面上、反時計回りの回転運動による手ブレが発生した場合の、写真撮影の状況を表している。
図１２（Ｂ）において、３２０はカメラを表し、３２１はカメラのレンズを表し、３２２は回転運動が無い場合のカメラ内の撮像素子を表しており、これは図１２（Ａ）の３０２と同意である。
３２５は回転運動した場合の、カメラ内の撮像素子を表し、３２６Ａは回転運動により回転した角度を表している。
３２６Ｂは、回転運動が無かった場合に撮像素子に写る領域の、被写体上におけるＹ方向の上限位置と、回転運動が有った場合に撮像素子に写る領域の、被写体上におけるＹ方向の上限位置との、差を距離で表している。
３２３は、撮像素子上に写る像のＹ方向の位置を表し、３２３中に図示した斜め方向の２本の実線が、回転運動した場合の、撮像素子上でのＹ方向の画格つまり撮影領域の最外周を表している。
３２３中に図示した斜め方向の２本の点線が、回転運動が無い場合の、撮像素子上でのＹ方向の画格つまり撮影領域の最外周を表しており、これは図１２（Ａ）の３０３における２本の実線と同意である。
３２４は、撮像素子上に写る像の全体像を表し、３２７はレンズ−撮像素子間の距離を表し、３２８は、ンズ−被写体間の距離を表し、３２９は被写体を表している。

図１２（Ｂ）において、
レンズ−撮像素子間の距離３０７＝３５ｍｍ、
レンズ−被写体間の距離３０８＝１０ｍ、
撮像素子３２３における撮像可能領域のＹ方向長さ＝１５ｍｍと仮定し、
回転運動により回転した角度３２６Ａ＝１度と仮定する。
この場合、回転運動が無かった場合に撮像素子に写る領域の、被写体上におけるＹ方向の下限位置と、紙面上の反時計回り方向に回転運動が有った場合に撮像素子に写る領域の、被写体上におけるＹ方向の下限位置との差３２６Ｂは、これを簡単のために円周上の弧の長さで近似すると、｛２ x ３．１４ x １０ x ( １ / ３６０ ) = ０．１７ｍ = １７０ｍｍ｝となる。
一方、１度の回転運動を発生させる原因となったカメラの移動量は、これを簡単のために円周上の弧の長さで近似すると、｛２ x ３．１４ x ３５ x ( １ / ３６０ ) = ０．６１ｍｍ｝となる。
つまり、回転運動による手ぶれの場合、手ぶれによりカメラの位置が、０．６ｍｍ移動すると、被写体上では、撮影している対象領域が１７０ｍｍ移動したことになる。

図１３（Ｂ）は、紙面上、縦方向への直線移動による手ブレが発生した場合の、写真撮影の状況を表している。
図１３（Ｂ）において、３４０はカメラを表し、３４１はカメラのレンズを表し、３４５は直線移動した場合のカメラ内の撮像素子を表し、３４６Ａは直線移動した場合の移動量を表している。
３４６Ｂは、直線移動が無かった場合に撮像素子に写る領域の被写体上におけるＹ方向の上限位置と、直線移動が有った場合に撮像素子に写る領域の、被写体上におけるＹ方向の上限位置との、差を距離で表している。
３４３は、撮像素子上に写る像のＹ方向の位置を表し、３４３中に図示した水平方向の２本の実線が、直線移動した場合の、撮像素子上でのＹ方向の画格つまり撮影領域の最外周を表している。
３４３中に図示した水平方向の２本の点線が、直線移動が無い場合の、撮像素子上でのＹ方向の画格つまり撮影領域の最外周を表しており、これは図１２（Ａ）の３０３における２本の実線と同意である。
３４４は撮像素子上に写る像の全体像を表し、３４７はレンズ−撮像素子間の距離を表し、３４８はレンズ−被写体間の距離を表し、３４９は被写体を表している。

図１２（Ｂ）においては、回転運動によりカメラの位置が、０．６ｍｍ移動すると、被写体上では、撮影している対象領域が１７０ｍｍ移動することを、先に述べた。
図１３（Ｂ）において、直線移動によって、カメラの位置が、上記と同様に０．６ｍｍ移動すると、被写体上での撮影している対象領域の移動量は、カメラの移動量と同じ０．６ｍｍにしかならない。
これは、上記の回転運動によりカメラが移動した場合の撮影対象領域の変化量と比較して著しく小さい。
つまり、写真撮影の際、手ぶれ運動の方向はいろいろ想定できるが、被写体の撮影領域が変化による画像の乱れの大きさに関して言えば、レンズ中心を回転中心とした回転運動による手ぶれが支配的であると言える。

次に、レンズ中心を回転中心とした回転運動による手ぶれが発生している場合に、手ぶれ補正技術による補正を行うべきか否かを判定する、前述の閾値を求める方法について、その一例を説明する。

撮影者がカメラを手に持って写真撮影する際、手ぶれによって生じる、カメラのＸ軸もしくはＹ軸を中心とした回転運動の角速度の大きさは、２°/秒から、５°/秒程度であった。
そこで、カメラのＸ軸を中心とした回転運動の角速度が、２°/秒である場合に、写真撮影の間に撮像素子が移動する距離を、図１２（Ｂ）を用いて求める。

写真撮影の際の、露光時間をＴ(sec)、レンズ−撮像素子間の距離をＬｍｍとすると、式｛T > (1/L) ｝（ここで、Ｔ：露光時間を、秒の単位で表示した場合の値、Ｌ：レンズ−撮像素子間の距離をmmの単位で表示した場合の値）の関係を満たす露光時間Ｔ秒で撮影した場合、手ぶれによる画像の乱れを、乱れとして人が視覚的に認識できること経験的に判っており、かつこのことは、カメラや写真撮影に関する書籍や雑誌で公開されており、公知の事実となっている。

レンズ−撮像素子間の距離は、たとえば市販のカメラの場合、３５ｍｍが最も頻繁に用いられる。
したがって、上記の式におけるレンズ−撮像素子間の距離Ｌ、すなわち、図１２（Ｂ）における３２７が、３５ｍｍである場合、
露光時間Ｔ > (1/35) (sec)
すなわち、
露光時間Ｔ > 29msec
となる露光時間で撮影を行うと、
手ぶれによる画像の乱れを、人が視覚的に認識する。

上述のように、カメラのＸ軸を中心とした回転運動の角速度が、２°/秒である場合、露光時間Ｔ = 29msec の間にカメラが移動する量は、０．０５８°である。

さらに現在市販されているカメラの中で、代表的な一眼レフカメラを例として用いると、
・撮像素子上での撮像領域のＸ方向の大きさ＝２２．７ｍｍ、
・撮像素子上での撮像領域のＹ方向の大きさ＝１５．１ｍｍ、
・撮像素子上での撮像領域のＸ方向の画素数＝３５２０個、
・撮像素子上での撮像領域のＹ方向の画素数＝２３４２個、
・撮像素子上の各画素のＸ方向の大きさ＝６．４μｍ、
・撮像素子上の各画素のＹ方向の大きさ＝６．４μｍ、
という撮像素子が用いられている。

図１２（Ｂ）において、
・レンズ−撮像素子間の距離３２７＝３５ｍｍ、
・露光時間中にカメラが回転運動により移動する量３２６Ａ＝０．０５８°、
である場合、撮像素子上での撮影領域のＹ方向の位置に関しての変化量は、これを簡単のために円周上の弧の長さで近似すると、｛２ x ３．１４ x ３５ x ( ０．０５８ / ３６０ ) = ０．０３５ｍｍ = ３５μｍ｝、である。

上記Ｙ方向の撮影領域の変化量＝３５μｍは、撮像素子３２２および３２５上での撮像領域のＹ方向の大きさ＝１５．１ｍｍの、０．２％に相当する。
つまり、写真撮影の際の、露光時間をＴ(sec)、レンズ−撮像素子間の距離をＬｍｍと表記した時に、式｛T > (1/L) ｝（ここで、Ｔ：露光時間を、秒の単位で表示した場合の値、Ｌ：レンズ−撮像素子間の距離をmmの単位で表示した場合の値）の関係を満たす露光時間Ｔ秒で撮影した場合、手ぶれによる画像の乱れを、乱れとして人が視覚的に認識できること経験的に判っているが、これは、手ぶれにより撮像素子の撮像領域が、撮像領域の一辺の大きさと比較して、その０．２％以上の距離を移動すると、画像の乱れとして人が視覚的に認識できることと同意であることが判る。

したがって、第２の実施形態において、カメラの移動量が大きいために、これによる画像の乱れが大きく、このため手ぶれ補正処理を実施した方が、良好な画像を得られるか、それとも、カメラの移動量が小さいために、これによる画像の乱れが小さく、このため手ぶれ補正処理を実施しない方が、ノイズが少ない良好な画像を得られるか、を判断するための閾値を予め定めておくには、次のように行う。

一例として、
・露光時間をＴ(sec)、
・レンズ−撮像素子間の距離をＬ(mm)、
・撮像素子における撮像領域の一辺の幅をＷ(mm)、
・手ぶれ量を検出するための角速度センサーにて検出された手ぶれ量をＢ（°/sec）、と表記すると、
手ぶれにより撮像素子の撮像領域が０．２％変化する場合の手ぶれ量Ｂ、つまり、先に述べた説明と同様の計算式を用いて、｛２ x ３．１４ x Ｌ x ( ( Ｂ x T ) / ３６０ ) ＝Ｗ x ( ０．２ / １００ )｝、なる関係を満たす、手ぶれ量Ｂ、を閾値とする。

第２の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。

＜第３実施形態＞
図１４は、本実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。

本第３の実施形態の撮影装置２００Ｂが第１の実施形態の撮影装置２００と異なる点は、カメラが三脚に固定されているか否かを検出する検出器２２５を設けて、三脚が固定されている場合は、手ぶれ補正が不要であるとして、撮影方式として第２の撮影方式を選定するようにしたことにある。

その他の構成は第１の実施形態と同様である。

ここで、カメラが三脚に固定されているか否かを検出する検出器２２５について、図１５（Ａ）〜（Ｄ）、および図１６（Ａ），（Ｂ）に関連付けて説明する。これらの図においては、撮影装置２００Ｂをカメラとして符号４００を用い手示している。

図１５（Ａ），（Ｃ）に示すように、カメラ４００の底部には、カメラを三脚に固定するための凹型のねじ山４０１が形成してある。
図１５（Ｂ）は、図１５（Ａ）に示したカメラ４００を三脚４５０に固定した状を示す。
また、図１５（Ｄ）が、カメラ４００が三脚４５０に固定されているか否かを検出する検出器２２５を示す。
カメラ４００を三脚に固定するための凹型のねじ山４０１の壁面に、切り欠き４０２が形成され、そこに、たとえば赤外線などの発光素子４１０と、これに対応した受光素子４１１が備えられている。この例では、これら発光素子４１０と受光素子４１１により検出器２２５が構成されている。

図１６（Ａ）および（Ｂ）は、それぞれカメラを三脚に固定していない場合、三脚に固定している場合を示している。
発光素子４１０からの発光が、受光素子４１１において受光されるか否かにより、カメラが三脚に固定されているか否かを検出する。
図１６（Ａ）においてはカメラ４００を三脚４５０に固定していないと検出され、図１６（Ｂ）においてはカメラ４００を三脚４５０に固定していると検出される。

図１４に示した、第３の実施形態の撮影装置において、写真を撮影する際に実行される処理を、図８を引用して説明する。

まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ１０１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ１０２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子２０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ１０３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、上記（６）式の関係を満たす露光時間Ｔが適正な露光時間とされている。

次いで、手ぶれなどのカメラ外部からカメラに加えられた力によって、カメラが移動している状態にあるか否かの情報を取得する。
第３の実施の形態においては、図１４に示した三脚使用状況検出器２２４からカメラが三脚に固定されているか否かの情報を取得する。
次いで、上記の情報を基に、カメラの移動量が大きいために、これによる画像の乱れが大きく、このため手ぶれ補正処理を実施した方が、良好な画像を得られるか、それとも、カメラの移動量が小さいために、これによる画像の乱れが小さく、このため手ぶれ補正処理を実施しない方が、ノイズが少ない良好な画像を得られるか、を判断する（ＳＴ１０４〜ＳＴ１０６）。
第３の実施の形態においては、三脚使用状況検出器２２５から、カメラが三脚に固定されていないと検出されれば、手ぶれ補正が必要と判断する。
カメラが三脚に固定されていると検出されれば、手ぶれ補正が不必要と判断する。

第３の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。

＜第４の実施形態＞
図１７は、第４の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。

本第４の実施形態の撮影装置２００Ｃが第１の実施形態の撮影装置２００と異なる点は、露光を行う前に、たとえば、被写体の明るさを測定している間に、撮像素子２０７から、複数枚の画像を、カメラ信号処理ＬＳＩ２０９に入力し、入力された複数枚の画像を比較することにより、これらの画像を撮影した間に、カメラが移動した大きさの情報を取得するようにしたことにある。

図１７に示した、第４の実施形態の撮影装置において、写真を撮影する際に実行される処理を、図８を引用して説明する。

次いで、手ぶれなどのカメラ外部からカメラに加えられた力によって、カメラが移動している状態にあるか否かの情報を取得する。
第４の実施の形態においては、露光を行う前に、たとえば、上で述べた被写体の明るさを測定している間に、図１７に示した撮像素子２０７から、複数枚の画像を、カメラ信号処理ＬＳＩ２０９に入力する。
入力された複数枚の画像を比較することにより、これらの画像を撮影した間に、カメラが移動した大きさの情報を取得する。
複数枚の画像データを基にして、これらの画像を撮影した間に、撮影したカメラが移動した大きさを求める。

具体的には、２枚もしくはそれ以上の画像を比較して、１枚目に撮影した画像内に映っている被写体が、２枚目もしくはそれ以降に撮影した画像内のどの場所に映っているかを検出し、その移動量と移動方向を示したベクトルの大きさから、撮影中のカメラの移動量を求めている。
複数枚の画像を基にして、これらの画像を撮影した間に、撮影したカメラが移動した大きさを求める手法としては、より簡単には、１枚目に撮影した画像において、たとえば輝度の大きい画素を、大きい方から順にたとえば１００画素抽出し、２枚目に撮影した画像においても、同様に輝度の大きい画素を、大きい方から順に１００画素抽出し、２枚の画像を比較して、抽出した１００画素の移動量を求め、その移動量の平均値を、近似的に、撮影中にカメラが移動した大きさとしても良い。

次に、撮影中にカメラが移動した大きさの情報を基に、カメラの移動量が大きいために、これによる画像の乱れが大きく、このため手ぶれ補正処理を実施した方が、良好な画像を得られるか、それとも、カメラの移動量が小さいために、これによる画像の乱れが小さく、このため手ぶれ補正処理を実施しない方が、ノイズが少ない良好な画像を得られるか、を判断する（ＳＴ１０４〜ＳＴ１０６）。
この判断は、第２の実施形態と同様にして行う。

上記の処理により、手ぶれ補正が必要と判断された場合は、手ぶれ補正処理技術を用いた第１の撮影方式による手ぶれ補正撮影を実施する。
すなわち、適正露光時間を、複数の時間に分割し、撮影する（ＳＴ１０７）。
露光分割数をｍとすると、上記適正露光時間の１/ｍの露光時間でｍ枚の画像を撮影する。
撮影したｍ枚の画像の中から、露光時刻が隣り合う2枚の画像をｍ−１組取り上げ、取り上げた２枚の画像データを比較して、2枚の画像の撮影の間で、どの程度手ぶれによりカメラの画角が移動したかを求める。その移動量を補正しながら、ｍ枚の画像を重ね合わせ、1枚の画像を作り出す（ＳＴ１０８）。
そして、手ぶれ補正の処理を行い、手ぶれによる画像の乱れを改善した後の画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ１１０）。

第４の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。

＜第５の実施形態＞
図１７は、第５の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。

本第５の実施形態の撮影装置２００Ｃが第１の実施形態の撮影装置２００と異なる点は、撮像素子２０７の周辺に小型撮像素子２０７１，２０７２を配置して、カメラが移動した大きさの情報を取得するようにしたことにある。

すなわち、第５の実施形態において、小型撮像素子２０７１，２０７２は、撮影の際に、カメラが手ぶれにより移動しているか否かの情報を取得するための、ラインセンサに代表される、撮像素子２０７よりも小型の撮像素子である。
光学レンズ系２０２のレンズは、一般的に円形であるため、レンズ系２０２から撮像素子２０７に入射する光路の断面形状は円形である。
一方、撮像素子２０７は四角形である。
このため、レンズ系２０２からの入射する円形の入射光のうち、撮像素子の外側の領域に入射する光は、これまで写真撮影に利用されていなかった。
第５の実施形態においては、一例として、この領域へ、撮像素子２０７と水平の方向、および垂直の方向に、小型撮像素子２０７１および２０７２を配置する。

一方、一眼レフカメラの場合は、露光時以外は、撮像素子を遮光している。
このため、撮影前に被写体の照度を測定して露光時間を求める際には、レンズからの入射光を、鏡を用いて、撮像素子領域以外に反射させ、反射光が当たる部分に配置してある測光用のエリアセンサーを用いて、被写体の照度を測定している。
このような構造のカメラにおいて、第５の実施形態を実施する場合は、図１８に示した小型撮像素子２０７１および２０７２を、上記の測光用エリアセンサーが配置してある領域の、余地に、配置する。

図１８に示した、第５の実施形態の撮影装置において、写真を撮影する際に実行される処理を、図８を引用して説明する。
まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ１０１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ１０２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子２０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ１０３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、上記（６）式の関係を満たす露光時間Ｔが適正な露光時間とされている。

次いで、手ぶれなどのカメラ外部からカメラに加えられた力によって、カメラが移動している状態にあるか否かの情報を取得する。
第５の実施の形態においては、露光を行う前に、たとえば、上で述べた被写体の明るさを測定している間に、図１８に示した小型撮像素子２０７１および２０７２を用いて、複数枚の画像を撮影し、カメラが移動している大きさの情報を取得する。

複数枚の画像データを基にして、これらの画像を撮影した間に、撮影したカメラが移動した大きさを求める手法としては、その一例として、第４の実施形態で述べた様に、１枚目に撮影した画像において、たとえば輝度の大きい画素を、大きい方から順にたとえば１００画素抽出し、２枚目に撮影した画像においても、同様に輝度の大きい画素を、大きい方から順に１００画素抽出し、２枚の画像を比較して、抽出した１００画素の移動量を求め、その移動量の平均値を、近似的に、撮影中にカメラが移動した大きさとする。

第５の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。

＜第６の実施形態＞
図１９は、第６の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。

本第６の実施形態の撮影装置２００Ｅが第５の実施形態の撮影装置２００Ｄと異なる点は、撮像素子２０７内に配置された画素の一部の領域を、撮像素子２０７の周辺に配置する小型撮像素子２０７１，２０７２として用いるように構成したことにある。

その他の構成は、第５の実施形態と同様であり、第６の実施形態によれば、上述した第１および第５の実施形態と同様の効果を得ることができる。

＜第７の実施形態＞
図２０は、本第７の実施形態に係る撮影装置（カメラ）の構成例を示すブロックである。

本第７の実施形態の撮影装置２００Ｆが第１の実施形態の撮影装置２００と異なる点は、手ぶれ補正を強制的にオフするための手ぶれ補正強制オフスイッチ２２６を設けて、スイッチがオフされた場合には、手ぶれ補正が不必要と判断し、撮影方式として第２の撮影方式を選定するようにしたことにある。

手ぶれ補正強制オフスイッチ２２６は、手ぶれ補正処理およびこれを前提とした写真撮影の実行を、強制的に阻止するスイッチである。
カメラを用いて写真撮影を行う際、手ぶれによる画質の乱れが発生するか否かを判断材料として撮影方式の選択を行うよりも、それ以外の事象を判断材料として撮影方式の選択を行うことを優先する必要が、場合によっては発生する。

その一例を説明する。手ぶれ補正処理は、従来例の説明の際に引用した開示されたてぶれ補正技術だけでなく、他の手ぶれ補正技術においても、これを使用すると、これを使用しない場合と比較して、より多くの電子回路を使用する、あるいは、より多くの電子デバイスを使用するので、手ぶれ補正処理を行わない場合と比較して、消費電力が増加する。
したがって、たとえばカメラが使用しているバッテリーの残量が少なくなった場合は、手ぶれによる画質の乱れが発生するか否かの判断よりも、電力消費を抑制するか否かの判断を優先して、撮影方式の選択を行うことが必要となる。
このように、手ぶれによる画質の乱れが発生するか否かを判断材料として撮影方式の選択を行うよりも、それ以外の事象を判断材料として撮影方式の選択を行うことを優先する必要がある状況において、これを可能とするため、第７の実施形態は、手ぶれ補正処理およびこれを前提とした写真撮影の実行を、強制的に阻止するスイッチ２１６を備えている。

このスイッチ２２６へのオンオフの設定は、上述の電力消費抑制を例に説明すると、電力消費を抑制するか否かをユーザが判断して、スイッチ２２６のオンオフをユーザが手動で行なって良い。
あるいは、バッテリーの残量を計測して、カメラのハードウエアもしくはソフトウエアが電力消費を抑制するか否かの判断を行い、スイッチ２２６のオンオフをカメラのハードウエアもしくはソフトウエアが行なっても良い。
このため、第７の実施形態においては、スイッチ２２６へのオンオフの設定を、ユーザが手動で行う構成にして良いし、あるいは、カメラのハードウエアもしくはソフトウエアが行う構成にしても良い。

次に、本第７の実施形態の撮影装置２００Ｆにおいて撮影する際の処理を、図２１に関連付けて、カメラ信号処理ＬＳＩ２０９Ｆの処理を中心に説明する。

まず、ユーザが撮影に用いるレンズ絞り値を設定する（ＳＴ１１１）。
次に、ユーザがカメラを被写体に向け、被写体からの反射光もしくは発光をカメラ内に入射させる。ここで被写体の照度を測定する（ＳＴ１１２）。たとえばカメラ上の測光センサを用いて被写体の明るさを求める。もしくは、撮像素子２０７上の結像の明るさのデータから被写体の明るさを求める。
被写体からの光が入射すると、カメラ上で適正な露光時間あるいは露光時間の逆数であるシャッタスピードが求められる（ＳＴ１１３）。
一般的に、被写体照度をＬ、レンズ絞り値をＦ、露光時間をＴ、ＩＳＯ感度をＡと表記すると、上記（６）式の関係を満たす露光時間Ｔが適正な露光時間とされている。

ここで、手ぶれ補正強制オフスイッチ２２６がオフになっているか否かの判別を行う（ＳＴ１１４）。

ここで、スイッチがオフになっていないと判別すると、ズームレンズ２０２ａのズーム量を制御しているマイクロコンピュータを含むモータコントローラ２０６から、レンズ−撮像素子間の焦点距離Ｌ(mm)の値を取得する（ＳＴ１１５）。

次に、算出した最適露光時間とズームレンズ２０２ａのズーム量から手ぶれした場合の画像の乱れ量を算出する（ＳＴ１１６）。

手ぶれによる画像の乱れの大きさが、人が視覚的に認識できる大きさに達しているか否かを判断する。
すなわち、一般的には、レンズ−撮像素子間の焦点距離をＬｍｍとすると、露光時間Ｔ(sec)が(１/Ｌ)(sec)より大きい場合、つまり、T(sec) > (1/L)（Ｌ：レンズ−撮像素子間の焦点距離をmmの単位で表示した場合の値）なる場合に、画像の乱れとして人が視覚的に認識できると言われているので、上記で取得した、露光時間Ｔ(sec)とレンズ−撮像素子間の焦点距離Ｌ(mm)の値から、式｛T > 1/L ｝の関係にあるか否かを求め、手ぶれ補正するする必要があるか否かを判断する。
そして、第１の撮影方式を採用するか第２の撮影方式を採用するかの選定処理を行う（ＳＴ１１７）。

さらに、上記第１の実施形態と同様に、本実施形態の装置の構成あるいは、処理のフローを簡単にするための改善を行った例として、以下のようにしても良い。
撮影を行う際に毎回、露光時間Ｔ(sec)とレンズ−撮像素子間の焦点距離Ｌ(mm)の値を取得するのではなく、撮影の際には、露光時間Ｔ(sec)の値のみを取得し、レンズ−撮像素子間の焦点距離Ｌ(mm)の値は、固定値を用いても良い。
またこのＬに補正係数Ａを掛けた値、A * L (mm) を、固定値を用いても良い。
たとえば、レンズが換装不可能なカメラにおいては、備えているレンズにおいて、手ぶれによる画像の乱れが最大となる条件、つまり、レンズ−撮像素子間の焦点距離Ｌ(mm)が最大となる値を用いても良い。
また、レンズの換装が可能なカメラにおいては、装着される可能性が最も高いレンズ、すなわち撮影に用いるカメラに装着可能なレンズのうち、最も販売量が大きいレンズにおいて、手ぶれによる画像の乱れが最大となる条件、つまり、レンズ−撮像素子間の焦点距離Ｌ(mm)が最大となる値を用いても良い。
また、このＬに補正係数Ａを掛けた値、A * L (mm) を、固定値を用いても良い。

上記の処理により、手ぶれ補正が必要と判断された場合は、手ぶれ補正処理技術を用いた第１の撮影方式による手ぶれ補正撮影を実施する。
すなわち、適正露光時間を、複数の時間に分割し、撮影する（ＳＴ１１８）。
露光分割数をｍとすると、上記適正露光時間の１/ｍの露光時間でｍ枚の画像を撮影する。
撮影したｍ枚の画像の中から、露光時刻が隣り合う2枚の画像をｍ−１組取り上げ、取り上げた2枚の画像データを比較して、2枚の画像の撮影の間で、どの程度手ぶれによりカメラの画角が移動したかを求める。その移動量を補正しながら、ｍ枚の画像を重ね合わせ、1枚の画像を作り出す（ＳＴ１１９８）。
そして、手ぶれ補正の処理を行い、手ぶれによる画像の乱れを改善した後の画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ１２１）。

ステップＳＴ１１４においてスイッチ２２６がオフしていると判別し、またはステップＳＴ１１７の判別処理により、手ぶれ補正が不必要と判断された場合は、手ぶれ補正処理技術を用いない、第２の撮影方式による撮影を実施する（ＳＴ１２０）。
すなわち、ユーザがシャッタボタンを押すと、上記のレンズ絞り値および露光時間を用いて撮影が行われ（ＳＴ１２０）、得られた画像を、ＤＲＡＭ２１０やフラッシュメモリ２１１、あるいは記録媒体２１２に格納（保存）する（ＳＴ１２１）。

本第７の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。

また、第７の実施形態に類似の実施形態として、手ぶれ補正処理およびこれを前提とした写真撮影の実行を、強制的に実行するスイッチを備える形態も考えられる。
この実施形態の構成、および、この構成の装置において写真を撮影する際に実行される処理のフローは、第７の実施形態と類似のものであるため、その説明は省略する。

以上のように、各実施形態によれば、カメラを用いて写真撮影する際に、手ぶれ補正処理が効果を発揮する時のみ、手ぶれ補正処理を実行し、手ぶれ補正処理が効果を発揮しない時は、手ぶれ補正処理を実行しないため、手ぶれ補正処理が効果を発揮しない状況においては、手ぶれ補正処理が効果を発揮しない時でも手ぶれ補正処理を実行する場合よりも、美しい画像を撮影することが可能となる。
さらに、手ぶれ補正処理が効果を発揮しない状況においては、手ぶれ補正処理が効果を発揮しない時でも手ぶれ補正処理を実行する場合よりも、消費電力を低減することが可能となる。

手ぶれ補正技術を使用しない写真撮影装置（カメラ）の構成例を示す図である。図１の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。撮影方式の一例として絞り優先方式撮影を例にとって写真撮影の際に実行される処理手順を説明するためのフローチャートである。開示された手ぶれ補正技術を使用した写真撮影装置（カメラ）の構成例を示す図である。図４の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。第１の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。本実施形態のカメラ信号処理ＬＳＩの具体的な構成例を示すブロック図である。図６の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。図６の撮影装置において撮影する際に実行される処理を説明するための図であって、処理時の主要な信号の流れを示す図である。第２の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。図１０の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。手ぶれの方向と、それによる画像の乱れの大きさとの関係を説明するための図である。手ぶれの方向と、それによる画像の乱れの大きさとの関係を説明するための図である。第３の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。カメラが三脚に固定されているか否かを検出する検出器の構成を説明するための図である。カメラが三脚に固定されているか否かを検出する検出器の動作を説明するための図である。第４の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。第５の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。第６の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。第７の実施形態に係る撮影装置（カメラ）の構成例を示すブロック図である。図２０の撮影装置において撮影する際に実行される処理を説明するためのフローチャートである。

符号の説明

２００，２００Ａ〜２００Ｆ・・・撮影装置（カメラ）、２０１・・・レンズ絞り、２０２・・・光学レンズ系、２０２ａ・・・ズームレンズ、２０２ｂ・・・フォーカスレンズ２０２ｂ、２０３・・・レンズ絞りを駆動するステッピングモータ、２０４・・・ズームレンズを駆動するステッピングモータ、２０５・・・フォーカスレンズを駆動するステッピングモータ、２０６・・・モータコントローラ２０６、２０７・・・撮像素子、２０７１，２０７２，２０７１ａ，２０７２ｂ・・・小型撮像素子、２０８・・・アナログフロントエンド部、２０９、２０９Ａ〜２０９Ｆ・・・カメラ信号処理回路（ＬＳＩ）、２１０・・・ＤＲＡＭ、２１１・・・フラッシュメモリ、２１２・・・記録媒体、２１３・・・表示デバイス、２１４・・・アナログＬＣＤドライバ、２２３，２２４・・・角速度センサ、２２５・・・三脚検出器、２２６・・・手ぶれ補正強制オフスイッチ。

Claims

撮像素子による画像信号を処理する画像信号処理装置であって、
上記撮像素子による画像信号に対するぶれ補正機能を有し、所定の信号と所定の閾値に基づいてぶれ補正の適用の可否を自動的に判定し、閾値の範囲外にあると判定すると上記ぶれ補正を行わないように処理し、閾値の範囲内にあると判定するとぶれ補正を伴うように処理する信号処理回路
を有する画像信号処理装置。
上記信号処理回路は、所定の信号と所定の閾値に基づいて上記ぶれ補正処理による画像改善効果が視覚的に認識し難い撮影状況下にあるか否かを自動的に判定し、認識し難い状況下にあると判定すると上記ぶれ補正を行わないように処理し、認識し難い状況下にないと判定するとぶれ補正を伴うように処理する
請求項１記載の画像信号処理装置。
上記信号処理回路は、
複数枚の画像を撮影し、画像間のぶれによる装置の移動量を検出し、撮影した複数枚の画像を撮影中に発生した移動量を補正しながら画像を足し合わせて１枚の画像を作り出す機能からなるぶれ補正技術を用いた第１の撮影方式と、
通常の１回の露光で１枚の画像を作り出す第２の撮影方式と、を選定可能で、
ぶれ補正を行うと判定した場合には上記第１の撮影方式を選定し、
ぶれ補正を行わないと判定した場合には上記第２の撮影方式を選定する
請求項１記載の画像信号処理装置。
上記信号処理回路は、ぶれ補正をするか否かを露光時間Ｔ、または／および光学系の焦点距離Ｌに基づいて判断する
請求項１、２、または３記載の画像信号処理装置。
上記信号処理回路は、ぶれ補正をするか否かを、装置の移動量に関する情報に基づいて判断する
請求項１、２、または３記載の画像信号処理装置。
上記信号処理回路は、移動量としてはぶれ検出器の検出したぶれ量に基づいて取得し、当該移動量と所定の閾値とを比較してぶれ補正をするか否かを判断する
請求項５記載の画像信号処理装置。
上記信号処理回路は、移動量としては複数の画像信号に基づいて取得し、当該移動量と所定の閾値とを比較してぶれ補正をするか否かを判断する
請求項５記載の画像信号処理装置。
上記信号処理回路は、撮影装置を固定する部材に取り付けられた否かの検出器の検出結果に応じてぶれ補正するか否かを判断する
請求項１、２、または３記載の画像信号処理装置。
上記信号処理回路は、ぶれ補正する否かを強制的に指示する信号を受けると、当該指示に応じてぶれ補正するか否かを判断する
請求項１、２、または３記載の画像信号処理装置。
光学系による被写体の像を受けて画像信号を出力する撮像素子と、
上記撮像素子による画像信号に対するぶれ補正機能を有し、所定の信号と所定の閾値に基づいてぶれ補正の適用の可否を自動的に判定し、閾値の範囲外にあると判定する記ぶれ補正を行わないように処理し、閾値の範囲内にあると判定するとぶれ補正を伴うように処理する信号処理回路と、
を有する撮影装置。
上記信号処理回路は、所定の信号と所定の閾値に基づいて上記ぶれ補正処理による画像改善効果が視覚的に認識し難い撮影状況下にあるか否かを自動的に判定し、認識し難い状況下にあると判定すると上記ぶれ補正を行わないように処理し、認識し難い状況下にないと判定するとぶれ補正を伴うように処理する
請求項１０記載の撮影装置。
上記信号処理回路は、
複数枚の画像を撮影し、画像間のぶれによる移動量を検出し、撮影した複数枚の画像を撮影中に発生した移動量を補正しながら画像を足し合わせて１枚の画像を作り出す機能からなるぶれ補正技術を用いた第１の撮影方式と、
通常の１回の露光で１枚の画像を作り出す第２の撮影方式と、を選定可能で、
ぶれ補正を行うと判定した場合には上記第１の撮影方式を選定し、
ぶれ補正を行わないと判定した場合には上記第２の撮影方式を選定する
請求項１０記載の撮影装置。
上記信号処理回路は、ぶれ補正をするか否かを露光時間Ｔ、または／および光学系の焦点距離Ｌに基づいて判断する
請求項１０、１１、または１２記載の撮影装置。
上記信号処理回路は、ぶれ補正をするか否かを、装置の移動量に関する情報に基づいて判断する
請求項１０，１１、または１２記載の撮影装置。
装置のぶれを検出するぶれ検出器を有し、
上記信号処理回路は、移動量としてはぶれ検出器の検出したぶれ量に基づいて取得し、当該移動量と所定の閾値とを比較してぶれ補正をするか否かを判断する
請求項１４記載の撮影装置。
上記信号処理回路は、移動量としては複数の画像信号に基づいて取得し、当該移動量と所定の閾値とを比較してぶれ補正をするか否かを判断する
請求項１４記載の撮影装置。
撮影装置を固定する部材に取り付けられた否かの検出器を有し、
上記信号処理回路は、上記撮影装置を固定する部材に取り付けられた否かの検出器の検出結果に応じてぶれ補正するか否かを判断する
請求項１０、１１、または１２記載の撮影装置。
ぶれ補正する否かを強制的に指示するスイッチを有し、
上記信号処理回路は、上記スイッチによりぶれ補正する否かを強制的に指示する信号を受けると、当該指示に応じてぶれ補正するか否かを判断する
請求項１０、１１、または１２記載の撮影装置。
撮像素子による画像信号を処理する画像信号処理方法であって、
所定の信号と所定の閾値に基づいてぶれ補正の適用の可否を自動的に判定するステップと、
閾値の範囲外にあると判定すると上記ぶれ補正を行わないように処理するステップと、
閾値の範囲内にあると判定するとぶれ補正を伴うように処理するステップと
を有する画像信号処理方法。
撮像素子による画像信号を処理する画像信号処理方法であって、
所定の信号に基づいてぶれ補正処理による画像改善効果が視覚的に認識し難い撮影状況下にあるか否かを自動的に判定するステップと、
認識し難い状況下にあると判定すると上記ぶれ補正を行わないように処理するステップと、
認識し難い状況下にないと判定するとぶれ補正を伴うように処理するステップと
を有する画像信号処理方法。