JP2005101837A

JP2005101837A - 光学機器

Info

Publication number: JP2005101837A
Application number: JP2003331943A
Authority: JP
Inventors: Kazuhiro Izukawa; 和弘伊豆川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-24
Filing date: 2003-09-24
Publication date: 2005-04-14
Anticipated expiration: 2023-09-24
Also published as: JP4307198B2

Abstract

【課題】１回の露光期間中の像ぶれを良好に補正することが困難であった。
【解決手段】１回の露光中の撮像素子からの複数の出力から、像の位置変化を求め、その位置変化に基づいて複数の出力を合成して像ぶれ補正を行う。また合成されない部分の画像データの値を補正することにより良好な画像を得る。
【選択図】図３

Description

本発明は、画像を合成して像ぶれ補正を行うカメラやビデオカメラなどの光学機器に関し、特に静止画撮像における１コマの撮影時の像ぶれ補正を行うデジタルスチルカメラなどの光学機器に関するものである。

従来より、像ぶれ補正機能を有するカメラやビデオカメラが知られている。

ここで、撮像素子を像ぶれ検出手段に用いたカメラが特許文献１に開示されている。また、撮像素子を像ぶれ検出手段に用いたビデオカメラが特許文献２に開示されている。
特許第３０２４９７９号公報特開昭６４−７８５８１号公報

上記の特許文献１に開示されたカメラでは、撮像素子を像ぶれ検出に用いており、使用者が得る画像はフィルムに記録した出力によるものであった。その為、撮像素子を像ぶれ検出に用いるだけなので無駄があった。

また、特許文献２に開示されたビデオカメラでは、撮像素子の出力を像ぶれ検出と使用者が得る画像データの取得の両方に用いている為に無駄は無いが、動画を構成する各画像間の像の移動を像ぶれ検出に用いる構成である為、静止画には使用できない問題があった。さらに、撮像した画像の一部を切り出す事により像ぶれ補正した像を作成していた為、無駄があった。

本発明は、露光中の撮像素子からの出力により像の位置変化を求め、その位置変化に基づいて像を合成して像ぶれ補正を行うことができ、また合成されない部分の画像データの値に補正することにより良好な画像を得ることのできる光学機器を提供しようとするものである。

上記の目的を達成するために、本発明は、撮影光学系により結像された像を撮像する撮像素子と、前記撮像素子の１回の露光期間中に該撮像素子により順次撮像された画像データを記憶する記憶手段と、前記記憶手段に記憶された複数の画像データ間の像の位置ずれを検出する検出手段と、前記検出手段の出力に基づいて前記像の位置ずれを補正するように前記複数の画像データを、平面座標内で移動させて合成する合成手段とを備えた光学機器であって、前記合成手段により、前記記憶手段に記憶された１つの画像データに他の１つの画像データを合成したときに、前記１つの画像データの平面座標領域のうち、前記他の１つの画像データが合成されなかった領域のデータを補正する補正手段を備えたことを特徴としている。

また、本発明は、撮影光学系により結像された像を撮像する撮像素子と、前記撮像素子の１回の露光期間中に該撮像素子により順次撮像されたｎｍ個の画像データを記憶する記憶手段と、前記記憶手段に順次記憶されたｎｍ個の画像データにおいて基準となる画像データｎ１に対して他の各画像データｎ２〜ｎｍの間の各像の位置ずれを検出する検出手段と、前記検出手段の出力に基づいて前記像の位置ずれを補正するように前記基準となる画像データｎ１に対して前記他の各画像データｎ２〜ｎｍを、それぞれ平面座標内で移動させて合成する合成手段とを備えた光学機器であって、前記合成手段により、前記記憶手段に記憶された前記基準となる画像データｎ１に前記他の各画像データｎ２〜ｎｍを合成したときに、前記基準となる画像データｎ１の平面座標領域のうち、前記他の画像データｎ２〜ｎｍの全ての画像データが合成されなかった領域のデータを補正する補正手段を備えたことを特徴としている。

本発明によれば、露光中の撮像素子からの出力により像の位置変化を求め、その位置変化に基づいて像を合成して像ぶれ補正を行うことができ、また合成されない部分の画像データの値に補正することにより良好な画像を得ることができる。

以下を本発明の実施例について図面を参照しながら説明する。

図１は本発明の実施例１に係るカメラシステム（光学機器）の要部を示す構成図であり、図中、左側がカメラアクセサリであるレンズを示し、右側がカメラ本体を示している。

同図において、１はレンズ鏡筒であり、撮影レンズ１ａを構成する複数のレンズＧ１，Ｇ２，Ｇ３を有している。２は絞りであり、ピニオンギア４を介してモータ３により開閉駆動する。５は絞り制御回路であり、レンズ鏡筒１側に設けたレンズ制御ＣＰＵ１１からの信号に基づいて絞り２の開閉状態を制御する。６はフォーカス駆動用モータであり、ウォームギア７を介して撮影レンズ１ａのうちのフォーカスレンズ（不図示）を光軸１ｂ方向に駆動させてフォーカス駆動を行う。

８はモータ制御回路であり、レンズ制御ＣＰＵ１１からの信号に基づいてモータ６の駆動状態を制御し、フォーカス駆動を行う。９はパルス板であり、フォーカス駆動用モータ６に連結したウォームギア７の回転軸に取り付けられている。１０はフォトインタラプタであり、パルス板９の回転状態を検出して、検出結果をレンズ制御ＣＰＵ１１に入力する。

１２はフォーカス・ゾーン検出器であり、例えば平面または曲面上に配置された電極上をブラシが移動し、フォーカスレンズの位置を検出するスイッチを有している。前記レンズ制御ＣＰＵ１１は、該フォーカス・ゾーン検出器１２の出力に応じてそのフォーカスレンズの位置での光学情報をカメラ制御ＣＰＵ３１に通信し、また、フォーカスレンズの位置に応じて絞り制御回路５とモータ制御回路８の駆動制御を行う。

ここで、レンズ側のレンズ制御ＣＰＵ１１の各端子について説明する。

ＣＫはカメラ本体側のカメラ制御ＣＰＵ３１とレンズ側のレンズ制御ＣＰＵ１１との間の通信の同期をとるクロック入力端子である。ＤＯはレンズ側のデータをカメラ本体側に送信するデータ出力端子であり、ＤＩはカメラ本体側からのデータおよび命令を入力するデータ入力端子である。Ｍ１はフォーカス駆動モータ６のＯＮ／ＯＦＦの駆動速度および駆動方向を制御するためのフォーカス駆動モータ制御端子であり、Ｍ２は絞り駆動モータ３のＯＮ／ＯＦＦと駆動方向および駆動量を制御するための絞り駆動モータ３のＯＮ／ＯＦＦと駆動方向および駆動量を制御するための絞り駆動モータ制御端子である。ＰＩはフォーカス駆動モータ６の回転量および回転速度を検出するための検出端子である。

１３はズーム検出器であり、例えばブラシ等のスイッチによりズームレンズの位置を検出する。前記レンズ制御ＣＰＵ１１は、該ズーム検出器１３の出力に応じてそのズームレンズの位置での光学情報をカメラ制御ＣＰＵ３１に通信し、ズームレンズの位置に応じ絞り制御回路５とモータ制御回路８の駆動制御を行う。

レンズ制御ＣＰＵ１１は、レンズ側の各種動作をカメラ本体側に設けられたカメラ制御ＣＰＵ３１からの信号に基づいて制御する。なお、レンズ制御ＣＰＵ１１内には、レンズの製品の種類等を示すＩＤデータ、自動露出制御用のＡＥ用光学データ、自動焦点調節用のＡＦ用光学データ、分光透過率データを含む画像処理用光学データを格納している。

カメラ本体側において、２１は撮影光束が通る撮影光路に対して斜設および待避可能に回動する主ミラーであり、中央部分がハーフミラー面２１ａとなっている。この主ミラー２１は斜設状態にあるとき、撮影レンズ１ａを通過した撮影光束の一部をピント板（フォーカススクリーン）２３の方向に反射させる。これにより、ピント板２３面上には被写体像が形成される。２２はサブミラーであり、主ミラー２１の裏面に固着されている。このサブミラー２２は、斜設状態の主ミラー２１のハーフミラー面２１ａを通過した光束をフォーカス検出器３０に反射させる。

２４はペンタプリズムであり、ピント板２３面上に形成された被写体像を正立正像として接眼レンズ２５に導く。２６はフォーカルプレーンシャッタであり、シャッタ駆動回路２７により駆動される。２８は撮像素子でのエリアジング防止のための光学ローパスフィルタである。２９は測光素子であり、ピント板２３面上の照度を測定して、その測定結果をカメラ制御ＣＰＵ３１に入力する。

カメラ本体側のカメラ制御ＣＰＵ３１は、カメラ本体側の各種動作を制御すると共に、レンズ側のレンズ制御ＣＰＵ１１と通信することにより、レンズの各種動作を制御する。カメラ制御ＣＰＵ３１内には、既に製造され、使用可能なレンズの必要な光学データと設計値または製造時測定した撮像素子４１の各画素の感度に関する補正データを格納してある。

ここで、カメラ本体側のカメラ制御ＣＰＵ３１の各端子について説明する。

ＣＫはカメラ本体側のカメラ制御ＣＰＵ３１とレンズ側のレンズ制御ＣＰＵ１１と間の通信の同期をとるクロック出力端子である。ＬＩＮはレンズ側データの入力端子であり、ＬＯＵＴはカメラ本体側からレンズ側に命令およびデータを出力するデータ出力端子である。Ｓ１は測距・測光開始スイッチ３４の入力端子であり、Ｓ２はレリーズスイッチ３５の入力端子である。ＡＦＩＮはフォーカス検出素子３０のデータ入力端子であり、ＡＥＩＮは測光素子２９のデータ入力端子である。ＳＨＯＵＴはシャッタ駆動回路２７への出力信号端子である。

３４は測光・測距開始用のスイッチ（以下、スイッチＳＷ１とも記す）であり、３５はレリーズスイッチ（以下、スイッチＳＷ２とも記す）である。３６はカメラ本体およびレンズの駆動用電源となる電池である。３７は電池３６の電源を必要な電圧に安定化し、カメラ制御ＣＰＵ３１に供給する安定化電源である。３８はカメラの撮影モード等を設定する操作部、３９はレンズの装着状況を検出するレンズ検出部、４０は光学ローパスフィルタ２８の装着状況を検出する検出する光学ローパスフィルタ検出部である。

前記カメラ制御ＣＰＵ３１は、光学ローパスフィルタ２８の有無を不図示の表示部にその旨表示する。また、操作部３８の設定により光学ローパスフィルタ２８の有無により後述する画像処理方法を一部変更することもできる。

４１はＣＭＯＳセンサ、ＣＣＤセンサ等の撮像素子であり、フォーカルプレーンシャッタ２６が開いている間、レンズ側により得られた像を撮像する。４２は撮像素子４１の各画素毎の水平駆動並びに垂直駆動の為のドライバ回路であり、撮像素子４１はその出力で所定駆動する事により、画像信号出力を発生する。４３はＣＤＳ／ＡＧＣ回路であり、公知のＣＤＳ回路で撮像素子４１の出力信号の雑音除去を行い、公知のＡＧＣ回路で出力信号の増幅度を調整する。４４はカメラ制御用ＣＰＵ３１に制御され全体の駆動タイミングを決定するタイミングジェネレータ（ＴＧ）である。画像処理は決められた動作を短時間で実施する必要があるため、カメラ制御用ＣＰＵ３１だけでなく短い時間の管理を該タイミングジェネレータ４４により行う。なお、ＣＤＳ／ＡＧＣ回路４３も同様に、カメラ制御用ＣＰＵ３１とタイミングジェネレータ４４の出力により制御される。

４５はＡＤ変換回路であり、カメラ制御用ＣＰＵ３１とタイミングジェネレータ４４の出力により、ＣＤＳ／ＡＧＣ回路４３の出力をＡＤ変換し、各画素毎のデジタルデータとして出力する。４６はフレームメモリであり、ＡＤ変換回路４５の出力を格納する。特に像ぶれ情報（像の位置ずれ情報）を得るため、フォーカルプレーンシャッタ２６が開いている間（１回の露光期間）、カメラ制御用ＣＰＵ３１とタイミングジェネレータ４４が撮像素子４１の出力をＡＤ変換回路４５で画像データに変換し、像ぶれ補正に必要な時間毎に、フレームメモリ４６に複数回画素データを格納する。さらに連写撮影等の場合は全ての各画素データをフレームメモリ４６に一時的に格納する。

４７はカメラＤＳＰであり、カメラ制御用ＣＰＵ３１とタイミングジェネレータ４４の出力により、ＡＤ変換回路４５の出力、または、フレームメモリ４６に格納した各画素データからＲＧＢの各色信号を生成する。このとき、レンズの画像処理用データを用いて画像処理を行う。また、ＡＤ変換回路４５の出力、または、フレームメモリ４６に格納された各画素データから違う時刻に得た像データの位置の違いを検出し（詳細は後述する）、各像データの位置を合せて加算する事により像ぶれ補正を行う。

４８はビデオメモリであり、表示部４９の表示に適した画像データを格納する。操作部材３８の操作がなされた場合、カメラ制御用ＣＰＵ３１とタイミングジェネレータ４４の出力により、カメラＤＳＰ４７で作成した画像データを格納し表示部４９に表示する。５０はワークメモリであり、カメラＤＳＰ４７で画像処理を行った出力を格納する。５１は圧縮・伸張部であり、カメラ制御用ＣＰＵ３１とタイミングジェネレータ４４の出力により、所定の圧縮フォーマットに基づきデータ圧縮と伸張する。

５２は不揮発性メモリであり、圧縮・伸張部５１で圧縮したデータを格納する。例えば、フラッシュメモリ、ハードディスク等の不揮発性メモリを使用する。

また、不揮発性メモリ５２に格納した撮影済みの圧縮画像データを観察する場合は、圧縮・伸張部５１で通常の撮影画素毎のデータに伸張し、ビデオメモリ４８へ格納し、表示部４９により行う。

撮影時の処理は、短時間で実行可能となるように構成しており、撮影後すぐにワークメモリ５０から不揮発性メモリ５２へデータを格納しかつ表示部４９での表示を行うことができる。

次に、レンズ側のレンズ制御ＣＰＵ１１とカメラ側のカメラ制御ＣＰＵ３１間のデータ通信について、図２を用いて説明する。この図２は、レンズとカメラ本体間の通信を示したタイミングチャートである。

同図において、ＣＫ，ＤＩ（ＬＯＵＴ），ＤＯ（ＬＩＮ）は前述した通り、カメラ本体とレンズ間のシリアル通信を行うための各信号線である。通信は８ｂｉｔで行われ、クロック８発分が１通信サイクルとなっている。

ＤＩ（ＬＯＵＴ）はカメラ本体側からレンズ側への命令およびデータを送出する信号線であり、同図の第１通信サイクルでは、０００１００００Ｂ（Ｂはバイナリーを表す）を示している。ＤＯ（ＬＩＮ）はレンズ側からカメラ本体側へのデータを送出する信号線であり、同図では、第１通信サイクルの１サイクル前の通信結果のデータが現れるので、同図においては不定である。

図中、ＢＵＳＹはレンズがカメラ本体からの命令を受信し処理を実行している事を示す為、レンズ制御ＣＰＵ１１が０レベルとしている。カメラ制御ＣＰＵ３１はＢＵＳＹが１レベルになった事を確認し、さらに一定時間経過後次の通信を行う。

次に、カメラ本体・レンズ間の通信命令の例について説明する。

カメラを基準とした命令体系となって１６進数で表示してある。００Ｈは設定してない。０１Ｈはレンズの種類、製品バージョン、機能のデータを含むＩＤコードの受信要求命令である。０２Ｈは撮影レンズの焦点距離、撮影レンズの開放ｆ値、ＡＦ敏感度、ＡＦ誤差補正量、最小絞り値、絞り段数等ＡＦ用光学データとＡＥ用光学データの受信要求命令である。０３Ｈはフォーカス駆動モータ６の駆動方向、速度の設定命令である。０４Ｈはレンズ鏡筒１の駆動量設定命令である。０５Ｈは絞り駆動モータ３の駆動方向、設定命令である。０６Ｈは絞り２の駆動量設定命令である。

次に、レンズ側のフォーカス駆動動作について説明する。

レンズとカメラ本体間の通信により、レンズ内のフォーカスに関するデータ（以下、ＡＦ用光学データという）をカメラ本体側のカメラ制御ＣＰＵ３１が得る。そして、カメラ制御ＣＰＵ３１はこのＡＦ用光学データとフォーカス検出素子３０の出力とに基づいてフォーカスレンズの必要移動量を演算し、この演算結果（フォーカスレンズ移動量）をレンズ側のレンズ制御ＣＰＵ１１に通信する。

レンズ側のレンズ制御ＣＰＵ１１は、モータ制御回路８を介してフォーカス駆動モータ６を駆動する。フォーカス駆動モータ６の回転に伴ってレンズ鏡筒１内のフォーカスレンズがフォーカス駆動モータ６の回転軸に取り付けられたウォームギア７の回転により光軸方向に移動する。この回転軸にはパルス板９が一体回転可能に取り付けられており、フォーカス駆動モータ６が回転するとパルス９も回転する。このとき、インタラプタ１０は、該パルス板９上のスリットを通して検出光が通過する毎（又はパルス板９により検出光が遮断される毎）に信号をレンズ側のレンズ制御ＣＰＵ１１に送り、レンズ制御ＣＰＵ１１はこの信号を内部のパルスカウンタでカウントすることにより、前記フォーカス駆動モータ６が何回転したか、つまりはフォーカスレンズがどれだけ移動量したかを認識する。

このようにしてカメラ側のカメラ制御ＣＰＵ３１が通信したフォーカスレンズ移動量分だけフォーカスレンズが移動すると、フォーカス駆動モータ６の回転を停止させフォーカスを完了する。

次に、レンズ側の絞り駆動動作について説明する。

レンズとカメラ本体間の通信により撮影レンズ１ａ内の絞り２に関するデータ（以下、ＡＥ用光学データという）をカメラ本体側のカメラ制御ＣＰＵ３１が得る。そして、該カメラ制御ＣＰＵ３１はそのＡＥ用光学データと測光素子２９からの出力とに基づいて絞り２の開口径を演算し、レンズ側のレンズ制御ＣＰＵ１１に通信する。レンズ側のレンズ制御ＣＰＵ１１は絞り制御回路５によりモータ３を駆動し、カメラ側のカメラ制御ＣＰＵ３１の設定値どおりの開口径となるように絞り２を駆動する。

次に、像ぶれ補正方法について図３のフローチャートに沿って説明する。
図３はカメラ制御用ＣＰＵ３１とタイミングジェネレータ４４とＤＳＰ４７の像ぶれ補正動作を説明するフローチャートである。

まず、使用者がレリーズスイッチ３５をＯＮする事によりにより、シャッタ２６が開き、ステップ（図では♯と示す）＃３０１で開始する。

手ぶれ補正は、ぶれを補正する時間間隔が短いほど精度の高い像ぶれ補正動作を行う事ができるが、一方時間間隔が短いと撮像素子４１に蓄積する電荷量が少なくなることにより像データの出力が低くなるため、被写体の明るさにより時間間隔（ぶれ補正時間、電荷蓄積時間）を変更する。

このことについて図４の露光中の撮像素子４１に蓄積された電荷量を示す図を用いて説明する。

図４において、縦軸は撮像素子４１の蓄積電荷量を示し、Ｑ２は２回目までの電荷量、Ｑｍはｍ回目までの電荷量を示す。また横軸は時刻で、ｔ１でフォーカルプレーンシャッタ２６を開き、露光開始し、ｔｎでシャッタ２６を閉じ、露光終了する。ｔ２、ｔｋ、ｔｍは露光中の時刻を示し、ｔ１ｃ、ｔ２ｃ、…ｔｍｃは１回毎の像データの蓄積期間、ｔ１ｒ、ｔ２ｒ、…ｔｍｒは蓄積された１回毎の像データの読出し期間、ｔ１ｑ、ｔ２ｑ、…ｔｍｑは各回毎の電荷量を示す。

例えば、シャッタ速度１／６０の時、ｔｎ−ｔ１＝１６．７［ｍＳ］である。図４では蓄積時間を１ｍＳとする事により、像ぶれ補正をするのに十分な電荷を得る事が出来ているので、各像データを取得する間隔を１ｍＳとする。
ｔ１ｃ＝ｔ２ｃ＝ｔｋｃ＝ｔｍｃ＝１［ｍＳ］
このとき、１枚の画像データ中の像ぶれを約１／１６に減らす事が可能となる。

図３に戻り説明を続ける。ステップ＃３０２で１回目の像データを取得し、ステップ＃３０３で１回目の像データをフレームメモリ４６に記録する。

ステップ＃３０４で像データ内の輝度が最大となる位置等を検出する事により、１回目の像データの位置を検出する（検出方法についてはステップ＃３０８で説明する）。

以下２回目以降ｍ回目までのの像データ取得については繰り返しとなるので、ｋ回目として示す。なお、ｍは露光時間を像ぶれ情報取得時間で割った商である。ステップ＃３０５でｋ回目の像データを取得し、ステップ＃３０６でｋ回目の像データをフレームメモリ４６に記録する。ステップ＃３０７でステップ＃３０４と同様に像データ内の輝度が最大となる位置等を検出する事により、ｋ回目の像データの位置を検出する。

ステップ＃３０８ではステップ＃３０４で検出した１回目の像データの位置に、ステップ＃３０７で検出したｋ回目の像データを合せて各画素データを加算しワークメモリ５０に記録する。

上記の各像データを一致させて加算する方法を図５を用いて説明する。

図５は、像データにおける、ある画素行の画素位置を横軸に、縦軸に画素からの出力（輝度出力）を示す。

画素からの出力には、ＡＤ変換回路４５の出力、または、フレームメモリ４６に格納した各画素データの出力を用いる。なお、画素出力はカラーフィルタ、感度の違いによりばらつきがあるため、出力の補正を行い感度の補正を行う。ここでは補正後の出力を模式的に示している（説明簡略の為にｘｌ，ｘｌ＋１，ｘｌ＋２の３点の出力を示している）。

図５（ａ）は、１回目の像データの値を示す。また、図５（ｂ）はｋ回目の像データの値を示す。

図５（ａ）の位置、・・・ｘｌ，ｘｌ＋１，ｘｌ＋２，・・・に於ける出力のピークを求める。その簡単な方法を示す。

初めに１ライン上の各画素における出力値を検出し、これらの出力から最大値とその近傍、つまり隣の値を検出する。

図５（ａ）に於ける最大値は、画素位置ｘｌ＋１での出力Ｖｘｌ＋１、その隣の値は画素位置ｘｌでの出力Ｖｘｌである。画素位置ｘｌと画素位置ｘｌ＋１との間において、画素位置ｘｌ＋１に近い側で、さらにＶｘｌとＶｘｌ＋１との比で分割した位置を、想定した出力のピーク位置ｘｌｐｅａｋ（１回目像データ）とする。

同様に、図５（ｂ）の位置、・・・ｘｌ，ｘｌ＋１，ｘｌ＋２，・・・に於ける出力のピークは、図示のｘｌｐｅａｋ（ｔｋ＋１〜ｔｋ＋２）の位置となる。出力のピーク位置ｘｌｐｅａｋ（１回目増データ）とｘｌｐｅａｋ（ｋ回目増データ）の差は、図５（ｂ）に示すようにΔｘｌｐｅａｋ（ｋ回目像データ）として示される。

この様に、ピーク値を推定する事により、画素間の距離よりも小さな値の像ぶれを検出する事が出来、その値を用いて正確な像ぶれ補正（各像データを一致させて重ね合わせる）を行う事ができる。

図３のステップ＃３０９では、図６に示すように１回目の像データとｋ回目の像データの位置がずれている。図６中Ａの部分は１回目の像データとｋ回目の像データが重なっているので、ステップ＃３０８で加算した部分である。Ｂの部分は１回目の像データに画素データがあるが、ｋ回目の像データに画素データが無い為、加算できずＡの部分に比較し画素データが小さくなっているので、補正する必要がある。そこで、１回目の像データのＢの部分の領域の画素データを（１＋１／ｋ）倍し、ワークメモリ５０に記録する。なお、Ｃの部分は１回目の像データに必要が無いので何もしない。

ステップ＃３１０で前回まで像データ取得回数のカウント値ｋに１を加算してｋ（現在のカウント値）＝ｋ（前回のカウント値）＋１とし、ステップ＃３１１でｋ（現在のカウント値）＝ｍと比較し最終像データの取得が終了したかを確認する。ｋ＝ｍで無ければステップ＃３０５へ進み、１ｍＳの像ぶれ補正時間経てから次の像データを取得する。

また、ｋ＝ｍではステップ＃３１２へ進み像ぶれ補正動作を終了する。

上記のように、１回の露光中に得られる複数の像データのずれを補正して加算（重ねる）することにより、像ぶれ補正を行うことができ、また加算されないあるいは加算回数の異なる領域のデータを補正することにより、良好な画像を得ることが可能である。

以上の実施例１によれば、露光中に撮像素子４１の出力（最大値及びその近傍の出力）を複数回得て重ね合せ、重ならない部分に関しては画素データの値を補正する事により、撮像素子４１で撮影した全画素を記録する事が可能となった。

上記実施例１においては、像ぶれ補正情報として用いる画像データの範囲を特に指定せず、画素データ中のピーク値（想定した出力のピーク値）を像ぶれ補正情報として用いている。ここで、流し撮りのように背景に対し主被写体が移動している場合は、主被写体の像ぶれを補正することが必要である。

そこで、本発明の実施例２では、使用者が狙っている主被写体の像ぶれを補正する為にオートフォーカス情報を得る為の領域である測距点（もしくは焦点検出点）付近の位置の画素出力用いて像ぶれ補正を行うようにするものである。

図７（ａ）は撮像素子４１を撮像面から見た模式図であり、画素の位置を示している。横軸は０からｘ３まで、縦軸は０からｙ３までの番地を示している。ある画素の位置は、（ｘｍ、ｙｎ）で示す事が出来る。

図７（ｂ）は接眼レンズ２５から見たファインダ内の測距点を示した図である。

使用者が不図示のスイッチ等の指示手段により中央の測距点を選択した場合は、像ぶれ補正用の画像データを（ｘ１、ｙ１），（ｘ２、ｙ１），（ｘ２、ｙ１），（ｘ２、ｙ２）の四点で囲まれた画素から得る（図７（ａ），（ｂ）の破線参照）。

この様に一部の特定した画素からの出力を用いて、像ぶれ補正を行う事によって、流し撮り時にも像ぶれを正しく行う事が出来るようになり、さらに上記実施の第１の形態で示したピーク検出演算を短縮する事も出来る。なお、主被写体が上記四点の外側に移動した場合はその周辺の画素のデータを用いる。

上記の実施例２によれば、前述の実施例１と同様、露光中に撮像素子４１の出力を複数回像データを取得する事により像ぶれ補正（各像データを一致させて重ね合わせる）を行うようにしている。よって、撮像素子の出力により像ぶれ補正（各像データを一致させて重ね合わせる）を行うことができ、像ぶれ補正を行いながら撮像素子４１の全画素の画像データを記録する事が可能となる。

更に、主被写体の存在する確率の高い測距点（もしくは焦点検出点）に相当する位置の画素出力（オートフォーカス情報を得る為の領域位置に相当する部分）により、像ぶれ補正（各像データを一致させて重ね合わせる）を行うようにしているので、流し撮り時にも主被写体の像ぶれを正しく行う事が出来るようになる。

図８（ａ），（ｂ）は、図５と同様に、ある画素行の画素位置を横軸に、縦軸に画素からの出力（輝度出力）を示す（説明簡略の為に３点の出力を示している）。

図８（ａ）は、画素位置ｘｐからｘｐ＋２の３点の出力での値を示し、図８（ｂ）は、画素位置ｘｑからｘｑ＋２の３点の出力での値を示す。

図８（ａ）における最大値は、画素位置ｘｐ＋１での出力Ｖｘｐ＋１＝３．２Ｖ、その隣の値は画素位置ｘｐでの出力Ｖｘｐ＝３．０Ｖである。想定される出力のピークの位置は３．０対３．２の比で分割した所とする。このとき雑音等が重畳し、Ｖｘｐ＋１＝３．１５Ｖとなった場合は、ピークの位置は３．０対３．１５の比で分割した所とする。

雑音によるピークの位置の変化は
３．２／（３．０＋３．２）／｛３．１５／（３．０＋３．１５）｝＝１．００７７
となり、０．７７％の変化となる。

同様に、図８（ｂ）における最大値は、画素位置ｘｑ＋１での出力Ｖｘｑ＋１＝３．５Ｖ、その隣の値はｘｑでの出力Ｖｘｑ＝３．０Ｖである。ピークの位置は３．０対３．５の比で分割した所とする。このとき雑音等が重畳し、Ｖｘｑ＋１＝３．４５Ｖとなった場合は、ピークの位置は３．０対３．４５の比で分割した所とする。

雑音によるピークの位置の変化は
３．５／（３．０＋３．５）／｛３．４５／（３．０＋３．４５）｝＝１．００６７
となり、０．６７％の変化となる。

このように、明暗比が大きい方（この例では、図８（ｂ）の方）が雑音に対する変化が小さくなる（ＳＮ比が高い）。よって、画面中の明暗比が大きい部分の画素出力を用いる事により、精度の高い像ぶれ検出が可能となる。

上記の実施例３によれば、前述の実施例１と同様、露光中に撮像素子４１の出力を複数回像データを取得する事により像ぶれ補正（各像データを一致させて重ね合わせる）を行うようにしている。よって、撮像素子の出力により像ぶれ補正を行うことができ、像ぶれ補正を行いながら撮像素子４１の全画素の画像データを記録する事が可能となる。

更に、撮像素子の複数の出力の差、つまり画面中の明暗比が大きい画素位置の出力を像ぶれデータ取得に用いるようにしているので、精度の高い像ぶれ検出が可能となる。

図９は、図５と同様に、ある画素行の画素位置を横軸に、縦軸に画素からの出力を示す（説明簡略の為に３点の出力を示している）。

上記の実施の第３の形態と同様に、図８（ａ）との比較を行う。

図９における最大値は、画素位置ｘｒ＋１での出力Ｖｘｒ＋１＝４．２Ｖ、その隣の値は画素位置ｘｒでの出力Ｖｘｒ＝４．０Ｖである。ピークの位置は４．０対４．２の比で分割した所とする。このとき雑音等が重畳し、Ｖｘｒ＋１＝４．１５Ｖとなったとする。ピークの位置は４．０対４．１５の比で分割した所とする。

雑音によるピークの位置の変化は
４．２／（４．０＋４．２）／｛４．１５／（４．０＋４．１５）｝＝１．００５９
となり、０．５９％の変化となる。

この様に画素出力が大きいほうが雑音に対する変化が小さくなる。よって、画面中の画素出力が大きい部分の画素出力を用いる事により、精度の高い像ぶれ検出が可能となる。

上記の実施の第４の形態によれば、前述の実施の第１の形態と同様、露光中に撮像素子４１の出力を複数回像データを取得する事により像ぶれ補正（各像データを一致させて重ね合わせる）を行うようにしている。よって、撮像素子の出力により像ぶれ補正を行うことができ、像ぶれ補正を行いながら撮像素子４１の全画素の画像データを記録する事が可能となる。

更に、画面中の画素出力の大きい画素位置範囲を決定して像ぶれデータを取得するようにしているので、精度の高い像ぶれ検出が可能となる。

なお、図４において、各回毎に蓄積された像データの電荷量は
ｔ１ｑ＝ｔ２ｑ＝・・・＝ｔｋｑ＝ｔｍｑ＝Ｑｍ／１６．７
となる。ここで、１回の露光期間を１６．７［ｍＳ］として蓄積した像データの電荷量をＡＱｍとすると、ＡＱｍに比べてＱｍ／１６．７のＳＮ比は３４．５ｄＢ減少（ＳＮ比が低い）している。

そのＳＮ比の低下を問題とする場合は、
・・・＝ｔ１ｃ＝ｔ２ｃ＝・・・＝ｔｋｃ＝ｔｍｃの時間間隔を粗く（長く）したり、前述の画像中の輝度の高い部分を用いて、ぶれを検出することが有効である。

これにより、像ぶれの予測等を行う事によりさらに像ぶれを減少する事も可能となる。

本発明の各実施形態に係るカメラシステム（光学機器）の構成を示すブロック図。各実施形態におけるレンズとカメラ本体間の通信を示すタイミングチャート。各実施形態における像ぶれ補正動作を説明するフローチャート。実施形態１における露光中の撮像素子に蓄積した電荷量を説明するための図。実施形態１における画素出力を説明するための図。実施形態１における像データを説明するための図。実施形態２における撮像素子を撮像面から見た画素の位置及び接眼レンズから見たファインダ内の位置を示す図。実施形態３における画素出力を説明するための図。実施形態４における画素出力を説明するための図。

符号の説明

１レンズ鏡筒
１１レンズ制御ＣＰＵ
３１カメラ制御ＣＰＵ
４１撮像素子
４３ＣＤＳ／ＡＧＣ回路
４７カメラＤＳＰ

Claims

撮影光学系により結像された像を撮像する撮像素子と、
前記撮像素子の１回の露光期間中に該撮像素子により順次撮像された画像データを記憶する記憶手段と、
前記記憶手段に記憶された複数の画像データ間の像の位置ずれを検出する検出手段と、
前記検出手段の出力に基づいて前記像の位置ずれを補正するように前記複数の画像データを、平面座標内で移動させて合成する合成手段とを備えた光学機器であって、
前記合成手段により、前記記憶手段に記憶された１つの画像データに他の１つの画像データを合成したときに、前記１つの画像データの平面座標領域のうち、前記他の１つの画像データが合成されなかった領域のデータを補正する補正手段を備えたことを特徴とする光学機器。
撮影光学系により結像された像を撮像する撮像素子と、
前記撮像素子の１回の露光期間中に該撮像素子により順次撮像されたｎｍ個の画像データを記憶する記憶手段と、
前記記憶手段に順次記憶されたｎｍ個の画像データにおいて基準となる画像データｎ１に対して他の各画像データｎ２〜ｎｍの間の各像の位置ずれを検出する検出手段と、
前記検出手段の出力に基づいて前記像の位置ずれを補正するように前記基準となる画像データｎ１に対して前記他の各画像データｎ２〜ｎｍを、それぞれ平面座標内で移動させて合成する合成手段とを備えた光学機器であって、
前記合成手段により、前記記憶手段に記憶された前記基準となる画像データｎ１に前記他の各画像データｎ２〜ｎｍを合成したときに、前記基準となる画像データｎ１の平面座標領域のうち、前記他の画像データｎ２〜ｎｍの全ての画像データが合成されなかった領域のデータを補正する補正手段を備えたことを特徴とする光学機器。