JP2008011530A - カメラにおける画像安定化 - Google Patents

Abstract

【課題】 カメラにおいて画像安定化を図る。
【解決手段】 例示的な実施態様では、カメラシステム（１００）は、使用中に画像データを収集する画像センサ（１３０）と、少なくともカメラの回転データを生成する運動センサ（１７０）とを備える。画像安定化サブシステム（１５０）は運動センサ及び画像センサに動作可能に関連付けられる。画像安定化サブシステムは、運動センサからのカメラの回転データと、較正手順に基づいて且つ画像安定化サブシステム内に格納されている補正因子に基づいて、画像センサを動かして、画像露出中に少なくともカメラの回転を補正する。カメラの回転についてカメラシステムを較正する方法（４００）及び使用中のカメラの回転によるぼけを低減する方法（５００）も開示される。
【選択図】図１

Description

従来のフイルムカメラ、及びつい最近ではデジタルカメラは、価格及び操作の両方において、プロの写真家が使用する高性能な一眼レフ（ＳＬＲ）カメラから、ほぼ誰もが比較的容易に使用することができる安価な「全自動」のカメラに至るまで広い範囲で購入することができる。しかしながら、ユーザが使用中、カメラをぶれさせてしまう又は他のやり方で動かしてしてしまい、画像がぼけることがある。

撮像時にカメラを安定させるため、長い間三脚が使用されてきた。レンズ軸を中心にカメラを回転させることを含め、カメラの動きを補正するより高性能な機械装置も利用可能である。これらの機械装置は、カメラが取付けられたプラットフォームを、プラットフォーム上のセンサによって検知される動きと反対の方向に駆動するように動作する。これらはたとえば、飛行機に取付けられる場合には良好に動作するが、個人用の又はハンドヘルドの消費者用のカメラに使用するには望ましくない、高価で且つかさばる解決策である。

（たとえば、ジャイロスコープ等の運動センサからの入力に基づいて）どの程度カメラが動いているか、及びどの方向（ヨー及びピッチ）にカメラが動いているかを判定するためのロジックを備えた、カメラの画像安定化サブシステムも市販されている。このロジックは、画像の露出中にカメラレンズ全体又はカメラレンズの光学群のいずれかをカメラの動きと反対の方向に動かし、撮影される画像を安定化させる。しかし、カメラレンズの性質により、ヨー及びピッチ（たとえば、ｘ軸及びｙ軸を中心とする動き）しか補正することができない。

本明細書において説明するシステム及び方法は、カメラにおける画像安定化に関するものである。例示的なカメラシステムでは、カメラの回転（並びに任意選択的にヨー及びピッチ）を示す電気信号を生成する画像センサに取付けられる少なくとも１つの運動センサを備える画像安定化サブシステムを有している。この電気信号は、較正手順中に複数の較正定数を生成する画像安定化ロジックによって利用されてもよい。これらの較正定数は、カメラシステム内に格納され、使用中にカメラ安定化ロジックによってアクセスされて、画像の露出中に撮像装置又は画像センサを動かすための補正因子が求められ、カメラの回転が補正される。

図１は、画像安定化を実施させることができる１つの例示的なカメラシステム１００のブロック図である。カメラシステムは、現在既知であるもの、及び将来開発されるであろうスチール写真カメラ及びビデオカメラを含めることができる。例示的なカメラシステム１００は、（たとえば、画像露出のために）シャッター１３５が開いている場合にシーン１２５内の１つ又は複数の被写体１２２から反射される光１２０を撮像装置又は画像センサ１３０上に集束させる、カメラシステム１００内に配置されるレンズ１１０を備えることができる。例示的なレンズ１１０としては、シーン１２５から反射される光１２０を画像センサ１３０上に集束させる任意の適したレンズとすることができる。

例示的な画像センサ１３０は、複数の感光セルで実施することができ、この複数の感光セルのそれぞれは露光に応じて電荷を増加させるか又は蓄積する。あるピクセルの蓄積された電荷は露光の強度及び継続時間に比例する。例示的な画像センサ１３０は、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）センサとすることができるが、これらには限定されない。

カメラシステム１００はまた、画像処理ロジック１４０を備えることもできる。デジタルカメラでは、画像処理ロジック１４０は、画像センサ１３０から、露出中に画像センサ１３０によって取り込まれた光１２０を表す電気信号を受け取り、シーン１２５のデジタル画像を生成する。

図１に示されるシャッター、画像センサ、及び画像処理ロジックは、カメラ及び写真撮影の技術分野においては既知である。当業者は本明細書の教示を受ければこれらの構成要素を容易にカメラシステム１００に設けることができ、したがってさらなる説明は必要ない。

カメラシステム１００と共に使用する例示的な画像安定化サブシステム１５０は、画像安定化ロジック１６０及び１つ又は複数のアクチュエータドライブ１６５を備えることができる。画像安定化ロジック１６０は、（たとえば、ジャイロスコープ等の運動センサ１７０からの入力に基づいて）どの程度カメラが動いているか又はぶれているか、及びどの方向にカメラが動いているか又はぶれているかを判定し、補正因子を求めて露出中の少なくとも一部の間に画像センサ１３０を動かし、カメラの回転について画像を補正する。補正因子は較正データ、たとえば、データベース、データストア、又は他の適したデータ構造体１８０内に格納されている較正定数に基づくことができる。

画像安定化ロジック１６０は、アクチュエータドライブ１６５のために（矢印１６２によって示される）１つ又は複数の画像安定化信号を生成する。これに応答して、アクチュエータドライブ１６５は、露出期間の全体又は一部の間にカメラの回転を補正する方向に画像センサ１３０を動かす。任意選択的に、アクチュエータドライブ１６５は、たとえば、ヨー及び／又はピッチを補正するために、レンズ１１０、及び／又は、画像センサ１３０を含む他の光学要素（複数可）を動かすこともできる。いずれの場合でも、制御信号（複数可）１６２が、画像安定化動作のために画像センサ１３０及び／又は他の光学要素（複数可）をどのように動かすかを指示する。

制御信号（複数可）１６２は、動きの量、及び／又は動きをどのように導入すべきかを特定することができる。たとえば、制御信号（複数可）１６２は、どの光学要素（複数可）を動かすべきか又はシフトさせるべきか、どの程度光学要素（複数可）を動かすべきか又はシフトさせるべきか、及び／又は光学要素（複数可）を動かすか又はシフトさせるための開始時刻／停止時刻／継続時間を特定することができる。画像安定化信号（複数可）１６２は異なる光学要素（複数可）を動かすものとして特定することができ、且つ／又は結果としてこれらの光学要素（複数可）は、回転、ピッチ、及び／又はヨーの安定化という個別の目的のために異なる程度で（たとえば、異なる方向に、異なる頻度で、且つ／又は異なる回数で）動かすことができることに留意されたい。

また、動き又はシフトの量及び時間は、少なくとも或る程度、たとえば、どの光学要素（複数可）が動かされているか又はシフトされているか等の１つ又は複数の設計考慮事項によって決まることにも留意されたい。たとえば、動き又はシフトの量は、露出時間の全体又は一部にわたってわずかなピクセル分又はそれ以上であることができ、画像の安定化に望まれる動きの量に基づく。

引き続き説明する前に、図１を参照して上記で図示及び説明したカメラシステム１００は、画像安定化を実施することができるカメラシステムの例示に過ぎないことに留意されたい。本明細書において説明するシステム及び方法は、カメラシステム１００と共に使用することのみに限定するようには意図されていない。カメラの画像安定化を実施することができるカメラシステムの他の実施形態も考えられる。

図２は例示的なカメラの回転の図であり、（ａ）カメラの回転は複数の同心の軸を中心とし、（ｂ）カメラの回転は複数の非同心の軸を中心とする。図２（ａ）では、画像２００が画像センサ（たとえば、図１における画像センサ１３０）によって静止位置２１０ａで取り込まれ得るものとして示されている。すなわち、カメラシステムはｚ軸を中心とするいかなる回転もしていない。

しかしながら、動作中、カメラシステムはｚ軸を中心として動くか又は「回転する」場合がある。このカメラの回転は図２（ａ）において矢印２２０ａ及び２２０ｂによって示され、結果として画像２００は位置２１０ｂ及び２１０ｃによって示されるようにシフトする。カメラの回転が（たとえば、画像センサ軸、運動センサ軸、及びカメラシステム軸が互いに整列している）複数の同心の軸２３０に沿って起こる場合、結果として画像２００に生じるぼけを、画像センサをカメラの回転と反対の方向に動かすことによって補正（たとえば、低減又は完全に防止）することができる。この補正の方向、期間、及び大きさはカメラの回転の方向、期間、及び大きさに比例し、「補正因子」と表現される場合がある。

しかしながら、カメラの回転は１つ又は複数の非同心の軸に沿って起こる場合がある。例示として、カメラシステムは３つの非同心の軸を中心としてカメラの回転を生じることがある。この例では、たとえば、カメラシステムをハウジング内へパッケージングするときの制約に起因して、画像センサ及び運動センサが別個の軸２４０、２４２に沿ってカメラシステム内に設置される。加えて、カメラシステムは使用中にユーザの腕又は肘（軸２４４）をも中心として回転する場合がある。画像センサ軸２４０を中心とするカメラの回転を矢印２４１ａ、２４１ｂによって示し、運動センサ軸２４２を中心とするカメラの回転を矢印２４３ａ、２４３ｂによって示し、ユーザ軸２４４を中心とするカメラの回転を矢印２４５ａ、２４５ｂによって示す。

１つ又は複数の非同心の軸（たとえば、軸２４０及び２４２）に沿ったカメラの回転を受ける場合、結果として画像２００に生じるぼけは、依然として画像センサをカメラの回転と反対の方向に動かすことによって補正することができる。しかしながら、この補正因子の方向、期間、及び大きさは必ずしもカメラの回転の方向、期間、及び大きさに正比例するわけではない。補正因子は軸２４０及び２４２のうちの１つ又は複数の間の垂直オフセット及び／又は水平オフセットについて調整する必要がある場合がある。

水平オフセットを、図２（ｂ）において軸２４０と軸２４２との間の括弧２５０ａ、及び軸２４０と軸２４４との間の括弧２５０ｂによって示す。垂直オフセットを、図２（ｂ）において軸２４０と軸２４２との間の括弧２５０ｃによって示す。この例では、軸２４０と軸２４４との間に垂直オフセットはない。図３を参照して以下でより詳細に説明するように、較正技法を実施して水平方向及び垂直方向のいずれか又は両方におけるオフセットを補正することができる。

引き続き説明する前に、動作中に１つ又は複数の軸を同心とすることができ、且つ／又は他の軸を非同心とすることができることに留意されたい。本明細書において説明する較正技法は、すべてが同心である複数の軸のために、すべてが非同心である複数の軸のために、且つ／又はそれぞれの混合のために構成することができる。カメラシステムを較正するオフセットの数は、少なくとも或る程度設計考慮事項、限定はされないが、例えば画像センサ及び運動センサの相対的な配置、各軸を中心とする回転によってもたらされるぼけの程度、及び種々の軸を中心とするカメラの回転についてのカメラシステムの較正にかかるコスト等で判断される。

図３は、例示的なカメラの回転、及び、画像安定化のためカメラシステムの較正をする際に使用される、運動センサの対応する出力の図であり、（ａ）カメラの回転は複数の同心の軸を中心とし、（ｂ）カメラの回転は複数の非同心の軸を中心とする。

較正手順中、カメラシステムは、ｚ軸を中心として回転できる可動プラットフォーム（図示せず）に接続されていても良い。この接続によって、カメラシステムは、較正手順中に既知のカメラの回転を受けることが可能になる。カメラシステムは、較正手順のために外部演算装置（たとえば、デスクトップコンピュータ又はラップトップコンピュータ）にも接続することができる。外部演算装置はカメラシステムの運動センサからの出力、及び、既知のカメラの回転のデータを受け取る。代替的に、カメラシステム内に設けられるプロセッサ自体を較正手順に（たとえば、外部演算装置の代わりに）使用することができる。

図３（ａ）に示す例では、カメラシステムは、或るΔｔ（たとえば、時間ｔ１〜ｔ２）の間に複数の同心の軸３００を中心として位置３１０から位置３１２まで角度３２０（たとえば、角度θ）を経て動いているか又は「回転している」場合がある。この時間（Δｔ）の間、カメラシステムの運動センサは、検出された動きを示す出力（たとえば、電圧信号）を生成することができる。線図３５０は、既知のカメラの回転に対応する例示的な出力信号３５５を示す。

較正手順中に収集されるデータを外部演算装置によって利用して、較正定数及び対応する補正因子を求めることができる。一例として、較正定数は以下のように表すことができる：

Ｋ＝ΔＶ／Δθ

式中、
Ｋ＝較正定数であり、
ΔＶ＝経過時間中の電圧の変化であり、
Δθ＝既知のカメラの動きである。

対応する補正因子は、既知のカメラの回転の影響を補正（又は相殺）するために画像センサを動かす方向、期間、及び大きさを含むことができる。較正定数（Ｋ）及び対応する補正因子はカメラシステム内（たとえば、データベース、データストア、又は他の適したデータ構造体内）に格納することができ、次いで画像安定化ロジックによって利用されて、（たとえば、写真を撮影しているユーザによる）使用中のカメラの回転によって引き起こされるぼけを低減するか又は完全になくすことができる。

例示として、運動センサはΔｔ中のΔＶの出力を生成することができる。画像安定化ロジックは較正定数（Ｋ）を特定し、対応する補正因子を求める。次いで、補正因子を使用して露出中の少なくとも一部の間に画像センサを動かし、カメラの回転の影響を低減するか又は完全になくす。

図３（ｂ）に示す例では、カメラシステムは、括弧３６０によって示される水平オフセット及び括弧３６５によって示される垂直オフセットの両方を含む複数の非同心の軸３００及び３０５を中心として動いているか又は「回転している」場合がある。ここでも、画像センサは、或るΔｔ（たとえば、時間ｔ１〜ｔ２）の間に位置３１０から位置３１２まで角度３２０（たとえば、角度θ）を経て動いているものとして示されている。カメラシステムの運動センサは、線図３７０に示すような、運動センサによって検出された動きを示す出力信号３７５（たとえば、電圧信号）を生成することができる。

この例では、較正手順中に収集されるデータは、既知の回転データ（たとえば、角度θ）を含む場合があるだけでなく、（たとえば、括弧３６０及び３６５によって示される）オフセット距離を含む場合もある。このデータを外部演算装置によって使用して、較正定数及び対応する補正因子を求めることができる。較正定数及び対応する補正因子はカメラシステム内に格納することができ、次いでカメラシステムの動作中に画像安定化ロジックによって利用して、たとえば、カメラが、そのままでは許容できないぼけを引き起こす可能性のある回転を受けている場合に、アクチュエータドライブ用の制御信号を生成して、露出の少なくとも一部の間に画像センサを動かすことによって、使用中のカメラの回転の影響を低減するか又は完全になくすことができる。

較正定数及び補正因子は、図３（ａ）及び図３（ｂ）に示されるような単一のサンプリングだけに限定されないことに留意されたい。複数のサンプリング（たとえば、Δｔ及び／又はΔＶ）を較正手順中に使用することができる。

図４及び図５は、カメラにおける画像安定化のために実施することができる例示的な動作を示すフローチャートである。動作は、１つ又は複数のコンピュータ可読媒体上の論理命令として具体化することができる。プロセッサ上で実行されると、論理命令は説明された動作を実施する。１つの例示的な実施形態では、図内に描写される構成要素及び接続はカメラでの画像安定化のために使用することができる。

図４は、カメラにおける画像安定化のための較正中に実施することができる例示的な動作４００を示すフローチャートである。動作４１０で、較正手順を開始する。たとえば、カメラシステムを、カメラシステムに既知のカメラの回転を受ける移動プラットフォームに接続することができる。演算装置は既知のカメラの回転に基づいて較正データ（たとえば、較正定数及び対応する補正因子）を生成する。

動作４２０において、既知のカメラの回転がカメラシステムのために生成される。既知のカメラの回転についてのデータはカメラシステムの運動センサから受け取られる。たとえば、データは外部演算装置において受け取ることができる。動作４４０において、補正因子が既知のカメラの回転について求められる。１つの例示的な実施形態では、外部演算装置は補正因子を求めるためにも使用される。

動作４５０において、動作を繰り返すか否かが判定される。カメラシステムを較正するために付加的なデータが必要な場合、動作は動作４２０に戻って引き続きカメラシステムのための既知のカメラの回転を生成し、対応する補正因子を求めることができる。カメラシステムを較正するために付加的なデータが必要ない場合、動作４６０において、補正因子をカメラシステム内に格納することができる。たとえば、画像安定化ロジックがアクセスするために、補正因子を外部演算装置からカメラシステム内のメモリへ転送することができる。

補正因子の格納（動作４６０）は補正因子が求められた（動作４４０）直後、又はすべての補正因子がカメラシステムについて求められた後に行うことができることに留意されたい。また、動作４５０においてカメラシステムの較正を継続するか否かを判定するために任意の適切な基準を使用することができることにも留意されたい。たとえば、カメラシステムはカメラの可能な回転の内の一部又はすべてについて較正することができる。また、たとえば、統計的モデル化又は外挿法等の他の動作を実施して予想されるカメラの回転について付加的な較正データを求めることもできる。

また、各カメラシステムは個別に較正される必要がないことにも留意されたい。例示的な実施形態では、単一のカメラシステムが較正され、較正データは複数のカメラシステムにおいて使用することができる。

図５は、カメラにおける画像安定化のためにカメラの使用中に実施することができる例示的な動作５００を示すフローチャートである。動作５１０において、写真を撮影したいと望むユーザ等によって、カメラシステムを起動することができる。動作５２０において、使用中のカメラシステムについてのカメラの回転データが受け取られる。たとえば、カメラの回転データを画像露出の前及び／又は画像の露出中にカメラシステム内の運動センサから受け取ることができる。動作５３０において、動作５２０中に受け取られた実際のカメラの回転データを使用して、カメラシステム内に格納されている較正定数から補正因子が求められる。

動作５４０において、画像センサを動かして使用中のカメラの回転を補正することができる。任意選択的に、カメラシステム内の他の光学要素を動かすこともできる。たとえば、レンズを回転させてカメラのヨー及びピッチを補正することができる。動作５５０において、カメラの回転の補正中に画像データが取り込まれ、それによってカメラの回転に起因するぼけが低減されるか又は完全になくなる。

本明細書において図示及び説明した動作は、カメラにおける画像安定化の例示的な実施態様を示すために提供するものである。この動作は図示した順序には限定されない。さらに他の動作を実施することもできる。

図示及び説明した例示的な実施形態は説明のために提供されており、限定されるようには意図されていないことに留意されたい。カメラにおける画像安定化のさらに他の実施形態も考えられる。

画像安定化を実施することができる１つの例示的なカメラシステムのブロック図である。 カメラの回転が複数の同心の軸を中心とする、例示的なカメラの回転の図である。 カメラの回転が複数の非同心の軸を中心とする、例示的なカメラの回転の図である。 カメラの回転が複数の同心の軸を中心とする、例示的なカメラの回転、及び、画像安定化のためにカメラシステムを較正するために利用することができる運動センサによる対応する出力の図である。 カメラの回転が複数の非同心の軸を中心とする、例示的なカメラの回転、及び、画像安定化のためにカメラシステムを較正するために利用することができる運動センサによる対応する出力の図である。 カメラにおける画像安定化のために較正中に実施することができる例示的な動作を示すフローチャートである。 画像安定化のためにカメラの使用中に実施することができる例示的な動作を示すフローチャートである。

Claims (10)

1. 使用中に画像データを収集する画像センサ（１３０）と、
   少なくともカメラの回転データを生成する運動センサ（１７０）と、
   前記運動センサ及び前記画像センサと関連付けられて動作する画像安定化サブシステム（１５０）であって、前記運動センサからの前記カメラの回転データ、及び、較正手順に基づいていて且つ前記画像安定化サブシステム内に格納されている補正因子に基づいて前記画像センサを動かして、画像露出中に少なくともカメラの回転を補正する、画像安定化サブシステム（１５０）と
   を備えることを特徴とするカメラシステム。
2. 前記較正手順中に求められ、前記画像安定化サブシステム（１５０）内に格納される較正定数（Ｋ）であって、前記画像安定化サブシステムは前記較正定数を使用して前記補正因子を求める、較正定数（Ｋ）をさらに備えることを特徴とする請求項１に記載のカメラシステム。
3. 前記画像安定化サブシステム（１５０）は前記画像センサ（１３０）を動かし、少なくとも、複数の同心の軸を中心とするカメラの回転を補正することを特徴とする請求項１に記載のカメラシステム。
4. 前記画像安定化サブシステム（１５０）は前記画像センサ（１３０）を動かし、少なくとも１つの非同心の軸を中心とするカメラの回転を補正することを特徴とする請求項１に記載のカメラシステム。
5. 較正手順中に前記運動センサ（１７０）から既知のカメラの回転データ及び対応する出力を受け取る外部演算装置であって、前記画像安定化サブシステムが使用する複数の補正因子を生成する、外部演算装置をさらに備えることを特徴とする請求項１に記載のカメラシステム。
6. 使用中のカメラシステム（１００）についてカメラの回転データを受け取ること（５２０）と、
   少なくとも前記カメラの回転データ及び以前の較正手順（４００）に基づいて補正因子を求めること（５３０）と、
   前記画像露出の少なくとも一部の間にもたらされるぼけを低減するために、前記補正因子を使用して画像センサ（１３０）を動かすこと（５４０）と
   を含むことを特徴とする使用中のカメラの回転によるぼけを低減する方法。
7. 前記以前の較正手順（４００）中に特定された較正定数（Ｋ）から前記補正因子を求めること（５３０）をさらに含むことを特徴とする請求項６に記載の使用中のカメラの回転によるぼけを低減する方法。
8. 前記画像センサ（１３０）を動かす期間、方向、及び大きさのデータを特定することをさらに含むことを特徴とする請求項６に記載の使用中のカメラの回転によるぼけを低減する方法。
9. 複数の同心のｚ軸を中心とするカメラの回転を補正するために、前記画像センサ（１３０）を動かすこと（５４０）をさらに含むことを特徴とする請求項６に記載の使用中のカメラの回転によるぼけを低減する方法。
10. 少なくとも１つの非同心のｚ軸を中心とするカメラの回転を補正するために、前記画像センサ（１３０）を動かすこと（５４０）をさらに含み、前記少なくとも１つの非同心のｚ軸は別のｚ軸から垂直及び水平の両方向にオフセットしていることを特徴とする請求項６に記載の使用中のカメラの回転によるぼけを低減する方法。

Images