JP2009512381A - デジタル画像形成における動き歪みを低減させるための方法及び装置 - Google Patents

Abstract

動き歪みが低減されたデジタル画像又はビデオ信号を獲得するための方法、及びデジタルカメラ又はカメラ電話のような電子装置である。画像センサの視野における多数の部分の移動が、例えば、デジタル画像データ又はカメラ装置に取り付けられた移動センサからの、直接的な動き推定等を使用し、最終的には同じ問題を示すことによって追跡される。用いられる画像センサは、カメラ本体の観点から回転可能であり、及び／又は、検出された移動に基づいて、カメラ機構の残りに対して走査方向を調整することを可能にするように、構成可能な走査方向（２０２、２０４、２０６、２０８）を有する。

Description

本発明は、一般に、カメラ及び画像取得に関する。特に、本発明は、ＣＭＯＳ(相補型金属酸化膜半導体)センサ及びローリング型シャッター機構が装備されたデジタルカメラに関する。

写真技術の現在の傾向は、デジタル画像形成に向かって大きく進化しており、従来のフィルムカメラは、市場シェアを連続的に失いつつある。この現象の一つの推進力は、サイズ、重量、及び最大達成可能画質の改善が得られたことに起因するデジタルカメラの最近の急速な発展にさかのぼる。さらに、結果として得られるデジタル画像は、サイズが小さく、価格が手頃で、比較的大容量のメモリカードにうまく格納することができ、さらに、それらのデジタル画像は、デスクトップ／ラップトップ・コンピュータ、ＰＤＡ（個人用携帯情報端末）、移動体端末、及び印刷装置などの異なる電子機器間で容易に移動させることができる。上記の特徴の全て及びそこから得られた利点に加えて、或いはそれらにかかわらずと言うべきであるが、現代のカメラ装置は、カメラ製造業者間の競争、生産量の増大、及び電子機器の値下がりのために、依然として手頃な価格のままであった。

画像を露光させ、対応するデジタル・データを生成するために、現代のカメラでは、デジタル・センサ又は「チップ」（以下、例えば、移動センサに対比して同じく「画像センサ」又は単に「センサ」）とよく呼ばれるものが用いられる。そのようなセンサは、典型的には、ＣＭＯＳ又はＣＣＤ（電荷結合素子）タイプのものである。ＣＣＤデバイスは、例えば、共通の画像要素がリセットされ、編集／格納のために読み出された後、画素と呼ばれる多数の小さい画像要素又はビデオ・キャプチャの場合には単一の「フレーム」からなる画像全体が同時に露光される、グローバルシャッターを用いることができる。

多くのＣＭＯＳカメラは、依然として、伝統的なフィルムカメラのカーテンシャッターを思い出させるローリングシャッター型の機構を組み込んでいる。画像の行、すなわち走査ラインが、連続的に露光され、連続工程として読み出される。画像センサの最上のラインは、多くの場合、第２のラインより先に露光され、さらに第２のラインは、第３のラインより若干先に露光され、以下同様であり、よって、センサ全体のコンテンツを読み出すことが可能になるので、たとえラインの全てからの情報を同時に読み取ることができなくても、個々のラインの露光時間は一定である。したがって、異なるラインは、同じ瞬間を表わさず、ローリングシャッターは、迅速に移動する物体（又は移動するカメラ）に対しては、あまりうまく機能しない。結果として得られる画像は、その細部に関してぎざぎざになったり及び／又はぼやけたりすることがある。刊行物〔１〕は、ローリングシャッター式カメラをモデル化する方法を開示し、特に動き追跡の使用における性能について記載する。さらに、運きにより引き起こされたエラーのための補償構成が提示される。

したがって、特定の用途においては、グローバルシャッターは、ローリングシャッターより性能が優れている。それにもかかわらず、向上したローリングシャッター型の解決法を引き続き発展させるべき理由が依然として存在する。すなわち、最初に、全体の画像取得率が最大化されたとき、ローリングシャッターは、グローバルシャッターより優れている。全ての画素をカバーする露光／統合手順が同時に開始、停止され、第１のラインを読み取りながら残りのラインについて引き続き画像形成することができないので、集中的な速い動きを撮影する際、グローバルシャッターの同期された露光機構は、高速の（多数の）画像／フレーム・キャプチャの使用には適していない。さらに、標準的なＣＭＯＳチップは、一般に、強度を長く保持し、格納することができないので、グローバルシャッターの使用には、多くの場合、ＣＣＤセンサの使用を必要とする。しかしながら、ＣＭＯＳセンサは一般により安価で消費電力がより少なく、これらの両方の側面が最終的な有用性及び最終製品の価格に明白に大きな影響を有し、これにより、価格に敏感な消費者の目に映る製品の魅力にも明らかに影響するので、ＣＣＤセンサに移行することは、多くの用途において最も好ましい状況ではない。携帯電話のような用途の広い多目的製品は、専用カメラと同様の重量を画像形成回路に与えることができない製品範囲の例を表す。

伝統的なローリングシャッター型の機構と関連した動きの問題が、図１の簡単化された例にさらに示される。左端の画面１０２は、ローリングシャッターが、複数の走査ラインを含むサブ領域を露光させ、図の点線１１０と印が付けられたサブ領域の最上ラインを読み出す第１の瞬間ｔ１における画像（センサ）領域を表わす。例えば、単一ラインについての読み出し時間が１／（３０＊１２００）秒であり、画像要素についての露光時間が１／６０００秒である場合には、サブ領域を形成する６つの順次的走査ラインが同時に露光される。次に示される瞬間ｔ２の際には（真ん中の画面１０４を参照されたい）、走査方向（矢印で示される）が上から下であるため、露光領域は著しく低く配置される。垂直バー１０８が、単一画像の全露光手順の間、センサの視野において左から右に連続的に移動すると考えると、結果として得られる集合画像は、画面１０６に見ることができる。バーの上部が下部よりも先にキャプチャされ、かつ、この現象が連続的工程として実行されたため、このバーは、最終的な画像において斜めに見える。各々がカメラに対して異なる距離を有する複数の移動する物体を画像が含んでいた場合には、歪みは、最も近い物体において最も顕著となり、角速度（センサ対物体）は、物体がカメラにより近いときにより大きくなる。

上述の問題に対する１つの主な理論的解決法は、カメラを手動で回転させることであるが、ユーザは、カメラの走査方向を知らなければならず、その場合にも、カメラが、例えば、縦長モードである場合には、センサ領域全体を利用することができず、代わりに風景画像をキャプチャする必要がある。さらに、そのような手動による回転は、結局は、簡単で便利な画像撮影手順を切望するユーザには厄介な体験である。

欧州特許出願公開第ＥＰ１４７３９３１ Ａ１号は、ビデオ画像形成のための方法及び装置を開示する。例えば、提案される解決法は、時間的に整合した成分を有する単一の望ましいフレームを生成するために、幾つかの後続のローリング・フレーム（ローリングシャッターにより獲得される）間の補間を利用する。

上記の序論に基づいて明らかになるように、欠点が明白に提起されたものの、幾つかの用途は、依然としてＣＭＯＳセンサ及びローリングシャッターの使用から恩恵を受ける。主な問題は、カメラ又はカメラのターゲットが画像の読み出し速度に対して速く動くことを意味する、高速動きの画像形成における不十分な性能に関する。

本発明の目的は、ローリングシャッター型の機構を用いて獲得された画像における動きが引き起こす歪みを低減させることである。この目的は、最初にセンサ視野における移動を監視し、検出されたときに、センサの走査方向（読み出し方向）の選択に影響を及ぼすように構成された解決法によって達成される。センサ視野におけるカメラ装置自体の移動及び／又は物体の移動の両方は、少なくともセンサ視野の一部において監視された移動を引き起こす。したがって、例えば、移動センサ（動きセンサ）を用いて、カメラの移動を追跡し、直接デジタル画像分析技術の代わりに又はこれに加えて、画像センサ視野において必然的に生じる移動を検出することができる。さらに、代替物として又は補助的な機能として、画像センサを実際に物理的に回転させ、センサの相対的な走査方向を残りのカメラ装置の観点から、最終的にはターゲット画像における物体から変えることができる。

本発明の態様においては、異なる瞬間に走査ラインを順次に露光させるローリング型シャッターを有するセンサを組み込むカメラ機構によって画像を獲得するステップを含む、デジタル画像における動きが引き起こす歪みを低減させる方法であって、この方法は、
センサの視野における少なくとも部分の移動を検出し、
検出された移動に基づいて、残りのカメラ機構に対してセンサの走査方向を調整する、
準備ステップを含む点で特徴付けられる。

別の態様においては、本体と、本体に安定的に取り付けられ、かつ、異なる瞬間に走査ラインを逐次に露光させるように構成されたローリング型シャッターを有するセンサを組み込むカメラ機構とを含む、デジタル画像を獲得するための電子装置が、
センサの視野における少なくとも１つの部分の移動を認識するための検出手段と、
移動に基づいて電子装置の本体に対するセンサの走査方向を選択するための調整手段と、
をさらに含む点で特徴付けられる。

結果として得られる画像において湾曲する影響を低減させるために走査方向を調整する１つの実現可能な方法は、移動方向に従うことである。その結果、動いている物体は、結果として得られる画像において実際よりわずかに厚く見える。調整のための他の選択肢が、以下に詳細に提示される。

本発明の有用性は、幾つかの要因によって決まる。最も明らかなものとしては、ローリングシャッターを有するセンサにより撮られた画像において、動いている物体が斜めになる影響が、完全に回避されるわけではないが、少なくとも低減される。提案される解決法は、写真を撮るときはいつでも自動的に実行することが可能であり、カメラをぎこちなく手動で回転させるユーザからの入力又は案内を必要としない。さらに、例えば、処理ユニットにより実行されるソフトウェア、又は他の用途に既に利用可能な異なる検出器及びセンサのようなハードウェア要素などの制御論理を用いることができるので、本発明の実施は、幾分簡単である。利用可能なリソースによって、付加的な計算を適切なレベルに保持することもできる。

本発明の一実施形態において、主にフェンスを示す３つの画像が、特定の方向に走る、移動している車の横窓を通して撮られる。画像１つは、本発明の方法を全く利用していず、残りの２つは、異なるパラメータを用いて本発明の方法を利用している。結果が分析され、シナリオは、移動の自由度の数及び好ましい走査方向に関して詳説される。

以下において、本発明が、添付の図面を参照することによってより詳細に説明される。
図１は、関連した従来技術の説明と関連して既に概説された。
図２は、センサがどのように異なる走査方向を利用できるかを視覚化する。常に一番上のラインを最初に読み取り、一番下のラインを最後に読み取る代わりに（基本的なケースにおける走査方向を示す、参照番号２０２及び連続番号１、２、３を参照されたい）、一番左の列が最初に調べられ、続いて次の列が調べられるように、列（垂直方向のライン）毎にセンサを読み出すことも可能である（参照番号２０６を参照されたい）。さらに、一番下のラインから一番上のラインに（２０４）、或いは、一番右の行から一番左の行に（２０８）、逆の順序で情報を読み出す可能性を有することも有利である。図において、矢印の方向は重要な役割を果たすものでなく、すなわち、走査ライン（水平方向又は垂直方向の）内の画像要素に関する読み取りデータは、使用されるセンサによって好ましいものとして処理することができる。

次に、現実の状況における本発明の実現可能性を明らかにするために、多くのプロの写真家又はアマチュアの写真家に往々にして起こり得るシナリオが、図３、図４、及び図５により提示される。これらの図は、例示的なものにすぎず、本発明の要点を示すように構成された、すなわち、これらの図は、種々の物体の縮尺などの詳細に関して、完全に現実的なものであると考えるべきではない。

カメラ装置を携帯する例示的な写真家が、穏やかに移動している車又は他の乗り物で移動していると仮定する。しばらくして、その写真家は、木製フェンス、並びにその背後に木／植物及び家を含む興味深い田園風景を目にし、写真を撮るために乗り物を停止させることが常に可能ではないため、その田園風景をその場で記憶したいと思う。このことは、例えば、高速道路上で、又は公共交通を利用している際に容易に起こり得る。次に、写真家は、道端に向けてカメラの焦点を合わせ、写真を撮る。その結果が、図３にスケッチされた。視野において最も近い要素であるフェンスは、地表面及びカメラと垂直な真っ直ぐな板を含む。しかしながら、形成されたデジタル画像においては、フェンスは斜めに見える。これは、画像のラインが同時に読み出されず、一番下のラインが一番上のラインより遅く読み取られるとき、画像物体に対して車が右から左に移動することにより、フェンスの下部が上部に対してねじれるという事実のためである。歪みの容易な視覚的認識のために、図３の３０２と番号が付けられた部分を参照されたい。フェンスは、カメラに対するそれぞれ高い角速度のために、カメラからより遠くに位置する物体よりも大きく傾斜している。格納された画像におけるそのように湾曲した形状の板は、画像の観察者には自然に見えず、おそらく、観察者は、この湾曲した形状の板を、全体の視覚体験を少なくとも部分的に台無しにする腹立たしい妨害と見ることは明らかである。

図４の場合、本発明の方法及び／又は装置が、類似したシナリオに適用される。同様に、写真が移動している乗り物から撮られるので、走査ラインは同時に読み出されず、よって、全く同じ瞬間を表さない。前の例とは対照的に、今度は、カメラには、走査ラインを選択可能な方向に読み取ることができるセンサが搭載されている。

本発明の１つの随意的な特徴は、画像センサの視野における移動についての情報を得るために、特に動きの推定が用いられること、及び、それに基づいて、図３の例示的な画像に示される望ましくない影響を最小にするように、読み出し方向のような多数のパラメータ値が選択されることである。典型的なカメラ・アプリケーションにおいては、画像を撮る前にビューファインダ又は対応するディスプレイが使用されるので、動き推定の計算は、連続的な（デジタル化された）ビューファインダ画像の監視に基づくことができる。例えば、動き歪みを低減させるために、カメラにおいて所定のモードが選択されたときはいつも、自動画像分析及び動き推定についてのフレーム率を定める設定を変更する権限をカメラのユーザに与えることが可能である。潜在的にはハードウェア加速型のものである、動き推定アルゴリズムを実行するのに必要なフレーム／画像は、例えば、連続的な流れとして円形バッファ内に、単に一時的に格納することができるので、動き推定の計算のためだけに使用される画像を、メモリチップ又は通常の写真のようなカメラの取り外し可能なメモリカードに恒久的に格納する必要はない。

画像センサの視野において同様に部分を移動させるカメラの移動を検出するために、移動センサの使用も適用可能である。この種の解決法は、カメラが移動しており、物体が静止しているときにうまく働く。加速度計、ジャイロスコープ、又は圧力計のような移動センサは、更なる処理要件をうまく低減させ、潜在的に移動検出工程に正確さを付加する。カメラに取り付けられた従来の移動センサは、カメラが静止したままでおり、画像センサの視野において物体が移動しているだけのときはいつも働かない。画像センサの視野に従うように適切に較正された場合には、その目的のために、外部の動きを検出する無線移動センサ（例えば、赤外線）を用いることさえ可能である。

ここで主として、読み出し方向の決定のために、画像データ分析ベースの動き推定が用いられる場合を考えるが、後に開示されるように、専用の移動センサが、単独で又は動き推定アルゴリズムと共に適用される場合も十分に実現可能である。
車が、カメラ視野の観点から右から左に移動し、よって画像内の部分及び物体が右方向に移動するように見えるので、読み出し方向は「左から右」として選択されるべきであり、又は逆もまた同様である。言い換えると、読み出し方向は、画像における移動と平行であるか、又はこれとは反対であることが有利である。図４においては、センサによって適用される読み出し方向は、左から右であり、フェンス板４０２は、図３のものと比べると、幾分水平方向であるように見える。フェンスは、元のものより少し厚く見えるが、これは適応読み出し方向の選択の別の顕著な影響である。

一般的に言うと、上記の手順は、カメラが、分析のために画像の流れ（随意的にユーザ定義可能な幾つかの実質的に続く画像、速度）が利用可能なモードで作動されるときに開始する。次に、例えば、専用のハードウェア加速器又はソフトウェア・アルゴリズムを用いて、連続的な画像フレームの間に動き推定を実行することができ、風景内に移動があるかどうかの決定がなされ、ある場合には、それらが、カメラ／センサ自体に対して主に下方向（ケースＡ）、上方向（ケースＢ）、右方向（ケースＣ）、又は左方向（ケースＤ）に移動する物体である。物体の相対的な移動は、カメラの移動だけを監視することができる移動センサを用いて検出することもでき、或いは、付加的に／単独に外部の物体の移動を（無線で）監視することができるセンサも、それぞれ利用可能である。

上記によると、読み出し方向は、画像物体における動き歪みを最小にするように選択される。この目的のために、主として２つの可能性が存在する。すなわち、
可能性１：
ケースＡ：上から下の読み出し方向
ケースＢ：下から上の読み出し方向
ケースＣ：左から右の読み出し方向
ケースＤ：右から左の読み出し方向
可能性２：
ケースＡ：下から上の読み出し方向
ケースＢ：上から下の読み出し方向
ケースＣ：右から左の読み出し方向
ケースＤ：左から右の読み出し方向
可能性１において、移動する物体は、元のものより幾分厚く見え、一方、可能性２において、物体は、元のものより薄く見える。しかしながら、直線は直線のままであるので、結果は、一般に、図３の例示的な画像よりも人間の観察者にはより魅力的である。

平均的に人がより薄い物体を好むか又はより厚い物体を好むかは、実地体験次第であり、いずれにしても、そのような選択は、有利に、カメラ・アプリケーション等のソフトウェア・パラメータによってユーザ定義可能なままである必要がある。出荷時設定値又はユーザ定義選択のいずれかの後に、カメラが是正モードでの作動に自動的に進むことに留意することが依然として重要である。
傾斜した画像が現われないことだけが唯一の要件である場合、２つの読み出し方向（１つは水平方向及び１つは垂直方向）だけが必要である。次に、物体は、センサ視野における移動の方向に応じて、ランダムにより厚く又はより薄く見えることになる。

図５は、右から左の、代替的な読み出し方向を有する、本発明の方法を視覚化する。フェンスは真っ直ぐなままであるが、板５０２は元のものより狭く見える。この現象は先の説明と一致しており、読み出し方向が、画像の視野におけるフェンスの移動とは反対であるので、「サンプル」（走査ライン）は、カメラ／センサに最も近い物体であるフェンスから読み取られ、よって、角速度が最大であり、かつ、視覚的な動き歪みが最も多く、従来の水平方向の走査又は左から右への垂直方向の走査と比べると頻度が低減される。

現実のシナリオは、カメラ・センサ及び走査軸の観点から軸万力を移動しない物体を含むことが多い、すなわち、移動は多かれ少なかれ斜めのものである。同じ論理は、対応してカメラが移動する状況にも適用される。したがって、調整可能な読み出し方向（水平方向又は垂直方向）を有するセンサでさえ、画像にもたらされる動き歪みを完全に排除することができない。これらの場合、１つの選択肢は、例えば、相対的な速度が最も大きい（例えば、最大規模の）軸のような主軸を決定し、その軸に読み出し方向の選択の基礎を置くことである。

別の選択肢は、機械的に回転可能なセンサ構成の実装を必要とするものであり、そこでは、検出された斜めの移動が、（残りのカメラ）機構/カメラ・ハウジングに対するセンサの回転角に、よって画像の物体に影響を及ぼす。こうした構成によって、元の軸整合されていない斜めの移動でさえ、補償することができる。したがって、最初に、センサの回転により斜めの移動を軸万力の移動に「うまく調整し」、次に、（垂直方向／水平方向の）走査方向を、最終的な是正のためにセンサの内部に、又は反対に選択することができる。
代替的な手法は、残りのカメラ機構/装置に対して、最終的に画像の物体に対しても、純粋にセンサの走査方向を調整することに関し、すなわち、センサの内部の走査方向を固定したままにすることができ、センサは、残りのカメラの内部／ハウジング及び画像の物体に対して回転する。

多くの場合、上述のセンサ回転ベースの解決法は、その位置合わせ（写真の撮影中にカメラが意図せずに斜めに保持されたときにしばしば起こり得る同様の影響）が写真家に好まれないデジタル画像を提供することは明らかである。したがって、必要に応じて、ソフトウェア手段を介して変えられた画像の位置合わせを補償する方向に、画像が有利に自動的に回転され、さらに、好ましい寸法を有する最終的な形態（典型的には矩形）に電子的に「切断」される。これらの手法は、センサのサイズ（画像領域）が、境界領域において必要とされる付加的な情報をキャプチャするのに十分な程大きいときはいつでも実行可能であり、ソフトウェアによって導入される回転による是正及び境界の切断後でさえも、デジタル画像の寸法は適切なままである。
さらに、カメラ視野は、異なる方向に移動する様々な物体のような複数の部分を含むことができる。次に、読み出し方向の意思決定のために、例えば「主たる」物体を決定するような、物体の推定速度及び／又はサイズ（同じく、距離を予測する）を用いることもできる。

図６のフロー図は、本発明の方法を実行するための多くのものから１つの段階的な選択肢を開示する。方法を作動させる６０２際、例えば、デジタルカメラなどの実行装置のユーザは、移動分析の実行及びこれに続く走査方向の決定を手動でトリガするか、又はパラメータ値を示すユーザ定義又は出荷時設定値に基づいて装置自体がそれを開始し、例えば、カメラ・アプリケーションなどの関連するアプリケーションが起動する。手動によるトリガは、ソフトウェア関数等を通して行なうことができる。さらに、カメラ・アプリケーションは、種々の関連したパラメータ値を監視し、必要な場合は可変の走査方向工程を切り替える自動移動検出アルゴリズムを含むことができる。ステップ６０４においては、センサ視野における移動を検出するために、動き分析が実行される。これは、カメラ・センサの視野における部分の移動の直接認識、或いは装置自体の移動に関し、カメラの移動はまた、画像センサの視野における移動も引き起こし、よって、画像の部分（例えば、物体）が静止したままである場合、等しく適用可能な検出の基礎となる。（画像）センサを利用する分析は、例えば、利用可能なデジタル画像データから直接的に必要なパラメータを決定する、異なるパターン認識及び動き追跡アルゴリズムに関することができる。他方、カメラ又は外部の物体の（好ましくは、画像の動き歪みに何らかの影響を有するために、カメラの画像センサの視野における）移動は、前述のような専用の移動センサ（固定的に又は取り外し可能であるが、カメラに依然としてしっかりと取り付けられた）を介して認識することができる。

ステップ６０４によって提供された結果は、センサの走査方向（読み出し方向）が選択されるステップ６０６に進む。例えば、センサは、データ入力インターフェースを含むことができ、そこに、カメラ・アプリケーションによって制御される装置の処理ユニットによって、簡単な制御電圧、又は好ましい走査方向を示すパラメータを含むより複雑なメッセージを伝送することができる。他の場合には、適切な走査方向の決定は、既に上記にかなり幅広く提示された。ステップ６０８においては、（格納される）画像が取られるかどうかをチェックする。そのようなチェックは、例えば、ユーザがボタンを押すことによって引き起こされるカメラ電子機器内の確立された電気接触の認識、又は、変更されたソフトウェア・パラメータ値に関することができる。さらに、異なるタイマーが、実際の画像撮影工程を作動させることができる。ビデオ・キャプチャ・モードにおいては、キャプチャされたあらゆる画像（一定のフレーム率についての時限方式の写真又は最大限の努力の原理による連続的な写真）が、結局格納されたビデオ・シーケンス内のフレームとなるか、或いはビデオ・フレーム間の動き推定のためにだけ、画像の一部を用いることができる。当業者には、例えば、ステップ６０８を再配置することができ、１つの可能な位置が、現在のステップ６０２とステップ６０４との間に存在し、その場合、ユーザ又はタイマーから画像撮影コマンドを受け取った直後に、動き分析を含む全工程が始まることは明らかである。ステップ６１０においては、画像は、調整された走査方向を用いる走査相を有するように最終的に獲得される。

図７は、本発明の方法を実行するように適合されたデジタルカメラ、ＰＤＡ（個人用携帯情報端末）、又は（移動体）端末のような電子装置のブロック図を示す。装置ハウジング（本体）は、メモリ７０４内に格納された回路構造自体又はカメラ・アプリケーション７１２によって定められた方法ステップを実行するために、典型的には、プロセッサ、プログラム可能な論理チップ、ＤＳＰ，マイクロコントローラ等の形態の処理手段７０２を含む。例えば、１つ又はそれ以上のメモリチップ、メモリカード、又は磁気ディスクなどのメモリ７０４は、例えば、独立した画像及びビデオ・データを収容するためのスペース７１０をさらに含む。画像を含むメモリが、アプリケーション７１２論理を含むメモリとは別個である（例えば、実行装置に挿入されたメモリカード）ことも可能である。制御入力手段７０８（ユーザの管理下にある実際の制御手段又は単に適切な接続手段のような）は、マウス、キーボード、キーパッド、別個のボタン、トラックボール、ペン、感圧タッチパッド／スクリーン、光センサ及び／又は容量センサ等を含むことができる。表示手段７０６は、ディスプレイ（ｃｒｔ、ｔｆｔ、ｌｃｄ等）、データ・プロジェクタのような異なる投影手段、及び／又は、カメラ及びそのセンサをターゲットにするのに必要とされるビューファインダに関する。さらに、表示手段７０６は、そのような装置内に含まれていない表示装置を接続／制御するための手段に関することができる。さらに、表示手段７０６は、本発明によるデータの視覚化を制御するために必要な付加的なソフトウェアに関することができる。写真画像をキャプチャすることができるカメラ（機構）７１４は、センサと、物理的に回転可能なセンサの場合にセンサのための回転フレームとして働くこともできる、センサの上述のハウジングへの取り付けを確立する、必要な支持／接続構造体とを含む。回転可能なセンサの場合、例えば、電気モータの形態の、フレームにおいてセンサを実際に回転させるための手段も必要とされる。カメラ機構７１４は、内部の又は取り外し可能なモジュール７１４、或いは多数の別個のモジュールとして、装置に安定的に取り付けられる。移動センサ７１６を単独で、或いはカメラ７１４及び／又はメモリ７０４、７１２内に含まれる画像分析ベースの動き推定／検出論理と共に用いることができる。装置内に少なくとも１つの動き追跡機能部の存在が必要とされ、次に、残りは、確実にアプリケーションに応じた、随意的な有用性である。

データ要素に加えて、本発明の方法ステップを実行するための、一般にコンピュータ・プログラムと呼ばれるアプリケーション７１２のためのコードもまた、メモリカード、磁気ディスク、ＣＤ−ＲＯＭ等の別個のキャリアメディア上の実行装置に提供することができる。
本発明の範囲は、上記の特許請求の範囲に見出される。本発明の適用可能性及び実行可能な実施についての本文において、幾つかのある程度集中した例が与えられたが、その目的は、本発明の実際の要旨の使用範囲を、何らかの特定の機会に制限するものではなく、このことは、熟練した読者には明らかであるはずである。
参考文献：
「１」Ｃｒｉｓｔｏｐｈｅｒ Ｇｅｙｅｒ、Ｍａｒｃｉ Ｍｅｉｎｇａｓｔ、Ｓｈａｎｋａｒ Ｓａｓｔｒｙ、「Ｇｅｏｍｅｔｒｉｃ ｍｏｄｅｌｓ ｏｆ Ｒｏｌｌｉｎｇ−Ｓｈｕｔｔｅｒ Ｃａｍｅｒａｓ」、ＥＥＣＳ Ｄｅｐａｒｔｍｅｎｔ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ、Ｂｅｒｋｅｌｅｙ

ローリングシャッターが、移動するバーを開示する画像内に動き歪みを生じさせる、従来技術のシナリオを示す。 本発明のセンサの異なる走査方向を視覚化する。 如何なる是正措置もなしに、動いている車から撮られた画像を開示する。 本発明の方法が適用される、図３のような画像を開示する。 本発明の方法が代替的に適用される、図３及び図４のような画像を開示する。 本発明の方法を実行するための１つの選択肢のフロー図である。 本発明の方法を実行するように適合された電子装置のブロック図である。

Claims (27)

1. 異なる瞬間（６０８、６１０）に走査ラインを順次に露光させるローリング型シャッターを有するセンサを組み込むカメラ機構によって画像を獲得するステップを含む、デジタル画像における動きが引き起こす歪みを低減させる方法であって、前記方法は、
   前記センサの視野における少なくとも一部の移動を検出し（６０４）、
   前記検出された移動に基づいて、残りの前記カメラ機構に対して前記センサの走査方向を調整する（６０６）、
   準備ステップを含むことを特徴とする方法。
2. 前記センサの前記内部の走査方向が構成可能であることを特徴とする、請求項１に記載の方法。
3. 前記カメラ機構に対する前記センサの前記走査方向は、該センサを回転させることによって調整されることを特徴とする、請求項１又は請求項２に記載の方法。
4. 前記移動は、デジタル画像データからの動き推定を介して検出されることを特徴とする、請求項１乃至請求項３のいずれかに記載の方法。
5. 前記移動は、前記カメラ機構の移動、該カメラ機構のホストとして働く装置の移動、又は前記センサの前記視野内に見える物体の移動の少なくとも１つを監視する移動センサを介して検出されることを特徴とする、請求項１乃至請求項４のいずれかに記載の方法。
6. 前記走査方向は、少なくとも２つの選択肢から選択可能であり、前記選択肢は、少なくとも１つの垂直方向の走査方向及び１つの水平方向の走査方向を含むことを特徴とする、請求項１乃至請求項５に記載の方法。
7. 前記検出された移動が前記視野において水平方向に行われるときはいつも、前記選択された走査方向も水平方向であり、前記移動が垂直方向に行なわれる場合、該選択された走査方向は垂直方向であることを特徴とする、請求項１乃至請求項６のいずれかに記載の方法。
8. 前記走査方向は、左から右、右から左、上から下、又は下から上の１つであることを特徴とする、請求項１乃至請求項７のいずれかに記載の方法。
9. 前記カメラ機構の前記センサに対する前記移動についての、垂直方向又は水平方向のいずれかである主軸を決定し、前記主軸と平行な前記走査方向を調整し、該主軸は、好ましくは該移動の最大の大きさの速度成分を含むことを特徴とする、請求項１乃至請求項８のいずれかに記載の方法。
10. 前記視野において多数の部分が異なる方向に移動する場合、推定されるサイズ、速度、位置、又は前記部分のセンサ距離の少なくとも１つに基づいて、走査方向の調整について主部分を判断することを特徴とする、請求項１乃至請求項９のいずれかに記載の方法。
11. 前記移動センサは、加速度計、外部の物体の追跡のための無線センサ、ジャイロスコープ、又は圧力計の少なくとも１つを含むことを特徴とする、請求項５の方法。
12. 前記画像はビデオ信号のフレームを表すことを特徴とする、前記請求項のいずれかに記載の方法。
13. 本体と、前記本体に安定的に取り付けられ、かつ、異なる瞬間に走査ラインを逐次に露光させるように構成されたローリング型シャッターを有するセンサを組み込むカメラ機構（７１４）とを備える、デジタル画像を獲得するための電子装置であって、前記電子装置は、
    前記センサ（７１２、７１４、７１６）の前記視野における少なくとも部分の移動を認識するための検出手段と、
    前記移動（７０２、７１２、７１４）に基づいて、前記電子装置の前記本体に対する前記センサの走査方向を選択するための調整手段と、
    をさらに備えることを特徴とする電子装置。
14. 前記センサの前記内部走査方向は構成可能であることを特徴とする、請求項１３に記載の電子装置。
15. 前記センサは、前記相対的な走査方向を調整するために、前記本体に対して回転可能であることを特徴とする、請求項１３又は請求項１４に記載の電子装置。
16. 前記センサは、垂直方向の走査方向及び水平方向の走査方向の両方をサポートすることを特徴とする、請求項１３乃至請求項１５のいずれかに記載の電子装置。
17. 前記検出手段は、動き推定のためにデジタル画像データを分析するように構成されることを特徴とする、請求項１３乃至請求項１６のいずれかに記載の電子装置。
18. 前記検出手段は移動センサ（７１６）を含むことを特徴とする、請求項１３乃至請求項１７のいずれかに記載の電子装置。
19. 前記移動センサ（７１６）は、加速度計、外部の物体の追跡のための無線センサ、ジャイロスコープ、又は圧力計の少なくとも１つを含むことを特徴とする、請求項１８に記載の電子装置。
20. 前記調整手段は、前記検出された移動が前記視野において水平方向に行われるときはいつも、水平方向の走査方向を選択するように構成され、前記移動が垂直方向に行われる場合、該選択された走査方向が垂直であることを特徴とする、請求項１３乃至請求項１９のいずれかに記載の電子装置。
21. 前記走査方向は、左から右、右から左、上から下、又は下から上の１つであることを特徴とする、請求項１３乃至請求項２０のいずれかに記載の電子装置。
22. 前記調整手段は、前記カメラ機構の前記センサに対する前記移動についての、垂直方向又は水平方向のいずれかである主軸を決定し、前記主軸と平行な前記走査方向を調整するように構成され、該主軸は、好ましくは該移動の最大の大きさの速度成分を含むことを特徴とする、請求項１３乃至請求項２１のいずれかに記載の電子装置。
23. 前記調整手段は、前記視野において多数の部分が異なる方向に移動する場合、推定されるサイズ、速度、位置、又は前記部分のセンサ距離の少なくとも１つに基づいて、走査方向の調整について主部分を判断することを特徴とする、請求項１３乃至請求項２２のいずれかに記載の電子装置。
24. 移動体端末、ＰＤＡ（個人用携帯情報端末）、又はデジタルカメラである、請求項１３乃至請求項２３のいずれかに記載の電子装置。
25. プログラムがコンピュータ装置上で実行されるとき、請求項１乃至請求項１２のいずれかによって定められる方法ステップを実行するように適合されたコード手段（７１２）を含むコンピュータ実行可能プログラム。
26. 請求項２５によって定められるコンピュータ実行可能プログラム上に記録されたキャリアメディア。
27. メモリカード、磁気ディスク、又はＣＤ−ＲＯＭであることを特徴とする、請求項２６に記載のキャリアメディア。

Images