JP2008522457A - 動き予測に基づく画像処理 - Google Patents

動き予測に基づく画像処理 Download PDF

Info

Publication number
JP2008522457A
JP2008522457A JP2007538578A JP2007538578A JP2008522457A JP 2008522457 A JP2008522457 A JP 2008522457A JP 2007538578 A JP2007538578 A JP 2007538578A JP 2007538578 A JP2007538578 A JP 2007538578A JP 2008522457 A JP2008522457 A JP 2008522457A
Authority
JP
Japan
Prior art keywords
image
motion
captured under
images
under substantially
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007538578A
Other languages
English (en)
Inventor
ウェーレ,ステイン デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008522457A publication Critical patent/JP2008522457A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

連続して捕捉された一組の画像群(IM1a、IM2a、IMFa)は、実質的に同等の照明条件下で捕捉された複数の画像(IM1a、IM2a)と、実質的に異なる照明条件下(FLSH)で捕捉された画像(IMFa)とを含む。例えば、2つの画像が自然光の下で捕捉され、1つの画像がフラッシュ光を用いて捕捉される。実質的に同等の照明条件下で捕捉された少なくとも2つの画像(IM1a、IM2a)から動き指標(MV)が取得される(ST6)。実質的に同等の照明条件下で捕捉された少なくとも2つの画像(IM1a、IM2a)から取得された動き指標(MV)に基づいて、実質的に異なる照明条件下で捕捉された画像(IMFa)が処理される(ST7、ST8)。

Description

本発明の一態様は、連続して捕捉された一組の画像を処理する方法に関する。当該方法は、例えば、フラッシュ光を用いて撮影された画像を主観的に改善するためにデジタル写真に適用されてもよい。本発明の他の態様は画像プロセッサ、画像捕捉装置、及び画像プロセッサ用のコンピュータプログラムに関する。
非特許文献1に暗い環境下での写真ショットを強調する方法が記載されている。自然光の下で撮影された写真がフラッシュを用いて撮影された写真と合成される。双方向フィルタが写真を細部と広域的なものとに分解する。画像は、一方で自然光の下で撮影された写真の広域を使用し、他方でフラッシュを用いて撮影された写真の細部を使用して再構成される。従って、元々の明暗の雰囲気がフラッシュ画像の鮮鋭さと組み合わされる。最先端の手法が被写体の動きを補償するために用いられ得るであろう。
Elmar Eisemann等、「Flash Photography Enhancement via Intrinsic Relighting」、Siggraph 2004、(米国)、2004年8月1-12日、第23巻、第3号、p.673-678
本発明は、動き予測に基づいて画像を処理する方法及び画像プロセッサ等を提供することを目的とする。
本発明の第1の態様によれば、連続して捕捉される一組の画像群は、実質的に同等の照明条件下で捕捉された複数の画像と、実質的に異なる照明条件下で捕捉された画像とを含む。実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動き指標が取得される。実質的に同等の照明条件下で捕捉された少なくとも2つの画像から取得された動き指標に基づいて、実質的に異なる照明条件下で捕捉された画像が処理される。
本発明は以下の点を考慮に入れるものである。画像がカメラで捕捉されるとき、画像の部分を形成する1つ以上の被写体はカメラに対して動いていることがある。例えば、画像の部分を形成する被写体は、やはり画像の部分を形成する他の被写体に対して動いていることがある。カメラはこれらの被写体の内の1つしか追跡できない。カメラを持っている人の手が震えている場合には、一般に、画像の部分を形成する被写体の全てが動くことになる。
画像は、画像の部分を形成する被写体それぞれの動きを考慮するように処理されてもよい。この動きに基づく処理は、人間に知覚される画質を改善し得る。例えば、移動中の1つ以上の被写体が画像を不鮮明にすることが防止され得る。相異なる瞬間に捕捉された2つ以上の画像の合成が為されるとき、動きは補償されることができる。動きに基づく処理はまた、比較的少量のデータで十分な品質の画像を表現できるように画像を符号化するために用いられてもよい。動きに基づく画像処理は、一般的に、画像の様々な部分それぞれの動きを指し示す指標を与える何らかの形式の動き予測を必要とする。
動き予測は以下のようにして実行されてもよい。関心画像は異なる瞬間、例えば関心画像が捕捉された直前又は直後、に捕捉された所謂参照画像と比較される。関心画像は幾つかの画素ブロックに分割される。画素ブロック毎に、関心画素ブロックと最も整合する参照画像内の画素ブロックが探索される。動きがある場合、上述の2つの画素ブロック間には相対的な変位が存在することになる。この相対的な変位は関心画素ブロックの動きの指標を提供する。従って、関心画像の画素ブロック毎に動き指標が定めることが可能である。それぞれの動き指標は画像全体の動き指標を構成する。このような動き予測は一般的にブロックマッチング動き予測法と呼ばれている。MPEG(Moving Picture Expert Group)規格に準拠した動画符号化は、典型的に、ブロックマッチング動き予測法を用いている。
ブロックマッチング動き予測法は、一般的に、関心画像と参照画像とが相異なる照明条件下で捕捉されたとき信頼できないものとなる。このことは、例えば、関心画像は自然光の下で捕捉されているが、参照画像はフラッシュ光を用いて捕捉されている場合やこの逆の場合に当てはまる。ブロックマッチング動き予測法は、関心画像内の画素ブロックと参照画像内の画素ブロックとの間の最良の整合を探索するとき、光度(luminance)を考慮している。その結果として、ブロックマッチング動き予測法は、関心画像内の所与の光度を有する画素ブロックが、参照画像内の同等の光度を有する画素ブロックと最も整合することを見出し得る。しかしながら、それぞれの画素ブロックは相異なる被写体に属していることがある。
例えば、第1の画像が自然光の下で捕捉され、第2の画像がフラッシュ光を用いて捕捉されると仮定する。第1の画像には、薄い灰色に見える被写体X及び濃い灰色に見える別の被写体Yが存在している。フラッシュ光を用いて捕捉された第2の画像では、被写体Xは白色に見え、被写体Yは薄い灰色に見えることがある。被写体Xに属するはずの第1の画像内の薄い灰色の画素ブロックが、被写体Yに属する第2の画像内の同様の薄い灰色の画素ブロックと最も整合するとブロックマッチング動き予測法が見出すという深刻な虞が存在する。ブロックマッチング動き予測法は、故に、第2の画像内の被写体Yの位置に対する第1の画像内の被写体Xの位置に関係する動き指標を生成してしまう。従って、ブロックマッチング動き予測法は被写体を混同してしまっており、この動き指標は誤りである。
それぞれの画像が捕捉される照明条件の相違に影響を受けにくい別の動き予測法を適用することが可能である。例えば、動き予測演算は光度又は輝度の情報が無視されるように設定されてもよい。色情報のみが考慮される。そうは言うものの、このような色に基づく動き予測は、一般に、十分正確な動き指標をもたらさない。何故なら、色は光度より少ない細部を有するからである。他の可能性は動き予測をエッジ情報に基づかせることである。高域通過フィルタによって画像からエッジ情報を抽出することが可能である。画素値そのものではなく画素値の変化が考慮される。このようなエッジに基づく動き予測でさえ、極めて多くの場合にかなり不正確な動き指標をもたらす。何故なら、エッジ情報も一般に、照明条件が変化すると影響を受けるからである。一般に、如何なる動き予測技術も、ある程度、異なる照明条件の影響を受けやすく、誤った動き指標をもたらすことがある。
本発明の上記態様によれば、動き指標は、実質的に同等の照明条件下で捕捉された少なくとも2つの画像から得られる。そして、実質的に異なる照明条件下で捕捉された画像が、実質的に同等の照明条件下で捕捉された少なくとも2つの画像から得られた動き指標に基づいて処理される。
実質的に同等の照明条件下で捕捉された少なくとも2つの画像に関しては、動き指標は比較的正確である。何故なら、動き予測は照明条件の相違によって阻害されていないからである。しかしながら、実質的に同等の照明条件下で捕捉された少なくとも2つの画像から得られる動き指標は、実質的に異なる照明条件下で捕捉された画像とは直接的に関連していない。何故なら、後者の画像は動き予測処理において考慮に入れられていないからである。これは不正確性をもたらすことがある。実際には、画像が捕捉される間の期間全体で動きは実質的に連続的であると仮定する。一般に、この仮定は非常に多くの場合に十分に成立するので、如何なる不正確性も比較的ささやかなものとなる。このことは、上述のような照明条件の相違に起因する不正確性と比較すると、特に当てはまっている。その結果として、本発明は、実質的に異なる照明条件下で捕捉された画像における、より正確な動き指標を実現し、それによって、かなり良好な画質を実現する。
本発明は例えばデジタル写真撮影に効果的に応用され得る。デジタルカメラは、フラッシュ光を用いて捕捉される画像に関連付けて少なくとも2つの画像を自然光の下で捕捉するようにプログラムされていてもよい。当該デジタルカメラは、自然光の下で捕捉された少なくとも2つの画像から動き指標を取得する。当該デジタルカメラはこの動き指標を用いて、フラッシュ光を用いて捕捉された画像と、自然光の下で捕捉された2つの画像の少なくとも1つとの高品質の合成を作成することができる。
本発明の他の効果は以下の態様に関連している。本発明によれば、実質的に異なる照明条件下で捕捉された画像の動き指標は、その画像そのものから取得される必要はない。本発明は、故に、照明条件の相違の影響を比較的受けにくい動き予測技術を必要としない。上述されたこのような動き予測技術は、一般に、複雑なハードウェア若しくはソフトウェア又はその両方を必要とする。本発明により、例えばブロックマッチング動き予測法などの比較的単純な動き予測技術を用いて、満足のいく結果が実現される。既存のハードウェア及びソフトウェアが使用可能であり、コスト効率が良い。これらの理由により、本発明はコスト効率の良い実装を可能とする。
本発明のこれら及び他の態様は、以下にて、図面を参照しながら詳細に説明される。
図1はデジタルカメラDCMを例示している。デジタルカメラDCMは光学ピックアップ装置OPU、フラッシュ装置FLU、制御・処理回路CPC、ユーザインターフェースUIF、及び画像記憶媒体ISMを有している。光学ピックアップ装置OPUはレンズ・シャッター系LSY、画像センサーSNS、及び画像インターフェース回路IICを有している。ユーザインターフェースUIFは画像撮影ボタンSB、及びフラッシュボタンFBを有しており、さらに、画像を表示可能な小型表示装置を有していてもよい。画像センサーSNSは、例えば、電荷結合素子又は相補型金属酸化物半導体(CMOS)回路の形態とし得る。制御・処理回路CPCは、例えば好適にプログラムされた回路の形態とすることができ、典型的に、命令すなわちソフトウェアを有するプログラムメモリ、及びこれらの命令を実行して、データの修正若しくは転送又はそれら双方を行わせる1つ以上の処理装置を有している。画像記憶媒体ISMは、例えば、コンパクトフラッシュなどの取り外し可能記憶装置の形態とし得る。
光学ピックアップ装置OPUは実質的に従来からの方法で画像を捕捉する。レンズ・シャッター系LSYの部分を形成するシャッターは比較的短期間だけ開く。画像センサーSNSはこの期間中に光情報を受け取る。レンズ・シャッター系LSYの部分を形成するレンズは、光情報を画像センサーSNS上に好ましく投射する。焦点及び開口がレンズ設定を規定するパラメータである。光センサーは光情報をアナログの電気情報に変換する。画像インターフェース回路IICはアナログの電気情報をデジタルの電気情報に変換する。従って、光情報を一組のデジタル値として表すデジタル画像が得られる。これが捕捉された画像である。
フラッシュ装置FLUは、デジタルカメラDCMに比較的近い被写体を照射するフラッシュ光FLSHを提供し得る。このような被写体はフラッシュ光FLSHの一部を反射する。フラッシュ光FLSHの反射部分は光センサーに到達する光情報に寄与することになる。その結果として、フラッシュ光FLSHはデジタルカメラDCMに比較的近い被写体の光度(luminosity)を高め得る。しかしながら、フラッシュ光FLSHは、例えば赤眼などの不自然に見える光の影響を生じさせることがあり、また平坦で味気ない様子の画像にしてしまうこともある。十分な自然光の下で捕捉されたシーンの画像は、一般的に、フラッシュ光を用いて捕捉された同一シーンの画像より好ましいと考えられる。しかしながら、不十分な自然光しかない場合には自然光画像はノイズが多く且つ不鮮明となり、この場合にはフラッシュ光画像が一般的に好ましい。
図2A及び2Bは、デジタルカメラDCMが実行する動作を例示している。この動作は一連の段階ST1乃至ST10の形態で例示されている。図2Aは段階ST1乃至ST7を、図2Bは段階ST8乃至ST10を例示している。例示された動作は、典型的に、制御・処理回路CPCの制御下で好適なソフトウェアを用いて実行される。例えば、制御・処理回路CPCは光学ピックアップ装置OPUに制御信号を送り、光学ピックアップ装置OPUに特定の段階を実行させてもよい。
段階ST1にて、ユーザがフラッシュボタンFBと画像撮影ボタンSBを押し下げたこと(FB↓&SB↓)を制御・処理回路CPCが検出する。これに応答して、制御・処理回路CPCはデジタルカメラDCMに以降に述べる段階を実行させる(デジタルカメラDCMはまた、ユーザが画像撮影ボタンSBのみを押し下げ、且つ制御・処理回路CPCが不十分な自然光しかないことを検出した場合に、これらの段階を実行してもよい)。
段階ST2にて、光学ピックアップ装置OPUが瞬間tに第1の自然光画像IM1aを捕捉する(OPU:IM1a@t)。制御・処理回路CPCは第1の自然光画像IM1aを画像記憶媒体ISMに格納する(IM1a→ISM)。段階ST3にて、光学ピックアップ装置OPUは瞬間t+ΔTに第2の自然光画像IM2aを捕捉する(OPU:IM2a@t+ΔT)。ここで、記号ΔTは第1の自然光画像IM1aが捕捉される瞬間と第2の自然光画像IM2aが捕捉される瞬間との間の時間間隔を表している。制御・処理回路CPCは第2の自然光画像IM2aを画像記憶媒体ISMに格納する(IM2a→ISM)。
段階ST4にて、フラッシュ装置FLUがフラッシュ光を発光する(FLSH)。デジタルカメラDCMはこのフラッシュ光の間に段階ST5を実行する。段階ST5では、光学ピックアップ装置OPUが瞬間t+2ΔTにフラッシュ光画像IMFaを捕捉する(OPU:IMFa@t+2ΔT)。故に、フラッシュ光は瞬間t+2ΔTの直前に発光される。第2の自然光画像IM2aが捕捉される瞬間とフラッシュ光画像IMFaが捕捉される瞬間との間の時間間隔は実質的にΔTに等しい。制御・処理回路CPCはフラッシュ光画像IMFaを画像記憶媒体ISMに格納する(IMFa→ISM)。
段階ST6にて、制御・処理回路CPCは、画像記憶媒体ISMに格納された第1の自然光画像IM1a及び第2の自然光画像IM2aに基づいて、動き予測を実行する(MOTEST[IM1a,IM2a])。これらの画像の部分を形成する1つ以上の被写体は動いていることがある。動き予測はこの動きを指し示す指標を提供する。この指標は典型的には動きベクトル(MV)の形態である。
段階ST6で動き予測を行うのには様々な手法が存在している。好適な一手法は、例えば、G.de Haanによる文献(「Progress in motion estimation for video format conversion」、IEEE Transactions on Consumer Electronics、2000年8月、第46巻、第3号、p.449-459)に記載されている所謂3次元(3D)再帰的探索法である。3D再帰的探索法の利点は、この技術は概して、関心画像内の動きを正確に反映する動きベクトルを提供できることである。
段階ST6では、ブロックマッチングによる動き予測を行うことも可能である。符号化対象の画像は幾つかの画素ブロックに分割される。符号化対象の画像内の画素ブロックに対して、この画素ブロックに最も整合する画素ブロックが先行画像又は後続画像内で探索される。動きがある場合、上述の2つの画素ブロック間には相対的な変位が存在することになる。従って、符号化対象の画像内の画素ブロック毎に動きベクトルを定めることができる。
3D再帰的探索法又はブロックマッチング動き予測法の何れも比較的低コストで実行されることができる。何故なら、これらの種類の動き予測のためのハードウェア及びソフトウェアは様々な家庭用電化製品アプリケーションに既に存在しているからである。図1に例示されたデジタルカメラDCMの実装は、故に、既存の低コスト動き予測ハードウェア及びソフトウェアによる恩恵を受けることができる。新たなハードウェア又はソフトウェアを全面的に開発することは必要ない。この開発は可能ではあるものの、かなりコストがかかるものである。
段階ST7にて、制御・処理回路CPCは、第2の自然光画像IM2aと、段階ST6にて動き予測が生成した動きベクトルMVとに基づいて、動き補償を実行する(MOTCMP[IM2a,MV])。動き補償は動き補償された自然光画像IM2aMCをもたらし、この画像は画像記憶媒体ISMに格納され得る。動き補償は第2の自然光画像IM2aとフラッシュ光画像IMFaとの間の動きを補償すべきである。すなわち、動き補償はフラッシュ光画像IMFaに関して実行される。
理想的には、動き補償された自然光画像IM2aMC及びフラッシュ光画像IMFa内の同一の被写体は同一の位置を有する。すなわち、これらの画像が重ね合わされる場合、理想的には全ての被写体が整合されているべきであり、異なっているのはそれぞれの被写体の光度と色情報のみであるべきである。動き補償された自然光画像IM2aMC内の被写体は、フラッシュ光を用いて捕捉されたフラッシュ光画像IMFa内の被写体に対して暗く見えることになる。
実際には、動き補償は完全には画像を整合させず、比較的小さい誤差が残り得る。これは、動きベクトルは第1の自然光画像IM1aに対する第2の自然光画像IM2a内の動きに関するものであるという事実に起因している。すなわち、動きベクトルはフラッシュ光画像IMFaに直接的に関するものではないことに起因している。そうは言うものの、動き補償はこれらの動きベクトルに基づいて十分な整合を実現することが可能である。
第1の自然光画像IM1aに対する第2の自然光画像IM2a内の動きが、第2の自然光画像IM2aに対するフラッシュ光画像IMFa内の動きと似通っている場合には、整合は正確になる。このことは、画像が比較的素早く連続して捕捉される場合には一般的に当てはまる。例えば、画像は加速中の被写体を含むシーンに関するものであると仮定する。この被写体は画像が捕捉されるそれぞれの瞬間に、その時間間隔が被写体の加速に対して相対的に短い場合には、実質的に類似の速度を有することになる。
図2Bに例示される段階ST8にて、制御・処理回路CPCはフラッシュ光画像IMFaと動き補償された自然光画像IM2aMCとの合成を作成する(COMB[IMFa,IM2aMC])。この合成により、フラッシュ光によって引き起こされる不自然で好ましくない影響が低減された改善フラッシュ光画像IMFaが得られる。例えば、フラッシュ光画像IMFa内の色及び細部の情報が、第2の自然光画像IM2a内の配光と結合される。フラッシュ光画像IMFa内の色及び細部の情報は、一般に、第2の自然光画像IM2a内のそれより鮮明である。しかしながら、第2の自然光画像IM2a内の配光は、一般に、フラッシュ光画像IMFa内のそれより好ましいと考えられる。なお、自然光の下で捕捉された画像とフラッシュ光を用いて捕捉された画像とに基づいて改善画像を得るのには様々な手法が存在する。非特許文献1は段階ST8にて適用され得る画像改善技術の一例である。
段階ST8で為される合成はまた、フラッシュ光画像IMFaに現れることがある如何なる赤眼をも補正することを可能にする。眼を有する生物の画像がフラッシュ光を用いて捕捉されるとき、眼が不自然に赤く見えることがある。この赤眼は動き補償された自然光画像IM2aMCをフラッシュ光画像IMFaと比較することによって検出され得る。制御・処理回路CPCがフラッシュ光画像IMFa内の赤眼の存在を検出すると仮定する。その場合、動き補償された自然光画像IM2aMCの眼の色情報が改善フラッシュ光画像IMFa内の眼の色を定める。ユーザが赤眼を検出して補正することも可能である。例えば、図1に例示されたデジタルカメラDCMのユーザは、ユーザインターフェースUIFの部分を形成する表示装置を介してフラッシュ光画像IMFa内の赤眼に気付いてもよい。ユーザが適切な補正を施すことが画像処理ソフトウェアによって可能にされてもよい。
段階ST9にて、制御・処理回路CPCは改善フラッシュ光画像IMFaを画像記憶媒体ISMに格納する(IMFa→ISM)。従って、改善フラッシュ光画像IMFaは、後の時点において画像表示装置に転送されてもよい。必要に応じて、段階ST10にて、制御・処理回路CPCは画像記憶媒体ISMに存在する自然光画像IM1a、IM2a及びフラッシュ光画像IMFaを消去する(DEL[IM1a,IM2a,IMFa])。動き補償された自然光画像IM2aMCも同様に消去されてもよい。しかしながら、これらの画像は後に処理され得るように画像記憶媒体ISMに保持することが有用となることもある。
図3A、3B及び3Cは、それぞれ、上述のように連続して捕捉された第1及び第2の自然光画像IM1a、IM2a及びフラッシュ光画像IMFaの一例を例示している。この例においては、画像は様々な被写体、すなわちテーブルTA、ボールBL、及び花FLを有する花瓶VA、を含むシーンに関係している。ボールBLは移動している。すなわち、ボールBLは花瓶VAに向かってテーブルTA上を転がっている。その他の被写体は静止している。デジタルカメラDCMを持っている人の手はぶれないと仮定する。画像は比較的素早く連続して、例えば毎秒15画像の速度で捕捉されている。
自然光画像IM1a、IM2aは実質的に同じに見える。両画像とも自然光の下で撮影されている。両画像において各被写体は同等の光度及び色を有している。唯一の違いは移動しているボールBLに関係している。その結果として、上述の段階ST6での動き予測は同一のものを指し示す動きベクトルを与える。第2の自然光画像IM2aは、実質的にボールBLに属する画素群を1つ以上有している。この画素群に関する動きベクトルはボールBLの変位すなわち動きを指し示している。対照的に、ボールBL以外の被写体に実質的に属する画素群は、動きがないことを指し示す動きベクトルを有することになる。例えば、花瓶VAに実質的に属する画素群は、これが静物であることを指し示すことになる。
フラッシュ光画像IMFaは自然光画像IM1a、IM2aとはかなり異なっている。フラッシュ光画像IMFaにおいては、自然光画像IM1a、IM2aにおいてより、テーブルTA、ボールBL、及び花FLを有する花瓶VAなどの前景の被写体が、よりはっきりと照らされている。これらの被写体はより高い光度とより鮮やかな色とを有している。フラッシュ光画像IMFaが第2の自然光画像IM2aと異なっているのは異なる照明条件のためだけではない。ボールBLの動きによってもまた、フラッシュ光画像IMFaは第2の自然光画像IM2aと異なっている。故に、フラッシュ光画像IMFaと第2の自然光画像IM2aとの間の相違を説明する主要因には、照明条件と動きという2つが存在している。
自然光画像IM1a、IM2aから得られる動きベクトルは、照明条件に起因する相違と動きに起因する相違との間の比較的正確な区別を可能にする。これは実質的に、自然光画像IM1a、IM2aは実質的に同等の照明条件の下で捕捉されているという事実による。故に、動きベクトルは照明条件の如何なる相違にも影響を受けていない。その結果として、照明条件の相違のみに基づいてフラッシュ光画像IMFaを改善することが可能である。動きベクトルに基づく動き補償は、改善フラッシュ光画像IM2aがぼやけることを防止する。
図4A及び4Bは、デジタルカメラDCMが実行する代替動作を例示している。この代替動作は一連の段階ST101乃至ST111の形態で例示されている。図4Aは段階ST101乃至ST107を、図4Bは段階ST108乃至ST111を例示している。これらの代替動作は、典型的に、制御・処理回路CPCの制御下で好適なコンピュータプログラムを用いて実行される。故に、図4A及び4Bは制御・処理回路CPC用の代替ソフトウェアを例示している。
段階ST101にて、ユーザがフラッシュボタンFBと画像撮影ボタンSBを押し下げたこと(FB↓&SB↓)を制御・処理回路CPCが検出する。これに応答して、制御・処理回路CPCはデジタルカメラDCMに以降に述べる段階を実行させる(デジタルカメラDCMはまた、ユーザが画像撮影ボタンSBのみを押し下げ、且つ制御・処理回路CPCが不十分な自然光しかないことを検出した場合に、これらの段階を実行してもよい)。
段階ST102にて、光学ピックアップ装置OPUが瞬間tに第1の自然光画像IM1bを捕捉する(OPU:IM1b@t)。制御・処理回路CPCは第1の自然光画像IM1bを画像記憶媒体ISMに格納する。瞬間tを指し示す時間標識が第1の自然光画像IM1bと関連付けられて格納される(IM1b&t→ISM)。
段階ST103にて、フラッシュ装置FLUがフラッシュ光を発光する(FLSH)。デジタルカメラDCMはこのフラッシュ光の間に段階ST104を実行する。段階ST104では、光学ピックアップ装置OPUが瞬間tにフラッシュ光画像IMFbを捕捉する(OPU:IMFb@t)。故に、フラッシュ光は瞬間tの直前に発光される。制御・処理回路CPCはフラッシュ光画像IMFbを画像記憶媒体ISMに格納する。瞬間tを指し示す時間標識がフラッシュ光画像IMFbと関連付けられて格納される(IMFb&t→ISM)。
フラッシュ光が薄暗くなり自然光条件に戻ると、デジタルカメラDCMは段階ST105を実行する。段階ST105では、光学ピックアップ装置OPUが瞬間tに第2の自然光画像IM2bを捕捉する(OPU:IM2b@t)。制御・処理回路CPCは第2の自然光画像IM2bを画像記憶媒体ISMに格納する。瞬間tを指し示す時間標識が第2の自然光画像IM2bと関連付けられて格納される(IM2b&t→ISM)。
段階ST106にて、制御・処理回路CPCは、画像記憶媒体ISMに格納された第1の自然光画像IM1b及び第2の自然光画像IM2bに基づいて、動き予測を実行する(MOTEST[IM1b,IM2b])。動き予測は、第1の自然光画像IM1b及び第2の自然光画像IM2bの部分を形成する被写体の動きを指し示す動きベクトルMV1,3を提供する。
段階ST107にて、制御・処理回路CPCは段階ST106で動き予測により与えられた動きベクトルMV1,3を適合させる(ADP[MV1,3;IM1b,IMFb])。従って、適合された動きベクトルMV1,2が得られる。適合された動きベクトルMV1,2は、第1の自然光画像IM1bに対するフラッシュ光画像IMFb内の動きに関連するものである。このため、制御・処理回路CPCは、自然光画像及びフラッシュ光画像IM1b、IM2b及びIMFbが捕捉されたそれぞれの瞬間t、t及びtを考慮に入れる。
動きベクトルMV1,3は比較的単純な手法で適合されることができる。例えば、動きベクトルは水平成分と垂直成分とを有すると仮定する。水平成分は瞬間tと瞬間tとの間の時間間隔を瞬間tと瞬間tとの間の時間間隔で割った値に等しい倍率を用いて縮小されることができる。垂直成分も同様にして縮小可能である。従って、縮小された水平成分及び縮小された垂直成分が得られる。組み合わせて、これらの縮小成分は、第1の自然光画像IM1bに対するフラッシュ光画像IMFb内の動きに関する適合された動きベクトルを構成する。
図4Bに例示される段階ST108にて、制御・処理回路CPCは、第1の自然光画像IM1bと、適合された動きベクトルMV1,2とに基づいて、動き補償を実行する(MOTCMP[IM1b,MV1,2])。動き補償は動き補償された自然光画像IM1bMCをもたらし、この画像は画像記憶媒体ISMに格納され得る。動き補償は第1の自然光画像IM1bとフラッシュ光画像IMFbとの間の動きを補償すべきである。すなわち、動き補償はフラッシュ光画像IMFbに関して実行される。
段階ST109にて、制御・処理回路CPCはフラッシュ光画像IMFbと動き補償された自然光画像IM1bMCとの合成を作成する(COMB[IMFb,IM1bMC])。この合成により、フラッシュ光によって引き起こされる不自然で好ましくない影響が低減された改善フラッシュ光画像IMFbが得られる。段階ST110にて、制御・処理回路CPCは改善フラッシュ光画像IMFbを画像記憶媒体ISMに格納する(IMFb→ISM)。必要に応じて、段階ST111にて、制御・処理回路CPCは画像記憶媒体ISMに存在する自然光画像IM1b、IM2b及びフラッシュ光画像IMFbを消去する(DEL[IM1b,IM2b,IMFb])。動き補償された自然光画像IM1bMCも同様に消去されてもよい。
図5は、図1に例示されたデジタルカメラDCMから画像記憶媒体ISMを受け取ることが可能な画像処理装置IMPAを例示している。画像処理装置IMPAはインターフェースINT、プロセッサPRC、表示装置DPL、及び制御器CTRLを有している。プロセッサPRCは、画像記憶媒体ISMに格納された画像を処理するのに好適なハードウェア及びソフトウェアを有している。表示装置DPLは原画像又は処理画像を表示してもよい。制御器CTRLは、例えばインターフェースINT、プロセッサPRC、及び表示装置DPL等の様々な構成要素が実行する動作を制御する。制御器CTRLは、ユーザがこれらの動作を制御するために介する遠隔制御装置RCDと相互作用してもよい。
画像処理装置IMPAは同一シーンに関する一組の画像を処理し得る。少なくとも2つの画像が自然光の下で捕捉されている。少なくとも1つの画像がフラッシュ光を用いて捕捉されている。図3A、3B及び3Cはこのような一組の画像を例示している。画像処理装置IMPAは、自然光の下で捕捉された少なくとも2つの画像に基づいて動き予測を実行する。従って、動きベクトルの形態であり得る動きを指し示す指標が得られる。続いて、この動き指標が用いられ、フラッシュ光を用いて捕捉された画像が自然光の下で撮影された少なくとも1つの画像に基づいて改善される。
例えば、デジタルカメラDCMは段階ST1乃至ST5を実行するが段階ST10は実行しない(図2A及び2B参照)ようにプログラムされていると仮定する。画像記憶媒体ISMは自然光画像IM1a、IM2a及びフラッシュ光画像IMFaを有している。図5に例示された画像処理装置IMPAは、改善フラッシュ光画像IMFaを得るために、図2A及び2Bに例示された段階ST6乃至ST8を実行してもよい。この処理は、パーソナルコンピュータ上での従来の写真編集と同様にしてユーザ制御されてもよい。例えば、ユーザは改善フラッシュ光画像IMFa内の配光が第2の自然光画像IM2a内の配光に基づく程度を定めてもよい。
他の例では、デジタルカメラDCMは段階ST101乃至ST105を実行するが段階ST111は実行しない(図4A及び4B参照)ようにプログラムされていると仮定する。このとき、図5に例示された画像処理装置IMPAは、改善フラッシュ光画像IMFbを得るために、図4A及び4Bに例示された段階ST106乃至ST109を実行してもよい。
改善フラッシュ光画像は、動き予測の正確性に実質的に依存する品質を有することになる。上述のように、3D再帰的探索法により比較的良好な正確性が得られる。コンテンツ適応式再帰的探索法(Content Adaptive Recursive Search)として知られる技術は良い代替となる。画像間の平行移動だけでなく傾きをも考慮可能な複雑な動き予測技術が用いられてもよい。さらに、最初に画像全体に関する全体的な動き予測を実行し、続いて画像の様々な別個の部分に関する局所的な動き予測を実行することも可能である。画像のサブサンプリングは全体的な動き予測を簡易にする。なお、動き予測はブロックに基づく代わりにセグメントに基づくものとすることもできる。セグメントに基づく動き予測は、ブロックの形態とは全く異なる形態をブロックが有し得ることを考慮に入れる。動きベクトルは、必ずしもブロックではない任意の形状をした画素群に関していてもよい。従って、セグメントに基づく動き予測は比較的正確なものと成り得る。
以下の規則が一般的に当てはまる。動き予測が基づく画像数が増えるほど、動き予測は正確になる。以上においては、動き予測は自然光の下で捕捉された2つの画像に基づいていた。3つ以上の画像が自然光の下で捕捉されて、動きを予測するために使用される場合、より正確な動き予測が得られ得る。例えば、連続して捕捉された2つの画像に基づくと、被写体の速度を推定することは可能であるが被写体の加速度は推定できない。3つの画像により、加速度の推定が可能になる。3つの自然光画像がフラッシュ光画像に関連付けて捕捉されると仮定する。その場合、フラッシュ光画像が捕捉される瞬間に被写体が何処にあるかは、2つの自然光画像が捕捉される場合と比較して、より正確に予測されることが可能である。
以上の図面を参照しての詳細な説明は以下の特徴を示している。連続して捕捉された一組の画像群は、実質的に同等の照明条件下で捕捉された複数の画像(第1及び第2の自然光画像IM1a、IM2a、図2A、及びIM1b、IM2b、図4A)と、実質的に異なる照明条件下で捕捉された画像(フラッシュ光画像IMFa、図2A、及びIMFb、図4A)とを含む。実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動き指標(動きベクトルMVの形態)が取得される(これは段階ST6、図2A、及び段階ST106、ST107、図4Aにて行われる)。実質的に同等の照明条件下で捕捉された少なくとも2つの画像から取得された動き指標に基づいて、実質的に異なる照明条件下で捕捉された画像が処理される(これは段階ST7、ST8、図2A、2B、及び段階ST108、ST109、図4Bにて行われ、この処理から改善されたフラッシュ光画像IMFaが得られる)。
以上の詳細な説明は更に、以下の選択的な特徴を示している。先ず、少なくとも2つの画像が自然光の下で捕捉され、続いて、1つの画像がフラッシュ光を用いて捕捉される(図2A及び2Bに従った動作であり、2つの自然光画像IM1a、IM2aが先ず捕捉され、続いて、フラッシュ光画像IMFaが捕捉される)。これらの特徴の利点は、動き予測が基づく自然光画像が、フラッシュ光画像が捕捉される比較的すぐ前に捕捉され得ることである。このことは動き予測の正確性、ひいては良好な画質に寄与する。
以上の詳細な説明は更に、以下の選択的な特徴を示している。画像は、ある一定の時間間隔(ΔT)を有するそれぞれの瞬間にて連続して捕捉される(図2A及び2Bに従った動作)。これらの特徴の利点は、動き予測と更なる処理とが比較的単純になり得ることである。例えば、自然光画像から得られる動きベクトルはフラッシュ光画像に直接的に適用されることができる。適合化は不要である。
以上の詳細な説明は更に、以下の選択的な特徴を示している。1つの画像が自然光の下で捕捉され、続いて、1つの画像がフラッシュ光を用いて捕捉され、さらに続いて、1つの更なる画像が自然光の下で捕捉される(図4A及び4Bに従った動作であり、フラッシュ光画像IMFbは自然光画像IM1b、IM2bの間にある)。これらの特徴の利点は、特に一定速度の動きの場合に、動き予測が比較的正確になることである。フラッシュ光画像が、言わば、自然光画像に挟まれているため、フラッシュ光画像内の被写体群のそれぞれの位置は、かなり大きな正確性をもって予測され得る。
以上の詳細な説明は更に、以下の選択的な特徴を示している。動き指標は、以下のようにして得られる適合された動きベクトル(MV1,2)を有する(図4A及び4Bがこれを例示している)。実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動きベクトル(MV1,3)が取得される(段階ST106:MV1,3は自然光画像IM1b、IM2bから得られる)。この動きベクトルは、該少なくとも2つの画像及び実質的に異なる照明条件下で捕捉された画像(IMFb)が捕捉されたそれぞれの瞬間(t、t、t)に基づいて適合される(段階ST107)。これは更に動き予測の正確性に寄与する。
以上の詳細な説明は更に、以下の選択的な特徴を示している。動き予測段階は、ある画素群に属する動きベクトルを、他の画素群に対して定められた動きベクトルを考慮に入れるようにして定める。これは、例えば3D再帰的探索法における場合である。上記特徴は、単純なブロックマッチング動き予測法と比較して正確な動き予測を可能にする。動きベクトルは、関連する画素群が属する被写体の動きを真に指し示すことになる。これは良好な画質に寄与する。
上記特徴は数多の様々な手法で実現され得る。これを例示するため、幾つかの代替例を簡単に示す。画像群の組は静止画の代わりに動画を形成していてもよい。例えば、処理対象の画像群の組はビデオカメラを用いて捕捉されていてもよい。画像群の組はまた、従来の紙の写真の組のデジタル走査から得られてもよい。画像群の組は、実質的に同等の照明条件下で捕捉された3つ以上の画像を含んでいてもよい。画像群の組はまた、実質的に異なる照明条件下で捕捉された2つ以上の画像を含んでいてもよい。画像群は互いに対して何処に位置付けられていてもよい。例えば、先ず、フラッシュ光画像が捕捉され、その後、2つの自然光画像が捕捉されてもよい。動き指標は何れのフラッシュ光画像が処理され得るかに基づいて2つの自然光画像から得られてもよい。他の例では、2つのフラッシュ光画像が最初に捕捉され、続いて、1つの自然光画像が捕捉されてもよく、動き指標はフラッシュ光画像から得られる。この場合、フラッシュ光画像が、実質的に同等の照明条件下で撮影された画像を構成する。
画像群の組を処理することには数多の様々な手法が存在する。処理は必ずしも、上述の画像の改善を含んでいなくてもよい。例えば、処理は画像の符号化を含んでいてもよい。処理が画像の改善を含んでいる場合、それを行う手法は数多く存在する。上述においては、動き補償された自然光画像が先ず定められている。続いて、動き補償された自然光画像に基づいてフラッシュ光画像が改善される。他の例では、フラッシュ光画像はブロック毎の原則の下で直接的に改善されてもよい。フラッシュ光画像内の画素ブロックは、自然光画像内の対応する画素ブロックを指し示している該画素ブロックの動きベクトルに基づいて改善されてもよい。従って、フラッシュ光画像内のそれぞれの画素ブロックが逐次的に改善されてもよい。この実施形態においては、動き補償された自然光画像を最初に確立する必要はない。
画像の組は必ずしも、それぞれの画像が捕捉されたそれぞれの瞬間を指し示す時間標識を有していなくてもよい。例えば、それぞれの瞬間の間が一定の時間間隔である場合、時間標識は不要である。時間間隔は同一である必要はなく、それらが知られれば足りる。
ハードウェア若しくはソフトウェア又はそれら双方の品目を用いて機能を実現する方法は数多く存在する。この点において、図面は非常に概略的であり、各図は本発明の単に1つの取り得る実施形態を表しているに過ぎない。さらに、各図は異なる機能を相異なるブロックとして示しているが、これは決して、ハードウェア又はソフトウェアの単一品目が幾つかの機能を実行したり、あるいはハードウェア若しくはソフトウェア又はそれら双方のアセンブリが単一の機能を実行したりすることを排除するものではない。
図面を参照するこの詳細な説明は本発明を例示するものであり、限定するものではない。添付の請求項の範囲内で数多の代替例が存在する。請求項中の如何なる参照符号も請求の範囲を限定するものとして解釈されるべきではない。用語“有する”は、請求項にて挙げられる以外の要素又は段階の存在を排除するものではない。要素又は段階の前の冠詞“ある(“a”若しくは“an”)”は、このような要素又は段階が複数存在することを排除するものではない。
デジタルカメラを例示するブロック図である。 デジタルカメラが実行する動作を例示するフローチャートである。 デジタルカメラが実行する動作を例示するフローチャートである。 デジタルカメラが捕捉した3つの連続した画像を例示する絵図である。 デジタルカメラが捕捉した3つの連続した画像を例示する絵図である。 デジタルカメラが捕捉した3つの連続した画像を例示する絵図である。 デジタルカメラが実行してもよい代替的な動作を例示するフローチャートである。 デジタルカメラが実行してもよい代替的な動作を例示するフローチャートである。 画像処理装置を例示する図である。

Claims (10)

  1. 実質的に同等の照明条件下で捕捉された複数の画像と、実質的に異なる照明条件下で捕捉された画像とを含む連続して捕捉された一組の画像群を処理する方法であって:
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動き指標が取得される動き予測段階;及び
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から取得された前記動き指標に基づいて、実質的に異なる照明条件下で捕捉された画像が処理される処理段階;
    を有する処理方法。
  2. 少なくとも2つの画像が自然光の下で捕捉され、続いて、1つの画像がフラッシュ光を用いて捕捉される画像捕捉段階;
    を有する請求項1に記載の処理方法。
  3. 前記画像群はそれぞれの瞬間にて連続して捕捉され、該それぞれの瞬間はそれらの間に一定の時間間隔を有する、請求項2に記載の処理方法。
  4. 1つの画像が自然光の下で捕捉され、続いて、1つの画像がフラッシュ光を用いて捕捉され、さらに続いて、1つの更なる画像が自然光の下で捕捉される画像捕捉段階;
    を有する請求項1に記載の処理方法。
  5. 動き指標は適合された動きベクトルを有し、該適合された動きベクトルは:
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動きベクトルが取得される動きベクトル取得段階;及び
    該少なくとも2つの画像及び実質的に異なる照明条件下で捕捉された前記画像が捕捉されたそれぞれの瞬間に基づいて、前記動きベクトルが適合される動きベクトル適合化段階;
    から得られる、請求項1に記載の処理方法。
  6. 前記一組の画像群は、同等の照明条件下で捕捉された3つ以上の画像を有し、前記動き指標は該3つ以上の画像から取得される、請求項1に記載の処理方法。
  7. 前記動き予測段階は、ある画素群に属する動きベクトルを、他の画素群に対して定められた動きベクトルを考慮に入れるようにして定める、請求項1に記載の処理方法。
  8. 実質的に同等の照明条件下で捕捉された複数の画像と、実質的に異なる照明条件下で捕捉された画像とを含む連続して捕捉された一組の画像群を処理する画像プロセッサであって:
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動き指標を取得する動き予測器;及び
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から取得された前記動き指標に基づいて、実質的に異なる照明条件下で捕捉された画像を処理するプロセッサ;
    を有する画像プロセッサ。
  9. 実質的に同等の照明条件下で捕捉された複数の画像と、実質的に異なる照明条件下で捕捉された画像とを含む一組の画像群を連続して捕捉する画像捕捉構成;
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動き指標を取得する動き予測器;及び
    改善された画像を得るために、実質的に異なる照明条件下で捕捉された画像と実質的に同等の照明条件下で捕捉された画像の内の少なくとも1つとの合成を、実質的に同等の照明条件下で捕捉された少なくとも2つの画像から取得された前記動き指標に基づいて作成する画像プロセッサ;
    を有する画像捕捉装置。
  10. 実質的に同等の照明条件下で捕捉された複数の画像と、実質的に異なる照明条件下で捕捉された画像とを含む連続して捕捉された一組の画像群を処理するように構成された画像プロセッサ用のコンピュータプログラムであって、当該コンピュータプログラムは一組の命令群を有し、該画像プロセッサにロードされたとき、該画像プロセッサに:
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から動き指標が取得される動き予測段階;及び
    実質的に同等の照明条件下で捕捉された少なくとも2つの画像から取得された前記動き指標に基づいて、実質的に異なる照明条件下で捕捉された画像が処理される処理段階;
    を実行させるコンピュータプログラム。
JP2007538578A 2004-10-27 2005-10-25 動き予測に基づく画像処理 Pending JP2008522457A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04300738 2004-10-27
PCT/IB2005/053491 WO2006046204A2 (en) 2004-10-27 2005-10-25 Image enhancement based on motion estimation

Publications (1)

Publication Number Publication Date
JP2008522457A true JP2008522457A (ja) 2008-06-26

Family

ID=35811655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007538578A Pending JP2008522457A (ja) 2004-10-27 2005-10-25 動き予測に基づく画像処理

Country Status (4)

Country Link
US (1) US20090129634A1 (ja)
JP (1) JP2008522457A (ja)
CN (1) CN101048796A (ja)
WO (1) WO2006046204A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363919B2 (en) 2009-11-25 2013-01-29 Imaging Sciences International Llc Marker identification and processing in x-ray images
US8180130B2 (en) * 2009-11-25 2012-05-15 Imaging Sciences International Llc Method for X-ray marker localization in 3D space in the presence of motion
US9826942B2 (en) * 2009-11-25 2017-11-28 Dental Imaging Technologies Corporation Correcting and reconstructing x-ray images using patient motion vectors extracted from marker positions in x-ray images
US9082036B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for accurate sub-pixel localization of markers on X-ray images
US9082177B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for tracking X-ray markers in serial CT projection images
US9082182B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Extracting patient motion vectors from marker positions in x-ray images
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
CN112673311B (zh) * 2018-09-11 2022-12-27 保富图公司 确定人造照明设置和摄像机设置的方法、软件产品、摄像机装置和系统
EP3850425A4 (en) 2018-09-11 2022-06-08 Profoto Aktiebolag COMPUTER-IMPLEMENTED METHOD AND SYSTEM FOR COORDINATING THE CAPTURE OF AN IMAGE USING A CAMERA AND TRIGGERING A FLASH PULSE FROM AT LEAST ONE FLASH UNIT
WO2020159422A1 (en) 2019-02-01 2020-08-06 Profoto Aktiebolag A housing for an intermediate signal transmission unit and an intermediate signal transmission unit
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030151689A1 (en) * 2002-02-11 2003-08-14 Murphy Charles Douglas Digital images with composite exposure
US7889275B2 (en) * 2003-01-28 2011-02-15 Microsoft Corp. System and method for continuous flash

Also Published As

Publication number Publication date
US20090129634A1 (en) 2009-05-21
WO2006046204A2 (en) 2006-05-04
CN101048796A (zh) 2007-10-03
WO2006046204A3 (en) 2006-08-03

Similar Documents

Publication Publication Date Title
JP2008522457A (ja) 動き予測に基づく画像処理
US7546026B2 (en) Camera exposure optimization techniques that take camera and scene motion into account
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
JP3838243B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
US7692696B2 (en) Digital image acquisition system with portrait mode
US20100149210A1 (en) Image capturing apparatus having subject cut-out function
KR20200042536A (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
KR20110052507A (ko) 촬상장치 및 촬상방법
JP4748230B2 (ja) 撮像装置、撮像方法及び撮像プログラム
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
CN110430370A (zh) 图像处理方法、装置、存储介质及电子设备
KR101004914B1 (ko) 촬상장치 및 촬상방법
CN108052883B (zh) 用户拍照方法、装置及设备
TWI408955B (zh) 修正在攝影時之光源影響的影像修正裝置及其影像修正方法
JP2007188126A (ja) 画像明るさ算出装置および方法並びにプログラム
CN112291459A (zh) 一种摄影装置和三维扫描设备
CN107040697A (zh) 使用凝视检测的摄影方法以及相关相机系统
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP5200820B2 (ja) 撮像装置及び撮像方法、画像処理プログラム
JP7259761B2 (ja) 撮像装置、電子機器および彩度抑制プログラム
JP7102150B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011135227A (ja) 被写体追跡装置及びその制御方法
KR100968375B1 (ko) 최적 영상 선택 방법 및 장치
JP2010119051A (ja) 撮像装置及び撮像方法