JP2011525058A - 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 - Google Patents

撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 Download PDF

Info

Publication number
JP2011525058A
JP2011525058A JP2010549749A JP2010549749A JP2011525058A JP 2011525058 A JP2011525058 A JP 2011525058A JP 2010549749 A JP2010549749 A JP 2010549749A JP 2010549749 A JP2010549749 A JP 2010549749A JP 2011525058 A JP2011525058 A JP 2011525058A
Authority
JP
Japan
Prior art keywords
pixel
image
input images
calculating
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010549749A
Other languages
English (en)
Other versions
JP5102374B2 (ja
Inventor
ポンサク ラサング
チンフェク オング
シェン メイ シェイ
健二 田村
祐亮 物部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2011525058A publication Critical patent/JP2011525058A/ja
Application granted granted Critical
Publication of JP5102374B2 publication Critical patent/JP5102374B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

【課題】撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置。
【解決手段】複数の入力画像のうちの対になる各画像ペアの絶対画像差分のセットに対して、空間−時間フィルタを実行することによって、残余画像を算出する。イメージ・センサーのノイズ統計に基づいて、画素ごとにノイズ適応画素しきい値を算出する。残余画像とノイズ適応画素しきい値は、モーション・マスキング・マップを作成するために使用される。モーション・マスキング・マップは、画素を融合する際に移動画素と非移動画素を示すために使用される。移動画素が別途に実行されるように移動画素に配慮することによって出力画像を生成するように、画素融合ステップが実行される。
【選択図】図４

Description

本発明は、デジタル画像データの処理に関係し、より詳しくは、撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置に関係する。
イメージ・センサーには、ダイナミック・レンジと感度の限界がある。イメージ・センサーの感度は、検出可能な光のレベルによって決定される。薄暗い場所では、イメージ・センサーによって捕らえられた画像が暗くノイズのように見えてしまう場合がある。これは、感度限界として知られている。イメージ・センサーのダイナミック・レンジは、そのノイズ・フロアとフルウェル・キャパシティ（飽和容量）によって制限される。多くの場合、イメージ・センサーのダイナミック・レンジは、撮像対象のシーンに存在するダイナミック・レンジよりも低い。その結果、撮像された画像のうちの光度が低い領域は暗くノイズのように見え、一方、光度の高い領域は飽和したように見える。これらの問題を克服するために使用される一つの技術は、同じシーンで複数の画像を撮像した後、撮像された複数の画像を一つの画像に融合することである。ノイズを低減するために、複数の画像を同じ露光量で撮像し、融合できる。これは、イメージ・センサーの感度を増加することに等しい。ダイナミック・レンジを増加するために、複数の画像を異なる露光量で撮像し、融合することもできる。これは、高ダイナミック・レンジ（ＨＤＲ）撮像として知られている。
この技術は複数の入力画像を必要とするので、そのシーンで動いている要素に伴うモーション問題が発生する可能性がある。それが、出力画像においてぶれやゴーストといったアーチファクト（画像の乱れ）を引き起こす可能性がある。これは周知の問題である。
ＨＤＲ撮像においては、モーション問題を解決するためのいくつかの技術が提案されてきた。
図１Ａと図１Ｂを参照しつつ、特許文献１による、ＨＤＲ画像を生成するためのシステム及びプロセスの一例を説明する。ＨＤＲ画像を生成するためのシステム及びプロセスが、最初に参照画像を指定することを含むようにした手法が提案されている。次に、非参照画像各々を参照画像と一緒に記録する。この記録手順は、画素ごとにオプティカル・フロー・フィールドを算出することを含んだ、非参照画像各々のフロー・フィールドを生成する。生成されたフロー・フィールドは、次に、各々の非参照画像をワープさせるために使用される。ワープされた画像は、次に、参照画像と合成されることにより、ＨＤＲ画像となるラジアンス・マップを作成する。この手法では、モーション問題に対処するために、入力された非参照画像が、合成／融合の前にワープされる。
米国特許第７１４２７２３号明細書
上記の特許文献１に記載された発明によると、そのシーンで動いている要素を推定するために、融合前に非参照画像をワープさせるために、オプティカル・フロー・フィールドを算出することによって出力画像が生成される。そのため、閉塞した領域や画像間で移動ぶれ度が大きく異なる領域は、フロー・フィールドを正しく生成できず、モーションによる移動ぶれやゴーストのアーチファクトが出力画像になおも残るという問題が生じる。別の問題は、フロー・フィールドを算出するのは一般に非常に複雑であるという点にある。
本発明は、上述した問題を考慮してなされたものであり、各画像間で移動ぶれ度が異なるような入力画像でも、複雑性を低くしつつ、シーン移動による出力画像中の移動ぶれやゴーストのアーチファクトを効果的に防止することを目的とする。
上記の目的を達成するために、撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置は、一組の画像差分のセットから残余画像を算出するためのステップと、ここで上記画像差分は一組の入力画像セットのうちの対になる画像ペアの絶対差を算出することであり、一組のノイズ適応画素しきい値セットを算出するためのステップと、前記残余画像と前記ノイズ適応画素しきい値セットを用いてモーション・マスキング・マップを作成するステップと、出力画像を生成するために画素を融合するためのステップを有する。
本発明は、複数の入力画像中の移動画素に配慮しながら、複数の入力画像を融合することによって出力画像を生成する。
本発明について新規なことは、残余画像とノイズ適応画素しきい値セットからモーション・マスキング・マップを作成することである。残余画像は、画像差分のセットに対して空間−時間フィルタを適用することによって算出される。空間−時間フィルタを使用することの利点は、残余画像がノイズに対して頑健になることである。ノイズ適応画素しきい値は、センサー・ノイズ統計に基づいて画素レベルで適応的に算出される。ノイズ適応画素しきい値の一つの利点は、画像内容に依存しない、静止領域と移動領域のよりよい区別化をもたらすことである。別の利点は、本発明が広い照度範囲においてよい効果をもたらすことである。
モーション・マスキング・マップは、複数の入力画像中の移動画素と非移動画素を示すために使用される。このマップは画素を融合する際に使用される。したがって、結果的に、出力画像に移動（ぶれ）画素が現れない。本発明の利点は、出力画像に移動ぶれやゴーストのアーチファクトがなくなる、または少なくなることである。本発明の複雑性は低く、ノイズに対しても頑健である。本発明はまた、複数の画像が各画像でぶれ度合いが異なる場合に有効である。
さらに、本発明は、Bayer原領域において適用されることが好ましい。トーン・マッピングも、ホワイト・バランスを適用後、デモザイク処理を適用する前に、Bayer原領域において好適に実行される。その利点は、画素当り１つの色成分のみが処理されるので、演算量とメモリー量を少なくすることである。別の利点は、Bayer原領域における処理は、特にエッジ沿いのデモザイク処理アーチファクトによる影響を受けないので、信号忠実度がより高いことである。
先行技術におけるＨＤＲ画像を生成するための全体プロセスを説明するフロー図 先行技術におけるＨＤＲ画像を生成するための全体プロセスを説明するフロー図 撮像装置を示す図 撮像装置を示す図 本発明による移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサの詳細ブロック図 本発明による移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサの動作を説明するフロー図 残余画像演算モジュールの動作を説明するフロー図 ノイズ適応画素演算モジュールの動作を説明するフロー図 モーション・マスキング・マップ作成モジュールの動作を説明するフロー図 画素融合モジュールの動作を説明するフロー図 画素融合モジュールの動作を説明するフロー図 複数の露光量で複数の画像を撮像するための装置の一例を示す図 複数の露光量で複数の画像を撮像するための装置の別の例を示す図 パルス発生器からのパルス出力信号の一例を示す図 撮像装置を示す別の図 撮像装置を示す別の図 本発明による移動ぶれ及びゴースト防止を備えた画像融合プロセッサの詳細ブロック図 本発明による移動ぶれ及びゴースト防止を備えた画像融合プロセッサの動作を説明するフロー図 画像融合プロセッサ内の残余画像演算モジュールの動作を説明するフロー図 画像融合プロセッサ内のノイズ適応画素演算モジュールの動作を説明するフロー図 画像融合プロセッサ内のモーション・マスキング・マップ作成モジュールの動作を説明するフロー図 画像融合プロセッサ内の画素融合モジュールの動作を説明するフロー図
本発明の好適な実施形態を添付の図を参照して詳細に説明する。
（実施形態１）
図２Ａを参照すると、本発明の第１の実施形態による撮像装置（２００）のブロック図が示される。撮像装置（２００）は、光学システム（２０２）、イメージ・センサー（２０４）、アナログ−デジタル変換器（２０６）、画像プロセッサ（２２０）、記憶／送信装置（２０８）、及び表示装置（２１０）から構成される。画像プロセッサ（２２０）は、メモリー装置（２１２）、移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）、ホワイト・バランス・モジュール（２１４）、トーン・マップ・モジュール（２１６）、及びデモザイク・モジュール（２１８）から構成される。ユーザ・インタフェース、マイクロフォン、スピーカなどのその他の構成要素は示されていないが、そのことが本発明の範囲と精神を限定しない。
光学システム（２０２）は、イメージ・センサー（２０４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（２０４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（２０６）によってデジタル・データに変換され、メモリー装置（２１２）に記憶される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）は、複数の露光量で撮像した複数の原画像をメモリー装置（２１２）から取り込み、原ＨＤＲ画像である出力画像を生成する。原ＨＤＲ画像は、記憶／送信装置（２０８）によって記憶または送信され得る。原ＨＤＲ画像はまた、ホワイト・バランス・モジュール（２１４）、トーン・マップ・モジュール（２１６）、及びデモザイク・モジュール（２１８）によってさらに処理可能である。これにより、低ダイナミック・レンジの表示装置（２１０）上での表示または記憶／送信装置（２０８）による記憶／送信に適したレンジ圧縮画像が得られる。記憶装置の例は、これらに限定されないが、フラッシュ系メモリー・カード、ハード・ドライブ及び光学式ドライブを含む。送信装置の例は、これらに限定されないが、ＨＤＭＩインタフェース、ＵＳＢインタフェース、無線インタフェース及びプリンタ直結インタフェースを含む。記憶または送信装置は、選択的に、可逆圧縮または不可逆圧縮を有し得る。複数の原画像は、記憶／送信装置（２０８）によってそのまま記憶または送信することもできる。その後、ＨＤＲ画像が、本発明の別途のＨＤＲ画像生成装置によって、または本発明のＨＤＲ画像生成方法を実現するモジュールを備えた、コンピュータにより実行可能な命令を実行するコンピュータによって生成可能である。
画像プロセッサ（２２０）と移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）並びに内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）、またはＬＳＩ（大規模集積）回路によって実現される。これらのモジュールの各々は、多数の単一機能のＬＳＩｓとして実装することも、または一つの総合的ＬＳＩとして実装することも可能である。ここで使用した名称はＬＳＩであるが、集積化の程度に応じて、ＩＣ、システムＬＳＩ、超ＬＳＩ、またはウルトラＬＳＩであってもよい。さらに、集積化を実現する方法は、ＬＳＩだけではなく、特殊な回路または汎用プロセッサなども集積化をなし得る。ＬＳＩを製造後にプログラムすることが可能であるＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＬＳＩの接続または構成を再構成できる再構成可能なプロセッサを、同様の用途に使用可能である。将来は、製造技術の進歩により、最新の技術がＬＳＩに取って代わる可能性もある。そのような技術によって集積化を行なえる。バイオテクノロジーの応用は、そのような可能性の一つである。
図３Ａを参照すると、本発明の第１の実施形態による撮像装置（２００）の移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）の詳細ブロック図が示される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）は、残余画像演算モジュール（３００）、ノイズ適応画素しきい値演算モジュール（３０２）、モーション・マスキング・マップ作成モジュール（３０４）、及び画素融合モジュール（３０８）から構成される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）は、異なる露出で撮像した複数の原画像を取り込む。残余画像演算モジュール（３００）は、一組の画像差分のセットから残余画像を算出する。ノイズ適応画素しきい値演算モジュール（３０２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。モーション・マスキング・マップ作成モジュール（３０４）は、上記残余画像及び上記ノイズ適応画素しきい値セットからモーション・マスキング・マップを作成する。画素融合モジュール（３０８）は、上記モーション・マスキング・マップに基づいて、複数の原画像の画素を融合することにより、出力画像である原ＨＤＲ画像を生成する。
図４を参照すると、本発明による移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）の出力画像を生成するための動作を説明するフロー図が示される。ステップ４００で、異なる露光量で撮像した複数の原画像からなる一組の入力画像セットを入力することにより本方法は開始する。次に、本方法は、ステップ４０２で残余画像を算出する。残余画像は、一組の画像差分のセットから算出される。この画像差分のセットは、各画像ペアの絶対差を算出する画像の差分を含む。残余画像を得るために、画像の差分に対して空間−時間フィルタが適用される。次に、本方法は、ステップ４０４で、センサー・ノイズ統計と入力画像の輝度に基づいて、一組のノイズ適応画素しきい値のセットを算出する。このノイズ適応画素しきい値セットは、入力画像の各画素輝度のノイズ分散に基づいて得られる。その後、本方法は、ステップ４０６で、上記残余画像と上記ノイズ適応画素しきい値セットを使用して、モーション・マスキング・マップを作成する。このモーション・マスキング・マップは、複数の入力画像中の移動画素と非移動画素を示すために使用される。ステップ４０８で、本方法は、モーション・マスキング・マップと画素飽和レベルに基づいて、複数の入力画像の移動画素に配慮しながら、複数の入力画像からの画素を融合し、ＨＤＲ画像を生成する。画素を融合する際に移動画素に配慮する利点は、最終的なＨＤＲ画像に、これらの移動画素に起因するアーチファクト（例えば、移動ぶれやゴーストのアーチファクト）が発生しないことである。最後に、本方法は、ステップ４１０で、最終的な原ＨＤＲ画像を出力する。最終的な原ＨＤＲ画像には、移動ぶれやゴーストのアーチファクトがないまたは少ない。
残余画像演算モジュール（３００）
図５は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））の残余画像演算モジュール（３００）の動作並びに図４に示した方法を説明するフロー図である。残余画像は、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を生成するために、画素を融合する際に使用されるモーション・マスキング・マップを作成するために重要な役割を果たす。残余画像は、ノイズ適応画素しきい値により、複数の入力画像の画像間での移動画素と非移動画素を特定するために使用される。複数の入力画像は、異なる時間に順次に撮像されたものであり得る。シーン移動に伴い、そのシーン中の同じ被写体が画像間で異なる位置に現れる可能性がある。これが、出力画像においてぶれやゴーストのアーチファクトを引き起こす。さらに、複数の入力画像は、異なる露光量で撮像される。これにより、移動被写体のエッジ周辺のぶれ度合いが異なってくる。例えば、より短い露光量（シャッター速度）ではぶれはより少なく、より長い露光量（シャッター速度）では移動被写体のぶれアーチファクトがより大きくなる。これは、画像の平均と分散を使用したり、または画像間の差分のみを使用するような従来の方法を採用したりした場合、移動画素を正確に特定（または検出）することは難しい。
図５を参照して詳しく説明すると、残余画像演算方法は、複数の原画像からなる一組の画像セットを入力することにより開始する（ステップ５００）。次に、ステップ５０２で、一組の画像差分のセットを生成するために、画像ペアの絶対差が算出される。本発明の文脈では、画像の絶対差はラジアンス領域で算出される。最初に、入力画像をペアにする。画像ペアの数は、Σｎ p=1（ｎ−ｐ）（ここで、ｎは複数の入力画像の画像数である）として算出できる。各画像ペアの絶対差が、次に算出される。例えば、入力画像がフレーム０、フレーム１、及びフレーム２の３個の画像を含むとすれば、３個の画像ペア（０，１）、（１，２）、及び（０，２）がそれぞれ存在する。Ｉ０、Ｉ１，Ｉ２を各入力画像とし、ｅ０、ｅ１、ｅ２を入力画像であるフレーム０、フレーム１、及びフレーム２に対応する相対的露光量としよう。各画素位置（ｉ，ｊ）につき、各画像ペアでの絶対差は、次のように算出できる。
Figure 2011525058
 ここで、Ｄ０、Ｄ１、及びＤ２は、それぞれ、画像ペア（０，１）、画像ペア（１，２）、及び画像ペア（０，２）の画像差分であり、これらを「画像差分のセット」と呼ぶ。│・│は絶対作用素である。
理想的には、同じシーンを撮った画像間の差分はゼロであるはずである。実際には、イメージ・センサーからのノイズ、撮られた画像間での照度の変化、シーン移動などのいくつかの要因により、画像間の差分はおそらくゼロではない。ノイズがなく、照度変化がないとすれば、画像差分がゼロではない画素は、そのシーンの中の移動被写体に起因する。この場合、画像差分方法だけを使用して、移動画素を容易に特定または検出可能である。あいにく、撮影された画像は、ノイズまたは照度変化またはこれらの両方を含む可能性がある。画像差分がゼロではない画素が、必ずしも移動画素ではない可能性がある。
本発明の方法では、ステップ５０４で、画像差分のセットに対して適用される空間−時間フィルタを使用して、初期残余画像が生成される。空間フィルタが各画像差分に対して適用される。次に、時間フィルタが適用される。空間フィルタは、例えば、ガウス・フィルタ（Gaussian filter）、ハニング・フィルタ（Hanning filter）などの、どんな種類の空間フィルタ・カーネルでもよく、円形または矩形フィルタがあり得る。空間−時間平均化フィルタを使用して、３個の画像差分から初期残余画像を生成する例を以下に示す。Ｒｅｓ（ｉ，ｊ）を各画素位置（ｉ，ｊ）での初期残余画像としよう。Ｒｅｓ（ｉ，ｊ）は、例えば、このように算出できる。
Figure 2011525058
式（１）と（２）は、入力画像セットの画像数の増加に応じて修正及び拡張可能である。入力画像セットは、３個の画像のみに限定されない。空間フィルタは、本方法をイメージ・センサーからの空間ノイズに対して頑健にする。時間フィルタは、本方法を時間的な一貫性のないノイズに対して頑健にする。加えて、本方法は、ぶれ度合いが異なる画像である場合にも頑健である。空間−時間フィルタを実行するために、さらに進歩した複雑な技術を利用可能である。それも本発明の同じ範囲内にある。
複数の入力画像が２個の画像である場合には、１つの画像ペアから絶対差を算出できる。初期残余画像を生成するために、空間フィルタを適用できる。時間フィルタは除外可能である。
ステップ５０６において、初期残余画像に最大値フィルタを適用する。次いで、最終的な残余画像が得られる。このステップの目的は、移動領域のエッジ周辺のノイズと不連結性を防止することである。これは本方法の頑健性を高める。最大値フィルタは、どのような形状とサイズであってもよい。例えば、最大値フィルタが７ｘ７画素のサイズの矩形ウィンドウであるとすれば、このウィンドウ内に位置する画素の出力は、ウィンドウ内の画素値の最大値である。ウィンドウは、１画素ずつ次の画素にスライドしながら初期残余画像中のすべての画素上を通過する。最後に、ステップ５０８が最終的な残余画像を出力する。この最終的な残余画像は、次に、モーション・マスキング・マップ作成において、ノイズ適応画素しきい値セットを用いて移動画素を特定するために使用される。
ノイズ適応画素しきい値演算モジュール（３０２）
図６は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））のノイズ適応画素しきい値演算モジュール（３０２）の動作並びに図４に示した方法を説明するフロー図である。本方法は、ステップ６００で、複数の原画像からなる一組の画像セットを入力することにより開始する。ステップ６０２において、入力原画像のノイズ分散が各輝度レベルで算出される。ノイズ分散は、いろいろなやり方で算出可能である。ノイズ・モデルを用いたセンサー・ノイズ統計に基づいて、ノイズ分散を算出することが好ましい。したがって、入力原画像のノイズ分散は画像内容に依存しない。センサー・ノイズ統計は、このようにモデル化できる。
Figure 2011525058
 ここで、αとβは、それぞれ、光子ノイズと暗ノイズを表わすパラメータであり、センサー較正から得ることができる。Ｉは画素輝度である。各輝度レベルでの入力原画像のノイズ分散がわかると、ステップ６０４で、ノイズ適応画素しきい値を算出できる。これは、画素位置ごとに算出される。ｎ＋１個の画像を含む複数の入力画像について、画素位置（ｉ，ｊ）でのノイズ適応画素しきい値（ＮＡＴｈｒ）を算出する例を以下に示す。
Figure 2011525058
 ここで、σn (i,j) はｎ番目の入力画像フレームの位置（ｉ，ｊ）に位置する画素のノイズ標準偏差である。ｅｎはｎ番目の画像フレームの相対的露光量である。ｗｎはｎ番目の画像フレームのノイズの寄与を制御するために使用された重みであり、ｗｎは０〜１の間で可変である。ｋはノイズ分散の累積領域に基づくしきい値レベルを制御するために使用されたパラメータである。例えば、６８％累積領域にはｋを1.0に設定でき、正規分布の９５％累積領域にはｋを2.0に設定できる。
各画素のノイズ適応画素しきい値が算出されると、方法は、ステップ６０６で、ノイズ適応画素しきい値のセットを出力する。ノイズ適応画素しきい値のセットは、モーション・マスキング・マップの作成において使用される。画素レベルでノイズ適応画素しきい値を算出することの利点は、ノイズに対して頑健であることと、静止領域と移動領域のよりよい区別化をもたらすことである。これは画像内容に依存しない。
モーション・マスキング・マップ作成モジュール（３０４）
図７は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））のモーション・マスキング・マップ作成モジュール（３０４）の動作並びに図４に示した方法を説明するフロー図である。本方法は、ステップ７００で、ノイズ適応画素しきい値セットと残余画像を入力することにより開始する。次に、本方法は、ステップ７０２で参照モーション・マスキング・マップを作成する。ステップ７０４において、各画素位置での残余画像と適応画素しきい値セットが比較される。各画素位置で、残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ７０６で、参照モーション・マスキング・マップ上の同じ位置の画素を「移動」画素として指定する。残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ７０８で、参照モーション・マスキング・マップ上の同じ位置の画素を「非移動」画素として指定する。残余画像中のすべての画素位置が比較され、参照モーション・マスキング・マップ上のすべての画素位置が指定された後、方法は、ステップ７１０で、最終的なモーション・マスキング・マップを出力する。
このモーション・マスキング・マップは、画素融合において使用される。このマップは、入力画像間での移動画素と非移動画素を示す。正確なモーション・マスキング・マップは、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を画素融合から生み出す。
画素融合モジュール（３０８）
図８は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））の画素融合モジュール（３０８）の動作並びに図４に示した方法を説明するフロー図である。出力ＨＤＲ画像を得るために、複数の入力原画像が一つに融合される。移動が発生している場合、移動画素は別途に実行される。移動画素は、モーション・マスキング・マップによって示される。したがって、その結果、移動ぶれやゴーストのアーチファクトがないまたは少ない出力ＨＤＲ画像を得ることができる。
複数の入力原画像に、画像ノイズを減少させるために、ローパス・フィルタによってフィルタをかけてもよい。すべての画像に対してフィルタをかけてもよいし、またはいくつかの画像に対してフィルタをかけてもよい。短い露光量の画像は、おそらく画像ノイズはより高い。長い露光量の画像は、おそらく画像ノイズはより低い。画像ごとに異なるパラメータを用いて、ローパス・フィルタをかけてもよい。
図８を参照すると、ステップ８００で、本方法は、異なる露光量をもつ複数の原画像とモーション・マスキング・マップ作成モジュール（３０４）から作成されたモーション・マスキング・マップを入力する。ステップ８０２において、複数の原画像の画素飽和レベルが決定される。画素飽和レベルは、画像の最大画素値、例えば、８ビットの画像では２５５、１０ビットの画像では１０２３、１２ビットの画像では４０９５であり得る。画素飽和レベルは、最大画素値の百分率として算出することもできる。ステップ８０４では、画素位置ごとに、複数の入力画像からの同じ画素位置にあるすべての画素値が、画素飽和レベルと比較される。複数の入力画像からの同じ画素位置にあるすべての画素値が画素飽和レベル未満である場合、ステップ８０６で、モーション・マスキング・マップ上の同位置の画素について、この位置が「移動」画素として指定されたかどうかをチェックする。複数の入力画像からの同じ画素位置にある画素値がどれも画素飽和レベル未満ではない場合、ステップ８０８で、出力ＨＤＲ画像の同位置にある画素のラジアンス値が最短の露光量をもつ入力画像から算出される。複数の入力画像からの同じ画素位置にある１つ以上の画素値が画素飽和レベル未満である場合、ステップ８１４で、モーション・マスキング・マップ上の同位置の画素について、この位置が「移動」画素として指定されたかどうかをチェックする。
ステップ８０６において、モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されている場合、ステップ８１２で、出力ＨＤＲ画像の同位置にある画素のラジアンス値をその露光量に基づいた最良の入力画像から算出することができる。最良の画像は、移動ぶれがなく、画素飽和レベル未満である入力画像として定義される。例えば、Ｉ１が最良の入力画像であるとすれば、出力ＨＤＲ画像中の位置（ｉ，ｊ）の画素のラジアンス値は、次のように算出できる。
Figure 2011525058
 ここで、ｅ１は入力画像Ｉ１の相対的露光量である。モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されていない場合、ステップ８１０で、出力ＨＤＲ画像の同位置にある画素のラジアンス値を、次のとおり、加重平均を用いて入力画像からのすべての画素を融合することにより算出することができる。
Figure 2011525058
 ここで、ｇｎは画像Ｉｎに与える重みである。重みはいろいろなやり方で算出可能である。相対的露光量に基づいて重みを算出する例を以下に示す。
Figure 2011525058
しかし、重みを算出するために、その他の技法が使用可能である。それも本発明の同じ範囲内である。
ステップ８１４において、モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されている場合、ステップ８１８で、出力ＨＤＲ画像の同位置にある画素のラジアンス値をその露光量に基づいた最良の入力画像から、例えば、式（５）と同様に算出することができる。モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されていない場合、ステップ８１６で、出力ＨＤＲ画像の同位置にある画素のラジアンス値を、加重平均を用いて入力画像からの一つ以上の画素を融合することにより、例えば、式（６）と同様に算出することができる。各画素位置について出力ＨＤＲ画像のラジアンスが算出されると、ステップ８２０で出力ＨＤＲ画像が出力される。出力ＨＤＲは、Bayer原フォーマットである。
前述した方法と装置は、Bayer原領域において実行される。画素当り１つの色成分だけが処理される。したがって、これは、処理に画素当り３つの色成分を必要とするＲＧＢ（デモザイク処理を経た赤、緑、及び青）領域における処理に比べて複雑性が低く、メモリー必要量は少ない。さらに、Bayer原領域における処理は、デモザイク処理アルゴリズムによる影響を受けないので、信号忠実度がより高い。
けれども、前述した方法と装置は、ＲＧＢ領域においても適用可能である。図２Ｂを参照すると、本発明の第１の実施形態による撮像装置（２５０）のブロック図が示される。撮像装置（２５０）は、光学システム（２５２）、イメージ・センサー（２５４）、アナログ−デジタル変換器（２５６）、画像プロセッサ（２７０）、記憶／送信装置（２５８）、及び表示装置（２６０）から構成される。画像プロセッサ（２７０）は、メモリー装置（２６２）、移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）、ホワイト・バランス・モジュール（２６４）、トーン・マップ・モジュール（２６６）、及びデモザイク・モジュール（２６８）から構成される。光学システム（２５２）は、イメージ・センサー（２５４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（２５４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（２５６）によってデジタル・データに変換され、メモリー装置（２６２）に記憶される。メモリー装置（２６２）からの原画像は、ホワイト・バランス・モジュール（２６４）とデモザイク・モジュール（２６８）によって処理され、画素当り３つの色成分（赤、緑、青）を有するＲＧＢ画像になる。ＲＧＢ画像は、出力ＨＤＲ画像を生成するために、移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）へ送られる。Ｒ、Ｇ、及びＢの色成分は、別々に処理され得る。出力ＨＤＲ画像は、記憶／送信装置（２５８）によって記憶または送信され得る。出力ＨＤＲ画像はさらに、トーン・マップ・モジュール（２６６）によって処理可能であり、これにより、表示装置（２６０）上での表示または記憶／送信装置（２５８）による記憶／送信に適したレンジ圧縮画像が得られる。
図３Ｂを参照すると、本発明の第１の実施形態による撮像装置（２５０）の移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）の詳細ブロック図が示される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）は、残余画像演算モジュール（３５０）、ノイズ適応画素しきい値演算モジュール（３５２）、モーション・マスキング・マップ作成モジュール（３５４）、及び画素融合モジュール（３５８）から構成される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）は、異なる露光量で撮像した複数のＲＧＢ画像を取り込む。残余画像演算モジュール（３５０）は、一組の画像差分のセットから残余画像を算出する。ＲＧＢ画像は画素当り３つの色成分を含むので、前述の方法と装置を使用して、画像差分のセットを色成分ごとに別々に算出することが可能である。複雑性を減少させるためには、Ｇ（緑）色成分だけについて画像差分のセットを算出することが好ましい。前述した残余画像を算出するための方法と装置を使用して、Ｇ色成分の画像差分のセットから残余画像を算出できる。ノイズ適応画素しきい値演算モジュール（３５２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。Ｇ色成分のみの輝度が使用される。モーション・マスキング・マップ作成モジュール（３５４）は、前述の方法と装置を使用して、上記残余画像及び上記ノイズ適応画素しきい値のセットを用いてモーション・マスキング・マップを作成する。画素融合モジュール（３５８）は、上記モーション・マスキング・マップに基づいて、複数のＲＧＢ画像の画素を融合することにより、出力ＨＤＲ画像を生成する。Ｒ、Ｇ、及びＢが別々に実行される。前述した画素を融合するための方法と装置を使用できる。
撮像システムにおける方法と装置を詳しく上述したが、複数の露光量で複数の画像を撮像する手段の例をここで説明しよう。
複数の露光量で撮像した複数の入力画像は、様々な手段により実現可能である。図９を参照すると、一例が示される。この手段は、レンズ・システム（９０２）、プリズム（９０４）、及び３個のBayerセンサー（９０６、９０８、及び９１０）から構成される。白色光がレンズ・システム（９０２）に入ると、プリズム（９０４）によって３つの光路に分岐される。各光路は、次に、対応するBayerセンサー（９０６、９０８、及び９１０）によって捕らえられる。複数の露光量は、各光路で光度が異なるようにプリズムの分岐特性を変えることによって得られる。代替的に、複数の露光量は、シャッター速度や感度などのセンサーの設定を変えることによって得られる。プリズム分岐とセンサー設定の組合せも使用可能である。３光路分岐プリズムの使用は、一例にすぎない。２光路、４光路、５光路等の分岐プリズムとセンサーも使用可能である。
図１０を参照すると、複数の露光量で複数の入力画像を撮像するための別の例が示される。これは、レンズ・システム（１００２）と高速撮像モジュール（１００４）からなり、高速撮像モジュール（１００４）は、高速イメージ・センサー（１００６）、シャッター制御器（１００８）及び図示されないその他のモジュールから構成され得る。レンズ・システムに入った白色光は、シャッター制御器（１００８）からのシャッター信号（１００７）に対応して毎秒１８０フレームのフレーム速度で、高速イメージ・センサー（１００６）によって順次に捕らえられ、複数のBayer原画像（１０１２）が得られる。複数の露光量は、パルス発生器（１０１０）を用いてシャッター信号（１００７）を制御することによって得られる。図１１Ａと図１１Ｂを参照すると、パルス発生器からのパルス出力信号の２つの例が示される。露光時間の長さは、パルスの幅によって制御される。短い幅は短い露光量（Ｓ）を発生させ、中程度の幅は中程度の露光量（Ｍ）を発生させ、長い幅は長い露光量（Ｌ）を発生させる。この例では、Ｓ、Ｍ、及びＬのパルス幅のパターンが繰り返される。複数の画像の各セットは、３つの露光量を含むことになる。シャッター信号を生成するためのパルス発生器の使用は、一例にすぎない。しかし、シャッター信号は、例えば、トリガ信号などの他の信号を発生できる他の手段によって発生することもできる。ここで述べた高速撮像モジュールは、毎秒１８０フレームにのみ限定されない、高フレーム速度で撮像することが可能などのような手段であってもよい。これよりも低いまたは高いフレーム速度も可能である。
（実施形態２）
第１の実施形態により、異なる露光量で撮像した複数の入力画像を必要とする撮像システムにおける方法と装置を詳細に説明した。本実施形態では、同じ露光量で撮像した複数の入力画像を必要する撮像システムにおける方法と装置を説明する。
図１２Ａを参照すると、本発明の第２の実施形態による撮像装置（１２００）のブロック図が示される。撮像装置（１２００）は、光学システム（１２０２）、イメージ・センサー（１２０４）、アナログ−デジタル変換器（１２０６）、画像プロセッサ（１２２０）、記憶／送信装置（１２０８）、及び表示装置（１２１０）から構成される。画像プロセッサ（１２２０）は、メモリー装置（１２１２）、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）、ホワイト・バランス・モジュール（１２１４）、トーン・マップ・モジュール（１２１６）、及びデモザイク・モジュール（１２１８）から構成される。ユーザ・インタフェース、マイクロフォン、スピーカなどのその他の構成要素は示されていないが、そのことが本発明の範囲と精神を限定しない。
光学システム（１２０２）は、イメージ・センサー（１２０４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（１２０４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（１２０６）によってデジタル・データに変換され、メモリー装置（２１２）に記憶される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）は、メモリー装置（１２１２）から同じ露光量で撮像した複数の原画像を取り込み、出力画像を生成する。出力画像は、記憶／送信装置（１２０８）によって記憶または送信され得る。出力画像は、ホワイト・バランス・モジュール（１２１４）、トーン・マップ・モジュール（１２１６）、及びデモザイク・モジュール（１２１８）によってさらに処理可能である。これにより、表示装置（１２１０）上での表示または記憶／送信装置（１２０８）による記憶／送信に適する好適なレンジが得られる。複数の原画像は、記憶／送信装置（１２０８）によってそのまま記憶または送信することもできる。
図１３Ａを参照すると、本発明の第２の実施形態による撮像装置（１２００）の移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）の詳細ブロック図が示される。画像融合プロセッサ（１２３０）は、残余画像演算モジュール（１３００）、ノイズ適応画素しきい値演算モジュール（１３０２）、モーション・マスキング・マップ作成モジュール（１３０４）、及び画素融合モジュール（１３０８）から構成される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）は、同じ露光量で撮像した複数の原画像を取り込む。残余画像演算モジュール（１３００）は、一組の画像差分のセットから残余画像を算出する。ノイズ適応画素しきい値演算モジュール（１３０２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。モーション・マスキング・マップ作成モジュール（１３０４）は、上記残余画像及び上記ノイズ適応画素しきい値セットからモーション・マスキング・マップを作成する。画素融合モジュール（１３０８）は、上記モーション・マスキング・マップに基づいて、複数の原画像の画素を融合することにより、出力画像を生成する。
図１４を参照すると、本発明による、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）の出力画像を生成するための動作を説明するフロー図が示される。ステップ１４００で、同じ露光量で撮像した複数の原画像からなる一組の入力画像セットを入力することにより本方法は開始する。次に、本方法は、ステップ１４０２で残余画像を算出する。残余画像は、一組の画像差分のセットから算出される。この画像差分のセットは、各画像ペアの絶対差を算出する画像の差分を含む。残余画像を得るための画像の差分には、空間−時間フィルタが適用される。次に、本方法は、ステップ１４０４で、センサー・ノイズ統計と入力画像の輝度に基づいて、一組のノイズ適応画素しきい値のセットを算出する。このノイズ適応画素しきい値のセットは、入力画像の各画素輝度のノイズ分散に基づいて得られる。その後、本方法は、ステップ１４０６で、上記残余画像と上記ノイズ適応画素しきい値のセットを使用して、モーション・マスキング・マップを作成する。このモーション・マスキング・マップは、複数の入力画像中の移動画素と非移動画素を示すために使用される。ステップ１４０８で、本方法は、モーション・マスキング・マップと画素飽和レベルに基づいて、複数の入力画像の移動画素に配慮しながら、複数の入力画像からの画素を融合し、出力画像を生成する。画素を融合する際に移動画素に配慮する利点は、出力画像に、これらの移動画素に起因するアーチファクト（例えば、移動ぶれやゴーストのアーチファクト）が発生しないことである。最後に、本方法は、ステップ１４１０で出力画像を出力する。出力画像には、移動ぶれやゴーストのアーチファクトがないまたは少ない。
残余画像演算モジュール（１３００）
図１５は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））の残余画像演算モジュール（１３００）の動作並びに図１４に示した方法を説明するフロー図である。残余画像は、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を生成するために、画素を融合する際に使用されるモーション・マスキング・マップを作成するために重要な役割を果たす。残余画像は、ノイズ適応画素しきい値により、複数の入力画像の画像間での移動画素と非移動画素を特定するために使用される。複数の入力画像は、異なる時間に順次に撮像されたものであり得る。同じ露光量で画像が撮像される場合にも、シーン移動に伴い、そのシーン中の同じ被写体が画像間で異なる位置に現れる可能性がある。これが、出力画像においてぶれやゴーストのアーチファクトを引き起こす。
図１５を参照して詳しく説明すると、残余画像演算方法は、複数の原画像からなる一組の画像セットを入力することにより開始する（ステップ１５００）。次に、ステップ１５０２で、一組の画像差分のセットを生成するために、画像ペアの絶対差が算出される。最初に、入力画像をペアにする。画像ペアの数は、Σｎ p=1（ｎ−ｐ）（ここで、ｎは複数の入力画像の画像数である）として算出できる。各画像ペアの絶対差が、次に算出される。例えば、入力画像がフレーム０、フレーム１、及びフレーム２の３個の画像を含むとすれば、３個の画像ペア（０，１）、（１，２）、及び（０，２）がそれぞれ存在する。Ｉ０、Ｉ１，Ｉ２を各入力画像としよう。各画素位置（ｉ，ｊ）につき、各画像ペアでの絶対差は、次のように算出できる。
Figure 2011525058
 ここで、Ｄ０、Ｄ１、及びＤ２は、それぞれ、画像ペア（０，１）、画像ペア（１，２）、及び画像ペア（０，２）の画像差分であり、これらを「画像差分のセット」と呼ぶ。│・│は絶対作用素である。
本発明の方法では、ステップ１５０４で、画像差分のセットに対して適用される空間−時間フィルタを使用して、初期残余画像が生成される。空間フィルタが各画像差分に対して適用される。次に、時間フィルタが適用される。空間フィルタは、例えば、ガウス・フィルタ（Gaussian filter）、ハニング・フィルタ（Hanning filter）などの、どんな種類の空間フィルタ・カーネルでもよく、円形または矩形フィルタがあり得る。空間−時間平均化フィルタを使用して、３個の画像差分から初期残余画像を生成する例を以下に示す。Ｒｅｓ（ｉ，ｊ）を各画素位置（ｉ，ｊ）での初期残余画像としよう。Ｒｅｓ（ｉ，ｊ）は、例えば、このように算出できる。
Figure 2011525058
式（８）と（９）は、入力画像セットの画像数の増加に応じて修正及び拡張可能である。入力画像セットは、３個の画像のみに限定されない。
一般に、移動ぶれを回避するには、短い露光と高いカメラ・ゲインで入力画像を撮像することが多い。その場合、入力画像はノイズが多くなる可能性がある。本発明は、画像差分のセットに対して空間−時間フィルタを適用する。空間フィルタは、本方法をイメージ・センサーからの空間ノイズに対して頑健にする。時間フィルタは、本方法を時間的な一貫性のないノイズに対して頑健にする。
複数の入力画像が２個の画像である場合には、１つの画像ペアから絶対差を算出できる。初期残余画像を生成するために、空間フィルタを適用できる。時間フィルタは除外可能である。
ステップ１５０６において、初期残余画像に最大値フィルタを適用する。次いで、最終的な残余画像が得られる。このステップの目的は、移動領域のエッジ周辺のノイズと不連結性を防止することである。これは本方法の頑健性を高める。最大値フィルタは、どのような形状とサイズであってもよい。例えば、最大値フィルタが７ｘ７画素のサイズの矩形ウィンドウであるとすれば、このウィンドウ内に位置する画素の出力は、ウィンドウ内の画素値の最大値である。ウィンドウは、１画素ずつ次の画素にスライドしながら初期残余画像中のすべての画素上を通過する。最後に、ステップ１５０８が最終的な残余画像を出力する。この最終的な残余画像は、次に、モーション・マスキング・マップ作成において、ノイズ適応画素しきい値のセットを用いて移動画素を特定するために使用される。
ノイズ適応画素しきい値演算モジュール（１３０２）
図１６は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））のノイズ適応画素しきい値演算モジュール（１３０２）の動作並びに図１４に示した方法を説明するフロー図である。本方法は、ステップ１６００で、複数の原画像からなる一組の画像セットを入力することにより開始する。ステップ１６０２において、入力原画像のノイズ分散が各輝度レベルで算出される。ノイズ分散は、いろいろなやり方で算出可能である。ノイズ・モデルを用いたセンサー・ノイズ統計に基づいて、ノイズ分散を算出することが好ましい。したがって、入力原画像のノイズ分散は画像内容に依存しない。センサー・ノイズ統計は、このようにモデル化できる。
Figure 2011525058
 ここで、αとβは、それぞれ、光子ノイズと暗ノイズを表わすパラメータであり、センサー較正から得ることができる。Ｉは画素輝度である。各輝度レベルでの入力原画像のノイズ分散がわかると、ステップ１６０４で、ノイズ適応画素しきい値を算出できる。これは、画素位置ごとに算出される。ｎ＋１個の画像を含む複数の入力画像について、画素位置（ｉ，ｊ）でのノイズ適応画素しきい値（ＮＡＴｈｒ）を算出する例を以下に示す。
Figure 2011525058
 ここで、σn (i,j) はｎ番目の入力画像フレームの位置（ｉ，ｊ）に位置する画素のノイズ標準偏差である。ｗｎはｎ番目の画像フレームのノイズの寄与を制御するために使用された重みであり、ｗｎは０〜１の間で可変である。ｋはノイズ分散の累積領域に基づくしきい値レベルを制御するために使用されたパラメータである。
各画素のノイズ適応画素しきい値が算出されると、方法は、ステップ１６０６で、ノイズ適応画素しきい値のセットを出力する。ノイズ適応画素しきい値のセットは、モーション・マスキング・マップの作成において使用される。
モーション・マスキング・マップ作成モジュール（１３０４）
図１７は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））のモーション・マスキング・マップ作成モジュール（１３０４）の動作並びに図１４に示した方法を説明するフロー図である。本方法は、ステップ１７００で、ノイズ適応画素しきい値セットと残余画像を入力することにより開始する。次に、本方法は、ステップ１７０２で参照モーション・マスキング・マップを作成する。ステップ１７０４において、各画素位置での残余画像と適応画素しきい値セットが比較される。各画素位置で、残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ１７０６で、参照モーション・マスキング・マップ上の同じ位置の画素を「移動」画素として指定する。残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ１７０８で、参照モーション・マスキング・マップ上の同じ位置の画素を「非移動」画素として指定する。残余画像中のすべての画素位置が比較され、参照モーション・マスキング・マップ上のすべての画素位置が指定された後、方法は、ステップ１７１０で、最終的なモーション・マスキング・マップを出力する。
このモーション・マスキング・マップは、画素融合において使用される。このマップは、入力画像間での移動画素と非移動画素を示す。
画素融合モジュール（１３０８）
図１８は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））の画素融合モジュール（１３０８）の動作並びに図１４に示した方法を説明するフロー図である。出力画像を得るために、複数の入力原画像が一つに融合される。移動が発生している場合、移動画素は別途に実行される。移動画素は、モーション・マスキング・マップによって示される。したがって、その結果、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を得ることができる。
複数の入力原画像に、画像ノイズを減少させるために、ローパス・フィルタによってフィルタをかけてもよい。
図１８を参照すると、ステップ１８００で、本方法は、同じ露光量をもつ複数の原画像とモーション・マスキング・マップ作成モジュール（１３０４）から作成されたモーション・マスキング・マップを入力する。ステップ１８０２において、各画素位置ごとに、同位置にあるモーション・マスキング・マップ上の画素について、この位置が「移動」画素として指定されたかどうかをチェックする。モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されている場合、ステップ１８０６において、同位置にある出力画像の画素値は、ノイズが少なく、閉塞領域が少ない入力画像からの画素値として指定される。
モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されていない場合、ステップ１８０４において、同位置にある出力画像の画素値は、入力画像からのすべての画素を次のように加重平均を用いて融合することによって算出できる。
Figure 2011525058
 ここで、ｇｎは画像Ｉｎに与える重みである。重みはいろいろなやり方で算出可能である。平均化技法に基づいて重みを算出する例を以下に示す。
Figure 2011525058
しかし、重みを算出するために、その他の技法が使用可能である。それも本発明の同じ範囲内である。
各画素位置について出力画像の画素値が算出されると、ステップ１８０８で出力画像が出力される。出力画像は、Bayer原フォーマットである。
前述した方法と装置は、Bayer原領域において実行されるが、ＲＧＢ領域においても適用可能である。図１２Ｂを参照すると、本発明の第２の実施形態による撮像装置（１２５０）のブロック図が示される。撮像装置（１２５０）は、光学システム（１２５２）、イメージ・センサー（１２５４）、アナログ−デジタル変換器（１２５６）、画像プロセッサ（１２７０）、記憶／送信装置（１２５８）、及び表示装置（１２６０）から構成される。画像プロセッサ（１２７０）は、メモリー装置（１２６２）、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）、ホワイト・バランス・モジュール（１２６４）、トーン・マップ・モジュール（１２６６）、及びデモザイク・モジュール（１２６８）から構成される。光学システム（１２５２）は、イメージ・センサー（１２５４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（１２５４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（１２５６）によってデジタル・データに変換され、メモリー装置（１２６２）に記憶される。メモリー装置（１２６２）からの原画像は、ホワイト・バランス・モジュール（１２６４）とデモザイク・モジュール（１２６８）によって処理され、画素当り３つの色成分を有するＲＧＢ画像になる。ＲＧＢ画像は、出力画像を生成するために、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）へ送られる。Ｒ、Ｇ、及びＢの色成分は、別々に処理され得る。出力画像は、記憶／送信装置（１２５８）によって記憶または送信され得る。出力画像はさらに、トーン・マップ・モジュール（１２６６）によって処理可能であり、これにより、表示装置（１２６０）上での表示または記憶／送信装置（１２５８）による記憶／送信に適した好適なレンジが得られる。
図１３Ｂを参照すると、本発明の第２の実施形態による撮像装置（１２５０）の移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）の詳細ブロック図が示される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）は、残余画像演算モジュール（１３５０）、ノイズ適応画素しきい値演算モジュール（１３５２）、モーション・マスキング・マップ作成モジュール（１３５４）、及び画素融合モジュール（１３５８）から構成される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）は、同じ露光量で撮像した複数のＲＧＢ画像を取り込む。残余画像演算モジュール（１３５０）は、一組の画像差分のセットから残余画像を算出する。ＲＧＢ画像は画素当り３つの色成分を含むので、本発明の第２の実施形態による前述の方法と装置を使用して、画像差分のセットを色成分ごとに別々に算出することが可能である。複雑性を減少させるためには、Ｇ（緑）色成分だけについて画像差分のセットを算出することが好ましい。Ｇ色成分の画像差分のセットから残余画像を算出できる。ノイズ適応画素しきい値演算モジュール（１３５２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。Ｇ色成分のみの輝度が使用される。モーション・マスキング・マップ作成モジュール（１３５４）は、前述の方法と装置を使用して、上記残余画像及び上記ノイズ適応画素しきい値セットを用いてモーション・マスキング・マップを作成する。画素融合モジュール（１３５８）は、上記モーション・マスキング・マップに基づいて、複数のＲＧＢ画像の画素を融合することにより、出力画像を生成する。Ｒ、Ｇ、及びＢが別々に実行される。本発明の第２の実施形態による前述した画素を融合するための方法と装置を使用できる。

Claims (24)

  1. 複数のBayer原画像からなる一組の入力画像セットを入力するためのステップと、
    前記一組の入力画像セットは異なる露光量で撮像したものであり、
    残余画像を算出するためのステップと、
    一組のノイズ適応画素しきい値セットを算出するためのステップと、
    前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するためのステップと、
    移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するためのステップと、
    を有する撮像システムにおける移動ぶれ及びゴースト防止のための方法。
  2. ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するためのステップと、
    前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するためのステップと、
    前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るためのステップと、
    をさらに有する、請求項１に記載の、残余画像を算出するための方法。
  3. 前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するためのステップと、
    前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するためのステップと、
    をさらに有する、請求項１に記載の、一組のノイズ適応画素しきい値セットを算出するための方法。
  4. 参照モーション・マスキング・マップを作成するためのステップと、
    前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するためのステップと、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するためのステップと、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するためのステップと、
    をさらに有する、請求項１に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための方法。
  5. 前記一組の入力画像セットの画素飽和レベルを決定するためのステップと、
    すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するためのステップと、
    各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    をさらに有する、請求項１に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための方法。
  6. 複数のＲＧＢ（デモザイク処理を経た赤、緑、及び青）画像からなる一組の入力画像セットを入力するためのステップと、
    前記一組の入力画像セットは異なる露光量で撮像されたものであり、
    残余画像を算出するためのステップと、
    一組のノイズ適応画素しきい値セットを算出するためのステップと、
    前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するためのステップと、
    移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するためのステップと、
    を有する撮像システムにおける移動ぶれ及びゴースト防止のための方法。
  7. ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するためのステップと、
    前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するためのステップと、
    前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るステップと、
    をさらに有する、請求項６に記載の、残余画像を算出するための方法。
  8. 前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するためのステップと、
    前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するためのステップと、
    をさらに有する、請求項６に記載の、一組のノイズ適応画素しきい値セットを算出するための方法。
  9. 参照モーション・マスキング・マップを作成するためのステップと、
    前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するためのステップと、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するためのステップと、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するためのステップと、
    をさらに有する、請求項６に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための方法。
  10. 前記一組の入力画像セットの画素飽和レベルを決定するためのステップと、
    すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するためのステップと、
    各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
    をさらに有する、請求項６に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための方法。
  11. 前記複数の入力Bayer原画像は同じ露光量で撮像したものであり得る、請求項１、２、３、４、及び５に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための方法。
  12. 前記複数の入力ＲＧＢ画像は同じ露光量で撮像したものであり得る、請求項６、７、８、９、及び１０に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための方法。
  13. 複数のBayer原画像からなる一組の入力画像セットを入力するための手段と、
    前記一組の入力画像セットは異なる露光量で撮像したものであり、
    残余画像を算出するための手段と、
    一組のノイズ適応画素しきい値セットを算出するための手段と、
    前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための手段と、
    移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するための手段と、
    を具備する撮像システムにおける移動ぶれ及びゴースト防止のための装置。
  14. ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するための手段と、
    前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するための手段と、
    前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るための手段と、
    をさらに具備する、請求項１３に記載の、残余画像を算出するための装置。
  15. 前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するための手段と、
    前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するための手段と、
    をさらに具備する、請求項１３に記載の、一組のノイズ適応画素しきい値セットを算出するための装置。
  16. 参照モーション・マスキング・マップを作成するための手段と、
    前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するための手段と、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するための手段と、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するための手段と、
    をさらに具備する、請求項１３に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための装置。
  17. 前記一組の入力画像セットの画素飽和レベルを決定するための手段と、
    すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するための手段と、
    各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    をさらに具備する、請求項１３に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための装置。
  18. 複数のＲＧＢ画像からなる一組の入力画像セットを入力するための手段と、
    前記一組の入力画像セットは異なる露光量で撮像したものであり、
    残余画像を算出するための手段と、
    一組のノイズ適応画素しきい値セットを算出するための手段と、
    前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための手段と、
    移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するための手段と、
    を具備する撮像システムにおける移動ぶれ及びゴースト防止のための装置。
  19. ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するための手段と、
    前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するための手段と、
    前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るための手段と、
    をさらに具備する、請求項１８に記載の、残余画像を算出するための装置。
  20. 前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するための手段と、
    前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するための手段と、
    をさらに具備する、請求項１８に記載の、一組のノイズ適応画素しきい値セットを算出するための装置。
  21. 参照モーション・マスキング・マップを作成するための手段と、
    前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するための手段と、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するための手段と、
    前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するための手段と、
    をさらに具備する、請求項１８に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための装置。
  22. 前記一組の入力画像セットの画素飽和レベルを決定するための手段と、
    すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するための手段と、
    各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
    をさらに具備する、請求項１８に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための装置。
  23. 前記複数の入力Bayer原画像は同じ露光量で撮像したものであり得る、請求項１３、１４、１５、１６、及び１７に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための装置。
  24. 前記複数の入力ＲＧＢ画像は同じ露光量で撮像したものであり得る、請求項１８、１９、２０、２１、及び２２に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための装置。
JP2010549749A 2008-06-19 2008-06-19 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 Expired - Fee Related JP5102374B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/001589 WO2009153836A1 (en) 2008-06-19 2008-06-19 Method and apparatus for motion blur and ghosting prevention in imaging system

Publications (2)

Publication Number Publication Date
JP2011525058A true JP2011525058A (ja) 2011-09-08
JP5102374B2 JP5102374B2 (ja) 2012-12-19

Family

ID=40076911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010549749A Expired - Fee Related JP5102374B2 (ja) 2008-06-19 2008-06-19 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置

Country Status (5)

Country Link
US (1) US8547442B2 (ja)
EP (1) EP2297939B1 (ja)
JP (1) JP5102374B2 (ja)
CN (1) CN102077572B (ja)
WO (1) WO2009153836A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016476A (ko) * 2010-08-16 2012-02-24 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP2016519822A (ja) * 2013-04-15 2016-07-07 クアルコム，インコーポレイテッド 動きゴーストフィルタリングのための基準画像選択

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
JP5445363B2 (ja) * 2010-07-08 2014-03-19 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
US8494282B2 (en) * 2010-07-19 2013-07-23 Hewlett-Packard Development Company, L.P. Blur estimation
WO2012015359A1 (en) * 2010-07-26 2012-02-02 Agency For Science, Technology And Research Method and device for image processing
US8659514B2 (en) 2011-01-11 2014-02-25 Panasonic Corporation LED matrix driver ghost image prevention apparatus and method
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
CN102360083B (zh) * 2011-08-19 2013-06-05 上海高晶影像科技有限公司 应用于线扫描x射线安检机中图像去皮带伪影的方法
EP2608529B1 (en) 2011-12-22 2015-06-03 Axis AB Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
WO2014006556A1 (en) * 2012-07-05 2014-01-09 Koninklijke Philips N.V. Temporal alignment of and signal-to-noise-ratio enhancment in image streams for multi-channel x-ray imaging
CN103067671B (zh) * 2012-12-31 2015-09-23 华为技术有限公司 一种显示图像的方法及装置
CN103092465B (zh) * 2013-01-22 2016-04-13 华为技术有限公司 一种情感化记事背景的生成方法
US9967481B2 (en) * 2013-03-13 2018-05-08 Intel Corporation Techniques for image sensor pixel correction
US9460492B2 (en) * 2013-05-10 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for image processing
JP6173027B2 (ja) * 2013-05-10 2017-08-02 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9344638B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
US9344636B2 (en) 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
US9342871B2 (en) 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
US9479695B2 (en) * 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US20160037043A1 (en) * 2014-08-01 2016-02-04 Omnivision Technologies, Inc. High dynamic range (hdr) images free of motion artifacts
WO2016173794A1 (en) * 2015-04-30 2016-11-03 Fotonation Limited A method and apparatus for producing a video stream
EP4270976A3 (en) 2016-02-12 2024-01-10 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10559073B2 (en) * 2016-03-23 2020-02-11 Intel Corporation Motion adaptive stream processing for temporal noise reduction
US10257414B2 (en) 2016-07-15 2019-04-09 Qualcomm Incorporated Method and system for smart group portrait
EP3497925B1 (en) 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
US9883119B1 (en) 2016-09-22 2018-01-30 Qualcomm Incorporated Method and system for hardware-based motion sensitive HDR image processing
JP6741533B2 (ja) * 2016-09-26 2020-08-19 キヤノン株式会社 撮影制御装置およびその制御方法
KR20180036464A (ko) 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
CN108335279B (zh) * 2017-01-20 2022-05-17 微软技术许可有限责任公司 图像融合和hdr成像
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
CN111373468B (zh) 2017-11-29 2022-10-28 平面系统公司 用于显示矩阵的主动放电电路系统
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
WO2020117379A1 (en) * 2018-12-06 2020-06-11 Gopro, Inc. High dynamic range anti-ghosting and fusion
CN115442515B (zh) * 2019-03-25 2024-02-02 华为技术有限公司 图像处理方法和设备
CN110599433B (zh) * 2019-07-30 2023-06-06 西安电子科技大学 一种基于动态场景的双曝光图像融合方法
US11928799B2 (en) * 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112649773B (zh) * 2020-12-22 2023-05-26 上海联影医疗科技股份有限公司 磁共振扫描方法、装置、设备及存储介质
US11373281B1 (en) * 2021-02-23 2022-06-28 Qualcomm Incorporated Techniques for anchor frame switching

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060318A (ja) * 2004-08-17 2006-03-02 Sony Corp 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
JP2006217609A (ja) * 2005-01-31 2006-08-17 Hewlett-Packard Development Co Lp デジタル撮像装置において動きを推定する方法及び装置
JP2007135182A (ja) * 2005-10-14 2007-05-31 Kyocera Corp 撮像装置および撮像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050157949A1 (en) * 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
JP5106870B2 (ja) 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP2008042659A (ja) * 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
JP4762089B2 (ja) * 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060318A (ja) * 2004-08-17 2006-03-02 Sony Corp 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
JP2006217609A (ja) * 2005-01-31 2006-08-17 Hewlett-Packard Development Co Lp デジタル撮像装置において動きを推定する方法及び装置
JP2007135182A (ja) * 2005-10-14 2007-05-31 Kyocera Corp 撮像装置および撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016476A (ko) * 2010-08-16 2012-02-24 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
KR101661215B1 (ko) 2010-08-16 2016-09-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP2016519822A (ja) * 2013-04-15 2016-07-07 クアルコム，インコーポレイテッド 動きゴーストフィルタリングのための基準画像選択
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering

Also Published As

Publication number Publication date
JP5102374B2 (ja) 2012-12-19
US20110058050A1 (en) 2011-03-10
CN102077572A (zh) 2011-05-25
WO2009153836A1 (en) 2009-12-23
EP2297939A1 (en) 2011-03-23
CN102077572B (zh) 2014-06-11
US8547442B2 (en) 2013-10-01
EP2297939B1 (en) 2018-04-18

Similar Documents

Publication Publication Date Title
JP5102374B2 (ja) 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
JP5787648B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP7362284B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
US9858644B2 (en) Bayer color filter array based high dynamic range video recording method and device
JP2005102116A (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
KR20150045877A (ko) 영상 처리 장치 및 영상 처리 방법
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2015204488A (ja) 動き検出装置および動き検出方法
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6227935B2 (ja) 画像処理装置および画像処理方法
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
JP2010183460A (ja) 撮像装置およびその制御方法
TWI551141B (zh) A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels
JP6173027B2 (ja) 画像処理装置および画像処理方法
JP6603557B2 (ja) 画像処理装置および画像処理方法
US11270421B2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium
JP6501732B2 (ja) データ処理装置、撮像装置、およびデータ処理装置の制御方法
JP2015204489A (ja) 画像処理装置および画像処理方法
JP2019106215A (ja) データ処理装置、撮像装置、およびデータ処理方法
JP2017092688A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees