JP2013031174A - 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法 - Google Patents

Abstract

【課題】 多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置及び方法を提供する。
【解決手段】 ＨＤＲ映像生成装置は、受信される多重露出フレームに対してＨＤＲ加重値マップを算出する映像別のＨＤＲ加重値マップ算出部と、受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する映像別のゴースト確率算出部と、算出されたゴースト確率を考慮し、算出されたＨＤＲ加重値マップを更新する映像別のゴースト補正ＨＤＲ加重値マップ更新部と、受信された多重露出フレームに更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するマルチスケール混合処理部とを備える。
【選択図】 図１

Description

本発明は、多重露出フュージョン基盤でゴーストブラー（ｇｈｏｓｔ ｂｌｕｒ）を除去したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像生成装置及び方法に関し、多重露出フレームを撮影してＨＤＲを復元し、高対比の環境でＨＤＲ映像を確保するための技術的な思想を開示する。

人間の目に比べて既存の大部分のカメラセンサは、ＤＲ（Ｄｙｎａｍｉｃ ｒａｎｇｅ）が相対的に小さく、基本的に自然に存在する場面の細かい部分を逃してしまうときがある。例えば、逆光撮影のような高照度、すなわち、極めて明るい領域と低照度の暗い領域が共存する高対比の場面を撮影するとき、極めて明るいか暗い領域ではディテール情報がほとんどない写真が撮影されることになる。

高対比の環境で写真を撮影するとき、高照度領域や低照度領域では本来の実際の場面中に生き々した色感、トーン、ディテールが表現され難い。

このような短所を克服するためには露出を変えつつ数枚のフレームを撮影し、これを融合処理することによって本来のディテールが生きているＨＤＲ映像を生成することができる。

しかし、最近のＨＤＲ映像には被写体や背景の物体が動く場合にＨＤＲ融合処理の過程において、動きによる劣化、いわゆるゴーストブラー（ｇｈｏｓｔ ｂｌｕｒ）が発生し、ゴーストブラーを減らすための別途の処理過程を行わなければならない問題が生ずる。

本発明の目的は、多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置及び方法を提供することにある。

本発明の一実施形態に係るマルチ露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置は、受信される多重露出フレームに対してＨＤＲ加重値マップを算出する映像別のＨＤＲ加重値マップ算出部と、前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する映像別のゴースト確率算出部と、前記算出されたゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新する映像別のゴースト補正ＨＤＲ加重値マップ更新部と、前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するマルチスケール混合処理部とを備える。

本発明の一実施形態に係るマルチ露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置は、前記受信される多重露出フレームのうち基準フレームを決定し、前記決定された基準フレームを基準として前記多重露出フレームを構成する少なくとも１つ以上のフレームに対して輝度を整合する映像別の輝度整合処理部をさらに備えてもよい。

本発明の一実施形態に係る多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法は、映像別のＨＤＲ加重値マップ算出部で、受信される多重露出フレームに対してＨＤＲ加重値マップを算出するステップと、映像別のゴースト確率算出部で、前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出するステップと、映像別のゴースト補正ＨＤＲ加重値マップ更新部で、前記算出された映像別のゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新するステップと、マルチスケール混合処理部で、前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するステップとを含む。

本発明によると、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、ＭＴＢ（Ｍｅｄｉａｎ ｔｈｒｅｓｈｏｌｄ Ｂｉｔｍａｐ）映像を活用することなく他の露出入力映像間の輝度整合の過程を行った後、その偏差を動き検出特徴として活用することによって、より単純な処理過程によりゴーストブラー問題を解決することができる。

また、本発明によると、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、従来に比べてＨＤＲラディアンスマップの復元と、復元されたＨＤＲラディアンスマップを８ビットＨＤＲにするためのトーン圧縮（ｔｏｎｅ ｃｏｍｐｒｅｓｓｉｏｎ）の過程を行うことなく、直接に加重平均を行って最終結果を取得することができる。

本発明の一実施形態に係るＨＤＲ映像生成装置を説明するブロック図である。 本発明の一実施形態に係るＨＤＲ映像生成方法を説明するフローチャートである。 本発明の一実施形態に係る映像別の輝度整合処理部で輝度を整合することを説明するフローチャートである。 本発明の一実施形態に係る映像別の輝度整合処理部及び映像別のゴースト確率算出部が動作する実施形態を説明する図である。 本発明の一実施形態に係る映像別のＨＤＲ加重値マップ算出部が動作する実施形態を説明する図である。 本発明の一実施形態に係るマルチスケール混合処理部が映像を合成して生成する実施形態を説明する図である。

以下、本発明に係る好適な実施形態を添付図面を参照しながら詳細に説明する。

本発明を説明するにおいて、関連する公知機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合にはその詳細な説明を省略する。そして、本明細書で用いられる用語は本発明の好適な実施形態を適切に表現するために用いられた用語であり、ユーザ、運用者の意図または本発明が属する分野の慣例などによって変わることがある。したがって、本用語に対する定義は、本明細書の全般にわたる内容に基づいて下されなければならない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、本発明の一実施形態に係るＨＤＲ映像生成装置を説明するブロック図である。本発明の一実施形態に係るＨＤＲ映像生成装置１００は、多重露出フレームを撮影してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）復元を行って高対比の環境でＨＤＲ映像を確保することができる。

そのために、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、映像のピクセル別に他の加重値を考慮して別途のＨＤＲラディアンス（ｒａｄｉａｎｃｅｓ）値を復元することなく簡単にＨＤＲ映像を合成し、合成と同時に場面の中の動いている物体によって発生するゴーストブラーの劣化を除去することで、効果的にＨＤＲ映像を合成することができる。

このようなＨＤＲ映像生成装置１００は、ＤＳＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｏｕｒｃｅ Ｃｏｄｉｎｇ）、ＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、監視用などのカメラ、モバイルカメラフォン、スマートフォン、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのカメラセンサ映像信号処理プロセッサ、パーソナルコンピュータの映像処理ソフトウェアなどに適用され得る。

本発明の一実施形態に係るＨＤＲ映像生成装置１００は、映像別の輝度整合処理部１１０、映像別のＨＤＲ加重値マップ算出部１２０、映像別のゴースト確率算出部１３０、映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０、およびマルチスケール混合処理部１５０を備える。

映像別の輝度整合処理部１１０は、受信される多重露出フレームのうち基準フレームを決定し、決定された基準フレームを基準として多重露出フレームを構成している少なくとも１つ以上のフレームに対して輝度を整合する。

本発明の一実施形態に係る映像別の輝度整合処理部１１０は、受信される多重露出フレームのいずれか１つのフレームを基準フレームとして決定し、受信される多重露出フレームのうち、基準フレームを除いた残りフレームの露出輝度を調整して輝度を整合する。

本発明の一実施形態に係る映像別の輝度整合処理部１１０は、入力映像のいずれか１つを基準フレームとして設定し、残り映像を基準フレームの露出輝度程度に合わせて輝度変換を行う。

ここで、本発明の一実施形態に係る映像別の輝度整合処理部１１０は、輝度整合の機能を実現するために設定された基準フレームに対比して他の露出映像間の輝度変換関数を算出し、各露出映像の基準フレームからの輝度変換を行って輝度を整合する。

本発明の一実施形態に係る映像別の輝度整合処理部１１０は、他の実施形態としてヒストグラムマッチング（ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ）方式を適用して輝度整合を行ってもよい。

ヒストグラムマッチング方式を適用すれば、フレーム間の幾何学的な位置整合が正確でなくても輝度整合を行なうことが可能である。したがって、本発明の一実施形態に係る映像別の輝度整合処理部１１０は、基準フレームのヒストグラムと残りフレームのヒストグラムを算出した後、残りフレームそれぞれのヒストグラムが基準フレームのヒストグラムに近づくようにする変換関数が求められる。

このように求めたＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）形態の変換関数を用いて、基準フレームではない残りの露出フレームを基準フレームに類似する輝度映像に変換してもよい。

輝度変換に対する実施形態については図４を参照して後述することにする。

映像別のＨＤＲ加重値マップ算出部１２０は、受信される多重露出フレームに対してＨＤＲ加重値マップを算出する。

本発明の一実施形態に係るＨＤＲ加重値マップは、多重露出フレームを構成する各フレームのピクセルに対して対比（ｃｏｎｔｒａｓｔ）、カラー飽和（ｓａｔｕｒａｔｉｏｎ）、および適正露出度（ｗｅｌｌ−ｅｘｐｏｓｅｄｎｅｓｓ）のうち少なくとも１つの情報をＨＤＲ加重値として格納してもよい。

本発明の一実施形態に係る映像別のＨＤＲ加重値マップ算出部１２０は、受信される多重露出フレームを構成する各フレームについて数式（１）を用いてＨＤＲ加重値マップ

を算出する。

ここで、

は受信される多重露出フレームに対してそれぞれｋ露出映像の（ｉ、ｊ）ピクセルにおける対比、カラー飽和、適正露出度を示す。

共に、

の指数定数は「０」または「１」の値に設定されてもよい。

映像別のゴースト確率算出部１３０は、受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する。

一例として、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、多重露出フレームを構成する少なくとも１つ以上のフレームに対する整合する輝度を参照して、多重露出フレームに対するゴーストブラーを確認することができる。

また、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、輝度を整合する結果に応じて、決定された基準フレームと多重露出フレームを構成する少なくとも１つ以上のフレームそれぞれの輝度差値を確認し、それぞれの輝度差値が閾値以上である場合にゴーストブラーを確認する。

一例として、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、基準フレームと輝度整合する露出映像間の差分（ｄｉｆｆｅｒｅｎｃｅ）を用いて各露出映像別のゴースト確率

を算出する。

各露出映像別のゴースト確率

は数式（２）を用いて算出される。

数式（２）でｅｘｐ（）は指数関数を意味し、

は雑音レベルを意味し、

は閾値調整定数を意味する。

本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、輝度差分の他に、映像の勾配（ｇｒａｄｉｅｎｔ）差分を用いて映像のゴースト確率を算出してもよい。

例えば、本発明の一実施形態に係る映像別の輝度整合処理部１１０で輝度整合の代りに入力される各フレームに対してソーベル（ｓｏｂｅｌ）勾配演算子などを用いて入力映像を勾配映像に変換してもよい。

このように求めた基準フレームと異なる各露出映像に対する勾配映像差分を用いて、映像別のＨＤＲ加重値マップ算出部１２０で映像別のＨＤＲ加重値マップを算出する。

ここで、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、数式（２）で用いられた輝度差分の概念と同じ方式として、確率概念を適用して各ピクセルにおけるゴースト確率を算出することができる。

言い換えれば、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、輝度映像差分、勾配映像差分のみならず、エントロピー差分のような多様な映像差分を定義し、数式（２）のような確率概念で各ピクセルがゴースト領域である可能性を算出できる。

映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、算出されたゴースト確率を考慮し、算出されたＨＤＲ加重値マップを更新する。

一例として、本発明の一実施形態に係る映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、算出されたゴースト確率が閾値以上であるピクセルのＨＤＲ加重値を、算出されたゴースト確率が閾値以下のピクセルのＨＤＲ加重値よりも低く修正し、ＨＤＲ加重値マップを更新する。

例えば、本発明の一実施形態に係る映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、算出されたＨＤＲ加重値マップＷ_ｉｊ、ｋとゴーストブラーの確認されたゴースト確率を用いてＨＤＲ加重値マップを更新する。

言い換えれば、本発明の一実施形態に係る映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、数式（３）を用いてＨＤＲ加重値マップ

にゴーストブラーの確認されたゴースト確率を適用し、数式（４）を用いて一連の正規化過程によって各フレームを構成するピクセルにおける加重値の和が「１」になるように調整する。

数式（３）及び数式（４）で、「ｋ」は特定露出映像、「ｉｊ」はピクセル位置、「Ｉ」はピラミッドにおける特定レベルを示す。また、「Ｉ」は入力露出映像、「Ｗ_ｇ」はＨＤＲ加重値マップ、「Ｒ」は合成ＨＤＲ映像を示す。

マルチスケール混合処理部１５０は、受信された多重露出フレームに更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成する。

マルチスケール混合処理部１５０は、受信された多重露出フレーム及びＨＤＲ加重値マップの入力を受け、ガウスピラミッド（Ｇａｕｓｓｉａｎ ｐｙｒａｍｉｄ）及びラプラシアンピラミッドを用いて多重露出フレーム及びＨＤＲ加重値マップを合成してＨＤＲ映像を生成する。

本発明の一実施形態に係るマルチスケール混合処理部１５０は数式（５）を用いて、８ビットの多重露出フレームと更新されたＨＤＲ加重値マップを入力にして最終的に８ビットＨＤＲ映像を合成して出力してもよい。

数式（５）でＧ｛｝はガウスピラミッドを示し、Ｌ｛｝はラプラシアンピラミッドを示す。

「ｋ」は特定露出映像、「ｉｊ」はピクセル位置、「Ｉ」はピラミッドにおける特定レベルを示す。また、「Ｉ」は入力露出映像、「Ｗ_ｇ」はＨＤＲ加重値マップ、「Ｒ」は合成ＨＤＲ映像を示す。

結局、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、ＭＴＢ（Ｍｅｄｉａｎ ｔｈｒｅｓｈｏｌｄ Ｂｉｔｍａｐ）映像を活用することなく他の露出入力映像間の輝度整合過程を行った後、その偏差を動き検出特徴として活用することで、より単純な処理過程によりゴーストブラー問題を解決することができる。

また、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、従来技術に比べてＨＤＲラディアンスマップの復元と、復元されたＨＤＲラディアンスマップを８ビットＨＤＲにするためのトーン圧縮（ｔｏｎｅ ｃｏｍｐｒｅｓｓｉｏｎ）の過程を行うことなく直接に加重平均を行って最終結果を取得できる。

したがって、本発明の一実施形態に係るＨＤＲ映像生成装置１００を用いると、算出量が減少することで処理速度及び処理費用が節減され、色感が保存され得る。

また、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、基本的に実現しているマルチフレームフュージョン技術はＨＤＲだけではなくマルチフォーカスなどの多様なコンピュテーショナルフォトグラフィ（ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｈｏｔｏｇｒａｐｈｙ）技術に応用可能であり、その他にもマルチセンサフュージョン及びメディカルイメージング分野におけるマルチモードフュージョンにも広く活用され得る。

図２は、本発明の一実施形態に係るＨＤＲ映像生成方法を説明するフローチャートである。本発明の一実施形態に係るＨＤＲ映像生成方法は、ＨＤＲ加重値マップを算出する（Ｓ２１０）。

本発明の一実施形態に係るＨＤＲ加重値マップは、多重露出フレームを構成する各フレームのピクセルに対して対比、カラー飽和、および適正露出度のうち少なくとも１つの情報をＨＤＲ加重値として格納されるが、本発明の一実施形態に係るＨＤＲ映像生成方法は、フレームのピクセルを確認してＨＤＲ加重値マップを算出してもよい。

本発明の一実施形態に係るＨＤＲ映像生成方法は、ゴーストブラーを確認して映像別のゴースト確率を算出する（Ｓ２２０）。

ゴーストブラーを確認し、映像別のゴースト確率を算出するために本発明の一実施形態に係るＨＤＲ映像生成方法は、図３に示すように映像別の輝度整合を用いてもよい。

図３は、本発明の一実施形態に係る映像別の輝度整合処理部で輝度を整合することを説明するフローチャートである。本発明の一実施形態に係る映像別の輝度整合処理部から入力される多重露出フレームのうち基準フレームを選定し（Ｓ３１０）、基準フレームに対比して他のフレーム間の輝度変換関数を算出し（Ｓ３２０）、他のフレームに基づいて基準フレームを基準として輝度変換を行う（Ｓ３３０）。

再び図２を参照すれば、本発明の一実施形態に係るＨＤＲ映像生成方法は、ステップＳ２２０において、基準フレームによって輝度変換された他のフレームを用いて映像別のゴースト確率を算出する。

次に、本発明の一実施形態に係るＨＤＲ映像生成方法は、算出された映像別のゴースト確率を考慮し、ＨＤＲ加重値マップを更新する（Ｓ２３０）。

例えば、本発明の一実施形態に係るＨＤＲ映像生成方法は、ＨＤＲ加重値マップにゴーストブラーが確認されたゴースト確率を適用し、ゴースト確率が適用されたＨＤＲ加重値マップに一連の正規化過程によって各フレームを構成するピクセルにおける加重値の和が「１」になるように調整し、ＨＤＲ加重値マップを更新する。

本発明の一実施形態に係るＨＤＲ映像生成方法は、更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成する（Ｓ２４０）。

本発明の一実施形態に係るＨＤＲ映像生成方法は、受信された多重露出フレーム及びＨＤＲ加重値マップの入力を受け、ガウスピラミッド及びラプラシアンピラミッドを用いて多重露出フレーム及びＨＤＲ加重値マップを合成してＨＤＲ映像を生成する。

図４は、本発明の一実施形態に係る映像別の輝度整合処理部及び映像別のゴースト確率算出部が動作する実施形態を説明する図である。本発明の一実施形態に係る映像別の輝度整合処理部では、入力映像のいずれか１つを基準フレームとして設定し、他の露出映像を基準フレームの露出輝度程度に合わせて輝度変換を行い、輝度の変換された映像に整合する。

そのために、本発明の一実施形態に係る前記映像別の輝度整合処理部では、システム特性に応じて入力映像の１つを基準フレームとして選定する。

具体的に、３枚の露出映像を入力にして使用した場合として、３枚のうち長露出映像（ｋ＝１）を基準フレーム４１０として設定し、短露出映像４２０（ｋ＝３）を輝度整合する。

２枚の露出映像、すなわち、基準フレーム４１０と短露出映像４２０（ｋ＝３）を用いて中央に表示されている２Ｄジョイントヒストグラム４４０（ｊｏｉｎｔ−ｈｉｓｔｏｇｒａｍ）を算出し、これからカーブ（ｃｕｒｖｅ）で表示される輝度変換関数をカーブフィッティング（ｃｕｒｖｅ−ｆｉｔｔｉｎｇ）方式を活用して推定できる。

２Ｄジョイントヒストグラム４４０の縦軸は基準フレーム４１０に対するピクセル輝度値を示し、横軸は整合しようとする他の露出映像のピクセル輝度値を示す。したがって、基準フレーム４１０と短露出映像４２０（ｋ＝３）の同一ピクセルにおける輝度値の対をヒストグラム上で全てｖｏｔｉｎｇすることによって、２Ｄジョイントヒストグラムの取得が可能になる。

短露出映像４２０(ｋ＝３）で基準フレーム４１０への輝度変換関数（ＢＴＦ）（ｋ：３→＃ｒｅｆ）が決定されれば、短露出映像４２０（ｋ＝３）の全てのピクセル値に対して一対一に対応するピクセル値を決定できるようになる。参考に、＃ｒｅｆは基準フレーム４１０の番号を表示する。

例として、２Ｄジョイントヒストグラム上の推定変換関数はカーブ上で互いに合うように描かれている２つの線で表示されている。

短露出映像４２０（ｋ＝３）のピクセル値（Ｉ_ｉｊ、ｋ）が輝度変換関数（ｋ：３→＃ｒｅｆ）によって基準フレーム露出レベルの輝度値（Ｉ’_ｉｊ、ｋ）にマッピングされ、輝度の整合された露出映像４３０が生成され得る。

図５は、本発明の一実施形態に係る映像別のＨＤＲ加重値マップ算出部が動作する実施形態を説明する図である。図５は、３枚のフレームを含む多重露出フレームが入力された場合、その中間結果と最終結果を示している。図５では長露出（ｌｏｎｇ ｅｘｐｏｓｕｒｅ）映像をＩ＿ｋ＝１、中露出（ｍｉｄｄｌｅ ｅｘｐｏｓｕｒｅ）映像をＩ＿ｋ＝２、および短露出（ｓｈｏｒｔ ｅｘｐｏｓｕｒｅ）映像をＩ＿ｋ＝３と表示する。

また、それぞれの入力映像として、多重露出入力映像５１０、輝度変換入力映像５２０、および入力映像別のゴースト確率マップ５３０の長露出映像を基準フレーム（ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）と設定した。

図５に示す多重露出入力映像５１０は３枚の入力映像を示し、輝度変換入力映像５２０では長露出映像を基準として輝度整合を行なった結果を示している。

入力映像別のゴースト確率マップ５３０では、基準フレームと輝度変換入力映像５２０上の輝度整合映像との間の差分を用いてゴースト確率マップの実現結果を確認できる。

図６は、本発明の一実施形態に係るマルチスケール混合処理部が映像を合成して生成する実施形態を説明する図である。図６にも３枚のフレームを含む多重露出フレームが入力された場合、その中間結果と最終結果を示している。図６では長露出映像をＩ＿ｋ＝１、中露出映像をＩ＿ｋ＝２、および短露出映像をＩ＿ｋ＝３と表示する。図６のＨＤＲ加重値マップ６１０では図５の多重露出入力映像５１０のように、各入力露出映像に対する算出されたＨＤＲ加重値マップを示す。

また、図６の６２０は、図５の入力映像別のゴースト確率マップ５３０に基づいてゴーストが補正されて更新されたＨＤＲ加重値マップ６２０を示し、６３０は最終結果として、ＨＤＲ合成されたＨＤＲ結果映像を示す。

結局、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、ＭＴＢ（Ｍｅｄｉａｎ ｔｈｒｅｓｈｏｌｄ Ｂｉｔｍａｐ）映像を活用することなく他の露出入力映像間の輝度整合の過程を行った後、その偏差を動き検出特徴として活用することで、より単純な処理過程によりゴーストブラー問題を解決することができる。

それだけではなく、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、従来に比べてＨＤＲラディアンスマップの復元と、復元されたＨＤＲラディアンスマップを８ビットＨＤＲにするためのトーン圧縮（ｔｏｎｅ ｃｏｍｐｒｅｓｓｉｏｎ）の過程を行うことなく、直接に加重平均を行って最終結果を取得できる。

本発明の一実施形態に係るＨＤＲ映像生成方法は、多様なコンピュータ手段によって行うことができるプログラム命令形態で実現され、コンピュータ読み出し可能媒体に記録してもよい。記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から様々に修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定して定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１００ ＨＤＲ映像生成装置
１１０ 輝度整合処理部
１２０ ＨＤＲ加重値マップ算出部
１３０ ゴースト確率算出部
１４０ ＨＤＲ加重値マップ更新部
１５０ マルチスケール混合処理部

Claims (16)

1. 受信される多重露出フレームに対してＨＤＲ加重値マップを算出する映像別のＨＤＲ加重値マップ算出部と、
   前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する映像別のゴースト確率算出部と、
   前記算出されたゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新する映像別のゴースト補正ＨＤＲ加重値マップ更新部と、
   前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するマルチスケール混合処理部と、
   を備えることを特徴とする多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
2. 前記受信される多重露出フレームのうち基準フレームを決定し、前記決定された基準フレームを基準として前記多重露出フレームを構成する少なくとも１つ以上のフレームに対して輝度を整合する映像別の輝度整合処理部をさらに備えることを特徴とする請求項１に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
3. 前記映像別の輝度整合処理部は、前記受信される多重露出フレームのいずれか１つのフレームを前記基準フレームとして決定し、前記受信される多重露出フレームのうち前記基準フレームを除いた残りフレームの露出輝度を調整して前記輝度を整合することを特徴とする請求項２に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
4. 前記映像別のゴースト確率算出部は、前記多重露出フレームを構成する少なくとも１つ以上のフレームに対する整合する輝度を参考して、前記多重露出フレームに対するゴーストブラーを確認することを特徴とする請求項２に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
5. 前記映像別のゴースト確率算出部は、前記輝度を整合する結果に応じて、前記決定された基準フレームと前記多重露出フレームを構成する少なくとも１つ以上のフレームそれぞれの輝度差値を確認し、前記それぞれの輝度差値が閾値以上である場合にゴーストブラーを確認することを特徴とする請求項４に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
6. 前記映像別のゴースト補正ＨＤＲ加重値マップ更新部は、前記算出されたゴースト確率が閾値以上であるピクセルのＨＤＲ加重値を、前記算出されたゴースト確率が閾値以下のピクセルのＨＤＲ加重値よりも低く修正して前記ＨＤＲ加重値マップを更新することを特徴とする請求項１に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
7. 前記ＨＤＲ加重値マップは、前記多重露出フレームを構成する各フレームのピクセルに対して対比、カラー飽和、および適正露出度のうち少なくとも１つの情報を前記ＨＤＲ加重値として格納することを特徴とする請求項６に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
8. 前記マルチスケール混合処理部は、前記受信された多重露出フレーム及び前記ＨＤＲ加重値マップが入力され、ガウスピラミッド及びラプラシアンピラミッドを用いて前記多重露出フレーム及び前記ＨＤＲ加重値マップを合成して前記ＨＤＲ映像を生成することを特徴とする請求項１に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
9. 映像別のＨＤＲ加重値マップ算出部で、受信される多重露出フレームに対してＨＤＲ加重値マップを算出するステップと、
   映像別のゴースト確率算出部で、前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出するステップと、
   映像別のゴースト補正ＨＤＲ加重値マップ更新部で、前記算出された映像別のゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新するステップと、
   マルチスケール混合処理部で、前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するステップと、
   を含むことを特徴とする多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
10. 映像別の輝度整合処理部で、前記受信される多重露出フレームのうち基準フレームを決定し、前記決定された基準フレームを基準として前記多重露出フレームを構成する少なくとも１つ以上のフレームに対して輝度を整合するステップをさらに含むことを特徴とする請求項９に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
11. 前記映像別の輝度整合処理部で、前記受信される多重露出フレームのいずれか１つのフレームを前記基準フレームとして決定し、前記受信される多重露出フレームのうち、前記基準フレームを除いた残りフレームの露出輝度を調整して前記輝度を整合するステップをさらに含むことを特徴とする請求項１０に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
12. 前記映像別のゴースト確率算出部で、前記多重露出フレームを構成する少なくとも１つ以上のフレームに対する整合する輝度を参考し、前記多重露出フレームに対するゴーストブラーを確認するステップをさらに含むことを特徴とする請求項１０に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
13. 前記映像別のゴースト確率算出部で、前記輝度を整合する結果に応じて、前記決定された基準フレームと前記多重露出フレームを構成する少なくとも１つ以上のフレームそれぞれの輝度差値を確認し、前記それぞれの輝度差値が閾値以上である場合にゴーストブラーを確認するステップをさらに含むことを特徴とする請求項１２に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
14. 前記映像別のゴースト補正ＨＤＲ加重値マップ更新部で、前記算出されたゴースト確率が閾値以上であるピクセルのＨＤＲ加重値を、前記算出されたゴースト確率が閾値以下のピクセルのＨＤＲ加重値よりも低く修正し、前記ＨＤＲ加重値マップを更新するステップを含むことを特徴とする請求項９に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
15. 前記ＨＤＲ加重値マップは、前記多重露出フレームを構成する各フレームのピクセルに対して対比、カラー飽和、および適正露出度のうち少なくとも１つの情報を前記ＨＤＲ加重値として格納するステップをさらに含むことを特徴とする請求項１４に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
16. 前記マルチスケール混合処理部で、前記ＨＤＲ映像を生成するステップは、前記受信された多重露出フレーム及び前記ＨＤＲ加重値マップが入力され、ガウスピラミッド及びラプラシアンピラミッドを用いて前記多重露出フレーム及び前記ＨＤＲ加重値マップを合成して前記ＨＤＲ映像を生成するステップを含むことを特徴とする請求項９に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。