JP2010231756A - Ｈｄｒ画像生成方法および同方法を用いる電子デバイス - Google Patents

Abstract

【課題】高ダイナミックレンジ画像生成方法および同方法を用いる電子デバイスを提供すること。
【解決手段】この方法は、ニューラルネットワークアルゴリズムによって生成された輝度調整モデルをロードするステップと、オリジナル画像を得るステップと、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するステップと、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って輝度調整モデルによってＨＤＲ画像を生成するステップとを含む。この電子デバイスは、輝度調整モデル、固有値取得ユニット、および輝度調整プロシージャを含む。この電子デバイスは、固有値取得ユニットによってオリジナル画像の画素固有値、第１の固有値、および第２の固有値を取得し、輝度調整モデルによってオリジナル画像からＨＤＲ画像を生成する。
【選択図】図３

Description

本発明は、画像処理方法および同方法を用いる電子デバイスに関し、より詳細には、高ダイナミックレンジ（ＨＤＲ）画像生成方法および同方法を用いる電子デバイスに関する。

光を検出するとき、人間の目の視覚系は、周囲光の分布に従ってその感度を調整する。したがって、人間の目は、明るすぎるかまたは暗すぎる環境に対して、数分の調整の後に適合することができる。現在、ビデオカメラ、カメラ、一眼レフカメラ、およびウェブカメラなどの画像ピックアップ装置の作動原理は似ており、ピンホール結像の原理に基づいて、取り込んだ画像がレンズを介して検出部に投影される。しかし、フィルム、電荷結合素子センサ（ＣＣＤセンサ）、および相補型金属酸化膜半導体センサ（ＣＭＯＳセンサ）などの感光性素子の感光性範囲は、人間の目のそれとは異なり、画像に対して自動的に調整することができない。したがって、取り込んだ画像には、通常、明るすぎるかまたは暗すぎる部分がある。図１は、ダイナミックレンジが不十分な画像の概略図である。画像１０は、通常のデジタルカメラによって取り込まれた、ダイナミックレンジが不十分な画像である。図１で、画像ブロック１２の左下角は暗すぎるが、一方、画像ブロック１４の右上角は明るすぎる。そのような場合、左下角の画像ブロック１２内の木および家の詳細は、この領域が暗すぎるのではっきり見ることができない。

従来技術では、上記の問題を解決するために高ダイナミックレンジ（ＨＤＲ）画像が採用される。ＨＤＲ画像は、様々な露出設定を用いて様々な感光度で同一領域の画像を取り込み、次いで、取り込んだ画像を、人間の目で見て具合のよい画像へ合成することにより形成される。図２は、複数の画像をＨＤＲ画像へ合成する様子の概略図である。ＨＤＲ画像２０は、複数の画像２１、２３、２５、２７、および２９を様々な光感度で合成することにより形成される。この方法は優れた効果を達成するが、明白な欠点もある。まず、取り込まれた各画像の位置は正確でなければならず、いかなる誤差によっても合成が困難になる恐れがある。その上、諸画像を取り込むとき、必要な記憶空間が、単一フレームから複数フレームへと増加する。さらに、合成するのに要する時間も考えられる。したがって、この方法は、時間がかかり、記憶空間を浪費し、かつ間違いが起き易い。

本発明は、上記問題を解決するために、ニューラルネットワークアルゴリズムによって訓練された輝度調整モデルによってオリジナル画像からＨＤＲ画像を生成することができる高ダイナミックレンジ（ＨＤＲ）画像生成方法である。

本発明は、ＨＤＲ画像生成方法を提供する。この方法は、ニューラルネットワークアルゴリズムによって生成された輝度調整モデルをロードするステップと、オリジナル画像を得るステップと、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するステップと、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って輝度調整モデルによってＨＤＲ画像を生成するステップとを含む。

第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。

オリジナル画像の画素固有値は次式で計算され、

ここで、Ｃ₁はオリジナル画像の画素固有値であり、Ｎはオリジナル画像の水平方向の画素の合計数であり、Ｍはオリジナル画像の垂直方向の画素の合計数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

オリジナル画像の第１の固有値は次式で計算され、

ここで、

はオリジナル画像の第１の固有値であり、ｘはオリジナル画像の第１の方向の画素数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jはオリジナル画像の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

オリジナル画像の第２の固有値は次式で計算され、

ここで、

はオリジナル画像の第２の固有値であり、ｙはオリジナル画像の第２の方向の画素数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)はオリジナル画像の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

輝度調整モデルは外部デバイスで生成される。生成プロセスは、複数の訓練画像をロードするステップと、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、ニューラルネットワークアルゴリズムによって輝度調整モデルを生成するステップとを含む。

第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。

諸訓練画像のそれぞれの画素固有値は次式で計算され、

ここで、Ｃ₁は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

諸訓練画像のそれぞれの第１の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

諸訓練画像のそれぞれの第２の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

ニューラルネットワークアルゴリズムは、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである。

ＨＤＲ画像を生成するための電子デバイスは、輝度調整モデルによってオリジナル画像に対して輝度調整を実行するように適合させる。電子デバイスは、輝度調整モデル、固有値取得ユニット、および輝度調整プロシージャを含む。輝度調整モデルは、ニューラルネットワークアルゴリズムによって生成される。固有値取得ユニットは、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得する。輝度調整プロシージャは、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って輝度調整モデルによってＨＤＲ画像を生成するために、輝度調整モデルおよび固有値取得ユニットに接続される。

第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。

オリジナル画像の画素固有値は次式で計算され、

ここで、Ｃ₁はオリジナル画像の画素固有値であり、Ｎはオリジナル画像の水平方向の画素の合計数であり、Ｍはオリジナル画像の垂直方向の画素の合計数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

オリジナル画像の第１の固有値は次式で計算され、

ここで、

はオリジナル画像の第１の固有値であり、ｘはオリジナル画像の第１の方向の画素数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jはオリジナル画像の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

オリジナル画像の第２の固有値は次式で計算され、

ここで、

はオリジナル画像の第２の固有値であり、ｙはオリジナル画像の第２の方向の画素数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)はオリジナル画像の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

輝度調整モデルは外部デバイスで生成される。生成プロセスは、複数の訓練画像をロードするステップと、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、ニューラルネットワークアルゴリズムによって輝度調整モデルを生成するステップとを含む。

第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。

諸訓練画像のそれぞれの画素固有値は次式で計算され、

ここで、Ｃ₁は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

諸訓練画像のそれぞれの第１の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

諸訓練画像のそれぞれの第２の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

ニューラルネットワークアルゴリズムは、ＢＮＮアルゴリズム、ＲＢＦアルゴリズム、またはＳＯＭアルゴリズムである。

本発明のＨＤＲ画像生成方法および電子デバイスによれば、ＨＤＲ画像は、ニューラルネットワークアルゴリズムによって訓練された輝度調整モデルにより、単一画像から生成することができる。それによって、複数の画像を取り込むのに要する時間が短縮され、また、取り込んだ画像を保存するための空間が縮小される。一方、複数の画像を単一画像へ合成する時間が短縮される。

本明細書で説明のためにのみ与えられ、したがって本発明を限定するものではない以下の詳細な説明から、本発明がより十分に理解されるであろう。

ダイナミックレンジが不十分な画像の概略図である。 複数の画像をＨＤＲ画像へ合成する様子の概略図である。 本発明の一実施形態によるＨＤＲ画像生成方法の流れ図である。 本発明の一実施形態による輝度調整モデル生成の流れ図である。 本発明の別の実施形態によるＨＤＲ画像生成用電子デバイスのアーキテクチャの概略図である。 本発明の別の実施形態による輝度調整モデル生成の流れ図である。 本発明の一実施形態によるＢＮＮアルゴリズムを説明する概略図である。

本発明の、ＨＤＲ画像生成方法は、画像を取り込むことができる電子デバイスに適用される。この方法は、ソフトウェアまたはファームウェアプログラムの形式で電子デバイスの記憶ユニット内に構築することができ、電子デバイスのプロセッサにより、その画像を取り込む機能を用いる一方で内蔵ソフトウェアまたはファームウェアプログラムを実行するやり方で実施することができる。電子デバイスは、デジタルカメラ、コンピュータ、携帯電話、または画像を取り込むことができる携帯情報端末（ＰＤＡ）でよいが、これらには限定されない。

図３は、本発明の一実施形態によるＨＤＲ画像生成方法の流れ図である。この方法は以下のステップを含む。

ステップＳ１００で、ニューラルネットワークアルゴリズムによって生成された輝度調整モデルがロードされる。

ステップＳ１１０で、オリジナル画像が得られる。

ステップＳ１２０で、オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値が取得される。

ステップＳ１３０で、オリジナル画像の画素固有値、第１の固有値、および第２の固有値に従って、輝度調整モデルによって、ＨＤＲ画像が生成される。

ステップＳ１２０では、第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。

ステップＳ１２０で、オリジナル画像の画素固有値は次式で計算され、

ここで、Ｃ₁はオリジナル画像の画素固有値であり、Ｎはオリジナル画像の水平方向の画素の合計数であり、Ｍはオリジナル画像の垂直方向の画素の合計数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

ステップＳ１２０で、オリジナル画像の第１の固有値は次式で計算され、

ここで、

はオリジナル画像の第１の固有値であり、ｘはオリジナル画像の第１の方向の画素数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jはオリジナル画像の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

ステップＳ１２０で、オリジナル画像の第２の固有値は次式で計算され、

ここで、

はオリジナル画像の第２の固有値であり、ｙはオリジナル画像の第２の方向の画素数であり、Ｙ_ijはオリジナル画像の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)はオリジナル画像の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

さらに、ステップＳ１００では、輝度調整モデルが外部デバイスで生成される。外部デバイスは製造業者のコンピュータ機器または実験室のコンピュータ機器でよいが、これらには限定されない。図４は、本発明の一実施形態による輝度調整モデル生成の流れ図である。生成プロセスは以下のステップを含む。

ステップＳ２００で、複数の訓練画像がロードされる。

ステップＳ２１０で、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値が取得され、ニューラルネットワークアルゴリズムによって輝度調整モデルが生成される。

ステップＳ２１０では、第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。

ステップＳ２１０で、諸訓練画像のそれぞれの画素固有値は次式で計算され、

ここで、Ｃ₁は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

ステップＳ２１０で、諸訓練画像のそれぞれの第１の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

ステップＳ２１０で、諸訓練画像のそれぞれの第２の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

ニューラルネットワークアルゴリズムは、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである。

図５は、本発明の別の実施形態によってＨＤＲ画像を生成するための電子デバイスのアーキテクチャの概略図である。電子デバイス３０は、記憶ユニット３２、処理ユニット３４、および出力ユニット３６を備える。記憶ユニット３２は、オリジナル画像３２２を保存し、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または同期式ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）でよいが、これらには限定されない。

処理ユニット３４は、記憶ユニット３２に接続され、輝度調整モデル３４４、固有値取得ユニット３４２、および輝度調整プロシージャ３４６を備える。固有値取得ユニット３４２は、オリジナル画像３２２の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得する。輝度調整モデル３４４は、ニューラルネットワークアルゴリズムによって生成される。輝度調整プロシージャ３４６は、オリジナル画像３２２の画素固有値、第１の固有値、および第２の固有値に従って、輝度調整モデル３４４によって、ＨＤＲ画像を生成する。処理ユニット３４は、中央処理ユニット（ＣＰＵ）またはマイクロコントロールユニット（ＭＣＵ）でよいが、これらには限定されない。出力ユニット３６は、生成されたＨＤＲ画像を電子デバイス３０の画面上に表示するために、処理ユニット３４に接続される。

第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。

オリジナル画像３２２の画素固有値は次式で計算され、

ここで、Ｃ₁はオリジナル画像３２２の画素固有値であり、Ｎはオリジナル画像３２２の水平方向の画素の合計数であり、Ｍはオリジナル画像３２２の垂直方向の画素の合計数であり、Ｙ_ijはオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

オリジナル画像の第１の固有値は次式で計算され、

ここで、

はオリジナル画像３２２の第１の固有値であり、ｘはオリジナル画像３２２の第１の方向の画素数であり、Ｙ_ijはオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jはオリジナル画像３２２の第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

オリジナル画像３２２の第２の固有値は次式で計算され、

ここで、

はオリジナル画像３２２の第２の固有値であり、ｙはオリジナル画像３２２の第２の方向の画素数であり、Ｙ_ijはオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)はオリジナル画像３２２の第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

輝度調整モデルは外部デバイスで生成される。外部デバイスは製造業者のコンピュータ機器または実験室のコンピュータ機器でよいが、これらには限定されない。図６は、本発明の別の実施形態による輝度調整モデル生成の流れ図である。生成プロセスは以下のステップを含む。

ステップＳ３００で、複数の訓練画像がロードされる。

ステップＳ３１０で、諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値が取得され、ニューラルネットワークアルゴリズムによって輝度調整モデルが生成される。

ステップＳ３１０では、第１の方向と第２の方向は異なり、第１の方向は水平方向で、第２の方向は垂直方向である。ここで、第１の方向および第２の方向は、実際の要件に従って調整することができる。例えば、２つの方向は、それぞれ、Ｘ軸に対してプラス４５°およびプラス１３５°で交差するか、またはＸ軸に対してプラス３０°およびプラス１５０°で交差してよい。しかし、オリジナル画像の固有値の取得方向は、訓練画像の固有値の取得方向と一致していなければならない（すなわち同一方向である）。

ステップＳ３１０で、諸訓練画像のそれぞれの画素固有値は次式で計算され、

ここで、Ｃ₁は諸訓練画像のそれぞれの画素固有値であり、Ｎは諸訓練画像のそれぞれの水平方向の画素の合計数であり、Ｍは諸訓練画像のそれぞれの垂直方向の画素の合計数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である。

ステップＳ３１０で、諸訓練画像のそれぞれの第１の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第１の固有値であり、ｘは諸訓練画像のそれぞれの第１の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは諸訓練画像のそれぞれの第１の方向で（ｉ＋ｘ）番目かつ第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である。

ステップＳ３１０で、諸訓練画像のそれぞれの第２の固有値は次式で計算され、

ここで、

は諸訓練画像のそれぞれの第２の固有値であり、ｙは諸訓練画像のそれぞれの第２の方向の画素数であり、Ｙ_ijは諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は諸訓練画像のそれぞれの第１の方向でｉ番目かつ第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である。

ニューラルネットワークアルゴリズムは、ＢＮＮアルゴリズム、ＲＢＦアルゴリズム、またはＳＯＭアルゴリズムである。

図７は、本発明の一実施形態によるＢＮＮアルゴリズムを説明する概略図である。ＢＮＮアルゴリズム４０は、入力層４２、隠れ層４４および出力層４６を含む。各訓練画像は、総計でＭ×Ｎの画素を有し、各画素は、さらに各３つの固有値（すなわち画素固有値、第１の固有値、および第２の固有値）を有する。入力層は、それぞれ各訓練画像における画素の固有値を入力し、その結果、入力層４２内のノード（Ｘ₁、Ｘ₂、Ｘ₃、・・・、Ｘ_α）の合計数は、α＝３×Ｍ×Ｎとなる。隠れ層４４内のノード（Ｐ₁、Ｐ₂、Ｐ₃、・・・、Ｐ_β）の数はβであり、出力層４６内のノード（Ｙ₁、Ｙ₂、Ｙ₃、・・・、Ｙ_γ）の数はγであり、またα≧β≧γである。ＢＮＮアルゴリズムがすべての訓練画像の収束を訓練しかつ求めた後に、輝度調整モデル化が得られる。輝度調整モデルの入力層４２と隠れ層４４の間で重み値Ｗ_αβの第１の組が得られ、輝度調整モデルの隠れ層４４と出力層４６の間で重み値Ｗ_βγの第２の組が得られる。

隠れ層４４内の各ノードの値は次式で計算され、

ここで、Ｐ_jは隠れ層４４内のｊ番目のノードの値であり、Ｘ_iは入力層４２内のｉ番目のノードの値であり、Ｗ_ijは入力層４２内のｉ番目のノードと隠れ層４４内のｊ番目のノードの間の重み値であり、ｂ_jは隠れ層４４内のｊ番目のノードのオフセットであり、またα、ｉ、およびｊは正整数である。

さらに、出力層４６内の各ノードの値は次式で計算され、

ここで、Ｙ_kは出力層４６内のｋ番目のノードの値であり、Ｐ_jは隠れ層４４内のｊ番目のノードの値であり、Ｗ_jkは隠れ層４４内のｊ番目のノードと出力層４６内のｋ番目のノードの間の重み値であり、ｃ_kは出力層４６内のｋ番目のノードのオフセットであり、またβ、ｊ、およびｋは正整数である。

さらに、平均２乗誤差（ＭＳＥ）

によって収束が求められ、ここで、λは訓練画像の合計数であり、γは出力層内のノードの合計数であり、Ｔ_k ^sはｓ番目の訓練画像内のｋ番目のノードの目標出力値であり、Ｙ_k ^sはｓ番目の訓練画像内のｋ番目のノードの演繹出力値であり、またλ、γ、ｓ、およびｋは正整数である。

３０ 電子デバイス
３２ 記憶ユニット
３４ 処理ユニット
３６ 出力ユニット
３２２ オリジナル画像
３４２ 固有値取得ユニット
３４４ 輝度調整モデル
３４６ 輝度調整プロシージャ
４０ ＢＮＮアルゴリズム
４２ 入力層
４４ 隠れ層
４６ 出力層

Claims (22)

1. ニューラルネットワークアルゴリズムによって生成された輝度調整モデルをロードするステップと、
   オリジナル画像を得るステップと、
   前記オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するステップと、
   前記オリジナル画像の前記画素固有値、前記第１の固有値、および前記第２の固有値に従って前記輝度調整モデルによってＨＤＲ画像を生成するステップとを含む高ダイナミックレンジ（ＨＤＲ）画像生成方法。
2. 前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項１に記載のＨＤＲ画像生成方法。
3. 前記オリジナル画像の前記画素固有値が次式で計算され、
   ここで、Ｃ₁は前記オリジナル画像の前記画素固有値であり、Ｎは前記オリジナル画像の前記水平方向の画素の合計数であり、Ｍは前記オリジナル画像の前記垂直方向の画素の合計数であり、Ｙ_ijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項１に記載のＨＤＲ画像生成方法。
4. 前記オリジナル画像の前記第１の固有値が次式で計算され、
   ここで、
   は前記オリジナル画像の前記第１の固有値であり、ｘは前記オリジナル画像の前記第１の方向の画素数であり、Ｙ_ijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは前記オリジナル画像の前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項１に記載のＨＤＲ画像生成方法。
5. 前記オリジナル画像の前記第２の固有値が次式で計算され、
   ここで、
   は前記オリジナル画像の前記第２の固有値であり、ｙは前記オリジナル画像の前記第２の方向の画素数であり、Ｙ_ijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項１に記載のＨＤＲ画像生成方法。
6. 前記輝度調整モデルが外部デバイスで生成され、前記生成プロセスが、
   複数の訓練画像をロードするステップと、
   前記諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、前記ニューラルネットワークアルゴリズムによって前記輝度調整モデルを生成するステップとを含む請求項１に記載のＨＤＲ画像生成方法。
7. 前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項６に記載のＨＤＲ画像生成方法。
8. 前記諸訓練画像のそれぞれの前記画素固有値が次式で計算され、
   ここで、Ｃ₁は前記諸訓練画像のそれぞれの前記画素固有値であり、Ｎは前記諸訓練画像のそれぞれの前記水平方向の画素の合計数であり、Ｍは前記諸訓練画像のそれぞれの前記垂直方向の画素の合計数であり、Ｙ_ijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項６に記載のＨＤＲ画像生成方法。
9. 前記諸訓練画像のそれぞれの前記第１の固有値が次式で計算され、
   ここで、
   は前記諸訓練画像のそれぞれの前記第１の固有値であり、ｘは前記諸訓練画像のそれぞれの前記第１の方向の画素数であり、Ｙ_ijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは前記諸訓練画像のそれぞれの前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項６に記載のＨＤＲ画像生成方法。
10. 前記諸訓練画像のそれぞれの前記第２の固有値が次式で計算され、
    ここで、
    は前記諸訓練画像のそれぞれの前記第２の固有値であり、ｙは前記諸訓練画像のそれぞれの前記第２の方向の画素数であり、Ｙ_ijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項６に記載のＨＤＲ画像生成方法。
11. 前記ニューラルネットワークアルゴリズムが、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである請求項１に記載のＨＤＲ画像生成方法。
12. ニューラルネットワークアルゴリズムによって生成された輝度調整モデルと、
    オリジナル画像の画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得するための固有値取得ユニットと、
    前記オリジナル画像の前記画素固有値、前記第１の固有値、および前記第２の固有値に従って前記輝度調整モデルによってＨＤＲ画像を生成するために、前記輝度調整モデルおよび前記固有値取得ユニットに接続された輝度調整プロシージャとを備え、前記輝度調整モデルによって前記オリジナル画像に対して輝度調整を実行するように適合された高ダイナミックレンジ（ＨＤＲ）画像生成用電子デバイス。
13. 前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
14. 前記オリジナル画像の前記画素固有値が次式で計算され、
    ここで、Ｃ₁は前記オリジナル画像の前記画素固有値であり、Ｎは前記オリジナル画像の前記水平方向の画素の合計数であり、Ｍは前記オリジナル画像の前記垂直方向の画素の合計数であり、Ｙ_ijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
15. 前記オリジナル画像の前記第１の固有値が次式で計算され、
    ここで、
    は前記オリジナル画像の前記第１の固有値であり、ｘは前記オリジナル画像の前記第１の方向の画素数であり、Ｙ_ijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは前記オリジナル画像の前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
16. 前記オリジナル画像の前記第２の固有値が次式で計算され、
    ここで、
    は前記オリジナル画像の前記第２の固有値であり、ｙは前記オリジナル画像の前記第２の方向の画素数であり、Ｙ_ijは前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は前記オリジナル画像の前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項１２に記載のＨＤＲ画像生成用電子デバイス。
17. 前記輝度調整モデルが外部デバイスで生成され、前記生成プロセスが、
    複数の訓練画像をロードするステップと、
    前記諸訓練画像のそれぞれの画素固有値、第１の方向の第１の固有値、および第２の方向の第２の固有値を取得し、前記ニューラルネットワークアルゴリズムによって前記輝度調整モデルを生成するステップとを含む請求項１２に記載のＨＤＲ画像生成用電子デバイス。
18. 前記第１の方向と前記第２の方向が異なり、前記第１の方向が水平方向で、前記第２の方向が垂直方向である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
19. 前記諸訓練画像のそれぞれの前記画素固有値が次式で計算され、
    ここで、Ｃ₁は前記諸訓練画像のそれぞれの前記画素固有値であり、Ｎは前記諸訓練画像のそれぞれの前記水平方向の画素の合計数であり、Ｍは前記諸訓練画像のそれぞれの前記垂直方向の画素の合計数であり、Ｙ_ijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｎ、Ｍ、ｉ、およびｊは正整数である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
20. 前記諸訓練画像のそれぞれの前記第１の固有値が次式で計算され、
    ここで、
    は前記諸訓練画像のそれぞれの前記第１の固有値であり、ｘは前記諸訓練画像のそれぞれの前記第１の方向の画素数であり、Ｙ_ijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_(i+x)jは前記諸訓練画像のそれぞれの前記第１の方向で（ｉ＋ｘ）番目かつ前記第２の方向でｊ番目の画素の輝度値であり、ｉ、ｊ、およびｘは正整数である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
21. 前記諸訓練画像のそれぞれの前記第２の固有値が次式で計算され、
    ここで、
    は前記諸訓練画像のそれぞれの前記第２の固有値であり、ｙは前記諸訓練画像のそれぞれの前記第２の方向の画素数であり、Ｙ_ijは前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向でｊ番目の画素の輝度値であり、Ｙ_i(j+y)は前記諸訓練画像のそれぞれの前記第１の方向でｉ番目かつ前記第２の方向で（ｊ＋ｙ）番目の画素の輝度値であり、ｉ、ｊ、およびｙは正整数である請求項１７に記載のＨＤＲ画像生成用電子デバイス。
22. 前記ニューラルネットワークアルゴリズムが、逆伝播ニューラルネットワーク（ＢＮＮ）アルゴリズム、ラジアル基底関数（ＲＢＦ）アルゴリズム、または自己組織化マップ（ＳＯＭ）アルゴリズムである請求項１７に記載のＨＤＲ画像生成用電子デバイス。