JP2022094319A - イメージセンシング装置 - Google Patents

Abstract

【課題】ディープラーニングに基づいてハイダイナミックレンジのイメージを生成できるイメージセンシング装置を提供する。【解決手段】本発明の一実施形態は、シングルフレームの間に生成されたシングルイメージＳＩＭＧに基づいて、露出時間が互いに異なる複数のイメージＩ１Ｓ，Ｉ２Ｓ，Ｉ３Ｓ，Ｉ４Ｓをカラー別に生成するためのサンプリングモジュール２１０と、複数のイメージと予定された学習アルゴリズムとに基づいてシングルイメージの補正パラメータを学習し、複数のイメージから補正パラメータを除去して複数の補正されたイメージＪ１Ｓ，Ｊ２Ｓ，Ｊ３Ｓ，Ｊ４Ｓを生成するための補正モジュール２２０と、複数の補正されたイメージに基づいてシングルイメージに対応するハイダイナミックレンジのイメージＨＤＲＩＭＧを生成するためのイメージ処理モジュール２３０とを備えるイメージセンシング装置を提供する。【選択図】図３

Description

本発明は、半導体設計技術に関し、より詳細には、イメージセンシング装置に関する。

イメージセンシング装置は、光に反応する半導体の性質を利用してイメージをキャプチャ（ｃａｐｔｕｒｅ）する素子である。イメージセンシング装置は、大別してＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いたイメージセンシング装置と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いたイメージセンシング装置とに区分されることができる。近年、アナログ及びデジタル制御回路を１つの集積回路（ＩＣ）上に直接実現できるという長所により、ＣＭＯＳを用いたイメージセンシング装置が多用されている。

本発明の実施形態は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいてハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）イメージを生成できるイメージセンシング装置を提供する。

本発明の一側面によれば、イメージセンシング装置は、シングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）の間に生成されたシングルイメージに基づいて、露出時間が互いに異なる複数のイメージをカラー別に生成するためのサンプリングモジュールと、予定された学習アルゴリズムを利用して前記複数のイメージに基づいた前記シングルイメージの補正パラメータを学習し、前記複数のイメージから前記補正パラメータを除去して複数の補正されたイメージを生成するための補正モジュールと、前記複数の補正されたイメージに基づいて前記シングルイメージに対応するハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）のイメージを生成するためのイメージ処理モジュールとを備えることができる。

前記補正パラメータは、ノイズ（ｎｏｉｓｅ）成分とゴースト（ｇｈｏｓｔ）成分とを含むことができる。

前記補正モジュールは、第１の学習アルゴリズムを利用して前記複数のイメージに基づいた前記複数のイメージの各々のノイズ（ｎｏｉｓｅ）成分を学習し、前記複数のイメージの各々から前記ノイズ成分を除去して複数のデノイジングされたイメージを生成するためのデノイズモジュールと、前記複数のデノイジングされたイメージとカラー別加重値とに基づいて複数のグレーイメージを生成するための計算モジュールと、第２の学習アルゴリズムを利用して前記複数のグレーイメージに基づいた前記複数のグレーイメージの各々のゴースト（ｇｈｏｓｔ）成分を学習し、前記複数のグレーイメージの各々から前記ゴースト成分を除去して前記複数の補正されたイメージを生成するためのデゴーストモジュールとを備えることができる。

前記シングルイメージは、クアッド（ｑｕａｄ）パターンを有することができ、前記ハイダイナミックレンジのイメージは、ベイヤー（ｂａｙｅｒ）パターンを有することができる。

本発明の他の側面によれば、イメージセンシング装置は、クアッドパターンで配列されたカラーフィルタを有し、パターン別に互いに異なる露出時間で制御されるピクセルアレイを備え、シングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）の間、前記クアッドパターンに対応するシングルイメージを生成するためのイメージセンサと、予定された学習アルゴリズムを利用して前記シングルイメージに基づいたカラー別補正パラメータを学習し、前記補正パラメータに基づいてベイヤー（ｂａｙｅｒ）パターンを有するハイダイナミックレンジのイメージを生成するためのイメージプロセッサとを備えることができる。

前記補正パラメータは、ノイズ（ｎｏｉｓｅ）成分とゴースト（ｇｈｏｓｔ）成分とを含むことができる。

本発明のさらに他の側面によれば、イメージセンシング装置は、クアッドパターンイメージを受信し、カラーチャネルによって前記クアッドパターンイメージをサンプリングし、複数のチャネルイメージを生成するためのサンプリングモジュールと、複数のデノイズされたチャネルイメージを生成するためのデノイズモジュールと、複数のデゴーストされたチャネルイメージを生成するためのデゴーストモジュールと、前記複数のデゴーストされたチャネルイメージに基づいてベイヤーパターンを有する出力イメージを生成するためのイメージ処理モジュールとを備えることができ、前記複数のデノイズされたチャネルイメージの各々は、２つのチャネルのイメージ対を用いて学習することによって生成されることができ、前記２つのチャネルのうち１つのチャネルは、相対的に長い露出時間と関連していることができ、前記２つのチャネルのうち残りのチャネルは、相対的に短い露出時間と関連していることができ、前記複数のデゴーストされたチャネルイメージの各々は、２つの選択チャネルのイメージ対を用いて学習することによって生成されることができ、前記２つの選択チャネルのうち、いずれか１つは、最も短い露出時間と関連していることができる。

本発明の実施形態は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいてハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）イメージを生成することにより、前記ハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）イメージを生成する際に発生する信号対雑音比ディップ（ＳＮＲ ｄｉｐ）現象とモーションアーティファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）現象とを除去できるという効果がある。

本発明の実施形態に係るイメージセンシング装置のブロック構成図である。 図１に示されたイメージセンサに備えられたピクセルアレイの一例を見せた図である。 図１に示されたイメージプロセッサのブロック構成図である。 図３に示されたサンプリングモジュールのブロック構成図である。 図３に示された補正モジュールのブロック構成図である。 図５に示されたデノイズモジュールのブロック構成図である。 図５に示されたデゴーストモジュールのブロック構成図である。 図３に示されたイメージ処理モジュールのブロック構成図である。 図１に示されたイメージセンシング装置の動作を説明するための図面等である。 図１に示されたイメージセンシング装置の動作を説明するための図面等である。 図１に示されたイメージセンシング装置の動作を説明するための図面等である。 図１に示されたイメージセンシング装置の動作を説明するための図面等である。

以下、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施形態を添付図面を参照して説明する。

そして、明細書全体において、ある部分が他の部分と「接続」されているとするとき、これは、「直接的に接続」されている場合だけでなく、その中間に他の素子を挟んで「電気的に接続」されている場合も含む。また、ある部分がある構成要素を「含む」または「備える」とするとき、これは、特に反対される記載がない限り、他の構成要素を除くことでなく、他の構成要素をさらに含むか、備えることができるということを意味する。また、明細書全体の記載において、一部構成要素を単数型に記載したとして、本発明がそれに限定されるものではなく、当該構成要素が複数個からなり得ることが分かるであろう。

図１には、本発明の実施形態に係るイメージセンシング装置がブロック構成図で図示されている。

図１に示すように、イメージセンシング装置１０は、イメージセンサ１００、及びイメージプロセッサ２００を備えることができる。

イメージセンサ１００は、シングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）の間にシングルイメージＳＩＭＧを生成できる。例えば、イメージセンサ１００は、クアッド（ｑｕａｄ）パターンで配列されたカラーフィルタを有するピクセルアレイを備えることができ、前記クアッドパターンに対応するシングルイメージＳＩＭＧを生成できる。

イメージプロセッサ２００は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）と関連した学習アルゴリズムを利用してシングルイメージＳＩＭＧに基づいたハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）を有するイメージ（以下、「ＨＤＲイメージ」と称する）ＨＤＲＩＭＧを生成できる。例えば、イメージプロセッサ２００は、前記学習アルゴリズムを利用してシングルイメージＳＩＭＧに基づいたカラー別補正パラメータを学習でき、前記補正パラメータに基づいてベイヤー（ｂａｙｅｒ）パターンを有するＨＤＲイメージＨＤＲＩＭＧを生成できる。前記補正パラメータは、ノイズ（ｎｏｉｓｅ）成分とゴースト（ｇｈｏｓｔ）成分とを含むことができる。

図２には、図１のイメージセンサ１００に備えられた前記ピクセルアレイの一例を見せた図面が示されている。

図２に示すように、前記ピクセルアレイは、前記クアッドパターンによって配列された複数のピクセルを含むことができる。前記クアッドパターンは、同じカラーフィルタを有するピクセルが２×２単位で配列されたパターンをいう。例えば、第１及び第２の行、そして第１及び第２の列に配列された２×２単位の第１のピクセルは、グリーン（ｇｒｅｅｎ）カラーフィルタを有することができ、第１及び第２の行、そして第３及び第４の列に配列された２×２単位の第２のピクセルは、レッド（ｒｅｄ）カラーフィルタを有することができ、第３及び第４の行、そして第１及び第２の列に配列された２×２単位の第３のピクセルは、ブルー（ｂｌｕｅ）カラーフィルタを有することができ、第３及び第４の行、そして第３及び第４の列に配列された２×２単位の第４のピクセルは、グリーンカラーフィルタを有することができる。

前記ピクセルアレイは、前記クアッドパターン別に互いに異なる露出時間によって制御されることができる。例えば、前記第１のピクセルのうち、左上に配置されたピクセルは、第１の露出時間Ｌによって制御されることができ、第１の露出時間Ｌの間に蓄積された電荷に対応するイメージ値を生成でき、前記第１のピクセルのうち、右上に配置されたピクセルは、第２の露出時間ＭＨによって制御されることができ、第２の露出時間ＭＨの間に蓄積された電荷に対応するイメージ値を生成でき、前記第１のピクセルのうち、左下に配置されたピクセルは、第３の露出時間ＭＬによって制御されることができ、第３の露出時間ＭＬの間に蓄積された電荷に対応するイメージ値を生成でき、前記第１のピクセルのうち、右下に配置されたピクセルは、第４の露出時間Ｓによって制御されることができ、第４の露出時間Ｓの間に蓄積された電荷に対応するイメージ値を生成できる。第１の露出時間Ｌは、第１ないし第４の露出時間Ｌ、ＭＨ、ＭＬ、Ｓのうち、最も長い露出時間であることができ、第２の露出時間ＭＨは、第１の露出時間Ｌより短い露出時間であることができ、第３の露出時間ＭＬは、第２の露出時間ＭＨより短い露出時間であることができ、第４の露出時間Ｓは、第１ないし第４の露出時間Ｌ、ＭＨ、ＭＬ、Ｓのうち、最も短い露出時間であることができる。前記第２ないし第４のピクセルは、前記第１のピクセルと同様に第１ないし第４の露出時間Ｌ、ＭＨ、ＭＬ、Ｓによって制御されることができる。

図３には、図１に示されたイメージプロセッサ２００がブロック構成図で示されている。

図３に示すように、イメージプロセッサ２００は、サンプリングモジュール２１０、補正モジュール２２０、及びイメージ処理モジュール２３０を備えることができる。

サンプリングモジュール２１０は、前記シングルフレームの間に生成されたシングルイメージＳＩＭＧに基づいて、第１ないし第４の露出時間Ｌ、ＭＨ、ＭＬ、Ｓに対応する第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓをカラー別に生成することができる。

補正モジュール２２０は、前記学習アルゴリズムを利用して第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓに基づいたシングルイメージＳＩＭＧの前記補正パラメータを学習でき、第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓから前記補正パラメータを除去して第１ないし第４の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓを生成できる。

イメージ処理モジュール２３０は、第１ないし第４の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓに基づいてシングルイメージＳＩＭＧに対応するＨＤＲイメージＨＤＲＩＭＧを生成できる。

図４には、図３に示されたサンプリングモジュール２１０がブロック構成図で示されている。

図４に示すように、サンプリングモジュール２１０は、第１のサンプリングモジュール２１１、及び第２のサンプリングモジュール２１３を備えることができる。

第１のサンプリングモジュール２１１は、シングルイメージＳＩＭＧに含まれたイメージ値を露出時間別にサンプリングして第１ないし第４のサンプリングイメージＡ１Ｓ、Ａ２Ｓ、Ａ３Ｓ、Ａ４Ｓを生成できる。

第２のサンプリングモジュール２１３は、第１ないし第４のサンプリングイメージＡ１Ｓ、Ａ２Ｓ、Ａ３Ｓ、Ａ４Ｓに含まれたイメージ値をカラー別にサンプリングして第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓを生成できる。

図５には、図３に示された補正モジュール２２０がブロック構成図で示されている。

図５に示すように、補正モジュール２２０は、デノイズモジュール２２１、計算モジュール２２３、及びデゴーストモジュール２２５を備えることができる。

デノイズモジュール２２１は、第１の学習アルゴリズムを利用して第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓと第１ないし第４のデノイジングされたイメージＢ１Ｓ、Ｂ２Ｓ、Ｂ３Ｓ、Ｂ４Ｓとに基づいた第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓの第１ないし第４のノイズ成分を学習できる。前記第１の学習アルゴリズムは、ユー－ネット（Ｕ－Ｎｅｔ）モデル、ブイジージーネット（ＶＧＧｎｅｔ）モデル、及びレズネット（Ｒｅｓｎｅｔ）モデルのうち、いずれか１つを用いたアルゴリズムであることができる。デノイズモジュール２２１は、第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓから各々前記第１ないし第４のノイズ成分を除去することにより、第１ないし第４のデノイジングされたイメージＢ１Ｓ、Ｂ２Ｓ、Ｂ３Ｓ、Ｂ４Ｓを生成できる。

計算モジュール２２３は、第１ないし第４のデノイジングされたイメージＢ１Ｓ、Ｂ２Ｓ、Ｂ３Ｓ、Ｂ４Ｓとカラー別に予め設定された加重値とに基づいて第１ないし第４のグレー（ｇｒａｙ）イメージＣ１、Ｃ２、Ｃ３、Ｃ４を生成できる。例えば、計算モジュール２２３は、第１のデノイジングされたイメージＢ１Ｓと第１のグリーンカラーに対応する加重値とに基づいて第１のグレーイメージＣ１を生成でき、第２のデノイジングされたイメージＢ２Ｓとレッドカラーに対応する加重値とに基づいて第２のグレーイメージＣ２を生成でき、第３のデノイジングされたイメージＢ３Ｓとブルーカラーに対応する加重値とに基づいて第３のグレーイメージＣ３を生成でき、第４のデノイジングされたイメージＢ４Ｓと第２のグリーンカラーに対応する加重値とに基づいて第４のグレーイメージＣ４を生成できる。前記第１のグリーンカラーに対応する加重値と前記第２のグリーンカラーに対応する加重値とは、設計によっては、同じであることができ、または異なることもできる。

デゴーストモジュール２２５は、第１ないし第４のグレーイメージＣ１、Ｃ２、Ｃ３、Ｃ４と第２の学習アルゴリズムとに基づいて第１ないし第４のグレーイメージＣ１、Ｃ２、Ｃ３、Ｃ４の第１ないし第４のゴースト成分を学習できる。前記第２の学習アルゴリズムは、ユー－ネット（Ｕ－Ｎｅｔ）モデル、ブイジージーネット（ＶＧＧｎｅｔ）モデル、レズネット（Ｒｅｓｎｅｔ）モデルなどに基づくことができる。デゴーストモジュール２２５は、第１ないし第４のグレーイメージＣ１、Ｃ２、Ｃ３、Ｃ４から各々前記第１ないし第４のゴースト成分を除去して第１ないし第４の補正されたイメージＪ１Ｓ、Ｉ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓを生成できる。

図６には、図５に示されたデノイズモジュール２２１がブロック構成図で示されている。

図６に示すように、デノイズモジュール２２１は、第１の学習モジュール２２１１、第２の学習モジュール２２１３、及び第３の学習モジュール２２１５を備えることができる。

第１の学習モジュール２２１１は、第１のイメージＩ１Ｓと第２のイメージＩ２Ｓとに基づいて第２のイメージＩ２Ｓに対応する第２のデノイジングされたイメージＢ２Ｓを生成できる。第１の学習モジュール２２１１は、第１のイメージＩ１Ｓを各々ラベル（ｌａｂｅｌ）として用い、第２のイメージＩ２Ｓを各々入力データとして用いて第２のイメージＩ２Ｓの各々に対応する前記第２のノイズ成分を学習できる。第１の学習モジュール２２１１は、前記第２のノイズ成分を学習するとき、第１のイメージＩ１Ｓに対応する第１の飽和マップ（ｓａｔｕｒａｔｉｏｎ ｍａｐ）を生成及び利用することができる。例えば、第１の学習モジュール２２１１は、第１のイメージＩ１Ｓに基づいて前記第１の飽和マップを生成でき、前記第１の飽和マップに基づいて第１のイメージＩ１Ｓに含まれたイメージ値のうち、飽和されたイメージ値を分かることができ、第２のイメージＩ２Ｓに含まれたイメージ値のうち、前記飽和されたイメージ値に対応するイメージ値を前記第２のノイズ成分を学習するときに除外させることができる。第１の学習モジュール２２１１は、前記第２のノイズ成分を学習する前に第１の露出割合（ｅｘｐｏｓｕｒｅ ｒａｔｉｏ）に基づいて第２のイメージＩ２Ｓをスケーリング（ｓｃａｌｉｎｇ）することができる。例えば、前記第１の露出割合は、次の数式１のとおりである。

ここで、「ＥＲ１」は、前記第１の露出割合を意味することができ、「ＶＬ」は、第１のイメージＩ１Ｓに含まれた各々のイメージ値を意味することができ、「ＶＭＨ」は、第２のイメージＩ２Ｓに含まれた各々のイメージ値を意味することができる。

第２の学習モジュール２２１３は、第２のイメージＩ２Ｓと第３のイメージＩ３Ｓとに基づいて第３のイメージＩ３Ｓに対応する第３のデノイジングされたイメージＢ３Ｓを生成できる。第２の学習モジュール２２１３は、第２のイメージＩ２Ｓを各々ラベル（ｌａｂｅｌ）として用い、第３のイメージＩ３Ｓを各々入力データとして用いて第３のイメージＩ３Ｓの各々に対応する前記第３のノイズ成分を学習できる。第２の学習モジュール２２１３は、前記第３のノイズ成分を学習するとき、第２のイメージＩ２Ｓに対応する第２の飽和マップを生成及び利用することができる。例えば、第２の学習モジュール２２１３は、第２のイメージＩ２Ｓに基づいて前記第２の飽和マップを生成でき、前記第２の飽和マップに基づいて第２のイメージＩ２Ｓに含まれたイメージ値のうち、飽和されたイメージ値を分かることができ、第３のイメージＩ３Ｓに含まれたイメージ値のうち、前記飽和されたイメージ値に対応するイメージ値を前記第３のノイズ成分を学習するときに除外させることができる。第２の学習モジュール２２１３は、前記第３のノイズ成分を学習する前に第２の露出割合に基づいて第３のイメージＩ３Ｓをスケーリングできる。例えば、前記第２の露出割合は、次の数式２のとおりである。

ここで、「ＥＲ２」は、前記第２の露出割合を意味することができ、「ＶＭＨ」は、第２のイメージＩ２Ｓに含まれた各々のイメージ値を意味することができ、「ＶＭＬ」は、第３のイメージＩ３Ｓに含まれた各々のイメージ値を意味することができる。

第３の学習モジュール２２１５は、第３のイメージＩ３Ｓと第４のイメージＩ４Ｓとに基づいて第４のイメージＩ４Ｓに対応する第４のデノイジングされたイメージＢ４Ｓを生成できる。第３の学習モジュール２２１５は、第３のイメージＩ３Ｓを各々ラベル（ｌａｂｅｌ）として用い、第４のイメージＩ４Ｓを各々入力データとして用いて第４のイメージＩ４Ｓの各々に対応する前記第４のノイズ成分を学習できる。第３の学習モジュール２２１５は、前記第４のノイズ成分を学習するとき、第３のイメージＩ３Ｓの各々に対応する第３の飽和マップを生成及び利用することができる。例えば、第３の学習モジュール２２１５は、第３のイメージＩ３Ｓに基づいて前記第３の飽和マップを生成でき、前記第３の飽和マップに基づいて第３のイメージＩ３Ｓに含まれたイメージ値のうち、飽和されたイメージ値を分かることができ、第４のイメージＩ４Ｓに含まれたイメージ値のうち、前記飽和されたイメージ値に対応するイメージ値を前記第４のノイズ成分を学習するときに除外させることができる。第３の学習モジュール２２１５は、前記第４のノイズ成分を学習する前に第３の露出割合に基づいて第４のイメージＩ４Ｓをスケーリングできる。例えば、前記第３の露出割合は、次の数式３のとおりである。

ここで、「ＥＲ３」は、前記第３の露出割合を意味することができ、「ＶＭＬ」は、第３のイメージＩ３Ｓに含まれた各々のイメージ値を意味することができ、「ＶＳ」は、第４のイメージＩ４Ｓに含まれた各々のイメージ値を意味することができる。

一方、デノイズモジュール２２１は、第１のイメージＩ１Ｓを第１のデノイジングされたイメージＢ１Ｓとして生成（すなわち、出力）することができる。このような場合、前記第１のノイズ成分は学習する必要がない。

図７には、図５に示されたデゴーストモジュール２２５がブロック構成図で示されている。

図７に示すように、デゴーストモジュール２２５は、第４の学習モジュール２２５１、第１の生成モジュール２２５２、第５の学習モジュール２２５３、第２の生成モジュール２２５４、第６の学習モジュール２２５５、第３の生成モジュール２２５６、及び第４の生成モジュール２２５７を備えることができる。

第４の学習モジュール２２５１は、第４の露出時間Ｓを有する第４のグレーイメージＣ４と第１の露出時間Ｌを有する第１のグレーイメージＣ１とに基づいて、第１のグレーイメージＣ１に対応する第１の補正されたグレーイメージＤ１を生成できる。第４の学習モジュール２２５１は、第４のグレーイメージＣ４をラベル（ｌａｂｅｌ）として用い、第１のグレーイメージＣ１を入力データとして用いて第１のグレーイメージＣ１の前記第１のゴースト成分を学習できる。第４の学習モジュール２２５１は、第１のグレーイメージＣ１の前記第１のゴースト成分を学習するとき、第１のグレーイメージＣ１に対応する第４の飽和マップを生成及び利用することができる。例えば、第４の学習モジュール２２５１は、第１のグレーイメージＣ１に基づいて前記第４の飽和マップを生成でき、前記第４の飽和マップに基づいて第１のグレーイメージＣ１に含まれたイメージ値のうち、飽和されたイメージ値を前記第１のゴースト成分を学習するときに除外させることができる。第４の学習モジュール２２５１は、前記第１のゴースト成分を学習する前に第４の露出割合に基づいて第１のグレーイメージＣ１をスケーリングできる。前記第４の露出割合は、次の数式４のとおりである。

ここで、「ＥＲ４」は、前記第４の露出割合を意味することができ、「ＧＶＬ」は、第１のグレーイメージＣ１に含まれた各々のイメージ値を意味することができ、「ＧＶＳ」は、第４のグレーイメージＣ４に含まれた各々のイメージ値を意味することができる。

第１の生成モジュール２２５２は、第１の補正されたグレーイメージＤ１と第１のグレーイメージＣ１と第１のデノイジングイメージＢ１Ｓとに基づいて、カラー別に第１の露出時間Ｌを有する第１の補正されたイメージＪ１Ｓを生成できる。例えば、第１の補正されたイメージＪ１Ｓは、前記第１のグリーンカラーに対応し、第１の露出時間Ｌを有するイメージと、前記レッドカラーに対応し、第１の露出時間Ｌを有するイメージと、前記ブルーカラーに対応し、第１の露出時間Ｌを有するイメージと、前記第２のグリーンカラーに対応し、第１の露出時間Ｌを有するイメージとを備えることができる。例えば、第１の生成モジュール２２５２は、次の「数式５」によって第１の補正されたイメージＪ１Ｓを生成できる。

第５の学習モジュール２２５３は、第４の露出時間Ｓを有する第４のグレーイメージＣ４と第２の露出時間ＭＨを有する第２のグレーイメージＣ２とに基づいて、第２のグレーイメージＣ２に対応する第２の補正されたグレーイメージＤ２を生成できる。第５の学習モジュール２２５３は、第４のグレーイメージＣ４をラベルとして用い、第２のグレーイメージＣ２を入力データとして用いて第２のグレーイメージＣ２の前記第２のゴースト成分を学習できる。第５の学習モジュール２２５３は、第２のグレーイメージＣ２の前記第２のゴースト成分を学習するとき、第２のグレーイメージＣ２に対応する第５の飽和マップを生成及び利用することができる。例えば、第５の学習モジュール２２５３は、第２のグレーイメージＣ２に基づいて前記第５の飽和マップを生成でき、前記第５の飽和マップに基づいて第２のグレーイメージＣ２に含まれたイメージ値のうち、飽和されたイメージ値を前記第２のゴースト成分を学習するときに除外させることができる。第５の学習モジュール２２５３は、前記第２のゴースト成分を学習する前に第５の露出割合に基づいて第２のグレーイメージＣ２をスケーリングできる。前記第５の露出割合は、次の数式６のとおりである。

ここで、「ＥＲ５」は、前記第５の露出割合を意味することができ、「ＧＶＭＨ」は、第２のグレーイメージＣ２に含まれた各々のイメージ値を意味することができ、「ＧＶＳ」は、第４のグレーイメージＣ４に含まれた各々のイメージ値を意味することができる。

第２の生成モジュール２２５４は、第２の補正されたグレーイメージＤ２と第２のグレーイメージＣ２と第２のデノイジングイメージＢ２Ｓとに基づいて、カラー別に第２の露出時間ＭＨを有する第２の補正されたイメージＪ２Ｓを生成できる。例えば、第２の補正されたイメージＪ２Ｓは、前記第１のグリーンカラーに対応し、第２の露出時間ＭＨを有するイメージと、前記レッドカラーに対応し、第２の露出時間ＭＨを有するイメージと、前記ブルーカラーに対応し、第２の露出時間ＭＨを有するイメージと、前記第２のグリーンカラーに対応し、第２の露出時間ＭＨを有するイメージとを備えることができる。例えば、第２の生成モジュール２２５４は、次の「数式７」によって第２の補正されたイメージＪ２Ｓを生成できる。

第６の学習モジュール２２５５は、第４の露出時間Ｓを有する第４のグレーイメージＣ４と第３の露出時間ＭＬを有する第３のグレーイメージＣ３とに基づいて、第３のグレーイメージＣ３に対応する第３の補正されたグレーイメージＤ３を生成できる。第６の学習モジュール２２５５は、第４のグレーイメージＣ４をラベルとして用い、第３のグレーイメージＣ３を入力データとして用いて第３のグレーイメージＣ３の前記第３のゴースト成分を学習できる。第６の学習モジュール２２５５は、第３のグレーイメージＣ３の前記第３のゴースト成分を学習するとき、第３のグレーイメージＣ３に対応する第６の飽和マップを生成及び利用することができる。例えば、第６の学習モジュール２２５５は、前記第６の飽和マップに基づいて第３のグレーイメージＣ３に含まれたイメージ値のうち、飽和されたイメージ値を前記第３のゴースト成分を学習するときに除外させることができる。第６の学習モジュール２２５５は、前記第３のゴースト成分を学習する前に第６の露出割合に基づいて第３のグレーイメージＣ３をスケーリングできる。前記第６の露出割合は、次の数式８のとおりである。

ここで、「ＥＲ６」は、前記第６の露出割合を意味することができ、「ＧＶＭＬ」は、第３のグレーイメージＣ３に含まれた各々のイメージ値を意味することができ、「ＧＶＳ」は、第４のグレーイメージＣ４に含まれた各々のイメージ値を意味することができる。

第３の生成モジュール２２５６は、第３の補正されたグレーイメージＤ３と第３のグレーイメージＣ３と第３のデノイジングイメージＢ３Ｓとに基づいて、カラー別に第３の露出時間ＭＬを有する第３の補正されたイメージＪ３Ｓを生成できる。例えば、第３の補正されたイメージＪ３Ｓは、前記第１のグリーンカラーに対応し、第３の露出時間ＭＬを有するイメージと、前記レッドカラーに対応し、第３の露出時間ＭＬを有するイメージと、前記ブルーカラーに対応し、第３の露出時間ＭＬを有するイメージと、前記第２のグリーンカラーに対応し、第３の露出時間ＭＬを有するイメージとを備えることができる。例えば、第３の生成モジュール２２５６は、次の「数式９」によって第３の補正されたイメージＪ３Ｓを生成できる。

第４の生成モジュール２２５７は、第４のグレーイメージＣ４と第４のデノイジングイメージＢ４Ｓとに基づいて、カラー別に第４の露出時間Ｓを有する第４の補正されたイメージＪ４Ｓを生成できる。例えば、第４の補正されたイメージＪ４Ｓは、前記第１のグリーンカラーに対応し、第４の露出時間Ｓを有するイメージと、前記レッドカラーに対応し、第４の露出時間Ｓを有するイメージと、前記ブルーカラーに対応し、第４の露出時間Ｓを有するイメージと、前記第２のグリーンカラーに対応し、第４の露出時間Ｓを有するイメージとを備えることができる。例えば、第４の生成モジュール２２５７は、次の「数式１０」によって第４の補正されたイメージＪ４Ｓを生成できる。

一方、デゴーストモジュール２２５は、第４のグレーイメージＣ４を第４の補正されたグレーイメージとして用いることができる。このような場合、前記第４のゴースト成分は学習する必要がない。

図８には、図３に示されたイメージ処理モジュール２３０がブロック構成図で示されている。

図８に示すように、イメージ処理モジュール２３０は、合成モジュール２３１、及びトーンマッピングモジュール２３３を備えることができる。

合成モジュール２３１は、第１ないし第４の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓをカラー別に合成（ｆｕｓｉｏｎ）してシングル合成イメージＦＩＭＧを生成できる。例えば、シングル合成イメージＦＩＭＧは、前記ベイヤーパターンを有することができる。

トーンマッピングモジュール２３３は、シングル合成イメージＦＩＭＧに基づいてＨＤＲイメージＨＤＲＩＭＧを生成できる。

一方、前記イメージセンシング装置は、クアッドパターンイメージを受信し、カラーチャネルによって前記クアッドパターンイメージをサンプリングし、複数のチャネルイメージを生成するためのサンプリングモジュールと、複数のデノイズされたチャネルイメージを生成するためのデノイズモジュールと、複数のデゴーストされたチャネルイメージを生成するためのデゴーストモジュールと、前記複数のデノイズされたチャネルイメージに基づいてベイヤーパターンを有する出力イメージを生成するためのイメージ処理モジュールとを備えることができる。前記複数のデノイズされたチャネルイメージの各々は、２つのチャネルのイメージ対を用いて学習することによって生成されることができ、前記２つのチャネルのうち１つのチャネルは、相対的に長い露出時間と関連していることができ、前記２つのチャネルのうち残りのチャネルは、相対的に短い露出時間と関連していることができる。前記複数のデゴーストされたチャネルイメージの各々は、２つの選択チャネルのイメージ対を用いて学習することによって生成されることができる。前記２つの選択チャネルのうち、いずれか１つは、最も短い露出時間と関連していることができる。

以下、上記のような構成を有する本発明の実施形態に係るイメージセンシング装置１０の動作を図９～図１２を参照して説明する。本発明の実施形態は、説明の都合上、イメージセンサ１００から８×８のピクセルに対応するシングルイメージＳＩＭＧが生成されることを例に挙げて説明する。

図９には、図３及び図４に示されたサンプリングモジュール２１０の動作を説明するための図面が示されている。

図９に示すように、第１のサンプリングモジュール２１１は、シングルイメージＳＩＭＧに含まれたイメージ値を露出時間別にサンプリングして第１ないし第４のサンプリングイメージＡ１Ｓ、Ａ２Ｓ、Ａ３Ｓ、Ａ４Ｓを生成できる。例えば、第１のサンプリングモジュール２１１は、シングルイメージＳＩＭＧに含まれたイメージ値のうち、第１の露出時間Ｌによって制御されるピクセルのイメージ値をサンプリングすることにより第１のサンプリングイメージＡ１Ｓを生成でき、シングルイメージＳＩＭＧに含まれたイメージ値のうち、第２の露出時間ＭＨによって制御されるピクセルのイメージ値をサンプリングすることにより第２のサンプリングイメージＡ２Ｓを生成でき、シングルイメージＳＩＭＧに含まれたイメージ値のうち、第３の露出時間ＭＬによって制御されるピクセルのイメージ値をサンプリングすることにより第３のサンプリングイメージＡ３Ｓを生成でき、シングルイメージＳＩＭＧに含まれたイメージ値のうち、第４の露出時間Ｓによって制御されるピクセルのイメージ値をサンプリングすることにより第４のサンプリングイメージＡ４Ｓを生成できる。

第２のサンプリングモジュール２１３は、第１ないし第４のサンプリングイメージＡ１Ｓ、Ａ２Ｓ、Ａ３Ｓ、Ａ４Ｓに含まれたイメージ値をカラー別にサンプリングして第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓを生成できる。例えば、第２のサンプリングモジュール２１３は、第１のサンプリングイメージＡ１Ｓに含まれたイメージ値のうち、前記第１のグリーンカラーに対応するイメージ値をサンプリングし、第１のサンプリングイメージＡ１Ｓに含まれたイメージ値のうち、前記レッドカラーに対応するイメージ値をサンプリングし、第１のサンプリングイメージＡ１Ｓに含まれたイメージ値のうち、前記ブルーカラーに対応するイメージ値をサンプリングし、第１のサンプリングイメージＡ１Ｓに含まれたイメージ値のうち、前記第２のグリーンカラーに対応するイメージ値をサンプリングすることにより第１のイメージＩ１Ｓを生成できる。第２のサンプリングモジュール２１３は、第１のイメージＩ１Ｓを生成する方式と同様に、第２ないし第４のイメージＩ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓを生成できる。

例えば、第１のイメージＩ１Ｓは、第１の露出時間Ｌによって制御されるピクセルのイメージ値のうち、前記第１のグリーンカラーに対応するイメージ値を含むイメージと、第１の露出時間Ｌによって制御されるピクセルのイメージ値のうち、前記レッドカラーに対応するイメージ値を含むイメージと、第１の露出時間Ｌによって制御されるピクセルのイメージ値のうち、前記ブルーカラーフィルタを有するピクセルから生成されたイメージ値を含むイメージと、第１の露出時間Ｌによって制御されるピクセルのイメージ値のうち、前記第２のグリーンカラーに対応するイメージ値を含むイメージとを備えることができる。第２のイメージＩ２Ｓは、第２の露出時間ＭＨによって制御されるピクセルのイメージ値のうち、前記第１のグリーンカラーに対応するイメージ値を含むイメージと、第２の露出時間ＭＨによって制御されるピクセルのイメージ値のうち、前記レッドカラーに対応するイメージ値を含むイメージと、第２の露出時間ＭＨによって制御されるピクセルのイメージ値のうち、前記ブルーカラーフィルタを有するピクセルから生成されたイメージ値を含むイメージと、第２の露出時間ＭＨによって制御されるピクセルのイメージ値のうち、前記第２のグリーンカラーに対応するイメージ値を含むイメージとを備えることができる。第３のイメージＩ３Ｓは、第３の露出時間ＭＬによって制御されるピクセルのイメージ値のうち、前記第１のグリーンカラーに対応するイメージ値を含むイメージと、第３の露出時間ＭＬによって制御されるピクセルのイメージ値のうち、前記レッドカラーに対応するイメージ値を含むイメージと、第３の露出時間ＭＬによって制御されるピクセルのイメージ値のうち、前記ブルーカラーフィルタを有するピクセルから生成されたイメージ値を含むイメージと、第３の露出時間ＭＬによって制御されるピクセルのイメージ値のうち、前記第２のグリーンカラーに対応するイメージ値を含むイメージとを備えることができる。第４のイメージＩ４Ｓは、第４の露出時間Ｓによって制御されるピクセルのイメージ値のうち、前記第１のグリーンカラーに対応するイメージ値を含むイメージと、第４の露出時間Ｓによって制御されるピクセルのイメージ値のうち、前記レッドカラーに対応するイメージ値を含むイメージと、第４の露出時間Ｓによって制御されるピクセルのイメージ値のうち、前記ブルーカラーフィルタを有するピクセルから生成されたイメージ値を含むイメージと、第４の露出時間Ｓによって制御されるピクセルのイメージ値のうち、前記第２のグリーンカラーに対応するイメージ値を含むイメージとを備えることができる。

図１０には、図５及び図６に示されたデノイズモジュール２２１の動作を説明するための図面が示されている。

図１０に示すように、デノイズモジュール２２１は、第１ないし第４のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓ、Ｉ４Ｓに対応する第１ないし第４のデノイジングされたイメージＢ１Ｓ、Ｂ２Ｓ、Ｂ３Ｓ、Ｂ４Ｓを生成できる。このとき、第１のイメージＩ１Ｓは、第１のデノイジングされたイメージＢ１Ｓとして出力されることができる。

第１ないし第３の学習モジュール２２１１、２２１３、２２１５は、各々ディープラーニングネットワーク構造の前記第１の学習アルゴリズムに基づいてシングルイメージＩＭＧの前記第２ないし第４のノイズ成分を学習し、前記第２ないし第４のノイズ成分が除去された第２ないし第４のデノイジングされたイメージＢ２Ｓ、Ｓ３Ｓ、Ｂ４Ｓを生成できる。

第１の学習モジュール２２１１は、露出時間が相対的に長い第１のイメージＩ１Ｓを各々ラベル（ｌａｂｅｌ）として用い、露出時間が相対的に短い第２のイメージＩ２Ｓを各々入力データとして用いて第２のイメージＩ２Ｓの各々に対応する前記第２のノイズ成分を学習できる。このとき、第１の学習モジュール２２１１は、第１のイメージＩ１Ｓに基づいて第１の飽和マップＬＳＭを生成できる。第１の学習モジュール２２１１は、第１の飽和マップＬＳＭに基づいて第１のイメージＩ１Ｓに含まれたイメージ値のうち、飽和されたイメージ値を分かることができ、第２のイメージＩ２Ｓに含まれたイメージ値のうち、前記飽和されたイメージ値に対応するイメージ値を前記第２のノイズ成分を学習するときに除外させることができる。一方、第１の学習モジュール２２１１は、前記第２のノイズ成分を学習する前に前記第１の露出割合に基づいて第２のイメージＩ２Ｓをスケーリングできる。

第２の学習モジュール２２１３は、露出時間が相対的に長い第２のイメージＩ２Ｓを各々ラベルとして用い、露出時間が相対的に短い第３のイメージＩ３Ｓを各々入力データとして用いて第３のイメージＩ３Ｓの各々に対応する前記第３のノイズ成分を学習できる。このとき、第２の学習モジュール２２１３は、第２のイメージＩ２Ｓに基づいて第２の飽和マップＭＨＳＭを生成できる。第２の学習モジュール２２１３は、第２の飽和マップＭＨＳＭに基づいて第２のイメージＩ２Ｓに含まれたイメージ値のうち、飽和されたイメージ値を分かることができ、第３のイメージＩ３Ｓに含まれたイメージ値のうち、前記飽和されたイメージ値に対応するイメージ値を前記第３のノイズ成分を学習するときに除外させることができる。一方、第２の学習モジュール２２１３は、前記第３のノイズ成分を学習する前に前記第２の露出割合に基づいて第３のイメージＩ３Ｓをスケーリングできる。

第３の学習モジュール２２１５は、露出時間が相対的に長い第３のイメージＩ３Ｓを各々ラベルとして用い、露出時間が相対的に短い第４のイメージＩ４Ｓを各々入力データとして用いて第４のイメージＩ４Ｓの各々に対応する前記第４のノイズ成分を学習できる。このとき、第３の学習モジュール２２１５は、第３のイメージＩ３Ｓの各々に基づいて第３の飽和マップＭＬＳＭを生成できる。第３の学習モジュール２２１５は、第３の飽和マップＭＬＳＭに基づいて第３のイメージＩ３Ｓに含まれたイメージ値のうち、飽和されたイメージ値を分かることができ、第４のイメージＩ４Ｓに含まれたイメージ値のうち、前記飽和されたイメージ値に対応するイメージ値を前記第４のノイズ成分を学習するときに除外させることができる。一方、第３の学習モジュール２２１５は、前記第４のノイズ成分を学習する前に前記第３の露出割合に基づいて第４のイメージＩ４Ｓをスケーリングできる。

第１ないし第３の学習モジュール２２１１、２２１３、２２１５は、各々サンプリングモジュール２１０から生成された第１ないし第３のイメージＩ１Ｓ、Ｉ２Ｓ、Ｉ３Ｓをラベルとして用いていることが分かる。すなわち、デノイズモジュール２２１は、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）方式によって前記第２ないし第４のデノイズを学習するものである。

一方、第１ないし第３の学習モジュール２２１１、２２１３、２２１５は、前記第２ないし第４のノイズ成分を学習するときに必要なカラー別加重値Ｗ１を共有できる。例えば、加重値Ｗ１は、カラー別に固定された値を有することができる。

図１１には、図５及び図７に示されたデゴーストモジュール２２５の動作を説明するための図面が示されている。

図１１に示すように、デゴーストモジュール２２５は、第１ないし第４のグレーイメージＣ１、Ｃ２、Ｃ３、Ｃ４と第１ないし第４のデノイジングイメージＢ１Ｓ、Ｂ２Ｓ、Ｂ３Ｓ、Ｂ４Ｓとに基づいて第１ないし第４の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓを生成できる。

第４ないし第６の学習モジュール２２５１、２２５３、２２５５は、各々ディープラーニングネットワーク構造の前記第２の学習アルゴリズムに基づいて前記第１ないし第３のゴースト成分を学習し、前記第１ないし第３のゴースト成分に基づいて第１ないし第３の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓを生成できる。

第４の学習モジュール２２５１は、露出時間が最も短い第４のグレーイメージＣ４をラベルとして用い、露出時間が相対的に長い第１のグレーイメージＣ１を入力データとして用いて第１のグレーイメージＣ１に対応する前記第１のゴースト成分を学習できる。このとき、第４の学習モジュール２２５１は、第１のグレーイメージＣ１に基づいて第４の飽和マップＧＬＳＭを生成できる。第４の学習モジュール２２５１は、第４の飽和マップＧＬＳＭに基づいて第１のグレーイメージＣ１に含まれたイメージ値のうち、飽和されたイメージ値を前記第１のゴースト成分を学習するときに除外させることができる。一方、第４の学習モジュール２２５１は、前記第１のゴースト成分を学習する前に前記第４の露出割合に基づいて第１のグレーイメージＣ１をスケーリングできる。

第５の学習モジュール２２５３は、露出時間が最も短い第４のグレーイメージＣ４をラベルとして用い、露出時間が相対的に長い第２のグレーイメージＣ２を入力データとして用いて第２のグレーイメージＣ２に対応する前記第２のゴースト成分を学習できる。このとき、第５の学習モジュール２２５３は、第２のグレーイメージＣ２に基づいて第５の飽和マップＧＭＨＳＭを生成できる。第５の学習モジュール２２５３は、第５の飽和マップＧＭＨＳＭに基づいて第２のグレーイメージＣ２に含まれたイメージ値のうち、飽和されたイメージ値を前記第２のゴースト成分を学習するときに除外させることができる。一方、第５の学習モジュール２２５３は、前記第２のゴースト成分を学習する前に前記第５の露出割合に基づいて第２のグレーイメージＣ２をスケーリングできる。

第６の学習モジュール２２５５は、露出時間が最も短い第４のグレーイメージＣ４をラベルとして用い、露出時間が相対的に長い第３のグレーイメージＣ３を入力データとして用いて第３のグレーイメージＣ３に対応する前記第３のゴースト成分を学習できる。このとき、第６の学習モジュール２２５５は、第３のグレーイメージＣ３に対応する第６の飽和マップＧＭＬＳＭを生成できる。第６の学習モジュール２２５５は、第６の飽和マップＧＭＬＳＭに基づいて第３のグレーイメージＣ３に含まれたイメージ値のうち、飽和されたイメージ値を前記第３のゴースト成分を学習するときに除外させることができる。一方、第６の学習モジュール２２５５は、前記第３のゴースト成分を学習する前に前記第６の露出割合に基づいて第３のグレーイメージＣ３をスケーリングできる。

第４ないし第６の学習モジュール２２５１、２２５３、２２５５は、各々計算モジュール２２３から生成された第４のグレーイメージＣ４をラベルとして用いていることが分かる。すなわち、デゴーストモジュール２２５は、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）方式によって前記第１ないし第３のゴースト成分を学習するものである。

一方、第４ないし第６の学習モジュール２２５１、２２５３、２２５５は、前記第１ないし第３のゴースト成分を学習するときに必要な加重値Ｗ３を共有できる。例えば、加重値Ｗ３は、固定された値を有することができる。

第１ないし第４の生成モジュール２２５２、２２５４、２２５６、２２５７は、各々予定されたアルゴリズムＹ２Ｂａｙｅｒに基づいて第１ないし第４の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓを生成できる。予定されたアルゴリズムＹ２Ｂａｙｅｒは、上記の「数式５」または「数式７」または「数式９」または「数式１０」であることができる。

第１の生成モジュール２２５２は、上記の「数式５」にしたがって、第１の補正されたグレーイメージＤ１と第１のグレーイメージＣ１と第１のデノイジングされたイメージＢ１Ｓとに基づいて第１の補正されたイメージＪ１Ｓを生成できる。

第２の生成モジュール２２５４は、上記の「数式７」にしたがって、第２の補正されたグレーイメージＤ２と第２のグレーイメージＣ２と第２のデノイジングされたイメージＢ２Ｓとに基づいて第２の補正されたイメージＪ２Ｓを生成できる。

第３の生成モジュール２２５６は、上記の「数式９」にしたがって、第３の補正されたグレーイメージＤ３と第３のグレーイメージＣ３と第３のデノイジングされたイメージＢ３Ｓとに基づいて第３の補正されたイメージＪ３Ｓを生成できる。

第４の生成モジュール２２５７は、上記の「数式１０」にしたがって、第４の補正されたグレーイメージＤ４と第４のグレーイメージＣ４と第４のデノイジングされたイメージＢ４Ｓとに基づいて第４の補正されたイメージＪ４Ｓを生成できる。

図１２には、図８に示された合成モジュール２３１の動作を説明するための図面が示されている。

図１２に示すように、合成モジュール２３１は、第１ないし第４の補正されたイメージＪ１Ｓ、Ｊ２Ｓ、Ｊ３Ｓ、Ｊ４Ｓから同じカラーと同じ位置の第１ないし第４のイメージ値を合成することにより、シングルイメージＳＩＭＧに対応する合成イメージＦＩＭＧを生成できる。例えば、合成モジュール２３１は、第１の補正されたイメージＪ１Ｓに含まれたイメージ値のうち、前記第１のグリーンカラーに対応する１個のイメージ値と、第２の補正されたイメージＪ２Ｓに含まれたイメージ値のうち、前記第１のグリーンカラーに対応する１個のイメージ値と、第３の補正されたイメージＪ３Ｓに含まれたイメージ値のうち、前記第１のグリーンカラーに対応する１個のイメージ値と、第４の補正されたイメージＪ４Ｓに含まれたイメージ値のうち、前記第１のグリーンカラーに対応する１個のイメージ値とを合成することにより、合成イメージＦＩＭＧに含まれたイメージ値のうち、前記第１のグリーンカラーに対応する１個のイメージ値を生成できる。合成モジュール２３１は、８×８サイズのシングルイメージＳＩＭＧに対応して４×４サイズの合成イメージＦＩＭＧを生成できる。

このような本発明の実施形態によれば、イメージを合成するとき、ディープラーニングネットワークを利用してノイズ成分及びゴースト成分を学習及び除去することができるという利点がある。

本発明の技術思想は、上記実施形態によって具体的に記述されたが、以上で説明した実施形態は、その説明のためのものであり、その制限のためのものでないことに注意すべきである。また、本発明の技術分野の通常の専門家であれば、本発明の技術思想の範囲内で種々の置換、変形、及び変更により様々な実施形態が可能であることが理解できるであろう。

１０ イメージセンシング装置
１００ イメージセンサ
２００ イメージプロセッサ
２１０ サンプリングモジュール
２２０ 補正モジュール
２３０ イメージ処理モジュール

Claims (20)

1. シングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）の間に生成されたシングルイメージに基づいて、露出時間が互いに異なる複数のイメージをカラー別に生成するためのサンプリングモジュールと、
   予定された学習アルゴリズムを利用して前記複数のイメージに基づいた前記シングルイメージの補正パラメータを学習し、前記複数のイメージから前記補正パラメータを除去して複数の補正されたイメージを生成するための補正モジュールと、
   前記複数の補正されたイメージに基づいて前記シングルイメージに対応するハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）のイメージを生成するためのイメージ処理モジュールと、
   を備えるイメージセンシング装置。
2. 前記補正パラメータは、ノイズ（ｎｏｉｓｅ）成分とゴースト（ｇｈｏｓｔ）成分とを含む請求項１に記載のイメージセンシング装置。
3. 前記補正モジュールは、
   第１の学習アルゴリズムを利用して前記複数のイメージに基づいた前記複数のイメージの各々のノイズ（ｎｏｉｓｅ）成分を学習し、前記複数のイメージの各々から前記ノイズ成分を除去して複数のデノイジングされたイメージを生成するためのデノイズモジュールと、
   前記複数のデノイジングされたイメージとカラー別加重値とに基づいて複数のグレーイメージを生成するための計算モジュールと、
   第２の学習アルゴリズムを利用して前記複数のグレーイメージに基づいた前記複数のグレーイメージの各々のゴースト（ｇｈｏｓｔ）成分を学習し、前記複数のグレーイメージの各々から前記ゴースト成分を除去して前記複数の補正されたイメージを生成するためのデゴーストモジュールと、
   を備える請求項１に記載のイメージセンシング装置。
4. 前記デノイズモジュールは、カラー別に第１の露出時間を有する複数の第１のイメージを複数の第１のデノイジングされたイメージとして生成し、
   前記デノイズモジュールは、
   前記複数の第１のイメージとカラー別に第２の露出時間を有する複数の第２のイメージとに基づいて、前記複数の第２のイメージに対応する複数の第２のデノイジングされたイメージを生成するための第１の学習モジュールと、
   前記複数の第２のイメージとカラー別に第３の露出時間を有する複数の第３のイメージとに基づいて、前記複数の第３のイメージに対応する複数の第３のデノイジングされたイメージを生成するための第２の学習モジュールと、
   前記複数の第３のイメージとカラー別に第４の露出時間を有する複数の第４のイメージとに基づいて、前記複数の第４のイメージに対応する複数の第４のデノイジングされたイメージを生成するための第３の学習モジュールと、
   を備える請求項３に記載のイメージセンシング装置。
5. 前記第１の学習モジュールは、前記複数の第１のイメージの各々をラベル（ｌａｂｅｌ）として用い、前記複数の第２のイメージの各々を入力データとして用いて前記複数の第２のイメージの各々のノイズ成分を学習し、
   前記第２の学習モジュールは、前記複数の第２のイメージの各々をラベルとして用い、前記複数の第３のイメージの各々を入力データとして用いて前記複数の第３のイメージの各々のノイズ成分を学習し、
   前記第３の学習モジュールは、前記複数の第３のイメージの各々をラベルとして用い、前記複数の第４のイメージの各々を入力データとして用いて前記複数の第４のイメージの各々のノイズ成分を学習する請求項４に記載のイメージセンシング装置。
6. 前記第１の学習モジュールは、前記複数の第２のイメージの各々のノイズ成分を学習するとき、前記複数の第１のイメージに対応する第１の飽和マップ（ｓａｔｕｒａｔｉｏｎ ｍａｐ）を生成及び利用し、
   前記第２の学習モジュールは、前記複数の第３のイメージの各々のノイズ成分を学習するとき、前記複数の第２のイメージに対応する第２の飽和マップを生成及び利用し、
   前記第３の学習モジュールは、前記複数の第４のイメージの各々のノイズ成分を学習するとき、前記複数の第３のイメージに対応する第３の飽和マップを生成及び利用する請求項５に記載のイメージセンシング装置。
7. 前記第１の学習モジュールは、前記複数の第２のイメージの各々のノイズ成分を学習する前に第１の露出割合（ｅｘｐｏｓｕｒｅ ｒａｔｉｏ）に基づいて前記複数の第２のイメージをスケーリング（ｓｃａｌｉｎｇ）し、
   前記第２の学習モジュールは、前記複数の第３のイメージの各々のノイズ成分を学習する前に第２の露出割合に基づいて前記複数の第３のイメージをスケーリングし、
   前記第３の学習モジュールは、前記複数の第４のイメージの各々のノイズ成分を学習する前に第３の露出割合に基づいて前記複数の第４のイメージをスケーリングする請求項４に記載のイメージセンシング装置。
8. 前記第１ないし第４の露出時間のうち、前記第１の露出時間が最も長い露出時間であり、前記第２の露出時間は、前記第１の露出時間より短い露出時間であり、前記第３の露出時間は、前記第２の露出時間より短い露出時間であり、前記第４の露出時間は、最も短い露出時間である請求項４に記載のイメージセンシング装置。
9. 前記第１ないし第３の学習モジュールは、学習の際に用いられるカラー別加重値を共有する請求項４に記載のイメージセンシング装置。
10. 前記デノイズモジュールは、
    第４の露出時間を有する第４のグレーイメージと第１の露出時間を有する第１のグレーイメージとに基づいて、前記第１のグレーイメージに対応する第１の補正されたグレーイメージを生成するための第４の学習モジュールと、
    前記第１の補正されたグレーイメージに基づいて、カラー別に前記第１の露出時間を有する複数の第１の補正されたイメージを生成するための第１の生成モジュールと、
    前記第４のグレーイメージと第２の露出時間を有する第２のグレーイメージとに基づいて、前記第２のグレーイメージに対応する第２の補正されたグレーイメージを生成するための第５の学習モジュールと、
    前記第２の補正されたグレーイメージに基づいて、カラー別に前記第２の露出時間を有する複数の第２の補正されたイメージを生成するための第２の生成モジュールと、
    前記第４のグレーイメージと第３の露出時間を有する第３のグレーイメージとに基づいて、前記第３のグレーイメージに対応する第３の補正されたグレーイメージを生成するための第６の学習モジュールと、
    前記第３の補正されたグレーイメージに基づいて、カラー別に前記第３の露出時間を有する複数の第３の補正されたイメージを生成するための第３の生成モジュールと、
    前記第４のグレーイメージに基づいて、カラー別に前記第４の露出時間を有する複数の第４の補正されたイメージを生成するための第４の生成モジュールと、
    を備える請求項３に記載のイメージセンシング装置。
11. 前記第４の学習モジュールは、前記第４のグレーイメージをラベル（ｌａｂｅｌ）として用い、前記第１のグレーイメージを入力データとして用いて前記第１のグレーイメージのゴースト成分を学習し、
    前記第５の学習モジュールは、前記第４のグレーイメージをラベルとして用い、前記第２のグレーイメージを入力データとして用いて前記第２のグレーイメージのゴースト成分を学習し、
    前記第６の学習モジュールは、前記第４のグレーイメージをラベルとして用い、前記複数の第３のグレーイメージを入力データとして用いて前記複数の第３のグレーイメージのゴースト成分を学習する請求項１０に記載のイメージセンシング装置。
12. 前記第４の学習モジュールは、前記第１のグレーイメージのゴースト成分を学習するとき、前記第１のグレーイメージに対応する第４の飽和マップ（ｓａｔｕｒａｔｉｏｎ ｍａｐ）を生成及び利用し、
    前記第５の学習モジュールは、前記第２のグレーイメージのゴースト成分を学習するとき、前記第２のグレーイメージに対応する第５の飽和マップを生成及び利用し、
    前記第６の学習モジュールは、前記第３のグレーイメージのゴースト成分を学習するとき、前記第３のグレーイメージに対応する第６の飽和マップを生成及び利用する請求項１１に記載のイメージセンシング装置。
13. 前記第４の学習モジュールは、前記第１のグレーイメージのゴースト成分を学習する前に第４の露出割合（ｅｘｐｏｓｕｒｅ ｒａｔｉｏ）に基づいて前記第１のグレーイメージをスケーリング（ｓｃａｌｉｎｇ）し、
    前記第５の学習モジュールは、前記第２のグレーイメージのゴースト成分を学習する前に第５の露出割合に基づいて前記第２のグレーイメージをスケーリングし、
    前記第６の学習モジュールは、前記第３のグレーイメージのゴースト成分を学習する前に第６の露出割合に基づいて前記第３のグレーイメージをスケーリングする請求項１０に記載のイメージセンシング装置。
14. 前記第１ないし第４の露出時間のうち、前記第１の露出時間が最も長い露出時間であり、前記第２の露出時間は、前記第１の露出時間より短い露出時間であり、前記第３の露出時間は、前記第２の露出時間より短い露出時間であり、前記第４の露出時間は、最も短い露出時間である請求項１０に記載のイメージセンシング装置。
15. 前記第４ないし第６の学習モジュールは、学習の際に用いられるカラー別加重値を共有する請求項１０に記載のイメージセンシング装置。
16. 前記サンプリングモジュールは、
    前記シングルイメージに含まれたイメージ値を露出時間別にサンプリングして複数のサンプリングイメージを生成するための第１のサンプリングモジュールと、
    前記複数のサンプリングイメージに含まれたイメージ値をカラー別にサンプリングして前記複数のイメージを生成するための第２のサンプリングモジュールと、
    を備える請求項１に記載のイメージセンシング装置。
17. 前記イメージ処理モジュールは、
    前記複数の補正されたイメージをカラー別に合成（ｆｕｓｉｏｎ）してシングル合成イメージを生成するための合成モジュールと、
    前記シングル合成イメージに基づいて前記ハイダイナミックレンジのイメージを生成するためのトーンマッピング（ｔｏｎｅ ｍａｐｐｉｎｇ）モジュールと、
    を備える請求項１に記載のイメージセンシング装置。
18. クアッドパターンで配列されたカラーフィルタを有し、パターン別に互いに異なる露出時間で制御されるピクセルアレイを備え、シングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）の間、前記クアッドパターンに対応するシングルイメージを生成するためのイメージセンサと、
    予定された学習アルゴリズムを利用して前記シングルイメージに基づいたカラー別補正パラメータを学習し、前記補正パラメータに基づいてベイヤー（ｂａｙｅｒ）パターンを有するハイダイナミックレンジのイメージを生成するためのイメージプロセッサと、
    を備えるイメージセンシング装置。
19. 前記補正パラメータは、ノイズ（ｎｏｉｓｅ）成分とゴースト（ｇｈｏｓｔ）成分とを含む請求項１８に記載のイメージセンシング装置。
20. クアッドパターンイメージを受信し、カラーチャネルによって前記クアッドパターンイメージをサンプリングし、複数のチャネルイメージを生成するためのサンプリングモジュールと、
    複数のデノイズされたチャネルイメージを生成するためのデノイズモジュールと、複数のデゴーストされたチャネルイメージを生成するためのデゴーストモジュールと、
    前記複数のデゴーストされたチャネルイメージに基づいてベイヤーパターンを有する出力イメージを生成するためのイメージ処理モジュールと、
    を備え、
    前記複数のデノイズされたチャネルイメージの各々は、２つのチャネルのイメージ対を用いて学習することによって生成され、
    前記２つのチャネルのうち１つのチャネルは、相対的に長い露出時間と関連しており、前記２つのチャネルのうち残りのチャネルは、相対的に短い露出時間と関連しており、
    前記複数のデゴーストされたチャネルイメージの各々は、２つの選択チャネルのイメージ対を用いて学習することによって生成され、
    前記２つの選択チャネルのうち、いずれか１つは、最も短い露出時間と関連があるイメージセンシング装置。

Images