JP2023079210A - イメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置 - Google Patents

イメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置 Download PDF

Info

Publication number
JP2023079210A
JP2023079210A JP2022188038A JP2022188038A JP2023079210A JP 2023079210 A JP2023079210 A JP 2023079210A JP 2022188038 A JP2022188038 A JP 2022188038A JP 2022188038 A JP2022188038 A JP 2022188038A JP 2023079210 A JP2023079210 A JP 2023079210A
Authority
JP
Japan
Prior art keywords
pixel signal
variance value
pixel
signal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022188038A
Other languages
English (en)
Inventor
昭 辰 文
So Jin Moon
亨 錫 高
Hyung-Seok Ko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2023079210A publication Critical patent/JP2023079210A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

Figure 2023079210000001
【課題】イメージ品質を改善させるイメージ信号プロセッサ及びその動作方法を提供する。
【解決手段】本発明によるイメージ信号プロセッサは、外部装置からピクセル信号を受信するグラデーション検出モジュールと、ピクセル信号を受信し、グラデーション検出モジュールに接続された補正モジュールと、を有し、グラデーション検出モジュールは、ピクセル信号に対するグラジエントを測定し、グラジエントに基づいてピクセル信号を補正して補正ピクセル信号を生成し、ピクセル信号に基づいて第１分散値を計算し、補正ピクセル信号に基づいて第２分散値を計算し、第１分散値と第２分散値との比較に基づいてグラデーション確率値を計算し、ピクセル信号に対するグラデーション確率値の情報であるグラデーションマップを生成し、補正モジュールは、グラデーションマップに基づいてピクセル信号を補正する。
【選択図】図１３

Description

本発明は、イメージ信号プロセッサに関し、特に、イメージ品質を改善させるイメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置に関する。
イメージセンシング装置（ｉｍａｇｅ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）は、光学情報を電気信号に変換させる半導体素子の一つである。
このようなイメージセンシング装置は、電荷結合型（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）イメージセンシング装置とシーモス型（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）イメージセンシング装置を含み得る。
ＣＭＯＳ型イメージセンサは、ＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）と略称することができる。
ＣＩＳは、２次元的に配列された複数のピクセルを備える。
ピクセルそれぞれは、例えば、フォトダイオード（ｐｈｏｔｏｄｉｏｄｅ：ＰＤ）を含む。
フォトダイオードは、入射した光を電気信号に変換する役割をする。
近年、コンピュータ産業と通信産業の発達につれて、デジタルカメラ、カムコーダ、スマートフォン、ゲーム機器、警備用カメラ、医療用マイクロカメラ、ロボットなど多様な分野で、性能が向上したイメージセンサの需要が増大しており、その提供が課題となっている。
特開２００２－３２９８５５号公報
本発明は上記従来のイメージセンサにおける課題に鑑みてなされたものであって、本発明の目的は、イメージ品質を改善させるイメージ信号プロセッサ及びその動作方法を提供することにある。
また、本発明の目的は、本願イメージ信号プロセッサを用いた電力消費が減少するイメージセンシング装置を提供することにある。
上記目的を達成するためになされた本発明によるイメージ信号プロセッサは、外部装置からピクセル信号を受信するグラデーション検出モジュールと、前記ピクセル信号を受信し、前記グラデーション検出モジュールに接続された補正モジュールと、を有し、前記グラデーション検出モジュールは、前記ピクセル信号に対するグラジエントを測定し、前記グラジエントに基づいて前記ピクセル信号を補正して補正ピクセル信号を生成し、前記ピクセル信号に基づいて第１分散値を計算し、前記補正ピクセル信号に基づいて第２分散値を計算し、前記第１分散値と前記第２分散値との比較に基づいてグラデーション確率値を計算し、前記ピクセル信号に対する前記グラデーション確率値の情報であるグラデーションマップを生成し、前記補正モジュールは、前記グラデーションマップに基づいて前記ピクセル信号を補正することを特徴とする。
上記目的を達成するためになされた本発明によるイメージセンシング装置は、互いに異なる第１領域、第２領域、及び第３領域を含むイメージセンサと、前記第１領域から生成された第１ピクセル信号、前記第２領域から生成された第２ピクセル信号、及び前記第３領域から生成された第３ピクセル信号を受信するイメージ信号プロセッサと、を有し、前記イメージ信号プロセッサは、前記第１ピクセル信号に対する補正を行って第１補正ピクセル信号を生成し、前記第２ピクセル信号に対する補正を行って第２補正ピクセル信号を生成し、前記第３ピクセル信号に対する補正を行って第３補正ピクセル信号を生成し、前記第１ピクセル信号に基づいて第１ピクセル信号分散値を計算し、前記第２ピクセル信号に基づいて第２ピクセル信号分散値を計算し、前記第３ピクセル信号に基づいて第３ピクセル信号分散値を計算し、前記第１補正ピクセル信号に基づいて第１補正ピクセル信号分散値を計算し、前記第２補正ピクセル信号に基づいて第２補正ピクセル信号分散値を計算し、前記第３補正ピクセル信号に基づいて第３補正ピクセル信号分散値を計算し、前記第３ピクセル信号分散値と前記第３補正ピクセル信号分散値との比較に基づいて第１グラデーション確率値を計算し、前記第３ピクセル信号分散値は、前記第３補正ピクセル信号分散値より大きいことを特徴とする。
上記目的を達成するためになされた本発明によるイメージ信号プロセッサの動作方法は、複数の第１ピクセル値を含む第１ピクセル信号、複数の第２ピクセル値を含む第２ピクセル信号、及び複数の第３ピクセル値を含む第３ピクセル信号を受信する段階と、前記第１ピクセル値に対する第１グラジエントを測定し、前記第２ピクセル値に対する第２グラジエントを測定し、前記第３ピクセル値に対する第３グラジエントを測定する段階と、前記第１グラジエントに基づいて前記第１ピクセル値を補正して第１補正ピクセル値を生成し、前記第２グラジエントに基づいて前記第２ピクセル値を補正して第２補正ピクセル値を生成し、前記第３グラジエントに基づいて前記第３ピクセル値を補正して第３補正ピクセル値を生成する段階と、前記第１ピクセル値に基づいて第１分散値を生成し、前記第２ピクセル値に基づいて第２分散値を生成し、前記第３ピクセル値に基づいて第３分散値を生成する段階と、前記第１補正ピクセル値に基づいて第４分散値を生成し、前記第２補正ピクセル値に基づいて第５分散値を生成し、前記第３補正ピクセル値に基づいて第６分散値を生成する段階と、前記第１分散値と前記第４分散値とを比較して前記第１ピクセル信号をフラット領域として決定する段階と、前記第２分散値と前記第５分散値とを比較して前記第２ピクセル信号をエッジ領域として決定する段階と、前記第３分散値と前記第６分散値とを比較して前記第３ピクセル信号をグラデーション領域として決定する段階と、を有することを特徴とする。
本発明に係るイメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置によれば、ピクセル信号をフラット領域、エッジ領域、及びグラデーション領域に区分し、区分した領域別に補正して、出力されるイメージ信号の品質を改善させることができる。
本発明の実施形態によるイメージセンシング装置の概略構成を示すブロック図である。 本発明の実施形態によるイメージセンサの概念的なレイアウトを示す斜視図である。 本発明の実施形態によるイメージセンサの概略構成を示す上面図である。 図３のピクセルアレイを説明するための図である。 本発明の実施形態によるピクセル信号を説明するための図である。 図５の第１～第３領域から出力される第１～第３ピクセル信号に関するイメージである。 図６の第１～第３ピクセル信号のピクセル値を説明するための図である。 本発明の実施形態によるイメージ信号プロセッサの概略構成を示すブロック図である。 本発明の実施形態によるグラデーション検出モジュールの動作方法を説明するためのフローチャートである。 本発明の実施形態による分散値を生成するグラデーション検出モジュールの概略構成を示すブロック図である。 図１０のグラデーション検出モジュールの第３ピクセル信号に対する補正方法を説明するための図である。 本発明の実施形態によるグラデーションマップを生成するグラデーション検出モジュールの概略構成及び動作を説明するためのブロック図である。 図１２での分散値と補正分散値の比較によって計算されるグラデーション確率値に対する表である。 図１２での分散値と補正分散値の比較に基づいて各ピクセル信号をフラット領域、エッジ領域、及びグラデーション領域の内の一つに決定する動作を説明するためのフローチャートである。 本発明の実施形態によるグラデーションマップ生成を説明するための図である。 本発明の実施形態による最終補正ピクセル信号を生成する方法説明するためのフローチャートである。 本発明の実施形態による補正モジュールの概略構成及び動作を説明するためのブロック図である。 ピクセル信号と最終補正ピクセル信号を比較したイメージである。 本発明の他の実施形態による補正モジュールの概略構成及び動作を説明するためのブロック図である。 本発明の他の実施形態によるイメージ信号プロセッサの概略構成を示すブロック図である。 図２０の補正モジュールの概略構成を示すブロック図である。 本発明の実施形態による電子装置の概略構成を示すブロック図である。 本発明の他の実施形態による電子装置の概略構成を示すブロック図である。 本発明の他の実施形態によるイメージセンサの概念的なレイアウトを示す斜視図である。 本発明の他の実施形態によるマルチカメラモジュールを含む電子装置の概略構成を説明するためのブロック図である。 図２５のカメラモジュールの部分詳細を示すブロック図である。
次に、本発明に係るイメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置を実施するための形態の具体例を図面を参照しながら説明する。
図１は、本発明の実施形態によるイメージセンシング装置の概略構成を示すブロック図である。
図１を参照すると、イメージセンシング装置１は、イメージセンサ１００とイメージ信号プロセッサ４００を含む。
イメージセンサ１００は、光を用いてセンシング対象のイメージをセンシングして、ピクセル信号（ＳＩＧ＿ＰＸ）を生成する。
一実施形態で、生成されたピクセル信号（ＳＩＧ＿ＰＸ）は、例えば、デジタル信号であり得るが、本発明の技術的思想による実施形態はこれに制限されるものではない。
ピクセル信号（ＳＩＧ＿ＰＸ）は、イメージ信号プロセッサ４００に提供されて処理される。
イメージ信号プロセッサ４００は、イメージセンサ１００のバッファ部１１７０から出力されたピクセル信号（ＳＩＧ＿ＰＸ）を受信して受信したピクセル信号（ＳＩＧ＿ＰＸ）をディスプレイに容易なように加工又は処理する。
一実施形態で、イメージ信号プロセッサ４００は、イメージセンサ１００で出力されたピクセル信号（ＳＩＧ＿ＰＸ）に対してデジタルビニングを行う。
この際、イメージセンサ１００から出力されたピクセル信号（ＳＩＧ＿ＰＸ）は、アナログビニングなしにピクセルアレイＰＡからのｒａｗイメージ信号であり得、アナログビニングが既に行われたピクセル信号（ＳＩＧ＿ＰＸ）でもあり得る。
一実施形態で、イメージセンサ１００とイメージ信号プロセッサ４００は、図に示すように互いに分離して配置される。
例えば、イメージセンサ１００が第１チップに搭載され、イメージ信号プロセッサ４００が第２チップに搭載されて所定のインターフェースを介して互いに通信する。
しかし、実施形態はこれに制限されるものではなく、イメージセンサ１００とイメージ信号プロセッサ４００は、一つのパッケージ、例えば、ＭＣＰ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）として実現することができる。
イメージセンサ１００は、コントロールレジスタブロック１１１０、タイミングジェネレータ１１２０、ロウ（ｒｏｗ）ドライバ１１３０、ピクセルアレイＰＡ、リードアウト回路１１５０、ランプ信号生成器１１６０、バッファ部１１７０を含む。
コントロールレジスタブロック１１１０は、イメージセンサ１００の動作を全体的に制御する。
特に、コントロールレジスタブロック１１１０は、タイミングジェネレータ１１２０、ランプ信号生成器１１６０、及びバッファ部１１７０に直接動作信号を伝送する。
タイミングジェネレータ１１２０は、イメージセンサ１００のいくつの構成要素の動作タイミングの基準になる信号を発生させる。
タイミングジェネレータ１１２０で発生した動作タイミング基準信号は、ロウドライバ１１３０、リードアウト回路１１５０、ランプ信号生成器１１６０等に伝達される。
ランプ信号生成器１１６０は、リードアウト回路１１５０に使用されるランプ信号を生成して伝送する。
例えば、リードアウト回路１１５０は、相関二重サンプラ（ＣＤＳ）、比較器などを含み得るが、ランプ信号生成器１１６０は、相関二重サンプラ（ＣＤＳ）、比較器などに使用されるランプ信号を生成して伝送する。
バッファ部１１７０は、例えば、ラッチ部を含む。
バッファ部１１７０は、外部に提供するピクセル信号（ＳＩＧ＿ＰＸ）を一時的に保存し、ピクセル信号（ＳＩＧ＿ＰＸ）を外部メモリ又は外部装置に伝送する。
バッファ部１１７０は、ＤＲＡＭ又はＳＲＡＭのようなメモリを含み得る。
ピクセルアレイＰＡは、外部イメージをセンシングする。
ピクセルアレイＰＡは、複数のピクセル（又は単位ピクセル）を含む。
ロウドライバ１１３０は、ピクセルアレイＰＡのロウ（ｒｏｗ）を選択的に活性化させる。
リードアウト回路１１５０は、ピクセルアレイＰＡから提供されたピクセル信号をサンプリングし、これをランプ信号と比較した後、比較結果に基づいてアナログイメージ信号（データ）をデジタルイメージ信号（データ）に変換する。
図２は、本発明の実施形態によるイメージセンサの概念的なレイアウトを示す斜視図である。
図２を参照すると、本実施形態のイメージセンサ１００は、積層された上部チップ２００と下部チップ３００を含む。
上部チップ２００には複数のピクセルが２次元アレイ構造で配置される。
すなわち、上部チップ２００は、ピクセルアレイＰＡを含む。
下部チップ３００は、ロジック領域ＬＣとメモリ領域などを含む。
下部チップ３００は、上部チップ２００の下部に配置され、上部チップ２００に電気的に接続される。
下部チップ３００は、上部チップ２００から伝達されたピクセル信号が下部チップ３００のロジック領域ＬＣに伝達されるようにする。
下部チップ３００のロジック領域ＬＣにはロジック素子が配置される。
ロジック素子は、ピクセルからのピクセル信号を処理するための回路を含む。
例えば、ロジック素子は、図１のコントロールレジスタブロック１１１０、タイミングジェネレータ１１２０、ロウ（ｒｏｗ）ドライバ１１３０、リードアウト回路１１５０、ランプ信号生成器１１６０等を含み得る。
図３は、本発明の実施形態によるイメージセンサの概略構成を示す上面図である。
図４は、図３のピクセルアレイを説明するための図である。
図３を参照すると、イメージセンサ１００の上面にはピクセルアレイＰＡが配置される。
詳細にはイメージセンサ１００の上部チップ２００の上面にピクセルアレイＰＡが配置される。
ピクセルアレイＰＡは、入射する光を受信する。
ここで、ピクセルアレイＰＡは、各ピクセルごとに配置されたフォトダイオードＰＤ及びマイクロレンズＭＬを含む。
フォトダイオードＰＤは、ピクセルアレイＰＡに含まれる基板内に配置される。
フォトダイオードＰＤは、光電変換部に該当し、ピクセルアレイＰＡに入射した光を電荷に変換させる。
マイクロレンズＭＬは、フォトダイオードＰＤごとに配置される。
すなわち、マイクロレンズＭＬは、ピクセルアレイＰＡのピクセルごとに配置され、光を受信する。
マイクロレンズＭＬを通過した光は、フォトダイオードＰＤに伝達される。
本図では、ピクセルアレイＰＡのピクセルが第１方向Ｘ及び第２方向Ｙに規則的に配列されたものを示したが、本発明の実施形態はこれに制限されない。
図４を参照すると、ピクセルアレイＰＡは、第１～第８グリーンピクセル（Ｇ１～Ｇ８）、第１～第４ブルーピクセル（Ｂ１～Ｂ４）、及び第１～第４レッドピクセル（Ｒ１～Ｒ４）を含む。
ピクセルアレイＰＡの複数のピクセルは、ＲＧＢベイヤーパターンで配列される。
例えば、第１～第８グリーンピクセル（Ｇ１～Ｇ８）を含むグリーンピクセルは、第１～第４ブルーピクセル（Ｂ１～Ｂ４）を含むブルーピクセル、及び第１～第４レッドピクセル（Ｒ１～Ｒ４）を含むレッドピクセルを囲む。
このようにピクセルアレイＰＡの複数のピクセルは、規則的に配列される。
また、本発明の実施形態はこれに制限されず、ピクセルアレイＰＡは、ＲＧＢテトラパターン又はノナパターンで配列することもできる。
また、ピクセルアレイＰＡは、ＹＵＶパターンで配列することもできる。
第１～第８グリーンピクセル（Ｇ１～Ｇ８）は、それぞれに対応する第１～第８グリーンピクセル信号を出力する。
第１～第４ブルーピクセル（Ｂ１～Ｂ４）は、それぞれに対応する第１～第４ブルーピクセル信号を出力する。
第１～第４レッドピクセル（Ｒ１～Ｒ４）は、それぞれに対応する第１～第４レッドピクセル信号を出力する。
すなわち、ピクセルアレイＰＡが出力する一つのフレームのイメージ信号又はピクセル信号（ＳＩＧ＿ＰＸ）は、第１～第８グリーンピクセル信号、第１～第４ブルーピクセル信号、及び第１～第４レッドピクセル信号を含む。
しかし、本発明の実施形態はこれに制限されず、ピクセルアレイＰＡから出力されるピクセル信号（ＳＩＧ＿ＰＸ）は、ＹＵＶパターンのイメージ信号を含み得る。
図５は、本発明の実施形態によるピクセル信号を説明するための図であり、図６は、図５の第１～第３領域から出力される第１～第３ピクセル信号に関するイメージであり、図７は、図６の第１～第３ピクセル信号のピクセル値を説明するための図である。
図５を参照すると、ピクセル信号（ＳＩＧ＿ＰＸ）は、第１ピクセル信号ＰＳ１、第２ピクセル信号ＰＳ２、及び第３ピクセル信号ＰＳ３を含む。
ここで、第１ピクセル信号ＰＳ１は、ピクセルアレイＰＡの第１領域ＲＧ１から生成されて出力されるピクセル信号に該当する。
また、第２ピクセル信号ＰＳ２は、ピクセルアレイＰＡの第２領域ＲＧ２から生成されて出力されるピクセル信号に該当し、第３ピクセル信号ＰＳ３は、ピクセルアレイＰＡの第３領域ＲＧ３から生成されて出力されるピクセル信号に該当する。
ここで第１～第３領域（ＲＧ１～ＲＧ３）は、例示的なものである。
また、第１～第３領域（ＲＧ１～ＲＧ３）は、ピクセル信号（ＳＩＧ＿ＰＸ）に対応する領域を意味する。
ピクセル信号（ＳＩＧ＿ＰＸ）は、イメージセンサ１００から出力される一つのフレームのイメージ信号に該当する。
すなわち、ピクセル信号（ＳＩＧ＿ＰＸ）は、同時にイメージセンサ１００から出力される第１～第３ピクセル信号（ＰＳ１～ＰＳ３）を含む。
ピクセル信号（ＳＩＧ＿ＰＸ）は、イメージ信号プロセッサ４００により補正され、ディスプレイに出力される。
一実施形態で、第１ピクセル信号ＰＳ１は、第１～第ｎピクセル値（Ｐａ１～Ｐａｎ）とセンターピクセル値Ｐａｃを含む。
ここで、センターピクセル値Ｐａｃは、第１ピクセル信号ＰＳ１に該当する第１領域ＲＧ１の中央部分に該当し、第１～第ｎピクセル値（Ｐａ１～Ｐａｎ）は、センターピクセル値Ｐａｃの周辺領域に該当する。
ここで、センターピクセル値Ｐａｃは、第１ピクセル信号ＰＳ１で補正の基準になるピクセル値に該当する。
これに関連する詳細な内容は後述する。
第２ピクセル信号ＰＳ２は、第１～第ｎピクセル値（Ｐｂ１～Ｐｂｎ）とセンターピクセル値Ｐｂｃを含む。
ここで、センターピクセル値Ｐｂｃは、第２ピクセル信号ＰＳ２に該当する第２領域ＲＧ２の中央部分に該当し、第１～第ｎピクセル値（Ｐｂ１～Ｐｂｎ）は、センターピクセル値Ｐｂｃの周辺領域に該当する。
ここで、センターピクセル値Ｐｂｃは、第２ピクセル信号ＰＳ２で補正の基準になるピクセル値に該当する。
第３ピクセル信号ＰＳ３は第１～第ｎピクセル値（Ｐｃ１～Ｐｃｎ）とセンターピクセル値Ｐｃｃを含む。
ここで、センターピクセル値Ｐｃｃは、第３ピクセル信号ＰＳ３に該当する第３領域ＲＧ３の中央部分に該当し、第１～第ｎピクセル値（Ｐｃ１～Ｐｃｎ）は、センターピクセル値Ｐｃｃの周辺領域に該当する。
ここで、センターピクセル値Ｐｃｃは、第３ピクセル信号ＰＳ３で補正の基準になるピクセル値に該当する。
図６及び図７を参照すると、第１ピクセル信号ＰＳ１は、フラット領域（ｆｌａｔ ｒｅｇｉｏｎ）に該当する。
すなわち、第１ピクセル信号ＰＳ１は、比較的均一なピクセル値を有するピクセルから出力される。
また、第１領域ＲＧ１は、フラット領域に該当する。
例えば、第１領域ＲＧ１で第１方向Ｘに沿って配列されるピクセルから出力されるピクセル値は、ほぼ均一な値に該当する。
すなわち、第１ピクセル信号ＰＳ１は、互いに差が大きいピクセル値を含まない。
第２ピクセル信号ＰＳ２は、エッジ領域（ｅｄｇｅ ｒｅｇｉｏｎ）に該当する。
第２ピクセル信号ＰＳ２は、比較的大きな差を有するピクセル値を含む。
すなわち、第２ピクセル信号ＰＳ２は、互いに異なる明るさを有する。
また、第２領域ＲＧ２は、エッジ領域に該当する。
第２領域ＲＧ２で第１方向Ｘに沿って配列されるピクセルから出力されるピクセル値の間の差は比較的大きい。
第３ピクセル信号ＰＳ３は、グラデーション領域（ｇｒａｄａｔｉｏｎ ｒｅｇｉｏｎ）に該当する。
第３ピクセル信号ＰＳ３は、徐々に増加するピクセル値を含む。
第３ピクセル信号ＰＳ３は、徐々に明るくなるピクセル値を含む。
第３領域ＲＧ３は、グラデーション領域に該当する。
第３領域ＲＧ３で第１方向Ｘに沿って配列されるピクセルから出力されるピクセル値は徐々に増加し、比較的急激には増加しない。
まとめると、第１ピクセル信号ＰＳ１は、フラット領域に該当し、第２ピクセル信号ＰＳ２は、エッジ領域に該当し、第３ピクセル信号ＰＳ３は、グラデーション領域に該当する。
すなわち、ピクセル信号（ＳＩＧ＿ＰＸ）は、フラット領域、エッジ領域、及びグラデーション領域をすべて含む。
ここでグラデーション領域は、被写体の顔、傾いた平面などを撮影したイメージに該当する。
イメージ信号プロセッサ４００は、ピクセル信号（ＳＩＧ＿ＰＸ）をフラット領域、エッジ領域、及びグラデーション領域に区分する。
また、イメージ信号プロセッサ４００は、ピクセル信号（ＳＩＧ＿ＰＸ）を区分した領域別に補正し、出力されるイメージ信号の品質を改善させることができる。
これについてのより詳細な説明は、以下で説明する。
図８は、本発明の実施形態によるイメージ信号プロセッサの概略構成を示すブロック図である。
図８を参照すると、イメージ信号プロセッサ４００は、グラデーション検出モジュール４１０及び補正モジュール４２０を含む。
グラデーション検出モジュール４１０は、イメージセンサ１００からピクセル信号（ＳＩＧ＿ＰＸ）を受信し、ピクセル信号（ＳＩＧ＿ＰＸ）に基づいてグラデーションマップＧＲＭを生成する。
グラデーションマップＧＲＭは、ピクセル信号（ＳＩＧ＿ＰＸ）でグラデーション領域に該当する確率を含む。
補正モジュール４２０は、イメージ信号プロセッサ４００からピクセル信号（ＳＩＧ＿ＰＸ）を受信し、グラデーション検出モジュール４１０からグラデーションマップＧＲＭを受信する。
補正モジュール４２０は、グラデーションマップＧＲＭに基づいてピクセル信号（ＳＩＧ＿ＰＸ）を補正することによって、最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）を生成する。
すなわち、最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）は、グラデーションマップＧＲＭに該当するグラデーション領域に含まれるピクセル値に対して補正を行った結果である。
そのため、最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）のノイズ（ｎｏｉｓｅ）は、ピクセル信号（ＳＩＧ＿ＰＸ）のノイズに比べて改善され得る。
図９は、本発明の実施形態によるグラデーション検出モジュールの動作方法を説明するためのフローチャートであり、図１０は、本発明の実施形態による分散値を生成するグラデーション検出モジュールの概略構成を示すブロック図であり、図１１は、図１０のグラデーション検出モジュールの第３ピクセル信号に対する補正方法を説明するための図である。
図９～図１０を参照すると、グラデーション検出モジュール４１０は、ピクセル信号（ＳＩＧ＿ＰＸ）のグラジエントＧＲＤを測定する（ステップＳ５００）。
例えば、グラデーション検出モジュール４１０に含まれるグラジエント測定モジュール４１１は、ピクセル信号（ＳＩＧ＿ＰＸ）のグラジエントＧＲＤを測定する。
ここで、グラジエント測定モジュール４１１は、第１～第３ピクセル信号（ＰＳ１～ＰＳ３）それぞれのグラジエントＧＲＤを測定する。
グラジエントＧＲＤとは複数のピクセルに対するピクセル値の傾きを意味する。
図１１を参照すると、第３ピクセル信号ＰＳ３は、複数のピクセルに対応する複数のピクセル値を含む。
すなわち、第３ピクセル信号ＰＳ３は、図５を参照して説明した第１～第ｎピクセル値（Ｐｃ１～Ｐｃｎ）とセンターピクセル値Ｐｃｃを含む。
本実施形態では、グラデーション領域に該当する第３ピクセル信号ＰＳ３に対してグラジエントＧＲＤ測定を行うことで説明されるが、本発明の実施形態はこれに制限されない。
センターピクセル値Ｐｃｃを出力するピクセルから第１方向Ｘに配置されるピクセルから出力されるピクセル値は、センターピクセル値Ｐｃｃより大きい。
また、センターピクセル値Ｐｃｃを出力するピクセルから第１方向Ｘと反対になる方向に配置されるピクセルから出力されるピクセル値は、センターピクセル値Ｐｃｃより小さい。
すなわち、第３ピクセル信号ＰＳ３のグラジエントＧＲＤは、正（ｐｏｓｉｔｉｖｅ）の値に該当する。
また、第３ピクセル信号ＰＳ３に含まれるピクセル値は、第１方向Ｘに沿って徐々に増加し、急激には増加しない。
グラジエント測定モジュール４１１は、下記に示す数式１を用いて、第１方向ＸへのグラジエントＧＲＤである第１グラジエントａｘを生成し、下記に示す数式２を用いて第２方向ＹへのグラジエントＧＲＤである第２グラジエントａｙを生成する。
ここで、第１方向Ｘと第２方向Ｙは、互いに交差する。
しかし、本発明の実施形態はこれに制限されず、第１方向Ｘと第２方向Ｙは互いに交差しなくてもよい。
Figure 2023079210000002
Figure 2023079210000003
ここで、Ｉｎは、ｎ番目ピクセルのピクセル値を意味し、ｎｘ及びｎｙは、ｎ番目ピクセルのｘ軸とｙ軸に対する位置を意味し、ｃｘ及びｃｙは、センターピクセルのｘ軸とｙ軸に対する位置を意味する。
すなわち、各ピクセルのＩｎは、第１～第ｎピクセル値（Ｐｃ１～Ｐｃｎ）とセンターピクセル値Ｐｃｃを含む。
例えば、グラジエント測定モジュール４１１は、線形回帰モデル（ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）を用いて第３ピクセル信号ＰＳ３に対するグラジエントＧＲＤを測定する。
図１１は、第３ピクセル信号ＰＳ３に対してグラジエントＧＲＤを測定することのみを示すが、グラジエント測定モジュール４１１は、第１及び第２ピクセル信号（ＰＳ１及びＰＳ２）に対してグラジエントＧＲＤを測定することができる。
また、第１～第３ピクセル信号（ＰＳ１～ＰＳ３）に対して測定されたグラジエントＧＲＤは、互いに異なり得る。
例えば、第２ピクセル信号ＰＳ２に対して測定されたグラジエントＧＲＤが第１及び第３ピクセル信号（ＰＳ１及びＰＳ３）に対して測定されたグラジエントＧＲＤより大きくてもよい。
再び、図９及び図１０を参照すると、グラデーション検出モジュール４１０は、グラジエントＧＲＤに基づいてピクセル信号（ＳＩＧ＿ＰＸ）を補正する（ステップＳ５０１）。
例えば、グラジエント補正モジュール４１２は、第１ピクセル信号ＰＳ１に対するグラジエントＧＲＤに基づいて第１ピクセル信号ＰＳ１を補正し、第２ピクセル信号ＰＳ２に対するグラジエントＧＲＤに基づいて第２ピクセル信号ＰＳ２を補正し、第３ピクセル信号ＰＳ３に対するグラジエントＧＲＤに基づいて第３ピクセル信号ＰＳ３を補正する。
そのため、グラジエント補正モジュール４１２は、第１補正ピクセル信号（ＰＳ１＿Ｃ）、第２補正ピクセル信号（ＰＳ２＿Ｃ）、及び第３補正ピクセル信号（ＰＳ３＿Ｃ）を含む補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）を出力する。
図１１を参照すると、グラジエント補正モジュール４１２は、第３ピクセル信号ＰＳ３に対するグラジエントＧＲＤに基づいて第３ピクセル信号ＰＳ３を補正することによって、第３補正ピクセル信号（ＰＳ３＿Ｃ）を生成する。
ここで、グラジエント補正モジュール４１２は、下記に示す数式３を用いて第３ピクセル信号ＰＳ３に対するグラジエントＧＲＤに基づいて第３ピクセル信号ＰＳ３を補正する。
Figure 2023079210000004
ここで、Ｉ’ｎは、ｎ番目ピクセルの補正ピクセル値を意味する。
出力される第３補正ピクセル信号（ＰＳ３＿Ｃ）は、第１方向Ｘ又は第２方向Ｙに沿ってほぼ均等のピクセル値を含む。
すなわち、第１方向Ｘ又は第２方向Ｙへの第３補正ピクセル信号（ＰＳ３＿Ｃ）のグラジエントは、第３ピクセル信号ＰＳ３のグラジエントより小さい。
本実施形態では第３補正ピクセル信号（ＰＳ３＿Ｃ）に対する生成のみを示したが、第１及び第２補正ピクセル信号（ＰＳ１＿Ｃ及びＰＳ２＿Ｃ）に対する補正動作もまた、これと同一である。
しかし、第１及び第２補正ピクセル信号（ＰＳ１＿Ｃ及びＰＳ２＿Ｃ）のピクセル値は、第３補正ピクセル信号（ＰＳ３＿Ｃ）のピクセル値と異なってもよい。
再び、図９及び図１０を参照すると、グラデーション検出モジュール４１０は、ピクセル信号（ＳＩＧ＿ＰＸ）に基づいて分散Ｖを計算し、補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に基づいて補正分散値（Ｖ＿Ｃ）を計算する（ステップＳ５０２）。
すなわち、グラデーション検出モジュール４１０に含まれる分散値計算モジュール４１３は、ピクセル信号（ＳＩＧ＿ＰＸ）に基づいて分散Ｖを計算し、補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に基づいて補正分散値（Ｖ＿Ｃ）を計算する。
分散値計算モジュール４１３は、ピクセル信号（ＳＩＧ＿ＰＸ）と補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）を受信する。
分散値計算モジュール４１３は、下記に示す数式４を用いてピクセル信号（ＳＩＧ＿ＰＸ）に含まれる第１～第３ピクセル信号（ＰＳ１～ＰＳ３）に対する分散Ｖを計算する。
Figure 2023079210000005
 ここで、Ｉｎは、ｎ番目ピクセルのピクセル値を意味する。
Ｎは、全体ピクセルの個数を意味する。
そのため、分散値計算モジュール４１３は、第１ピクセル信号ＰＳ１から第１ピクセル信号分散値（Ｖ＿ＰＳ１）を計算し、第２ピクセル信号ＰＳ２から第２ピクセル信号分散値（Ｖ＿ＰＳ２）を計算し、第３ピクセル信号ＰＳ３から第３ピクセル信号分散値（Ｖ＿ＰＳ３）を計算する。
分散値計算モジュール４１３は、下記に示す数式５を用いて補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に含まれる第１～第３補正ピクセル信号（ＰＳ１＿Ｃ～ＰＳ３＿Ｃ）に対する補正分散値（Ｖ＿Ｃ）を計算する。
Figure 2023079210000006
 ここで、Ｉ’ｎは、ｎ番目ピクセルの補正ピクセル値を意味する。
そのため、分散値計算モジュール４１３は、第１補正ピクセル信号（ＰＳ１＿Ｃ）から第１補正ピクセル信号分散値（Ｖ＿ＰＳ１＿Ｃ）を計算し、第２補正ピクセル信号（ＰＳ２＿Ｃ）から第２補正ピクセル信号分散値（Ｖ＿ＰＳ２＿Ｃ）を計算し、第３補正ピクセル信号（ＰＳ３＿Ｃ）から第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）を計算する。
図１２は、本発明の実施形態によるグラデーションマップを生成するグラデーション検出モジュールの概略構成及び動作を説明するためのブロック図である。
図１３は、図１２での分散値と補正分散値の比較によって計算されるグラデーション確率値に対する表である。
再び、図９を参照すると、グラデーション検出モジュール４１０は、分散Ｖと補正分散値（Ｖ＿Ｃ）の比較に基づいてグラデーション確率値ＧＰＲを計算する（ステップＳ５０３）。
図１２及び図１３を参照すると、グラデーション検出モジュール４１０に含まれるグラデーション確率計算モジュール４１４は、分散Ｖと補正分散値（Ｖ＿Ｃ）の比較に基づいてグラデーション確率値ＧＰＲを計算する。
第１ピクセル信号ＰＳ１に対する分散Ｖは、第１ピクセル信号分散値（Ｖ＿ＰＳ１）に該当し、第１補正ピクセル信号（ＰＳ１＿Ｃ）に対する補正分散値（Ｖ＿Ｃ）は、第１補正ピクセル信号分散値（Ｖ＿ＰＳ１＿Ｃ）に該当する。
第１ピクセル信号ＰＳ１に対する第１領域ＲＧ１は、フラット領域に該当する。
第１ピクセル信号分散値（Ｖ＿ＰＳ１）は、比較的小さい値に該当し、第１補正ピクセル信号分散値（Ｖ＿ＰＳ１＿Ｃ）もまた、比較的小さい値に該当する。
また、第１ピクセル信号分散値（Ｖ＿ＰＳ１）と第１補正ピクセル信号分散値（Ｖ＿ＰＳ１＿Ｃ）は、類似の値を有する。
そのため、グラデーション確率計算モジュール４１４は、第１ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ１）を出力する。
ここで、第１ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ１）は、「０」と「１」の間の値の内の「０」に近い値に該当する。
すなわち、第１ピクセル信号ＰＳ１がフラット領域に該当し、グラデーション領域に該当しないために、第１ピクセル信号グラデーション確率値（ＧＲＰ＿ＰＳ１）は、０に近い値である。
また、グラデーション検出モジュール４１０は、第１ピクセル信号分散値（Ｖ＿ＰＳ１）と第１補正ピクセル信号分散値（Ｖ＿ＰＳ１＿Ｃ）がすべて比較的小さい値に該当する場合に、第１ピクセル信号ＰＳ１をフラット領域として区分する。
第２ピクセル信号ＰＳ２に対する分散Ｖは、第２ピクセル信号分散値（Ｖ＿ＰＳ２）に該当し、第２補正ピクセル信号（ＰＳ２＿Ｃ）に対する補正分散値（Ｖ＿Ｃ）は、第２補正ピクセル信号分散値（Ｖ＿ＰＳ２＿Ｃ）に該当する。
第２ピクセル信号ＰＳ２に対する第２領域ＲＧ２は、エッジ領域に該当する。
第２ピクセル信号分散値（Ｖ＿ＰＳ２）は、比較的大きい値に該当し、第２補正ピクセル信号分散値（Ｖ＿ＰＳ２＿Ｃ）もまた、比較的大きい値に該当する。
また、第２ピクセル信号分散値（Ｖ＿ＰＳ２）と第２補正ピクセル信号分散値（Ｖ＿ＰＳ２＿Ｃ）は、類似の値を有する。
そのため、グラデーション確率計算モジュール４１４は、第２ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ２）を出力する。
ここで、第２ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ２）は、「０」と「１」の間の値の内の「０」に近い値に該当する。
すなわち、第２ピクセル信号ＰＳ２がエッジ領域に該当し、グラデーション領域に該当しないため、第２ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ２）は、０に近い値である。
また、グラデーション検出モジュール４１０は、第２ピクセル信号分散値（Ｖ＿ＰＳ２）と第２補正ピクセル信号分散値（Ｖ＿ＰＳ２＿Ｃ）がすべて比較的大きい値に該当する場合に、第２ピクセル信号ＰＳ２をエッジ領域として区分する。
第３ピクセル信号ＰＳ３に対する分散Ｖは、第３ピクセル信号分散値（Ｖ＿ＰＳ３）に該当し、第３補正ピクセル信号（ＰＳ３＿Ｃ）に対する補正分散値（Ｖ＿Ｃ）は、第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）に該当する。
第３ピクセル信号ＰＳ３に対する第３領域ＲＧ３は、グラデーション領域に該当する。
第３ピクセル信号分散値（Ｖ＿ＰＳ３）は、比較的大きい値に該当し、第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）は、比較的小さい値に該当する。
図１１を参照すると、第３ピクセル信号ＰＳ３のピクセル値は正の傾きを有するが、第３補正ピクセル信号（ＰＳ３＿Ｃ）のピクセル値は、０に近い傾きを有する。
したがって、第３ピクセル信号分散値（Ｖ＿ＰＳ３）は、第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）より小さい値に該当する。
第３ピクセル信号分散値（Ｖ＿ＰＳ３）が第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）より小さい値に該当する場合、グラデーション確率計算モジュール４１４は、第３ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ３）を出力する。
ここで、第３ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ３）は、「０」と「１」の間の値の内の「１」に近い値に該当する。
すなわち、第３ピクセル信号ＰＳ３がグラデーション領域に該当するので、第３ピクセル信号グラデーション確率値（ＧＲＰ＿ＰＳ３）は、「１」に近い値である。
また、グラデーション検出モジュール４１０は、第３ピクセル信号分散値（Ｖ＿ＰＳ３）と第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）の差が比較的大きい値に該当する場合に、第３ピクセル信号ＰＳ３をグラデーション領域として区分する。
一実施形態で、第３ピクセル信号分散値（Ｖ＿ＰＳ３）と第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）の差は、第１ピクセル信号分散値（Ｖ＿ＰＳ１）と第１補正ピクセル信号分散値（Ｖ＿ＰＳ１＿Ｃ）の差より大きい。
また、第３ピクセル信号分散値（Ｖ＿ＰＳ３）と第３補正ピクセル信号分散値（Ｖ＿ＰＳ３＿Ｃ）の差は、第２ピクセル信号分散値（Ｖ＿ＰＳ２）と第２補正ピクセル信号分散値（Ｖ＿ＰＳ２＿Ｃ）の差より大きい。
まとめると、グラデーション確率計算モジュール４１４は、分散Ｖ及び補正分散値（Ｖ＿Ｃ）の比較に基づいてグラデーション確率値ＧＰＲを決定し出力する。
グラデーション検出モジュール４１０は、ピクセル信号（ＳＩＧ＿ＰＸ）に対して上記工程を行うことによって、第１～第３ピクセル信号（ＰＳ１～ＰＳ３）をフラット領域、エッジ領域、及びグラデーション領域に区分し、グラデーション領域に該当するかどうかをグラデーション確率値ＧＰＲで示す。
イメージ信号プロセッサ４００が生成されたグラデーション確率値ＧＰＲを用いてピクセル信号（ＳＩＧ＿ＰＸ）に対する補正を行うことによってイメージ品質が改善される。
図１４は、図１２での分散値と補正分散値の比較に基づいて各ピクセル信号をフラット領域、エッジ領域、及びグラデーション領域の内の一つに決定する動作を説明するためのフローチャートである。
図１０及び図１４を参照すると、分散値計算モジュール４１３は、分散Ｖ及び補正分散値（Ｖ＿Ｃ）を出力する（ステップＳ５１０）。
次に、グラデーション検出モジュール４１０は、分散Ｖ及び補正分散値（Ｖ＿Ｃ）に基づいて第１～第３ピクセル信号（ＰＳ１～ＰＳ３）をフラット領域、エッジ領域、及びグラデーション領域の内の一つに決定する。
補正分散値（Ｖ＿Ｃ）が分散Ｖと類似しない場合（ステップＳ５１１での「Ｎ」ｏ）、グラデーション検出モジュール４１０は、第３ピクセル信号ＰＳ３をグラデーション領域として決定し、第３ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ３）を生成する（ステップＳ５１３）。
すなわち、分散Ｖが補正分散値（Ｖ＿Ｃ）より大きい場合に、グラデーション検出モジュール４１０は、第３ピクセル信号ＰＳ３をグラデーション領域として決定する。
補正分散値（Ｖ＿Ｃ）が分散Ｖと類似する場合（ステップＳ５１１での「Ｙ」ｅｓ）、グラデーション検出モジュール４１０は、補正分散値（Ｖ＿Ｃ）と分散Ｖが大きい値であるかどうかを判断する（ステップＳ５１２）。
補正分散値（Ｖ＿Ｃ）と分散Ｖが比較的大きい値に該当しない場合（ステップＳ５１２での「Ｎ」ｏ）、グラデーション検出モジュール４１０は、第１ピクセル信号ＰＳ１をフラット領域として決定し、第１ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ１）を生成する（ステップＳ５１４）。
補正分散値（Ｖ＿Ｃ）と分散Ｖが比較的大きい値に該当する場合（ステップＳ５１２での「Ｙ」ｅｓ）、グラデーション検出モジュール４１０は、第２ピクセル信号ＰＳ２をエッジ領域として決定し、第２ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ２）を生成する（ステップＳ５１５）。
図１５は、本発明の実施形態によるグラデーションマップ生成を説明するための図である。
図９、図１２及び図１５を参照すると、グラデーション検出モジュール４１０に含まれるグラデーションマップ生成モジュール４１５は、グラデーション確率値ＧＰＲに基づいてグラデーションマップＧＲＭを生成する（図９のステップＳ５０４）。
グラデーションマップＧＲＭは、第１領域ＲＧ１及び第１ピクセル信号ＰＳ１に対応する第１ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ１）、第２領域ＲＧ２及び第２ピクセル信号ＰＳ２に対応する第２ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ２）と第３領域ＲＧ３及び第３ピクセル信号ＰＳ３に対応する第３ピクセル信号グラデーション確率値（ＧＰＲ＿ＰＳ３）を含む。
すなわち、グラデーションマップＧＲＭは、該当領域又はピクセル信号がグラデーション領域に該当する確率に関連する情報を含む。
結果的にグラデーションマップＧＲＭがグラデーション検出モジュール４１０から出力される。
図１６は、本発明の実施形態による最終補正ピクセル信号を生成する方法説明するためのフローチャートであり、図１７は、本発明の実施形態による補正モジュールの概略構成及び動作を説明するためのブロック図であり、図１８は、ピクセル信号と最終補正ピクセル信号を比較したイメージである。
図１６～図１８を参照すると、補正モジュール４２０は、ピクセル信号（ＳＩＧ＿ＰＸ）のグラジエントＧＲＤを測定する（ステップＳ５２０）。
例えば、補正モジュール４２０に含まれたグラジエント測定モジュール４２１は、第１～第３ピクセル信号（ＰＳ１～ＰＳ３）のグラジエントＧＲＤを測定する。
次に、グラジエント補正モジュール４２２は、グラジエントＧＲＤに基づいてピクセル信号（ＳＩＧ＿ＰＸ）を補正する（ステップＳ５２１）。
そのため、グラジエント補正モジュール４２２から補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）が出力される。
ここで、グラジエント測定モジュール４２１とグラジエント補正モジュール４２２は、グラジエント測定モジュール４１１とグラジエント補正モジュール４１２と同じ機能を行う。
エッジ保存スムージングフィルタ４２３は、受信したピクセル信号（ＳＩＧ＿ＰＸ）と補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に対してエッジ保存スムージングフィルタリング（ｅｄｇｅ ｐｒｅｓｅｒｖｉｎｇ ｓｍｏｏｔｈｉｎｇ ｆｉｌｔｅｒｉｎｇ）を実行する（ステップＳ５２２）。
ここで、エッジ保存スムージングフィルタリングは、エッジ領域に対するピクセル信号を保存し、エッジ領域でない領域に対するピクセル信号に対するノイズを除去する動作を意味する。
例えば、エッジ保存スムージングフィルタリングは、非線形平均（ｎｏｎ ｌｏｃａｌ ｍｅａｎ）アルゴリズムを含む。
エッジ保存スムージングフィルタ４２３は、下記に示す数式６を用いてピクセル信号（ＳＩＧ＿ＰＸ）に対してエッジ保存スムージングフィルタリングを実行する。
Figure 2023079210000007
 ここで、Ｉｎは、ピクセル信号（ＳＩＧ＿ＰＸ）のｎ番目ピクセルのピクセル値を意味する。
ｗｎは、Ｉｎの非線形平均加重値を意味する。
これにより、エッジ保存スムージングフィルタ４２３は、ピクセル信号（ＳＩＧ＿ＰＸ）に対する補正を行うことによって、第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）を生成する。
エッジ保存スムージングフィルタ４２３は、下記に示す数式７を用いて補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に対してエッジ保存スムージングフィルタリングを実行する。
Figure 2023079210000008
 ここで、Ｉ’ｎは、補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）のｎ番目ピクセルのピクセル値を意味する。
ｗ’ｎは、Ｉ’ｎの非線形平均加重値を意味する。
これにより、エッジ保存スムージングフィルタ４２３は、補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に対する補正を行うことによって、第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ２）を生成する。
次に、補正モジュール４２０に含まれるブレンドモジュール４２４は、第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）、第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ２）及びグラデーションマップＧＲＭに基づいて最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）を生成する（ステップＳ５２３）。
すなわち、ブレンドモジュール４２４は、第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ２）をグラデーションマップＧＲＭに該当するグラデーション確率値ＧＰＲに基づいて補正する。
また、ブレンドモジュール４２４は、第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）をグラデーションマップＧＲＭに該当するグラデーション確率値ＧＰＲに基づいて補正する。
また、ブレンドモジュール４２４は、グラデーションマップＧＲＭに基づいて補正した第１及び第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１及びＳＩＧ＿ＰＸ＿Ｃ２）をブレンドして最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）を生成する。
該当する工程は、下記に示す数式８のとおりである。
Figure 2023079210000009
 ここで、Ｏｕｔは、第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）のピクセル値に該当し、Ｏｕｔ’は、第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）のピクセル値に該当し、ＧＰＲは、各ピクセルに該当するグラデーション確率値ＧＰＲを意味する。
すなわち、該当ピクセルがグラデーション領域に該当する場合、最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）は、第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ２）に該当する。
また、該当ピクセルがグラデーション領域に該当しない場合、最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）は、第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）に該当する。
そのため、グラデーション領域に該当するピクセル値は補正され、イメージ品質が改善される。
以下、図１９を参照して本発明の他の実施形態による補正モジュール４２０’について説明する。
図１９は、本発明の他の実施形態による補正モジュールの概略構成及び動作を説明するためのブロック図である。
説明の便宜上、図１～図１８を用いて説明した内容と重複する部分は簡略に説明するか又は省略する。
図１９を参照すると、補正モジュール４２０’は、エッジ保存スムージングフィルタ４２３とブレンドモジュール４２４を含む。
すなわち、図１７を参照して説明した補正モジュール４２０とは異なり、補正モジュール４２０’は、グラジエント測定モジュール４２１とグラジエント補正モジュール４２２を含まなくてもよい。
ブレンドモジュール４２４は、ピクセル信号（ＳＩＧ＿ＰＸ）と第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）を受信する。
ブレンドモジュール４２４は、グラデーションマップＧＲＭに基づいてピクセル信号（ＳＩＧ＿ＰＸ）と第１補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ１）に対して補正を行う。
この際、ブレンドモジュール４２４は、第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ２）の代わりにピクセル信号（ＳＩＧ＿ＰＸ）とグラデーションマップＧＲＭのグラデーション確率値ＧＰＲを乗じて最終補正ピクセル信号（ＳＩＧ＿ＰＸ＿ＣＦ）を生成する。
以下、図２０及び図２１を参照して本発明の他の実施形態によるイメージ信号プロセッサ４００’について説明する。
図２０は、本発明の他の実施形態によるイメージ信号プロセッサの概略構成を示すブロック図であり、図２１は、図２０の補正モジュールの概略構成を示すブロック図である。
説明の便宜上、図１～図１８を用いて説明した内容と重複する部分は、簡略に説明するか又は省略する。
図２０及び図２１を参照すると、イメージ信号プロセッサ４００’は、グラデーション検出モジュール４１０及び補正モジュール４２０”を含む。
ここで補正モジュール４２０”は、グラデーション検出モジュール４１０からグラデーションマップＧＲＭだけでなく補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）も受信する。
補正モジュール４２０”に含まれるエッジ保存スムージングフィルタ４２３は、補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）に対して補正を行うことによって第２補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ２）を出力する。
本実施形態で、グラジエント補正モジュール４１２から生成される補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）が補正モジュール４２０”に伝達されることによって、補正ピクセル信号（ＳＩＧ＿ＰＸ＿Ｃ）を再び生成する必要はなく、電力を減少させることができる。
以下、図２２及び図２３を参照して、本発明の実施形態による電子装置（６００、６００’）について説明する。
図２２は、本発明の実施形態による電子装置の概略構成を示すブロック図であり、図２３は、本発明の他の実施形態による電子装置の概略構成を示すブロック図である。
説明の便宜上、図１～図２１を用いて説明した内容と重複する部分は簡略に説明するか又は省略する。
図２２を参照すると、電子装置６００は、カメラモジュール６１０及びアプリケーションプロセッサ６２０を含む。
アプリケーションプロセッサ６２０は、カメラモジュール６１０から出力されたイメージ信号を処理してディスプレイ（表示）し、カメラモジュール６１０を制御する。
カメラモジュール６１０は、イメージセンサ１００を含み、アプリケーションプロセッサ６２０は、イメージ信号プロセッサ４００を含む。
イメージセンサ１００は、カメラモジュール６１０に配置され、イメージセンサ１００は、ピクセル信号（ＳＩＧ＿ＰＸ）を生成してアプリケーションプロセッサ６２０に提供する。
図２３を参照すると、電子装置６００’は、カメラモジュール６１０及びアプリケーションプロセッサ６２０を含む。
カメラモジュール６１０は、イメージセンサ１００とイメージ信号プロセッサ４００をすべて含む。
すなわち、イメージセンサ１００とイメージ信号プロセッサ４００は、すべてカメラモジュール６１０に配置され得る。
以下、図２４を参照して本発明の他の実施形態によるイメージセンサ１００”について説明する。
図２４は、本発明の他の実施形態によるイメージセンサの概念的なレイアウトを示す斜視図である。
説明の便宜上、図１～図２１を用いて説明した内容と重複する部分は、簡略に説明するか又は省略する。
図２４を参照すると、イメージセンサ１００”は、上部チップ２００、下部チップ３００、及びメモリチップ３００’を含む。
ここで、上部チップ２００、下部チップ３００、及びメモリチップ３００’は、第３方向Ｚに沿って順次積層される。
メモリチップ３００’は、下部チップ３００の下部に配置される。
メモリチップ３００’は、メモリ装置を含む。
例えば、メモリチップ３００’は、ＤＲＡＭ、ＳＲＡＭなどの揮発性メモリ装置を含む。
メモリチップ３００’は、上部チップ２００及び下部チップ３００から信号の伝達を受け、メモリ装置を介して信号を処理する。
すなわち、メモリチップ３００’を含むイメージセンサ１００”は、３スタックイメージセンサに該当する。
以下、図２５及び図２６を参照して本発明の他の実施形態による電子装置２０００について説明する。
図２５は、本発明の他の実施形態によるマルチカメラモジュールを含む電子装置の概略構成を説明するためのブロック図であり、図２６は、図２５のカメラモジュールの部分詳細を示すブロック図である。
説明の便宜上、図１～図２４を用いて説明した内容と重複する部分は簡略に説明するか又は省略する。
図２５を参照すると、電子装置２０００は、カメラモジュールグループ２１００、アプリケーションプロセッサ２２００、ＰＭＩＣ２３００、外部メモリ２４００、及びディスプレイ２５００を含む。
カメラモジュールグループ２１００は、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）を含む。
図には３個のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）が配置された実施形態を示しているが、実施形態はこれに制限されるものではない。
一実施形態で、カメラモジュールグループ２１００は、２個のカメラモジュールのみを含むように変形して実施することができる。
また、一実施形態で、カメラモジュールグループ２１００は、ｎ個（ｎは４以上の自然数）のカメラモジュールを含むように変形して実施することもできる。
以下、図２６を参照して、カメラモジュール２１００ｂの詳細構成についてより具体的に説明するが、以下の説明は、実施形態により他のカメラモジュール（２１００ａ、２１００ｃ）に対しても同様に適用することができる。
図２６を参照すると、カメラモジュール２１００ｂは、プリズム２１０５、光路フォールディング要素２１１０（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、「ＯＰＦＥ」）、アクチュエータ２１３０、イメージセンシング装置２１４０及び保存部２１５０を含む。
プリズム２１０５は、光反射物質の反射面２１０７を含んで外部から入射した光Ｌの経路を変更させる。
一実施形態で、プリズム２１０５は、第１方向Ｘに入射した光Ｌの経路を第１方向Ｘに垂直な第２方向Ｙに変更させる。
また、プリズム２１０５は、光反射物質の反射面２１０７を、中心軸２１０６を中心にＡ方向に回転させたり、中心軸２１０６をＢ方向に回転させて、第１方向Ｘに入射した光Ｌの経路を垂直な第２方向Ｙに変更させる。
この時、ＯＰＦＥ２１１０も第１方向Ｘ及び第２方向Ｙと垂直な第３方向Ｚに移動する。
一実施形態で、図に示すように、プリズム２１０５のＡ方向の最大回転角度は、プラス（＋）Ａ方向には１５度（ｄｅｇｒｅｅ）以下であり、マイナス（－）Ａ方向には、１５度より大きくてもよいが、実施形態はこれに制限されるものではない。
一実施形態で、プリズム２１０５は、プラス（＋）又はマイナス（－）Ｂ方向に、２０度内外、又は１０度から２０度、又は１５度から２０度の間で動くことができ、ここで、動く角度は、プラス（＋）又はマイナス（－）Ｂ方向に同じ角度で動いたり、１度内外の範囲でほぼ類似の角度まで動くことができる。
一実施形態で、プリズム２１０５は、光反射物質の反射面２１０７を中心軸２１０６の延長方向と平行な第３方向（例えば、Ｚ方向）に移動する。
ＯＰＦＥ２１１０は、例えばｍ（ここで、ｍは自然数）個のグループからなる光学レンズを含む。
ｍ個のレンズは、第２方向Ｙに移動してカメラモジュール２１００ｂの光学ズーム倍率（ｏｐｔｉｃａｌ ｚｏｏｍ ｒａｔｉｏ）を変更する。
例えば、カメラモジュール２１００ｂの基本光学ズーム倍率をＺとする時、ＯＰＦＥ２１１０に含まれたｍ個の光学レンズを移動させる場合、カメラモジュール２１００ｂの光学ズーム倍率は、３Ｚ又は５Ｚ以上の光学ズーム倍率に変更させることができる。
アクチュエータ２１３０は、ＯＰＦＥ２１１０又は光学レンズ（以下、光学レンズという）を特定位置に移動させる。
例えば、アクチュエータ２１３０は、正確なセンシングのためにイメージセンサ２１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように光学レンズの位置を調整する。
イメージセンシング装置２１４０は、イメージセンサ２１４２、制御ロジック２１４４、及びメモリ２１４６を含む。
イメージセンサ２１４２は、光学レンズを介して提供される光Ｌを用いてセンシング対象のイメージをセンシングする。
一実施形態で、イメージセンサ２１４２は、先立って説明したピクセル信号（ＳＩＧ＿ＰＸ）を出力する。
制御ロジック２１４４は、カメラモジュール２１００ｂの全般的な動作を制御する。
例えば、制御ロジック２１４４は、制御信号ラインＣＳＬｂを介して提供された制御信号に応じてカメラモジュール２１００ｂの動作を制御する。
メモリ２１４６は、キャリブレーションデータ２１４７のようなカメラモジュール２１００ｂの動作に必要な情報を保存する。
キャリブレーションデータ２１４７は、カメラモジュール２１００ｂが外部から提供された光Ｌを用いてイメージデータを生成するために必要な情報を含む。
キャリブレーションデータ２１４７は、例えば、先立って説明した回転度（ｄｅｇｒｅｅ ｏｆ ｒｏｔａｔｉｏｎ）に関する情報、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に関する情報、光学軸（ｏｐｔｉｃａｌ ａｘｉｓ）に関する情報などを含む。
カメラモジュール２１００ｂが光学レンズの位置に応じて焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラの形態で実現される場合、キャリブレーションデータ２１４７は、光学レンズの各位置別（又はステート別）の焦点距離値とオートフォーカシング（ａｕｔｏ ｆｏｃｕｓｉｎｇ）と関連する情報を含み得る。
保存部２１５０は、イメージセンサ２１４２によりセンシングされたイメージデータを保存する。
保存部２１５０は、イメージセンシング装置２１４０の外部に配置され、イメージセンシング装置２１４０を構成するセンサチップとスタックされた（ｓｔａｃｋｅｄ）形態で実現することができる。
一実施形態で、保存部２１５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）として実現されるが、実施形態はこれに制限されるものではない。
図２５と図２６を共に参照すると、本発明の一実施形態で、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれは、アクチュエータ２１３０を含む。
そのため、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれは、その内部に含まれたアクチュエータ２１３０の動作による互いに同一であるか又は互いに異なるキャリブレーションデータ２１４７を含む。
一実施形態で、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の内の一つのカメラモジュール（例えば、２１００ｂ）は、先立って説明したプリズム２１０５とＯＰＦＥ２１１０を含む折り畳んだレンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、残りのカメラモジュール（例えば、２１００ａ、２１００ｃ）は、プリズム２１０５とＯＰＦＥ２１１０が含まれていないバーチカル（ｖｅｒｔｉｃａｌ）形態のカメラモジュールであり得るが、実施形態はこれに制限されるものではない。
一実施形態で、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の内の一つのカメラモジュール（例えば、２１００ｃ）は、例えば、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いて深さ（ｄｅｐｔｈ）情報を抽出するバーチカル形態の深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）である。
この場合、アプリケーションプロセッサ２２００は、このような深度カメラから提供されたイメージデータと異なるカメラモジュール（例えば、２１００ａ又は２１００ｂ）から提供されたイメージデータを併合（ｍｅｒｇｅ）して３次元深度イメージ（３Ｄ ｄｅｐｔｈ ｉｍａｇｅ）を生成する。
一実施形態で、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の内の少なくとも二つのカメラモジュール（例えば、２１００ａ、２１００ｃ）は、互いに異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を有する。
この場合、例えば、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の内の少なくとも二つのカメラモジュール（例えば、２１００ａ、２１００ｃ）の光学レンズが互いに異なってもよいが、これに制限されるものではない。
また、一実施形態で、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれの視野角は、互いに異なってもよい。
この場合、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれに含まれた光学レンズも互いに異なってもよいが、これに制限されるものではない。
一実施形態で、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれは、互いに物理的に分離して配置される。
すなわち、一つのイメージセンサ２１４２のセンシング領域を複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）が分割して使用するのではなく、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれの内部に独立してイメージセンサ２１４２が配置される。
再び、図２５を参照すると、アプリケーションプロセッサ２２００は、イメージ処理装置２２１０、メモリコントローラ２２２０、内部メモリ２２３０を含む。
アプリケーションプロセッサ２２００は、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）と分離して実現することができる。
例えば、アプリケーションプロセッサ２２００と複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）は、別途の半導体チップで互いに分離して実現することができる。
イメージ処理装置２２１０は、複数のサブイメージプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）、イメージ生成器２２１４、及びカメラモジュールコントローラ２２１６を含む。
イメージ処理装置２２１０は、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の個数に対応する個数の複数のサブイメージプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）を含む。
それぞれのカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）から生成されたイメージデータは、互いに分離したイメージ信号ライン（ＩＳＬａ、ＩＳＬｂ、ＩＳＬｃ）を介して対応するサブイメージプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）に提供される。
例えば、カメラモジュール２１００ａから生成されたイメージデータは、イメージ信号ラインＩＳＬａを介してサブイメージプロセッサ２２１２ａに提供され、カメラモジュール２１００ｂから生成されたイメージデータは、イメージ信号ラインＩＳＬｂを介してサブイメージプロセッサ２２１２ｂに提供され、カメラモジュール２１００ｃから生成されたイメージデータは、イメージ信号ラインＩＳＬｃを介してサブイメージプロセッサ２２１２ｃに提供される。
このようなイメージデータ伝送は、例えば、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ：ＣＳＩ）を用いて行われるが、実施形態はこれに制限されるものではない。
一方、一実施形態で、一つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置することもできる。
例えば、サブイメージプロセッサ２２１２ａとサブイメージプロセッサ２２１２ｃが図に示すように互いに分離されて実現されるのではなく一つのサブイメージプロセッサに統合して実現され、カメラモジュール２１００ａとカメラモジュール２１００ｃから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）等により選択された後、統合されたサブイメージプロセッサに提供することができる。
それぞれのサブイメージプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）に提供されたイメージデータは、イメージ生成器２２１４に提供される。
イメージ生成器２２１４は、イメージ生成情報（Ｇｅｎｅｒａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）又はモード信号（Ｍｏｄｅ Ｓｉｇｎａｌ）に応じてそれぞれのサブイメージプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）から提供されたイメージデータを用いて出力イメージを生成する。
具体的には、イメージ生成器２２１４は、イメージ生成情報又はモード信号に応じて、互いに異なる視野角を有するカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）から生成されたイメージデータの内の少なくとも一部を併合（ｍｅｒｇｅ）して出力イメージを生成する。
また、イメージ生成器２２１４は、イメージ生成情報又はモード信号に応じて、互いに異なる視野角を有するカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）から生成されたイメージデータの内のいずれか一つを選択して出力イメージを生成する。
一実施形態で、イメージ生成情報は、ズーム信号（ｚｏｏｍ ｓｉｇｎａｌ ｏｒ ｚｏｏｍ ｆａｃｔｏｒ）を含む。
また、一実施形態で、モード信号は、例えば、ユーザー（ｕｓｅｒ）から選択されたモードに基づいた信号であり得る。
イメージ生成情報がズーム信号（ズームファクタ）であり、それぞれのカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）が互いに異なる観測視野（視野角）を有する場合、イメージ生成器２２１４は、ズーム信号の種類によって互いに異なる動作を行い得る。
例えば、ズーム信号が第１信号の場合、カメラモジュール２１００ａから出力されたイメージデータとカメラモジュール２１００ｃから出力されたイメージデータを併合した後、併合されたイメージ信号と併合に使用していないカメラモジュール２１００ｂから出力されたイメージデータを用いて、出力イメージを生成する。
仮に、ズーム信号が第１信号と異なる第２信号である場合、イメージ生成器２２１４はこのようなイメージデータ併合を行わず、それぞれのカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）から出力されたイメージデータの内のいずれか一つを選択して出力イメージを生成する。
しかし、実施形態はこれに制限されるものではなく、必要に応じてイメージデータを処理する方法はいくらでも変形して実施することができる。
一実施形態で、イメージ生成器２２１４は、複数のサブイメージプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）の内の少なくとも一つから露出時間が相異なる複数のイメージデータを受信し、複数のイメージデータに対してＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）処理を行うことで、ダイナミックレンジが増加した併合されたイメージデータを生成する。
カメラモジュールコントローラ２２１６は、それぞれのカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）に制御信号を提供する。
カメラモジュールコントローラ２２１６から生成された制御信号は、互いに分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を介して対応するカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）に提供される。
複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の内のいずれか一つは、ズーム信号を含むイメージ生成情報又はモード信号に応じてマスター（ｍａｓｔｅｒ）カメラ（例えば、２１００ａ）と指定され、残りのカメラモジュール（例えば、２１００ｂ及び２１００ｃ）は、スレーブ（ｓｌａｖｅ）カメラと指定される。
このような情報は、制御信号に含まれ、互いに分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を介して対応するカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）に提供される。
ズームファクタ又は動作モード信号に応じて、マスター及びスレーブとして動作するカメラモジュールを変更することができる。
例えば、カメラモジュール２１００ａの視野角がカメラモジュール２１００ｃの視野角より広く、ズームファクタが低いズーム倍率を示す場合、カメラモジュール２１００ｃがマスターとして動作し、カメラモジュール２１００ａがスレーブとして動作する。
逆に、ズームファクタが高いズーム倍率を示す場合、カメラモジュール２１００ａがマスターとして動作し、カメラモジュール２１００ｃがスレーブとして動作する。
一実施形態で、カメラモジュールコントローラ２２１６からそれぞれのカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）に提供される制御信号は、シンクイネーブル（ｓｙｎｃ ｅｎａｂｌｅ）信号を含む。
例えば、カメラモジュール２１００ｂがマスタカメラであり、カメラモジュール（２１００ａ、２１００ｃ）がスレーブカメラである場合、カメラモジュールコントローラ２２１６は、カメラモジュール２１００ｂにシンクイネーブル信号を伝送する。
このようなシンクイネーブル信号の提供を受けたカメラモジュール２１００ｂは、提供されたシンクイネーブル信号に基づいてシンク信号（ｓｙｎｃ ｓｉｇｎａｌ）を生成し、生成されたシンク信号をシンク信号ラインＳＳＬを介してカメラモジュール（２１００ａ及び２１００ｃ）に提供する。
カメラモジュール２１００ｂとカメラモジュール（２１００ａ及び２１００ｃ）は、このようなシンク信号に同期化されてイメージデータをアプリケーションプロセッサ２２００に伝送する。
一実施形態で、カメラモジュールコントローラ２２１６から複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）に提供される制御信号は、モード信号によるモード情報を含む。
このようなモード情報に基づいて複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）は、センシング速度と関連して第１動作モード及び第２動作モードで動作する。
複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）は、第１動作モードで、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）し、これを第１速度より高い第２速度でエンコーディング（例えば、第１フレームレートより高い第２フレームレートのイメージ信号をエンコーディング）し、エンコーディングされたイメージ信号をアプリケーションプロセッサ２２００に伝送する。
この時、第２速度は、第１速度の３０倍以下であり得る。
アプリケーションプロセッサ２２００は、受信したイメージ信号、言い換えれば、エンコーディングされたイメージ信号を内部に備えられるメモリ２２３０、又はアプリケーションプロセッサ２２００の外部メモリ２４００に保存し、その後、メモリ２２３０又は外部メモリ２４００からエンコーディングされたイメージ信号を読み出してデコーディングし、デコーディングされたイメージ信号に基づいて生成されるイメージデータをディスプレイする。
例えば、イメージ処理装置２２１０の複数のサブプロセッサ（２２１２ａ、２２１２ｂ、２２１２ｃ）に対応するサブプロセッサがデコーディングを行い、また、デコーディングされたイメージ信号に対してイメージ処理を行う。
例えば、ディスプレイ２５００にデコーディングされたイメージ信号に基づいて生成されるイメージデータがディスプレイされる。
複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）は、第２動作モードで、第１速度より低い第３速度でイメージ信号を生成（例えば、第１フレームレートより低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ２２００に伝送する。
アプリケーションプロセッサ２２００に提供されるイメージ信号は、エンコーディングされていない信号であり得る。
アプリケーションプロセッサ２２００は、受信したイメージ信号に対してイメージ処理を行うか、又はイメージ信号をメモリ２２３０又は外部メモリ２４００に保存する。
ＰＭＩＣ２３００は、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれに電力、例えば、電源電圧を供給する。
例えば、ＰＭＩＣ２３００は、アプリケーションプロセッサ２２００の制御下で、パワー信号ラインＰＳＬａを介してカメラモジュール２１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを介してカメラモジュール２１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを介してカメラモジュール２１００ｃに第３電力を供給する。
ＰＭＩＣ２３００は、アプリケーションプロセッサ２２００からの電力制御信号ＰＣＯＮに応答し、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれに対応する電力を生成し、また、電力のレベルを調整する。
電力制御信号ＰＣＯＮは、複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）の動作モード別の電力調整信号を含む。
例えば、動作モードは、低電力モード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）と高電力モード（ｈｉｇｈ ｐｏｗｅｒ ｍｏｄｅ）を含み、この時、電力制御信号ＰＣＯＮは、低電力モードで動作するカメラモジュール及び設定される電力レベルに関連する情報を含む。
複数のカメラモジュール（２１００ａ、２１００ｂ、２１００ｃ）それぞれに提供される電力のレベルは互いに同一又は互いに異なり得る。
また、電力のレベルは、動的に変更することができる。
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
１ イメージセンシング装置
１００、１００” イメージセンサ
２００ 上部チップ
３００ 下部チップ
３００’ メモリチップ
４００、４００’ イメージ信号プロセッサ
４１０ グラデーション検出モジュール
４１１、４２１ グラジエント測定モジュール
４１２、４２２ グラジエント補正モジュール
４１３ 分散値計算モジュール
４１４ グラデーション確率計算モジュール
４１５ グラデーションマップ生成モジュール
４２０、４２０’、４２０” 補正モジュール
４２３ エッジ保存スムージングフィルタ
４２４ ブレンドモジュール
６００、６００’ 電子装置
６１０ カメラモジュール
６２０ アプリケーションプロセッサ
１１１０ コントロールレジスタブロック
１１２０ タイミングジェネレータ
１１３０ ロウ（ｒｏｗ）ドライバ
１１５０ リードアウト回路
１１６０ ランプ信号生成器
１１７０ バッファ部
ＰＡ ピクセルアレイ
ＰＤ フォトダイオード
ＭＬ マイクロレンズ

Claims (10)

  1. 外部装置からピクセル信号を受信するグラデーション検出モジュールと、
    前記ピクセル信号を受信し、前記グラデーション検出モジュールに接続された補正モジュールと、を有し、
    前記グラデーション検出モジュールは、前記ピクセル信号に対するグラジエントを測定し、
    前記グラジエントに基づいて前記ピクセル信号を補正して補正ピクセル信号を生成し、
    前記ピクセル信号に基づいて第１分散値を計算し、
    前記補正ピクセル信号に基づいて第２分散値を計算し、
    前記第１分散値と前記第２分散値との比較に基づいてグラデーション確率値を計算し、
    前記ピクセル信号に対する前記グラデーション確率値の情報であるグラデーションマップを生成し、
    前記補正モジュールは、前記グラデーションマップに基づいて前記ピクセル信号を補正することを特徴とするイメージ信号プロセッサ。
  2. 前記第１分散値が前記第２分散値より大きい場合の前記グラデーション確率値は、前記第２分散値が前記第１分散値より大きい場合の前記グラデーション確率値より大きいことを特徴とする請求項１に記載のイメージ信号プロセッサ。
  3. 前記第１分散値が前記第２分散値より大きい場合の前記グラデーション確率値は、前記第１分散値が前記第２分散値と同じである場合の前記グラデーション確率値より大きいことを特徴とする請求項２に記載のイメージ信号プロセッサ。
  4. 前記補正モジュールは、前記ピクセル信号を補正して第１補正ピクセル信号を生成する補正フィルタと、
    前記ピクセル信号、前記第１補正ピクセル信号、及び前記グラデーションマップに基づいて補正を行うことによって、最終補正ピクセル信号を生成するブレンドモジュールと、を含むことを特徴とする請求項１に記載のイメージ信号プロセッサ。
  5. 互いに異なる第１領域、第２領域、及び第３領域を含むイメージセンサと、
    前記第１領域から生成された第１ピクセル信号、前記第２領域から生成された第２ピクセル信号、及び前記第３領域から生成された第３ピクセル信号を受信するイメージ信号プロセッサと、を有し、
    前記イメージ信号プロセッサは、前記第１ピクセル信号に対する補正を行って第１補正ピクセル信号を生成し、前記第２ピクセル信号に対する補正を行って第２補正ピクセル信号を生成し、前記第３ピクセル信号に対する補正を行って第３補正ピクセル信号を生成し、
    前記第１ピクセル信号に基づいて第１ピクセル信号分散値を計算し、前記第２ピクセル信号に基づいて第２ピクセル信号分散値を計算し、前記第３ピクセル信号に基づいて第３ピクセル信号分散値を計算し、
    前記第１補正ピクセル信号に基づいて第１補正ピクセル信号分散値を計算し、前記第２補正ピクセル信号に基づいて第２補正ピクセル信号分散値を計算し、前記第３補正ピクセル信号に基づいて第３補正ピクセル信号分散値を計算し、
    前記第３ピクセル信号分散値と前記第３補正ピクセル信号分散値との比較に基づいて第１グラデーション確率値を計算し、
    前記第３ピクセル信号分散値は、前記第３補正ピクセル信号分散値より大きいことを特徴とするイメージセンシング装置。
  6. 前記イメージ信号プロセッサは、前記第１ピクセル信号分散値と前記第１補正ピクセル信号分散値との比較に基づいて第２グラデーション確率値を計算し、
    前記第２ピクセル信号分散値と前記第２補正ピクセル信号分散値との比較に基づいて第３グラデーション確率値を計算することを特徴とする請求項５に記載のイメージセンシング装置。
  7. 前記第３ピクセル信号分散値と前記第３補正ピクセル信号分散値との差は、前記第１ピクセル信号分散値と前記第１補正ピクセル信号分散値との差、及び前記第２ピクセル信号分散値と前記第２補正ピクセル信号分散値との差より大きいことを特徴とする請求項６に記載のイメージセンシング装置。
  8. 前記第１グラデーション確率値は、前記第２及び第３グラデーション確率値より大きいことを特徴とする請求項７に記載のイメージセンシング装置。
  9. 複数の第１ピクセル値を含む第１ピクセル信号、複数の第２ピクセル値を含む第２ピクセル信号、及び複数の第３ピクセル値を含む第３ピクセル信号を受信する段階と、
    前記第１ピクセル値に対する第１グラジエントを測定し、前記第２ピクセル値に対する第２グラジエントを測定し、前記第３ピクセル値に対する第３グラジエントを測定する段階と、
    前記第１グラジエントに基づいて前記第１ピクセル値を補正して第１補正ピクセル値を生成し、前記第２グラジエントに基づいて前記第２ピクセル値を補正して第２補正ピクセル値を生成し、前記第３グラジエントに基づいて前記第３ピクセル値を補正して第３補正ピクセル値を生成する段階と、
    前記第１ピクセル値に基づいて第１分散値を生成し、前記第２ピクセル値に基づいて第２分散値を生成し、前記第３ピクセル値に基づいて第３分散値を生成する段階と、
    前記第１補正ピクセル値に基づいて第４分散値を生成し、前記第２補正ピクセル値に基づいて第５分散値を生成し、前記第３補正ピクセル値に基づいて第６分散値を生成する段階と、
    前記第１分散値と前記第４分散値とを比較して前記第１ピクセル信号をフラット領域として決定する段階と、
    前記第２分散値と前記第５分散値とを比較して前記第２ピクセル信号をエッジ領域として決定する段階と、
    前記第３分散値と前記第６分散値とを比較して前記第３ピクセル信号をグラデーション領域として決定する段階と、を有することを特徴とするイメージ信号プロセッサの動作方法。
  10. 前記第３分散値は、前記第６分散値より大きく、
    前記第３分散値と前記第６分散値との差は、前記第１分散値と前記第４分散値との差、及び前記第２分散値と前記第５分散値との差より大きいことを特徴とする請求項９に記載のイメージ信号プロセッサの動作方法。
JP2022188038A 2021-11-26 2022-11-25 イメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置 Pending JP2023079210A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0164986 2021-11-26
KR1020210164986A KR20230077833A (ko) 2021-11-26 2021-11-26 이미지 신호 프로세서, 이미지 신호 프로세서의 동작 방법 및 이미지 센싱 장치

Publications (1)

Publication Number Publication Date
JP2023079210A true JP2023079210A (ja) 2023-06-07

Family

ID=86500340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022188038A Pending JP2023079210A (ja) 2021-11-26 2022-11-25 イメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置

Country Status (3)

Country Link
US (1) US12118696B2 (ja)
JP (1) JP2023079210A (ja)
KR (1) KR20230077833A (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3097785B2 (ja) 1992-04-30 2000-10-10 株式会社リコー 画像処理装置
KR20060055776A (ko) 2004-11-19 2006-05-24 삼성전자주식회사 잡음 제거 기능을 가지는 적응형 에지-보존 평활 필터 및필터링 방법
JP2006319634A (ja) 2005-05-12 2006-11-24 Toshiba Corp 映像信号処理装置とグラデーション段差検出方法
JP5158202B2 (ja) 2008-08-19 2013-03-06 富士通株式会社 画像補正装置および画像補正方法
US9390478B2 (en) 2014-09-19 2016-07-12 Intel Corporation Real time skin smoothing image enhancement filter
US9489720B2 (en) 2014-09-23 2016-11-08 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
JP2016086347A (ja) * 2014-10-28 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
US9449248B1 (en) 2015-03-12 2016-09-20 Adobe Systems Incorporated Generation of salient contours using live video
JP6317413B1 (ja) 2016-10-28 2018-04-25 株式会社Pfu 画像処理装置、画像処理方法及び画像処理プログラム
KR101846743B1 (ko) 2016-11-28 2018-04-09 연세대학교 산학협력단 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치
JP7471832B2 (ja) 2020-01-23 2024-04-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20230169629A1 (en) 2023-06-01
US12118696B2 (en) 2024-10-15
KR20230077833A (ko) 2023-06-02

Similar Documents

Publication Publication Date Title
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US11616934B2 (en) Image sensor
US11889240B2 (en) Image device and operation method of image device
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
US11412197B2 (en) Electronic device including image sensor
US20230073138A1 (en) Image sensor, image processing system including the same, and image processing method
US11700460B2 (en) Image sensing apparatus and image binning method thereof
US11729374B2 (en) Camera module test apparatus, camera module test method and image generating device
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
JP2023079210A (ja) イメージ信号プロセッサ及びその動作方法並びにイメージセンシング装置
US20240185558A1 (en) Image signal processor and image sensing device thereof
US20230300481A1 (en) Image sensing device and image processing method of the same
US20230108491A1 (en) Image signal processor, image sensing device, image sensing method and electronic device
US20240005448A1 (en) Imaging device and image processing method
US20230254474A1 (en) Image sensor, processor of image sensor, and image processing method
EP4096217A1 (en) Image sensor and image signal processing method
KR20220161124A (ko) 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법
KR20230120074A (ko) 이미지 센서, 이미지 센서의 프로세서 및 이미지 처리방법
JP2024000506A (ja) クロストークを補正するイメージセンサ、イメージセンサの動作方法およびイメージセンサを含む電子機器
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
KR20240080099A (ko) 이미지를 보상하는 이미지 처리부, 이미지 신호 처리부 및 이미지 센서에 의해 캡처 된 이미지 보정 방법
KR20230152464A (ko) 이미지 센서의 비닝 방법 및 이를 수행하는 이미지 센서
JP2015103972A (ja) デジタルカメラ及び固体撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240925