JP2022188733A - イメージセンシング装置及びその動作方法 - Google Patents
イメージセンシング装置及びその動作方法 Download PDFInfo
- Publication number
- JP2022188733A JP2022188733A JP2022004973A JP2022004973A JP2022188733A JP 2022188733 A JP2022188733 A JP 2022188733A JP 2022004973 A JP2022004973 A JP 2022004973A JP 2022004973 A JP2022004973 A JP 2022004973A JP 2022188733 A JP2022188733 A JP 2022188733A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- gain
- gain table
- image
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 23
- 238000012545 processing Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 104
- 238000010586 diagram Methods 0.000 description 23
- 239000000872 buffer Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100028951 Homo sapiens PDIA2 gene Proteins 0.000 description 1
- 102100036351 Protein disulfide-isomerase A2 Human genes 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】本技術は電子装置に関する。【解決手段】本技術による、向上した格子状ノイズの除去動作を行うイメージセンシング装置10は、複数の画素を用いてイメージを取得するイメージセンサ100と、上記イメージに含まれている関心領域830に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブル920を生成し、上記ゲインテーブル920を上記第1解像度より低い第2解像度に対応するターゲットテーブル値を含むターゲットテーブル1010,1020に変換し、上記ターゲットテーブル1010,1020を用いて上記イメージに含まれたノイズを除去するイメージプロセッサ200と、を含んでもよい。【選択図】図1
Description
本発明は電子装置に関し、より具体的にはイメージセンシング装置及びその動作方法に関する。
イメージセンサは、光に反応する半導体の性質を利用してイメージをキャプチャ(capture)する装置である。最近では、コンピュータ産業や通信産業の発達に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット(Internet of Things)、ロボット、警備用カメラ、医療用マイクロカメラなどの多様な分野において性能の向上したイメージセンサの需要が増加している。
イメージセンサは、CCD(Charge Coupled Device)イメージセンサと、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとに大別できる。CCDイメージセンサはCMOSイメージセンサに比べてノイズ(noise)が少なく、画質に優れる。一方、CMOSイメージセンサは駆動方式が簡単で、様々なスキャニング(scanning)方式で具現できる。また、CMOSイメージセンサは信号処理回路を単一チップに集積できるため、製品の小型化が容易で、電力消費が非常に少なく、CMOS工程技術を互換して使用でき、製造単価が低い。最近では、モバイル機器にさらに適する特性によりCMOSイメージセンシング装置が多く利用されている。
本発明の実施例は、向上した格子状ノイズの除去動作を行うイメージセンシング装置及びその動作方法を提供する。
本発明の実施例に係る複数の画素を用いてイメージを取得するイメージセンサを制御するイメージ処理装置は、上記イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成するゲインテーブル生成部と、上記ゲインテーブルを第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換するゲインテーブルビニング部と、上記ターゲットテーブルに基づいて上記イメージに含まれたノイズを除去するキャリブレーション動作を行うキャリブレーション実行部と、を含んでもよい。
本発明の実施例に係るイメージセンシング装置は、複数の画素を用いてイメージを取得するイメージセンサと、上記イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成し、上記ゲインテーブルを上記第1解像度より低い第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換し、上記ターゲットテーブルを用いて上記イメージに含まれたノイズを除去するイメージプロセッサと、を含んでもよい。
本発明の実施例に係るイメージ処理装置の動作方法は、イメージ内の2M×2M画素値アレイの関心領域に対応するM×Mゲイン値アレイを生成する段階と、N×Nターゲット値アレイを生成する段階と、上記イメージのノイズを除去する段階と、を含んでもよい。ここで、上記M値は上記N値よりK倍さらに大きく、上記ゲイン値アレイ内のゲイン値は第1統計的代表値を第2統計的代表値で割ることにより得られる。上記第1統計的代表値は上記関心領域内においてそれぞれのゲイン値に対応する基準画素値と同じ色の画素値であり、上記第2統計的代表値は上記基準画素値であってもよい。上記ターゲット値アレイ内のターゲット値は、上記ターゲット値に対応するK×Kサブゲイン値アレイのゲイン値の第3統計的代表値であり、上記ノイズは上記ターゲット値にそれぞれ対応するK×K個のサブイメージアレイの画素値に上記ターゲット値を乗算することで除去されてもよく、上記K×Kサブイメージアレイは上記イメージに含まれてもよい。
本技術によると、向上した格子状ノイズの除去動作を行うイメージセンシング装置を提供することができる。
本明細書または出願に開示されている本発明の概念による実施例に対し、特定の構造的ないし機能的な説明は本発明の概念による実施例を説明するための例示であり、本発明の概念による実施例は様々な形態で実施することができ、本明細書または出願に説明されている実施例に限定されると解釈すべきではない。
以下では、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。
図1は、本発明の実施例に係るイメージセンシング装置を説明するための図である。
図1を参照すると、イメージセンシング装置10はイメージセンサ100及びイメージプロセッサ200を含んでもよい。
イメージセンシング装置10は電子装置、例えば、デジタルカメラ、携帯電話、スマートフォン(smart phone)、タブレットPC(tablet personal computer)、ノート型パソコン(notebook)、PDA(personal digital assistant)、EDA(enterprise digital assistant)、デジタルスチルカメラ(digital still camera)、デジタルビデオカメラ(digital video camera)、PMP(portable multimedia player)、モバイルインターネットデバイス(mobile internet device(MID))、PC(Personal Computer)、ウェアラブルデバイス(wearable device)、または様々な目的のカメラ(自動車のフロントカメラ、バックカメラ、ドライブレコーダーカメラなど)に含まれ得る。
イメージセンサ100は、CCDイメージセンサと、CMOSイメージセンサとで具現されることができる。イメージセンサ100は、レンズ(不図示)を介して入力された(またはキャプチャされた(captured))オブジェクト(不図示)に対するイメージデータを生成することができる。レンズ(不図示)は光学系を形成する少なくとも1つのレンズを含んでもよい。
イメージセンサ100は複数の画素を含んでもよい。イメージセンサ100は撮影されたイメージに対応する複数の画素値DPXsを複数の画素で生成することができる。イメージセンサ100で生成された複数の画素値DPXsはイメージプロセッサ200に伝送されることができる。即ち、イメージセンサ100はシングルフレーム(single frame)に対応する複数の画素値DPXsを生成することができる。
イメージプロセッサ200はイメージセンサ100を制御することができる。具体的には、イメージプロセッサ200はイメージセンサ100から受信する画素データのイメージ品質を向上させる処理を行い、処理されたイメージデータを出力することができる。ここで、処理とは、EIS(Electronic Image Stabilization)、補間、色調補正、画質補正、サイズ調整などであってもよい。イメージプロセッサ200はイメージ処理装置ともいう。
イメージプロセッサ200は、システム情報AGと複数の画素値DPXsに基づいてイメージに含まれたノイズをキャリブレーション(calibration)することができる。イメージはメイズノイズ(maze noise)を含んでもよい。メイズノイズは複数の画素のうち同じ色の画素間における色のバラツキ(imbalance)によって生じる格子状のノイズであってもよい。メイズノイズは同じ色の画素間における色偏差(disparity)によって生じ得る。本発明の実施例において、メイズノイズは複数の画素間におけるクロストークノイズ(crosstalk)による格子状ノイズであってもよい。
イメージプロセッサ200は、複数の画素値に基づいてメイズノイズを低減させるキャリブレーション動作を行うためのキャリブレーションゲイン値を計算することができる。
図1では、イメージプロセッサ200がイメージセンサ100とは独立したチップで具現されることができる。この場合、イメージセンサ100のチップとイメージプロセッサ200のチップは1つのパッケージ、例えば、マルチチップパッケージ(multi-chip package)で具現されてもよい。本発明の他の実施例では、イメージプロセッサ200がイメージセンサ100の一部に含まれて1つのチップで具現されてもよい。
図2は、本発明の実施例に係る図1のイメージセンサを説明するための図である。
図2を参照すると、イメージセンサ100は、画素アレイ110、行デコーダ120、タイミング生成器130、及び信号変換器140を含んでもよい。
画素アレイ110は、実施例によるカラーフィルタアレイ111と、カラーフィルタアレイ111の下部に形成され、カラーフィルタアレイ111のそれぞれの画素に対応する複数の光電変換素子(photoelectric conversion element)を含む光電変換層113と、を含んでもよい。画素アレイ110は入射光に含まれたカラー情報を出力するための複数の画素を含んでもよい。複数の画素のそれぞれは対応するカラーフィルタアレイ111を通過した入射光に相応する画素信号を出力することができる。
カラーフィルタアレイ111は、各画素に入射される光の特定波長(例えば、赤、青、緑)のみを通過させるカラーフィルタを含んでもよい。カラーフィルタアレイ111により、各画素の画素データは特定波長の光の強さに対応する値を示すことができ、各画素はカラーフィルタの種類に応じて赤画素R、青画素B、または緑画素Gと称されてもよい。
具体的には、複数の画素のそれぞれは入射光に応じて生成された光電荷を蓄積し、蓄積した光電荷に相応する画素信号を生成することができる。それぞれの画素は光信号を電気信号に変換する光電変換素子(例えば、フォトダイオード(photo diode)、フォトトランジスタ(photo transistor)、フォトゲート(photogate)、またはピンドフォトダイオード(pinned photo diode))及び電気的信号を処理するための少なくとも1つのトランジスタを含んでもよい。
画素アレイ110は、行(row)方向と列(column)方向に配列された複数の画素を含んでもよい。画素アレイ110は行ごとに複数の画素信号VPXsを生成することができる。複数の画素信号VPXsはそれぞれアナログタイプの画素信号VPXsであってもよい。
行デコーダ120は、タイミング生成器130から出力されたアドレスと制御信号に応答して、画素アレイ110において複数の画素が配列された多数の行から1つの行を選択することができる。
信号変換器140は、アナログタイプの複数の画素信号VPXsをデジタルタイプの複数の画素値DPXsに変換することができる。デジタルタイプの複数の画素値DPXsは様々なパターンで出力され得る。信号変換器140は、タイミング生成器130から出力された制御信号に応答して、画素アレイ110から出力されたそれぞれの信号に対してCDS(correlated double sampling)を行い、CDSされたそれぞれの信号をアナログ-デジタル変換してそれぞれのデジタル信号を出力することができる。それぞれのデジタル信号は対応するカラーフィルタアレイ111を通過した入射光の波長の強さに対応する信号であってもよい。
信号変換器140は、CDS(correlated double sampling)ブロックとADC(analog to digital converter)ブロックを含んでもよい。CDSブロックは、画素アレイ110に含まれた複数の列のそれぞれに提供される基準信号と映像信号セットを順にサンプリング及びホールディング(Sampling and Holding)することができる。即ち、CDSブロックは、それぞれの列に対応する基準信号と映像信号のレベルをサンプリングして保持することができる。ADCブロックは、CDSブロックから出力されるそれぞれの列に対する相関二重サンプリング信号をデジタル信号に変換した画素データを出力することができる。このため、ADCブロックは各列に対応する比較器及びカウンタを含んでもよい。
また、本発明の実施例に係るイメージセンサ100は出力バッファ150をさらに含んでもよい。出力バッファ150は信号変換器140から出力されたデジタル信号を保存する複数のバッファで具現されてもよい。具体的に、出力バッファ150は、信号変換器140から提供されるそれぞれの列単位の画素データをラッチ(latch)して出力することができる。出力バッファ150は信号変換器140から出力される画素データを一時的に保存し、タイミング生成器130の制御に応じて画素データを順に出力することができる。本発明の実施例によると、出力バッファ270は省略されてもよい。
図3は、本発明の実施例に係る図2の画素アレイのベイヤーパターンを説明するための図である。
図3を参照すると、画素アレイ110は予定されたパターンで配列されることができる。例えば、画素アレイ110はベイヤーパターン(bayer pattern)で配列されてもよい。図3に破線で示したように、ベイヤーパターンは2×2画素の繰り返しセルで構成されてもよい。それぞれのセルには緑(green)カラーフィルタを有する2つの画素Gb、Grが対角線上に対向するように配置され、青(blue)カラーフィルタを有する1つの画素Bと赤(red)カラーフィルタを有する1つの画素Rが残りのコーナーに配置されてもよい。4個の画素B、Gb、Gr、Rは、図3に示す配置構造に必ずしも限定されるものではなく、上述したベイヤーパターンを前提として多様に配置され得る。
図4は、本発明の実施例に係る図2の画素アレイのクアッドベイヤーパターンを説明するための図である。
図4を参照すると、画素アレイ110は予定されたパターンで配列されることができる。例えば、画素アレイ110はクアッドベイヤーパターン(quad bayer pattern)で配列されてもよい。図4に破線で示したように、クアッドベイヤーパターンは4×4画素の繰り返しセルで構成されてもよい。それぞれのセルには緑カラーフィルタを有する8個の画素Gb、Grが対角線上に対向するように配置され、青カラーフィルタを有する4個の画素Bと赤カラーフィルタを有する4個の画素Rが残りのコーナーに配置されてもよい。16個の画素B、Gb、Gr、Rは、図4に示す配置構造に必ずしも限定されるものではなく、上述したクアッドベイヤーパターンを前提として多様に配置され得る。
図5は、本発明の実施例に係る図2の画素アレイのノナセルパターンを説明するための図である。
図5を参照すると、画素アレイ110は予定されたパターンで配列されることができる。例えば、画素アレイ110はノナセルパターン(nona cell pattern)で配列されてもよい。図5に破線で示したように、ノナセルパターンは6×6画素の繰り返しセルで構成されてもよい。それぞれのセルには緑カラーフィルタを有する18個の画素Gb、Grが対角線上に対向するように配置され、青カラーフィルタを有する9個の画素Bと赤カラーフィルタを有する9つの画素Rが残りのコーナーに配置されてもよい。36個の画素B、Gb、Gr、Rは、図5に示す配置構造に必ずしも限定されるものではなく、上述したノナセルパターンを前提として多様に配置され得る。
図6は、本発明の実施例に係る図2の画素アレイのヘキサデカパターンを説明するための図である。
図6を参照すると、画素アレイ110は予定されたパターンで配列されることができる。例えば、画素アレイ110はヘキサデカパターン(hexa-deca pattern)で配列されてもよい。図6に破線で示したように、ヘキサデカパターンは8×8画素の繰り返しセルで構成されてもよい。それぞれのセルには緑カラーフィルタを有する32個の画素Gb、Grが対角線上に対向するように配置され、青カラーフィルタを有する16個の画素Bと赤カラーフィルタを有する16個の画素Rが残りのコーナーに配置されてもよい。64個の画素B、Gb、Gr、Rは、図6に示す配置構造に必ずしも限定されるものではなく、上述したヘキサデカパターンを前提として多様に配置され得る。
図7は、本発明の実施例に係るイメージセンシング装置を示すブロック図である。
図7を参照すると、イメージセンシング装置はイメージセンサ100とイメージプロセッサ200を含んでもよい。複数の画素を用いてイメージを取得するイメージセンサ100は、複数の画素値をイメージプロセッサ200に伝送することができる。イメージプロセッサ200は複数の画素値に基づいてイメージに含まれたノイズを除去することができる。イメージプロセッサ200は、ゲインテーブル生成部210と、ゲインテーブルビニング部220と、キャリブレーション実行部230と、ゲインテーブル保存部240と、を含んでもよい。イメージセンサ100及びイメージプロセッサ200は、図1及び図2の説明に対応することができる。
ゲインテーブル生成部210は、イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成することができる。本発明の実施例では、ゲインテーブル生成部210は複数の画素値に基づいてイメージの最大解像度で発生するノイズを低減させるキャリブレーション動作に使用されるゲインテーブルを生成することができる。ノイズはメイズノイズを含んでもよい。メイズノイズは複数の画素のうち同じ色の画素の画素値の差によって生じる格子状のノイズであってもよい。画素のクロストークにより、同じ色の画素の画素値が異なることがある。
関心領域は、イメージに重ねられる複数の格子線の交差点の何れか1つの交差点周辺の予め定められたサイズの領域であってもよい。ゲインテーブル生成部210は入力されたイメージに重ねられる複数の格子線を設定することができる。ゲインテーブル生成部210は格子線の交差点に予め定められた関心領域を設定することができる。ゲインテーブル生成部210は関心領域で最大解像度に対応するゲインテーブルを生成することができる。ゲインテーブル生成部210は生成されたゲインテーブルに基づいてイメージ全体に対するゲインマップを生成することができる。具体的には、ゲインテーブル生成部210は線形補間法を用いてゲインテーブルをゲインマップに拡張することができるが、これについては図11を参照して説明する。
生成されたゲインテーブルはゲインテーブル保存部240に保存されてもよい。ゲインテーブル生成部210は、関心領域に含まれた画素値のうち位相検出オートフォーカス(PDAF)のための画素に対応する画素値を除いてゲインテーブルを生成することができる。
ゲインテーブルは複数のゲイン領域を含んでもよい。ゲインテーブル値は複数のゲイン領域にそれぞれ対応する値であってもよい。それぞれのゲイン領域のゲインテーブル値は、関心領域に含まれた画素値のうち複数のゲイン領域に対応する画素値と同じ色の画素値の平均値をゲイン領域に対応する画素値の平均値で割った値であってもよい。ゲインテーブル生成部210は複数のゲインテーブル値を含むゲインテーブルを生成することができる。
ゲインテーブルビニング部220は、ゲインテーブルを第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。本発明の実施例では、第1解像度は第2解像度より高い解像度であってもよい。第1解像度は最大解像度であり、第2解像度はターゲット解像度であってもよい。例えば、第1解像度はヘキサデカパターンに対応する解像度であり、第2解像度はノナセルパターンに対応する解像度、クアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度のうち1つであってもよい。第1解像度はノナセルパターンに対応する解像度であり、第2解像度はクアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度であってもよい。光量が十分な高照度では最大(Full)解像度が使用されるが、光量が不十分な低照度やビデオモード撮影などではビニング(binning)されたベイヤーパターンが使用されてもよい。
ターゲットテーブルは複数の計算領域を含んでもよい。各計算領域のターゲットテーブル値のそれぞれは計算領域に対応するゲインテーブル値の平均値であってもよい。複数の計算領域に対応するゲインテーブル値の数は第1解像度と第2解像度に基づいて決定されてもよい。例えば、第1解像度がヘキサデカパターンに対応する解像度であり、第2解像度がクアッドベイヤーパターンに対応する解像度であれば、複数の計算領域に対応するゲインテーブル値の数は4個であることができる。
本発明の他の実施例では、各計算領域のターゲットテーブル値のそれぞれは計算領域に対応するゲインテーブル値の中央値(median)であってもよい。複数の計算領域にそれぞれ含まれたゲインテーブル値の数は、第1解像度及び第2解像度に基づいて決定されることができる。
ゲインテーブルビニング部220は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部220は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の中央値を計算することができる。計算領域に対応するターゲットテーブル値は、計算領域に対応するゲインテーブル値の平均値または中央値であってもよい。ゲインテーブルビニング部220は、計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。本発明の実施例では、ゲインテーブル値の数はターゲットテーブル値の数の正の整数倍であってもよい。
本発明の実施例において、ゲインテーブルビニング部220は複数の計算領域に対応するゲインテーブル値を決定することができる。例えば、第1解像度がヘキサデカパターンに対応する解像度であり、第2解像度がクアッドベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部220は、第1解像度と第2解像度に基づいて複数の計算領域のうち1つの計算領域に対応する4個のゲインテーブル値を決定することができる。4個のゲインテーブル値は同じ色であってもよい。4個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。
キャリブレーション実行部230はターゲットテーブルに基づいてイメージに含まれたノイズを除去するキャリブレーション動作を行うことができる。キャリブレーション実行部230はターゲットテーブル値をイメージに含まれた複数の画素値に適用することができる。例えば、キャリブレーション実行部230はイメージに含まれた複数の画素値とターゲットテーブル値を第2解像度単位で乗算することができる。
本発明の実施例では、キャリブレーション実行部230はターゲットテーブルに基づいて入力されたイメージの第2解像度で発生するメイズノイズを低減させるキャリブレーション動作を行うことができる。キャリブレーション実行部230のキャリブレーション動作の結果、同じ色の画素間の色偏差を低減させることができる。これにより、格子状ノイズが除去されることができる。
本発明の他の実施例では、イメージセンシング装置10は、イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成することができる。イメージセンシング装置10はゲインテーブルを第1解像度より低い第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。イメージセンシング装置10はターゲットテーブルを用いてイメージに含まれたノイズを除去することができる。ターゲットテーブル値はゲインテーブル値のうち少なくとも2つ以上のゲインテーブル値の平均値または中央値を利用して生成されることができる。
図8は本発明の実施例に係る関心領域の設定を説明するための図である。
図8を参照すると、入力されたイメージの一部に対するキャリブレーション動作に用いられるゲインテーブルを生成し、イメージ全体に対するゲインマップ(gain map)を導出することができる。
キャリブレーションゲイン値を計算するとき、イメージに含まれたすべての画素に対するゲイン値を計算すると、イメージ処理速度が遅くなり、多くの保存空間を要する可能性がある。イメージ処理速度を向上させ、保存空間を節約するためにグリッド(grid)方式が用いられてもよい。
入力されたイメージ800に複数の格子線810が設定され得る。設定された複数の格子線810がイメージ800に重ねられてもよい。イメージ800に格子線810の交差点820が設定されてもよい。交差点820に予め決定された関心領域830が設定されてもよい。関心領域830のサイズはイメージに応じて変更されてもよい。
図8において、交差点820は複数存在することができるため、関心領域830の位置は変り得る。関心領域830に対するゲインテーブルが生成されると、ゲインテーブルは線形補間法(Linear Interpolation)などの技法によりイメージ800全体に対するゲインマップに拡張されることができる。図8の関心領域の設定はゲインテーブル生成部によって行われてもよい。
図9は、本発明の実施例に係るゲインテーブルを生成する方法を説明するための図である。
図9では、説明の便宜上、入力されたイメージの第1解像度はヘキサデカパターンに対応する解像度であり、関心領域830のサイズは16×16と仮定する。
ゲインテーブル生成部は関心領域830を第1解像度に対応するように分けることができる。イメージの最大解像度がヘキサデカパターンに対応する解像度であるため、関心領域830は4つの分割領域に分けられる。図9における参照番号910は関心領域830内の4つのサブ領域のうち1つを示す。
ゲインテーブル920は複数のゲイン領域のそれぞれに対応するゲインテーブル値を含んでもよい。例えば、複数のゲイン領域のうち1つのゲイン領域921に1つのゲインテーブル値が対応することができる。1つのゲイン領域921に対応するゲインテーブル値は、関心領域に含まれた画素値のうち1つのゲイン領域921に対応する画素(911、913、915、917の何れか1つ)と同じ色の画素値の平均値を1つのゲイン領域921に対応する画素911、913、915、917の平均値で割った値であってもよい。図9において、1つのゲイン領域921に対応する画素(911、913、915、917の何れか1つ)は緑色なので、関心領域に含まれた画素のうち緑色の画素値の平均値を計算することができる。本発明の他の実施例では、1つのゲイン領域921に対応するゲインテーブル値は、関心領域に含まれた画素値のうち1つのゲイン領域921に対応する画素(911、913、915、917の何れか1つ)と同じ色の画素値の平均値を1つのゲイン領域921に対応する画素911、913、915、917の中央値で割った値であってもよい。
同様の方法でゲインテーブル920の残りのゲインテーブル値も計算することができる。本発明の実施例によると、イメージセンサに含まれた画素の色は、緑Gr、Gb、赤Rまたは青Bの何れか1つであってもよい。ゲインテーブルを生成するとき、緑色Gr、Gb画素は同じ色の画素であってもよい。緑色Gr、Gb画素間の偏差はノイズを引き起こす恐れがある。図9のゲインテーブルの生成動作はゲインテーブル生成部によって行われてもよい。
図10は、本発明の実施例に係るゲインテーブルをビニングする方法を説明するための図である。
図10では、説明の便宜上、第1解像度はヘキサデカパターンに対応する解像度であり、第2解像度がクアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度であると仮定する。第1解像度に対応するゲインテーブル920はビニングされてターゲットテーブル1010、1020となることができる。図10のビニング方法は図7の説明に対応することができる。
図10を参照すると、ゲインテーブルビニング部220は、ゲインテーブルを第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。ターゲットテーブルは複数の計算領域を含んでもよい。ゲインテーブル値は複数の計算領域に対応することができる。複数の計算領域に対応するゲインテーブル値の数は第1解像度と第2解像度に基づいて決定されることができる。ゲインテーブルビニング部220は、複数の計算領域に対応するゲインテーブル値を決定することができる。
ゲインテーブルビニング部220はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部220はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の真ん中に位置する中央値を計算することができる。計算領域に対応するターゲットテーブル値は計算領域に対応するゲインテーブル値の平均値または中央値であってもよい。ゲインテーブルビニング部220は計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。
図10を参照すると、ゲインテーブル920はターゲットテーブル1010に変換されることができる。第2解像度はクアッドベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部220は、第1解像度と第2解像度に基づいて複数の計算領域のうち1つの計算領域に対応する4個のゲインテーブル値を決定することができる。4個のゲインテーブル値は同じ色であってもよい。4個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。
即ち、同じ色の4個のゲインテーブル値がビニングされることができる。数式で表すと、ターゲットテーブルのテーブル値Gr1=(Gr11+Gr12+Gr21+Gr22)/4である。同様に、ターゲットテーブルのテーブル値Gr2=(Gr13+Gr14+Gr23+Gr24)/4である。同様の方法でターゲットテーブル1010の残りのテーブル値Gr3、Gr4、R1、R2、R3、R4、B1、B2、B3、B4、Gb1、Gb2、Gb3、Gb4を計算することができる。
図10を参照すると、ゲインテーブル920はターゲットテーブル1020に変換されることができる。第2解像度はベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部220は、第1解像度と第2解像度に基づいて複数の計算領域のうち1つの計算領域に対応する16個のゲインテーブル値を決定することができる。16個のゲインテーブル値は同じ色であってもよい。16個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。
即ち、同じ色の16個のゲインテーブル値がビニングされることができる。数式で表すと、ターゲットテーブルのテーブル値Gr=(Gr11+Gr12+Gr13+Gr14+Gr21+Gr22+Gr23+Gr24+Gr31+Gr32+Gr33+Gr34+Gr41+Gr42+Gr43+Gr44)/16である。同様に、ターゲットテーブルのテーブル値Gb=(Gb11+Gb12+Gb13+Gb14+Gb21+Gb22+Gb23+Gb24+Gb31+Gb32+Gb33+Gb34+Gb41+Gb42+Gb43+Gb44)/16である。ベイヤーパターンに対応する解像度では、緑色Gr、Gbのみに偏差が生じるため、ターゲットテーブル1020の残りのテーブル値R、Bは計算しなくてもよい。
本発明の実施例によると、ゲインテーブルビニング部220が第1解像度に対応するゲインテーブルをビニングすることができるため、第2解像度に対応するゲインテーブルを保存しなくてもよい。
本発明の他の実施例では、1つの計算領域に対応するゲインテーブル値が他の計算領域に対応することができる。即ち、1つのゲインテーブル値が複数の計算領域に対応することができる。例えば、第1解像度がヘキサデカパターンに対応する解像度であり、第2解像度がノナパターンに対応する解像度であってもよい。即ち、同じ色の16個のゲインテーブル値が9個のターゲットテーブル値にビニングされることができる。9つのターゲットテーブル値を数式で表すと、(Gr11+Gr12+Gr21+Gr22)/4、(Gr12+Gr13+Gr22+Gr23)/4、(Gr13+Gr14+Gr23+Gr24)/4、(Gr21+Gr22+G31+Gr32)/4、(Gr22+Gr23+Gr32+Gr33)/4、(Gr23+Gr24+Gr33+Gr34)/4、(Gr31+Gr32+Gr41+Gr42)/4、(Gr32+Gr33+Gr42+Gr43)/4、(Gr33+Gr34+Gr43+Gr44)/4である。
同様に、第1解像度がノナパターンに対応する解像度であり、第2解像度がクアッドベイヤーパターンに対応する解像度であってもよい。同じ色の9個のゲインテーブル値が4個のターゲットテーブル値に変更されることができる。
図11は、本発明の実施例に係るゲインテーブルを生成する際に除外される画素を説明するための図である。
図11を参照すると、分割領域1110に含まれる画素のうち隣接する画素と線形特性が保持されない画素1120が含まれ得る。隣接する画素と線形特性が保持されない画素1120は、位相検出オートフォーカス(Phase Detection Auto Focus、PDAF)のためのフォトダイオード(Photo Diode、PD)画素とその隣接画素であってもよい。
位相検出オートフォーカスのためのフォトダイオード画素の位置は、イメージセンサで予め決定されることができる。位相検出オートフォーカスのためのフォトダイオード画素は、位置に応じて画素の特性が変化するため、隣接する画素と線形特性が保持されないことがある。位相検出オートフォーカスのためのフォトダイオード画素は2個の画素が1つのレンズに対応するか(2×1 on chip lens)、4個の画素が1つのレンズに対応(2×2 on chip lens)することができる。一方、ノーマル画素は1個の画素が1個のレンズに対応(1x1 on chip lens)することができる。
図7を参照すると、ゲインテーブル生成部210は、関心領域に含まれた画素のうち位相検出オートフォーカスのためのフォトダイオード画素を除いてゲインテーブルを生成することができる。位相検出オートフォーカスのための画素はイメージの位置に応じて画素特性が変わるため、色のバラツキを解消するためのキャリブレーション動作実行とは無関係であり得る。
図12は、本発明の実施例に係るノイズキャリブレーション方法を説明するためのフローチャートである。
本発明の実施例によると、イメージセンシング装置は、取得したイメージに含まれたノイズを除去するキャリブレーション動作を行うことができる。イメージセンシング装置は、低照度または動画モード時の最大解像度に対応するゲインテーブルをビニングしてキャリブレーション動作を行うことができる。
S1201段階において、ゲインテーブル生成部210は、イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成することができる。関心領域は、イメージに重ねられる複数の格子線の交差点の何れか1つの交差点周辺の予め定められたサイズの領域であってもよい。ゲインテーブル生成部210は入力されたイメージに重ねられる複数の格子線を設定することができる。ゲインテーブル生成部210は格子線の交差点に予め定められた関心領域を設定することができる。
ゲインテーブルは複数のゲイン領域にそれぞれ対応するゲインテーブル値を含むことができる。ゲインテーブル生成部210は、関心領域に含まれた画素値のうち各ゲイン領域に対応する画素と同じ色の画素値の平均値を関心領域に含まれた画素値のうち上記各ゲイン領域に対応する画素値の平均値で割った値であるゲインテーブル値を計算することができる。ゲインテーブル生成部210はゲインテーブル値を含むゲインテーブルを生成することができる。
ゲインテーブルの生成方法は、図7、図8、図9及び図11の説明に対応することができる。
S1203段階において、ゲインテーブルビニング部220は、ゲインテーブルを第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換することができる。ターゲットテーブルは複数の計算領域を含んでもよい。ゲインテーブルビニング部220は複数の計算領域に対応するゲインテーブル値を決定することができる。ゲインテーブルビニング部220はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部220は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の真ん中に位置する中央値を計算することができる。ゲインテーブルビニング部220は計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。
ターゲットテーブルの生成方法は、図7及び図10の説明に対応することができる。
S1205段階において、キャリブレーション実行部230はターゲットテーブルに基づいてイメージに含まれたノイズを除去するキャリブレーション動作を行うことができる。キャリブレーション実行部230はターゲットテーブル値をイメージに含まれた複数の画素値に適用することができる。キャリブレーション実行部230のキャリブレーション動作の結果、同じ色の画素間の色偏差を低減させることができる。これにより、ノイズを除去されることができる。
図13は、本発明の実施例に係るゲインテーブルをビニングする方法を説明するためのフローチャートである。
本発明の実施例に係るゲインテーブルのビニング方法は、ゲインテーブルビニング部によって行われることができる。
S1301段階において、ゲインテーブルビニング部220は複数の計算領域に対応するゲインテーブル値を決定することができる。複数の計算領域に対応するゲインテーブル値の数は第1解像度と第2解像度に基づいて決定されることができる。例えば、第1解像度がヘキサデカパターンに対応する解像度であり、第2解像度がクアッドベイヤーパターンに対応する解像度であってもよい。ゲインテーブルビニング部220は、第1解像度と第2解像度に基づいて複数の計算領域のうち1つの計算領域に対応する4個のゲインテーブル値を決定することができる。4個のゲインテーブル値は同じ色であってもよい。4個のゲインテーブル値は互いに隣接するゲインテーブル値であってもよい。
S1303段階において、ゲインテーブルビニング部220は複数の計算領域に対応するゲインテーブル値に基づいてターゲットテーブル値を計算することができる。ターゲットテーブルは複数の計算領域を含んでもよい。ゲインテーブルビニング部220は、ゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の平均値であるターゲットテーブル値を計算することができる。本発明の他の実施例では、ゲインテーブルビニング部220はゲインテーブル値のうち複数の計算領域に対応するゲインテーブル値の真ん中に位置する中央値を計算することができる。計算領域に対応するターゲットテーブル値は計算領域に対応するゲインテーブル値の平均値または中央値であってもよい。ゲインテーブルビニング部220は計算されたターゲットテーブル値を含むターゲットテーブルを生成することができる。
ゲインテーブルのビニング方法は、図7及び図10の説明に対応することができる。
本発明の実施例によると、入力されたイメージの最大解像度でメイズノイズを低減させるキャリブレーション動作に用いられるゲインテーブルを生成することができる。メイズノイズは、上記複数の画素のうち同じ色の画素間の色のバラツキによって生じる格子状のノイズであってもよい。通常、格子状ノイズは画素のクロストークによって発生し得る。クロストークの原因はフォトダイオードにおける電子拡散、読み取り回路など様々である。
画素間のバラツキは規則的なパターンとして表れるため、各画素にゲイン値を適用することで、色偏差を除去することができる。生成されたゲインテーブルをビニングしてターゲットテーブルを生成することができる。複数のゲインテーブルを保存しないため、イメージ処理速度が向上し、保存空間を節約することができる。他の解像度に対応するゲインテーブルを生成しないため、キャリブレーションにかかる時間を低減させることができる。
本発明の実施例によると、マルチパターン(Quad、Nona、Hexa-deca)では同じ色の画素間の偏差を最小化し、ベイヤーパターンでは緑色Gr、Gbの画素間の色偏差を最小化することができる。
図14は、本発明の実施例に係るイメージセンサを含むコンピューティングシステムを示すブロック図である。
図14を参照すると、コンピューティングシステム2000は、イメージセンサ2010と、プロセッサ2020と、記憶装置(STORAGE DEVICE)2030と、メモリ装置(MEMORY DEVICE)2040と、入出力装置2050と、ディスプレイ装置2060と、を含む。図14には図示されていないが、コンピューティングシステム2000は、ビデオカード、サウンドカード、メモリカード、USB装置などと通信するか、または他の電子機器と通信できるポート(port)をさらに含んでもよい。
イメージセンサ2010は入射光に相応するイメージデータを生成することができる。ディスプレイ装置2060はイメージデータを表示することができる。記憶装置2030はイメージデータを保存することができる。プロセッサ2020はイメージセンサ2010、ディスプレイ装置2060及び記憶装置2030の動作を制御することができる。
プロセッサ2020は特定の計算またはタスク(task)を行うことができる。本発明の実施例によると、プロセッサ2020は、マイクロプロセッサ(microprocessor)、中央処理装置(Central Processing Unit、CPU)であってもよい。プロセッサ2020は、アドレスバス(address bus)、制御バス(control bus)及びデータバス(data bus)を介して記憶装置2030、メモリ装置2040及び入出力装置2050に接続されて通信を行うことができる。本発明の実施例によると、プロセッサ2020は周辺構成要素相互接続(Peripheral Component Interconnect、PCI)バスなどの拡張バスに接続されてもよい。
記憶装置2030は、フラッシュメモリ装置(flash memory device)、ソリッドステートドライブ(Solid State Drive、SSD)、ハードディスクドライブ(Hard Disk Drive、HDD)、シーディーロム(CD-ROM)、及びあらゆる形態の不揮発性メモリ装置などを含んでもよい。
メモリ装置2040はコンピューティングシステム2000の動作に必要なデータを保存することができる。例えば、メモリ装置2040は、動的ランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、静的ランダムアクセスメモリ(Static Random Access Memory、SRAM)などの揮発性メモリ装置と、イーピーロム(Erasable Programmable Read-Only Memory、EPROM)、イーイーピーロム(Electrically Erasable Programmable Read-Only Memory、EEPROM)及びフラッシュメモリ装置(flash memory device)などの不揮発性メモリ装置と、を含んでもよい。
入出力装置2050は、キーボード、キーパッド、マウスなどの入力手段と、プリンタ、ディスプレイなどの出力手段と、を含んでもよい。
イメージセンサ2010は、上記バスまたは別の通信リンクを介してプロセッサ2020と接続されて通信を行うことができる。
イメージセンサ2010は画素アレイに含まれる複数の画素から生成される複数の画素データに対してビニングを行うことで、上記画素アレイに均等に分散されるビニング画素データを生成することができる。
イメージセンサ2010は様々な形態のパッケージで具現されてもよい。例えば、イメージセンサ2010の少なくとも一部の構成は、PoP(Package on Package)、Ball grid arrays(BGAs)、Chip scale packages(CSPs)、Plastic Leaded Chip Carrier(PLCC)、Plastic Dual In-Line Package(PDIP)、Die in Waffle Pack、Die in Wafer Form、Chip On Board(COB)、Ceramic Dual In-Line Package(CERDIP)、Plastic Metric Quad Flat Pack(MQFP)、Thin Quad Flat Pack(TQFP)、Small Outline Integrated Circuit(SOIC)、Shrink Small Outline Package(SSOP)、Thin Small Outline Package(TSOP)、Thin Quad Flat Pack(TQFP)、System In Package(SIP)、Multi Chip Package(MCP)、Wafer-level Fabricated Package(WFP)、Wafer-Level Processed Stack Package(WSP)などのパッケージを利用して具現されてもよい。
実施例に応じて、イメージセンサ2010はプロセッサ2020と一緒に1つのチップに集積されてもよく、別のチップにそれぞれ集積されてもよい。
一方、コンピューティングシステム2000は、イメージセンサ2010を利用するすべてのコンピューティングシステムと解釈すべきである。例えば、コンピューティングシステム2000は、デジタルカメラ、携帯電話、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、スマートフォンなどを含んでもよい。
10 イメージセンシング装置
100 イメージセンサ
200 イメージプロセッサ
100 イメージセンサ
200 イメージプロセッサ
Claims (20)
- イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成するゲインテーブル生成部と、
前記ゲインテーブルを第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換するゲインテーブルビニング部と、
前記ターゲットテーブルに基づいて前記イメージに含まれたノイズを除去するキャリブレーション動作を行うキャリブレーション実行部と、を含むことを特徴とするイメージ処理装置。 - 前記ゲインテーブルは、
複数のゲイン領域を含み、
前記ゲインテーブル値は、
前記複数のゲイン領域にそれぞれ対応する値であることを特徴とする請求項1に記載のイメージ処理装置。 - 前記ゲイン領域それぞれの前記ゲインテーブル値は、
前記ゲイン領域に対応する画素値と同じ色の画素値の平均値を前記関心領域に含まれた画素値のうち前記ゲイン領域に対応する画素値の平均値でそれぞれ割った値であることを特徴とする請求項2に記載のイメージ処理装置。 - 前記ゲインテーブル生成部は、
前記ゲインテーブルに基づいて前記イメージ全体に対するゲインマップを生成することを特徴とする請求項3に記載のイメージ処理装置。 - 前記ゲインテーブル生成部は、
前記関心領域内の位相検出オートフォーカスのための画素に対応する画素値以外の画素値に基づいて前記ゲインテーブルを生成することを特徴とする請求項1に記載のイメージ処理装置。 - 前記ゲインテーブルを保存するゲインテーブル保存部をさらに含むことを特徴とする請求項1に記載のイメージ処理装置。
- 前記第1解像度は、
前記第2解像度より高い解像度であることを特徴とする請求項1に記載のイメージ処理装置。 - 前記ゲインテーブル値の数は、
前記ターゲットテーブル値の数の正の整数倍であることを特徴とする請求項1に記載のイメージ処理装置。 - 前記第1解像度は、
ヘキサデカパターンに対応する解像度で、
前記第2解像度は、
ノナセルパターンに対応する解像度、クアッドベイヤーパターンに対応する解像度、またはベイヤーパターンに対応する解像度の何れか1つであることを特徴とする請求項1に記載のイメージ処理装置。 - 前記第1解像度は、
ノナセルパターンに対応する解像度で、
前記第2解像度は、
クアッドベイヤーパターンに対応する解像度またはベイヤーパターンに対応する解像度であることを特徴とする請求項1に記載のイメージ処理装置。 - 前記ターゲットテーブルは、
複数の計算領域を含み、
前記計算領域のそれぞれにおける前記ターゲットテーブル値は、
前記計算領域に対応する前記ゲインテーブル値の平均値であることを特徴とする請求項1に記載のイメージ処理装置。 - 前記複数の計算領域に対応するゲインテーブル値の数は、
前記第1解像度及び前記第2解像度に基づいて決定されることを特徴とする請求項11に記載のイメージ処理装置。 - 前記ターゲットテーブルは、
複数の計算領域を含み、
前記計算領域のそれぞれにおける前記ターゲットテーブル値は、
前記計算領域に対応する前記ゲインテーブル値の中央値であることを特徴とする請求項1に記載のイメージ処理装置。 - 前記計算領域に対応する前記ゲインテーブル値の数は、
前記第1解像度及び前記第2解像度に基づいて決定されることを特徴とする請求項13に記載のイメージ処理装置。 - 前記キャリブレーション実行部は、
前記ターゲットテーブル値を前記イメージに含まれた複数の画素値に適用することを特徴とする請求項1に記載のイメージ処理装置。 - 前記キャリブレーション実行部は、
前記イメージに含まれた複数の画素値と前記ターゲットテーブル値を前記第2解像度単位で乗算することを特徴とする請求項1に記載のイメージ処理装置。 - 前記ノイズは、
前記複数の画素間のクロストークノイズ(crosstalk)による格子状ノイズであることを特徴とする請求項1に記載のイメージ処理装置。 - 前記関心領域は、
前記イメージに重ねられる複数の格子線の交差点の何れか1つの交差点周辺の予め定められたサイズの領域であることを特徴とする請求項1に記載のイメージ処理装置。 - 複数の画素を用いてイメージを取得するイメージセンサと、
前記イメージに含まれている関心領域に含まれた画素値を用いて第1解像度に対応するゲインテーブル値を含むゲインテーブルを生成し、前記ゲインテーブルを前記第1解像度より低い第2解像度に対応するターゲットテーブル値を含むターゲットテーブルに変換し、前記ターゲットテーブルを用いて前記イメージに含まれたノイズを除去するイメージプロセッサと、を含むことを特徴とするイメージセンシング装置。 - 前記ターゲットテーブル値は、
前記ゲインテーブル値の少なくとも2つ以上のゲインテーブル値の平均値または中央値を用いて生成されることを特徴とする請求項19に記載のイメージセンシング装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210074776A KR20220166013A (ko) | 2021-06-09 | 2021-06-09 | 이미지 센싱 장치 및 그 동작 방법 |
KR10-2021-0074776 | 2021-06-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022188733A true JP2022188733A (ja) | 2022-12-21 |
Family
ID=84295301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022004973A Pending JP2022188733A (ja) | 2021-06-09 | 2022-01-17 | イメージセンシング装置及びその動作方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12008789B2 (ja) |
JP (1) | JP2022188733A (ja) |
KR (1) | KR20220166013A (ja) |
CN (1) | CN115460330A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101643319B1 (ko) * | 2010-01-11 | 2016-07-27 | 삼성전자주식회사 | 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법 |
JP5528627B2 (ja) * | 2011-07-13 | 2014-06-25 | 富士フイルム株式会社 | 撮像装置、撮像素子及び感度差補正方法 |
KR102303764B1 (ko) | 2017-04-24 | 2021-09-17 | 삼성전자주식회사 | 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법 |
CN109005392B (zh) * | 2017-06-07 | 2021-01-12 | 联发科技股份有限公司 | 一种去马赛克方法及其电路 |
-
2021
- 2021-06-09 KR KR1020210074776A patent/KR20220166013A/ko unknown
- 2021-11-23 US US17/534,276 patent/US12008789B2/en active Active
- 2021-12-28 CN CN202111628822.0A patent/CN115460330A/zh active Pending
-
2022
- 2022-01-17 JP JP2022004973A patent/JP2022188733A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220398777A1 (en) | 2022-12-15 |
US12008789B2 (en) | 2024-06-11 |
KR20220166013A (ko) | 2022-12-16 |
CN115460330A (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11363220B2 (en) | Image sensor having a time calculator and image processing device including the same | |
US11190716B2 (en) | Image processing system, image sensor, and method for driving image sensor | |
CN104202543A (zh) | 数据处理方法、数据处理设备、半导体装置和电子设备 | |
KR20160065464A (ko) | 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법 | |
KR20120088605A (ko) | 모바일 어플리케이션용의 cmos 이미지 센서에 대한 다이나믹 레인지 확장 | |
US20230199335A1 (en) | Image sensor | |
JPWO2019078340A1 (ja) | 撮像装置および方法、並びに、画像処理装置および方法 | |
US9237282B2 (en) | Solid-state imaging device and camera module including AD converting units for respective pixels | |
JP2022188733A (ja) | イメージセンシング装置及びその動作方法 | |
CN115209120B (zh) | 图像感测装置及其操作方法及图像处理装置 | |
CN113382214A (zh) | 图像感测装置及其图像合并方法 | |
KR20200141813A (ko) | 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서 | |
US20230262328A1 (en) | Image processing system and operating method thereof | |
US12047691B2 (en) | Image sensor, image processing apparatus, and image processing method | |
US11962923B2 (en) | Image processing system and method of operating the same | |
US20220201237A1 (en) | Image sensor, image sensing device including same, and operating method | |
JP7094454B2 (ja) | 撮像装置、撮像素子、撮像装置の作動方法、撮像素子の作動方法、及びプログラム | |
US20230247318A1 (en) | Image sensor, image processing apparatus, and image processing method | |
KR100801057B1 (ko) | 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법 | |
JP2015050604A (ja) | 固体撮像装置の信号処理方法 | |
CN117082368A (zh) | 图像数据处理方法和图像处理处理器 | |
JP2014120795A (ja) | 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法 | |
JP2017055281A (ja) | 固体撮像装置およびカメラモジュール | |
JP2013197866A (ja) | 個体撮像装置および駆動方法、並びに、電子機器 |