JP2011066890A - 内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置 - Google Patents

内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置 Download PDF

Info

Publication number
JP2011066890A
JP2011066890A JP2010206686A JP2010206686A JP2011066890A JP 2011066890 A JP2011066890 A JP 2011066890A JP 2010206686 A JP2010206686 A JP 2010206686A JP 2010206686 A JP2010206686 A JP 2010206686A JP 2011066890 A JP2011066890 A JP 2011066890A
Authority
JP
Japan
Prior art keywords
signal
pixel
rgb
image sensor
rgb bayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010206686A
Other languages
English (en)
Inventor
Beom-Seok Kim
範 錫 金
Jung Chak Ahn
正 査 安
Tae Sub Jung
泰 燮 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011066890A publication Critical patent/JP2011066890A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】内部変換を通じてRGBベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置とを提供する。
【解決手段】本発明のイメージセンサーは、非RGBベイヤーパターンを有する複数のピクセルを含むピクセルアレイと、複数のピクセルのそれぞれから出力されるアナログピクセル信号をそれぞれデジタルピクセル信号に変換するアナログ−デジタル変換部と、デジタルピクセル信号をRGBベイヤー信号に変換して出力するRGB変換部と、を備えて、RGBベイヤー信号を受信して処理する汎用ISPと別途の互換装置やモジュールなしに互換が可能である。
【選択図】図2

Description

本発明は、イメージセンサーとそれを含むイメージ処理装置に係り、より詳細には、RGBベイヤーと他の構造のフィルターアレイから出力される信号を変換して、RGBベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置とに関する。
最近、CCD(Charged−Coupled Device)及びCMOS(Complementary Metal−Oxide Semiconductor)の高集積化とイメージ処理技術の飛躍的な発展につれて、デジタルカメラ市場が急速度に拡大しており、携帯電話、PDAのようなモバイル機器にデジタルカメラ機能を提供するものが一般的になってきた。
イメージ処理装置は、CCD及びCMOSのようなイメージセンサーを用いて、被写体に関する画像をキャプチャーする。
通常のイメージセンサーは、図1に示されたようなRGBベイヤーパターンのピクセルアレイを使う。イメージセンサーは、被写体に関する光信号を電気信号に出力する複数の単位ピクセルを含んでいる。図1に示されたピクセルアレイを使う通常のイメージセンサーの単位ピクセルは、それぞれR、G及びBのうち一つに対する値を検出する。各単位ピクセルで検出されたR、G及びB値は、イメージセンサーに含まれたADC(Analog Digital Converter)によってデジタル信号に変換されてイメージ信号処理器(Image Signal Processor:以下、ISP)に入力される。
被写体に関する実際のカラーは、R、G及びBをいずれも組み合わせて表わすことができるが、イメージセンサーの各単位ピクセルで検出するデータは、R、G及びBのうち一つについての情報のみを含んで(このようなデジタル信号をRGBベイヤーデータと称する)いるので、通常のISPは、各単位ピクセルで検出したR、G及びBデータを用いて、一つの単位ピクセルがR、G及びB情報をいずれも含むようにカラー補間過程を行う。
このように、ISPは、イメージセンサーから出力されるRGBベイヤーデータをディスプレイ装置(例えば、LCD)に画像出力が可能な信号になるように加工する機能を行う。
しかし、最近、図1に示したようなRGBベイヤーパターンを有するピクセルアレイではない他のパターンのピクセルアレイが多く提案されている。RGBベイヤーパターンではない他のパターンのピクセルアレイを使うイメージセンサーの場合、RGBベイヤーデータを受信して処理する汎用ISPと互換性がないという問題が発生する。
本発明が解決しようとする技術的な課題は、RGBベイヤーパターンと他のパターンのピクセルアレイから出力される電気的な信号をRGBベイヤー信号に変換して出力するイメージセンサーとそれを含むイメージ処理装置とを提供することである。
前記技術的課題を解決するための本発明の一実施形態によるイメージセンサーは、非RGBベイヤーパターンを有する複数のピクセルを含むピクセルアレイと、前記複数のピクセルのそれぞれから出力されるアナログピクセル信号をそれぞれデジタルピクセル信号に変換するアナログ−デジタル変換部と、前記デジタルピクセル信号をRGBベイヤー信号に変換して出力するRGB変換部と、を備えることを特徴とする。
前記RGB変換部は、ターゲットピクセルに相応するデジタルピクセル信号が同一のタイプ(色相)である場合には、前記デジタルピクセル信号をそのまま前記RGBベイヤー信号として使い、前記ターゲットピクセルに相応するデジタルピクセル信号が同一のタイプ(色相)ではない場合には、二つ以上のデジタルピクセル信号を演算して、前記RGBベイヤー信号に変換することができる。
前記RGB変換部は、前記ターゲットピクセルを含む演算ブロック内のピクセルのうちから二つ以上のデジタルピクセル信号を選択し、該選択されたデジタルピクセル信号を演算して、前記ターゲットピクセルのRGBベイヤー信号に出力することができる。
前記技術的課題を解決するための本発明の他の一実施形態によるイメージセンサーは、非RGBベイヤーパターンを有する複数のピクセルを含むピクセルアレイと、前記複数のピクセルのそれぞれから出力されるアナログピクセル信号をRGBベイヤー信号に変換して出力するRGB変換部と、前記RGBベイヤー信号をデジタル信号であるRGBベイヤーデータに変換するアナログ−デジタル変換部と、を備えることを特徴とする。
前記RGB変換部は、ターゲットピクセルに相応するアナログピクセル信号が同一のタイプ(色相)である場合には、前記アナログピクセル信号をそのまま前記RGBベイヤー信号として使い、前記ターゲットピクセルに相応するアナログピクセル信号が同一のタイプ(色相)ではない場合には、二つ以上のアナログピクセル信号を演算して、前記RGBベイヤー信号に変換することができる。
前記RGB変換部は、前記ターゲットピクセルを含む演算ブロック内のピクセルのうちから二つ以上のアナログピクセル信号を選択し、該選択されたアナログピクセル信号を演算して、前記ターゲットピクセルのRGBベイヤー信号に出力することができる。
前記演算は、補間、加重平均、平均及び和のうちの少なくとも一つであり得る。
本発明によるイメージセンサーは、RGBベイヤーパターンと他のパターンのピクセルアレイから出力される電気的な信号をRGBベイヤー信号に変換して出力することで、RGBベイヤー信号を受信して処理する汎用ISPと別途の互換装置やモジュールなしに互換性が確保できるという効果を奏する。
通常のRGBベイヤーパターンを示す図である。 本発明の実施形態によるイメージ処理装置の概略的なブロック図である。 図2のピクセルアレイを概念的に示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 図3のピクセルアレイのパターンの一例を示す図である。 ピクセルアレイに具現される各ピクセルの回路図の一例である。 ピクセルアレイに具現される各ピクセルの回路図の一例である。 ピクセルアレイに具現される各ピクセルの回路図の一例である。 ピクセルアレイに具現される各ピクセルの回路図の一例である。 図2のRGB変換部の動作を説明するための図である。 本発明の他の実施形態によるイメージ処理装置を示すブロック図である。 図16のRGB変換部の動作を説明するための図である。 本発明の他の一実施形態によるイメージ処理装置100’’の概略的なブロック図である。 図18の非RGB変換部119の動作を説明するための図である。 本発明の一実施形態によるイメージセンサーを含む電子システムのブロック図を示す。
本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び添付図面に記載の内容を参照しなければならない。
本明細書においては、何れか一つの構成要素が他の構成要素にデータまたは信号を‘伝送’する場合には、前記構成要素は、前記他の構成要素に直接前記データまたは信号を伝送することができ、少なくとも一つのまた他の構成要素を通じて前記データまたは信号を、前記他の構成要素に伝送できるということを意味する。
以下、図面を参照しながら、本発明を実施するための形態の具体例を説明する。各図面に付された同じ参照符号は、同じ部材を表わす。
図2は、本発明の実施形態によるイメージ処理装置100の概略的なブロック図である。図3は、図2のピクセルアレイ111を概念的に示す図である。図4ないし図9は、それぞれ図3に示されたピクセルアレイのパターンの一例を示す図である。
図2ないし図3を参照すると、イメージ処理装置100は、イメージセンサー110とイメージ処理プロセッサ(ISP)130とを含む。この際、イメージセンサー110とイメージ処理プロセッサ(ISP)130のそれぞれは、別途のチップ(chip)またはモジュール(moudule)単位として具現可能である。イメージ処理プロセッサ(ISP)130は、通常のISPである。
イメージセンサー110は、入射される光に基づいて被写体に対するイメージ信号を生成する。イメージセンサー110は、ピクセルアレイ(active pixel array)111、ローデコーダ/ドライバー(row decoder/driver)112、アナログリードアウト回路113、アナログ−デジタル変換部(ADC)114、RGB変換部115、出力バッファ(output buffer)116、カラムデコーダ/ドライバー(column decoder/driver)117、タイミングコントローラ(Timing Controller)118を含む。
ピクセルアレイ111は、図3に示すように、それぞれが、複数のロー(row)ラインR1ないしRn及び複数のカラム(column)ラインC1ないしCmと接続される2次元マトリックス状の複数のピクセルP11、P12、...、Pnmを含む。
ピクセルアレイ111を構成する複数のピクセルP11、P12、...、Pnmのそれぞれの上部には、特定のスペクトル領域の光を透過させるためのそれぞれのカラーフィルター(color filter)が配される。前記それぞれのカラーフィルターは、レッドカラーフィルターR、グリーンカラーフィルターG、ブルーカラーフィルターB、ホワイトカラーフィルターW、イエローカラーフィルターYなどである。また、Mg(マゼンタ)、Cy(シアン)、BL(ブラック)フィルターであり得る。
本発明の明細書で、ピクセルアレイ111は、2次元マトリックス状の複数のピクセルP11、P12、...、Pnmのそれぞれの上部に位置するカラーフィルター及びこれに相応する回路(例えば、図11ないし図14のうち一つ)を含むが、説明の便宜上、前記カラーフィルターパターンのそれぞれのカラーをピクセルと称する。
本発明の実施形態によるピクセルアレイ111のパターンを、図4ないし図10に示す。これを参照すると、本発明の実施形態によるピクセルアレイ111のパターンは、RGBベイヤーパターンではない非RGBベイヤーパターンを有する。
図4を参照すると、ピクセルアレイは、上下左右方向に反復して配列される4*4形態の複数の基本ピクセルブロックを含みうる。基本ピクセルブロックは、第1ローラインに順次に配列される第1タイプピクセルW、第2タイプピクセルB、第1タイプピクセルW、及び第3タイプピクセルRと、第2ローラインに順次に配列される第2タイプピクセルB、第4タイプピクセルG、第3タイプピクセルR、及び第4タイプピクセルGと、第3ローラインに順次に配列される第1タイプピクセルW、第3タイプピクセルR、第1タイプピクセルW、及び第2タイプピクセルBと、第4ローラインに順次に配列される第3タイプピクセルR、第4タイプピクセルG、第2タイプピクセルB、及び第4タイプピクセルGとを含む。ここで、第1タイプピクセルWは、ホワイト(white)ピクセルであり、第2タイプピクセルBは、ブルー(blue)ピクセルであり、第3タイプピクセルRは、レッド(red)ピクセルであり、第4タイプピクセルGは、グリーン(green)ピクセルであり得る。
本発明の他の実施形態で、ピクセルアレイは、図5ないし図10に示したパターンのうち一つを有しうる。しかし、本発明の実施形態による非RGBベイヤーパターンのピクセルアレイは、図4ないし図10に示されたピクセルアレイに限定されるものではなく、R、G、B、Mg(マゼンタ)、Cy(シアン)、Y(イエロー)、BL(Black)、W(White)などが互いに混合された2*2、3*3、4*4などのモザイク(Mosaic)配列やストライプ(Stripe)配列など多様なパターンとして具現可能である。
図11ないし図14は、それぞれピクセルアレイ111に具現される各ピクセルP11、P12、...、Pnmの回路図の一例である。図11を参照すると、ピクセルは、光感知器PD(photo sensitive device)、伝送トランジスタTX、フローティングディフュージョンノードFD(floating diffusion node)、リセットトランジスタRX、ドライブトランジスタ(または、ソースフォロワトランジスタ、DX)、及び選択トランジスタSXを含みうる。
光感知器PDは、発光体から発生した光エネルギーを受信して、光電荷を生成して蓄積する。伝送トランジスタTXは、ゲートに入力される伝送制御信号TGに応答して、光感知器PDによって、前記蓄積された電荷(または、光電流)をフローティングディフュージョンノードFDに伝送する。
フローティングディフュージョンノードFDは、フローティング拡散領域(Floating diffusion region)で形成され、伝送トランジスタTXを通じて光感知器PDから生成された光電荷を受信して保存する。
リセットトランジスタRXは、電源電圧VDDとフローティングディフュージョンノードFDとの間に接続され、リセット信号RSに応答して、前記フローティングディフュージョンノードFDを前記電源電圧VDDでリセットさせる。
ドライブトランジスタDXは、電源電圧VDDと第1ノードとの間に接続され、フローティングディフュージョンノードFDに保存された電荷に基づいて、前記第1ノードを前記電源電圧VDDでソースフォロワする。
選択トランジスタSXは、前記第1ノードと出力ノードとに接続され、選択信号SELに応答して、前記第1ノードと出力ノードの電気的経路を形成する。
複数のピクセルのそれぞれは、ローデコーダ/ドライバー112で発生した複数の制御信号(例えば、図11のTG、RS、及びSEL)に応答して、ピクセル信号(例えば、リセット信号とイメージ信号)をカラム(column)単位で出力することができる。
図11では、一つの光感知器PDと4つのMOSトランジスタTX、RX、DX、SXとを備えるピクセルを例示しているが、本発明による実施形態が、これに限定されるものではなく、ドライブトランジスタDXと選択トランジスタSXとを備える少なくとも3つのトランジスタと光感知器PDとを含むあらゆる回路に、本発明による実施形態が適用可能である。ピクセルの他の実施形態を、図12ないし図14に図示する。
図12に示したピクセルは、3トランジスタピクセルであって、光感知器PD、リセットトランジスタRX、ドライブトランジスタ(または、ソースフォロワトランジスタ、DX)、及び選択トランジスタSXを含みうる。
図13に示したピクセルは、5トランジスタピクセルであって、光感知器PD、リセットトランジスタRX、ドライブトランジスタ(または、ソースフォロワトランジスタ、DX)、及び選択トランジスタSXの以外に一つのトランジスタGXをさらに含みうる。
図14に示したピクセルは、5トランジスタピクセルの他の例であって、光感知器PD、リセットトランジスタRX、ドライブトランジスタ(または、ソースフォロワトランジスタ、DX)、選択トランジスタSXの以外に二つのトランジスタGX、PXをさらに含みうる。
一方、図11ないし図14のような多様な形態のピクセルは、各ピクセルが独立した構造を有することもでき、少なくとも一つの構成要素を互いに共有することができる。例えば、図11の構成で、2つまたは4つのピクセルが、光感知器PDとトランスファートランジスタTXのみを独立して構成し、残りの部分は、互いに共有した状態でタイミングコントロールを通じて独立した動作ができる。
この際、共有形態のピクセルは、ロー方向、カラム方向またはローとカラムとの併合された形態を含む。
アナログリードアウト回路113は、ピクセルアレイ111で選択された複数のピクセルからアナログピクセル信号をリードアウト(readout)できる。例えば、前記アナログリードアウト回路113は、ピクセルアレイ111に形成された複数のピクセルのうち、ローデコーダ/ドライバー112によって選択されたローラインのピクセルで出力される信号をそれぞれサンプルアンドホールドするサンプルアンドホールド回路(図示せず)を含みうる。また、アナログリードアウト回路113は、サンプルアンドホールド回路で出力される信号を相関二重サンプリング(Correlated Double Sampling)するCDS回路(図示せず)をさらに含みうる。
ADC114は、アナログリードアウト回路113で出力されるアナログピクセル信号をアナログ−デジタル変換して、該アナログ−デジタル変換されたピクセルデータを出力することができる。
RGB変換部(RGB converter)115は、ADC114から出力されるデジタルピクセルデータをRGBベイヤーデータに変換して出力することができる。ADC114から出力されるデジタルピクセルデータは、非RGBベイヤーデータである。
図15は、RGB変換部115の動作を説明するための図である。
RGB変換部115は、一つ以上のデジタルピクセルデータ(例えば、図15の上端部に示されたD11ないしD55のうち少なくとも一つ)を用いて、RGBベイヤー信号(すなわち、図15の下端部に示したようなパターンを有するR、G、またはBデータ)を生成することができる。図15で、D11ないしD55は、各ピクセルのデジタルピクセルデータを表わす。図15の下端部に示したように、RGBベイヤー信号は、Rピクセル信号とGピクセル信号とが交互に現われるローライン信号R1、R3、R5とGピクセル信号とBピクセル信号とが交互に現われるローライン信号R2、R4で構成される。
本発明の一実施形態において、RGB変換部115は、ターゲットピクセルに相応するデジタルピクセル信号が同一のタイプ(カラー)である場合には、前記デジタルピクセル信号をそのまま前記RGBベイヤー信号に出力し、ターゲットピクセルに相応するデジタルピクセル信号が同一のタイプ(カラー)ではない場合には、二つ以上のデジタルピクセル信号を演算してRGBベイヤー信号に変換することができる。
例えば、RGB変換部115は、ターゲットピクセル(例えば、R3及びC3のピクセルP33)を含む演算ブロックLB(例えば、図15に示された3*3正方形ブロック)内で選択された少なくとも二つのピクセルデータを演算して、ターゲットピクセルのRGBベイヤーデータを算出することができる。ここで、ターゲットピクセル(例えば、P33)は、算出しようとするRGBベイヤーデータに該当するピクセルであり、演算ブロックLBは、ターゲットピクセル及びターゲットピクセルの隣りのピクセルを含むピクセルの集合であり得る。演算ブロックの大きさ(すなわち、演算ブロックに属するピクセル数)や形態(正方形の以外に、長方形、ライン形、菱形など)は、いくらでも変形されうる。
演算のために選択されるデジタルピクセル信号は、ターゲットピクセルのRGBベイヤー信号と同種(同一の色相)のデジタルピクセル信号であり得る。例えば、ターゲットピクセルP33のRGBベイヤー信号がRであれば、ターゲットピクセルを含む演算ブロックLBで同種(R)のピクセルデータのみ選択され、RGB変換部115は、選択されたピクセルデータを演算した結果を変換されたRデータに出力することができる。他の実施形態では、特定のタイプピクセル(例えば、W(ホワイト)、及び/またはブラック(Black))は、常に選択されうる。
すなわち、RGB変換部115は、演算ブロックLB内でターゲットピクセルのRGBベイヤー信号(例えば、R信号)と同一のタイプのデジタルピクセル信号及び特定のタイプ(例えば、W(ホワイト)及び/またはブラック)のデジタルピクセル信号のうち少なくとも二つ以上を選択し、該選択されたデジタルピクセル信号を演算することで、ターゲットピクセルに該当するRGBベイヤー信号を算出することができる。
演算は、選択されたピクセルデータ間の補間(interpolation)であることもあって、ピクセルデータの平均、加重平均または和であり得るが、本発明が、これに限定されるものではない。補間は、線形補間(linear interpolation)または非線形補間(non−linear interpolation)であり得る。
前述したように、RGB変換部115は、RGBベイヤーデータを生成するために、二つ以上のピクセルデータを演算することで、ノイズも減少させることができる。
出力バッファ116は、カラムデコーダ/ドライバー117で出力されるカラム制御信号(例えば、アドレス信号)に応答して、RGB変換部115で出力されるRGBベイヤー信号をバッファリングして出力することができる。
カラムデコーダ/ドライバー117は、タイミングコントローラ118で発生したカラム制御信号(例えば、アドレス信号)をデコーディングし、該デコーディングされた制御信号(例えば、アドレス信号)に応答して、ピクセルアレイ111のカラムライン(図示せず)のうちから少なくとも何れか一つのカラムラインを選択的に活性化させることができる。
タイミングコントローラ118は、ピクセルアレイ111、ローデコーダ/ドライバー112、アナログリードアウト回路113、ADC114、RGB変換部115、出力バッファ116及びカラムデコーダ/ドライバー117のうちから少なくとも一つの動作を制御するための少なくとも一つの制御信号を生成することができる。
出力バッファ116で出力されるRGBベイヤー信号をISP130に入力される。ISP130は、イメージセンサー110から出力されるRGBベイヤー信号に基づいて、被写体に対するイメージを生成することができる。
図16は、本発明の他の実施形態によるイメージ処理装置を示すブロック図である。図17は、図16に示したRGB変換部115’の動作を説明するための図である。
図16のイメージセンサー110’は、図2のイメージセンサー110と比較して、RGB変換部115’がADC114の前端に配置するという点で異なる。
したがって、説明の重複を避けるために、相違点を中心に説明する。
図2のRGB変換部115は、デジタル信号であるピクセルデータを用いて、デジタル信号であるRGBベイヤーデータを生成する。一方、図16のRGB変換部115’は、アナログピクセル信号を用いて、アナログ信号であるRGBベイヤー信号を生成する。
すなわち、RGB変換部115’は、一つ以上のアナログピクセル信号(例えば、図17の上端部に示されたA11ないしA55のうち少なくとも一つ)を用いて、RGBベイヤー信号(すなわち、図17の下端部に示されたようなパターンを有するR、G、またはB信号)を生成することができる。図17で、A11ないしA55は、各ピクセルのアナログピクセル信号を表わす。
図16のRGB変換部115’が、非RGBベイヤー信号をRGBベイヤー信号に変換する技法は、前述したところと類似している。但し、図2のRGB変換部115は、二つ以上のピクセルデータを演算するために、デジタル方式で補間、平均、加重平均または和演算を行うが、図16のRGB変換部115’は、二つ以上のピクセル信号を演算するために、アナログ方式で補間、平均、加重平均または和演算を行うことができる。
前述した実施形態では、非RGBベイヤーパターンデータをRGBベイヤーパターンデータに変換する例を中心に記述したが、本発明の実施形態が、これに限定されるものではない。例えば、本発明の他の実施形態によるイメージセンサーは、RGBベイヤーパターンデータを非RGBベイヤーパターンデータに変換することができる。
図18は、本発明の他の一実施形態によるイメージ処理装置100’’の概略的なブロック図である。図19は、図18に示した非RGB変換部119の動作を説明するための図である。図18のイメージ処理装置100’’は、図2に示されたイメージ処理装置100と類似した構成を有するので、説明の重複を避けるために、イメージ処理装置100の相違点のみを述べる。
図18に示したイメージセンサー110’’は、図2に示されたイメージセンサー110のRGB変換部115の代わりに非RGB変換部119を備える。また、本発明の他の一実施形態によるピクセルアレイ111’のパターンは、図1に示されたRGBベイヤーパターンを有する。非RGB変換部119は、図19に示したように、RGBベイヤーパターンデータを非RGBベイヤーパターンデータに変換する。非RGBベイヤーパターンは、図4ないし図10に示したパターンであり得るが、これに限定されるものではない。
本発明のまた他の一実施形態によるイメージセンサーでは、非RGB変換部119が、図16のイメージセンサー110’と同様にADC114の前に位置することもある。
図20は、本発明の一実施形態によるイメージ処理装置を含む電子システム200のブロック図を示す。図20を参照すると、本発明の実施形態による電子システム200は、システムバス(system bus)220に接続されたイメージ処理装置100または100’、メモリ装置210とプロセッサ(processor)230とを含みうる。電子システム200は、デジタルカメラ、デジタルカメラ付き携帯電話機、カメラ付き人工衛星システム(satellite system)などであり得るが、発明の範囲が、これに限定されるものではない。
プロセッサ230は、イメージ処理装置100または100’及びメモリ装置210の動作を制御するための制御信号を生成することができる。イメージ処理装置100または100’は、被写体に対するイメージを生成することができ、メモリ装置210は、前記イメージを保存することができる。
実施形態において、本発明の実施形態による電子システム200が、携帯用アプリケーション(portalble application)として具現される場合に、本発明の実施形態による電子システム200は、イメージ処理装置100または100’、メモリ装置210、及びプロセッサ230に動作電源を供給するためのバッテリー(battery)260をさらに含みうる。
この際、携帯用アプリケーションは、携帯用コンピュータ(portable computer)、デジタルカメラ(digital camera)、PDA(Personal Digital Assistance)、携帯電話機(cellular telephone)、MP3プレーヤー、PMP(Portable Multimedia Player)、カーナビゲーション(Automotive navigation SyStem)、メモリカード(memory card)、または電子辞典を含みうる。
また、本発明の実施形態による電子システム200は、外部のデータ処理装置とデータを送受信させるインターフェース、例えば、入/出力装置240、250をさらに含みうる。
本発明は、図面に示した一実施形態を参考にして説明したが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。
本発明は、内部変換を通じてRGBベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置関連の技術分野に適用可能である。
100 イメージ処理装置
110 イメージセンサー
111 ピクセルアレイ
112 ローデコーダ/ドライバー
113 アナログリードアウト回路
114 アナログ−デジタル変換部(ADC)
115 RGB変換部
116 出力バッファ
117 カラムデコーダ/ドライバー
118 タイミングコントローラ
130 イメージ処理プロセッサ(ISP)

Claims (13)

  1. 非RGBベイヤーパターンを有する複数のピクセルを含むピクセルアレイと、
    前記複数のピクセルのそれぞれから出力されるアナログピクセル信号をそれぞれデジタルピクセル信号に変換するアナログ−デジタル変換部と、
    前記デジタルピクセル信号をRGBベイヤー信号に変換して出力するRGB変換部と、を備えることを特徴とするイメージセンサー。
  2. 前記RGBベイヤー信号は、
    Rピクセル信号とGピクセル信号とが交互に現われる第1ローライン信号と、
    Gピクセル信号とBピクセル信号とが交互に現われる第2ローライン信号と、を含むことを特徴とする請求項1に記載のイメージセンサー。
  3. 前記RGB変換部は、
    ターゲットピクセルに相応するデジタルピクセル信号が同一のタイプ(色相)である場合には、前記デジタルピクセル信号をそのまま前記RGBベイヤー信号として使い、
    前記ターゲットピクセルに相応するデジタルピクセル信号が同一のタイプ(色相)ではない場合には、二つ以上のデジタルピクセル信号を演算して、前記RGBベイヤー信号に変換することを特徴とする請求項2に記載のイメージセンサー。
  4. 前記RGB変換部は、
    前記ターゲットピクセルを含む演算ブロック内のピクセルのうちから二つ以上のデジタルピクセル信号を選択し、該選択されたデジタルピクセル信号を演算して、前記ターゲットピクセルのRGBベイヤー信号に出力することを特徴とする請求項2に記載のイメージセンサー。
  5. 前記RGB変換部は、
    前記演算ブロック内で、前記ターゲットピクセルのRGBベイヤー信号と同一のタイプのデジタルピクセル信号及び特定のタイプのデジタルピクセル信号のうち少なくとも二つ以上を選択することを特徴とする請求項4に記載のイメージセンサー。
  6. 前記演算は、
    補間、加重平均、平均及び和のうちの少なくとも一つであることを特徴とする請求項3または4に記載のイメージセンサー。
  7. 非RGBベイヤーパターンを有する複数のピクセルを含むピクセルアレイと、
    前記複数のピクセルのそれぞれから出力されるアナログピクセル信号をRGBベイヤー信号に変換して出力するRGB変換部と、
    前記RGBベイヤー信号をデジタル信号であるRGBベイヤーデータに変換するアナログ−デジタル変換部と、
    を備えることを特徴とするイメージセンサー。
  8. 前記RGB変換部は、
    ターゲットピクセルに相応するアナログピクセル信号が同一のタイプ(色相)である場合には、前記アナログピクセル信号をそのまま前記RGBベイヤー信号として使い、
    前記ターゲットピクセルに相応するアナログピクセル信号が同一のタイプ(色相)ではない場合には、二つ以上のアナログピクセル信号を演算して、前記RGBベイヤー信号に変換することを特徴とする請求項7に記載のイメージセンサー。
  9. 前記RGB変換部は、
    前記ターゲットピクセルを含む演算ブロック内のピクセルのうちから二つ以上のアナログピクセル信号を選択し、該選択されたアナログピクセル信号を演算して、前記ターゲットピクセルのRGBベイヤー信号に出力することを特徴とする請求項7に記載のイメージセンサー。
  10. 前記RGB変換部は、
    前記演算ブロック内で、前記ターゲットピクセルのRGBベイヤー信号と同一のタイプのアナログピクセル信号及び特定のタイプのアナログピクセル信号のうち少なくとも二つ以上を選択することを特徴とする請求項9に記載のイメージセンサー。
  11. 前記演算は、
    補間、加重平均、平均及び和のうちの少なくとも一つであることを特徴とする請求項8または9に記載のイメージセンサー。
  12. 前記イメージセンサーは、
    前記RGBベイヤー信号をバッファリングして、外部のイメージ処理プロセッサに出力する出力バッファをさらに備えることを特徴とする請求項1又は請求項7に記載のイメージセンサー。
  13. 請求項1又は請求項7に記載のイメージセンサーと、
    前記イメージセンサーから出力される前記RGBベイヤー信号を受信して加工するイメージ処理プロセッサと、
    を備えることを特徴とするイメージ処理装置。
JP2010206686A 2009-09-15 2010-09-15 内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置 Pending JP2011066890A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090086789A KR20110029217A (ko) 2009-09-15 2009-09-15 내부 변환을 통하여 rgb베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치

Publications (1)

Publication Number Publication Date
JP2011066890A true JP2011066890A (ja) 2011-03-31

Family

ID=43705829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010206686A Pending JP2011066890A (ja) 2009-09-15 2010-09-15 内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置

Country Status (5)

Country Link
US (2) US8582007B2 (ja)
JP (1) JP2011066890A (ja)
KR (1) KR20110029217A (ja)
CN (1) CN102025926A (ja)
DE (1) DE102010037436A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823238B1 (ko) * 2016-05-09 2018-01-29 삼성전기주식회사 이미지 센서

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747154B2 (ja) * 2007-11-22 2011-08-17 富士フイルム株式会社 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
WO2012124183A1 (ja) * 2011-03-11 2012-09-20 富士フイルム株式会社 撮像装置およびその動作制御方法
US9179110B2 (en) * 2012-11-02 2015-11-03 Semiconductor Components Industries, Llc Imaging systems with modified clear image pixels
CN113472989A (zh) * 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
KR102069533B1 (ko) 2013-05-03 2020-01-28 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
TWI554805B (zh) * 2014-12-12 2016-10-21 聯詠科技股份有限公司 顯示面板
KR102219784B1 (ko) * 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
KR20180008244A (ko) * 2016-07-14 2018-01-24 엘지이노텍 주식회사 이미지 생성 방법 및 생성 장치
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
KR102530752B1 (ko) * 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
KR20200141813A (ko) * 2019-06-11 2020-12-21 삼성전자주식회사 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
CN111355937B (zh) * 2020-03-11 2021-11-16 北京迈格威科技有限公司 图像处理方法、装置和电子设备
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
KR20210151450A (ko) * 2020-06-05 2021-12-14 에스케이하이닉스 주식회사 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법
KR20220036014A (ko) 2020-09-15 2022-03-22 삼성전자주식회사 이미지 센싱 시스템
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN112291479B (zh) * 2020-11-23 2022-03-22 Oppo(重庆)智能科技有限公司 图像处理模组、图像处理方法、摄像头组件及移动终端
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN113556520A (zh) * 2021-07-16 2021-10-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61280189A (ja) * 1985-06-05 1986-12-10 Hitachi Ltd デジタルテレビジヨンカメラ装置
JP2006211610A (ja) * 2005-01-31 2006-08-10 Olympus Corp 撮像システム
JP2008172289A (ja) * 2007-01-05 2008-07-24 Toshiba Corp 固体撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631703A (en) 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP2008096548A (ja) * 2006-10-10 2008-04-24 Hitachi Displays Ltd 表示装置
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
JP4951440B2 (ja) * 2007-08-10 2012-06-13 富士フイルム株式会社 撮像装置及び固体撮像素子の駆動方法
JP2009049870A (ja) 2007-08-22 2009-03-05 Sony Corp 固体撮像装置、撮像装置
JP4896852B2 (ja) * 2007-10-26 2012-03-14 ルネサスエレクトロニクス株式会社 オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
JP2009171241A (ja) 2008-01-16 2009-07-30 Yokogawa Electric Corp センサアレイ読み出し回路
KR101394110B1 (ko) 2008-02-11 2014-05-14 (주)소슬 배치식 기판 지지 장치 및 이를 구비하는 기판 처리 장치
JP4997137B2 (ja) 2008-02-20 2012-08-08 オリンパス株式会社 固体撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61280189A (ja) * 1985-06-05 1986-12-10 Hitachi Ltd デジタルテレビジヨンカメラ装置
JP2006211610A (ja) * 2005-01-31 2006-08-10 Olympus Corp 撮像システム
JP2008172289A (ja) * 2007-01-05 2008-07-24 Toshiba Corp 固体撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823238B1 (ko) * 2016-05-09 2018-01-29 삼성전기주식회사 이미지 센서

Also Published As

Publication number Publication date
US9380243B2 (en) 2016-06-28
DE102010037436A1 (de) 2011-04-07
CN102025926A (zh) 2011-04-20
KR20110029217A (ko) 2011-03-23
US8582007B2 (en) 2013-11-12
US20140049670A1 (en) 2014-02-20
US20110063482A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
JP2011066890A (ja) 内部変換を通じてrgbベイヤー信号を出力するイメージセンサーとそれを含むイメージ処理装置
US10015428B2 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
JP6651478B2 (ja) 画像センサにおける画素ビニング
KR102354991B1 (ko) 픽셀 회로 및 이를 포함하는 이미지 센서
JP5717561B2 (ja) イメージセンサのカラム回路およびピクセルビニング回路
TWI672952B (zh) 影像擷取器件、控制方法及影像擷取裝置
JP5103679B2 (ja) 固体撮像装置及びその駆動方法
US8350935B2 (en) Color filter array, image sensor including the color filter array and system including the image sensor
KR20140111853A (ko) 이미지 센서 및 2행 동시 독출 방법
JP5895525B2 (ja) 撮像素子
US9407849B2 (en) Image sensor and system including the same
WO2023035902A1 (zh) 图像传感器、摄像头组件和移动终端
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
WO2023011092A1 (zh) 图像传感器、摄像头组件和移动终端
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
KR20210066048A (ko) 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법
KR20150146308A (ko) 이미지 센서 및 이미지 센서의 동작 방법
US8547458B2 (en) Solid-state image pickup device
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
JP2016040874A (ja) 固体撮像装置
KR20130125254A (ko) 픽셀, 픽셀 어레이 및 이미지 센서
US20230217119A1 (en) Image sensor and image processing system
US11330201B2 (en) Light sensing circuit and image sensor including the same
US11863893B2 (en) Image sensor including auto-focus pixels that receive the same transmission control signal
US20240205566A1 (en) Image processing device and operation method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150325

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150402

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150605