JP2015062264A - 固体撮像素子、固体撮像装置及び画像処理方法 - Google Patents

固体撮像素子、固体撮像装置及び画像処理方法 Download PDF

Info

Publication number
JP2015062264A
JP2015062264A JP2012017042A JP2012017042A JP2015062264A JP 2015062264 A JP2015062264 A JP 2015062264A JP 2012017042 A JP2012017042 A JP 2012017042A JP 2012017042 A JP2012017042 A JP 2012017042A JP 2015062264 A JP2015062264 A JP 2015062264A
Authority
JP
Japan
Prior art keywords
unit
pixel
solid
horizontal
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012017042A
Other languages
English (en)
Inventor
晃司 菊地
Koji Kikuchi
晃司 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012017042A priority Critical patent/JP2015062264A/ja
Priority to PCT/JP2013/051236 priority patent/WO2013115015A1/ja
Publication of JP2015062264A publication Critical patent/JP2015062264A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】、所定目的用の情報を取得する特定の画像処理に関して高速な処理を実現する。【解決手段】複数の画素21が所定順に配された撮像部20と、この撮像部20に隣接して配置され、撮像部20の水平行方向の画素21が出力する画素信号に対して所定の演算を行う演算処理部17と、この演算処理部17で演算された後の水平行方向の画素の画素信号を出力する出力部75とを備える。上記所定の演算は、例えば予め登録されたフィルタ係数に基づくフィルタ処理である。【選択図】図1

Description

本開示は、例えばCMOS(Complementary Metal-oxide Semiconductor; 相補金属酸化膜半導体)型のイメージセンサ等に適用して好適な固体撮像素子、固体撮像装置及び画像処理方法に関する。
従来、CMOSイメージセンサに代表される固体撮像素子(半導体装置)は、半導体基板上に形成した撮像領域部を構成する画素から出力信号を得る。この出力信号に各種信号処理が行われて、画像データに変換される。その画像データを使って画像処理がなされ、目的の物体の検出や認識といった作業が行われる場合がある。以下に、一般的な固体撮像素子を使用した固体撮像装置の構成例を説明する。
図12は、一般的なCMOS型の固体撮像素子を使用した固体撮像装置の概略構成図である。
図中の固体撮像装置200は、複数の単位画素21が行及び列に配列された画素アレイ(Pixel Array )構造の撮像部20(撮像領域部)の周辺に、水平走査部40や垂直走査部50を有する駆動制御部15を備えている。駆動制御部15は、その他の構成要素として、固体撮像装置200の各機能部に所定タイミングの制御パルスを供給する駆動信号操作部(読出アドレス制御装置の一例)60が設けられている。また、撮像部20から出力される画素信号を処理する信号処理部としてのカラム処理部30と、水平信号線71と、出力部75とを備えている。
撮像部20内には、一例として、水平方向(H)に1280個、垂直方向(V)に960個の単位画素21が配されている。各単位画素21は、垂直走査部50で制御される垂直制御線25や画素信号をカラム処理部30に伝達する垂直信号線28と接続されている。
カラム処理部30は、垂直列ごとに配されたカラム信号処理部31を有する。カラム信号処理部31は、例えば図示しない蓄積容量を持ちCDS(Correlated Double Sampling;相関2重サンプリング)処理を利用したノイズ除去手段や、そのノイズ除去手段の後段においてアナログの画素信号をデジタルデータに変換するアナログ−デジタル変換装置(ADC;Analog Digital Converter)などを備える。
駆動信号操作部60は、図示を割愛するが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックを備える。また、端子1aを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、端子1bを介して固体撮像装置200の情報を含むデータDATAを出力する通信インタフェースの機能ブロックを備える。
出力部75は、撮像部20から水平信号線71を通して出力される各単位画素21の画素信号を適当なゲインで増幅した後、撮像信号(RAW画像データ)として外部回路に端子1cを介して供給する。
出力部75の後段に設けられる外部回路は、撮像部20や駆動制御部15などが同一の半導体領域に一体的に形成された固体撮像素子210とは別の基板(プリント基板もしくは半導体基板)上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
図12の例では、外部回路として、固体撮像素子210が形成された半導体基板(一点鎖線)とは別の半導体基板上(一点鎖線)にバッファメモリ部220と画像処理部230が形成されている。
バッファメモリ部220は、例えば半導体メモリが用いられ、固体撮像素子210から供給される、水平行方向の単位画素21の画素信号で構成されるRAW画像データを保持し、保持したRAW画像データをフレーム単位で画像処理部230に出力する。
画像処理部230は、バッファメモリ部220から読み出したフレーム単位のRAW画像データに所定の画像処理を施し、画像処理後の画像データを出力する。
特許文献1には、固体撮像素子を備える撮像装置において、固体撮像素子(2)による画像データ(撮像データDO)生成後に外部回路(200)によって画像処理を行うことが開示されている。
特開2006−135481号公報(図1参照)
ところで、物体の形状検出などの作業で実施される画像処理は、通常は固体撮像素子による画像データ生成後に外部回路で行われる。そのため、画像データ生成後に画像処理プロセスが加わり、その分の処理時間が必要となるが、さらなる処理の高速化が求められている。
本開示は、上記の状況を考慮してなされたものであり、所定目的用の情報を取得する特定の画像処理に関して高速な処理を実現するものである。
本開示の一側面の固体撮像素子は、複数の画素が所定順に配された撮像部と、この撮像部に隣接して配置され、撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、この演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部とを備える。
上記所定の演算は、例えば予め登録されたフィルタ係数に基づくフィルタ処理である。
本開示の一側面によれば、撮像部の水平方向の画素が画素信号を出力した後すぐに所望の演算がなされ、演算処理された画素信号が出力される。
本開示によれば、画素信号の出力後にすぐに所望の処理がなされるため、高速な演算が可能となる。
また、画素信号の処理に必要なASIC等の集積回路を用意する必要がないため、コスト削減によるコストメリットが期待できる。
本開示の第1の実施形態に係るCMOS型の固体撮像素子を使用した固体撮像装置の概略構成図である。 図1に示した第1の実施形態に係るCMOS型の固体撮像素子に用いられるフィルタの第1例である、エッジ抽出用フィルタの一例である。 図3Aはある対象物の通常画像例であり、図3Bはその対象物について図1に示した第1の実施形態に係るCMOS型の固体撮像素子によりエッジ抽出を実行後の画像例である。 図1に示した第1の実施形態に係るCMOS型の固体撮像素子と従来構造の固体撮像素子の画像処理の処理速度の差を示すグラフである。 図1に示した第1の実施形態に係るCMOS型の固体撮像素子に用いられるフィルタの第2例である、混色補正用フィルタの一例である。 図1に示した第1の実施形態に係るCMOS型の固体撮像素子と従来構造の固体撮像素子の補正後エッジコントラストの差を示すグラフである。 本開示の第2の実施形態に係るCMOS型の固体撮像素子に用いられるフィルタの一例である、パターンマッチング用フィルタの一例である。 本開示の第2の実施形態に係るCMOS型の固体撮像素子を使用した固体撮像装置の概略構成図である。 図8に示した第2の実施形態に係るCMOS型の固体撮像素子を使用した固体撮像装置の概略外観図である。 図9に示したCMOS型の固体撮像素子を使用した固体撮像装置の分解斜視図である。 図8に示した第2の実施形態に係るCMOS型の固体撮像素子と従来構造の固体撮像素子の処理速度の差を示すグラフである。 一般的なCMOS型の固体撮像素子を使用した固体撮像装置の概略構成図である。
以下に添付図面を参照しながら、本開示を実施するための形態の例について説明する。
本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS型の固体撮像素子を撮像デバイスとして使用した場合を例に説明する。
ただし、これは一例であって、対象となるデバイスはMOS型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する実施形態が同様に適用できる。
説明は以下の順序で行う。
1.第1の実施形態(演算機能:水平メモリ部、演算部、メモリ部を備える例)
1−1.第1例(エッジ抽出用フィルタを備える例)
1−2.第2例(混色補正用フィルタを備える例)
2.第2の実施形態(水平メモリ部:多段数の水平メモリを備える例)
3.その他
<1.第1の実施形態>
図1は、本開示の第1の実施形態に係るCMOS型の固体撮像素子を使用した固体撮像装置の概略構成図である。
この固体撮像装置1は、例えばFA(Factory Automation)カメラやカラー画像を撮像し得る電子スチルカメラ等のカメラシステムとして適用されるようになっている。
固体撮像装置1に使用される固体撮像素子10は、入射光量に応じた信号を出力する図示を割愛する検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された(すなわち2次元マトリクス状の)撮像部を有している。本例の固体撮像素子10は、各単位画素からの信号出力が電圧信号であって、CDS処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。
ここで、第1の実施形態の構成においては、“撮像部20の水平行方向の単位画素が出力する画素信号に対して所定の演算を行う機能部”を、撮像部20と隣接して設けている点に特徴を有する。以下具体的に説明する。
すなわち、図1に示すように、第1の実施形態に係る固体撮像素子10は、撮像部(画素部)20と、撮像部20の外側に設けられた駆動制御部15と、各垂直列に配されたカラム信号処理部(図ではCDS/ADCと記す)31を有するカラム処理部30と、演算処理部17とを備えている。撮像部(画素部)20は、複数の単位画素21(単位構成要素の一例)が行および列に(2次元行列状に)多数配列された、いわゆる撮像領域部である。また、図示を割愛するが、撮像部20が設けられている半導体領域とは別の回路基板上に外部回路が設けられる。
駆動制御部15としては、例えば水平走査部40と垂直走査部50とを備える。また、駆動制御部15の他の構成要素として、固体撮像素子10の各機能部に所定タイミングの制御パルスを供給する駆動信号操作部60が設けられている。駆動信号操作部60は、読出アドレス制御装置の一例であり、水平走査部40、垂直走査部50、あるいはカラム処理部30や演算部90などに制御パルスを供給する。
演算処理部17としては、水平メモリ部80と、演算部90と、メモリ部100とを備える。
これらの駆動制御部15及び演算処理部17の各要素は、撮像部20とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
図1では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部20の各行や各列には、数十から数千の単位画素21が配置される。なお、図示を割愛するが、撮像部20の各単位画素21は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている。また図示を割愛するが、撮像部20には、オンチップレンズが形成される。各画素に所定のカラーコーディングを持つ色分離フィルタが形成されていてもよい。また図示を割愛するが、撮像部20の各単位画素21は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている。
なお、例えば撮像部20とカラム処理部30との間の信号経路(垂直信号線28)上には、各垂直信号線28に対してドレイン端子が接続された図示を割愛する負荷MOSトランジスタを含む負荷トランジスタ部が配されている。また、各負荷MOSトランジスタを駆動制御する負荷制御部(負荷MOSコントローラ)が設けられている。
単位画素21は、垂直列選択のための垂直制御線25を介して垂直走査部50と、当該単位画素21から出力される画素信号S0_1〜S0_h(1〜h;1行中の画素番号)をそれぞれ伝送する伝送線としての垂直信号線28を介してカラム処理部30と、それぞれ接続されている。画素信号S0_1〜S0_hは、複数の検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素21から出力される。以降において、単位画素21から出力される画素信号を説明する場合、単に画素信号S0と称することもある。
水平走査部40や垂直走査部50は、駆動信号操作部60から与えられる駆動パルスに応答してシフト動作(走査)を開始するようになっている。垂直制御線25には、単位画素21を駆動するための種々のパルス信号が含まれる。
水平走査部40は、水平方向の読出列(水平方向のアドレス)を規定する(カラム処理部30内の個々のカラム信号処理部31を選択する)水平アドレス設定部(図示略)を有する。また、その水平アドレス設定部にて規定された読出アドレスに従ってカラム処理部30の各信号を水平信号線71に導く水平駆動部(図示略)を有する。
水平アドレス設定部は、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部31からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線71に出力する選択手段としての機能を持つ。
垂直走査部50は、垂直方向の読出行(垂直方向のアドレス)や水平方向の読出列(水平方向のアドレス)を規定する(撮像部20の行を選択する)垂直アドレス設定部(図示略)を有する。また、その垂直アドレス設定部にて規定された水平行方向における読出アドレス上の単位画素21に対する垂直制御線25にパルスを供給して単位画素21を駆動する垂直駆動部(図示略)を有する。
垂直アドレス設定部は、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタを有していてもよい。
垂直シフトレジスタは、撮像部20から画素情報を読み出すに当たって各単位画素21を行単位で選択するためのものであり、各行の垂直駆動部とともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部とともに電子シャッタ行選択手段を構成する。これらの水平走査部40及び垂直走査部50の構成例及び動作例については、特許文献1(特開2006−135481号公報(図1参照))等にも記載されている。
駆動信号操作部60は、図示を割愛するが、タイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、通信インタフェースの機能ブロックとを備える。タイミングジェネレータTGは、各部の動作に必要なクロックや所定タイミングのパルス信号を供給する。また通信インタフェースは、端子1aを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、また端子1bを介して固体撮像素子10の情報を含むデータDATAを出力する。駆動信号操作部60は、水平アドレス信号を水平アドレス設定部(水平走査部40)へ、また垂直アドレス信号を垂直アドレス設定部(垂直走査部50)へ出力し、各アドレス設定部は、それを受けて対応する行もしくは列を選択する。
なお、駆動信号操作部60は、撮像部20や水平走査部40など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部20や水平走査部40などから成る撮像デバイスと駆動信号操作部60とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
カラム処理部30は、垂直列(カラム)ごとにカラム信号処理部31を有して構成されている。カラム処理部30では、1行分の画素の信号を受けて、各カラム信号処理部31が対応列の画素信号S0_1〜S0_hを処理して、処理済みの画素信号S1_1〜S1_h(1〜h;1行中の画素番号)を出力する。以降において、カラム処理済みの画素信号を説明する場合、単に画素信号S1と称することもある。
例えば、カラム信号処理部31は、図示を割愛するが、蓄積容量を具備した記憶部を有し、単位画素21から垂直信号線28を介して読み出された画素信号(単位信号)S0に基づく所定目的用の物理情報を表わす電位信号Vmを記憶するラインメモリ構造の信号保持機能を備えるようにすることができる。また同様に蓄積容量を持ち、CDS処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
CDS処理を行なう場合、駆動信号操作部60から与えられるサンプルパルスSHPとサンプルパルスSHDといった2つのサンプルパルスに基づいて、垂直信号線28を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル(ノイズレベル;0レベル)と真の信号レベルとの差分をとる処理を行なう。このような処理を行うことで、画素ごとの固定ばらつきによる固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く。
なお、カラム信号処理部31には、CDS処理機能部などの後段に、必要に応じて信号増幅機能を持つAGC(Auto Gain Control) 回路やその他の処理機能回路などを設けることも可能である。
カラム処理部30の後段には、演算処理部17の水平メモリ部80が設けられている。各垂直列のカラム信号処理部31の出力端は、該カラム信号処理部31から画素信号S1を順次読み出すための各垂直列に対応する水平メモリ部80の入力端にそれぞれ接続されている。
水平メモリ部80は、図示を割愛する一以上のラインメモリを備え、入力端側に配置されたラインメモリと入力端が接続されている。水平メモリ部80には例えば半導体メモリが用いられる。ラインメモリは、メモリ部100に格納されたフィルタすなわちルックアップテーブル(LUT)の列方向の段数に対応して設けられる。水平メモリ部80の各ラインメモリは、撮像部20の対応する水平行方向の単位画素21が出力する画素信号S0(詳しくはそれに基づく画素信号S1)を行単位で保持する。
そして水平メモリ部80の後段には、演算部90が設けられている。水平メモリ部80の出力端側に配置されたラインメモリは、演算部90の各垂直列の入力端が接続されている。
演算部90は、乗算器、加算器、減算器を備えて構成され、駆動信号操作部60の制御の下、メモリ部100と共に演算機能部として動作する。この演算部90は、水平メモリ部80から読み出した水平行方向の単位画素21の画素信号に対し、メモリ部100に格納されたフィルタを適用して演算を実行し、処理済みの画素信号S2_1〜S2_h(1〜h;1行中の画素番号)を出力する。フィルタを利用して輪郭抽出のような比較的簡単な処理を行う。以降において、フィルタ処理済みの画素信号を説明する場合、単に画素信号S2と称することもある。
メモリ部100は、例えば半導体メモリが用いられ、水平メモリ部80から読み出した水平行方向の単位画素21の画素信号を処理するためのフィルタの係数を格納している。格納されるフィルタとしては、水平行方向の単位画素21が出力する画素信号から所定目的の情報を得るため、例えば輪郭を抽出するためのフィルタが挙げられる。また、水平行方向の一の単位画素21が出力する画素信号と隣接する他の単位画素21が出力する画素信号の混色を補正するためのフィルタなどがある。
演算部90の各垂直列の第1の出力端は、水平方向の読出アドレスを制御・駆動する水平走査部40の水平駆動部に接続される。一方、演算部90の第2の出力端は、行方向に画素信号を順次転送出力する水平信号線71が共通接続されている。水平信号線71の後端には出力部75が設けられている。
水平信号線71は、単位画素21のそれぞれから垂直信号線28を介して伝送される個々の画素信号S0(詳しくはそれに基づく画素信号S2)を、垂直信号線28の配列方向である水平方向に所定順に出力するための読出線として機能するものである。演算部90から、垂直列ごとに順次信号を取り出して出力部75に渡す。
すなわち、演算部90により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧信号は、水平走査部40からの垂直列ごとの水平選択信号(水平読出パルス)により所定のタイミングで選択され水平信号線71に読み出される。そして、水平信号線71の後端に設けられた出力部75に入力される。
出力部75は、撮像部20から水平信号線71を通して出力される各単位画素21の画素信号S2_1〜h(h=n)を適当なゲインで増幅した後、撮像信号(演算処理後画像データ)S3として外部回路に端子1cを介して供給する。この出力部75は、例えば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
つまり、本実施形態のカラム型の固体撮像素子10においては、単位画素21からの出力信号(電圧信号)が、垂直信号線28→カラム処理部30(カラム信号処理部31)→水平メモリ部80→演算部90→水平信号線71→出力部75の順で伝送される。その駆動は、1行分の画素出力信号は垂直信号線28を介してパラレルにカラム処理部30に送り、カラム処理後に演算部90で所定の処理を施した信号は水平信号線71を介してシリアルに出力するようにする。少なくともこの画素信号の演算部90までの転送動作は1行分の単位画素21に対して同時に行なわれる。
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素21に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
このような構成の固体撮像素子10において、水平走査部40や垂直走査部50及びそれらを制御する駆動信号操作部60により、撮像部20の各画素を水平行単位で順に選択する。そして、その選択した1つの水平行分の画素の情報を同時に読み出して水平メモリ部80に保持し、メモリ部100に格納されているフィルタの係数に基づく所定の処理を実施するCMOSイメージセンサが構成される。
出力部75の後段に設けられる図示しない外部回路は、撮像部20や駆動制御部15などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板(プリント基板もしくは半導体基板)上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
撮像部20や駆動制御部15、演算処理部17などからなる固体撮像素子(本開示に係る半導体装置の一例)を少なくとも備えることによって、固体撮像装置1が構成されている。駆動制御部15及び演算処理部17を撮像部20やカラム処理部30と別体にして、撮像部20やカラム処理部30で固体撮像素子(半導体装置の一例)を構成し、この固体撮像素子と別体の駆動制御部15及び演算処理部17とで、撮像装置として構成してもよい。
図示を割愛するが、外部回路は例えば、出力部75から出力されたアナログの撮像信号S3をデジタルの撮像データに変換するA/D(Analog to Digital)変換部と、A/D変換部によりデジタル化された撮像データに基づいてデジタル信号処理を施すデジタル信号処理部(DSP;Digital Signal Processor)とを備える。カラム信号処理部31がAD変換機能を備える場合、外部回路は、A/D変換部を備える必要はない。
デジタル信号処理部は、たとえば、A/D変換部から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してR(赤),G(緑),B(青)の各画像を表す画像データRGBを生成し、この画像データRGBに対してその他の信号処理を施してモニタ出力用の画像データを生成する。また、デジタル信号処理部には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
また外部回路は、デジタル信号処理部にてデジタル処理された画像データをアナログの画像信号に変換するD/A(Digital to Analog)変換部を備える。D/A変換部から出力された画像信号は、図示を割愛する液晶モニタなどの表示デバイスに送られる。操作者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の操作を行なうことが可能になっている。
また図では、カラム処理部30や駆動制御部15、演算処理部17を撮像部20とともに備えて固体撮像装置1を構成しているが、必ずしもこのような構成に限定されない。カラム処理部30や駆動制御部15、演算処理部17を、撮像部20とは異なる回路基板(別の半導体基板に限らず一般的な回路基板をも意味する)、例えば外部回路が設けられる回路基板に形成してもよい。
[1−1.第1例(エッジ抽出用フィルタを備える例)]
図2は、図1に示した第1の実施形態に係るCMOS型の固体撮像素子10に用いられるフィルタの第1例を示している。本例は、被写体の画像のエッジ(輪郭)を抽出する処理を行うエッジ抽出用フィルタに適用した例である。
エッジ抽出用フィルタ110は、Sobelフィルタ(3×3)と呼ばれる一般的なフィルタであり、隣接する画素の画素信号の値の傾きを検知することができる。このエッジ抽出用フィルタ110の係数(LUT)を、図1に示したメモリ部100に保存しておく。この場合、水平メモリ部80のラインメモリの段数は、エッジ抽出用フィルタ110のy方向の数(行数)と同じ3つである。演算部90において、各垂直列のカラム信号処理部31から出力される画素信号に、エッジ抽出用フィルタ110の各係数を適用してエッジ検出した結果を、図3に示す。
図3Aは、ある対象物111の通常画像例であり、図3Bは、その対象物111について図1に示した第1の実施形態に係るCMOS型の固体撮像素子10によりエッジ抽出を実行後の画像例である。
図3Bに示す画像を見ると、対象物111のエッジ112a,112b等が検出されており、物体の有無や横方向の長さがはっきり確認できる。なお、メモリ部100に保持されるフィルタの係数は、処理に応じて変更される。
図4は、第1の実施形態に係るCMOS型の固体撮像素子10と従来構造の固体撮像素子の画像処理の処理速度の差を示すグラフである。処理速度は、従来の固体撮像素子の処理速度を100として表している。
図4に示す画像処理の処理速度の測定結果から、第1の実施形態に係るCMOS型の固体撮像素子10は、従来構造の固体撮像素子と比較して5倍以上の高速化が達成されていることが分かる。
この第1の実施形態の第1例によれば、固体撮像素子10から出力された水平行方向のRAW画像データは、この時点で既に輪郭抽出された画像データとなっている。つまり、水平行方向の単位画素が出力する画素信号に対する演算が極めて高速である。
一般に、物体の形状検出や生産現場での品質エラー検出などの作業においては、画像データ生成時間だけでなく、物体の検出や認識のための処理時間が増える。その上、専用のASIC(Application Specific Integrated Circuit)が別チップ、もしくはインチップ(大きなシステムチップ)で必要となる。
本実施形態において示されるような本開示の技術を適用することにより、物体の形状検出や生産現場での品質エラー検出などの作業において高速な判断が可能となる上、追加するASICが要らない。それゆえ、安価でフットプリントの小さい固体撮像装置(カメラシステム)が実現可能となる。
また、このような作業においては、画像処理により得られた検出値としきい値を比較して良否を判定するような2値的判断を伴うアプリケーションが用いられることが多い。その場合、判断の精度とともに処理の高速性が要求され、従来の処理方法では高速化が難しかったが、本開示により、このようなアプリケーションの要求に応えることができる。
なお、固体撮像素子10は、演算機能のオン/オフを切り替えることにより、演算処理後画像データ、又は従来と同じRAW画像データのいずれを出力するか選択できる。
演算部90は、演算実行を指示されたときは、水平メモリ部80から読み出した水平行方向の単位画素21の画素信号に対し、メモリ部100に格納されたフィルタの係数を適用して演算(画像処理)を行う。一方、演算実行を指示されないときは、水平メモリ部80から読み出した水平行方向の単位画素21の画素信号に対し演算を行わずに出力する。
[1−2.第2例(混色補正用フィルタを備える例)]
第2の実施の形態では、第1の実施形態と同じ輪郭抽出処理を、さらに単位画素の信号漏れを補正しながら実行した場合を説明する。
図5は、図1に示した第1の実施形態に係るCMOS型の固体撮像素子10に用いられるフィルタの第2例である、混色補正用フィルタの一例を示している。
一般に固体撮像素子は、隣接画素に混色(又はクロストーク)と呼ばれる信号漏れが発生する。混色は画像境界部のコントラストを落としてしまい、画像処理の効果を下げてしまう。本実施形態では、図5の混色補正用フィルタ120を用いて画素間の混色を演算で割り戻し、画像処理を行っている。
本例の混色補正用フィルタ120は、中央画素の係数が1.22と高い値に設定され、中央画素からの信号漏れの影響を排除するため、その周囲の画素の係数がマイナス値に設定されている。この混色補正用フィルタ120の係数を、図1に示したメモリ部100に保存しておく。この場合、水平メモリ部80のラインメモリの段数は、混色補正用フィルタ120のy方向の数(行数)と同じ3つである。演算部90において、各垂直列のカラム信号処理部31から出力される画素信号に、混色補正用フィルタ120の各係数を適用する。
図6は、第1の実施形態に係るCMOS型の固体撮像素子10と従来構造の固体撮像素子の補正後エッジコントラストの差を示すグラフである。すなわち、第1の実施形態に係るエッジ抽出処理を実施した上で、第2の実施形態に係る混色補正の有無による効果を示している。図6に示すグラフより、混色補正のありなしでの、エッジ検出精度がわかる。混色補正前のエッジコントラストを100として表している。
図6よりエッジ抽出後に混色補正を施すことで、エッジ部のコントラストが約35%も高くなり、画像処理効果が向上していることが確認できる。水平方向の単位画素の画素信号を処理する本開示のように、隣接する単位画素について画素信号を演算する場合には、この混色補正は非常に重要な処理となる。
例えば、微細画素(サブピクセル)を持つ撮像素子などの場合、本実施形態を利用して画像処理と同時に混色を補正することも可能であり、物体を検出する能力を高めることができる。
<2.第2の実施形態>
第2の実施形態では、多数のラインメモリを必要とする大規模な画像処理を実施する場合を説明する。本実施形態は、第1の実施形態に係る固体撮像素子の水平メモリ部に多段のラインメモリを設けるに際し、固体撮像素子を2つの半導体基板(チップ)から構成する。
図7は、本開示の第2の実施形態に係るCMOS型の固体撮像素子に用いられるフィルタの一例である、パターンマッチング用フィルタの一例である。
パターンマッチングのような認識処理の場合、大きなフィルタが必要になる。図7に示したパターンマッチング用フィルタ130は、ある大きな弧パターンを検出する38×38のフィルタである。この場合、撮像部20(画素アレイ)下に演算処理部17を配置すると、チップのフットプリントが大きくなる。そこで、固体撮像素子の各部を2つのチップに分けて構成する。
図8は、本開示の第2の実施形態に係るCMOS型の固体撮像素子10Aを使用した固体撮像装置1Aの概略構成図である。
図8に示すように、本実施形態では第1チップ11上に撮像部20と垂直走査部50を形成する。また、第2チップ12上にカラム処理部30と演算処理部17、水平走査部40、駆動信号操作部60を形成する。
メモリ部100にはパターンマッチング用フィルタ130が格納されているので、演算処理部17の水平メモリ部80Aは、38段のラインメモリを備えている。
図9は、図8に示した第2の実施形態に係るCMOS型の固体撮像素子10Aを使用した固体撮像装置1Aの概略外観図である。図10は、図9に示したCMOS型の固体撮像素子10Aを使用した固体撮像装置1Aの分解斜視図である。
単位画素(もしくはサブピクセル)ごとに撮像レンズ2(マイクロレンズ)が配置された第1チップ11の当該撮像レンズ2が配置された面の裏面と、第2チップの表面が対向するように、第1チップ11の下部に第2チップ12を重ね合わせて(隣接して)配置する。そして、第1チップ11と第2チップ12の2つのチップを貫通する配線を用いて、第1チップ11の撮像部20と第2チップ12の垂直列ごとのカラム信号処理部31を接続する。演算処理部17の水平メモリ部80は、撮像部20における最後尾の水平行方向の各垂直列の単位画素21と接続している。
図11は、第2の実施形態に係るCMOS型の固体撮像素子10Aと従来構造の固体撮像素子のパターンマッチングの処理速度の差を示すグラフである。
第2の実施形態に係る固体撮像素子10Aは、パターン認識を従来構造の固体撮像素子より処理速度が約6倍も高速化されていることが確認できる。このように、大規模なラインメモリが必要になった場合にでも、本実施形態の積層チップ技術を用いれば、専用ASICの設計・付与無しで画像処理をすることが可能である。
このように、本実施形態によれば、第1の実施形態の作用効果に加え、フットプリントを拡大することなく多数のラインメモリを必要とする複雑な処理を高速に実現できるという効果がある。
<3.その他>
上述した各実施形態は、図1に記載したように、全てのカラム信号処理部31にADCが挿入されていることを前提としたが、アナログデータを使って処理を行うことも可能である。例えば、カラム信号処理部31においてアナログ/デジタル変換を行わず、カラム信号処理部31の後段に配置した演算処理部17により、アナログデータで演算することもできる。
なお、本開示は以下のような構成も取ることができる。
(1)
複数の画素が所定順に配された撮像部と、
前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
を備える固体撮像素子。
(2)
前記演算処理部は、
前記撮像部の水平行方向の画素が出力する画素信号を行単位で保持する水平メモリ部と、
フィルタの係数を格納するメモリ部と、
前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理を行う演算部と、を備える
前記(1)に記載の固体撮像素子。
(3)
前記水平メモリ部は、前記フィルタの列方向の段数に対応した段数のラインメモリを有する
前記(2)に記載の固体撮像素子。
(4)
前記メモリ部は、前記水平行方向の画素が出力する画素信号から所定目的の情報を得るためのフィルタの係数を格納している
前記(2)又は(3)に記載の固体撮像素子。
(5)
前記メモリ部は、前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
前記(2)又は(3)に記載の固体撮像素子。
(6)
前記メモリ部は、さらに前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
前記(4)に記載の固体撮像素子。
(7)
前記演算処理部は、前記撮像部の垂直列ごとに配されて前記撮像部から出力される画素信号を処理するカラム信号処理部の後段に配置され、
前記演算処理部の水平メモリ部は、前記カラム信号処理部で処理された画素信号を行単位で保持する
前記(2)乃至(6)のいずれかに記載の固体撮像素子。
(8)
前記撮像部は、第1の半導体基板上に形成され、
前記演算処理部は、前記第1の半導体基板の下面側に隣接して配置される第2の半導体基板上に形成され、
前記演算処理部の水平メモリ部が、前記撮像部における最後尾の水平行方向の画素と接続している
前記(2)乃至(7)のいずれかに記載の固体撮像素子。
(9)
前記演算部は、
前記演算の実行を指示されたときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理し、
前記演算の実行を指示されないときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し演算を行わずに出力する
前記(2)乃至(8)のいずれかに記載の固体撮像素子。
(10)
複数の画素が所定順に配された撮像部と、
前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
を含んで構成される固体撮像素子
を備える固体撮像装置。
(11)
複数の画素が所定順に配された撮像部の水平行方向の画素が出力する画素信号を、水平メモリ部により行単位で保持することと、
演算処理部により、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対しフィルタ処理すること、
出力部により、前記演算処理部でフィルタ処理された後の水平行方向の画素の画素信号を出力すること
を含む画像処理方法。
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)をも含むものである。
以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。
1,1A…固体撮像装置、1a,1b,1c…端子、10,10A…固体撮像素子、11…第1チップ、12…第2チップ、15…駆動制御部、17…演算処理部、20…撮像部、21…単位画素、25…垂直制御線、28…垂直信号線、30…カラム処理部、31…カラム信号処理部、40…水平走査部、50…垂直走査部、60…駆動信号操作部、71…水平信号線、75…出力部、80,80A…水平メモリ部、90…演算部、100…メモリ部、110…エッジ抽出用フィルタ、120…混色補正用フィルタ、130…パターンマッチング用フィルタ

Claims (11)

  1. 複数の画素が所定順に配された撮像部と、
    前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
    前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
    を備える固体撮像素子。
  2. 前記演算処理部は、
    前記撮像部の水平行方向の画素が出力する画素信号を行単位で保持する水平メモリ部と、
    フィルタの係数を格納するメモリ部と、
    前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理を行う演算部と、を備える
    請求項1に記載の固体撮像素子。
  3. 前記水平メモリ部は、前記フィルタの列方向の段数に対応した段数のラインメモリを有する
    請求項2に記載の固体撮像素子。
  4. 前記メモリ部は、前記水平行方向の画素が出力する画素信号から所定目的の情報を得るためのフィルタの係数を格納している
    請求項3に記載の固体撮像素子。
  5. 前記メモリ部は、前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
    請求項3に記載の固体撮像素子。
  6. 前記メモリ部は、さらに前記水平行方向の一の画素が出力する画素信号と隣接する他の画素が出力する画素信号の混色を補正するためのフィルタの係数を格納している
    請求項4に記載の固体撮像素子。
  7. 前記演算処理部は、前記撮像部の垂直列ごとに配されて前記撮像部から出力される画素信号を処理するカラム信号処理部の後段に配置され、
    前記演算処理部の水平メモリ部は、前記カラム信号処理部で処理された画素信号を行単位で保持する
    請求項2に記載の固体撮像素子。
  8. 前記撮像部は、第1の半導体基板上に形成され、
    前記演算処理部は、前記第1の半導体基板の下面側に隣接して配置される第2の半導体基板上に形成され、
    前記演算処理部の水平メモリ部が、前記撮像部における最後尾の水平行方向の画素と接続している
    請求項2に記載の固体撮像素子。
  9. 前記演算部は、
    前記演算の実行を指示されたときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し前記メモリ部に格納された前記フィルタの係数を用いてフィルタ処理し、
    前記演算の実行を指示されないときは、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対し演算を行わずに出力する
    請求項2に記載の固体撮像素子。
  10. 複数の画素が所定順に配された撮像部と、
    前記撮像部に隣接して配置され、前記撮像部の水平行方向の画素が出力する画素信号に対して所定の演算を行う演算処理部と、
    前記演算処理部で演算された後の水平行方向の画素の画素信号を出力する出力部と、
    を含んで構成される固体撮像素子
    を備える固体撮像装置。
  11. 複数の画素が所定順に配された撮像部の水平行方向の画素が出力する画素信号を、水平メモリ部により行単位で保持することと、
    演算処理部により、前記水平メモリ部から読み出した水平行方向の画素の画素信号に対しフィルタ処理すること、
    出力部により、前記演算処理部でフィルタ処理された後の水平行方向の画素の画素信号を出力すること
    を含む画像処理方法。
JP2012017042A 2012-01-30 2012-01-30 固体撮像素子、固体撮像装置及び画像処理方法 Pending JP2015062264A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012017042A JP2015062264A (ja) 2012-01-30 2012-01-30 固体撮像素子、固体撮像装置及び画像処理方法
PCT/JP2013/051236 WO2013115015A1 (ja) 2012-01-30 2013-01-23 固体撮像素子、固体撮像装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012017042A JP2015062264A (ja) 2012-01-30 2012-01-30 固体撮像素子、固体撮像装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2015062264A true JP2015062264A (ja) 2015-04-02

Family

ID=48905057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012017042A Pending JP2015062264A (ja) 2012-01-30 2012-01-30 固体撮像素子、固体撮像装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP2015062264A (ja)
WO (1) WO2013115015A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277547B2 (en) 2018-05-21 2022-03-15 SZ DJI Technology Co., Ltd. Camera system and mobile body
WO2023132232A1 (ja) * 2022-01-05 2023-07-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、及び電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155571A (ja) * 1997-08-07 1999-02-26 Mitsubishi Electric Corp 画像処理装置および画像処理方法
JP4687139B2 (ja) * 2005-02-23 2011-05-25 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2007306501A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp 画像処理方法、画像処理装置、および画像処理プログラム
JP5045380B2 (ja) * 2007-11-13 2012-10-10 ソニー株式会社 撮像装置および撮像データ補正方法並びにプログラム
JP2012253490A (ja) * 2011-06-01 2012-12-20 Olympus Corp 固体撮像装置、撮像装置及び画像生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277547B2 (en) 2018-05-21 2022-03-15 SZ DJI Technology Co., Ltd. Camera system and mobile body
US11570335B2 (en) 2018-05-21 2023-01-31 SZ DJI Technology Co., Ltd. Camera system and mobile body
WO2023132232A1 (ja) * 2022-01-05 2023-07-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、及び電子機器

Also Published As

Publication number Publication date
WO2013115015A1 (ja) 2013-08-08

Similar Documents

Publication Publication Date Title
US9157988B2 (en) Method and apparatus for array camera pixel readout
US10586819B2 (en) Solid-state imaging device and electronic apparatus including driver control circuits for driving multiple pixel rows
WO2019111528A1 (ja) 固体撮像装置、固体撮像装置の制御方法およびコンピュータプログラム
JP4821921B2 (ja) 固体撮像装置および電子機器
EP1148712A2 (en) Solid-state image pickup apparatus
US8451350B2 (en) Solid-state imaging device, camera module, and imaging method
CN101783891B (zh) 成像装置、其控制方法和照相机
JP2005347932A (ja) 固体撮像装置および撮像システム
JP2011205348A (ja) 固体撮像装置および画像記録装置
US20150288903A1 (en) Solid-state image sensor, image capturing apparatus and control method thereof, and storage medium
JP2015103998A (ja) 撮像装置および撮像素子
JP2011091535A (ja) 撮像装置
US9479718B2 (en) Signal processing apparatus, signal processing method, image pickup element, and imaging apparatus
WO2013115015A1 (ja) 固体撮像素子、固体撮像装置及び画像処理方法
US9491379B2 (en) Solid-state image pickup device which increases video reading speed and reduces distortion
US9317897B2 (en) Solid-state imaging device, driving method for the same, and electronic apparatus
JP2020061758A (ja) 撮像素子及び撮像装置
JP4232714B2 (ja) 読出アドレス制御方法、物理情報取得装置、および半導体装置
WO2015008635A1 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
WO2020202409A1 (ja) 撮像素子および撮像装置
JP4232485B2 (ja) 読出アドレス制御方法および装置、並びに半導体システムおよび撮像デバイス
JP2008206003A (ja) 固体撮像素子
US20180278873A1 (en) Image sensor and electronic camera
JP2010178168A (ja) 固体撮像素子による取得画像の補正方法および電子カメラ
JP2009055295A (ja) 撮像装置