JP2006217213A - 物理情報取得方法および物理情報取得装置 - Google Patents

物理情報取得方法および物理情報取得装置 Download PDF

Info

Publication number
JP2006217213A
JP2006217213A JP2005027363A JP2005027363A JP2006217213A JP 2006217213 A JP2006217213 A JP 2006217213A JP 2005027363 A JP2005027363 A JP 2005027363A JP 2005027363 A JP2005027363 A JP 2005027363A JP 2006217213 A JP2006217213 A JP 2006217213A
Authority
JP
Japan
Prior art keywords
unit
information
signal
detection
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005027363A
Other languages
English (en)
Other versions
JP4609092B2 (ja
Inventor
Ryoji Suzuki
亮司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005027363A priority Critical patent/JP4609092B2/ja
Publication of JP2006217213A publication Critical patent/JP2006217213A/ja
Application granted granted Critical
Publication of JP4609092B2 publication Critical patent/JP4609092B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode

Abstract

【課題】移動物体検知処理が可能な撮像措置において、特殊な画素構造や撮像装置にしなくても、移動物体の移動の様子を短時間で特定できるようにする。
【解決手段】先ず、画素の並び順に対して互いに異なる方向から順に検知領域の略全面を垂直走査することで、垂直走査方向の異なる情報で表わされた1フレーム分の画像情報を取得する。この走査方向の異なる情報で表わされた検知領域分の画像情報を、走査方向が同じ情報で表わされた1フレーム分の画像情報に変換する。変換された画像情報に基づき、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することのできる物理情報(たとえば移動速度など)をフレーム内演算処理にて取得する。
【選択図】図5

Description

本発明は、物理情報取得方法および物理情報取得装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、単位構成要素を駆動する駆動方法および駆動装置や画像信号処理方法および画像信号処理装置などの移動体信号処理技術に関する。
光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素(たとえば画素)をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
たとえば、映像機器の分野では、物理量のうちの光(電磁波の一例)を検知するCCD(Charge Coupled Device )型あるいはMOS(Metal Oxide Semiconductor )やCMOS(Complementary Metal-oxide Semiconductor )型の固体撮像装置が使われている。これらは、単位構成要素(固体撮像装置にあっては画素)によって電気信号に変換された物理量分布を電気信号として読み出す。
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子(APS;Active Pixel Sensor /ゲインセルともいわれる)構成の画素を備えた増幅型固体撮像装置がある。たとえば、CMOS型固体撮像装置の多くはそのような構成をなしている。
このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。
たとえば、単位画素がマトリクス状に配されたX−Yアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、MOS構造などの能動素子(MOSトランジスタ)を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷(光電子)を前記能動素子で増幅し、画像情報として読み出す。
この種のX−Yアドレス型固体撮像素子では、たとえば、画素トランジスタが2次元行列状に多数配列されて画素部が構成され、ライン(行)ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、MOS(CMOSを含む)型においては、アドレス制御の一例として、1行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。
一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。たとえば、近年、イメージセンサに画像情報の各種演算機能を持たせることにより、画像処理の高速化などを実現する固体撮像装置が提案されている。このようなイメージセンサの1つとして、通常の実画像の取得と、動体検出機能を備えたセンサが提案されている(たとえば特許文献1,2を参照)。
これら従来技術は、何れも、通常のイメージセンサと同様の画像取得回路に加えて、時間的な光の強度変化を検出する機能を持たせたものであり、具体的なアーキテクチャとしては、異なる撮像時点(撮像タイミング)の画素信号の差に基づいて動体検出を行なうものである。
特開2003−162723号公報 特開平08−294057号公報
たとえば、特許文献1に記載の仕組みでは、撮像装置により撮像された画像に動体が含まれているか否かを判定するべく、先ず、撮像期間中に複数回それぞれ異なる撮像領域を順次撮像して得られる全体画像を、複数回の撮像それぞれに対応する複数の部分画像に分離する。この後、被写体が静止体のみである場合、すべての部分画像は、ほぼ同じデータとなるが、被写体が静止体に加えて動体を含む場合、撮像タイミングが異なる部分画像に相違が生じるという点に基づき、部分画像を比較することで、複数の部分画像を合成した全体画像に動体が含まれているかどうかを判定するようにしている。いわゆる画素ずらしにより検出した複数枚の画像における部分画像間の信号処理により動体であるか否かを判定する。
また、特許文献2に記載の仕組みでは、複数の画素の各々の光電変換素子部に対し、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設け、信号電荷蓄積素子部の各々に、異なるフレーム制御期間に読み出された光電変換素子部からの信号電荷を蓄積しておき、この信号電荷と、現在読み出しているフレーム制御期間の信号電荷との差を検出することで、リアルタイムで移動体などの画像の検出を行なうようにしている。要するに、複数のフレームで差分演算することで動体であるか否かを判定する。
しかしながら、特許文献1に記載の仕組みでは、複数回分の撮像領域をずらした画像データを得るための特殊な撮像装置が必要になる。
また、特許文献2に記載の仕組みでは、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造が必要となる。
さらに、上記特許文献1,2を始めとする従来の動体信号処理の仕組みは、何れも、移動物体の移動速度を始めとする移動の様子を特定するには、多数回の撮像により得られた多数のフレーム画像が必要となり、またそれら多数のフレーム画像間での複雑な演算処理が必要となり、短時間では、動体の様子を判断することができない。
本発明は、上記事情に鑑みてなされたものであり、特殊な画素構造や撮像装置にしなくても、移動物体の移動の様子を短時間で特定することのできる仕組みを提案することを目的とする。
本発明に係る物理情報取得方法は、物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得方法であって、先ず、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得する。この後、走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することのできる物理情報を取得する。
また、本発明に係る物理情報取得装置は、前記本発明に係る物理情報取得方法を実施するのに好適な装置であって、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得可能とする駆動信号操作部を備えるものとした。
たとえば、駆動信号操作部は、垂直アドレスや水平アドレスをしてする走査回路における走査方向として2種類持ち、1フレーム中において、互いに異なる2方向へ走査するようにする。
また従属項に記載された発明は、本発明に係る物理情報取得方法や物理情報取得装置のさらなる有利な具体例を規定する。
たとえば好ましくは、走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動の様子を表わす物理情報を取得する移動体信号処理部をさらに備えたものとするのがよい。要するに、異なる走査方向で得られたデータに基づいて検知領域内を移動している物体の情報を得る。
またたとえば、走査方向の異なる情報で表わされた検知領域分の物理情報を、走査方向が同じ情報で表わされた検知領域分の物理情報に変換する信号変換部をさらに設け、移動体信号処理部は、この変換された走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動の様子を表わす物理情報を取得するのがよい。たとえば、走査方向を2種類持つ場合、1フレーム中2方向へ走査することで得られた情報における2方向中の片方の情報を、走査方向を反転することで、他方の走査方向と走査順が揃うようにすることで、1フレーム分の情報を再現する。
本発明によれば、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得するようにしたので、この走査方向の異なる情報で表わされた1つの検知領域分の情報だけで、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することができ、またその1つのフレーム画像内での簡単な演算処理で済むようになり、短時間で、動体の様子を判断することができる。
加えて、そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特許文献1に記載の仕組みのように、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
また、特許文献2に記載の仕組みのように、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造も必要となる。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS撮像素子をデバイスとして使用した場合を例に説明する。
ただしこれは一例であって、対象となるデバイスはMOS型の撮像デバイスに限らない。光や放射線などの外部から入力される物理量に対して感応性をする検知部と、この検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部を含む単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置のうち、アドレス制御により読出位置が任意に制御可能な構成のもの全てに、後述する実施形態が同様に適用できる。
<撮像装置の概略構成>
図1は、本発明に係る物理情報取得装置の一実施形態であるCMOS固体撮像装置の概略構成図である。この固体撮像装置1は、たとえばカラー画像を撮像し得る電子スチルカメラやFA(Factory Automation)カメラとして適用されるようになっている。固体撮像装置1は、物理量分布検知装置の一例である。
固体撮像装置1は、入射光量に応じた信号を出力する図示を割愛する検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された(すなわち2次元マトリクス状の)撮像部を有し、各単位画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。
すなわち、図1(A)に示すように、固体撮像装置1は、複数の単位画素3(単位構成要素の一例)が行および列に(2次元行列状に)多数配列された撮像部(画素部)10いわゆるエリアセンサ部と、撮像部10の外側に設けられた駆動制御部7と、各垂直列に配されたカラム信号処理部(図ではカラム回路と記す)22を有するカラム処理部20と、水平選択スイッチ部60とを備えている。また、撮像部10が設けられている半導体領域とは別の回路基板上に外部回路100が設けられている。
なお、読出電流源部27は、撮像部10とカラム処理部20との間の信号経路(垂直信号線18)上に設けられ、各垂直信号線18に対してドレイン端子が接続された図示を割愛する負荷MOSトランジスタを含む負荷トランジスタ部が配され、各負荷MOSトランジスタを駆動制御する負荷制御部(負荷MOSコントローラ)が設けられている。
駆動制御部7としては、たとえば水平走査部12と垂直走査部14とを備える。また、駆動制御部7の他の構成要素として、水平走査部12、垂直走査部14、あるいはカラム処理部20などの固体撮像装置1の各機能部に所定タイミングの制御パルスを供給する駆動信号走査部(読出アドレス制御装置の一例)16が設けられている。
これらの駆動制御部7の各要素は、撮像部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
図1(A)では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部10の各行や各列には、数十から数千の単位画素3が配置される。なお、図示を割愛するが、撮像部10には、各画素に所定のカラーコーディングを持つ色分離フィルタやオンチップレンズが形成される。また図示を割愛するが、撮像部10の各単位画素3は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている(後述する図2を参照)。
単位画素3は、垂直列選択のための垂直制御線15を介して垂直走査部14と、また検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素3から出力される複数の画素信号S0(_1〜h;1行中の画素番号)をそれぞれ伝送する伝送線としての垂直信号線18を介してカラム処理部20と、それぞれ接続されている。
水平走査部12や垂直走査部14は、駆動信号走査部16から与えられる駆動パルスに応答して読出位置の選択動作(典型的にはシフト動作)を開始するようになっている。垂直制御線15には、単位画素3を駆動するための種々のパルス信号が含まれる。
水平走査部12は、水平方向の読出列(水平方向のアドレス)を規定する(カラム処理部20内の個々のカラム信号処理部22を選択する)水平アドレス設定部12xと、水平アドレス設定部12xにて規定された読出アドレスに従ってカラム処理部20の各信号を水平信号線86に導く水平駆動部12yとを有する。
水平アドレス設定部12xは、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部22からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線86に出力する選択手段としての機能を持つ。
垂直走査部14は、垂直方向の読出行(垂直方向のアドレス)を規定する(撮像部10の行を選択する)垂直アドレス設定部14xと、垂直アドレス設定部14xにて規定された読出行上の単位画素3に対する行制御線15にパルスを供給して単位画素3を駆動する垂直駆動部14yとを有する。
垂直アドレス設定部14xは、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタも有する。
垂直シフトレジスタは、撮像部10から画素情報を読み出すに当たって各単位画素3を行単位で選択するためのものであり、各行の垂直駆動部14yとともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部14yとともに電子シャッタ行選択手段を構成する。
ここで、本実施形態特有の構成として、水平走査部12(特に水平アドレス設定部12x)および垂直走査部14(特に垂直アドレス設定部14x)のうちの少なくとも一方は、走査方向を複数系統(典型例としては2系統)に分けて独立に制御する機能を持ち、1フレーム中で、異なる走査系統の信号を得るようにする。
たとえば垂直走査部14は、詳細は後述するが、撮像部10の複数の行を垂直走査方向に複数系統に分けて独立に制御する機能を持ち、1フレーム中で、それぞれ異なる方向への走査系統の信号を得るようにする。具体的には、詳細は後述するが、典型例としては上から下への走査と下から上への走査の2系統に分け、1行ごとに、垂直信号線18に対して互いに相反する方向に走査する。
駆動信号走査部16は、図示を割愛するが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、端子1aを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、また端子1bを介して固体撮像装置1の情報を含むデータDATAを出力する通信インタフェースの機能ブロックとを備える。また、水平アドレス信号を水平アドレス設定部12xへ、また垂直アドレス信号を垂直アドレス設定部14xへ出力し、各アドレス設定部12x,14xは、それを受けて対応する行もしくは列を選択する。
なお、駆動信号走査部16は、撮像部10や水平走査部12など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部10や水平走査部12などから成る撮像デバイスと駆動信号走査部16とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
カラム処理部20は、垂直列(カラム)ごとにカラム信号処理部22を有して構成されており、1行分の画素の信号を受けて、各カラム信号処理部22が対応列の画素信号S0(_1〜h;1行中の画素番号)を処理して、処理済みの画素信号S1(_1〜h;1行中の画素番号)を出力する。
たとえば、カラム信号処理部22は、図示を割愛するが、蓄積容量を具備した記憶部を有し、単位画素3から垂直信号線18を介して読み出された画素信号(単位信号)S0に基づく所定目的用の物理情報を表わす電位信号Vmを記憶するラインメモリ構造の信号保持機能を備えるようにすることができる。また同様に蓄積容量を持ち、CDS(Correlated Double Sampling ;相関2重サンプリング)処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
CDS処理を行なう場合、駆動信号走査部16から与えられるサンプルパルスSHPとサンプルパルスSHDといった2つのサンプルパルスに基づいて、垂直信号線18を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル(ノイズレベル;0レベル)と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く。
なお、カラム信号処理部22には、CDS処理機能部などの後段に、必要に応じて信号増幅機能を持つAGC(Auto Gain Control) 回路やその他の処理機能回路などを設けることも可能である。
カラム処理部20の後段には、図示を割愛する水平読出用のスイッチ(選択スイッチ)を備えた水平選択スイッチ部60が設けられている。各垂直列のカラム信号処理部22の出力端は、カラム信号処理部22から画素信号S2を順次読み出すための各垂直列に対応する水平選択スイッチ部60の選択スイッチの入力端iにそれぞれ接続されている。
水平選択スイッチ部60の各垂直列の制御ゲート端cは、水平方向の読出アドレスを制御・駆動する水平走査部12の水平駆動部12yに接続される。一方、水平選択スイッチ部60の各垂直列の選択スイッチの出力端oは、行方向に画素信号を順次転送出力する水平信号線86が共通接続されている。水平信号線86の後端には出力部88が設けられている。
水平信号線86は、単位画素3のそれぞれから垂直信号線18を介して伝送される個々の画素信号S0(詳しくはそれに基づく画素信号S2)を、垂直信号線18の配列方向である水平方向に所定順に出力するための読出線として機能するものであり、カラム信号処理部22から、垂直列ごとに存在する図示を割愛した選択スイッチによって選択された信号を取り出して出力部88に渡す。
すなわち、カラム信号処理部22により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧信号は、水平走査部12からの水平選択信号φH1〜φHhに応じた水平読出パルスφg1〜φghにより駆動される垂直列ごとに設けられた選択スイッチにより所定のタイミングで選択され水平信号線86に読み出される。そして、水平信号線86の後端に設けられた出力部88に入力される。
出力部88は、撮像部10から水平信号線86を通して出力される各単位画素3の画素信号S2_1〜h(h=n)を適当なゲインで増幅した後、撮像信号S3として外部回路100に出力端子88aを介して供給する。この出力部88は、たとえば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
つまり、本実施形態のカラム型の固体撮像装置1においては、単位画素3からの出力信号(電圧信号)が、垂直信号線18→カラム処理部20(カラム信号処理部22)→水平信号線86→出力部88の順で伝送される。その駆動は、1行分の画素出力信号は垂直信号線18を介してパラレルにカラム処理部20に送り、処理後の信号は水平信号線86を介してシリアルに出力するようにする。この画素信号のカラム処理部20までの転送動作は1行分の単位画素3に対して同時に行なわれる。
なお、垂直列や水平行ごとの駆動が可能である限り、それぞれのパルス信号を単位画素3に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
このような構成の固体撮像装置1において、水平走査部12や垂直走査部14およびそれらを制御する駆動信号走査部16により、撮像部10の各画素を水平行単位で順に選択し、その選択した1つの水平行分の画素の情報を同時に読み出すタイプのCMOSイメージセンサが構成される。
出力部88の後段に設けられる外部回路100は、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板(プリント基板もしくは半導体基板)上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
撮像部10や駆動制御部7などからなる固体撮像素子(本発明に係る半導体装置や物理情報取得装置の一例)と外部回路100とによって、固体撮像装置1が構成されている。駆動制御部7を撮像部10やカラム処理部20と別体にして、撮像部10やカラム処理部20で固体撮像素子(半導体装置の一例)を構成し、この固体撮像素子と別体の駆動制御部7とで、撮像装置(本発明に係る物理情報取得装置の一例)として構成してもよい。
外部回路100は、たとえば図1(B)に示すように、出力部88から出力されたアナログの撮像信号S3をデジタルの撮像データD3に変換するA/D(Analog to Digital )変換部110と、A/D変換部110によりデジタル化された撮像データD3に基づいてデジタル信号処理を施すデジタル信号処理部(DSP;Digital Signal Processor)130とを備える。
デジタル信号処理部130は、たとえば、A/D変換部110から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してR(赤),G(緑),B(青)の各画像を表す画像データRGBを生成し、この画像データRGBに対してその他の信号処理を施してモニタ出力用の画像データD4を生成する。また、デジタル信号処理部130には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
また外部回路100は、デジタル信号処理部130にてデジタル処理された画像データD4をアナログの画像信号S4に変換するD/A(Digital to Analog )変換部136を備える。D/A変換部136から出力された画像信号S4は、図示を割愛する液晶モニタなどの表示デバイスに送られる。走査者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の走査を行なうことが可能になっている。
ここで、本実施形態特有の構成として、外部回路100のデジタル信号処理部130には、少なくとも、水平走査部12(特に水平アドレス設定部12x)や垂直走査部14(特に垂直アドレス設定部14x)による複数系統に分けた走査制御により撮像部10の各単位画素3から出力される各画素信号S0(詳しくはカラム信号処理部22からの画素信号S2)に基づいて、動体検知処理や検知結果に基づく所定の信号処理を行なう移動体信号処理部132が設けられる。
たとえば、1行ごとに、垂直信号線18に対して互いに相反する方向に走査された信号が行単位で撮像部10から出力されて移動体信号処理部132に供給されるので、移動体信号処理部132は、画像情報を垂直方向の行の並びと同じにして元の画像を再現するべく、撮像部10から得られた画像情報の垂直2方向中の何れか一方の画像情報の走査順を反転する。この走査順を反転する処理のため、移動体信号処理部132には、1フレーム分の画素信号を記憶するフレームメモリ133が設けられる。
なおここでは、固体撮像素子の後段の信号処理を担当する外部回路を固体撮像素子(撮像チップ)外で行なう例を示したが、外部回路の全てもしくは一部(たとえばA/D変換部やデジタルアンプ部など)の機能要素を、固体撮像素子のチップに内蔵するように構成してもよい。つまり、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子と同一の半導体基板上に外部回路を構成して、実質的に、固体撮像装置1と物理情報取得装置とが同一のものとして構成してもよい。
また図では、水平選択スイッチ部60や駆動制御部7を撮像部10とともに備えて固体撮像装置1を構成し、実質的に、固体撮像装置1が物理情報取得装置としても機能するように構成しているが、物理情報取得装置は、必ずしもこのような構成に限定されない。水平選択スイッチ部60や駆動制御部7の全体もしくは一機能部分が撮像部10と同一の半導体領域に一体的に形成されたものであることは要件ではない。水平選択スイッチ部60および駆動制御部7を、撮像部10とは異なる回路基板(別の半導体基板に限らず一般的な回路基板をも意味する)、たとえば外部回路が設けられる回路基板に形成してもよい。
<画素構造>
図2は、図1に示した固体撮像装置1に使用される単位画素3の構成例を説明する図である。撮像部10内の単位画素(画素セル)3の構成は、通常のCMOSイメージセンサと同様であり、本実施形態では、CMOSセンサとして汎用的な4TR構成のものを使用することができるし、4TR構成のものに限らず、たとえば、特許第2708455号公報に記載のように、3つのトランジスタからなる3TR構成のものを使用することもできる。もちろん、これらの画素構成は一例であり、通常のCMOSイメージセンサのアレイ構成であれば、何れのものでも使用できる。
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する構成を使用することができる。
たとえば、図2に示す4TR構成の単位画素3は、光を受光して電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたフォトダイオードやフォトゲートなどで構成された電荷生成部32と、電荷生成部32に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ(転送トランジスタ)34、リセットゲート部の一例であるリセットトランジスタ36、垂直選択用トランジスタ40、およびフローティングディフュージョン38の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ42を有する。
この単位画素3は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン38とからなるFDA(Floating Diffusion Amp)構成の画素信号生成部5を有するものとなっている。フローティングディフュージョン38は寄生容量を持った拡散層である。画素信号生成部5は、電荷生成部32からフローティングディフュージョン38に移送された電荷の量に応じた電位を発生して垂直信号線53に伝達する手段として機能する。
増幅用トランジスタ42は各垂直信号線53(図1の垂直信号線18に相当)に接続されており、また垂直信号線53は垂直列ごとに読出電流源部27の定電流源Inの一部をなす負荷MOSトランジスタ27zのドレインに接続され、また各負荷MOSトランジスタ27zのゲート端子には、図示を割愛する負荷制御部からの負荷制御信号SFLACTが共通に入力されており、信号読出し時には、各増幅用トランジスタ42に接続された負荷MOSトランジスタ27zによって、予め決められた定電流を流し続けるようになっている。つまり、負荷MOSトランジスタ27zは、選択行の増幅用トランジスタ42とソースフォロアを組むことで、垂直信号線53への信号出力をさせる。
横方向配線は同一行の画素について共通となっており、図示を割愛する垂直走査部14の垂直駆動部14yによって駆動制御される。たとえば、垂直駆動部14y内には、転送駆動バッファ250、リセット駆動バッファ252、および選択駆動バッファ254が収容されている。
読出選択用トランジスタ34は、転送配線(読出選択線TRF)55を介して転送駆動バッファ250からの転送信号TRGにより駆動されるようになっている。リセットトランジスタ36は、リセット配線(RST)56を介してリセット駆動バッファ252からのリセット信号φRSTにより駆動されるようになっている。垂直選択用トランジスタ40は、垂直選択線(SEL)52を介して選択駆動バッファ254からの垂直選択信号φSELにより駆動されるようになっている。各駆動バッファは、垂直走査部14によって駆動可能になっている。
画素信号生成部5におけるリセットトランジスタ36は、ソースがフローティングディフュージョン38に、ドレインが電源VDDにそれぞれ接続され、ゲート(リセットゲートRG)にはリセットパルスRSTがリセット駆動バッファから入力される。このリセットトランジスタ36は、フローティングディフュージョン38の電位をリセットする機能を持つ。
ここで、この単位画素3は、増幅用トランジスタ42と垂直選択用トランジスタ40のうち、垂直選択用トランジスタ40の方が垂直信号線53側にあるタイプである。すなわち、垂直選択用トランジスタ40は、一例として、ドレインが増幅用トランジスタ42のソースに、ソースが画素線51にそれぞれ接続され、ゲート(特に垂直選択ゲートSELVという)は垂直選択線52に接続されている。
垂直選択線52には、垂直選択信号SELが印加される。増幅用トランジスタ42は、ゲートがフローティングディフュージョン38に接続され、ドレインが電源VDDに、ソースは垂直選択用トランジスタ40のドレインを介して画素線51に接続され、さらに垂直信号線53(18)に接続されるようになっている。
なおこのような接続構成に限らず、垂直選択用トランジスタ40は、ドレインが電源VDDに、ソースが増幅用トランジスタ42のドレインにそれぞれ接続され、ゲートが垂直選択線52に接続されるようにしてもよい。
このような4TR構成では、フローティングディフュージョン38は増幅用トランジスタ42のゲートに接続されているので、増幅用トランジスタ42はフローティングディフュージョン38の電位(以下FD電位という)に対応した信号を電圧モードで、画素線51を介して垂直信号線53(18)に出力する。
リセットトランジスタ36は、フローティングディフュージョン38をリセットする。読出選択用トランジスタ(転送トランジスタ)34は、電荷生成部32にて生成された信号電荷をフローティングディフュージョン38に転送する。垂直信号線18には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ40をオンする。すると選択画素のみが垂直信号線18と接続され、垂直信号線18には選択画素の信号が出力される。
<単位画素の駆動方法>
図3は、図2に示した単位画素3を駆動して画素信号(単位画素3から出力される単位信号)を取得する手法を説明するタイミングチャートである。図2に示した4TR構成では、リセットトランジスタ36は、フローティングディフュージョン38をリセットする。具体的には、フローティングディフュージョンの信号電荷(ここでは電子)を電源配線に捨てることによって、フローティングディフュージョン38をリセットする。
読出選択用トランジスタ(転送トランジスタ)34は、電荷生成部32にて生成された信号電荷を、電荷蓄積部の一例であるフローティングディフュージョン38に転送する。
フローティングディフュージョン38は単位信号生成部の一例である増幅用トランジスタ42のゲートに接続されているので、増幅用トランジスタ42はフローティングディフュージョン38の電位(以下FD電位ともいう)に対応した信号(この例では電圧信号)を、垂直選択用トランジスタ40がオンしているときに、画素線51を介して出力信号線の一例である垂直信号線53に出力する。すなわち、垂直信号線53には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ40をオンする。すると選択画素のみが垂直信号線53と接続され、垂直信号線53には選択画素の信号が出力される。
具体的には、図3のタイミングチャートに示すように、読出パルス(転送ゲートパルス)TRGがアクティブ(本例ではハイレベル)となり、読出選択用トランジスタ34を駆動し、電荷生成部32に入射した光が光電変換されて生成された信号電荷を、蓄積ノードとして機能するフローティングディフュージョン38に移送して読み出す。
ここで、電荷生成部32に入射した光が光電変換されて生成された信号電荷は、読出選択用トランジスタ34がオンするまで電荷生成部32に蓄積される。
水平走査線帰線期間(ブランキング期間)にまず行なわれるのは、垂直選択パルスSELをアクティブ(本例ではハイレベル)にして垂直選択用トランジスタ40をオンさせ(t10)、増幅用トランジスタ42でフローティングディフュージョン38の電荷を検出できるように、読出し行の増幅用トランジスタ42の出力と垂直信号線53とを接続して、垂直信号線53、電流源In(負荷MOSトランジスタ27)、および増幅用トランジスタ42でソースフォロワ回路を構成する。垂直信号線53の電位は、フローティングディフュージョン38の電位変動に追従する。これにより、フローティングディフュージョン38の電荷量に対応する、増幅用トランジスタ42のゲート電位で決まる電位のみが垂直信号線53に伝達される。
また、水平走査線帰線期間の開始とともに、電荷生成部32に信号電荷Qsig が蓄積された状態で、最初に画素信号生成部5を基準電圧にリセットする、つまりリセットゲートパルスRGをアクティブ(本例ではハイレベル)にして(t11)、リセットトランジスタ36をオンさせることで、フローティングディフュージョン38に蓄積された暗電流積分値を排出させる。これによって、フローティングディフュージョン38は、電源電圧値(Vdd)に設定される。なお、リセットゲートパルスRGをインアクティブ(本例ではローレベル)にすると(t12)、カップリングにより、フローティングディフュージョン38の電位が若干落ちる。
このとき、駆動信号操作部16からサンプルパルスSHPが出力されて、カラム処理部20内のCDS機能部をなすシフトトランジスタのゲートに供給され、各シフトトランジスタがオンする。すなわち、駆動信号操作部16からクランプパルスSHPが供給され、カラム処理部20内のCDS機能部をなすクランプトランジスタのゲートに供給されて、各クランプトランジスタがオンし、リセットレベルSrst が検出される(t14)。
次に、電荷生成部32についての読出選択用トランジスタ34を駆動して、電荷生成部32から信号電荷Qsig に応じた信号成分Soを読み出す。すなわち、転送ゲートパルスTRGをハイレベルにして(t16)、読出選択用トランジスタ34をオンさせ、電荷生成部32に蓄積されていた信号電荷Qsig をフローティングディフュージョン38に移送する。このフローティングディフュージョン38に移送された信号電荷Qsig の電荷量は、増幅用トランジスタ42によって検出され、その電荷量に応じた電位が発生されて垂直信号線53に伝達される。
この後、駆動信号操作部16からクランプパルスSHDを供給して(t18)、クランプトランジスタをオンさせて、電荷生成部32が検知した信号電荷Qsig に応じた画素信号レベルSsig を検出する。
ここで、カラム処理部20では、CDS処理機能部において、リセット相とデータ相でCDS処理を行なう。すなわち、前述のようにして取得されるリセットレベルSrst と画素信号レベルSsig との差分を取ることで、オフセット成分が取り除かれ、真の信号成分Soを検知できる。画素ごとの固定パターンノイズの除去を行なうことができる。
信号電荷の転送が終わり、十分時間が経った後には、垂直選択パルスSELをインアクティブ(本例ではローレベル)にする(t20)。
<垂直走査制御機能>
図4は、CMOS撮像素子12を用いた場合における垂直走査制御機能を説明する図である。なお、ここでは説明を簡単にするため、撮像部10は、カラーフィルタが設けられていないモノクロ撮像用のものであるとする。
図4に示すように、垂直走査部14の垂直アドレス設定部14xは、読出画素位置を指定するアドレス情報(具体的には駆動パルスとしての転送ゲートパルスTRGなど)を生成する機能要素として、撮像部10における奇数行(2v−1;vは正の整数)の読出対象の行アドレスφTRGoを指定する奇数行垂直アドレス設定部414oと、撮像部10における偶数行(2v)の読出対象の行アドレスφTRGeを指定する偶数行垂直アドレス設定部414eとを備えて構成されている。
ここで、奇数行垂直アドレス設定部414oおよび偶数行垂直アドレス設定部414eは、対応する行アドレスφTRGo,φTRGeを、撮像部10の下側から上側へと上側から下側への相反する方向へ1行ずつ交互に順次指定することで、同一検知条件としての同一の露光条件すなわちシャッタ速度を奇数行領域410oと偶数行領域410eのそれぞれに設定する。
垂直アドレス設定部14xを奇数行領域410oの読出アドレス指定を担当する機能部と偶数行領域410eの読出アドレス指定を担当する機能部に分けて構成することで、簡易なカウンタやシフトレジスタを用いてアドレス値を順次2ずつ変化させる(一方は繰り上げ、他方は繰り下げる)構成にすることができるようになり、回路構成をコンパクトにできる。もちろん、このように領域別に読出アドレス指定を担当する機能部を設けずに、ランダムアクセス機能を持つようにしてもよい。
撮像部410の奇数行領域410oと偶数行領域410eとについて、2系統の垂直走査系統に分け、独立した画素信号の読出しを行なうに当たっては、それぞれの垂直方向の走査起点STo,STeは自由度がある。一例としては、図4に示すように、奇数行領域410oに関しては撮像部10の最下端に設定し、偶数行領域410eに関しては撮像部10の最上端に設定する。
このような走査起点STo,STeの関係にある場合、1行ごとに垂直信号線18に対して互いに相反する方向に垂直走査がなされるので、垂直信号線18を介して移動体信号処理部132には、1行目、2v行目、3行目、2v−2行目、…、2v−3行目、4行目、2v−1行目、2行目といった行順で画素信号が供給される。たとえば1フレーム200行あるとすれば、1,200,3,198,5,196,…,99,102,101,100,103,…,197,4,199,2という行順で読み出される。移動体信号処理部132は、供給された画素信号をフレームメモリ133に記憶する。
このような画素信号の読出し方では、フレームメモリ133上の1フレーム分の画像としては、垂直走査方向が互いに逆の、1行が間引かれた1フレーム分の複数の画像情報の組合せで表わされることになる。
このよう走査方向の異なる情報で表わされた撮像部10(1フレーム)分の画像情報を、走査方向が同じ情報で表わされた撮像部10(1フレーム)分の画像情報にする、すなわち、垂直方向の行の並びと同じにして元の画像をフレームメモリ133上で再現するには、移動体信号処理部132は、垂直2方向中の何れか一方の画像情報の走査順を反転すればよい。
たとえば、偶数行の走査順が逆になるようにフレームメモリ133からの画素信号の読出しを調整することで、偶数行領域410eに関しての画像情報を垂直方向に反転させる。これにより、1行目、2行目、3行目、4行目、…、2v−3行目、2v−2行目、2v−1行目、2v行目といった行順に戻る。たとえば1フレーム200行あるとすれば、1,2,3,4,5,…,199,200の順に戻される。
なお、このように、フレームメモリ133を利用することで画素行の並替えをする場合、フレームメモリ133としては、並替え前の画像情報を記憶する分と、並替え後の画像情報を記憶する分の計2フレーム分が必要となる。
一方、移動体信号処理部132に画像情報を取り込む際に、フレームメモリ133上は元の行順となるように書込行を制御するようにすれば、フレームメモリ133としては、並替え前の画像情報を記憶する分が不要となり、並替え後の画像情報を記憶する1フレーム分だけでよくなる。もちろん、ここでは画素行の並替えに関する処理に必要なフレームメモリ数について説明したものである。
なおフレームメモリ133上で元の行順となるように再現するのは、後述する移動体検知処理やその他の移動体に関する信号処理を行なう際に、フレームメモリ133上の画像情報の行順が撮像部10上の画像の状態と同じであることを前提としている公知の処理アルゴリズムを利用・変形できるようにするためである。処理アルゴリズムを独自に開発すれば、行順の並替えをせずに、移動体検知処理やその他の移動体に関する信号処理を行なうこともできる。
<移動体信号処理>
図5は、移動体信号処理の一例を説明する図である。ここでは、1フレーム200行あり、移動体信号処理部132により、1,2,3,4,5,…,199,200の順に画素行が戻された後の画像を示している。
簡単のために、電子シャッタにより十分短い露光時間で画像を取り込んだ場合で考える。本実施形態における露光制御は、行ごとに露光開始時刻が異なるフォーカルプレーンシャッタであるので、フレームの開始時刻に細い実線Lstで示された位置にいた四角形画像が、このフレームの終わりの時刻には太い実線Ledで示された位置に移動する。すると撮像部10を下から上に垂直走査される奇数行に基づく画素信号からは細い一点鎖線Gstで示された平行四辺形の画像が得られ、上から下に垂直走査される偶数行に基づく画素信号からは、太い一点鎖線Gedで示された画像が得られる。
このように、奇数行領域410oと偶数行領域410eについて相反する垂直方向に画素信号を読み出すことで、四角形の上側の辺と下側の辺に到達する時刻が異なる。図中に、各読出方向で四角形の上側の辺と下側の辺に到達する時刻を矢印で示す。
このような画像が、静止物体を撮像したものであるか移動物体を撮像したものであるかを特定するには、一般的な手法としては、撮像時点(撮像タイミング)をずらした2枚の画像の比較が必要であり、本実施形態においても、複数のフレーム画像の比較で動体であるか否かを特定する。
なお、後述するように、本実施形態のように、奇数行領域410oと偶数行領域410eについて相反する垂直方向に画素信号を読み出した1フレームの画像を使用することで、1フレーム内で動体検知を行なうことも可能である。
動体を撮像したものである場合、移動体信号処理部132は、次に、上述のようにして1回の撮像で取得した図5に示す1フレーム分の画像情報を使用して、動体がどのような動作をしていたかを解析する。
たとえば、200tが1フレームとすると、読出順で分かるように100行目付近では露光時刻の差異が少なく、画面の上下端に近づく程露光時刻の差異が大きくなり、動体を撮像した場合には、画面上下端に寄るほど、奇数行と偶数行の位置のずれが大きくなる。
これにより、対応する頂点の位置のずれから移動する物体の移動速度とこのフレームのある時刻での元の形状が計算により求めることができる。たとえば、この図形の上辺は時刻73tから116tまでの時間で73行目から84=(200−116)行目まで移動したことになる。移動速度Fは、移動距離を移動時間で割った値であるから、(84−73)/(116t−73t)が垂直方向の移動速度Fvになる。同様の処理を、列方向の座標で行なえば、水平方向の移動速度Fhを求めることができる。
また、垂直方向および水平方向の各移動速度Fv,Fhを求めることができれば、あとは移動速度Fv,Fhから演算処理により、同フレームのある時刻での元の形状を求めることができる。
ここで、本例では、図4に示したように、奇数行領域410oに関しては撮像部10の最下端に走査起点SToを設定し、偶数行領域410eに関しては撮像部10の最上端に走査起点STeを設定している。この場合、奇数行領域410oについての走査起点SToが偶数行領域410eについての垂直走査の終点EDeと等しくなり、その時間的なずれは1フレーム分と等しくなる。よって、最大で、1フレーム分に亘る移動体の様子を特定できる。
以上説明したように、上記実施形態の移動体信号処理によれば、1回の撮像で得た1フレーム分の画像を用いて、移動体の動きの様子を特定することができ、短時間で動体の様子を判断することができる。複数のフレーム間で信号処理を行なうことで移動体の動きの様子を特定する必要がなく、移動体の動きの様子を特定する信号処理回路としては1フレーム分のメモリがあればよく、フレーム内演算処理も四則演算で済み簡易である。
そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特開2003−162723号公報に記載のような、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
また、特開平08−294057号公報に記載のように、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造は必要である。
さらに、このようなことを利用することで、CMOSセンサ特有の、行によって露光蓄積期間が異なるいわゆるライン露光(あるいはフォーカルプレーンシャッタ)の不都合点を解消できる。すなわち、電子シャッタ動作を行なったときの各画素の露光蓄積期間が一定となるようにする(全行同時刻露光する)グローバルシャッタという機能を実現する特殊な画素構成にしなくても、演算処理により実質的にグローバルシャッタ機能を実現することができる。
図6は、1フレーム分の画像で移動体検知を行なう処理を説明する図である。この図は、図5に示したものの動体部を拡大したものである。なお、本来は下から上への走査(左軸)で得られる図形(Gst)が25本(73−23)/2、上から下への走査(右軸)で得られる図形(Ged)が16本(148−116)/2本分のエリアになるが省略して示している。
異なる走査方向から1行ごとに画素信号を読み出すと、1フレームの画像としては、1行ごとに非常に近い画像情報が出てくる。1行ごとに時間差を持った蓄積開始時間の画像であるから、その動体の画像情報は、他のエリアに比較して特定の空間周波数成分が非常に多いエリアになる。
たとえば、図5に示したものの動体部では、画面の上下方向の中央部に対して、画面端に近づくほど連続する2行の蓄積開始時間は大きく異なっていくので、図6に示すように、1行ごとの横縞の成分が多い画像になる。具体的には、奇数行O_hと偶数行E_aとの間では、時刻的には43t(116t−73t)の差があり空間的にはこの画面上の位置の差がある。また、奇数行O_aと偶数行E_eとの間では、時刻的には125t(128t−23t)の差があり空間的にはこの画面上の位置の差がある。
このような性質に着目して、1フレーム分の画像である2次元情報に基づいて空間的な周波数成分について演算処理を行なうことで抽出すると、1フレームで動体を検出することができる。たとえば、特定空間周波数の高いエリアを切り出してその偶数行と奇数行の形状から時間情報を取り出すことができる(たとえば、“ビデオ信号の基礎とその操作方法”、第5章、p147〜156、今村元一著、CQ出版社、2003.5,1発行を参照)。
これにより、たとえば、複数フレーム分の画像を保持しておくフレームメモリが不要になる利点が得られる。また、その結果を、フォーカルプレーン現象の補正処理に応用することができる。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上記実施形態では、垂直走査方向を複数系統に分けて独立に制御する(典型例としては2系統に分けて逆方向に走査する)事例を示したが、水平走査方向を複数系統に分けて独立に制御する(典型例としては2系統に分けて逆方向に走査する)ことも可能である。また、垂直走査方向と水平走査方向のそれぞれを複数系統に分けて独立に制御することもできる。水平走査は、垂直走査に比べて高速であるから、この例の場合、水平方向への動きの速い被写体の移動の様子を検知することや、その高速移動体の元の形状を特定することができる。
また、図5に示した移動体信号処理の説明では、輝度信号のみを考慮してモノクロ撮像用のもので示したが、カラー用の単板撮像素子の場合には、色分離フィルタの配列の繰返単位を構成する色の組合せを基準に、走査方向を制御すればよい。たとえば、ベイヤ(Bayer)配列ならば、1行目と2行目,200行目と199行目,5行目と6行目,196行目と195行目というように、2行を1組にして取り扱えば同様の処理が可能である。
また、上記実施形態の垂直走査制御動作においては、領域分割した奇数行領域410oと偶数行領域410eについての垂直走査に当たって、その走査起点を撮像部10の最下端と最上端に設定していたが、走査起点が何処であるかに拘らず、走査方向が互いに異なるものであればよく、その他に設定することもできる。
たとえば、奇数行領域410oの走査起点SToを奇数行領域410oと偶数行領域410eとの境界に設定しつつ、偶数行領域410eの走査起点STeを、撮像部410の最上端に設定することもできる。この場合、奇数行領域410oについての走査起点SToが偶数行領域410eについての垂直走査の中間位置と等しくなり、その時間的なずれは1フ1/2フレーム分と等しくなる。よって、最大で、1/2フレーム分に亘る移動体の様子を特定できる。
また、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするCMOS型の固体撮像装置について例示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置(特開2002−7984や特開2001−125734などを参照)など、その他の物理的な変化を検知する仕組みにおいて、動体を検出する仕組みが必要な場合に、上記実施形態の仕組みを同様に適用することができる。
本発明に係る物理情報取得装置の一実施形態であるCMOS固体撮像装置の概略構成図である。 図1に示した固体撮像装置に使用される単位画素の構成例を説明する図である。 図2に示した単位画素を駆動して画素信号を取得する手法を説明するタイミングチャートである。 CMOS撮像素子を用いた場合における垂直走査制御機能を説明する図である。 移動体信号処理の一例を説明する図である。 1フレーム分の画像で移動体検知を行なう処理を説明する図である。
符号の説明
1…固体撮像装置、3…単位画素、7…駆動制御部、10…撮像部、12…水平走査部、12x…水平アドレス設定部、14…垂直走査部、14x…垂直アドレス設定部、16…駆動信号操作部、18…垂直信号線、20…カラム処理部、22…カラム信号処理部、86…水平信号線、88…出力部、100…外部回路、130…デジタル信号処理部、132…移動体信号処理部、133…フレームメモリ、410e…偶数行領域、410o…奇数行領域、414e…偶数行垂直アドレス設定部、414o…奇数行垂直アドレス設定部

Claims (5)

  1. 物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得方法であって、
    前記複数の検知部の並び順に対して互いに異なる方向から順に前記検知領域の略全面を走査することで、走査方向の異なる情報で表わされた前記検知領域分の物理情報を取得し、
    前記走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
    ことを特徴とする物理情報取得方法。
  2. 前記走査方向の異なる情報で表わされた検知領域分の物理情報を、前記走査方向が同じ情報で表わされた検知領域分の物理情報に変換し、
    この変換された前記走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
    ことを特徴とする請求項1に記載の物理情報取得方法。
  3. 物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得装置であって、
    前記複数の検知部の並び順に対して互いに異なる方向から順に前記検知領域の略全面を走査することで、走査方向の異なる情報で表わされた前記検知領域分の物理情報を取得可能とする駆動信号操作部
    を備えたことを特徴とする物理情報取得装置。
  4. 前記走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する移動体信号処理部
    をさらに備えたことを特徴とする請求項3に記載の物理情報取得装置。
  5. 前記走査方向の異なる情報で表わされた検知領域分の物理情報を、前記走査方向が同じ情報で表わされた検知領域分の物理情報に変換する信号変換部をさらに備え、
    前記移動体信号処理部は、この変換された前記走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
    ことを特徴とする請求項4に記載の物理情報取得装置。
JP2005027363A 2005-02-03 2005-02-03 物理情報取得方法および物理情報取得装置 Expired - Fee Related JP4609092B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005027363A JP4609092B2 (ja) 2005-02-03 2005-02-03 物理情報取得方法および物理情報取得装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005027363A JP4609092B2 (ja) 2005-02-03 2005-02-03 物理情報取得方法および物理情報取得装置

Publications (2)

Publication Number Publication Date
JP2006217213A true JP2006217213A (ja) 2006-08-17
JP4609092B2 JP4609092B2 (ja) 2011-01-12

Family

ID=36980060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005027363A Expired - Fee Related JP4609092B2 (ja) 2005-02-03 2005-02-03 物理情報取得方法および物理情報取得装置

Country Status (1)

Country Link
JP (1) JP4609092B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122158A (ja) * 2007-11-12 2009-06-04 Nikon Corp 焦点検出装置および撮像装置
JP2009122159A (ja) * 2007-11-12 2009-06-04 Nikon Corp 焦点検出装置および撮像装置
JP2011199646A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 固体電子撮像装置およびその動作制御方法
JP2012080490A (ja) * 2010-10-06 2012-04-19 Nikon Corp 撮像装置および画像処理装置
JP2012169990A (ja) * 2011-02-16 2012-09-06 Jvc Kenwood Corp 撮像装置及び撮像装置の画像歪補正方法
JP2013074372A (ja) * 2011-09-27 2013-04-22 Samsung Electronics Co Ltd 撮像装置、及び歪み検出方法
JP2014072779A (ja) * 2012-09-28 2014-04-21 Fujitsu Ltd 撮像信号処理装置及び撮像信号処理方法
KR20140113224A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
KR20140113581A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
JP2016208178A (ja) * 2015-04-20 2016-12-08 株式会社ソシオネクスト 画像処理装置および画像処理方法
JP2018061183A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 撮像装置および撮像システム
JP7343227B1 (ja) 2022-03-29 2023-09-12 三男 眞鍋 位置測定装置
CN117350315A (zh) * 2023-10-30 2024-01-05 苏州远景达自动识别技术有限公司 一种基于快递取件用的智能扫码机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63302680A (ja) * 1987-06-01 1988-12-09 Fujitsu Ltd 走査型撮像装置
JPH02200087A (ja) * 1989-01-30 1990-08-08 Hitachi Denshi Ltd 撮像装置及び撮像素子
JPH05110950A (ja) * 1991-10-18 1993-04-30 Olympus Optical Co Ltd 画像変位検出装置
JPH089363A (ja) * 1994-03-24 1996-01-12 Sony Corp 動き検出装置および方法、並びに撮像方法
JP2000184282A (ja) * 1998-12-15 2000-06-30 Canon Inc 撮像装置、撮像装置の駆動方法、画像処理方法、情報記録媒体、及び画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63302680A (ja) * 1987-06-01 1988-12-09 Fujitsu Ltd 走査型撮像装置
JPH02200087A (ja) * 1989-01-30 1990-08-08 Hitachi Denshi Ltd 撮像装置及び撮像素子
JPH05110950A (ja) * 1991-10-18 1993-04-30 Olympus Optical Co Ltd 画像変位検出装置
JPH089363A (ja) * 1994-03-24 1996-01-12 Sony Corp 動き検出装置および方法、並びに撮像方法
JP2000184282A (ja) * 1998-12-15 2000-06-30 Canon Inc 撮像装置、撮像装置の駆動方法、画像処理方法、情報記録媒体、及び画像処理システム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122158A (ja) * 2007-11-12 2009-06-04 Nikon Corp 焦点検出装置および撮像装置
JP2009122159A (ja) * 2007-11-12 2009-06-04 Nikon Corp 焦点検出装置および撮像装置
US8139144B2 (en) 2007-11-12 2012-03-20 Nikon Corporation Focus detection device, focus detection method and imaging apparatus
JP2011199646A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 固体電子撮像装置およびその動作制御方法
JP2012080490A (ja) * 2010-10-06 2012-04-19 Nikon Corp 撮像装置および画像処理装置
JP2012169990A (ja) * 2011-02-16 2012-09-06 Jvc Kenwood Corp 撮像装置及び撮像装置の画像歪補正方法
JP2013074372A (ja) * 2011-09-27 2013-04-22 Samsung Electronics Co Ltd 撮像装置、及び歪み検出方法
EP2713610A3 (en) * 2012-09-28 2014-08-06 Fujitsu Limited Method and device for processing captured-image signals
JP2014072779A (ja) * 2012-09-28 2014-04-21 Fujitsu Ltd 撮像信号処理装置及び撮像信号処理方法
US9413997B2 (en) 2012-09-28 2016-08-09 Fujitsu Limited Method and device for processing captured-image signals
KR20140113224A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
KR20140113581A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
KR102071526B1 (ko) * 2013-03-15 2020-03-02 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
KR102189436B1 (ko) * 2013-03-15 2020-12-11 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
JP2016208178A (ja) * 2015-04-20 2016-12-08 株式会社ソシオネクスト 画像処理装置および画像処理方法
JP2018061183A (ja) * 2016-10-07 2018-04-12 キヤノン株式会社 撮像装置および撮像システム
JP7343227B1 (ja) 2022-03-29 2023-09-12 三男 眞鍋 位置測定装置
CN117350315A (zh) * 2023-10-30 2024-01-05 苏州远景达自动识别技术有限公司 一种基于快递取件用的智能扫码机
CN117350315B (zh) * 2023-10-30 2024-04-05 苏州远景达自动识别技术有限公司 一种基于快递取件用的智能扫码机

Also Published As

Publication number Publication date
JP4609092B2 (ja) 2011-01-12

Similar Documents

Publication Publication Date Title
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
US7561199B2 (en) Solid-state image pickup device
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP4290066B2 (ja) 固体撮像装置および撮像システム
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
US20060181625A1 (en) CMOS image sensor with wide dynamic range
JP2006197393A (ja) 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP2006352843A (ja) 撮像装置及び制御方法
JP2006270292A (ja) 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置
US20090278947A1 (en) Imager and Imaging Method for Digital Cinematography
JP2005347932A (ja) 固体撮像装置および撮像システム
JP2007336519A (ja) 固体撮像装置
US7528872B2 (en) Image apparatus, driving method, and camera
JP2007166600A (ja) 固体撮像装置
JP4736819B2 (ja) 物理情報取得方法および物理情報取得装置ならびに駆動装置
JP4929584B2 (ja) 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置
JP2007143067A (ja) 撮像装置及び撮像システム
JP6825675B2 (ja) 撮像素子及び撮像装置
JP2002135795A (ja) 撮像装置
CN114128254A (zh) 固态成像设备及其驱动方法以及电子装置
JP4232485B2 (ja) 読出アドレス制御方法および装置、並びに半導体システムおよび撮像デバイス
JP5072466B2 (ja) 撮像装置
JP6967173B1 (ja) 撮像素子及び撮像装置
JP6798532B2 (ja) 撮像素子及び撮像装置
JP2008092477A (ja) 光電変換装置及びその制御方法並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070830

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees