JP2003078829A

JP2003078829A - 画像検出処理装置

Info

Publication number: JP2003078829A
Application number: JP2001269120A
Authority: JP
Inventors: Tetsuya Yagi; 哲也八木; Seiji Kameda; 成司亀田
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2001-09-05
Filing date: 2001-09-05
Publication date: 2003-03-14
Anticipated expiration: 2021-09-05
Also published as: KR100592378B1; US20050062853A1; CN1278276C; US7369162B2; EP1435588A1; CN1552040A; KR20050025115A; JP3833088B2; WO2003023712A1; CA2459220A1; TW583879B

Abstract

(57)【要約】【課題】マルチチップシステムを採用し、超並列の回
路構造で画像処理等の各種処理を行い、実時間で画像処
理等の各種処理を実行する。【解決手段】光学系４から画像情報が入力され、１段
目の平滑化チップ１は、光センサ回路１−１と平滑化回
路１−２を備えることで入力画像の平滑化を行う。２段
目以降の輪郭強調チップ２、動き検出チップ３の各画素
はそれぞれアナログメモリ２−１、３−１と輪郭強調回
路２−２、動き検出回路３−２を備える。アナログメモ
リ２−１、３−１は前段からのアナログ情報を一時記憶
する。輪郭強調回路２−２、動き検出回路２−３はそれ
ぞれアナログメモリ２−１、３−１の情報を読み取る
（必要に応じ書込むことも可能）。ここでは２段目の輪
郭強調チップ２からは輪郭強調された画像情報が出力さ
れ、３段目の動き検出チップ３からは動き検出された結
果が出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像検出処理装置
に係り、特に、視覚センサ及び画像処理に適用したビジ
ョンチップと呼ばれる画像検出処理装置に係る。ここ
で、「ビジョンチップ」とは、例えば、各画素に光セン
サ回路と処理回路を配置した超並列の回路構造をアナロ
グＣＭＯＳ集積回路により実現し、視覚情報処理を行う
ことが出来る視覚センサチップ（半導体、回路）を言
う。ビジョンチップのうち、特に生体網膜の回路構造お
よび機能を模擬したものを「シリコン網膜」と呼ぶ。

【０００２】

【従来の技術】図２２に、ビジョンチップの概要構成図
を示している。下図はビジョンチップ６１の拡大図であ
る。この拡大図のように各画素は光センサ６３と処理回
路６４を備える。画像情報はレンズ６２などの光学系を
通してビジョンチップ６１上に投影される。投影された
画像情報は光センサ６３により電気信号に変換され、各
画素に配置された処理回路６４により超並列的に処理さ
れる。そして、処理回路６４は、コンピュータやマイク
ロプロセッサ等の高次認識装置が理解しやすい情報に変
換し出力する。このようなビジョンチップにより、従来
の直列型デジタルコンピュータによる画像処理システム
が不得意な課題を解決することができる。現在までに様
々なビジョンチップが開発されており、ビジョンチップ
により実現されている視覚情報処理の主要なものは、例
えば、「画像平滑化」「輪郭強調」「動き検出」等であ
る。

【０００３】図２３に、シングルチップシステムの回路
構成図を示す。ここでは、回路の一例として、入力画像
の平滑化、輪郭強調、速度検出を行うビジョンチップを
挙げる。シングルチップの場合は、図に示すように、各
画素に光センサ６３と平滑化回路６５、輪郭強調回路６
６、動き検出回路６７の各処理回路をそれぞれ配置しな
ければならない。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
ようなシングルチップシステムのビジョンチップでは、
各画素に光センサと処理回路を配置するので１画素の幾
何学的構造（画素サイズ）が大きくなってしまう。ま
た、従来のビジョンチップでは、１つのチップで様々な
視覚処理機能を実現する必要があるため、チップの単位
面積あたりの画素数が減少し、空間解像度が低下する。
さらに、従来のビジョンチップでは、画素構造を単純化
して画素サイズを小さくするため、後段の高次認識処理
において十分な画像処理を実行することができない場合
がある。また、チップサイズを大きくすることで画素数
を増やす対策をとると、チップのコストが高くなり（な
お、歩留り数の増加に伴い使用不可チップが増えること
も一因である）、歩留りの観点からチップサイズ自身に
CMOS製造プロセスに依存した限界がある。

【０００５】本発明は、以上の点に鑑み、１つのチップ
で実行しようとしている処理を複数のチップに分けて行
う、いわゆる「マルチチップシステム」の構成をとるこ
とにより、超並列の回路構造で画像処理等の各種処理を
行い、実時間で画像処理等の各種処理を実行することを
目的とする。また、本発明は、例えば、CMOSを利用した
安価、小型、低消費電力なシステムを提供することを目
的とする。さらに、本発明は、アナログ特有のロバスト
性のあるシステムを提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の解決手段による
と、入力された光信号を電気信号に変換する光センサ
と、前記光センサからの出力に対して第１のアナログ処
理を実行してアナログ画像情報を出力する第１の処理回
路とを有する第１の画素回路と、前記第１の画素回路の
前記第１の処理回路からアナログ画像情報を入力して記
憶する第２のアナログメモリと、前記第２のアナログメ
モリから画像情報を読み出し第２のアナログ処理を実行
してアナログ画像情報出力する第２の処理回路とを有
し、前記第１の画素回路に対応して設けられた第２の画
素回路を備え、前記第１及び第２の画素回路がそれぞれ
マトリクス状に配置されて各々第１及び第２のチップが
形成され、前記第１及び第２の処理回路は、各々の前記
第１及び第２のチップにおける近傍の第１及び第２の処
理回路からそれぞれアナログ信号を受けて特性を補償
し、第１及び第２のアナログ処理を並列演算により実行
するようにした画像検出処理装置が提供される。

【０００７】

【発明の実施の形態】１．マルチチップシステム図１に、マルチチップシステムの画像検出処理装置の構
成図を示す。この実施の形態では、一例として、平滑
化、輪郭強調、動き検出の３つの処理をそれぞれ３つの
チップに分け、マルチチップの構成にする。レンズ等の
光学系４から画像情報が入力され、１段目の平滑化チッ
プ１は、光センサ回路１−１と平滑化用の処理回路であ
る平滑化回路１−２を備えることで入力画像の平滑化を
行う。１段目の平滑化チップ１からは平滑化された画像
情報が電圧もしくは電流のアナログ信号として出力さ
れ、２段目以降の輪郭強調チップ２、動き検出チップ３
へ入力される。２段目以降の輪郭強調チップ２、動き検
出チップ３の各画素はそれぞれアナログメモリ２−１、
３−１と専用の処理回路である輪郭強調回路２−２、動
き検出回路３−２を備える。アナログメモリ２−１、３
−１は前段からのアナログ情報を一時記憶する。輪郭強
調回路２−２、動き検出回路２−３はそれぞれアナログ
メモリ２−１、３−１の情報を読み取る（必要に応じ書
込むことも可能）。ここでは２段目の輪郭強調チップ２
からは輪郭強調された画像情報が出力され、３段目の動
き検出チップ３からは動き検出された結果が出力され
る。

【０００８】このようなマルチチップシステムの特徴と
しては、例えば、次のような点が挙げられる。・１つのチップで行う処理を限定できる（処理機能を分
散できる）。・画素サイズが小さい。・チップサイズを大きくすることなく画素数を増やせ
る。・複数のチップから出力が並列に出力されるので、複数
の視覚情報を利用した高次画像処理が実行できる。・画像処理およびデータ転写時に付加される回路ノイズ
を除去するために各画素に補償回路を配置することが容
易である。・画像処理、データの転写にアナログ情報を用いる。そ
して、画像処理は各画素に配置したアナログ処理回路に
よる超並列の回路構造により高速に実行できる。この点
は、既存の画像処理用ＤＳＰ（Digital Signal Process
or）とは明らかに異なる。

【０００９】ここで、本発明とＤＳＰとの差異について
説明する。ＤＳＰの場合、ＣＣＤカメラのような撮像機
器から出力された画像情報をＡ／Ｄ変換器によりデジタ
ル信号に変換しＤＳＰへ送り、ＤＳＰでデジタル画像処
理を実行する。これに対して本発明の実施の形態の場
合、初段の平滑化チップ１の段階でまず、画像情報の取
得と同時に各画素のアナログ処理回路により超並列アナ
ログ画像処理が施される（ＣＣＤカメラとの相違点）。
次に、初段の平滑化チップ１からは計算されたアナログ
情報がそのまま出力され、次段の輪郭強調チップ２へ入
力される（Ａ／Ｄ変換しない）。次に、初段の平滑化チ
ップ１からの情報は次段の輪郭強調チップ２の各画素に
配列されたアナログメモリへ入力され、さらに各画素の
アナログ処理回路により超並列処理される（デジタル画
像処理との相違点）。さらに、輪郭強調チップ２からの
情報は次段の動き検出チップ３の各画素に配列されたア
ナログメモリへ入力され、さらに各画素のアナログ処理
回路により超並列処理される。

【００１０】一般的にデジタル回路よりもアナログ回路
の方が小規模に処理回路を設計できる。仮に各画素にＤ
ＳＰを配置し並列画像演算を行おうとすると、・画素サイズが大きくなる。・各画素を接続する配線が複雑になる。等の課題がある。これに対し、本発明では各画素をアナ
ログ回路で構成するためこれらの課題が軽減される。

【００１１】但し、アナログ集積回路に固有の課題とし
て素子特性の不均一性によるばらつきの影響というもの
が想定される場合がある。これは同一のチップ内に幾何
学的に全く同じ回路を設計したとしても個々の回路の電
気的特性がばらついてしまうというものである。これは
チップ内ではもとより、別々のチップ間ではさらにその
傾向が強く現れる。本発明のような超並列の回路構造で
の各画素間の素子特性のばらつきや画像情報を次段に転
写したときのチップの前後の情報の変化は深刻な場合、
これに対する対策をとる必要がある。

【００１２】そこで本発明では、各画素に素子特性の不
均一性に伴うばらつき（回路ノイズ）を補償する回路を
組み込むことで、この課題を解決する。その補償回路で
は、ある種のアナログ情報記憶素子に各画素の回路ノイ
ズを記憶することで、回路ノイズの影響を受けない画像
処理およびデータ転写を実現する。具体的にはノイズ補
償バッファ回路（後述）を想定しているが、同様の機能
を持った回路であれば置き換えることが可能とする。

【００１３】２．マルチチップシステムを構成するチッ
プの回路構成概要マルチチップシステムを構成するチップの種類は、本発
明の実施の形態においては大きく分類すると次の２つの
タイプになる。・タイプ１：各画素に画像情報を取得する光センサと処
理回路を内臓・タイプ２：各画素に前段からの画像情報を記憶するア
ナログメモリと処理回路を内臓これら、タイプ１、タイプ２について回路構成を説明す
る。

【００１４】（１）タイプ１チップの回路構成（画像取
得＋並列画像処理）タイプ１のチップは構成するチップシステムの初段であ
り、各画素に内蔵した光センサにより外界の画像情報を
取得し並列に画像処理を施す。図２に、タイプ１チップ
の構成図を示す。タイプ１チップは、画素回路１１、水
平シフトレジスタ１３、垂直シフトレジスタ１４、スイ
ッチ１５、出力用バッファ１６、出力ライン１７を備え
る。水平シフトレジスタ１３、垂直シフトレジスタ１４
により画素回路１１を順次選択して並列演算された出力
を読み出す。（なお、シフトレジスタのタイミングチャ
ートは後述する。）

【００１５】図３に、タイプ１の画素回路の構成図を示
す。画素回路１１は、光センサ１１１、処理部１１２、
アナログ演算器１１３、スイッチ１１４を備える。それ
ぞれの役割を以下に説明する。光センサ１１１は、光信
号（画像情報）を電圧・電流などの電気信号に変換す
る。回路素子にはフォトダイオード、フォトトランジス
タ、アクティブピクセルセンサ等を用いる。処理部１１
２は、自らの画素回路の光センサ１１１からの入力と近
傍の画素回路からの入力ｎ１〜ｎ４を受けて画像処理を
行う。処理部１１２は、主に近傍画素の情報を用いた並
列画像演算を行う。アナログ演算部１１３は、処理部１
１２からの入力を受けて四則演算などのアナログ演算を
行う。アナログ演算部１１３は、同時にアナログ集積回
路で対処すべき課題である、個々の素子特性のばらつき
に起因する回路ノイズを補償する回路を含むようにして
もよい。アナログ演算部１１３の出力が画素出力とな
る。この実施の形態では、各画素回路１１への制御信号
は全ての画素に一括で入力するが、各画素回路毎又は行
・列毎に入力するようにしてもよい。

【００１６】（２）タイプ２チップの回路構成（アナロ
グメモリ＋並列画像処理）タイプ２のチップは構成するチップシステムの次段以降
であり、各画素に内蔵したアナログメモリに前段からの
画像情報を記憶し、各画素に配置した処理回路により並
列に画像処理を施す。図４に、タイプ２チップの構成図
を示す。タイプ２チップは、画素回路２１、水平シフト
レジスタ２３、垂直シフトレジスタ２４、スイッチ２
５、入力用バッファ２６、出力ライン２７、入力ライン
２８、出力用バッファ２９を備える。水平シフトレジス
タ２３、垂直シフトレジスタ２４により注目画素を順次
選択して、画素回路２１に前段のチップからのデータを
入力し、並列演算された出力を読み出す。（なお、シフ
トレジスタのタイミングチャートは後述する。）

【００１７】図５に、タイプ２の画素回路の構成を示
す。画素回路２１は、アナログメモリ２１１、処理部２
１２、アナログ演算器２１３から構成され、スイッチ１
１４、１１５を備える。それぞれの役割を以下に説明す
る。アナログメモリ２１１は、外部から（この場合、タ
イプ１の画素回路又は、前段のタイプ２の画素回路等）
入力される画像情報を記憶する。処理部２１２は、自ら
の画素回路のアナログメモリ２１１からの入力、近傍の
画素回路からの入力ｎ１〜ｎ４を受けて画像処理を行
う。処理部２１２は、主に近傍画素の情報を用いた並列
画像演算を行う。アナログ演算部２１３は、処理部２１
２からの入力を受けて四則演算などのアナログ演算を行
う。アナログ演算部２１３は、同時にアナログ集積回路
で対処すべき課題である個々の素子特性のばらつきに起
因する回路ノイズを補償する回路を含むようにしてもよ
い。アナログ演算部２１３の出力が画素出力となる。こ
の実施の形態では、各画素回路への制御信号は全ての画
素に一括で入力するが、各画素回路毎又は行・列毎に入
力するようにしてもよい。

【００１８】つぎに、図６に、注目画素選択のためのシ
フトレジスタのタイミングチャートを示す。タイプ１、
２のチップ共に水平シフトレジスタ１３、２３、垂直シ
フトレジスタ１４、２４は、画像情報を入出力する注目
画素回路を選択する。その基本のタイミングは図示のよ
うになる。タイプ２のチップでは垂直シフトレジスタ２
４で画素アレイの行を選択し、選択された画素の入出力
スイッチSWi/oを各列の入出力ラインに接続する。この
状態で水平シフトレジスタ２３及びスイッチ２５で１組
の入出力ラインを選択し入力バッファ２６、出力バッフ
ァ２９にそれぞれ接続する。即ち、行・列で選択された
画素に入力バッファ２６、出力バッファ２９が接続され
る。タイプ１の場合も同様だが入力の経路が必要ない。

【００１９】３．チップの回路例（１）タイプ１チップの回路例：画像取得＋平滑化図７に、タイプ１の１画素の画素回路の構成図を示す。
この画素回路は、光センサ１１１、処理部１１２、アナ
ログ演算器１１３、スイッチ１１４を備える。光センサ
１１１は、この例では、ＡＰＳ（アクティブピクセルセ
ンサ：後述）とし、光電荷を蓄積することで光信号を電
圧情報に変換する。処理部１１２は、ここでは抵抗回路
網で構成する。画像情報を抵抗回路網に入力することで
入力画像の平滑化を超並列に行うことができる（後
述）。近傍の画素との間に抵抗による接続（n1、n2、n
3、n4 ）を持つことで抵抗回路網を形成し、入力画像の
平滑化を行う。処理部１１２からの出力をアナログ演算
器１１３へ入力する。アナログ演算器１１３はノイズ補
償バッファ回路Nbuf：後述を用いる。ノイズ補償バッフ
ァ回路Nbufは制御信号により入力側の回路のばらつきと
ノイズ補償バッファ回路Nbuf内部の増幅器のオフセット
を補償できる。水平シフトレジスタ１３、垂直シフトレ
ジスタ１４によりSWoを制御することで注目画素を選択
し読み出すことができる。

【００２０】図８に、画素レベルの動作についてのタイ
ミングチャートを示す。以下、各区間について動作を説
明する。区間(Ａ)：ＡＰＳのスイッチへの制御信号SWpをHにする
ことでＡＰＳを初期化する。その後SWpをLにすることで
ｎ番目のフレームのＡＰＳでの電荷蓄積動作に移る。区間(Ｂ)＋(Ｃ)：ＡＰＳの蓄積時間区間(Ｃ)：蓄積時間経過した後、SWhをHにし、処理部１
１２の抵抗回路網とノイズ補償バッファ回路Nbufを接続
する。このとき、抵抗回路網の出力Vnet は、 Vnet = Vnet(n)+VN1 (1) となる。ここでVnet(n)は抵抗回路網で処理された画像
情報、VN1はこの時刻での回路ノイズである。この状態
でSW1とSW2を制御することでノイズ補償バッファ回路Nb
ufに内蔵された容量に式(１)の抵抗回路網の出力が記憶
される。区間(Ａ')：再びＡＰＳのスイッチへの制御信号SWpをH
にすることでＡＰＳを初期化する。このとき抵抗回路網
の出力Vnetは、 Vnet = Vnet0 +VN0 (2) となる。ここでVnet0 はＡＰＳ初期化時の抵抗回路網か
らの初期電圧、VN0は初期化時の回路ノイズである。す
なわちノイズ補償バッファ回路Nbufへの入力電圧が式
(１)から式(２)へ変位した。このときノイズ補償バッフ
ァ回路Nbufからの出力Vout は、回路ノイズの大きさが
常に一定(VN1 =VN0)だとすると、となり、回路ノイズの影響を受けない抵抗回路網での処
理情報に比例した出力が得られる。その後SWhをHにする
ことで出力がノイズ補償バッファ回路Nbufに保持され
る。そしてSWpをLにすることでn+1番目のフレームのＡ
ＰＳでの電荷蓄積動作に移る。区間(Ｂ')：ＡＰＳとNbufとは電気的に分離しているの
で、n+1番目のフレームのＡＰＳでの蓄積動作と平行し
て、出力スイッチ信号SWoを閉じることでVout(n)を読み
出すことができる。

【００２１】以上の動作を繰り返すことで画像情報の取
得及び抵抗回路網による平滑化動作を行える。（２）タイプ２チップの回路例１：輪郭強調図９に、抵抗回路網の構成図を示す。図のような画素間
を抵抗で連結したものを抵抗回路網とよぶ。抵抗回路網
により、入力画像の平滑化を行うことができる（後
述）。入力画像と平滑化した画像との差分出力は入力画
像の輪郭を強調したものになる。

【００２２】図１０に、１次元抵抗回路網による輪郭強
調のイメージの説明図を示す。図(A)の横軸は画素番
号、縦軸は対応する画素情報（電圧）である。抵抗回路
網に0番目の画素で電圧値が大きく変化するような入力V
k を与える。これは画像の輪郭に対応する。このとき抵
抗回路網からは輪郭部分が平滑化されたV1k が出力され
る。これらVk とV1k との差分出力をとったものが図(B)
である。輪郭の位置である０番目の画素で大きく応答
し、その周辺は輪郭の位置から離れるに従い徐々に一定
の値をとるようになっていることがわかる。すなわち、
輪郭部の強調を行っている。

【００２３】また、図１１に、２層の抵抗回路網による
輪郭強調のイメージの説明図を示す。上述のように抵抗
回路網の入力に、あらかじめ他の抵抗回路網により平滑
化した画像情報を用いると、即ち、抵抗回路網を２層使
うと、この図のような出力が得られる。このフィルタの
特性は数学的にラプラシアンーガウシアン（∇²G）を近
似していることが知られており、入力画像の平滑化と輪
郭の強調とを同時に行うことができる。また、このフィ
ルタは、高周波の空間画像ノイズを除去するのに優れて
いる。

【００２４】図１２に、タイプ２の１画素の画素回路
（２）の構成図を示す。この画素回路は、アナログメモ
リ２１１、処理部２１２、アナログ演算器２１３、スイ
ッチ２１４、２１５を備える。アナログメモリ２１１は
内蔵しているコンデンサに外部からの画素情報を記憶す
る。処理部２１２は抵抗回路網で構成する。処理部２１
２は、近傍の画素との間に抵抗による接続(n1、n2、n
3、n4 )を持つことで抵抗回路網を形成し、入力画像の
平滑化を行う。処理部２１２からの入力と出力は両方と
もアナログ演算器２１３へ出力する。アナログ演算器２
１３はノイズ補償バッファ回路 Nbuf （後述）を用い
る。ノイズ補償バッファ回路 Nbuf は制御信号により入
力側の回路のばらつきとノイズ補償バッファ回路 Nbuf
内部の増幅器のオフセットを補償できる。水平シフトレ
ジスタ２３、垂直シフトレジスタ２４によりSWi、SWoを
制御することで注目画素を選択することができる。

【００２５】図１３に、画素レベルの動作についてのタ
イミングチャートを示す。ここでは、抵抗回路網が１層
の例を示すか、上述のように２層としてもよい。以下、
各区間について動作を説明する。区間(A)：シフトレジスタからの入力制御信号SWiをHに
することでアナログメモリ２１１に外部からの画像情報
(Vin(n ))を記憶する。区間(B)：データホールド用のスイッチの制御信号SWhと
入力切り替えスイッチの制御信号SWsをHにし、ノイズ補
償バッファ回路 Nbuf とアナログメモリ２１１からの入
力V1とを接続する。この状態でノイズ補償バッファ回路
Nbuf の制御信号SW1、SW2のスイッチ動作を行うことで
アナログメモリ２１１からの入力V1をノイズ補償バッフ
ァ回路 Nbuf に記憶させる。同時に回路の入力側のばら
つきとノイズ補償バッファ回路 Nbuf 内部の増幅器のオ
フセットを補償する（ノイズ補償動作）。区間(C)：切り替えスイッチの制御信号SWsをLにし、ノ
イズ補償バッファ回路Nbuf と抵抗回路網の出力V2とを
接続することでノイズ補償バッファ回路 Nbufでは、 Vout(n)= V2(n)-V1(n)+Vref の計算がなされる。すなわち、入力画像情報V1(n)と抵
抗回路網からの平滑化出力V2(n)との差に比例した出力
が得られている。区間(D)：データホールド用スイッチの制御信号SWhをL
にし、計算した画像情報をノイズ補償バッファ回路 Nbu
f にホールドする。区間(A')：シフトレジスタからの出力制御信号SWoをHに
することでノイズ補償バッファ回路 Nbuf にホールドし
た出力Vout(n)を読み出す。それと同時にシフトレジス
タからの入力制御信号SWiをHにすることでアナログメモ
リ２１１に次の時刻での画像情報(Vin(n+1 ))を記憶す
る。

【００２６】以下同様の動作を繰り返すことで、輪郭強
調出力を出力できる（３）タイプ２チップの回路例２：動き検出図１４に、フレーム間差分のイメージの説明図を示す。
あるn番目のフレームの画像において、白地に黒い円盤
が入力されているとする（図(A)）。その黒い円盤がn+1
番目のフレームの画像では右に動いていると想定する
（図(B)）。n番目、n+1番目のフレームの画像出力を電
圧値だとして、これらの出力の電位差を計算すると、図
(C)のように動いた部分だけが応答することになる。こ
のようにフレーム間の差分を計算することで対象の動き
を計算できる。

【００２７】図１５に、タイプ２の１画素の画素回路
（１）の構成図を示す。この画素回路は、アナログメモ
リ２１１、アナログ演算器２１３、スイッチ２１４、２
１５を備える。アナログメモリ２１１は内蔵しているコ
ンデンサに外部からの画素情報を記憶する。アナログ演
算器２１３はノイズ補償バッファ回路Nbuf：後述を用い
る。ノイズ補償バッファ回路Nbufは制御信号により入力
側の回路のばらつきとノイズ補償バッファ回路Nbuf内部
の増幅器のオフセットを補償することができる。水平シ
フトレジスタ２３、垂直シフトレジスタ２４によりSW
i、SWoを制御することで、注目画素を選択することがで
きる。

【００２８】図１６に、画素レベルの動作についてのタ
イミングチャートを示す。以下、各区間について動作を
説明する。初期条件：SWhへの信号は常にH入力としアナログメモリ
２１１とノイズ補償バッファ回路Nbufを接続する。区間(A)：ノイズ補償バッファ回路Nbufの制御信号SW1、
SW2のスイッチ動作によりアナログメモリ２１１上に画
素値(Vin(n))をノイズ補償バッファ回路Nbufに記憶させ
る。同時に回路の入力側のばらつきとノイズ補償バッフ
ァ回路Nbuf内部の増幅器のオフセットを補償する(ノイ
ズ補償動作)。区間(B)：シフトレジスタからの入力制御信号SWiをＨに
することでアナログメモリ２１１の情報を次の時刻の情
報(Vin(n+1))に更新する。同時にノイズ補償バッファ回
路Nbufでは、 Vout = Vin(n) - Vin(n+1) + Vref の計算がなされる。すなわち、現在の時刻(n+1)の画素
情報と１時刻前(n)の画素情報との差に比例した出力が
得られている。出力制御信号SWoをHにすることでノイズ
補償バッファ回路Nbuf出力を読み出す。区間(A')：再び、制御信号SW1、SW2のスイッチ動作をす
ることでアナログメモリ２１１上に画素情報(Vin(n+1))
をノイズ補償バッファ回路Nbufに記憶させ、ノイズ補償
バッファ回路Nbufでノイズ補償動作を行う。以下同様の
動作を繰り返すことで、フレーム間差分出力を出力でき
る。

【００２９】４．マルチチップシステムの構成例図１７に、マルチチップシステムの構成図の一例を示
す。ここでは、上述のようなチップ回路例として挙げ
た、・画像取得+平滑化チップ１・輪郭強調チップ２・動き検出チップ３をマルチチップシステムとして構成する。

【００３０】ここでは画像取得＋平滑化チップ１、輪郭
検出チップ２、動き検出チップ３の順に直列に接続した
回路例について説明する。まず、初段の平滑化チップ１
では入力画像の取得および入力画像の平滑化を行う。図
(A)に示すようにりんごの画像が平滑化チップ１に投影
されたとき、画像に含まれる空間ノイズ成分を平滑化し
た出力が得られる。

【００３１】初段の平滑化チップ１の出力が２段目の輪
郭強調チップ２へと入力される。２段目の輪郭強調チッ
プ２では平滑化画像を用いた輪郭強調処理が行われるの
で、ラプラシアンーガウシアン型のフィルタが形成さ
れ、入力画像の平滑化と輪郭強調がなされた出力が得ら
れる。図(B)に示されているようにりんごの輪郭や葉の
筋といった特徴量が強調されていることが分かる。

【００３２】２段目の輪郭強調チップ２の出力が３段目
の動き検出チップ３へと入力される。３段目の動き検出
チップ３では入力画像の輪郭を強調した画像が動いた部
分を検出することができる。りんごが左から右へ水平に
動いたとき、図(C)のようにりんごの動く方向の輪郭の
出力が低く（黒）、その反対側の輪郭の出力が高く
（白）現れ、動きの無い垂直方向には殆ど応答していな
いことが分かる。このようにチップシステムを構成する
ことで「平滑化画像」「輪郭強調画像」「動き画像」を
並列に出力することができる。

【００３３】つぎに、図１８に、マルチチップシステム
による両眼立体視システムの構成図の一例を示す。図に
示すように、画像取得用のタイプ１のチップ５１、５２
を２つ用意することで両眼立体視といった複雑な画像処
理システムにも対応できる。２つのタイプ１チップ５
１、５２の出力を複数の視覚機能チップ５３、５４、５
５、５６に入力し並列に視覚情報を取り出す。その後、
これらの情報を統合することで一般的な直列画像処理系
が不得てとする対応点問題を精度良く高速に解く事が可
能になりえる。

【００３４】ここでは、視覚機能チップ５３、５６は上
述の動き検出チップとして機能し、視覚機能チップ５
４、５５は、上述の輪郭強調チップとして機能する。ま
た、視覚機能チップ５７は、動き検出チップを応用し
て、２つの各視覚機能チップ５４、５５の出力を入力す
ることで、その差分を検出する機能を有する。

【００３５】５．回路例図１９に、アクティブピクセルセンサの回路図の一例を
示す。この例では、フォトセンサを電荷蓄積型で使用
し、出力にソースフォロア回路を付加することで、アク
ティブピクセルセンサ（ＡＰＳ）の構成となる。初期化
時に、出力がＭＯＳの閾値分下がるので、ソースフォロ
ア回路には、ＰＭＯＳソースフォロア（ＰＳＦ）を用い
る。

【００３６】図２０に、ノイズ補償バッファの回路図及
び制御信号のタイミングチャートの一例を示す。ノイズ
補償バッファ回路(Noise Compensation Buffer)は、素
子のばらつきに起因する回路ノイズを、内蔵されている
容量に記憶させることにより補償する回路である（T.Si
bano,K.Iizuka,M.Miyamoto,M.Osaka,R.Miyama and A.Ki
to, ``Matched Filter for DS-CDMA of up to 50MChip
/s Based on Sampled Analog Signal Processing'',ISS
CC Digest of Tech. Papers, pp.100-101, Feb. 1997.
参照）。

【００３７】図の制御信号のタイミングチャートに従
い、動作を説明する。 (SW1 : ON 、SW2 : ref に接続) このとき、入力V(in) = Vin0 + VN0（ここで、Vin0：前
段にある回路からの入力信号の初期値、VN0：前段の回
路ノイズ） AMPの反転ノードの電圧V(in-) = V(ref) + Voff(ここ
で、Voff : AMP のオフセット電圧) AMP の反転ノードに蓄積された電荷 Q = C1 ( V(ref) + Voff - Vin0 - VN0 ) + C2 ( V(ref) + Voff - V(ref) ) (３) (SW1 : OFF 、SW2 : ref に接続) このとき、AMP の反転ノードがフローティングの状態に
なり、電荷がそのまま保たれる。（ここまでの動作をリ
セット動作と呼ぶ。） (SW1 : OFF 、SW2 : AMP の出力に接続) このとき、入力V(in) = Vin1 + VN1に変化。（ここで、
Vin1 ：前段にある回路からの入力信号、VN1 ：Vin1
入力時の前段の回路ノイズ） AMP の反転ノードに蓄積された電荷 Q = C1 ( V(ref) + Voff - Vin1 - VN1 ) + C2 ( V(ref) + Voff - V(out) ) (４) (３)、(４)より、 V(out) = - ( C1/C2 )( Vin1 - Vin0 + VN1 - VN0 ) +
V(ref)

【００３８】従って、前段の回路における回路ノイズが
一定 (VN0 = VN1) ならば、出力 V(out)は、自身AMP の
オフセットのみならず前段の回路ノイズの影響を受け
ず、かつ入力電圧の変化分に比例したものとなる。な
お、ノイズ補償バッファ回路の動作域は、用いるAMP の
動作域に依存する。使用するAMP毎の動作域は以下の通
り。・トランスコンダクタンス増幅器 (AMP1) ：入力の負の
変化に対して動作・トランスコンダクタンス増幅器 (AMP2) ：入力の正の
変化に対して動作・ワイドレンジ増幅器：入力の正負両方の変化に対し
て動作

【００３９】図２１に、抵抗回路網の回路図及び説明図
を示す。この図を用いて、抵抗回路網による超並列画像
演算について説明する（C.Mead, "Analog VLSI and Neu
ral Systems'', Addision-Wesley, Reading, MA, 198
9.、及びT.Yagi, S.Ohshima and Y.Funahashi, "The ro
le of retinal bipolar cell in early vision: an imp
lication with analogue networks and regularization
theory", Biol.Cybern, 77, pp163-171, 1997.参
照）。抵抗回路網の出力電圧の分布は、入力電圧を平滑
化したものになる。抵抗回路網における電圧分布は、接
点(ノード)数が十分多い場合以下のように考えることが
できる。

【００４０】図（A）の抵抗回路網の概略図に従い説明
する。k=0 における入力電圧Vk = V0 とし、それ以外は
ゼロとする(空間インパルス入力)。この入力に対する抵
抗回路網の応答電位V1k は、

【００４１】

【数１】

【００４２】となる。この式は、出力信号が信号源(k=
0)から離れるにしたがい指数関数的に減衰することを表
している。また、L1は抵抗回路網の空間定数と呼ばれ、
この数値が大きいほど信号が広く伝搬する。図（B）に
空間インパルス入力時の出力電圧分布を２種類の空間定
数について計算した結果を示す。実線はL1＝√（10/
6），点線は√（10/1）である。両者共に信号源から離
れるにしたがい指数関数的に滑らかに減衰している。ま
た、空間定数の大きい点線の方が出力が広く伝播してい
ることが分かる。

【００４３】任意の入力電位分布Viに対する応答は、式
１においてVk = 1としたときの応答とViの空間畳み込み
積分により

【００４４】

【数２】

【００４５】と表される。すなわち画像処理の構成回路
として利用する場合、・入力部に光センサアレイもしくは画素メモリを配列す
ることで入力画像の平滑化処理を超並列で高速に計算で
きる。・抵抗素子を可変抵抗で構成することで平滑化領域を自
由に調節できる。

【００４６】

【発明の効果】本発明は、以上のように、１つのチップ
で実行しようとしている処理を複数のチップに分けて行
う、いわゆる「マルチチップシステム」の構成をとるこ
とにより、超並列の回路構造で画像処理等の各種処理を
行い、実時間で画像処理等の各種処理を実行することが
できる。また、本発明によると、例えば、CMOSを利用し
た安価、小型、低消費電力なシステムを提供することが
できる。さらに、本発明によると、アナログ特有のロバ
スト性のあるシステムを提供することができる。

【図面の簡単な説明】

【図１】マルチチップシステムの画素検出処理装置の構
成図。

【図２】タイプ１チップの構成図。

【図３】タイプ１の画素回路の構成図。

【図４】タイプ２チップの構成図。

【図５】タイプ２の画素回路の構成図。

【図６】注目画素選択のためのシフトレジスタのタイミ
ングチャート。

【図７】タイプ１の１画素の画素回路の構成図。

【図８】画素レベルの動作についてのタイミングチャー
ト。

【図９】抵抗回路網の構成図。

【図１０】１次元抵抗回路網による輪郭強調のイメージ
の説明図。

【図１１】２層の抵抗回路網による輪郭強調のイメージ
の説明図。

【図１２】タイプ２の１画素の画素回路（２）の構成
図。

【図１３】画素レベルの動作についてのタイミングチャ
ート。

【図１４】フレーム間差分のイメージの説明図。

【図１５】タイプ２の１画素の画素回路（１）の構成
図。

【図１６】画素レベルの動作についてのタイミングチャ
ート。

【図１７】マルチチップシステムの構成図。

【図１８】マルチチップシステムによる両眼立体視シス
テムの図。

【図１９】アクティブピスセルセンサの回路図。

【図２０】ノイズ補償バッファの回路図及び制御信号の
タイミングチャート。

【図２１】抵抗回路網の回路図及び説明図。

【図２２】ビジョンチップの概要構成図。

【図２３】シングルチップシステムの回路構成図。

【符号の説明】

１平滑化チップ１−１光センサ回路１−２平滑化回路２輪郭強調チップ２−１、３−１、２１１アナログメモリ２−２輪郭強調回路３動き検出チップ３−２動き検出回路４光学系１１、２１画素回路１３、２３水平シフトレジスタ１４、２４垂直シフトレジスタ１５、２５、１１４、１１５スイッチ１６、２９出力用バッファ１７、２７出力ライン２６入力用バッファ２８入力ライン１１１光センサ１１２、２１２処理部１１３、２１３アナログ演算器

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B047 BB04 DA01 DA06 EA10 5B057 AA20 BA02 CA08 CA12 CB08 CB12 CE03 CE05 CH03 CH09 DA06 DB02 DB09 DC32 5C024 CX03 CY25 GX15 GY35 GY36 GY37 HX00 HX22 HX35 HX44 HX57 5C061 AB04 AB06 AB08 5L096 AA06 BA05 EA06 GA08 HA03 LA15

Claims

【特許請求の範囲】

【請求項１】入力された光信号を電気信号に変換する光
センサと、前記光センサからの出力に対して第１のアナ
ログ処理を実行してアナログ画像情報を出力する第１の
処理回路とを有する第１の画素回路と、前記第１の画素回路の前記第１の処理回路からアナログ
画像情報を入力して記憶する第２のアナログメモリと、
前記第２のアナログメモリから画像情報を読み出し第２
のアナログ処理を実行してアナログ画像情報出力する第
２の処理回路とを有し、前記第１の画素回路に対応して
設けられた第２の画素回路を備え、前記第１及び第２の画素回路がそれぞれマトリクス状に
配置されて各々第１及び第２のチップが形成され、前記
第１及び第２の処理回路は、各々の前記第１及び第２の
チップにおける近傍の第１及び第２の処理回路からそれ
ぞれアナログ信号を受けて特性を補償し、第１及び第２
のアナログ処理を並列演算により実行するようにした画
像検出処理装置。
【請求項２】前記第２の画素回路の前記第２の処理回路
からアナログ画像情報を入力して記憶する第３のアナロ
グメモリと、前記第３のアナログメモリから画像情報を
読み出し第３のアナログ処理を実行してアナログ画像情
報を出力する第３の処理回路を有し、第１及び第２の画
素回路に対応して設けられた第３の画素回路をさらに備
え、前記第３の画素回路がマトリクス状に配置されて第
３のチップが形成され、前記第３の処理回路は、前記第
３のチップにおける近傍の第３の処理回路からそれぞれ
アナログ信号を受けて特性を補償し、第３のアナログ処
理を並列演算により実行するようにした請求項１に記載
の画像検出処理装置。
【請求項３】前記第１のチップは、画像取得及び取得さ
れた画像情報の平滑化処理を実行し、前記第２のチップは、前記第１のチップからの画像情報
に対して輪郭強調処理を実行し、前記第３のチップは、前記第２のチップからの画像情報
に対して動き検出処理を実行することを特徴とする請求
項２に記載の画像検出処理装置。
【請求項４】前記第１のチップは、前記第１の画素回路を順次選択して並列演算された出力
を読み出す水平シフトレジスタ及び垂直シフトレジスタ
と、いずれかの前記第１の画素回路からのアナログ出力を選
択するスイッチと、前記スイッチにより選択されたアナログ出力の出力用バ
ッファとをさらに備えた請求項１乃至３のいずれかに記
載の画像検出処理装置。
【請求項５】前記第２のチップは、前記第２の画素回路を順次選択して並列演算された出力
を読み出す水平シフトレジスタ及び垂直シフトレジスタ
と、いずれかの前記第２の画素回路からのアナログ出力を選
択するスイッチと、前記スイッチにより選択されたアナログ出力を一時蓄積
する出力用バッファと、前記第２の画素回路へのアナログ入力の入力用バッファ
とをさらに備えた請求項１乃至４のいずれかに記載の画
像検出処理装置。
【請求項６】前記第１の画素回路は、前記光センサが、制御信号により光信号を電気信号に変
換するアクティブピクセルセンサを有し、前記第１の処理回路が、自らの前記第１の画素回路の前記アクティブピクセルセ
ンサからのアナログ信号と、近傍の第１の画素回路から
のアナログ信号が入力され、前記アクティブピクセルセ
ンサからのアナログ入力画像の平滑化を行なう抵抗回路
網と、前記抵抗回路網からのアナログ信号が入力されてアナロ
グ演算を行い、制御信号により入力側の回路素子特性の
ばらつきと内部の増幅器のオフセットを補償し、回路ノ
イズを補償するノイズ補償バッファ回路と、前記ノイズ補償バッファ回路からのアナログ信号を出力
するためのスイッチとを備え、画像信号の取得及び平滑
化処理を行なうようにした請求項１乃至５のいずれかに
記載の画像検出処理回路。
【請求項７】前記第２の画素回路は、前記第１の画素回
路からの画素信号の入力を制御する第１スイッチをさら
に有し、前記第２のアナログメモリが、内部のコンデンサにアナ
ログ画像を記憶し、前記第２の処理回路は、自らの前記第２の画素回路の前記第２のアナログメモリ
からのアナログ信号と、近傍の第２の画素回路からのア
ナログ信号が入力され、前記第２のアナログメモリから
のアナログ入力画像の平滑化を行なう抵抗回路網と、前記抵抗回路網の入力及び出力のアナログ信号が制御信
号により切替え入力されてアナログ演算を行い、入力側
の回路素子特性のばらつきと内部の増幅器のオフセット
を補償し、回路ノイズを補償するノイズ補償バッファ回
路と、前記ノイズ補償バッファ回路からのアナログ信号を出力
するためのスイッチとを備え、輪郭強調処理を行なうよ
うにした請求項１乃至６のいずれかに記載の画像検出処
理回路。
【請求項８】前記第３の画素回路は、前記第２の画素回路からの画素信号の入力を制御する第
１スイッチをさらに有し、前記第３のアナログメモリが、内部のコンデンサにアナ
ログ画像を記憶し、前記第３の処理回路が、制御信号により、前記アナログメモリから画像情報を読
出し、現在の画像情報と１時刻前の画像情報との差に比
例したアナログ信号を出力し、かつ、入力側の回路素子
特性のばらつきと内部の増幅器のオフセットを補償し、
回路ノイズを補償するノイズ補償バッファ回路と、前記ノイズ補償バッファ回路からのアナログ信号を出力
するための第２スイッチとを備え、動き検出処理を行な
うようにした請求項２乃至７のいずれかに記載の画像検
出処理回路。
【請求項９】画像取得及び平滑化処理を実行する前記第
１のチップと、前記第１のチップ出力に対し、動き検出
処理を実行する前記第２のチップと、輪郭強調処理を出
力する前記第３のチップとを有し、それぞれ左目及び右
目に対応する画像処理を実行する左目用チップ及び右目
用チップと、左目及び右目に対応する前記第２のチップからの出力に
対して、視差を求める処理を実行する第４のチップと、前記第１から第４のチップの出力を統合する統合部とを
備えた請求項２乃至８のいずれかに記載の画像検出処理
回路。