JP2005217804A

JP2005217804A - 画像処理装置

Info

Publication number: JP2005217804A
Application number: JP2004022317A
Authority: JP
Inventors: Seiji Kameda; 成司亀田; Atsushi Iwata; 穆岩田; Mamoru Sasaki; 守佐々木; Kimimaro Yoshikawa; 公麿吉川
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-01-30
Filing date: 2004-01-30
Publication date: 2005-08-11

Abstract

【課題】マルチチップシステムを利用した画像処理装置において、
チップ間の配線が複雑になる問題を、チップ間無線接続技術を採用することで解決する。

【解決手段】画像取得チップ２２および複数の画像処理チップ２３を階層状に配置する。
画像取得チップ２２では各画素に光センサと処理回路が配置され、
画像処理チップ２３では各画素に画素メモリと処理回路が配置される。
階層状に配置されたチップ間をローカル接続２５により列並列に無線接続する。
画像取得チップ２２で取得した画像情報は超並列かつ階層状の構造により
高速かつ高機能な画像処理が実行される。
さらに順応制御チップ２４と階層状の処理チップ２２，２３を
グローバル接続２６により結ぶことで、階層状に並んだ複数の処理チップ２２，
２３を視覚環境に応じて順応的に無線接続により制御することが出来る。

【選択図】図５

Description

本発明は、画像処理装置の構成、特に、２次元に配列された各画素に光センサと処理回路を配置した
超並列の回路構造を持つビジョンチップと呼ばれる集積回路チップによる画像処理装置、
２次元超並列の回路構造を持つ画像処理チップを階層状に配置した画像処理装置、
チップ間を無線接続技術を使って結んだ３次元集積回路システムによる画像処理装置
に関するものである。

我々が目にする視覚情報は時間・空間的に膨大な量の情報を持っており、
その視覚情報を取得し処理する画像処理装置は、
自律型のロボットや産業用機械等の制御のための視覚システムとして大いに利用されている。
このような視覚制御システムを「ビジュアルフィードバック」という。
このビジュアルフィードバックに用られる画像処理装置に特に要求されるのが
「実時間性」および「低消費電力」である。

一般的な画像処理装置として挙げられるのが、ＣＣＤカメラやＣＭＯＳイメージャ等の撮像デバイスに
パーソナルコンピュータに代表されるノイマン型の直列デジタルコンピュータ
を組み合わせた装置である。この一般的な画像処理装置では撮像デバイスから得られた
画像情報を１画素ずつコンピュータ内にある画像メモリへ転送し、そして２次元空間上に
配列された画像情報をコンピュータ内のＣＰＵ（中央演算処理装置）
により１画素ずつ処理する。したがって画像の取得から処理に至る全ての過程を
逐次的に行うので、空間的な視覚情報を処理するには不向きな構成である。
また、処理にデジタルコンピュータを使うので消費電力も高く、システムの規模も大きくなる。

そこで開発されたのが、「ビジョンチップ」と呼ばれる集積回路チップである。
ビジョンチップの回路構成図の例を図１に示す。右図はビジョンチップ１の拡大図である。
この拡大図のように各画素は光センサ２と処理回路３を備えている。
画像情報はレンズ４などの光学系を通してビジョンチップ１上に投影される。
投影された画像情報は光センサ２により電気信号へ変換され、
各画素に配置された処理回路３により超並列に処理される。
そして処理回路３は、コンピュータやマイクロプロセッサ等の
高次の認識処理装置が理解しやすい情報への変換、いわゆる画像の前処理を行い出力する。
一般的な画像処理装置と違って、空間的な画像演算を各画素において超並列に行うので
非常に高速に画像の前処理が実行できる。
また、このビジョンチップをＣＭＯＳ集積回路で実現することで、安価かつ低消費電力で小型
な集積回路チップを開発することも可能となる。

しかしながら、ビジョンチップでは、
チップ上に実現する視覚処理機能と単位面積あたりの画素数との間にトレードオフの関係がある。
すなわち、チップ上に様々な視覚処理機能を実現しようとすれば、画素サイズが大きくなってしまい
単位面積あたりの画素数が減少してしまう。逆に、画素構造を単純化して画素サイズを
小さくしてしまうと、後段の高次認識処理装置に対する前処理が十分に実行出来なくなる。
画素数を増やすためにチップサイズを大きくしようと試みても、チップのコストが高くなる、
歩留りが低下する、製造可能なチップサイズにも上限がある等の問題がある。

そこで考えられるのが、実行したい視覚処理機能を複数のチップに分けて
階層的に処理する「マルチチップシステム」を利用した画像処理装置である。
図２にマルチチップシステムを利用した画像処理装置（以下マルチビジョンチップシステムと称す）
の回路構成例を示す。ここでは１次チップ５、２次チップ６、３次チップ７の
３つの階層によってなるシステムを表している。
１次チップ５では、各画素に配置した光センサ８と処理回路９により
画像の取得及び初期の画像処理を実行する。
その処理画像を２次チップ６に転送する。
２次以降のチップ６，７では、各画素に前段のチップからの処理画像を一時記憶する
画素メモリ１０と処理回路１１が配置され、画像処理がさらに加えられる。
同様に３次チップ７でも画像処理を加えることで単一のチップに比べ
高次の視覚情報処理を実行できる。さらに階層を増やすことで
様々な画像処理を実行することも可能になる。
また、それぞれのチップの画素構造は単純化できるので単位面積あたりの画素数は多くなる。
マルチビジョンチップシステムの場合、処理画像のチップ間転送に必要な時間が
画像認識処理装置としての処理時間に直接影響する。
逐次的に１画素ずつ転送する場合、設計次第では十分高速にデータ転送できるが、
階層が増えていくと初段から最終段に至る遅延時間は長くなる傾向にある。
そこでチップ間の処理画像転送用の配線１２を列並列にしデータを並列転送すれば、
並列化した分だけ高速に転送可能になる。

特開２００３−０７８８２９号公報

マルチビジョンチップシステムにおいて、チップ間を列並列で接続した場合に問題となるのが配線の複雑さである。
列並列で処理画像を転送する場合、当然、チップ間の配線数が増える。
図２において、チップシステムには他にも制御信号用の配線１３やチップ出力を読み出す配線１４等が存在する。
また隣接していないチップ間のデータを転送する場合１５、さらに配線は複雑になる。
これらの配線によりマルチビジョンチップシステムの構成が猥雑になってしまう。

画像処理装置の構成に「３次元カスタムスタックシステム」を利用する。
３次元カスタムスタックシステムでは、多様な技術により開発された複数の集積回路チップを階層状に配置し、
チップ間を無線通信により接続することで、３次元階層構造を持つチップシステムを構成する。
無線接続には「スパイラルインダクタを用いたローカル接続」と「集積アンテナを用いたグローバル接続」
の２種類の通信方式を利用している。

図３にスパイラルインダクタを用いたローカル接続の模式図を示す。
データ転送の送信側１６および受信側１７の集積回路チップには、
層間無線接続のためのスパイラルインダクタ１８が金属配線により形成される。
スパイラルインダクタ間の電磁結合により、チップ間の無線による信号伝達が実現される。
さらにスパイラルインダクタの面積を小型化し並列に配置することで、情報の並列転送を行うことが出来る。
したがって、画像情報のような空間的で膨大な量の情報を高速に転送することが可能になる。

一方、図４に集積アンテナを用いたグローバル接続の模式図を示す。
データ転送の送信側１９および受信側２０の集積回路チップ上には
数ｍｍ程度の長さの小型ダイポールアンテナ２１が金属配線により集積回路上に形成される。
小型ダイポールアンテナ２１はシリコンチップ上に形成されるので、以下、Ｓｉ集積アンテナと称す。
チップ間のデータ転送はＳｉ集積アンテナを使用することで数１０ＧＨｚの周波数帯域上で実現できる。
スパイラルインダクタの場合は近接したインダクタ間でしかデータ転送が行えないが、
Ｓｉ集積アンテナの場合は数ｃｍ離れたチップ間でのデータ転送が可能になるので
複数のチップとのデータ入出力や隣接していないチップ間のデータ入出力を行うことが出来る。

３次元カスタムスタックシステムでは、これらの無線接続を利用することで、
マルチチップシステムにおいて問題となる配線の複雑さが解決される。
また、階層状に配置されたチップを組み替えることで、
システムを用途に応じて容易にカスタマイズすることが出来る。

A.Iwata and M.Sasaki, ``3-dimensional global/local wireless interconnection for hierarchical processing system''Proceedings of First Hiroshima International Workshop on Nanoelectronics for Terra-Bit Information Processing, pp.111-112, March 17, 2003.

本発明の画像処理装置は、超並列の回路構造および階層構造を持つマルチビジョンチップシステムと
チップ間無線接続を持つ３次元カスタムスタックシステムを組み合わせた構成を採っているので、
時間・空間的に膨大な量の画像情報を超並列かつ階層状の回路構造により高速かつ高機能に処理することができ、
チップ間の配線の複雑さの問題を解消したシステムが実現できる。
また、視覚対象や、画像処理装置を利用する制御対象等に応じて
チップの組み合わせを容易に変更することが出来る。

マルチビジョンチップシステムにおける配線の複雑さの問題を、
３次元カスタムスタックシステムの無線接続方式を利用した構成を採ることにより解消し、
膨大な量の画像情報を超並列かつ階層状の回路構造により高速かつ高機能に処理可能な
画像処理装置を実現した。

図５に本発明装置である、３次元カスタムスタックシステムを用いた画像処理装置の実施例の構成図を示す。
本発明装置は大きく分けて画像取得チップ２２、画像処理チップ２３、順応制御チップ２４の
３種類の集積回路チップから構成される。
各種チップは階層状に配置され、ローカル接続２５とグローバル接続２６を用いた無線通信により
各チップ間のデータ転送が行われる。

本発明装置において、画像情報の処理は階層状に配置された画像取得チップ２２および画像処理チップ２３により実行される。
これらのチップ間の接続に列並列スパイラルインダクタを用いたローカル接続２５を利用することで
時間・空間的に膨大な画像情報を高速に転送することが出来る。

以下に、本発明装置における画像情報処理の過程を説明する。
まず図６に画像取得チップの構成例を示す。
レンズなどの光学系を通して投影された画像情報は光センサ２７により電気信号へ変換され、
各画素に配置された処理回路２８により超並列に処理される。
処理後の画像情報は列並列に配置された変調器２９により無線転送可能な情報に１列ずつ順次変調される。
変調器２９により変換された画像情報は列並列に配置された送信用のスパイラルインダクタ３０により
次の階層の画像処理チップ２３へと１列ずつ順次無線転送される。
図７に画像処理チップの構成例を示す。
画像取得チップ２２上の列並列に配置された送信用のスパイラルインダクタ３０と
画像処理チップ２３上の列並列に配置された受信用のスパイラルインダクタ３１を近接させることで、
インダクタ間の電磁結合によりチップ間が無線結合し、画像情報が１列ずつ順次転送される。
スパイラルインダクタ３１を通して受信した画像情報は列並列に配置された復調器３２により
元の処理画像情報に１列ずつ復調される。
復調された画像情報は画素回路上にある画素メモリ３３へ記憶される。
１画面分の処理画像が各画素メモリ３３へ記憶された後、
各画素に配置された処理回路３４は記憶された処理画像を超並列に処理する。
処理後の画像情報は、画像取得チップ２２の場合と同様に、列並列に配置された変調器３５と
送信用のスパイラルインダクタ３６により、無線転送可能な情報へ変調された後、
次の階層の別の画像処理チップ２３へ１列ずつ無線転送される。

この一連の処理および転送過程を繰り返すことで、階層状に多段に配置した
画像取得チップ２２および画像処理チップ２３により超並列かつ階層的で高速かつ高機能な画像処理を実行できる。
また、ある画像処理チップ２３において、列並列の復調器３２と変調器３５とをそのまま接続し、画素メモリ３３へは
画像情報を記憶させないようにすれば、前段からの画像情報はその画像処理チップ２３を経由して、
その次の段の画像処理チップ２３へと転送される。
つまり隣接していないチップ間の画像情報の転送も可能である。

画像取得チップ２２および画像処理チップ２３は図５のようにシステム基板３７上に階層状に配置される。
システム基板３７の表面には、電源線３８、制御信号バス３９、出力信号バス４０が金属配線で形成されている。
システム基板３７と画像取得チップ２２および画像処理チップ２３とを接触させることで、
画像取得チップ２２および画像処理チップ２３の下部にある画素制御器４１とシステム基板３７表面上の各信号線が接続される。
電源線３８からは、各チップの電源が供給される。
制御信号バス３９からは、画像取得チップ２２および画像処理チップ２３を駆動するための
基本的な制御信号が画素制御器４１に入力される。
画素制御器４１は各画素をこの制御信号に従い駆動する。
出力信号バス４０からは、階層状に配置された画像取得チップ２２および画像処理チップ２３からの各出力を並列に出力する。
各出力を並列に読み出すことで、処理画像情報を高次の認識処理装置へ効率よく送信することが出来る。

一方、本発明装置の上部に配置しているのが順応制御チップ２４である。
我々が目にしている視覚環境は時々刻々変化している。
例えば、屋外の自然照明は１０^５ｌｘ（太陽光線下）から１０^−３ｌｘ（星空）まで
変化している。また目にしている視覚対象のサイズや複雑さも常に変化している。
このような視覚環境の変化に自律的に順応できなければ適切な画像検出処理は実行できない。
そこで、視覚環境の変化に本発明装置が自律的に順応するために、この順応制御チップ２４を配置している。

順応制御チップ２４は、階層状に配置された画像取得チップ２２および画像処理チップ２３
（以下、これらのチップを順応制御チップ２４に対して処理チップ２２，２３と称す）
から供給される視覚環境情報を基に、これら処理チップの制御信号を生成する。
本発明装置は、順応制御チップ２４と階層状に配置された処理チップ２２，２３の間の接続に
Ｓｉ集積アンテナを用いたグローバル接続２６を利用することで、
複数のチップを同時に制御したり、後半の階層の処理情報を前半の階層へ反映させることを容易に実行できる。
このような特性は、視覚環境に順応的に対応するための順応制御チップの構成に良く適応している。

以下、本発明装置における順応制御の過程を説明する。
図６、７のように処理チップ２２，２３の上部に
Ｓｉ集積アンテナ４２を内在した送信機４３、受信機４４およびチップ制御器４５を配置する。
処理チップ２２，２３上のチップ制御器４５は、
画素回路アレイ４６で処理された処理画像情報から現在の視覚環境を表現した情報を計算する。
計算された視覚環境情報は送信機４３において変調されＳｉ集積アンテナ４２を通して順応制御チップ２４へ送信される。
図８に順応制御チップの構成例を示す。
送信された視覚環境情報は、順応制御チップ２４の受信機４７内のＳｉ集積アンテナ４８で受信され、復調器４９において
元の信号へ復調され、グローバル制御器５０へ送られる。
グローバル制御器５０では、視覚環境情報を元に各チップへの制御信号を生成する。
生成された制御信号は送信機５１内の変調器５２において変調されＳｉ集積アンテナ４８を通して
処理チップ２２，２３へ送信される。
そして処理チップ２２，２３上の受信機４４で、順応制御チップ２４からの制御信号を受信し復調しチップ制御器４５へ送る。
チップ制御器４５では、順応制御チップ２４からの制御信号に従い画素回路アレイ４６の制御を行う。
以上の処理過程を経ることで、順応制御チップ２４は階層状に並んだ処理チップ２２，２３からの
視覚環境情報に順応したチップ制御を実行出来る。

ここで視覚環境を表す情報として次の２種類を考えている。
すなわち「処理画像全体から得られる大域的な視覚環境情報」と
「個々の画素回路から得られる局所的な視覚環境情報」である。
それぞれの情報に応じたチップ制御器４５を構成する必要がある。

まず図９に処理画像全体から得られる大域的な視覚情報を扱うためのチップ制御器（以下、大域的チップ制御器と称す）
の構成例を示す。
画素回路アレイ４６からの処理画像情報を大域的チップ制御器５３内の大域的視覚処理回路５４に入力する。
大域的視覚処理回路５４では、処理画像全体から得られる特徴的な視覚環境情報を計算する。
例えば、画像情報の平均的な明るさや空間的なノイズレベルなどである。
こうして計算された視覚環境情報は送信機４３の変調器５５において無線通信用に変調され
Ｓｉ集積アンテナ４２を通して順応制御チップ２４へ無線送信される。
そして順応制御チップ２４において視覚環境情報に応じた制御信号が生成され変調されて無線で送信される。
送信された制御信号は処理チップ２２，２３上の受信機４４のＳｉ集積アンテナ４２により
受信され復調器５６で元の制御信号へ復調され大域的チップ制御器５３へ入力される。
順応制御チップ２４からの制御信号は大域的チップ制御器５３内の変換器５７によって
個々の処理チップ２２，２３に応じた制御信号に変換され、処理チップ２２，２３を制御する。
この大域的チップ制御器５３を用いた順応制御の例としては、
１．画像取得チップに投影される画像情報の平均的な明るさに応じた光センサの露光時間の調節、
２．画像情報の空間的なノイズレベルに応じた空間フィルタの大きさの調節、
３．ヒストグラム演算による入力画像の重心位置の計算結果はしばしば注目すべき視覚対象の位置を規定するので、
重心位置を基準にした注目領域のみの出力を読み出すための制御信号を生成、等が挙げられる。

次に個々の画素回路から得られる局所的な視覚情報を扱うためのチップ制御器
（以下、局所的チップ制御器と称す）の構成例を図１０に示す。
各画素からの処理画像は局所的チップ制御器５８内のマルチプレクサ５９により順次選択され送信機４３へ送られる。
処理画像は１画素ずつ変調器５５において無線通信用に変調されＳｉ集積アンテナ４２から無線送信される。
順応制御チップ２４では、受信した１画素ずつの処理画像情報に応じて処理チップ２２，２３の処理回路６０の
内部パラメータを調整するような制御値を生成する。順応制御チップ２４から送信された制御値は
処理チップ２２，２３上の受信機４４のＳｉ集積アンテナ４２により受信され復調器５６で元の制御信号へ復調され
局所的チップ制御器５８へ入力される。
順応制御チップ２４からの制御値は局所的チップ制御器５８内の変換器６１によって
個々の処理チップ２２，２３に応じた制御値に変換されデマルチプレクサ６２により１画素ずつ対応する画素へ入力される。
各画素には処理回路用の画素メモリ６３を用意し、そこに制御値が記憶され、その値に応じた画像処理が
実行される。
この局所的チップ制御器５８を用いた順応制御の例としては、
１．画像取得チップに投影される画像情報の個々の明るさに応じた個々の光センサの露光時間の調節、
２．個々の画素における信号強度に応じた空間フィルタの大きさや形の調節、等が挙げられる。
また、この構成を利用すればある処理チップ２２，２３からの処理画像を順応制御チップ２４を経由して
階層的に離れた別の処理チップ２２，２３へそのまま、もしくは加工して、入力することが可能である。

画像取得チップ２２を使用しない構成も可能である。すなわち、
本装置の外部回路において生成あるいは保持された画像情報、例えば既存の撮像デバイスにより撮影されたものや
外部画像メモリに記憶されていたもの等、を順応制御チップ２４を通して無線接続により
任意あるいは複数の画像処理チップ２３へ入力したり、システム基板３７から直接任意の画像処理チップ２３へ
入力することで、画像取得チップ２２を装置に含まない画像処理装置の構成も採ることが出来る。

本発明装置は、超並列の回路構造および階層構造を持つマルチビジョンチップシステムの構成により、
時間・空間的に膨大な量の画像情報を超並列かつ階層状の回路構造で高速かつ高機能に処理できる。
さらに、チップ間無線接続を持つ３次元カスタムスタックシステムを組み合わせることで
チップ間の配線の複雑さの問題を解消できるので、本発明装置を単純かつ小型に構成することが出来る。
また、視覚対象や、画像処理装置を利用する制御対象等に応じて
チップの組み合わせを変更することも容易に出来る。
集積回路チップの開発にＣＭＯＳ集積回路を利用することで、
安価、小型、低消費電力なシステム供給することも可能である。
以上のような特徴を持つ本発明装置は、実時間性・形態性が要求される応用、
例えば自律ロボット、産業用機械、車の自動航行装置等における画像処理装置として大いに利用可能である。

ビジョンチップの回路構成例の説明図である。マルチチップシステムを利用した画像処理装置の回路構成例の説明図である。スパイラルインダクタを用いたローカル接続の模式図である。集積アンテナを用いたグローバル接続の模式図である。３次元カスタムスタックシステムを用いた画像処理装置の実施例の構成図である。画像取得チップの構成例の説明図である。画像処理チップの構成例の説明図である。順応制御チップの構成例の説明図である。処理画像全体から得られる大域的な視覚情報を扱うためのチップ制御器の構成例の説明図である。個々の画素回路から得られる局所的な視覚情報を扱うためのチップ制御器の構成例の説明図である。

符号の説明

１ビジョンチップ
２ビジョンチップ上の光センサ
３ビジョンチップ上の処理回路
４レンズ
５マルチチップシステムの１次チップ
６マルチチップシステムの２次チップ
７マルチチップシステムの３次チップ
８１次チップ上の光センサ
９１次チップ上の処理回路
１０２次、３次チップ上の画素メモリ
１１２次、３次チップ上の処理回路
１２チップ間の処理画像転送用の配線
１３制御信号用の配線
１４チップ出力用の配線
１５隣接していないチップ間のデータ転送用の配線
１６ローカル接続における送信チップ
１７ローカル接続における受信チップ
１８スパイラルインダクタ
１９グローバル接続における送信チップ
２０グローバル接続における受信チップ
２１Ｓｉ集積アンテナ（小型ダイポールアンテナ）
２２画像取得チップ
２３画像処理チップ
２４順応制御チップ
２５列並列スパイラルインダクタを用いたローカル接続
２６Ｓｉ集積アンテナを用いたグローバル接続
２７画像取得チップ上の光センサ
２８画像取得チップ上の処理回路
２９画像取得チップ上の変調器
３０画像取得チップ上の送信側のスパイラルインダクタ
３１画像処理チップ上の受信側のスパイラルインダクタ
３２画像処理チップ上の復調器
３３画像処理チップ上の画素メモリ
３４画像処理チップ上の処理回路
３５画像処理チップ上の変調器
３６画像処理チップ上の送信側のスパイラルインダクタ
３７システム基板
３８電源線
３９制御信号バス
４０出力信号バス
４１処理チップ（画像取得チップもしくは画像処理チップ）上の画素制御器
４２処理チップ上のＳｉ集積アンテナ
４３処理チップ上の送信機
４４処理チップ上の受信機
４５処理チップ上のチップ制御器
４６画素回路アレイ
４７順応制御チップ上の受信機
４８順応制御チップ上のＳｉ集積アンテナ
４９順応制御チップ上の復調器
５０順応制御チップ上のグローバル制御器
５１順応制御チップ上の送信機
５２順応制御チップ上の変調器
５３大域的チップ制御器
５４大域的視覚処理回路
５５処理チップ上の変調器
５６処理チップ上の復調器
５７大域的チップ制御器内の変換器
５８局所的チップ制御器
５９マルチプレクサ
６０処理チップ上の処理回路
６１局所的チップ制御器内の変換器
６２デマルチプレクサ
６３処理回路用画素メモリ

Claims

複数の集積回路チップを階層状に配置したマルチチップ構成において
画像情報あるいは制御情報などをチップ上に形成したアンテナを用いて
電磁波で装置全体に渡り複数もしくは任意のチップ間で無線通信するとともに，
２次元に配置された画素情報を隣接するチップに形成されたインダクタンス対の電磁結合で
隣接するチップ間で並列に無線通信することを特徴とする画像処理装置
前記マルチチップ構成における集積回路チップにおいて、
マトリックス状に配置された画素回路に、光センサあるいは画素メモリと
画像処理回路を配置することで形成した超並列回路構造により、
高速に処理された処理画像情報を、
前記インダクタンス対の電磁結合を利用した並列無線接続により
隣接した集積回路チップへ高速に送信することを特徴とする、
請求項１記載の画像処理装置
前記マルチチップの構成における集積回路チップにおいて、
画像全体に渡る大域的な処理画像情報や
個々の画素回路において処理された局所的な処理画像情報から、
装置を構成している他の集積回路チップへの制御情報を生成し、
前記チップ上に形成されたアンテナ間の無線通信により
複数もしくは任意の集積回路チップの処理回路の
内部状態や処理タイミングを制御することを特徴とする
請求項１記載の画像処理装置