JP2001195564A - 画像検出処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡便な構成で、ターゲットの重心計算等の処
理速度の向上させる。 【解決手段】 画像検出処理装置は、それぞれ光電変換
部５の出力をディジタル信号に変換し、デジタル信号を
入力可能とした加算回路１５を備え、平面状に配列され
た複数の画像検出処理要素１−１乃至１−６４を行列配
置し、行毎に加算回路１５を接続して累積加算器を構成
し、直列に接続された直列型加算器２−１乃至２−８の
それぞれ行毎の累積加算器の最終段の出力を入力して累
積加算可能としてあり、行デコーダ３、列デコーダ４に
より、上記デジタル信号を選択的に累積加算器に入力
し、複数の画像検出処理要素の光電変換部５によって検
出される画像の処理データを直列型加算器２−８から出
力する。これにより、重心計算等の画像処理に必要な処
理データをデータ転送時に生成可能とし、高速処理を可
能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の技術分野】本発明は、各種の制御機器や認識装
置、情報入力装置に用いる画像検出処理装置に関し、さ
らに詳しくは、移動する対象物体の画像処理を高速処理
するのに適した画像検出処理装置である。

【０００２】

【従来の技術】従来、各種の制御機器や認識装置、情報
入力装置に用いる画像処理装置は、ビデオカメラ等に用
いられるＣＣＤ受光センサと外部の処理プロセッサなど
を組み合わせてその機能を実現していた。ＣＣＤ受光セ
ンサにより得られた画像データを別設の記憶装置に転送
して格納し、別説の処理プロセッサを介して対象物体
（ターゲット）の重心計算等の画像処理を行っていた。

【０００３】また、研究段階のものとしては、日本ロボ
ット学会誌１３巻３号（１９９５年４月）３３３頁乃至
３３８頁に示されているように、ワンチップに受光セン
サと並列信号処理回路とを一体化させ、エッジ抽出、細
線化等の信号処理をセンサ側で行い、その結果を順次出
力するという構成が提案されていた。

【０００４】

【発明が解決しようとする課題】従来のものは、ＣＣＤ
受光センサからの信号転送スピードが制限されたり（１
／６０秒以上）、外部の処理プロセッサなどが大規模に
なったりするという課題があった。

【０００５】また、研究段階のものにおいても、汎用性
の高い並列系列処理のアーキテクチャを採用すること
で、多用な画像処理が可能である反面、限られたチップ
面積上に多くの画素を配列するのが困難であった。ま
た、センサから出力される画像データの転送に思いのほ
か時間がかかるという課題があった。

【０００６】

【課題を解決するための手段】そこで、本発明の画像検
出処理装置では、光電変換を行う光検出器と上記光検出
器からの信号をディジタル信号に変換する変換器と上記
デジタル信号を入力可能とした加算器とからなる画像検
出処理要素の複数個が平面状に配列されてなる画像検出
処理装置とし、上記画像検出処理要素の上記加算器を順
次接続して累積加算器を構成し、制御回路により、上記
複数の画像検出処理要素の上記デジタル信号を選択的に
上記累積加算器に入力し、上記画像検出処理要素の上記
光検出器によって検出される画像データに基づき上記累
積加算器から処理データを出力する。これにより、画像
検出処理装置において、重心計算等の画像処理に必要な
処理データをデータ転送時に生成可能とし、高速処理を
可能とする。

【０００７】

【発明の実施の形態】本発明による画像検出処理装置
は、光電変換を行う光検出器と上記光検出器からの信号
をデジタル信号に変換する変換器と上記デジタル信号を
入力可能とした加算器とからなる画像検出処理要素の複
数個が平面上に配列されてなる画像検出処理装置であっ
て、上記複数の画像検出処理要素の上記加算器を順次接
続してなる累積加算器と、上記複数の画像検出処理要素
の上記デジタル信号を選択的に上記累積加算器に入力せ
しめる制御回路と、上記光検出器によって検出される画
像データに基づき上記累積加算器から出力される処理デ
ータが供給される出力部とを更に備えている。

【０００８】好ましくは、画像検出処理要素は複数個が
平面上に行列配列される。そして上記複数の画像検出処
理要素の第１の加算器を行毎に直列に接続してなる第１
の累積加算器と、上記各行の上記第１の累積加算器の最
終段の出力を入力とした上記各行に対応した第２の加算
器を直列に接続してなり上記第１の累積加算器の最終段
の出力を累積加算する第２の累積加算器と、上記複数の
画像検出処理要素の上記デジタル信号を選択的に上記第
１の累積加算器に入力せしめる制御回路と、上記光検出
器によって検出される画像データに基づき上記累積加算
器から出力される処理データが供給される出力部とが更
に備えられている。

【０００９】また、上記制御回路によって上記画像検出
処理要素の上記デジタル信号の全てを上記第１の累積加
算器に入力せしめ、上記第２の累積加算器から出力され
る処理データを、上記画像検出処理要素群に結像される
結像画像の０次モーメントとする画像検出処理装置を構
成することも好ましい。

【００１０】上記制御回路によって上記画像検出処理要
素の上記デジタル信号から選択される幾つかを上記第１
の累積加算器に入力せしめ、上記第２の累積加算器から
出力される処理データを、上記画像検出処理要素群に結
像される結像画像のＮ（Ｎは１以上の整数）次モーメン
トを求めるための部分和とすることも好ましい。

【００１１】また、上記変換器を第１のクロック信号に
従い作動させて上記デジタル信号を発生しさせ、上記第
１及び第２の累積加算器を上記第１のクロック信号とは
異なる第２のクロック信号に従い動作させ、上記第２の
累積加算器から上記処理データをその下位桁から順次出
力することも好ましい。

【００１２】また、特定の画像検出処理要素の光検出器
からの出力と当該特定の画像検出処理要素の隣接する複
数の画像検出処理要素からのデジタル信号とに基づい
て、当該特定の画像検出処理要素から出力されるデジタ
ル信号を生成させるようにしてあることも好ましい。

【００１３】また、全ての要素が１チップに形成されて
いることも好ましい。

【００１４】

【実施例】次に図面を用いて本発明の実施例を詳細に説
明する。図１は本発明による画像検出処理装置の一例を
説明するための説明図である。本例の画像検出処理装置
は例えば、ロボットの視覚センサや自動車の衝突防止セ
ンサ、半導体検査装置等において、検出される画像か
ら、動作対象物体、前方車両、半導体基板上の特定パタ
ーン等のターゲットの画像を抽出し、その位置情報、軌
跡情報等を得る処理に用いるものであり、画像データを
転送とともに、例えばターゲット画像の重心位置特定に
用いられる０次モーメント、１次モーメントの算出に必
要な処理デ−タに加工して出力するものである。外部の
処理プロセッサは当該前加工された処理データを用いて
位置情報、軌跡情報等を得るため、全体として処理速度
の向上が可能となる。

【００１５】図１において、１−１〜１−６４は画像検
出処理要素で、８×８個のアレイ構造として平面的に配
置してある。各画像検出処理要素は、後述するように、
光検出器と光検出器からの信号をデジタル信号に変換す
る変換部とを備えている。

【００１６】各画像検出処理要素は、その上下左右に隣
接する４個の画像検出処理要素要素に対して上記デジタ
ル信号をターゲット画像信号として出力する。例えば、
画像検出処理要素１−１１は画像検出処理要素１−３、
１−１０、１−１２、１−１９に対して、ターゲット画
像信号を出力する。また、画像検出処理要素では、その
４個の画像検出処理要素からのターゲット画像信号とそ
れ自身のターゲット画像信号とに基づいてターゲットを
背景から抽出するためのウィンド画像信号を生成する。
詳しくは後述するが、ウィンドウ画像に含まれる画像が
新たなターゲット画像とし、ターゲットを背景から抽出
するのである。また、各画像検出処理要素は後述する第
１の加算器を含み、各画像検出処理要素の第１の加算器
はその右隣の画像検出処理要素の第１の加算器と接続さ
れ、例えば、画像検出処理要素１−１１の第１の加算器
の出力は画像検出処理要素１−１２の第１の加算器に入
力される。このように行毎の画像検出処理要素の要素の
第１の加算器は順次接続されて第１の累積加算器を構成
している。

【００１７】各画像検出処理要素に対しては、共通信号
としてＣＬＯＣＫ１、ＣＬＯＣＫ２、ＬＯＡＤ、ＳＥＬ
の各信号が入力される。クロック信号ＣＬＯＣＫ１、信
号ＬＯＡＤは初期画像設定用の信号である。例えば、ク
ロック信号ＣＬＯＣＫ１は周波数20MHz〜100MHz程度の
クロック信号である。クロック信号ＣＬＯＣＫ２、信号
ＳＥＬは画像演算用の信号であり、例えば、クロック信
号ＣＬＯＣＫ２は周波数1MHz〜10MHz程度のクロック信
号である。この画像検出処理要素の構成の詳細について
は図２に示してあり、追って説明する。

【００１８】２−１〜２−８は第２の加算器としての直
列型加算器で、画像検出処理要素の行ごとに配置され、
対応する画像検出処理要素からの出力を一方の入力に受
ける。また、各直列型加算器の出力は順次隣接する直列
型加算器の他方の入力に接続されて第２の累積加算回路
を構成する。本例では、画像検出処理要素１−１〜１−
８に対して直列型加算器２−１が対応し、画像検出処理
要素１−８の出力が直列型加算器２−１の一方の入力に
接続される。直列型加算器２−１の出力は、直列型加算
器２−２の他方の入力に接続される。直列型加算器２−
８の出力が全体の出力信号となっており、光検出器によ
って検出される画像データに基づく処理データが供給さ
れる出力部を構成する。それぞれの直列型加算器の構成
の詳細については図３に示してあり、追って説明する。

【００１９】３は行デコーダ回路で、本例では、図示し
ないが４本の行選択信号により、Ｙ０〜Ｙ７までの出力
信号を制御する。図４に入力信号の組合せ例を示す。４
は列デコーダ回路で、本実施例では、図示しないが４本
の列選択信号により、Ｘ０〜Ｘ７までの出力信号を制御
するものであり、選択信号の設定は行デコーダ３と同様
である。これら行デコーダ３、列デコーダ４は画像検出
処理要素のターゲット画像信号を選択的に第１の累積加
算器に入力せしめる制御回路を構成する。本例では画像
検出処理要素の選択は、図示しない外部のホストから行
デコーダ３、列デコーダ４に選択パターンをダウンロー
ドすることによって行うこととするが、これに限るもの
ではない。例えば、画像検出処理要素と共にＲＯＭを１
チップに集積化し、ＲＯＭに目的の画像演算に応じた選
択パターンを記憶させて画像検出処理要素の選択に用い
ても良いし、外部からの制御信号に応答して選択パター
ンを発生させるデコーダを設けても良い。

【００２０】次に各画像検出処理要素の構成の詳細につ
いて図２を参照しながら説明する。５は光検出器として
の光電変換部であり、フォトダイオードからなり、入射
した光の強さに応じた信号を出力する。６は２値化回路
であり、コンパレータからなり、光電変換部５からの信
号を２値化する。本例では、光電変換部５に入力した光
量に応じて、所定のしきい値より明るいときに“Ｈ”の
信号を出力し、暗いときに“Ｌ”の信号を出力するもの
とする。本例では２値データを出力することとするが、
本発明はこれに限るものではなく、諧調を持たせた多値
データを処理させるようにしても良い。その場合、第１
の加算器には全加算器を用いる。７は論理積（ＡＮＤ）
回路であり、２値化回路６からの信号と後述する５入力
論理和（ＯＲ）回路１２からの信号が共に“Ｈ”であっ
たとき、“Ｈ”の信号を出力する。８はマルチプレクサ
であり、本例では、図１の信号ＬＯＡＤが“Ｈ”のと
き、論理積回路７からの信号を出力し、“Ｌ”のとき、
後述の論理積回路１１からの信号を出力する。９はフリ
ップフロップ回路でマルチプレクサ８の信号を図１のク
ロック信号ＣＬＯＣＫ１により取り込んで出力する。２
値化回路６、論理積回路７、マルチプレクサ８、フリッ
プフロップ回路９、５入力論理回路１２から変換器が構
成される。

【００２１】１０は論理積回路であり、フリップフロッ
プ回路９の出力と後述する論理積回路１１の出力が共に
“Ｈ”であったときに“Ｈ”の信号を出力する。１１は
論理積回路であり、行デコーダ３の出力と列デコーダ４
の出力が共に“Ｈ”であったとき、“Ｈ”の信号を出力
する。例えば、画像検出処理要素１−１１では、行デコ
ーダ３の出力Ｙ１と列デコーダ４の出力Ｘ２がともに
“Ｈ”であった場合に“Ｈ”の信号を出力する。１２は
５入力論理和回路で、自身のフリップフロップ回路９の
出力および上下左右隣の画像検出処理要素の各フリップ
フロップ回路９の出力から論理和を出力する。例えば、
画像検出処理要素１−１１では、画像検出処理要素１−
３、１−１０、１−１２、１−１９内の各フリップフロ
ップ回路９の出力と画像検出処理要素１−１１自身のフ
リップフロップ回路９の出力が入力となり、どれかひと
つ以上が“Ｈ”のときに出力が“Ｈ”となる。

【００２２】１３はマルチプレクサで、この実施例で
は、図１の信号ＳＥＬが“Ｈ”のとき、論理積回路１０
からの信号を出力し、“Ｌ”のときに後述するフリップ
フロップ回路１４の信号を出力する。１４はフリップフ
ロップ回路であり、後述する加算回路１５のＣＡＲＲＹ
信号を図１のクロック信号ＣＬＯＣＫ２により取り込ん
で出力する。１５は半加算器からなる加算回路で、マル
チプレクサ１３の出力と隣接する画像検出処理要素の半
加算回路のＳＵＭ信号との算術和を算出し、ＳＵＭ信号
とＣＡＲＲＹ信号を出力する。例えば、画像検出処理要
素１−１１では、マルチプレクサ１３の出力と画像検出
処理要素１−１０における加算回路１５のＳＵＭ信号と
が、共に“Ｌ”であればＳＵＭ信号及びＣＡＲＲＹ信号
がともに“Ｌ”となり、一方が“Ｌ”で他方が“Ｈ”で
あればＳＵＭ信号が“Ｈ”、ＣＡＲＲＹ信号が“Ｌ”と
なり、共に“Ｈ”であればＳＵＭ信号が“Ｌ”、ＣＡＲ
ＲＹ信号が“Ｈ”となる。論理積回路１０、１１、マル
チプレクサ１３、フリップフロップ１４、加算回路１５
から第１の加算器が構成される。

【００２３】次に直列型加算器の構成の詳細について図
３を参照しながら説明する。１６は全加算器からなる加
算回路で、上記画像検出処理要素のＳＵＭ信号と後述す
るフリップフロップ回路１７と前段の加算回路１６のＳ
ＵＭ信号との算術加算演算を行い、ＳＵＭ信号とＣＡＲ
ＲＹ信号とを出力する。例えば、直列型加算器２−２の
場合、画像検出処理要素１−１６の出力と直列型加算器
２−１の出力とフリップフロップ回路１７の出力とを入
力とし、ＳＵＭ信号は２−３の直列型加算器に出力さ
れ、ＣＡＲＲＹ信号はフリップフロップ回路１７に出力
される。加算回路１６は３つの入力の状態が、すべて
“Ｌ”のときにはＳＵＭ信号及びＣＡＲＲＹ信号がとも
に“Ｌ”となり、何れか一つだけ“Ｈ”のときにはＳＵ
Ｍ信号が“Ｈ”、ＣＡＲＲＹ信号が“Ｌ”となり、二つ
が“Ｈ”のときにはＳＵＭ信号が“Ｌ”、ＣＡＲＲＹ信
号が“Ｈ”となり、全てが“Ｈ”のときにはＳＵＭ信号
及びＣＡＲＲＹ信号がともに“Ｈ”となる。１７はフリ
ップフロップ回路であり、加算回路１６のＣＡＲＲＹ信
号を上述のクロック信号ＣＬＯＣＫ２により取り込んで
出力する。

【００２４】

【本例の動作説明】まず、内部回路の初期化を行うた
め、行デコーダ３、列デコーダ４をすべて非選択となる
ように設定し、信号ＳＥＬでマルチプレクサ１３から画
素選択信号が出力されるように設定する。この状態でク
ロック信号ＣＬＯＣＫ２が１クロック以上入力されると
各画像検出処理要素内のラッチ回路１４はクリアされ
る。また、この状態を維持したまま更にクロック信号Ｃ
ＬＯＣＫ２を６クロック以上入力すると、各直列加算器
内のラッチ回路１７も同様にクリアされる。

【００２５】次にウインドウ画像信号の設定を行う。ウ
ィンドウ画像信号は背景からターゲットの画像を分離す
るためのものである。信号ＬＯＡＤでマルチプレクサ８
から画素選択信号が出力されるように設定し、行デコー
ダ３、列デコーダ４の設定することでウインドウ画像の
初期設定を行う。行デコーダ３、列デコーダ４がそれぞ
れすべての出力が選択されるように設定すると、ウイン
ドウ画像の初期値は画面全体となる。

【００２６】次に画像の取り込みが行われる。適切な結
像光学系を用いて対象物体の像を、平面状に配列された
画像検出処理要素上に結像させる。結像光学系は、デジ
タルスチルカメラ等に用いられているようなレンズ光学
系のもので良い。それぞれの画像検出処理要素では、ま
ず、光電変換部５において、対象物体の明暗の情報を、
結像された画像の光量に応じたアナログ信号に変換す
る。このアナログ信号は２値化回路６によって、“Ｌ”
あるいは“Ｈ”の値を持つ２値画像信号に変換される。

【００２７】２値画像信号は、論理積回路７において上
記のウインドウ画像信号との論理積演算をおこないター
ゲット画像信号に変換される。ターゲット画像信号はマ
ルチプレクサ８を介してフリップフロップ９に出力さ
れ、クロック信号ＣＬＯＣＫ１のタイミングで取り込ま
れる。フリップフロップ９に取り込まれたターゲット画
像信号は次のクロック信号ＣＬＯＣＫ１のタイミングで
のウインドウ信号を生成するために５入力論理和回路１
２に入力される。

【００２８】フリップフロップ９の出力は、同じ画像検
出処理要素内の５入力論理和回路１２に出力されるとと
もに隣接する４個の画像検出処理要素内の５入力論理和
回路１２にも出力されており、５入力論理和回路１２か
らウインドウ画像信号が出力される。この様子を図５に
示す。図５において（ａ）はウインドウ画像を生成する
元となる２値化画像であり、各セルは図１に示した画像
検出処理要素１−１〜１−６４に対応している。（ｂ）
は（ａ）から生成されたウインドウ画像であり、各画像
要素内において５入力論理和回路１２に４個のフリップ
フロップ９の出力により、元となる２値化画像に対して
上下左右に広がったものとなる。このウインドウ画像
（ｂ）と、次のフレームにおいて変換された画像信号つ
まり次のフレームでの２値化画像（ａ）との間で論理積
演算をおこなったものがターゲット画像となる。すなわ
ち、フレーム毎にターゲット画像信号の移動に追従して
ウィンド画像が若干の広がりをもって形成され、これに
含まれる画像が新たなターゲット画像信号として得られ
る。この時、次のフレームとの間隔が十分短い場合、タ
ーゲットの移動距離は十分短く、本実施例のように簡便
な回路によってもターゲットトラッキングの動作が実現
できる。

【００２９】次に画像演算動作について説明する。ま
ず、ターゲット画像を構成する画素の総数は、ターゲッ
ト画像の面積（０次モーメント）と見なすことができ、
このような０次モーメントを求める動作について説明す
る。それぞれの画像検出処理要素内の論理積回路１０以
降の部分と直列加算器の部分とをまとめて、６４入力加
算器アレイとしての動作を説明する。フリップフロップ
９から出力されるターゲット画像信号は、論理積回路１
０で、画素選択信号が“Ｈ”のときのみ１３のマルチプ
レクサ１３に入力される。ここでは、全ての画像演算回
路１−１〜１−６４が選択されている場合について説明
する。図６において（ａ）はターゲット画像の状態を表
わす。ここでは、“Ｈ”の画素の総数が８となってい
る。

【００３０】まず、信号ＳＥＬを“Ｈ”にして、論理積
回路１０の出力がマルチプレクサ１３により選択される
ようにする。これにより、各画像検出処理要素の半加算
器１５にはターゲット画像に応じた“Ｈ”もしくは
“Ｌ”の信号が入力される。図６においてターゲット画
像（ａ）に対応する各画像検出処理要素の加算器と直列
形加算器の状態を（ｂ）に示す。図６の（ｂ）におい
て、ＣＡＲＲＹ、ＳＵＭはそれぞれ各加算器のＣＡＲＲ
Ｙ信号、ＳＵＭ信号を示してある。画像検出処理要素１
−２０に入力される論理積回路１０の出力が“Ｈ”とな
っており、その加算回路１５のＳＵＭ信号“Ｈ”は後段
の画像検出処理要素１−２１〜画像検出処理要素１−２
４迄順次出力され、これらの加算回路１５のＳＵＭ信号
を“Ｈ”としている。

【００３１】これを受ける直列型加算器２−３では画像
検出処理要素１−２４からのＳＵＭ信号“Ｈ”と前段の
直列型加算器２−２の加算回路１６のＳＵＭ信号“Ｌ”
とを加算し、ＳＵＭ信号を“Ｈ”、ＣＡＲＲＹ信号を
“Ｌ”としている。また、画像検出処理要素１−２７、
１−２８、１−２９の論理積回路１０の出力は何れも
“Ｈ”となっており、画像検出処理要素１−２８の加算
回路１５ではその論理積回路１０の出力“Ｈ”と前段の
画像検出処理要素１−２７のＳＵＭ信号“Ｈ”とを加算
してＳＵＭ信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”とし
ている。画像検出処理要素１−２９の加算回路１５のＳ
ＵＭ信号“Ｈ”により後段の画像検出処理要素１−３０
〜画像検出処理要素１−３２迄順次出力され、これらの
加算回路１５のＳＵＭ信号を“Ｈ”としている。

【００３２】これを受ける直列型加算器２−４では、画
像検出処理要素１−３２からのＳＵＭ信号“Ｈ”と前段
の直列型加算器２−３の加算回路１６のＳＵＭ信号
“Ｈ”とを加算し、ＳＵＭ信号を“Ｌ”ＣＡＲＲＹ信号
を“Ｈ”としている。また、画像検出処理要素１−３
５、１−３６、１−３７の論理積回路１０の出力は何れ
も“Ｈ”となっており、画像検出処理要素１−３６の加
算回路１５ではその論理積回路１０の出力“Ｈ”と前段
の画像検出処理要素１−３５のＳＵＭ信号“Ｈ”とを加
算してＳＵＭ信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”と
している。画像検出処理要素１−３７の加算回路１５の
ＳＵＭ信号“Ｈ”により後段の画像検出処理要素１−３
０〜画像検出処理要素１−３２迄順次出力され、これら
の加算回路１５のＳＵＭ信号を“Ｈ”としている。

【００３３】これを受ける直列型加算器２−５では、画
像検出処理要素１−４０からのＳＵＭ信号“Ｈ”と前段
の直列型加算器２−４の加算回路１６のＳＵＭ信号
“Ｌ”とを加算し、ＳＵＭ信号を“Ｈ”ＣＡＲＲＹ信号
を“Ｌ”としている。また、画像検出処理要素１−４４
の加算回路１５ではその論理積回路１０の出力“Ｈ”と
前段の画像検出処理要素１−４３のＳＵＭ信号“Ｌ”を
加算してＳＵＭ信号を“Ｈ”、ＣＡＲＲＹ信号を“Ｌ”
としている。

【００３４】同様にして画像検出処理要素１−４４の加
算回路１５のＳＵＭ信号“Ｈ”は後段の画像検出処理要
素１−４５〜画像検出処理要素１−４８迄順次出力され
ている。これを受ける直列型加算器２−６では画像検出
処理要素１−４８からのＳＵＭ信号“Ｈ”と前段の直列
型加算器２−５の加算回路１６のＳＵＭ信号“Ｈ”とを
加算し、ＳＵＭ信号を“Ｌ”ＣＡＲＲＹ信号を“Ｈ”と
している。直列型加算器２−６の加算回路１６のＳＵＭ
信号“Ｌ”は、後段の直列型加算器２−７、２−８に順
次出力される。このとき、直列型加算器２−８の出力か
らは、ターゲット画像を構成する画素の総数を２進数で
表現した場合の最下位桁の値が出力されており、ターゲ
ット画像（ａ）に対しては、０に対応する“Ｌ”レベル
の信号が出力される。

【００３５】この状態で、クロック信号ＣＬＯＣＫ２が
入力されるとフリップフロップ回路１４にＣＡＲＲＹ信
号が取り込まれる。信号ＳＥＬを“Ｌ”にして、半加算
器１５に、論理積回路１０の出力に代わりフリップフロ
ップ回路１４に格納されたＣＡＲＲＹ信号が入力され
る。この場合の各画像検出処理要素と直列型加算器の状
態を（ｃ）に示す。（ｂ）に示したように画像検出処理
要素１−２８、１−３６においてフリップフロップ１４
に格納されたＣＡＲＲＹ信号は“Ｈ”であり、画像検出
処理要素１−２９〜１−３２、１−３７〜１−４０の加
算回路１５はＳＵＭ信号“Ｈ”、ＣＡＲＲＹ信号“Ｌ”
としている。

【００３６】直列型加算器２−４の加算回路１６では前
段のＳＵＭ信号“Ｌ”、画像検出処理要素１−３２から
のＳＵＭ信号“Ｈ”、フリップフロップ回路１７に格納
されたＣＡＲＲＹ信号“Ｈ”を加算して、ＳＵＭ信号を
“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”とする。直列型加算器
２−５の加算回路１６では前段のＳＵＭ信号“Ｌ”、画
像検出処理要素１−４０からのＳＵＭ信号“Ｈ”、フリ
ップフロップ回路１７に格納されたＣＡＲＲＹ信号
“Ｌ”を加算して、ＳＵＭ信号を“Ｈ”、ＣＡＲＲＹ信
号を“Ｌ”とする。直列型加算器２−６の加算回路１６
では前段のＳＵＭ信号“Ｈ”、画像検出処理要素１−４
８からのＳＵＭ信号“Ｌ”、フリップフロップ回路１７
に格納されたＣＡＲＲＹ信号“Ｈ”を加算して、ＳＵＭ
信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”とする。直列型
加算器２−７、２−８の加算回路１６ではＳＵＭ信号
“Ｌ”、ＣＡＲＲＹ信号“Ｌ”とする。このとき、直列
型加算器２−８の出力からは、ターゲット画像を構成す
る画素の総数を２進数で表現した場合の最下位＋１桁目
の値が出力される。ターゲット画像（ａ）に対しては、
０に対応する“Ｌ”レベルの信号が出力される。

【００３７】以下、同様にクロック信号ＣＬＯＣＫ２が
入力される毎に各画像検出処理要素と直列型加算器の状
態は順次（ｄ）、（ｅ）に示すようになる。クロック信
号ＣＬＯＣＫ２が３クロック入力された状態（ｅ）にお
いて、直列型加算器２−８の出力から“Ｈ”が出力さ
れ、ターゲット画像を構成する画素の総数を２進数で表
現した場合の最下位＋３桁目の値が出力され、ＳＥＬ信
号“Ｈ”の入力後に直列型加算器２−８から得られた値
は“１０００”となり、ターゲット画像（ａ）を構成す
る画素の総数８に相当する２進数値が得られる。この後
クロック信号ＣＬＯＣＫ２が入力されても、何れのフリ
ップフロップ回路にもＣＡＲＲＹ信号は格納されておら
ず、直列型加算器２−８の出力からは“Ｌ”が出力され
る。

【００３８】以上のようにクロック信号ＣＬＯＣＫ２が
入力される毎にターゲット画像を構成する画素の総数が
下位桁から順次出力される。本例ではＳＥＬ信号の入力
後、クロック信号ＣＬＯＣＫ２を７クロック入力するこ
とでターゲット画像（ａ）を構成する画素の総数を７桁
の２進数値で得ることができる。本例では少ないクロッ
ク数にてターゲット画像を構成する画素の総数、すなわ
ち、ターゲット画像の面積（０次モーメント）を求める
ことができる。従来では画素の状態をクロック毎に１つ
ずつ読み出した後、ターゲット画像の面積を求めてお
り、画素数６４とすれば６４クロック以上を要していた
が、本例では７クロックで済む。

【００３９】次に１次モーメントを求める場合の動作に
ついて説明する。１次モーメントを求める場合は、行デ
コーダ３及び列デコーダ４にて適当な画素を選択して、
数種の部分和を求め、外部にてその部分和の総和を計算
する。この様子を図７に示す。図７において、（ａ）は
対象となる画像である。（ｂ）、（ｃ）は列デコーダの
選択パターン例とそれに対応する部分和の値である。こ
こでは、画像検出処理要素アレイの縦方向をＹ軸とし、
座標位置を上から０、１、・・、７、横方向をＸ軸と
し、座標位置を左から右へ０、１、・・、７とする。Ｘ
軸、Ｙ軸の１次モーメントはそれぞれ軸方向の総和に荷
重値として座標位置の値を乗じたものの総和で表わされ
る。例えば、Ｙ軸方向の１次モーメントを求めるには、
まず、行デコーダ３の設定において一番下の列のみ選択
されるようにして、上述の方法によりターゲット画像を
構成する画素の総和を求める。図示しない外部処理プロ
セッサ（または本例画像検出処理装置とともに集積化さ
れた処理プロセッサ）により、この列のＹ座標は７なの
で、得られた値に７を乗じる。次に下から二番目の列の
み選択されるようにして、総和を求める。得られた値に
荷重値として６を乗じて、先に求めた値に加算する。同
様にして、順次、荷重値の係数を乗じて各列ごとの部分
和を加算することで、１次モーメントの値が得られる。

【００４０】荷重値に関しては例えば、７＝４＋２＋
１、６＝４＋２、５＝４＋１、４＝４、３＝２＋１、２
＝２、１＝１のように分離できることから、行デコーダ
３の設定を（ｃ）に示すように、Ｙ軸の座標位置７、
５、３、１に対応する列をまとめて指定してこれらに含
まれるターゲット画像を構成する画素の総和を求めて荷
重値１を乗じ、次にＹ軸の座標位置７、６、３、２に対
応する行をまとめて指定して総和を求めて荷重値２を乗
じ、次にＹ軸の座標位置７、６、５、４に対応する行を
まとめて指定して総和を求めて荷重値４を乗じるように
しても１次モーメントを求めることが可能である。この
ようにすれば、３回の部分和計算で１次モーメント計算
が可能になるので、更に少ない計算時間で１次モーメン
トを求めることができる。

【００４１】Ｘ軸方向の１次モーメントについても同様
に列デコーダ４の設定を制御することで容易に計算する
ことができる。また、より高次のモーメントについても
各デコーダの設定および荷重値の係数を適当に選択する
ことで容易に実現できる。また、得られた１次モーメン
トを面積（０次モーメント）で割ることで、容易に重心
の座標を求めることができる。

【００４２】本例によれば、画像検出処理装置におい
て、重心計算等の画像処理に必要な処理データをデータ
転送時に生成可能となり、外部処理プロセッサと共同で
行われる画像処理の高速化が可能となる。また、フレー
ム間隔の制限を受けず演算子処理が行え、この点も高速
処理に適している。ひいては、ロボットの視覚センサ、
自動車の衝突防止センサ等に用いた場合、装置全体の処
理速度の向上が可能となる。例えば図８に示すような物
体８１を掴む動作を行うアームロボットの視覚センサ８
２に本例の画像検出処理装置に組み込んだ場合、物体８
１、アーム８３双方を画像として取り込み、その画像デ
ータに基づく処理データ８４を上述の動作で処理プロセ
ッサ８５に出力し、処理プロセッサ８５において、物体
８１、アーム８３の重心位置、軌跡等を画像処理により
得て、その結果をアーム８３の制御８６及び視覚センサ
８２のターゲットトラッキング制御８７にフィードバッ
クさせることも高速処理可能となる。また、視覚センサ
からの情報のみによっても十分高速な制御が可能とな
り、必要な各種センサ数を削減でき、装置規模の縮小も
可能となる。

【００４３】また、演算結果を出力する回路系と、ビデ
オカメラ等と同様なアナログのビデオ信号を出力する回
路を同時に構成することも容易である。

【００４４】本例では、画像データとして２値データ
（２階調のデータ）を用いることとししたが、本発明は
これに限るものではなく、画像検出処理要素内の第１の
加算器として全加算器を用いることにより、画像データ
を多諧調とした場合にも適応できる。その場合、各画像
検出処理要素の回路規模が大きくなるものの、画像デー
タが階調を持っている場合に、その階調によって荷重値
演算できるという利点がある。第１の加算器に全加算器
を用いた場合の構成の変更点については後述する。

【００４５】さらに、第１の加算器に全加算器を用いた
場合には、画像データとして２値データを用いた場合に
特徴量の演算をより高速にできる。例えば、図９に示す
ような構成により実現できる。同図に示す画像検出処理
要素では、加算回路１５に代わり全加算器からなる加算
回路１８を設け、マルチプレクサ１３に代わり論理積回
路１９を設けてある。この他の構成は図２に示す画像検
出処理要素示と同様のものである。加算回路１８は論理
積回路１９を介して画像検出処理要素内のターゲット画
像信号を受ける。このターゲット画像信号の入力は上記
のものと同様ＳＥＬ信号で制御される。また、加算回路
１８はフリップフロップ回路１４からの出力と前段の画
像検出処理要素の加算回路１８からの出力とを受けてお
り、動作的には図３に示した直列加算器と同様のもので
ある。このような構成により、１次モーメントを計算す
る際に、行デコーダあるいは列デコーダを順次選択する
ことで、ｎ×ｎ画素の場合、３ｎ−１クロックの演算で
１次モーメントを算出することができる。例えば８×８
画素の構成の場合、８クロックで１次モーメントを選出
できる。

【００４６】次に本発明のモーメント演算処理を数学的
にまとめておく。

【００４７】画像のサイズは、画像検出処理要素をＮ^２
（Ｎ＝２^ｎ）個であるとする。画像データの諧調はＭ＝
２^ｍであるとする。Ｘ軸上の座標位置ｘ、Ｙ軸上の座標
位置ｙにある画像検出処理要素の画像データをＩ（ｘ，
ｙ）とする。実行時間は画像検出処理要素でのクロック
数（本例におけるクロック信号ＣＬＯＣＫ２）で示す。
画像Ｉ（ｘ，ｙ）に対する一般モーメント量ｍ_ｉjは次
の式で定義される。

【数１】 ０次モーメントｍ_００は次のように表される。

【数２】 これは、画像データの総和であり、演算に必要なクロッ
ク数はｌｏｇ_２（出力の最大値）となり、ｌｏｇ_２（Ｎ
^２（Ｍ−１））≒（２ｎ＋ｍ）である。本例では階調が
２であり、画像検出処理要素の数が６４であるから、上
述したように７クロックとなる。

【００４８】１次モーメントについては次のように表さ
れる。ｍ_１０は行方向の１次モーメントであり、ｍ_０１
は列方向の１次モーメントである。

【数３】

【数４】 本例の画像検出処理要素では、乗算機能を設けていない
ため各行、各列毎の荷重値（ｘ，ｙ）は外部処理プロセ
ッサで乗ずる。画像検出処理要素にこの乗算機能を持た
せた場合、ｘＩ（ｘ，ｙ）およびｙＩ（ｘ，ｙ）を各画
像検出処理要素内部で計算し、それに対して総和を計算
すればよいので演算に必要なクロック数は、ｌｏｇ
_２（Ｎ^２（Ｎ−１）（Ｍ−１）／２）≒（３ｎ＋ｍ）で
ある。

【００４９】しかしながら、画像検出処理要素に乗算機
能を持たせることは回路規模の制限から難しい。これに
対して本例では選択パターンと画像検出処理要素内のデ
ータとの論理積を取って総和演算をする機能（すなわ
ち、各画像検出処理要素を選択する機能）と、荷重値を
ビットプレーンに展開する（２進数で展開する）ことと
により、１次以上のモーメント量の計算速度の向上を図
ることができる。ｘの２進数表現をｘ
_ｎｘ_ｎ−１．．．．ｘ_１とする。

【数５】 １次モーメントｍ_１０は次のように表すことができる。

【数６】

【００５０】ｓ_ｋは図７の（ｃ）に示すような選択パタ
ーンと各画像検出処理要素内のデータとの論理積を取る
とこにより得られるものであり、図７の（ｃ）に示す選
択パターンは行と列の違いこそあるが左からｋ＝１、
２、３に対応している。ｓ_ｋを得るのに必要なクロック
数はｌｏｇ_２（Ｎ^２（Ｍ−１）／２）≒（２ｎ＋ｍ−
１）である。したがってｍ_１０は、ｓ_ｋをＫ＝１からｎ
まで繰り返し、外部処理プロセッサでそれらをビットシ
フトしながら足し合わせることで計算され、それを得る
のに必要なクロック数はｎ（２ｎ＋ｍ−１）となる。

【００５１】本例のように画像データが１、０の２階調
（以下、バイナリと言う）である場合に限り、画像デー
タの方を選択パターンとみなし、列、行デコーダを順次
選択してビットシリアルに総和演算することにより１次
モーメント得られる。これに必要なクロック数は、ｌｏ
ｇ_２（Ｎ^２（Ｎ−１）／２）≒（３ｎ−１）である。こ
の演算には図９に示したように第１の加算器として全加
算器を用いる必要がある。１次モーメントｍ_０１も同様
にして求められる。

【００５２】また、２次モーメントｍ_２０、ｍ_０２は次
のように表される。

【数７】

【数８】

【００５３】画像検出処理要素に乗算機能を持たせた場
合、ｘ^２Ｉ（ｘ，ｙ）およびｙ^２Ｉ（ｘ，ｙ）を各画像
検出処理要素内部で計算し、それに対して総和を計算す
ればよいので演算に必要なクロック数は、ｌｏｇ_２（Ｎ
^２（Ｎ−１）（Ｎ−１）（Ｍ−１）／６）≒（４ｎ＋ｍ
−１）である。本例のように乗算機能を持たせないもの
ではｘ^２、ｙ^２についてもビットプレーンに展開した選
択パターンを用いれば、演算に必要なクロック数は、２
ｎｌｏｇ_２（Ｎ^２（Ｍ−１））≒２ｎ（２ｎ＋ｍ）であ
る。画像データがバイナリの場合、演算に必要なクロッ
ク数は、ｌｏｇ _２Ｎ^２（Ｎ−１）（２Ｎ−１）／６≒
（４ｎ−１）である。

【００５４】もう一方の２次モーメントｍ１１は次のよ
うに表される。

【数９】

【００５５】画像検出処理要素に乗算機能を持たせた場
合、演算に必要なクロック数は、ｌｏｇ_２（Ｎ^２（Ｎ−
１）^２（Ｍ−１）／４）≒（４ｎ＋ｍ−２）である。本
例のように乗算機能を持たせないものでも、上述したよ
うに選択パターンによってｓ _ｋｌはｌｏｇ_２（Ｎ^２（Ｍ
−１））≒（２ｎ＋ｍ）クロックで得られる。ｍ
_１１は、ｓ_ｋｌの計算をｎ^２回繰り返し、外部処理プロ
セッサでそれらをビットシフトさせながら足し合わせる
ことで計算できる。この場合、演算に必要なクロック数
は、ｎ^２（２ｎ＋ｍ）以下となる。画像データがバイナ
リの場合、ｓ_ｋはｌｏｇ_２（Ｎ^２（Ｍ−１）／２）≒
（３ｎ−１）クロックで得られ、これをｎ回繰り返すこ
とにより、ｍ_１１はｎ（３ｎ−１）クロックで得られ
る。

【００５６】モーメント演算処理に要するクロック数と
実行時間の関係は下記の表に示すとおりである。

【表１】 ここで、（Ａ）に画像検出処理要素が乗算機能を持つ場
合を示し、（Ｂ）に本例のように画像検出処理要素が乗
算機能を持たない場合を示す。ここで、外部処理プロセ
ッサでの実行時間は含まない。また、最短のクロック周
期は加算器の遅延時間に依存するので、加算器ひとつあ
たりの遅延時間を１ｎｓとして、全体で２Ｎｎｓ(Ｎ
は、画像検出処理要素の行列数とする。）をクロック周
期とし、実行時間を算出した。本例によれば、画像検出
処理要素に乗算機能を持つものに対して実行時間の差を
１桁程度に抑えることが可能である。

【００５７】また、本発明によれば、モーメントだけで
なく、次の式に示される任意の特徴量を高速に演算する
ことが可能である。

【数１０】

【００５８】

【発明の効果】本発明によれば、画像検出処理装置にお
いて、重心計算等の画像処理に必要な処理データをデー
タ転送時に生成可能となり、高速処理が可能となる。

【００５９】また、画像検出処理要素を行列配置とし、
行毎に加算器を直列に接続し、第１の累積加算器を構成
し、行毎の第１の累積加算器最終段の出力を累積加算す
る第２の累積加算器を設けて、制御回路により、上記第
デジタル信号を選択的に上記第１の累積加算器に入力せ
しめることにより、上記画像の０次モーメント、上記画
像のＮ（Ｎは１以上の整数）次モーメントをもとめるた
めの部分和等所望の処理データを高速で出力することが
可能となる。

【００６０】また、画像取り込みと累積加算動作とを別
のクロックで行うので、画像取り込みによる速度の制限
を受けずに処理データの生成が可能となる。

【００６１】また、画像検出処理要素は隣接する画像検
出処理要素からのデジタル信号と上記光検出器からの出
力とに基づいて当該画像検出処理要素のデジタル信号を
生成するため、背景からターゲットの分離処理等の簡単
な処理を画像検出処理装置側で行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の画像検出処理装置の構成を説明するた
めの説明図。

【図２】図１の要部、画像検出処理要素の構成を説明す
るための説明図。

【図３】図１の要部、直列型加算器の構成を説明するた
めの説明図。

【図４】図１の要部、行デコーダの動作を説明するため
の説明図。

【図５】図１の動作説明のための説明図。

【図６】図１の動作説明のための説明図。

【図７】図１の動作説明のための説明図。

【図８】本発明の画像検出処理装置を用いたロボットの
構成を説明する説明図。

【図９】図１の要部、画像検出処理要素の構成を説明す
るための説明図。

【符号の説明】 １−１〜１−６４ 画像検出処理要素 ２−１〜２−８ 直列型加算器（第２の累積加算器） ３ 行デコーダ（制御回路） ４ 列デコーダ（制御回路） ５ 光電変換部（光検出器） ６ ２値化回路（変換器） ７ 論理積回路（変換器） ８ マルチプレクサ（変換器） ９ フリップフロップ回路（変換器） １０ 論理積回路（第１の加算器、第１の累積加算器） １１ 論理積回路（第１の加算器、第１の累積加算器） １２ ５入力論理和回路（変換器） １３ マルチプレクサ（第１の加算器、第１の累積加算
器） １４ フリップフロップ回路 １５ 加算回路（第１の加算器、第１の累積加算器） １６ 加算回路（第２の加算器、第２の累積加算器）

フロントページの続き (72)発明者 小室 孝 東京都北区西ヶ原一丁目27番51号 (72)発明者 中坊 嘉宏 東京都中野区新井一丁目15番７号 (72)発明者 吉田 淳 東京都江東区福住ニ丁目４番３号 日本プ レシジョン・サーキッツ株式会社内 Ｆターム(参考） 5B047 AA13 AA19 BB04 DB01 DC20 5B057 AA05 AA19 BA02 BA12 BA29 CH03 CH08 CH14 DC06 5L096 BA04 BA05 FA56 FA57 FA58 FA60 LA01 LA04 LA15 9A001 BB05 EE02 EE05 HH23 KK16 KK31

Claims (7)

【特許請求の範囲】
1. 【請求項１】 光電変換を行う光検出器と上記光検出器
   からの信号をデジタル信号に変換する変換器と上記デジ
   タル信号を入力可能とした加算器とからなる画像検出処
   理要素の複数個が平面上に配列されてなる画像検出処理
   装置であって、 上記複数の画像検出処理要素の上記加算器を順次接続し
   てなる累積加算器と、 上記複数の画像検出処理要素の上記デジタル信号を選択
   的に上記累積加算器に入力せしめる制御回路と、 上記光検出器によって検出される画像データに基づき上
   記累積加算器から出力される処理データが供給される出
   力部とを更に備えていることを特徴とする画像検出処理
   装置。
2. 【請求項２】 光電変換を行う光検出器と上記光検出器
   からの信号をディジタル信号に変換する変換器と上記デ
   ジタル信号を入力可能とした第１の加算器とからなる画
   像検出処理要素の複数個が平面上に行列配列されてなる
   画像検出処理装置であって、 上記複数の画像検出処理要素の上記第１の加算器を行毎
   に直列に接続してなる第１の累積加算器と、 上記各行の上記第１の累積加算器の最終段の出力を入力
   とした上記各行に対応した第２の加算器を直列に接続し
   てなり、上記第１の累積加算器の最終段の出力を累積加
   算する第２の累積加算器と、 上記複数の画像検出処理要素の上記デジタル信号を選択
   的に上記第１の累積加算器に入力せしめる制御回路と、 上記光検出器によって検出される画像データに基づき上
   記累積加算器から出力される処理データが供給される出
   力部とを更に備えていることを特徴とする画像検出処理
   装置。
3. 【請求項３】 上記制御回路によって上記画像検出処理
   要素の上記デジタル信号の全てを上記第１の累積加算器
   に入力せしめ、上記第２の累積加算器から出力される処
   理データを、上記画像検出処理要素群に結像される結像
   画像の０次モーメントとすることを特徴とする請求項２
   に記載の画像検出処理装置。
4. 【請求項４】 上記制御回路によって上記画像検出処理
   要素の上記デジタル信号から選択される幾つかを上記第
   １の累積加算器に入力せしめ、上記第２の累積加算器か
   ら出力される処理データを、上記画像検出処理要素群に
   結像される結像画像のＮ（Ｎは１以上の整数）次モーメ
   ントを求めるための部分和とすることを特徴とする請求
   項２に記載の画像検出処理装置。
5. 【請求項５】 上記変換器を第１のクロック信号に従い
   作動させて上記デジタル信号を発生しさせ、上記第１及
   び第２の累積加算器を上記第１のクロック信号とは異な
   る第２のクロック信号に従い動作させ、上記第２の累積
   加算器から上記処理データをその下位桁から順次出力す
   ることを特徴とする請求項２に記載の画像検出処理装
   置。
6. 【請求項６】 特定の画像検出処理要素の光検出器から
   の出力と当該特定の画像検出処理要素の隣接する複数の
   画像検出処理要素からのデジタル信号とに基づいて、当
   該特定の画像検出処理要素から出力されるデジタル信号
   を生成させるようにしてあることを特徴とする請求項２
   に記載の画像検出処理装置。
7. 【請求項７】 全ての要素が１チップに形成されている
   ことを特徴とする請求項１乃至６のいづれかに記載の画
   像検出処理装置。