JP2000299820A

JP2000299820A - 高速視覚センサ装置

Info

Publication number: JP2000299820A
Application number: JP11106988A
Authority: JP
Inventors: Haruyoshi Toyoda; 晴義豊田; Tsutomu Hara; 勉原; Yuji Kobayashi; 祐二小林; Masatoshi Ishikawa; 正俊石川; Shingo Kato; 信吾加藤
Original assignee: Shizuoka Prefecture; Hamamatsu Photonics KK
Current assignee: Shizuoka Prefecture; Hamamatsu Photonics KK
Priority date: 1999-04-14
Filing date: 1999-04-14
Publication date: 2000-10-24

Abstract

(57)【要約】【課題】簡単な回路構成で画像重心演算を含めた画像
処理演算を高速で行うことが可能な多画素数の高速視覚
センサ装置を提供する。【解決手段】受光素子アレイ１１の各列の受光素子１
２０に対して１個のＡ／Ｄ変換器２１０を対応させたＡ
／Ｄ変換器アレイ１３と、受光素子１２０と１対１に対
応し、内部に画素の位置情報を保持する情報レジスタ４
１０を有する演算素子４００からなる並列処理機構１４
とを備えている。演算素子４００は並列処理により位置
情報を用いる重心演算を含めた画像処理演算を高速で行
うことができる。また、Ａ／Ｄ変換器２１０を各列ごと
に対応させたため、受光素子アレイ１１と並列処理機構
１４間の伝送路が少なく、両者を分離して製造・配置で
き、集積度の最適化、多画素化と同時に、安定した製造
が行える利点がある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理機能を備
えた高速視覚センサ装置に関する。

【０００２】

【従来の技術】ＦＡシステム等でロボットを高速で動作
させるためには、高速の画像処理が必要とされる。例え
ば、視覚センサとアクチュエータの間でフィードバック
ループを形成するロボットの場合、アクチュエータはミ
リ秒単位で制御可能であるため、本来はこれに対応した
画像処理速度が必要になる。ところが、現状のビジョン
システムでは画像処理速度が上述のビデオフレームレー
トに限られているため、この画像処理速度に合わせた低
速動作しかできず、ロボットの性能を十分に活かしきれ
ていなかった。

【０００３】一方、高速ＣＣＤカメラの中には１ミリ秒
程度で画像を撮像できるものもあるが、これらは撮像し
た画像をいったんメモリに貯えて、後から読み出して処
理を行う機構になっているため、画像解析などの用途に
は使えるが、実時間性はほとんどなく、ロボット制御な
どの用途には適用できなかった。

【０００４】このような問題を解決するため、画像の取
込部と処理部を一体として取り扱うビジョンチップの研
究が進んでおり、マサチューセッツ工科大学、カリフォ
ルニア工科大学、三菱電機などの研究が知られている。
しかし、これらは主として集積化の容易なアナログの固
定回路を用いており、出力信号の後処理が必要であった
り、画像処理の内容が特定用途に限定されていて汎用性
がないなどの問題点があった。

【０００５】これらに対して汎用的な画像処理を行うこ
とができるビジョンチップとしては、特開平１０−１４
５６８０号公報に開示された技術が知られている。この
技術は、受光素子と１対１に対応させて演算素子を設
け、Ａ／Ｄ変換器を受光素子の列毎に設けているため、
並列処理により演算時間を短縮するとともに、受光素子
と演算素子間の伝送線を少なくすることができ、両者の
集積度を最適にすることができるといった利点がある。

【０００６】

【発明が解決しようとする課題】しかしながら、この技
術では、一部の演算処理において高速化に限界があっ
た。例えば、多くの画像処理において必要となる基本デ
ータである画像の重心（１次モーメント）を求める際に
は、その画素の位置情報と画像強度との演算を行う。前
述の従来技術においてこの演算を行うためには、画像強
度とは別に、位置情報を各演算素子に転送してから所定
の演算を行う必要がある。この位置情報の転送の間は画
像情報の転送処理及び演算処理が行えないため、処理時
間が長くなるという問題があった。

【０００７】そこで、本発明は、こうした問題点に鑑み
て、簡単な回路構成で画像重心演算を含めた画像処理演
算を高速で行うことが可能な多画素数の高速視覚センサ
装置を提供することを課題とする。

【０００８】

【課題を解決するための手段】本発明の高速視覚センサ
装置は、複数の受光素子が２次元状に配列された受光素
子アレイと、受光素子アレイの各列に対応して設けら
れ、対応する１列中の受光素子から順次読み出された出
力信号をアナログ・デジタル変換する複数のＡ／Ｄ変換
器を有し、これらの複数のＡ／Ｄ変換器が１次元状に配
列されて構成されるＡ／Ｄ変換器アレイと、受光素子ア
レイの各受光素子と１対１に対応して設けられ、Ａ／Ｄ
変換器アレイから転送された対応する受光素子の出力信
号に相当するデジタル信号について所定の演算を行うも
ので、内部に所定の演算に要する情報を保持する情報レ
ジスタを有する複数の演算素子を２次元状に配列して、
並列演算処理を行う並列処理機構と、受光素子アレイ及
びＡ／Ｄ変換器アレイ並びに並列処理機構を制御する制
御回路とを備える。

【０００９】本発明によれば、受光素子と演算素子とが
１対１に対応しているため、画像処理の演算を並列処理
により高速で行うことができる。特に、演算に必要な所
定の情報を情報レジスタに保持しているため、この情報
レジスタに保持された情報を要する演算も高速で処理さ
れる。また、Ａ／Ｄ変換器で各列毎に分割してデータを
演算素子に転送するため、この部分の伝送路の本数が少
なく、受光素子アレイと演算器アレイを分離することが
容易である。このため、双方とも高集積化が可能で、画
素数を増やすことができる。また、安定した生産が可能
となる。

【００１０】この情報レジスタが保持している所定の情
報は、対応する演算素子の位置情報であることが好まし
い。これによれば、画像の重心を求める１次モーメント
演算などを高速で行うことができ、好ましい。

【００１１】また、制御回路は、Ａ／Ｄ変換器アレイの
各列から対応する各演算素子へのデータ転送時に平行し
て各列内の演算素子間でのデータ転送及び演算を行い、
全データ転送後に各列間のデータ転送及び演算を行うよ
う、並列処理機構を制御する。これにより、演算素子間
のデータ転送や演算にようする時間の無駄を省いて、効
率的な処理を行うことができる。

【００１２】さらに、Ａ／Ｄ変換器は、制御回路から送
出された制御信号により、Ａ／Ｄ変換時の階調を可変す
る機構を備えてもよい。これにより、用途に応じて、低
階調でも高速で読み込んだり、低速でも高階調で読み込
むなどの使い分けが可能となる。

【００１３】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。図１は、本実施形態に係る高速視
覚センサ装置のブロック図である。

【００１４】まず、図１により、センサ装置全体の構成
を簡単に説明する。本実施形態の高速視覚センサ装置
は、Ｎ１個×Ｎ２個の２次元状に配置された受光素子１
２０からなる受光素子アレイ１１と、受光素子アレイ１
１の１列ごとに対応して受光素子から出力された電荷を
電圧信号に変換するＮ２個のチャージアンプ２２１から
なる並列アンプ１２と、チャージアンプからの出力信号
をＡ／Ｄ変換するＮ２個のＡ／Ｄ変換器２１０からなる
Ａ／Ｄ変換器アレイ１３と、受光素子１２０と１対１に
対応するＮ１個×Ｎ２個の演算素子４００からなる演算
素子アレイ１４と、回路全体に命令信号等を送って制御
する制御回路１５及び制御回路１５からの信号を各回路
に送るインストラクション／コマンドバス１６により構
成されている。このうち、演算素子４００には、それぞ
れ内部に演算素子４００の位置、すなわち、受光素子１
２０の画素位置に対応する位置情報を保持している情報
レジスタ４１０を有している。

【００１５】図２は、装置の構成例を示したものであ
る。受光素子アレイ１１と演算素子アレイ１４を別々の
基板に形成することで、双方を高集積化することが可能
であり、また、それぞれの装置の特性に合わせた加工工
程を採用できるため、安定した生産が可能となる。

【００１６】続いて、各回路の内部構成について説明す
る。図３は、画像取込部の詳細構成を示している。画像
取込部は、光を検出する受光部１００（図１に示す受光
素子アレイ１１に相当）、受光部１００からの出力信号
を処理する信号処理部２００（図１に示す並列アンプ１
２及びＡ／Ｄ変換器アレイ１３に相当）、受光部１００
及び信号処理部２００に動作タイミングの指示信号を通
知するタイミング制御部３００（図１に示す制御回路１
５の一部に相当）を備えている。

【００１７】最初に、図３により、図１の受光素子アレ
イ１１に相当する受光部１００の構成を説明する。受光
素子１２０は、入力した光強度に応じて電荷を発生する
光電変換素子１３０と、光電変換素子１３０の信号出力
端子に接続され、垂直走査信号Ｖ_i（ｉ＝１〜Ｎ１）に
応じて光電変換素子１３０に蓄積された電荷を出力する
スイッチ素子１４０を１組として構成されている。この
受光素子１２０が第１の方向（以下垂直方向と呼ぶ）に
沿ってＮ１個配置され、各受光素子１２０のスイッチ素
子１４０が電気的に接続されて垂直受光部１１０を構成
している。そして、この垂直受光部１１０を垂直方向に
直交する水平方向に沿ってＮ２個配列することにより受
光部１００が構成されている。

【００１８】次に、同じく図３により、図１では並列ア
ンプ１２及びＡ／Ｄ変換器アレイ１３に相当する信号処
理部２００の構成を説明する。信号処理部２００は、対
応する垂直受光部１１０_j（ｊ＝１〜Ｎ２）から転送さ
れてきた電荷を個別に取り出して、処理し、この電荷強
度に対応するデジタル信号を出力するＡ／Ｄ変換器２１
０_jをＮ２個配置して構成されている。Ａ／Ｄ変換器２
１０_jは、チャージアンプ２２１_jを含む積分回路２２０
_jと比較回路２３０_jと容量制御機構２４０_jの３つの回
路から構成される。本実施形態では、チャージアンプ２
２１をＡ／Ｄ変換器２１０に含む回路構成になってい
る。

【００１９】このうち、積分回路２２０_jは、垂直受光
部１１０_jからの出力信号を入力として、この入力信号
の電荷を増幅するチャージアンプ２２１_jと、チャージ
アンプ２２１_jの入力端子に一方の端が接続され、出力
端子に他方の端が接続された可変容量部２２２_jと、チ
ャージアンプ２２１_jの入力端子に一方の端が接続さ
れ、出力端子に他方の端が接続されて、リセット信号Ｒ
に応じてＯＮ、ＯＦＦ状態となり、積分回路２２０_jの
積分、非積分動作を切り替えるスイッチ素子２２３_jか
らなる。

【００２０】ここで、図４は、この積分回路２２０の詳
細構成図である。本図は、４ビットつまり１６階調の分
解能を持つＡ／Ｄ変換機能を備える積分回路の例であ
り、以下、この回路構成により説明する。可変容量部２
２２は、チャージアンプ２２１の垂直受光部からの出力
信号の入力端子に一方の端子が接続された容量素子Ｃ１
〜Ｃ４と、容量素子Ｃ１〜Ｃ４の他方の端子とチャージ
アンプ２２１の出力端子の間に接続され、容量指示信号
Ｃ₁₁〜Ｃ₁₄に応じて開閉するスイッチ素子ＳＷ１１〜Ｓ
Ｗ１４と、容量素子Ｃ１〜Ｃ４とスイッチ素子ＳＷ１１
〜ＳＷ１４の間に一方の端子が接続され、他方の端子が
ＧＮＤレベルと接続されて、容量指示信号Ｃ₂₁〜Ｃ₂₄に
応じて開閉するスイッチ素子ＳＷ２１〜ＳＷ２４により
構成されている。なお、容量素子Ｃ１〜Ｃ４の電気容量
Ｃ₁〜Ｃ₄は、Ｃ₁＝２Ｃ₂＝４Ｃ₃＝８Ｃ₄ Ｃ₀＝Ｃ₁＋Ｃ₂＋Ｃ₃＋Ｃ₄ の関係を満たす。ここで、Ｃ₀は積分回路２２０で必要
とする最大電気容量であり、受光素子１３０（図３参
照）の飽和電荷量をＱ₀、基準電圧をＶ_REFとすると、Ｃ₀＝Ｑ₀／Ｖ_REF の関係を満たす。

【００２１】再び、図３に戻り、Ａ／Ｄ変換器２１０_j
の積分回路２２０_j以外の回路を説明する。比較回路２
３０_jは、積分回路２２０_jから出力された積分信号Ｖ_S
の値を基準値Ｖ_REFと比較して、比較結果信号Ｖ_Cを出力
する。容量制御機構２４０_jは、比較結果信号Ｖ_Cの値か
ら積分回路２２０_j内の可変容量部２２２_jに通知する容
量指示信号Ｃを出力すると共に、容量指示信号Ｃに相当
するデジタル信号Ｄ１を出力する。

【００２２】続いて、図３に示すタイミング制御部３０
０の構成を説明する。全回路のクロック制御を行う基本
タイミングを発生する基本タイミング部３１０と、基本
タイミング部３１０から通知された垂直走査指示に従っ
て、垂直走査信号Ｖ_iを発生する垂直シフトレジスタ３
２０と、リセット指示信号Ｒを発生する制御信号部３４
０により構成されている。

【００２３】次に、図５（ａ）に示すブロック図を用い
て、演算素子アレイ１４を構成する演算素子４００の構
成を説明する。演算素子４００は、Ａ／Ｄ変換器２１０
から送られてきた対応する受光素子１２０の４近傍の出
力信号に相当するデジタル信号Ｄ１を収容する４×８ビ
ットのランダムアクセス可能な１ビットシフトのレジス
タマトリックス４０１と、演算信号をそれぞれ収容する
Ａラッチ４０２、Ｂラッチ４０３、及び下位ビットから
１ビットずつ順次演算する順次ビットシリアル演算を行
う演算論理ユニット（ＡＬＵ）４０４と、２×７ビット
の読み出し専用レジスタからなる前述の情報レジスタ４
１０とで構成されている。

【００２４】図５（ｂ）、（ｃ）はそれぞれこの情報レ
ジスタ４１０の各ビットの構成を示す回路図である。Ｖ
ｃｃへの接続によりデータ値１に相当する情報を、ＧＮ
Ｄ接続によりデータ値０に相当する情報を表現すること
により、通常の書き換え可能なレジスタマトリックスを
用意するのに比べて少ないゲート数で情報を記憶でき
る。また、ＡＬＵ４０４にはＡＮＤ、ＯＲ、ＸＯＲ、Ａ
ＤＤの演算機能が用意されている。演算素子４００は、
各素子が共通の制御信号で制御されるＳＩＭＤ型の並列
処理を行う構造になっている。これにより、１素子あた
りのトランジスタ数を削減し、演算素子アレイ１４の集
積化を図り、素子数を増やすことができる。

【００２５】次に、図２〜図５により、本実施形態の動
作について説明する。

【００２６】まず、リセット信号Ｒを有為に設定し、図
４に示す可変容量部２２２のＳＷ１１〜ＳＷ１４を全て
「ＯＮ」、ＳＷ２１〜ＳＷ２４を全て「ＯＦＦ」状態に
する。これにより、チャージアンプ２２１の入力端子と
出力端子間の容量値をＣ₀に設定する。それと同時に、
図３に示す全てのスイッチ素子１４０を「ＯＦＦ」状態
とし、垂直走査信号Ｖｉをいずれの受光素子１２０_i,j
も選択しない状態に設定する。この状態から、リセット
指示信号Ｒを非有為に設定し、各積分回路２２０での積
分動作を開始させる。

【００２７】積分動作を開始させると、図３に示すＮ２
個の各垂直受光部１１０_jにある第１番目の受光素子１
２０_1,jのスイッチ素子１４０のみを「ＯＮ」とする垂
直走査信号Ｖ₁が出力される。スイッチ素子が「ＯＮ」
になると、それまでの受光によって光電変換素子１３０
に蓄積された電荷Ｑ₁は、電流信号として受光部１００
から出力される。つまり、光電変換素子の信号を読み出
すことができる。電荷Ｑ₁は容量値Ｃ₀に設定された可変
容量部２２２に流入する。

【００２８】次に、図４により積分回路２２０内部の動
作を説明する。容量制御機構２４０（図３参照）は、Ｓ
Ｗ１２〜ＳＷ１４を開放した後、ＳＷ２２〜２４を閉じ
る。この結果、積分信号Ｖ_Sは、Ｖ_S＝Ｑ／Ｃ₁ で示す電圧値として出力される。積分信号Ｖ_Sは、比較
回路２３０に入力して、基準電圧値Ｖ_REFと比較され
る。ここで、Ｖ_SとＶ_REFの差が、分解能の範囲以下、す
なわち±（Ｃ₄／２）以下の時は、一致したものとみな
し、更なる容量制御は行わず、積分動作を終了する。分
解能の範囲で一致しないときは、更に容量制御を行い、
積分動作を続ける。

【００２９】例えば、Ｖ_S＞Ｖ_REFであれば、容量制御機
構２４０は、更に、ＳＷ２２を開放した後に、ＳＷ１２
を閉じる。この結果、積分信号Ｖ_Sは、Ｖ_S＝Ｑ／（Ｃ₁＋Ｃ₂）で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較
回路２３０（同）に入力して、基準電圧値Ｖ_REFと比較
される。

【００３０】また、Ｖ_S＜Ｖ_REFであれば、容量制御機構
２４０は、更に、ＳＷ１１及びＳＷ２２を開放した後
に、ＳＷ１２及びＳＷ２１を閉じる。この結果、積分信
号Ｖ_Sは、Ｖ_S＝Ｑ／Ｃ₂ で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較
回路２３０に送出され、基準電圧値Ｖ_REFと比較され
る。

【００３１】以後、同様にして、積分回路２２０→比較
回路２３０→容量制御機構２４０→積分回路２２０のフ
ィードバックループによって、積分信号Ｖ_Sが基準電圧
値Ｖ_R _EFと分解能の範囲で一致するまで、比較及び容量
設定（ＳＷ１１〜ＳＷ１４及びＳＷ２１〜ＳＷ２４のＯ
Ｎ／ＯＦＦ制御）を順次繰り返す。積分動作が終了した
時点のＳＷ１１〜ＳＷ１４のＯＮ／ＯＦＦ状態を示す容
量指示信号Ｃ₁₁〜Ｃ₁₄の値は、電荷Ｑ₁の値に対応した
デジタル信号であり、最上位ビット（ＭＳＢ）の値がＣ
₁₁、最下位ビット（ＬＳＢ）の値がＣ₁₄である。こうし
てＡ／Ｄ変換が行われ、これらの値をデジタル信号Ｄ１
として、演算素子アレイ１４に出力する。以上述べたよ
うに、この装置では、デジタル信号Ｄ１の各ビット値
は、ＭＳＢ側からＬＳＢ側へ１ビットずつ順に定まる。

【００３２】第１番目の受光素子１２０_1,jの光電出力
に相当するデジタル信号の送出が終了すると、リセット
信号Ｒが有為とされ、再び、非有為にして、可変容量部
２２２_jの容量値を初期化した後に、各垂直受光部１１
０_jの第２番目の受光素子１２０_2,jのスイッチ素子１４
０のみを「ＯＮ」とする垂直走査信号Ｖ₂を出力し、上
述と同様の動作により、第２番目の受光素子１２０_2,j
の光電出力を読み出し、これに相当するデジタル信号を
送出する。以下、垂直走査信号を切り替えて、全受光素
子１２０の光電出力を読み出し、相当するデジタル信号
を演算素子アレイ１４に出力する。

【００３３】次に、演算素子４００の動作を図５（ａ）
により説明する。Ａ／Ｄ変換されたデジタル信号は、そ
れぞれの受光素子１２０_i,jに対応する演算素子４００
のレジスタマトリックス４０１に送られる。演算素子４
００はそれぞれ４近傍接続されているため、インストラ
クションで順次隣の演算素子４００に信号を送るように
命令を出すことで転送する演算素子４００の指定ができ
る。各垂直受光部１１０_jの信号は対応する演算素子４
００に対して、各列が同時に転送されるため、ｎビット
×Ｎ２回のデータ転送で、全受光素子１２０の光電出力
データが全演算素子４００に転送されることになる。

【００３４】演算素子４００内部の演算は、必要があれ
ば、各演算素子４００間でそれぞれのレジスタマトリッ
クス４０１に収容された信号の転送を行った後、演算に
必要な信号をレジスタマトリックス４０１又は情報レジ
スタ４１０からＡラッチ４０２とＢラッチ４０３に読み
出し、ＡＬＵ４０４で所定の演算を行い、計算結果はレ
ジスタマトリックス４０１を介して外部回路に出され
る。演算は全演算素子４００において同時に並列処理さ
れるため、極めて高速の演算が可能である。以下に、
「画像の動き抽出」を例にとり、画像処理の実行動作を
詳細に説明する。

【００３５】例に挙げる「画像の動き抽出」は動画像処
理において最も頻繁に利用される処理である。最も簡単
に演算する場合は、最新の画素の強度値と、直前のフレ
ームで得られた当該画素の強度値の差分演算が用いられ
る。これを数式で表すと、

【００３６】

【数１】

【００３７】となる。ここでｘ，ｙは画素の位置座標、
ｔは画像の取得時刻、Ｉ（ｘ，ｙ，ｔ）は時刻ｔ、位置
（ｘ，ｙ）における画像強度データの値、Ｉ’（ｘ，
ｙ）は求めたい動き抽出画像の画像強度データの値であ
る。

【００３８】転送から演算終了までの各演算素子４００
における演算のフロー図を図６に示す。まず時刻ｔ−１
における画像データＩ（ｘ，ｙ，ｔ−１）をＡ／Ｄ変換
器２１０を介して受光素子１２０から演算素子４００へ
転送して、レジスタマトリックス４０１に格納する（Ｓ
１）。次に、次のフレーム、すなわち時刻ｔにおける画
像データＩ（ｘ，ｙ，ｔ）を同様に演算素子４００へ転
送して、レジスタマトリックス４０１のＩ（ｘ，ｙ，ｔ
−１）を格納したのとは別の領域に格納する（Ｓ２）。
両方のデータ転送が終了した時点で、レジスタマトリッ
クス４０１に収容されたＩ（ｘ，ｙ，ｔ−１）とＩ
（ｘ，ｙ，ｔ）のデータを下位ビットからＡラッチ４０
２とＢラッチ４０３に読み出し（Ｓ３）、ＡＬＵ４０４
により、差分を求める演算を行う（Ｓ４）。この計算結
果はいったんレジスタマトリックス４０１に格納する
（Ｓ５）。差分が求まった後、この差分値を再びＡラッ
チ４０２に読み出し（Ｓ６）、ＡＬＵ４０４により、そ
の絶対値Ｉ’（ｘ，ｙ）を算出し、レジスタマトリック
ス４０１に計算結果を格納し（Ｓ７）、外部に出力する
（Ｓ８）。以上の計算処理は全ての演算素子４００で同
時に並列処理されるため、非常に高速で演算処理が行わ
れる。この演算結果Ｉ’（ｘ，ｙ）は制御回路１５に送
付され、動きの大きさがこの演算結果から判断できる。

【００３９】画像処理でよく用いられるアルゴリズムの
いくつかについて、本実施形態により演算を行った場合
のステップ数、処理時間の例を表１に示す。

【００４０】

【表１】

【００４１】この表から明らかなように、本実施形態で
は、一般的な画像処理（例えば、平滑化、細線化、コン
ボリューション、相関、マスク処理）演算を完全並列処
理により、非常に高速で行うことができる。特に、本実
施形態では、重心演算で必要となる画素の位置情報
（ｘ，ｙ）が各演算素子の情報レジスタに固定値として
保持されている。このため、重心演算に際して外部から
位置情報を転送する必要がなく重心演算を高速で行うこ
とができ、重心データを基にした移動物体の位置算出な
どを高速で行うことができる。

【００４２】この重心演算の適用例について以下、詳細
に説明する。前述したように、受光素子アレイ１１で検
出された画像は、並列アンプ１２で増幅され、Ａ／Ｄ変
換器アレイ１３によりデジタル信号に変換され、並列処
理機構１４に順次転送される。この転送時に、受光素子
アレイ１１の各受光素子１２０に対応する並列処理機構
１４のレジスタマトリックス４０１に画像信号を保持す
る。ここで、画像の重心位置Ｇｃは以下の式によって表
される。

【００４３】

【数２】

【００４４】この重心位置の値を求めるには、それぞれ
の並列演算素子４００において、まず情報レジスタ４１
０からＡラッチ４０２にｘの値（つまり、ｘ方向アドレ
ス）を転送し、レジスタマトリックス４０１からＢラッ
チ４０３に画像強度Ｉ（ｘ，ｙ）の値を転送してＡＬＵ
４０４において両者の積であるｘ×Ｉ（ｘ，ｙ）を演算
する。演算結果は、レジスタマトリックス４０１の画像
強度Ｉ（ｘ，ｙ）が格納された位置と異なる位置に格納
される。次に、情報レジスタ４１０からＡラッチ４０２
にｙの値（つまり、ｙ方向アドレス）を転送し、レジス
タマトリックス４０１からＢラッチ４０３に先程計算し
たｘ×Ｉ（ｘ，ｙ）の値を転送してＡＬＵ４０４におい
て両者の積であるｘ×ｙ×Ｉ（ｘ，ｙ）を演算する。演
算結果は、レジスタマトリックス４０１のＩ（ｘ，
ｙ）、ｘ×Ｉ（ｘ，ｙ）が格納された位置と異なる位置
に格納される。

【００４５】演算したｘ×Ｉ（ｘ，ｙ）とｘ×ｙ×Ｉ
（ｘ，ｙ）の値を順次隣の演算素子４００に転送しなが
ら加算していき、列毎にそれぞれの総和をとる。その結
果を制御回路１５に転送して、列毎の総和をそれぞれ加
算することでそれぞれの全体の総和を求める。これによ
りＧｃのｘ、ｙ座標それぞれの分子が求まる。分母は、
画像強度Ｉ（ｘ，ｙ）を隣の演算素子４００に転送しな
がら加算し、列毎の総和を求め、これらの総和演算を制
御回路１５で行なうことにより求めることができる。

【００４６】従来の方式では、位置情報（ｘ，ｙ）を保
持するためにレジスタ領域を十分に確保する必要があっ
たが、画素の位置情報は固定情報であるため、本実施形
態では、読み出し専用の情報レジスタにより位置情報を
保持している。したがって、位置情報を貯えるのに必要
とされる回路の構成が簡単ですみ、少ないゲート数で実
現可能であるから、大規模な集積化が可能である。ま
た、位置情報自体の各演算素子への転送が不要であるた
め、高速での重心演算が実行できる。さらに、こうした
位置情報を用いて、例えば「前のフレームからの移動物
体を検出し、その位置情報を制御信号にフィードバック
してトラッキングする」等の処理への応用が可能とな
る。このようにして、本実施形態は、これまでの視覚セ
ンサ装置では演算処理速度が遅いために制限されていた
ＦＡロボット制御などの分野への応用が可能になる。

【００４７】本実施形態が目指しているのは、実用的な
高速性と十分な解像度を有する画像処理システムであ
る。解像度の目安としては、ＦＡシステムにおけるロボ
ット制御には、受光素子１２０を１２８×１２８個以上
配列する解像度が必要とされる。従来例１によれば、受
光素子１２０の配列数を増やすことが難しいため、ここ
まで解像度を上げることは困難だった。本実施形態によ
れば、受光素子アレイ１１と演算素子アレイ１４を分離
でき、それぞれの集積度を高められるため、この解像度
を十分に実現できる。また、処理速度の目安としては、
ロボットのアクチュエータの速度（１〜１０ミリ秒）が
必要である。本実施形態では、この処理速度は、Ａ／Ｄ
変換器２１０におけるＡ／Ｄ変換処理速度によって決ま
るが、以下に述べるように、十分に高速化が可能であ
る。

【００４８】ここで、本実施形態での１画素あたりのＡ
／Ｄ変換速度は、１ビットあたり１マイクロ秒となる。
例えば、入力アナログ信号を６ビット（６４階調）でデ
ジタル変換する場合には、１列分の１２８個の受光素子
１２０の出力信号をデジタル変換するのに必要な時間
は、６マイクロ秒×１２８＝０．７６８ミリ秒となる。
画像処理については、各受光素子に１対１に対応して演
算素子が配置され、全演算素子で並列処理されるため、
図７に示すように、０．４ミリ秒以下でほとんどの演算
処理が行える。したがって、転送時間を考慮しても、ほ
とんどの画像処理が１ミリ秒以下で行えることになり、
十分な高速性能を有する。一方、従来例２〜４では、複
数の画素の計算を１つの演算素子で行う必要があるた
め、計算処理の時間自体が長くなる。例えば、従来例２
の場合は、最も基本的な画像処理演算である４近傍エッ
ジ検出の場合で、１点あたり７．７マイクロ秒かかる演
算を１２８回繰り返す必要があり、合計の演算時間だけ
で約１ミリ秒かかる。実際には、受光素子からのデータ
転送時間が必要であるうえに、さらに画像処理で複雑な
演算を必要とすることがあるため、これでは実用的な高
速処理はできない。

【００４９】また、前述したように本実施形態のＡ／Ｄ
変換器は、最上位ビットからＡ／Ｄ変換を行う。したが
って、所望のビット数まで変換した時点で、リセット信
号Ｒを送出し、次の光信号のＡ／Ｄ変換に移ることによ
り、Ａ／Ｄ変換の階調を変更することができる。これに
より、より高速で、複雑な処理を行うことが可能とな
る。例えば、移動物体のトラッキングをするような場合
に、物体が高速で移動している場合は、画像を１ビット
の２値レベルで演算処理するように制御すれば、転送時
間は、前述の６ビットの時の６分の１の０．１２８秒に
短縮され、高速フィードバック制御に適用できる。逆
に、低速で動いている場合には、階調を上げることによ
り、より精度を向上させて、追従することができる。

【００５０】

【発明の効果】以上説明したように、本発明によれば、
受光素子と１対１に対応する演算素子を有しているの
で、並列処理により高速の画像処理が可能である。さら
に、これらの演算素子は、画素の位置情報を保持する情
報レジスタを有しているので、位置情報を利用する重心
演算等を高速で行うことができる。これは特にフィード
バック制御等において効果的である。さらに読み出し専
用レジスタとして構成すれば、回路が簡単ですみ、集積
化が容易である。また、Ａ／Ｄ変換器を１列ごとに設け
ているので、Ａ／Ｄ変換器を素子毎に設けている場合に
比較して、受光素子と演算素子間の伝送線の数が少な
く、受光素子と演算素子を別々に製造、配置することが
容易にできる。このため、両者とも集積度を最適にする
ことができ、多画素数の高速視覚センサ装置を容易に製
作できる。Ａ／Ｄ変換器を列ごとに設けたため、Ａ／Ｄ
変換の処理速度により、全体の処理速度が制限を受ける
が、ＦＡロボット制御に十分な画素数といわれる１２８
×１２８画素の映像を６４階調で処理する場合でも、ほ
とんどの画像処理が１ミリ秒以下で終了し、従来にない
高速処理が可能である。

【００５１】また、Ａ／Ｄ変換器から演算素子へのデー
タ転送時に、列内の演算素子間でのデータ転送や演算を
平行して処理できるため、Ａ／Ｄ変換器から演算素子へ
のデータ転送後に必要な演算素子間のデータ転送が少な
くなり、処理時間を短縮できる。特に、列全体のデータ
を利用する画像処理演算で、効率的な処理が可能とな
る。

【００５２】さらに、Ａ／Ｄ変換器の変換階調を可変に
することにより、高速で移動する物体の制御等には、低
階調として、さらに高速で処理し、低速で移動する物体
の制御の際には、転送時間がかかるが、高階調で処理す
るなど、状況に応じた汎用性の高い制御が可能である。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るブロック図である。

【図２】図１の実施形態に係る概略構成図である。

【図３】図１の実施形態に係る受光素子アレイ、並列ア
ンプ及びＡ／Ｄ変換器アレイの回路構成図である。

【図４】図１の実施形態に係る積分回路の詳細回路構成
図である。

【図５】（ａ）は、図１の実施形態に係る演算素子のブ
ロック図、（ｂ）（ｃ）はそのうちの情報レジスタの回
路図である。

【図６】図５の演算素子の動き抽出演算時のフロー図で
ある。

【符号の説明】

１１…受光素子アレイ、１２…アンプ、１３…Ａ／Ｄ変
換器アレイ、１４…並列処理機構、１５…制御回路、１
６…インストラクション／コマンドバス、１００…受光
部、１１０…垂直受光部、１２０…受光素子、１３０…
光電変換素子、１４０…スイッチ素子、２００…信号処
理部、２１０…Ａ／Ｄ変換器、２２０…積分回路、２２
１…チャージアンプ、２２２…可変容量部、２２３…ス
イッチ素子、２３０…比較回路、２４０…容量制御機
構、３００…タイミング制御部、３１０…基本タイミン
グ部、３２０…垂直シフトレジスタ、３４０…制御信号
部、４００…演算素子、４０１…レジスタマトリック
ス、４０２…Ａラッチ、４０３…Ｂラッチ、４０４…Ａ
ＬＵ、４１０…情報レジスタ、Ｃ１〜Ｃ４…容量素子、
ＳＷ１１〜ＳＷ１４、ＳＷ２１〜ＳＷ２４…スイッチ素
子。

───────────────────────────────────────────────────── フロントページの続き (72)発明者原勉静岡県浜松市市野町1126番地の１浜松ホトニクス株式会社内 (72)発明者小林祐二静岡県浜松市市野町1126番地の１浜松ホトニクス株式会社内 (72)発明者石川正俊千葉県柏市大室1571−32 (72)発明者加藤信吾静岡県浜松市新都田一丁目３番３号静岡県浜松工業技術センター内Ｆターム(参考） 3F059 DB00 4M118 AA10 AB10 BA14 CA02 DD09 DD10 FA06 FA50 5B047 AA12 AA13 BB04 BC01 CB09 DB01 EA01 5B057 AA03 AA05 BA02 BA12 CH03 CH11 DC06 5C024 AA01 BA00 CA26 CA31 FA01 GA01 GA31 GA48 HA14 HA15 HA17 HA18 HA20 JA04

Claims

【特許請求の範囲】

【請求項１】複数の受光素子が２次元状に配列された
受光素子アレイと、前記受光素子アレイの各列に対応して設けられ、対応す
る１列中の受光素子から順次読み出された出力信号をア
ナログ・デジタル変換する複数のＡ／Ｄ変換器を有し、
当該複数のＡ／Ｄ変換器が１次元状に配列されて構成さ
れるＡ／Ｄ変換器アレイと、前記受光素子アレイの各受光素子と１対１に対応して設
けられ、前記Ａ／Ｄ変換器アレイから転送された対応す
る受光素子の出力信号に相当するデジタル信号について
所定の演算を行うもので、内部に前記所定の演算に要す
る情報を保持する情報レジスタを有する複数の演算素子
を２次元状に配列して、並列演算処理を行う並列処理機
構と、前記受光素子アレイ及び前記Ａ／Ｄ変換器アレイ並びに
前記並列処理機構を制御する制御回路と、を備える高速
視覚センサ装置。
【請求項２】前記情報レジスタが保持している所定の
情報は、対応する前記演算素子の位置情報であることを
特徴とする請求項１記載の高速視覚センサ装置。
【請求項３】前記制御回路は、前記Ａ／Ｄ変換器アレ
イの各列から対応する各演算素子へのデータ転送時に平
行して各列内の演算素子間でのデータ転送及び演算を行
い、全データ転送後に各列間のデータ転送及び演算を行
うよう、前記並列処理機構を制御することを特徴とする
請求項１又は２に記載の高速視覚センサ装置。
【請求項４】前記Ａ／Ｄ変換器は、前記制御回路から
送出された制御信号により、Ａ／Ｄ変換時の階調を可変
する機構を備えることを特徴とする請求項１〜３のいず
れかに記載の高速視覚センサ装置。