JP2000333083A

JP2000333083A - 高速視覚センサ装置

Info

Publication number: JP2000333083A
Application number: JP11141801A
Authority: JP
Inventors: Haruyoshi Toyoda; 晴義豊田; Kazuhiro Nakamura; 和浩中村; Seiichiro Mizuno; 誠一郎水野; Hiroo Yamakawa; 博雄山川
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 1999-05-21
Filing date: 1999-05-21
Publication date: 2000-11-30
Anticipated expiration: 2019-05-21
Also published as: JP4334672B2

Abstract

(57)【要約】【課題】高速での画像演算を行うとともに、撮像した
画像をモニター可能な高速視覚センサ装置を提供する。【解決手段】受光素子アレイ１１の各列の受光素子１
２０に対して１個のＡ／Ｄ変換器２１０を対応させたＡ
／Ｄ変換器アレイ１３と、受光素子１２０と１対１に対
応する演算素子４００からなる並列処理機構１４と、Ａ
／Ｄ変換器２１０あるいは演算素子４００の出力信号を
モニタ１８の表示に適したフレームレートにダウンコン
バートする信号変換器１７とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理機能を備
えた高速視覚センサ装置に関する。

【０００２】

【従来の技術】ＦＡシステム等においてロボットを高速
で動作させるためには、高速の画像処理が必要とされ
る。例えば、視覚センサとアクチュエータの間でフィー
ドバックループを形成するロボットの場合、アクチュエ
ータはミリ秒単位で制御可能であるため、本来はこれに
対応した画像処理速度が必要になる。ところが、現状の
ビジョンシステムでは画像処理速度がビデオフレームレ
ートに限られているため、この画像処理速度に合わせた
低速動作しかできず、ロボットの性能を十分に活かしき
れていなかった。

【０００３】一方、高速ＣＣＤカメラの中には１ミリ秒
程度で画像を撮像できるものもあるが、これらは撮像し
た画像をいったんメモリに貯えて、後から読み出して処
理を行う機構になっているため、画像解析などの用途に
は使えるが、実時間性はほとんどなく、ロボット制御な
どの用途には適用できなかった。

【０００４】このような問題を解決するため、画像の取
込部と処理部を一体として取り扱うビジョンチップの研
究が進んでおり、マサチューセッツ工科大学、カリフォ
ルニア工科大学、三菱電機などの研究が知られている。
しかし、これらは主として集積化の容易なアナログの固
定回路を用いており、出力信号の後処理が必要であった
り、画像処理の内容が特定用途に限定されていて汎用性
がないなどの問題点があった。

【０００５】これらに対して汎用的な画像処理を行うこ
とができるビジョンチップとしては、特公平７−６２８
６６号公報に開示された発明（以下、従来技術１と呼
ぶ）が知られている。この発明は、マトリクス状に配置
された受光素子アレイの各受光素子の出力を、それぞれ
１つの対応する演算素子に入力し、並列処理するもので
ある。これにより、演算素子への入力時間、演算時間が
短縮され、各種の演算にも対応できる利点がある。

【０００６】さらに、集積化を進めるために転送ライン
を列毎に最適化した特開平１０−１４５６８０号公報に
開示された技術（以下、従来技術２と呼ぶ）もある。

【０００７】

【発明が解決しようとする課題】こうした視覚センサを
生産ラインにおける検査装置に利用することで、検査時
間の大幅な短縮が可能となるが、実際には、こうした画
像処理と同時に、処理対象の画像を人間が目視によって
確認する必要性が生じる場合が多い。例えば、ベルトコ
ンベア上の製品検査をする場合においては、撮像位置照
明状態、ピント合せ、レンズ系の汚れ、などを目視によ
り確認することは検査状況を把握するためには不可欠で
ある。また、検査方法のアルゴリズムを確定する際に
も、しきい値レベルの設定やマッチングポイントの設定
などにおいて実画像を見ながら、処理の途中結果を画像
としてモニターすることで、効率良く処理アルゴリズム
の評価が行なえることになる。

【０００８】しかしながら、従来技術１あるいは２の装
置では、演算を行なった結果を特徴量（対象物の重心や
検査結果）または制御信号（例えばモータ制御信号）の
形でしか装置外部に出力せず、撮影した画像を効率よく
外部の装置に取り出す機構を有していない。ＣＣＤカメ
ラからの画像をそのまま出力すると、高速度表示に対応
したモニターが必要となるが、そのようなモニターはあ
っても高価であり、ＣＣＤカメラの最高フレームレート
には対応していないのが現状である。

【０００９】また、特開平１０−２１４０７号公報に
は、こうした高速画像処理装置の画像情報と従来の画像
処理装置からの画像情報をオーバーレイ表示すること
で、高速に動く物体を解像度良くモニターする装置が開
示されている（以下、従来技術３と呼ぶ）。しかしなが
ら、この従来技術３においては、出力される画像のフレ
ームレートが従来とほぼ同じビデオレートに制限されて
しまうため、高速に動いている物体を観測する場合にお
いて、必要な情報を取り出すことが難しい。

【００１０】例えば、自動工作機械におけるプレスの瞬
間やドリルの貫通する瞬間、部品を挿入する瞬間やゴル
フや野球におけるボールとクラブ（バット）の当たる瞬
間等の所定のタイミングの映像が重要な意味を有する場
合に、これらを解像度良く表示させることは困難であっ
た。

【００１１】そこで、本発明は、高速での画像演算を行
うとともに、撮像した画像をモニター可能な高速視覚セ
ンサ装置を提供することを課題としている。

【００１２】

【課題を解決するための手段】上記課題を解決するた
め、本発明に係る高速視覚センサ装置は、（１）複数の
受光素子が２次元状に配列されて形成された少なくとも
一つの受光素子アレイと、（２）受光素子アレイの各列
に対応して設けられ、対応する１列中の受光素子から順
次読み出された出力信号をアナログ・デジタル変換する
複数のＡ／Ｄ変換器を有し、当該複数のＡ／Ｄ変換器が
１次元状に配列されて構成されるＡ／Ｄ変換器アレイ
と、（３）受光素子アレイの各受光素子と１対１に対応
して設けられ、Ａ／Ｄ変換器アレイから転送された対応
する受光素子の出力信号に相当するデジタル信号につい
て所定の演算を行う複数の演算素子を有し、当該複数の
演算素子を２次元状に配列して、並列演算処理を行う演
算素子アレイと、（４）Ａ／Ｄ変換器アレイの出力信号
又は演算素子アレイからの出力信号を基にして各出力信
号のフレームレートより低いフレームレートの画像信号
に変換して出力する信号変換器と、（５）信号変換器の
画像信号変換を制御する信号変換制御部と、（６）各構
成要素を制御する制御回路と、を備えていることを特徴
とする。

【００１３】本発明に係る高速視覚センサ装置によれ
ば、受光素子と１対１に配置された演算素子によって並
列演算処理を行うことでリアルタイムでの高速画像処理
が可能となる。そして、演算素子アレイあるいはＡ／Ｄ
変換器アレイからの出力信号をモニター表示に対応した
低いフレームレートの画像信号に変換して出力する信号
変換器を備えているので、受光素子アレイで得られた画
像あるいは画像処理により得られた画像の中から任意の
画像を抽出して表示することができる。

【００１４】この信号変換器の信号入力側にＡ／Ｄ変換
器アレイの出力信号又は演算素子アレイからの出力信号
を少なくとも数フレーム分蓄積記憶するバッファメモリ
をさらに備えていることが好ましい。このようにすれ
ば、特定のタイミングの複数の映像を抽出して表示させ
ることができて好ましい。

【００１５】演算素子に対応して設けられ、Ａ／Ｄ変換
器からの出力信号を所定の演算素子に順次転送する複数
の転送用シフトレジスタをさらに備えている。このよう
にすれば、転送処理と演算処理を並列して処理すること
が可能となるので、無駄のない高速な画像処理が可能と
なる。

【００１６】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態について詳細に説明する。説明の理
解を容易にするため、各図面において同一の構成要素に
対しては可能な限り同一の参照番号を附し、重複する説
明は省略する。

【００１７】まず、図１を参照して本発明に係る高速視
覚センサ装置全体の構成を簡単に説明する。図１は、本
発明に係る高速視覚センサ装置の第一の実施形態のブロ
ック図である。本実施形態の高速視覚センサ装置は、Ｎ
１個×Ｎ２個の２次元状に配置された受光素子１２０か
らなる受光素子アレイ１１と、受光素子アレイ１１の１
列ごとに対応して受光素子から出力された電荷を電圧信
号に変換するＮ２個のチャージアンプ２２１からなる並
列アンプ１２と、チャージアンプからの出力信号をＡ／
Ｄ変換するＮ２個のＡ／Ｄ変換器２１０からなるＡ／Ｄ
変換器アレイ１３と、受光素子１２０と１対１に対応す
るＮ１個×Ｎ２個の演算素子４００からなる並列処理機
構１４と、回路全体に命令信号等を送って制御する制御
回路１５と、制御回路１５からの信号を各回路に送るイ
ンストラクション／コマンドバス１６と、Ａ／Ｄ変換器
アレイ１３又は並列処理機構１４からのデータを表示画
像信号に変換する信号変換器１７および変換した表示画
像信号により画像表示を行うモニタ１８および信号変換
制御部１９から構成されている。

【００１８】図２は、装置の構成例を示したものであ
る。受光素子アレイ１１と演算素子アレイ１４、制御回
路１５などの半導体チップを１つの基板の上にボンディ
ングした図である。チップを直接基板にボンディングす
るため高集積化が可能であり、また、それぞれの装置の
特性に合わせた加工工程を採用できるため、安定した生
産が可能となる。将来的にはプロセス技術の向上により
１チップ上に全ての機能を集積化させることも可能であ
る。

【００１９】続いて、各回路の内部構成について説明す
る。図３は、画像入力部の詳細構成を示している。画像
入力部は、光を検出する受光部１００（図１に示す受光
素子アレイ１１に相当）、受光部１００からの出力信号
を処理する信号処理部２００（図１に示す並列アンプ１
２及びＡ／Ｄ変換器アレイ１３に相当）、受光部１００
及び信号処理部２００に動作タイミングの指示信号を通
知するタイミング制御部３００（図１に示す制御回路１
５の一部に相当）を備えている。

【００２０】最初に、図３により、図１の受光素子アレ
イ１１に相当する受光部１００の構成を説明する。受光
素子１２０は、入力した光強度に応じて電荷を発生する
光電変換素子１３０と、光電変換素子１３０の信号出力
端子に接続され、垂直走査信号Ｖ_i（ｉ＝１〜Ｎ１）に
応じて光電変換素子１３０に蓄積された電荷を出力する
スイッチ素子１４０を１組として構成されている。この
受光素子１２０が第１の方向（以下垂直方向と呼ぶ）に
沿ってＮ１個配置され、各受光素子１２０のスイッチ素
子１４０が電気的に接続されて垂直受光部１１０を構成
している。そして、この垂直受光部１１０を垂直方向に
直交する水平方向に沿ってＮ２個配列することにより受
光部１００が構成されている。

【００２１】次に、同じく図３により、図１では並列ア
ンプ１２及びＡ／Ｄ変換器アレイ１３に相当する信号処
理部２００の構成を説明する。信号処理部２００は、対
応する垂直受光部１１０_j（ｊ＝１〜Ｎ２）から転送さ
れてきた電荷を個別に取り出して、処理し、この電荷強
度に対応するデジタル信号を出力するＡ／Ｄ変換器２１
０_jをＮ２個配置して構成されている。Ａ／Ｄ変換器２
１０_jは、チャージアンプ２２１_jを含む積分回路２２０
_jと比較回路２３０_jと容量制御機構２４０_jの３つの回
路から構成される。本実施形態では、チャージアンプ２
２１をＡ／Ｄ変換器２２１に含む回路構成になってい
る。

【００２２】このうち、積分回路２２０_jは、垂直受光
部１１０_jからの出力信号を入力として、この入力信号
の電荷を増幅するチャージアンプ２２１_jと、チャージ
アンプ２２１_jの入力端子に一方の端が接続され、出力
端子に他方の端が接続された可変容量部２２２_jと、チ
ャージアンプ２２１_jの入力端子に一方の端が接続さ
れ、出力端子に他方の端が接続されて、リセット信号Ｒ
に応じてＯＮ、ＯＦＦ状態となり、積分回路２２０_jの
積分、非積分動作を切り替えるスイッチ素子２２３_jか
らなる。

【００２３】ここで、図４は、この積分回路２２０の詳
細構成図である。本図は、４ビットつまり１６階調の分
解能を持つＡ／Ｄ変換機能を備える積分回路の例であ
り、以下、この回路構成により説明する。可変容量部２
２２は、チャージアンプ２２１の垂直受光部からの出力
信号の入力端子に一方の端子が接続された容量素子Ｃ１
〜Ｃ４と、容量素子Ｃ１〜Ｃ４の他方の端子とチャージ
アンプ２２１の出力端子の間に接続され、容量指示信号
Ｃ₁₁〜Ｃ₁₄に応じて開閉するスイッチ素子ＳＷ１１〜Ｓ
Ｗ１４と、容量素子Ｃ１〜Ｃ４とスイッチ素子ＳＷ１１
〜ＳＷ１４の間に一方の端子が接続され、他方の端子が
ＧＮＤレベルと接続されて、容量指示信号Ｃ₂₁〜Ｃ₂₄に
応じて開閉するスイッチ素子ＳＷ２１〜ＳＷ２４により
構成されている。なお、容量素子Ｃ１〜Ｃ４の電気容量
Ｃ₁〜Ｃ₄は、Ｃ₁＝２Ｃ₂＝４Ｃ₃＝８Ｃ₄ Ｃ₀＝Ｃ₁＋Ｃ₂＋Ｃ₃＋Ｃ₄ の関係を満たす。ここで、Ｃ₀は積分回路２２０で必要
とする最大電気容量であり、受光素子１３０（図３参
照）の飽和電荷量をＱ₀、基準電圧をＶ_REFとすると、Ｃ₀＝Ｑ₀／Ｖ_REF の関係を満たす。

【００２４】再び、図３に戻り、Ａ／Ｄ変換器２１０_j
の積分回路２２０_j以外の回路を説明する。比較回路２
３０_jは、積分回路２２０_jから出力された積分信号Ｖ_S
の値を基準値Ｖ_REFと比較して、比較結果信号Ｖ_Cを出力
する。容量制御機構２４０_jは、比較結果信号Ｖ_Cの値か
ら積分回路２２０_j内の可変容量部２２２_jに通知する容
量指示信号Ｃを出力すると共に、容量指示信号Ｃに相当
するデジタル信号Ｄ１を出力する。

【００２５】続いて、図３に示すタイミング制御部３０
０の構成を説明する。全回路のクロック制御を行う基本
タイミングを発生する基本タイミング部３１０と、基本
タイミング部３１０から通知された垂直走査指示に従っ
て、垂直走査信号Ｖ_iを発生する垂直シフトレジスタ３
２０と、リセット指示信号Ｒを発生する制御信号部３４
０により構成されている。

【００２６】次に、演算素子４００の動作を図５により
説明する。Ａ／Ｄ変換されたデジタル信号は、それぞれ
の受光素子１２０i,jに対応する演算素子４００のレジ
スタマトリックス４０１に送られる。演算素子４００は
それぞれ４近傍接続されているため、インストラクショ
ンで順次隣の演算素子４００に信号を送るように命令を
出すことで転送する演算素子４００の指定ができる。各
垂直受光部１１０jの信号は対応する演算素子４００に
対して、各列が同時に転送されるため、ｎビット×Ｎ２
回のデータ転送で、全受光素子１２０の光電出力データ
が全演算素子４００に転送されることになる。

【００２７】図６は、信号変換器１７の詳細構成を示す
ブロック図である。信号変換器１７内には、一列分の画
像データを所定の画面数分蓄積するデータバッファ１７
１がＮ２個配列され、これらのデータバッファ１７１に
は、デジタル画像信号をアナログ信号に変換するＤ／Ａ
変換器１７２とモニタ１８のフレームレートに合わせて
適切な同期信号を付加することにより画像信号を生成す
る同期信号混合器１７３が接続されて構成される。

【００２８】次に、図１〜図６により、本実施形態の動
作について説明する。

【００２９】まず、リセット信号Ｒを有為に設定し、図
４に示す可変容量部２２２のＳＷ１１〜ＳＷ１４を全て
「ＯＮ」、ＳＷ２１〜ＳＷ２４を全て「ＯＦＦ」状態に
する。これにより、チャージアンプ２２１の入力端子と
出力端子間の容量値をＣ₀に設定する。それと同時に、
図３に示す全てのスイッチ素子１４０を「ＯＦＦ」状態
とし、垂直走査信号Ｖｉをいずれの受光素子１２０も選
択しない状態に設定する。この状態から、リセット指示
信号Ｒを非有為に設定し、各積分回路２２０での積分動
作を開始させる。

【００３０】積分動作を開始させると、図３に示すＮ２
個の各垂直受光部１１０_jにある第１番目の受光素子１
２０_1,jのスイッチ素子１４０のみを「ＯＮ」とする垂
直走査信号Ｖ₁が出力される。スイッチ素子が「ＯＮ」
になると、それまでの受光によって光電変換素子１３０
に蓄積された電荷Ｑ₁は、電流信号として受光部１００
から出力される。つまり、光電変換素子の信号を読み出
すことができる。電荷Ｑ₁は容量値Ｃ₀に設定された可変
容量部２２２に流入する。

【００３１】次に、図４により積分回路２２０内部の動
作を説明する。容量制御機構２４０（図３参照）は、Ｓ
Ｗ１２〜ＳＷ１４を開放した後、ＳＷ２２〜２４を閉じ
る。この結果、積分信号Ｖ_Sは、Ｖ_S＝Ｑ／Ｃ₁ で示す電圧値として出力される。積分信号Ｖ_Sは、比較
回路２３０に入力して、基準電圧値Ｖ_REFと比較され
る。ここで、Ｖ_SとＶ_REFの差が、分解能の範囲以下、す
なわち±（Ｃ₄／２）以下の時は、一致したものとみな
し、更なる容量制御は行わず、積分動作を終了する。分
解能の範囲で一致しないときは、更に容量制御を行い、
積分動作を続ける。

【００３２】例えば、Ｖ_S＞Ｖ_REFであれば、容量制御機
構２４０は、更に、ＳＷ２２を開放した後に、ＳＷ１２
を閉じる。この結果、積分信号Ｖ_Sは、Ｖ_S＝Ｑ／（Ｃ₁＋Ｃ₂）で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較
回路２３０（同）に入力して、基準電圧値Ｖ_REFと比較
される。

【００３３】また、Ｖ_S＜Ｖ_REFであれば、容量制御機構
２４０は、更に、ＳＷ１１及びＳＷ２２を開放した後
に、ＳＷ１２及びＳＷ２１を閉じる。この結果、積分信
号Ｖ_Sは、Ｖ_S＝Ｑ／Ｃ₂ で示す電圧値となる。この積分信号Ｖ_Sは、後続の比較
回路２３０に送出され、基準電圧値Ｖ_REFと比較され
る。

【００３４】以後、同様にして、積分回路２２０→比較
回路２３０→容量制御機構２４０→積分回路２２０のフ
ィードバックループによって、積分信号Ｖ_Sが基準電圧
値Ｖ_R _EFと分解能の範囲で一致するまで、比較及び容量
設定（ＳＷ１１〜ＳＷ１４及びＳＷ２１〜ＳＷ２４のＯ
Ｎ／ＯＦＦ制御）を順次繰り返す。積分動作が終了した
時点のＳＷ１１〜ＳＷ１４のＯＮ／ＯＦＦ状態を示す容
量指示信号Ｃ₁₁〜Ｃ₁₄の値は、電荷Ｑ₁の値に対応した
デジタル信号であり、最上位ビット（ＭＳＢ）の値がＣ
₁₁、最下位ビット（ＬＳＢ）の値がＣ₁₄である。こうし
てＡ／Ｄ変換が行われ、これらの値をデジタル信号Ｄ１
として、演算素子アレイ１４に出力する。以上述べたよ
うに、この装置では、デジタル信号Ｄ１の各ビット値
は、ＭＳＢ側からＬＳＢ側へ１ビットずつ順に定まる。

【００３５】第１番目の受光素子１２０_1,jの光電出力
に相当するデジタル信号の送出が終了すると、リセット
信号Ｒが有為とされ、再び、非有為にして、可変容量部
２２２_jの容量値を初期化した後に、各垂直受光部１１
０_jの第２番目の受光素子１２０_2,jのスイッチ素子１４
０のみを「ＯＮ」とする垂直走査信号Ｖ₂を出力し、上
述と同様の動作により、第２番目の受光素子１２０_2,j
の光電出力を読み出し、これに相当するデジタル信号を
送出する。以下、垂直走査信号を切り替えて、全受光素
子１２０の光電出力を読み出し、相当するデジタル信号
を演算素子アレイ１４に出力する。

【００３６】次に、演算素子４００の動作を図５により
説明する。Ａ／Ｄ変換されたデジタル信号は、それぞれ
の受光素子１２０i,jに対応する演算素子４００のレジ
スタマトリックス４０１に送られる。演算素子４００は
それぞれ４近傍接続されているため、インストラクショ
ンで順次隣の演算素子４００に信号を送るように命令を
出すことで転送する演算素子４００の指定ができる。各
垂直受光部１１０jの信号は対応する演算素子４００に
対して、各列が同時に転送されるため、ｎビット×Ｎ２
回のデータ転送で、全受光素子１２０の光電出力データ
が全演算素子４００に転送されることになる。

【００３７】演算素子４００内部の演算は、必要があれ
ば、各演算素子４００間でそれぞれのレジスタマトリッ
クス４０１に収容された信号の転送を行った後、演算に
必要な信号をレジスタマトリックス４０１からＡラッチ
４０２とＢラッチ４０３に読み出し、ＡＬＵ４０４で所
定の演算を行い、計算結果はレジスタマトリックス４０
１を介して外部回路に出される。演算は全演算素子４０
０において同時に並列処理されるため、極めて高速の演
算が可能である。以下に、「エッジ抽出」を例にとり、
画像処理の実行動作を詳細に説明する。

【００３８】例に挙げる「エッジ抽出」は画像処理にお
いて最も頻繁に利用される処理である。最も簡単に演算
する場合は、隣接する画素の強度値との差分による２近
傍演算が用いられる。これを数式で表すと、Ｐ’（ｘ，ｙ）＝｜Ｐ（ｘ，ｙ）−Ｐ（ｘ−１，ｙ）｜となる。ここで（ｘ，ｙ）は素子の位置座標、Ｐ（ｘ，
ｙ）は画像強度データの値、Ｐ’（ｘ，ｙ）は求めたい
エッジ抽出画像の画像強度データの値である。

【００３９】転送から演算終了までの各演算素子４００
における演算のフロー図を図７に示す。ステップＳ１に
おけるＡ／Ｄ変換器２１０から演算素子４００へのデー
タ転送の際に、Ｐ（ｘ，ｙ）とＰ（ｘ−１，ｙ）に相当
するデータを各演算素子４００内のレジスタマトリック
ス４０１に格納する（ステップＳ２）。これにより、Ａ
／Ｄ変換器アレイ１１からのデータ転送が終了した後の
各演算素子４００間でのデータ転送をできる限り省略し
て、効率的で高速の処理をすることが可能になる。Ａ／
Ｄ変換器２１０から全演算素子４００へのデータ転送が
終了した時点で、レジスタマトリックス４０１に収容さ
れたＰ（ｘ，ｙ）とＰ（ｘ−１，ｙ）のデータを下位ビ
ットからＡラッチ４０２とＢラッチ４０３に読み出し
（ステップＳ３）、ＡＬＵ４０４により、差分を求める
演算を行う（ステップＳ４）。この計算結果はいったん
レジスタマトリックス４０１に格納する（ステップＳ
５）。差分が求まった後、この差分値を再びＡラッチ４
０２に読み出し（ステップＳ６）、ＡＬＵ４０４によ
り、その絶対値を算出し（ステップＳ７）、レジスタマ
トリックス４０１に計算結果を格納し（ステップＳ
８）、外部に出力する（ステップＳ９）。以上の計算処
理は全ての演算素子４００で同時に並列処理されるた
め、非常に高速で演算処理が行われる。

【００４０】画像処理でよく用いられるアルゴリズムの
いくつかについて、本実施形態により演算を行った場合
のステップ数、処理時間の例を表１に示す。

【００４１】

【表１】

【００４２】表１から明らかなように、本実施形態で
は、一般的な画像処理（例えば、平滑化、細線化、コン
ボリューション、相関、マスク処理）演算を完全並列処
理により、非常に高速で行うことができる。したがっ
て、これまでの視覚センサ装置では、演算処理速度が遅
いために制限されていたＦＡロボット制御などの分野へ
の応用が可能になる。

【００４３】Ａ／Ｄ変換器アレイ１３からの出力信号又
は並列処理機構１４からの出力信号は信号変換器１７に
送られ、信号変換制御部１９からの指示によりモニタ１
８で表示するのに適した画像信号に変換される。従来技
術３の装置では、図８に示されるように画像表示のタイ
ミングに合わせて画像転送、処理演算を行う必要が有る
ため、高速での画像処理演算は不可能であった。これに
対して、本実施形態の装置では、画像転送、画像演算を
高速で行い、任意のタイミングの映像をデータバッファ
１７１に蓄積しておいてＤ／Ａ変換器１７２、同期信号
混合器１７３によりモニタ１８側のフレームレートに合
わせた映像信号を生成して出力することで、図９にタイ
ミングチャートを示すように、所定のタイミングの映像
を抽出して時間的に引き延ばして表示することが可能で
ある。

【００４４】例えば、図１０（ａ）〜（ｃ）を参照して
既にチップ５１、５２が実装されている基板５０上にさ
らにチップ５３を装置５４を用いて実装する瞬間の画像
を抽出する例について説明する。図１０（ｂ）が所望の
チップ５３が実装される瞬間の画像であり、図１０
（ａ）、図１０（ｃ）はそれぞれその前後のタイミング
で取得された画像である。

【００４５】このチップ５３が実装される瞬間の画像を
抽出するためには、入力画像の中から、特徴抽出演算に
よって対象画像であるチップ５３を抽出し、その対象が
基板の所定の位置に実装されるタイミングで画像を出力
する。具体的には、まず、入力画像Ｐ（ｘ，ｙ）が並列
処理機構１４に転送され、すでに記憶されている検索画
像ｓ（ｘ，ｙ）（大きさｎ１×ｍ１）を検索する。マッ
チングの演算アルゴリズムは数多く提案されているが、
ここでは最も簡便な演算である差分演算で示す。

【００４６】

【数１】

【００４７】この関数Ｅｒｒｏｒの値の最も小さい位置
から、入力画像Ｐ（ｘ，ｙ）の中から検索画像ｓ（ｎ
１，ｍ１）に一番似ている（誤差の小さい）画像を検索
できる。この最小の誤差が得られた原画像Ｐ（ｘ，ｙ）
を所定のタイミングにおける画像データとして信号変換
制御部１９から信号変換器１７に対して画像信号への変
換を指示することによりこのタイミングの画像（図７
（ｂ）に示されるタイミングの画像）前後の映像をモニ
タ１８に表示させることができる。

【００４８】たとえば、本機能を用いることで、「ドリ
ルが加工対象に接触する瞬間」や「バットがボールにぶ
つかる瞬間」とその前後の、最も重要な情報を含む画像
列を抽出してモニター画像出力することが可能となる。
従来の画像処理装置との整合性も併せ持つ為、すでに利
用している画像処理アルゴリズムをそのまま利用して、
高速対象物の画像処理を実現できる。また、画像処理さ
れた処理画像、例えば、エッジ抽出された画像や、移動
している物体のみを抽出した画像などを出力することも
可能である。

【００４９】特に、本装置においては、並列受光素子ア
レイ１１からの信号を列並列にて転送を行なっており、
並列演算機構１４により並列演算を行なうことで、高速
な演算処理が実現できる。高速移動物体を追跡する場合
に、回転や向きの変化がある場合には、従来のＴＶカメ
ラのような遅いフレームレート（３０Ｈｚ）では、対象
物の画像上の形状が変化してしまうため、フレーム間の
画像から同じ対象物を判断するために非常に複雑なアル
ゴリズムが必要となりリアルタイムに表示させることが
困難であった。一方、本装置のように高いフレームレー
ト（＞１ＫＨｚ）で画像が捉えられる場合には、フレー
ム間の画像の違いは小さいために、上記のような簡単な
アルゴリズムで高速にマッチングが行なえることにな
り、対象物を正確に追跡することが可能となる。

【００５０】本発明が目指しているのは、高速画像処理
された結果から、所望のタイミングの画像を抽出してモ
ニターする機能を有する画像センサ装置である。処理速
度の目安としては、ＦＡロボットの制御においては、対
象物の移動速度とロボットのアクチュエータの速度（１
〜１０ミリ秒）から必要な処理速度が決まる。本実施形
態では、この処理速度は、Ａ／Ｄ変換器２１０における
Ａ／Ｄ変換処理速度によって決まるが、Ａ／Ｄ変換器か
らの出力のビット数は可変できるため、より高速演算が
必要な場合には、ビット数を減らすことによって高速化
が可能である。例えば、８ビット変換に１０μ秒かかっ
ているような場合、４ビットにデータ長を削減すること
で、ほぼ２倍の変換速度が実現できることになる。

【００５１】図１１は、本発明に係る高速視覚センサ装
置の第二の実施形態を示す概略ブロック図である。この
実施形態では、図１に示される第一の実施形態の並列処
理機構１４の演算素子４００にそれぞれ転送専用シフト
レジスタ４１０を設けている点が相違する。このよう
に、データ転送専用のシフトレジスタを設けることで、
演算素子４００で演算処理を行っている間に、次のフレ
ームの画像データを転送したり、演算に必要なデータの
転送を行うことができるので、転送と演算を並列処理す
ることでより高速の画像処理を行うことができて好まし
い。

【００５２】ここでは、信号変換器に複数の画面分のデ
ータバッファを有する例について説明してきたが、特定
のタイミングの静止映像のみを取得すれば充分である場
合には、データバッファを省略することでより簡易な装
置構成とすることも可能である。

【００５３】

【発明の効果】以上説明したように本発明によれば、並
列処理による高速の画像処理と目視検査等に必要となる
所望のタイミングでの高速処理画像のモニター出力が可
能であり、例えば、注目すべき画像のみを抽出したモニ
タ表示が可能となる。

【００５４】特に、信号変換器に複数の画面の画像情報
を蓄積可能なデータバッファを設けることで、所望のタ
イミング付近の映像を時間的に引き延ばしてモニタ表示
することも可能となる。

【００５５】また、Ａ／Ｄ変換器から演算素子へのデー
タ転送時に、転送用シフトレジスタを用いて、演算処理
と転送を独立に実行できる機能を実現することで、実時
間処理が可能となる。

【図面の簡単な説明】

【図１】本発明に係る高速視覚センサ装置の第一の実施
形態のブロック図である。

【図２】図１の実施形態を示す概略構成図である。

【図３】図１の実施形態の受光素子アレイ、並列アンプ
及びＡ／Ｄ変換器アレイの回路構成図である。

【図４】図１の実施形態の積分回路の詳細回路構成図で
ある。

【図５】図１の実施形態の演算素子のブロック図であ
る。

【図６】図１の実施形態の信号変換器の詳細ブロック図
である。

【図７】図５の演算素子の２近傍演算時のフロー図であ
る。

【図８】従来技術における演算処理と画像表示のタイミ
ングチャートである。

【図９】図１の実施形態における演算処理と画像表示の
タイミングチャートである。

【図１０】抽出する画像イメージを示す図である。

【図１１】本発明に係る高速視覚センサ装置の第二の実
施形態のブロック図である。

【符号の説明】

１１…受光素子アレイ、１２…アンプ、１３…Ａ／Ｄ変
換器アレイ、１４…演算素子アレイ、１５…制御回路、
１６…インストラクション／コマンドバス、１７…信号
変換器、１８…モニター、１００…受光部、１１０…垂
直受光部、１２０…受光素子、１３０…光電変換素子、
１４０…スイッチ素子、２００…信号処理部、２１０…
Ａ／Ｄ変換器、２２０…積分回路、２２１…チャージア
ンプ、２２２…可変容量部、２２３…スイッチ素子、２
３０…比較回路、２４０…容量制御機構、３００…タイ
ミング制御部、３１０…基本タイミング部、３２０…垂
直シフトレジスタ、３４０…制御信号部、４００…演算
素子、４０１…レジスタマトリックス、４０２…Ａラッ
チ、４０３…Ｂラッチ、４０４…ＡＬＵ、４１０…転送
用シフトレジスタ、５００…対象物、５０１…テレビカ
メラ、５０２…画像処理装置、Ｃ１〜Ｃ４…容量素子、
ＳＷ１１〜ＳＷ１４、ＳＷ２１〜ＳＷ２４…スイッチ素
子。

───────────────────────────────────────────────────── フロントページの続き (72)発明者水野誠一郎静岡県浜松市市野町1126番地の１浜松ホトニクス株式会社内 (72)発明者山川博雄静岡県浜松市市野町1126番地の１浜松ホトニクス株式会社内Ｆターム(参考） 5C024 AA01 AA20 CA16 CA23 CA24 FA01 FA11 GA31 HA14 HA23 JA21

Claims

【特許請求の範囲】

【請求項１】複数の受光素子が２次元状に配列されて
形成された少なくとも一つの受光素子アレイと、前記受光素子アレイの各列に対応して設けられ、対応す
る１列中の受光素子から順次読み出された出力信号をア
ナログ・デジタル変換する複数のＡ／Ｄ変換器を有し、
当該複数のＡ／Ｄ変換器が１次元状に配列されて構成さ
れるＡ／Ｄ変換器アレイと、前記受光素子アレイの各受光素子と１対１に対応して設
けられ、前記Ａ／Ｄ変換器アレイから転送された対応す
る受光素子の出力信号に相当するデジタル信号について
所定の演算を行う複数の演算素子を有し、当該複数の演
算素子を２次元状に配列して、並列演算処理を行う演算
素子アレイと、前記Ａ／Ｄ変換器アレイの出力信号又は前記演算素子ア
レイからの出力信号を基にして前記各出力信号のフレー
ムレートより低いフレームレートの画像信号に変換して
出力する信号変換器と、前記信号変換器の画像信号変換を制御する信号変換制御
部と、前記各構成要素を制御する制御回路と、を備えていることを特徴とする高速視覚センサ装置。
【請求項２】前記信号変換器の信号入力側に前記Ａ／
Ｄ変換器アレイの出力信号又は前記演算素子アレイから
の出力信号を少なくとも数フレーム分蓄積記憶するバッ
ファメモリをさらに備えていることを特徴とする請求項
１記載の高速視覚センサ装置。
【請求項３】前記演算素子に対応して設けられ、前記
Ａ／Ｄ変換器からの出力信号を所定の前記演算素子に順
次転送する複数の転送用シフトレジスタをさらに備えて
いることを特徴とする請求項１又は２のいずれかに記載
の高速視覚センサ装置。