JP2004362462A - Image detection processor - Google Patents

Image detection processor Download PDF

Info

Publication number
JP2004362462A
JP2004362462A JP2003162794A JP2003162794A JP2004362462A JP 2004362462 A JP2004362462 A JP 2004362462A JP 2003162794 A JP2003162794 A JP 2003162794A JP 2003162794 A JP2003162794 A JP 2003162794A JP 2004362462 A JP2004362462 A JP 2004362462A
Authority
JP
Japan
Prior art keywords
image detection
detection processing
image
signal
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003162794A
Other languages
Japanese (ja)
Inventor
Yasuhiro Komiya
泰宏 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Precision Circuits Inc
Original Assignee
Nippon Precision Circuits Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Precision Circuits Inc filed Critical Nippon Precision Circuits Inc
Priority to JP2003162794A priority Critical patent/JP2004362462A/en
Publication of JP2004362462A publication Critical patent/JP2004362462A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image detection processor capable of extracting a characteristic amount of an input image from input image data at a high speed, and applying it to pattern recognition or the other image processing. <P>SOLUTION: In this image detection processor, a plurality of image detection processing elements each comprising a photodetector for performing photoelectric conversion, a converter for converting a signal from the photodetector into a digital signal, and an adder for allowing input of the digital signal are arranged on a plane. The image detection processor has: a characteristic amount extraction circuit for selectively taking AND of the digital signal of the image detection processing element to the digital signal from another adjacent image detection processing element, and inputting a result to the adder; a cumulative adder configured by sequentially connecting the adders of the plurality of image detection processing elements; a control circuit for selectively inputting the digital signals of the plurality of image detection processing elements to the cumulative adder; and an output part supplied with characteristic amount data outputted from the cumulative adder on the basis of the image data detected by the photodetectors. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル画像検出処理装置に関し、さらに詳しくは、入力された画像データから画像の特徴量を高速に抽出することのできるデジタル画像検出処理装置に関する。
【0002】
【従来の技術】
特許文献1には、平面上に配された複数の画像検出処理要素を含んだ画像検出処理装置が開示されている。この画像検出処理装置に移動する対象物体の画像が入力されると、移動対象物体の2値画像を背景画像から抽出してその対象物体の画像面積とその重心座標を高速に計算できる。しかし、この特許文献1には、入力画像データから高速に入力画像データ中の特徴量を抽出することは開示されていない。しかし、パターン認識やその他の画像処理においては、高速に画像データの特徴量を抽出することが必要である。
【0003】
【特許文献1】
特開2001−195564公報
【0004】
【発明が解決しようとする課題】
従って、本発明は入力画像データから高速に入力画像データの特徴量を抽出して、パターン認識やその他の画像処理に応用することがでる画像検出処理装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
請求項1に記載の本発明によれば、光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素の複数個が平面上に配列されてなる画像検出処理装置であって、上記画像検出処理要素の上記デジタル信号を隣接する他の上記画像検出処理要素からの上記デジタル信号と選択的に論理積計算してその論理積計算結果を上記加算器に入力する特徴量抽出回路と、上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路ととを更に備えていることを特徴とする画像検出処理装置が提供される。
【0006】
この請求項1の画像検出処理装置によれば、特徴抽出回路が選択的に隣り合う画像検出処理要素からのデジタル信号の論理積を計算する。すなわち、特徴抽出回路は、自身の画像検出処理要素の出力を加算器へそのまま出力するか、自身の画像検出処理要素の出力と自身の画像検出処理要素の右隣り、直下、及び右下の位置にある画像検出処理要素の出力とを選択的に論理積演算してその論理積計算結果を加算器へ出力する。この結果、図4に示す10種類の画素位置パターンに基づく10種類の物体のパターン的特徴P0乃至P9を抽出して、各々のパターン的特徴P0乃至P9の数を高速に出力することができる。従って、パターン認識やその他の画像処理に利用することができる。
【0007】
請求項2に記載の本発明によれば、上記出力部から供給される上記光検出器によって検出される画像データに基づき上記累積加算器から出力される複数の特徴量データに基づいて、上記画像データのオイラー数を求める請求項1に記載の画像検出装置が提供される。
【0008】
この請求項2の画像検出処理装置によれば、入力画像データ中の物体の個数をオイラー数により高速に認識することができ、パターン認識やその他の画像処理に利用することができる。
【0009】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。図1は本発明による画像検出処理装置の一つの実施の形態を説明するための概略的な平面図である。
【0010】
本実施の形態の画像検出処理装置は、例えば、ロボットの視覚センサや制御装置のパターン認識装置に使用され、入力される画像データから、画像データの特徴量を高速に抽出して計算するものである。
【0011】
図1において、1−1乃至1−64は画像検出処理要素であり、8×8個の格子配列(アレイ)構造として平面的に配置されていて、この上に図示しない適当な光学系により対象物体を含む映像が結像されて、8×8個の画素からなる入力画像を発生される。なお、この画像検出処理要素の数は用途に応じて適宜選択できる。各画像検出処理要素は、図2を参照して後で説明するように、光検出器と光検出器からのアナログ電気信号を任意の閾値(外部信号VREFにて設定される)に基づいて“0”と“1”の2値化信号にデジタル変換する変換器とを備えている。
【0012】
各画像検出処理要素は、その上下左右に隣接する4個の画像検出処理要素に対して上記2値化信号をターゲット画像信号として出力する。例えば、画像検出処理要素1−11は画像検出処理要素1−3、1−10、1−12、1−19に対して、上記2値化信号をターゲット画像信号として出力する。画像検出処理要素では、その4個の画像検出処理要素からのターゲット画像信号とそれ自身のターゲット画像信号とに基づいてターゲット(対象物体)を背景から抽出するためのウインドウ画像信号を生成する。
【0013】
各画像検出処理要素は図3を参照して後で説明する特徴量抽出回路を含んでいる。また、各画像検出処理要素は図5を参照して後で説明する第1の加算器をそれぞれ含み、特徴量抽出回路からの出力が入力している。各画像検出処理要素の第1の加算器はその右隣の画像検出処理要素の第1の加算器と接続され、例えば、画像検出処理要素1−11の第1の加算器の出力は画像検出処理要素1−12の第1の加算器に入力される。このように行毎の画像検出処理要素の第1の加算器は順次接続されて第1の累積加算器を構成している。
【0014】
各画像検出処理要素に対しては、共通信号としてCLOCK1、CLOCK2、LOAD、SELの各信号が入力される。クロック信号CLOCK1、信号LOADは初期画像設定用である。例えば、クロック信号CLOCK1は周波数20MHz〜100MHz程度のクロック信号である。クロック信号CLOCK2、信号SELは画像演算用の信号であり、例えば、クロック信号CLOCK2は周波数1MHz〜10MHz程度のクロック信号である。
【0015】
2−1乃至2−8は第2の加算器としての直列型加算器で、画像検出処理要素の行ごとに配置され、対応する画像検出処理要素からの出力を一方の入力に受ける。また、各直列型加算器の出力は順次下側に隣接する直列型加算器の他方の入力に接続されて第2の累積加算回路を構成する。本実施の形態では、画像検出処理要素1−1乃至1−8に対して直列型加算器2−1が対応し、画像検出処理要素1−8の出力が直列型加算器2−1の一方の入力に接続される。直列型加算器2−1の出力は、直列型加算器2−2の他方の入力に接続される。直列型加算器2−8の出力が全体の出力信号となっており、光検出器によって検出される画像データに基づく処理データが供給される出力部を構成する。それぞれの直列型加算器の構成の詳細については、図6を参照して後で詳細に説明する。
【0016】
3は行デコーダ回路で、本実施の形態では、図示しないが4本の行選択信号により、Y0〜Y7までの出力信号を制御する。4は列デコーダ回路で、本実施の形態では、図示しないが4本の列選択信号により、X0〜X7までの出力信号を制御するものであり、選択信号の設定は行デコーダ3回路と同様である。これら行デコーダ回路3、列デコーダ回路4は画像検出処理要素のターゲット画像信号を選択的に第1の累積加算器に入力せしめる制御回路を構成する。本実施の形態では画像検出処理要素の選択は、図示しない外部のホストから行デコーダ回路3、列デコーダ4回路に選択パターンをダウンロードすることによって行うこととするが、これに限るものではない。例えば、画像検出処理要素と共にROMを1チップに集積化し、ROMに目的の画像演算に応じた選択パターンを記憶させて画像検出処理要素の選択に用いても良いし、外部からの制御信号に応答して選択パターンを発生させるデコーダを設けても良い。
【0017】
次に、図2を参照して本実施の形態による各画像検出処理要素1−1乃至1−64の構成の一部を詳細に説明する。5は光検出器としての光電変換部であり、フォトダイオードからなり、入射した光の強さに応じたアナログ電気信号を出力する。6は電圧保持部であり、光検出器5からのアナログ電気信号出力の電圧を保持する。7は変換器としてアナログ電気信号の2値化を行なう変換回路であり、コンパレータからなり、光電変換部5からの入射光に応じたアナログ電気信号を電圧保持部6を介して入力して、閾値より小さいか又は大きいかに応じて“0”又は“1”のいずれかの値に変換して2値化する。本実施の形態では、閾値入力器8が外部信号VREFによる制御を受けて2値化変換回路7へ任意の閾値を設定する。本実施の形態では、任意の閾値を外部より設定することができ、2値化変換回路7はアナログ電気信号を、例えば、閾値V1又はV0と比較して、各閾値より明るいときに“1”の信号を出力し、閾値より暗いときに“0”の信号を出力する。
【0018】
2値化変換回路7により変換された2値化データは、セレクタ9に供給される。そして、2値化データはセレクタ9において制御信号BWにより閾値より明るいときに“1”の信号を出力し、閾値より暗いときに“0” の信号を出力するか、或いはこれらとは逆の論理で出力するかが選択されて、出力Bとして論理積回路10に出力される。
【0019】
論理積(AND)回路10は、セレクタ9からの2値化された信号Bと後述する5入力論理和(OR)回路12からの信号Iが共に“1”であるときのみ、“1”の信号を出力するが、それ以外のときは“0”を出力する。13はマルチプレクサであり、本実施の形態では、図1の信号LOADが“H”(又は“1”をいう、以下、同じ)のとき、論理積回路10からの信号を出力し、“L”(又は“0”をいう、以下、同じ)のとき、後述する別の論理積回路11からの信号を出力する。14はフリップフロップ回路でマルチプレクサ13の信号を図1のクロック信号CLOCK1により取り込んで出力する。
【0020】
フリップフロップ回路14の出力は、自身の画像検出処理要素内の5入力論理和回路12に出力されるとともに左右及び上下に隣接する4個の画像検出処理要素内の5入力論理和回路12にも出力されており、5入力論理和回路12からウインドウ画像信号が出力される。このウインドウ画像信号は、移動する対象物体の画像を捕捉して背景画像から抽出するためのものである。本実施の形態では移動する対象物体の画像を背景画像から抽出せずに行なうことも、又は、移動する対象物体の画像を背景画像から抽出して行なうこともできる。もし、移動する対象物体を背景から抽出しない場合は、全ての画像検出処理要素1−1乃至1−64に対して、信号LOADを“L”にして、フリップフロップ回路14にマルチプレクサ13を介して論理積回路11から“H”(又は“1”)の値を取り込んでおけばよい。すると、フリップフロップ回路14の出力Tと5入力論理和回路12の出力Iは全て“H”(又は“1”)となる。そして、論理積回路10は、セレクタ9からの出力Bそのものを出力することになる。一方、移動する対象物体の画像を背景から抽出して処理する場合は、行デコーダ回路3と列デコーダ回路4により移動する対象物体の画像に対応した特定の画像検出処理要素についてのみ、信号LOADを“L”にして、フリップフロップ回路14にマルチプレクサ13を介して論理積回路11から“H”(又は“1”)の値を取り込んでおけばよい。すると、対象物体の画像に対応した特定の画像検出処理要素のフリップフロップ回路14の出力Tと5入力論理和回路12の出力Iが“H”(又は“1”)となり、ウインドウ画像が生成される。
【0021】
次に、図3を参照して、図2のフリップフロップ回路14の出力に接続される各画像検出処理要素に含まれる特徴量検出回路15を説明する。特徴量検出回路15においては、自身の画像検出処理要素のフリップフロップ回路14の出力G(x、y)と、右隣りの画像検出処理要素のフリップフロップ回路14からの出力G(x+1、y)と、真下の画像検出処理要素のフリップフロップ回路14からの出力G(x、y+1)と、右下の画像検出処理要素のフリップフロップ回路14からの出力G(x+1、y+1)とがそれぞれセレクタ回路15b乃至15eを介して選択的に論理積回路15aに入力していて、選択的に論理積(AND)演算か行なわれる。そして、この論理積回路15aからの出力される論理積演算結果は図5に示す各画像検出処理要素の加算器66へ入力される。セレクタ回路15b乃至15eには、自身、右隣り、真下又は右下からの画像検出処理要素のフリップフロップ回路14の出力G(x、y)、G(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号の“1”とがそれぞれ入力されている。セレクタ回路15b乃至15eは、制御信号SEL0、SEL1、SEL2、SEL3によりそれぞれ選択された時、自身、右隣り、真下又は右下からの画像検出処理要素のフリップフロップ回路14の出力G(x、y)、G(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号“1”の論理積を取りその結果を論理積回路15aへ入力する。セレクタ回路15b乃至15eは、制御信号SEL0、SEL1、SEL2、SEL3により選択されない時は、それぞれフリップフロップ回路14の出力G(x、y)、G(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号の“1”を反転した“0”との論理積を取りその結果を論理積回路15aへ入力する。
【0022】
特徴量検出回路15は、セレクタ回路15b乃至15eへの制御信号SEL0乃至SEL3を制御することにより、図4に示されるように自身の画像検出処理要素を左上隅に配した10種類の画素パターンP0乃至P9を検出する。例えば、画素パターンP0は、SEL0によりセレクタ15bを選択してG(x、y)の出力と2進値信号“1”との論理積を計算してその結果を論理積回路15aに入力して、他のセレクタ15c乃至15eはSEL1乃至3を選択せずにG(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号の“1”を反転した“0”との論理積を取りその結果を論理積回路15aへ入力する。すると、論理積回路15aからは、図4のP0の画素パターンに一致した時にのみ、2進値信号“1”が出力される。
【0023】
次に、例えば、画素パターンP4は、SEL1とSEL2によりセレクタ15cと15dを選択してG(x+1、y)とG(x、y+1)の出力と2進値信号“1”との論理積を計算してその結果を論理積回路15aに入力して、他のセレクタ15bと15eはSEL0とSEL3を選択せずにしてG(x、y)又はG(x+1、y+1)と2進値信号の“1”を反転した“0”との論理積を取りその結果を論理積回路15aへ入力する。すると、論理積回路15aからは、図4のP4の画素パターンに一致した時にのみ、2進値信号“1”が出力される。
【0024】
次に、例えば、画素パターンP9は、SEL0乃至SEL3によりセレクタ15b乃至15eを全て選択してG(x、y)、G(x+1、y)、G(x、y+1)、G(x+1、y+1)の出力と2進値信号“1”との論理積を計算してその結果を論理積回路15aに入力する。すると、論理積回路15aからは、図4のP9の画素パターンに一致した時にのみ、2進値信号“1”が出力される。このようにして、図4に示された2x2画素の全ての画素パターンP0乃P9について、パターン一致があったときに、特徴量検出回路15は2進値信号“1”を出力することが理解できる。このようにして、特徴量検出回路15は、セレクタ回路15b乃至15eの制御信号SEL0乃至SEL3を制御して10種類の画素パターンP0乃至P9を検出して、画素パターンが検出された場合に2値化信号“1”を出力する。
【0025】
この画素パターンP0乃至P9を使用してオイラー数による画面内の孤立した図形の数が計算できる。図5を参照すると、図5の(a)は、画素パターンP0に対応していて、画素の1つ1つを頂点とする。(b)は、それぞれ画素パターンP1、P2、P3、P4に対応していて、隣り合う2つの画素の対を辺とする。最小の長さの辺は(b)の4通りある。(c)は、それぞれ画素パターンP5、P6、P7、P8に対応していて、互いに隣り合う3つの画素の組を面(又は、三角形)とする。最小の面積を持つ面は(c)の4通りである。(d)は、画素パターンP9に対応していて、立体(又は、四面体)である。
【0026】
どんな複雑な形状をした図形、例えば、(e)、でも、(a)、(b)、(c)の9つの画素パターンP0乃至P8の図形の組み合せで表わすことができる。すなわち、最後まで細かく分割して行くと9つの画素パターンP0乃至P8の図形の集まりとなる。
【0027】
オイラーの定理により、繋がっている平面図形のオイラー数は、
[頂点の数]−[辺の数]+[面の数]=1 (式1)
である。(e)の図形では、(a)の頂点の数は12、(b)の辺の数は18、(c)の面の数は7である。従って、
12−18+7=1
となる。繋がっていない図形であれば、夫々の図形のオイラー数が1であるので、画面全体で式1を当てはめると、分離されている図形の数が計算できることになる。
【0028】
このようにして、特徴量検出回路15で、頂点P0、辺P1乃至P4、面P5乃至P8をそれぞれ検出してこれらの数を計算して、式1に当てはめることで、画面中にいくつの分離した図形が存在するかが容易に求められる。
【0029】
但し、この際、4つの頂点が隣り合った4面体(立体)のP9の画素パターンは、図5の(f)のように、頂点が4、辺5、面2として計算したい。しかし、実際は、特徴量検出回路15で図5の(e)のように、4つの頂点が隣り合った4面体(立体)のP9の画素パターンは、頂点4、辺6、面4として数えられる。これは、頂点4、辺6、面4といえば、3次元空間では4面体のことである。ならば、これを2次元平面に射影された4面体と見なせばよい。多面体のオイラー数は、2である。オイラーの定理を3次元空間に拡張すれば、
[頂点の数]−[辺の数]+[面の数]−[立体の数]=1 (式2)
が成り立つ。
【0030】
そこで、互いに隣り合う4つの画素の組を立体(4面体)として、今までの9種の画素パターンP0乃至P8に、画素パターンP9を加えて、10種の画素パターンについて特徴量検出回路15で検出してそれぞれの数を計算して、式2のオイラーの定理を用いて画面内に孤立している図形の数を求めることができる。
【0031】
すなわち、
平面のオイラー数=頂点の数(P0)−辺の数(P1+P2+P3+P4)+面の数(P5+P6+P7+P8)=1
立体のオイラー数=頂点の数(P0)−辺の数(P1+P2+P3+P4)+面の数(P5+P6+P7+P8)=2
である。そこで、2×2の局所領域を立体に見立てて、その中のパターンを頂点、辺、三角形、四面体と捉えることで、式2で物体の個数を検出できる。すなわち、
[物体の個数]=[1点(頂点)の数]−[連続する2点(辺)の数]+[互いに隣り合う3点(面:三角形)]の数−[互いに隣り合う4点(立体:四面体)の数]である。つまり、
物体(便宜上立体とみる)の個数=P0の総数−(P1の総数+P2の総数+P3の総数+P4の総数)+(P5の総数+P6の総数+P7の総数+P8の総数)−P9の総数である。
【0032】
その他、画素パターンP0乃至P9を使用してできることは、例えば、穴の無い凸な物体の縦、横、及び斜めの長さの計算である。すなわち、
縦の長さ=P0の総数−P1の総数
横の長さ=P0の総数−P2の総数
右下方向の長さ=(P0の総数−P4の総数)/√2(幅が1ドットの部分がない場合)
右上方向の長さ=(P0の総数−P3の総数)/√2(幅が1ドットの部分がない場合)
以上の様にして、10種類の画素パターンP0乃至P9の特徴量を用いたパターンの認識が可能である。
【0033】
次に、図5を参照して、各画像検出処理要素1−1乃至1−64に含まれる加算器66を説明する。この加算器66は、60は論理積回路であり、第3図の特徴量検出回路15の出力と論理積回路11の出力が共に“1”であったときに“1”の信号を出力する。論理積回路11は、制御回路としての行デコーダ3の出力と制御回路としての列デコーダ4の出力が共に“1”であったとき、“1”の信号を出力する。例えば、画像検出処理要素1−11では、行デコーダ3の出力Y1と列デコーダ4の出力X2がともに“1”であった場合に“1”の信号を出力する。
【0034】
63はマルチプレクサで、この実施例では、図1の信号SELが“H”のとき、論理積回路60からの信号を出力し、“L”のときに後述するフリップフロップ回路64の信号を出力する。フリップフロップ回路64は、後述する加算回路65のCARRY信号を図1のクロック信号CLOCK2により取り込んで出力する。半加算器からなる加算回路65は、マルチプレクサ63の出力と隣接する画像検出処理要素の半加算回路のSUM信号との算術和を算出し、SUM信号とCARRY信号を出力する。例えば、画像検出処理要素1−11では、マルチプレクサ63の出力と画像検出処理要素1−10における加算回路65のSUM信号とが、共に“L”であればSUM信号及びCARRY信号がともに“L”となり、一方が“L”で他方が“H”であればSUM信号が“H”、CARRY信号が“L”となり、共に“H”であればSUM信号が“L”、CARRY信号が“H”となる。論理積回路60、論理積回路11、マルチプレクサ63、フリップフロップ64、加算回路65から第1の加算器66が構成されている。前述した通り、行毎の画像検出処理要素の第1の加算器66は順次接続されて第1の累積加算器を構成している。
【0035】
次に図7を参照して、直列型加算器2−1乃至2−8の構成の詳細について説明する。図7は直列型加算器の1つ、例えば2−2を示す。16は全加算器からなる加算回路で、上記画像検出処理要素のSUM信号と後述するフリップフロップ回路17と前段の加算回路16のSUM信号との算術加算演算を行い、SUM信号とCARRY信号とを出力する。例えば、直列型加算器2−2の場合、画像検出処理要素1−16の出力と直列型加算器2−1の出力とフリップフロップ回路17の出力とを入力とし、SUM信号は2−3の直列型加算器に出力され、CARRY信号はフリップフロップ回路17に出力される。加算回路16は3つの入力の状態が、すべて“L”のときにはSUM信号及びCARRY信号がともに“L”となり、何れか一つだけ“H”のときにはSUM信号が“H”、CARRY信号が“L”となり、二つが“H”のときにはSUM信号が“L”、CARRY信号が“H”となり、全てが“H”のときにはSUM信号及びCARRY信号がともに“H”となる。17はフリップフロップ回路であり、加算回路16のCARRY信号を上述のクロック信号CLOCK2により取り込んで出力する。
【0036】
次に、本実施の形態の画像検出処理装置の一般的な動作を説明する。まず、内部回路の初期化を行うため、行デコーダ3、列デコーダ4をすべて非選択となるように設定し、信号SELでマルチプレクサ63から画素選択信号が出力されるように設定する。この状態でクロック信号CLOCK2が1クロック以上入力されると各画像検出処理要素内のフリップフロップラッチ回路64はクリアされる。また、この状態を維持したまま更にクロック信号CLOCK2を6クロック以上入力すると、各直列加算器内のラッチ回路17も同様にクリアされる。
【0037】
次にウインドウ画像信号の設定を行う。ウインドウ画像信号は背景から移動するターゲット(対象物体)の画像を分離するためのものである。信号LOADでマルチプレクサ13から画素選択信号が出力されるように設定し、行デコーダ3、列デコーダ4の設定することでウインドウ画像の初期設定を行う。行デコーダ3、列デコーダ4がそれぞれすべての出力が選択されるように設定すると、ウインドウ画像の初期値は画面全体となる。
【0038】
次に画像の取り込みが行われる。適切な結像光学系を用いて対象物体の像を、平面状に配列された画像検出処理要素上に結像させる。結像光学系は、デジタルスチルカメラ等に用いられているようなレンズ光学系のもので良い。それぞれの画像検出処理要素では、まず、光電変換部5において、対象物体の明暗の情報を、結像された画像の光量に応じたアナログ信号に変換する。このアナログ信号は前述した方法により2値化変換回路7によって、“L”(又は“0”、以下同じ)あるいは“H”(又は“1”、以下同じ)の値を持つ2値化画像信号に変換される。
【0039】
2値化画像信号は、論理積回路10において上記のウインドウ画像信号との論理積演算をおこないターゲット画像信号に変換される。ターゲット画像信号はマルチプレクサ13を介してフリップフロップ回路14に出力され、クロック信号CLOCK1のタイミングで取り込まれる。フリップフロップ回路14に取り込まれたターゲット画像信号は次のクロック信号CLOCK1のタイミングでのウインドウ信号を生成するために5入力論理和回路12に入力されると共に、特徴量検出回路15にも入力される。
【0040】
フリップフロップ回路14の出力は、自身の画像検出処理要素内の5入力論理和回路12に出力されるとともに隣接する4個の画像検出処理要素内の5入力論理和回路12にも出力されており、5入力論理和回路12からウインドウ画像信号が出力される。
【0041】
一方、特徴量検出回路15に入力したフリップフロップ回路14の出力は、前述した通り、10種の画素パターンP0乃至P9を検出するために、右隣り、真下、右下の画像検出処理要素のフリップフロップ14から出力と、選択的に論理積演算されて、10種の画素パターンP0乃至P9が検出される。10種の画素パターンのいずれかが検出されると、特徴量検出回路15は、第1の加算器66へ“1”(又は“H”)の2値化信号を出力する。
【0042】
次に、特徴量検出回路15で検出した各々の画素パターンP0乃至P1について、その総数を画像検出処理装置で計算する演算動作が行なわれる。この演算動作は特許文献1に詳述されている対象物体(ターゲット)画像の画素面積(ゼロ次モーメント)を計算する動作と同じであるので、詳述しない。
【0043】
各々の画素パターンP0乃至P1の総数は画像検出処理装置の出力部(2−8)から、図示しないホストコンピュータ等に供給され、そこで式2にあてはめることで、入力画像中の分離した図形の総数を求めることができる。また、図示しないホストコンピュータ等によりその他のパターン認識に利用できる。
【0044】
【発明の効果】
以上説明したように、請求項1の本発明によれば、画素位置パターンに基づく物体のパターン的特徴を抽出して、各々の特徴の総数を高速に出力することができる。従って、パターン認識やその他の画像処理に利用することができる。
【0045】
請求項2の本発明によれば、入力画像データ中の物体の個数をオイラー数により高速に認識することができ、パターン認識やその他の画像処理に利用することができる。
【図面の簡単な説明】
【図1】本発明の1つの実施の形態による画像検出処理装置の構成を説明する概略的な平面図。
【図2】図1に示す画像検出処理装置の画像検出処理要素の一部を説明するためのブロック図。
【図3】図1に示す画像検出処理要素に含まれる特徴量検出回路を説明するブロック図。
【図4】図3に示す特徴量検出回路により検出される10種の画素パターンを説明するための図。
【図5】図4に示す10種の画素パターンに基づいて画像の図形の数を計算する方法を説明する図。
【図6】図1に示す画像検出処理要素に含まれる第1の加算器を説明するためのブロック図。
【図7】図1に示す画像検出処理装置に含まれる直列型加算器を説明するためのブロック図。
【符号の説明】
1−1乃至1−64 画像検出処理要素
2−1乃至2−8 直列型加算器
3 行デコーダ回路(制御回路)
4 列デコーダ回路(制御回路)
5 光電変換部(光検出器)
6 電圧保持部
7 2値化変換回路(変換器)
8 閾値入力器
9 セレクタ
10 論理積回路
11 論理積回路
12 5入力論理和回路
13 マルチプレクサ
14 フリップフロップ回路
15 特徴量検出回路
16 加算回路(第2の加算器、第2の累積加算器)
17 フリップフロップ回路
65 加算回路
66 第1の加算器(第1の累積加算器)
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital image detection processing device, and more particularly, to a digital image detection processing device capable of extracting a feature amount of an image from input image data at high speed.
[0002]
[Prior art]
Patent Literature 1 discloses an image detection processing device including a plurality of image detection processing elements arranged on a plane. When an image of a moving target object is input to the image detection processing device, a binary image of the moving target object is extracted from the background image, and the image area of the target object and its center of gravity can be calculated at high speed. However, Patent Document 1 does not disclose extracting a feature amount in input image data from input image data at high speed. However, in pattern recognition and other image processing, it is necessary to rapidly extract a feature amount of image data.
[0003]
[Patent Document 1]
JP 2001-195564 A
[Problems to be solved by the invention]
Accordingly, it is an object of the present invention to provide an image detection processing device that can extract a feature amount of input image data from input image data at high speed and apply it to pattern recognition and other image processing.
[0005]
[Means for Solving the Problems]
According to the first aspect of the present invention, an image includes a photodetector that performs photoelectric conversion, a converter that converts a signal from the photodetector into a digital signal, and an adder that can input the digital signal. An image detection processing device in which a plurality of detection processing elements are arranged on a plane, wherein the digital signal of the image detection processing element is selectively combined with the digital signal from another adjacent image detection processing element. A feature value extraction circuit for calculating a logical product and inputting a result of the logical product calculation to the adder; a cumulative adder sequentially connecting the adders of the plurality of image detection processing elements; A control circuit for selectively inputting the digital signal of the processing element to the accumulator.
[0006]
According to the image detection processing device of the first aspect, the feature extraction circuit selectively calculates the logical product of the digital signals from the adjacent image detection processing elements. That is, the feature extraction circuit outputs the output of its own image detection processing element to the adder as it is, or outputs the output of its own image detection processing element and the position of the right, immediately below, and lower right of its own image detection processing element. And the output of the image detection processing element is selectively ANDed, and the result of the AND operation is output to the adder. As a result, it is possible to extract the pattern features P0 to P9 of ten types of objects based on the ten types of pixel position patterns shown in FIG. 4 and output the number of each of the pattern features P0 to P9 at high speed. Therefore, it can be used for pattern recognition and other image processing.
[0007]
According to the second aspect of the present invention, based on the plurality of feature data output from the accumulator based on the image data detected by the photodetector supplied from the output unit, the image is obtained. An image detection device according to claim 1, wherein an Euler number of data is obtained.
[0008]
According to the image detection processing device of the second aspect, the number of objects in the input image data can be recognized at high speed by the Euler number, and can be used for pattern recognition and other image processing.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a schematic plan view for explaining one embodiment of an image detection processing device according to the present invention.
[0010]
The image detection processing device of the present embodiment is used for, for example, a visual sensor of a robot or a pattern recognition device of a control device, and extracts and calculates a feature amount of image data from input image data at high speed. is there.
[0011]
In FIG. 1, reference numerals 1-1 to 1-64 denote image detection processing elements, which are arranged in a plane as a 8.times.8 lattice array (array) structure, and which are targeted by an appropriate optical system (not shown). An image including the object is imaged to generate an input image consisting of 8 × 8 pixels. Note that the number of image detection processing elements can be appropriately selected depending on the application. As will be described later with reference to FIG. 2, each image detection processing element converts a photodetector and an analog electric signal from the photodetector based on an arbitrary threshold (set by an external signal VREF). A converter for digitally converting a binary signal of “0” and “1” is provided.
[0012]
Each image detection processing element outputs the above-mentioned binarized signal as a target image signal to four image detection processing elements adjacent vertically and horizontally. For example, the image detection processing element 1-11 outputs the binary signal as a target image signal to the image detection processing elements 1-3, 1-10, 1-12, and 1-19. The image detection processing element generates a window image signal for extracting a target (target object) from the background based on the target image signals from the four image detection processing elements and its own target image signal.
[0013]
Each image detection processing element includes a feature amount extraction circuit described later with reference to FIG. Each image detection processing element includes a first adder, which will be described later with reference to FIG. 5, and receives an output from the feature amount extraction circuit. The first adder of each image detection processing element is connected to the first adder of the image detection processing element on the right side thereof. For example, the output of the first adder of the image detection processing element 1-11 is image detection processing. Input to the first adder of processing element 1-12. As described above, the first adders of the image detection processing elements for each row are sequentially connected to form a first accumulator.
[0014]
To each of the image detection processing elements, CLOCK1, CLOCK2, LOAD, and SEL signals are input as common signals. The clock signal CLOCK1 and the signal LOAD are for initial image setting. For example, the clock signal CLOCK1 is a clock signal having a frequency of about 20 MHz to 100 MHz. The clock signal CLOCK2 and the signal SEL are signals for image calculation. For example, the clock signal CLOCK2 is a clock signal having a frequency of about 1 MHz to 10 MHz.
[0015]
Reference numerals 2-1 to 2-8 denote serial adders as second adders, which are arranged for each row of the image detection processing element and receive an output from the corresponding image detection processing element at one input. The output of each serial adder is sequentially connected to the other input of the adjacent serial adder on the lower side to form a second accumulator. In this embodiment, the serial type adder 2-1 corresponds to the image detection processing elements 1-1 to 1-8, and the output of the image detection processing element 1-8 is one of the serial type adders 2-1. Connected to the input of The output of the serial adder 2-1 is connected to the other input of the serial adder 2-2. The output of the serial adder 2-8 is the entire output signal, and constitutes an output unit to which processing data based on the image data detected by the photodetector is supplied. Details of the configuration of each serial adder will be described later in detail with reference to FIG.
[0016]
A row decoder circuit 3 controls output signals Y0 to Y7 by four row selection signals (not shown) in the present embodiment. Reference numeral 4 denotes a column decoder circuit. In this embodiment, although not shown, four column selection signals are used to control output signals X0 to X7, and the selection signal is set in the same manner as the row decoder 3 circuit. is there. The row decoder circuit 3 and the column decoder circuit 4 constitute a control circuit for selectively inputting the target image signal of the image detection processing element to the first accumulator. In the present embodiment, selection of an image detection processing element is performed by downloading a selection pattern from an external host (not shown) to the row decoder circuit 3 and the column decoder 4 circuit, but is not limited to this. For example, the ROM may be integrated on a single chip together with the image detection processing element, and the ROM may store a selection pattern corresponding to a target image operation and use the selected pattern for selection of the image detection processing element, or may respond to an external control signal. Then, a decoder for generating the selection pattern may be provided.
[0017]
Next, a part of the configuration of each of the image detection processing elements 1-1 to 1-64 according to the present embodiment will be described in detail with reference to FIG. Reference numeral 5 denotes a photoelectric conversion unit as a photodetector, which is composed of a photodiode and outputs an analog electric signal according to the intensity of incident light. Reference numeral 6 denotes a voltage holding unit that holds a voltage of an analog electric signal output from the photodetector 5. Numeral 7 denotes a conversion circuit which converts an analog electric signal into a binary signal and comprises a comparator, which receives an analog electric signal corresponding to the incident light from the photoelectric conversion unit 5 via a voltage holding unit 6 and outputs a threshold value. The value is converted into a value of either “0” or “1” according to whether it is smaller or larger, and binarized. In this embodiment, the threshold value input unit 8 sets an arbitrary threshold value in the binarization conversion circuit 7 under the control of the external signal VREF. In the present embodiment, an arbitrary threshold value can be set from the outside, and the binarization conversion circuit 7 compares the analog electric signal with, for example, the threshold value V1 or V0, and sets “1” when the analog electric signal is brighter than each threshold value. And outputs a signal of “0” when darker than the threshold value.
[0018]
The binarized data converted by the binarization conversion circuit 7 is supplied to the selector 9. The binarized data is output from the selector 9 by the control signal BW when the control signal BW is brighter than the threshold value and outputs a signal of "1", and when the data is darker than the threshold value, a signal of "0" is output. Is output to the AND circuit 10 as an output B.
[0019]
The logical product (AND) circuit 10 outputs “1” only when the binarized signal B from the selector 9 and the signal I from the 5-input logical sum (OR) circuit 12 described later are both “1”. It outputs a signal, but otherwise outputs "0". Reference numeral 13 denotes a multiplexer. In this embodiment, when the signal LOAD in FIG. 1 is “H” (or “1”, hereinafter the same), a signal from the AND circuit 10 is output and “L” is output. In the case of (or “0”, hereinafter the same), a signal is output from another AND circuit 11 described later. Reference numeral 14 denotes a flip-flop circuit which captures and outputs the signal of the multiplexer 13 by the clock signal CLOCK1 in FIG.
[0020]
The output of the flip-flop circuit 14 is output to the 5-input OR circuit 12 in its own image detection processing element and also to the 5-input OR circuit 12 in the four horizontally and vertically adjacent image detection processing elements. The five-input OR circuit 12 outputs a window image signal. This window image signal is for capturing an image of a moving target object and extracting it from a background image. In the present embodiment, the image of the moving target object can be extracted without extracting it from the background image, or the image of the moving target object can be extracted from the background image. If the moving target object is not extracted from the background, the signal LOAD is set to “L” for all of the image detection processing elements 1-1 to 1-64, and the flip-flop circuit 14 receives the signal LOAD via the multiplexer 13. What is necessary is just to take in the value of “H” (or “1”) from the AND circuit 11. Then, the output T of the flip-flop circuit 14 and the output I of the 5-input OR circuit 12 all become "H" (or "1"). Then, the AND circuit 10 outputs the output B itself from the selector 9. On the other hand, when extracting and processing the image of the moving target object from the background, the row decoder circuit 3 and the column decoder circuit 4 apply the signal LOAD only to a specific image detection processing element corresponding to the moving target object image. The level may be set to “L”, and the value of “H” (or “1”) may be taken into the flip-flop circuit 14 from the AND circuit 11 via the multiplexer 13. Then, the output T of the flip-flop circuit 14 and the output I of the 5-input OR circuit 12 of the specific image detection processing element corresponding to the image of the target object become “H” (or “1”), and a window image is generated. You.
[0021]
Next, the feature detection circuit 15 included in each image detection processing element connected to the output of the flip-flop circuit 14 of FIG. 2 will be described with reference to FIG. In the feature amount detection circuit 15, the output G (x, y) of the flip-flop circuit 14 of its own image detection processing element and the output G (x + 1, y) of the flip-flop circuit 14 of the image detection processing element on the right side. And the output G (x, y + 1) from the flip-flop circuit 14 of the image detection processing element immediately below and the output G (x + 1, y + 1) from the flip-flop circuit 14 of the lower right image detection processing element, respectively. The signals are selectively input to the AND circuit 15a through 15b to 15e, and the AND operation is selectively performed. The AND operation result output from the AND circuit 15a is input to the adder 66 of each image detection processing element shown in FIG. The selector circuits 15b to 15e have outputs G (x, y), G (x + 1, y), and G (x, y + 1) of the flip-flop circuit 14 of the image detection processing element from the right, right below, or right below. , Or G (x + 1, y + 1) and “1” of the binary signal are input. When each of the selector circuits 15b to 15e is selected by the control signals SEL0, SEL1, SEL2, and SEL3, the output G (x, y) of the flip-flop circuit 14 of the image detection processing element from itself, right next, right below, or right lower. ), G (x + 1, y), G (x, y + 1), or G (x + 1, y + 1) and the binary signal "1", and inputs the result to the AND circuit 15a. When not selected by the control signals SEL0, SEL1, SEL2, and SEL3, the selector circuits 15b to 15e output the outputs G (x, y), G (x + 1, y), G (x, y + 1), G (x, y + 1) of the flip-flop circuit 14, respectively. Alternatively, the logical product of G (x + 1, y + 1) and “0” obtained by inverting the binary signal “1” is obtained, and the result is input to the logical product circuit 15a.
[0022]
By controlling the control signals SEL0 to SEL3 to the selector circuits 15b to 15e, the feature amount detection circuit 15 has ten types of pixel patterns P0 having their own image detection processing elements arranged in the upper left corner as shown in FIG. Through P9. For example, the pixel pattern P0 selects the selector 15b by SEL0, calculates the logical product of the output of G (x, y) and the binary signal "1", and inputs the result to the logical product circuit 15a. And the other selectors 15c to 15e select G (x + 1, y), G (x, y + 1) or G (x + 1, y + 1) without selecting SEL1 to SEL3, and invert “1” of the binary signal. The logical product with 0 "is taken and the result is input to the logical product circuit 15a. Then, a binary signal "1" is output from the AND circuit 15a only when the pixel pattern matches the pixel pattern of P0 in FIG.
[0023]
Next, for example, for the pixel pattern P4, the selectors 15c and 15d are selected by SEL1 and SEL2, and the logical product of the output of G (x + 1, y) and G (x, y + 1) and the binary signal "1" is obtained. The result is input to the AND circuit 15a, and the other selectors 15b and 15e select G (x, y) or G (x + 1, y + 1) without selecting SEL0 and SEL3. The logical product of "1" and the inverted "0" is obtained, and the result is input to the AND circuit 15a. Then, the binary value signal "1" is output from the AND circuit 15a only when the pixel pattern matches the pixel pattern of P4 in FIG.
[0024]
Next, for example, in the pixel pattern P9, G (x, y), G (x + 1, y), G (x, y + 1), G (x + 1, y + 1) are selected by selecting all the selectors 15b to 15e by SEL0 to SEL3. And the binary signal "1" is calculated, and the result is input to the AND circuit 15a. Then, the binary circuit signal "1" is output from the AND circuit 15a only when the pixel pattern matches the pixel pattern P9 in FIG. In this way, it is understood that the feature detection circuit 15 outputs the binary signal "1" when there is a pattern match for all the pixel patterns P0 to P9 of the 2 × 2 pixels shown in FIG. it can. In this way, the feature amount detection circuit 15 controls the control signals SEL0 to SEL3 of the selector circuits 15b to 15e to detect the ten types of pixel patterns P0 to P9. And outputs the coded signal “1”.
[0025]
Using the pixel patterns P0 to P9, the number of isolated figures in the screen based on the Euler number can be calculated. Referring to FIG. 5, (a) of FIG. 5 corresponds to the pixel pattern P0, and each pixel is a vertex. (B) corresponds to the pixel patterns P1, P2, P3, and P4, respectively, and sets a pair of two adjacent pixels as a side. There are four types of minimum length sides (b). (C) corresponds to the pixel patterns P5, P6, P7, and P8, respectively, and sets a set of three pixels adjacent to each other as a plane (or a triangle). The four areas having the minimum area are shown in FIG. (D) corresponds to the pixel pattern P9 and is a solid (or tetrahedron).
[0026]
Any complicated figure, for example, (e), can be represented by a combination of figures of nine pixel patterns P0 to P8 of (a), (b), and (c). That is, when the image is finely divided to the end, a figure group of nine pixel patterns P0 to P8 is obtained.
[0027]
By Euler's theorem, the Euler number of connected planar figures is
[Number of vertices]-[Number of sides] + [Number of faces] = 1 (Equation 1)
It is. In the figure of (e), the number of vertices in (a) is 12, the number of sides in (b) is 18, and the number of faces in (c) is 7. Therefore,
12-18 + 7 = 1
It becomes. If the figures are not connected, the Euler number of each figure is 1, so if Equation 1 is applied to the entire screen, the number of separated figures can be calculated.
[0028]
In this manner, the feature amount detection circuit 15 detects the vertices P0, the sides P1 to P4, and the planes P5 to P8, calculates the numbers thereof, and applies them to the equation 1, whereby the number of separations in the screen is calculated. It is easily determined whether or not there is a figure that has been set.
[0029]
However, at this time, it is desired to calculate the pixel pattern of P9 of the tetrahedron (three-dimensional) in which the four vertices are adjacent to each other, with four vertices, five sides, and two faces, as shown in FIG. However, in actuality, as shown in FIG. 5E, the pixel pattern of the tetrahedron (solid) P9 in which the four vertices are adjacent to each other is counted as the vertex 4, the side 6, and the surface 4 by the feature amount detection circuit 15. . This means that the vertex 4, the side 6, and the surface 4 are tetrahedrons in a three-dimensional space. Then, this may be regarded as a tetrahedron projected on a two-dimensional plane. The Euler number of the polyhedron is two. If we extend Euler's theorem to a three-dimensional space,
[Number of vertices]-[Number of sides] + [Number of faces]-[Number of solids] = 1 (Equation 2)
Holds.
[0030]
Therefore, a set of four pixels adjacent to each other is defined as a three-dimensional (tetrahedron), and the pixel pattern P9 is added to the nine types of pixel patterns P0 to P8 so far, and the feature amount detection circuit 15 performs the ten types of pixel patterns. By detecting and calculating the respective numbers, the number of figures isolated on the screen can be obtained by using Euler's theorem of Equation 2.
[0031]
That is,
Euler number of plane = number of vertices (P0) −number of sides (P1 + P2 + P3 + P4) + number of planes (P5 + P6 + P7 + P8) = 1
Euler number of solid = number of vertices (P0)-number of sides (P1 + P2 + P3 + P4) + number of faces (P5 + P6 + P7 + P8) = 2
It is. Therefore, the number of objects can be detected by Expression 2 by treating a 2 × 2 local area as a three-dimensional object and treating the pattern in the area as a vertex, a side, a triangle, or a tetrahedron. That is,
[Number of objects] = [number of one point (vertex)] − [number of two consecutive points (sides)] + [number of three adjacent points (plane: triangle)] − [four adjacent points ( Number of solids: tetrahedron)]. That is,
The number of objects (considered as a solid for convenience) = total number of P0− (total number of P1 + total number of P2 + total number of P4 + total number of P4) + (total number of P5 + total number of P6 + total number of P7 + total number of P8) −total number of P9.
[0032]
In addition, what can be performed using the pixel patterns P0 to P9 is, for example, calculation of the vertical, horizontal, and oblique lengths of a convex object having no hole. That is,
Vertical length = total number of P0−total number of P1 Horizontal length = total number of P0−total number of P2 Length in lower right direction = (total number of P0−total number of P4) / √2 (part of width 1 dot) If not)
Length in the upper right direction = (total number of P0−total number of P3) / √2 (when there is no portion having a width of 1 dot)
As described above, it is possible to recognize patterns using the feature amounts of the ten types of pixel patterns P0 to P9.
[0033]
Next, the adder 66 included in each of the image detection processing elements 1-1 to 1-64 will be described with reference to FIG. The adder 66 is a logical product circuit, and outputs a signal of "1" when both the output of the characteristic quantity detecting circuit 15 and the output of the logical product circuit 11 of FIG. 3 are "1". . The AND circuit 11 outputs a signal of “1” when both the output of the row decoder 3 as the control circuit and the output of the column decoder 4 as the control circuit are “1”. For example, the image detection processing element 1-11 outputs a signal of "1" when the output Y1 of the row decoder 3 and the output X2 of the column decoder 4 are both "1".
[0034]
In this embodiment, a multiplexer 63 outputs a signal from the AND circuit 60 when the signal SEL in FIG. 1 is "H", and outputs a signal from a flip-flop circuit 64 described later when the signal SEL is "L". . The flip-flop circuit 64 captures and outputs the CARRY signal of the adder circuit 65 described later by the clock signal CLOCK2 in FIG. An addition circuit 65 composed of a half adder calculates an arithmetic sum of an output of the multiplexer 63 and a SUM signal of a half addition circuit of an adjacent image detection processing element, and outputs a SUM signal and a CARRY signal. For example, in the image detection processing element 1-11, if the output of the multiplexer 63 and the SUM signal of the addition circuit 65 in the image detection processing element 1-10 are both "L", both the SUM signal and the CARRY signal are "L". If one is “L” and the other is “H”, the SUM signal is “H” and the CARRY signal is “L”. If both are “H”, the SUM signal is “L” and the CARRY signal is “H”. ". A first adder 66 includes the AND circuit 60, the AND circuit 11, the multiplexer 63, the flip-flop 64, and the adding circuit 65. As described above, the first adders 66 of the image detection processing elements for each row are sequentially connected to form a first accumulator.
[0035]
Next, the configuration of the serial adders 2-1 to 2-8 will be described in detail with reference to FIG. FIG. 7 shows one of the serial adders, for example, 2-2. Reference numeral 16 denotes an addition circuit comprising a full adder, which performs an arithmetic addition operation of the SUM signal of the image detection processing element, a SUM signal of a flip-flop circuit 17 described later, and a SUM signal of a preceding-stage addition circuit 16, and outputs a SUM signal and a CARRY signal. Output. For example, in the case of the serial adder 2-2, the output of the image detection processing element 1-16, the output of the serial adder 2-1 and the output of the flip-flop circuit 17 are input, and the SUM signal is The signal is output to the serial adder, and the CARRY signal is output to the flip-flop circuit 17. When the state of the three inputs is all “L”, both the SUM signal and the CARRY signal are “L”. When only one of them is “H”, the SUM signal is “H” and the CARRY signal is “H”. When both are "H", the SUM signal is "L" and the CARRY signal is "H", and when all are "H", both the SUM signal and the CARRY signal are "H". Reference numeral 17 denotes a flip-flop circuit which captures and outputs the CARRY signal of the adder circuit 16 using the above-described clock signal CLOCK2.
[0036]
Next, a general operation of the image detection processing device according to the present embodiment will be described. First, in order to initialize the internal circuit, the row decoder 3 and the column decoder 4 are all set to be unselected, and the signal SEL is set so that the multiplexer 63 outputs a pixel selection signal. In this state, when the clock signal CLOCK2 is input for one or more clocks, the flip-flop latch circuit 64 in each image detection processing element is cleared. Further, when the clock signal CLOCK2 is input for 6 clocks or more while maintaining this state, the latch circuits 17 in the respective serial adders are also cleared.
[0037]
Next, a window image signal is set. The window image signal is for separating an image of a moving target (target object) from the background. The pixel selection signal is set to be output from the multiplexer 13 by the signal LOAD, and the window image is initialized by setting the row decoder 3 and the column decoder 4. When the row decoder 3 and the column decoder 4 are set so that all outputs are selected, the initial value of the window image is the entire screen.
[0038]
Next, an image is captured. An image of the target object is formed on an image detection processing element arranged in a plane using an appropriate imaging optical system. The image forming optical system may be a lens optical system used in a digital still camera or the like. In each of the image detection processing elements, first, the photoelectric conversion unit 5 converts the brightness information of the target object into an analog signal corresponding to the light amount of the formed image. This analog signal is converted into a binary image signal having a value of "L" (or "0", hereinafter the same) or "H" (or "1", the same hereinafter) by the binary conversion circuit 7 by the method described above. Is converted to
[0039]
The binarized image signal is converted into a target image signal by performing an AND operation with the above-described window image signal in the AND circuit 10. The target image signal is output to the flip-flop circuit 14 via the multiplexer 13, and is captured at the timing of the clock signal CLOCK1. The target image signal captured by the flip-flop circuit 14 is input to the 5-input OR circuit 12 to generate a window signal at the timing of the next clock signal CLOCK1, and is also input to the feature amount detection circuit 15. .
[0040]
The output of the flip-flop circuit 14 is output to the 5-input OR circuit 12 in its own image detection processing element and also to the 5-input OR circuit 12 in four adjacent image detection processing elements. The window image signal is output from the 5-input OR circuit 12.
[0041]
On the other hand, as described above, the output of the flip-flop circuit 14 input to the feature detection circuit 15 is used to detect the ten types of pixel patterns P0 to P9. The output is selectively ANDed with the output from the amplifier 14, and ten types of pixel patterns P0 to P9 are detected. When any of the ten pixel patterns is detected, the feature amount detection circuit 15 outputs a “1” (or “H”) binary signal to the first adder 66.
[0042]
Next, for each of the pixel patterns P0 to P1 detected by the feature amount detection circuit 15, an operation of calculating the total number by the image detection processing device is performed. This calculation operation is the same as the operation for calculating the pixel area (zero-order moment) of the target object (target) image, which is described in detail in Patent Document 1, and will not be described in detail.
[0043]
The total number of the respective pixel patterns P0 to P1 is supplied from the output unit (2-8) of the image detection processing device to a not-shown host computer or the like, where it is applied to Expression 2 to obtain the total number of separated graphics in the input image. Can be requested. Further, it can be used for other pattern recognition by a not-shown host computer or the like.
[0044]
【The invention's effect】
As described above, according to the first aspect of the present invention, a pattern feature of an object based on a pixel position pattern can be extracted, and the total number of each feature can be output at high speed. Therefore, it can be used for pattern recognition and other image processing.
[0045]
According to the second aspect of the present invention, the number of objects in the input image data can be quickly recognized by the Euler number, and can be used for pattern recognition and other image processing.
[Brief description of the drawings]
FIG. 1 is a schematic plan view illustrating the configuration of an image detection processing device according to one embodiment of the present invention.
FIG. 2 is a block diagram for explaining a part of image detection processing elements of the image detection processing device shown in FIG. 1;
FIG. 3 is a block diagram illustrating a feature amount detection circuit included in the image detection processing element shown in FIG. 1;
FIG. 4 is a diagram for explaining ten types of pixel patterns detected by the feature amount detection circuit shown in FIG. 3;
FIG. 5 is a view for explaining a method of calculating the number of figures in an image based on the ten types of pixel patterns shown in FIG. 4;
FIG. 6 is a block diagram for explaining a first adder included in the image detection processing element shown in FIG. 1;
FIG. 7 is a block diagram for explaining a serial adder included in the image detection processing device shown in FIG. 1;
[Explanation of symbols]
1-1 to 1-64 Image detection processing elements 2-1 to 2-8 Serial adder 3 Row decoder circuit (control circuit)
4 column decoder circuit (control circuit)
5 Photoelectric conversion unit (photodetector)
6 Voltage holding unit 7 Binary conversion circuit (converter)
Reference Signs List 8 threshold input device 9 selector 10 AND circuit 11 AND circuit 12 5-input OR circuit 13 multiplexer 14 flip-flop circuit 15 feature amount detection circuit 16 addition circuit (second adder, second accumulator)
17 Flip-flop circuit 65 Adder circuit 66 First adder (first accumulator)

Claims (2)

光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素の複数個が平面上に配列されてなる画像検出処理装置であって、
上記画像検出処理要素の上記デジタル信号を隣接する他の上記画像検出処理要素からの上記デジタル信号と選択的に論理積計算しその論理積計算結果を上記加算器に入力する特徴量抽出回路と、
上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路と
を更に備えていることを特徴とする画像検出処理装置。
A plurality of image detection processing elements including a photodetector that performs photoelectric conversion, a converter that converts a signal from the photodetector into a digital signal, and an adder that can input the digital signal are arranged on a plane. An image detection processing device comprising:
A feature value extraction circuit that selectively ANDs the digital signal of the image detection processing element with the digital signal from the other adjacent image detection processing element and inputs the AND calculation result to the adder;
It further comprises a cumulative adder formed by sequentially connecting the adders of the plurality of image detection processing elements, and a control circuit for selectively inputting the digital signals of the plurality of image detection processing elements to the cumulative adder. An image detection processing device comprising:
上記光検出器によって検出される画像データに基づき上記累積加算器から出力される複数の特徴量データに基づいて、上記画像データのオイラー数を求める請求項1に記載の画像検出装置。2. The image detection device according to claim 1, wherein the Euler number of the image data is obtained based on a plurality of feature data output from the accumulator based on the image data detected by the photodetector.
JP2003162794A 2003-06-06 2003-06-06 Image detection processor Pending JP2004362462A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003162794A JP2004362462A (en) 2003-06-06 2003-06-06 Image detection processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003162794A JP2004362462A (en) 2003-06-06 2003-06-06 Image detection processor

Publications (1)

Publication Number Publication Date
JP2004362462A true JP2004362462A (en) 2004-12-24

Family

ID=34054839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003162794A Pending JP2004362462A (en) 2003-06-06 2003-06-06 Image detection processor

Country Status (1)

Country Link
JP (1) JP2004362462A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891706B2 (en) 2016-09-08 2021-01-12 Sony Corporation Arithmetic device and sensor to track movement of object between frames

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891706B2 (en) 2016-09-08 2021-01-12 Sony Corporation Arithmetic device and sensor to track movement of object between frames

Similar Documents

Publication Publication Date Title
Farabet et al. Comparison between frame-constrained fix-pixel-value and frame-free spiking-dynamic-pixel convnets for visual processing
CN107077621A (en) For scanning window in the hardware of low-power object detection in image
JP2008259244A (en) Image sensor
KR20130100524A (en) Method of operating a three-dimensional image sensor
CN106125086A (en) For the system and method using the transition time of single exposure to measure
KR20010085779A (en) Visual device
US10489710B2 (en) Program generation apparatus and program generation method
JP2879670B2 (en) Two-dimensional information processing device
Di Federico et al. SCDVP: A simplicial CNN digital visual processor
Sharma et al. Super high-speed vision platform for processing 1024× 1024 images in real time at 12500 fps
Afshar et al. Event-based processing of single photon avalanche diode sensors
JP4523104B2 (en) Image detection processing device
US7176432B2 (en) Image detection processor and image detection processing method
Ishii et al. Higher order autocorrelation vision chip
JP2004362462A (en) Image detection processor
JP2004362460A (en) Image detection processing unit
JP4405181B2 (en) Image detection processing apparatus and method
Hong et al. On-chip binary image processing with CMOS image sensors
JP2004362378A (en) Image detection processor
Bernard et al. Output methods for an associative operation of programmable artificial retinas
CN114651272A (en) Imaging sensor, image processing apparatus, and image processing method
KR102230609B1 (en) Deep Learning-Based Sparse Color Sensor Image Processing Apparatus, Image Processing Method and Computer-readable Medium
JP4480350B2 (en) Image detection processing device
JPS62297981A (en) Binarization system for image
JP2689609B2 (en) Video camera equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091119