JP2004362462A - Image detection processor - Google Patents
Image detection processor Download PDFInfo
- Publication number
- JP2004362462A JP2004362462A JP2003162794A JP2003162794A JP2004362462A JP 2004362462 A JP2004362462 A JP 2004362462A JP 2003162794 A JP2003162794 A JP 2003162794A JP 2003162794 A JP2003162794 A JP 2003162794A JP 2004362462 A JP2004362462 A JP 2004362462A
- Authority
- JP
- Japan
- Prior art keywords
- image detection
- detection processing
- image
- signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、デジタル画像検出処理装置に関し、さらに詳しくは、入力された画像データから画像の特徴量を高速に抽出することのできるデジタル画像検出処理装置に関する。
【0002】
【従来の技術】
特許文献1には、平面上に配された複数の画像検出処理要素を含んだ画像検出処理装置が開示されている。この画像検出処理装置に移動する対象物体の画像が入力されると、移動対象物体の2値画像を背景画像から抽出してその対象物体の画像面積とその重心座標を高速に計算できる。しかし、この特許文献1には、入力画像データから高速に入力画像データ中の特徴量を抽出することは開示されていない。しかし、パターン認識やその他の画像処理においては、高速に画像データの特徴量を抽出することが必要である。
【0003】
【特許文献1】
特開2001−195564公報
【0004】
【発明が解決しようとする課題】
従って、本発明は入力画像データから高速に入力画像データの特徴量を抽出して、パターン認識やその他の画像処理に応用することがでる画像検出処理装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
請求項1に記載の本発明によれば、光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素の複数個が平面上に配列されてなる画像検出処理装置であって、上記画像検出処理要素の上記デジタル信号を隣接する他の上記画像検出処理要素からの上記デジタル信号と選択的に論理積計算してその論理積計算結果を上記加算器に入力する特徴量抽出回路と、上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路ととを更に備えていることを特徴とする画像検出処理装置が提供される。
【0006】
この請求項1の画像検出処理装置によれば、特徴抽出回路が選択的に隣り合う画像検出処理要素からのデジタル信号の論理積を計算する。すなわち、特徴抽出回路は、自身の画像検出処理要素の出力を加算器へそのまま出力するか、自身の画像検出処理要素の出力と自身の画像検出処理要素の右隣り、直下、及び右下の位置にある画像検出処理要素の出力とを選択的に論理積演算してその論理積計算結果を加算器へ出力する。この結果、図4に示す10種類の画素位置パターンに基づく10種類の物体のパターン的特徴P0乃至P9を抽出して、各々のパターン的特徴P0乃至P9の数を高速に出力することができる。従って、パターン認識やその他の画像処理に利用することができる。
【0007】
請求項2に記載の本発明によれば、上記出力部から供給される上記光検出器によって検出される画像データに基づき上記累積加算器から出力される複数の特徴量データに基づいて、上記画像データのオイラー数を求める請求項1に記載の画像検出装置が提供される。
【0008】
この請求項2の画像検出処理装置によれば、入力画像データ中の物体の個数をオイラー数により高速に認識することができ、パターン認識やその他の画像処理に利用することができる。
【0009】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。図1は本発明による画像検出処理装置の一つの実施の形態を説明するための概略的な平面図である。
【0010】
本実施の形態の画像検出処理装置は、例えば、ロボットの視覚センサや制御装置のパターン認識装置に使用され、入力される画像データから、画像データの特徴量を高速に抽出して計算するものである。
【0011】
図1において、1−1乃至1−64は画像検出処理要素であり、8×8個の格子配列(アレイ)構造として平面的に配置されていて、この上に図示しない適当な光学系により対象物体を含む映像が結像されて、8×8個の画素からなる入力画像を発生される。なお、この画像検出処理要素の数は用途に応じて適宜選択できる。各画像検出処理要素は、図2を参照して後で説明するように、光検出器と光検出器からのアナログ電気信号を任意の閾値(外部信号VREFにて設定される)に基づいて“0”と“1”の2値化信号にデジタル変換する変換器とを備えている。
【0012】
各画像検出処理要素は、その上下左右に隣接する4個の画像検出処理要素に対して上記2値化信号をターゲット画像信号として出力する。例えば、画像検出処理要素1−11は画像検出処理要素1−3、1−10、1−12、1−19に対して、上記2値化信号をターゲット画像信号として出力する。画像検出処理要素では、その4個の画像検出処理要素からのターゲット画像信号とそれ自身のターゲット画像信号とに基づいてターゲット(対象物体)を背景から抽出するためのウインドウ画像信号を生成する。
【0013】
各画像検出処理要素は図3を参照して後で説明する特徴量抽出回路を含んでいる。また、各画像検出処理要素は図5を参照して後で説明する第1の加算器をそれぞれ含み、特徴量抽出回路からの出力が入力している。各画像検出処理要素の第1の加算器はその右隣の画像検出処理要素の第1の加算器と接続され、例えば、画像検出処理要素1−11の第1の加算器の出力は画像検出処理要素1−12の第1の加算器に入力される。このように行毎の画像検出処理要素の第1の加算器は順次接続されて第1の累積加算器を構成している。
【0014】
各画像検出処理要素に対しては、共通信号としてCLOCK1、CLOCK2、LOAD、SELの各信号が入力される。クロック信号CLOCK1、信号LOADは初期画像設定用である。例えば、クロック信号CLOCK1は周波数20MHz〜100MHz程度のクロック信号である。クロック信号CLOCK2、信号SELは画像演算用の信号であり、例えば、クロック信号CLOCK2は周波数1MHz〜10MHz程度のクロック信号である。
【0015】
2−1乃至2−8は第2の加算器としての直列型加算器で、画像検出処理要素の行ごとに配置され、対応する画像検出処理要素からの出力を一方の入力に受ける。また、各直列型加算器の出力は順次下側に隣接する直列型加算器の他方の入力に接続されて第2の累積加算回路を構成する。本実施の形態では、画像検出処理要素1−1乃至1−8に対して直列型加算器2−1が対応し、画像検出処理要素1−8の出力が直列型加算器2−1の一方の入力に接続される。直列型加算器2−1の出力は、直列型加算器2−2の他方の入力に接続される。直列型加算器2−8の出力が全体の出力信号となっており、光検出器によって検出される画像データに基づく処理データが供給される出力部を構成する。それぞれの直列型加算器の構成の詳細については、図6を参照して後で詳細に説明する。
【0016】
3は行デコーダ回路で、本実施の形態では、図示しないが4本の行選択信号により、Y0〜Y7までの出力信号を制御する。4は列デコーダ回路で、本実施の形態では、図示しないが4本の列選択信号により、X0〜X7までの出力信号を制御するものであり、選択信号の設定は行デコーダ3回路と同様である。これら行デコーダ回路3、列デコーダ回路4は画像検出処理要素のターゲット画像信号を選択的に第1の累積加算器に入力せしめる制御回路を構成する。本実施の形態では画像検出処理要素の選択は、図示しない外部のホストから行デコーダ回路3、列デコーダ4回路に選択パターンをダウンロードすることによって行うこととするが、これに限るものではない。例えば、画像検出処理要素と共にROMを1チップに集積化し、ROMに目的の画像演算に応じた選択パターンを記憶させて画像検出処理要素の選択に用いても良いし、外部からの制御信号に応答して選択パターンを発生させるデコーダを設けても良い。
【0017】
次に、図2を参照して本実施の形態による各画像検出処理要素1−1乃至1−64の構成の一部を詳細に説明する。5は光検出器としての光電変換部であり、フォトダイオードからなり、入射した光の強さに応じたアナログ電気信号を出力する。6は電圧保持部であり、光検出器5からのアナログ電気信号出力の電圧を保持する。7は変換器としてアナログ電気信号の2値化を行なう変換回路であり、コンパレータからなり、光電変換部5からの入射光に応じたアナログ電気信号を電圧保持部6を介して入力して、閾値より小さいか又は大きいかに応じて“0”又は“1”のいずれかの値に変換して2値化する。本実施の形態では、閾値入力器8が外部信号VREFによる制御を受けて2値化変換回路7へ任意の閾値を設定する。本実施の形態では、任意の閾値を外部より設定することができ、2値化変換回路7はアナログ電気信号を、例えば、閾値V1又はV0と比較して、各閾値より明るいときに“1”の信号を出力し、閾値より暗いときに“0”の信号を出力する。
【0018】
2値化変換回路7により変換された2値化データは、セレクタ9に供給される。そして、2値化データはセレクタ9において制御信号BWにより閾値より明るいときに“1”の信号を出力し、閾値より暗いときに“0” の信号を出力するか、或いはこれらとは逆の論理で出力するかが選択されて、出力Bとして論理積回路10に出力される。
【0019】
論理積(AND)回路10は、セレクタ9からの2値化された信号Bと後述する5入力論理和(OR)回路12からの信号Iが共に“1”であるときのみ、“1”の信号を出力するが、それ以外のときは“0”を出力する。13はマルチプレクサであり、本実施の形態では、図1の信号LOADが“H”(又は“1”をいう、以下、同じ)のとき、論理積回路10からの信号を出力し、“L”(又は“0”をいう、以下、同じ)のとき、後述する別の論理積回路11からの信号を出力する。14はフリップフロップ回路でマルチプレクサ13の信号を図1のクロック信号CLOCK1により取り込んで出力する。
【0020】
フリップフロップ回路14の出力は、自身の画像検出処理要素内の5入力論理和回路12に出力されるとともに左右及び上下に隣接する4個の画像検出処理要素内の5入力論理和回路12にも出力されており、5入力論理和回路12からウインドウ画像信号が出力される。このウインドウ画像信号は、移動する対象物体の画像を捕捉して背景画像から抽出するためのものである。本実施の形態では移動する対象物体の画像を背景画像から抽出せずに行なうことも、又は、移動する対象物体の画像を背景画像から抽出して行なうこともできる。もし、移動する対象物体を背景から抽出しない場合は、全ての画像検出処理要素1−1乃至1−64に対して、信号LOADを“L”にして、フリップフロップ回路14にマルチプレクサ13を介して論理積回路11から“H”(又は“1”)の値を取り込んでおけばよい。すると、フリップフロップ回路14の出力Tと5入力論理和回路12の出力Iは全て“H”(又は“1”)となる。そして、論理積回路10は、セレクタ9からの出力Bそのものを出力することになる。一方、移動する対象物体の画像を背景から抽出して処理する場合は、行デコーダ回路3と列デコーダ回路4により移動する対象物体の画像に対応した特定の画像検出処理要素についてのみ、信号LOADを“L”にして、フリップフロップ回路14にマルチプレクサ13を介して論理積回路11から“H”(又は“1”)の値を取り込んでおけばよい。すると、対象物体の画像に対応した特定の画像検出処理要素のフリップフロップ回路14の出力Tと5入力論理和回路12の出力Iが“H”(又は“1”)となり、ウインドウ画像が生成される。
【0021】
次に、図3を参照して、図2のフリップフロップ回路14の出力に接続される各画像検出処理要素に含まれる特徴量検出回路15を説明する。特徴量検出回路15においては、自身の画像検出処理要素のフリップフロップ回路14の出力G(x、y)と、右隣りの画像検出処理要素のフリップフロップ回路14からの出力G(x+1、y)と、真下の画像検出処理要素のフリップフロップ回路14からの出力G(x、y+1)と、右下の画像検出処理要素のフリップフロップ回路14からの出力G(x+1、y+1)とがそれぞれセレクタ回路15b乃至15eを介して選択的に論理積回路15aに入力していて、選択的に論理積(AND)演算か行なわれる。そして、この論理積回路15aからの出力される論理積演算結果は図5に示す各画像検出処理要素の加算器66へ入力される。セレクタ回路15b乃至15eには、自身、右隣り、真下又は右下からの画像検出処理要素のフリップフロップ回路14の出力G(x、y)、G(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号の“1”とがそれぞれ入力されている。セレクタ回路15b乃至15eは、制御信号SEL0、SEL1、SEL2、SEL3によりそれぞれ選択された時、自身、右隣り、真下又は右下からの画像検出処理要素のフリップフロップ回路14の出力G(x、y)、G(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号“1”の論理積を取りその結果を論理積回路15aへ入力する。セレクタ回路15b乃至15eは、制御信号SEL0、SEL1、SEL2、SEL3により選択されない時は、それぞれフリップフロップ回路14の出力G(x、y)、G(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号の“1”を反転した“0”との論理積を取りその結果を論理積回路15aへ入力する。
【0022】
特徴量検出回路15は、セレクタ回路15b乃至15eへの制御信号SEL0乃至SEL3を制御することにより、図4に示されるように自身の画像検出処理要素を左上隅に配した10種類の画素パターンP0乃至P9を検出する。例えば、画素パターンP0は、SEL0によりセレクタ15bを選択してG(x、y)の出力と2進値信号“1”との論理積を計算してその結果を論理積回路15aに入力して、他のセレクタ15c乃至15eはSEL1乃至3を選択せずにG(x+1、y)、G(x、y+1)、又はG(x+1、y+1)と2進値信号の“1”を反転した“0”との論理積を取りその結果を論理積回路15aへ入力する。すると、論理積回路15aからは、図4のP0の画素パターンに一致した時にのみ、2進値信号“1”が出力される。
【0023】
次に、例えば、画素パターンP4は、SEL1とSEL2によりセレクタ15cと15dを選択してG(x+1、y)とG(x、y+1)の出力と2進値信号“1”との論理積を計算してその結果を論理積回路15aに入力して、他のセレクタ15bと15eはSEL0とSEL3を選択せずにしてG(x、y)又はG(x+1、y+1)と2進値信号の“1”を反転した“0”との論理積を取りその結果を論理積回路15aへ入力する。すると、論理積回路15aからは、図4のP4の画素パターンに一致した時にのみ、2進値信号“1”が出力される。
【0024】
次に、例えば、画素パターンP9は、SEL0乃至SEL3によりセレクタ15b乃至15eを全て選択してG(x、y)、G(x+1、y)、G(x、y+1)、G(x+1、y+1)の出力と2進値信号“1”との論理積を計算してその結果を論理積回路15aに入力する。すると、論理積回路15aからは、図4のP9の画素パターンに一致した時にのみ、2進値信号“1”が出力される。このようにして、図4に示された2x2画素の全ての画素パターンP0乃P9について、パターン一致があったときに、特徴量検出回路15は2進値信号“1”を出力することが理解できる。このようにして、特徴量検出回路15は、セレクタ回路15b乃至15eの制御信号SEL0乃至SEL3を制御して10種類の画素パターンP0乃至P9を検出して、画素パターンが検出された場合に2値化信号“1”を出力する。
【0025】
この画素パターンP0乃至P9を使用してオイラー数による画面内の孤立した図形の数が計算できる。図5を参照すると、図5の(a)は、画素パターンP0に対応していて、画素の1つ1つを頂点とする。(b)は、それぞれ画素パターンP1、P2、P3、P4に対応していて、隣り合う2つの画素の対を辺とする。最小の長さの辺は(b)の4通りある。(c)は、それぞれ画素パターンP5、P6、P7、P8に対応していて、互いに隣り合う3つの画素の組を面(又は、三角形)とする。最小の面積を持つ面は(c)の4通りである。(d)は、画素パターンP9に対応していて、立体(又は、四面体)である。
【0026】
どんな複雑な形状をした図形、例えば、(e)、でも、(a)、(b)、(c)の9つの画素パターンP0乃至P8の図形の組み合せで表わすことができる。すなわち、最後まで細かく分割して行くと9つの画素パターンP0乃至P8の図形の集まりとなる。
【0027】
オイラーの定理により、繋がっている平面図形のオイラー数は、
[頂点の数]−[辺の数]+[面の数]=1 (式1)
である。(e)の図形では、(a)の頂点の数は12、(b)の辺の数は18、(c)の面の数は7である。従って、
12−18+7=1
となる。繋がっていない図形であれば、夫々の図形のオイラー数が1であるので、画面全体で式1を当てはめると、分離されている図形の数が計算できることになる。
【0028】
このようにして、特徴量検出回路15で、頂点P0、辺P1乃至P4、面P5乃至P8をそれぞれ検出してこれらの数を計算して、式1に当てはめることで、画面中にいくつの分離した図形が存在するかが容易に求められる。
【0029】
但し、この際、4つの頂点が隣り合った4面体(立体)のP9の画素パターンは、図5の(f)のように、頂点が4、辺5、面2として計算したい。しかし、実際は、特徴量検出回路15で図5の(e)のように、4つの頂点が隣り合った4面体(立体)のP9の画素パターンは、頂点4、辺6、面4として数えられる。これは、頂点4、辺6、面4といえば、3次元空間では4面体のことである。ならば、これを2次元平面に射影された4面体と見なせばよい。多面体のオイラー数は、2である。オイラーの定理を3次元空間に拡張すれば、
[頂点の数]−[辺の数]+[面の数]−[立体の数]=1 (式2)
が成り立つ。
【0030】
そこで、互いに隣り合う4つの画素の組を立体(4面体)として、今までの9種の画素パターンP0乃至P8に、画素パターンP9を加えて、10種の画素パターンについて特徴量検出回路15で検出してそれぞれの数を計算して、式2のオイラーの定理を用いて画面内に孤立している図形の数を求めることができる。
【0031】
すなわち、
平面のオイラー数=頂点の数(P0)−辺の数(P1+P2+P3+P4)+面の数(P5+P6+P7+P8)=1
立体のオイラー数=頂点の数(P0)−辺の数(P1+P2+P3+P4)+面の数(P5+P6+P7+P8)=2
である。そこで、2×2の局所領域を立体に見立てて、その中のパターンを頂点、辺、三角形、四面体と捉えることで、式2で物体の個数を検出できる。すなわち、
[物体の個数]=[1点(頂点)の数]−[連続する2点(辺)の数]+[互いに隣り合う3点(面:三角形)]の数−[互いに隣り合う4点(立体:四面体)の数]である。つまり、
物体(便宜上立体とみる)の個数=P0の総数−(P1の総数+P2の総数+P3の総数+P4の総数)+(P5の総数+P6の総数+P7の総数+P8の総数)−P9の総数である。
【0032】
その他、画素パターンP0乃至P9を使用してできることは、例えば、穴の無い凸な物体の縦、横、及び斜めの長さの計算である。すなわち、
縦の長さ=P0の総数−P1の総数
横の長さ=P0の総数−P2の総数
右下方向の長さ=(P0の総数−P4の総数)/√2(幅が1ドットの部分がない場合)
右上方向の長さ=(P0の総数−P3の総数)/√2(幅が1ドットの部分がない場合)
以上の様にして、10種類の画素パターンP0乃至P9の特徴量を用いたパターンの認識が可能である。
【0033】
次に、図5を参照して、各画像検出処理要素1−1乃至1−64に含まれる加算器66を説明する。この加算器66は、60は論理積回路であり、第3図の特徴量検出回路15の出力と論理積回路11の出力が共に“1”であったときに“1”の信号を出力する。論理積回路11は、制御回路としての行デコーダ3の出力と制御回路としての列デコーダ4の出力が共に“1”であったとき、“1”の信号を出力する。例えば、画像検出処理要素1−11では、行デコーダ3の出力Y1と列デコーダ4の出力X2がともに“1”であった場合に“1”の信号を出力する。
【0034】
63はマルチプレクサで、この実施例では、図1の信号SELが“H”のとき、論理積回路60からの信号を出力し、“L”のときに後述するフリップフロップ回路64の信号を出力する。フリップフロップ回路64は、後述する加算回路65のCARRY信号を図1のクロック信号CLOCK2により取り込んで出力する。半加算器からなる加算回路65は、マルチプレクサ63の出力と隣接する画像検出処理要素の半加算回路のSUM信号との算術和を算出し、SUM信号とCARRY信号を出力する。例えば、画像検出処理要素1−11では、マルチプレクサ63の出力と画像検出処理要素1−10における加算回路65のSUM信号とが、共に“L”であればSUM信号及びCARRY信号がともに“L”となり、一方が“L”で他方が“H”であればSUM信号が“H”、CARRY信号が“L”となり、共に“H”であればSUM信号が“L”、CARRY信号が“H”となる。論理積回路60、論理積回路11、マルチプレクサ63、フリップフロップ64、加算回路65から第1の加算器66が構成されている。前述した通り、行毎の画像検出処理要素の第1の加算器66は順次接続されて第1の累積加算器を構成している。
【0035】
次に図7を参照して、直列型加算器2−1乃至2−8の構成の詳細について説明する。図7は直列型加算器の1つ、例えば2−2を示す。16は全加算器からなる加算回路で、上記画像検出処理要素のSUM信号と後述するフリップフロップ回路17と前段の加算回路16のSUM信号との算術加算演算を行い、SUM信号とCARRY信号とを出力する。例えば、直列型加算器2−2の場合、画像検出処理要素1−16の出力と直列型加算器2−1の出力とフリップフロップ回路17の出力とを入力とし、SUM信号は2−3の直列型加算器に出力され、CARRY信号はフリップフロップ回路17に出力される。加算回路16は3つの入力の状態が、すべて“L”のときにはSUM信号及びCARRY信号がともに“L”となり、何れか一つだけ“H”のときにはSUM信号が“H”、CARRY信号が“L”となり、二つが“H”のときにはSUM信号が“L”、CARRY信号が“H”となり、全てが“H”のときにはSUM信号及びCARRY信号がともに“H”となる。17はフリップフロップ回路であり、加算回路16のCARRY信号を上述のクロック信号CLOCK2により取り込んで出力する。
【0036】
次に、本実施の形態の画像検出処理装置の一般的な動作を説明する。まず、内部回路の初期化を行うため、行デコーダ3、列デコーダ4をすべて非選択となるように設定し、信号SELでマルチプレクサ63から画素選択信号が出力されるように設定する。この状態でクロック信号CLOCK2が1クロック以上入力されると各画像検出処理要素内のフリップフロップラッチ回路64はクリアされる。また、この状態を維持したまま更にクロック信号CLOCK2を6クロック以上入力すると、各直列加算器内のラッチ回路17も同様にクリアされる。
【0037】
次にウインドウ画像信号の設定を行う。ウインドウ画像信号は背景から移動するターゲット(対象物体)の画像を分離するためのものである。信号LOADでマルチプレクサ13から画素選択信号が出力されるように設定し、行デコーダ3、列デコーダ4の設定することでウインドウ画像の初期設定を行う。行デコーダ3、列デコーダ4がそれぞれすべての出力が選択されるように設定すると、ウインドウ画像の初期値は画面全体となる。
【0038】
次に画像の取り込みが行われる。適切な結像光学系を用いて対象物体の像を、平面状に配列された画像検出処理要素上に結像させる。結像光学系は、デジタルスチルカメラ等に用いられているようなレンズ光学系のもので良い。それぞれの画像検出処理要素では、まず、光電変換部5において、対象物体の明暗の情報を、結像された画像の光量に応じたアナログ信号に変換する。このアナログ信号は前述した方法により2値化変換回路7によって、“L”(又は“0”、以下同じ)あるいは“H”(又は“1”、以下同じ)の値を持つ2値化画像信号に変換される。
【0039】
2値化画像信号は、論理積回路10において上記のウインドウ画像信号との論理積演算をおこないターゲット画像信号に変換される。ターゲット画像信号はマルチプレクサ13を介してフリップフロップ回路14に出力され、クロック信号CLOCK1のタイミングで取り込まれる。フリップフロップ回路14に取り込まれたターゲット画像信号は次のクロック信号CLOCK1のタイミングでのウインドウ信号を生成するために5入力論理和回路12に入力されると共に、特徴量検出回路15にも入力される。
【0040】
フリップフロップ回路14の出力は、自身の画像検出処理要素内の5入力論理和回路12に出力されるとともに隣接する4個の画像検出処理要素内の5入力論理和回路12にも出力されており、5入力論理和回路12からウインドウ画像信号が出力される。
【0041】
一方、特徴量検出回路15に入力したフリップフロップ回路14の出力は、前述した通り、10種の画素パターンP0乃至P9を検出するために、右隣り、真下、右下の画像検出処理要素のフリップフロップ14から出力と、選択的に論理積演算されて、10種の画素パターンP0乃至P9が検出される。10種の画素パターンのいずれかが検出されると、特徴量検出回路15は、第1の加算器66へ“1”(又は“H”)の2値化信号を出力する。
【0042】
次に、特徴量検出回路15で検出した各々の画素パターンP0乃至P1について、その総数を画像検出処理装置で計算する演算動作が行なわれる。この演算動作は特許文献1に詳述されている対象物体(ターゲット)画像の画素面積(ゼロ次モーメント)を計算する動作と同じであるので、詳述しない。
【0043】
各々の画素パターンP0乃至P1の総数は画像検出処理装置の出力部(2−8)から、図示しないホストコンピュータ等に供給され、そこで式2にあてはめることで、入力画像中の分離した図形の総数を求めることができる。また、図示しないホストコンピュータ等によりその他のパターン認識に利用できる。
【0044】
【発明の効果】
以上説明したように、請求項1の本発明によれば、画素位置パターンに基づく物体のパターン的特徴を抽出して、各々の特徴の総数を高速に出力することができる。従って、パターン認識やその他の画像処理に利用することができる。
【0045】
請求項2の本発明によれば、入力画像データ中の物体の個数をオイラー数により高速に認識することができ、パターン認識やその他の画像処理に利用することができる。
【図面の簡単な説明】
【図1】本発明の1つの実施の形態による画像検出処理装置の構成を説明する概略的な平面図。
【図2】図1に示す画像検出処理装置の画像検出処理要素の一部を説明するためのブロック図。
【図3】図1に示す画像検出処理要素に含まれる特徴量検出回路を説明するブロック図。
【図4】図3に示す特徴量検出回路により検出される10種の画素パターンを説明するための図。
【図5】図4に示す10種の画素パターンに基づいて画像の図形の数を計算する方法を説明する図。
【図6】図1に示す画像検出処理要素に含まれる第1の加算器を説明するためのブロック図。
【図7】図1に示す画像検出処理装置に含まれる直列型加算器を説明するためのブロック図。
【符号の説明】
1−1乃至1−64 画像検出処理要素
2−1乃至2−8 直列型加算器
3 行デコーダ回路(制御回路)
4 列デコーダ回路(制御回路)
5 光電変換部(光検出器)
6 電圧保持部
7 2値化変換回路(変換器)
8 閾値入力器
9 セレクタ
10 論理積回路
11 論理積回路
12 5入力論理和回路
13 マルチプレクサ
14 フリップフロップ回路
15 特徴量検出回路
16 加算回路(第2の加算器、第2の累積加算器)
17 フリップフロップ回路
65 加算回路
66 第1の加算器(第1の累積加算器)[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital image detection processing device, and more particularly, to a digital image detection processing device capable of extracting a feature amount of an image from input image data at high speed.
[0002]
[Prior art]
[0003]
[Patent Document 1]
JP 2001-195564 A
[Problems to be solved by the invention]
Accordingly, it is an object of the present invention to provide an image detection processing device that can extract a feature amount of input image data from input image data at high speed and apply it to pattern recognition and other image processing.
[0005]
[Means for Solving the Problems]
According to the first aspect of the present invention, an image includes a photodetector that performs photoelectric conversion, a converter that converts a signal from the photodetector into a digital signal, and an adder that can input the digital signal. An image detection processing device in which a plurality of detection processing elements are arranged on a plane, wherein the digital signal of the image detection processing element is selectively combined with the digital signal from another adjacent image detection processing element. A feature value extraction circuit for calculating a logical product and inputting a result of the logical product calculation to the adder; a cumulative adder sequentially connecting the adders of the plurality of image detection processing elements; A control circuit for selectively inputting the digital signal of the processing element to the accumulator.
[0006]
According to the image detection processing device of the first aspect, the feature extraction circuit selectively calculates the logical product of the digital signals from the adjacent image detection processing elements. That is, the feature extraction circuit outputs the output of its own image detection processing element to the adder as it is, or outputs the output of its own image detection processing element and the position of the right, immediately below, and lower right of its own image detection processing element. And the output of the image detection processing element is selectively ANDed, and the result of the AND operation is output to the adder. As a result, it is possible to extract the pattern features P0 to P9 of ten types of objects based on the ten types of pixel position patterns shown in FIG. 4 and output the number of each of the pattern features P0 to P9 at high speed. Therefore, it can be used for pattern recognition and other image processing.
[0007]
According to the second aspect of the present invention, based on the plurality of feature data output from the accumulator based on the image data detected by the photodetector supplied from the output unit, the image is obtained. An image detection device according to
[0008]
According to the image detection processing device of the second aspect, the number of objects in the input image data can be recognized at high speed by the Euler number, and can be used for pattern recognition and other image processing.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a schematic plan view for explaining one embodiment of an image detection processing device according to the present invention.
[0010]
The image detection processing device of the present embodiment is used for, for example, a visual sensor of a robot or a pattern recognition device of a control device, and extracts and calculates a feature amount of image data from input image data at high speed. is there.
[0011]
In FIG. 1, reference numerals 1-1 to 1-64 denote image detection processing elements, which are arranged in a plane as a 8.times.8 lattice array (array) structure, and which are targeted by an appropriate optical system (not shown). An image including the object is imaged to generate an input image consisting of 8 × 8 pixels. Note that the number of image detection processing elements can be appropriately selected depending on the application. As will be described later with reference to FIG. 2, each image detection processing element converts a photodetector and an analog electric signal from the photodetector based on an arbitrary threshold (set by an external signal VREF). A converter for digitally converting a binary signal of “0” and “1” is provided.
[0012]
Each image detection processing element outputs the above-mentioned binarized signal as a target image signal to four image detection processing elements adjacent vertically and horizontally. For example, the image detection processing element 1-11 outputs the binary signal as a target image signal to the image detection processing elements 1-3, 1-10, 1-12, and 1-19. The image detection processing element generates a window image signal for extracting a target (target object) from the background based on the target image signals from the four image detection processing elements and its own target image signal.
[0013]
Each image detection processing element includes a feature amount extraction circuit described later with reference to FIG. Each image detection processing element includes a first adder, which will be described later with reference to FIG. 5, and receives an output from the feature amount extraction circuit. The first adder of each image detection processing element is connected to the first adder of the image detection processing element on the right side thereof. For example, the output of the first adder of the image detection processing element 1-11 is image detection processing. Input to the first adder of processing element 1-12. As described above, the first adders of the image detection processing elements for each row are sequentially connected to form a first accumulator.
[0014]
To each of the image detection processing elements, CLOCK1, CLOCK2, LOAD, and SEL signals are input as common signals. The clock signal CLOCK1 and the signal LOAD are for initial image setting. For example, the clock signal CLOCK1 is a clock signal having a frequency of about 20 MHz to 100 MHz. The clock signal CLOCK2 and the signal SEL are signals for image calculation. For example, the clock signal CLOCK2 is a clock signal having a frequency of about 1 MHz to 10 MHz.
[0015]
Reference numerals 2-1 to 2-8 denote serial adders as second adders, which are arranged for each row of the image detection processing element and receive an output from the corresponding image detection processing element at one input. The output of each serial adder is sequentially connected to the other input of the adjacent serial adder on the lower side to form a second accumulator. In this embodiment, the serial type adder 2-1 corresponds to the image detection processing elements 1-1 to 1-8, and the output of the image detection processing element 1-8 is one of the serial type adders 2-1. Connected to the input of The output of the serial adder 2-1 is connected to the other input of the serial adder 2-2. The output of the serial adder 2-8 is the entire output signal, and constitutes an output unit to which processing data based on the image data detected by the photodetector is supplied. Details of the configuration of each serial adder will be described later in detail with reference to FIG.
[0016]
A
[0017]
Next, a part of the configuration of each of the image detection processing elements 1-1 to 1-64 according to the present embodiment will be described in detail with reference to FIG.
[0018]
The binarized data converted by the binarization conversion circuit 7 is supplied to the
[0019]
The logical product (AND)
[0020]
The output of the flip-
[0021]
Next, the
[0022]
By controlling the control signals SEL0 to SEL3 to the
[0023]
Next, for example, for the pixel pattern P4, the
[0024]
Next, for example, in the pixel pattern P9, G (x, y), G (x + 1, y), G (x, y + 1), G (x + 1, y + 1) are selected by selecting all the
[0025]
Using the pixel patterns P0 to P9, the number of isolated figures in the screen based on the Euler number can be calculated. Referring to FIG. 5, (a) of FIG. 5 corresponds to the pixel pattern P0, and each pixel is a vertex. (B) corresponds to the pixel patterns P1, P2, P3, and P4, respectively, and sets a pair of two adjacent pixels as a side. There are four types of minimum length sides (b). (C) corresponds to the pixel patterns P5, P6, P7, and P8, respectively, and sets a set of three pixels adjacent to each other as a plane (or a triangle). The four areas having the minimum area are shown in FIG. (D) corresponds to the pixel pattern P9 and is a solid (or tetrahedron).
[0026]
Any complicated figure, for example, (e), can be represented by a combination of figures of nine pixel patterns P0 to P8 of (a), (b), and (c). That is, when the image is finely divided to the end, a figure group of nine pixel patterns P0 to P8 is obtained.
[0027]
By Euler's theorem, the Euler number of connected planar figures is
[Number of vertices]-[Number of sides] + [Number of faces] = 1 (Equation 1)
It is. In the figure of (e), the number of vertices in (a) is 12, the number of sides in (b) is 18, and the number of faces in (c) is 7. Therefore,
12-18 + 7 = 1
It becomes. If the figures are not connected, the Euler number of each figure is 1, so if
[0028]
In this manner, the feature
[0029]
However, at this time, it is desired to calculate the pixel pattern of P9 of the tetrahedron (three-dimensional) in which the four vertices are adjacent to each other, with four vertices, five sides, and two faces, as shown in FIG. However, in actuality, as shown in FIG. 5E, the pixel pattern of the tetrahedron (solid) P9 in which the four vertices are adjacent to each other is counted as the vertex 4, the side 6, and the surface 4 by the feature
[Number of vertices]-[Number of sides] + [Number of faces]-[Number of solids] = 1 (Equation 2)
Holds.
[0030]
Therefore, a set of four pixels adjacent to each other is defined as a three-dimensional (tetrahedron), and the pixel pattern P9 is added to the nine types of pixel patterns P0 to P8 so far, and the feature
[0031]
That is,
Euler number of plane = number of vertices (P0) −number of sides (P1 + P2 + P3 + P4) + number of planes (P5 + P6 + P7 + P8) = 1
Euler number of solid = number of vertices (P0)-number of sides (P1 + P2 + P3 + P4) + number of faces (P5 + P6 + P7 + P8) = 2
It is. Therefore, the number of objects can be detected by
[Number of objects] = [number of one point (vertex)] − [number of two consecutive points (sides)] + [number of three adjacent points (plane: triangle)] − [four adjacent points ( Number of solids: tetrahedron)]. That is,
The number of objects (considered as a solid for convenience) = total number of P0− (total number of P1 + total number of P2 + total number of P4 + total number of P4) + (total number of P5 + total number of P6 + total number of P7 + total number of P8) −total number of P9.
[0032]
In addition, what can be performed using the pixel patterns P0 to P9 is, for example, calculation of the vertical, horizontal, and oblique lengths of a convex object having no hole. That is,
Vertical length = total number of P0−total number of P1 Horizontal length = total number of P0−total number of P2 Length in lower right direction = (total number of P0−total number of P4) / √2 (part of
Length in the upper right direction = (total number of P0−total number of P3) / √2 (when there is no portion having a width of 1 dot)
As described above, it is possible to recognize patterns using the feature amounts of the ten types of pixel patterns P0 to P9.
[0033]
Next, the adder 66 included in each of the image detection processing elements 1-1 to 1-64 will be described with reference to FIG. The adder 66 is a logical product circuit, and outputs a signal of "1" when both the output of the characteristic
[0034]
In this embodiment, a
[0035]
Next, the configuration of the serial adders 2-1 to 2-8 will be described in detail with reference to FIG. FIG. 7 shows one of the serial adders, for example, 2-2.
[0036]
Next, a general operation of the image detection processing device according to the present embodiment will be described. First, in order to initialize the internal circuit, the
[0037]
Next, a window image signal is set. The window image signal is for separating an image of a moving target (target object) from the background. The pixel selection signal is set to be output from the
[0038]
Next, an image is captured. An image of the target object is formed on an image detection processing element arranged in a plane using an appropriate imaging optical system. The image forming optical system may be a lens optical system used in a digital still camera or the like. In each of the image detection processing elements, first, the
[0039]
The binarized image signal is converted into a target image signal by performing an AND operation with the above-described window image signal in the AND
[0040]
The output of the flip-
[0041]
On the other hand, as described above, the output of the flip-
[0042]
Next, for each of the pixel patterns P0 to P1 detected by the feature
[0043]
The total number of the respective pixel patterns P0 to P1 is supplied from the output unit (2-8) of the image detection processing device to a not-shown host computer or the like, where it is applied to
[0044]
【The invention's effect】
As described above, according to the first aspect of the present invention, a pattern feature of an object based on a pixel position pattern can be extracted, and the total number of each feature can be output at high speed. Therefore, it can be used for pattern recognition and other image processing.
[0045]
According to the second aspect of the present invention, the number of objects in the input image data can be quickly recognized by the Euler number, and can be used for pattern recognition and other image processing.
[Brief description of the drawings]
FIG. 1 is a schematic plan view illustrating the configuration of an image detection processing device according to one embodiment of the present invention.
FIG. 2 is a block diagram for explaining a part of image detection processing elements of the image detection processing device shown in FIG. 1;
FIG. 3 is a block diagram illustrating a feature amount detection circuit included in the image detection processing element shown in FIG. 1;
FIG. 4 is a diagram for explaining ten types of pixel patterns detected by the feature amount detection circuit shown in FIG. 3;
FIG. 5 is a view for explaining a method of calculating the number of figures in an image based on the ten types of pixel patterns shown in FIG. 4;
FIG. 6 is a block diagram for explaining a first adder included in the image detection processing element shown in FIG. 1;
FIG. 7 is a block diagram for explaining a serial adder included in the image detection processing device shown in FIG. 1;
[Explanation of symbols]
1-1 to 1-64 Image detection processing elements 2-1 to 2-8
4 column decoder circuit (control circuit)
5 Photoelectric conversion unit (photodetector)
6 Voltage holding unit 7 Binary conversion circuit (converter)
Reference Signs List 8
17 Flip-
Claims (2)
上記画像検出処理要素の上記デジタル信号を隣接する他の上記画像検出処理要素からの上記デジタル信号と選択的に論理積計算しその論理積計算結果を上記加算器に入力する特徴量抽出回路と、
上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路と
を更に備えていることを特徴とする画像検出処理装置。A plurality of image detection processing elements including a photodetector that performs photoelectric conversion, a converter that converts a signal from the photodetector into a digital signal, and an adder that can input the digital signal are arranged on a plane. An image detection processing device comprising:
A feature value extraction circuit that selectively ANDs the digital signal of the image detection processing element with the digital signal from the other adjacent image detection processing element and inputs the AND calculation result to the adder;
It further comprises a cumulative adder formed by sequentially connecting the adders of the plurality of image detection processing elements, and a control circuit for selectively inputting the digital signals of the plurality of image detection processing elements to the cumulative adder. An image detection processing device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003162794A JP2004362462A (en) | 2003-06-06 | 2003-06-06 | Image detection processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003162794A JP2004362462A (en) | 2003-06-06 | 2003-06-06 | Image detection processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004362462A true JP2004362462A (en) | 2004-12-24 |
Family
ID=34054839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003162794A Pending JP2004362462A (en) | 2003-06-06 | 2003-06-06 | Image detection processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004362462A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10891706B2 (en) | 2016-09-08 | 2021-01-12 | Sony Corporation | Arithmetic device and sensor to track movement of object between frames |
-
2003
- 2003-06-06 JP JP2003162794A patent/JP2004362462A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10891706B2 (en) | 2016-09-08 | 2021-01-12 | Sony Corporation | Arithmetic device and sensor to track movement of object between frames |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Farabet et al. | Comparison between frame-constrained fix-pixel-value and frame-free spiking-dynamic-pixel convnets for visual processing | |
CN107077621A (en) | For scanning window in the hardware of low-power object detection in image | |
JP2008259244A (en) | Image sensor | |
KR20130100524A (en) | Method of operating a three-dimensional image sensor | |
CN106125086A (en) | For the system and method using the transition time of single exposure to measure | |
KR20010085779A (en) | Visual device | |
US10489710B2 (en) | Program generation apparatus and program generation method | |
JP2879670B2 (en) | Two-dimensional information processing device | |
Di Federico et al. | SCDVP: A simplicial CNN digital visual processor | |
Sharma et al. | Super high-speed vision platform for processing 1024× 1024 images in real time at 12500 fps | |
Afshar et al. | Event-based processing of single photon avalanche diode sensors | |
JP4523104B2 (en) | Image detection processing device | |
US7176432B2 (en) | Image detection processor and image detection processing method | |
Ishii et al. | Higher order autocorrelation vision chip | |
JP2004362462A (en) | Image detection processor | |
JP2004362460A (en) | Image detection processing unit | |
JP4405181B2 (en) | Image detection processing apparatus and method | |
Hong et al. | On-chip binary image processing with CMOS image sensors | |
JP2004362378A (en) | Image detection processor | |
Bernard et al. | Output methods for an associative operation of programmable artificial retinas | |
CN114651272A (en) | Imaging sensor, image processing apparatus, and image processing method | |
KR102230609B1 (en) | Deep Learning-Based Sparse Color Sensor Image Processing Apparatus, Image Processing Method and Computer-readable Medium | |
JP4480350B2 (en) | Image detection processing device | |
JPS62297981A (en) | Binarization system for image | |
JP2689609B2 (en) | Video camera equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091119 |