JP2006293419A - 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法 - Google Patents

画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法 Download PDF

Info

Publication number
JP2006293419A
JP2006293419A JP2005108890A JP2005108890A JP2006293419A JP 2006293419 A JP2006293419 A JP 2006293419A JP 2005108890 A JP2005108890 A JP 2005108890A JP 2005108890 A JP2005108890 A JP 2005108890A JP 2006293419 A JP2006293419 A JP 2006293419A
Authority
JP
Japan
Prior art keywords
image
data
signal
unit
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005108890A
Other languages
English (en)
Other versions
JP4565122B2 (ja
Inventor
Takashi Komuro
孝 小室
Shingo Kagami
慎吾 鏡
Masatoshi Ishikawa
正俊 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Seiko NPC Corp
Original Assignee
University of Tokyo NUC
Seiko NPC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Seiko NPC Corp filed Critical University of Tokyo NUC
Priority to JP2005108890A priority Critical patent/JP4565122B2/ja
Publication of JP2006293419A publication Critical patent/JP2006293419A/ja
Application granted granted Critical
Publication of JP4565122B2 publication Critical patent/JP4565122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

【課題】画素回路の構成を簡易にする。
【解決手段】信号処理部3は、画像処理部1にクロック信号φ[0]を供給し、列選択信号xpi[0]〜xpi[N-1]を供給する。遅延回路(delay)11_1〜11_(N-2)は、クロック信号φ[0]を順次遅延させる。FIFO12_1〜12_(N-1)は、信号処理部3から供給された列選択信号xpi[0]〜xpi[N-1]を各処理要素13_xyに供給する。値“1”の列選択信号が供給された処理要素は、行方向に、入力画像の部分和を演算して、演算結果を列加算部2に供給する。信号処理部3は、この列加算部2に行選択信号yjを供給し、列加算部2は、供給された行選択信号yjに従って、加算演算を行い、信号SOUTを外部に出力する。
【選択図】図1

Description

本発明は、画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法に関するものである。
センサ情報を用いた機器の自動制御は一般的に行われているものの、画像情報を利用したものは少ない。画像情報をリアルタイムに分析し、必要な情報を取得しようとすると、イメージセンサの他に膨大な画像情報を処理する強力なプロセッサを必要とする。このことが機器の大型化と高コスト化を招くことになる。
一方、半導体位置検出素子(PSD)を用い、画像情報そのものではなく画像の特徴量のみを出力するポジションセンサがある。しかし、このポジションセンサでは、得られる特徴量が単一対象の位置のみであることや、背景画像が分離されないことから、限られた環境下でしか使用することができない。
そこで、このような問題を解決するセンサとして、イメージセンサの画素毎に処理回路を有するビジョンチップがある(例えば、特許文献1参照)。このビジョンチップは、像面上で撮像を行うとともに、各処理回路が画像処理、演算処理を行うことにより、画像の様々な特徴量を出力することができる。
特開2001−195564号公報(第3−5頁、図1)
しかし、従来のビジョンチップでは、イメージセンサの画素毎に処理回路を有するため、個々の画素回路が大きくなり、高解像度化、高感度化が難しい。また、このビジョンチップでは、特徴量としてのモーメント量取得に必要な演算を高速に行うことができるものの、さらなる高速化についても改善する余地がある。
本発明は、このような従来の問題点に鑑みてなされたもので、画素回路の構成を簡易にすることである。また、本発明は、モーメント量の演算の高速化が可能な構成とすることである。
この目的を達成するため、本発明の第1の観点に係る画像モーメントセンサは、
行数をM(Mは正の整数)、列数をN(Nは正の整数)として、M×N個の処理要素が行列配置され、各処理要素が、前記画像から受光した光を光強度に対応した信号レベルの光検出信号に変換し、前記光検出信号を2値化して2値データを生成し、数1に示すモーメント量mpqの取得に必要な列を選択するための列選択信号xp iが供給されて、供給された列選択信号xp iに基づいて選択された列の処理要素が行方向に前記2値データを加算演算し、各行の処理要素の演算結果として、それぞれ、数2に示すデータdxを出力するように構成された画像処理部と、
前記モーメント量mpqの取得に必要な行を選択するための行選択信号yq jが供給されて、前記画像処理部の各行から出力されたデータdxのうち、供給された行選択信号yq jに基づいて選択された行から出力されたデータdxを列方向に加算演算して、数3に示すデータdyを出力する列加算部と、
前記数1に示すモーメント量mpqの取得に必要な行と列とを設定して前記列選択信号xp iと前記行選択信号yq jとを生成し、生成した前記列選択信号xp iを前記画像処理部に供給し、前記行選択信号yq jを前記列加算部に供給する信号処理部と、を備えたことを特徴とする。


前記信号処理部は、矩形領域を示す領域情報が供給されて、供給された領域情報に基づいて矩形領域用の列選択信号を生成し、前記矩形領域用に生成した列選択信号と前記列選択信号xp iとの論理積演算を行い、前記論理積演算の演算値を前記画像処理部に供給するとともに、前記領域情報に基づいて矩形領域用の行選択信号を生成し、前記矩形領域用に生成した行選択信号と前記行選択信号yq jとの論理積演算を行い、前記論理積演算の演算値を前記列加算部に供給するようにしてもよい。
前記画像処理部の各処理要素は、
前記画像からの光を受光して、受光した光を光強度に対応する信号レベルの光検出信号に光電変換して出力する光検出部と、
前記光検出部が出力した光検出信号を2値化して2値データを出力する2値化部と、
前記列選択信号xp iが供給され、供給された前記列選択信号xp iに基づいて、前記2値化部が出力した2値データの出力を制御する2値データ出力制御部と、
前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された加算データとを加算して新たな加算データを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に供給する行加算部と、を備えるようにしてもよい。
前記各処理要素の前記行加算部は、
((x−1),y)座標の処理要素に供給されたクロック信号の立ち下がり時に、生成されたキャリーデータを保持し、保持したキャリーデータを、次の加算時に出力するキャリーデータ保持部と、
前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された2値データと前記キャリーデータ保持部から出力されたキャリーデータとを加算して新たな加算データとキャリーデータとを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に出力し、前記生成したキャリーデータを前記キャリーデータ保持部に供給する全加算部と、を備えるようにしてもよい。
前記信号処理部は、前記画像処理部にクロック信号を供給し、
前記各処理要素の前記行加算部は、供給されたクロック信号に従い、充電、評価を繰り返し、評価期間に加算したデータを、トランジスタの寄生容量を利用して保持するダイナミック回路によって構成され、
前記信号処理部から供給されたクロック信号を、順次、遅延させて、第n(nは、1以上の整数)クロック信号を生成し、生成した第nクロック信号を第n列の各処理要素の行加算部に供給するクロック信号遅延部を備え、
前記ダイナミック回路が多段接続されて前記画像処理部が構成されたたものであってもよい。
前記信号処理部又は前記クロック信号遅延部から供給されたクロック信号に同期して、前記信号処理部から供給された前記列選択信号xp iを、供給された順に、前記各処理要素に供給する列選択信号供給部を備え、
前記画像処理部が可変長パイプライン構成によって構成されたものであってもよい。
前記画像処理部と前記列加算部と信号処理部とは、集積化された集積回路によって構成されていてもよい。
前記画像処理部の各処理要素は、
前記画像からの光を受光して、受光した光を光強度に対応する信号レベルの光検出信号に光電変換して出力する光検出部と、
前記光検出部が出力した光検出信号を2値化して2値データを出力する2値化部と、
前記領域情報に基づいて生成された列選択信号と前記列選択信号xp iとの論理積演算の演算値が供給され、供給された演算値に基づいて、前記2値化部が出力した2値データの出力を制御する2値データ出力制御部と、
前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された加算データとを加算して新たな加算データを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に供給する行加算部と、を備えるようにしてもよい。
前記各処理要素の前記行加算部は、
((x−1),y)座標の処理要素に供給されたクロック信号の立ち下がり時に、生成されたキャリーデータを保持し、保持したキャリーデータを、次の加算時に出力するキャリーデータ保持部と、
前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された2値データと前記キャリーデータ保持部から出力されたキャリーデータとを加算して新たな加算データとキャリーデータとを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に出力し、前記生成したキャリーデータを前記キャリーデータ保持部に供給する全加算部と、を備えるようにしてもよい。
前記信号処理部は、前記画像処理部にクロック信号を供給し、
前記各処理要素の前記行加算部は、供給されたクロック信号に従い、充電、評価を繰り返し、評価期間に加算したデータを、トランジスタの寄生容量を利用して保持するダイナミック回路によって構成され、
前記信号処理部から供給されたクロック信号を、順次、遅延させて、第n(nは、1以上の整数)クロック信号を生成し、生成した第nクロック信号を第n列の各処理要素の行加算部に供給するクロック信号遅延部を備え、
前記ダイナミック回路が多段接続されて前記画像処理部が構成されたものであってもよい。
前記信号処理部又は前記クロック信号遅延部から供給されたクロック信号に同期して、前記信号処理部から供給された演算値として前記矩形領域用に生成された列選択信号と前記列選択信号xp iとの論理積演算の演算値を、供給された順に、前記各処理要素に供給する列選択信号供給部を備え、
前記画像処理部が可変長パイプライン構成によって構成されたものであってもよい。
前記画像処理部と前記列加算部と信号処理部とは、集積化された集積回路によって構成されてもよい。
本発明の第2の観点に係る画像モーメント計測装置は、
数3に示す前記データdyを出力する上述の画像モーメントセンサと、
前記画像モーメントセンサが出力した前記データdyを数1に代入して演算を行うことにより、前記モーメント量mpqを取得する制御部と、を備えたことを特徴とする。
前記制御部は、供給された画像に対して、複数の矩形領域を設定し、前記各矩形領域の領域を示す領域情報を、順次、前記信号処理部に供給して、前記列加算部から出力された前記データdyを取得し、各領域情報毎に取得した各データdyに基づいて、それぞれ、数1に従い、モーメント量を演算し、前記供給された画像に対応した領域毎に、演算により取得したモーメント量を加算することにより、前記供給された画像のモーメント量をそれぞれ取得するようにしてもよい。
前記制御部は、前記各矩形領域が未知の場合、全体の領域を所定の大きさのブロックに分割し、各ブロックの総和値を求め、各ブロックの総和値を用いてラベリング処理を行うことにより、各矩形領域の領域情報を取得するようにしてもよい。
前記制御部は、前記各処理要素の2値化部に、複数の輝度閾値を供給して各輝度閾値毎にモーメント量を取得し、対象とする画像のモーメント量を、取得した複数のモーメント量の差を求めることにより取得するようにしてもよい。
前記制御部は、前記光検出部の露光中の異なるタイミングで出力された前記光検出信号に対し、前記2値化部に、順次、2値化を行わせ、前記列加算部からデータdyを取得して前記画像のモーメント量の演算を行うようにしてもよい。
光を発する光源部と、
前記光源部が発した光を、モーメント量計測対象物と背景とに投光する投光部と、を備え、
画像モーメントセンサは、前記モーメント量計測対象物と背景とからの光の反射光に基づいて形成された画像についての数3に示す前記データdyを出力し、
前記制御部は、前記光源部に、光を点滅させる点滅信号を供給して光を点滅させ、前記光が点灯しているときと前記光が消灯しているときとで、前記画像モーメントセンサから出力された数3に示す前記データdyを取得し、取得したデータdyに基づいて得られた両モーメント量の差を求めることにより、前記計測対象物の画像と前記背景画像とを分離して、前記計測対象物のモーメント量を取得するようにしてもよい。
本発明の第3の観点に係る画像モーメントセンサの演算方法は、
行数をM(Mは正の整数)、列数をN(Nは正の整数)として、M×N個の処理要素が行列配置され、各処理要素が、前記画像から受光した光を光強度に対応した信号レベルの光検出信号に変換し、各処理要素が行方向に前記2値データを加算演算して、各行毎にデータdxを出力するように構成された画像処理部と、
前記画像処理部の各行から出力されたデータdxを加算演算してデータdyを出力する列加算部と、を備えて画像のモーメント量を取得する画像モーメントセンサの演算方法であって、
数1に示すモーメント量mpqの取得に必要な行と列とを設定して前記列選択信号xp iと前記行選択信号yq jとを生成するステップと、
生成した前記列選択信号xp iを前記画像処理部の各処理要素に供給して、前記処理要素の列を選択して、前記画像処理部に、各行の処理要素の演算結果として、それぞれ、数2に示すデータdxを出力させるステップと、
生成した行選択信号yq jを前記列加算部に供給して、前記列加算部に、画像処理部の各行から出力されたデータdxのうち、供給された行選択信号yq jに基づいて選択された行から出力されたデータdxを加算演算して、数3に示すデータdyを出力させるステップと、
前記列加算部から出力されたデータdyを取得して、数1に従って前記モーメント量mpqの演算を行うステップと、を備えたことを特徴とする。
本発明の第4の観点に係る画像モーメント計測方法は、
モーメント量計測対象物と背景とに光を投光するステップと、
上述の画像モーメントセンサの演算方法に従って、前記投光した光の反射光に基づいて形成された画像のモーメント量を演算するステップと、
消灯して、前記モーメント量計測対象物と背景とへの光の投光を停止するステップと、
上述の画像モーメントセンサの演算方法に従って、前記投光した光の反射光に基づいて形成された画像のモーメント量を演算するステップと、
投光しているときに演算したモーメント量と前記投光を停止したときに演算したモーメント量との差を求めることにより、前記計測対象物の画像と前記背景画像とを分離して、前記計測対象物のモーメント量を取得するステップと、を備えた、ことを特徴とする。
本発明によれば、画素回路の構成を簡易にすることができる。また、モーメント量の演算の高速化も可能な構成となる。
以下、本発明の実施形態に係る画像モーメントセンサ、画像モーメント計測装置を図面を参照して説明する。
(実施形態1)
実施形態1に係る画像モーメントセンサの構成を図1に示す。
実施形態1に係る画像モーメントセンサは、被写体からの光を受光して、被写体画像の特徴量として、モーメント量を取得するものである。
一般に、モーメント量mpqは、次の数4によって表される。
ここで、整数をdとして2進数で表すと、整数dは、次の数5によって表される。

数1に示すモーメント量mpqは、この数5を用いて、数6によって求められる。
この数6によれば、図2に示すようなアルゴリズムが成り立つ。このアルゴリズムは、モーメント量の演算に必要な各画像データI(x,y)の列を指定して行方向に加算演算を行い、得られた演算結果を、モーメント量の演算に必要な行を指定して列方向に加算すれば、画像データI(x,y)のモーメント量を求めることができることを示す。
このため、画像データI(x,y)に直接、行を指定するような構成は不要となる。そして、画像データI(x,y)の画素毎に、このような構成を省略できれば、回路構成を大幅に簡略化することができる。
画像モーメントセンサは、この数3に基づいてモーメント量mpqを取得するため、画像処理部1と、列加算部2と、信号処理部3と、からなり、ビジョンチップによって構成される。尚、この画像モーメントセンサは、画像処理部1と、列加算部2と、信号処理部3と、が集積化されて1チップで構成されたものである。
信号処理部3は、画像モーメントセンサの外部回路(図示せず)からCommandが供給されて画像処理部1にクロック信号φ[0]と列選択信号xp i[0]〜xp i[N-1]とを供給し、行選択信号yq jを列加算部2に供給するものである。
列選択信号xp i[0]〜xp i[N-1]は、モーメント量の取得に必要な列を選択するための信号である。行選択信号yq jは、モーメント量の取得に必要な行を選択するための信号である。また、列加算部2から出力された信号SOUTは、数6に示すようにモーメント量を2進数で表現した場合の2の各桁の係数を示す。尚、以後、列選択信号xp i[0]〜xp i[N-1]を、それぞれ、xi[0]〜xi[N-1]と記し、行選択信号yq jをyjと記すものとする。
画像処理部1は、遅延回路(図中、「delay」と記す。)11_0〜11_(N-2)と、FIFO(First-In First-Out)12_0〜12_(N-1)と、画像処理要素(以後、単に「処理要素」と記す。)13_xy(x=0〜N−1,y=0〜N−1;Nは、正の整数)と、からなる。
遅延回路11_0〜11_(N-2)は、信号処理部3から供給されたクロック信号φ[0]を順次遅延させて、第k(kは、1以上の整数)クロック信号φ[k]を生成するものである。
遅延回路11_0は、図3に示すように、信号処理部3から供給されたクロック信号φ[0]を時間tdだけ遅延させてクロック信号φ[1]を生成する。遅延回路11_0は、生成したクロック信号φ[1]を、遅延回路11_1と、FIFO12_1と、処理要素13_10〜13_1(N-1)と、に供給する。
遅延回路11_k1(k1=1〜(N-2))は、供給されたクロック信号φ[k1]を時間tdだけ遅延させて、生成したクロック信号φ[k1+1]を、遅延回路11_(k+1)と、FIFO12_(k+1)と、処理要素13_(k+1)1〜13_(k+1)Nと、に供給する。
FIFO12_0〜12_(N-1)は、可変長パイプラインを構成するために備えられたものである。FIFO12_0〜12_(N-1)は、それぞれ、図3に示す時刻t0において、信号処理部3から供給された列選択信号xi[0]〜xi[N-1]を、図4に示すように、一旦格納する。
FIFO12_0〜12_(N-1)は、クロック信号φ[0]〜[N-2]のクロックタイミングに合わせて、それぞれ、格納した列選択信号xi[0]〜xi[N-1]を、供給された順に各処理要素13_xyに供給する。図5に示すように、FIFO12_0〜12_(N-1)は、時刻t4になると、残りの列選択信号xi[0]〜xi[N-1]を格納する。
処理要素13_xyは、取得した画像からの反射光を受光して光検出信号に変換し、変換した光検出信号毎に、それぞれ、演算処理を行うものである。
図6に示すように、y行目の処理要素13_xyを処理要素13_ky(0≦k≦N−1)として、各処理要素13_kyは、PD(光検出器)101と、2値化回路102と、AND回路(論理積回路)103と、FA(全加算器)104と、DFF105と、を備える。
PD101は、受光した光を、その光強度に対応する信号レベルの光検出信号に光電変換する光検出器である。
2値化回路102は、PD101によって変換された光検出信号の信号レベルを、供給された輝度閾値と比較することにより、光検出信号を2値化して、2値データを出力するものである。
2値化回路102は、光検出信号S2の信号レベルが輝度閾値以上の場合、“1”(Hi)レベルの信号を出力し、輝度閾値未満の場合、“0”(Low)レベルの信号S3を出力する。
処理要素13_kyのAND回路103は、FIFO12_kから供給された列選択信号xi[k]に基づいて、2値化回路102から出力された2値データの出力を制御するものである。AND回路103は、列選択信号xi[k]と2値データとの論理積を演算することにより、2値化回路102が生成した2値データを出力したり遮断したりする。
AND回路103は、FIFO12_kから供給された列選択信号xi[k]が“1”の場合に、2値化回路102から出力された2値信号をFA104に出力する。
また、AND回路103は、FIFO12_kから供給された列選択信号xi[k]が“0”の場合に、2値化回路102から出力された2値データのFA104への出力を遮断して、FA104に“0”を出力する。
各処理要素13_xyが、それぞれ、このようなAND回路103を備えることにより、画像モーメントセンサは、処理要素13_xyのいずれかを選択して画像の特徴量(モーメント量)を取得することができる。
FA104は、全加算器であり、行方向左隣の処理要素13_(k-1)yから供給されたデータDk-1と、AND回路103から供給されたデータDkと、DFF105から供給されたキャリーCiと、を加算して、新たな加算データとして、データDk+1を生成する。
FA104は、図7に示すように、NMOS回路111,112と、トランジスタQ11〜Q14と、を備える。
トランジスタQ11,Q12は、それぞれ、PMOSトランジスタ、NMOSトランジスタである。トランジスタQ11のソースは、電源に接続され、トランジスタQ12のソースは、接地され、トランジスタQ11,Q12のそれぞれのゲートには、クロック信号φ[k]が供給される。
トランジスタQ13,Q14は、それぞれ、PMOSトランジスタ、NMOSトランジスタである。トランジスタQ13のソースは、電源に接続され、トランジスタQ14のソースは、接地され、トランジスタQ13,Q14のそれぞれのゲートには、クロック信号φ[k+1]が供給される。
NMOS回路111は、トランジスタQ15〜Q19からなる。トランジスタQ15〜Q19は、NMOSトランジスタである。トランジスタQ15のドレインは、トランジスタQ11のドレインに接続され、ゲートには、キャリーCiが供給される。
トランジスタQ16,Q17のそれぞれのドレインは、トランジスタQ15のソースに接続され、それぞれのソースは、トランジスタQ12のドレインに接続される。トランジスタQ16,Q17のゲートには、それぞれ、データDk-1,Dkが供給される。データDk-1は、同じ行において隣の処理要素13_(k-1)yから供給されたものである。データDkは、処理要素13_kyのAND回路103から供給されたものである。
トランジスタQ18,Q19のそれぞれのドレインは、トランジスタQ11のドレイン,トランジスタQ18のソースにそれぞれ接続され、ゲートには、それぞれ、データDk-1,Dkが供給される。トランジスタQ19のソースは、トランジスタQ12のドレインに接続される。
NMOS回路111とトランジスタQ11,Q13とによってダイナミックNMOS回路が構成される。即ち、図8に示すように、時刻t12前のクロック信号φ[k]が“0”のとき、トランジスタQ11がオンし、トランジスタQ12がオフする。NMOS回路111は、キャリーCiと、データDk-1,Dkの状態に従って充電される。NMOS回路111は、加算データを保持する。
時刻t12において、クロック信号φ[k]が“1”になると、トランジスタQ11はオフし、トランジスタQ12がオンする。キャリーCoの値は、キャリーCiと、データDk-1,Dkと、の状態で決定される。
NMOS回路112は、トランジスタQ20〜Q26からなる。トランジスタ20〜Q26は、NMOSトランジスタである。トランジスタQ20のドレインは、トランジスタQ13のドレインに接続され、ゲートには、キャリーCoが供給される。
トランジスタQ21、Q22,Q23のそれぞれのドレインは、トランジスタQ20のソースに接続され、それぞれのソースは、トランジスタQ14のドレインに接続される。トランジスタQ21、Q22,Q23のゲートには、それぞれ、データDk-1,Dk,キャリーCoが供給される。
トランジスタQ24のドレインはトランジスタQ13のドレインに接続される。トランジスタQ25のドレインは、トランジスタQ24のソースに接続される。トランジスタQ26のドレインは、トランジスタQ25のソースにそれぞれ接続される。トランジスタQ26のソースは、トランジスタQ14のドレインに接続される。
NMOS回路112とトランジスタQ12,Q14とによってダイナミックNMOS回路が構成される。即ち、図8に示すように、時刻t13前のクロック信号φ[k+1]が“0”のとき、トランジスタQ13がオンし、トランジスタQ14がオフする。NMOS回路111は、キャリーCo,Ciと、データDk-1,Dkの状態に従って充電される。NMOS回路111は、加算データを保持する。
時刻t13において、クロック信号φ[k+1]が“1”になると、トランジスタQ13はオフし、トランジスタQ14がオンする。インバータ113の入力端のデータDinvの値は、キャリーCo,Ciと、データDk-1,Dkの状態で決定される。インバータ113は、データDinvの値を反転し、反転したデータDk+1を処理要素13_(k+1)yに供給する。
本実施形態のFA104は、このようなダイナミックNMOS回路を備えて構成されている。
DFF105は、クロック信号φ[k]の前の立ち上がり時にFA104からのキャリーCoを取り込んで、キャリーCiをFA104に供給するものである。DFF105は、インバータ121〜123と、トランジスタQ31〜Q36と、からなる。
インバータ121,122,123は、それぞれ、2つの制御端を備え、2つの制御端に“1”が供給されたときに、入力端に供給された信号を反転出力するものである。インバータ121の入力端は、FA104のトランジスタQ11のドレインに接続されてキャリーCoが供給される。インバータ121の出力端は、インバータ122の入力端に接続される。インバータ122の出力端は、インバータ123の入力端に接続される。インバータ123の出力端は、NMOS回路111のトランジスタQ15のゲートに接続され、キャリーCiを供給する。
トランジスタQ31,Q33,Q35は、PMOSトランジスタである。トランジスタQ31,Q33,Q35のそれぞれのソースは、正電圧の電源に接続される。トランジスタQ31,Q33,Q35のそれぞれのドレインは、インバータ121,122,123の一方の制御端に接続される。トランジスタQ31,Q33,Q35のそれぞれのゲートにクロック信号φ[k-1]の反転信号、クロック信号φ[k]の反転信号、クロック信号φ[k]が供給される。
トランジスタQ32,Q34,Q36は、NMOSトランジスタである。トランジスタQ32,Q34,Q36のそれぞれのソースは、負電圧の電源に接続され、それぞれのドレインは、インバータ121,122,123の他方の制御端に接続され、それぞれのゲートにクロック信号φ[k-1]、φ[k],φ[k]の反転信号が供給される。
図8に示すように、時刻t14において、クロック信号φ[k-1]が立ち下がると、トランジスタQ31,Q32はオフして、インバータ121は、キャリーCoの値を反転出力する。
次に、クロック信号φ[k]が立ち上がったときに、トランジスタQ33,Q34はオンして、インバータ122は、インバータ121の出力値を反転出力する。
そして、クロック信号φ[k]が立ち下がったときに、トランジスタQ35,Q36はオンして、インバータ123は、インバータ122の出力値を反転出力する。
このように、時刻t14〜t15において、DFF105がキャリーデータCoを取り込まないようにしたのは、時刻t14後では、データDk-1が、前段の処理要素13_(k-1)yが加算データとして更新されているためである。このため、DFF105は、前述のように、クロック信号φ[k-1]の前の立ち下がる時刻t14において、FA104からのキャリーCoを取り込むようにしている。
また、本実施形態の画像モーメントセンサでは、ダイナミックNMOS回路が多段接続されたドミノ論理回路によって構成されている。さらに、この画像モーメントセンサは、self-timed domino論理回路によって構成されている。
self-timed domino論理回路は、前段の処理要素13_xyに供給されたクロック信号φ[k-1]を遅延して生成されたクロック信号φ[k]が次の処理要素13_xyに供給されるように構成された回路である。
self-timed domino論理回路では、ダイナミックNMOS回路の出力信号が“1”から“0”にしか変化せず、出力が安定するまでの間に信号が何度も反転するようなこともないので、低消費電力化が図られる。
しかし、ダイナミックNMOS回路は、直接接続されると、正しい論理値を出力することができない。このダイナミックNMOS回路を直接接続した例を図9(a)に示す。
この図9(a)において、トランジスタQ201,Q202と、NMOS論理回路201と、で第1段目のダイナミックNMOS回路が構成されている。トランジスタQ203,Q204と、NMOS論理回路202と、で第2段目のダイナミックNMOS回路が構成されている。NMOS論理回路201には、信号S201が供給され、NMOS論理回路202には、信号S202が供給され、第2段目のダイナミックNMOS回路は、信号S203を出力する。
図9(b)に示すように信号S202が、“1”→“1”又は、“1”→“0”に変化した場合、信号S203も、“1”→“1”又は、“1”→“0”に変化する。しかし、信号S203は、一旦、“0”に変化すると、“1”に戻ることはできない。このように、ダイナミックNMOS回路が直接多段接続されたself-timed domino論理回路では、各出力段の信号が“1”→“0”にしか、変化しない。
これに対して、図10(a)に示す回路は、遅延回路(delay)203を備える。遅延回路(delay)203は、トランジスタQ202のゲートに、クロック信号Φを遅延させて生成したクロック信号Φ’を供給する。
図10(b)に示すように、信号S203は、一旦、“0”に変化しても“1”に戻ることができる。このため、self-timed domino論理回路は正しい論理値を出力することができる。前述の遅延回路12_1〜12_Nは、self-timed domino論理により、ダイナミックNMOS回路を多段接続するために備えられたものである。
列加算部2は、画像処理部1の処理要素11_(N-1)0〜11_(N-1)(N-1)から出力された行データのうち、行選択信号yjに基づいて行を選択し、選択された行のデータをさらに列方向に演算するものである。そして、列加算部2は、この演算結果を、モーメント量を示す信号SOUTとして、画像モーメントセンサの外部に出力する。
次に実施形態1に係る画像モーメントセンサの動作を説明する。
尚、ここでは、画像処理部1を8×8画素として、1次モーメント量を取得する場合について説明する。
1次モーメント量は、数6に従い、次の数7によって表される。
この数7に従い、1次モーメント量を求めるためには、画像処理部1に図11(a)〜(d)に示すようなパターンを生成させればよい。図11(a)に示すパターンは、数7に示すi=0の場合、即ち、2の0乗の係数を求めるためのパターンである。このようなパターンを生成させるための列選択信号x0[0]〜x0[7]は、“01010101”となる。
図11(b)に示すパターンは、数7に示すi=1の場合、即ち、2の1乗の係数を求めるためのパターンである。このようなパターンを生成させるための列選択信号x1[0]〜x1[7]は、“00110011”となる。
図11(c)に示すパターンは、数7に示すi=2の場合、即ち、2の2乗の係数を求めるためのパターンである。このようなパターンを生成させるための列選択信号x2[0]〜x2[7]は、“00001111”となる。
図11(d)に示すパターンは、数5に示すi=3の場合、即ち、2の3乗の係数を求めるためのパターンである。このようなパターンを生成させるための列選択信号x3[0]〜x3[7]は、“00000000”となる。
信号処理部3は、図11(a)〜(d)に示すようなパターンを生成させるための列選択信号x0[0]〜x0[7]乃至x3[0]〜x3[7]を画像処理部1に供給する。これらのパターンと画像データI(x、y)との論理積をそれぞれ求め、求められた各パターンについての部分和を加算すれば、1次モーメント量が求められる。
FIFO12_0〜12_7は、図12に示すように、信号処理部3から供給された列選択信号x0[0]〜x3[7]乃至x0[7]〜x3[7]を、図13に示す時刻t20において、供給された順に格納する。
図13に示すように、時刻t21において、信号処理部3から供給されたクロック信号φ[0]が立ち上がると、FIFO12_0は、立ち上がりに同期して、処理要素13_00〜13_07に、それぞれ、列選択信号x0[0]を供給する。
入力された画像データI(x,y)を図14(a)に示すような画像データとして、処理要素13_04〜13_74における加算動作を、図15(a)〜(h)に示す。尚、図中、D04〜D74は、処理要素13_04〜13_74のそれぞれの値を示し、C14〜C74は、処理要素13_04〜13_74のそれぞれのキャリーを示す。
処理要素13_04では、PD101が画像データI(1,1)の光強度に対応する信号レベルの光検出信号に変換する。2値化回路102は、PD101によって変換された光検出信号の信号レベルを、供給された輝度閾値と比較することにより、光検出信号を2値データ“0”に変換する。
処理要素13_04のAND回路103は、列選択信号x0[0]=0であるため、2値化回路102が変換した2値データ“0”のFA104への出力を遮断し、処理要素13_04のFA104にデータ“0”を出力する。
処理要素13_04のFA104は、AND回路103から出力されたデータ“0”と、キャリーCi=0と、を加算して、データD04=0とキャリーC04=0とを取得する。そして、処理要素13_04のFA104は、図15(a)に示すように、取得したデータD04=0を処理要素13_14に供給し、取得したキャリーC14=0をキャリーCoとして、DFF105に供給する。
処理要素13_00〜13_03,13_05〜13_07においても同様である。従って、処理要素13_00〜13_07のFA104は、それぞれ、処理要素13_10〜13_17に、D00〜D07=“00000000”を供給する。
図13に示すように、遅延時間td後の時刻t22になって、遅延回路11_0が生成したクロックφ[1]が立ち上がると、FIFO12_1は、クロックφ[1]の立ち上がりに同期して、列選択信号x0[1]=1を処理要素13_10〜13_17に供給する。
処理要素13_14では、画像データI(1,4)の光強度が、ほぼ“0”となるため、PD101が変換した光検出信号の信号レベルもほぼ“0”になる。2値化回路102は、この光検出信号を2値データ“0”に変換する。
AND回路103は、列選択信号x0[1]=1であるため、2値化回路102が変換した2値データ“0”をFA104に出力する。
処理要素13_14のFA104は、既に、処理要素13_04からデータD04=0が供給されている。このため、処理要素13_14のFA104は、このデータD04=0と、AND回路103から出力されたデータD14=0と、DFF105から供給されたキャリーCi=0と、を加算して、データD14=0とキャリーC14=0とを取得する。そして、処理要素13_14のFA104は、図15(b)に示すように、取得したデータD14=0を処理要素13_24に供給し、取得したキャリーC14=0をキャリーCoとして、DFF105に供給する。
処理要素13_10〜13_13,13_15〜13_17においても同様である。従って、処理要素13_10〜13_17のFA104は、それぞれ、処理要素13_20〜13_27に、D10〜D17=“00000000”を供給する。
図13に示すように、時刻t23において、遅延回路11_1が生成したクロック信号φ[2]が立ち上がると、FIFO12_2は、クロック信号φ[2]の立ち上がりに同期して、列選択信号x0[2]=0を処理要素13_20〜13_27に供給する。
処理要素13_24のFA104は、処理要素13_14から供給されたデータD14=0と、AND回路103から出力されたデータD24=0と、DFF105から供給されたキャリーCi=0と、を加算して、データD24=0とキャリーC24=0とを取得する。そして、処理要素13_24のFA104は、図15(c)に示すように、取得したデータD24=0を処理要素13_34に供給し、取得したキャリーC24=0をキャリーCoとして、DFF105に供給する。
処理要素13_20〜13_23,13_25〜13_27においても同様である。従って、処理要素13_20〜13_27のFA104は、それぞれ、処理要素13_30〜13_37に、D20〜D27=“00000000”を供給する。
図13に示すように、時刻t24において、遅延回路11_2が生成したクロック信号φ[3]が立ち上がると、FIFO12_3は、クロック信号φ[3]の立ち上がりに同期して、列選択信号x0[3]=1を処理要素13_30〜13_37に供給する。
処理要素13_34のFA104は、処理要素13_24から供給されたこのデータD24=0と、AND回路103から出力されたデータD34=1と、DFF105から供給されたキャリーCi=0と、を加算して、データD34=1とキャリーC34=0とを取得する。そして、処理要素13_34のFA104は、図15(d)に示すように、取得したデータD34=1を処理要素13_44に供給し、取得したキャリーC34=0をキャリーCoとして、DFF105に供給する。
処理要素13_30〜13_33,13_35〜13_37においても同様である。従って、処理要素13_30〜13_37のFA104は、それぞれ、処理要素13_40〜13_47に、D30〜D37=“00001100”を供給する。
図13に示すように、時刻t25において、遅延回路11_3が生成したクロック信号φ[4]が立ち上がると、FIFO12_4は、クロック信号φ[4]の立ち上がりに同期して、列選択信号x0[4]=0を処理要素13_40〜13_47に供給する。
処理要素13_44のFA104は、処理要素13_34から供給されたデータD34=1と、AND回路103から出力されたデータD44=0と、DFF105から供給されたキャリーCi=0と、を加算して、データD44=1とキャリーC44とを取得する。そして、処理要素13_44のFA104は、図15(e)に示すように、取得したデータD44=1を処理要素13_54に供給し、取得したキャリーC44=0をキャリーCoとして、DFF105に供給する。
処理要素13_40〜13_43,13_45〜13_47においても同様である。従って、処理要素13_40〜13_47のFA104は、それぞれ、処理要素13_50〜13_57に、D40〜D47=“00001100”を供給する。
図13に示すように、時刻t26において、遅延回路11_4が生成したクロック信号φ[5]が立ち上がると、FIFO12_5は、クロック信号φ[5]の立ち上がりに同期して、列選択信号x0[5]=1を処理要素13_50〜13_57に供給する。
処理要素13_54のFA104は、処理要素13_44から供給されたデータD44=1と、AND回路103から出力されたデータD54=1と、DFF105から供給されたキャリーCi=0と、を加算して、データD54=0とキャリーC54=1とを取得する。そして、処理要素13_54のFA104は、図15(f)に示すように、取得したデータD54=0を処理要素13_64に供給し、取得したキャリーC54=1をキャリーCoとして、DFF105に供給する。
処理要素13_50〜13_53,13_55〜13_57においても同様である。従って、処理要素13_50〜13_57のFA104は、それぞれ、処理要素13_60〜13_67に、D50〜D57=“00110000”を供給する。
図13に示すように、時刻t27において、遅延回路11_5が生成したクロック信号φ[6]が立ち上がると、FIFO12_6は、クロック信号φ[6]の立ち上がりに同期して、列選択信号x0[6]=0を処理要素13_60〜13_67に供給する。
処理要素13_64のFA104は、処理要素13_45から供給されたデータD54=0と、AND回路103から出力されたデータD64=0と、DFF105から供給されたキャリーCi=0と、を加算して、データD64=0とキャリーC64=0とを取得する。そして、処理要素13_64のFA104は、図15(g)に示すように、取得したデータD64=0を処理要素13_74に供給し、取得したキャリーC64=0をキャリーCoとして、DFF105に供給する。
処理要素13_60〜13_63,13_65〜13_67においても同様である。従って、処理要素13_60〜13_67のFA104は、それぞれ、処理要素13_70〜13_77に、D60〜D67=“00110000”を供給する。
図13に示すように、時刻t28において、遅延回路11_6が生成したクロック信号φ[7]が立ち上がると、FIFO12_7は、クロック信号φ[7]の立ち上がりに同期して、列選択信号x0[7]=1を処理要素13_70〜13_77に供給する。
処理要素13_74のFA104は、処理要素13_64から供給されたデータD64=0と、AND回路103から出力されたデータD74=0と、DFF105から供給されたキャリーCi=0と、を加算して、データD74=0とキャリーC74=0とを取得する。そして、処理要素13_74のFA104は、図15(h)に示すように、取得したデータD74=0を列加算部2に供給し、取得したキャリーC74=0をキャリーCoとして、DFF105に供給する。
処理要素13_70〜13_73,13_75〜13_77においても同様である。従って、処理要素13_70〜13_77のFA104は、図14(b−3)に示すように、列加算部2に、D70〜D77=“00110000”を供給する。
画像処理部1は、このようにして、列選択信号x0[0]〜x0[7]が供給された場合、図14(b−1)に示すような画像データの部分和を演算する。
そして、画像処理部1は、図14(b−3)に示すような演算結果を行毎に列加算部2に供給する。列加算部2は、信号処理部3から供給された行選択信号yjに基づいて行を選択し、選択した行から出力された部分和を、順次、加算する。そして、列加算部2は、加算結果として、2の0乗の係数を示すデータを出力する。
また、図13に示すように、時刻t25では、信号処理部3から供給されたクロック信号φ[0]が立ち上がり、FIFO12_0は、立ち上がりに同期して、処理要素13_00〜13_07に、それぞれ、列選択信号x1[0]=0を供給する。
図13に示すように、時刻t26になると、遅延回路11_1から供給されたクロック信号φ[1]が立ち上がり、FIFO12_1は、立ち上がりに同期して、処理要素13_10〜13_17に、それぞれ、列選択信号x1[1]=0を供給する。
同様に、FIFO12_2も、時刻t27になると、処理要素13_20〜13_27に、それぞれ、列選択信号x1[2]=1を供給する。FIFO12_3も、時刻t28になると、処理要素13_30〜13_37に、それぞれ、列選択信号x1[3]=1を供給する。
FIFO12_3〜12_7も、それぞれ、x0[3]=1を処理要素13_30〜13_37に、x0[4]=0を処理要素13_40〜13_47に、x0[5]=0を処理要素13_50〜13_57に、x0[6]=1を処理要素13_60〜13_67に、x0[7]=1を処理要素13_70〜13_77に、時間の経過に伴って、順次、供給する。
従って、図16(c−1)に示すように、信号処理部3から供給された列選択信号x1に基づいて、第3列目の処理要素13_20〜13_27と、第4列目の処理要素13_30〜13_37と、第6列目の処理要素13_50〜13_57と、第8列目の処理要素13_70〜13_77と、が選択される。
これらの処理要素が選択されると、選択された各処理要素は、図16(c−2)に示すような画像データI(x,y)の部分和を求め、図16(c−3)に示すように、求めた部分和を列加算部2に供給する。
列加算部2は、信号処理部3から供給された行選択信号y1に基づいて行を選択し、選択した行から出力された部分和を、順次、加算する。そして、列加算部2は、加算結果として、2の1乗の係数を示すデータを出力する。
次に、図16(d−1)に示すように、信号処理部3から供給された列選択信号x2に基づいて、第5列目の処理要素13_40〜13_47と、第6列目の処理要素13_50〜13_57と、第7列目の処理要素13_60〜13_67と、第8列目の処理要素13_70〜13_77と、が選択される。
これらの処理要素が選択されると、選択された各処理要素13_40〜13_47,13_50〜13_57,13_60〜13_67,13_70〜13_77は、図16(d−2)に示すような画像データI(x,y)の部分和を求め、図16(d−3)に示すように、求めた部分和を列加算部2に供給する。
列加算部2は、信号処理部3から供給された行選択信号y2に基づいて行を選択し、選択した行から出力された部分和を、順次、加算する。そして、列加算部2は、加算結果として、2の2乗の係数を示すデータを出力する。
次に、図16(e−1)に示すように、FIFO12_0〜12_7は、信号処理部3から供給された列選択信号x3[0]〜x3[7]=“00000000”を各処理要素13_xy(x=0〜7,y=0〜7)に供給する。各処理要素13_xyのAND回路103は、2値化回路102が出力した2値データのFA104への供給を遮断して、“0”をFA104に供給する。
各処理要素13_xyは、図16(e−2)に示すように左隣の処理要素から供給された値とキャリーCoとの加算を行い、加算した値を右隣の処理要素に供給する。そして、処理要素13_70〜13_77は、図16(e−3)に示すように、それぞれ、加算結果を列加算部2に供給する。
列加算部2は、信号処理部3から供給された行選択信号y3に基づいて行を選択し、選択した行から出力された部分和を、順次、加算する。そして、列加算部2は、加算結果として、2の3乗の係数を示すデータを出力する。
このようにして、各処理要素13_xyのデータは、図16(f−1)〜(f−3)に示すようにクリアされる。
尚、図13に示すように、時刻t25では、FIFO12_4が処理要素40_13_47に列選択信号x0[0]=0を供給して、加算演算を実行するものの、処理要素13_00〜13_07では、加算演算は終了しており、列選択信号x1[0]=0が供給されても、処理要素13_00〜13_07では、加算演算の実行が可能になっている。このように、画像処理部1が可変パイプラインによって構成されるため、画像処理部1は、複数の加算演算を並列して行うことができ、より高速にモーメント量の演算を行うことができる。
ここで、画像モーメントセンサが可変長パイプラインによって構成された場合の動作速度と構成されなかった場合の動作速度とを比較する。各処理要素13_xy1段あたりの遅延時間が0.5nsとして、段数(列数)が240とした場合、可変長パイプラインを備えなければ、動作周波数は8.3MHzとなる。一方、外部制御信号が100MHzの場合、12段の可変長パイプラインドミノ回路を備えることにより、動作速度は、備えない場合と比較して12倍になる。
また、画像モーメントセンサが可変長パイプラインドミノ回路を備えることにより、外部制御信号の周波数が変わったり、割込等によって周期が安定しなかったりした場合でも、ハードウェアを変更することなしに、常に最適な動作速度が得られる。
以上説明したように、本実施形態1によれば、画像モーメントセンサは、各画像データI(x,y)に列選択信号xiを乗算して行方向に演算結果を加算し、得られた演算結果に行選択信号yjを乗算して、列方向に加算して、画像データI(x,y)のモーメント量を求めるようにした。
従って、画像データI(x,y)に直接行選択信号yjを供給するような構成が不要となり、画素回路の構成を簡易にすることができる。また、すべてのi,jの組み合わせについて部分和の計算を行う必要がなくなることから、演算処理も少なくなり、演算時間を短縮することもできる。即ち、モーメント量の演算の高速化も可能な構成となる。
また、各処理要素13_xyのFA104は、ダイナミックNMOS回路によって構成され、各ダイナミックNMOS回路は、ドミノ論理(self-timed domino)回路によって多段接続される。従って、低面積化、省電力化を実現することができる。
特に、画素毎に、演算機能を有する各処理要素を低面積化することにより、各処理要素13_xyを小さくすることができ、各処理要素13_xyが小さくなれば、解像度を高めることができ、感度を向上させることもできる。
また、ドミノ論理回路のクロックタイミングに対応させて列選択信号xiを各処理要素13_xyに供給し、画像処理部1を可変長パイプラインによって構成するようにしたので、モーメント量の演算を高速に行えるようになる。そして、画像処理部1の各処理要素13_xyは、外部回路から供給される外部制御信号のタイミングに対して常に最適の動作速度で演算を行うことができる。
(実施形態2)
実施形態2〜5は、実施形態1に係る画像モーメントセンサを用いて、対象画像のモーメント量を計測する画像モーメント計測装置に関するものである。
まず、実施形態2に係る画像モーメント計測装置は、モーメント量を求める対象画像が複数存在する場合に、対象画像毎にモーメント量を取得するようにしたものである。
モーメント量を求める対象画像として、図17(a)に示すように、複数の対象画像g11,g12が存在する場合、図17(b)に示すように、複数の矩形領域Sp_11,Sp_12,Sp_13に分割して、モーメント量を示すデータを求める。そして、求めたデータを実施形態1に係る画像モーメントセンサの外部で加算演算すれば、対象画像g11,g12のそれぞれのモーメント量が得られる。
実施形態2に係る画像モーメント計測装置は、このようにモーメント量を取得するように構成されたものである。
図18に示すように、実施形態2に係る画像モーメント計測装置20は、画像モーメントセンサ21と制御部22とからなる。
制御部22は、画像モーメントセンサ21に、処理に必要な情報を供給して画像モーメントセンサ21を制御し、画像モーメントセンサ21からモーメント量に関するデータを取得するものである。対象画像g11,g12のそれぞれの矩形領域Sp_11,Sp_12,Sp_13が既知の場合、制御部22は、この各領域情報を、順次、画像モーメントセンサ21に供給する。
画像モーメントセンサ21は、実施形態1のものと同様のものである。画像モーメントセンサ21の信号処理部3は、図17(a)に示すように、矩形領域Sp_11,Sp_12,Sp_13の領域情報が既知の場合、供給された領域情報に基づいて矩形領域用の列選択信号を生成し、生成した列選択信号と列選択信号xi[0]〜[N-1]との論理積を演算して、その演算値を画像処理部1に供給する。
また、信号処理部3は、供給された領域情報に基づいて矩形領域用の行選択信号を生成し、生成した行選択信号と行選択信号yjとの論理積を演算して、その演算値を列加算部2に供給する。
制御部22は、領域情報を供給する毎に、列加算部2から出力された行列データdyを取得して、数1に従ってモーメント量mpqの演算を行い、演算したモーメント量mpqを加算する。
対象画像g11,g12のそれぞれの矩形領域Sp_11,Sp_12,Sp_13の領域が未知の場合、制御部22は、図19(a)に示すように、全体の領域を所定の大きさのブロックに分割し、各ブロックの総和値を求める。
制御部22は、図19(b)に示すように、各ブロックの総和値からラベリング処理により、矩形領域Sp_11,Sp_12,Sp_13の領域情報を取得する。
制御部22は、ラベリング処理を以下のようにして行う。制御部22は、まず、各ブロックを左上よりラスタ走査し,ラベルが付加されてない総和が一定値以上のブロックを判別した場合、左と上のブロックを調べ、ラベルが付されているならばそのラベルと同じ値のラベルを付する。ラベルが付されていない場合、制御部22は、新しいラベルを付する。
制御部22は、あるブロックに着目し、左ブロックと上ブロックと着目ブロックが連結している場合、その各ブロックのラベルの値を調べる。制御部22は、3ブロックとも同じラベルである場合、次の総和が一定値以上のブロックを判別するまでラスタ走査を行う。
着目ブロックと左ブロックか上ブロックのうちいずれかに、異なるラベルが付されている場合、制御部22は、左ブロックと上ブロックのラベルの値を比較し、小さい値のラベルを着目ブロックに付する。
制御部22は、付されなかったラベルを有するブロックを新たに注目ブロックとして同様の操作を行い、各対象ブロック毎に、各ブロックの連結性を調べる。尚、総和が一定値を越えなければ、制御部22は、そのブロックを対象領域とはしないようにする。
例えば、ブロックの総和が予め設定された値未満の小さなものである場合、そのブロックはノイズによるものである可能性がある。このような場合、制御部22は、そのブロックを、モーメント量取得の対象領域から除外する。
以上説明したように、本実施形態2によれば、複数の対象画像が存在する場合に、複数の矩形領域Sp_11,Sp_12,Sp_13に分割して、モーメント量を示すデータを求め、制御部22がこのデータを加算演算するようにした。
従って、各対象画像のそれぞれのモーメント量を取得することができる。また、対象領域の領域情報が未知の場合、制御部22が、ブロック総和を求めてラベリング処理を行うようにしたので、領域情報を取得することができ、また、ノイズによる誤処理を防ぐことができる。
また、複数の領域に分けてモーメント量を取得することにより、モーメント量を取得する回数が増えた場合でも、実施形態1に係る画像モーメントセンサを用いることにより、短時間で対象画像のモーメント量を取得することができる。
(実施形態3)
実施形態3に係る画像モーメント計測装置は、明るさが異なる複数の画像の中から、特定の画像を対象画像として、そのモーメント量を取得するようにしたものである。
例えば、図20に示すように、全体画像g20に、画像g21,g22,g23が存在し、その輝度値が、それぞれ、v1,v2,v3(v1<v2<v3)であるとする。この場合、この対象画像g21,g22,g23の輝度に対して、輝度閾値を設定して2値化すれば、輝度毎に画像を選択して2値画像を取得することができ、また、特定の画像を対象画像として、そのモーメント量を取得することもできる。
このため、実施形態3に係る画像モーメント計測装置20は、実施形態1の構成を備えるとともに、制御部22はメモリ(図示せず)を備え、輝度閾値Vth1,Vth2(v1<Vth1<v2<Vth2<v3)と取得したモーメント量とを記憶するように構成される。この輝度閾値Vth1,Vth2は、各輝度値v1,v2,v3が既知であれば、予め設定されたものであってもよく、また、未知であれば、可変のものであってもよい。
また、実施形態3に係る画像モーメント計測装置20は、制御部22がこの輝度閾値Vth1,Vth2を各処理要素13_xyの2値化回路102に供給するように構成されている。
対象画像をg22として、対象画像g22のモーメント量を取得する場合、制御部22は、輝度閾値Vth1をメモリから読み出して、各処理要素13_xyの2値化回路102に供給する。v1<Vth1<v2<v3であるため、画像処理部1は、図21(a)に示すような2値画像(G22+G23)を取得する。
信号処理部3は、実施形態1と同様、画像処理部1に、モーメント量を取得するための列選択信号を供給する。画像処理部1の各処理要素13_xyは、この画像に対して行方向に演算処理を行う。信号処理部3は、列加算部2に行選択信号yjを供給する。制御部22は、列加算部2から、モーメント量を示す信号SOUTを取得する。制御部22は、取得した信号SOUTに基づいて画像(g22+g23)のモーメント量m(g22+g23)を演算する。
次に、制御部22は、輝度閾値Vth2をメモリから読み出して、各処理要素13_xyの2値化回路102に供給する。v1<v2<Vth2<v3であるため、画像処理部1は、図21(b)に示すような2値画像G23を取得する。
信号処理部3は、実施形態1と同様、画像処理部1に、モーメント量を取得するための列選択信号を供給し、列加算部2に行選択信号yjを供給する。制御部22は、列加算部2から、モーメント量を示す信号SOUTを取得し、取得した信号SOUTに基づいて画像g23のモーメント量m(g23)を演算する。
制御部22は、取得したモーメント量m(g22+g23)とm(g23)との差を求める。モーメント量m(g22+g23)とm(g23)との差は、画像g22のモーメント量m(g22)となる。従って、制御部22は、図21(c)に示すような対象画像g22の仮想的な2値画像G22を取得して、この2値画像G22に基づいて対象画像g22のモーメント量m(g22)を取得するのと同じ結果を得ることになる。
尚、対象画像をg21として、対象画像g21のモーメント量m(g21)を取得する場合、制御部22は、図20に示す画像g20のモーメント量m(g21+g22+g23)を取得し、取得したモーメント量m(g21+g22+g23)とm(g22+g23)との差を求める。このようにすれば、対象画像g21のモーメント量m(g21)を取得することができる。即ち、制御部22は、図20に示す画像g20から、すべての画像g21、g22,g23のモーメント量を個別に取得することができる。
以上説明したように、本実施形態3によれば、制御部22は、輝度閾値を画像モーメントセンサ21に供給し、明るさが異なる複数の画像に対して、輝度閾値を設定して得られた複数の2値画像に基づいて、特定の画像のモーメント量を演算するようにした。
従って、明るさが異なる複数の画像の中から、対象画像のモーメント量を取得することができる。また、このような処理を行うことにより、モーメント量を取得する回数が増えた場合でも、実施形態1に係る画像モーメントセンサを用いることにより、短時間で対象画像のモーメント量を取得することができる。
(実施形態4)
実施形態4に係る画像モーメント計測装置は、輝度閾値を一定にしたまま、PD(光検出器)の露光中の異なるタイミングで2値化を行い、モーメント量を演算するようにしたものである。
実施形態3のように輝度閾値を可変しなくても、PD101の露光中の異なるタイミングで2値化を行うことにより、異なる明るさの画像を取得することができる。
そして、PD101の光検出信号の出力タイミング毎に、これらの画像のモーメント量を、それぞれ、取得することができる。
また、このような処理を行うことによりダイナミックレンジを広くすることができるといった利点がある。但し、露光中に、モーメント量の演算を行うため、グレースケールの階調を大きくしようとすると、高速でモーメント量の演算を行う必要がある。
実施形態4に係る画像モーメントセンサの各処理要素13_xyは、実施形態1の構成を備えるとともに、図22に示すような構成を有する2値化回路102を備える。この2値化回路102は、トランジスタQ41,Q42と、コンデンサC11と、コンパレータ131と、を備える。
PD101は、フォトダイオードからなるものであり、光を受光すると、受光した光の光強度に対応する電流量の光電流Ipdが流れる。フォトダイオードのカソードは、電源に接続され、アノードは接地される。
コンパレータ131は、PD101の光検出信号Vpdを2値化信号に変換するものであり、−端子(反転入力端子)に基準電圧Vrefが印加される。コンパレータ131は、PD101の光検出信号Vpdの信号レベルが基準電圧Vrefよりも高いときに、“1”のレベルの信号を出力する。
トランジスタQ41は、コンパレータ131の+端子とフォトダイオード(PD101)のカソードとを接続するためのトランジスタであり、NMOSトランジスタからなる。
トランジスタQ41のドレインは、コンパレータ131の+端子(非反転入力端子)に接続され、ソースはフォトダイオード(PD101)のカソードに接続される。
トランジスタQ41のゲートには、信号samが供給される。この信号samのレベルが“1”になると、トランジスタQ41は、オンして、コンパレータ131の+端子とフォトダイオード(PD101)のカソードとを接続する。
トランジスタQ42は、コンパレータ131の+端子に電源の電圧を印加するためのトランジスタであり、NMOSトランジスタからなる。トランジスタQ42のドレインは、電源に接続され、ソースはコンパレータ131の+端子に接続される。
トランジスタQ42のゲートには、信号resが供給される。この信号resのレベルが“1”になると、トランジスタQ42は、オンして、コンパレータ131の+端子に電圧を印加する。
コンデンサC11は、コンパレータ131の+端子の電圧を保持(サンプルホールド)するためのものである。
次に実施形態4に係る画像モーメント計測装置20の動作を説明する。
図23に示すように、時刻t40前において、トランジスタQ41は、ゲートに“0”のレベルの信号samが供給されてオフし、コンパレータ131の+端子とフォトダイオードのカソードとの間を切断する。
また、トランジスタQ42は、ゲートに“1”のレベルの信号resが供給されてオンし、コンパレータ131の+端子に電圧を印加する。
時刻t40になって、信号samの信号レベルが“1”になると、トランジスタQ41は、オンして、コンパレータ131の+端子とフォトダイオード(PD101)のカソードとを接続する。
時刻t41において、トランジスタQ42のゲートに供給される信号resの信号レベルが“1”になると、トランジスタQ42はオフして、コンパレータ131の+端子への電圧の印加を停止する。
PD101が光を受光すると、PD101に光電流Ipdが流れる。光電流Ipdが流れることによって、PD101の光検出信号Vpdの信号レベルは低下する。PD101に流れる光電流Ipdの電流量は、PD101が受光する光の光強度によって決定され、PD101の光検出信号Vpdの信号レベルは低下する割合は、PD101に流れる光電流Ipdの電流量に基づいて決定される。
入力画像g(t40)が、図23に示すように、位置によって階調が異なるようなグレースケール画像の場合、PD101が受光する光の光強度は、処理要素13_xyの位置によって変わってくる。
中央の処理要素13_44の場合、図23の特性線L13_44で示すように、PD101が受光する光の光強度は大きく、光電流Ipdの電流量も大きくなる。従って、光検出信号Vpdは、最も早く低下する。
図23の特性線L13_33で示すように、処理要素13_33の場合、PD101が受光する光の光強度は、処理要素13_44のPD101よりも小さく、光電流Ipdの電流量も小さくなる。従って、光検出信号Vpdは、処理要素13_44よりも遅く低下する。
図23の特性線L13_22で示すように、処理要素13_22の場合、このPD101が受光する光の光強度は、最も小さく、光電流Ipdの電流量も最も小さくなる。従って、光検出信号Vpdは、最も遅く低下する。
時刻t42になったときに得られる2値画像は、図23に示すような2値画像G(t42)になるものとする。このとき、制御部22は画像モーメントセンサ21にコマンドを送り、信号処理部3が列選択信号を画像処理部1に供給し、モーメント量を取得するための行選択信号yjを列加算部2に供給すると、制御部22は、2値画像G(t42)のモーメント量を示す信号SOUTを列加算部2から取得する。制御部22は、取得した信号SOUTに基づいて2値画像G(t42)を再構成する。
同様に、時刻t43になったときに得られる2値画像は、図23に示すような2値画像G(t43)になるものとする。このとき、制御部22は画像モーメントセンサ21にコマンドを送り、信号処理部3が列選択信号を画像処理部1に供給し、モーメント量を取得するための行選択信号yjを列加算部2に供給する。制御部22は、2値画像G(t43)のモーメント量を示す信号SOUTを列加算部2から取得する。制御部22は、取得した信号SOUTに基づいて2値画像G(t43)を再構成する。
同様に、時刻t44になったときに得られる2値画像は、図23に示すような2値画像G(t44)になるものとする。このとき、制御部22は画像モーメントセンサ21にコマンドを送り、信号処理部3が列選択信号を画像処理部1に供給し、モーメント量を取得するための行選択信号yjを列加算部2に供給する。制御部22は、2値画像G(t44)のモーメント量を示す信号SOUTを列加算部2から取得する。制御部22は、取得した信号SOUTに基づいて2値画像G(t44)を再構成する。
そして、制御部22は、2値画像G(t42)とG(t43)とG(t44)とを合成することにより、再構成画像G(t40)を形成する。
以上説明したように、本実施形態4によれば、制御部22は、輝度閾値を一定にしたまま、PD(光検出器)の露光中の異なるタイミングで画像モーメントセンサ21にコマンドを送り、画像モーメントセンサ21は、コマンドに従って光検出信号の2値化を行い、モーメント量を演算するようにした。
従って、グレースケールの画像の場合であっても、画像のモーメント量を取得することができ、ダイナミックレンジを広くすることもできる。そして、各2値画像に基づいて再構成画像を形成することもできる。
また、実施形態1に係る画像モーメントセンサを用いることにより、短時間で対象画像のモーメント量を取得することができるので、2値画像が時間の経過に伴って変化しても、このような処理を行うことが可能となる。
(実施形態5)
実施形態5は、画像モーメント計測装置に関するものであり、この画像モーメント計測装置は、モーメント量の計測対象物が背景と重なっている場合に、点滅光を投光することにより、背景画像と対象物画像とを分離するようにしたものである。
図24(a)に示すように、計測対象物mが背景b1,b2と重なり、しかも、計測対象物mの輝度と背景b1,b2の輝度とがほとんど同じである場合、画像モーメントセンサ21は、図24(b)に示すような2値画像G31を形成する。図24(b)に示すように、形成した2値画像G31においては、計測対象物mの画像と背景画像とが重なってしまい、これらの画像を分離することが難しくなる。また、計測対象物mの画像と背景b1,b2の画像とを分離することができなければ、計測対象物mのモーメント量を取得することも困難になる。
この場合、図24(c)に示すように、光源装置23が点滅光を投光することにより、図24(d)に示すような画像G32が得られれば、画像G31,G32の両画像の差により、計測対象物mの画像と背景b1,b2の画像とを分離することが可能となる。実施形態5に係る画像モーメント計測装置は、このような考え方に基づいて構成される。
実施形態5に係る画像モーメント計測装置の構成を図25に示す。
実施形態5に係る画像モーメント計測装置20は、画像モーメントセンサ21と、制御部22と、光源装置23と、ビームスプリッタ24と、レンズ25と、を備える。
画像モーメントセンサ21は、実施形態1の構成を有するものである。光源装置23は、制御部22から供給された制御信号S21に基づいて、点滅光を発するものである。制御信号S21は、信号レベルが“1”と“0”とに一定周期で切り替わるパルス信号である。光源装置23は、供給された制御信号S21の信号レベルが“1”のときに点灯し、制御信号S21の信号レベルが“0”のときに消灯する。
ビームスプリッタ24は、出射光と入射光とを分離するためのものである。ビームスプリッタ24は、光源装置23が発した点滅光を出射するように導き、入射した光を画像モーメントセンサ21へと導く。レンズ25は、投光する光を拡散するためのものである。
制御部22は、光源装置23に制御信号S21を供給し、画像モーメントセンサ21に対して、受光した光による画像のモーメント量を取得するように制御するものである。制御部22は、供給した制御信号S21の信号レベルが“1”のときと“0”のときとで、モーメント量を取得するように画像モーメントセンサ21を制御する。
次に実施形態5に係る画像モーメント計測装置20の動作を説明する。
制御部22は、光源装置23に、図26(a)に示すような制御信号S21を供給する。光源装置23は、供給された制御信号S21の信号レベルが“1”のとき、点灯する。
光源装置23が発した光は、ビームスプリッタ24、レンズ25を介して出射し、計測対象物m、背景b1,b2に投光される。
計測対象物m、背景b1,b2に投光された光は反射して、反射光がレンズ25、ビームスプリッタ24を介して画像モーメントセンサ21に入射する。
図26(b)に示すように、光源装置23が点灯しているとき、画像モーメントセンサ21は、受光した光により、2値画像G31を形成する。この図26(b)に示すように、この2値画像G31は、計測対象物画像mの2値画像と背景b1,b2の2値画像とを含んでいる。画像モーメントセンサ21は、この2値画像G31のモーメント量を演算し、演算したモーメント量を制御部22に供給する。
光源装置23は、供給された制御信号S21の信号レベルが“0”になると、消灯する。
画像モーメントセンサ21は、入射光により、図26(b)に示すような2値画像G32を形成する。この2値画像G32は、背景b1,b2の画像だけを含み、計測対象物mの画像は含まない。
画像モーメントセンサ21は、この2値画像G32のモーメント量を取得して、制御部22に供給する。制御部22は、供給された2値画像G31のモーメント量と2値画像G32のモーメント量との差を求め、2値画像G31,G32の差分画像である2値画像G33のモーメント量を取得する。このモーメント量は、計測対象物mのモーメント量になる。
以上説明したように、本実施形態5によれば、画像モーメント計測装置20は、点滅光を投光し、画像モーメントセンサ21は、供給した制御信号の信号レベルが“1”のときと、“0”のときと、で2値画像G31,G32のモーメント量を取得する。制御部22は、2つの2値画像G31,G32のモーメント量の差を求めて、計測対象物mのモーメント量を取得するようにした。
従って、計測対象物mの画像と背景b1,b2の画像とが重なって、直接、計測対象物mのモーメント量を取得できないような場合でも、計測対象物mのモーメント量を取得することができる。
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態2〜5では、画像モーメント計測装置として説明した。このうち、実施形態2〜4は、画像モーメントセンサに制御部を含めて、画像モーメントセンサが上記処理を実行するように構成されてもよい。
本発明の実施形態1に係る画像モーメントセンサの構成を示すブロック図である。 図1に示す画像モーメントセンサのアルゴリズムを示す図である。 図1に示す各遅延回路が生成するクロック信号を示すタイミングチャートである。 図1に示す信号処理部が列選択信号を供給したときに、各FIFOが格納した列選択信号を示す図である。 時間が経過したときに図1に示す各FIFOが格納した残りに列選択信号を示す図である。 図1に示す各処理要素の構成を示すブロック図である。 図6に示すFAとDFFとの構成を示す回路図である。 図7に示すFAとDFFとの動作を示すタイミングチャートである。 ダイナミックNMOS回路を直接接続した例を示す図とその動作を示すタイミングチャートである。 遅延回路を備えてダイナミックNMOS回路を接続した例を示す図とその動作を示すタイミングチャートである。 1次モーメント量を取得するためのパターンを示す図である。 8×8画素として、信号処理部から列選択信号が供給されたときに、各FIFOが格納した列選択信号を示す図である。 各FIFOが図12に示す列選択信号を格納した場合の可変パイプラインの動作を示すタイミングチャートである。 入力画像の1次モーメント量を取得する場合の動作(1)を具体的に示す図である。 加算動作を具体的に示す図である。 入力画像の1次モーメント量を取得する場合の動作(2)を具体的に示す図である。 本発明の実施形態2に係る画像モーメント計測装置の処理の概要を示す図である。 本発明の実施形態2に係る画像モーメント計測装置の構成を示すブロック図である。 領域情報が未知の場合の画像モーメント計測装置の処理を示す図である。 本発明の実施形態3に係る画像モーメント計測装置の処理の概要を示す図である。 実施形態3に係る画像モーメント計測装置の動作を示す図である。 本発明の実施形態4に係る画像モーメント計測装置が備える2値化回路の構成を示す回路図である。 実施形態4に係る画像モーメント計測装置の動作を示す図である。 本発明の実施形態5に係る画像モーメント計測装置の処理の概要を示す図である。 本発明の実施形態5に係る画像モーメント計測装置の構成を示すブロック図である。 図25に示す画像モーメント計測装置の動作を示す図である。
符号の説明
1 画像処理部
2 列加算部
3 信号処理部
11_0〜11_(N-2) 遅延回路
12_0〜12_(N-1) FIFO
13_xy(x=0〜N−1,y=0〜N−1) 処理要素

Claims (21)

  1. 行数をM(Mは正の整数)、列数をN(Nは正の整数)として、M×N個の処理要素が行列配置され、各処理要素が、前記画像から受光した光を光強度に対応した信号レベルの光検出信号に変換し、前記光検出信号を2値化して2値データを生成し、数1に示すモーメント量mpqの取得に必要な列を選択するための列選択信号xp iが供給されて、供給された列選択信号xp iに基づいて選択された列の処理要素が行方向に前記2値データを加算演算し、各行の処理要素の演算結果として、それぞれ、数2に示すデータdxを出力するように構成された画像処理部と、
    前記モーメント量mpqの取得に必要な行を選択するための行選択信号yq jが供給されて、前記画像処理部の各行から出力されたデータdxのうち、供給された行選択信号yq jに基づいて選択された行から出力されたデータdxを列方向に加算演算して、数3に示すデータdyを出力する列加算部と、
    前記数1に示すモーメント量mpqの取得に必要な行と列とを設定して前記列選択信号xp iと前記行選択信号yq jとを生成し、生成した前記列選択信号xp iを前記画像処理部に供給し、前記行選択信号yq jを前記列加算部に供給する信号処理部と、を備えた、
    ことを特徴とする画像モーメントセンサ。


  2. 前記信号処理部は、矩形領域を示す領域情報が供給されて、供給された領域情報に基づいて矩形領域用の列選択信号を生成し、前記矩形領域用に生成した列選択信号と前記列選択信号xp iとの論理積演算を行い、前記論理積演算の演算値を前記画像処理部に供給するとともに、前記領域情報に基づいて矩形領域用の行選択信号を生成し、前記矩形領域用に生成した行選択信号と前記行選択信号yq jとの論理積演算を行い、前記論理積演算の演算値を前記列加算部に供給する、
    ことを特徴とする請求項1に記載の画像モーメントセンサ。
  3. 前記画像処理部の各処理要素は、
    前記画像からの光を受光して、受光した光を光強度に対応する信号レベルの光検出信号に光電変換して出力する光検出部と、
    前記光検出部が出力した光検出信号を2値化して2値データを出力する2値化部と、
    前記列選択信号xp iが供給され、供給された前記列選択信号xp iに基づいて、前記2値化部が出力した2値データの出力を制御する2値データ出力制御部と、
    前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された加算データとを加算して新たな加算データを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に供給する行加算部と、を備えた、
    ことを特徴とする請求項1に記載の画像モーメントセンサ。
  4. 前記各処理要素の前記行加算部は、
    ((x−1),y)座標の処理要素に供給されたクロック信号の立ち下がり時に、生成されたキャリーデータを保持し、保持したキャリーデータを、次の加算時に出力するキャリーデータ保持部と、
    前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された2値データと前記キャリーデータ保持部から出力されたキャリーデータとを加算して新たな加算データとキャリーデータとを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に出力し、前記生成したキャリーデータを前記キャリーデータ保持部に供給する全加算部と、を備えた、
    ことを特徴とする請求項3に記載の画像モーメントセンサ。
  5. 前記信号処理部は、前記画像処理部にクロック信号を供給し、
    前記各処理要素の前記行加算部は、供給されたクロック信号に従い、充電、評価を繰り返し、評価期間に加算したデータを、トランジスタの寄生容量を利用して保持するダイナミック回路によって構成され、
    前記信号処理部から供給されたクロック信号を、順次、遅延させて、第n(nは、1以上の整数)クロック信号を生成し、生成した第nクロック信号を第n列の各処理要素の行加算部に供給するクロック信号遅延部を備え、
    前記ダイナミック回路が多段接続されて前記画像処理部が構成された、
    ことを特徴とする請求項4に記載の画像モーメントセンサ。
  6. 前記信号処理部又は前記クロック信号遅延部から供給されたクロック信号に同期して、前記信号処理部から供給された前記列選択信号xp iを、供給された順に、前記各処理要素に供給する列選択信号供給部を備え、
    前記画像処理部が可変長パイプライン構成によって構成された、
    ことを特徴とする請求項5に記載の画像モーメントセンサ。
  7. 前記画像処理部と前記列加算部と信号処理部とは、集積化された集積回路によって構成されている、ことを特徴とする請求項1、3乃至6のいずれか1項に記載の画像モーメントセンサ。
  8. 前記画像処理部の各処理要素は、
    前記画像からの光を受光して、受光した光を光強度に対応する信号レベルの光検出信号に光電変換して出力する光検出部と、
    前記光検出部が出力した光検出信号を2値化して2値データを出力する2値化部と、
    前記領域情報に基づいて生成された列選択信号と前記列選択信号xp iとの論理積演算の演算値が供給され、供給された演算値に基づいて、前記2値化部が出力した2値データの出力を制御する2値データ出力制御部と、
    前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された加算データとを加算して新たな加算データを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に供給する行加算部と、を備えた、
    ことを特徴とする請求項2に記載の画像モーメントセンサ。
  9. 前記各処理要素の前記行加算部は、
    ((x−1),y)座標の処理要素に供給されたクロック信号の立ち下がり時に、生成されたキャリーデータを保持し、保持したキャリーデータを、次の加算時に出力するキャリーデータ保持部と、
    前記2値データ出力制御部が出力した2値データと((x−1),y)座標の処理要素から供給された2値データと前記キャリーデータ保持部から出力されたキャリーデータとを加算して新たな加算データとキャリーデータとを生成し、生成した新たな加算データを((x+1),y)座標の処理要素に出力し、前記生成したキャリーデータを前記キャリーデータ保持部に供給する全加算部と、を備えた、
    ことを特徴とする請求項8に記載の画像モーメントセンサ。
  10. 前記信号処理部は、前記画像処理部にクロック信号を供給し、
    前記各処理要素の前記行加算部は、供給されたクロック信号に従い、充電、評価を繰り返し、評価期間に加算したデータを、トランジスタの寄生容量を利用して保持するダイナミック回路によって構成され、
    前記信号処理部から供給されたクロック信号を、順次、遅延させて、第n(nは、1以上の整数)クロック信号を生成し、生成した第nクロック信号を第n列の各処理要素の行加算部に供給するクロック信号遅延部を備え、
    前記ダイナミック回路が多段接続されて前記画像処理部が構成された、
    ことを特徴とする請求項9に記載の画像モーメントセンサ。
  11. 前記信号処理部又は前記クロック信号遅延部から供給されたクロック信号に同期して、前記信号処理部から供給された演算値として前記矩形領域用に生成された列選択信号と前記列選択信号xp iとの論理積演算の演算値を、供給された順に、前記各処理要素に供給する列選択信号供給部を備え、
    前記画像処理部が可変長パイプライン構成によって構成された、
    ことを特徴とする請求項10に記載の画像モーメントセンサ。
  12. 前記画像処理部と前記列加算部と信号処理部とは、集積化された集積回路によって構成されている、ことを特徴とする請求項2,8乃至11のいずれか1項に記載の画像モーメントセンサ。
  13. 数3に示す前記データdyを出力する請求項1,3乃至7のいずれか1項に記載の画像モーメントセンサと、
    前記画像モーメントセンサが出力した前記データdyを数1に代入して演算を行うことにより、前記モーメント量mpqを取得する制御部と、を備えた、
    ことを特徴とする画像モーメント計測装置。
  14. 数3に示す前記データdyを出力する請求項2,8乃至12のいずれか1項に記載の画像モーメントセンサと、
    前記画像モーメントセンサが出力した前記データdyを数1に代入して演算を行うことにより、前記モーメント量mpqを取得する制御部と、を備えた、
    ことを特徴とする画像モーメント計測装置。
  15. 前記制御部は、供給された画像に対して、複数の矩形領域を設定し、前記各矩形領域を示す領域情報を、順次、前記信号処理部に供給して、前記列加算部から出力された前記データdyを取得し、各領域情報毎に取得した各データdyに基づいて、それぞれ、数1に従い、モーメント量を演算し、前記供給された画像に対応した領域毎に、演算により取得したモーメント量を加算することにより、前記供給された画像のモーメント量をそれぞれ取得する、
    ことを特徴とする請求項14に記載の画像モーメント計測装置。
  16. 前記制御部は、前記各矩形領域が未知の場合、全体の領域を所定の大きさのブロックに分割し、各ブロックの総和値を求め、各ブロックの総和値を用いてラベリング処理を行うことにより、各矩形領域の領域情報を取得する、
    ことを特徴とする請求項15に記載の画像モーメント計測装置。
  17. 前記制御部は、前記各処理要素の2値化部に、複数の輝度閾値を供給して各輝度閾値毎にモーメント量を取得し、対象とする画像のモーメント量を、取得した複数のモーメント量の差を求めることにより取得する、
    ことを特徴とする請求項13乃至16のいずれか1項に記載の画像モーメント計測装置。
  18. 前記制御部は、前記光検出部の露光中の異なるタイミングで出力された前記光検出信号に対し、前記2値化部に、順次、2値化を行わせ、前記列加算部からデータdyを取得して前記画像のモーメント量の演算を行う、
    ことを特徴とする請求項13乃至17のいずれか1項に記載の画像モーメント計測装置。
  19. 光を発する光源部と、
    前記光源部が発した光を、モーメント量計測対象物と背景とに投光する投光部と、を備え、
    画像モーメントセンサは、前記モーメント量計測対象物と背景とからの光の反射光に基づいて形成された画像についての数3に示す前記データdyを出力し、
    前記制御部は、前記光源部に、光を点滅させる点滅信号を供給して光を点滅させ、前記光が点灯しているときと前記光が消灯しているときとで、前記画像モーメントセンサから出力された数3に示す前記データdyを取得し、取得したデータdyに基づいて得られた両モーメント量の差を求めることにより、前記計測対象物の画像と前記背景画像とを分離して、前記計測対象物のモーメント量を取得する、
    ことを特徴とする13乃至18のいずれか1項に記載の画像モーメント計測装置。
  20. 行数をM(Mは正の整数)、列数をN(Nは正の整数)として、M×N個の処理要素が行列配置され、各処理要素が、前記画像から受光した光を光強度に対応した信号レベルの光検出信号に変換し、各処理要素が行方向に前記2値データを加算演算して、各行毎にデータdxを出力するように構成された画像処理部と、
    前記画像処理部の各行から出力されたデータdxを加算演算してデータdyを出力する列加算部と、を備えて画像のモーメント量を取得する画像モーメントセンサの演算方法であって、
    数1に示すモーメント量mpqの取得に必要な行と列とを設定して前記列選択信号xp iと前記行選択信号yq jとを生成するステップと、
    生成した前記列選択信号xp iを前記画像処理部の各処理要素に供給して、前記処理要素の列を選択して、前記画像処理部に、各行の処理要素の演算結果として、それぞれ、数2に示すデータdxを出力させるステップと、
    生成した行選択信号yq jを前記列加算部に供給して、前記列加算部に、画像処理部の各行から出力されたデータdxのうち、供給された行選択信号yq jに基づいて選択された行から出力されたデータdxを加算演算して、数3に示すデータdyを出力させるステップと、
    前記列加算部から出力されたデータdyを取得して、数1に従って前記モーメント量mpqの演算を行うステップと、を備えた、
    ことを特徴とする画像モーメントセンサの演算方法。
  21. モーメント量計測対象物と背景とに光を投光するステップと、
    請求項20に記載の画像モーメントセンサの演算方法に従って、前記投光した光の反射光に基づいて形成された画像のモーメント量を演算するステップと、
    消灯して、前記モーメント量計測対象物と背景とへの光の投光を停止するステップと、
    請求項20に記載の画像モーメントセンサの演算方法に従って、前記投光した光の反射光に基づいて形成された画像のモーメント量を演算するステップと、
    投光しているときに演算したモーメント量と前記投光を停止したときに演算したモーメント量との差を求めることにより、前記計測対象物の画像と前記背景画像とを分離して、前記計測対象物のモーメント量を取得するステップと、を備えた、
    ことを特徴とする画像モーメント計測方法。
JP2005108890A 2005-04-05 2005-04-05 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法 Active JP4565122B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005108890A JP4565122B2 (ja) 2005-04-05 2005-04-05 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005108890A JP4565122B2 (ja) 2005-04-05 2005-04-05 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法

Publications (2)

Publication Number Publication Date
JP2006293419A true JP2006293419A (ja) 2006-10-26
JP4565122B2 JP4565122B2 (ja) 2010-10-20

Family

ID=37413969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005108890A Active JP4565122B2 (ja) 2005-04-05 2005-04-05 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法

Country Status (1)

Country Link
JP (1) JP4565122B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122395A1 (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
WO2018105247A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049684A (ja) * 1996-07-31 1998-02-20 Nec Corp 高速モーメント計算装置
JPH10145680A (ja) * 1996-11-08 1998-05-29 Hamamatsu Photonics Kk 高速視覚センサ装置
JP2001195564A (ja) * 2000-01-14 2001-07-19 Masatoshi Ishikawa 画像検出処理装置
JP2002183724A (ja) * 2000-12-11 2002-06-28 Hamamatsu Photonics Kk 高速画像処理装置
JP2003218338A (ja) * 2002-01-25 2003-07-31 Handotai Rikougaku Kenkyu Center:Kk 半導体集積回路装置
JP2004362461A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置及びその方法
JP2004362460A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置
JP2004362463A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置
JP2004362378A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049684A (ja) * 1996-07-31 1998-02-20 Nec Corp 高速モーメント計算装置
JPH10145680A (ja) * 1996-11-08 1998-05-29 Hamamatsu Photonics Kk 高速視覚センサ装置
JP2001195564A (ja) * 2000-01-14 2001-07-19 Masatoshi Ishikawa 画像検出処理装置
JP2002183724A (ja) * 2000-12-11 2002-06-28 Hamamatsu Photonics Kk 高速画像処理装置
JP2003218338A (ja) * 2002-01-25 2003-07-31 Handotai Rikougaku Kenkyu Center:Kk 半導体集積回路装置
JP2004362461A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置及びその方法
JP2004362460A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置
JP2004362463A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置
JP2004362378A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122395A1 (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
US10572967B2 (en) 2016-01-12 2020-02-25 Sony Corporation Image data processing circuit and imaging circuit
WO2018105247A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
US11418705B2 (en) 2016-12-07 2022-08-16 Sony Semiconductor Solutions Corporation Detection system

Also Published As

Publication number Publication date
JP4565122B2 (ja) 2010-10-20

Similar Documents

Publication Publication Date Title
US10931884B2 (en) Pixel sensor having adaptive exposure time
CN101946507B (zh) 视频显示装置
WO2020006375A1 (en) Global shutter image sensor
WO2019147772A2 (en) Digital pixel array with multi-stage readouts
US10225529B2 (en) Projection device using a spatial modulation element, projection method, and program storage medium
WO2020097004A1 (en) Image sensor post processing
US20180241959A1 (en) Solid state imaging device, control method of solid state imaging device, imaging system, and mobile apparatus
US20150377964A1 (en) Programmable test pattern for a pixel array
JP5271643B2 (ja) 光飛行時間型距離画像センサの制御方法およびそのシステム
JP3563687B2 (ja) ビデオ信号の繰り返しフレームの検出方法及び装置
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
US10432878B2 (en) Imaging apparatus and imaging system having logical circuit to generate pixel driving signals
JP4565122B2 (ja) 画像モーメントセンサ、画像モーメント計測装置、画像モーメントセンサの演算方法及び画像モーメント計測方法
US20160065822A1 (en) Image sensor, image sensing method, and image photographing apparatus including image sensor
JP2020148682A (ja) 距離測定装置及びスキュー補正方法
KR102276863B1 (ko) 이미지 처리장치 및 이미지 처리방법
US8213716B2 (en) Method of gathering statistics of gray distribution of image
US20190094904A1 (en) Calculation device, image-processing device, and image-processing method
US20180270431A1 (en) Imaging apparatus, correction method for defective pixel, and computer readable storage medium
US20220011437A1 (en) Distance measuring device, distance measuring system, distance measuring method, and non-transitory storage medium
WO2021199225A1 (ja) 情報処理システム、センサシステム、情報処理方法、及びプログラム
JP2006318315A (ja) 画像処理パイプライン回路
TWI729322B (zh) 資訊顯示系統及資訊顯示方法
WO2024085069A1 (ja) 測距装置および測距方法
WO2023199804A1 (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080407

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150