JP2004526214A - 自動視覚認識の方法及び装置 - Google Patents

自動視覚認識の方法及び装置 Download PDF

Info

Publication number
JP2004526214A
JP2004526214A JP2001562445A JP2001562445A JP2004526214A JP 2004526214 A JP2004526214 A JP 2004526214A JP 2001562445 A JP2001562445 A JP 2001562445A JP 2001562445 A JP2001562445 A JP 2001562445A JP 2004526214 A JP2004526214 A JP 2004526214A
Authority
JP
Japan
Prior art keywords
signal
data
input
output
visual recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001562445A
Other languages
English (en)
Inventor
ピーリム,パトリック
Original Assignee
ホールディング・ベ・エ・ヴェ・ソシエテ・アノニム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8847380&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2004526214(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ホールディング・ベ・エ・ヴェ・ソシエテ・アノニム filed Critical ホールディング・ベ・エ・ヴェ・ソシエテ・アノニム
Publication of JP2004526214A publication Critical patent/JP2004526214A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Peptides Or Proteins (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Supplying Of Containers To The Packaging Station (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Structure Of Belt Conveyors (AREA)
  • Cookers (AREA)
  • Preliminary Treatment Of Fibers (AREA)
  • Spinning Or Twisting Of Yarns (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

本発明は、事象の自動視覚認識の方法及び装置に関する。この装置は、制御ユニットと、データバスと、時間一致バスと、少なくとも1つのヒストグラム計算ユニットとを備える。

Description

【0001】
本発明は、自動視覚認識の方法及び装置に関する。本装置は、推定モード及び学習モードを実行することができる、電子時空間ニューロン(spatio−temporal neuron)とも呼ばれるヒストグラム計算ユニット、好ましくは自己適応ヒストグラム計算ユニットを備える。より具体的には、かかる装置は、画像認識及び処理のために用いるためのものである。
【0002】
【従来の技術】
背景(コンテキスト)の一定の基準に対応する物体のリアルタイム認識、局在化及び/又は抽出を可能にする画像処理方法及び装置が知られている。
選択基準は非常に様々である。選択基準は、速度、形状、色...又はこれらの基準の組み合わせに関連している。
これらの方法及び装置を用いて、観察者による場面又は現象の取得を容易にし、また、このように抽出した情報を基にオートマティズムを制御することができる。
かかる方法及び装置は、たとえば公開特許FR2.611063及びWO98/05002に記載される。
【0003】
これらの方法及び装置の中には、ビデオタイプの信号S(PI)を受信すると各画素について多数のパラメータを生成する空間的及び時間的処理ユニットを具備しているものがある。その例には、速度V、方向DL、時定数CO及び2進イネーブルパラメータVL、ならびに遅延ビデオ信号VR、及びFという呼称のもとに集められる異なるフレーム、ライン及び画素同期信号がある。
このような装置において、統計情報を獲得、操作及び処理するために上記パラメータのヒストグラムを構成する重要性は既に概説されている。
このような画像処理方法及び装置の目的には、認識又は選択基準を適用すると得られる大量の情報を各画素に関して搬送する信号S’(t)を出力することがある。これらの基準は、厳密に言えば、画像処理方法及び装置により、予め定義又は準備される。
かかる方法及びかかる装置は、特に、上記の特許出願WO98/05002(本明細書に参照目的で組み込んでいる)に開示されている。
【0004】
本発明の目的は、迅速で効率的な自動認識方法及び装置を提供して、当該装置について、ヒストグラム獲得ユニットを改良する一方で自己適応機能を実行し、また好適な実施形態では、推定機能及び学習機能を行うことである。
したがって本発明は、空間に発生している、少なくとも1つのパラメータに関する事象(イベント)を検出する自動視覚認識装置を提供する。
本発明によれば、この装置は、制御ユニットと、データバスと、時間一致(同期)バスと、パラメータを処理する少なくとも1つのヒストグラム計算ユニットとを含む。
【0005】
本発明は、以下の記載によって明らかになる、単独に又は全ての考え得る技術的組合せにおいて考慮される機能も網羅する。
−本装置は、いくつかのパラメータを処理するために、マトリクスに構成したいくつかのヒストグラム計算ユニットを備え、
−上記ヒストグラム計算ユニットは、時間の経過とともに変化して一連の瞬時点(T)において表される多次元空間を共に形成する画素に関連付けられたデータai,jtを処理するものであって、当該データは、所与の瞬時点の上記空間と、所与の瞬時点に受信される信号ai,jtが関連付けられる画素の上記空間における位置とを定義することを可能にする同期信号に関連付けられた一連のnビットの2進数ai,jtの形式であるデジタル信号DATA(A)の形式で上記計算ユニットに供給され、
−各々が上記信号DATA(A)のnビットの数字の可能な値と関連付けられ、書き込みプロセスが信号《WRITE》によって制御されるアドレスを有するメモリを含む解析メモリと、
−上記パラメータDATA(A)の選択基準Cを受信するように構成されるメモリを含み、上記信号DATA(A)を入力で受信して、上記信号DATA(A)を選択基準Cと比較した結果に値が依存する2進の分類信号を出力する分類器と、
−前記分類器からの出力信号と、上記ヒストグラム計算ユニットの外部からの、DATA(A)以外のパラメータに影響を与える個々の2進分類信号とを受信する、個々の時間一致信号がすべて有効であるときに、正のグローバルイネーブル信号を出力する時間一致ユニットと、
−試験ユニットと、
−解析出力ユニットと、
−アドレスマルチプレクサと、
−増分イネーブルユニットと
を備え、
上記メモリ内の各アドレスのカウンタは、上記時間一致ユニットが正のグローバルイネーブル信号を出力すると1単位ずつインクリメントされる所与の瞬時点でのai,jtの値dに対応し、
統計データを計算及び格納するよう構成された上記試験ユニットは、瞬時点(T)における空間に対応する上記データai,jtの受信後に、上記解析出力ユニットを更新するためにメモリの内容を処理し、
上記メモリは、所与の瞬時点における空間の各フレームが始まる前に初期化信号《INIT》によって消去され、
さらに、
−上記分類器の上記メモリは、上記選択基準Cのリアルタイム更新を可能にし、1つのデータ入力DATA INと、アドレスコマンドADDRESSと、書き込みコマンドWRとを有するアドレス指定可能メモリであって、上記解析メモリからの出力を入力において、書き込みコマンドにおいて信号ENDを受信し、
−上記ヒストグラム処理ユニットはまた、2つの入力及び1つの出力を有するデータ入力マルチプレクサであって、一方の入力において計数信号COUNTERを、他方の入力において一連のデータai,jtを受信し、上記分類器の上記メモリの上記アドレスコマンドに一連のデータai,jtを出力するマルチプレクサと、上記アドレスマルチプレクサを制御して、初期化信号INIT及び終了信号ENDを入力において受信する演算子ORとを含み、
−上記空間は二次元であり、上記信号DATA(A)は一連の画像の複数の画素と関連付けられ、
−上記ヒストグラム処理ユニットは、上記分類基準の値を推定する手段を含み、
−上記分類基準の値を推定する上記手段は、2つの連続するフレームに関する統計パラメータの値を収納するメモリを含み、
−上記統計パラメータは、イネーブルされた上記データai,jtの平均値であり、
−上記ヒストグラム計算ユニットの上記解析出力レジスタは、最小値‘MIN’、最大値‘MAX’、上記信号Vi,jtが特定の値を持つ最大画素数‘RMAX’、対応する特定の値POSRMAX、及びイネーブルされた画素の総数‘NBPTS’の少なくとも1つをメモリに格納し、
−上記分類器が用いる上記統計比較パラメータは、RMAX/2であり、
−複数の統計パラメータを入力において受信可能な被制御マルチプレクサを備え、上記分類器が行う比較の性質は、被制御マルチプレクサのコマンドに依存し、
−少なくともあるヒストグラム計算ユニットは、外部コマンド信号を受信し、学習モードに従って動作を生じさせるよう構成された学習マルチプレクサを含み、上記分類器及び上記時間一致ユニットの上記レジスタは、フレーム処理の開始時に消去され、上記分析出力レジスタは、各々のシーケンスに典型的な値を供給し、
−少なくともあるヒストグラム計算ユニットにおいて、上記分類器の上記メモリは、1つの入力と、1つの出力と、1つの書き込みコマンドとをそれぞれ含む一組の独立レジスタを含み、当該レジスタの数は、連続Vi,jtの数のビットの数nと等しく、関連入力値(アドレス)に対応する書き込みコマンド信号を出力することを可能にするデコーダと、当該入力値により制御されるマルチプレクサとを含むことにより、選択したレジスタを読み出すことを可能にし、
−少なくともあるヒストグラム計算ユニットは、各レジスタの入力に1つが関連付けられたマルチプレクサと、上記レジスタ同士を接続する組合モジュールとを含み、上記マルチプレクサは、連続書き込みモードと、上記組合モジュールによって接続される全レジスタに共通の書き込みモードとのどちらかを選択することを可能にし、
−少なくともあるヒストグラム計算ユニットにおいて、上記組合モジュールは、3入力論理演算装置‘OR’を含む形態的拡張演算子を備え、当該3入力装置のうち、第1の入力装置は‘Q’番目のレジスタの出力信号を受信し、第2の入力装置は、‘Q+1’番目のレジスタの出力信号及び正の収縮信号をそれぞれ受信する2入力論理演算装置‘AND’の出力に接続され、第3の入力装置は、‘Q−1’番目のレジスタの出力信号及び負の拡張信号をそれぞれ受信する2入力論理演算装置‘AND’の出力に接続され、
−少なくともあるヒストグラム計算ユニットにおいて、上記組合モジュールは、3入力論理演算装置‘AND’を含む形態的収縮演算子を備え、当該3入力装置のうち、第1の入力装置は‘Q’番目のレジスタの出力信号を受信し、第2の入力装置は、1つの4入力リバースが‘Q’番目のレジスタの出力信号と、‘Q−1’番目のレジスタの出力信号と、‘Q+1’番目のレジスタの出力信号と、正の収縮信号とをそれぞれ受信する論理演算装置‘AND’の出力に接続され、第3の入力装置は、1つのリバースが‘Q’番目のレジスタの出力信号と、‘Q−1’番目のレジスタの出力信号と、‘Q+1’番目のレジスタの出力信号と、負の収縮信号とをそれぞれ受信する4入力論理演算装置‘AND’の出力に接続され、
−少なくともあるヒストグラム計算ユニットにおいて、各組合モジュールは、形態的拡張演算子と形態的収縮演算子を関連付けるマルチプレクサを備えている。
【0006】
本発明は、空間に発生している、少なくとも1つのパラメータに関する事象の自動認識方法であって、上記パラメータをデジタル化すること、上記パラメータを表すヒストグラムを得て所望の結果を導くために、上記パラメータをヒストグラム計算ユニットに入力する方法に関する。
【0007】
本発明はまた、電子デバイスにおける事象を表すパラメータの解析方法であって、時間の経過とともに変化して一連の瞬時点において表される多次元空間を共に形成する複数の画素に関連付けられたデータai,jtのヒストグラム計算を含み、当該データは、所与の瞬時点の上記空間と、所与の瞬時点(T)に受信される信号ai,jtが関連付けられる画素の上記空間における位置とを定義することを可能にする同期信号に関連付けられた一連のnビットの2進数ai,jtの形式であるデジタル信号DATA(A)の形式で上記計算ユニットに到達し、
−各データai,jtには、信号DATA(A)と選択基準Cを比較した結果に値が依存する分類2進信号が関連付けられ、
−時間一致基準Rと上記分類信号を比較した結果として得られる正のパラメータDATA(A)、DATA(B)、...、DATA(E)に各々が対応する一組の個々の時間一致信号からなるグローバルイネーブル信号が正である所与の瞬時点についてデータai,jtの統計的分布が作成される方法に関する。
本発明は、添付図面を参照してより詳細に説明される。
【0008】
【発明の実施の形態】
本発明は多数の実施形態で実現可能である。処理する情報は、様々な性質のものであって、多数のデータ又はパラメータを表すことができる。しかしながら、本発明の第1のアプリケーションは画像処理であり、考慮される空間は、当該画像により構成される。よって、この空間は明らかに二次元である。以下の詳細な説明は、この特定の実施形態に対応する。
【0009】
本発明のヒストグラム計算ユニット1のコンテキストを、図1及び図2に示す。
このヒストグラム計算ユニット1は、信号S(t)又はS(PI)を受信及び処理する視覚認識ユニット13の一部である。当該ヒストグラム計算ユニットは、バス111上のいわゆる時間一致情報S’(t)を処理及び生成する。より正確には、図1は、同一の視覚認識ユニットにおいて、いくつかの関連ヒストグラム計算ユニット1A、1B、...、1Eを示す。
一実施形態において、視覚認識ユニット13は、1つ又は複数の視覚場面に関連する様々な信号を処理する。他の実施形態において、認識ユニット13は、他の認識パラメータ(たとえば音、におい、...)を処理する。以下の記載は、主に視覚認識に関するが、他のパラメータに適合させることも可能である。
【0010】
シーケンサ9は、同期信号ST、SL、CLOCK(クロック)に基づき、ヒストグラム計算ユニットを制御するシーケンス信号INIT(初期化)、WRITE(書き込み)、COUNTER(計数)を生成する。
図1に示すように、シーケンサ9の入力信号(SL、ST、CLOCK)は、カメラ22を含む信号発生アセンブリ2、又はCMOS画像形成装置32を含む信号発生アセンブリ3から到来する。
カメラを含むアセンブリ2から入力信号が到来する場合、このアセンブリはフレーム及びライン同期信号をインポーズして、ヒストグラム計算ユニットとそのシーケンサが、スレーブモード又は同期スレーブモードで動作するようにする。
逆に、CMOS画像形成装置を含むアセンブリ3から上記信号が到来する場合には、シーケンサ9は、マスタモードで動作して、自ら同期信号を生成する。
より正確には、アセンブリ2は、場面21からのカメラ22によるデータの獲得を可能にする。カメラ22は信号S(PI)を生成するが、図2に示すタイプである当該信号の形式は以下で詳述する。
【0011】
次に、カメラ22の電子制御ユニット23は、S(PI)、ST、SL同期信号を抽出した結果得られる信号S(t)と、フェーズロックループから発せられるCLOCK信号とを提供し、これらの信号は、ヒストグラム計算ユニットによって用いられる。
CMOS画像形成装置を含むアセンブリ3の場合には、画像形成装置32は、場面31のデータの獲得のために用いられ、S(t)を供給し、同期ユニット33によって駆動される。この同期ユニット33は、CMOS画像形成装置32ならびに視覚認識ユニット13の他の要素が用いるCLOCK信号に加えて、フレーム同期信号ST及びライン同期信号SLを生成する。
【0012】
ヒストグラム計算ユニット1は、国際特許出願WO98/05002に記載されている空間的処理ユニット6及び時間的処理ユニット5と、また遅延線7と有利に連携動作する。空間的処理ユニット6及び時間的処理ユニット5は、上記特許出願において参照番号11が付けられた装置に相当する。この装置は、信号S(PI)を受信し、本件出願においてDATA(A)...DATA(E)として識別される入力のうちの1つにそれぞれ対応するパラメータV(速度)、DI(速度)を生成する。
これらのパラメータはまた、Daugmanの論文「Complete Discrete 2D Gabor Transform...」(1988年、IEEE Trans. Acoust. Speech Signal Process 36:1169−1179)に記載されるGaborによるウェーブレット解析の結果として生じる空間分解能、画像構造(極座標におけるマルチスケールコントラスト変化など...)も含み得る。
ヒストグラム計算ユニット1と、空間的処理ユニット6と、時間的処理ユニット5と、遅延線7とからなる上記アセンブリは、一般にデジタル形式である、下流の装置によって処理されるいわゆる「時間一致」情報、又は、バス111を介した画面8上での情報の可視化を可能にする信号のいずれかを供給する。
【0013】
推定機能なしの、受動(非自己適応)ヒストグラム計算ユニットを、図3に示す。
このヒストグラム計算ユニットは、ビデオタイプの信号
S(t)={ai,jT
の各画素において影響を受けるパラメータAの値の処理を行うよう構成されている。
より正確には、ビデオタイプのS信号とは、一連の画素を各々が含む一連のフレームからなる信号を意味し、それらの画素の集合は空間、たとえば二次元空間の画像を形成する。このような場合に、フレーム自体が行及び列に分解される。この信号S(t)は、nビット(n=8が現在最も多く用いられている)で表される各画素(i,j)に関してパラメータAの値ai,jを運ぶ。よって一連のフレームは、画像の時間的連続を表す。{ai,jT}という表記において、Tはフレームを表し、iはフレームTにおける行番号であり、jはこの行における画素の列番号であり、aは、画素(i,jT)に関連付けられたパラメータAの値である。
【0014】
信号Sは、アナログ信号とすることもできる。しかしながら信号Sは、好ましくはデジタルであり、図2に示すように、I、1、I1、、...などの一連の水平走査ラインで各々が形成される一連のフレームT及びTからなり、I1.17はTのもの、I2、...はTのものである。各ラインは、一連の画素又はイメージ点PIを含む。
S(PI)は、各フレームの始めにフレーム同期信号(ST)を、各ラインの始め(これはフレームの始めではない)にライン同期信号(SL)を含む。したがって、S(PI)は、時間的アレイを表す一連のフレームと、各フレーム中に、列に配置された、空間的アレイを表す一連のラインと画素とを含む。
時間的アレイにおいて、《連続するフレーム》とは、時間的に連続するフレームを示し、《同位置の連続する画素》とは、連続するフレームにおける同一の場所に配置された画素(i,j)、たとえばフレームTにおけるI1、の(1、1)及び対応する後のフレームT2におけるI2、の(1、1)...にそれぞれ関連付けられた連続する値ai,jを示す。
【0015】
S(PI)に基づき、出願PCT/FR97/01354を参照して上記したように、空間的処理ユニット6及び時間的処理ユニット5は、1つ又は複数の信号DATA(A)...DATA(E)を生成する。
図3に示すような、推定なしの受動ヒストグラム計算ユニットは、図2に示す構造の信号DATA(A)を処理する。この信号は、カメラ又は任意の他の画像取得システムから直接受信されるか、予め第1のプロセス(たとえば、空間的及び/又は時間的処理)により処理されて後に受信される。
ヒストグラム計算ユニットは、同じような構造の、認識又は選択基準を適用すると得られる情報を各画素に関して搬送する信号101sを生成する。
【0016】
図3に示すように、ヒストグラム計算ユニット1は、解析メモリ100と、アドレスマルチプレクサ105と、データ入力マルチプレクサ106と、増分ユニット107と、分類器(クラシファイア)101と、時間一致ユニット102と、試験ユニット103とを備える。これらの動作については後述する。
ヒストグラム計算ユニットの要素はすべて、クロック信号(clock)によって制御及び同期される。
【0017】
I.解析メモリ
このヒストグラム計算ユニット1は解析メモリ100を備える。
この解析メモリ100は、DRAM、SRAM等といった従来の同期又は非同期デジタルメモリであることが好ましい。このメモリは、パラメータAの値の、識別されねばならない考え得る(可能な)レベルの数に等しい数nのアドレスdを含む。
これらのアドレスの各々は、フレームに(すなわち画像に)含まれる画素の数を少なくとも格納することができる。
各フレームについて、コマンド信号INITによるクイックリセットの後に、信号WRITEがデータDATA(A)の処理をフレーム全体にわたって可能にする。したがって、解析メモリ100は、信号DATA(A)を受信可能である。受信した各フレームについて、パラメータAの値が値ai,j=dを持つ画素(後述するように、イネーブル信号102sによってイネーブルされた場合)が、メモリ100の行dのアドレス内容を1だけインクリメントする。したがってメモリ100は、完全なフレームを受信した後、パラメータAが値dを有するイネーブルされた画素の数をアドレスdの各々に含む。
【0018】
II.アドレスマルチプレクサ及びデータ入力マルチプレクサ
ヒストグラム計算ユニット1は、アドレスマルチプレクサ105及びデータ入力マルチプレクサ106も備える。
各マルチプレクサは、2進の選択制御信号と、2つの入力と、1つの出力とを含む。
各マルチプレクサの出力の値は、制御信号が1の場合に入力の一方に、選択制御信号がゼロの場合に他方の入力に対応する。
図示の通り、制御信号INITがゼロに等しい場合、アドレスマルチプレクサ105は、受信した信号(ai,jT)のレベルdに関連して解析メモリ100内のアドレスを選択し、データ入力マルチプレクサ106は、選択制御のステータスに関連して、このメモリに含まれる値の増分を転送する。
制御信号INITが1である場合、アドレスマルチプレクサ105は、アドレスをゼロからDATA(A)の最大値にインクリメントするカウンタの信号を、転送する。データ入力マルチプレクサ106は、メモリ100の入力にゼロを強制的に印加する。
【0019】
III.増分ユニット
ヒストグラム計算ユニットは、増分ユニット107も備える。
これは、1つの入力と、1つのコマンドと、1つの出力とを含む被制御加算器(制御される加算器)である。
増分ユニットの出力は、イネーブル信号102sがゼロの場合に解析メモリ100の出力に等しく、反対の場合には同一の値が1だけ増加したものに等しい。
【0020】
IV.分類器(クラシファイア)
受動的なヒストグラム計算ユニットは、パラメータAのレベルに関して可能なある種のレベル値(d、d、...)を格納することができるレジスタ101rを含む分類ユニット101も備える。
分類器101は、信号DATA(A)を受信し、画素を分類し、当該画素に関連付けられたパラメータAがレジスタ101rに含まれるレベル(d、d、...)に対応するレベルを有する場合には値1を、反対の場合にはゼロの値を出力101sから提供する。
分類器101の出力はバス111に接続される。
【0021】
V.時間一致ユニット
ヒストグラム計算ユニットは、時間一致ユニット102も備える。
この時間一致ユニット102は、バス111に接続される。時間一致ユニットは、少なくとも1つのレジスタ102rを含み、DATA(A)信号の各画素について、バス111に接続される様々なヒストグラム計算ユニット1の分類器101の出力値(in、...、in、in)を受信する。
この時間一致ユニット102は、そのように受信した値をレジスタ102rに含まれる値と比較し、1に等しいレジスタ値とバス111から受信した対応するデータとが一致する場合には1に等しいイネーブル信号を、反対の場合にはゼロ値を出力102sから、各画素について送信する。これは、以下のブール関数
【数1】
Figure 2004526214
に相当する。
【0022】
VI.試験ユニット及び解析出力レジスタ
ヒストグラム計算ユニットは、解析メモリ100から情報を受信する、解析出力レジスタ104に接続される試験ユニット103も備える。
解析出力レジスタ104は、各フレームの信号DATA(A)のパラメータAの値に基づき作成される統計情報を受信するよう構成されている。
この情報は、パラメータAの最小値(MIN)及び最大値(MAX)、最も典型的な値の出現回数(RMAX)の最小値(MIN)及び最大値(MAX)、及び最も典型的な値の位置(POSRMAX)の最小値(MIN)及び最大値(MAX)、ならびに、情報を既に受信した点の数(NBPTS)の最小値(MIN)及び最大値(MAX)である。
試験ユニット103は、受信した情報に関連して解析出力レジスタ104を更新する。
増分イネーブルユニット107は、試験ユニット103へアドレス指定された、試験ユニット103が解析出力レジスタ104を有利な仮説においてインクリメントすることを可能にする信号も出力する。
【0023】
ヒストグラム計算ユニット1は、完全なフレームを処理した後、解析出力レジスタ104において利用可能で、かつ、意図される目的すべてに関して(操作者がアクセス可能な可視化に関してでも、任意の他のプログラム又はオートメーションによる処理に関してでも)処理可能である、当該フレームを表す統計情報を生成していることが理解できるであろう。
解析出力レジスタ104は、ヒストグラムの最小値(MIN)、ヒストグラムの最大値(MAX)、ヒストグラムの点の数(NBPTS)、ヒストグラムの最大値の位置(POSRMAX)及びヒストグラムの最大値にある点の数(RMAX)などの重要な特徴ごとのメモリを備えている。これらの特徴は、試験ユニット103によるヒストグラムの形成と並行して、以下のように決定される:
検証される各画素について、
(a)画素のパラメータDATA(A)の値がMIN(最初はヒストグラムのDATA(A)の考え得る最大値に設定される)よりも小さい場合、そのパラメータの値がMINに登録され、
(b)パラメータDATA(A)の値がMAX(最初はヒストグラムのDATA(A)の考え得る最小値に設定される)よりも大きい場合、そのパラメータの値がMAXに登録され、
(c)画素のパラメータの値のアドレスにおけるメモリ100の内容がRMAX(最初はヒストグラムのDATA(A)の考え得る最小値に設定される)よりも大きい場合、i)そのパラメータの値がPOSRMAXに書き込まれねばならず、また、ii)メモリの出力がRMAXに書き込まれねばならず、
(d)NBPTS(最初はゼロの値に設定される)は1単位ずつ増加されねばならない。
【0024】
VII.受動ヒストグラム計算ユニットのグローバル演算
いくつかのヒストグラム計算ユニット1A、1B、...、1Eが、同一の時間一致バス111に接続される。以下の説明では、5つのヒストグラム計算ユニットA〜Eを示すが、任意の数に対する推定は明らかである。
A.信号WRITE
各信号WRITEについて、各ヒストグラム処理ユニットは、分類器101の出力信号101sを画素ごとにバスに供給し、これらの信号すべてを、各々が、時間一致ユニット102の入力in、...、inにおいて受信する。
パラメータ、たとえばユニット1Aの場合には、DATA(A)が分類器101のレジスタ101rの内容と比較される。この比較の結果inA=101sは、他のユニット1B...1Eからのその対応入力inB...inEと同時にアドレス指定される2進信号101sである。
【0025】
時間一致ユニット102は、これらの値をまとめて、時間一致基準Rを構成するレジスタ102rの内容と比較し、この比較の結果に値が依存する2進信号を出力102sにおいて生成する。
この信号102sは、加算器107を制御し、1に等しい場合には、パラメータDATA(A)の値に、対応するメモリ100のレジスタの内容を、データマルチプレクサ106を介して1単位だけインクリメントする。それと同時に、試験ユニット103は、メモリ100の内容の統計処理を確実にして、その内容を解析出力レジスタ104へと送信する。
メモリ100のレジスタの各々は、信号WRITEの最後に、値dとして、信号DATA(A)が対応する値dを示す画素の数を格納し、かつ、時間一致ユニット102がイネーブルされたことを格納する。
【0026】
B.信号INIT
信号INITの間に、0〜nまでの値を走査する信号COUNTER(計数信号)が、メモリ100のレジスタをリセットする。
【0027】
VIII.自己適応
以上の記載において、分類器101のメモリは、レジスタ101rを含み、このレジスタの、システム外部で決定される内容は、固定されている。このような分類器を受動的であると言う。
自己適用は、システム自体による分類器のメモリの内容の自動更新にあるため、この内容はルックアップテーブル(LUT)である。よってこれは、自己適応ヒストグラム計算ユニット1を得ることを可能にする。
自己適応機能、すなわち分類器のリアルタイム更新を実現するために、図3のヒストグラム計算ユニットは、図4に従って完成される。
分類器101は、システム外部に描かれる単純なレジスタ101rの代わりに、書き込みが信号END(終了信号)によって制御されるアドレス指定可能メモリを有する。
【0028】
図5に示すこの信号ENDは、シーケンサ9が生成する。ヒストグラム計算ユニット1は、選択演算子OR110を備える。この選択演算子OR110は、信号INIT及びENDを入力において受信し、その出力は、アドレスマルチプレクサ105の制御に接続される。
分類器101のメモリは、正確に言えば、システムによって制御される。このメモリは、内容が修正可能であり、データ入力DATA INと、書き込みコマンドWRと、アドレス入力ADDRESSとを含む。
このアドレス入力は、推定マルチプレクサ108の出力に接続される。この‘2対1’タイプのマルチプレクサ108は、信号INIT及びENDを入力として受信する演算子OR112の出力に接続された推定コマンドを含む。
推定マルチプレクサの入力は、アドレスマルチプレクサ105の入力と同じ信号(たとえばDATA(A)及びCOUNTER)を受信する。
信号ENDが1に等しい場合、分類器101のメモリは、ヒストグラムメモリ100の値と、解析出力レジスタ104から導かれる値(RMAX/2)とをDATA(A)の考え得る値すべてについて比較した結果得られる信号によって書き込まれる。
したがって、分類器は、受信するデータDATA(A)と、生成する出力2進値(101s)との間で分類器118のメモリを介して確立する関係である分類関数fとして働く。
これにより、単一ビットを占める情報の表現を低減することが可能になる。
【0029】
A.分類器の第1の実施形態
図12を参照すると、自己適応機能を実現する分類器101は、書き込み入力WRが信号ENDを受信し、アドレス入力ADDRESSがアドレスマルチプレクサ108の出力信号を受信するメモリ118を備える。分類器101はまた、2つの入力と、メモリ118のデータ入力DATA INに接続される1つの出力とを含む比較器119も備える。
比較器119の第1の入力は、解析出力レジスタ104から導かれる値RMAX/2を受信し、第2の出力はのメモリ100の出力を受信する。
この場合、比較器のメモリ118の動作は以下の通りである。
メモリ118は解析メモリ100と同数の文字を含むが、メモリ118では各文字が1ビットからなる。
所与のフレームの新しいデータ束DATA(A)の受信の最後(信号END=1)に、書き込みシーケンスが開始される。
解析メモリ100の所与のメモリアドレスdについて、読み出した値がRMAX/2より大きい場合、対応する位置において値1がメモリ118に登録される。逆の場合には、この位置に値0が登録される。メモリアドレスdはすべて、0〜nまで走査される。こうして、分類器101のメモリ118は更新される。
【0030】
B.分類器の第2の実施形態
図13は、代替の実施形態の分類器101を示しており、マルチプレクサ120は、選択コマンド124によって制御されて、選択コマンド124によって選択される異なる入力0、1、2、3において受信される統計パラメータに関連して様々な方法で作成される統計値QとパラメータPとの比較を可能にする。選択コマンドは、レジスタ‘SELECTION(選択)’の内容に依存する。マルチプレクサ120の入力0は、解析出力レジスタ104のデータを基に、2分割器121によって生成される値RMAX/2を受信し、マルチプレクサ120の入力1はRMAX値を直接受信し、マルチプレクサ120の入力2は、内容がシステム外部でプログラムされるレジスタ‘SELECTION’123に含まれるしきい値を受信し、このマルチプレクサの入力4は、分割器122が生成する、点の数NBPTSをTHRESHOLD(しきい値)123で割った商を受信する。
したがって、図13に示すように、しきい値BにおいてパラメータPをそれぞれの値RMAX/2、RMAXと比較することができる。このしきい値Bは、外部から入力され、かつ、分割器122がこのしきい値に結び付ける(attached)点の数NBPTSに比例する。
メモリ118の内容は、比較器119によって供給される信号に関連して、第1の実施形態において記載した更新と同様に更新される。
【0031】
C.分類器の第3の実施形態
図13a、図13b、図13cは、分類器の第3の実施形態を示し、ここでは、ヒストグラムにおける出現のレベルの代わりに、当該出現の累計を用いる。分類の境界はたとえば、解析パラメータの出現の最大値に対応するレジスタRMAXを用いて、RMAX/2のパラメータ値を求める際に定義される。RMAX位置の両側において、これらの値は分類器の限界(リミット)A及び限界Bに相当する。
したがって、分類器の第2の実施形態において動作するようなRMAXレジスタは、ここでは、出現の累計結果(図13a)に対応するレジスタNBPTSに置き換えられる。NBPTSのパーセンテージkをヒストグラムの両側で除去することにより、限界A及びBはより安定する(図13b)。
この機能は、図13cに示す装置が実行する。
図13cは、解析メモリ100と、マルチプレクサ105を介してデータを入力する手段とを示す。解析出力レジスタ104は、上述のように、点の数NBPTS1041を用いて、また一般には、限界A1042及び限界B1043も用いて、動作する。
【0032】
学習レジスタ117は解析メモリ100の出力データを受信して、加算器300が供給を行うレジスタ301を介して、イネーブル計算器115の2つの比較器1151及び1152それぞれの入力を供給する。このイネーブル計算器は、考慮に入れる点の数のパーセンテージである値kを格納するメモリ1153を含む。点の数NBPTSを入力の一方において受信し、値kを他方の入力において受信する乗算器1154が、一方で比較器1151の第2の入力に供給し、他方で減算器1155の入力の一方に供給を行う。減算器1155の他方の入力は、点の数を受信する。この減算器1155の出力は、比較器1152の第2の入力に供給を行う。
減算器1155の出力は限界Aに供給を行い、比較器1152の出力は限界Bに供給を行い、限界Aの値をそれぞれ入力の各々において、限界Bの値を反転入力において受信する演算子“NON−AND”1156がイネーブル計算器115の出力信号を供給する。
【0033】
ヒストグラム計算の終わりに、レジスタNBPTSが既知となり、信号Frame−Endにより、値α=k.NBPTS、及び、値β=NBPTS−αを知ることができる。
累積関数Sをゼロにリセットする間(すなわちS=ゼロ)、所定のヒストグラムメモリのアドレスに接続するカウンタの増分iにより、このメモリの内容を読み出し、累計レジスタSに供給を行うことができる。
第1の試験は、Sが所定のα値よりも小さい限り増分値(increment value:増加)iを限界Aに割り当てることにある。
第2の試験は、Sが所定のβ値よりも小さい限り増分値iを限界Bに割り当てることにある。
一般に分類器は、一組の以前のデータDATA(A)について統計的に決定される値又は限界に関してパラメータDATA(A)を設定することができるという条件で、多くの実施形態に従って作成することができる。
【0034】
IX.分類器101のメモリ118
図16はメモリ118の詳細な図であり、入力イネーブル機能を有する入力デマルチプレクサ130と、出力マルチプレクサ131とを示す。書き込み信号WRを受信する入力デマルチプレクサ130は、この場合、アドレスコマンドADDRESSによって選択される、比較DATA INの2進値を書き込むメモリ118のレジスタの選択を可能にすることができる。出力マルチプレクサ131は、アドレスコマンドADDRESSによって選択される特定のレジスタの値を、分類器のメモリ118の出力101sにおいて送信する。
入力デマルチプレクサ130及び出力マルチプレクサ131は、推定マルチプレクサ108から始まるバス134を介して、制御される。
より正確には、バス134が伝送するアドレスによって制御される1/n入力デマルチプレクサ130は、0、1、...、n番目のレジスタ140、140、140、...、140に、それぞれが信号Sel、Sel、Sel、...、Selの形式である信号WR(WRITE:書き込み)を送って、レジスタのうちのどれかを、信号DATA INが伝送する情報の内容の受信先として決定する。出力において、これらのレジスタ140、140、140、...、140から発せられる情報は、出力OUTを決定するマルチプレクサ131に送られる。
【0035】
X.推定
好適な実施形態において、ヒストグラム処理ユニット1は、リアルタイム更新に加えて、推定機能を行う。
このような分類器101の自己適応機能の予測推定は、このループシステムの動作を向上させ、これを生体システムの動作と同化させる。
この推定の目的は、名前が示すように、処理を高速化して物体又はその進化すなわち変化の追跡を促進すべく、分類器のメモリ118に含まれる値を推定することである。
この目的のために、ヒストグラムのグローバル変動を計算し、次に、その結果を、以下の方法の1つによる推定を適用するために用いる。いずれにせよ、推定により推定関数gが定義され、この推定関数gは、分類関数fと合わさって、パラメータAを処理するヒストグラム計算ユニットを特徴付ける、データDATA(A)と出力値(101s)を結び付ける関数(fog)を生成する。
【0036】
A.ヒストグラムのグローバル変動の計算
試験ユニット103及び解析出力レジスタ104は、統計値POSMOYを生成し、2つの連続するフレームの値POSMOY及びPOSMOYを記憶する。POSMOYは、パラメータDATA(A)の値であり、これに関連して、所定のフレームにおいて、当該パラメータは、イネーブルされた点の半分以上の値を有し、他の半分については小さい値を有する。
準備
信号ENDが1に等しい場合、新しい値POSMOYが計算されて、POSMOYの前の値はPOSMOYに保存される。
【0037】
POSMOY
図14を参照して、次に変数POSMOYの詳細を記載する。
この変数POSMOYは、比較器302が生成する。
この比較器302は、入力のうちの1つのQにおいて、分割器303が2で割ったパラメータNBPTSを受信する。
比較器302の第2の入力Pは、初期化信号INIT及び終了信号ENDによって制御されるレジスタ301の出力による供給を受けて、加算器300の出力を入力において受信する。加算器300自体は、レジスタ301の出力値を入力において、上述したメモリ100の出力値を第2の入力において受信する。
したがって、最初にリセットされるレジスタ301は、信号COUNTERがゼロ〜nまで走査するメモリのレジスタの累計内容を格納する。
この累積値がNBPTS/2よりも小さい限りは、COUNTERの値はPOSMOYに格納される。したがってPOSMOYは、サイクルENDの終わりに、累積値がNBPTS/2よりも小さい最後の値COUNTERを含む。
【0038】
B.推定へのヒストグラム変動の適用(第1の方法)
図13はこの第1の方法を示す。メモリ118は、図16に関して上述したものである。
オートマトン310(いわゆる、符号抽出能力を有する計算ユニット)が、絶対値|POSMOY−POSMOY|、及びこの差の符号を供給する。
これらのパラメータは、変換器312が符号を反転させた後で、トランスレータ311を制御する。
したがって、メモリ118に供給されるパラメータの値は、受動動作に関して値|POSMOY−POSMOY|だけ、ユニット310において計算されるPOSMOY変動の反対の方向にオフセットされる。
【0039】
図15aは、推定にヒストグラム変動を適用する第1の方法を実施するように構成される代替の実施形態による回路を示す。この実施形態において、計算ユニット310aは、計算ユニット310と同様であるが、メモリ118に供給されるパラメータの値のオフセットに関して、よりフレキシブルな可能性を提供する。図15の計算ユニット310は、y=x(xは(POSMOY−POSMOY)である)の形式の関数によって決定されるオフセットを提供するのに対し、計算ユニット310aは、y=ax+b(a(たとえばk1及びk2)及びb(たとえばc1及びc2)は、プロセッサによって提供され得る調節可能な定数である)の形式の関数によって決定されるオフセットを提供する。
【0040】
当然、POSMOY値の任意の他の関数、たとえばy=axを所望により用いることも可能であることは明らかであろう。図15aにおいて、マルチプレクサ127は、POSMOYの2つの関数、すなわちk1×(P−P)+c1及びk2×(P−P)+c2を入力において受信し、制御信号“Clock”の値に基づいて、1つの出力を供給する。
分類の範囲をさらに増大するために、回路OR125及び遅延回路126も用いることができる。遅延回路は、マルチプレクサ127を制御する同一のクロック信号によって制御される。次に、異なるオフセット関数の両方に関連するメモリ118の出力値がゲートOR125に提供されるが、その出力は、分類範囲が向上し、したがって推定特性が向上した信号102sである。
【0041】
C.推定へのヒストグラム変動の適用(第2の方法)
この第2の方法を図17に示し、メモリ118を図18に示す。
メモリ118の全体の構造は上述した通りである。次に所与のビットのシーケンスを説明する(他のビットのシーケンスは類似している)。図16と共通の要素は同一の参照符号を有する。
レジスタ140は、比較器119からの2進信号出力を入力の一方において、また、推定計算オートマトン150の出力信号を他方の入力において受信する2/1入力マルチプレクサ160に関連付けられる。
入力マルチプレクサ160は、信号ETDによって制御される。この信号ETDは書き込みも制御する。
この目的のために、レジスタ140の書き込みコマンドは演算子OR170に接続される。この演算子OR170は入力の一方において信号ETDを、他方において信号Selを受信する。
レジスタ140の出力において、推定計算オートマトン150は、それぞれ0、1、2番目のレジスタ140、140、140から3つの出力信号Q、Q及びQを入力において受信し、信号SM、SP及びTによって命令される。
オートマトン150、150、...150では、一連の拡張(膨張)演算と、これに続く収縮演算とにより、推定を行う。
【0042】
推定計算オートマトン150を、図19に詳細に記載する。オートマトン150は、1つの出力及び2つの入力を含むマルチプレクサ207を備え、信号Tによって制御される。
入力の一方は、信号Aを供給する拡張演算子208に接続され、他方の入力は、信号Bを供給する収縮演算子209に接続される。
拡張演算子208は、3入力1出力回路OR201を含む。この回路OR201の出力はマルチプレクサ207に接続される。
回路OR201の第1の入力には信号Qが供給され、第2の入力には、一方の入力が信号Qで他方の入力が信号SPである2入力回路AND202からの出力が供給される。第3の入力には、一方の入力が信号Qで他方の入力が信号SMである回路OR201の出力が供給される。
したがって拡張演算子208が実現する関数は、
=Q+Q×SP+Q×SM
である。
【0043】
収縮演算回路209は、3入力1出力回路AND204を含む。この回路AND204の出力はマルチプレクサ207に接続される。
回路AND204の第1の入力には信号Qが供給される。
回路AND204の第2の入力は、4入力1出力回路NOT−AND205に接続される。
回路NOT−AND205の第1の入力は信号SPに、第2の入力は信号Qに接続される。第3の入力は信号Qに接続され、第4の入力は信号Qの反転に接続される。
第2の演算子NOT−AND206は4つの入力と、回路AND204の第3の入力に接続される1つの出力とを有する。これらの4入力のうち、第1の入力には信号Qが、第2の入力には信号SMが、第3の入力には信号Qが、第4の入力には信号Qの反転が供給される。
したがって収縮演算子209が実現する関数は、
【数2】
Figure 2004526214
である。
【0044】
推定演算子の演算を図20に示す。
この図において、時間軸tの左側に信号INIT、WRITE、END、ETD、T、SP、SMを示す。
シーケンサ9が生成する信号INITが、フレームの処理サイクルを開始する。信号INITの持続時間にわたって、メモリ及びレジスタはすべて初期化される。
同様に、シーケンサ9が生成する信号WRITEが、信号INITの後に続き、横座標がパラメータの値を、縦座標が出現回数を表す曲線Cによってデータが表される検討フレームの統計計算を制御する。
試験ユニット103は、最大発生回数RMAXを探す。
【0045】
信号WRITEの最後に、シーケンサ9が生成する信号ENDが、分類器のメモリ118の更新を可能にする。比較器119が新しいデータを生成する。
時間tにおける信号ENDの最後に、メモリ118の内容が分布Rによって表される。
信号ENDの最後に、持続時間がコマンド発生器313によって決定される信号ETDが開始する。この信号ETDは、分類器のメモリ118における範囲の計算を可能にする。
ETDに含まれる信号SP(プラス方向)及びSM(マイナス方向)は、tにおいてR、tにおいてR、tにおいてRなどとなる分布Rの範囲の正の方向(SP=1)における処理及び負の方向(SM=1)における処理をそれぞれ制御する。
したがって、SP及びSMのそれぞれの持続時間は、信号ETDの最後における分布Rの位置の範囲を決定する。
コマンドTによって制御されるマルチプレクサ207は、拡張演算子及び収縮演算子の出力をそれぞれ供給される2つの入力と、1つの出力とを有して、これらの演算子のいずれかをコマンドTに関して実現する。
マルチプレクサ207の出力OUTは、以下の通りである。
【数3】
Figure 2004526214
【0046】
XI.時間一致
以上に記載した簡易実施形態において、時間一致ブロック102は、時間一致基準Rを構成する単一時間一致値を含む単一レジスタを備える。
【0047】
A.複雑な時間一致基準
好適な一実施形態において、時間一致ブロックは、画素が有する情報をイネーブルすることがいずれも可能である、時間一致基準Rをともに形成するいくつかの値を収納できるメモリである。これらの値の各々は、メモリの積項レジスタ410に格納される。
図22は、時間一致ブロック102の全体を示す。この時間一致ブロック102は、バス425がA‘PRODUCT TERM’を供給する、バスProgram Register12によって制御される複数の積項レジスタ410からなる。
これらの積項レジスタ410の各々は、制御変換器422の入力のうちの1つに供給される信号を出力において提供する演算子OR421に供給を行う1つの出力を有する。制御変換器422は、レジスタ423を介してバスProgram Register12からの信号を第2の入力において受信する。
図23及び図24は、時間一致ブロック102に関して設けられるフィールドプログラマブルゲート領域(FPGA)400を示す。
このようなメモリは、被制御変換器403を備える。この被制御変換器403の出力は、プログラマブルユニット400の出力であり、入力のうちの1つは、信号s及びその反転s*(*:反転を表す)を供給する増幅器402に接続される列A406と交差するB行405に接続される演算子ORである。
行405及び列406の交点404は、リプログラマブルユニット400の全動作を決定することを可能にするプログラマブル接続である。
【0048】
図24は、かかるリプログラマブルユニット400の単一行410を示す。
該行410は、プログラミング変数Reg−a0及びReg−b0を受信するレジスタ411及び412を備える。
この行は、被制御反転器413と、演算子OR415と、反転器414とを各々が含むA基本(初等)関数ブロックに分解される。被制御反転器413の入力の一方は、対応する入力Aに、他方の入力は、レジスタReg−a0の対応するビットiに接続される。
この被制御反転器413の出力は、出力を介して演算子OR415の入力の一方に供給を行う反射器414の入力に接続される。
この演算子OR415の他方の入力には、レジスタReg−b0の対応するビットiが供給を行う。
被制御反射器413の出力は、演算子OR417の入力のうちの1つにも供給を行う。演算子OR417はさらに、基本関数の異なる出力によって生成される対応する信号すべてを受信する。
出力が積項0である演算子AND416が、一方で演算子OR417の出力を、他方で異なる基本関数の出力を入力において受信する。
【0049】
B.学習モード
時間一致ブロックは、アプリケーション管理インターフェースが出す命令によって、外部からプログラムされる。このインターフェースは、レジスタ411及び412にロードする。
さらに好適な実施形態において、ヒストグラム計算ユニット1は、分類器の更新及び推定に加えて、学習機能を有する。
この目的のために、ヒストグラム構成ユニット1は、時間一致ユニット102の自動プログラミングを可能にする学習マルチプレクサ108を備える。
学習マルチプレクサ109は、考え得る動作モード(処理及び学習)のいずれかを選択する。処理モードでは、時間一致ユニット102のレジスタに含まれる値が設定され、逆に学習モードでは、これらの値が更新される。
【0050】
処理モード
処理モードで動作中、学習マルチプレクサ109は、処理モードの動作シーケンス中には、時間一致ブロック102のレジスタに含まれる値が変更されないことを示す値1の信号を、出力から送信する。
したがって、これらのレジスタに格納される値は、ユーザによって選択及び格納されているか、又は、後述する以前の学習フェーズの結果として得られている。
時間一致ユニット102は、ここに説明するヒストグラム計算ユニットと協動する他のヒストグラム計算ユニットから、類似の信号inE...inAも受信する。
この時間一致ユニットは、上述した役割を実現する間に、こうして受信した値を、レジスタ(複数可)に格納されている値と比較して、一致する場合は1に等しく、その逆の場合にはゼロに等しい信号102sを出力する。このイネーブル信号は、増分イネーブルユニット107に送られて、1に等しい場合には、解析メモリ100において影響を受ける画素のパラメータDATA(A)の値を考慮することを許可し、逆にイネーブル信号の値がゼロである場合には、処理がその次へと進む。
【0051】
学習モード
ヒストグラム計算ユニットの動作は、図5に示す信号、すなわち初期化信号(INIT)と、フレーム(又は画像)の各画素に対応する情報を有する書き込み信号(WRITE)と、終了信号ENDとによって制御される。
学習モードにおいて、学習マルチプレクサ109は、時間一致信号の値を出力し、次に、この値がDATA(A)の代わりに用いられる。
i番目のヒストグラム計算ユニットの学習モードでは、信号LEARNiが、学習モードにおける処理を、フレームシーケンス全体にわたって可能にする。
このシーケンスの間に、学習レジスタ116が更新される。同時に、時間一致ブロック102は、信号のトランスパレンシ(透明性)を確実にして、次に入力inA、...、inEのうちの1つがアクティブ(=1)になるとすぐに、DATA(A)が時間一致信号111と等しくなることを可能にする。
信号WRITEの最後に、ヒストグラムメモリ100は、時間一致信号の分布を表す。
次に試験ユニット103が、B‘SUM TERM’に数が等しい値を減少させることにより、出現の分類を生成する。
【0052】
この信号ENDの間に、こうして選択された時間一致信号の値が、時間一致ブロック102の各ブロック410のレジスタ411及び412に書き込まれる。
レジスタ412は時間一致信号の値に対応し、レジスタ411はその補数に対応する。実際には、同一レジスタの2出力を用いて、これらの値の両方を供給することができる。
したがって、主要パラメータの自動的な統計の精緻化(elaboration)を、調査フレームにおいて実行することができる。
したがって学習は、n個の入力パラメータに対してn+1個のヒストグラム計算ユニットを必要とする。学習機能を行うために、n個のブロックはパラメータのうちの1つを処理し、残りのブロックは時間一致情報を処理する。実際には、時間一致情報がかなりの桁数を有するため、学習ユニットは専用で、より大きなサイズを有する。
図面に示す自己適応機能、推定機能及び学習機能を実現するために必要な様々なソフトウェアパッケージのフローチャートは自明であり、当業者が理解するには主題からの脱線を要しない。フローチャートが内部で変数を参照する際には、当該変数をボックス内に示してある。本明細書中で記載する特定の構成要素では特定の機能が実現されるため、機能には、この構成要素の符号による参照も割り当てられている。
【0053】
XII.空間的及び時間的処理ユニット
有利には、空間処理ユニット6は、各画素にそれぞれ同期して関連付けられた様々な信号F、SR、V、VL、DI、及びCOを出力する。これらはデジタル信号であることが好ましい。複合信号Fは、ゾーン又は移動物体の存在又は位置を示す(outlining)信号を含むことが好ましい、システムによって生成される多数の出力信号を含み、Vは画像中の各画素の変位DIの指向方向の速度である。また好ましくは、システムの出力は、フレームの出力ZHと同期させるために、(フレームの)複合データ信号Fの計算時間を考慮に入れつつ遅延された入力デジタルビデオ信号(SR)からなる。遅延信号SRは、モニタのカメラ又はテレビ画面によって受信される画像を表すために用いられる。このモニタのカメラ又はテレビ画面は、複合信号ZHに含まれる情報を表すためにも使用される。この複合信号ZHは、さらなる処理のために別個の処理ユニット10aにも送信される。
【0054】
XIII.空間的処理:軸の選択
空間における画素の位置を、軸系に関して表す。場面における物体の形状、向きなどにより、特定の軸系が他の軸系よりも良好な結果を供給する。
図26及び図27は、はっきりとした最大値を示す最適なヒストグラムを得ることを可能にする軸を選択する手順を示す。
空間変換ユニットは、デカルト座標又は極座標データのいずれかである空間データx及びyを入力において受信する。この空間変換ユニットは、信号αによって制御され、αの各値について、本発明によるヒストグラム構成ユニットに供給されるパラメータを出力する。
このヒストグラム計算ユニットを制御する、プログラムレジスタによって立ち上げられるプログラムが、最適なヒストグラムを生成するために値αの選択を可能にする。
このような、適切な軸を選択する方法は、出願PCT WO−98/05002に詳述されている(図11及び対応する記載(ここで‘空間変換’ユニットは37として参照される)を参照)。
【0055】
XIV.時間的処理
色調(色相)、彩度及び輝度信号ならびに速度、方向及び強度信号によって与えられる値の比色処理に、空間分解能パラメータを提供する空間フィルタリング関数(Gabor法)と、距離計算オートマトンを介して奥行きパラメータを提供する両眼関数(binocular function)とを加えることができる。
これらの様々なパラメータの全部又は一部を処理する間に、完全なアプリケーションが実現できる。
【0056】
XV.統計曲線の可視化
好適な実施形態によれば、曲線発生器114が、値DATAの曲線の画面オーバーレイを、予め処理したフレームについて可能にする。
同様に、時間一致信号の画面オーバーレイも可能である。
これらのオーバーレイはそれぞれ、ライン14及び15によって画面へ送られる。スイッチ16及び17が、様々なヒストグラム計算ユニットの中から特定のヒストグラム計算ユニットを選択することを可能にする。
図28及び図29は、ヒストグラム曲線の可視化手段をより正確に説明する。
列カウンタ353の値によってアドレス指定されるメモリ100が、シフトレジスタ350の一方の入力に供給を行う。シフトレジスタ350の他方の入力には、解析レジスタ104によって生成されるパラメータRMAXが供給される。
このシフトレジスタ350の出力は、比較器351の一方の入力に供給を行う。比較器351の他方の入力には、行カウンタ352が反転器354を介して供給を行う。演算子AND355が、一方で比較P≧Qの結果を、他方で変数Val_Zoneを受信して、変数Aff_Cbeを出力する。
【0057】
変数‘Col_Counter’356及び‘Col_Curve_Counter’357を生成する列カウンタ353と、変数‘Row_Curve_Counter’358及び‘Row_Counter’359を生成する行カウンタ352と、変数Val_Zoneの発生器とが、シーケンサ9のサブアセンブリ91を構成する。
さらに、画面8の可視化制御ブロック365が、遅延ビデオ信号SRと、カーソルブロック366によって生成されるカーソルコマンドと、セミグラフィックメモリ367によって生成されるコマンドとを受信する。
図29は、曲線表示信号を画面361のオーバーレイコマンド15へ転送するスイッチ16によって得られてイネーブルされるスタンプ360の結果である。画面361は、コマンドボックス362と、カーソル363と、テキストボックス264とをさらに含む。
したがって、この画面及び関連するマウスは、ユーザがアプリケーションを生成し、これに命令することを可能にするグラフィックユーザインターフェース(GUI)を構成する。
同様に、時間一致オーバーレイコマンド14のスイッチ17を作動させることにより、時間一致関数を動的に、画素365の形式で可視化することができる。
【0058】
XVI.アプリケーション
図30以降の図は、任意数のパラメータA、B、C、D、E...の管理を可能にする一組のヒストグラム計算ユニットの実施形態を示す。(一般に2つの)空間的パラメータならびに(少なくとも1つの)時間的パラメータの関連により、時空間ニューロンをモデリングすることが可能になる。時間的処理ユニット5及び空間的処理ユニット6は、一方で信号S(t)を、他方でCLOCK信号ならびに同期信号ST(フレーム同期)及びSL(ライン同期)を受信する。
図4及び図30に示すように、時間的処理ユニット5及び空間的処理ユニット6からの各パラメータA、B、C、D、E...はそれぞれ、ヒストグラム計算ユニット1、1...1に供給される。一組の分類器102が生成する時間一致信号は、バス111上にあって、全体がヒストグラム計算ユニットの各々(それぞれ1、1...1)によって用いられる。
例示目的で、A、B、C、...、Eはそれぞれ、入力画素の色成分、すなわち輝度L、色調T及び彩度Sを表すことができ、D及びEは、最適な軸系において考察される画素の座標P及びPを表すことができる。
【0059】
要約すれば、図31aに示すように、パラメータAに関して、各ヒストグラム計算ユニット1、1、...、1は、データDATA(A)、DATA(B)、...、DATA(E)のうちの1つを対応する関数(fog)...によって処理し、出力値(101s)...を個々で、バス111上で使用可能な時間一致を全体で生成する。同時に、解析出力レジスタ104に供給が行われる。
各ヒストグラム計算ユニットが処理するパラメータの選択と、解析出力レジスタ104の内容と、関数fogとは、A.P.I.によって決定される。
図31に示す実施形態では、異なるパラメータDATA(A)...DATA(E)が、レジスタ501によって制御される入力マルチプレクサ500に供給を行う。レジスタ501は、コマンドSELECT502によって更新される。被制御学習マルチプレクサ503は、ヒストグラム計算ユニットiの学習コマンドLEARNの状態に応じて、バス111によって伝送される時間一致情報又は入力マルチプレクサ500からの情報のいずれかを受信する。
したがって、単一ヒストグラム計算ユニット1を用いて、バス510によってコマンドSELECTに関連してアドレス指定される異なるパラメータA、B、C...Eのいずれをも処理することが可能である。
学習コマンドLEARNの状態に応じて、ヒストグラム計算ユニットは、処理モード又は学習モードのいずれかで動作する。
こうして、ヒストグラム計算ユニット1と、入力マルチプレクサ500と、そのレジスタ501と、オプションの学習マルチプレクサとによって形成されたアセンブリ1aは、多値ヒストグラム計算ユニットを構成する。
【0060】
図32は、例示目的で、16個で一組のかかる多値ヒストグラム計算ユニットを備える完全な装置を示す。
これらのユニット1aは、マトリクスを構成し、パラメータD、V、S、T、L、p0、p1、...、p15(一実施形態においてp0、p1、p2、...、p15は基準軸の傾きである)が利用可能なバス510に接続される。バス111は、時間一致情報を運ぶ。
アプリケーションアセンブリは、所与の時間において1つ又はいくつかの専用多値ヒストグラムユニット及びシーケンサ9がパラメータL、T、S、V、D、p0、p1、...、p15のうちのどれを処理すべきかを決定する制御ユニット513によって命令される。
【0061】
図40は、本発明の一実施形態による、(図31に示すような)いくつかのヒストグラム計算ユニットを備えるアセンブリの機能フローチャートを示す。各ヒストグラム計算ユニット1aは、処理すべき異なるパラメータを供給するデータバス510と、分類信号101s及び学習機能(learning function)信号を異なるユニット1aに供給するバス11とに接続される。各ヒストグラム計算ユニットは、メモリと、分類器と、時間一致ユニット102とを備える。各ユニット1aは、上述のような自動分類、推定及び学習機能を実現することが可能である。
ヒストグラム計算ユニット1の組は、1つ又は複数の上記ユニットが学習モードにある間に、処理モードでも動作することができる。
特定の実施形態では、ことによるとメモリに格納されている図示しない各フレーム中に、いくつかのパラメータがヒストグラム計算ユニットを時分割で用いる。
たとえば、図31を参照すると、ヒストグラム計算ユニット1は各フレーム中に、2つ以上のパラメータ(たとえばDATA(A)及びDATA(C))について、ヒストグラム及び対応する統計値を計算する。
本実施形態に提供されるマルチプレクサ500は、異なるパラメータを多重化することが可能である。このように、限られた数のヒストグラム計算ユニットのみが、より多くのパラメータを処理するために必要となる。これにより、有益な数のヒストグラム計算ユニットの製造に必要なシリコン量を削減することができる。
【0062】
こうして構成された汎用視覚認識プロセッサ(GVPP)520は、単一固体基板に組み込むことができる。
多値ヒストグラム計算ユニット1aの数は、用途と、利用可能な固体構成要素の製造技術とに依存する。
現在利用可能な0.5μm技術は、経済的に32個のユニットを集積することを可能にする。半導体加工技術における進歩により、ますます多くのヒストグラム計算ブロック(たとえば図32のブロック1a)を同一チップ上に生産し、より多くの計算をより多くのサンプル(たとえば、1つのパラメータにつきますます多数のサンプル)に対して行うことが可能となった。
このような計算能力の向上は、後述して付録Aに詳細に説明するAPIの複雑さを増大することなく実現できる。たとえば同一の命令セットにより、20個のブロック装置はもちろん、200個又は2000個のブロック装置を、付加的な複雑さを必要とすることなく動作させることができる。
【0063】
図39に示す別の実施形態において、本発明による、たとえば図32の計算ユニット520と同様の計算ユニット605が、視覚認識ドメイン以外の認識ドメインに関連するパラメータを処理するように実装される。図39に示すように、本発明の技術は、たとえば音声認識及び音声/テキスト変換(テキストをコンピュータに音声で入力すること)のために、会話又は音響の解析に適用され得る。図39では、音響信号発生装置が計算器605に音響信号を提供し、次にこの計算器605が出力信号を提供する。
信号発生装置は、一実施形態においてマイク600を含むが、アナログ又はデジタル信号を提供することのできる任意の装置(たとえばCD又はDVDプレーヤ...)を含み得る。信号発生装置は、デジタル信号を提供することが好ましく、図1の信号発生アセンブリ2と同様のスレーブモード又はマスタモードで動作することができる。プロセッサ605は、信号を受信して、音響信号の様々なパラメータを処理する。このようなパラメータには、周波数、振幅及び位相が挙げられる。位相及び振幅パラメータはそれぞれ、視覚場面に関して処理される視覚の空間的パラメータ及び時間的パラメータと類似している。プロセッサ605は、結果を表示するために信号を装置610に提供する。たとえば一実施形態において、装置610は、信号発生装置600によって提供される信号に関連するテキストを印刷するプリンタを含む。同様に装置610は、モニタ又は任意の他のテキスト生成装置を含み得る。
【0064】
図33は、網膜(retina)522及びシーケンサ523を含むCMOS画像形成装置521から情報を受信する汎用視覚認識プロセッサ520又は530の図である。
図34は、CMOS画像形成装置とともに動作する完全なアプリケーションであることができる完全装置を示す。図35に示す2つのCMOS画像形成装置531、532の関連により、観察場面の奥行きに関する情報の取得が可能になる。
ある種の用途では、場面の特定ショットを詳細に観察できることが望ましい。このことにより、図36に示されるような可変焦点装置を網膜に適合させる理由を説明できる。
図37は、3方向(それぞれV1、V2、V3)から発せられる、三次元空間を表すことができる情報を処理することが可能な、一組の多値ヒストグラム計算ユニットからなるシステムの概略図である。したがって、たとえばロボット工学用途に用いる体積感知覚(volume perception)データを管理することが可能である。
【0065】
XVII.アプリケーションプログラムインターフェース(API)
図38に示すアプリケーションプログラムインターフェース(A.P.I.)は、完全なシステム、すなわち多数の多値ヒストグラム計算ユニットを含む一般の視覚認識プロセッサを、これが必要とする外部パラメータの組とともに提供することを可能にする。したがって、その動的コンフィギュレーションが確実となる。この明細書の一体部分として提供される付録Aは、時空間API、グラフィカルユーザインターフェース(GUI)API、マウスAPI及びI/O API、ならびに関連する様々なAPIコマンドの機能ブロック図を含む。
各コマンドニーモニック(mnemonic)には、目的とする多値ヒストグラム計算ユニットの数に対応するインデックスiが関連付けられる。各ニーモニックには、コンフィギュレーションパラメータが付随し得る。
各ニーモニックは、観察場面の実際のパラメータにパラメータDATA(A)...DATA(E)を割り当てることを可能にする。コマンドのいくつかは以下の通りである:
SELECT(選択)は、決定したユニットにパラメータDATA(A)を割り当てることを可能にする。
LEARNi(学習i)は、多値ヒストグラム計算ユニットiについて学習機能を行うことを可能にする。
START(開始)は、多値ヒストグラム計算ユニットの初期化を確実にする。このコマンドは、分類器101のメモリ118を設定する。
STOP(終了)は、ヒストグラム計算ユニットを停止させる。このコマンドは、ヒストグラム計算ユニットが非アクティブになるとすぐに用いられる。それによって全体のエネルギー消費が削減される。
AFCURVは、図4に示すスイッチ16を制御する曲線検証コマンドである。この逆コマンドは、CLCURVである。
AFMAPは、スイッチ17を制御する時間一致の検証コマンドである。この逆コマンドはCLMAPである。
MAPは、時間一致ユニット102のレジスタ411及び412の書き込みコマンドである。
GETLRNは、学習プロセス後の時間一致レジスタ411及び412の内容の収集を確実にするコマンドである。
【0066】
付録A
APIの仕様
(アプリケーションプログラミングインターフェース)
汎用視覚認識プロセッサ(GVPP)用アプリケーションプログラミングインターフェース(API):
インターフェースは、GVPPの4つの分類を含む:
−時空間ブロックAPI
−グラフィックAPI
−マウス管理API
−周辺機器との通信を管理するAPI
API
時空間グロック
グラフィックAPI
汎用ユーザインターフェース(GUI)
マウスAPI
汎用ユーザインターフェース(GUI)
入力/出力API
アプリケーションプログラミングコマンドの説明
時空間ブロックAPI
ブロックを初期化、設定又は学習及び開始するために用いられる汎用関数、ならびに、計算結果を収集する関数すべてを再編する。コマンドの名前に続いて、定義したレジスタに書き込まれる必要なパラメータを記す。
関数:
START(開始):
役割:ブロックの計算を開始する
パラメータ:影響を受けるブロックの数、値MIN、初期化用の値MAX
プロトタイプ:
ブロック3=03
MIN=10
MAX=100
Figure 2004526214
STOP(終了):
役割:ブロックの計算を停止させる
パラメータ:影響を受けるブロックの数
プロトタイプ
ブロック3=03: 一致 ブロック3が値3と等しい
ストップ ブロック3
入力 R0:ブロックの数
出力
SELECT(選択):
役割:ブロックの入力信号を選択する。たとえば輝度、色調、彩度、平面上のラインの向きなど。
パラメータ:影響を受けるブロックの数、選択される信号。
プロトタイプ:
ブロック3=03
LUM=00
Figure 2004526214
GET(取得):
役割:計算結果を収集する。
パラメータ:影響を受けるブロックの数、収集されるパラメータ(複数可)。
プロトタイプ:
ブロック3=03
MIN=00
MAX=01
RMAX=02
POSRMX=03
POSMOY=04
NBPTS=05
……
Figure 2004526214
LEARN(学習):
役割:ブロックが学習モードに切り替わる。
パラメータ:影響を受けるブロックの数
プロトタイプ:
ブロック3=03
学習ブロック3
入力 R0:ブロックの数
出力
MAP:
役割:前の学習モードに関連してブロックをプログラムし、内容を変更する。別の事象又は物体を検索する:ブロックの時間一致マトリクスを書き込む。
パラメータ:影響を受けるブロックの数。他の関連ブロックの論理の組み合わせ、積タームの和(AND及びOR)。
Figure 2004526214
GETLRN:
役割:ブロックの曲線を表示する。
パラメータ:影響を受けるブロックの数。
プロトタイプ:
ブロック3=03
AFCURVブロック3
入力 R0:ブロックの数
出力
CLCURV:
役割:ブロックの曲線を削除する。
パラメータ:影響を受けるブロックの数。
プロトタイプ:
ブロック3=03
CLCURVブロック3
入力 R0:ブロックの数
出力
AFMAP:
役割:時間一致テーブルを表示する
パラメータ:影響を受けるブロックの数
プロトタイプ:
ブロック3=03
AFMAPブロック3
入力 R0:ブロックの数
出力
CLRMAP:
役割:ブロックの時間一致テーブルの画面を削除する
パラメータ:影響を受けるブロックの数
プロトタイプ:
ブロック3=03
CLRMAPブロック3
入力 R0:ブロックの数
出力
グラフィックAPI
CLRSCR:
役割:画面を削除する
パラメータ:なし
プロトタイプ:
CLRSCR
入力
出力
DPDATA:
役割:データを画面に表示する
パラメータ:表示されるデータ及び画面上の位置
Figure 2004526214
マウス管理API
DPNTER:
役割:カーソルを移動及び表示する
パラメータ:座標。
Figure 2004526214
BUTTON:
役割:カーソルクリックを生成する
パラメータ:ボタン
プロトタイプ:
BUTOON
入力
出力 R0:ボタンの新しい位置
周辺機器との通信を管理するAPI
MVCAM:
役割:カメラを移動する
パラメータ:位置及び焦点
Figure 2004526214
GETCAM:
役割:カメラの位置を収集する
パラメータ:なし
Figure 2004526214
MVMOT:
役割:エンジンアクション
パラメータ:方向+ステップの数
プロトタイプ:
MVCAM
入力 R0:方向+ステップの数
出力
GETMOT:
役割:エンジンの現在位置を収集する
パラメータ:なし
プロトタイプ:
GETMOT
入力
出力 R0:位置
SENDPC:
役割:情報をPCへ送る
パラメータ:情報及びその量を指示する
Figure 2004526214
GETPC:
役割:情報をPCから収集する
パラメータ:なし
プロトタイプ: GETPC
入力
出力 R0:情報
【0067】
図1
従来技術
図3
VALIDATION=ENABLING(イネーブル)
図6
DEPART MAITRE=マスタ開始
Registres=レジスタ群
図7
Sequnce courbe:曲線シーケンス(curve sequence)
図9
INITIALISATION=シーケンス初期化
図10
CALCUL STATISTIQUE:統計的計算
分類器(クラシファイア)102
図11
FINSEQUENCE:シーケンスの終了
Mise a jour du classifieur:分類器を更新
Nouveau calcul de POSMOY:POSMOYを新たに計算
図13
CHOIX:選択
SEUIL:しきい値
図13c
Borne:ターミナル
図21
Attente:待機
図40
Apprentissage:学習
Classification automatique:自動分類
【図面の簡単な説明】
【図1】
本発明によるヒストグラム計算ユニットの、その状況における図である。
【図2】
本発明の装置及び方法が処理する入力ビデオ信号、及びシーケンサが生成する制御信号の図である。
【図3】
受動ヒストグラム計算ユニットを示す図である。
【図4】
推定及び学習機能を有する、本発明による自己適応ヒストグラム計算ユニットを示す図である。
【図5】
図4の計算ユニットが処理する信号を示す図である。
【図6】
図4の計算ユニットをマスタモードで制御するソフトウェアのフローチャートである。
【図7】
図4の計算ユニットをスレーブモードで制御するソフトウェアのフローチャートである。
【図8】
曲線ゾーンの挿入ソフトウェアのフローチャートである。
【図9】
初期化ソフトウェア(コマンド‘INIT’の生成)のフローチャートである。
【図10】
統計的計算ソフトウェア(コマンド‘WRITE’の使用)のフローチャートである。
【図11】
処理の終わり(コマンド‘END’の使用)のフローチャートである。
【図12】
自己適応機能を有するヒストグラム計算ユニットの本質的な要素の図である。
【図13】
図13及び図13cは、いくつかの自己適応機能に適合するイネーブルカウンタの図である。
図13a及び図13bは、パラメータの統計的分布及び分類基準の図である。
【図14】
値POSMOYを生成するヒストグラム計算ユニットの要素の図である。
【図15】
図15は、第1の方法による推定を伴う自己適応ヒストグラム計算ユニットの本質的な要素を示す図である。
図15aは、第1の一般化された推定方法を実施する図15と同様の図である。
【図16】
分類器のメモリの図である。
【図17】
第2の方法による推定を伴う自己適応ヒストグラム計算ユニットの本質的な要素を示す図である。
【図18】
ビット制御された初等関数オートマトンを有する分類器のメモリの詳細図である。
【図19】
基本的な推定計算オートマトンの図である。
【図20】
推定プロセスの概略図である。
【図21】
推定実施ソフトウェアのフローチャートである。
【図22】
時間一致ユニットの図である。
【図23】
時間一致ユニットとして用いられるフィールドプログラマブルゲートアレイ(FPGA)のフローチャートである。
【図24】
図23のシステムの一行に限定したレジスタベースの図である。
【図25】
学習機能を有するヒストグラム計算ユニットの本質的な要素の図である。
【図26】
特定軸の選択の概略図である。
【図27】
特定軸の選択の概略図である。
【図28】
統計的可視化装置の概略図である。
【図29】
図28の装置によって生成される可視化を用いて得られる結果の例である。
【図30】
複数のヒストグラム計算ユニットの実施例の図である。
【図31】
図31は、計算ユニットが複数のパラメータを処理することを可能にするマルチプレクサを有する単一プログラマブルヒストグラム計算ユニットの使用の図である。
図31aは、電子時空間ニューロンとも称せられるヒストグラム計算ユニットの図である。
【図32】
使用状況におけるプログラマブル入力制御を有することにより機能エンティティを構成する一組のヒストグラム計算ユニットの図である。
【図33】
関連信号発生器を有する機能ユニットの合成図である。
【図34】
2ソース取得の場合の、図32に対応する図である。
【図35】
両眼取得の場合の、図33に対応する図である。
【図36】
制御光学素子に適合する信号発生器の概略図である。
【図37】
3ソース取得の場合を示す図である。
【図38】
アプリケーション管理インターフェース(API)の図である。
【図39】
本発明による音響信号処理装置を示す図である。
【図40】
本発明による装置の略図である。

Claims (26)

  1. 空間に発生している、少なくとも1つのパラメータに関する事象の自動視覚認識装置であって、制御ユニット(513)と、データバス(510)と、時間一致(同期)バスと、前記パラメータを処理する少なくとも1つのヒストグラム計算ユニットとを備えることを特徴とする自動視覚認識装置。
  2. 請求項1記載の自動視覚認識装置において、該装置は、複数のパラメータを処理するために、マトリクス構成の複数のヒストグラム計算ユニットを備えていることを特徴とする自動視覚認識装置。
  3. 請求項1又は2記載の自動視覚認識装置において、前記ヒストグラム計算ユニットは、時間経過とともに進化しかつ一連の瞬時点(T)において表される多次元空間(i,j)を形成する複数の画素に関連付けられたデータai,jtを処理するよう構成されており、該データは、前記空間の所与の瞬時点(T)と、所与の瞬時点(T)に受信される信号ai,jtが関連付けられる画素の前記空間における位置(i,j)とを定義することを可能にする同期信号に関連付けられたnビットの2進数ai,jtの形式であるデジタル信号DATA(A)の形式で前記計算ユニットに供給され、前記ヒストグラム計算ユニットは、
    各々が前記信号DATA(A)のnビットの数字の値と関連付けられるアドレスを備えたメモリであって、書き込みプロセスがWRITE信号によって制御されるメモリを含む解析メモリ(100)と、
    前記パラメータDATA(A)の選択基準Cを受け取るよう構成されたメモリを含み、前記信号DATA(A)を入力に受け取って、前記信号DATA(A)を選択基準Cと比較した結果に値が依存する2進出力信号を出力する分類器(101)と、
    前記分類器からの出力信号と、前記ヒストグラム計算ユニットの外部からの、DATA(A)以外のパラメータに影響を与える個々の2進イネーブル信号とを受け取り、個々の時間一致信号がすべて正であるときに正のグローバルイネーブル信号を出力する時間一致ユニット(102)と、
    試験ユニット(103)と、
    解析出力ユニット(104)と、
    アドレスマルチプレクサ(105)と、
    増分イネーブルユニット(107)と
    を備え、
    前記メモリの各アドレス用のカウンタは、前記時間一致ユニットが正のグローバルイネーブル信号を出力すると1単位ずつインクリメントされる所与の瞬時点でのai,jtの値(d)に対応し、
    統計データを計算及び格納するよう構成された前記試験ユニット(103)は、瞬時点(T)における空間に対応する前記データai,jtの受信後に、前記解析出力ユニット(104)を更新するためにメモリ(100)の内容を処理し、
    前記メモリ(100)は、瞬時点(T)における空間の各フレームが始まる前に初期化信号INITによって消去され、
    前記分類器(101)の前記メモリは、前記選択基準(C)のリアルタイム更新を可能にし、データ入力DATA INと、アドレスコマンドADDRESSと、書き込みコマンドWRとを有し、前記解析メモリからの出力を入力において受け取り、書き込みコマンドにおいて信号ENDを受信するアドレス指定可能メモリであり、
    前記ヒストグラム処理ユニットはさらに、2つの入力及び1つの出力を有し、一方の入力において計数信号COUNTERを、他方の入力において一連のデータai,jtを受信し、前記分類器の前記メモリの前記アドレスコマンドに一連のデータai,jtを出力する入力マルチプレクサ(108)と、前記アドレスマルチプレクサ(105)を制御して、初期化信号INIT及び終了信号ENDを入力において受信する演算子ORとを含んでいる
    ことを特徴とする自動視覚認識装置。
  4. 請求項3記載の自動視覚認識装置において、前記空間(i,j)は二次元であり、前記信号DATA(A)は一連の画像の画素と関連付けられることを特徴とする自動視覚認識装置。
  5. 請求項3又は4記載の自動視覚認識装置において、前記ヒストグラム処理ユニットは、前記分類基準(C)の値を推定する手段を含むことを特徴とする自動視覚認識装置。
  6. 請求項5記載の自動視覚認識装置において、前記分類基準(C)の値を推定する手段は、2つの連続するフレーム(T及びT)に関する統計パラメータの値を収納するためのメモリを含むことを特徴とする自動視覚認識装置。
  7. 請求項6記載の自動視覚認識装置において、前記統計パラメータは、イネーブルされた前記データai,jtの平均値であることを特徴とする自動視覚認識装置。
  8. 請求項3〜7いずれかに記載の自動視覚認識装置において、前記ヒストグラム計算ユニットの前記解析出力レジスタ(104)は、最小値‘MIN’、最大値‘MAX’、前記信号Vi,jtが特定の値を持つ最大画素数‘RMAX’、対応する特定の値POSRMAX、及びイネーブルされた画素の総数‘NBPTS’の少なくとも1つをメモリに格納することを特徴とする記載の自動視覚認識装置。
  9. 請求項3〜8いずれかに記載の自動視覚認識装置において、前記分類器が用いる前記統計比較パラメータは、RMAX/2であることを特徴とする自動視覚認識装置。
  10. 請求項3〜8いずれかに記載の自動視覚認識装置において、該装置は、複数の統計パラメータを入力において受信するように構成される被制御マルチプレクサを備え、前記分類器が行う比較は、該マルチプレクサから発生されるコマンドに依存することを特徴とする自動視覚認識装置。
  11. 請求項3〜10いすれかに記載の自動視覚認識装置において、少なくともあるヒストグラム計算ユニットは、外部コマンド信号を受信し、学習モードに従って動作を開始するように構成された学習マルチプレクサを含み、前記分類器及び前記時間一致ユニットのレジスタは、フレーム処理の開始時に消去され、前記分析出力レジスタは、該レジスタ各々のシーケンスに典型的な値を提供することを特徴とする自動視覚認識装置。
  12. 請求項3〜11いずれかに記載の自動視覚認識装置において、少なくともあるヒストグラム計算ユニットにおいて、前記分類器(101)の前記メモリは、1つの入力と、1つの出力と、1つの書き込みコマンドとをそれぞれ含む一組の独立レジスタ(D)を含み、該レジスタ(D)の数は、連続Vi,jtの数値のビット数nと等しく、関連入力値(アドレス)に対応する書き込みコマンド信号を出力するように構成されたデコーダと、該入力値により制御されるマルチプレクサとを含み、選択したレジスタを読み出すことが可能に構成されていることを特徴とする自動視覚認識装置。
  13. 請求項3〜12いずれかに記載の自動視覚認識装置において、少なくともあるヒストグラム計算ユニットは、各レジスタの入力に1つが関連付けられた複数のマルチプレクサと、前記レジスタ同士を接続する組合モジュールとを含み、前記マルチプレクサは、連続書き込みモードと、前記組合モジュールによって接続された全レジスタに共通の書き込みモードのどちらかを選択するように構成されていることを特徴とする自動視覚認識装置。
  14. 請求項3〜13いずれかに記載の自動視覚認識装置において、少なくともあるヒストグラム計算ユニットにおいて、前記組合モジュールは、3入力の論理演算装置‘OR’を含む形態学的な拡張演算子を備え、該3入力のうちの第1の入力は‘Q’番目のレジスタの出力信号を受信し、第2の入力は、‘Q+1’番目のレジスタの出力信号及び正の膨張信号をそれぞれ受信する2入力論理演算装置‘AND’の出力に接続され、第3の入力は、‘Q−1’番目のレジスタの出力信号及び負の膨張信号をそれぞれ受信する2入力論理演算装置‘AND’の出力に接続されていることを特徴とする自動視覚認識装置。
  15. 請求項3〜13いずれかに記載の自動視覚認識装置において、少なくともあるヒストグラム計算ユニットにおいて、前記組合モジュールは、3入力論理演算装置‘AND’を含む形態学的な収縮(縮小)演算子を備え、該3入力のうちの第1の入力は‘Q’番目のレジスタの出力信号を受信し、第2の入力は、1つの4入力リバースが‘Q’番目のレジスタの出力信号と、‘Q−1’番目のレジスタの出力信号と、‘Q+1’番目のレジスタの出力信号と、正の収縮信号とをそれぞれ受信する論理演算装置‘AND’の出力に接続され、第3の入力は、1つの反転が、‘Q’番目のレジスタの出力信号と、‘Q−1’番目のレジスタの出力信号と、‘Q+1’番目のレジスタの出力信号と、負の収縮信号とをそれぞれ受信する4入力論理演算装置‘AND’の出力に接続されることを特徴とする自動視覚認識装置。
  16. 請求項14又は15記載の自動視覚認識装置において、少なくともあるヒストグラム計算ユニットにおいて、各組合モジュールは、形態的な収縮演算子と形態的な収縮演算子を関連付けるマルチプレクサを備えることを特徴とする自動視覚認識装置。
  17. 空間に発生している、少なくとも1つのパラメータに関する事象の自動認識方法であって、前記パラメータをデジタル化してヒストグラム計算ユニットに入力し、前記パラメータを表すヒストグラムを得て所望の結果を導くことができるようにするための方法。
  18. 請求項17記載の方法において、前記事象はいくつかのパラメータによって表され、前記結果は、いくつかのヒストグラム計算ユニットから導かれることを特徴とする方法。
  19. 請求項17又は18記載のパラメータを解析する方法において、事象のパラメータは電子装置において分析され、該電子装置は、時間の経過とともに変化して一連の瞬時点(T)において表される多次元空間(i,j)を共に形成する複数の画素に関連付けられたデータai,jtのヒストグラム計算を含み、該データは、所与の瞬時点(T)の前記空間と、所与の瞬時点(T)に受信された信号ai,jtが関連付けられた画素の前記空間における位置(i,j)とを定義することを可能にする同期信号に関連付けられた一連のnビットの2進数ai,jtの形式であるデジタル信号DATA(A)の形式で、前記計算ユニットに供給され、
    各データai,jtには、前記信号DATA(A)と選択基準Cを比較した結果に値が依存する分類2進信号が関連付けられ、
    時間一致基準Rと前記分類2進信号を比較した結果として得られる正のパラメータDATA(A)、DATA(B)、...、DATA(E)に各々が対応する一組の時間一致信号からなるグローバルイネーブル信号が正である所与の瞬時点(T)について、データai,jtの統計的分布が作成される
    ことを特徴とする方法。
  20. 請求項19記載のパラメータを解析する方法において、前記空間(i,j)は二次元であり、前記信号DATA(A)は一連の画像の複数の画素と関連付けられることを特徴とする方法。
  21. 請求項19又は220記載のパラメータを解析する方法において、前記分類基準(C)は、前記統計的分布に関連してリアルタイムに更新されることを特徴とする方法。
  22. 請求項21記載のパラメータを解析する方において、前記分類基準(C)の更新は、2つの連続するフレーム(T及びT)間でイネーブルされた前記パラメータai,jtの平均の変化に依存することを特徴とする方法。
  23. 請求項20〜22いずれかに記載のパラメータを解析する方法において、前記分類基準(C)の更新は推定されることを特徴とする方法。
  24. 請求項23記載のパラメータを解析する方法において、前記分類基準(C)の更新の推定は、拡張演算子及び収縮演算子をそれぞれ複数回、2つの連続するフレーム(T及びT)間でイネーブルされた前記パラメータai,jtの平均の前記変化に依存する方向に連続して推定した結果であることを特徴とする方法。
  25. 請求項19〜24いずれかに記載のパラメータを解析する方法において、前記時間一致基準(R)は複数であることを特徴とする方法。
  26. 請求項19〜25いずれかに記載の方法において、前記時間一致基準(R)は、学習段階に対してさらに自動的に提案されることを特徴とする方法。
JP2001562445A 2000-02-24 2001-02-23 自動視覚認識の方法及び装置 Pending JP2004526214A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0002355A FR2805629B1 (fr) 2000-02-24 2000-02-24 Procede et dispositif de perception automatique
PCT/FR2001/000546 WO2001063557A2 (fr) 2000-02-24 2001-02-23 Procede et dispositif de perception automatique

Publications (1)

Publication Number Publication Date
JP2004526214A true JP2004526214A (ja) 2004-08-26

Family

ID=8847380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001562445A Pending JP2004526214A (ja) 2000-02-24 2001-02-23 自動視覚認識の方法及び装置

Country Status (9)

Country Link
US (2) US7212669B2 (ja)
EP (1) EP1259939B1 (ja)
JP (1) JP2004526214A (ja)
AT (1) ATE266232T1 (ja)
AU (1) AU2001237493A1 (ja)
CA (1) CA2401422A1 (ja)
DE (1) DE60103131T2 (ja)
FR (1) FR2805629B1 (ja)
WO (1) WO2001063557A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2751772B1 (fr) 1996-07-26 1998-10-16 Bev Bureau Etude Vision Soc Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement
US7650015B2 (en) 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
US7181047B2 (en) * 1996-07-26 2007-02-20 Patrick Pirim Methods and apparatus for identifying and localizing an area of relative movement in a scene
US7043465B2 (en) * 2000-02-24 2006-05-09 Holding B.E.V.S.A. Method and device for perception of an object by its shape, its size and/or its orientation
FR2805629B1 (fr) 2000-02-24 2002-08-30 Holding Bev Sa Procede et dispositif de perception automatique
US7136842B2 (en) * 2000-02-24 2006-11-14 Holding B.E.V. S.A. Method and device for adapting a signal for the detection of the movement of an object
FR2828613B1 (fr) * 2001-08-10 2003-11-07 Holding Bev Sa Dispositif et procede de traitement pour systeme de perception automatique
BR0309411A (pt) * 2002-04-22 2005-02-01 Nokia Corp Método para apresentar o conteúdo associado com o programa de radiofusão no terminal do usuário de um sistema de telecomunicação, sistema de mìdia, terminal do usuário, e, servidor
EP1529265A2 (fr) * 2002-08-07 2005-05-11 Holding B.E.V. S.A. Procede et dispositif de perception visuelle active pour caracterisation et reconnaissance par analyse de parametres mono/multidimentionnels dans des unites multiclasses de calcul et traitement d histogramme, recrutement dynamique d unites
FR2843470B1 (fr) * 2002-08-07 2004-11-05 Holding Bev Sa Procede de fonctionnement et dispositif d'analyse de parametres mono et multidimensionnels par calcul et traitement d'histogramme, application a la perception active
FR2843469B1 (fr) * 2002-08-07 2005-03-25 Holding Bev Sa Procede de fonctionnement et unite fonctionnelle multiclasse pour calcul et traitement d'histogramme, application a la perception active
US8260602B1 (en) * 2006-11-02 2012-09-04 The Math Works, Inc. Timer analysis and identification
EP2135433B1 (en) * 2007-04-13 2012-10-31 GVBB Holdings S.A.R.L Communication protocol, developing and network operating methods therefore
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US9639747B2 (en) * 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
CN107316011B (zh) * 2017-05-24 2021-04-06 杭州励飞软件技术有限公司 数据处理方法、装置及存储介质
CN108416788B (zh) * 2018-03-29 2020-06-05 河南科技大学 一种基于感受野及其明暗适应性的边缘检测方法
US10976709B1 (en) * 2020-03-30 2021-04-13 Stmicroelectronics (Research & Development) Limited Latched gray code for ToF applications

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US101432A (en) * 1870-04-05 Improvement in brick-machines
FR2488420B1 (fr) * 1980-08-07 1986-04-04 Urien Michel Dispositif d'obtention de l'histogramme des distances dans le temps entre des evenements successifs
US4783828A (en) 1986-06-02 1988-11-08 Honeywell Inc. Two-dimensional object recognition using chain codes, histogram normalization and trellis algorithm
FR2611063B1 (fr) 1987-02-13 1989-06-16 Imapply Procede et dispositif de traitement en temps reel d'un flot de donnees sequence, et application au traitement de signaux video numeriques representatifs d'une image video
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
WO1989003094A1 (en) 1987-10-02 1989-04-06 Kabushiki Kaisha Komatsu Seisakusho Method of recognizing linear pattern
US5163095A (en) 1988-04-22 1992-11-10 Toa Medical Electronics Co., Ltd. Processor for extracting and memorizing cell images, and method of practicing same
US5109425A (en) 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
DE3913620A1 (de) 1989-04-25 1990-10-31 Fraunhofer Ges Forschung Verfahren zur bildauswertung
US5088488A (en) 1989-12-22 1992-02-18 Medtronic, Inc. Method and apparatus for implementing histogram storage and trend analysis in a medical stimulator
EP0514909B1 (en) 1991-05-23 1997-08-20 Fuji Photo Film Co., Ltd. Method of determining exposure
KR940011881B1 (ko) 1991-12-23 1994-12-27 주식회사 금성사 움직임 검출 및 추정장치
US5712729A (en) 1992-04-17 1998-01-27 Olympus Optical Co., Ltd. Artificial retina cell, artificial retina and artificial visual apparatus
DE4213717A1 (de) * 1992-04-25 1993-10-28 Asea Brown Boveri Verfahren zur Ermittlung eines Häufigkeits-Zeitprofils von Ereignissen sowie Vorrichtung zur Durchführung des Verfahrens
US5384865A (en) 1992-06-01 1995-01-24 Eastman Kodak Company Adaptive, hybrid median filter for temporal noise suppression
JP2940317B2 (ja) * 1992-06-24 1999-08-25 三菱電機株式会社 画像処理装置
JPH06205780A (ja) 1993-01-12 1994-07-26 Aloka Co Ltd 超音波画像処理装置
US5592226A (en) 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
DE69517249T2 (de) 1994-02-16 2001-01-25 Koninkl Philips Electronics Nv Anordnung zur segmentierung eines diskreten datensatzes
JP2735003B2 (ja) * 1994-09-28 1998-04-02 松下電器産業株式会社 ホワイトバランス調整量演算装置
US5592237A (en) 1994-11-04 1997-01-07 Infimed, Inc. High resolution image processor with multiple bus architecture
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
JPH08292998A (ja) 1995-04-20 1996-11-05 Mitsubishi Electric Corp 画像検出装置及び画像検出方法
US7181047B2 (en) 1996-07-26 2007-02-20 Patrick Pirim Methods and apparatus for identifying and localizing an area of relative movement in a scene
FR2751772B1 (fr) * 1996-07-26 1998-10-16 Bev Bureau Etude Vision Soc Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement
FR2773521B1 (fr) 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
US6115689A (en) 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
DE69908713T2 (de) 1998-06-22 2004-05-13 Texas Instruments Inc., Dallas Selektive Helligkeitserweiterung
US6473095B1 (en) * 1998-07-16 2002-10-29 Koninklijke Philips Electronics N.V. Histogram method for characterizing video content
DE69808522T2 (de) 1998-08-25 2003-08-07 Bev Holding Sa Gerät zur bildverarbeitung
US6597738B1 (en) 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US7136842B2 (en) 2000-02-24 2006-11-14 Holding B.E.V. S.A. Method and device for adapting a signal for the detection of the movement of an object
FR2805629B1 (fr) 2000-02-24 2002-08-30 Holding Bev Sa Procede et dispositif de perception automatique
US7043465B2 (en) 2000-02-24 2006-05-09 Holding B.E.V.S.A. Method and device for perception of an object by its shape, its size and/or its orientation
JP3796426B2 (ja) * 2001-10-04 2006-07-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴撮像装置

Also Published As

Publication number Publication date
US20020169732A1 (en) 2002-11-14
US20030152267A1 (en) 2003-08-14
FR2805629A1 (fr) 2001-08-31
US7212669B2 (en) 2007-05-01
US6959293B2 (en) 2005-10-25
CA2401422A1 (fr) 2001-08-30
DE60103131D1 (de) 2004-06-09
AU2001237493A1 (en) 2001-09-03
WO2001063557A2 (fr) 2001-08-30
EP1259939A2 (fr) 2002-11-27
DE60103131T2 (de) 2005-05-12
WO2001063557A3 (fr) 2002-04-04
ATE266232T1 (de) 2004-05-15
FR2805629B1 (fr) 2002-08-30
EP1259939B1 (fr) 2004-05-06

Similar Documents

Publication Publication Date Title
US7043465B2 (en) Method and device for perception of an object by its shape, its size and/or its orientation
JP2004526214A (ja) 自動視覚認識の方法及び装置
EP1796045B1 (en) Image processing, apparatus and method, and image-capturing apparatus
EP3489897A1 (en) Determining camera motion
CN111768336B (zh) 人脸图像处理方法、装置、计算机设备和存储介质
Appiah et al. A single-chip FPGA implementation of real-time adaptive background model
KR20020062429A (ko) 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
US6317139B1 (en) Method and apparatus for rendering 3-D surfaces from 2-D filtered silhouettes
JP2005509983A (ja) 確率的フレームワークを用いるブロブベースの分析のためのコンピュータビジョン方法およびシステム
KR20100091864A (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
KR20140074201A (ko) 추적 장치
Jones et al. Top–down learning of low-level vision tasks
WO2008040945A1 (en) A method of identifying a measure of feature saliency in a sequence of images
Chan et al. On the hardware/software design and implementation of a high definition multiview video surveillance system
US7136842B2 (en) Method and device for adapting a signal for the detection of the movement of an object
CN109740527A (zh) 一种视频帧中图像处理方法
JP2004523047A (ja) 対象物をその形状、そのサイズ及び/又はその方向によって認知する方法及び装置
CN116630508A (zh) 3d模型处理方法、装置及电子设备
JP2004529423A (ja) 信号によるパラメータ取り消しを検出する感度を適合化する方法及び装置
Woelker Image segmentation based on an adaptive 3D analysis of the CIE-L* a* b* color space
CN112288861A (zh) 一种基于单张照片的人脸三维模型自动构建方法及系统
Godishala et al. Investigation of Superpixel Image Segmentation
JP3418157B2 (ja) 画像領域分割装置および画像領域分割方法
CN109727218A (zh) 一种完整图形提取方法
Wang Automatic Depth Image Generation for Unseen Object Amodal Instance Segmentation