JP2002358500A - パターン認識装置 - Google Patents

パターン認識装置

Info

Publication number
JP2002358500A
JP2002358500A JP2001164283A JP2001164283A JP2002358500A JP 2002358500 A JP2002358500 A JP 2002358500A JP 2001164283 A JP2001164283 A JP 2001164283A JP 2001164283 A JP2001164283 A JP 2001164283A JP 2002358500 A JP2002358500 A JP 2002358500A
Authority
JP
Japan
Prior art keywords
detection
processing means
integrated
processing
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001164283A
Other languages
English (en)
Other versions
JP4846924B2 (ja
Inventor
Katsuhiko Mori
克彦 森
Masakazu Matsugi
優和 真継
Osamu Nomura
修 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001164283A priority Critical patent/JP4846924B2/ja
Priority to US10/156,118 priority patent/US7039233B2/en
Priority to DE60218380T priority patent/DE60218380T2/de
Priority to EP02253806A priority patent/EP1262908B1/en
Publication of JP2002358500A publication Critical patent/JP2002358500A/ja
Application granted granted Critical
Publication of JP4846924B2 publication Critical patent/JP4846924B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 複雑な配線を用いずに単純な回路構成で、複
数の処理手段による階層的処理を行なう。 【解決手段】 入力信号中の所定のパターンを検出する
パターン認識装置に、同一の入力に対しそれぞれ異なる
１つの特徴を検出するための複数の検出処理手段1041〜
1044Aと、この複数の検出処理手段で検出された特徴
を、各処理結果毎に、空間的に統合する複数の統合処理
手段1051〜1054Aと、検出処理手段の処理結果を保持す
る複数の検出メモリ1071〜1074と、前記統合処理手段の
処理結果を保持する複数の統合メモリ1011〜1014と、あ
るタイミングで全ての前記検出処理手段及び全ての前記
統合メモリが接続されるグローバルデータ線1030と、そ
れぞれ１組の前記検出処理手段と前記統合処理手段と前
記検出メモリとが接続される複数のローカルデータ線10
61〜1064とを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、神経回路網等の並
列演算処理により、パターン認識・特定被写体の検出等
を行なうパターン認識装置の回路構成に関するものであ
る。
【０００２】
【従来の技術】従来より、画像認識や音声認識の分野に
おいては、特定の認識対象に特化した認識処理アルゴリ
ズムをコンピュータソフトとして逐次演算して実行する
タイプ、或いは専用並列画像処理プロセッサ（ＳＩＭ
Ｄ、ＭＩＭＤマシン等）を用いたハードウェアにより実
行するタイプに大別される。
【０００３】例えば専用並列処理プロセッサに関して
は、特開平６−６７９３に開示される物体識別装置は、
画像処理プロセッサユニットを複数用意し、それらのプ
ロセッサユニットに搭載されているDSPで演算処理を行
い、それらの複数の結果を別のユニットに転送して、物
体識別を行なっている。例えば、画像を複数の領域にわ
け、各プロセッサプロセッサで各領域の処理を並列に行
ない、別のプロセッサユニットで物体の識別の推論をニ
ューラルネットワークやファジイ制御を用いて行うもの
である。
【０００４】また、ニューラルネットによる階層並列処
理を行なうハードウェアとして、特許２６７９７３０号
公報に開示される階層構造ニューラルネットは、単層の
ハードウェアを時分割多重化使用して多層化することを
可能とする階層構造ニューラルネットのアーキテクチャ
であり、単層のハードウェアを時分割多重化使用して等
価的に多層化することを可能とすることを目的とし、複
数のニューロンモデルを相互に接続することにより形成
されるニューラルネットにおいて、時分割多重化アナロ
グ信号を外部からのデジタル重みデータとの積を生成
し、かつその積を時分割的にコンデンサを介して加える
ことにより積分し、非線形出力関数を通した電圧を時分
割的に出力することを可能とするニューロンモデルのユ
ニットを複数設置して単層のユニット集合を形成する単
層ユニット集合手段と、前記単層ユニット集合手段の出
力を同じ単層ユニット集合の入力部に帰還する帰還手段
と、前記単層ユニット集合手段から出力される各ユニッ
トからのアナログ信号を時分割多重化し、さらに前記帰
還手段を介して前記単層ユニット集合手段を時分割多重
使用するための制御を実行する制御手段とを有し、単層
構造のユニット集合手段を時分割多重使用することによ
り等価的に階層構造のニューラルネットを形成するよう
に構成されている。
【０００５】また、ＦＰＧＡ（Field Programming Gate
Array）を用いたハードウェアとして、ＵＳＰ5892962
で紹介されているプロセッサがある。このプロセッサ
は、各ＦＰＧＡにメモリを保持し、ＦＰＧＡでの処理結
果をメモリに保持し、そのメモリの結果を読み出して、
処理を行うものである。
【０００６】
【発明が解決しようとする課題】上記、認識処理アルゴ
リズムを実行するハードウェアの従来例で示した、特開
平６−６７９３に開示される物体識別装置では、各画像
処理プロセッサユニットに割り当てられた領域に対し
て、さらにそれらを分割した小領域から元の領域へと数
段階にわたる処理は可能であるが、処理されて得られた
複数の結果に対し、さらにまた別の複数のプロセッサユ
ニットで並列処理を行なうといった階層的処理を行なう
ことは出来なかった。また、処理の結果を読み出すこと
も出来なかった。さらに、各領域の結果を空間的に統合
するということも出来なかった。
【０００７】また、特許２６７９７３０号公報に開示さ
れる階層的ニューラルネットワークにおいては、層間結
合を任意に可変制御する手段を有していないために実質
的に実現可能な処理の種類が極めて限定的になるという
問題があった。
【０００８】また、ＵＳＰ5892962に開示されるＦＰＧ
Ａ−ＢＡＳＥＤ ＰＲＯＣＥＳＳＯＲでは、メモリに保
持された中間結果を読み出すのに、複雑な配線が必要で
ある。
【０００９】そこで本発明の目的は、複雑な配線を用い
ずに単純な回路構成で、複数の処理手段で処理されて得
られた複数の結果に対し、さらに複数の処理手段で並列
処理を行なうといった階層的処理を行なうことが出来、
また各処理の処理結果を空間的に統合することが出来、
また各処理の結果を容易に読み出すことが可能なパター
ン認識装置を提供することである。
【００１０】
【課題を解決するための手段】そこで、上記目的を実現
するために、本発明によれば、入力信号の中に含まれる
所定のパターンを検出するパターン認識装置に、同一の
入力に対しそれぞれ異なる１つの特徴を検出するための
複数の検出処理手段と、前記複数の検出処理手段で検出
された特徴を、各処理結果毎に、空間的に統合する複数
の統合処理手段と、前記検出処理手段の処理結果を保持
する複数の検出メモリと、前記統合処理手段の処理結果
を保持する複数の統合メモリと、あるタイミングで所定
の前記検出処理手段及び所定の前記統合メモリが接続さ
れる共有データ線と、それぞれ所定の前記検出処理手段
と前記統合処理手段と前記検出メモリとが接続される複
数の局所データ線とを備え、前記検出メモリに保持され
た前記検出処理手段の処理結果を前記統合処理手段に入
力する際に、複数の前記検出メモリのデータを読み出し
て、前記統合処理手段に入力し、前記統合メモリに保持
された前記統合処理手段の処理結果を前記検出処理手段
に入力する際に、前記統合メモリからデータを読み出し
て、複数の前記検出処理手段に入力する。
【００１１】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図を用いて説明する。
【００１２】（第１の実施の形態）図１が本実施形態の
構成を示す図である。
【００１３】図１において、１０００は制御手段を、１
０１０は統合メモリコントローラを、１０１１から１０
１４は統合メモリを、１０１５は補助メモリを、１０２
０は統合アドレス線を、１０２１から１０２４は統合メ
モリ制御信号を、１０２５は補助メモリ制御信号を、１
０３０はグローバルデータ線を、１０４１Aから１０４
４Cは検出処理手段を、１０５１Aから１０５４Cは統合
処理手段を、１０６１から１０６４はローカルデータ線
を、１０７１から１０７４は検出メモリを、１０８０は
検出アドレス線を、１０８１から１０８４は検出メモリ
制御信号を、１０９０は検出メモリコントローラを、１
１１１Aから１１１４Cは検出処理手段制御信号を、１１
２１Aから１１２４Cは統合処理手段制御信号を示す。な
お、この検出処理手段制御信号と統合処理手段制御信号
に関しては、図に全て記載せずに、検出処理手段制御信
号１１１１Aから１１１１Cのみ記載してある。また、１
１３０及び１１６１から１１６４は外部I/Fを示す。
【００１４】以下図１中のそれぞれの構成要素の機能を
説明する。
【００１５】制御手段１０００は、この回路全体の制御
を行なう手段であり、後述する統合メモリコントローラ
１０１０、各検出処理手段１０４１A〜１０４４C、各統
合処理手段１０５１A〜１０５４C、及び検出メモリコン
トローラ１０９０と通信し、使用する認識アルゴリズム
に基づいて、これらの各手段を制御することで、認識動
作を行なう。
【００１６】統合メモリコントローラ１０１０は、統合
メモリ１０１１〜１０１４及び補助メモリ１０１５のメ
モリを制御して、これらのメモリからデータをグローバ
ルデータ線１０３０に出力したり、またグローバルデー
タ線１０３０上のデータを統合メモリ１０１１〜１０１
４または補助メモリ１０１５に書き込む。具体的には、
統合アドレス線１０２０にアドレスを出力し、さらに動
作させるメモリを選択するチップセレクト信号や書き込
み・読み出しの区別をするライトイネーブル信号等の統
合メモリ制御信号１０２１〜１０２４、補助メモリ制御
信号１０２５を制御することで、上記の動作を行なう。
なお、アドレスを複数発生する時は、例えば制御手段１
０００から先頭・最終アドレス並びにステップ数を統合
メモリコントローラ１０１０に設定し、先頭アドレス値
を設定したカウンタを最終アドレスまで、前記ステップ
数でカウントアップすることで対応出来る。つまり、こ
のアドレスの発生を様々に変化させることで、統合メモ
リ１０１１〜１０１４、補助メモリ１０１５の任意の領
域のデータの読み出し・書き込みが出来るので、配線問
題を回避することが出来る。
【００１７】統合メモリ１０１１〜１０１４は、後述す
る統合処理手段１０５１A〜１０５４Cの処理結果を保持
するメモリである。これらは、それぞれグローバルデー
タ線１０３０に接続されており、統合メモリ制御信号１
０２１〜１０２４に基づいて保持している結果をグロー
バルデータ線１０３０に出力したり、グローバルデータ
線１０３０上の統合処理手段１０５１A〜１０５４Cの処
理結果を取り込む。
【００１８】補助メモリ１０１５は、画像などの認識す
べき信号等を一時的に保持するメモリである。このメモ
リも統合アドレス線１０２０並びにグローバルデータ線
１０３０に接続されており、統合メモリコントローラ１
０１０からの補助メモリ制御信号１０２５に基づいて保
持している信号をグローバルデータ線１０３０に出力し
たり、グローバルデータ線１０３０上のデータを取り込
む。
【００１９】統合アドレス線１０２０には、統合メモリ
１０１１〜１０１４並びに補助メモリ１０１５のアドレ
スを示す信号が統合メモリコントローラ１０１０から出
力される。このアドレスを変化させることで、配線問題
を回避し、統合メモリ１０１１〜１０１４に保持された
各処理の結果を容易に読み出すことが可能で、各検出処
理手段１０４１A〜１０４４Cでそれらの結果を組み合わ
せた信号に対する処理を行なうことが出来る。
【００２０】統合メモリ制御信号１０２１〜１０２４
は、統合メモリ１０１１〜１０１４の選択や書き込み・
読み出しの区別・制御等を行なう信号である。メモリの
選択を時分割で行なうことで、読み出し時にはグローバ
ルデータ線１０３０に各統合メモリ１０１１〜１０１４
のデータを時分割で出力することが出来、また書き込み
時には、統合処理手段制御信号１１２１A〜１１２４Cと
タイミングを合わせて切り替えることで、グローバルデ
ータ線１０３０上に出力された各統合処理手段の処理結
果を各統合メモリ１０１１〜１０１４に保持することが
出来る。
【００２１】補助メモリ制御信号１０２５は、補助メモ
リ１０１５の選択や書き込み・読み出しの区別・制御等
を行なう信号である。
【００２２】グローバルデータ線１０３０は、統合メモ
リ１０１１〜１０１４、検出処理手段１０４１A〜１０
４４C、統合処理手段１０５１A〜１０５４C、及び補助
メモリ１０１５と接続されている。そのため、統合メモ
リ１０１１〜１０１４のデータが各検出処理手段１０４
１A〜１０４４Cに並列に入力され、また時分割処理によ
り、各統合処理手段１０５１A〜１０５４Cからの処理結
果が、各統合メモリ１０１１〜１０１４に時分割で書き
込まれる。
【００２３】各検出処理手段１０４１A〜１０４４Cは、
認識処理に必要な各処理（例えば、エッジ検出等）をそ
れぞれ担当している。つまり、本発明の装置では、それ
ら各検出処理手段の処理を組み合わせて全体として認識
処理を行なっている。
【００２４】検出処理手段１０４１A〜１０４４Cは、グ
ローバルデータ線１０３０を介して入力されたデータに
対して処理を行いその結果を、それぞれローカルデータ
線１０６１〜１０６４に出力する。なお、検出処理手段
１０４１A、１０４１Ｂ，１０４１Cの処理結果はローカ
ルデータ線１０６１に出力されるようになっており、ま
た検出処理手段１０４２A〜１０４２Cの処理結果はロー
カルデータ線１０６２に出力されるようになっている。
以下他の検出処理手段も同様である。検出処理手段１０
４１A〜１０４４Cには、グローバルデータ線１０３０を
介して同じ信号が入力される。その入力信号に対し、各
検出処理手段は異なった処理を行なう。その結果を例え
ば検出処理手段１０４１Aであれば、ローカルデータ線
１０６１に出力して、その結果を検出メモリ１０７１に
保持する。同様に各検出処理手段の処理の結果は、異な
った検出メモリ１０７１〜１０７４に保持される。ここ
で、どの検出処理手段が動作するかを示すのが、制御手
段１０００からの検出処理手段制御信号１１１１A〜１
１１４Cである。この検出処理手段制御信号１１１１Aは
検出処理手段１０４１Aに接続され、また１１１１Bは１
０４１Ｂに接続され、以下同様に接続される。（なお、
図１には、検出処理手段制御信号１１１１A〜１１１１C
のみ示してある。）例えば、あるタイミングでは、検出
処理手段制御信号１１１１A、１１１２A、１１１３A、
１１１４Aがイネーブルになり、その結果、検出処理手
段１０４１A、１０４２A、１０４３A、１０４４Aが動作
し、それぞれの検出処理手段の処理結果をそれぞれロー
カルデータ線１０６１〜１０６４を介して、検出メモリ
１０７１〜１０７４に保持する。また別のタイミングで
は、別の検出処理手段制御信号がイネーブルになる。
【００２５】統合処理手段１０５１Aから１０５４Cは、
それぞれローカルデータ線１０６１〜１０６４を介して
入力されたデータに対して統合処理を行い、その結果を
グローバルデータ線１０３０に出力する。なお、統合処
理手段１０５１A〜１０５１Cへの入力はローカルデータ
線１０６１から、１０５２A〜１０５２Cは１０６２よ
り、１０５３A〜１０５３Ｃは１０６３より、１０５４A
〜１０５４Cは１０６４より行なわれる。また、制御手
段１０００からの統合処理手段制御信号１１２１A〜１
１２４C（図１には不図示）の処理手段セレクト信号の
イネーブルで、 動作する統合処理手段１０５１A〜１０
５４Cを選択する。また、この統合処理手段制御信号１
１２１A〜１１２４Cのアウトプット信号で、各統合処理
手段１０５１A〜１０５４Cの処理結果をグローバルデー
タ線１０３０に出力するタイミングを制御する。つま
り、例えば、あるタイミングでは、統合処理手段制御信
号１１２１A、１１２２A、１１２３A、１１２４Aの処理
手段セレクト信号がイネーブルになり、その結果、統合
処理手段１０５１A、１０５２A、１０５３A、１０５４A
が動作する、そして、アウトプット信号に基づいて、グ
ローバルデータ線１０３０にその処理結果を、例えば統
合処理手段１０５１Ａから順に出力する。そのとき、タ
イミングを合わせて、統合メモリコントローラ１０１０
を制御することで、グローバルデータ線１０３０上のデ
ータを統合メモリ１０１１から順に保持することが出来
る。
【００２６】ローカルデータ線１０６１は、検出メモリ
１０７１、検出処理手段１０４１A〜１０４１C、統合処
理手段１０５１A〜１０５１Cと接続されている。また、
ローカルデータ線１０６２は、検出メモリ１０７２、検
出処理手段１０４２A〜１０４２C、統合処理手段１０５
２A〜１０５２Cと接続されている。ローカルデータ線１
０６３、１０６４も同様である。そのため、検出処理手
段１０４１A〜１０４１Cからの処理結果が検出メモリ１
０７１に、検出処理手段１０４２A〜１０４２Cからの処
理結果が検出メモリ１０７２に、検出処理手段１０４３
A〜１０４３Cからの処理結果が検出メモリ１０７３に、
検出処理手段１０４４A〜１０４４Cからの処理結果が検
出メモリ１０７４に保持されるようになっている。また
検出メモリ１０７１のデータは統合処理手段１０５１A
〜１０５１Cに、検出メモリ１０７２のデータは統合処
理手段１０５２A〜１０５２Cに、と各検出メモリのデー
タが別々の統合処理手段に並列に入力されるようになっ
ている。
【００２７】検出メモリ１０７１は、検出処理手段１０
４１A〜１０４１Cからの処理結果を、また検出メモリ１
０７２は、検出処理手段１０４１A〜１０４１Cからの処
理結果を保持するメモリである。検出メモリ１０７３、
検出メモリ１０７４も同様である。検出メモリ１０７１
はローカルデータ線１０６１に、１０７２は１０６２
に、１０７３は１０６３に、１０７４は１０６４に接続
されており、検出メモリ制御信号１０８１〜１０８４に
基づいて保持している結果をそれぞれのローカルデータ
線１０６１〜１０６４に出力したり、ローカルデータ線
１０６１〜１０６４上の検出処理手段１０４１A〜１０
４４Cの処理結果を取り込む。
【００２８】検出アドレス線１０８０には、検出メモリ
１０７１〜１０７４のアドレスを示す信号が検出メモリ
コントローラ１０９０から出力される。このアドレスを
変化させることで、配線問題を回避し、容易に検出メモ
リ１０７１〜１０７４に保持された任意の位置の各処理
の結果を読み出し、各統合処理手段１０５１A〜１０５
４Cで各領域の結果に対する処理を行なうことが出来
る。
【００２９】検出メモリ制御信号１０８１〜１０８４
は、検出メモリ１０７１〜１０７４の選択や書き込み・
読み出しの区別・制御等を行なう信号である。
【００３０】検出メモリコントローラ１０９０は、検出
メモリ１０７１〜１０７４のメモリを制御して、これら
のメモリからデータをローカルデータ線１０６１〜１０
６４に出力したり、またローカルデータ線１０６１〜１
０６４上のデータをメモリに書き込む。具体的には、検
出アドレス線１０８０にアドレスを出力し、さらに動作
させるメモリを選択するチップセレクト信号や書き込み
・読み出しの区別をするライトイネーブル信号等の統合
メモリ制御信号１０８１〜１０８４を制御することで、
上記の動作を行なう。
【００３１】検出処理手段制御信号１１１１A〜１１１
４Cは、検出処理手段１０４１A〜１０４４Cと制御手段
１０００との通信に使用される。検出処理手段１０４１
A〜１０４４Cの中で、動作する処理手段を選択する処理
手段セレクト信号や処理結果のローカルデータ線１０６
１〜１０６４への出力の許可を示すアウトプット信号、
また各検出処理手段１０４１A〜１０４４Cでの処理の終
了を示すエンド信号等から構成される。
【００３２】統合処理手段制御信号１１２１A〜１１２
４Cは、統合処理手段１０５１A〜１０５４Cと制御手段
１０００との通信に使用される。統合処理手段１０５１
A〜１０５４Cの中で、動作する処理手段を選択する処理
手段セレクト信号や処理結果のグローバルデータ線１０
３０への出力の許可を示すアウトプット信号、また各統
合処理手段１０５１A〜１０５４Cでの処理の終了を示す
エンド信号等から構成される。
【００３３】また、外部I/F１１３０、１１６１、１１
６２、１１６３、１１６４はそれぞれグローバルデータ
線１０３０、ローカルデータ線１０６１、１０６２、１
０６３、１０６４と接続されており、これらの外部I/F
を介して、統合処理手段１０５１A〜１０５４Cの処理結
果や検出処理手段１０４１A〜１０４４Cの処理結果をそ
れら処理手段の動作中や、または統合メモリ１０１１〜
１０１４、検出メモリ１０７１〜１０７４に保持されて
いる途中処理結果を外部へ取り出すことが出来る。
【００３４】続いて、図１に示す構成の動作を、並列階
層処理により画像認識を行う神経回路網を形成した場合
について説明する。はじめに図２を参照して神経回路網
の処理内容を詳細に説明する。この神経回路網は、入力
データ中の局所領域において、対象または幾何学的特徴
などの認識(検出)に関与する情報を階層的に扱うもので
あり、その基本構造はいわゆるConvolutionalネットワ
ーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolu
tional Networks for Images Speech, and TimeSerie
s” in Handbook of Brain Theory and Neural Network
s (M. Arbib, Ed.), MIT Press, pp.255-258)である。
最終層（最上位層）からの出力は認識結果としての認識
された対象のカテゴリとその入力データ上の位置情報で
ある。
【００３５】データ入力層１０１は、ＣＭＯＳセンサ、
或いはＣＣＤ素子等の光電変換素子からの局所領域デー
タを入力する層である。最初の特徴検出層１０２(１,
０)は、データ入力層１０１より入力された画像パター
ンの局所的な低次の特徴（特定方向成分、特定空間周波
数成分などの幾何学的特徴のほか色成分特徴を含んでも
よい）を全画面の各位置を中心として局所領域(或い
は、全画面にわたる所定のサンプリング点の各点を中心
とする局所領域)において同一箇所で複数のスケールレ
ベル又は解像度で複数の特徴カテゴリの数だけ検出す
る。
【００３６】特徴統合層１０３(２,０)は、所定の受容
野構造(以下、受容野とは直前の層の出力素子との結合
範囲を、受容野構造とはその結合荷重の分布を意味す
る)を有し、特徴検出層１０２(１,０)からの同一受容野
内にある複数のニューロン素子出力の統合（局所平均
化、最大出力検出等によるサブサンプリングなどの演
算）を行う。この統合処理は、特徴検出層１０２（１，
０）からの出力を空間的にぼかすことで、位置ずれや変
形などを許容する役割を有する。また、特徴統合層内の
ニューロンの各受容野は同一層内のニューロン間で共通
の構造を有している。
【００３７】後続の層である各特徴検出層１０２
（（１,１）、(１,２)、・・・、(１,M)）及び各特徴統合
層１０３（(２,１)、(２,２)、・・・、(２,M)）は、上述
した各層と同様に前者（(１,１)、・・・）は、各特徴検出
モジュールにおいて複数の異なる特徴の検出を行い、後
者（(２,１)、・・・）は、前段の特徴検出層からの複数特
徴に関する検出結果の統合を行う。但し、前者の特徴検
出層は前段の特徴統合層の細胞素子出力を受けるように
結合（配線）されている。特徴統合層で行う処理である
サブサンプリングは、同一特徴カテゴリの特徴検出細胞
集団からの局所的な領域（当該特徴統合層ニューロンの
局所受容野）からの出力についての平均化などを行うも
のである。
【００３８】更に図１〜図５を用いて、具体的な一例と
して、入力画像から眼を検知する処理における動作を説
明する。
【００３９】図３は、入力画像から眼を検知するフロー
チャートである。ステップＳ３０１において、画像が補
助メモリ１０１５に入力される。これが、データ入力層
１０１に対応する。続いてステップＳ３０２において、
１次特徴量が検出される。眼の検出における１次特徴量
は例えば図４に示すものである。つまり、縦（４−１−
１）・横（４−１−２）・右上がり斜め（４−１−３）
・右下がり斜め（４−１−４）といった特定方向の特徴
を抽出する。なお、先に述べると、２次特徴量は、右空
きＶ字（４−２−１）、左空きＶ字（４−２−２）、円
（４−２−３）であり、また３次特徴量が眼（４−３−
１）である。これらのそれぞれの特徴量を検出するよう
に、検出処理手段１０４１Ａ〜１０４４Ｃは構成されて
おり、検出処理手段１０４１Ａは１次特徴量の縦（４−
１−１）を、１０４２Ａは横（４−１−２）を、１０４
３Ａは右上がり斜め（４−１−３）を、１０４４Ａは右
下がり斜め（４−１−４）を検出する。同様に、検出処
理手段１０４１Ｂは２次特徴量の右空きＶ字（４−２−
１）を、１０４２Ｂは左空きＶ字（４−２−２）を、１
０４３Ｂは円（４−２−３）を検出する。また検出処理
手段１０４１Ｃは眼（４−３−１）を検出するように構
成されている。なお、この例で用いた眼の検出では、1
次特徴量は4種類、２次特徴量は３種類、３次特徴量は
１種類であるので、検出処理手段の１０４１Ａ〜１０４
４Ａ、１０４１Ｂ〜１０４３Ｂ、１０４１Ｃのみ使用し
て、１０４４Ｂ及び１０４２Ｃ〜１０４４Ｃは使用しな
い。
【００４０】ステップＳ３０２での１次特徴量検出は、
特徴検出層１０２(１,０)に対応し、各検出処理手段が
特徴ｆの検出モジュール１０４に相当する。統合メモリ
コントローラ１０１０は補助メモリ制御信号１０２５を
制御して、補助メモリ１０１５から画像のある位置を中
心とする局所データを読み出し（この局所領域が、受容
野１０５に対応する）、グローバルデータ線１０３０に
出力する。そして、それらは、並列に、それぞれ検出処
理手段１０４１Ａ〜１０４４Ａに入力され、上述したそ
れぞれの１次特徴量を検出する。なおこのとき、検出処
理手段制御信号の１１１１Ａ〜１１１４Ａの処理手段セ
レクト信号のみイネーブルになっている。そして、処理
の終了を示すエンド信号を見て、制御手段１０００はア
ウトプット信号をイネーブルにして、検出処理手段１０
４１Ａ〜１０４４Ａは処理結果をローカルデータ線１０
６１〜１０６４に出力する。同時に、検出メモリコント
ローラ１０９０は、検出アドレス線１０８０にアドレス
を出力し、また検出メモリ制御信号１０８１〜１０８４
を制御して、各ローカルデータ線上のデータを検出メモ
リ１０７１〜１０７４に保持する。なお、各検出処理手
段での処理では、入力されるデータと結合荷重とが用い
られ、例えば１次特徴量の縦（４−１−１）を検出する
際には、受容野の大きさが３＊３で、その結合荷重が０
または１である、概念的には図５に示した受容野構造
(以下、受容野とは直前の層の出力素子との結合範囲
を、受容野構造とはその結合荷重の分布を意味する)と
の積和演算が行なわれる。
【００４１】なお、このステップＳ３０２において、補
助メモリ１０１５から読み出される局所領域の中心点を
全画面の各点もしくは全画面にわたる所定のサンプリン
グ点の各点と変更することで、全画面において、この１
次特徴量の検出を行なう。このように、局所領域を移動
させて全画面にわたって処理を行なうことは以降の統合
処理や２次、３次の特徴量検出においても同様である。
【００４２】続いてステップＳ３０３で、１次特徴量が
統合される。これは特徴統合層１０３(２,０)に対応
し、検出メモリ１０７１〜１０７４に保持されているデ
ータを統合する（特徴検出層１０２(１,０)からの同一
受容野内にある複数のニューロン素子出力の統合（局所
平均化、最大出力検出等によるサブサンプリングなどの
演算）に相当する）。また各統合処理手段は、特徴ｆの
統合モジュール１０６に相当する。検出メモリコントロ
ーラ１０９０は、検出アドレス線１０８０上にアドレス
を出力し、また検出メモリ制御信号１０８１〜１０８４
を制御して、検出メモリ１０７１〜１０７４の局所デー
タを読み出し、ローカルデータ線１０６１〜１０６４を
介して、それぞれの局所データが統合処理手段１０５１
Ａ〜１０５４Ａに入力される。なお、ステップＳ３０２
での検出処理では、検出処理手段１０４１Ａ〜１０４４
Ａに入力されるデータは同じものであったが、このステ
ップＳ３０３での統合処理では統合処理手段１０５１Ａ
〜１０５４Ａに入力されるデータは、それぞれ異なって
いる。
【００４３】ただし、ここでの統合処理の受容野の入力
画像における位置や大きさは、全ての統合処理手段１０
５１Ａ〜１０５４Ａにおいて共通であるので、各検出メ
モリ１０７１〜１０７４中のデータの位置を示す検出メ
モリコントローラ１０９０からのアドレスは同じに出来
る。つまり、検出メモリ１０７１〜１０７４から局所デ
ータを読み出すときに、その検出メモリ１つ１つに対し
て別々のアドレスを出力するのではなく、一度のアドレ
ス出力で各検出メモリからのデータ読み出しが並列に行
なわれ、また各統合処理手段１０５１Ａ〜１０５４Ａに
おいて統合処理も並列に行なわれる。
【００４４】各統合処理手段では上述したように、入力
データの平均化や最大値検出等の処理を行なう。なおこ
のとき、統合処理手段制御信号の１１２１Ａ〜１１２４
Ａの処理手段セレクト信号のみイネーブルになってい
る。そして、処理の終了を示すエンド信号を見て、制御
手段１０００はアウトプット信号を順にイネーブルにし
て、統合処理手段１０５１Ａ〜１０５４Ａは処理結果を
時分割でグローバルデータ線１０３０に出力する。同時
に、統合メモリコントローラ１０１０は、統合アドレス
線１０２０にアドレスを出力し、また統合メモリ制御信
号１０２１〜１０２４を制御して、グローバルデータ線
上のデータを順に統合メモリ１０１１〜１０１４に保持
する。この統合処理手段制御信号１１２１Ａ〜１１２４
Ａのアウトプット信号のイネーブルと統合メモリ制御信
号のメモリセレクト信号のイネーブルのタイミングを合
わせることで、統合処理手段１０５１Ａの出力を統合メ
モリ１０１１に保持することが出来、また１０５２Ａの
出力を１０１２に、１０５３Ａの出力を１０１３に、１
０５４Ａの出力を１０１４に保持することが出来る。こ
こまでのステップで、統合メモリ１０１１は１次特徴量
の縦方向を検出した結果を統合した結果を保持し、１０
１２は横方向を検出した結果を統合した結果を保持し、
１０１３は右上がり斜め方向を検出した結果を統合した
結果を保持し、１０１４は右下がり斜め方向を検出した
結果を統合した結果を保持することになる。
【００４５】ステップＳ３０４では、２次特徴量検出を
行なう。これは特徴検出層１０２(１,１)に対応する。
ここでの２次特徴量とは、図４に示すようにＶ字（４−
２−１，４−２−２）と円（４−２−３）であり、Ｖ字
は受容野内での、１次特徴量の２つの斜め方向（４−１
−３，４−１−４）の検出とその位置関係から検出可能
であり、また円は受容野内での全ての１次特徴量の検出
とその位置関係から検出可能である。つまり、複数種類
の１次特徴量を組み合わせて、２次特徴量を検出するこ
とができる。これら２次特徴量の検出処理は検出処理手
段１０４１Ｂ〜１０４３Ｂで行なわれる。統合メモリコ
ントローラ１０１０は統合アドレス線１０２０にアドレ
スを出力し、また統合メモリ制御信号１０２１〜１０２
４を制御して、統合メモリ１０１１〜１０１４から、そ
こに保持されている統合された１次特徴量の局所データ
を読み出し、グローバルデータ線１０３０に出力する。
この時、統合メモリ制御信号１０２１〜１０２４のメモ
リセレクト信号のイネーブルを順に変更することで、こ
の統合された１次特徴量の出力は、統合メモリ１０１１
から１０１４へ順に行われる。つまり、グローバルデー
タ線１０３０を時分割して使用する。なお、ステップ３
０２と同様、これらのデータは、並列に、それぞれ検出
処理手段１０４１Ｂ〜１０４３Ｂに入力され、上述した
それぞれの２次特徴量を検出する。なおこのとき、検出
すべき２次特徴量は３種類なので検出処理手段制御信号
の１１１１Ｂ〜１１１３Ｂの処理手段セレクト信号のみ
イネーブルになっている。そして、処理の終了を示すエ
ンド信号を見て、制御手段１０００はアウトプット信号
をイネーブルにして、検出処理手段１０４１Ｂ〜１０４
３Ｂは処理結果をローカルデータ線１０６１〜１０６３
に出力する。同時に、検出メモリコントローラ１０９０
は、検出アドレス線１０８０にアドレスを出力し、また
検出メモリ制御信号１０８１〜１０８３を制御して、各
ローカルデータ線上のデータを検出メモリ１０７１〜１
０７３に保持する。
【００４６】続いてステップＳ３０５で、２次特徴量が
統合される。これは特徴統合層１０３(２,１)に対応
し、検出メモリ１０７１〜１０７３に保持されているデ
ータを統合する。検出メモリコントローラ１０９０は、
検出アドレス線１０８０上にアドレスを出力し、また検
出メモリ制御信号１０８１〜１０８３を制御して、検出
メモリ１０７１〜１０７３の局所データを読み出し、ロ
ーカルデータ線１０６１〜１０６３を介して、それぞれ
の局所データが統合処理手段１０５１Ｂ〜１０５３Ｂに
入力される。各統合処理手段ではステップＳ３０３と同
様に、入力データの平均化や最大値検出等の処理を行な
う。なおこのとき、統合処理手段制御信号の１１２１Ｂ
〜１１２３Ｂの処理手段セレクト信号のみイネーブルに
なっている。そして、処理の終了を示すエンド信号を見
て、制御手段１０００はアウトプット信号を順にイネー
ブルにして、統合処理手段１０５１Ｂ〜１０５３Ｂは処
理結果を時分割でグローバルデータ線１０３０に出力す
る。同時に、統合メモリコントローラ１０１０は、統合
アドレス線１０２０にアドレスを出力し、また統合メモ
リ制御信号１０２１〜１０２３を制御して、グローバル
データ線上のデータを統合メモリ１０１１〜１０１３に
保持する。
【００４７】ステップＳ３０６では、３次特徴量検出を
行なう。これは特徴検出層１０２(１,２)に対応する。
ここでの３次特徴量とは、図４に示すように眼（４−３
−１）であり、そのためには、受容野内での全ての２次
特徴量（Ｖ字（４−２−１，４−２−２）と円（４−２
−３））の検出とその位置関係を見ればよい。つまり、
複数種類の２次特徴量を組み合わせて、３次特徴量を検
出することができる。これら３次特徴量の検出処理は検
出処理手段１０４１Ｃで行なわれる。統合メモリコント
ローラ１０１０は統合アドレス線１０２０にアドレスを
出力し、また統合メモリ制御信号１０２１〜１０２３を
制御して、統合メモリ１０１１〜１０１３から、そこに
保持されている統合された２次特徴量の局所データを読
み出し、グローバルデータ線１０３０に出力する。この
時、ステップＳ３０４と同様に、統合メモリ制御信号１
０２１〜１０２３のメモリセレクト信号のイネーブルを
順に変更することで、この統合された２次特徴量の出力
は、統合メモリ１０１１から１０１３へ順に行われ、グ
ローバルデータ線１０３０を時分割して使用する。そし
てこれらのデータは、検出処理手段１０４１Ｃに入力さ
れ、上述した３次特徴量を検出する。なおこのとき、検
出すべき３次特徴量は１種類なので検出処理手段制御信
号の１１１１Ｃの処理手段セレクト信号のみイネーブル
になっている。そして、処理の終了を示すエンド信号を
見て、制御手段１０００はアウトプット信号をイネーブ
ルにして、検出処理手段１０４１Ｃは処理結果をローカ
ルデータ線１０６１に出力する。同時に、検出メモリコ
ントローラ１０９０は、検出アドレス線１０８０にアド
レスを出力し、また検出メモリ制御信号１０８１を制御
して、ローカルデータ線上のデータを検出メモリ１０７
１に保持する。
【００４８】続いてステップＳ３０７で、３次特徴量が
統合される。これは特徴統合層１０３(２,２)に対応
し、検出メモリ１０７１に保持されているデータを統合
する。検出メモリコントローラ１０９０は、検出アドレ
ス線１０８０上にアドレスを出力し、また検出メモリ制
御信号１０８１を制御して、検出メモリ１０７１の局所
データを読み出し、ローカルデータ線１０６１を介し
て、３次特徴量の局所データが統合処理手段１０５１Ｃ
に入力される。統合処理手段では、入力データの平均化
や最大値検出等の処理が行なわれる。そして、処理の終
了を示すエンド信号を見て、制御手段１０００はアウト
プット信号を順にイネーブルにして、統合処理手段１０
５１Ｃは処理結果をグローバルデータ線１０３０に出力
する。同時に、統合メモリコントローラ１０１０は、統
合アドレス線１０２０にアドレスを出力し、また統合メ
モリ制御信号１０２１を制御して、グローバルデータ線
上のデータを統合メモリ１０１１に保持する。
【００４９】そして、この統合メモリ１０１１に保持さ
れた結果が眼の検出の最終結果となる。なお、上記ステ
ップＳ３０７を行なわずに、検出メモリ１０７１に保持
されている結果を眼の検出結果としてもよい。
【００５０】上記で説明したように、本実施形態で説明
した発明によれば、ある特徴の検出処理とその検出結果
の統合処理を、複数の特徴で行う際に容易に並列に行う
ことが出来、またそれらの処理を階層的に行うことも容
易である。また、各検出結果や統合結果を一時メモリに
保持し、その後そのメモリのアドレスを指定して結果を
データ線に出力して、各プロセッサに入力することで、
複雑な受容野構造の処理においても配線が複雑になるこ
とを防ぐことが可能である。さらに、それら各処理の結
果を読み出すことも可能であり、アドレッシングでメモ
リに保持された任意の位置の結果を読み出すことも可能
である。
【００５１】なお、本実施形態の検出処理手段や統合処
理手段における処理は、ＤＳＰ等を用いてデジタル処理
で行なう事も、アナログ回路で電流値やパルス幅等を変
換するアナログ処理で行なう事も可能である。デジタル
処理を行なう際は、メモリをデジタルメモリにし、デー
タ線はバスとして構成される。アナログ処理であれば、
メモリをアナログメモリにして値を電荷量等で保持し、
また処理においては例えば値をパルス幅で表現して、処
理はパルス幅変調で行うとすると、メモリのデータ入出
力線にその電荷量をパルス幅に変更する回路やその逆を
行う回路も構成すればよい。デジタル処理とアナログ処
理のいずれにしろ、本発明の構成を用いれば、階層的パ
ターン認識処理が容易に可能となる。
【００５２】次に、本実施形態の構成に係るパターン検
出（認識）装置を撮像装置に搭載させることにより、特
定被写体へのフォーカシングや特定被写体の色補正、露
出制御を行う場合について、図１２参照して説明する。
図１２は実施形態に係るパターン検出（認識）装置を撮
像装置に用いた例の構成を示す図である。
【００５３】図１２において、撮像装置５１０１は、撮
影レンズおよびズーム撮影用駆動制御機構を含む結像光
学系５１０２、CCD又はＣＭＯＳイメージセンサー５１
０３、撮像パラメータの計測部５１０４、映像信号処理
回路５１０５、記憶部５１０６、撮像動作の制御、撮像
条件の制御などの制御用信号を発生する制御信号発生部
５１０７、EVFなどファインダーを兼ねた表示ディスプ
レイ５１０８、ストロボ発光部５１０９、記録媒体５１
１０などを具備し、更に上述したパターン検出装置を被
写体検出（認識）装置５１１１として備える。
【００５４】この撮像装置５１０１は、例えば撮影され
た映像中から予め登録された人物の顔画像の検出(存在
位置、サイズの検出)を被写体検出(認識)装置５１１１
により行う。そして、その人物の位置、サイズ情報が被
写体検出(認識)装置５１１１から制御信号発生部５１０
７に入力されると、同制御信号発生部５１０７は、撮像
パラメータ計測部５１０４からの出力に基づき、その人
物に対するピント制御、露出条件制御、ホワイトバラン
ス制御などを最適に行う制御信号を発生する。
【００５５】上述したパターン検出(認識)装置を、この
ように撮像装置に用いて、人物検出とそれに基づく撮影
の最適制御を行うことができるようになる。
【００５６】（第２の実施形態）図６は、本実施形態の
構成を示す図である。
【００５７】図６中、図１中の番号と同じ番号は同じも
のを示す。図６において、第1の実施形態と比較して新
しい構成は、制御手段２０００、統合メモリコントロー
ラ２０１０、サブグローバルデータ線２０３１〜２０３
４、グローバルデータ線スイッチ２１３１〜２１３３、
スイッチ制御線２２３１〜２２３３である。
【００５８】つまり、第１の実施形態では、図１に示す
グローバルデータバス１０３０には全ての統合メモリ１
０１１〜１０１４、補助メモリ１０１５、全ての検出処
理手段１０４１A〜１０４４C、全ての統合処理手段１０
５１A〜１０５４Cが接続されていたのに対し、本実施形
態では、１つのサブグローバルデータ線には、１つの統
合メモリと複数の検出処理手段及び複数の統合処理手段
もしくは補助メモリが接続されている。この１つのサブ
グローバルデータ線に接続される検出処理手段及び統合
処理手段の数は、基本的には階層的処理の階層数であ
る。例えば、本実施形態では、第１の実施形態同様３階
層の階層的処理を想定して、サブグローバルデータ線２
０３１には、統合メモリ１０１１、検出処理手段１０４
１A〜C、統合処理手段１０５１A〜Cが接続されている。
【００５９】また、グローバルデータ線スイッチ２１３
１〜２１３３は、各サブグローバルデータ線２０３１〜
２０３４のうちの隣接する２つと接続されている。スイ
ッチ制御線２２３１〜２２３３は、各グローバルデータ
線スイッチ２１３１〜２１３３と制御手段２０００とに
接続されている。グローバルデータ線スイッチ２１３１
〜２１３３は、スイッチ制御信号２２３１〜２２３３に
基づいて、各サブグローバルデータ線２０３１〜２０３
４を接続したり、切断したりする。
【００６０】以下、本実施形態特有の動作について図
６、７を用いて説明する。それ以外は実施形態１で説明
したものと同様である。
【００６１】補助メモリ１０１５に保持されているデー
タもしくは統合メモリ１０１１〜１０４４に保持されて
いる処理結果を検出処理手段１０４１Ａ〜１０４４Ｃに
入力する時は、制御手段２０００からのスイッチ制御信
号２２３１〜２２３３に従い、図７（Ａ）に示すよう
に、グローバルデータ線スイッチ２１３１〜２１３３は
ＯＮになり、サブグローバルデータ線２０３１〜２０３
４が全て接続されるようになる。つまり、この状態で
は、実施形態１で説明した構成と実質的に同じになり、
補助メモリ１０１５及び統合メモリ１０１１〜１０１４
から出力されたデータは、並列に、それぞれ検出処理手
段１０４１Ａ〜１０４４Ｃに入力される。
【００６２】また、統合処理手段１０５１Ａ〜１０５４
Ｃで処理された結果を統合メモリ１０１１〜１０１４に
保持するときは、制御手段２０００からのスイッチ制御
信号２２３１〜２２３３に従い、図７（Ｂ）に示すよう
に、グローバルデータ線スイッチ２１３１〜２１３３は
ＯＦＦになり、サブグローバルデータ線２０３１〜２０
３４が、分断されるようになる。つまり、この状態で
は、第１の実施形態で示したように統合処理手段１０５
１〜１０５４Ａは処理結果を時分割で統合メモリ１０１
１〜１０１４に保持する必要はなく、統合メモリコント
ローラ２０１０は時分割で統合メモリ１０１１〜１０１
４に書き込む必要はなく、並列に各統合処理手段の処理
結果を統合メモリに保持することが出来る。
【００６３】以上説明したように、本実施形態では、補
助メモリまたは統合メモリのデータを検出処理手段に並
列に入力することが出来、また統合処理手段の処理結果
を並列に各統合メモリに保持することができるので、第
１の実施形態と同様の処理が可能で、かつ第１の実施形
態と比較して処理時間の短縮が可能である。
【００６４】（第３の実施形態）図８は、本実施形態の
構成を示す図である。
【００６５】図８中、図１中の番号と同じ番号は同じも
のを示す。図８において、第１の実施形態と比較して新
しい構成は、制御手段３０００、統合メモリコントロー
ラ３０１０、グローバルデータ線３０３１〜３０３５、
検出処理手段３０４１Ａ〜３０４４Ｃである。
【００６６】つまり、第１の実施形態では、図１に示す
グローバルデータバス１０３０には全ての統合メモリ１
０１１〜１０１４、補助メモリ１０１５、全ての検出処
理手段１０４１A〜１０４４C、全ての統合処理手段１０
５１A〜１０５４Cが接続されていたのに対し、本実施形
態では、ひとつのグローバルデータ線には、１つの統合
メモリもしくは補助メモリと全ての検出処理手段及び複
数の統合処理手段が接続されている。この１つのサブグ
ローバルデータ線に接続される統合処理手段の数は、基
本的には階層的処理の階層数である。例えば、本実施形
態では、第１の実施形態同様３階層の階層的処理を想定
して、グローバルデータ線３０３１には、統合メモリ１
０１１、検出処理手段３０４１A〜３０４４C、統合処理
手段１０５１A〜Cが接続されている。なお、図８には、
グローバルデータ線３０３１〜３０３５と検出処理手段
３０４１Ａ〜３０４４Ｃへの接続に関して、検出処理手
段３０４１Ａ〜３０４４Ａのみ図示し、他は省略してあ
る。
【００６７】また、各検出処理手段は全てのグローバル
データ線３０３１〜３０３５から入力されるようになっ
ている。このような構成にすることで、統合メモリ１０
１１〜１０１４及び補助メモリ１０１５を並列に同作さ
せてデータを読み出し、そして、検出処理手段３０４１
Ａ〜３０４４Ｃに並列に入力が可能であり、また統合処
理手段からの処理結果を並列に統合メモリ１０１１〜１
０１４に保持することが出来る。
【００６８】以下、本実施形態特有の動作について説明
する。それ以外は実施形態１で説明したものと同様であ
る。
【００６９】補助メモリ１０１５に保持されているデー
タもしくは統合メモリ１０１１〜１０４４に保持されて
いる処理結果を検出処理手段３０４１Ａ〜３０４４Ｃに
入力する時は、統合メモリコントローラ３０１０からの
統合メモリ制御信号１０２１〜１０２４もしくは補助メ
モリ制御信号１０２５に従って並列に動作させ、統合メ
モリ１０１１〜１０１４はデータをグローバルデータ線
３０３１〜３０３４へ出力し、補助メモリ１０１５はデ
ータをグローバルデータ線３０３５へ出力する。このと
き、統合メモリ１０１１はグローバルデータ線３０３１
へ、１０１２は３０３２へ、１０１３は３０３３へ、１
０１４は３０３４へ出力する。そして、各検出処理手段
３０４１Ａ〜３０４４Ｃは全てのグローバルデータ線３
０３１〜３０３５から入力されるようになっているの
で、並列に各検出処理手段にデータが入力される。
【００７０】また、統合処理手段１０５１〜１０５４で
処理された結果を統合メモリ１０１１〜１０１４に保持
するときは、例えば統合処理手段１０５１Ａ〜Ｃはグロ
ーバルデータ線３０３１へ出力するように、また統合処
理手段１０５２Ａ〜Ｃはグローバルデータ線３０３２へ
出力するようになっているので、並列に各統合メモリ１
０１１〜１０１４へデータを保持することが出来る。
【００７１】以上説明したように、本実施形態では、補
助メモリまたは統合メモリのデータを検出処理手段に並
列に入力することが出来、また統合処理手段の処理結果
を並列に各統合メモリに保持することができるので、第
１の実施形態と同様の処理が可能で、かつ第１、第２の
実施形態と比較して処理時間の短縮が可能である。
【００７２】（第４の実施形態）図９が本実施形態の構
成を示す図である。
【００７３】図９中、図１中の番号と同じ番号は同じも
のを示す。図９において、第１の実施形態と比較して新
しい構成は、制御手段４０００、可変検出処理手段４０
４１〜４０４４、可変統合処理手段４０５１〜４０５
４、回路構成情報記憶手段４１１０、回路構成制御手段
４１２０、及び可変検出処理手段制御信号４１１１〜４
１１４、可変統合処理手段制御信号４１２１〜４１２４
である。なお、この図９では、これらの信号について
は、可変検出処理手段制御信号４１１１のみ図示してあ
とは省略してある。
【００７４】つまり、第１の実施形態では、認識処理に
必要な各処理手段を全て用意し（検出処理手段及び統合
処理手段）、それらの中から、その時点で使用する処理
手段を制御手段からの選択信号で選択していたのに対
し、本実施形態では、並列に動作する数の可変検出処理
手段、及び可変統合処理手段とから構成されている。
【００７５】可変検出処理手段４０４１〜４０４４、及
び可変統合処理手段４０５１〜４０５４は、ＦＰＧＡ
（Field Programmable Gate Array）と呼ばれるユーザ
が任意の論理を構成できるように、複数個の回路ブロッ
クと配線ブロックから成るロジックＩＣ、もしくはＦＰ
ＡＡ（E.Lee,P.Gulak, 1991, “A CMOS Field-Programm
able Analog Array”,IEEE JOURNAL OF SOLID-STATE CI
RCUITS,Vol.26,No.12,pp.1860-1867）と呼ばれるユーザ
がアナログブロック回路を結ぶ配線や乗算の係数となる
コンデンサの電荷保持量等を変更して任意のアナログ処
理が行なえるアナログＩＣである。そして、それらの処
理手段が任意の処理を行なえるような構成にするための
回路構成の情報を記憶しているのが、回路構成情報記憶
手段４１１０である。また、その回路構成情報にしたが
って、各処理手段を制御して、回路構成を変更するの
が、回路構成制御手段４１２０である。つまり、回路構
成制御手段４１２０からの回路構成制御信号に基づい
て、可変検出処理手段４０４１〜４０４４、及び可変統
合処理手段４０５１〜４０５４は制御され、回路構成情
報記憶手段４１１０からの回路構成情報信号の回路構成
に再構成される。
【００７６】以下、本実施形態の動作について図９〜図
１１を用いて説明する。図１０は本実施形態の動作を示
すフローチャートである。ここでは、第１の実施形態同
様、眼を検出する例を示す。
【００７７】図１０のステップＳ９０１において、画像
が補助メモリ１０１５に入力される。続いてステップＳ
９０２において、制御手段４０００からの信号により、
回路構成情報記憶手段４１１０から回路構成情報信号が
出力され、また回路構成制御手段４１２０から回路構成
制御信号が出力され、それぞれの信号に基づいて、可変
検出処理手段４０４１〜４０４４の回路が構成される。
なおここで、構成される回路は、眼の検出における１次
特徴量（図４参照）を検出する回路である。
【００７８】ステップＳ９０３では眼の１次特徴量を検
出するように構成された可変検出処理手段４０４１〜４
０４４を用いて、１次特徴量を検出する。統合メモリコ
ントローラ１０１０は補助メモリ制御信号１０２５を制
御して、補助メモリ１０１５から画像の局所データを読
み出し、グローバルデータ線１０３０に出力する。そし
て、それらは並列に、それぞれ各可変検出処理手段４０
４１〜４０４４に入力され、１次特徴量を検出する。そ
して、処理の終了を示すエンド信号を見て、制御手段４
０００はアウトプット信号をイネーブルにして、可変検
出処理手段４０４１〜４０４４は処理結果をローカルデ
ータ線１０６１〜１０６４に出力する。同時に、検出メ
モリコントローラ１０９０は、検出アドレス線１０８０
にアドレスを出力し、また検出メモリ制御信号１０８１
〜１０８４を制御して、ローカルデータ線上のデータを
検出メモリ１０７１〜１０７４に保持する。
【００７９】ステップＳ９０４では、制御手段４０００
からの信号により、回路構成情報記憶手段４１１０から
回路構成情報信号が出力され、また回路構成制御手段４
１２０から回路構成制御信号が出力され、それぞれの信
号に基づいて、可変統合処理手段４０５１〜４０５４の
回路が構成される。なおここで、構成される回路は、検
出した１次特徴量を、局所平均化、最大出力検出等によ
るサブサンプリングなどの演算によって統合する回路で
ある。
【００８０】ステップＳ９０５では、１次特徴量を統合
するように構成された可変統合処理手段４０５１〜４０
５４を用いて１次特徴量が統合される。検出メモリコン
トローラ１０９０は、検出アドレス線１０８０上にアド
レスを出力し、また検出メモリ制御信号１０８１〜１０
８４を制御して、検出メモリ１０７１〜１０７４の局所
データを読み出し、ローカルデータ線１０６１〜１０６
４を介して、それぞれの局所データが可変統合処理手段
４０５１〜４０５４に入力され、1次特徴量が統合され
る。そして、処理の終了を示すエンド信号を見て、制御
手段４０００はアウトプット信号を順にイネーブルにし
て、可変統合処理手段４０５１〜４０５４は処理結果を
時分割でグローバルデータ線１０３０に出力する。同時
に、統合メモリコントローラ１０１０は、統合アドレス
線１０２０にアドレスを出力し、また統合メモリ制御信
号１０２１〜１０２４を制御して、グローバルデータ線
上のデータを統合メモリ１０１１〜１０１４に保持す
る。
【００８１】ステップＳ９０６では、ステップＳ９０２
と同様に、回路構成情報信号や回路構成制御信号に基づ
いて、可変検出処理手段４０４１〜４０４４の回路が再
構成される。なおここで、構成される回路は、眼の検出
における２次特徴量（図４参照）を検出する回路であ
る。（なお２次特徴量は３種類であるので、可変検出処
理手段４０４１〜４０４３のみ再構成される。） ステップＳ９０７では、２次特徴量を検出するように再
構成された可変検出処理手段４０４１〜４０４３を用い
て、２次特徴量の検出を行なう。統合メモリコントロー
ラ１０１０は統合アドレス線１０２０にアドレスを出力
し、また統合メモリ制御信号１０２１〜１０２４を制御
して、統合メモリ１０１１〜１０１４から、そこに保持
されている統合された１次特徴量の局所データを読み出
し、グローバルデータ線１０３０に出力する。これらの
データは、並列に、それぞれ可変検出処理手段４０４１
〜４０４３に入力され、上述したそれぞれの２次特徴量
を検出する。なおこのとき、検出すべき２次特徴量は３
種類なので可変検出処理手段制御信号の４１１１〜４１
１３の処理手段セレクト信号のみイネーブルになってい
る。そして、処理の終了を示すエンド信号を見て、制御
手段４０００はアウトプット信号をイネーブルにして、
可変検出処理手段４０４１〜４０４３は処理結果をロー
カルデータ線１０６１〜１０６３に出力する。同時に、
検出メモリコントローラ１０９０は、検出アドレス線１
０８０にアドレスを出力し、また検出メモリ制御信号１
０８１〜１０８３を制御して、ローカルデータ線上のデ
ータを検出メモリ１０７１〜１０７３に保持する。
【００８２】ステップＳ９０８では、回路構成情報信号
や回路構成制御信号の信号に基づいて、可変統合処理手
段４０５１〜４０５３の回路が再構成される。なおここ
で、再構成される回路は、検出した１次特徴量を、局所
平均化、最大出力検出等によるサブサンプリングなどの
演算によって統合する回路である。なお、ステップＳ９
０４による回路構成がそのまま使える場合には、このス
テップＳ９０８を実行する必要がないことは言うまでも
ない。
【００８３】ステップＳ９０９では、再構成された可変
統合処理手段４０５１〜４０５３によって、２次特徴量
が統合される。検出メモリコントローラ１０９０は、検
出アドレス線１０８０上にアドレスを出力し、また検出
メモリ制御信号１０８１〜１０８３を制御して、検出メ
モリ１０７１〜１０７３の局所データを読み出し、ロー
カルデータ線１０６１〜１０６３を介して、それぞれの
局所データが可変統合処理手段４０５１〜４０５３に入
力される。各可変統合処理手段では入力データの平均化
や最大値検出等の処理を行なう。なおこのとき、可変統
合処理手段制御信号の４１２１〜４１２３の処理手段セ
レクト信号のみイネーブルになっている。そして、処理
の終了を示すエンド信号を見て、制御手段４０００はア
ウトプット信号を順にイネーブルにして、可変統合処理
手段４０５１〜４０５３は処理結果を時分割でグローバ
ルデータ線１０３０に出力する。同時に、統合メモリコ
ントローラ１０１０は、統合アドレス線１０２０にアド
レスを出力し、また統合メモリ制御信号１０２１〜１０
２３を制御して、グローバルデータ線上のデータを統合
メモリ１０１１〜１０１３に保持する。
【００８４】ステップＳ９１０では、回路構成情報信号
と回路構成制御信号に基づいて、可変検出処理手段４０
４１の回路が再構成される。なおここで、構成される回
路は、眼の検出における３次特徴量（図４参照）を検出
する回路である。
【００８５】ステップＳ９１１では、再構成された可変
検出処理手段４０４１で、３次特徴量検出を行なう。統
合メモリコントローラ１０１０は統合アドレス線１０２
０にアドレスを出力し、また統合メモリ制御信号１０２
１〜１０２３を制御して、統合メモリ１０１１〜１０１
３から、そこに保持されている統合された２次特徴量の
局所データを読み出し、グローバルデータ線１０３０に
出力する。そしてこれらのデータは、可変検出処理手段
４０４１に入力され、上述した３次特徴量を検出する。
そして、処理の終了を示すエンド信号を見て、制御手段
４０００はアウトプット信号をイネーブルにして、可変
検出処理手段４０４１は処理結果をローカルデータ線１
０６１に出力する。同時に、検出メモリコントローラ１
０９０は、検出アドレス線１０８０にアドレスを出力
し、また検出メモリ制御信号１０８１を制御して、ロー
カルデータ線上のデータを検出メモリ１０７１に保持す
る。
【００８６】ステップＳ９１２では、回路構成情報信号
と回路構成制御信号に基づいて、可変統合処理手段４０
５１の回路が再構成される。なお、ステップＳ９０４に
よる回路構成がそのまま使える場合には、このステップ
Ｓ９１２を実行する必要がないことは言うまでもない。
【００８７】ステップＳ９１３では、再構成された可変
統合処理手段４０５１で、３次特徴量が統合される。検
出メモリコントローラ１０９０は、検出アドレス線１０
８０上にアドレスを出力し、また検出メモリ制御信号１
０８１を制御して、検出メモリ１０７１の局所データを
読み出し、ローカルデータ線１０６１を介して、３次特
徴量の局所データが可変統合処理手段４０５１に入力さ
れ、統合処理が行なわれる。そして、処理の終了を示す
エンド信号を見て、制御手段４０００はアウトプット信
号を順にイネーブルにして、可変統合処理手段４０５１
は処理結果をグローバルデータ線１０３０に出力する。
同時に、統合メモリコントローラ１０１０は、統合アド
レス線１０２０にアドレスを出力し、また統合メモリ制
御信号１０２１を制御して、グローバルデータ線上のデ
ータを統合メモリ１０１１に保持する。
【００８８】そして、この統合メモリ１０１１に保持さ
れた結果が眼の検出の最終結果となる。なお、上記ステ
ップＳ９１３を行なわずに、検出メモリ１０７１に保持
されている結果を眼の検出結果としてもよい。
【００８９】なお、上記の説明では、可変検出処理手段
の検出処理の後に、可変統合処理手段の再構成を、また
可変統合処理手段の統合処理の後に、可変検出処理手段
の再構成を行なうように説明したが、可変検出処理手段
と可変統合処理手段は同時には処理を行なわないので、
図１１に示すように、可変検出処理手段の検出処理と可
変統合処理手段の再構成、また可変統合処理手段の統合
処理と可変検出処理手段の再構成は同時に行なうことが
出来る。なお図１１において、横軸は動作の流れを示
し、図中で検出と書いてあるのは検出処理であり、統合
と書いてあるのは統合処理である、また、構成・再構成
と書いてあるのは回路の構成・再構成を行なっているこ
とを示す。
【００９０】以上説明したように、本実施形態では、回
路構成が可変な処理手段を用い、各階層での処理に応じ
て回路を再構成して使用するので、第１の実施形態と同
様の認識処理が可能で、かつ第１の実施形態と比較して
処理手段の回路規模の縮小が可能である。またこの構成
であれば、検出処理手段と統合処理手段の処理と再構成
を交互に行なう事が出来るので、全体の処理時間の増加
をおさえることが可能である。
【００９１】なお、本実施形態と第２、第３の実施形態
を組み合わせることも可能である。
【００９２】
【発明の効果】以上説明したように、本発明によれば、
共有データ線と局所データ線、及びメモリを利用するこ
とで、複雑な配線を用いずに単純な回路構成で、複数の
処理手段で処理されて得られた複数の結果に対し、さら
に複数の処理手段で並列処理を行なうといった階層的処
理を並列に実行可能となるという効果がある。
【００９３】検出処理においては、複数の所定の検出処
理手段に対して同一のデータを入力することで並列動作
が可能であり、更にまた各検出処理の処理結果を空間的
に統合する統合処理においては、それぞれ別の特徴検出
の結果を保持している複数の検出メモリに対して、それ
ぞれのメモリ中の位置を示すアドレスを共通に用いるこ
とで、統合処理を並列に行なえるという効果がある。ま
た、これらの検出・統合処理手段を何回でも繰り返すこ
とが出来るという効果がある。
【００９４】また、各階層の中間結果をメモリから読み
出すことも可能であり、例えば、その中間結果を見て、
その前段階の処理を変更するということも可能になる。
また、回路構成可能な手段を使用した場合に、検出処理
と統合処理、検出処理回路の再構成と統合処理回路の再
構成を交互に行うことで、処理時間の増加を防ぐという
効果もある。
【図面の簡単な説明】
【図１】第１の実施形態の構成を示す図である。
【図２】Convolutionalネットワーク構造を説明する図
である。
【図３】第１の実施形態の動作を説明するフローチャー
トである。
【図４】特徴量を示す図である。
【図５】特徴量検出の例を示す図である。
【図６】第２の実施形態の構成を示す図である。
【図７】第２の実施形態の動作の概念を示す図である。
【図８】第３の実施形態の構成を示す図である。
【図９】第４の実施形態の構成を示す図である。
【図１０】第４の実施形態の動作を説明するフローチャ
ートである。
【図１１】第４の実施形態の再構成と処理のタイミング
を示す図である。
【図１２】実施形態に係るパターン認識装置を撮像装置
に用いた例の構成を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 野村 修 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5L096 JA13 LA13 MA01

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 入力信号の中に含まれる所定のパターン
    を検出するパターン認識装置において、 同一の入力に対しそれぞれ異なる１つの特徴を検出する
    ための複数の検出処理手段と、 前記複数の検出処理手段で検出された特徴を、各処理結
    果毎に、空間的に統合する複数の統合処理手段と、 前記検出処理手段の処理結果を保持する複数の検出メモ
    リと、 前記統合処理手段の処理結果を保持する複数の統合メモ
    リと、 あるタイミングで所定の前記検出処理手段及び所定の前
    記統合メモリが接続される共有データ線と、 それぞれ所定の前記検出処理手段と前記統合処理手段と
    前記検出メモリとが接続される複数の局所データ線とを
    有し、 前記検出メモリに保持された前記検出処理手段の処理結
    果を前記統合処理手段に入力する際に、複数の前記検出
    メモリのデータを読み出して、前記統合処理手段に入力
    し、 前記統合メモリに保持された前記統合処理手段の処理結
    果を前記検出処理手段に入力する際に、前記統合メモリ
    からデータを読み出して、複数の前記検出処理手段に入
    力することを特徴とするパターン認識装置。
  2. 【請求項２】 前記統合処理手段の処理結果を前記統合
    メモリに入力する際及び／または前記統合メモリのデー
    タを前記検出処理手段に入力する際に、前記共有データ
    線を時分割で使用するように前記統合処理手段及び前記
    統合メモリを制御することを特徴とする請求項１に記載
    のパターン認識装置。
  3. 【請求項３】 前記共有データ線は、複数のサブ共有デ
    ータ線と複数のスイッチとを含み、 前記サブデータ線１つに、前記統合メモリが１つ接続さ
    れ、 複数の前記統合処理手段の処理結果を複数の前記統合メ
    モリに入力する際に、複数の前記サブ共有データ線を用
    い、 前記統合メモリに保持された前記統合処理手段の処理結
    果を前記検出処理手段に入力する際に、複数の前記サブ
    共有データ線を、前記スイッチを制御することにより接
    続し、仮想的に１つのデータ線として使用することを特
    徴とする請求項１に記載のパターン認識装置。
  4. 【請求項４】 前記共有データ線は、複数の分割共有デ
    ータ線を含み、 前記分割共有データ線１つに、所定の前記統合メモリと
    所定の前記検出処理手段が接続され、 複数の前記統合処理手段の処理結果を複数の前記統合メ
    モリに入力する際、及び／または前記統合メモリに保持
    された前記統合処理手段の処理結果を前記検出処理手段
    に入力する際に、複数の前記分割データ線を用いること
    を特徴とする請求項１に記載のパターン認識装置。
  5. 【請求項５】 構成情報を記憶する構成情報記憶手段
    と、 前記構成情報記憶手段の構成情報に基づいて、前記検出
    処理手段及び前記統合処理手段の回路構成を再構成する
    回路構成制御手段とを有することを特徴とする請求項１
    〜４に記載のパターン認識装置。
  6. 【請求項６】 前記回路構成制御手段は、前記検出処理
    手段の回路構成の再構成と前記統合処理手段の回路構成
    の再構成とを、同時に行わないように制御することを特
    徴とする請求項５に記載のパターン認識装置。
  7. 【請求項７】 共有データ線に接続された外部インター
    フェースを設け、該外部インターフェースを介して前記
    検出メモリ及び前記統合メモリの結果を処理の中間結果
    として読み出すことを特徴とする請求項１〜６に記載の
    パターン認識装置。
JP2001164283A 2001-05-31 2001-05-31 パターン認識装置 Expired - Fee Related JP4846924B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001164283A JP4846924B2 (ja) 2001-05-31 2001-05-31 パターン認識装置
US10/156,118 US7039233B2 (en) 2001-05-31 2002-05-29 Pattern recognition apparatus for detecting predetermined pattern contained in input signal
DE60218380T DE60218380T2 (de) 2001-05-31 2002-05-30 Mustererkennungsgerät zur Ermittlung eines festgelegten Musters in einem Eingangssignal
EP02253806A EP1262908B1 (en) 2001-05-31 2002-05-30 Pattern recognition apparatus for detecting predetermined pattern contained in input signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001164283A JP4846924B2 (ja) 2001-05-31 2001-05-31 パターン認識装置

Publications (2)

Publication Number Publication Date
JP2002358500A true JP2002358500A (ja) 2002-12-13
JP4846924B2 JP4846924B2 (ja) 2011-12-28

Family

ID=19007127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001164283A Expired - Fee Related JP4846924B2 (ja) 2001-05-31 2001-05-31 パターン認識装置

Country Status (4)

Country Link
US (1) US7039233B2 (ja)
EP (1) EP1262908B1 (ja)
JP (1) JP4846924B2 (ja)
DE (1) DE60218380T2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
JP2005056387A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、撮像装置、画像処理方法
WO2006001525A1 (en) * 2004-06-28 2006-01-05 Canon Kabushiki Kaisha Object recognition method and apparatus therefor
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
US7456877B2 (en) 2003-11-28 2008-11-25 Canon Kabushiki Kaisha Image sensing apparatus, control method therefor, and printer
JP2008310524A (ja) * 2007-06-13 2008-12-25 Canon Inc 演算処理装置及びその制御方法
US7577297B2 (en) 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
US7937346B2 (en) 2007-06-15 2011-05-03 Canon Kabushiki Kaisha Calculation processing apparatus and method
US8300950B2 (en) 2008-02-29 2012-10-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
US8391306B2 (en) 2007-09-26 2013-03-05 Canon Kabushiki Kaisha Calculation processing apparatus and method
JP2013533542A (ja) * 2010-06-10 2013-08-22 マイクロン テクノロジー， インク． 階層構造を使用するデータの分析
US8526738B2 (en) 2008-10-24 2013-09-03 Canon Kabushiki Kaisha Information processing apparatus including a plurality of multi-stage connected information processing units
US9053388B2 (en) 2009-10-19 2015-06-09 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable storage medium
US9104828B2 (en) 2011-01-25 2015-08-11 Micron Technology, Inc. State grouping for element utilization
US9146714B2 (en) 2011-01-25 2015-09-29 Micron Technology, Inc. Method and apparatus for compiling regular expressions
US9298437B2 (en) 2011-01-25 2016-03-29 Micron Technology, Inc. Unrolling quantifications to control in-degree and/or out-degree of automaton
US9471290B2 (en) 2011-01-25 2016-10-18 Micron Technology, Inc. Utilizing special purpose elements to implement a FSM
JP2017033529A (ja) * 2015-03-06 2017-02-09 パナソニックＩｐマネジメント株式会社 画像認識方法、画像認識装置およびプログラム
JP2020515991A (ja) * 2017-04-04 2020-05-28 ハイロ テクノロジーズ リミテッド 分離された制御およびデータファブリックを組み込むニューラルネットワークプロセッサ

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358523A (ja) 2001-05-31 2002-12-13 Canon Inc パターン認識処理装置及びその方法、画像入力装置
US7028271B2 (en) * 2002-11-06 2006-04-11 Canon Kabushiki Kaisha Hierarchical processing apparatus
JP4375523B2 (ja) * 2002-12-20 2009-12-02 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理プログラム、印刷物検査装置、印刷物検査方法、印刷物検査プログラム
JP2005018626A (ja) * 2003-06-27 2005-01-20 Ip Flex Kk 並列処理システムの生成方法
WO2005059811A1 (en) * 2003-12-16 2005-06-30 Canon Kabushiki Kaisha Pattern identification method, apparatus, and program
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US20050228966A1 (en) * 2004-03-16 2005-10-13 Kabushiki Kaisha Toshiba Processor system and data processing method
KR20090018093A (ko) 2006-06-08 2009-02-19 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｓｉｍｄ 프로세서 상의 패턴 검출
JP2008059197A (ja) * 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
JP2009086749A (ja) * 2007-09-27 2009-04-23 Canon Inc パターン識別手法、識別用パラメータ学習方法、及び装置
JP4948379B2 (ja) * 2007-12-18 2012-06-06 キヤノン株式会社 パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体
JP5055166B2 (ja) 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
US8331655B2 (en) * 2008-06-30 2012-12-11 Canon Kabushiki Kaisha Learning apparatus for pattern detector, learning method and computer-readable storage medium
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP5538967B2 (ja) 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP5336995B2 (ja) * 2009-10-19 2013-11-06 キヤノン株式会社 特徴点位置決め装置、画像認識装置、その処理方法及びプログラム
JP5588165B2 (ja) * 2009-12-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
US8766666B2 (en) 2010-06-10 2014-07-01 Micron Technology, Inc. Programmable device, hierarchical parallel machines, and methods for providing state information
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP2012038106A (ja) 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5675214B2 (ja) 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US8768944B2 (en) 2010-08-18 2014-07-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
JP5110235B1 (ja) * 2011-06-27 2012-12-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP5848551B2 (ja) 2011-08-26 2016-01-27 キヤノン株式会社 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム
JP5896661B2 (ja) 2011-09-14 2016-03-30 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5886616B2 (ja) 2011-11-30 2016-03-16 キヤノン株式会社 物体検出装置、物体検出装置の制御方法、およびプログラム
JP5806606B2 (ja) 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
JP6582416B2 (ja) * 2014-05-15 2019-10-02 株式会社リコー 画像処理装置、画像処理方法及びプログラム
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
JP7046745B2 (ja) * 2018-07-09 2022-04-04 株式会社日立ハイテク 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法
US11106919B1 (en) 2020-06-02 2021-08-31 ULTINOUS Zrt. Processing of video streams
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI894021A (fi) * 1988-08-31 1990-03-01 Fujitsu Ltd Neuronstruktur.
JP2679730B2 (ja) 1988-08-31 1997-11-19 富士通株式会社 階層構造ニューラルネット
WO1993008538A1 (en) * 1991-10-17 1993-04-29 Kawasaki Steel Corporation Processor for neural network
EP0555024B1 (en) * 1992-02-07 2000-05-17 Canon Kabushiki Kaisha Method and apparatus for pattern recognition
JP3358142B2 (ja) 1992-06-23 2002-12-16 博文 松尾 物体識別システム
AU7802194A (en) * 1993-09-30 1995-04-18 Apple Computer, Inc. Continuous reference adaptation in a pattern recognition system
TW274135B (ja) * 1994-09-14 1996-04-11 Hitachi Seisakusyo Kk
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
WO1997029437A1 (en) 1996-02-09 1997-08-14 Sarnoff Corporation Method and apparatus for training a neural network to detect and classify objects with uncertain training data
US5892962A (en) * 1996-11-12 1999-04-06 Lucent Technologies Inc. FPGA-based processor
US6021220A (en) * 1997-02-11 2000-02-01 Silicon Biology, Inc. System and method for pattern recognition
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
JP3639126B2 (ja) * 1998-01-22 2005-04-20 富士通株式会社 住所認識装置及び住所認識方法
US6192150B1 (en) * 1998-11-16 2001-02-20 National University Of Singapore Invariant texture matching method for image retrieval
US6317517B1 (en) * 1998-11-30 2001-11-13 Regents Of The University Of California Statistical pattern recognition
US6675164B2 (en) * 2001-06-08 2004-01-06 The Regents Of The University Of California Parallel object-oriented data mining system

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577297B2 (en) 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
JP2005056387A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、撮像装置、画像処理方法
US8942436B2 (en) 2003-07-18 2015-01-27 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
US8515136B2 (en) 2003-07-18 2013-08-20 Canon Kabushiki Kaisha Image processing device, image device, image processing method
US7456877B2 (en) 2003-11-28 2008-11-25 Canon Kabushiki Kaisha Image sensing apparatus, control method therefor, and printer
US7912253B2 (en) 2004-06-28 2011-03-22 Canon Kabushiki Kaisha Object recognition method and apparatus therefor
WO2006001525A1 (en) * 2004-06-28 2006-01-05 Canon Kabushiki Kaisha Object recognition method and apparatus therefor
JP2006011978A (ja) * 2004-06-28 2006-01-12 Canon Inc 画像処理方法、画像処理装置
US7881524B2 (en) 2005-04-08 2011-02-01 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
US7978905B2 (en) 2007-06-13 2011-07-12 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
US8385631B2 (en) 2007-06-13 2013-02-26 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
JP2008310524A (ja) * 2007-06-13 2008-12-25 Canon Inc 演算処理装置及びその制御方法
US7937346B2 (en) 2007-06-15 2011-05-03 Canon Kabushiki Kaisha Calculation processing apparatus and method
US8391306B2 (en) 2007-09-26 2013-03-05 Canon Kabushiki Kaisha Calculation processing apparatus and method
US8300950B2 (en) 2008-02-29 2012-10-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
US8526738B2 (en) 2008-10-24 2013-09-03 Canon Kabushiki Kaisha Information processing apparatus including a plurality of multi-stage connected information processing units
US9053388B2 (en) 2009-10-19 2015-06-09 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable storage medium
JP2013533542A (ja) * 2010-06-10 2013-08-22 マイクロン テクノロジー， インク． 階層構造を使用するデータの分析
US9785847B2 (en) 2010-06-10 2017-10-10 Micron Technology, Inc. Analyzing data using a hierarchical structure
US11488378B2 (en) 2010-06-10 2022-11-01 Micron Technology, Inc. Analyzing data using a hierarchical structure
US9104828B2 (en) 2011-01-25 2015-08-11 Micron Technology, Inc. State grouping for element utilization
US9146714B2 (en) 2011-01-25 2015-09-29 Micron Technology, Inc. Method and apparatus for compiling regular expressions
US9298437B2 (en) 2011-01-25 2016-03-29 Micron Technology, Inc. Unrolling quantifications to control in-degree and/or out-degree of automaton
US9471290B2 (en) 2011-01-25 2016-10-18 Micron Technology, Inc. Utilizing special purpose elements to implement a FSM
US9792097B2 (en) 2011-01-25 2017-10-17 Micron Technology, Inc. Method and apparatus for compiling regular expressions
US9916145B2 (en) 2011-01-25 2018-03-13 Micron Technology, Inc. Utilizing special purpose elements to implement a FSM
US10089086B2 (en) 2011-01-25 2018-10-02 Micron Technologies, Inc. Method and apparatus for compiling regular expressions
JP2017033529A (ja) * 2015-03-06 2017-02-09 パナソニックＩｐマネジメント株式会社 画像認識方法、画像認識装置およびプログラム
JP2020515991A (ja) * 2017-04-04 2020-05-28 ハイロ テクノロジーズ リミテッド 分離された制御およびデータファブリックを組み込むニューラルネットワークプロセッサ
JP7288250B2 (ja) 2017-04-04 2023-06-07 ハイロ テクノロジーズ リミテッド 分離された制御およびデータファブリックを組み込むニューラルネットワークプロセッサ

Also Published As

Publication number Publication date
DE60218380T2 (de) 2007-06-28
JP4846924B2 (ja) 2011-12-28
US20020181765A1 (en) 2002-12-05
US7039233B2 (en) 2006-05-02
DE60218380D1 (de) 2007-04-12
EP1262908A1 (en) 2002-12-04
EP1262908B1 (en) 2007-02-28

Similar Documents

Publication Publication Date Title
JP4846924B2 (ja) パターン認識装置
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
AU2018346909B2 (en) Image signal processor for processing images
US10002313B2 (en) Deeply learned convolutional neural networks (CNNS) for object localization and classification
US7274819B2 (en) Pattern recognition apparatus using parallel operation
CA2986860A1 (en) Face detection using small-scale convolutional neural network (cnn) modules for embedded systems
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
US20020181799A1 (en) Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus
CN107851195A (zh) 利用神经网络进行目标检测
JP4546157B2 (ja) 情報処理方法、情報処理装置、撮像装置
JPH06233186A (ja) 映像合成装置
WO2017152990A1 (en) Convolutional neural networks, particularly for image analysis
EP3824413A1 (en) Neural networks having reduced number of parameters
CN113065588A (zh) 基于双线性注意力网络的医学影像数据分类方法及系统
CN112862828A (zh) 一种语义分割方法、模型训练方法及装置
WO2022179606A1 (zh) 一种图像处理方法及相关装置
Singh et al. Scale normalized image pyramids with autofocus for object detection
JP4314017B2 (ja) 階層処理装置
WO2023029559A1 (zh) 一种数据处理方法以及装置
WO2022179599A1 (zh) 一种感知网络及数据处理方法
JP4298283B2 (ja) パターン認識装置、パターン認識方法、及びプログラム
WO2021094463A1 (en) An imaging sensor, an image processing device and an image processing method
WO2024062839A1 (ja) 識別装置、識別方法、プログラム
WO2023028866A1 (zh) 图像处理方法、装置和车辆
CN118038046A (zh) 一种基于眼底图像的糖尿病视网膜多病变分割方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080530

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees