JP2003296737A - パターン認識を容易にするシステムおよび方法 - Google Patents

パターン認識を容易にするシステムおよび方法

Info

Publication number
JP2003296737A
JP2003296737A JP2003037384A JP2003037384A JP2003296737A JP 2003296737 A JP2003296737 A JP 2003296737A JP 2003037384 A JP2003037384 A JP 2003037384A JP 2003037384 A JP2003037384 A JP 2003037384A JP 2003296737 A JP2003296737 A JP 2003296737A
Authority
JP
Japan
Prior art keywords
pattern recognition
recognition system
pattern
layer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003037384A
Other languages
English (en)
Other versions
JP4142463B2 (ja
Inventor
Patrice Y Simard
ワイ．シマルド パトリス
John C Platt
シー．プラット ジョン
David Willard Steinkraus
ウィラード ステインクラウス デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2003296737A publication Critical patent/JP2003296737A/ja
Application granted granted Critical
Publication of JP4142463B2 publication Critical patent/JP4142463B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】 パターン認識を容易にするシステムおよび方
法を提供する。 【解決手段】 特徴抽出層および分類層を使用する、重
畳型ニューラルネットワークを有するパターン認識シス
テム。パターン認識システムは特徴抽出層は重畳層を含
み、分類層は完全接続層を含む。パターン認識システム
を、計算されたクロスエントロピー誤差を利用してトレ
ーニングすることができる。計算されたクロスエントロ
ピー誤差を利用して、パターン認識システムのトレーニ
ング可能パラメータが更新される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は一般にパターン認識
に関し、より詳細には、パターン認識を容易にする重畳
型ニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａ
ｌ ｎｅｕｒａｌｎｅｔｗｏｒｋ）を使用するシステム
および方法に関する。
【０００２】
【従来の技術】パターン認識は、たとえば、ペン／タブ
レット入力デバイスから取り込まれたキーストローク、
またはスキャンされたドキュメントに基づくことができ
る。多数の従来型パターン認識システムは目標言語の知
識を必要とする。多数の例では、ニューラルネットワー
クを使用するパターン認識システムのパラメータが、特
定の目標言語（たとえば、英語および／または日本語）
に合わせて手動で調節される。したがって、これらのパ
ターン認識システムは、システムが手動で調節された言
語以外の言語で使用するように容易に適合可能ではな
い。他の従来型パターン認識システムは入力キーストロ
ークの時間的知識を必要とし、したがって計算上複雑に
なる可能性がある。
【０００３】
【発明が解決しようとする課題】以下、本発明のいくつ
かの態様の基本的な理解を提供するために本発明の簡単
な概要を提示する。この要約は本発明の広範囲の概観で
はない。本発明の基本的／重要な要素を識別すること、
または本発明の範囲を線引きすることを意図するもので
はない。その唯一の目的は、本発明のいくつかの概念を
簡素化された形式で、後に提示するより詳細な説明への
前置きとして提示することである。
【０００４】本発明は、手書きパターン認識および／ま
たはスキャンされたドキュメントからの文字認識を実行
するために利用することができるパターン認識システム
に備える。パターン認識システムは、重畳型ニューラル
ネットワーク（ＣＮＮ）アーキテクチャに基づき、これ
はたとえば、クロスエントロピー最小化を利用してトレ
ーニングされた特徴認識層および分類層を含む。
【０００５】
【課題を解決するための手段】本発明の一態様によれ
ば、パターン認識システムがビットマップ入力パターン
（たとえば、２次元）を受信し、複数の確率出力を提供
する。パターン認識システムは、入力されたトレーニン
グデータから学習し、言語特有の知識、時間的ストロー
ク入力、ペン方向情報および／またはストローク順序を
必要としない。パターン認識システムは、評価されたビ
ットマップイメージパターン（クラス）についての出力
確率を提供する。出力確率は、たとえば、言語分類器、
言語モデルおよび／またはセグメンテーションモデルに
よって利用することができる。
【０００６】パターン認識システムを、クロスエントロ
ピー誤差最小化を利用してトレーニングすることができ
る。たとえば、パターン認識システムを、クロスエント
ロピー誤差を最小化する確率勾配降下を使用してトレー
ニングすることができる。
【０００７】特徴抽出層は特徴マップの重畳層を含み、
この中で特徴マップが実質的に同じセットの係数または
重みを使用して、受信された入力を修正するが、様々な
特徴マップが異なるセットの係数を使用する。よって、
特徴マップは異なる特徴を、受信された入力から抽出す
ることができる。特徴抽出層の出力は分類層に接続され
る。
【０００８】分類層は、隠れユニットの完全接続層を含
む。隠れユニットの量は、たとえば、学習されるタスク
の複雑さ、トレーニング例の量および／または質によっ
て決まる可能性がある。最後の分類層は出力確率を提供
する。
【０００９】本発明のもう１つの態様は、重畳層および
完全接続層を有するパターン認識システムに備える。パ
ターン認識システムはビットマップ入力パターン（たと
えば、２次元）を受信し、複数の出力確率を提供する。
パターン認識システムを、クロスエントロピー誤差最小
化を利用して（たとえば、クロスエントロピー誤差を最
小化する確率勾配降下を使用して）トレーニングするこ
とができる。
【００１０】重畳層は複数の特徴マップを含み、この中
で特徴マップが同じセットのトレーニング可能パラメー
タ（たとえば、係数または重み）を使用して、受信され
た入力を修正するが、様々な特徴マップが異なるセット
のトレーニング可能パラメータ（たとえば、係数または
重み）を使用する。特徴マップは、入力パターンの少な
くとも一部を受信する。よって、特徴マップは異なる特
徴を、受信された入力から抽出することができる。重畳
層の出力は完全接続層に接続される。
【００１１】完全接続層は重畳層からの出力を受信し、
重畳層によって抽出された特徴を分類する。完全接続層
は複数の出力確率を提供し、出力確率は、クラスに関連
付けられた確率を含む。完全接続層は複数の隠れユニッ
トを含む。完全接続層はそれ自体のトレーニング可能パ
ラメータのセットを有することができる。
【００１２】パターン認識システムを、クロスエントロ
ピー誤差最小化を利用してトレーニングすることがで
き、これは少なくとも部分的には以下の式に基づく。
【００１３】
【数４】
【００１４】Ｅは最小化されるエネルギーであり、ｎは
パターンを索引付けし、ｔは目標値であり、ｙｎ ｋはパ
ターンｎについてのユニットｋにおけるパターン認識シ
ステム出力であり、ｋはクラスを索引付けする（たとえ
ば、１０個のクラスを有する手書き数字では、ｃ＝１
０）。この誤差式は時として当技術分野ではカルバック
ライブラー情報量（またはＫＬ距離）と呼ばれる。一実
施例では、このクロスエントロピー誤差（Ｅ）が第１の
定数によって乗算される。もう１つの実施例では、第２
の定数がＥに加算される。さらに、パターン認識システ
ムを、確率勾配降下を使用してトレーニングすることが
できる。
【００１５】パターン認識システムを、文字アルファベ
ットまたはアルファベットのサブセットを認識するよう
にトレーニングすることができる。たとえば、入力がタ
ブレットから生じた場合、パターン認識システムを、ペ
ンの１または２ストロークにより生成される実質的にす
べての文字について利用することができる。中国語また
は日本語の文字の場合、これは全体のアルファベットの
５００個未満のクラスのサブセットに対応する。
【００１６】本発明のさらにもう１つの態様は、第１の
重畳層、第２の重畳層、第１の完全接続層および第２の
完全接続層を有するパターン認識システムに備える。オ
プショナルで、パターン認識システムは、前処理コンポ
ーネントを含むことができる。
【００１７】第１の重畳層および第２の重畳層が、ビッ
トマップイメージ入力パターン（たとえば、２次元）の
特徴を抽出する。第１の完全接続層および第２の完全接
続層が分類器として動作する。
【００１８】第１の重畳層は複数の第１の特徴マップを
含み、これが入力パターンの少なくとも一部を受信す
る。第１の特徴マップは第１のトレーニング可能パラメ
ータを含み、第１の特徴に関連付けられた出力を提供す
る。第１の特徴マップは、トレーニング可能パラメータ
（たとえば、係数または重み）の小さいカーネル（たと
えば、５×５）を含み、これが入力を乗算かつ合計し、
様々な位置についての結果を得る。実際には、重畳を、
「特徴」のイメージをその入力イメージから抽出するト
レーニング可能フィルタと見なすことができる。第１の
特徴マップのための第１のトレーニング可能パラメータ
は、入力イメージにおける異なる空間場所について等し
くすることができる（たとえば、場所から場所へ変換さ
れるとき）。
【００１９】第２の重畳層は第１の特徴マップの出力を
受信する。第２の重畳層は複数の第２の特徴マップを含
み、第２の特徴マップは、第１の特徴マップの出力の少
なくとも一部を受信する。第２の特徴マップは第２のト
レーニング可能パラメータを含み、第２の特徴に関連付
けられた出力を提供する。第２の特徴マップは同様に、
トレーニング可能パラメータ（たとえば、係数または重
み）の小さいカーネル（たとえば、５×５）を含み、こ
れが入力を乗算かつ合計し、様々な位置についての結果
を得る。再度、実際には、重畳を、「特徴」のイメージ
をその入力イメージから抽出するトレーニング可能フィ
ルタと見なすことができる。特徴をアンダーサンプルす
ることができ、たとえば、フィルタを１つおきの位置で
評価することができる。このアンダーサンプリングによ
り計算が減るだけでなく、学習される自由パラメータの
数も減り、その結果としてより小さいメモリフットプリ
ントおよびよりよい汎化が生じる。
【００２０】第１の完全接続層および第２の完全接続層
が完全に接続され、第１の重畳層および第２の重畳層に
よって計算された特徴のための分類器を実施する。第１
の完全接続層はトレーニング可能パラメータを有するこ
とができる。第１の完全接続層および第２の完全接続層
は複数の隠れユニットを含む。２つの完全接続層の間の
隠れユニットの数が、パターン認識システムの容量をコ
ントロールする。
【００２１】第２の完全接続層は出力確率を提供し、ト
レーニング可能パラメータを有することができる。出力
確率を、クラス（たとえば、パターン認識システムによ
って認識された目標パターン）に関連付けられた確率に
することができる。パターン認識システムを、クロスエ
ントロピー誤差最小化を利用してトレーニングすること
ができる。たとえば、パターン認識システムを、クロス
エントロピー誤差の程度を最小化する確率勾配降下を使
用してトレーニングして、ネットワークにクラスについ
ての確率を出力するように教えるようにすることができ
る。
【００２２】本発明のもう１つの態様は、パターン認識
システムのためのトレーニングシステムに備え、これは
パターン認識システム、クロスエントロピー誤差計算
器、バックプロパゲーション勾配降下コンポーネントお
よびトレーニング可能パラメータ更新コンポーネントを
有する。パターン認識システムがパターン入力（たとえ
ば、トレーニングパターン）を受信し、複数のクラス確
率出力を提供する。パターン認識システムは、重畳型ニ
ューラルネットワークアーキテクチャを利用することが
できる。
【００２３】クロスエントロピー誤差計算器は、パター
ン認識システムからの複数のクラス確率出力、およびト
レーニングクラス情報（たとえば、目標クラス）を受信
する。クロスエントロピー誤差計算器はクロスエントロ
ピー誤差を、少なくとも部分的には複数のクラス確率出
力およびトレーニングクラス情報（たとえば、目標クラ
ス）に基づいて計算する。クロスエントロピー誤差計算
器はこのように、トレーニングクラス情報（たとえば、
目標クラス）と、パターン認識システムの複数のクラス
確率出力の間の不一致を計算することができる。
【００２４】バックプロパゲーション勾配降下コンポー
ネントは、確率勾配降下アルゴリズム（たとえば、オン
ライン更新）を利用してトレーニングパラメータを更新
することができ、これには雑音のある、あるいは概算さ
れたバージョンの平均勾配を使用する。たとえば、バッ
クプロパゲーション勾配降下コンポーネントは、トレー
ニングパラメータの更新において以下の式を利用するこ
とができる。
【００２５】
【数５】
【００２６】ただし、Ｗはトレーニング可能パラメータ
のセットであり、εはスカラ定数である。
【００２７】トレーニング可能パラメータ更新コンポー
ネントは、パターン認識システムのトレーニングパラメ
ータを、少なくとも部分的には、バックプロパゲーショ
ン勾配降下コンポーネントから受信された、更新された
トレーニングパラメータに関する情報に基づいて更新す
る。
【００２８】クラス歪み（たとえば、ｘ変換、ｙ変換、
回転、スケーリング、並列の双曲変換、対角の双曲変換
および／または濃化）を有するトレーニングデータのセ
ットを利用することによって、トレーニングシステムが
パターン認識システムのパターン不変性を増すことがで
きる。
【００２９】本発明の他の態様は、パターン認識システ
ムをトレーニングするための方法、パターン認識のトレ
ーニングを容易にするシステムのためのコンピュータ実
行可能コンポーネントを有するコンピュータ可読媒体、
および２つ以上のコンピュータプロセスの間で伝送され
るように適合されたデータパケットを提供し、このデー
タパケットは、少なくとも部分的には重畳型ニューラル
ネットワークに基づく、パターン認識システムのための
トレーニング可能パラメータのセットを含むデータフィ
ールドを含み、このトレーニング可能パラメータのセッ
トは、少なくとも部分的には勾配降下アルゴリズムに基
づいて、計算されたエントロピー誤差を利用して更新さ
れる。
【００３０】前述および関係する目的の実施のために、
本発明のある例示的態様を本明細書で、以下の記載およ
び添付の図面に関連して記載する。しかし、これらの態
様は、本発明の原理を実施することができる様々な方法
のうち少数を示し、本発明はこのようなすべての態様お
よびそれらの同等物を含むように意図される。本発明の
他の利点および新しい特徴は、以下の発明の詳細な説明
が図面と共に考察されるとき、明らかになるであろう。
【００３１】
【発明の実施の形態】このとき本発明を、図面を参照し
て記載し、図面では全体で類似の参照番号を使用して類
似の要素を指す。以下の記載では、説明のために多数の
特定の詳細を述べ、これは本発明の完全な理解を提供す
るためである。しかし、本発明をこれらの特定の詳細な
しに実施できることは明らかになるであろう。他の場合
では、本発明の記載を容易にするために、周知の構造お
よびデバイスをブロック図の形式において示す。
【００３２】本願で使用するように、「コンピュータコ
ンポーネント」という用語は、コンピュータ関連のエン
ティティである、ハードウェア、ハードウェアおよびソ
フトウェアの組合せ、ソフトウェア、または実行中のソ
フトウェアのいずれも指すように意図される。たとえ
ば、コンピュータコンポーネントは、それだけに限定さ
れるものではないが、プロセッサ上で実行中のプロセ
ス、プロセッサ、オブジェクト、実行可能物、実行のス
レッド、プログラムおよび／またはコンピュータにする
ことができる。例示として、サーバ上で実行中のアプリ
ケーションおよびサーバの両方をコンピュータコンポー
ネントにすることができる。１つまたは複数のコンピュ
ータコンポーネントが、プロセスおよび／または実行の
スレッド内に存在することができ、コンポーネントを１
つのコンピュータ上に配置することができ、かつ／また
は２つ以上のコンピュータの間で分散させることができ
る。
【００３３】図１を参照して、本発明の一態様によるパ
ターン認識システム１００を例示する。パターン認識シ
ステム１００は、特徴抽出層１１０および分類層１２０
を含む。パターン認識システム１００はビットマップ入
力パターン１３０（たとえば、２次元）を受信し、最初
の出力確率１４０１ないしＭ番目の出力確率１４０Ｍを
提供し、Ｍは１より大きいか、あるいは１に等しい整数
である。最初の出力確率１４０１ないしＭ番目の出力確
率１４０Ｍを総称して、出力確率１４０と称することが
できる。「ビットマップ入力パターン」はＳ次元の非時
間的入力パターンを指す。
【００３４】パターン認識システム１００を利用して、
手書きパターン認識および／または文字認識を実行する
ことができる。たとえば、パターンは、スキャンされた
ドキュメントから生ずる可能性があり、かつ／または、
ペンまたはマウスの軌道の２次元ビットマップ投影にす
ることができる。パターン認識システム１００は重畳型
ニューラルネットワーク（ＣＮＮ）アーキテクチャに基
づき、これはたとえば、特徴抽出層１１０および分類層
１２０を含む。パターン認識システム１００は、入力さ
れたトレーニングデータから学習し、言語特有の知識、
時間的ストローク入力、ペン方向情報および／またはス
トローク順序を必要としない。パターン認識システム１
００は、ビットマップイメージ入力パターン１３０（た
とえば、ダウンサンプリングされた２９×２９ピクセル
のイメージ）を受信する。パターン認識システム１００
は、評価されたビットマップイメージパターン（クラ
ス）（たとえば、２次元）についての出力確率１４０を
提供する。出力確率１４０は、たとえば、言語分類器、
言語モデルおよび／またはセグメンテーションモデルに
よって利用することができる。
【００３５】パターン認識システム１００を、クロスエ
ントロピー誤差最小化を利用してトレーニングすること
ができる。たとえば、パターン認識システム１００を、
クロスエントロピー誤差を最小化する確率勾配降下を使
用してトレーニングすることができる。
【００３６】特徴抽出層１１０は特徴マップの重畳層を
含むことができる。「重畳層」は当技術分野で周知であ
り、一般にニューラルネットワークのコンポーネントを
指し、この中で、グループ（たとえば、特徴マップ）が
異なる場所で実質的に同じセットの係数または重みを使
用して、受信された入力を修正するが、様々なグループ
（たとえば、特徴マップ）が異なるセットの係数を使用
する。よって、グループ（たとえば、特徴マップ）は異
なる特徴を、受信された入力から抽出することができ
る。特徴抽出層１１０の出力は分類層１２０に接続され
る。
【００３７】分類層１２０は、隠れユニットの完全接続
層を含むことができる。隠れユニットの量は、たとえ
ば、学習されるタスクの複雑さ、トレーニング例の量お
よび／または質によって決まる可能性がある。この種類
のニューラルネットワークは当技術分野で周知であり、
よって簡潔にするために完全な記載を省略する。分類層
１２０は出力確率１４０（たとえば、０．０から１．０
の範囲のもの）を提供する。
【００３８】たとえば、１０個の数字（０ないし９）を
含む記号セットでは、分類層１２０が１０個の出力確率
１４０を０．０から１．０の範囲で提供することができ
る。一実施例では、出力確率１４０の和を１．０に等し
くなるようにすることが可能であるが、必ずしも望まし
くはない。別の実施例では、出力確率１４０の和は１．
０に等しくなく、各出力ユニットが独立して対応するク
ラスの確率を計算する。そのようにする利点は、ある場
合、実質的にすべての確率がすべてのクラスについて非
常に小さく、これが、入力が有効な文字ではないこと、
または信頼が非常に低いことを示すことである。加え
て、和を１．０にすることにより、勾配の計算が変わ
る。
【００３９】図１はパターン認識システム１００のため
のコンポーネントを例示するブロック図であるが、特徴
抽出層１１０および／または分類層１２０を１つまたは
複数のコンピュータコンポーネントとして、この用語が
本明細書で定義されるように実施できることを理解され
たい。したがって、本発明によれば、コンピュータ実行
可能コンポーネントがパターン認識システム１００を実
施するように動作可能であり、特徴抽出層１１０および
／または分類層１２０をコンピュータ可読媒体上に格納
することができ、これには、それだけに限定されるもの
ではないが、ＡＳＩＣ（特定用途向け集積回路）、ＣＤ
（コンパクトディスク）、ＤＶＤ（デジタルビデオディ
スク）、ＲＯＭ（読み取り専用メモリ）、フロッピー
（登録商標）ディスク、ハードディスク、ＥＥＰＲＯＭ
（電気的消去可能プログラマブル読み取り専用メモリ）
およびメモリスティックが含まれることを理解された
い。
【００４０】次に図２の、本発明の一態様によるパター
ン認識システム２００を見る。パターン認識システム２
００は、重畳層２１０および完全接続層２２０を含む。
パターン認識システム２００はビットマップ入力パター
ン２３０（たとえば、２次元）を受信し、最初の出力確
率２６０１ないしＮ番目の出力確率２６０Ｎを提供し、
Ｎは１より大きいか、あるいは１に等しい整数である。
最初の出力確率２６０ １ないしＮ番目の出力確率２６０
Ｎを総称して、出力確率２６０と称することができる。
パターン認識システム２００を、クロスエントロピー誤
差最小化を利用して（たとえば、クロスエントロピー誤
差を最小化する確率勾配降下を使用して）トレーニング
することができる。
【００４１】重畳層２１０は複数の特徴マップ２５０を
含む。「重畳層」は当技術分野で周知であり、一般にニ
ューラルネットワークのコンポーネントを指し、この中
で、特徴マップ２５０が同じセットのトレーニング可能
パラメータ（たとえば、係数または重み）を使用して、
受信された入力を修正するが、様々な特徴マップ２５０
が異なるセットのトレーニング可能パラメータ（たとえ
ば、係数または重み）を使用する。特徴マップ２５０は
入力パターンの少なくとも一部を受信する。よって、様
々な特徴マップ２５０が異なる特徴を、受信された入力
から抽出することができる。重畳層２１０の出力は完全
接続層２２０に接続される。
【００４２】完全接続層２２０は重畳層２１０からの出
力を受信し、重畳層２１０によって抽出された特徴を分
類する。完全接続層２２０は複数の出力確率２６０を提
供し、この出力確率は、クラスに関連付けられた確率を
含む。完全接続層２２０は複数の隠れユニット２４０を
含む。完全接続層２１０はそれ自体のトレーニング可能
パラメータのセットを有することができる。
【００４３】一実施例では、パターン認識システム２０
０が、クロスエントロピー誤差最小化を利用してトレー
ニングされ、これは少なくとも部分的には以下の式に基
づく。
【００４４】
【数６】
【００４５】ただし、Ｅは最小化されるエネルギーであ
り、ｎはパターンを索引付けし、ｔは目標値であり、ｙ
ｎ ｋはパターンｎについてのユニットｋにおけるパター
ン認識システム出力であり、ｋはクラスを索引付けする
（たとえば、１０個のクラスを有する手書き数字では、
ｃ＝１０）。この誤差式は時として当技術分野ではカル
バックライブラー情報量（またはＫＬ距離）と呼ばれ
る。一実施例では、このクロスエントロピー誤差（Ｅ）
が第１の定数によって乗算される。もう１つの実施例で
は、第２の定数がＥに加算される。さらに、パターン認
識システム２００を、確率勾配降下を使用してトレーニ
ングすることができる。
【００４６】パターン認識システム２００を、文字アル
ファベットまたはアルファベットのサブセットを認識す
るようにトレーニングすることができる。たとえば、入
力がタブレットから生じた場合、パターン認識システム
を、ペンの１または２ストロークにより生成される実質
的にすべての文字について利用することができる。中国
語または日本語の文字の場合、これは全体のアルファベ
ットの５００個未満のクラスのサブセットに対応する。
【００４７】重畳層２１０および／または完全接続層２
２０を１つまたは複数のコンピュータコンポーネントと
して、この用語が本明細書で定義されるように実施する
ことができる。
【００４８】このとき図３の、本発明の一態様によるパ
ターン認識システム３００を参照する。パターン認識シ
ステム３００は、第１の重畳層３１０、第２の重畳層３
２０、第１の完全接続層３３０および第２の完全接続層
３４０を含む。
【００４９】本発明によれば、パターン認識システム３
００は、１つ、２つまたはそれより多い重畳層および／
または１つ、２つまたはそれより多い完全接続層を使用
できることを理解されたい。
【００５０】簡単に図４を見ると、本発明の一態様によ
る重畳およびサブサンプリングの重み共有特性の例示的
構成４００が例示される。構成４００は、入力４１０、
第１の層４２０における１つの特徴マップ、および第２
の層４３０における１つの特徴マップを含む。構成４０
０はさらに、例示のため、問題を１次元に制限する。層
内で同じ数を有する各接続は、同じ値を有するようにさ
せることができる。重みは層の全体で共有されない。２
のサブサンプリングを第１の重畳層４２０上に例示す
る。見るとわかるように、位置の半分のみが計算され、
１つおきのユニットは計算されない。別法として、重畳
をあらゆる位置で計算し、平均層によって重畳に追従す
ることも可能であり、平均層の機能は分解能を下げるこ
とである。分解能を下げる目的は、第２の層がより広い
エリア上で特徴を統合できるようにすることである。他
の利点は、計算の減少、メモリフットプリントの減少、
学習時間の短縮、および汎化の改善である。サブサンプ
リングを、ＸおよびＹ方向で実行することができる。サ
ブサンプリングはまた、外観上不可解な数２９、１３お
よび４も担い、これは、図３のパターン認識システム３
００において境界を位置合わせする結果として生じる。
【００５１】次に図５を参照して、本発明の一態様によ
る特徴マップの例示的構成５００を例示する。第１の重
畳層５２０は５個の特徴を有する。しかし、第２の層５
３０は多数の特徴を有することができるが、説明のた
め、２つのみを例示する。第１の層５２０の各モジュー
ルが第２の層５３０における各モジュールに接続される
が、明瞭にするため、このような接続をただ１つのみ示
す。このようなモジュール接続の間に重み共有はない。
各モジュール接続は、図４に示すタイプの重畳である。
【００５２】図６に例示するように、パターン認識シス
テム３００はオプショナルで前処理コンポーネント３７
０を含むことができる。前処理コンポーネント３７０は
トレーニング可能でなくてもよい。たとえば、前処理コ
ンポーネント３７０は単にダウンサンプリング機能から
なることができる。別法として、前処理コンポーネント
３７０を非常に複雑にすることができ、たとえば、これ
がペン／マウスの入力を、パターン認識システム３００
に適した２次元ビットマップに変換することができる。
【００５３】図３に戻ると、パターン認識システム３０
０を利用して、手書きパターン認識（たとえば、言語独
立）および／またはスキャンされたドキュメントからの
文字認識を実行することができる。パターン認識システ
ム３００を、文字アルファベットまたはアルファベット
のサブセットを認識するようにトレーニングすることが
できる。たとえば、入力がタブレットから生じた場合、
パターン認識システムを、ペンの１または２ストローク
により生成される実質的にすべての文字について利用す
ることができる。中国語または日本語の文字の場合、こ
れは全体のアルファベットの５００個未満のクラスのサ
ブセットに対応する。
【００５４】パターン認識システム３００はＣＮＮアー
キテクチャに基づき、入力されたトレーニングデータか
ら学習し、言語特有の知識、時間的ストローク入力、ペ
ン方向情報および／またはストローク順序を必要としな
い。パターン認識システム３００は、ビットマップイメ
ージ入力パターン３５０（たとえば、２次元で非時間
的）を受信する。一実施例では、ビットマップイメージ
入力パターン３５０が、２３２×２３２の入力パターン
から、たとえばオプショナルの前処理コンポーネント３
７０によってダウンサンプルされた２９×２９ビットピ
クセルのイメージを含む。ビットマップイメージ入力パ
ターン３５０は、２次元バイナリイメージ（たとえば、
１２８×１２８）上に投影された、ダウンサンプルされ
たタブレット入力（たとえば、ペンおよび／またはスタ
イラスの軌道）に基づくことができる。このイメージ
は、Ｍｉｃｒｏｓｏｆｔ ＧＤＩ＋グラフィックライブ
ラリサブルーチンを使用することによって得ることがで
き、これは場所（Ｘ１，Ｙ１）から（Ｘ２，Ｙ２）まで
のバイナリのピクセルを所与の太さの線として設定する
ものである。イメージがダウンサンプルされるとき、こ
れがグレーレベルのイメージとなる。
【００５５】パターン認識システム３００は、最初の出
力確率３６０１ないしＰ番目の出力確率３６０Ｐを提供
し、Ｐは１より大きいか、あるいは１に等しい整数であ
る。最初の出力確率３６０１ないしＰ番目の出力確率３
６０Ｐを総称して、出力確率３６０と称することができ
る。出力確率３６０を、クラス（たとえば、パターン認
識システム３００によって認識された目標パターン）に
関連付けられた確率にすることができる。出力確率３６
０は、たとえば、言語分類器、言語モデルおよび／また
はセグメンテーションモデルによって利用することがで
きる。
【００５６】第１の重畳層３１０および第２の重畳層３
２０が、ビットマップイメージ入力パターン３５０の特
徴を抽出する。第１の完全接続層３３０および第２の完
全接続層３４０が分類器として動作する。
【００５７】第１の重畳層３１０は複数の第１の特徴マ
ップを含み、これが入力パターンの少なくとも一部を受
信する。第１の特徴マップは第１のトレーニング可能パ
ラメータを含み、第１の特徴に関連付けられた出力を提
供する。第１の特徴マップは、トレーニング可能パラメ
ータ（たとえば、係数または重み）の小さいカーネル
（たとえば、５×５）を含み、これが入力を乗算かつ合
計し、様々な位置についての結果を得る。実際には、重
畳を、「特徴」のイメージをその入力イメージから抽出
するトレーニング可能フィルタと見なすことができる。
第１の特徴マップのための第１のトレーニング可能パラ
メータは、入力イメージにおける異なる空間場所につい
て実質的に等しくすることができる（たとえば、特徴マ
ップ全体が各場所について変換されるとき）。
【００５８】一実施例では、第１の重畳層３１０が、場
所を１つおきにスキップしながら、入力の５個の重畳を
計算する。このサブサンプリングにより空間分解能が減
り、したがって計算が減るだけでなく、ネットワークに
いくつかの空間不変性を学習させる。第１の重畳層３１
０によって抽出された特徴は大抵はエッジおよびライン
交差検出であり、ＸおよびＹ方向における分解能の半分
を入力として有する（たとえば、図４および５に関する
記載を参照）。もう１つの実施例では、第１の重畳層３
１０が５個の第１の特徴マップを含む（たとえば、１５
６個の入力を受信する第１の特徴マップ）。
【００５９】第２の重畳層３２０は第１の特徴マップの
出力を受信する。第２の重畳層３２０は複数の第２の特
徴マップを含み、第２の特徴マップは、第１の特徴マッ
プの出力の少なくとも一部を受信する。第２の特徴マッ
プは第２のトレーニング可能パラメータを含み、第２の
特徴に関連付けられた出力を提供する。第２の特徴マッ
プは同様に、トレーニング可能パラメータ（たとえば、
係数または重み）の小さいカーネル（たとえば、５×
５）を含み、これが入力を乗算かつ合計し、様々な位置
についての結果を得る。再度、実際には、重畳を、「特
徴」のイメージをその入力イメージから抽出するトレー
ニング可能フィルタと見なすことができる。
【００６０】一実施例では、第２の重畳層３２０は第１
の重畳層３１０に類似しており、ただし５０個の特徴が
第１の重畳層３１０の結果から抽出される。再度、サブ
サンプリングにより、ネットワークに位置不変性を学習
させ、計算が減る。たとえば、第２の重畳層３２０が、
曲率、ループ、ストロークエンドおよび／またはストロ
ーク交差などの特徴を抽出することができる。もう１つ
の実施例では、第２の重畳層３２０が、５０個の第２の
特徴マップを含む（たとえば、２５個の入力を受信する
第２の特徴マップ）。
【００６１】第１の完全接続層３３０および第２の完全
接続層３４０が完全に接続され、第１の重畳層３１０お
よび第２の重畳層３２０によって計算された特徴のため
の分類器を実施する。第１の完全接続層３３０はトレー
ニング可能パラメータを有することができる。
【００６２】第１の完全接続層３３０および第２の完全
接続層３４０は、複数の隠れユニットを含む。２つの完
全接続層の間の隠れユニットの数が、パターン認識シス
テム３００の容量をコントロールする。
【００６３】一実施例では、パターン認識システム３０
０が、英語の数字（０ないし９）を認識するために使用
され、第１の完全接続層３３０が約１００個の隠れユニ
ットを含む。もう１つの実施例では、パターン認識シス
テム３００が、１および２ストロークの日本語文字を認
識するために使用され、第１の完全接続層３３０が約２
００個の隠れユニットを含む。
【００６４】第２の完全接続層は出力確率３６０を提供
する。出力確率３６０を、クラス（たとえば、パターン
認識システム３００によって認識された目標パターン）
に関連付けられた確率にすることができる。第２の完全
接続層３４０は、トレーニング可能パラメータを有する
ことができる。
【００６５】一実施例では、パターン認識システム３０
０が、英語の数字を認識するために使用され、第２の完
全接続層３４０が１０個の出力確率３６０を提供する。
もう１つの実施例では、パターン認識システム３００
が、１および２ストロークの日本語文字を認識するため
に使用され、第２の完全接続層３４０が約２５０個の出
力確率３６０を提供する。
【００６６】パターン認識システム３００を、クロスエ
ントロピー誤差最小化を利用してトレーニングすること
ができる。クロスエントロピー誤差最小化は、少なくと
も部分的には、上で述べた式（１）（たとえば、カルバ
ックライブラー情報量）に基づくことができる。一実施
例では、このクロスエントロピー誤差（Ｅ）が第１の定
数によって乗算される。もう１つの実施例では、第２の
定数がＥに加算される。
【００６７】たとえば、パターン認識システム３００
を、クロスエントロピー誤差の程度を最小化する確率勾
配降下を使用してトレーニングして、ネットワークにク
ラスについての確率を出力するように教えるようにする
ことができる。
【００６８】一実施例では、パターン認識システム３０
０が、２次元ビットマップイメージ入力パターン３５０
の５個の重畳を、場所を１つおきにスキップしながら計
算する第１の重畳層３１０を有する（たとえば、図４お
よび５に関する記載を参照）。したがって、第１の重畳
層３１０は５個の１３×１３の特徴を抽出する。第２の
重畳層３２０は同様に５０個の５×５の特徴を、第１の
重畳層３１０の結果から抽出する。第１の完全接続層３
３０および第２の完全接続層３４０が１００個の隠れユ
ニットを含み、第１の重畳層３１０および第２の重畳層
３２０によって計算された特徴のための分類器を実施す
る。
【００６９】この実施例のパターン認識システム３００
は、クロスエントロピー誤差の程度を最小化する確率勾
配降下を使用してトレーニングされて、ネットワークに
手書きの数字（０−９）のクラスについての確率を出力
するように教えるようにされた。この実施例のパターン
認識システム３００は、ＭＮＩＳＴ標準の手書き数字デ
ータベースを利用してベンチマークされた。ＭＮＩＳＴ
データベースは、トレーニング用の６０，０００個の手
書き数字、およびテスト用の１０，０００個の手書き数
字からなる。この実施例のパターン認識システム３００
を既存のシステムに対して、誤りの割合において比較し
た結果を以下にリストする。
【００７０】
【表１】
【００７１】したがって、この実施例のパターン認識シ
ステム３００は、この標準データベース上で最良のパフ
ォーマンスを達成した。
【００７２】加えて、パターン認識システム３００は、
タブレット時間的情報および／またはストローク順序に
依拠しない。入力されたキーストロークはビットマップ
上に投影され、これが次いでパターン認識システム３０
０に、２次元イメージのビットマップイメージ入力パタ
ーン３５０として送られる。さらに、パターン認識シス
テム３００はデータの学習に基づき、したがって、多数
の従来のシステムのように、手動で作られた言語特有の
知識を頼りにしない。パターン認識システム３００を、
１ストロークのアジア文字、２ストロークのアジア文
字、１ストロークの日本語文字、２ストロークの日本語
文字および／または複数のＡＳＣＩＩ文字を認識するよ
うにトレーニングすることができる。
【００７３】簡単に図７を見ると、本発明の一態様によ
るトレーニング可能パラメータを使用するパターン認識
システム７００が例示される。パターン認識システム７
００は入力パターンを受信し、クラス確率を出力とし
て、少なくとも部分的にはパターンおよびトレーニング
可能パラメータに基づいて提供する。
【００７４】次に図８を参照して、本発明の一態様によ
るバックプロパゲーション学習システム８００を例示す
る。バックプロパゲーション学習システム８００は、バ
ックプロパゲーション学習コンポーネント８１０を含
み、これはトレーニングデータ８２０（たとえば、クラ
ス確率とトレーニングクラス情報の間のクロスエントロ
ピー誤差に基づく）を受信し、修正されたトレーニング
可能パラメータ８３０を（たとえば、パターン認識シス
テムに）提供する。
【００７５】次に図９を参照して、本発明の一態様によ
るパターン認識システムのためのトレーニングシステム
９００を例示する。トレーニングシステム９００は、パ
ターン認識システム９１０、クロスエントロピー誤差計
算器９２０、バックプロパゲーション勾配降下コンポー
ネント９３０およびトレーニング可能パラメータ更新コ
ンポーネント９４０を含む。
【００７６】パターン認識システム９１０がパターン入
力（たとえば、トレーニングパターン）を受信し、複数
のクラス確率出力を提供する。パターン認識システム９
１０は、以前に述べたＣＮＮアーキテクチャを利用する
ことができる。
【００７７】クロスエントロピー誤差計算器９２０は、
パターン認識システム９１０からの複数のクラス確率出
力、およびトレーニングクラス情報（たとえば、目標ク
ラス）を受信する。クロスエントロピー誤差計算器９２
０はクロスエントロピー誤差を、少なくとも部分的には
複数のクラス確率出力およびトレーニングクラス情報
（たとえば、目標クラス）に基づいて計算する。たとえ
ば、クロスエントロピー誤差計算器９２０は、上で設定
された式（１）を、クロスエントロピー誤差（カルバッ
クライブラー情報量）の計算において利用することがで
きる。一実施例では、計算されたクロスエントロピー誤
差が第１の定数によって乗算される。もう１つの実施例
では、第２の定数が、計算されたクロスエントロピー誤
差に加算される。クロスエントロピー誤差計算器９２０
はこのように、トレーニングクラス情報（たとえば、目
標クラス）と、パターン認識システム９１０の複数のク
ラス確率出力の間の不一致を計算することができる。
【００７８】バックプロパゲーション勾配降下コンポー
ネント９３０は、確率勾配降下アルゴリズム（たとえ
ば、オンライン更新）を利用してトレーニングパラメー
タを更新することができ、これには雑音のある、あるい
は概算されたバージョンの平均勾配を使用する。たとえ
ば、バックプロパゲーション勾配降下コンポーネント９
３０は、トレーニングパラメータの更新において以下の
式を利用することができる。
【００７９】
【数７】
【００８０】ただし、Ｗはトレーニング可能パラメータ
のセットであり、εはスカラ定数である。
【００８１】トレーニング可能パラメータ更新コンポー
ネント９４０は、パターン認識システム９１０のトレー
ニングパラメータを、少なくとも部分的には、バックプ
ロパゲーション勾配降下コンポーネント９３０から受信
された、更新されたトレーニングパラメータに関する情
報に基づいて更新する。
【００８２】クラス歪み（たとえば、ｘ変換、ｙ変換、
回転、スケーリング、並列の双曲変換、対角の双曲変換
および／または濃化）を有するトレーニングデータのセ
ットを利用することによって、トレーニングシステム９
００がパターン認識システム９１０のパターン不変性を
増すことができる。
【００８３】パターン認識システム９１０、クロスエン
トロピー誤差計算器９２０、バックプロパゲーション勾
配降下コンポーネント９３０および／またはトレーニン
グ可能パラメータ更新コンポーネント９４０を、１つま
たは複数のコンピュータコンポーネントとして、この用
語が本明細書で定義されるように実施することができ
る。
【００８４】上で図示かつ記載した例示的システムに鑑
みて、本発明により実施することができる方法は、図１
０の流れ図を参照してよりよく理解されるであろう。説
明を簡単にするために、この方法を一連のブロックとし
て図示かつ記載するが、本発明はブロックの順序によっ
て限定されず、これは本発明により、いくつかのブロッ
クが、本明細書に図示かつ記載したものとは異なる順序
で、かつ／または他のブロックと同時に起こることがで
きるからであることを理解されたい。さらに、例示した
すべてのブロックが、本発明による方法を実施するため
に必要である可能性はない。
【００８５】本発明を一般に、１つまたは複数のコンポ
ーネントによって実行された、プログラムモジュールな
どのコンピュータ実行可能命令に関連して記載すること
ができる。一般に、プログラムモジュールには、ルーチ
ン、プログラム、オブジェクト、データ構造など、特定
のタスクを実行するか、あるいは特定の抽象データ型を
実施するものが含まれる。通常、プログラムモジュール
の機能性を、様々な実施形態において望ましいように結
合または分散させることができる。
【００８６】図１０を見ると、本発明の一態様によるパ
ターン認識システムをトレーニングするための方法１０
００が例示される。１０１０で、パターン認識がトレー
ニングパターン上で、パターン認識システムを利用し
て、少なくとも部分的には、トレーニング可能パラメー
タのセットを有する重畳型ニューラルネットワークに基
づいて実行される。１０２０で、複数の出力確率がトレ
ーニングパターンに基づいて提供される。１０３０で、
パターン認識およびトレーニングパターンに関連付けら
れた情報によって生成された出力確率のクロスエントロ
ピー誤差が計算される。１０４０で、パターン認識のた
めに利用されたトレーニング可能パラメータのセット
が、少なくとも部分的には勾配降下アルゴリズムに基づ
いて、計算されたクロスエントロピー誤差を利用して更
新される。
【００８７】本発明のシステムおよび／または方法をパ
ターン認識システムにおいて利用できることを理解され
たい。さらに、本発明のシステムおよび／または方法
を、パターン認識アプリケーションの莫大なアレイにお
いて使用することができ、これには、それだけに限定さ
れるものではないが、手書き認識システム、ドキュメン
トスキャナ、光学式文字認識システム、携帯情報端末
（ＰＤＡ）および／またはタブレットパーソナルコンポ
ーネントシステムが含まれることは当業者には理解され
よう。
【００８８】本発明の様々な態様のための追加の状況を
提供するために、図１１および以下の考察は、本発明の
様々な態様を実施することができる、適切なオペレーテ
ィング環境１１１０の簡潔で一般的な記載を例示するよ
うに意図される。本発明を一般に、１つまたは複数のコ
ンピュータまたは他のデバイスによって実行された、プ
ログラムモジュールなどのコンピュータ実行可能命令に
関連して記載するが、本発明を、他のプログラムモジュ
ールとの組合せにおいて、かつ／またはハードウェアお
よびソフトウェアの組合せとして実施することもできる
ことは当業者には理解されよう。しかし、一般にプログ
ラムモジュールには、ルーチン、プログラム、オブジェ
クト、コンポーネント、データ構造など、特定のタスク
を実行するか、あるいは特定のデータ型を実施するもの
が含まれる。オペレーティング環境１１１０は適切なオ
ペレーティング環境の一実施例でしかなく、本発明の使
用または機能性の範囲に関するいかなる限定も示唆する
ように意図されるものではない。本発明による使用に適
切である可能性のある他の周知のコンピュータシステ
ム、環境および／または構成には、それだけに限定され
るものではないが、パーソナルコンピュータ、ハンドヘ
ルドまたはラップトップデバイス、マルチプロセッサシ
ステム、マイクロプロセッサベースのシステム、プログ
ラマブルなコンシューマエレクトロニクス、ネットワー
クＰＣ、ミニコンピュータ、メインフレームコンピュー
タ、上のシステムまたはデバイスを含む分散コンピュー
ティング環境などが含まれる。
【００８９】図１１を参照すると、本発明の様々な態様
を実施するための例示的環境１１１０がコンピュータ１
１１２を含む。コンピュータ１１１２は、処理装置１１
１４、システムメモリ１１１６およびシステムバス１１
１８を含む。システムバス１１１８はシステムコンポー
ネントを結合し、これには、それだけに限定されるもの
ではないが、システムメモリ１１１６を処理装置１１１
４に結合することが含まれる。処理装置１１１４を、様
々な使用可能なプロセッサのいずれかにすることができ
る。デュアルマイクロプロセッサおよび他のマルチプロ
セッサアーキテクチャも、処理装置１１１４として使用
することができる。
【００９０】システムバス１１１８は、いくつかのタイ
プのバス構造のいずれかにすることができ、これには、
メモリバスまたはメモリコントローラ、周辺バスまたは
外部バス、および／またはローカルバスが含まれ、これ
は様々な使用可能なバスアーキテクチャを使用し、これ
には、それだけに限定されるものではないが、業界標準
アーキテクチャ（ＩＳＡ）、マイクロチャネルアーキテ
クチャ（ＭＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、Ｉｎｔｅ
ｌｌｉｇｅｎｔ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ
（ＩＤＥ）、ＶＥＳＡローカルバス（ＶＬＢ）、周辺装
置相互接続（ＰＣＩ）、ユニバーサルシリアルバス（Ｕ
ＳＢ）、アドバンスドグラフィックスポート（ＡＧ
Ｐ）、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏ
ｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓ
ｏｃｉａｔｉｏｎバス（ＰＣＭＣＩＡ）およびＳｍａｌ
ｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｆ
ａｃｅ（ＳＣＳＩ）が含まれる。
【００９１】システムメモリ１１１６は揮発性メモリ１
１２０および不揮発性メモリ１１２２を含む。基本入出
力システム（ＢＩＯＳ）は、起動中など、コンピュータ
１１１２内の要素の間で情報を転送するための基本ルー
チンを含み、不揮発性メモリ１１２２に格納される。例
示として、限定としてではなく、不揮発性メモリ１１２
２には、読み取り専用メモリ（ＲＯＭ）、プログラマブ
ルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ
（ＥＰＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯ
Ｍ）またはフラッシュメモリが含まれる可能性がある。
揮発性メモリ１１２０はランダムアクセスメモリ（ＲＡ
Ｍ）を含み、これが外部キャッシュメモリとして動作す
る。例示として、限定としてではなく、ＲＡＭは多数の
形式において使用可能であり、これはシンクロナスＲＡ
Ｍ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シ
ンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレー
トＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、拡張ＳＤＲＡＭ
（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡ
Ｍ）およびダイレクトラムバスＲＡＭ（ＤＲＲＡＭ）な
どである。
【００９２】コンピュータ１１１２はまた、取外し可能
／取外し不能、揮発性／不揮発性のコンピュータ記憶媒
体も含む。図１１は、たとえばディスク記憶装置１１２
４を例示する。ディスク記憶装置１１２４には、それだ
けに限定されるものではないが、磁気ディスクドライ
ブ、フロッピー（登録商標）ディスクドライブ、テープ
ドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−１
００ドライブ、フラッシュメモリカードまたはメモリス
ティックのようなデバイスが含まれる。加えて、ディス
ク記憶装置１１２４は記憶媒体を別々に、あるいは他の
記憶媒体と組み合わせて含むことができ、これには、そ
れだけに限定されるものではないが、コンパクトディス
クＲＯＭデバイス（ＣＤ−ＲＯＭ）、ＣＤ記録可能ドラ
イブ（ＣＤ−Ｒドライブ）、ＣＤ書き換え可能ドライブ
（ＣＤ−ＲＷドライブ）またはデジタル多用途ディスク
ＲＯＭドライブ（ＤＶＤ−ＲＯＭ）など、光ディスクド
ライブが含まれる。ディスク記憶装置１１２４をシステ
ムバス１１１８に容易に接続するため、通常は、インタ
ーフェイス１１２６などの取外し可能または取外し不能
インターフェイスが使用される。
【００９３】図１１が、ユーザと、適切なオペレーティ
ング環境１１１０に記載した基本コンピュータリソース
の間の媒介物として動作するソフトウェアを記載するこ
とを理解されたい。このようなソフトウェアにはオペレ
ーティングシステム１１２８が含まれる。オペレーティ
ングシステム１１２８は、ディスク記憶装置１１２４上
に格納することができ、コンピュータシステム１１１２
のリソースをコントロールかつ割り振るように動作す
る。システムアプリケーション１１３０は、システムメ
モリ１１１６内またはディスク記憶装置１１２４上に格
納されたプログラムモジュール１１３２およびプログラ
ムデータ１１３４を通じて、オペレーティングシステム
１１２８によるリソースの管理を利用する。本発明を、
様々なオペレーティングシステム、またはオペレーティ
ングシステムの組合せにより実施できることを理解され
たい。
【００９４】ユーザがコマンドまたは情報をコンピュー
タ１１１２に、入力デバイス１１３６を通じて入力す
る。入力デバイス１１３６には、それだけに限定される
ものではないが、マウス、トラックボール、スタイラ
ス、タッチパッド、キーボード、マイクロフォン、ジョ
イスティック、ゲームパッド、衛星放送受信アンテナ、
スキャナ、ＴＶチューナーカード、デジタルカメラ、デ
ジタルビデオカメラ、ｗｅｂカメラなどのポインティン
グデバイスが含まれる。これらおよび他の入力デバイス
が処理装置１１１４に、インターフェイスポート１１３
８を介してシステムバス１１１８を通じて接続する。イ
ンターフェイスポート１１３８には、たとえば、シリア
ルポート、パラレルポート、ゲームポートおよびユニバ
ーサルシリアルバス（ＵＳＢ）が含まれる。出力デバイ
ス１１４０は、入力デバイス１１３６と同じタイプのポ
ートのいくつかを使用する。したがって、たとえば、Ｕ
ＳＢポートを使用して入力をコンピュータ１１１２に提
供し、かつ情報をコンピュータ１１１２から出力デバイ
ス１１４０に出力することができる。出力アダプタ１１
４２が設けられて、他の出力デバイス１１４０の中に、
特殊なアダプタを必要とするモニタ、スピーカおよびプ
リンタのようないくつかの出力デバイス１１４０がある
ことを例示する。出力アダプタ１１４２には、例示とし
て、限定としてではなく、出力デバイス１１４０とシス
テムバス１１１８の間の接続の手段を提供するビデオお
よびサウンドカードが含まれる。リモートコンピュータ
１１４４など、他のデバイスおよび／またはデバイスの
システムが入力および出力機能を提供することに留意さ
れたい。
【００９５】コンピュータ１１１２は、ネットワーク化
された環境において、リモートコンピュータ１１４４な
ど、１つまたは複数のリモートコンピュータへの論理接
続を使用して動作することができる。リモートコンピュ
ータ１１４４は、パーソナルコンピュータ、サーバ、ル
ータ、ネットワークＰＣ、ワークステーション、マイク
ロプロセッサベースの機器、ピアデバイスまたは他の共
通ネットワークノードなどにすることができ、通常はコ
ンピュータ１１１２に関して記載した要素の多数または
すべてを含む。簡潔にするため、メモリ記憶装置１１４
６のみをリモートコンピュータ１１４４と共に例示す
る。リモートコンピュータ１１４４が論理的にコンピュ
ータ１１１２に、ネットワークインターフェイス１１４
８を通じて接続され、次いで通信接続１１５０を介して
物理的に接続される。ネットワークインターフェイス１
１４８は、ローカルエリアネットワーク（ＬＡＮ）およ
び広域ネットワーク（ＷＡＮ）など、通信ネットワーク
を包含する。ＬＡＮ技術には、ファイバ分散データイン
ターフェイス（ＦＤＤＩ）、銅分散データインターフェ
イス（ＣＤＤＩ）、イーサネット（登録商標）／ＩＥＥ
Ｅ １１０２．３、トークンリング／ＩＥＥＥ １１０
２．５などが含まれる。ＷＡＮ技術には、それだけに限
定されるものではないが、２地点間リンク、サービス総
合ディジタル網（ＩＳＤＮ）およびそれらの変形形態の
ような回線交換網、パケット交換網およびディジタル加
入者回線（ＤＳＬ）が含まれる。
【００９６】通信接続１１５０は、ネットワークインタ
ーフェイス１１４８をバス１１１８に接続するために使
用されるハードウェア／ソフトウェアを指す。通信接続
１１５０を例示的に明瞭にするためにコンピュータ１１
１２の内部に示すが、これをコンピュータ１１１２の外
部にすることもできる。ネットワークインターフェイス
１１４８への接続のために必要なハードウェア／ソフト
ウェアには、例示のためにのみ、通常の電話のグレード
のモデムを含むモデム、ケーブルモデムおよびＤＳＬモ
デム、ＩＳＤＮアダプタおよびイーサネット（登録商
標）カードなど、内部および外部の技術が含まれる。
【００９７】上で記載したものには本発明の実施例が含
まれる。本発明を記載するための、考えられるあらゆる
組合せのコンポーネントまたは方法を記載することが可
能ではないことは言うまでもないが、本発明のさらに多
数の組合せおよび入れ替えが可能であることは当業者に
は理解されよう。したがって、本発明は、付属の特許請
求の範囲の精神および範囲内に入るこのような変更、修
正および変形形態のすべてを包含するように意図され
る。さらに、「含む（ｉｎｃｌｕｄｅｓ）」という用語
が詳細な説明または特許請求の範囲において使用される
範囲まで、このような用語は、「含む（ｃｏｍｐｒｉｓ
ｉｎｇ）」という用語に類似の方法で、「含む（ｃｏｍ
ｐｒｉｓｉｎｇ）」が従来の言葉として特許請求の範囲
において使用されるときに解釈されるように、包括的で
あるように意図される。
【図面の簡単な説明】
【図１】本発明の一態様によるパターン認識システムの
ブロック図である。
【図２】本発明の一態様によるパターン認識システムの
ブロック図である。
【図３】本発明の一態様によるパターン認識システムの
ブロック図である。
【図４】本発明の一態様による、重畳およびサブサンプ
リングの重み共有特性の例示的構成のブロック図であ
る。
【図５】本発明の一態様による特徴マップの例示的構成
のブロック図である。
【図６】本発明の一態様によるパターン認識システムの
ブロック図である。
【図７】本発明の一態様によるトレーニング可能パラメ
ータを使用するパターン認識システムのブロック図であ
る。
【図８】本発明の一態様によるバックプロパゲーション
学習システムのブロック図である。
【図９】本発明の一態様によるパターン認識システムの
ためのトレーニングシステムのブロック図である。
【図１０】本発明の一態様によるパターン認識システム
をトレーニングするための方法を例示する流れ図であ
る。
【図１１】本発明が機能することができる一実施例のオ
ペレーティング環境を例示する図である。
【符号の説明】
１００、２００、３００、７００、９１０ パターン認
識システム １３０、２３０ ビットマップ入力パターン １４０、２６０、３６０ 出力確率 ２１０ 重畳層 ２２０ 完全接続層 ２４０ 隠れユニット ２５０ 特徴マップ ３１０、４２０、５２０ 第１の重畳層 ３２０、４３０、５３０ 第２の重畳層 ３３０ 第１の完全接続層 ３４０ 第２の完全接続層 ３５０ ビットマップイメージ入力パターン ８３０ トレーニング可能パラメータ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 パトリス ワイ．シマルド アメリカ合衆国 98005 ワシントン州 ベルビュー ノースイースト 31 プレイ ス 13126 (72)発明者 ジョン シー．プラット アメリカ合衆国 98005 ワシントン州 ベルビュー 130 プレイス サウスイー スト 2109 (72)発明者 デイビッド ウィラード ステインクラウ ス アメリカ合衆国 87501 ニューメキシコ 州 サンタフェ ゴンザレス ロード 837 Ｆターム(参考） 5L096 BA17 GA30 GA47 HA09 HA11 KA04

Claims (33)

    【特許請求の範囲】
  1. 【請求項１】 非時間的入力パターンを受信する少なく
    とも１つの重畳層であって、前記非時間的入力パターン
    の少なくとも一部を受信し、かつトレーニング可能パラ
    メータを含む複数の特徴マップを含み、前記非時間的入
    力パターンから抽出された特徴に関連付けられた出力を
    提供する重畳層と、 前記少なくとも１つの重畳層からの出力を受信し、前記
    少なくとも１つの重畳層によって抽出された前記特徴を
    分類し、クラスに関連付けられた確率を含む複数の出力
    を提供する少なくとも１つの完全接続層であって、パタ
    ーン認識システムが、クロスエントロピー誤差最小化を
    利用してトレーニングされる完全接続層とを含むことを
    特徴とするパターン認識システム。
  2. 【請求項２】 前記特徴マップのための前記トレーニン
    グ可能パラメータが等しいことを特徴とする請求項１に
    記載のパターン認識システム。
  3. 【請求項３】 クロスエントロピー誤差最小化が少なく
    とも部分的には式 【数１】 に基づき、ただし、Ｅは最小化されるエネルギーであ
    り、 ｎはパターンを索引付けし、 ｔは目標値であり、 ｙｎ ｋはパターンｎについてのユニットｋにおけるパタ
    ーン認識出力であり、ｋは前記クラスを索引付けするこ
    とを特徴とする請求項１に記載のパターン認識システ
    ム。
  4. 【請求項４】 確率勾配降下アルゴリズムを使用してト
    レーニングされることを特徴とする請求項１に記載のパ
    ターン認識システム。
  5. 【請求項５】 １ストロークのアジア文字を認識するよ
    うにトレーニングされることを特徴とする請求項１に記
    載のパターン認識システム。
  6. 【請求項６】 ２ストロークのアジア文字を認識するよ
    うにトレーニングされることを特徴とする請求項１に記
    載のパターン認識システム。
  7. 【請求項７】 １ストロークの日本語文字を認識するよ
    うにトレーニングされることを特徴とする請求項１に記
    載のパターン認識システム。
  8. 【請求項８】 ２ストロークの日本語文字を認識するよ
    うにトレーニングされることを特徴とする請求項１に記
    載のパターン認識システム。
  9. 【請求項９】 複数のＡＳＣＩＩ文字を認識するように
    トレーニングされることを特徴とする請求項１に記載の
    パターン認識システム。
  10. 【請求項１０】 ビットマップ入力パターンを受信する
    第１の重畳層であって、前記ビットマップ入力パターン
    の少なくとも一部を受信し、第１のトレーニング可能パ
    ラメータを含み、前記ビットマップ入力パターンから抽
    出された第１の特徴に関連付けられた出力を提供する複
    数の第１の特徴マップを含む重畳層と、 前記第１の特徴マップの出力を受信する第２の重畳層で
    あって、前記第１の特徴マップの前記出力の少なくとも
    一部を受信し、第２のトレーニング可能パラメータを含
    み、第２の特徴に関連付けられた出力を提供する複数の
    第２の特徴マップを含む重畳層と、 前記第２の特徴マップの前記出力を分類し、出力を提供
    する第１の完全接続層と、 前記第１の完全接続層の前記出力を分類し、クラスに関
    連付けられた確率を含む複数の出力を提供する第２の完
    全接続層であって、前記パターン認識システムが、クロ
    スエントロピー誤差最小化を利用してトレーニングされ
    る第２の完全接続層とを含むことを特徴とするパターン
    認識システム。
  11. 【請求項１１】 前記第１の重畳層が５個の第１の特徴
    マップを含むことを特徴とする請求項１０に記載のパタ
    ーン認識システム。
  12. 【請求項１２】 前記第１の特徴マップが１５６個の入
    力を受信することを特徴とする請求項１１に記載のパタ
    ーン認識システム。
  13. 【請求項１３】 前記第２の重畳層が５０個の第２の特
    徴マップを含むことを特徴とする請求項１０に記載のパ
    ターン認識システム。
  14. 【請求項１４】 前記第２の特徴マップが２５個の入力
    を受信することを特徴とする請求項１３に記載のパター
    ン認識システム。
  15. 【請求項１５】 前記第１の完全接続層が１００個の隠
    れユニットを含むことを特徴とする請求項１０に記載の
    パターン認識システム。
  16. 【請求項１６】 前記第１の特徴マップのための第１の
    トレーニング可能パラメータが等しいことを特徴とする
    請求項１０に記載のパターン認識システム。
  17. 【請求項１７】 クロスエントロピー誤差最小化が少な
    くとも部分的には式 【数２】 に基づき、ただし、Ｅは最小化されるエネルギーであ
    り、 ｎはパターンを索引付けし、 ｔは目標値であり、 ｙｎ ｋはパターンｎについてのユニットｋにおける前記
    パターン認識システム出力であり、 ｋは前記クラスを索引付けすることを特徴とする請求項
    １０に記載のパターン認識システム。
  18. 【請求項１８】 確率勾配降下アルゴリズムを使用して
    トレーニングされることを特徴とする請求項１０に記載
    のパターン認識システム。
  19. 【請求項１９】 １ストロークのアジア文字を認識する
    ようにトレーニングされることを特徴とする請求項１０
    に記載のパターン認識システム。
  20. 【請求項２０】 ２ストロークのアジア文字を認識する
    ようにトレーニングされることを特徴とする請求項１０
    に記載のパターン認識システム。
  21. 【請求項２１】 １ストロークの日本語文字を認識する
    ようにトレーニングされることを特徴とする請求項１０
    に記載のパターン認識システム。
  22. 【請求項２２】 ２ストロークの日本語文字を認識する
    ようにトレーニングされることを特徴とする請求項１０
    に記載のパターン認識システム。
  23. 【請求項２３】 複数のＡＳＣＩＩ文字を認識するよう
    にトレーニングされることを特徴とする請求項１０に記
    載のパターン認識システム。
  24. 【請求項２４】 請求項１０に記載のパターン認識シス
    テムを使用することを特徴とするドキュメントスキャ
    ナ。
  25. 【請求項２５】 請求項１０に記載のパターン認識シス
    テムを使用することを特徴とする光学式文字認識システ
    ム。
  26. 【請求項２６】 請求項１０に記載のパターン認識シス
    テムを使用することを特徴とする携帯情報端末。
  27. 【請求項２７】 請求項１０に記載のパターン認識シス
    テムを使用することを特徴とするタブレットパーソナル
    コンピュータ。
  28. 【請求項２８】 パターン認識システムをトレーニング
    するためのシステムであって、 非時間的入力パターンを受信し、複数のクラス確率出力
    を提供する、重畳型ニューラルネットワークを含むパタ
    ーン認識システムと、 クロスエントロピー誤差を、少なくとも部分的には前記
    複数のクラス確率出力およびトレーニングクラス情報に
    基づいて計算するクロスエントロピー誤差計算器と、 確率勾配降下アルゴリズムを利用して、少なくとも部分
    的には前記クロスエントロピー誤差に基づいて前記パタ
    ーン認識システムのトレーニング可能パラメータを更新
    するバックプロパゲーション勾配降下コンポーネント
    と、 前記パターン認識システムの前記トレーニング可能パラ
    メータを更新するトレーニング可能パラメータ更新コン
    ポーネントとを含むことを特徴とするシステム。
  29. 【請求項２９】 前記バックプロパゲーション勾配降下
    コンポーネントは、前記トレーニング可能パラメータの
    更新において式 【数３】 を利用し、ただし、Ｗはトレーニング可能パラメータの
    セットであり、 εはスカラ定数であることを特徴とする請求項２８に記
    載のシステム。
  30. 【請求項３０】 パターン認識システムをトレーニング
    するための方法であって、 トレーニングパターンにおけるパターン認識を、少なく
    とも部分的には、トレーニング可能パラメータのセット
    を有する重畳型ニューラルネットワークに基づいて、パ
    ターン認識システムを利用して実行するステップと、 複数のクラス確率出力を前記トレーニングパターンに基
    づいて提供するステップと、 クロスエントロピー誤差を、少なくとも部分的には、前
    記複数のクラス確率出力および前記トレーニングパター
    ンに関連付けられた情報に基づいて計算するステップ
    と、 前記トレーニング可能パラメータのセットを、少なくと
    も部分的には勾配降下アルゴリズムに基づいて、計算さ
    れたエントロピー誤差を利用して更新するステップとを
    含むことを特徴とする方法。
  31. 【請求項３１】 パターン認識システムのトレーニング
    を容易にする２つ以上のコンピュータコンポーネントの
    間で伝送されるデータパケットであって、 少なくとも部分的には重畳型ニューラルネットワークに
    基づく、パターン認識システムのためのトレーニング可
    能パラメータのセットを含むデータフィールドを含み、
    前記トレーニング可能パラメータのセットが、少なくと
    も部分的には勾配降下アルゴリズムに基づいて、計算さ
    れたエントロピー誤差を利用して更新されることを特徴
    とするデータパケット。
  32. 【請求項３２】 パターン認識のトレーニングを容易に
    するシステムのコンピュータ実行可能コンポーネントを
    格納するコンピュータ可読媒体であって、 非時間的入力パターンを受信し、かつ複数のクラス確率
    出力を提供する重畳型ニューラルネットワークを含むパ
    ターン認識コンポーネントと、 クロスエントロピー誤差を、少なくとも部分的には前記
    複数のクラス確率出力およびトレーニングクラス情報に
    基づいて計算するクロスエントロピー誤差計算器コンポ
    ーネントと、 確率勾配降下アルゴリズムを利用して、少なくとも部分
    的には前記クロスエントロピー誤差に基づいて前記パタ
    ーン認識システムのトレーニング可能パラメータを更新
    するバックプロパゲーション勾配降下コンポーネント
    と、 前記パターン認識システムの前記トレーニング可能パラ
    メータを更新するトレーニング可能パラメータ更新コン
    ポーネントとを含むことを特徴とするコンピュータ可読
    媒体。
  33. 【請求項３３】 パターン認識システムのためのトレー
    ニングシステムであって、 非時間的パターンを入力する手段と、 前記非時間的入力パターンを受信し、複数のクラス確率
    出力を提供する重畳型ニューラルネットワークを利用し
    て、パターン認識を実行する手段と、 クロスエントロピー誤差を、少なくとも部分的には前記
    複数のクラス確率出力およびトレーニングクラス情報に
    基づいて計算する手段と、 パターン認識を実行する手段のトレーニング可能パラメ
    ータを更新する手段であって、確率勾配降下アルゴリズ
    ムを利用して前記パターン認識システムの前記トレーニ
    ング可能パラメータを、少なくとも部分的には前記クロ
    スエントロピー誤差に基づいて更新する、更新手段とを
    含むことを特徴とするトレーニングシステム。
JP2003037384A 2002-03-15 2003-02-14 パターン認識を容易にするシステムおよび方法 Expired - Fee Related JP4142463B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/099,388 2002-03-15
US10/099,388 US7016529B2 (en) 2002-03-15 2002-03-15 System and method facilitating pattern recognition

Publications (2)

Publication Number Publication Date
JP2003296737A true JP2003296737A (ja) 2003-10-17
JP4142463B2 JP4142463B2 (ja) 2008-09-03

Family

ID=27765447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003037384A Expired - Fee Related JP4142463B2 (ja) 2002-03-15 2003-02-14 パターン認識を容易にするシステムおよび方法

Country Status (7)

Country Link
US (2) US7016529B2 (ja)
EP (1) EP1345161A3 (ja)
JP (1) JP4142463B2 (ja)
KR (1) KR100838981B1 (ja)
CN (1) CN1301482C (ja)
HK (1) HK1058986A1 (ja)
TW (1) TWI286708B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352900A (ja) * 2004-06-11 2005-12-22 Canon Inc 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法
JP2006236345A (ja) * 2005-02-25 2006-09-07 Microsoft Corp データのランク付け関数を学習するシステムおよび方法
JP2011511272A (ja) * 2008-01-24 2011-04-07 ボールター インク 悪性及び良性組織病変の識別方法
JP2011113125A (ja) * 2009-11-24 2011-06-09 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
US8661030B2 (en) 2009-04-09 2014-02-25 Microsoft Corporation Re-ranking top search results
JP2017538999A (ja) * 2014-12-17 2017-12-28 ノキア テクノロジーズ オーユー ニューラルネットワークによるオブジェクト検出
JP2019508072A (ja) * 2016-12-02 2019-03-28 アヴェント インコーポレイテッド 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法
RU2727858C2 (ru) * 2016-12-19 2020-07-24 Кабусики Кайся Тосиба Обучающее устройство, устройство идентификации листа бумаги и способ идентификации листа бумаги
JP7037478B2 (ja) 2015-09-02 2022-03-16 クゥアルコム・インコーポレイテッド 分類のための強制的なスパース性

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418128B2 (en) * 2003-07-31 2008-08-26 Microsoft Corporation Elastic distortions for automatic generation of labeled data
JP3861157B2 (ja) 2004-02-27 2006-12-20 国立大学法人広島大学 参照データ最適化装置とパターン認識システム
JP2005309077A (ja) * 2004-04-21 2005-11-04 Fuji Xerox Co Ltd 故障診断方法および故障診断装置、並びに搬送装置および画像形成装置、並びにプログラムおよび記憶媒体
CN1331092C (zh) * 2004-05-17 2007-08-08 中国科学院半导体研究所 模式识别专用神经网络计算机系统
US8594370B2 (en) * 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
US7653244B2 (en) * 2005-02-22 2010-01-26 Potts Wesley F Intelligent importation of information from foreign applications user interface
GB0505396D0 (en) * 2005-03-16 2005-04-20 Imp College Innovations Ltd Spatio-temporal self organising map
WO2007020551A2 (en) * 2005-08-15 2007-02-22 Philips Intellectual Property & Standards Gmbh User interface system for a personal healthcare environment
US7747070B2 (en) * 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
US20080168049A1 (en) * 2007-01-08 2008-07-10 Microsoft Corporation Automatic acquisition of a parallel corpus from a network
JP5184824B2 (ja) * 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
US8041120B2 (en) * 2007-06-26 2011-10-18 Microsoft Corporation Unified digital ink recognition
US8094939B2 (en) 2007-06-26 2012-01-10 Microsoft Corporation Digital ink-based search
US8315482B2 (en) * 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
WO2009149126A2 (en) * 2008-06-02 2009-12-10 New York University Method, system, and computer-accessible medium for classification of at least one ictal state
KR101268520B1 (ko) * 2009-12-14 2013-06-04 한국전자통신연구원 영상 인식 장치 및 방법
US8639649B2 (en) * 2010-03-23 2014-01-28 Microsoft Corporation Probabilistic inference in differentially private systems
CN101883425A (zh) * 2010-06-04 2010-11-10 哈尔滨工程大学 基于熵权灰关联的目标跟踪与识别装置及方法
KR101137533B1 (ko) * 2010-09-03 2012-04-20 경희대학교 산학협력단 패턴 인식을 위한 특징 데이터 선택 방법 및 그 방법을 이용한 특징 데이터 선택 장치
JP2012165196A (ja) * 2011-02-07 2012-08-30 Nippon Hoso Kyokai <Nhk> 判定装置及び判定方法
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US20140361983A1 (en) 2013-06-09 2014-12-11 Apple Inc. Real-time stroke-order and stroke-direction independent handwriting recognition
US20190167139A1 (en) 2017-12-05 2019-06-06 Gust H. Bardy Subcutaneous P-Wave Centric Insertable Cardiac Monitor For Long Term Electrocardiographic Monitoring
US11723575B2 (en) 2013-09-25 2023-08-15 Bardy Diagnostics, Inc. Electrocardiography patch
US10736531B2 (en) 2013-09-25 2020-08-11 Bardy Diagnostics, Inc. Subcutaneous insertable cardiac monitor optimized for long term, low amplitude electrocardiographic data collection
US10624551B2 (en) 2013-09-25 2020-04-21 Bardy Diagnostics, Inc. Insertable cardiac monitor for use in performing long term electrocardiographic monitoring
US10433751B2 (en) 2013-09-25 2019-10-08 Bardy Diagnostics, Inc. System and method for facilitating a cardiac rhythm disorder diagnosis based on subcutaneous cardiac monitoring data
US10251576B2 (en) 2013-09-25 2019-04-09 Bardy Diagnostics, Inc. System and method for ECG data classification for use in facilitating diagnosis of cardiac rhythm disorders with the aid of a digital computer
US10888239B2 (en) 2013-09-25 2021-01-12 Bardy Diagnostics, Inc. Remote interfacing electrocardiography patch
US9408551B2 (en) 2013-11-14 2016-08-09 Bardy Diagnostics, Inc. System and method for facilitating diagnosis of cardiac rhythm disorders with the aid of a digital computer
US10433748B2 (en) 2013-09-25 2019-10-08 Bardy Diagnostics, Inc. Extended wear electrocardiography and physiological sensor monitor
US10806360B2 (en) 2013-09-25 2020-10-20 Bardy Diagnostics, Inc. Extended wear ambulatory electrocardiography and physiological sensor monitor
US10820801B2 (en) 2013-09-25 2020-11-03 Bardy Diagnostics, Inc. Electrocardiography monitor configured for self-optimizing ECG data compression
US9619660B1 (en) 2013-09-25 2017-04-11 Bardy Diagnostics, Inc. Computer-implemented system for secure physiological data collection and processing
US9730593B2 (en) 2013-09-25 2017-08-15 Bardy Diagnostics, Inc. Extended wear ambulatory electrocardiography and physiological sensor monitor
US9615763B2 (en) 2013-09-25 2017-04-11 Bardy Diagnostics, Inc. Ambulatory electrocardiography monitor recorder optimized for capturing low amplitude cardiac action potential propagation
US9655538B2 (en) 2013-09-25 2017-05-23 Bardy Diagnostics, Inc. Self-authenticating electrocardiography monitoring circuit
US9345414B1 (en) 2013-09-25 2016-05-24 Bardy Diagnostics, Inc. Method for providing dynamic gain over electrocardiographic data with the aid of a digital computer
US10799137B2 (en) 2013-09-25 2020-10-13 Bardy Diagnostics, Inc. System and method for facilitating a cardiac rhythm disorder diagnosis with the aid of a digital computer
US9700227B2 (en) 2013-09-25 2017-07-11 Bardy Diagnostics, Inc. Ambulatory electrocardiography monitoring patch optimized for capturing low amplitude cardiac action potential propagation
WO2015048194A1 (en) 2013-09-25 2015-04-02 Bardy Diagnostics, Inc. Self-contained personal air flow sensing monitor
US10463269B2 (en) 2013-09-25 2019-11-05 Bardy Diagnostics, Inc. System and method for machine-learning-based atrial fibrillation detection
US9361515B2 (en) * 2014-04-18 2016-06-07 Xerox Corporation Distance based binary classifier of handwritten words
CN104182735A (zh) * 2014-08-18 2014-12-03 厦门美图之家科技有限公司 训练优化的基于卷积神经网络的色情图像或视频检测方法
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US9520128B2 (en) * 2014-09-23 2016-12-13 Intel Corporation Frame skipping with extrapolation and outputs on demand neural network for automatic speech recognition
US10360498B2 (en) * 2014-12-18 2019-07-23 Facebook, Inc. Unsupervised training sets for content classification
CN110826420B (zh) * 2015-01-19 2023-05-16 创新先进技术有限公司 人脸识别模型的训练方法及装置
US10515304B2 (en) 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
US11244225B2 (en) * 2015-07-10 2022-02-08 Samsung Electronics Co., Ltd. Neural network processor configurable using macro instructions
WO2017015390A1 (en) * 2015-07-20 2017-01-26 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
US9805305B2 (en) * 2015-08-07 2017-10-31 Yahoo Holdings, Inc. Boosted deep convolutional neural networks (CNNs)
CN106548124B (zh) 2015-09-17 2021-09-07 松下知识产权经营株式会社 主题推定系统、主题推定方法
US10380479B2 (en) 2015-10-08 2019-08-13 International Business Machines Corporation Acceleration of convolutional neural network training using stochastic perforation
CN105170144A (zh) * 2015-10-19 2015-12-23 河海大学 锆、银共掺杂的纳米二氧化钛可见光光催化剂
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US9785855B2 (en) 2015-12-17 2017-10-10 Conduent Business Services, Llc Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks
CN106951753B (zh) * 2016-01-06 2020-08-21 北京三星通信技术研究有限公司 一种心电信号的认证方法和认证装置
US9424494B1 (en) * 2016-01-28 2016-08-23 International Business Machines Corporation Pure convolutional neural network localization
CN107220641B (zh) * 2016-03-22 2020-06-26 华南理工大学 一种基于深度学习的多语言文本分类方法
CN107239786B (zh) * 2016-03-29 2022-01-11 阿里巴巴集团控股有限公司 一种字符识别方法和装置
JP6727543B2 (ja) * 2016-04-01 2020-07-22 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
US10354168B2 (en) * 2016-04-11 2019-07-16 A2Ia S.A.S. Systems and methods for recognizing characters in digitized documents
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106406445B (zh) * 2016-09-09 2020-01-14 华南理工大学 基于智能眼镜的视障辅助中文文本阅读系统
US20180089587A1 (en) * 2016-09-26 2018-03-29 Google Inc. Systems and Methods for Communication Efficient Distributed Mean Estimation
US20180096261A1 (en) * 2016-10-01 2018-04-05 Intel Corporation Unsupervised machine learning ensemble for anomaly detection
US10366302B2 (en) * 2016-10-10 2019-07-30 Gyrfalcon Technology Inc. Hierarchical category classification scheme using multiple sets of fully-connected networks with a CNN based integrated circuit as feature extractor
US10366328B2 (en) * 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
US10360163B2 (en) 2016-10-27 2019-07-23 Google Llc Exploiting input data sparsity in neural network compute units
US10175980B2 (en) 2016-10-27 2019-01-08 Google Llc Neural network compute tile
US9959498B1 (en) 2016-10-27 2018-05-01 Google Llc Neural network instruction set architecture
KR102631381B1 (ko) 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
TWI607387B (zh) 2016-11-25 2017-12-01 財團法人工業技術研究院 字符辨識系統及其字符辨識方法
CN108268885B (zh) * 2017-01-03 2020-06-30 京东方科技集团股份有限公司 特征点检测方法、设备和计算机可读存储介质
US10540961B2 (en) * 2017-03-13 2020-01-21 Baidu Usa Llc Convolutional recurrent neural networks for small-footprint keyword spotting
KR102548718B1 (ko) 2017-06-07 2023-06-28 삼성전자주식회사 전자 장치 및 그 제어 방법
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10552474B2 (en) 2017-08-16 2020-02-04 Industrial Technology Research Institute Image recognition method and device thereof
US11514661B2 (en) 2017-08-21 2022-11-29 Nokia Technologies Oy Method, system and apparatus for pattern recognition
CN107819790A (zh) * 2017-12-08 2018-03-20 中盈优创资讯科技有限公司 攻击报文的识别方法及装置
CN110059794A (zh) * 2018-01-18 2019-07-26 北京京东金融科技控股有限公司 人机识别方法及装置、电子设备、存储介质
CN108399382A (zh) 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
CN108536759B (zh) * 2018-03-20 2020-08-04 阿里巴巴集团控股有限公司 一种样本回放数据存取方法及装置
US11036976B2 (en) * 2018-05-17 2021-06-15 Hasan Mirjan Methods and systems of handwriting recognition in virtualized-mail services
US20200043039A1 (en) * 2018-08-02 2020-02-06 GET IT FIRST, Inc. Understanding social media user behavior
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11116451B2 (en) 2019-07-03 2021-09-14 Bardy Diagnostics, Inc. Subcutaneous P-wave centric insertable cardiac monitor with energy harvesting capabilities
US11696681B2 (en) 2019-07-03 2023-07-11 Bardy Diagnostics Inc. Configurable hardware platform for physiological monitoring of a living body
US11096579B2 (en) 2019-07-03 2021-08-24 Bardy Diagnostics, Inc. System and method for remote ECG data streaming in real-time
CN110610754A (zh) * 2019-08-16 2019-12-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种沉浸式可穿戴诊断与治疗装置
US11769180B2 (en) 2019-10-15 2023-09-26 Orchard Technologies, Inc. Machine learning systems and methods for determining home value
KR102313215B1 (ko) * 2019-11-29 2021-10-15 한국생산기술연구원 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR102152260B1 (ko) 2020-03-04 2020-09-04 주식회사 로민 키-밸류 관계인식장치 및 키-밸류 관계인식방법
CN111584029B (zh) * 2020-04-30 2023-04-18 天津大学 基于判别式对抗网络的脑电自适应模型及在康复中的应用
US11562240B2 (en) 2020-05-27 2023-01-24 International Business Machines Corporation Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference
US20220172080A1 (en) * 2020-12-02 2022-06-02 International Business Machines Corporation Learning unpaired multimodal feature matching for semi-supervised learning
US11868443B1 (en) * 2021-05-12 2024-01-09 Amazon Technologies, Inc. System for training neural network using ordered classes
WO2022256850A1 (en) * 2021-06-04 2022-12-08 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods to assess neonatal health risk and uses thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317673A (en) 1992-06-22 1994-05-31 Sri International Method and apparatus for context-dependent estimation of multiple probability distributions of phonetic classes with multilayer perceptrons in a speech recognition system
US5625708A (en) 1992-10-13 1997-04-29 Lucent Technologies, Inc. Method and apparatus for symbol recognition using multidimensional preprocessing
US5647022A (en) 1992-10-13 1997-07-08 Lucent Technologies Inc. Method and apparatus for symbol recognition using multidimensional preprocessing and symbol sorting
US5465321A (en) * 1993-04-07 1995-11-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hidden markov models for fault detection in dynamic systems
US5572628A (en) 1994-09-16 1996-11-05 Lucent Technologies Inc. Training system for neural networks
US5835633A (en) * 1995-11-20 1998-11-10 International Business Machines Corporation Concurrent two-stage multi-network optical character recognition system
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US5835893A (en) 1996-02-15 1998-11-10 Atr Interpreting Telecommunications Research Labs Class-based word clustering for speech recognition using a three-level balanced hierarchical similarity
US6038337A (en) 1996-03-29 2000-03-14 Nec Research Institute, Inc. Method and apparatus for object recognition
JPH10150560A (ja) * 1996-11-19 1998-06-02 Ricoh Co Ltd 画像処理装置
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US6128606A (en) 1997-03-11 2000-10-03 At&T Corporation Module for constructing trainable modular network in which each module inputs and outputs data structured as a graph
US6028956A (en) * 1997-04-04 2000-02-22 Kofile Inc. Object location and span determination method and apparatus which determines a location and span of an object in an image
DE19842405A1 (de) * 1998-09-16 2000-03-23 Philips Corp Intellectual Pty Spracherkennungsverfahren mit Konfidenzmaßbewertung

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352900A (ja) * 2004-06-11 2005-12-22 Canon Inc 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法
US8015130B2 (en) 2004-06-11 2011-09-06 Canon Kabushiki Kaisha Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method
JP2006236345A (ja) * 2005-02-25 2006-09-07 Microsoft Corp データのランク付け関数を学習するシステムおよび方法
JP2011511272A (ja) * 2008-01-24 2011-04-07 ボールター インク 悪性及び良性組織病変の識別方法
US8661030B2 (en) 2009-04-09 2014-02-25 Microsoft Corporation Re-ranking top search results
JP2011113125A (ja) * 2009-11-24 2011-06-09 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
JP2017538999A (ja) * 2014-12-17 2017-12-28 ノキア テクノロジーズ オーユー ニューラルネットワークによるオブジェクト検出
US10275688B2 (en) 2014-12-17 2019-04-30 Nokia Technologies Oy Object detection with neural network
JP7037478B2 (ja) 2015-09-02 2022-03-16 クゥアルコム・インコーポレイテッド 分類のための強制的なスパース性
JP2019508072A (ja) * 2016-12-02 2019-03-28 アヴェント インコーポレイテッド 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法
RU2727858C2 (ru) * 2016-12-19 2020-07-24 Кабусики Кайся Тосиба Обучающее устройство, устройство идентификации листа бумаги и способ идентификации листа бумаги

Also Published As

Publication number Publication date
CN1445715A (zh) 2003-10-01
US20030174881A1 (en) 2003-09-18
TW200304095A (en) 2003-09-16
TWI286708B (en) 2007-09-11
US20060110040A1 (en) 2006-05-25
JP4142463B2 (ja) 2008-09-03
KR20030074141A (ko) 2003-09-19
KR100838981B1 (ko) 2008-06-17
US7016529B2 (en) 2006-03-21
US7286699B2 (en) 2007-10-23
EP1345161A2 (en) 2003-09-17
CN1301482C (zh) 2007-02-21
EP1345161A3 (en) 2011-01-19
HK1058986A1 (en) 2004-06-11

Similar Documents

Publication Publication Date Title
JP4142463B2 (ja) パターン認識を容易にするシステムおよび方法
US10354168B2 (en) Systems and methods for recognizing characters in digitized documents
CN108427924B (zh) 一种基于旋转敏感特征的文本回归检测方法
CN110837835A (zh) 一种基于边界点检测的场景文本端到端识别方法
Lin et al. STAN: A sequential transformation attention-based network for scene text recognition
WO2020223859A1 (zh) 一种检测倾斜文字的方法、装置及设备
CN108154148A (zh) 训练样本的人工合成方法及基于该样本的验证码识别方法
Balaha et al. Automatic recognition of handwritten Arabic characters: a comprehensive review
Singh et al. A study of moment based features on handwritten digit recognition
US11790675B2 (en) Recognition of handwritten text via neural networks
CN110852311A (zh) 一种三维人手关键点定位方法及装置
Sun et al. Convolutional multi-directional recurrent network for offline handwritten text recognition
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
Ghadhban et al. Survey of offline Arabic handwriting word recognition
Bhardwaj Handwritten Devanagari character recognition using deep learning-convolutional neural network (CNN) model
Islam et al. RATNet: A deep learning model for Bengali handwritten characters recognition
Igorevna et al. Document image analysis and recognition: a survey
Cecotti Hierarchical k-nearest neighbor with GPUs and a high performance cluster: Application to handwritten character recognition
CN111144469A (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
Chaki et al. Fragmented handwritten digit recognition using grading scheme and fuzzy rules
Arivazhagan et al. Recognition of handwritten characters using deep convolution neural network.
Bashir et al. Script identification: a review
Saini et al. Kannadares-next: A deep residual network for Kannada numeral recognition
Gan et al. Characters as graphs: Recognizing online handwritten chinese characters via spatial graph convolutional network
Xiang et al. An object detection algorithm combining FPN structure with DETR

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080516

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees