JP2003016422A - ニューラルネットワークを構築したデータベースシステム - Google Patents

ニューラルネットワークを構築したデータベースシステム

Info

Publication number
JP2003016422A
JP2003016422A JP2002100610A JP2002100610A JP2003016422A JP 2003016422 A JP2003016422 A JP 2003016422A JP 2002100610 A JP2002100610 A JP 2002100610A JP 2002100610 A JP2002100610 A JP 2002100610A JP 2003016422 A JP2003016422 A JP 2003016422A
Authority
JP
Japan
Prior art keywords
neural network
database system
data
representation
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002100610A
Other languages
English (en)
Inventor
John D Frazier
ディー フレーザー ジョン
Michael L Reed
エル リード ミカエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NCR International Inc
Original Assignee
NCR International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCR International Inc filed Critical NCR International Inc
Publication of JP2003016422A publication Critical patent/JP2003016422A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/10Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105Shells for specifying net layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 (修正有) 【課題】ニューラルネットワークを構築したデータベー
スシステムを提供する。 【解決手段】予め定義されたデータ型にしたがうニュー
ラルネットワーク探索オブジエクトは、データベース1
0におけるニューラルネットワークを構築するため、各
記憶モジュール28に格納される。ニューラルネットワ
ークモデルはニューラルネットワーク探索オブジエクト
内に格納され、これらのオブジエクトは記憶モジュール
28A,28B内に格納されたNNSOテーブル34内
に格納される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ニューラルネット
ワークを構築したデータベースシステムに関する。
【0002】
【従来の技術】従来からニューラルネットワーク(人工
ニューラルネットワークとも呼ばれる)は、重み付けさ
れた接続部(シナプスに類似している)に結合された比
較的多数の相互接続された処理要素(ニューロンに類似
の)を含んでいる。用語「ニューロン」は、人間の脳細
胞を指しており、また「シナプス」は二つのニューロン
間のギャップまたは接続を表す。人工ニューラルネット
ワークは、ニューロンとシナプスとから構成された生物
学的ニューラルネットワークを模倣するように設計され
る。人工ニューラルネットワークを使って、パターン認
識(例えば画像認識、文字認識、信号認識)その他のタ
スクといった多数の異なるタスクを実行することが出来
る。人工ニューラルネットワークの利点には、これらの
学習能力と、入力データの歪みにもかかわらず比較的よ
り正確な結果(標準的コンピュータシステムによって生
成される結果よりも)を生成する能力とがある。
【0003】
【発明が解決しようとする課題】典型的な人工ニューラ
ルネットワークは、入力層と隠れ層と出力層という三つ
の層を持っている。入力層は、ニューラルネットワーク
の外部から信号を受取り、これらの信号をパターン認識
・解釈のための相互接続されたニューロンを含む隠れ層
に渡す。それからこれらの信号は出力層に向けられる。
隠れ層では、ニューロンは各々重みを割り当てられる
が、この重みは訓練手順を実行することによって変更で
きる。
【0004】ニューラルネットワークを訓練するため
に、訓練用データセットが使われる。一旦ニューラルネ
ットワークが訓練されると、このニューラルネットワー
クを使って、ニューラルネットワークによって処理すべ
き目標パターンまたはオブジェクトを含む目標データセ
ットに対してパターン認識その他のタスクを実行するこ
とが出来る。
【0005】
【課題を解決するための手段】本発明は、その第1の実
施の形態として、一つ以上の記憶モジュールと、ニュー
ラルネットワークを表す少なくとも一つのオブジェクト
を含み、前記一つ以上の記憶モジュールに記憶された少
なくとも一つの関係テーブルと、前記ニューラルネット
ワーク表現を使って演算を実行することに適応した少な
くとも一つのプロセッサとからなることを特徴とするデ
ータベースシステムにある。
【0006】このプロセッサは、前記ニューラルネット
ワーク表現を使って、特に入力パターンを受け取ってそ
の入力パターンの一部分を前記ニューラルネットワーク
表現と結合することによって、パターン認識演算を実行
することに適応している。
【0007】このデータベースシステムは好適にも、こ
のニューラルネットワークがそこにオブジェクトとして
記憶されるオブジェクト関係データベース管理システム
を含んでいる。
【0008】記憶モジュールは好適にも、訓練データを
記憶しており、前記プロセッサは、訓練データを使って
ニューラルネットワーク表現を修正することによってこ
のニューラルネットワークを訓練することに適応してい
る。特に、訓練は、ニューラルネットワーク表現の隠れ
層を表すブラブ内に含まれる、ニューラルネットワーク
表現の重みを調整することによって達成される。前記記
憶モジュールは解答データを更に含んでおり、前記プロ
セッサは前記訓練データと前記解答データとを使って前
記ニューラルネットワーク表現を訓練することに適応し
ており、前記解答データは前記訓練データが入力として
前記ニューラルネットワーク表現に与えられるときに期
待される解答を含んでいる。
【0009】関係テーブルは、予め定義されたデータ型
にしたがってデータを記憶することができ、前記ニュー
ラルネットワーク表現は前記予め定義されたデータ型の
一つである。
【0010】一実施例では、データベースシステムは複
数の記憶モジュールを含んでおり、プロセッサは各々が
対応する記憶モジュールにアクセスできる複数のノード
を持っており、前記ニューラルネットワーク表現は前記
記憶モジュールの各々内に複製されている。一実施例で
は、複数のプロセッサは前記演算を並列に実行する。
【0011】更なる態様から本発明は、ニューラルネッ
トワークを構築するプロセスであって、前記ニューラル
ネットワークの表現をデータベース内に格納するステッ
プと、前記ニューラルネットワーク表現を使ってタスク
を実行するための一つ以上のユーザ定義の手順を備える
ステップと、演算を実行する要求を受け取るステップ
と、前記演算を実行するために前記ニューラルネットワ
ークの表現をアクセスする前記一つ以上のユーザ定義の
手順を呼び出すステップとからなる前記プロセスにあ
る。
【0012】前記演算を実行するための前記一つ以上の
ユーザ定義の手順を呼び出すステップは好適にも、例え
ばパターン照合演算を実行するための第1の手順を呼び
出すことと、前記表現内のニューラルネットワーク要素
の重みを調整することによって前記ニューラルネットワ
ークを訓練するための第2の手順を呼び出すこととによ
ってパターン認識演算を実行するステップを含む。更に
前記ニューラルネットワークを形成するための他の方法
は、入力サイズと出力サイズと隠れ層サイズとを指定す
ることによって呼び出すことが出来る。
【0013】本発明はまた、相互接続された処理要素の
ネットワークの表現を含み、これら相互接続された処理
要素間の少なくとも幾つかの接続部に関連した重みを更
に含む関係テーブルを記憶した記憶モジュールと、前記
重みを調整することによってパターン認識のために前記
ネットワークを訓練することに適応したコントローラ
(制御機構)とを含むことを特徴とするデータベースシ
ステムによって定義することもできる。
【0014】なお、更なる態様から本発明は、実行され
たときにデータベースシステムに、ニューラルネットワ
ーク・オブジェクトを生成することと、関係テーブル内
に前記ニューラルネットワーク・オブジェクトを格納す
ることと、前記ニューラルネットワーク・オブジェクト
を使ってパターン認識演算を実行することとを行わせる
命令を含む少なくとも一つの記憶媒体を含むことを特徴
とする物品として定義することもできる。
【0015】前記命令は実行されたときに好適にも、前
記データベースシステムに、訓練データを記憶すること
と、前記訓練データを使って前記ニューラルネットワー
ク・オブジェクトを訓練することとを行わせる。
【0016】入力データは好適にも、記憶されており、
前記パターン認識演算を実行するために前記ニューラル
ネットワーク・オブジェクトに与えられる。ニューラル
ネットワーク・オブジェクトはまた、入力サイズと出力
サイズと隠れ層サイズとを指定することによって形成す
ることもできる。
【0017】
【発明の実施の形態】以下、本発明の実施の形態の詳細
を図面を参照しつつ説明する。
【0018】下記の説明では、本発明の理解を与えるた
めに多くの詳細事項が述べられる。しかしながら本発明
がこれらの詳細事項なしも実施され得るものであること
と、説明された実施例からの多くの変形あるいは修正が
可能であることとは、本技術を熟知する人々によって理
解されるであろう。
【0019】図1は、データネットワーク12上でクラ
イアントシステム14に接続されたデータベースシステ
ム10の一実施例を示す。データネットワーク12の例
としては、ローカルエリアネットワーク(LAN)、ワ
イドエリアネットワーク(WAN)、あるいはパブリッ
クネットワーク(公衆網)(インターネットといった)
がある。クライアントシステム14のユーザは、データ
ベースシステム10内でデータを抽出して他のタスクを
実行するために、データシステム10に対して構造的問
い合わせ言語(SQL)文、またはその他の標準的デー
タベース問い合わせ文といった要求を発行することがで
きる。SQLは、関係データベース(リレーショナルデ
ータベース)の一つの言語であって、アメリカ規格協会
(ANSI)によって定義されている。ユーザは、クラ
イアントシステム14のユーザインタフェース16から
SQL文を発行することができる。幾つかの実施例によ
れば、データベースシステム10のニューラルネットワ
ーク機能を呼び出すSQL文は、クライアント端末14
からユーザが発行できる。
【0020】図示の実施例ではデータベースシステム1
0は、多数のノード26A、26B(二つ以上)を含ん
でいる。代替の実施例ではデータベースシステム10
は、単一ノード・システムであり得る。これらのノード
26A、26Bは、相互接続ネットワーク50によって
接続され、この相互接続ネットワークは今度は、インタ
フェース・ノード20に接続される。インタフェース・
ノード20は、クライアントシステム14から問い合わ
せを受け取り、受け取った要求を分析し、対応するノー
ド26A、26B内の一つ以上のアクセスモジュール3
0に対してアクセス要求を生成する問い合わせコーディ
ネータ22を含んでいる。インタフェース・ノード20
はまた、データネットワーク12上での通信を可能にす
るネットワーク・インタフェース24を含んでいる。
【0021】各アクセスモジュール30は、テーブルの
定義を生成、修正あるいは削除し、テーブル内で行を挿
入、削除または修正し、定義とテーブルとから情報を検
索し、そしてデータベースとテーブルとをロックするデ
ータベース・マネージャを含んでいる。一例では、アク
セスモジュールは、NCR社から出ている幾つかのTE
RADATA(R)データベースシステムで使われるア
クセスジュール・プロセッサ(AMP)である。各ノー
ド26には、多数のAMPが常駐できる。
【0022】各アクセスモジュール30は、それぞれの
ファイルシステム32を介してそれぞれの記憶モジュー
ル28に入出力(I/O)要求を送り、そのモジュール
からデータを受ける。単数形で呼ばれてはいるが、「記
憶モジュール」は、ハードディスク・ドライブ、ディス
クアレイ、テープドライブ、その他の磁気媒体、光媒
体、その他の媒体といった単数または複数の記憶装置を
表すことができる。
【0023】本発明の幾つかの実施例によれば、予め定
義されたデータ型にしたがうオブジェクト(ニューラル
ネットワーク探索オブジェクトまたはNNSOと呼ばれ
る)は、データベースシステム10におけるニューラル
ネットワークの構築を可能にするために各記憶モジュー
ル28内に格納される。ニューラルネットワークは、パ
ターンを認識したり、他のタスクを実行するために実行
可能な一つまたは複数のソフトウエア・ルーチンとして
実現される数学モデルである。ニューラルネットワーク
は、そのニューラルネットワークに正確なパターンと不
正確なパターンとを提示して、パターンが認識されたと
きにフィードバックを与えることによってパターンを認
識するように「訓練」される。幾つかの実施例によれば
このニューラルネットワーク・モデルは、ニューラルネ
ットワーク探索オブジェクト内に格納され、これらのオ
ブジェクトは記憶モジュール28A、28B内に格納さ
れたNNSOテーブル34内に格納される。更に一般的
には「ニューラルネットワーク・オブジェクト」は、ニ
ューラルネットワークを表現する、そして演算(例えば
パターン認識)を実行する他のコンポーネントによるア
クセスが可能である何らかのオブジェクト(例えばファ
イル、データ、ソフトウエア手順、ソフトウエア・ルー
チンまたはモジュールなど)を指している。
【0024】幾つかの実施例では各NNSOテーブル3
4は、関係データベース管理システム(RDBMS)内
の関係テーブルである。多くの関係データベース管理シ
ステム内に定義されたデータ型には、整数、実数および
文字列といった比較的単純なデータ型が含まれる。オー
ディオデータ、ビデオデータ、マルチメディアデータ、
画像データ、定様式文書、地図などを含むデータ型とい
った更に複雑なデータ型に関しては、オブジェクト関係
データベース管理システムは、「複合」データ型の定義
がオブジェクト内にこのような情報を記憶することを可
能にする。一実施例ではNNSOは、オブジェクト関係
データベース管理システムのオブジェクトである。代替
として他の実施例では、このNNSOは、関係データベ
ース管理システム内で「より単純な」データ型として定
義されている。関係データベース管理システムの代わり
に他の実施例は、ニューラルネットワークを構築するた
めにユーザ定義の手順または関数を生成できるデータベ
ースシステムの他の型を使用することができる。
【0025】ニューラルネットワーク・モデルまたはア
ルゴリズムを表すNNSOは、記憶モジュール28に格
納された訓練データ36を使用することによって訓練さ
れる。一旦訓練されるとNNSOは、記憶モジュール2
8に格納された入力目標データ38のパターン認識を実
行することができる。図1に示す構成の利点は、対応す
るノード26A、26Bによって独立にアクセス可能な
多数の記憶モジュールにNNSOテーブル34と訓練デ
ータ36と目標データ38とが格納されていることであ
る。その結果、異なるノード26A、26Bに亘って分
散配置されたNNSOで構築されたニューラルネットワ
ークは、性能を向上させるために並列に実行できる。こ
れは、パターン認識がDNA列、画像などといった比較
的複雑なデータを含む場合に特に有利である。
【0026】ある構成では、NNSOとNNSOテーブ
ル34との複製は、並列実行のために多数の記憶モジュ
ールに亘って分散配置された入力目標データ38の異な
る部分と共に、多数の記憶モジュール28内に格納され
ている。例えばNNSOテーブル34は、NNSOテー
ブル34内のデータの比較を要求するSQL Sele
ct文に応答して、並列論理によって異なるノードに複
写することが出来る。一実施例ではNNSOテーブル3
4の複製は、与えられた問い合わせに関して「低コス
ト」実行プランを選択する責任を有するデータベース最
適化プログラムによって実行される。
【0027】各ノード26での実行に関して、NNSO
データ型に関連する三つの異なる手順(メソッド)が定
義される。第1の手順は、CONFIGURE−NET
手順48であって、これはNNSOテーブル34に格納
されたNNSOを形成するために使われる。TRAIN
手順46は、各記憶モジュール28内のNNSOを訓練
するために使われる。MATCH手順44は、NNSO
を使って目標データ38を照合するために使われる。ニ
ューラルネットワーク演算のために他の手順を定義する
こともできる。これらの手順44、46、48(および
他の手順)は、最初は各記憶モジュール28に格納され
ていて、各ノード26で実行可能なニューラルネットワ
ーク・ルーチン49によって呼び出されると、実行のた
めにノード26内にロードされる。ノード26内の一つ
または複数の制御ユニット40上では、種々のソフトウ
エア・ルーチン、モジュール、または手順が実行可能で
ある。ノード26はまた、一つまたは複数の制御ユニッ
ト40に接続されたメモリ42を含んでいる。単一コン
ポーネントとして図示されているが、制御ユニット40
とメモリ42は、他の実施例では多数のコンポーネント
であり得る。
【0028】並行処理を改善するため、幾つかの実施例
によればニューラルネットワークを構築するために、よ
り多数のノードを使用することができる。代替としてN
NSOとそれに関連する手順は、データベースシステム
10の単一ノード上に実現可能である。
【0029】図2は、NNSOテーブル34と訓練デー
タ36と目標データ38とを更に詳細に示す。NNSO
テーブル34は、訓練重み102を含んだNNSO10
0を格納している。訓練重みは、初めはランダムな値ま
たは幾つかの予め決められた値に設定されている。幾つ
かの実施例では訓練重み102は、ブラブ(大きな2進
オブジェクト)として表される。ブラブは、この場合は
重みを表すバイトの集まりを有する大きなオブジェクト
である。他の実施例では、訓練重み102は、異なる型
のオブジェクトまたはファイル内に表現される。訓練重
み102は、マトリックスとして表される。図2の例で
はこのマトリックス・サイズは、9行×4列である。更
に図2の例ではNNSOの入力サイズは、9入力であ
り、出力サイズは1出力である。
【0030】ニューラルネットワークはまた、ニューロ
ンの一つ以上の隠れ層を持っている。図6には、3層の
ニューラルネットワーク・モデルが示されている。入力
層500は、NNSO100による定義のように9入力
を受け取るための9個の入力ニューロンを持っている。
隠れ層502(この例では一つの隠れ層)は、入力層ニ
ューロンに「完全に」接続された多数のパターン・ニュ
ーロンを持っている。「完全に」接続されているとは、
各入力層ニューロンが各々の隠れ層またはパターン・ニ
ューロン506A、506B、506C、または506
Dに接続されていることを意味している。一対の入力層
ニューロンと隠れ層ニューロン506との間の各接続部
には、重みが与えられる。4個の隠れ層ニューロン50
6A〜Dは、出力層504内の1個のニューロン(NN
SO100によって定義された1出力に対応する)に接
続されている。
【0031】図2に示す訓練重みマトリックス102の
各列(コラム)110A、110B、110Cまたは1
10Dは、それぞれのパターン・ニューロン506と9
個の入力層ニューロンとの間の接続部の重みを持ってい
る。したがって例えば、行110Aは、パターン・ニュ
ーロン506Aとそれぞれ9個の入力層ニューロンとの
間の9個の接続部の9個の重みを持っている。行110
Bは、パターン・ニューロン506Bとそれぞれの入力
層ニューロンとの間の接続部の重みを持っているなど、
以下同様である。図6の例では隠れ層アレイは、4×1
(4個のニューロンを持った1隠れ層)である。他の構
成ではM×N隠れ層アレイを使用することができ、これ
は各々が1層当たりM個のパターン・ニューロンを有す
るN個の層を表す。
【0032】入力層ニューロンによって受け取られた入
力は、それぞれの重み値を乗じられて、パターン・ニュ
ーロン506A〜506Bに供給される。各ニューロン
506は、受け取った9個の重み付けされた入力を合計
する。これらの合計された値は、出力を生成するための
関数(例えば非線形関数)に与えられる。この関数は、
この合計値が真または偽の状態に対応するしきい値より
上にあるか下にあるかを決定するしきい値関数であって
よい。
【0033】一例では「後戻り(Backprop)」
アルゴリズムを使用するニューラルネットワークが使わ
れる。後戻りアルゴリズムは、入力データがパターン認
識のためにはニューラルネットワーク内で前方に伝搬す
ることを可能にし、訓練目的のためには失敗情報の後方
へのフィードバックを可能にする。他の実施例ではニュ
ーラルネットワーク・オブジェクト100を用いて他の
タイプのニューラルネットワークを構築することができ
る。
【0034】訓練重み102の値は、訓練データ36を
使って設定されるが、この訓練データは入力訓練テーブ
ル104(TRAINING−DATAテーブルとも呼
ばれる)と予想解答セット・テーブル106(ANSW
ER−SETテーブルとも呼ばれる)とを含んでいる。
このように入力訓練テーブル104に応答してNNSO
100は、解答セット・テーブル106内にリストアッ
プされている解答を生成することが期待される。この入
力訓練テーブル104は、異なるDNA列に対応する多
数の行を持っている。DNA列に基づいて、出力は、
「0」(偽)または「1」(真)であることが予期され
る。このように図2の例ではNNSOは、ある幾つかの
タイプのDNA列に関しては真値を返し、他のDNA列
に関しては偽値を返すように訓練される。他の実施例で
はNNSOは、他の型のデータ(例えば画像、オーディ
オ、マルチメディア等)を認識するように訓練すること
もできる。
【0035】一旦、訓練データ36を使って訓練重み1
02の値が設定されると、目標データ38を備えた目標
データ・テーブル108(TARGET−DATAテー
ブルとも呼ばれる)は、パターン照合のために入力とし
てNNSO100に供給される。図2に示すように目標
データ・テーブル108は、異なるDNA列に対応する
幾つかの行を持っている。訓練重み102に基づいてN
NSO100は、NNSO100は、目標データベース
108内で、DNA列のある幾つかのものに関しては真
という結果を生成し、他のDNA列に関しては偽という
結果を生成するであろう。
【0036】更なる実施例では、単一のNNSOテーブ
ル34の代わりに多数のNNSOテーブルが各記憶モジ
ュール28内に記憶されることもある。これら多数のN
NSOテーブルは、他の型の入力目標データに関連する
NNSOを格納することができる。例えば一つのNNS
Oテーブルは、DNA列の照合を実行するために使わ
れ、第2のNNSOテーブルは、顔面画像の照合を実行
するために使われ、第3のNNSOテーブルは、車両の
照合を実行するために使われる、等々である。更に他の
実施例では、各NNSOテーブル34が多数のNNSO
を持っている。例えば一つのNNSOは、目標データ3
8内の第1のパターンに関して検出するように訓練でき
るが、もう一つのNNSOは、目標データ38内の別の
パターンに関して検出するように訓練できる。
【0037】図3は、各ノード26内のニューラルネッ
トワーク・ルーチン49によって実行されるプロセスの
流れ図である。このニューラルネットワーク・ルーチン
49は先ず、NNSO100とそれに関連する手順4
4、46、48とを定義する(202で)。次に種々の
テーブル34、104、106、108が形成され(2
04で)、ニューラルネットワークが訓練される(NN
SOの訓練重みを調整することによって)。次に種々の
テーブル34、104、106、108が形成され(2
04で)、ニューラルネットワークが訓練される(NN
SOの訓練重みを調整することによって)。次にこのニ
ューラルネットワーク・ルーチンは、照合を実行する要
求が受け取られたかどうかを決定する(206で)。例
えばユーザは、クライアント端末14(図1)から要求
(例えばSQLのSELECT文の形をした)を送るこ
とができる。代替として他の幾つかの刺激に応答してパ
ターン照合を実行することもできる。照合実行の要求が
受け取られた場合は、このニューラルネットワーク・ル
ーチン49は、出力結果を生成するためにテーブル34
内に格納されたNNSO10を使って目標データ38を
照合するMATCH手順44を呼び出すことによって照
合を実行する(208で)。
【0038】図4は、NNSO100とそれに関連する
手順とを定義するプロセス(202)の流れ図である。
最初にこのニューラルネットワーク・ルーチン49は、
NNSOデータ型を生成する(302で)。一実施例で
は下記のSQL CREATE TYPE文が使用でき
る: CREATE TYPE NNSO(InputSize
整数、OutputSize整数、HiddenLayer Array[1..2] 整
数、TrainingWeights ブラブ)。
【0039】パラメータInputSizeは、NNSO100
への入力の数を表し、パラメータOutputSizeは、出力の
数を表し、HiddenLayerアレイは、ブラブTrainingWeigh
ts内の訓練重みに関連する相互接続されたパターン・ニ
ューロンのアレイを表す。CREATE TYPE文
は、ニューラルネットワークを新しいデータ型としてデ
ータベースシステム内に効果的に結合する。次にこのニ
ューラルネットワーク・ルーチン49は、CONFIG
URE−NET手順を生成する(304で)が、これは
一実施例では、下記のSQL文を発行することによって
実行できる: CREATE METHOD CONF
IGURE−NET(INTEGER,INTEGE
R,ARRAY〔1..2〕INTEGER)。
【0040】このCONFIGURE−NET手順は、
入力サイズ(InputSize)と出力サイズ(OutputSize)
と隠れ層のアレイ・サイズとを指定する。TRAIN手
順は、下記の文を発行することによって生成される(3
06で): CREATEMETHOD TRAIN
(STRING,STRING)、ここで第1の文字列
は入力訓練テーブル104を表し、第2の文字列は解答
セット・テーブル106を表す。MATCH手順は、下
記の文を発行することによって生成される(308
で): CREATE METHOD MATCH(S
TRING)RETURNS BOOLEAN。
【0041】MATCH手順に対する入力文字列は、目
標データ・テーブル108であり、出力は論理状態真ま
たは偽である。NNSOデータ型とこれらの手順44、
46、48とを生成した後に、このニューラルネットワ
ーク・ルーチン49は、種々のテーブルを形成して訓練
する(図3の204)。このルーチン49は、下記の文
を発行することによってTRAINING−DATAテ
ーブル36を生成する(402で): CREATE
TABLE TRAINING−DATA(ID文字
列、SEQ文字列)。
【0042】識別子(ID)は、TRAINING−D
ATAテーブル内の各DNA列(SEQ)に割り当てら
れる。ANSWER−SETテーブルは、下記の文を与
えることによって生成される(404で): CREA
TE TABLE ANSWER−SET(ANSWE
R論理値)。 このANSWER−SETテーブルは、
真または偽の状態を有するエントリーを持っている。T
ARGET−DATAテーブルは、下記の文を発行する
ことによって生成される(406で): CREATE
TABLE TARGET−DATA(ID文字列、
SEQ文字列)。
【0043】NNSOテーブル34は、下記の文を発行
することによって生成される(408で): CREA
TE TABLE NNSO−TABLE(ID整数、
DESCRIPTION文字列、NN NNSO)。
【0044】このNNSOテーブル34は、識別子(I
D)と記述(DESCRIPTION)と図4の302
で生成された型を有するNNSOとに関連している。一
旦このNNSOテーブルが生成されると、NNSOテー
ブル34内に値を挿入することができる(410で)。
一実施例ではこれは、SQL INSERT文を発行す
ることによって遂行される: INSERT INTO
NNSO−TABLE VALUES(1," Backpr
op"(後戻り), NNSO())。
【0045】上記の発行されたINSERT文は、後戻
り(Backprop)ニューラルネットワークとして
定義されたニューラルネットワークと共に一つのNNS
OをNNSOテーブル34内に挿入する。
【0046】次にNNSOテーブル34の内容は、CO
NFIGURE−NET手順を呼び出すことによって更
新される。NNSOテーブル34は、SQL UPDA
TE文を使って、9入力と1出力と4×1隠れアレイと
を持つように形成される(412で): UPDATE
NNSO−TABLE SET:NN=:NN.CO
NFIGURE−NET(9,1,ARRAY(4,
1))。
【0047】CONFIGURE−NET手順は、UP
DATE文内で呼び出される。NNSOテーブル34が
形成された後にニューラルネットワーク・ルーチン49
は、TRAINING−DATAテーブル104とAN
SWER−SETテーブル106とを使ってNNSOを
訓練するためのTRAIN手順を呼び出す: UPDA
TE NNSO−TABLE SET:NN=:NN.
TRAIN(TRAINING−DATA,ANSWE
R−SET)。
【0048】NNSOテーブル34が形成されて訓練さ
れた後に、MATCH手順は、NNSOを使って目標デ
ータ38のパターン認識を実行するために幾つかの刺激
に応答してSELECT文に呼び出される: SEL*
FROM TARGET−DATA,NNSO−TAB
LE WHERE NN.MATCH(TARGET−
DATA.SEQ)=TRUE。
【0049】SELECT文は、MATCH手順を呼び
出して、NNSOテーブル34からのNNSOとTAR
GET−DATAテーブル108の列(コラム)との結
合を実行する。一般に結合演算は、複数のテーブルから
の行または他のオブジェクトを結合することを含む。二
つ以上のパターンの特性を有するデータは、問い合わせ
内で二つ以上のNNSO探索(例えば各NNSOテーブ
ル内の二つ以上のNNSO)を結合することによって得
ることができる。
【0050】関係データベース管理システムといったデ
ータベースシステム内にニューラルネットワークを構築
することにより、ニューラルネットワークの性能は、こ
のようなデータベースシステム内に存在する効率的なデ
ータ・アクセス機構を利用することによって改善され
る。更にデータベースシステム内にデータへの並列アク
セスの可能な多数のプロセッサを有する並列データベー
スシステムでは、ニューラルネットワーク性能は、複数
の並列プロセッサにパターン探索を分散させることによ
って更に改善される。これらの並列プロセッサは、単一
ノードまたは複数ノード内の複数の制御ユニット上で実
行可能なソフトウエア・ルーチンであることができる。
並列データベースシステムの一例は、NCR社から出て
いるTERADATA(R)データベースシステムであ
る。
【0051】幾つかの実施例の更なる利点は、ニューラ
ルネットワークがオブジェクト関係データベース管理シ
ステム内のオブジェクトといったオブジェクトとして定
義できることである。データベースシステム内のオブジ
ェクトとしてのニューラルネットワークの定義は、ニュ
ーラルネットワークの構築を簡単にする。
【0052】上述の種々のシステム(クライアントシス
テムおよびデータベースシステム)は各々、種々のソフ
トウエア・ルーチンまたはモジュールを含んでいる。こ
のようなソフトウエア・ルーチンまたはモジュールは、
対応する制御ユニット上で実行可能である。これら種々
の制御ユニットは、マイクロプロセッサ、マイクロコン
トローラ、あるいは他の制御または計算装置を含んでい
る。ここで使われたように「コントローラ」または「プ
ロセッサ」は、ハードウエア・コンポーネント、ソフト
ウエア・コンポーネント、またはこれら二つの組合せを
指している。「コントローラ」または「プロセッサ」は
また、複数のハードウエア・コンポーネント、ソフトウ
エア・コンポーネント、または複数のハードウエア・コ
ンポーネントとソフトウエア・コンポーネントとの組合
せを指すこともある。
【0053】この論議のなかで言及した記憶モジュール
は、データと命令とを記憶するための一つ以上の機械可
読記憶媒体を含む。これらの記憶媒体は、ダイナミック
またはスタティック・ランダムアクセスメモリ(DRA
MまたはSRAM)、消去可能プログラム可能読取り専
用メモリ(EPROM)、電気的に消去可能なプログラ
ム可能読取り専用メモリ(EEPROM)、フラッシュ
メモリといった半導体メモリ装置、固定ディスク、フロ
ッピーディスク、可換型ディスクといった磁気ディス
ク、テープを含む他の磁気媒体、あるいはコンパクトデ
ィスク(CD)またはディジタルビデオディスク(DV
D)といった光媒体を含む種々の形態のメモリを含んで
いる。種々の装置またはシステム内に種々のソフトウエ
ア・ルーチンまたはモジュールを用意する命令は、それ
ぞれの記憶ユニット内に格納される。これらの命令は、
それぞれの制御ユニットによって実行されると、対応す
る装置またはシステムにプログラムされた動作を実行さ
せる。
【0054】ソフトウエア・ルーチンまたはモジュール
の命令は、多くの異なる方法の一つで各装置またはシス
テムにロードまたはトランスポートされる。例えば、フ
ロッピーディスク、CDまたはDVD媒体、ハードディ
スクなどに格納された命令、またはネットワーク・イン
タフェース・カード、モデム、その他のインタフェース
装置を介してトランスポートされた命令を含む符号セグ
メントは、これらの装置またはシステム内にロードさ
れ、対応するソフトウエア・ルーチンまたはモジュール
として実行される。ローディングまたはトランスポート
処理において、搬送波に具体化される(電話線、ネット
ワーク・ライン、無線リンク、ケーブル等で伝送され
る)データ信号は、命令を含む符号セグメントを装置ま
たはシステムに伝達する。このような搬送波は、電気
的、光学的、音響的、電磁的またはその他のタイプの信
号の形をとっている。
【図面の簡単な説明】
【図1】 クライアント端末に接続された、一実施例に
よるデータベースシステムのブロック図。
【図2】 図1のデータベースシステムに格納されたニ
ューラルネットワーク探索オブジェクト(NNSO)と
その他のデータとを示す図。
【図3】 図1のデータベースシステムにニューラルネ
ットワークを構築するプロセスの流れ図。
【図4】 ニューラルネットワーク探索オブジェクトと
それに関連する手順とを定義するプロセスの流れ図。
【図5】 ニューラルネットワークを形成して訓練する
プロセスの流れ図。
【図6】 図2のNNSOによって表される例示的ニュ
ーラルネットワークを示す図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン ディー フレーザー アメリカ合衆国 92065 カリフォルニア 州 ロモナ エチェベリー ストリート 821 (72)発明者 ミカエル エル リード アメリカ合衆国 92120 カリフォルニア 州 サンディエゴ シーマン ストリート 6266 Fターム(参考) 5B075 QT04 QT06

Claims (26)

    【特許請求の範囲】
  1. 【請求項1】 一つ以上の記憶モジュールと、 ニューラルネットワークを表す少なくとも一つのオブジ
    ェクトを含み、前記一つ以上の記憶モジュールに記憶さ
    れた少なくとも一つの関係テーブルと、 前記ニューラルネットワーク表現を使って演算を実行す
    るように適応した少なくとも一つのプロセッサとからな
    ることを特徴とするデータベースシステム。
  2. 【請求項2】 前記プロセッサは、前記ニューラルネッ
    トワーク表現を使ってパターン認識演算を実行すること
    に適応していることを特徴とする請求項1に記載のデー
    タベースシステム。
  3. 【請求項3】 前記プロセッサは、入力パターンを受け
    取り、前記入力パターンの一部分を前記ニューラルネッ
    トワーク表現と結合して前記パターン認識を実行するこ
    とに適応していることを特徴とする請求項2に記載のデ
    ータベースシステム。
  4. 【請求項4】 前記ニューラルネットワーク表現がオブ
    ジェクト関係データベース管理システム内にオブジェク
    トとして記憶されている前記オブジェクト関係データベ
    ース管理システムを含むことを特徴とする請求項1乃至
    3の何れか一項に記載のデータベースシステム。
  5. 【請求項5】 前記記憶モジュールは、訓練データを更
    に記憶しており、前記プロセッサは前記訓練データを使
    って前記ニューラルネットワーク表現を修正することに
    よって前記ニューラルネットワークを訓練することに適
    応していることを特徴とする、請求項1乃至4の何れか
    一項に記載のデータベースシステム。
  6. 【請求項6】 前記プロセッサは、前記ニューラルネッ
    トワークの訓練に際して前記ニューラルネットワーク表
    現の重みを調整することに適応していることを特徴とす
    る請求項5に記載のデータベースシステム。
  7. 【請求項7】 前記ニューラルネットワーク表現は、前
    記重みを含むブラブを有することを特徴とする請求項6
    に記載のデータベースシステム。
  8. 【請求項8】 前記記憶モジュールは解答データを更に
    記憶しており、前記プロセッサは前記訓練データと前記
    解答データとを使って前記ニューラルネットワーク表現
    を訓練することに適応しており、前記解答データは前記
    訓練データが入力として前記ニューラルネットワーク表
    現に適用されるときに期待される解答を含んでいること
    を特徴とする請求項7に記載のデータベースシステム。
  9. 【請求項9】 前記ブラブは前記ニューラルネットワー
    ク表現の隠れ層を表すことを特徴とする請求項7に記載
    のデータベースシステム。
  10. 【請求項10】 前記関係テーブルは予め定義されたデ
    ータ型にしたがってデータを記憶することができ、前記
    ニューラルネットワーク表現は前記予め定義されたデー
    タ型の一つであることを特徴とする請求項1乃至9の何
    れか一項に記載のデータベースシステム。
  11. 【請求項11】 前記ニューラルネットワーク表現に関
    連したタスクを実行するために前記プロセッサによって
    呼び出され得る手順(メソッド)を更に含むことを特徴
    とする請求項1乃至10の何れか一項に記載のデータベ
    ースシステム。
  12. 【請求項12】 前記プロセッサは構造的問い合わせ言
    語文に応答して、前記演算を実行することを特徴とする
    請求項1乃至11の何れか一項に記載のデータベースシ
    ステム。
  13. 【請求項13】 前記プロセッサは一つ以上のソフトウ
    エア・ルーチンを含むことを特徴とする請求項1乃至1
    2の何れか一項に記載のデータベースシステム。
  14. 【請求項14】 複数の記憶モジュールを含んでおり、
    前記プロセッサは各々が対応する記憶モジュールにアク
    セスできる複数のノードを持っていることを特徴とする
    請求項1乃至13の何れか一項に記載のデータベースシ
    ステム。
  15. 【請求項15】 前記ニューラルネットワーク表現は前
    記記憶モジュールの各々内に複製されていることを特徴
    とする請求項14に記載のデータベースシステム。
  16. 【請求項16】 前記複数のプロセッサは前記演算を並
    列に実行することを特徴とする請求項1乃至15の何れ
    か一項に記載のデータベースシステム。
  17. 【請求項17】 ニューラルネットワークを構築するプ
    ロセスであって、 前記ニューラルネットワークの表現をデータベース内に
    格納するステップと、 前記ニューラルネットワーク表現を使ってタスクを実行
    するための一つ以上のユーザ定義の手順を備えるステッ
    プと、 演算を実行する要求を受け取るステップと、 前記演算を実行するために前記ニューラルネットワーク
    の前記表現をアクセスする前記一つ以上のユーザ定義の
    手順を呼び出すステップと、の各ステップを有すること
    を特徴とする前記プロセス。
  18. 【請求項18】 前記演算を実行するために前記一つ以
    上のユーザ定義の手順を呼び出すステップは、パターン
    認識演算の実行を含むことを特徴とする請求項17に記
    載のプロセス。
  19. 【請求項19】 前記一つ以上のユーザ定義の手順を呼
    び出すステップは、パターン照合演算を実行するための
    第1の手順を呼び出すことを含むことを特徴とする請求
    項17に記載のプロセス。
  20. 【請求項20】 前記一つ以上のユーザ定義の手順を呼
    び出すステップは、前記表現内のニューラルネットワー
    ク要素の重みを調整することによって前記ニューラルネ
    ットワークを訓練するための第2の手順を呼び出すこと
    を含むことを特徴とする請求項19に記載のプロセス。
  21. 【請求項21】 前記一つ以上のユーザ定義の手順を呼
    び出すステップは、入力サイズと出力サイズと隠れ層サ
    イズとを指定することによって前記ニューラルネットワ
    ークを形成するための他の一つの方法を呼び出すことを
    含むことを特徴とする請求項20に記載のプロセス。
  22. 【請求項22】 相互接続された処理要素のネットワー
    クの表現を含み、前記相互接続された処理要素間の少な
    くとも幾つかの接続部に関連した重みを更に含む関係テ
    ーブルを記憶した記憶モジュールと、 前記重みを調整することによってパターン認識のために
    前記ネットワークを訓練することに適応したコントロー
    ラ(制御機構)とを含むことを特徴とするデータベース
    システム。
  23. 【請求項23】 実行されたときにデータベースシステ
    ムにおいて、 ニューラルネットワーク・オブジェクトを生成すること
    と、 関係テーブル内に前記ニューラルネットワーク・
    オブジェクトを格納することと、 前記ニューラルネットワーク・オブジェクトを使ってパ
    ターン認識演算を実行すること、とを行わせる命令を含
    む少なくとも一つの記憶媒体。
  24. 【請求項24】 前記命令は、実行されたときに前記デ
    ータベースシステムに、 訓練データを記憶することと、 前記訓練データを使って前記ニューラルネットワーク・
    オブジェクトを訓練すること、とを行わせることを特徴
    とする、請求項23に記載の記憶媒体。
  25. 【請求項25】 前記命令は、実行されたときに前記デ
    ータベースシステムに、入力データを記憶することと、 前記パターン認識演算を実行するために入力データを前
    記ニューラルネットワーク・オブジェクトに与えること
    とを行わせることを特徴とする、請求項23または24
    に記載の記憶媒体。
  26. 【請求項26】 前記命令は、実行されたときに前記デ
    ータベースシステムに、入力サイズと出力サイズと隠れ
    層サイズとを指定することによって前記ニューラルネッ
    トワーク・オブジェクトを形成させることを特徴とする
    請求項25に記載の記憶媒体。
JP2002100610A 2001-02-28 2002-02-27 ニューラルネットワークを構築したデータベースシステム Pending JP2003016422A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/797353 2001-02-28
US09/797,353 US20020120435A1 (en) 2001-02-28 2001-02-28 Implementing a neural network in a database system

Publications (1)

Publication Number Publication Date
JP2003016422A true JP2003016422A (ja) 2003-01-17

Family

ID=25170597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002100610A Pending JP2003016422A (ja) 2001-02-28 2002-02-27 ニューラルネットワークを構築したデータベースシステム

Country Status (3)

Country Link
US (1) US20020120435A1 (ja)
EP (1) EP1237121A3 (ja)
JP (1) JP2003016422A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156550A1 (en) * 2020-11-19 2022-05-19 International Business Machines Corporation Media capture device with power saving and encryption features for partitioned neural network

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10025260B4 (de) * 2000-05-22 2004-11-25 Conti Temic Microelectronic Gmbh Verfahren zur Detektion von Überrollvorgängen bei Kraftfahrzeugen mit Sicherheitseinrichtungen
US7778996B2 (en) * 2002-09-25 2010-08-17 Teradata Us, Inc. Sampling statistics in a database system
US20080168013A1 (en) * 2006-12-05 2008-07-10 Paul Cadaret Scalable pattern recognition system
US10552851B2 (en) 2012-02-20 2020-02-04 Ameriprise Financial, Inc. Opportunity list engine
JP2017182710A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法および情報提供方法
US10445356B1 (en) * 2016-06-24 2019-10-15 Pulselight Holdings, Inc. Method and system for analyzing entities
US11397159B1 (en) * 2018-08-31 2022-07-26 Byte Nutrition Science Incorporated Systems, devices and methods for analyzing constituents of a material under test
US11934931B2 (en) 2018-12-17 2024-03-19 Shape Security, Inc. Decision tree training using a database system
US11894113B2 (en) * 2018-12-31 2024-02-06 Cerner Innovation, Inc. Ontological standards based approach to charting utilizing a generic concept content based framework across multiple localized proprietary domains
US11373233B2 (en) 2019-02-01 2022-06-28 Target Brands, Inc. Item recommendations using convolutions on weighted graphs
CN110070224A (zh) * 2019-04-20 2019-07-30 北京工业大学 一种基于多步骤递归预测的空气质量预测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3329806B2 (ja) * 1990-11-09 2002-09-30 株式会社日立製作所 ニューラルネット構築装置
US5461699A (en) * 1993-10-25 1995-10-24 International Business Machines Corporation Forecasting using a neural network and a statistical forecast
US5692107A (en) * 1994-03-15 1997-11-25 Lockheed Missiles & Space Company, Inc. Method for generating predictive models in a computer system
US5701400A (en) * 1995-03-08 1997-12-23 Amado; Carlos Armando Method and apparatus for applying if-then-else rules to data sets in a relational data base and generating from the results of application of said rules a database of diagnostics linked to said data sets to aid executive analysis of financial data
US6108648A (en) * 1997-07-18 2000-08-22 Informix Software, Inc. Optimizer with neural network estimator
US6438552B1 (en) * 1998-10-02 2002-08-20 Ncr Corporation SQL-Based automated histogram bin data derivation assist
US6704717B1 (en) * 1999-09-29 2004-03-09 Ncr Corporation Analytic algorithm for enhanced back-propagation neural network processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156550A1 (en) * 2020-11-19 2022-05-19 International Business Machines Corporation Media capture device with power saving and encryption features for partitioned neural network
US11948059B2 (en) * 2020-11-19 2024-04-02 International Business Machines Corporation Media capture device with power saving and encryption features for partitioned neural network

Also Published As

Publication number Publication date
EP1237121A2 (en) 2002-09-04
EP1237121A3 (en) 2007-12-19
US20020120435A1 (en) 2002-08-29

Similar Documents

Publication Publication Date Title
US5050095A (en) Neural network auto-associative memory with two rules for varying the weights
JP2003016422A (ja) ニューラルネットワークを構築したデータベースシステム
JP5989792B2 (ja) 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル構成要素メモリ転送
EP1295252B1 (en) Apparatus for generating sequences of elements
Falandays et al. The emergence of cultural attractors: how dynamic populations of learners achieve collective cognitive alignment
CN113361279A (zh) 一种基于双邻域图神经网络的医疗实体对齐方法及系统
CN100580654C (zh) 信息处理装置和方法
Vaghela et al. Students' Admission Prediction using GRBST with Distributed Data Mining
Chen A machine learning approach to document retrieval: an overview and an experiment
Yao et al. Learning to activate logic rules for textual reasoning
Maudal Preprocessing data for neural network based classifiers: Rough sets vs Principal Component Analysis
JP3114276B2 (ja) 階層型ニューラルネットワークの学習方法
Elketroussi et al. Optimization of simulation models with GADELO: a multi-population genetic algorithm
Bull Model-based evolutionary computing: A neural network and genetic algorithm architecture
US20220405577A1 (en) Storage and inference method for deep-learning neural network
Balfour et al. InfoExec: object-oriented/semantic database implementation
Avner Discovery of comprehensible symbolic rules in a neural network
Liu Application Scheme of Artificial Neural Network in Archives Intelligent Management
Yan et al. Studies on genetic multilayer feedforward neural networks and the development of GMNN
Guinier Computer “virus” identification by neural networks: An artificial intelligence connectionist implementation naturally made to work with fuzzy information
Deepthi et al. A new hierarchical pattern recognition method using mirroring neural networks
Sabah Applying Neural Network to Combining the Heterogeneous Features
Lin Optimal Stopping of exotic American option by Deep Learning
Raviram et al. Concurrency control in CAD with KBMS using counter propagation neural network
JP2904832B2 (ja) 神経回路網装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071122