JP2018528518A - 再帰型ニューラルネットワークを使用する、条件が満足される尤度の予測 - Google Patents

再帰型ニューラルネットワークを使用する、条件が満足される尤度の予測 Download PDF

Info

Publication number
JP2018528518A
JP2018528518A JP2018504218A JP2018504218A JP2018528518A JP 2018528518 A JP2018528518 A JP 2018528518A JP 2018504218 A JP2018504218 A JP 2018504218A JP 2018504218 A JP2018504218 A JP 2018504218A JP 2018528518 A JP2018528518 A JP 2018528518A
Authority
JP
Japan
Prior art keywords
neural network
recursive neural
time
time step
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018504218A
Other languages
English (en)
Other versions
JP6541868B2 (ja
Inventor
グレゴリー・ショーン・コラード
イリヤ・サツケヴァー
ジェフリー・アドゲート・ディーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2018528518A publication Critical patent/JP2018528518A/ja
Application granted granted Critical
Publication of JP6541868B2 publication Critical patent/JP6541868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

再帰型ニューラルネットワークを使用して、条件が満足される尤度を予測する、コンピュータ記憶媒体上で符号化されたコンピュータプログラムを含む、方法、システム、および装置。システムのうちの1つは、複数の時間ステップのそれぞれにおけるそれぞれの入力を含む時間シーケンスを処理するように構成され、1つまたは複数の再帰型ニューラルネットワーク層と、1つまたは複数のロジスティック回帰ノードであって、ロジスティック回帰ノードのそれぞれは、条件の所定のセットからのそれぞれの条件に対応し、ロジスティック回帰ノードのそれぞれは、複数の時間ステップのそれぞれについて、時間ステップのネットワーク内部状態を受け取り、時間ステップの対応する条件の将来の条件スコアを生成するためにロジスティック回帰ノードのパラメータのセットの現在の値に従って時間ステップのネットワーク内部状態を処理するように構成される、1つまたは複数のロジスティック回帰ノードとを含む。

Description

本明細書は、再帰型ニューラルネットワークを使用する時間シーケンスの処理に関する。
ニューラルネットワークは、受け取られた入力の出力を予測するのに非線形ユニットの1つまたは複数の層を使用する機械学習モデルである。一部のニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層すなわち次の隠れ層または出力層への入力として使用される。ネットワークの各層は、パラメータのそれぞれのセットの現在の値に従って、受け取られた入力から出力を生成する。
一部のニューラルネットワークは、再帰型ニューラルネットワークである。再帰型ニューラルネットワークは、入力シーケンスを受け取り、入力シーケンスから出力シーケンスを生成するニューラルネットワークである。具体的には、再帰型ニューラルネットワークは、現在の時間ステップにおける出力を計算する際に、前の時間ステップからのネットワークの内部状態の一部またはすべてを使用することができる。
一般に、本明細書内で説明される主題の1つの革新的態様は、1つまたは複数の再帰型ニューラルネットワーク層および1つまたは複数のロジスティック回帰ノードを含む再帰型ニューラルネットワークシステムを使用して、複数の時間ステップのそれぞれにおけるそれぞれの入力を含む時間シーケンスを処理する方法であって、複数の時間ステップのそれぞれについて、時間ステップにおける入力を受け取るアクションと、時間ステップのネットワーク内部状態を生成するために1つまたは複数の再帰型ニューラルネットワーク層を介して時間ステップにおける入力を処理するアクションと、1つまたは複数のロジスティック回帰ノードのそれぞれを使用してネットワーク内部状態を処理するアクションであって、ロジスティック回帰ノードのそれぞれは、条件の所定のセットからのそれぞれの条件に対応し、1つまたは複数のロジスティック回帰ノードのそれぞれを使用してネットワーク内部状態を処理するアクションは、時間ステップの対応する条件の将来の条件スコアを生成するためにロジスティック回帰ノードのパラメータのセットの現在の値に従ってロジスティック回帰ノードを使用して時間ステップのネットワーク内部状態を処理するアクションであって、対応する条件の将来の条件スコアは、対応する条件が時間ステップにおける入力の指定された時間期間内に満足される尤度を表す、処理するアクションを含む、処理するアクションとを含む方法において実施され得る。
この態様の他の実施形態は、それぞれがこの方法のアクションを実行するように構成された、対応するコンピュータシステム、装置、および1つまたは複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含む。
1つまたは複数のコンピュータのシステムは、動作中にシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをシステム上にインストールさせることによって、特定の動作またはアクションを実行するように構成され得る。1つまたは複数のコンピュータプログラムは、データ処理装置によって実行される時に装置にアクションを実行させる命令を含むことによって、特定の動作またはアクションを実行するように構成され得る。
前述のおよび他の実施形態は、それぞれ、オプションで、以下の特徴のうちの1つまたは複数を単独でまたは組み合わせて含むことができる。
再帰型ニューラルネットワークシステムは、出力層をさらに含むことができる。複数の時間ステップのそれぞれについて、時間ステップのネットワーク内部状態が、複数の可能な次の入力のそれぞれについてのそれぞれの次の入力スコアを生成するために、出力層を使用して、出力層のパラメータのセットの現在の値に従って処理され得る。複数の可能な次の入力のそれぞれについてのそれぞれの次の入力スコアは、可能な次の入力が時間シーケンス内の次の時間ステップにおける入力になる尤度を表すことができる。1つまたは複数の再帰型ニューラルネットワーク層のそれぞれは、複数の時間ステップのそれぞれについて、時間ステップの層入力を受け取り、時間ステップの再帰型ニューラルネットワーク層の層内部状態を生成するために、再帰型ニューラルネットワーク層のパラメータのセットの現在の値に従って、時間ステップの層入力と、先行する時間ステップの再帰型ニューラルネットワーク層の層内部状態とを処理するように構成され得る。再帰型ニューラルネットワークシステムは、1つの再帰型ニューラルネットワーク層だけを含むことができる。時間ステップの再帰型ニューラルネットワーク層の層内部状態は、時間ステップのネットワーク内部状態とすることができる。再帰型ニューラルネットワークシステムは、シーケンス内に配置された複数の再帰型ニューラルネットワーク層を含むことができる。時間ステップのネットワーク内部状態は、時間ステップのシーケンス内の最上位再帰型ニューラルネットワーク層の層内部状態とすることができる。再帰型ニューラルネットワークシステムは、複数の再帰型ニューラルネットワーク層を含むことができる。時間ステップのネットワーク内部状態は、時間ステップの再帰型ニューラルネットワーク層の層内部状態の組合せとすることができる。時間シーケンス内の各入力は、再帰型ニューラルネットワークシステムへの可能な入力のセットから選択され得る。条件の所定のセットは、再帰型ニューラルネットワークシステムへの可能な入力のセット内に含まれないイベントが時間ステップにおける入力の指定された時間期間内に発生する時に満足される条件を含むことができる。複数の時間ステップにおける入力のそれぞれは、患者に関連する健康関連データとすることができる。条件の所定のセット内の条件のうちの1つまたは複数は、健康関連イベントが患者に関連して発生する時に満足される条件とすることができる。
本明細書内で説明される主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するために実施され得る。再帰型ニューラルネットワークは、健康イベントなどのイベントのシーケンス、たとえば、現在の患者の電子診療記録から導出された健康イベントのシーケンスを分析するのに効果的に使用され得る。再帰型ニューラルネットワークは、イベントが再帰型ニューラルネットワークへの可能な入力のセット内に含まれない場合であっても、時間シーケンス内の最も最近のイベントの指定された時間期間内に発生するイベントの尤度を予測するのに効果的に使用され得る。再帰型ニューラルネットワーク内部状態は、現在の患者に関連するようになる可能性がある将来の健康イベントを予測する健康イベントを含む可能性がある他の患者に対応する他の時間シーケンスを識別するのに効果的に使用され得る。したがって、本主題の実施形態は、時間シーケンスを処理する改善されたシステムおよび方法を提供する。
医師または他の医療専門家などのエンドユーザは、再帰型ニューラルネットワークの出力または再帰型ニューラルネットワークによって生成された出力から導出された出力の特徴を表す情報を与えられ、専門家の患者に質の高い医療を提供する医療専門家の能力を改善することができる。たとえば、医療専門家は、現在の患者に関連するようになる可能性がある将来の健康イベント、たとえば、患者に関連する次の健康イベントになる可能性が高い健康イベント、またはある条件がシーケンス内の最も最近のイベントの指定された時間期間内に発生するイベントによって満足される尤度に関する有用な情報を与えられ得る。さらに、医療専門家は、イベントが発生する尤度に対する提案される治療の潜在的な影響を識別する情報、たとえば、提案される治療が、望ましくない健康関連条件が患者に関して将来に満足される尤度を低下させるまたは増加させる可能性があるかどうかを与えられ得る。さらに、医療専門家は、その医療記録が履歴内の1点において現在の患者に類似した患者の医療記録を与えられ、またはそれらの患者の医療結果の要約を与えられ得る。さらに、いくつかの場合において、医療専門家が行うことを提案するアクションが、患者の将来の予測される結果に対するリスクの大幅な増加を引き起こす場合にトリガされる警報が、医療専門家のために生成され得る。さらに、再帰型ニューラルネットワークを含む医療分析システムは、標準的医療行為を体系化し、治療および結果におけるパターンを発見し、既存の医療技術もしくは医療システムを分析し、または新規の推奨を行いもしくは科学的発見を容易にするのに使用され得る。
本明細書の主題の1つまたは複数の実施形態の詳細が、添付図面および下の説明において示される。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明白になる。
例の医療分析システムを示す図である。 時間シーケンスの健康イベントデータを生成する例のプロセスを示す流れ図である。 次の入力スコアから時間シーケンスの健康分析データを生成する例のプロセスを示す流れ図である。 ネットワーク内部状態から時間シーケンスの健康イベントデータを生成する例のプロセスを示す流れ図である。 将来の条件スコアから時間シーケンスの健康イベントデータを生成する例のプロセスを示す流れ図である。 将来の条件スコアに対する、時間シーケンスへのイベントの追加の影響を判定する例のプロセスを示す流れ図である。 将来の条件スコアを生成するように構成された例の再帰型ニューラルネットワークを示す図である。 所与の時間ステップの将来の条件スコアを生成する例のプロセスを示す流れ図である。 将来の条件スコアを生成するために再帰型ニューラルネットワークをトレーニングする例のプロセスを示す流れ図である。
様々な図内の同様の符号および指定は、同様の要素を示す。
本明細書は、再帰型ニューラルネットワークを使用して健康イベントなどの複数のイベントを識別するデータを含む時間シーケンスから健康分析データなどの分析データを生成することができるシステムを全般的に説明する。
図1は、例の医療分析システム100を示す。医療分析システム100は、下で説明されるシステム、構成要素、および技法がその中で実施され得る、1つまたは複数の位置における1つまたは複数のコンピュータ上でコンピュータプログラムとして実施されるシステムの例である。
医療分析システム100は、時間シーケンスを受け取り、再帰型ニューラルネットワーク110を使用して時間シーケンスを処理することによって受け取られた時間シーケンスから健康分析データを生成する。たとえば、医療分析システム100は、時間シーケンス102を受け取り、時間シーケンス102から健康分析データ122を生成することができる。
時間シーケンスは、複数の時間ステップのそれぞれにおける、健康関連データ、たとえば健康イベントを識別するデータを含むシーケンスである。各時間シーケンスは、所与の患者に関連する健康関連データを含み、時間シーケンス内の健康関連データによって識別される健康イベントは、時間によって順序付けられ、その結果、最も最近に発生する健康イベントは、シーケンス内の最後の時間ステップにおける健康イベントである。
いくつかの実施態様において、時間シーケンス生成システム104は、対応する患者の電子診療記録から時間シーケンス102を生成する。電子診療記録は、対応する患者の健康情報の電子集合である。たとえば、時間シーケンス生成システムは、電子診療記録リポジトリ106から患者の電子診療記録を入手し、電子診療記録内の健康イベントを識別することと、健康イベントを時間によって順序付けることとによって、電子診療記録から時間シーケンス102を生成することができる。具体的には、時間シーケンス102は、複数の時間ステップのそれぞれにおけるトークンのシーケンスを含むことができ、各トークンは、電子診療記録内で識別される健康イベントを表す。いくつかの実施態様において、時間シーケンス生成システムは、健康イベントが発生した時刻を識別するデータを、時間シーケンス102内の健康イベントを識別するデータに付加することができる。
一般に、医療分析システム100によって受け取られた時間シーケンス内で識別される健康イベントは、それぞれがトークンの所定の語彙からのトークンによって表される、症状、検査、検査結果、診断、薬物療法、転帰、その他のうちの1つまたは複数を含むことができる。オプションで、各トークンは、健康イベントが時間シーケンス内で発生した時刻を識別するデータと組み合わされる。さらに、いくつかの場合において、時間シーケンスは、語彙からのトークンによって識別されるもの以外の健康イベントを識別することができる。たとえば、いくつかの実施態様において、時間シーケンス内の健康イベントは、健康関連イメージ、たとえばX線イメージもしくは他の診断イメージ、健康関連電子文書、たとえば面会中に医師によって生成された自由形式メモ、またはその両方を含むこともできる。
さらに、オプションで、健康関連データは、患者の健康に影響するものとして分類され得る他の健康関連データを含むことができる。たとえば、他のデータは、患者のデバイス、たとえば活動追跡デバイスもしくはモバイルデバイス上で実行中の活動追跡アプリケーションによって収集された、患者の活動の特徴を表すデータまたは他の健康関連データを含むことができる。たとえば、活動データは、特定の日に患者によって移動された距離、患者によって行われたトレーニングまたは他のフィットネス活動、患者によって食べられた食事、その他を識別するデータを含むことができる。他の健康関連データは、患者の健康に影響すると考えられ得る他のデータ、たとえば患者の服薬状況(prescription fulfillment)データまたは患者によって行われた購入を識別するデータを含むこともできる。
医療分析システム100は、時間シーケンス102のネットワーク出力を生成するために、再帰型ニューラルネットワーク110を使用して時間シーケンス102を処理する。医療分析システム100は、時間シーケンス102のネットワーク出力を受け取り、ネットワーク出力から時間シーケンス102の分析データ122を生成する医療分析エンジン120をも含む。
一般に、時間シーケンス102のネットワーク出力は、次の入力スコア112のセット、将来の条件スコア114のセット、または再帰型ニューラルネットワーク110のネットワーク内部状態116のうちの1つまたは複数を含む。
再帰型ニューラルネットワーク110は、所与の入力時間シーケンスの時間ステップごとにネットワーク内部状態を生成する1つまたは複数の再帰型ニューラルネットワーク層を含む。いくつかの実施態様において、再帰型ニューラルネットワーク110は、ネットワーク内部状態を受け取り、時間ステップのネットワーク出力を生成するためにネットワーク内部状態を処理する、出力層、ロジスティック回帰ノードのセット、またはその両方をも含む。さらに、いくつかの実施態様において、再帰型ニューラルネットワークは、1つまたは複数の他の種類のニューラルネットワーク層、たとえば、フィードフォワード層、たとえば、全結合層(fully-connected layer)、畳込み層(convolutional layer)、プーリング層(pooling layer)、正規化層(regularization layers)、およびその他をも含むことができる。
具体的には、再帰型ニューラルネットワーク層の各々は、時間ステップの層入力を受け取り、時間ステップの層の層内部状態を計算するように構成される。再帰型ニューラルネットワーク層は、層のパラメータのセットの現在の値に従って、前の時間ステップの層の層内部状態および現在の時間ステップの層入力から現在の時間ステップの層内部状態を計算する。いくつかの実施態様において、再帰型ニューラルネットワーク層のうちの1つまたは複数は、時間ステップの層内部状態を計算する際に他の内部状態、たとえば、他の前の時間ステップからの層の内部状態、現在の時間ステップの内部状態、または他の再帰層の前の時間ステップの内部状態をも使用するように構成される。現在の時間ステップが、シーケンス内の第1の時間ステップである場合に、先行する時間ステップの層内部状態は、たとえばシステム管理者によって指定されるまたは医療分析システム100によって生成される、初期層内部状態である。
再帰型ニューラルネットワーク110内に1つの再帰型ニューラルネットワーク層だけがある場合には、所与の時間ステップのネットワーク内部状態は、その時間ステップの再帰型ニューラルネットワーク層の層内部状態である。
再帰型ニューラルネットワーク110内に複数の再帰型ニューラルネットワーク層がある場合に、層は、シーケンス内の最下位層からシーケンス内の最上位層へとシーケンス内で配置され、時間ステップのネットワーク内部状態を計算するために、時間ステップにおける健康イベントを集合的に処理する。再帰型ニューラルネットワーク110内に他のタイプのニューラルネットワーク層がある場合に、他のニューラルネットワーク層は、シーケンス内の様々な位置において、たとえば、最初の再帰層の前、2つの再帰層の間、すべての再帰層の後、またはこれらのなんらかの組合せに散在され得る。所与の時間ステップについて、再帰型ニューラルネットワーク110は、シーケンス内の層の上位の再帰型ニューラルネットワーク層の層入力として、各再帰型ニューラルネットワーク層からの層内部状態を供給することができる。いくつかの実施態様において、再帰型ニューラルネットワーク層のうちの1つまたは複数は、再帰層の下位の層以外のシーケンス内の1つまたは複数の他の層からも入力を受け取るように構成される。
いくつかの実施態様において、シーケンス内の層のうちの1つまたは複数は、時間ステップのサブステップ、たとえば第1の時間ステップにおいて、または各時間ステップにおいて、層の層入力の一部として、大域入力、記録ごとの入力、またはその両方を受け取るように構成され得る。大域入力は、再帰型ニューラルネットワーク110によって処理されつつある現在の時間シーケンスに依存しない入力である。大域入力の例は、年の現在時刻、たとえば現在の日付の特徴を表すデータである。記録ごとの入力は、異なる時間シーケンスに関して異なる可能性がある入力である。記録ごとの入力の例は、現在の時間シーケンスに関連する患者の遺伝子配列、または患者の特徴を表す他の情報、たとえば患者の人口統計情報を含むことができる。
いくつかの実施態様において、複数の再帰型ニューラルネットワーク層がある場合に、時間ステップのネットワーク内部状態は、その時間ステップのシーケンス内の最上位層の層内部状態である。いくつかの他の実施態様において、医療分析システム100は、時間ステップのネットワーク内部状態を生成するために、時間ステップの層内部状態を組み合わせる。たとえば、医療分析システム100は、層内部状態の和、積、または平均値を計算することができ、あるいは、ネットワーク内部状態を生成するために層内部状態を連結することができる。
いくつかの実施態様において、再帰型ニューラルネットワーク層は、長短期記憶(long short-term memory)(LSTM)層である。各LSTM層は、1つまたは複数のLSTMメモリブロックを含む。各LSTMメモリブロックは、1つまたは複数のセルを含むことができ、各セルは、たとえば現在のアクティブ化を生成する際の使用のためのまたはLSTMニューラルネットワークの他の構成要素に提供される、セルの以前の状態をセルが記憶することを可能にする、入力ゲート、忘却ゲート(forget gate)、および出力ゲートを含む。
再帰型ニューラルネットワーク110が出力層を含む実施態様において、出力層は、時間ステップのそれぞれについて、その時間ステップのネットワーク内部状態を受け取り、その時間ステップの次の入力スコアのセットを生成するように構成される。時間ステップの次の入力スコアのセットは、トークンの語彙内のトークンによって表される健康イベントごとのそれぞれのスコアを含む。再帰型ニューラルネットワーク110がトレーニングされ終えた後に、所与の健康イベントの次の入力スコアは、その健康イベントが時間シーケンス内の次の健康イベントになる尤度を表す。したがって、再帰型ニューラルネットワーク110が出力層を含む時に、再帰型ニューラルネットワーク110は、所与の入力時間シーケンスの時間ステップごとに、将来の健康イベントすなわち時間シーケンス内の次の時間ステップにおける健康イベントを予測するようにトレーニングされたネットワークである。再帰型ニューラルネットワーク110は、従来の機械学習トレーニング技法、たとえば、時間を介する逆伝搬(backpropagation through time)トレーニング技法を使用して、トレーニングシーケンスに対してトレーニングされ得る。
これらの実施態様において、時間シーケンス102の次の入力スコア112は、時間シーケンス102内の最後の時間ステップについて出力層によって生成された次の入力スコアである。
再帰型ニューラルネットワーク110がロジスティック回帰ノードのセットを含む実施態様において、ロジスティック回帰ノードのセットは、各時間ステップにおいて、その時間ステップのネットワーク内部状態を受け取り、その時間ステップの将来の条件スコアのセットを生成するように構成される。将来の条件スコアのセットは、条件の所定のセット内の条件ごとのそれぞれのスコアを含む。所与の条件のスコアは、その条件が現在の時間ステップにおいて健康イベントの指定された時間期間内に満足される尤度を表す。
条件は、イベントの発生によって、たとえば語彙内のトークンによって表される健康イベントの発生によって満足される条件を含むことができる。いくつかの場合において、語彙内のトークンによって表されるイベントの発生によって満足される条件を含むことに加えてまたはその代わりに、条件の所定のセット内の条件は、語彙内のトークンによって表されないイベントすなわち、再帰型ニューラルネットワーク110によって処理される時間シーケンス内に含まれる可能な健康イベントではないイベントが、現在の時間ステップにおいて健康イベントの指定された時間期間内に発生する時に満足される条件をも含むことができる。したがって、所定の条件のセット内の条件を満足できるイベントは、トークンによって表されるイベントとオーバーラップする可能性があるが、条件のセットは、セット内に含まれない他のイベントの発生によって満足される条件をも含むことができる。
ロジスティック回帰ノードのセットを含む再帰型ニューラルネットワークが、図7および図8を参照して、より詳細に説明される。条件が満足される尤度を予測するための再帰型ニューラルネットワークのトレーニングが、図9を参照して下でより詳細に説明される。
これらの実施態様において、時間シーケンス102の条件スコア114は、時間シーケンス102内の最後の時間ステップに関してロジスティック回帰ノードによって生成された将来の条件スコアである。
ネットワーク内部状態116が、時間シーケンス102のネットワーク出力内に含まれる実施態様において、時間シーケンス102のネットワーク内部状態116は、シーケンス内の最後の時間ステップについて再帰型ニューラルネットワーク110によって生成されたネットワーク内部状態、または、シーケンス内の複数の時間ステップについて再帰型ニューラルネットワーク110によって生成されたネットワーク内部状態の組合せ、たとえばネットワーク内部状態の加重和、積、もしくは連結である。
医療分析エンジン120は、時間シーケンス102のネットワーク出力を受け取り、時間シーケンス102の健康分析データ122を生成し、ユーザ、たとえば時間シーケンス102に対応する患者を治療する医師への提示のために、健康分析データ122を供給する。一般に、健康分析データ122は、時間シーケンス102に関連する可能性がある将来のイベントすなわち、時間シーケンス102内の現在の最後の健康イベントの後に発生する可能性がある健康イベントまたは他のイベントの特徴を表すデータである。
時間シーケンス102のニューラルネットワーク出力が次の入力スコア112を含む実施態様において、医療分析エンジン120は、時間シーケンス102内で次に発生する可能性がある健康イベントを識別する健康分析データ122を生成する。次の入力スコアからの時間シーケンスの健康分析データの生成は、下で図3を参照してより詳細に説明される。
時間シーケンス102のニューラルネットワーク出力が、ネットワーク内部状態116を含む実施態様において、医療分析エンジン120は、時間シーケンス102内の将来のイベントを予測する可能性が高い他の時間シーケンスからの健康イベントを識別する健康分析データ122を生成する。具体的には、医療分析エンジン120は、内部状態リポジトリ130内に記憶された内部状態からネットワーク内部状態116に似た内部状態を識別し、時間シーケンス102内の将来のイベントを予測する可能性が高い他の時間シーケンスからの健康イベントを判定するために、類似する内部状態を使用する。内部状態リポジトリ130は、様々な時間シーケンス内の様々な時間ステップにおいて生成されたネットワーク内部状態を記憶し、各ネットワーク内部状態を、ネットワーク内部状態がそれに関して生成された時間ステップおよび時間シーケンスを識別するデータに関連付ける。ネットワーク内部状態からの時間シーケンスの健康分析データの生成は、下で図4を参照してより詳細に説明される。
時間シーケンス102のニューラルネットワーク出力が、将来の条件スコア114を含む実施態様において、健康分析エンジン120は、条件のスコアの特徴を表す健康分析データ122を生成する。将来の条件スコアからの時間シーケンスの健康分析データの生成は、下で図5を参照してより詳細に説明される。
図2は、時間シーケンスの健康イベントデータを生成する例のプロセス200の流れ図である。便宜上、プロセス200は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされたニューラルネットワークトレーニングシステム、たとえば図1の医療分析システム100が、プロセス200を実行することができる。
システムは、入力時間シーケンスを受け取る(ステップ202)。時間シーケンスは、複数の時間ステップのそれぞれにおけるそれぞれの健康イベントを識別するデータを含む。いくつかの実施態様において、時間シーケンスは、電子診療記録から導出され、複数の時間ステップのそれぞれにおける電子診療記録からのそれぞれの健康イベントを識別するデータを含む。シーケンス内の健康イベントは、時間によって順序付けられ、その結果、最も最近に発生した健康イベントが、シーケンス内の最後の時間ステップにおける健康イベントになる。
システムは、入力時間シーケンスのニューラルネットワーク出力を生成するために、再帰型ニューラルネットワーク、たとえば図1の再帰型ニューラルネットワーク110を使用して入力時間シーケンスを処理する(ステップ204)。
実施態様および再帰型ニューラルネットワークのアーキテクチャに依存して、入力時間シーケンスを処理することによって再帰型ニューラルネットワークによって生成されるニューラルネットワーク出力は、次の入力スコア、将来の条件スコア、またはネットワーク内部状態を含むことができる。
システムは、ニューラルネットワーク出力から時間シーケンスの健康分析データを生成する(ステップ206)。上で説明したように、健康分析データは、再帰型ニューラルネットワークによって生成されるニューラルネットワーク出力の種類に依存する。
図3は、次の入力スコアから時間シーケンスの健康分析データを生成する例のプロセス300の流れ図である。便宜上、プロセス300は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされたニューラルネットワークトレーニングシステム、たとえば図1の医療分析システム100が、プロセス300を実行することができる。
システムは、入力時間シーケンスを受け取る(ステップ302)。
システムは、入力時間シーケンスの次の入力スコアを生成するために、再帰型ニューラルネットワークを使用して入力時間シーケンスを処理する(ステップ304)。再帰型ニューラルネットワークは、1つまたは複数の再帰型ニューラルネットワーク層と、時間シーケンス内の時間ステップごとに、時間ステップに関して再帰型ニューラルネットワーク層によって生成されたネットワーク内部状態を受け取り、時間ステップの次の入力スコアのセットを生成するように構成された出力層とを含む。時間ステップの次の入力スコアのセットは、トークンの語彙内のトークンによって表される健康イベントごとのそれぞれのスコアを含み、所与の健康イベントの次の入力スコアは、その健康イベントが時間シーケンス内の次の健康イベントすなわち時間シーケンス内の次の時間ステップにおける健康イベントになる尤度を表す。
入力時間シーケンスの次の入力スコアは、時間シーケンス内の最後の時間ステップに関して出力層によって生成された次の入力スコアである。
システムは、次の入力スコアを使用して1つまたは複数の最高スコアの健康イベントを識別する(ステップ306)。たとえば、システムは、最大の次の入力スコアを有する所定の個数の健康イベントまたはしきい値を超える次の入力スコアを有する各健康イベントを選択することができる。
システムは、最高スコアの健康イベントを識別するデータと、オプションで、ユーザへの提示のために最高スコアの健康イベントごとの次の入力スコアの特徴を表すデータとを供給する(ステップ308)。したがって、医師または他のユーザは、入力時間シーケンスに対応する患者に関連する次の健康イベントになる可能性が高い健康イベントに関する情報を見ることができる可能性がある。
図4は、ネットワーク内部状態から時間シーケンスの健康イベントデータを生成する例のプロセス400の流れ図である。便宜上、プロセス400は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされたニューラルネットワークトレーニングシステム、たとえば図1の医療分析システム100が、プロセス400を実行することができる。
システムは、時間シーケンスのそれぞれの時間ステップごとにネットワーク内部状態を生成するために、再帰型ニューラルネットワーク、たとえば再帰型ニューラルネットワーク110を使用して時間シーケンスのセットのそれぞれを処理する(ステップ402)。セット内の各時間シーケンスは、異なる患者に対応し、たとえば、異なる電子診療記録から生成された。再帰型ニューラルネットワークは、1つまたは複数の再帰型ニューラルネットワーク層および出力層、ロジスティック回帰ノードのセット、またはその両方を含む。具体的には、再帰型ニューラルネットワークは、所与の入力時間シーケンス内の時間ステップごとに、将来のイベントすなわち現在の時間ステップにおけるイベントの後に発生するイベントを、現在の時間ステップに関してニューラルネットワークによって生成された内部状態から予測するようにトレーニングされている。たとえば、再帰型ニューラルネットワークが出力層を含む場合に、再帰型ニューラルネットワークが、時間シーケンス内の次のイベントすなわち、時間シーケンス内の現在の時間ステップの後の次の時間ステップにおけるイベントを予測するようにトレーニング済みである場合がある。別の例として、再帰型ニューラルネットワークが、ロジスティック回帰ノードのセットを含む場合に、再帰型ニューラルネットワークは、イベントのセットのそれぞれが、時間シーケンス内の現在の時間ステップにおけるイベントの指定された時間期間内に発生するかどうかを予測するようにトレーニング済みである場合がある。
システムは、内部状態リポジトリ内にネットワーク内部状態を記憶し、各ネットワーク内部状態を、ネットワーク内部状態がそれに関して生成された時間ステップおよび時間シーケンスを識別するデータに関連付ける(ステップ404)。いくつかの実施態様において、時間シーケンスごとに、システムは、時間シーケンス内の時間ステップごとにシステムによって生成されたネットワーク内部状態をリポジトリ内に記憶する。いくつかの他の実施態様において、システムは、ネットワーク内部状態のサブセットだけをリポジトリ内に記憶し、たとえば、時間シーケンス内の少なくともしきい個数の他の健康イベントが先行する健康イベントのネットワーク内部状態だけを記憶する。
システムは、健康イベントの入力時間シーケンスを受け取る(ステップ406)。
システムは、入力時間シーケンスのシーケンス内部状態を判定するために、再帰型ニューラルネットワークを使用して入力時間シーケンスを処理する(ステップ408)。入力時間シーケンスのシーケンス内部状態は、シーケンス内の最後の時間ステップにおける健康イベントのネットワーク内部状態である。
システムは、内部状態リポジトリから、シーケンス内部状態に類似する1つまたは複数のネットワーク内部状態を選択する(ステップ410)。システムは、シーケンス内部状態とリポジトリ内のネットワーク内部状態との間の類似性測度(similarity measure)、たとえばコサイン類似性測度を計算することによって、ネットワーク内部状態を選択する。たとえば、システムは、シーケンス内部状態との最大のコサイン類似性を有する所定の個数のネットワーク内部状態、または、しきい類似性を超えるシーケンス内部状態とのコサイン類似性を有する各ネットワーク内部状態を選択することができる。いくつかの実施態様において、システムは、内部状態の間の類似性を判定するのに異なる距離測度、たとえばユークリッド距離、ハミング距離などを使用する。同様に、システムは、内部状態を正規化し、その後、正規化された内部状態の間の距離を計算することもできる。
システムは、類似するネットワーク内部状態がそれに関してユーザへの提示のために生成された時間シーケンスを識別するデータを供給する(ステップ412)。具体的には、システムは、所与の類似するネットワーク内部状態に関して、ネットワーク内部状態がそれに関して生成された時間ステップの後に発生した、類似するネットワーク内部状態がそれに関して生成された時間シーケンス内の健康イベントを識別するデータを供給する。シーケンス内部状態と類似するネットワーク内部状態との両方を生成した再帰型ニューラルネットワークが、ネットワーク内部状態から将来のイベントを予測するようにトレーニングされ、類似するネットワーク内部状態が、シーケンス内部状態に類似するので、所与のネットワーク内部状態がそれに関して生成された時間ステップの後に発生したイベントは、入力時間シーケンス内の将来のイベントすなわち、入力時間シーケンス内の現在の最後のイベントの後に発生するイベントを予測する可能性が高い。すなわち、所与の類似するネットワーク内部状態がそれに関して生成された時間ステップから、対応する患者は、再帰型ニューラルネットワークが入力時間シーケンスに対応する現在の患者に関して期待する将来に類似する将来を有すると再帰型ニューラルネットワークによって期待された。したがって、ネットワーク内部状態から後続イベントを見ることによって、ユーザ、たとえば医師は、入力時間シーケンス内の現在の最後のイベントに続く可能性があるイベントすなわち、現在の患者に関して発生する可能性がある将来の健康イベントのアイデアを与えられ得る。
いくつかの他の実施態様において、システムは、所与のネットワーク内部状態がそれに関して生成された時間シーケンスを識別するデータの一部として、ユーザへの提示のための時間シーケンス内の他の健康イベントを識別するデータをも供給する。
いくつかの実施態様において、ユーザへの提示のための時間シーケンスを識別するデータを供給するのではなく、システムは、時間シーケンス内の後続イベントから統計を計算し、ユーザへの提示のために計算された統計を供給する。たとえば、システムは、類似するネットワーク内部状態がそれに関して生成された時間ステップの後の特定の健康イベント、たとえば心臓発作または脳卒中を含んだ時間シーケンスの部分を判定することができる。システムは、その後、たとえば「患者のX%が、特定の健康イベントを経験した現在の患者に類似する将来を有すると期待される」という形において、ユーザへの提示のために比率を識別するデータを供給することができる。
いくつかの実施態様において、内部状態リポジトリ内に内部状態を記憶するのではなく、システムは、他の時間シーケンスと比較されなければならない入力時間シーケンスが受け取られる時に必ず、他の時間シーケンスごとに内部状態を再計算することができる。
図5は、将来の条件スコアから時間シーケンスの健康イベントデータを生成する例のプロセス500の流れ図である。便宜上、プロセス500は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされたニューラルネットワークトレーニングシステム、たとえば図1の医療分析システム100が、プロセス500を実行することができる。
システムは、入力時間シーケンスを受け取る(ステップ502)。
システムは、入力時間シーケンスの将来の条件スコアを生成するために、再帰型ニューラルネットワーク、たとえば再帰型ニューラルネットワーク110を使用して入力時間シーケンスを処理する(ステップ504)。将来の条件スコアは、条件の所定のセットのそれぞれについてのそれぞれの将来の条件スコアを含む。所与の条件の将来の条件スコアは、その条件が、入力時間シーケンス内の最後の時間ステップにおけるイベントの指定された時間期間内に満足される尤度を表す。
いくつかの実施態様において、再帰型ニューラルネットワークは、1つまたは複数の再帰型ニューラルネットワーク層と、ロジスティック回帰ノードのセットとを含む。各ロジスティック回帰ノードは、入力時間シーケンス内の各時間ステップにおいて、条件の所定のセットからの対応する条件の将来の条件スコアを生成する。将来の条件スコアを生成するロジスティック回帰ノードを含む再帰型ニューラルネットワークは、下で図7〜図9を参照してより詳細に説明される。これらの実施態様において、入力時間シーケンス内の最後の時間ステップに関して再帰型ニューラルネットワークによって生成される将来の条件スコアのセットは、入力時間シーケンスの将来の条件スコアのセットである。
いくつかの他の実施態様において、再帰型ニューラルネットワークは、入力時間シーケンス内の時間ステップごとに次の入力スコアのセットを生成する出力層を含み、ロジスティック回帰ノードを含まない。これらの実施態様において、システムは、時間シーケンス内の現在の最後の時間ステップの後の指定された個数の追加の時間ステップと追加の時間ステップのそれぞれにおけるそれぞれの可能な健康イベントとをそれぞれが含む複数の可能な時間シーケンスを生成する。システムは、追加の時間ステップのそれぞれに関して指定された幅を有するビーム探索を実行することによって複数の可能な時間シーケンスを生成する。ビーム探索の幅は、将来の時間ステップのそれぞれにおいてシステムによって考慮される最高スコアのイベントの個数を定義する。その後、システムは、それに関して将来の条件スコアが生成されるイベントのうちの1つの発生によって満足される条件のそれぞれについて、シーケンス内の追加の時間ステップのうちの1つにおいて条件を満足するイベントを含む可能な時間シーケンスの比率を判定する。その後、システムは、対応する条件の将来の条件スコアとしてその比率を使用することができる。オプションで、システムは、その中でイベントが発生した可能な時間シーケンスの発生の尤度を使用してイベントの各発生に重みを付けることができる。可能な時間シーケンスの発生の尤度は、たとえば、シーケンス内の追加の時間ステップのそれぞれにおける健康イベントの次の入力スコアの積とすることができる。
システムは、ユーザへの提示のために将来の条件スコアを識別するデータを供給する(ステップ506)。たとえば、システムは、各条件および各条件の将来の条件スコアを識別するデータを供給し、または、ユーザへの提示のために1つまたは複数の最高スコアの条件を識別するデータだけを供給することができる。
いくつかの実施態様において、ユーザへの提示のために将来の条件スコアを識別するデータを供給することに加えてまたはその代わりに、システムは、将来の条件スコアに対する治療の影響を判定し、ユーザへの提示のためにその影響を識別するデータを供給することができる。
図6は、将来の条件スコアに対する、時間シーケンスへのイベントの追加の影響を判定する例のプロセス600の流れ図である。便宜上、プロセス600は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされたニューラルネットワークトレーニングシステム、たとえば図1の医療分析システム100が、プロセス600を実行することができる。
システムは、初期入力時間シーケンスを受け取る(ステップ602)。
システムは、初期入力時間シーケンスの将来の条件スコアを判定する(ステップ604)。たとえば、システムは、上で図5を参照して説明したように、初期入力時間シーケンスの将来の条件スコアを判定することができる。
システムは、ユーザから追加の健康イベントを識別するデータを受け取る(ステップ606)。たとえば、追加の健康イベントは、医師によって患者に関して指示される潜在的な治療とすることができる。
システムは、初期入力時間シーケンスの末尾に追加の健康イベントを識別するデータ、たとえば健康イベントを表すトークンを付加することによって、変更された入力時間シーケンスを生成する(ステップ608)。
システムは、変更された入力時間シーケンスの将来の条件スコアを判定する(ステップ610)。たとえば、システムは、上で図5に関連して説明したように、初期入力時間シーケンスの将来の条件スコアを判定することができる。
システムは、入力時間シーケンスに追加の健康イベントを追加することによって引き起こされた将来の条件スコアの変化を判定し、ユーザへの提示のためにその変化を識別するデータを供給する(ステップ612)。すなわち、システムは、変更された入力時間シーケンスの将来の条件スコアと初期入力時間シーケンスの対応する将来の条件スコアとの間の差を計算し、ユーザへの提示のためにその差を識別するデータを供給する。したがって、医師は、ある種の条件が将来において満足される尤度に対する潜在的な治療の影響を見ることができる可能性がある。
いくつかの実施態様において、システムは、新しいイベントが時間シーケンスに追加されることに応答してプロセス600を自動的に実行することができる。新しいイベントが、条件の将来の条件スコアに、しきい値を超えて増加させるかしきい値を超えさせる場合に、システムは、変化についてユーザに自動的に通知するために警報を生成することができる。たとえば、システム管理者または他のユーザは、望ましくないものとして、1つまたは複数の特定の条件が満足されることを指定することができる。その後、システムは、新しいイベントが時間シーケンスに追加されることに応答してプロセス600を自動的に実行し、望ましくない条件のうちの1つの将来の条件スコアがしきいスコアを超えるかしきい増加量を超えて増加する場合に、ユーザに通知するために警報を生成することができる。
さらに、いくつかの実施態様において、システムは、時間シーケンスの受け取りに応答して、時間シーケンスから複数の変更された時間シーケンスを自動的に生成することができ、各変更された時間シーケンスは、時間シーケンスに異なる可能な入力健康イベントを追加する。可能な入力健康イベントは、語彙内のトークンによって表される健康イベントのサブセット、たとえば、語彙内のトークンによって表される可能な治療の一部またはすべてとすることができる。その後、システムは、変更された時間シーケンスのそれぞれについてプロセス600を実行し、変更されたシーケンスのすべてについて、望ましくない条件のうちの1つまたは複数の将来の条件スコアがしきい減少量を超えて減少したかどうかを判定することができる。所与の変更された時間シーケンスに関して、望ましくない条件の将来の条件スコアがしきい減少量を超えて減少したとの判定に応答して、システムは、変更された時間シーケンスを生成するために時間シーケンスに追加された健康イベントを識別する情報をユーザに供給することができる。したがって、医師は、望ましくない条件が将来に満足される尤度を減少させることのできる追加の治療を考慮する機会を与えられ得る。
図7は、将来の条件スコアを生成するように構成された例の再帰型ニューラルネットワーク700を示す。再帰型ニューラルネットワーク700は、下で説明されるシステム、構成要素、および技法がその中で実施され得る、1つまたは複数の位置内の1つまたは複数のコンピュータ上のコンピュータプログラムとして実施されるシステムの例である。
再帰型ニューラルネットワーク700は、複数の時間ステップのそれぞれにおけるそれぞれの入力を含む入力シーケンスを受け取り、イベントの所定のセット内の条件ごとにそれぞれの将来の条件スコアを生成する。所与の時間ステップにおける所与の条件の将来の条件スコアは、その条件がその時間ステップにおける入力の指定された時間期間内に満足される尤度を表す。
再帰型ニューラルネットワーク700は、1つまたは複数の再帰型ニューラルネットワーク層710、複数のロジスティック回帰ノード720A〜N、およびオプションで出力層740を含む。
上で図1を参照して説明したように、時間ステップのそれぞれについて、1つまたは複数の再帰型ニューラルネットワーク層710は、時間ステップにおける入力を受け取り、時間ステップのネットワーク内部状態を生成するために入力を集合的に処理する。
ロジスティック回帰ノード720A〜720Nのそれぞれは、条件の所定のセットからのそれぞれの条件に対応し、各時間ステップにおいて、その時間ステップのネットワーク内部状態を受け取り、対応するイベントの将来の条件スコアを生成するためにパラメータのそれぞれのセットの現在の値に従ってネットワーク内部状態を処理するように構成される。したがって、各時間ステップにおいて、ロジスティック回帰ノード720A〜720Nのそれぞれは、条件の所定のセット内の条件のそれぞれの1つの将来の条件スコアを生成する。
再帰型ニューラルネットワーク700が出力層740を含む場合に、出力層740は、時間ステップのネットワーク内部状態を受け取り、可能な入力のセット内の可能な入力ごとにそれぞれの次の入力スコアを生成するために内部状態を処理するように構成される。所与の可能な入力の次の入力スコアは、可能な入力が入力シーケンス内の次の入力である尤度、すなわち、入力シーケンス内の現在の時間ステップにおける入力に直接に続く尤度を表す。
時間シーケンス内の入力は、可能な入力イベントのセットを表す所定の語彙内のトークンから選択される入力を含む。再帰型ニューラルネットワーク700がそれに関する将来の条件スコアを生成する所定の条件のセット内の条件は、所定の語彙内のトークンによって表されない、すなわち、再帰型ニューラルネットワーク700によって処理される時間シーケンス内に含まれ得る可能な入力イベントではないイベント、トークンによって表されるイベント、またはその両方の発生によって満足される条件を含むことができる。したがって、再帰型ニューラルネットワーク700がそれに関する将来の条件スコアを生成する条件の所定のセット内の条件のいずれかを満足する、イベントのセット内のイベントは、トークンによって表されるイベントとオーバーラップする可能性があるが、イベントのセットは、セット内に含まれない他のイベントをも含むことができる。
図8は、所与の時間ステップの将来の条件スコアを生成する例のプロセス800の流れ図である。便宜上、プロセス800は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされた再帰型ニューラルネットワーク、たとえば図7の再帰型ニューラルネットワーク700が、プロセス800を実行することができる。
システムは、時間ステップの入力、たとえば健康イベントを表すトークンを受け取る(ステップ802)。
システムは、時間ステップに関する再帰型ニューラルネットワークのネットワーク内部状態を生成するために、1つまたは複数の再帰型ニューラルネットワーク層、たとえば図7の再帰型ニューラルネットワーク層710を使用して入力を処理する(ステップ804)。1つまたは複数のニューラルネットワーク層は、たとえば上で図1を参照して説明したように、ネットワーク内部状態を生成する。
システムは、将来の条件スコアのセットを生成するために、ロジスティック回帰ノード、たとえば図7のロジスティック回帰ノード720A〜720Nのセットのそれぞれを使用してネットワーク内部状態を処理する(ステップ806)。ロジスティック回帰ノードのそれぞれは、条件の所定のセットからのそれぞれの条件に対応し、ロジスティック回帰ノードのパラメータのセットの現在の値に従って内部状態を処理することによって、対応する条件の将来の条件スコアを生成する。
オプションで、システムは、可能な入力のセットのそれぞれについてのそれぞれの次の入力スコアを生成するために、出力層、たとえば図7の出力層740を使用してネットワーク内部状態をも処理する(ステップ808)。出力層は、出力層パラメータのセットの現在の値に従ってネットワーク内部状態を処理することによって、それぞれの次の入力スコアを生成する。
プロセス800は、それに関して所望の出力すなわち入力に関してシステムによって生成されなければならないニューラルネットワーク出力が既知ではないニューラルネットワーク入力に関して実行され得る。システムは、システムをトレーニングするためすなわち、再帰型ニューラルネットワーク層、ロジスティック回帰ノード、およびいくつかの実施態様において出力層のパラメータのトレーニングされた値を判定するために、トレーニングシーケンスのセットへの入力すなわち、それに関してシステムによって予測されなければならない出力が既知である入力のセットに対してプロセス800を実行することもできる。具体的には、プロセス800は、ニューラルネットワークをトレーニングするための機械学習トレーニング技法、たとえば時間を介する逆伝搬トレーニング技法の一部として、トレーニングシーケンスのセットからの入力に対して繰り返して実行され得る。例のトレーニングプロセスが、下で図9を参照して詳細に説明される。
図9は、将来の条件スコアを生成するために再帰型ニューラルネットワークをトレーニングする例のプロセス900の流れ図である。便宜上、プロセス900は、1つまたは複数の位置内に配置された1つまたは複数のコンピュータのシステムによって実行されるものとして説明される。たとえば、適当にプログラムされた再帰型ニューラルネットワーク、たとえば図7の再帰型ニューラルネットワーク700が、プロセス900を実行することができる。
システムは、ラベル付けされたトレーニングシーケンスを入手する(ステップ902)。入手されるトレーニングシーケンスのそれぞれは、複数の時間ステップのそれぞれにおける入力のシーケンスである。各トレーニングシーケンスは、時間ステップのそれぞれにおいて、それに関して再帰型ニューラルネットワークが将来の条件スコアを生成する条件の所定のセット内の条件のそれぞれに関するそれぞれのインジケータ変数をも含む。所与の時間ステップにおける所与の条件のインジケータ変数は、その条件がその時間ステップにおける入力から指定された時間期間内に満足されたか否かを示す。たとえば、インジケータ変数は、条件が満足された場合に1の値、条件が満足されなかった場合に0の値を有することができる。したがって、各時間ステップにおいて、ラベル付けされたトレーニングシーケンスは、入力と、条件の所定のセット内の条件のそれぞれに関するそれぞれのインジケータ変数とを含む。
いくつかの実施態様において、システムは、インジケータ変数を用いて既にラベルを付けられているトレーニングシーケンスを受け取る。いくつかの他の実施態様において、システムは、時間ステップのそれぞれにおける条件のそれぞれのインジケータ変数を計算することによって、ラベル付けされたトレーニングシーケンスを生成する。たとえば、システムは、トレーニングシーケンスの所与の時間ステップにおける所与の入力に関して、いつ入力が発生したのかを判定し、条件の所定のセット内の条件を満足するイベントの発生を識別するデータにアクセスすることができる。その後、システムは、条件のそれぞれについて、条件が、時間ステップにおける入力が発生した時の指定された時間期間以内に満足されたかどうかを判定し、それに応じてイベントのインジケータ変数の値をセットすることができる。
システムは、ラベル付けされたトレーニングシーケンスに対して1つまたは複数の再帰型ニューラルネットワーク層、ロジスティック回帰ノード、およびオプションで出力層をトレーニングする(ステップ904)。具体的には、システムは、機械学習トレーニング技法の複数の反復を実行することによって、パラメータの初期値から再帰型ニューラルネットワーク層、ロジスティック回帰ノード、および出力層のパラメータのトレーニングされた値を判定する。トレーニング技法の一部として、システムは、目的関数を最小化しまたは最大化する。システムが、ロジスティック回帰ノードだけを含み、出力層を含まない場合には、目的関数は、所与のトレーニングシーケンス内の所与の時間ステップに関して、その時間ステップに関してロジスティック回帰ノードによって生成された将来の条件スコアとその時間ステップにおける対応する条件のインジケータ変数との間の誤差に依存する。システムが出力層をも含む場合には、目的関数は、時間ステップに関して、その時間ステップに関して出力層によって生成された次の入力スコアとトレーニングシーケンス内の次の時間ステップにおける入力との間の誤差にも依存する。
上で説明したように、再帰型ニューラルネットワーク700は、将来の条件スコアを生成するために、患者に関連する健康イベントを識別するデータを含む時間シーケンスを処理することができる。しかし、再帰型ニューラルネットワーク700は、任意のタイプの時間イベントを識別するデータを含む時間シーケンスすなわち、イベントが経時的に発生した時によって順序付けられるイベントを識別するデータを含む任意の時間シーケンスの将来の条件スコアを生成するようにトレーニングされ得る。
たとえば、再帰型ニューラルネットワーク700は、ユーザの財務表内で見つかる取引、たとえば、銀行取引明細書上に現れる可能性がある銀行取引、クレジットカード利用明細書上に現れる可能性があるクレジットカード取引などを識別するデータを含む時間シーケンスの将来の条件スコアを生成するようにトレーニングされ得る。この文脈における将来の条件スコアは、行われている様々なタイプの金融取引によって満足される条件のスコア、財務表内に現れる種類の金融取引ではない発生しているイベント、たとえば税務監査によって満足される条件のスコア、またはその両方を含むことができる。
別の例として、再帰型ニューラルネットワーク700は、株式市場取引を識別するデータを含む時間シーケンスの将来の条件スコアを生成するようにトレーニングされ得る。この文脈において、時間シーケンスは、単一のエンティティまたは株式市場に参加するすべてのエンティティのいずれかによる株の購入および販売を含むことができる。
別の例として、再帰型ニューラルネットワーク700は、機械類またはエレクトロニクス、たとえば航空機、自動車、データセンタ構成要素などの保守記録を識別するデータを含む時間シーケンスの将来の条件スコアを生成するようにトレーニングされ得る。この文脈における将来の条件スコアは、様々なタイプの保守関連イベントによって満足される条件のスコアならびに保守記録内に通常は現れないイベント、たとえば航空機の飛行中の故障の発生によって満足される条件のスコアを含むことができる。
本主題の実施形態および本明細書内で説明される機能的動作は、本明細書内で開示される構造およびその構造的同等物を含む、デジタル電子回路網内、有形に実施されたコンピュータソフトウェアまたはファームウェア内、コンピュータハードウェア内、またはそれらのうちの1つまたは複数の組合せ内で実施され得る。本明細書内で説明される主題の実施形態は、1つまたは複数のコンピュータプログラムすなわち、データ処理装置による実行のためのまたはデータ処理装置の動作を制御するための、有形の非一時的プログラム担体上で符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実施され得る。その代わりにまたはそれに加えて、プログラム命令は、データ処理装置による実行のための適切な受信器装置への送信のために情報を符号化するために生成される、人工的に生成された伝搬される信号、たとえば機械生成された電気信号、光信号、または電磁信号上で符号化され得る。コンピュータ記憶媒体は、機械可読ストレージデバイス、機械可読ストレージ基盤、ランダムアクセスメモリデバイスもしくはシリアルアクセスメモリデバイス、またはそれらのうちの1つまたは複数の組合せとすることができる。
「データ処理装置」という用語は、たとえばプログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、特殊目的論理回路網、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの1つまたは複数の組合せを構成するコードも含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれまたは説明される場合もある)は、コンパイルされる言語もしくは解釈される言語、または宣言型言語もしくは手続き型言語を含む任意の形のプログラミング言語において記述され得、独立型プログラムとしてまたはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境内での使用に適する他のユニットとして含む任意の形において展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、そうである必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部内に、たとえばマークアップ言語文書内、問題のプログラム専用の単一のファイル内、または複数の調整されたファイル内、たとえば1つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を記憶するファイル内の1つまたは複数のスクリプト内に記憶され得る。コンピュータプログラムは、1つのコンピュータ上または1つのサイトに配置されるか複数のサイトにまたがって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開され得る。
本明細書内で説明されるプロセスおよび論理フローは、入力データに作用し、出力を生成することによって機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルコンピュータによって実行され得る。プロセスおよび論理フローは、特殊目的論理回路網、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行されることも可能であり、装置は、これらの特殊目的論理回路網として実施されることも可能である。
コンピュータプログラムの実行に適するコンピュータは、汎用もしくは特殊目的のマイクロプロセッサまたはその両方あるいは任意の他の種類の中央処理装置を含み、たとえばそれらに基づくものとすることができる。一般に、中央処理装置は、読取専用メモリ、ランダムアクセスメモリ、またはその両方から命令およびデータを受け取る。コンピュータの本質的要素は、命令を実行する(performing)または実行する(executing)中央処理装置と、命令およびデータを記憶する1つまたは複数のメモリとである。一般に、コンピュータは、データを記憶する1つまたは複数のマスストレージデバイス、たとえば磁気ディスク、光磁気ディスク、または光ディスクをも含み、またはこれらからデータを受け取り、これらにデータを転送し、もしくはその両方を行うために動作可能に結合される。しかし、コンピュータがそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、たとえば、少数の例を挙げると、携帯電話機、携帯情報端末(PDA)、モバイルオーディオプレイヤ、モバイルビデオプレイヤ、ゲーム機、全地球測位システム(GPS)受信器、またはポータブルストレージデバイス、たとえばユニバーサルシリアルバス(USB)フラッシュドライブ内に組み込まれ得る。
コンピュータプログラム命令およびデータを記憶するのに適するコンピュータ可読媒体は、たとえば半導体メモリデバイス、たとえばEPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、たとえば内蔵ハードディスクもしくはリムーバブルディスク、光磁気ディスク、ならびにCD ROMディスクおよびDVD-ROMディスクを含む、すべての形の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網によって増補され、または特殊目的論理回路網内に組み込まれ得る。
ユーザとの対話を提供するために、本明細書内で説明される主題の実施形態は、ユーザに情報を表示するディスプレイデバイス、たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタと、それによってユーザがコンピュータに入力を供給できるキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールとを有するコンピュータ上で実施され得る。他の種類のデバイスも、ユーザとの対話を提供するのに使用され得、たとえば、ユーザに提供されるフィードバックは、任意の形の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形において受け取られ得る。さらに、コンピュータは、ユーザによって使用されるデバイスに文書を送り、そのデバイスから文書を受け取ることによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受け取られた要求に応答してウェブブラウザにウェブページを送ることによって、ユーザと対話することができる。
本明細書内で説明される主題の実施形態は、たとえばデータサーバとして、バックエンド構成要素を含むコンピューティングシステム内で、ミドルウェア構成要素を含むコンピューティングシステム、たとえばアプリケーションサーバ内で、フロントエンド構成要素を含むコンピューティングシステム、たとえばユーザがそれを介して本明細書内で説明される主題の実施態様と対話できるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ内で、あるいは1つまたは複数のそのようなバックエンドコンピュータ、ミドルウェアコンピュータ、またはフロントエンドコンピュータの任意の組合せ内で実施され得る。システムの構成要素は、デジタルデータ通信の任意の形または媒体、たとえば通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)および広域ネットワーク(「WAN」)、たとえばインターネットを含む。
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、お互いからリモートであり、通常は通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で走行し、お互いに対するクライアント-サーバ関係を有するコンピュータプログラムのおかげで生じる。
本明細書は、多数の特定の実施詳細を含むが、これらは、いずれかの発明または請求され得るものの範囲に対する限定と解釈されてはならず、むしろ、特定の発明の特定の実施形態に固有である可能性がある特徴の説明と解釈されなければならない。別々の実施形態の文脈において本明細書内で説明されるある種の特徴が、単一の実施形態内で組合せで実施されることも可能である。逆に、単一の実施形態の文脈において説明される様々な特徴が、複数の実施形態内で別々に、または任意の適切な副組合せで実施されることも可能である。さらに、特徴が、ある種の組合せで働くものとして上で説明され、そのようなものとして当初に請求される場合すらあるが、請求される組合せからの1つまたは複数の特徴は、いくつかの場合において組合せから削除され得、請求される組合せは、副組合せまたは副組合せの変形形態を対象とすることができる。
同様に、動作が、図内で特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が図示の特定の順序または順次順序で実行されることまたはすべての図示された動作が実行されることを要求するものと理解されてはならない。ある種の状況において、マルチタスキングおよび並列処理が有利になる場合がある。さらに、上で説明された実施形態内の様々なシステムモジュールおよび構成要素の分離は、すべての実施形態においてそのような分離を要求するものと理解されてはならず、説明されるプログラム構成要素およびシステムが、一般に、単一のソフトウェア製品内で一緒に一体化されまたは複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
本主題の特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲の範囲内にある。たとえば、請求項内に列挙されたアクションは、異なる順序で実行され、それでも望ましい結果を達成することができる。一例として、添付図面内に示されたプロセスは、望ましい結果を達成するために、必ずしも図示の特定の順序または順次順序を要求しない。ある種の実施態様において、マルチタスキングおよび並列処理が有利になる場合がある。
100 医療分析システム
102 時間シーケンス
104 時間シーケンス生成システム
106 電子診療記録リポジトリ
110 再帰型ニューラルネットワーク
112 次の入力スコア
114 将来の条件スコア
116 ネットワーク内部状態
120 医療分析エンジン
122 健康分析データ
130 内部状態リポジトリ
200 プロセス
300 プロセス
400 プロセス
500 プロセス
600 プロセス
700 再帰型ニューラルネットワーク
710 再帰型ニューラルネットワーク層
720A〜720N ロジスティック回帰ノード
740 出力層
800 プロセス
900 プロセス

Claims (19)

  1. 複数の時間ステップのそれぞれにおけるそれぞれの入力を含む時間シーケンスを処理するように構成された再帰型ニューラルネットワークシステムであって、
    1つまたは複数の再帰型ニューラルネットワーク層であって、前記1つまたは複数の再帰型ニューラルネットワーク層は、前記複数の時間ステップのそれぞれについて、
    前記時間ステップにおける前記入力を受け取り、
    前記時間ステップのネットワーク内部状態を生成するために前記時間ステップにおける前記入力を集合的に処理する
    ように構成される、1つまたは複数の再帰型ニューラルネットワーク層と、
    1つまたは複数のロジスティック回帰ノードであって、前記ロジスティック回帰ノードのそれぞれは、条件の所定のセットからのそれぞれの条件に対応し、前記ロジスティック回帰ノードのそれぞれは、前記複数の時間ステップのそれぞれについて、
    前記時間ステップの前記ネットワーク内部状態を受け取り、
    前記時間ステップの対応する条件の将来の条件スコアを生成するために前記ロジスティック回帰ノードのパラメータのセットの現在の値に従って前記時間ステップの前記ネットワーク内部状態を処理することであって、前記対応する条件の前記将来の条件スコアが、前記対応する条件が前記時間ステップにおける前記入力の指定された時間期間内に満足される尤度を表す、ことを行う
    ように構成される、1つまたは複数のロジスティック回帰ノードと
    を含む再帰型ニューラルネットワークシステム。
  2. 出力層であって、前記出力層は、前記複数の時間ステップのそれぞれについて、
    前記時間ステップの前記ネットワーク内部状態を受け取り、
    複数の可能な次の入力のそれぞれについてのそれぞれの次の入力スコアを生成するために前記出力層のパラメータのセットの現在の値に従って前記時間ステップの前記ネットワーク内部状態を処理することであって、前記複数の可能な次の入力のそれぞれについての前記それぞれの次の入力スコアが、前記可能な次の入力が前記時間シーケンス内の次の時間ステップにおける入力になる尤度を表す、ことを行う
    ように構成された出力層
    をさらに含む、請求項1に記載の再帰型ニューラルネットワークシステム。
  3. 前記1つまたは複数の再帰型ニューラルネットワーク層のそれぞれは、前記複数の時間ステップのそれぞれについて、
    前記時間ステップの層入力を受け取り、
    前記時間ステップの前記再帰型ニューラルネットワーク層の層内部状態を生成するために、前記再帰型ニューラルネットワーク層のパラメータのセットの現在の値に従って、前記時間ステップの前記層入力と、先行する時間ステップの前記再帰型ニューラルネットワーク層の層内部状態とを処理する
    ように構成される、請求項1または2に記載の再帰型ニューラルネットワークシステム。
  4. 前記再帰型ニューラルネットワークシステムは、1つの再帰型ニューラルネットワーク層だけを含み、前記時間ステップの前記再帰型ニューラルネットワーク層の前記層内部状態は、前記時間ステップの前記ネットワーク内部状態である、請求項3に記載の再帰型ニューラルネットワークシステム。
  5. 前記再帰型ニューラルネットワークシステムは、シーケンス内に配置された複数の再帰型ニューラルネットワーク層を含み、前記時間ステップの前記ネットワーク内部状態は、前記時間ステップの前記シーケンス内の最上位再帰型ニューラルネットワーク層の層内部状態である、請求項3に記載の再帰型ニューラルネットワークシステム。
  6. 前記再帰型ニューラルネットワークシステムは、複数の再帰型ニューラルネットワーク層を含み、前記時間ステップの前記ネットワーク内部状態は、前記時間ステップの前記再帰型ニューラルネットワーク層の前記層内部状態の組合せである、請求項3に記載の再帰型ニューラルネットワークシステム。
  7. 前記時間シーケンス内の各入力は、前記再帰型ニューラルネットワークシステムへの可能な入力のセットから選択される、請求項1から6のいずれか一項に記載の再帰型ニューラルネットワークシステム。
  8. 条件の前記所定のセットは、前記再帰型ニューラルネットワークシステムへの可能な入力の前記セット内に含まれないイベントが前記時間ステップにおける前記入力の指定された時間期間内に発生する時に満足される条件を含む、請求項7に記載の再帰型ニューラルネットワークシステム。
  9. 前記複数の時間ステップにおける前記入力のそれぞれは、患者に関連する健康関連データであり、条件の前記所定のセット内の前記条件は、健康関連イベントが前記患者に関連して発生する時に満足される条件である、請求項1から8のいずれか一項に記載の再帰型ニューラルネットワークシステム。
  10. 1つまたは複数の再帰型ニューラルネットワーク層および1つまたは複数のロジスティック回帰ノードを含む再帰型ニューラルネットワークシステムを使用して、複数の時間ステップのそれぞれにおけるそれぞれの入力を含む時間シーケンスを処理する方法であって、前記複数の時間ステップのそれぞれについて、
    前記時間ステップにおける前記入力を受け取るステップと、
    前記時間ステップのネットワーク内部状態を生成するために前記1つまたは複数の再帰型ニューラルネットワーク層を介して前記時間ステップにおける前記入力を処理するステップと、
    前記1つまたは複数のロジスティック回帰ノードのそれぞれを使用して前記ネットワーク内部状態を処理するステップであって、前記ロジスティック回帰ノードのそれぞれは、条件の所定のセットからのそれぞれの条件に対応し、前記1つまたは複数のロジスティック回帰ノードのそれぞれを使用して前記ネットワーク内部状態を処理するステップは、
    前記時間ステップの対応する条件の将来の条件スコアを生成するために前記ロジスティック回帰ノードのパラメータのセットの現在の値に従って前記ロジスティック回帰ノードを使用して前記時間ステップの前記ネットワーク内部状態を処理するステップであって、前記対応する条件の前記将来の条件スコアは、前記対応する条件が前記時間ステップにおける前記入力の指定された時間期間内に満足される尤度を表す、処理するステップを含む、処理するステップと
    を含む方法。
  11. 前記再帰型ニューラルネットワークシステムは、出力層をさらに含み、前記方法は、前記複数の時間ステップのそれぞれについて、
    複数の可能な次の入力のそれぞれについてのそれぞれの次の入力スコアを生成するために前記出力層のパラメータのセットの現在の値に従って前記出力層を使用して前記時間ステップの前記ネットワーク内部状態を処理するステップであって、前記複数の可能な次の入力のそれぞれについての前記それぞれの次の入力スコアは、前記可能な次の入力が前記時間シーケンス内の次の時間ステップにおける入力になる尤度を表す、処理するステップ
    をさらに含む、請求項10に記載の方法。
  12. 前記1つまたは複数の再帰型ニューラルネットワーク層のそれぞれは、前記複数の時間ステップのそれぞれについて、
    前記時間ステップの層入力を受け取り、
    前記時間ステップの前記再帰型ニューラルネットワーク層の層内部状態を生成するために、前記再帰型ニューラルネットワーク層のパラメータのセットの現在の値に従って、前記時間ステップの前記層入力と、先行する時間ステップの前記再帰型ニューラルネットワーク層の層内部状態とを処理する
    ように構成される、請求項10または11に記載の方法。
  13. 前記再帰型ニューラルネットワークシステムは、1つの再帰型ニューラルネットワーク層だけを含み、前記時間ステップの前記再帰型ニューラルネットワーク層の前記層内部状態は、前記時間ステップの前記ネットワーク内部状態である、請求項12に記載の方法。
  14. 前記再帰型ニューラルネットワークシステムは、シーケンス内に配置された複数の再帰型ニューラルネットワーク層を含み、前記時間ステップの前記ネットワーク内部状態は、前記時間ステップの前記シーケンス内の最上位再帰型ニューラルネットワーク層の層内部状態である、請求項12に記載の方法。
  15. 前記再帰型ニューラルネットワークシステムは、複数の再帰型ニューラルネットワーク層を含み、前記時間ステップの前記ネットワーク内部状態は、前記時間ステップの前記再帰型ニューラルネットワーク層の前記層内部状態の組合せである、請求項12に記載の方法。
  16. 前記時間シーケンス内の各入力は、前記再帰型ニューラルネットワークシステムへの可能な入力のセットから選択される、請求項10から15のいずれか一項に記載の方法。
  17. 条件の前記所定のセットは、前記再帰型ニューラルネットワークシステムへの可能な入力の前記セット内に含まれないイベントが前記時間ステップにおける前記入力の指定された時間期間内に発生する時に満足される条件を含む、請求項16に記載の方法。
  18. 前記複数の時間ステップにおける前記入力のそれぞれは、患者に関連する健康関連データであり、条件の前記所定のセット内の前記条件のうちの1つまたは複数は、健康関連イベントが前記患者に関連して発生する時に満足される条件である、請求項10から17のいずれか一項に記載の方法。
  19. 1つまたは複数の非一時的コンピュータ可読媒体上で符号化されたコンピュータプログラム製品であって、前記コンピュータプログラム製品は、1つまたは複数のコンピュータによって実行される時に、前記1つまたは複数のコンピュータに、1つまたは複数の再帰型ニューラルネットワーク層および1つまたは複数のロジスティック回帰ノードを含む再帰型ニューラルネットワークシステムを使用して複数の時間ステップのそれぞれにおけるそれぞれの入力を含む時間シーケンスを処理する動作を実行させる命令を含み、前記動作は、請求項10から18のいずれか一項に記載の方法を含む、コンピュータプログラム製品。
JP2018504218A 2015-07-27 2016-07-26 再帰型ニューラルネットワークを使用する、条件が満足される尤度の予測 Active JP6541868B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/810,381 US9336482B1 (en) 2015-07-27 2015-07-27 Predicting likelihoods of conditions being satisfied using recurrent neural networks
US14/810,381 2015-07-27
PCT/US2016/044101 WO2017019703A1 (en) 2015-07-27 2016-07-26 Predicting likelihoods of conditions being satisfied using recurrent neural networks

Publications (2)

Publication Number Publication Date
JP2018528518A true JP2018528518A (ja) 2018-09-27
JP6541868B2 JP6541868B2 (ja) 2019-07-10

Family

ID=55860023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018504218A Active JP6541868B2 (ja) 2015-07-27 2016-07-26 再帰型ニューラルネットワークを使用する、条件が満足される尤度の予測

Country Status (6)

Country Link
US (5) US9336482B1 (ja)
EP (2) EP3989127A1 (ja)
JP (1) JP6541868B2 (ja)
KR (1) KR102011453B1 (ja)
CN (1) CN107743630B (ja)
WO (1) WO2017019703A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652712B2 (en) 2015-07-27 2017-05-16 Google Inc. Analyzing health events using recurrent neural networks
US9336482B1 (en) * 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
US10212876B2 (en) * 2015-10-12 2019-02-26 Droneseed Co. Aerial deployment planting methods and systems
US20200320377A1 (en) * 2016-05-20 2020-10-08 Deepmind Technologies Limited Interaction networks
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
SG10201610116PA (en) * 2016-11-03 2018-06-28 Avanseus Holdings Pte Ltd Method and system for machine failure prediction
US11494654B2 (en) * 2016-11-03 2022-11-08 Avanseus Holdings Pte. Ltd. Method for machine failure prediction using memory depth values
US10671908B2 (en) 2016-11-23 2020-06-02 Microsoft Technology Licensing, Llc Differential recurrent neural network
US10241684B2 (en) * 2017-01-12 2019-03-26 Samsung Electronics Co., Ltd System and method for higher order long short-term memory (LSTM) network
DE102017205093A1 (de) 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
US11276495B2 (en) * 2017-07-11 2022-03-15 Cambia Health Solutions, Inc. Systems and methods for predicting multiple health care outcomes
US11990242B2 (en) * 2017-08-24 2024-05-21 Cerner Innovation, Inc. Reducing the risk of potentially preventable events
JP7402165B2 (ja) 2018-02-19 2023-12-20 ブラウン ゲーエムベーハー 可動式処置デバイスの位置特定を実施するための装置及び方法
KR102225894B1 (ko) * 2018-04-24 2021-03-11 네이버 주식회사 딥 어텐션 네트워크를 이용하여 환자 의료 기록으로부터 질병 예후를 예측하는 방법 및 시스템
JP7198474B2 (ja) * 2018-06-07 2023-01-04 国立大学法人静岡大学 モデリングシステム
WO2020081582A1 (en) * 2018-10-16 2020-04-23 Anixa Diagnostics Corporation Methods of diagnosing cancer using multiple artificial neural networks to analyze flow cytometry data
US11416733B2 (en) * 2018-11-19 2022-08-16 Google Llc Multi-task recurrent neural networks
KR102230239B1 (ko) * 2018-11-20 2021-03-22 동국대학교 산학협력단 환자의 생체 데이터를 측정하는 이동 단말기 및 클라우드 서버를 이용한 예후 관리 시스템
US20220004883A1 (en) * 2018-11-21 2022-01-06 Deepmind Technologies Limited Aligning sequences by generating encoded representations of data items
KR102206905B1 (ko) * 2018-12-28 2021-01-25 (주)아이쿱 혈액검사 결과 기반 생활패턴 및 변화인자 추정방법
US20210082575A1 (en) * 2019-09-18 2021-03-18 Cerner Innovation, Inc. Computerized decision support tool for post-acute care patients
CN111210017B (zh) * 2019-12-24 2023-09-26 北京迈格威科技有限公司 确定布局顺序及数据处理的方法、装置、设备及存储介质
US11488256B1 (en) * 2020-02-17 2022-11-01 Infiniteintel, Inc. Machine learning systems, methods, components, and software for recommending and ordering independent medical examinations
US20220075877A1 (en) 2020-09-09 2022-03-10 Self Financial, Inc. Interface and system for updating isolated repositories
US11641665B2 (en) * 2020-09-09 2023-05-02 Self Financial, Inc. Resource utilization retrieval and modification
EP3985681A1 (en) * 2020-10-13 2022-04-20 Diabeloop Computerized system for the repeated determination of a set of at least one control parameters of a medical device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0871046A (ja) * 1994-09-02 1996-03-19 Matsushita Electric Ind Co Ltd 監視装置
JPH0973440A (ja) * 1995-09-06 1997-03-18 Fujitsu Ltd コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法
JP2003235813A (ja) * 2002-12-19 2003-08-26 Matsushita Electric Ind Co Ltd 監視装置
JP2006244120A (ja) * 2005-03-03 2006-09-14 Hitachi Ltd センサネットワークシステム、センサデータの処理方法及びプログラム
JP2007200108A (ja) * 2006-01-27 2007-08-09 Nippon Telegr & Teleph Corp <Ntt> 特異イベント検出装置、及び特異イベント検出方法
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム
JP2009015493A (ja) * 2007-07-03 2009-01-22 Toshiba Corp アクション実行装置、及び方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109475A (en) 1988-09-19 1992-04-28 Hitachi, Ltd. Method and a system for selection of time series data
US5446829A (en) 1993-06-24 1995-08-29 The United States Of America As Represented By The Department Of Health And Human Services Artificial network for temporal sequence processing
WO1996012187A1 (en) 1994-10-13 1996-04-25 Horus Therapeutics, Inc. Computer assisted methods for diagnosing diseases
US5839438A (en) 1996-09-10 1998-11-24 Neuralmed, Inc. Computer-based neural network system and method for medical diagnosis and interpretation
EP0910023A2 (de) 1997-10-17 1999-04-21 Siemens Aktiengesellschaft Verfahren und Anordnung zur neuronalen Modellierung eines dynamischen Systems mit nichtlinearem stochastischem Verhalten
US6090044A (en) 1997-12-10 2000-07-18 Bishop; Jeffrey B. System for diagnosing medical conditions using a neural network
US20040010481A1 (en) 2001-12-07 2004-01-15 Whitehead Institute For Biomedical Research Time-dependent outcome prediction using neural networks
KR100623634B1 (ko) * 2003-09-22 2006-09-13 김형윤 구조물의 건전상태 감시방법
CA2565918A1 (en) 2004-05-07 2005-11-24 Intermed Advisor, Inc. Method and apparatus for real time predictive modeling for chronically ill patients
JP2006120136A (ja) 2004-09-27 2006-05-11 Kyoto Univ 言語処理装置、言語処理方法、言語処理プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
US8244656B2 (en) 2008-09-25 2012-08-14 Air Products And Chemicals, Inc. System and method for predicting rare events
US8705849B2 (en) * 2008-11-24 2014-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for object recognition based on a trainable dynamic system
JP2011059815A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
SG183435A1 (en) * 2010-03-15 2012-09-27 Singapore Health Serv Pte Ltd Method of predicting the survivability of a patient
US8463721B2 (en) * 2010-08-05 2013-06-11 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for recognizing events
DE102011081197A1 (de) * 2011-08-18 2013-02-21 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Modellierung eines technischen Systems
JP2014178800A (ja) 2013-03-14 2014-09-25 Gifu Univ 医療情報処理装置、及び、プログラム
CN103336908B (zh) * 2013-07-23 2016-01-20 哈尔滨工业大学 单调回声状态网络的剩余寿命预测方法
US10181098B2 (en) * 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
CN104636751A (zh) * 2014-12-11 2015-05-20 广东工业大学 基于时间递归神经网络的人群异常检测和定位系统及方法
CN104615983B (zh) * 2015-01-28 2018-07-31 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
US9652712B2 (en) 2015-07-27 2017-05-16 Google Inc. Analyzing health events using recurrent neural networks
US20170032241A1 (en) 2015-07-27 2017-02-02 Google Inc. Analyzing health events using recurrent neural networks
US9336482B1 (en) * 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
CN105550323B (zh) * 2015-12-15 2020-04-28 北京中电普华信息技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN105787561B (zh) * 2016-03-22 2019-04-30 新疆金风科技股份有限公司 循环神经网络模型构建方法、齿轮箱故障检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0871046A (ja) * 1994-09-02 1996-03-19 Matsushita Electric Ind Co Ltd 監視装置
JPH0973440A (ja) * 1995-09-06 1997-03-18 Fujitsu Ltd コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法
JP2003235813A (ja) * 2002-12-19 2003-08-26 Matsushita Electric Ind Co Ltd 監視装置
JP2006244120A (ja) * 2005-03-03 2006-09-14 Hitachi Ltd センサネットワークシステム、センサデータの処理方法及びプログラム
JP2007200108A (ja) * 2006-01-27 2007-08-09 Nippon Telegr & Teleph Corp <Ntt> 特異イベント検出装置、及び特異イベント検出方法
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム
JP2009015493A (ja) * 2007-07-03 2009-01-22 Toshiba Corp アクション実行装置、及び方法

Also Published As

Publication number Publication date
EP3989127A1 (en) 2022-04-27
US10726327B2 (en) 2020-07-28
US20170032242A1 (en) 2017-02-02
US11790216B2 (en) 2023-10-17
US20210019604A1 (en) 2021-01-21
JP6541868B2 (ja) 2019-07-10
US20170308787A1 (en) 2017-10-26
US9646244B2 (en) 2017-05-09
WO2017019703A1 (en) 2017-02-02
EP3292492B1 (en) 2022-01-19
CN107743630B (zh) 2021-12-17
US20240176995A1 (en) 2024-05-30
EP3292492A1 (en) 2018-03-14
KR102011453B1 (ko) 2019-08-19
US9336482B1 (en) 2016-05-10
CN107743630A (zh) 2018-02-27
KR20180014063A (ko) 2018-02-07

Similar Documents

Publication Publication Date Title
US11790216B2 (en) Predicting likelihoods of conditions being satisfied using recurrent neural networks
JP6530084B2 (ja) 再帰型ニューラルネットワークを使用する健康イベントの分析
US10402721B2 (en) Identifying predictive health events in temporal sequences using recurrent neural network
Kwon et al. Deep learning for predicting in‐hospital mortality among heart disease patients based on echocardiography
US20200152332A1 (en) Systems and methods for dynamic monitoring of patient conditions and prediction of adverse events
Luo et al. Automating construction of machine learning models with clinical big data: proposal rationale and methods
US11276495B2 (en) Systems and methods for predicting multiple health care outcomes
Taloba et al. Estimation and prediction of hospitalization and medical care costs using regression in machine learning
US20210257067A1 (en) State transition prediction device, and device, method, and program for learning predictive model
US11854673B2 (en) Systems and methods for managing caregiver responsibility
Gautam et al. An overview of big data applications in healthcare: opportunities and challenges
Nasarian et al. Designing Interpretable ML System to Enhance Trustworthy AI in Healthcare: A Systematic Review of the Last Decade to A Proposed Robust Framework
Gautam et al. An 2 Overview of Big Data Applications in Healthcare

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190611

R150 Certificate of patent or registration of utility model

Ref document number: 6541868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250