JP2022537818A - 機械学習されたモデルを使用して皮膚状態を診断すること - Google Patents

Abstract

診断システムは、患者の画像を受信し、患者が１つ以上の健康状態を有するかどうかについての予測を発生させるように構成される、機械学習された診断モデルのセットを訓練する。一実施形態では、機械学習されたモデルのセットは、患者の２つ以上の基礎的健康状態を含有する画像に関して予測を発生させるように訓練される。一事例では、２つ以上の健康状態に関する症状は、患者上の２つ以上の重複する皮膚異常として示される。本明細書に説明される診断モデルのセットのアーキテクチャを使用することによって、診断システムは、既存のシステムと比較して、２つ以上の健康状態に関して重複する症状を含有する画像に関して、より正確な予測を発生させることができる。

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１９年７月１日に出願された米国仮出願第６２／８６９，５５３号の利益および優先権を主張する。

本開示は、概して、健康異常の診断に関し、より具体的には、画像内の重複する健康状態の診断に関する。

コンピュータ化診断システムは、患者の画像を受信し、画像内の症状の存在に基づいて、患者が１つ以上の健康状態を有するかどうかについて予測を発生させるように構成される。コンピュータ化診断システムは、患者の種々の解剖学的部分における健康状態を予測するように適用されることができる。例えば、皮膚診断システムは、患者の皮膚の画像が、発疹、ほくろ、湿疹、座瘡、およびヘルペス等の１つ以上の皮膚異常を有するかどうかを予測するように適用されることができる。別の実施例として、腫瘍診断システムが、患者の生体構造の画像が腫瘍を含有するかどうかを予測するように適用されることができる。

多くの場合、患者は、同一の画像に出現する複数の健康状態を有し得る。例えば、画像は、相互から空間的に分離される、同一の腕の上に位置する、両方とも皮膚異常である、乾癬性プラークおよび母斑を含有し得る。別の実施例として、画像は、その境界内にほくろを有する乾癬性プラーク等の相互に重複する皮膚異常を含有し得る。しかしながら、例えば、コンピュータ化診断システムが、単一の健康状態に関して予測を発生させるように訓練されているため、既存のコンピュータ化診断システムは、これらの事例において正確な診断を発生させることに困難を有する。さらに、健康状態が重複するとき、画像内の提示および他の症状は、個別に、または組み合わせて両方のいずれかで、状態の結果であり得、コンピュータ化診断システムが、画像内の症状を個別の健康状態に正確に分化させることは困難であり得る。

診断システムは、患者の画像を受信し、患者が１つ以上の健康状態を有するかどうかについての予測を発生させるように構成される、機械学習された診断モデルのセットを訓練する。一実施形態では、機械学習されたモデルのセットは、患者の２つ以上の基礎的健康状態を含有する画像に関して予測を発生させるように訓練される。
一事例では、２つ以上の健康状態に関する症状は、患者上の２つ以上の重複する皮膚異常として示される。本明細書に説明される診断モデルのセットのアーキテクチャを使用することによって、診断システムは、既存のシステムと比較して、２つ以上の健康状態に関して重複する症状を含む画像に関して、より正確な予測を発生させることができる。

ある実施形態では、診断システムは、クライアントデバイスから、入力画像内の皮膚異常を診断する要求を受信する。入力画像は、皮膚上の２つ以上の皮膚異常に関する重複する症状を含む。診断システムは、データベースから機械学習された診断モデルのセットにアクセスする。各機械学習されたモデルは、訓練プロセスを通して決定された、訓練された加重の個別のセットを含む。診断システムは、診断モデルのセットを入力画像に適用することによって、入力画像内の２つ以上の皮膚異常の各々に関して個別の予測を発生させる。予測は、２つ以上の皮膚異常の中の個別の皮膚異常が入力画像に示される可能性を示す。診断システムは、入力画像に関して予測から皮膚異常の診断を発生させ、診断をクライアントデバイスに提供する。

一実施形態では、診断システムは、患者または個人の画像を受信し、入力画像が２つ以上の健康状態を提示するかどうかについてのインジケーションを発生させるように構成される、機械学習されたインジケータモデルのセットを訓練する。一実施形態では、診断システムは、入力画像内の健康状態の診断の要求を受信する。診断システムは、データベースからインジケータモデルまたはインジケータ機能性を伴う診断モデルにアクセスする。診断システムは、インジケータモデルを入力画像に適用することによって、入力画像が２つ以上の健康状態を含む可能性を表す、インジケーションを発生させる。診断システムは、入力画像に関して発生されるインジケーションから、入力画像が２つ以上の健康状態を提示するかどうかについての決定を行う。診断システムは、決定に基づいて、要求に関して結果を発生させ、結果をクライアントデバイスのユーザに提供する。

複数の健康状態を提示する入力画像は、診断することが困難であり得るため、クライアントデバイスのユーザは、画像の能動的診断に加えて、またはその代替として、そのようなインジケーションを受信することができる。ユーザは、次いで、入力画像を医療専門家に提供することを決定し、より正確な診断を取得することができる。したがって、より正確な診断が、異なる専門システムまたは医療専門家によって行われ得るように、コンピュータ化診断システムのユーザが、入力画像が２つ以上の健康状態からの症状を含むかどうかについての情報を受信することが、有利であり得る。

図１は、ある実施形態による、診断システムのためのシステム環境の高レベルブロック図である。

図２は、ある実施形態による、診断モデルのための一般的推論プロセスを図示する。

図３は、ある実施形態による、アンサンブルアーキテクチャを伴う機械学習された診断モデルのセットのための例示的推論プロセスを図示する。

図４は、ある実施形態による、診断モデルのセットと併せて独立成分分析（ＩＣＡ）を使用する、例示的推論プロセスを図示する。

図５は、ある実施形態による、リカレントニューラルネットワーク（ＲＮＮ）アーキテクチャを伴う診断モデルのための例示的推論プロセスを図示する。

図６は、ある実施形態による、無定形および限局性皮膚異常のための微分器モデルを含む、診断モデルのセットのための例示的推論プロセスを図示する。

図７は、ある実施形態による、非最大抑制を伴う診断モデルのための例示的推論プロセスを図示する。

図８は、ある実施形態による、不確実性モデルのための例示的推論プロセスを図示する。

図９は、ある実施形態による、診断システムのアーキテクチャのブロック図である。

図１０は、ある実施形態による、図４に示される診断モデルのセットのための例示的訓練プロセスを図示する。

図１１は、ある実施形態による、画像内の重複する皮膚異常を診断するための例示的データフローを図示する。

図１２は、ある実施形態による、入力画像内の２つ以上の皮膚異常のインジケーションを発生させる例示的データフローを図示する。

図面は、例証の目的のみのために、本発明の種々の実施形態を描写する。当業者は、以下の議論から、本明細書に図示される構造および方法の代替実施形態が、本明細書に説明される本発明の原理から逸脱することなく採用され得ることを容易に認識するであろう。

概観
図１は、ある実施形態による、診断システムのためのシステム環境の高レベルブロック図である。図１によって示されるシステム環境１００は、１つ以上のクライアントデバイス１１０と、ネットワーク１２０と、診断システム１３０とを含む。代替構成では、異なるおよび／または付加的コンポーネントが、システム環境１００に含まれてもよい。

診断システム１３０は、種々のタイプのコンピュータ化診断をクライアントデバイス１１０のユーザに提供するためのシステムである。診断システム１３０は、患者の解剖学的部分の画像を受信し、画像に基づいて、患者が１つ以上の健康状態を有するかどうかについての予測を発生させてもよい。例えば、診断システム１３０は、患者の皮膚の画像を受信し、患者が、発疹、ほくろ、湿疹、座瘡、およびヘルペス等の１つ以上の皮膚異常を有するかどうかについての予測を発生させてもよい。別の実施例として、診断システム１３０は、患者の脳の放射線画像を受信し、患者が脳腫瘍を有するかどうかについての予測を発生させてもよい。診断システム１３０によって発生される予測は、独立型診断として使用されることができる、または、例えば、患者の画像の解釈において病院の医師を補助するために使用されることができる。

診断システム１３０は、患者の画像を受信し、１つ以上の健康状態についての予測を発生させるように構成される、機械学習された診断モデルのセットを訓練する。診断システム１３０によって受信される画像は、放射線画像、コンピュータ断層撮影（ＣＴ）スキャン、医療共鳴画像（ＭＲＩ）スキャン、Ｘ線画像、超音波または超音波検査画像、触覚画像、もしくはサーモグラフィ画像等の病院において取得される医用画像であってもよい。別の事例では、画像は、（例えば、自宅またはオフィス内の）クライアントデバイス１１０の個々のユーザによって撮影された写真であってもよい。画像は、診断システム１３０が、これらの症状を発生させることに関与する健康状態を推論するために使用し得る、患者の解剖学的部分上の症状または他の提示を示し得る。

一実施形態では、診断システム１３０は、機械学習されたモデルのセットを訓練し、患者の２つ以上の健康状態に関する症状を含む画像に関して予測を発生させる。具体的には、患者は、同一の画像に出現する複数の健康状態からの症状を有し得る。例えば、画像は、相互から空間的に分離される、同一の腕の上に位置する、両方とも皮膚異常である、乾癬性プラークおよび母斑を含有し得る。別の実施例として、画像は、その境界内にほくろを有する乾癬性プラーク等の相互に重複する皮膚異常を含み得る。しかしながら、既存のコンピュータ化診断システムは、特に、症状が個人の結果または患者の基礎的健康状態の未知の組み合わせであり得るため、症状が重複するときに、これらの事例において正確な診断を発生させることに困難を有し得る。さらに、既存の診断システムは、単一の状態に関して予測を発生させるように構成されてもよい。したがって、既存の診断システムが、画像内の健康状態のうちの１つを検出することが可能である場合でさえも、検出された状態は、画像内の残りの健康状態の除外にあり、画像の対象にとって有意な健康問題につながり得る、見逃された診断につながるであろう。

推論プロセスの間に、診断システム１３０は、入力画像内の健康状態を診断する要求を受信する。入力画像は、患者の２つ以上の健康状態からの重複する症状を含む。診断システム１３０は、データベースから機械学習された診断モデルのセットにアクセスする。各機械学習されたモデルは、訓練プロセスを通して決定された、訓練された加重の個別のセットを含む。診断システム１３０は、診断モデルのセットを入力画像に適用することによって、入力画像内の２つ以上の健康状態の各々に関して個別の予測を発生させる。予測は、入力画像が個別の健康状態からの症状を示す可能性を示す。診断システム１３０は、予測から入力画像の診断を発生させ、診断をクライアントデバイス１１０に戻すように提供する。

本明細書の残りの部分の全体を通して参照される、１つの特定の実施形態では、２つ以上の健康状態は、患者の皮膚上に提示される重複する症状を有する、２つ以上の皮膚異常である。例えば、ほくろが、発疹を伴う皮膚の面積内に出現し得る。別の実施例として、湿疹を伴う皮膚の面積が、接触皮膚炎を伴う皮膚の一部と重複し得る。しかしながら、他の実施形態では、２つ以上の健康状態が、患者の同一の解剖学的部分に重複するまたは空間的に分離された症状を生成し得る、疾患もしくはアレルギー等の任意のタイプの健康関連状態であり得ることを理解されたい。例えば、２つ以上の健康状態は、個別に、または組み合わせて、患者上に症状を提示し得る、異なるタイプの腫瘍、血液疾患、および同等物であり得る。

図２は、ある実施形態による、診断モデルのための一般的推論プロセスを図示する。診断システム１３０は、皮膚異常を有する疑いがある患者の入力画像２１０を受信する。具体的には、入力画像２１０は、患者の腕の上で相互と重複する、第１の皮膚異常２１２および第２の皮膚異常２１４を示す。診断システム１３０は、データベースから機械学習された診断モデルのセットにアクセスする。診断システム１３０は、診断モデルを入力画像２１０に適用し、入力画像２１０に関して２つ以上の予測ｖ’_１、ｖ’_２、…、ｖ’_ｎを発生させる。予測ｖ’_ｉは、入力画像２１０が個別の皮膚異常ｉからの症状を含む可能性を示し得る。図２に示される実施例では、予測ｖ’_１は、入力画像２１０がほくろを含む高い可能性を示し得、予測ｖ’_２は、入力画像２１０が発疹も含む高い可能性を示し得る。他の皮膚異常に関する残りの予測は、有意に低い可能性と関連付けられ得る。診断システム１３０は、事前決定された閾値を上回る可能性を伴う予測のサブセットを選択することによって、入力画像２１０がほくろおよび皮膚発疹を含むという診断を決定し、クライアントデバイス１１０に診断を提供する。

図１のシステム環境に戻ると、診断システム１３０は、概して、画像および標識の訓練コーパスを使用して、診断モデルのための加重の個別のセットを訓練し、損失関数を低減させる。診断モデルのための損失関数は、加重の推定されたセットを伴う診断モデルを、診断モデルが受信するように構成される、訓練コーパス内の入力データに適用することによって発生される推定出力と、診断モデルが予測するように構成される、データのタイプを表す訓練コーパス内の実際の標識との間の差異を示す。診断モデルのための加重の推定されたセットは、事前決定された基準に到達されるまで、損失関数を低減させるように繰り返し更新される。診断モデルのセットのための訓練プロセスは、図９と併せてより詳細に説明される。

本明細書に説明されるように、図３－７は、推論プロセスの間に画像に提示される２つ以上の健康状態に関して予測を発生させるために、診断システム１３０によって使用され得る、診断モデルのセットの種々のアーキテクチャを図示する。下記に説明される各アーキテクチャは、図９と併せて説明されるであろう、訓練プロセスを通して決定された、訓練された加重のセットを含んでもよい。本明細書に説明される診断モデルのセットのアーキテクチャを使用することによって、診断システムは、既存のシステムと比較して、２つ以上の重複する健康状態を含む画像に関して、より正確な予測を発生させることができる。

図３は、ある実施形態による、アンサンブルアーキテクチャを伴う機械学習された診断モデルのセットのための例示的推論プロセスを図示する。一実施形態では、診断モデルのセットは、機械学習された診断モデルのアンサンブルセットを含む。具体的には、アンサンブルの中の各診断モデルは、入力画像を受信し、診断モデルのための訓練された加重のセットを適用することによって、患者が１つ以上の健康状態を有するかどうかについての１つ以上の予測を発生させるように構成される。図３に示される実施例では、診断モデルのアンサンブルセットは、「診断モデル１」と、「診断モデル２」と、「診断モデル３」とを含む。

アンサンブルセットの中の診断モデルは、アンサンブルセットの中の他の診断モデルから健康状態の異なるまたは同一のセットに関して予測を発生させるように構成される。図３に示される実施例では、「診断モデル１」は、入力画像がほくろを含む可能性を示す予測ｖ’^Ｍ１ _１および入力画像が発疹を含む可能性を示す予測ｖ’^Ｍ１ _２を発生させるように構成されてもよい。別の実施例として、「診断モデル２」は、入力画像が発疹を含む可能性を示す単一の予測ｖ’^Ｍ２ _１を発生させるように構成されてもよく、「診断モデル３」は、入力画像がほくろを含む可能性を示す予測ｖ’^Ｍ３ _１および入力画像が座瘡を含む可能性を示す予測ｖ’^Ｍ３ _２を発生させるように構成されてもよい。

推論プロセスの間に、診断システム１３０は、診断モデルのアンサンブルセットを入力画像に適用し、各個別の健康状態に関してアンサンブルセットからの予測を組み合わせることによって、入力画像内の２つ以上の健康状態の各々に関して個別の予測を発生させる。一事例では、個別の健康状態に関する予測は、アンサンブルセットによって発生された健康状態に関して予測の平均を算出することによって発生される。図３に示される実施例では、患者が発疹を有する可能性を示す予測ｖ’_１は、「診断モデル１」および「診断モデル２」からの予測ｖ’^Ｍ１ _２、ｖ’^Ｍ２ _１を平均することによって発生される。しかしながら、他の実施形態では、アンサンブルの中の診断モデルからの予測は、平均以外の任意の他の方法で組み合わせられ得ることを理解されたい。診断システム１３０は、事前決定された閾値を上回る可能性を伴う予測のサブセットを選択することによって、診断を決定する。

一実施形態では、アンサンブルセットの中の診断モデルは、診断モデルが入力画像に適用される度に、同一の一連の健康状態に必ずしも対応しない、複数の出力を発生させるように構成されることができる。そのような実施形態では、診断システム１３０は、予測および中間特徴の類似性によってアンサンブルセットからの予測を群化してもよく、入力画像に提示される２つ以上の健康状態に関する予測は、各識別された群からの予測を組み合わせることによって発生されてもよい。別の事例では、診断システム１３０は、例えば、注目モデルを使用して、類似場所によってアンサンブルセットからの予測を群化してもよく、入力画像内の２つ以上の健康状態に関する予測は、各識別された場所に関して予測を組み合わせることによって発生されてもよい。

図４は、ある実施形態による、診断モデルのセットと併せて独立成分分析（ＩＣＡ）を使用する、例示的推論プロセスを図示する。一実施形態では、診断モデルのセットは、特徴エクストラクタモデルと、独立成分分析（ＩＣＡ）モデルと、特徴分類器モデルとを含む。特徴エクストラクタモデルは、入力画像を受信し、訓練された加重の第１のセットを適用することによって、入力画像内の複数の空間特徴を特徴付ける画像テンソルを発生させるように構成される。ＩＣＡモデルは、画像テンソルを受信し、画像テンソルから複数の成分を抽出するように構成される。特徴分類器モデルは、成分を受信し、訓練された加重の第２のセットを適用することによって、成分に関して個別の健康状態の可能性を示す予測を発生させるように構成される。

推論プロセスの間に、診断システム１３０は、特徴エクストラクタモデルを入力画像に適用することによって、入力画像に関して画像テンソル４１６を発生させる。診断システム１３０は、ＩＣＡを実施し、画像テンソル４１６内の各空間場所を観察と見なして、画像テンソル４１６から複数の成分ＣＦ_１、ＣＦ_２、ＣＦ_３、…、ＣＦ_ｎを抽出する。各抽出された成分に関して、診断システム１３０は、画像テンソル４１６への成分の寄与を算出し、成分に関して個別のテンソルを発生させる。一事例では、成分に関する個別のテンソルは、複数の成分の中の残りの成分の寄与を算出し、画像テンソル４１６から残りの成分の寄与を減算することによって、発生される。図４に示される実施例では、成分ＣＦ_１に関する個別のテンソル４１８は、残りの成分ＣＦ_２、ＣＦ、…、ＣＦ_ｎの寄与を算出し、画像テンソル４１６から寄与を減算することによって、発生される。図４は、成分ＣＦ_１に関する個別のテンソル４１８のみを図示するが、本プロセスは、残りの成分ＣＦ_２、ＣＦ_３、…、ＣＦ_ｎの各々に関して個別のテンソルを発生させるように繰り返されてもよい。

各テンソルに関して、診断システム１３０は、特徴分類器モデルを成分に関するテンソルに適用することによって、予測を発生させる。図４に示される実施例では、成分ＣＦ_１に関する予測ｖ’_１は、特徴分類器モデルを成分に関するテンソル４１８に適用することによって発生される。図４は、成分ＣＦ_１に関する予測ｖ’_１のみを図示するが、本プロセスは、特徴分類器モデルを各成分に対するテンソルに適用することによって、残りの成分ＣＦ_２、ＣＦ_３、…、ＣＦ_ｎのそれぞれから個別の予測を発生させるように繰り返されてもよい。診断システム１３０は、閾値を上回る可能性を伴うサブセットを選択することによって、予測ｖ’_１、ｖ’_２、…、ｖ’_ｎに基づいて診断を決定する。

画像テンソルから抽出される成分の数に基づいて、診断はそれぞれ、入力画像の基礎にある異なる健康状態に対応し得る、または診断のサブセットは、抽出された成分の数が入力画像に含まれる健康状態の数を上回る場合、同一の健康状態に対応し得る。一事例では、診断システム１３０は、入力画像内の推定された数の健康状態に基づいて、事前決定された数の成分を抽出する。別の事例では、診断システム１３０は、増加する数の成分を用いてＩＣＡを実施し、各新しい成分を用いて予測および診断を反復して発生させる。診断システム１３０は、成分の数をさらに増加させることが一意の診断の数を増加させず、ＩＣＡに関して基準関数の収束が存在するときに、推論プロセスを完了する。一事例では、収束を決定するために閾値数の追加された成分が存在し得る。例えば、３つの成分が、追加されてもよい一方、診断のセットは、収束のために考慮されるように不変である。

別の実施形態では、複数の成分は、訓練プロセスの間に事前に抽出される。推論プロセスの間に、診断システム１３０は、画像テンソルを複数の成分の混合物に分解し、画像テンソルへの各事前決定された成分の寄与を算出し、各成分に関して個別のテンソルを発生させる。診断システム１３０は、閾値を上回る寄与を有する成分のサブセットを識別する。各テンソルに関して、診断システム１３０は、特徴分類器モデルをサブセットの中の成分に関するテンソルに適用することによって、予測を発生させる。いくつかの実施形態では、各事前決定された成分は、特徴分類器モデルを使用して、事前分類および記憶されてもよい。分類結果は、次いで、寄与する成分と関連付けられる、記憶された成分を使用することによって、決定される。

図５は、ある実施形態による、リカレントニューラルネットワーク（ＲＮＮ）アーキテクチャを伴う診断モデルのための例示的推論プロセスを図示する。一実施形態では、診断モデルのセットは、加重のセットを伴う１つ以上のニューラルネットワーク層を含む、ＲＮＮアーキテクチャを伴う診断モデルを含む。ＲＮＮアーキテクチャは、一連の画像を受信し、一連の画像に提示される２つ以上の健康状態に関して予測を連続的に発生させるように構成される。一連の入力画像は、繰り返される一連の同一の入力画像であってもよい、または異なるビュー、視点、フィルタ、および同等物の発行時に患者の解剖学的部分を捕捉する一連の画像であってもよい。図５に示される実施例では、一連の画像５１０（１）、５１０（２）、…、５１０（ｎ）は、患者の腕の皮膚の同じ画像である。しかしながら、別の実施例では、一連の画像は、異なる視点から、または異なる色もしくはスケールで捕捉される、同一の腕の画像を含んでもよい。

具体的には、一連の中の現在の画像に関して、ＲＮＮアーキテクチャは、現在の画像５１０（ｉ）および前の反復に関する隠れ状態ｈ_ｉ－１を受信し、訓練された加重の第１のセットを適用することによって、現在の画像５１０（ｉ）に関して隠れ状態ｈ_ｉを発生させるように構成される。ＲＮＮアーキテクチャはさらに、現在の画像ｈ_ｉに関する隠れ状態を受信し、訓練された加重の第２のセットを適用することによって、個別の健康状態に関して予測ｖ_ｉを発生させるように構成される。各反復後、ＲＮＮアーキテクチャはさらに、診断モデルが入力画像内の他の健康状態に関して予測を発生させるべきであるか、または推論プロセスを完了するべきであるかどうかを決定するように構成されてもよい。ＲＮＮアーキテクチャが、予測を発生させ続けることを決定する場合、ＲＮＮアーキテクチャは、一連の中の次の画像５１０（ｉ＋１）を受信し、別の健康状態に関して予測ｖ_ｉ＋１を発生させる。本プロセスは、ＲＮＮアーキテクチャが推論プロセスを完了することを決定するまで繰り返される。図５に示される実施例では、予測ｖ’_１は、入力画像がほくろを含むことを示し得る一方、次の予測ｖ’_２は、入力画像が発疹を含むことを示し得る。

一実施形態では、ＲＮＮアーキテクチャはさらに、現在の画像５１０（ｉ）および前の反復に関する隠れ状態ｈ_ｉ－１に加えて、各反復においてメモリベクトルｍ_ｉを受信し、現在の画像５１０（ｉ）から個別の健康状態に関して予測ｖ_ｉを発生させるように構成される。メモリベクトルｍ_ｉは、健康状態がすでに現在の反復ｉまで分類されている情報を含む、ベクトルを表し得る。例えば、メモリベクトルｍ_ｉは、現在の反復までの前の予測または前の診断の集計であってもよい。図５に示される実施例では、第２の反復におけるメモリベクトルｍ_２は、ほくろに関する予測または診断がｖ_１に基づいて第２の反復まで行われていることを示し得る。メモリベクトルを受信するようにＲＮＮアーキテクチャをさらに構成することによって、診断システム１３０は、診断モデルを構造化し、推論プロセスの各反復において前もって予測されていない健康状態に関して予測を発生させてもよい。

推論プロセスの間に、診断システム１３０は、ＲＮＮアーキテクチャを一連の入力画像に繰り返し適用することによって、２つ以上の健康状態の各々に関して個別の予測を発生させる。一実施形態では、ＲＮＮアーキテクチャがさらに、メモリベクトルを受信するように構成されるとき、診断システム１３０は、現在の反復まで発生された予測に基づいて、反復に関して個別のメモリベクトルを取得してもよい。診断システム１３０は、ＲＮＮアーキテクチャを一連の画像およびメモリベクトルに繰り返し適用することによって、２つ以上の健康状態の各々に関して個別の予測を発生させる。

図６は、ある実施形態による、無定形および限局性皮膚異常のための微分器モデルを含む、診断モデルのセットのための例示的推論プロセスを図示する。一実施形態では、機械学習された診断モデルのセットは、微分器モデルと、無定形異常モデルと、限局性異常モデルとを含む。微分器モデルは、入力画像を受信し、訓練された加重の第１のセットを適用することによって、入力画像が無定形皮膚異常または限局性皮膚異常を含むかどうかについてのインジケーションを発生させるように構成される。無定形異常モデルは、入力画像を受信し、訓練された加重の第２のセットを適用することによって、入力画像が発疹、湿疹等の１つ以上の無定形皮膚異常を含むかどうかについての予測を発生させるように構成される。限局性異常モデルは、入力画像を受信し、訓練された加重の第３のセットを適用することによって、入力画像がほくろ、座瘡等の１つ以上の限局性皮膚異常を含むかどうかについての予測を発生させるように構成される。

具体的には、発疹、湿疹、皮膚炎等の無定形皮膚異常が、明確な形状または形態を伴わずに皮膚上に発現し得る一方、ほくろ等の限局性皮膚異常は、皮膚上の局所点により明確に画定され得る。したがって、形状および形態の差異に起因して、診断システム１３０は、１つのモデルが無定形皮膚異常に関して予測を発生させ、別のモデルが限局性皮膚異常に関して予測を発生させる、２つの別個のモデルを訓練することによって、より正確な予測を取得してもよい。

推論プロセスの間に、診断システム１３０は、微分器モデルを入力画像に適用することによって、入力画像が限局性または無定形皮膚異常を含むかどうかについてインジケーションを発生させる。具体的タイプの皮膚異常（例えば、ほくろ、座瘡、発疹）を診断するために使用され得る予測を発生させるのではなく、微分器モデルの出力は、単に、入力画像が無定形として分類され得る任意の皮膚異常および／または限局性として分類され得る任意の皮膚異常を含むかどうかを示し得る。入力画像が無定形皮膚異常を含むことを決定することに応答して、診断システム１３０は、無定形異常モデルを入力画像に適用することによって、１つ以上の無定形皮膚異常に関して具体的予測を発生させる。さらに、入力画像が限局性皮膚異常を含むことを決定することに応答して、診断システム１３０は、限局性異常モデルを入力画像に適用することによって、１つ以上の限局性皮膚異常に関して具体的予測を発生させる。

図７は、ある実施形態による、非最大抑制を伴う診断モデルのための例示的推論プロセスを図示する。一実施形態では、機械学習された診断モデルは、入力画像を受信し、健康状態のリストに関する予測を含むベクトルを発生させるように構成される。図７に示される実施例では、診断モデルによって発生される予測ｖ’は、それぞれ個別の健康状態に関する予測に対応する、１つ以上の要素を含んでもよい。例えば、第１の要素は、入力画像が湿疹を含むという予測に対応し得、第２の要素は、入力画像が皮膚炎を含むという予測に対応し得る等である。

推論プロセスの間に、診断システム１３０は、診断モデルを入力画像に適用することによって、２つ以上の健康状態に関して個別の予測を発生させる。一実施形態では、診断システム１３０は、非最大抑制を使用することによって、診断を決定する。具体的には、診断システム１３０は、ベクトルｖ’によって表される異なる健康状態を群に分割し、各群に関して、診断の一部として最高の可能性を伴う健康状態のみを選択する。一事例では、健康状態は、その症状が患者上に視覚的に提示される類似性の程度に従って群化され、したがって、各群は、診断モデルが画像内でおそらく混同される健康状態を含有する。図７に示される実施例では、ベクトル内の第１から第４の要素に関する健康状態は、「群１」に割り当てられ、第ｎ－３から第ｎ要素に関する健康状態は、「群ｍ」に割り当てられる。診断システム１３０は、各要素が各群の中で最高の可能性を有するため、「群１」の中の第２の要素および「群ｍ」の中の第ｎ－１要素に関して健康状態を選択し、残りの要素をゼロに設定することによって、診断ｖ’_ｎｍを決定する。

図１の系統図に戻ると、診断システム１３０はまた、患者の画像を受信し、入力画像が２つ以上の健康状態を提示するかどうかについてのインジケーションを発生させるように構成される、機械学習されたインジケータモデルのセットを訓練してもよい。具体的健康状態自体を能動的に診断するのではなく、診断システム１３０は、入力画像が２つ以上の健康状態を提示するかどうかについてのインジケーションを発生させ、結果をクライアントデバイス１１０のユーザに提供してもよい。具体的には、具体的タイプの健康状態を診断するために使用され得る予測を発生させるのではなく、インジケータモデルの出力は、単に、入力画像が２つ以上の健康状態からの症状（例えば、重複する症状）を示すかどうかを決定してもよい。複数の健康状態を提示する入力画像は、診断することが困難であり得るため、クライアントデバイス１１０のユーザは、能動的診断に加えて、または代替として、そのようなインジケーションを受信することができる。ユーザは、次いで、入力画像を医療専門家に提供することを決定し、より正確な診断を取得することができる。

図８は、ある実施形態による、インジケータモデルのための例示的推論プロセスを図示する。一実施形態では、診断モデルは、入力画像を受信し、訓練された加重のセットを適用することによって、入力画像が２つ以上の健康状態を提示するかどうかについてのインジケーションｅ’を発生させるように構成される、機械学習されたインジケータモデルを訓練する。図８に示される実施例では、診断システム１３０は、インジケータモデルを入力画像に適用することによって、インジケーションｅ’を発生させる。診断システム１３０は、単に、クライアントデバイス１１０のユーザに、画像が正確な診断のために過剰に多くの健康状態を含むという情報を提供してもよい。

別の実施形態では、図８と併せて説明されるように別個のインジケータモデルを訓練するのではなく、診断システム１３０はさらに、インジケータ機能を診断モデルに組み込む。例えば、診断モデルは、入力画像を受信し、画像に含まれる１つ以上の健康状態についての予測、および入力画像が２つ以上の健康状態を提示するかどうかのインジケーションを発生させるように構成されてもよい。例えば、図２－７と併せて説明される診断モデルのセットはさらに、健康状態に関する予測に加えて、そのようなインジケーションを発生させるように構成されてもよい。別の実施例として、診断モデルは、一度に単一の出力を発生させるように構成されてもよく、２つ以上の健康状態を示す入力画像を受信することに応答して、単一の出力としてそのようなインジケーションを発生させてもよい。

一事例では、診断モデルは、２つ以上の健康状態を提示する入力画像を別個のカテゴリとしてカテゴリ化し、入力画像を受信することに応答して、別個のカテゴリに関して可能性を発生させることによって、そのようなインジケーションを発生させるように構成される。別の事例では、診断モデルは、健康状態に関する予測が、予測の曖昧性を示す、比較的等しい可能性または信頼レベルを伴って出力されるときに、そのようなインジケーションを発生させるように構成される。例えば、診断システム１３０は、ほくろ、発疹、皮膚病を有するための予測が、それぞれ、０．３２、０．２９、０．３５であるように出力される場合、入力画像が２つ以上の健康状態からの症状を含むことを決定してもよい。

一実施形態では、診断システム１３０は、インジケーション可能性が閾値可能性を上回る場合、入力画像が２つ以上の状態を提示し、そうでなければ、入力画像が単一の健康状態を提示することを決定してもよい。いくつかの実施形態では、インジケーションは、２つの可能性、すなわち、入力画像が２つ以上の健康状態を提示するかどうかについての第１の可能性、および入力画像が単一の健康状態を提示するかどうかについての第２の可能性を表し得る。診断システム１３０は、第１の可能性が閾値を上回る場合、入力画像が２つ以上の状態を提示することを決定してもよく、第２の可能性が閾値を上回る場合、入力画像が単一の健康状態を提示することを決定してもよい。

したがって、一実施形態では、診断システム１３０は、入力画像内の健康状態の診断の要求を受信してもよい。診断システム１３０は、データベースからインジケータモデルまたはインジケータ機能性を伴う診断モデルにアクセスしてもよい。診断システム１３０は、インジケータモデルを入力画像に適用することによって、入力画像が２つ以上の健康状態を含む可能性を表す、インジケーションを発生させることができる。診断システム１３０は、入力画像に関して発生されるインジケーションから、入力画像が２つ以上の健康状態を提示するかどうかについての決定を行う。診断システム１３０は、決定に基づいて、要求に関して結果を発生させ、結果をクライアントデバイス１１０に提供する。結果は、決定に基づく入力画像内の個人のための医療処置オプションを含むことができ、本提案された処置オプションは、クライアントデバイス１１０に提供されることができる。

一実施形態では、診断システム１３０は、診断モデル１３０が、入力画像が２つ以上の健康状態を提示するかどうかについて決定的決定を行うことができないという点で、インジケーションが不明確であることを決定してもよい。例えば、これは、第１の可能性（例えば、画像が２つ以上の健康状態を提示する可能性）および第２の可能性（例えば、画像が単一の健康状態を提示する可能性）が両方とも閾値（例えば、８０％）を下回るときに起こり得る。そのような実施形態では、診断システム１３０は、診断が行われることができないという結果をクライアントデバイスに出力してもよく、例えば、クライアントデバイス１１０のユーザが医学の専門知識を取得することを提案することができる。

いくつかの実施形態では、入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、診断システム１３０は、入力画像内の２つ以上の健康状態に関して予測を提供することなく、インジケーションについての情報をクライアントデバイス１１０に提供してもよい。例えば、診断システム１３０は、政府規制および方針（例えば、食品医薬品局（ＦＤＡ）から公表された規制、または疾病管理センター（ＣＤＣ）から発行されたガイドライン等）を精査および確認し、これらの規制に準拠するように要求の結果を発生させてもよい。したがって、診断システム１３０が、２つ以上の健康状態に関して予測を発生させることができる場合でさえも、診断システム１３０は、規制が、例えば、画像に提示される２つ以上の健康状態のコンピュータ化診断に制約を加える場合、クライアントデバイス１１０への出力においてこれらの結果を省略してもよい。そのような実施形態では、診断システム１３０は、単に、入力画像が２つ以上の健康状態を含有するが、政府規制に起因して、診断が行われることができないという情報をユーザに提供してもよい。

いくつかの実施形態では、入力画像が単一の健康状態を提示することを決定することに応答して、診断システム１３０は、データベースから、単一の健康状態に関して予測を発生させるように構成される診断モデルにアクセスし、それを選択してもよい。診断システム１３０は、選択された診断モデルを入力画像に適用することによって、入力画像に関して予測を発生させる。診断システム１３０は、予測に基づいて単一の皮膚異常に関して診断を発生させ、結果として診断をクライアントデバイスに提供する。

いくつかの実施形態では、入力画像が２つ以上の健康状態を提示することを決定することに応答して、診断システム１３０は、データベースから、２つ以上の健康状態の各々に関して個別の予測を発生させるように構成される診断モデルのセットにアクセスし、それを選択してもよい。例えば、診断システム１３０は、２つ以上の健康状態に関して予測を発生させるように構成される、図２－７と併せて説明されるモデルにアクセスすることができる。診断システム１３０は、診断モデルのセットを入力画像に適用することによって、入力画像内の２つ以上の健康状態に関して予測を発生させる。診断システム１３０は、予測から入力画像に関して診断を発生させ、結果として診断をクライアントデバイス１１０に提供する。

図２－８と併せて説明される機械学習されたモデルは、画像の形態で入力データを受信するように構成されるが、機械学習されたモデルはまた、付加的タイプの入力データを受信するように構成されてもよい。例えば、付加的タイプの入力データは、患者の身長または体重、患者の病歴、もしくは患者に公知である既存の病状についての情報を要求する質問への患者回答、および同等物等の患者の経歴データを含んでもよい。例えば、患者の病歴は、患者が、モデルの予測成果に影響を及ぼし得る、ある健康状態になりやすい傾向があることを示し得る。

図１の系統図に戻ると、クライアントデバイス１１０は、診断システム１３０が、クライアントデバイス１１０上に予測または他のインジケーションを発生させ、表示し得るように、患者の解剖学的部分の画像を診断システム１３０に提供する。クライアントデバイス１１０のユーザは、コンピュータ化診断システムを用いて患者の健康状態の診断において補助されることを所望する、病院の医療専門家であり得る。別の実施例として、クライアントデバイス１１０のユーザは、個人の身体上に提示される症状に基づいて基礎的健康状態の診断を取得することを所望する、自宅またはオフィス内の個人であり得る。

一実施形態では、クライアントデバイス１１０は、クライアントデバイス１１０のユーザが、標準インターネットプロトコルを使用して、診断システム１３０と相互作用することを可能にする、ブラウザを含む。別の実施形態では、クライアントデバイス１１０は、クライアントデバイス１１０およびサーバの間の相互作用を可能にするように（例えば、診断システム１３０に関与する団体によって）具体的に設計される、専用アプリケーションを含む。一実施形態では、クライアントデバイス１１０は、クライアントデバイス１１０のユーザが、診断システム１３０と相互作用し、入力画像内の健康状態の予測を視認することを可能にする、ユーザインターフェースを含む。例えば、ユーザインターフェースは、個別の健康状態を有することが推定される画像上の場所の上に、診断システム１３０によって発生される予測をオーバーレイするように構成されてもよい。

クライアントデバイス１１０は、ＡＮＤＲＯＩＤ（登録商標）またはＡＰＰＬＥ（登録商標） ＩＯＳ（登録商標）等のオペレーティングシステムを伴うスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、またはカメラを含む、もしくはそれと接続するように構成され得る、任意の他のタイプのネットワーク対応デバイス等のコンピューティングデバイスであってもよい。別の実施形態では、クライアントデバイス１１０は、拡張現実（ＡＲ）環境をユーザに発生させるためのコンピューティングデバイスまたはスマートフォンカメラを含むヘッドセット、もしくは仮想現実（ＶＲ）環境をユーザに発生させるためのコンピューティングデバイスを含むヘッドセットである。典型的クライアントデバイス１１０は、（例えば、ＷｉＦｉおよび／または４Ｇもしくは５Ｇまたは他の無線電気通信規格を介して）ネットワーク１２２に接続するために必要とされるハードウェアおよびソフトウェアを含む。

ネットワーク１２２は、クライアントデバイス１１０と診断システム１３０との間の通信インフラストラクチャを提供する。ネットワーク１２２は、典型的には、インターネットであるが、限定ではないが、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、広域ネットワーク（ＷＡＮ）、モバイル有線または無線ネットワーク、プライベートネットワーク、もしくは仮想プライベートネットワークを含む、任意のネットワークであってもよい。
（診断システムのアーキテクチャ）

図９は、ある実施形態による、診断システム１３０のアーキテクチャのブロック図である。図９によって示される診断システム１３０は、訓練モジュール９２０と、データ管理モジュール９２５と、訓練モジュール３３０と、予測モジュール９３０と、治療出力モジュール９３５とを含む。診断システム１３０はまた、訓練データストア９６０と、モデルデータストア９６５とを含む。代替構成では、異なるおよび／または付加的コンポーネントが、診断システム１３０に含まれてもよい。

データ管理モジュール９２０は、図２－８の診断システム１３０と併せて説明されるモデルのセットを訓練するために使用され得る、訓練データストア９６０内に記憶された訓練データを取得および管理する。訓練データストア９６０は、個人の解剖学的部分の画像またはビデオ、およびこれらの画像に提示される健康状態の既知の診断から抽出される情報を含む。例えば、訓練データストア９６０は、病院、医用画像レポジトリ、研究画像レポジトリ、および同等物からデータ管理モジュール９２０によって取得される、放射線画像、コンピュータ断層撮影（ＣＴ）スキャン、医療共鳴画像（ＭＲＩ）スキャン、Ｘ線画像、超音波または超音波検査画像、触覚画像、もしくはサーモグラフィ画像等の医用画像から抽出される情報を含んでもよい。別の実施例として、訓練データストア９６０は、クライアントデバイス１１０のユーザからデータ管理モジュール９２０によって取得される、スマートフォンカメラ上で取得される画像等の個人によって撮影された画像から抽出される情報を含んでもよい。

訓練モジュール９２５は、訓練データストア９６０内の情報を使用して、モデルのセットを訓練する。具体的には、所与の診断モデルＭ_ｉに関して、訓練データＳ_ｉは、入力データｘ_ｊ∈Ｓ（例えば、訓練画像またはビデオ）と、入力データｘ_ｊ∈Ｓの既知の特性評価（例えば、診断）である標識ｙ_ｊ∈Ｓｉとをそれぞれ含む、複数の訓練インスタンスｊ＝１、２、…、｜Ｓ_ｉ｜を含む。具体的には、入力データｘ_ｊは、個人の解剖学的部分を捕捉する訓練画像から抽出される情報を含んでもよい。一実施形態では、機械学習されたモデルが、入力画像に加えて、または代替として、付加的タイプのデータを受信するように構成されるとき、入力データｘ_ｊ∈Ｓはまた、訓練画像内の患者に関する付加的タイプのデータ（例えば、患者に関する人口統計情報）を含んでもよい。一事例では、標識ｙ_ｊ∈Ｓｉは、入力データのための特性評価を検証し得る、医師、医療専門家、または他の個人等の人間のオペレータによって取得されてもよい。別の事例では、標識自体は、人間のオペレータによって後に正当性を立証される、機械学習されたモデルによって発生される予測であってもよい。

訓練モジュール９２５は、前方パスステップと逆伝搬ステップとの間で繰り返し反復することによって、モデルに関して加重のセットを訓練する。前方パスステップの間に、訓練モジュール９２０は、訓練データの対応するサブセットＳ_ｉを横断して、加重の推定されるセットを伴うモデルを入力データｘ_ｊ∈Ｓに適用することによって、推定出力ｙ’_ｊ∈Ｓを発生させる。訓練モジュール９２０は、複数の訓練インスタンスに関して推定出力ｙ’_ｊ∈Ｓと標識ｙ_ｊ∈Ｓとの間の差異を示す、損失関数を決定する。逆伝搬ステップの間に、訓練モジュール９２０は、損失関数から取得される逆伝搬誤差項によって、モデルに関する加重のセットを繰り返し更新する。本プロセスは、損失関数の変化が事前決定された基準を満たすまで繰り返される。例えば、基準は、各反復における損失関数の変化が閾値を下回る場合、トリガーされてもよい。

一実施形態では、損失関数は、例えば、標識ｙ_ｊが連続値であるときに、以下によって求められ得、

式中、θ_ｐは、診断モデルに関する加重のセットである。別の実施形態では、損失関数は、例えば、標識ｙ_ｊが２進値であるときに、以下によって求められ得る。

しかしながら、損失関数は、実際の標識と各訓練相互作用の間に発生される推定出力との間の差異を示す、Ｌ１－ノルム、Ｌ－無限ノルム等の任意の他の関数であり得ることを理解されたい。

下記に説明されるように、訓練モジュール９２５は、入力画像の能動的診断を決定するために使用され得る、図２－７と併せて説明される診断モデルのセットを訓練する。一実施形態では、１つ以上の診断モデルは、出力ベクトルとして予測ｙ’＝ｖ’を発生させるように構成され、出力ベクトルｖ’内の各要素は、個別の健康状態に関する予測に対応する。そのような実施形態では、診断モデルに関する訓練標識ｙ_ｊ＝ｖ_ｊは、ワンホットエンコードされたベクトルとしてエンコードされてもよく、ベクトル内の各要素は、訓練画像が要素に関して個別の健康状態で診断される場合、ゼロではない２進値（例えば、１の値）であり、いずれの診断も存在しない場合、ゼロである。したがって、２つ以上の健康状態を提示する訓練画像に関して、各個別の要素は、ベクトル内の２つ以上の要素がゼロではない値を有するように、適切な値に設定されてもよい。例えば、発疹およびほくろを予測するように構成される、診断モデルに関する訓練データは、第１の要素が、対応する訓練画像内の発疹の存在を示し、第２の要素が、訓練画像内のほくろの非存在を示す、標識「［０ １］」を含んでもよい。別の実施形態では、診断モデルは、個別の健康状態をそれぞれ表す、１つ以上のカテゴリに割り当てられ得る出力値として、予測ｙ’＝ｖ’を発生させるように構成されてもよい。そのような実施形態では、診断モデルに関する標識ｙ_ｊ＝ｖ_ｊは、訓練画像内で診断される個別の健康状態に関するカテゴリを表す、値であってもよい。例えば、例示的診断モデルに関する訓練データは、訓練画像内の発疹の存在を示す標識「１」、または訓練画像内のほくろの存在を示す「２」を含んでもよい。

訓練モジュール９２０は、図３と併せて説明される診断モデルのアンサンブルセットに関して加重のセットを訓練する。具体的には、アンサンブルセットの中の各診断モデルは、１つ以上の健康状態の個別のセットに関して予測を発生させるように構成されてもよい。アンサンブルセットの中の診断モデルは、モデルのアーキテクチャ、モデルが予測するように構成される健康状態のセット、および同等物に対して相互と異なり得る。一実施形態では、診断モデルはそれぞれ、ノードの層のセットを含む、ニューラルネットワークアーキテクチャとして構成され、各層は、加重のセットを介して前の層に接続される。したがって、そのようなアンサンブルセットの中の診断モデルは、アーキテクチャ内の層、ノード、および接続の数に対して相互と異なり得る。

訓練モジュール９２５は、入力データｘ_ｊ∈Ｓｉとしての訓練画像と、診断モデルが予測するように構成される具体的健康状態の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含む、訓練データセットを使用して、アンサンブルセットの中の診断モデルに関して加重のセットを訓練する。前方パスステップの間に、訓練モジュール９２５は、診断モデルを訓練画像に適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、診断モデルに関する加重のセットを繰り返し更新する。

訓練モジュール９２０は、図４と併せて説明される特徴エクストラクタモデルおよび特徴分類器モデルに関して加重のセットを訓練する。一実施形態では、特徴エクストラクタモデルおよび特徴分類器モデルは、第１の部分と、第２の部分とを含む、ニューラルネットワークアーキテクチャを訓練することによって、訓練される。ニューラルネットワークアーキテクチャの第１の部分に関する加重のセットは、特徴エクストラクタモデルに関する加重のセットとして記憶されてもよく、第２の部分に関する加重のセットは、特徴分類器モデルに関する加重のセットとして記憶されてもよい。特徴分類器モデルに関する加重のセットは、続いて、訓練画像から抽出される複数の成分を使用して再訓練される。

図１０は、ある実施形態による、図４に示される診断モデルのセットのための例示的訓練プロセスを図示する。訓練モジュール９２５は、ノードの層のセットを含む、ニューラルネットワークアーキテクチャ１０３６を訓練し、各層は、加重のセットを介して前の層に接続される。ニューラルネットワークアーキテクチャ１０３６は、１つ以上の健康状態の個別のセットに関して予測を発生させるように構成されてもよい。一実施形態では、ニューラルネットワークアーキテクチャ１０３６は、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、または画像データを受信し、出力を発生させ得る、任意の他のタイプのニューラルネットワークアーキテクチャとして構成される。

訓練モジュール９２５は、入力データｘ_ｊ∈Ｓｉとしての訓練画像と、特徴分類器モデルが予測するように構成される具体的健康状態の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含む、訓練データセットを使用して、ニューラルネットワークアーキテクチャに関して加重のセットを訓練する。前方パスステップの間に、訓練モジュール９２５は、ニューラルネットワークアーキテクチャを訓練画像に適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、ニューラルネットワークアーキテクチャに関する加重のセットを繰り返し更新する。

ニューラルネットワークアーキテクチャのための訓練プロセスが完了した後、訓練モジュール９２５は、特徴エクストラクタモデルに関する加重のセットとしてのニューラルネットワークアーキテクチャの第１の部分および特徴分類器モデルに関する加重のセットとしてのニューラルネットワークアーキテクチャの第２の部分を記憶する。一実施形態では、第１の部分および第２の部分は、第２の部分が、ニューラルネットワークアーキテクチャの第１の部分のための層の後に設置される層に関する加重のセットを含むように、選択される。例えば、第１の部分は、ニューラルネットワークアーキテクチャの最初の３つの層に関する加重のセットを含んでもよい一方、第２の部分は、ニューラルネットワークアーキテクチャの最後の５つの層に関する加重のセットを含んでもよい。

訓練モジュール９２５は、続いて、入力データｘ_ｊ∈Ｓｉとして訓練画像から抽出される複数の成分ＣＦ_ｊ∈Ｓと、特徴分類器モデルが予測するように構成される訓練画像内の具体的健康状態の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含む、訓練データセットを使用して、特徴分類器モデルに関して加重のセットを再訓練する。一事例では、訓練画像に関する複数の成分は、訓練された特徴エクストラクタモデルを訓練画像に適用し、訓練画像に関する画像テンソルを発生させ、画像テンソルにＩＣＡを実施し、複数の成分を発生させることによって、抽出される。前方パスステップの間に、訓練モジュール９２５は、特徴分類器モデルを複数の成分ＣＦ_ｊ∈Ｓに適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、特徴分類器モデルに関する加重のセットを繰り返し更新する。

訓練モジュール９２５は、図５と併せて説明されるＲＮＮアーキテクチャに関して加重のセットを訓練する。訓練モジュール９２５は、入力データｘ_ｊ∈Ｓとしての一連の訓練画像と、ＲＮＮアーキテクチャが予測するように構成される具体的健康状態の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含む、訓練データセットを使用して、ＲＮＮアーキテクチャに関して加重のセットを訓練する。一実施形態では、ＲＮＮアーキテクチャに関する訓練データが、２つ以上の健康状態を提示する一連の訓練画像を含むとき、一連の各反復における標識ｖ_ｊは、訓練画像に存在する健康状態のうちの個別のものにおいてゼロではない値を有する、ワンホットエンコードされたベクトルであってもよい。前方パスステップの間に、訓練モジュール９２５は、ＲＮＮアーキテクチャを一連の訓練画像に繰り返し適用することによって、一連の推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。一実施形態では、標識ｖ_ｊは、差異、例えば、｜ｖ_ｊ∈Ｓ－ｖ’_ｊ∈Ｓ｜が、可能性として考えられる順序付けの全てまたはサブセットにわたって低減される、もしくは最小限にされるように、訓練プロセスの前方パスステップの間に並べ替えられてもよい。訓練モジュール９２５は、一連の各反復における推定出力と標識との間の差異を組み合わせることによって、損失関数を決定する。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、ＲＮＮアーキテクチャに関する加重のセットを繰り返し更新する。

訓練モジュール９２５は、図６と併せて説明される、微分器モデル、無定形異常モデル、および限局性異常モデルを訓練する。訓練モジュール９２５は、入力データｘ_ｊ∈Ｓとしての訓練画像と、無定形皮膚異常の存在または限局性皮膚異常の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含む、訓練データセットを使用して、微分器モデルに関して加重のセットを訓練する。一事例では、微分器モデルは、第１の要素が、画像が無定形皮膚異常を含む可能性に対応し、第２の要素が、画像が限局性皮膚異常を含む可能性に対応する、ベクトルとしてインジケーションを発生させるように構成される。そのような事例では、標識ｙ_ｊ∈Ｓは、訓練画像が無定形皮膚異常を含む場合、ベクトルの第１の要素がゼロではない値（例えば、１の値）である、または画像がそれを含まない場合、ゼロであるように、エンコードされてもよい。同様に、ベクトルの第２の要素は、訓練画像が限局性皮膚異常を含む場合、ゼロではない値（例えば、１の値）である、または画像がそれを含まない場合、ゼロである。前方パスステップの間に、訓練モジュール９２５は、微分器モデルを訓練画像に適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させ、損失関数から取得される項を用いて、逆伝搬ステップの間に微分器モデルに関する加重のセットを繰り返し更新する。

訓練モジュール９２５は、入力データｘ_ｊ∈Ｓｉとしての訓練画像と、モデルが予測するように構成される具体的無定形皮膚異常の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含む、訓練データセットを使用して、無定形異常モデルに関して加重のセットを訓練する。無定形異常モデルに関する訓練データは、単一の無定形皮膚異常または複数の無定形皮膚異常を伴う訓練画像を含んでもよい。前方パスステップの間に、訓練モジュール９２５は、無定形異常モデルを訓練画像に適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、無定形異常モデルに関する加重のセットを繰り返し更新する。

訓練モジュール９２５は、入力データｘ_ｊ∈Ｓとしての訓練画像と、モデルが予測するように構成される具体的限局性皮膚異常の存在を示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含有する、訓練データセットを使用して、限局性異常モデルに関して加重のセットを訓練する。限局性異常モデルに関する訓練データは、単一の限局性皮膚異常または複数の限局性皮膚異常を伴う訓練画像を含んでもよい。前方パスステップの間に、訓練モジュール９２５は、限局性異常モデルを訓練画像に適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、限局性異常モデルに関する加重のセットを繰り返し更新する。

下記にさらに説明されるように、訓練モジュール９２５はさらに、画像が２つ以上の健康状態を提示するかどうかのインジケーションを提供する、図８と併せて説明されるインジケータモデルを訓練する。訓練モジュール９２５は、入力データｘ_ｊ∈Ｓとしての訓練画像と、訓練画像が２つ以上の健康状態を提示するかどうかを示す、対応する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓとを含有する、訓練データセットを使用して、インジケータモデルに関して加重のセットを訓練する。訓練データは、単一の健康状態または複数の健康状態からの症状を伴う訓練画像を含んでもよい。一事例では、インジケータモデルは、画像が２つ以上の健康状態を提示する可能性を表す、インジケーションを発生させるように構成される。そのような事例では、標識ｙ_ｊ∈Ｓｉは、訓練画像が２つ以上の健康状態を提示する場合、ゼロではない値として、または訓練画像が単一の健康状態を提示する場合、ゼロとしてエンコードされてもよい。前方パスステップの間に、訓練モジュール９２５は、インジケータモデルを訓練画像に適用することによって、推定出力ｙ’_ｊ∈Ｓ＝ｖ’_ｊ∈Ｓを発生させる。逆伝搬ステップの間に、訓練モジュール９２５は、損失関数から取得される項を用いて、インジケータモデルに関する加重のセットを繰り返し更新する。

訓練モジュール９２５はまた、インジケータ機能性を伴って組み込まれる診断モデルを訓練することもできる。診断モデルは、図２－７の診断モデルのセット、または単一の健康状態を予測するように構成される診断モデル等の画像内の１つ以上の健康状態についてコンピュータ化予測を発生させるように構成される任意のモデルであってもよい。診断モデルは、概して、診断訓練データ（例えば、訓練画像および対応する健康状態標識）を使用して訓練されることができるが、訓練モジュール９２５はさらに、診断訓練データに加えて、診断モデルに関する指示訓練データを含むことによって、インジケータ機能性を組み込むように診断モデルを訓練する。

一実施形態では、指示訓練データＳ_ａは、２つ以上の健康状態を提示する訓練画像と、訓練画像内の２つ以上の健康状態の存在を示す、対応する標識ｙ_ｊ∈Ｓａ＝ｖ_ｊ∈Ｓａと含む。一事例では、診断訓練データに関する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓが、ワンホットエンコードされたベクトルであるとき、指示訓練データに関する標識ｙ_ｊ∈Ｓａ＝ｖ_ｊ∈Ｓａは、ベクトル内の全てまたは殆どの要素に関してゼロではない値を有する、ベクトルであってもよい。例えば、単一の健康状態を予測するように構成される診断モデルに関する訓練データは、訓練画像が２つ以上の健康状態を提示する場合、全ての要素に関してゼロではない値を含む、標識「［１ １］」を含んでもよい。このように、診断モデルは、全てまたは殆どの健康状態に関して比較的に類似するまたは等しい可能性を予測することによって、インジケーションを発生させるように構成される。

別の事例では、指示訓練データに関する標識ｙ_ｊ∈Ｓａ＝ｖ_ｊ∈Ｓａは、２つ以上の健康状態を提示する画像を割り当てるための付加的要素またはカテゴリを含んでもよい。例えば、診断訓練データに関する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓが、ワンホットエンコードされたベクトルであるとき、標識はさらに、異なる健康状態に関する要素に加えて、インジケーションに関する別個の要素を含むように構成されてもよい。別個の要素は、訓練画像が２つ以上の健康状態を提示する場合、ゼロではない値であり、訓練画像がそれらを提示しない場合、ゼロである。例えば、発疹および／またはほくろを予測するように構成される診断モデルに関する訓練データは、第１の要素が、対応する訓練画像内の発疹の存在を示し、第２の要素が、訓練画像内のほくろの存在を示し、第３の別個の要素が、訓練画像内の２つ以上の健康状態の存在を示す、標識「［１ １ １］」を含んでもよい。別の実施例として、診断に関する標識ｙ_ｊ∈Ｓ＝ｖ_ｊ∈Ｓであって、標識がカテゴリであるとき、標識はさらに、異なる健康状態に関するカテゴリに加えて、インジケーションに関する別個のカテゴリを含むように構成されてもよい。例えば、例示的診断モデルに関する訓練データは、訓練画像内の発疹の存在を示す標識「１」と、訓練画像内のほくろの存在を示す標識「２」と、訓練画像内の２つ以上の健康状態の存在を示す標識「３」とを含んでもよい。

訓練モジュール９２５は、図２－８と併せて説明される様式で、推論プロセスの間に展開され得るように、モデルデータストア９６５内の訓練される機械学習されたモデルを記憶してもよい。

予測モジュール９３０は、クライアントデバイス１１０から要求を受信し、入力画像内で捕捉される健康状態のコンピュータ化診断を提供する。診断の要求に応答して、予測モジュール９３０は、診断システム１３０によって訓練される診断モデルを使用して、入力画像に関して診断を発生させるために使用され得る、診断モデルのセットを選択してもよい。予測モジュール９３０は、図２－８と併せて説明される例示的推論プロセスと同様に、選択された診断モデルを適用し、入力画像に提示される健康状態について予測を発生させてもよい。一事例では、予測モジュール９３０は、予測の可能性が閾値を上回る場合、健康状態に関して診断を決定する。例えば、予測モジュール９３０は、予測可能性が０．８０または８０％を上回る場合、個別の健康状態が入力画像に確かに存在することを結論付けてもよい。予測モジュール９３０は、個別の健康状態が別様に入力画像に欠如していることを結論付けてもよい。

いくつかの実施形態では、予測モジュール９３０は、個別の健康状態に関する予測が決定的ではないことを決定し、診断要求が行われることができないという情報をクライアントデバイス１１０に発生させてもよい、または代替として、決定的予測を有する残りの健康状態に関する診断をクライアントデバイス１１０に出力してもよい。例えば、予測モジュール９３０は、個別の予測が第１の閾値と第２の閾値との間（例えば、２０％～８０％）の可能性を有する場合、診断が決定的ではないことを決定してもよい。別の事例では、予測モジュール９３０は、予測の可能性が診断モデルによって発生される他の予測可能性の中で閾値割合以内である場合、健康状態に関する診断を決定する。

一実施形態では、予測モジュール９３０は、コンピュータ化診断を統制する、関連性がある政府規制または方針に準拠するようにプログラムされ、現在の規制または方針に準拠するように診断結果を発生させる。例えば、規制または方針は、個別の健康状態が入力画像に提示されるかどうかを決定するために使用される、種々の予測閾値を決定付けてもよく、これらの閾値は、異なる健康状態の間で変動し得る。一事例では、診断システム１３０の管理者が、これらの規制または方針を精査し、それらに準拠するように予測モジュール９３０をプログラムしてもよい。別の事例では、予測モジュール９３０は、関連性がある団体（例えば、ＦＤＡ）のウェブサイトまたはデータベースから情報を収集し、収集された情報から解析されるルールに従って、予測を発生させてもよい。したがって、予測モジュール９３０は、モデルによって発生される予測を精査し、これらの規制または方針に準拠するように要求に関する診断結果を発生させてもよい。例えば、予測モジュール９３０は、ＦＤＡによって設定される方針に従って、予測可能性が８０％の閾値を超える場合、座瘡に関する診断を決定してもよい一方、予測モジュール９３０は、予測可能性が９５％の閾値のみを超える場合、発疹に関する診断を決定してもよい。

さらに、診断の要求に応答して、予測モジュール９３０は、インジケータモデルまたはインジケータ機能性を伴う診断モデルを選択し、入力画像に関するインジケーションを発生させてもよい。予測モジュール９３０は、選択されたモデルを適用し、インジケーションを発生させてもよい。一事例では、予測モジュール９３０は、インジケーションの可能性が閾値を上回る場合、入力画像が２つ以上の健康状態を提示することを決定する。別の事例では、予測モジュール９３０は、インジケーションの可能性が選択されたモデルによって発生される他の出力の中で閾値割合以内である場合、入力画像が２つ以上の健康状態を提示することを決定する。図８と併せて説明されるように、予測モジュール９３０は、適切な診断モデルが診断を発生させるために選択され得る、または、例えば、コンピュータ化診断についての政府規制もしくは方針への準拠に起因して、診断が行われることができないという情報が、クライアントデバイス１１０のユーザに出力されるように、決定に基づいて要求に関して結果を発生させてもよい。

治療出力モジュール９３５は、予測モジュール９３０によって提供される診断と併せて、潜在的治療オプションを提供する。診断結果を前提として、例えば、必要とされる場合、短い時間周期内に健康状態を治療し得るように、クライアントデバイス１１０のユーザが、診断を用いた治療のための潜在的オプションを受信することが有利であり得る。一実施形態では、治療出力モジュール９３５は、人間の医療専門家に相談すること、専門システムの論法、または前のシステムからオプションを導出することによって、治療オプションを発生させてもよい。一実施形態では、治療出力モジュール９３５は、患者によって提示される健康状態に対して副作用を低減させ、回避することが公知である、治療オプションを提案してもよい。
（重複する皮膚異常を診断する方法）

図１１は、入力画像内の重複する皮膚異常を診断する方法を図示する。診断システム１３０は、クライアントデバイスから、入力画像内の皮膚異常を診断する要求を（例えば、ネットワーク１２０を経由して）受信する１１０２。入力画像は、患者の皮膚上の重複する皮膚異常を含む。診断システム１３０は、データベース（例えば、モデル９６５が、訓練データ９６０を使用して訓練され、図２－８と併せて説明されるモデルを含み得る、モデルデータストア９６５）から機械学習されたモデルのセットに（例えば、予測モジュール９３０を使用して、ネットワーク１２０を経由して）アクセスする１１０４。各機械学習されたモデルは、訓練された加重の個別のセットを含む。診断モデル１３０は、機械学習されたモデルのセットを入力画像に適用すること（例えば、図２－８と併せて説明される推論プロセス）によって、（例えば、予測モジュール９３０を使用して）入力画像内の２つ以上の皮膚異常の各々に関して個別の予測を発生させる１１０６。予測は、２つ以上の皮膚異常の中の個別の皮膚異常が入力画像に示される可能性を示す。診断システム１３０は、（例えば、予測モジュール９３０を使用して）予測から重複する皮膚異常の診断を発生させる１１０８。診断システム１３０は、（例えば、ネットワーク１２０を経由して）診断をクライアントデバイスに提供する１１００。
（２つ以上の皮膚異常のインジケーションを発生させる方法）

図１２は、入力画像内の２つ以上の皮膚異常のインジケーションを発生させる方法を図示する。診断システム１３０は、クライアントデバイスから、入力画像内の皮膚異常の診断の要求を（例えば、ネットワーク１２０を経由して）受信する１２０２。診断システム１３０は、データベース（例えば、モデル９６５が、訓練データ９６０を使用して訓練され、図８と併せて説明されるモデルを含み得る、モデルデータストア９６５）から機械学習されたモデルに（例えば、予測モジュール９３０を使用して、ネットワーク１２０を経由して）アクセスする１２０４。機械学習されたモデルは、訓練された加重の個別のセットを含む。診断モデル１３０は、機械学習されたモデルを入力画像に適用すること（例えば、図８と併せて説明される推論プロセス）によって、（例えば、予測モジュール９３０を使用して）インジケーションを発生させる１２０６。診断システム１３０は、（例えば、予測モジュール９３０を使用して）予測からの重複する皮膚異常の決定に基づいて、要求に関して結果を発生させる１２０８。診断システム１３０は、（例えば、ネットワーク１２０を経由して）結果をクライアントデバイスに提供する１２１０。
（概要）

本発明の実施形態の前述の説明は、例証の目的のために提示されており、包括的であること、または本発明を開示される精密な形態に限定することを意図していない。当業者は、多くの修正および変形例が上記の開示を踏まえて可能性として考えられることを理解することができる。

本説明のいくつかの部分は、情報への動作のアルゴリズムおよび象徴的表現の観点から本発明の実施形態を説明する。これらのアルゴリズム的記述および表現は、データ処理の分野の当業者によって、その仕事の内容を他の当業者に効果的に伝えるために一般的に使用されている。これらの動作は、機能的、計算上、または論理的に説明されるが、コンピュータプログラムまたは同等の電気回路、マイクロコード、もしくは同等物によって実装されると理解される。さらに、また、一般性を失うことなく、これらの動作の配列をモジュールと称することが、随時、便宜的であることも証明されている。説明される動作およびそれらの関連付けられるモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化され得る。

本明細書に説明されるステップ、動作、またはプロセスのうちのいずれかは、単独で、もしくは他のデバイスと組み合わせて、１つ以上のハードウェアもしくはソフトウェアモジュールを伴って実施または実装され得る。一実施形態では、ソフトウェアモジュールは、説明されるステップ、動作、またはプロセスのうちのいずれかもしくは全てを実施するためにコンピュータプロセッサによって実行され得る、コンピュータプログラムコードを含有するコンピュータ可読媒体を備える、コンピュータプログラム製品を伴って実装される。

本発明の実施形態はまた、本明細書の動作を実施するための装置に関し得る。本装置は、特に、要求される目的のために構築されてもよい、および／またはコンピュータ内に記憶されたコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピューティングデバイスを備えてもよい。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一過性の有形コンピュータ可読記憶媒体または電子命令を記憶するために好適な任意のタイプの媒体内に記憶されてもよい。さらに、本明細書で参照される任意のコンピューティングシステムは、単一のプロセッサを含んでもよい、または増加したコンピューティング能力のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。

本発明の実施形態はまた、本明細書に説明されるコンピューティングプロセスによって生産される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備えてもよく、情報は、非一過性の有形コンピュータ可読記憶媒体上に記憶され、本明細書に説明されるコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含んでもよい。

最後に、本明細書で使用される言語は、主に、可読性および指示目的のために選択されており、発明の主題を正確に描写する、または制限するために説明されていない場合がある。したがって、本発明の範囲は、本発明を実施するための形態によってではなく、むしろ、これに基づく出願上で生じる任意の請求項によって限定されることが意図される。故に、本発明の実施形態の開示は、以下の請求項に記載される、本発明の範囲の限定ではなく、例証であることを意図している。

Claims (40)

1. 入力画像内の重複する皮膚異常を診断する方法であって、前記方法は、
   クライアントデバイスから、入力画像内の皮膚異常を診断する要求を受信することであって、前記入力画像は、患者の皮膚上の重複する皮膚異常を含む、ことと、
   データベースから機械学習されたモデルのセットにアクセスすることであって、各機械学習されたモデルは、訓練された加重の個別のセットを含む、ことと、
   前記機械学習されたモデルのセットを前記入力画像に適用することによって、前記入力画像内の２つ以上の皮膚異常の各々に関して個別の予測を発生させることであって、予測は、前記２つ以上の皮膚異常の中の個別の皮膚異常が前記入力画像に示される可能性を示す、ことと、
   前記入力画像に関して前記予測から前記重複する皮膚異常の診断を発生させることと、
   前記クライアントデバイスに前記診断を提供することと
   を含む、方法。
2. 前記機械学習されたモデルのセットは、ニューラルネットワークモデルのアンサンブルセットであり、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
   前記アンサンブルセットの中の各ニューラルネットワークモデルに関して、前記ニューラルネットワークモデルを前記入力画像に適用することによって、前記ニューラルネットワークモデルから１つ以上の予測を発生させることと、
   前記ニューラルネットワークモデルのアンサンブルセットに関する前記予測を組み合わせ、前記２つ以上の皮膚異常に関して前記予測を発生させることと
   を含む、請求項１に記載の方法。
3. 前記機械学習されたモデルのセットは、第２の機械学習されたモデルと、第３の機械学習されたモデルとを含み、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
   前記第２の機械学習されたモデルを前記入力画像に適用することによって、画像テンソルを発生させることであって、前記画像テンソルは、前記入力画像内の複数の空間特徴を特徴付ける、ことと、
   前記画像テンソルから複数の成分を抽出することと、
   前記２つ以上の皮膚異常の各々に関して個別のテンソルを発生させることと、
   前記第３の機械学習されたモデルを前記２つ以上の皮膚異常の各々に関する前記個別のテンソルに適用することによって、前記２つ以上の皮膚異常に関して前記予測を発生させることと
   を含む、請求項１に記載の方法。
4. 前記複数の成分は、前記画像テンソルに独立成分分析（ＩＣＡ）を実施することによって、前記画像テンソルから抽出される、請求項３に記載の方法。
5. 前記第２の機械学習されたモデルおよび前記第３の機械学習されたモデルに関する前記訓練された加重のセットは、合同で訓練される、請求項３に記載の方法。
6. 前記機械学習されたモデルのセットは、リカレントニューラルネットワークモデルを含み、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
   前記リカレントニューラルネットワークモデルを前記入力画像に繰り返し適用し、第１の時間において前記２つ以上の皮膚異常の中の第１の皮膚異常に関して前記個別の予測を発生させ、前記第１の時間の後続の第２の時間において前記２つ以上の皮膚異常の中の第２の皮膚異常に関して前記個別の予測を発生させること
   を含む、請求項１に記載の方法。
7. 前記機械学習されたモデルのセットは、第２の機械学習されたモデルと、第３の機械学習されたモデルと、第４の機械学習されたモデルとを含み、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
   前記入力画像が無定形皮膚異常または限局性異常を含むかどうかについて予測を発生させることと、
   前記入力画像が無定形皮膚異常を含むことを決定することに応答して、前記無定形異常モデルを前記入力画像に適用することによって、前記無定形皮膚異常に関して予測を発生させることと、
   前記入力画像が限局性皮膚異常を含むことを決定することに応答して、前記限局性異常モデルを前記入力画像に適用することによって、前記限局性皮膚異常に関して予測を発生させることと
   を含む、請求項１に記載の方法。
8. 前記機械学習されたモデルのセットのうちの少なくとも１つは、ノードの層のセットを含むニューラルネットワークアーキテクチャとして構成され、各層は、加重のサブセットを介して前の層に接続される、請求項１に記載の方法。
9. 前記入力画像は、放射線画像、コンピュータ断層撮影（ＣＴ）スキャン、医療共鳴画像（ＭＲＩ）スキャン、Ｘ線画像、超音波または超音波検査画像、触覚画像、またはサーモグラフィ画像のうちの少なくとも１つである、請求項１に記載の方法。
10. 前記入力画像は、前記クライアントデバイスのユーザによって捕捉される画像であり、前記クライアントデバイスは、スマートフォンである、請求項１に記載の方法。
11. 入力画像内の重複する皮膚異常を診断するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ可読記憶媒体を備え、前記コンピュータ可読記憶媒体は、
    クライアントデバイスから、入力画像内の皮膚異常を診断する要求を受信することであって、前記入力画像は、患者の皮膚上の重複する皮膚異常を含む、ことと、
    データベースから機械学習されたモデルのセットにアクセスすることであって、各機械学習されたモデルは、訓練された加重の個別のセットを含む、ことと、
    前記機械学習されたモデルのセットを前記入力画像に適用することによって、前記入力画像内の２つ以上の皮膚異常の各々に関して個別の予測を発生させることであって、予測は、前記２つ以上の皮膚異常の中の個別の皮膚異常が前記入力画像に示される可能性を示す、ことと、
    前記入力画像に関して前記予測から前記重複する皮膚異常の診断を発生させることと、
    前記クライアントデバイスに前記診断を提供することと
    のためのコンピュータプログラムコードを含有する、コンピュータプログラム製品。
12. 前記機械学習されたモデルのセットは、ニューラルネットワークモデルのアンサンブルセットであり、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
    前記アンサンブルセットの中の各ニューラルネットワークモデルに関して、前記ニューラルネットワークモデルを前記入力画像に適用することによって、前記ニューラルネットワークモデルから１つ以上の予測を発生させることと、
    前記ニューラルネットワークモデルのアンサンブルセットに関する前記予測を組み合わせ、前記２つ以上の皮膚異常に関して前記予測を発生させることと
    を含む、請求項１１に記載のコンピュータプログラム製品。
13. 前記機械学習されたモデルのセットは、第２の機械学習されたモデルと、第３の機械学習されたモデルとを含み、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
    前記第２の機械学習されたモデルを前記入力画像に適用することによって、画像テンソルを発生させることであって、前記画像テンソルは、前記入力画像内の複数の空間特徴を特徴付ける、ことと
    前記画像テンソルから複数の成分を抽出することと、
    前記２つ以上の皮膚異常の各々に関して個別のテンソルを発生させることと、
    前記第３の機械学習されたモデルを前記２つ以上の皮膚異常の各々に関する前記個別のテンソルに適用することによって、前記２つ以上の皮膚異常に関して前記予測を発生させることと
    を含む、請求項１１に記載のコンピュータプログラム製品。
14. 前記複数の成分は、前記画像テンソルに独立成分分析（ＩＣＡ）を実施することによって、前記画像テンソルから抽出される、請求項１３に記載のコンピュータプログラム製品。
15. 前記第２の機械学習されたモデルおよび前記第３の機械学習されたモデルに関する前記訓練された加重のセットは、合同で訓練される、請求項１３に記載のコンピュータプログラム製品。
16. 前記機械学習されたモデルのセットは、リカレントニューラルネットワークモデルを含み、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
    前記リカレントニューラルネットワークモデルを前記入力画像に繰り返し適用し、第１の時間において前記２つ以上の皮膚異常の中の第１の皮膚異常に関して前記個別の予測を発生させ、前記第１の時間の後続の第２の時間において前記２つ以上の皮膚異常の中の第２の皮膚異常に関して前記個別の予測を発生させること
    を含む、請求項１１に記載のコンピュータプログラム製品。
17. 前記機械学習されたモデルのセットは、第２の機械学習されたモデルと、第３の機械学習されたモデルと、第４の機械学習されたモデルとを含み、前記２つ以上の皮膚異常に関して前記予測を発生させることはさらに、
    前記入力画像が無定形皮膚異常または限局性異常を含むかどうかについて予測を発生させることと、
    前記入力画像が無定形皮膚異常を含むことを決定することに応答して、前記無定形異常モデルを前記入力画像に適用することによって、前記無定形皮膚異常に関して予測を発生させることと、
    前記入力画像が限局性皮膚異常を含むことを決定することに応答して、前記限局性異常モデルを前記入力画像に適用することによって、前記限局性皮膚異常に関して予測を発生させることと
    を含む、請求項１１に記載のコンピュータプログラム製品。
18. 前記機械学習されたモデルのセットのうちの少なくとも１つは、ノードの層のセットを含むニューラルネットワークアーキテクチャとして構成され、各層は、加重のサブセットを介して前の層に接続される、請求項１１に記載のコンピュータプログラム製品。
19. 前記入力画像は、放射線画像、コンピュータ断層撮影（ＣＴ）スキャン、医療共鳴画像（ＭＲＩ）スキャン、Ｘ線画像、超音波または超音波検査画像、触覚画像、またはサーモグラフィ画像のうちの少なくとも１つである、請求項１１に記載のコンピュータプログラム製品。
20. 前記入力画像は、前記クライアントデバイスのユーザによって捕捉される画像であり、前記クライアントデバイスは、スマートフォンである、請求項１１に記載のコンピュータプログラム製品。
21. 入力画像内の２つ以上の皮膚異常のインジケーションを発生させる方法であって、前記方法は、
    クライアントデバイスから、入力画像に提示される皮膚異常の診断の要求を受信することと、
    データベースから機械学習されたモデルにアクセスすることであって、前記機械学習されたモデルは、訓練された加重の個別のセットを含む、ことと、
    前記機械学習されたモデルを前記入力画像に適用することによって、インジケーションを発生させることであって、前記インジケーションは、前記入力画像が２つ以上の皮膚異常を示す可能性を表す、ことと、
    前記入力画像に関して発生される前記インジケーションから、前記入力画像が２つ以上の皮膚異常を提示するかどうかについての決定を発生させることと、
    前記決定に基づいて、前記要求に関して結果を発生させ、前記結果を前記クライアントデバイスに提供することと
    を含む、方法。
22. 前記決定に基づいて、前記入力画像に関して処置オプションを決定し、前記結果として前記処置オプションを前記クライアントデバイスに提供することをさらに含む、請求項２１に記載の方法。
23. 前記入力画像が、２つ以上の皮膚異常ではなく、１つの皮膚異常を提示することを決定することに応答して、前記データベースから単一の皮膚異常に関して予測を発生させるように構成される診断モデルにアクセスすることと、
    前記診断モデルを前記入力画像に適用することによって、前記入力画像内の前記皮膚異常に関して予測を発生させることと、
    前記予測から前記入力画像に関して診断を発生させ、前記結果として前記診断を前記クライアントデバイスに提供することと
    をさらに含む、請求項２１に記載の方法。
24. 前記入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、前記データベースから２つ以上の皮膚異常の各々に関して個別の予測を発生させるように構成される診断モデルのセットにアクセスすることと、
    前記診断モデルのセットを前記入力画像に適用することによって、前記入力画像内の前記２つ以上の皮膚異常に関して予測を発生させることと、
    前記予測から前記入力画像に関して診断を発生させ、前記結果として前記診断を前記クライアントデバイスに提供することと
    をさらに含む、請求項２１に記載の方法。
25. 前記入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、前記入力画像が診断されることができないという情報を前記クライアントデバイスに提供することをさらに含む、請求項２１に記載の方法。
26. 前記入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、前記入力画像内の前記２つ以上の皮膚異常に関する予測を提供することなく、前記インジケーションについての情報を前記クライアントデバイスに提供することをさらに含む、請求項２１に記載の方法。
27. 前記機械学習されたモデルはまた、画像を受信し、前記画像に提示される１つ以上の皮膚異常に関して予測を発生させるようにさらに構成される診断モデルである、請求項２１に記載の方法。
28. 前記インジケーションを発生させることはさらに、前記診断モデルを前記入力画像に適用し、要素のセットを含む出力ベクトルを発生させることを含み、前記１つ以上の皮膚異常に関する前記予測は、前記出力ベクトル内の前記要素の値によって表され、
    前記入力画像は、前記出力ベクトル内の前記要素のセットの値の間の差異が事前決定された閾値を下回るときに、２つ以上の皮膚異常を提示するように決定される、
    請求項２７に記載の方法。
29. 前記インジケーションを発生させることはさらに、前記診断モデルを前記入力画像に適用し、要素のセットを含む出力ベクトルを発生させることを含み、前記１つ以上の皮膚異常に関する前記予測は、前記出力ベクトル内の要素のサブセットに関する値によって表され、前記インジケーションは、前記出力ベクトル内の残りの要素の値によって表される、請求項２７に記載の方法。
30. 前記１つ以上の皮膚異常に関する前記予測は、カテゴリのセットの中の１つ以上のカテゴリによって表され、
    前記インジケーションを発生させることはさらに、前記診断モデルを前記入力画像に適用し、出力値を発生させることを含み、
    前記入力画像は、前記出力値が前記カテゴリのセットの中の残りのカテゴリに割り当てられるときに、２つ以上の皮膚異常を提示するように決定される、
    請求項２７に記載の方法。
31. 入力画像内の２つ以上の皮膚異常のインジケーションを発生させるためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ可読記憶媒体を備え、前記コンピュータ可読記憶媒体は、
    クライアントデバイスから、入力画像内の皮膚異常の診断の要求を受信することと、
    データベースから機械学習されたモデルにアクセスすることであって、前記機械学習されたモデルは、訓練された加重の個別のセットを含む、ことと、
    前記機械学習されたモデルを前記入力画像に適用することによって、インジケーションを発生させることであって、前記インジケーションは、前記入力画像が２つ以上の皮膚異常を含む可能性を表す、ことと、
    前記入力画像に関して発生される前記インジケーションから、前記入力画像が２つ以上の皮膚異常を提示するかどうかについての決定を発生させることと、
    前記決定に基づいて、前記要求に関して結果を発生させ、前記結果を前記クライアントデバイスに提供することと
    のためのコンピュータプログラムコードを含有する、コンピュータプログラム製品。
32. 前記コンピュータ可読記憶媒体はさらに、
    前記決定に基づいて、前記入力画像内の個人のための処置オプションを決定し、前記結果として前記処置オプションを前記クライアントデバイスに提供するためのコンピュータプログラムコードを含有する、請求項３１に記載のコンピュータプログラム製品。
33. 前記コンピュータ可読記憶媒体はさらに、
    前記入力画像が、２つ以上の皮膚異常ではなく、１つの皮膚異常を提示することを決定することに応答して、前記データベースから単一の皮膚異常に関して予測を発生させるように構成される診断モデルにアクセスすることと、
    前記診断モデルを前記入力画像に適用することによって、前記入力画像内の前記皮膚異常に関して予測を発生させることと、
    前記予測から前記入力画像に関して診断を発生させ、前記結果として前記診断を前記クライアントデバイスに提供することと、
    のためのコンピュータプログラムコードを含有する、請求項３１に記載のコンピュータプログラム製品。
34. 前記コンピュータ可読記憶媒体はさらに、
    前記入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、前記データベースから２つ以上の皮膚異常の各々に関して個別の予測を発生させるように構成される診断モデルのセットにアクセスすることと、
    前記診断モデルのセットを前記入力画像に適用することによって、前記入力画像内の前記２つ以上の皮膚異常に関して予測を発生させることと、
    前記予測から前記入力画像に関して診断を発生させ、前記結果として前記診断を前記クライアントデバイスに提供することと
    のためのコンピュータプログラムコードを含有する、請求項３１に記載のコンピュータプログラム製品。
35. 前記コンピュータ可読記憶媒体はさらに、前記入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、前記入力画像が診断されることができないという情報を前記クライアントデバイスに提供するためのコンピュータプログラムコードを含有する、請求項３１に記載のコンピュータプログラム製品。
36. 前記コンピュータ可読記憶媒体はさらに、前記入力画像が２つ以上の皮膚異常を提示することを決定することに応答して、前記入力画像内の前記２つ以上の皮膚異常に関する予測を提供することなく、前記インジケーションについての情報を前記クライアントデバイスに提供するためのコンピュータプログラムコードを含有する、請求項３１に記載のコンピュータプログラム製品。
37. 前記機械学習されたモデルはまた、画像を受信し、前記画像に提示される１つ以上の皮膚異常に関して予測を発生させるようにさらに構成される診断モデルである、請求項３１に記載のコンピュータプログラム製品。
38. 前記インジケーションを発生させることはさらに、前記診断モデルを前記入力画像に適用し、要素のセットを含む出力ベクトルを発生させることであって、前記１つ以上の皮膚異常に関する前記予測は、前記出力ベクトル内の前記要素の値によって表される、ことを含み、
    前記入力画像は、前記出力ベクトル内の前記要素のセットの値の間の差異が事前決定された閾値を下回るときに、２つ以上の皮膚異常を提示するように決定される、
    請求項３７に記載のコンピュータプログラム製品。
39. 前記インジケーションを発生させることはさらに、前記診断モデルを前記入力画像に適用し、要素のセットを含む出力ベクトルを発生させることを含み、前記１つ以上の皮膚異常に関する前記予測は、前記出力ベクトル内の要素のサブセットに関する値によって表され、前記インジケーションは、前記出力ベクトル内の残りの要素の値によって表される、請求項３７に記載のコンピュータプログラム製品。
40. 前記１つ以上の皮膚異常に関する前記予測は、カテゴリのセットの中の１つ以上のカテゴリによって表され、
    前記インジケーションを発生させることはさらに、前記診断モデルを前記入力画像に適用し、出力値を発生させることを含み、
    前記入力画像は、前記出力値が前記カテゴリのセットの中の残りのカテゴリに割り当てられるときに、２つ以上の皮膚異常を提示するように決定される、
    請求項３７に記載のコンピュータプログラム製品。

Images