JP2021524958A - 呼吸器系の音に基づく呼吸状態の管理 - Google Patents

Abstract

【解決手段】特に、対象者の音取得ポイントにおける聴診によって対象者から取得された音記録が、音分類中で分類される。音記録及び他の情報から呼吸状態を推測することができる。呼吸状態についての情報は、呼吸状態を管理する目的で対象者又は医療提供者に提示することができる。【選択図】 図１

Description

本特許出願は、２０１８年５月２９日付で出願された欧州特許出願第２０１８００３７７号の出願日の優先権の利益の権利を有し、この特許出願の内容全体はこの参照により本明細書に組み込まれる。

この説明は、特に、人間の呼吸器系の音に基づいて呼吸状態を管理することに関する。

一般に、一態様では、聴診によって取得された対象者の呼吸音を表す音記録が受信される。マシンにより、受信した音記録を時間−周波数領域グラフィカル表現に変換する。マシンにより、時間−周波数領域グラフィカル表現を分類器モデルに適用して、対象者の呼吸音の音分類を判定する。マシンにより、少なくとも分類器モデルにより判定された音分類に基づいて対象者の呼吸状態を推測する。

実施態様は、以下の特徴の１つ又は２つ以上の組合せを含む。時間−周波数領域グラフィカル表現は、メルスペクトログラムを含む。時間−周波数領域グラフィカル表現は、カラーメルスペクトログラムを含む。分類器モデルは、ニューラルネットワークモデルを含む。専門家システムが、少なくとも分類器モデルにより判定された音分類に基づいて対象者の呼吸状態を推測するのに使用される。専門家システムは、対象者についての他の情報にも基づいて対象者の呼吸状態を推測する。対象者についての他の情報は、問診票に応答して対象者から受信される。対象者についての他の情報は、人口統計学的情報を含む。対象者についての他の情報は、呼吸状態についての情報を含む。推測された呼吸状態についての情報は、デバイスのユーザインターフェースを通じて提示される。ユーザインターフェースを通じて提示される情報は、その期間中の音記録のグラフィカル表現を含む。音記録のグラフィカル表現は、音分類に従って配色される。ユーザインターフェースを通じて提示される推測された呼吸状態についての情報は、呼吸状態の管理についての情報を含む。対象者の異なる音取得ポイントにおいて測定された複数の音記録が受信される。音取得ポイントは、呼吸状態に基づいてアルゴリズム的に判定され、モバイルデバイスのユーザインターフェースを通じて対象者に提示される。対象者の特定の音取得ポイントで測定された複数の音記録が受信される。マシンは、複数の音記録に対して主成分分析又は他の相関分析若しくは多次元分析を実行する。音記録は低下した品質を有する。低下した品質は、ノイズ、不適切な聴診、又はそれらの組合せに基づく。

一般に、一態様では、第１の数の音記録が受信される。音記録のそれぞれは聴診によって取得された対象者の呼吸音を表す。音記録のそれぞれは、１人若しくはそれ以上の専門家により判定された既知の音分類を有する。ニューラルネットワークの初期畳み込み層は、音記録に必ずしも関連しない、第２の数の既知のスペクトログラムを使用して事前トレーニングされる。事前トレーニング後、ニューラルネットワークの初期畳み込み層は、第１の数の音記録及び既知の音分類を使用してトレーニングされる。第２の数の音記録は、第１の数の音記録よりも少なくとも１桁大きい。音分類が判定されていない音記録が受信される。受信された音記録をニューラルネットワークに適用して音記録の音分類を判定する。

実施態様は、以下の特徴の１つ若しくはそれ以上の組合せを含む。ニューラルネットワークの動作は以下の１つ若しくはそれ以上により強化される：音記録におけるアーチファクトの検出及び削除、異なる分類の音記録の区別、又は１つ若しくはそれ以上の専門家により判定される既知の音分類を有する新しい音記録に基づいた新しい音分類の追加。ニューラルネットワークは切断モデルを含む。切断モデルはＳｑｕｅｅｚｅＮＥＴモデルを含む。切断モデルはモバイルデバイスで実行される。切断モデルはＡＲＭプロセッサで実行される。専門家システムは、判定された音分類を音記録に対して使用して、対象者の呼吸状態を推測する。推測された呼吸状態についての情報は、デバイスのユーザインターフェースを通じて提示される。受信した音記録をニューラルネットワークに適用して音記録の音分類を判定することは、音記録が取得された場所から遠隔のサーバで実行される。受信した音記録をニューラルネットワークに適用して音記録の音分類を判定することは、モバイルデバイスで実行される。受信した音記録をニューラルネットワークに適用して音記録の音分類を判定することは、モバイルデバイスとモバイルデバイスから遠隔のサーバとの組合せで実行される。受信した音記録をニューラルネットワークに適用して音記録の音分類を判定することは、受信した音記録のメルスペクトログラムを生成することを含む。受信した音記録をニューラルネットワークに適用して音記録の音分類を判定することは、音記録のそれぞれのキー値対を判定することであって、キーは対象者における音取得ポイントを含み、値は音分類を含むものである、判定することを含む。音分類は、正常音、喘鳴、類鼾音、捻髪音、水泡音、皮膚摩擦、干渉アーチファクト、及び心拍アーチファクトのうちの少なくとも１つを含む。

一般に、一態様では、対象者の１つ若しくはそれ以上の呼吸状態に関連する情報は、対象者のモバイルデバイスで実行中のアプリケーションから受信される。情報は聴診によって対象者から取得された呼吸音を含む。情報はサーバにおいて処理される。対象者の１つ若しくはそれ以上の呼吸状態に関連する、モバイルデバイスで実行中のアプリケーションから受信された情報は、デバイスのユーザインターフェースを通じて医療提供者に提示される。サーバにおいて、医療提供者から１つ若しくはそれ以上の呼吸状態の管理についての判定が受信される。

実施態様は、以下の特徴の１つ又は２つ以上の組合せを含む。モバイルデバイスで実行中のアプリケーションから受信される情報は、モバイルデバイスのユーザインターフェースを通じて対象者により入力された情報を含む。サーバにおいて情報を処理することは、呼吸音を分類モデルに適用して、呼吸音の音分類を判定することを含む。サーバにおいて情報を処理することは、対象者の１つ若しくはそれ以上の呼吸状態を推測することを含む。対象者の１つ若しくはそれ以上の呼吸状態を推測することは、呼吸音及びモバイルデバイスを通じて対象者から受信される他の情報に基づく。１つ若しくはそれ以上の呼吸状態の管理についての医療提供者の判定は、モバイルデバイスを通じて対象者に提示される。１つ若しくはそれ以上の呼吸状態の管理についての判定は、診断、治療の処方、訓練、指針、又は質問の１つ若しくはそれ以上を含む。１つ若しくはそれ以上の呼吸状態の管理についての判定はバイナリ判定を含み、バイナリ判定は、モバイルデバイスを通じて対象者に提示される。対象者に提示されるバイナリ判定は、呼吸状態が危険であるか否かの判定又は対象者が受診すべきか否かの判定を含む。

一般に、一態様では、対象者についての１つ若しくはそれ以上の質問に対する回答は、対象者のデバイスから受信される。サーバにおいて、回答は専門家システムに適用されて、対象者の呼吸状態を推測する。専門家システムは、対象者の聴診によって取得された音記録にも基づいて対象者の呼吸状態を推測する。

実施態様は、以下の特徴の１つ又は２つ以上の組合せを含む。質問は、診断的な問診票又は定期的な問診票の一部である。診断的な問診票又は定期的な問診票は、特定の呼吸状態に関連する。対象者の聴診によって取得された音記録は、対象者のデバイスからも受信される。

一般に、一態様では、音記録は、或る期間にわたり連続した時間での対象者の１つ若しくはそれ以上の音取得ポイントにおける聴診によって取得される。連続した時間で取得された音記録に基づいて、対象者の呼吸状態の変化が推測される。対象者の呼吸状態の変化についての情報は、モバイルデバイスを通じて提示される。

実施態様は、以下の特徴の１つ又は２つ以上の組合せを含む。対象者の呼吸状態の変化を推測することは、連続した時間のそれぞれにおける対象者の呼吸状態を推測することと、推測された呼吸状態を比較することとを含む。連続した時間のそれぞれにおける対象者の呼吸状態を推測することは、１つ若しくはそれ以上の音分類を表すものとして音記録の少なくとも１つを分類することを含む。連続した時間のそれぞれにおける対象者の呼吸状態を推測することは、専門家システムを１つ若しくはそれ以上の音分類に適用することを含む。呼吸状態の変化を推測することは、少なくとも部分的にモバイルデバイスにおいて実行される。呼吸状態の変化を推測することは、少なくとも部分的にサーバにおいて実行される。呼吸状態は慢性呼吸状態を含む。慢性呼吸状態はＣＯＰＤを含む。対象者の呼吸状態の推測される変化は、増悪を含む。対象者の呼吸状態の変化についての情報は、デバイスのユーザインターフェースを通じて医療提供者に提示される。

これら及び他の態様、特徴、実施態様、及び利点は、（ａ）方法、装置、システム、構成要素、プログラム製品、ビジネス方法、機能を実行する手段又はステップとして及び他の方法で表現することができ、（ｂ）以下の説明及び特許請求の範囲から明らかになる。

図１及び図２は、ブロック図を示すものである。 図１及び図２は、ブロック図を示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図１〜図２３は、スマートフォンの表示画面の画面ショットを示すものである。 図２４〜図２８は、肺音の５つの分類（それぞれ喘鳴（図２４）、類鼾音（図２５）、捻髪音（図２７）、水泡音（図２６）、及び正常呼吸（図２８））の音データのスペクトログラムの例を提示するものである。 図２４〜図２８は、肺音の５つの分類（それぞれ喘鳴（図２４）、類鼾音（図２５）、捻髪音（図２７）、水泡音（図２６）、及び正常呼吸（図２８））の音データのスペクトログラムの例を提示するものである。 図２４〜図２８は、肺音の５つの分類（それぞれ喘鳴（図２４）、類鼾音（図２５）、捻髪音（図２７）、水泡音（図２６）、及び正常呼吸（図２８））の音データのスペクトログラムの例を提示するものである。 図２４〜図２８は、肺音の５つの分類（それぞれ喘鳴（図２４）、類鼾音（図２５）、捻髪音（図２７）、水泡音（図２６）、及び正常呼吸（図２８））の音データのスペクトログラムの例を提示するものである。 図２４〜図２８は、肺音の５つの分類（それぞれ喘鳴（図２４）、類鼾音（図２５）、捻髪音（図２７）、水泡音（図２６）、及び正常呼吸（図２８））の音データのスペクトログラムの例を提示するものである。 図２９は、信号振幅−時間表現マーキングの視覚化の一例を提示するものである。 図３０は、医師への実験結果の表示の一例を提示するものである。 図３０は、医師への実験結果の表示の一例を提示するものである。 図３１は、患者への実験結果の表示の一例を提示するものである。 図３１は、患者への実験結果の表示の一例を提示するものである。

ここでは、本明細書において「呼吸状態技術」と呼ばれる技術について説明する。この呼吸状態技術は、特に、呼吸音に基づく人間の呼吸器系の状態の検知、分析、特徴付け、報告、及び管理に有用である。

この呼吸状態技術は、医療ケア、運動トレーニング、子育て、及び在宅看護活動等を含め多種多様な用途が考えられる。医療ケアの状況では、呼吸状態技術は、高齢者に流行する呼吸器疾患、例えばＣＯＰＤ等の呼吸状態、両親又は介護者にとっての関心事である子供の呼吸状態、及び少数の例を挙げれば、慢性気管支炎、喘息、喘息−ＣＯＰＤオーバーラップ症候群（ａｓｔｈｍａ−ＣＯＰＤ ｏｖｅｒｌａｐ ｓｙｎｄｒｏｍｅ：ＡＣＯＳ）、肺気腫、肺がん、嚢胞性線維症、肺炎、特発性肺線維症、及び胸水等の他の呼吸状態のスクリーニング、モニタリング、診断、追跡、及び管理において有用となり得る。呼吸状態技術は、呼吸器系疾患のスクリーニング、モニタリング、診断、追跡、及び治療に有用となり得るが、健康な呼吸状態等の他の呼吸状態の一般的な理解、モニタリング、及び管理又は上気道感染と下気道感染との区別にも有用となり得る。

本明細書では、「呼吸器系」及び「呼吸器」という用語は、肺、気道、及び、呼吸筋を広く包含する。気道は、鼻、口、咽頭、喉頭、気管、気管支、及び細気管支を含み、特に、肺と外部世界との間の空気の通路を提供する。

呼吸状態は、特に、呼吸疾患及び呼吸機能を包含、反映、又は関連し得る。呼吸機能は、吸気、呼気、ガス交換、並びに正常な肺の活動、運動、及び他の過酷な人間の活動、良好な健康、及び人間の生活の他の態様をサポートする呼吸器系の能力に関連する他の機能を含むことができる。

生活の質に重要な役割を果たすため、呼吸状態を正確に検知、分析、特徴付け、スクリーニング、モニタリング、診断、報告、及び管理（本明細書において「管理」という用語はそのような全ての活動等を広く包含して用いられることがある）できることは有用である。従来、呼吸状態の管理は部分的に、聴診として知られるプロセスにおいて呼吸器系又はその近傍で生じる音の検知及び分析に基づいてきた。聴診に使用される一般的なデバイスは、胴体の皮膚表面の聴診音取得ポイントにおける呼吸音（例えば、１０Ｈｚ〜２５，０００Ｈｚの周波数範囲内の振動）を受信し聴診器ユーザの耳又は耳近傍に位置する聴診器の一部へ音響的に伝達する音響聴診器である。ユーザは通常、聴診器を通じて聴いた音と呼吸状態との間の関係を解釈する知識及び経験を有する。

電子聴診器は、電子技法を使用して従来の音響聴診器の機能の少なくとも幾つかを実行する。特に、電子聴診器は、皮膚表面で取得された呼吸音を表す呼吸信号を提供することができる。呼吸信号は、信号の品質を改善し、処理された呼吸信号を表し、又は処理された呼吸信号から導出された呼吸音データを生成することを目的とした多種多様なアナログ又はデジタル信号処理技法を受けることができる。呼吸音データは、多種多様なハードウェア及びソフトウェアを使用して記憶及び分析されて、呼吸状態についての情報を生成することができる。

呼吸音データには、呼吸（換気）の異なるフェーズ、例えば、吸気及び呼気の２つの主要呼吸フェーズを関連付けることができる。呼吸音データにはまた、種々の呼吸音分類を関連付けることができる。そして呼吸音分類には種々の呼吸状態を関連付けることができる。呼吸音分類は、正常な吸気及び呼気（肺胞、気管支、気管）と、異常分類：喘鳴、類鼾音、捻髪音、水泡音、並びに正常呼吸とを含む。

呼吸音データは、一種のみの呼吸情報を有する。他の種類の呼吸情報は、主観的又は客観的であってよく、年齢、体重、地理的場所、病歴、生活様式、及び多種多様な他の人口統計学的情報及びプロフィール情報、並びに特定の人物の呼吸器系についての質問に対する回答を含めた呼吸器系についてのテキスト、画像、動画、及び数値情報を含むことができる。

本明細書において記載する呼吸状態技術の１つの目標は、呼吸音分類中で呼吸音データを自動的又は半自動的に分類し、分類された呼吸音分類に呼吸状態又は呼吸状態の増悪、改善、若しくは両方を関連付け、呼吸状態の管理に有用な情報を提供することである。

個人及び人々群の呼吸情報、呼吸音分類、及び呼吸状態は、特に、個人自身（「対象者」と呼ばれることがある）、医師、及び他の医療提供者、家族、コーチ及びトレーナー、並びに機関及び政府（これらの人々及びエンティティを「関係者」と呼ぶことがある）にとって関心があることである。そのような関係者から受信され、そのような関係者から提供されることに加えて、呼吸情報技術により生成され使用される呼吸情報は、分析、集計、記憶、及び配信を目的として、モバイルデバイス、タブレット、コンピュータ、データベース、又は他の電子機器から電子的に受信又は電子的に配信されて使用することができる。

先に示唆したように、呼吸音データ、呼吸音分類、及び呼吸状態についての呼吸情報は、呼吸状態の管理における多種多様な状況で有用である。医療ケアが関わる状況では、呼吸情報は、（時には他の情報と組み合わせられて）呼吸器系疾患を正式に管理するための１つのベースとして使用することができる。幾つかの状況では、呼吸情報は、例えば、２つの例を挙げれば呼吸器系ウイルス又は喘息の影響等の症状に気付き、追跡し、理解し、管理するために、個人及び家族により私的に使用され得る。時には、呼吸情報は、例えば、患者、家族、及び医療提供者間で協働的に特定され使用され得る。呼吸状態についての情報が有用となり得る他の状況には、特に、運動活動、天気の影響、及び他の環境影響がある。呼吸状態を管理するプロセスは、呼吸状態の理解又は認識、薬剤及び他の治療の提供及び投与、対象者の観察、呼吸状態についての報告及び注意喚起、並びに特に、良好な呼吸器健全性を維持し、呼吸器県央の低下を止め、幾つかの場合では呼吸器の健康を改善するように設計された他の工程を含むことができる。

呼吸状態技術では、音響聴診器、電子聴診器、マイクロホン、並びに他の種類の接触トランスデューサ及び音響トランスデューサを含めた多種多様な呼吸音センサを使用して、呼吸信号を検知し提供することができる。

呼吸情報は、呼吸状態技術の機能として、多種多様な方法で対象者から取得されるとともに、関係者に提示される。大方の場合、呼吸情報の取得及び提示は、スマートフォン、タブレット、他のモバイルデバイス、コンピュータ、及び呼吸状態技術の一部と見なすことができる他のユーザデバイスで実行中のアプリケーションのユーザインターフェースを通じて行われる。呼吸情報は、例えば、セルラ電話回線網及びＷｉ−Ｆｉを含めた無線及び有線通信ネットワークを通じて通信される。通常、呼吸状態技術は１つ若しくはそれ以上のサーバを含み、後述するように、呼吸情報は１つ若しくはそれ以上のサーバを通じて渡され、記憶、処理される。

呼吸音データ、呼吸音分類、及び呼吸状態を含めた呼吸情報の部分は、例えば、サーバ及びユーザデバイスを含むことができる呼吸状態技術の構成要素において、取得、分析、処理、及び提示される。例えば、モバイルデバイス及び他のデバイスのユーザインターフェースを通じて関係者に提示される場合、呼吸情報は、テキスト、音、表、チャート、画像、グラフ、動画、及びそれらの組合せを含めた任意の提示形態をとることができる。

呼吸状態技術により実行される処理の主要部分は、呼吸音データを呼吸音分類に分類すること並びに呼吸音データ及び他の呼吸情報に基づいて呼吸状態を推測することである。人工及び畳み込みニューラルネットワーク、予測モデリング、並びに他の機械学習法及び専門家システム等を含め、多種多様な技法をこれらの活動に使用することができる。これらの技法の幾つかは、検証されたデータ例のセット、例えば正確に関連する呼吸音分類を特定するために医師又は他の専門家によりラベリングされた呼吸音データ記録等に依拠する。呼吸状態技術の性能の品質は、種々の呼吸音分類に正確にラベリングされた利用可能な呼吸音データの数に依存し得る。

図２に示されるように、本明細書に記載される呼吸状態技術２００は、１つ若しくはそれ以上の呼吸音センサ２０２、２０４、及び２０６を含み、各呼吸音センサ２０２、２０４、及び２０６は１人若しくはそれ以上の対象者２０８、２１０、２１２と併用することができる。各呼吸音センサは、（例えば、衣服を通じて）対象者の皮膚表面又はその近傍における音の振動に敏感なトランスデューサを含み、音の振動を１つ若しくはそれ以上のアナログ信号に直接又は間接的に変換することが可能である。各システム音センサのトランスデューサは、例えば、音響聴診器の一部とすることができ、又は電子聴診器、マイクロホン、別のオーディオトランスデューサ、若しくはそれらの組合せのうちのものとすることができる。幾つかの実施態様では、音センサは皮膚に直接接触する必要はなく、患者の呼吸音を検出し、呼吸信号に変換することが可能な任意のデバイスを呼吸音センサとして使用することができる。

各呼吸音センサは、１つ若しくはそれ以上のユーザデバイス２０３、２０５、２０７に電子的に（無線で若しくはワイヤにより）、機械的に、又はその両方で接続することができる。幾つかの場合、呼吸音センサはユーザデバイスの一部（スマートフォンの１つ若しくはそれ以上のマイクロホン等）とすることができる。幾つかの例では、コーン又は他の伝音デバイスが、そのようなユーザデバイスマイクロホンと対象者の皮膚との間に配置されて、呼吸音をマイクロホンに伝導することができる。

図２に示されるように、呼吸状態技術は、１つ若しくはそれ以上の呼吸音プロセッサ２１２を有して、音センサからの呼吸信号を処理するプロセッサ２１０も含む。音プロセッサ２１２は、例えば、順方向及び逆方向ウェーブレット変換を使用したノイズ低減、例えば、有限インパルス応答フィルタ（ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ：ＦＩＲフィルタ）を使用した周波数フィルタリング、信号正規化、一定振幅オフセット（ＤＣオフセット）の除去、メルスペクトログラム計算等の時間−周波数表現チャート化、他の技法、及びそれらの組合せを含めた多種多様な信号処理機能を実行することができる。一般に、音プロセッサ２１２は、特に機械学習モデル２１６、専門家システム２１８、及びデータベースマネージャ２２０により実行されるものを含め、後の処理工程で有用な形態の高品質低ノイズ呼吸音データ２１４を生成するのに必要又は望ましい任意の処理を実行することができる。音プロセッサの一例は、後に言及するオーディオ事前処理サブシステムである。

呼吸音信号は、デジタル音記録２２４として取得、記憶、及び処理することができ、各デジタル音記録２２４は、既知の開始時間、既知の終了時間、及び既知の持続時間を有し、対象者の特定の音取得ポイントが関連付けられる。各音記録は、ユーザ（例えば、医師、家族、又は対象者自身）がその音取得ポイントで呼吸音を検知するように呼吸音センサを位置決めした時間中、検知し処理することができる。

取得された各音記録は、特定のデジタルフォーマットで表現された呼吸音データを含み、それぞれが、振幅と、音記録を構成する音サンプルの時間シーケンス内の位置とを有する音サンプルを含むことができる。

図２は、ユーザデバイス及びネットワーク２０８を通じて送信されて、音プロセッサ２１２（リモートサーバにあることができる）において処理されるものとして取得された音記録を示すが、音記録の処理は、ユーザデバイス若しくは（少なくとも部分的に）音センサにおいて行うことができ、又は処理は音センサ、ユーザデバイス、及び音プロセッサの２つ以上に分割することができる。音記録のそのような処理の結果は、呼吸状態技術において更に使用される準備ができた処理済み音記録２１４である。処理済み音記録は、音サンプルのデジタル版、対象者の身元についてのメタデータ、取得時刻、及び音記録の音取得ポイント、並びに例えば、分類目的で機械学習モデル２１６により使用すべきメルスペクトログラムのカラー画像ファイルを含むことができる。

機械学習モデルに送信されることに加えて、各処理済み音記録は、データベース２２０のテーブルに取得済み音記録２２２として記憶することができる。データベースのテーブルは、取得済み音記録に関連付けられ、対象者又は他の関係者によりユーザデバイスのユーザインターフェースを通じて入力された呼吸情報を含むこともできる。例えば、対象者は、音記録の取得と併せてモバイルデバイスで実行中のアプリにより掲示された質問に対する回答を入力することができる。又は医師が取得された音記録についての所見を入力することができる。

機械学習モデル（例えば、後に言及する呼吸音自動分類サブシステム）は、音記録を呼吸音プロセッサから直接、又は音記録が記憶された後、データベースから受信することができる。

機械学習モデル２１６は、他の音記録及び関連する呼吸音分類（喘鳴の種々の分類等）についての既知の情報を使用して、取得され入力された各音を呼吸音分類の１つ若しくはそれ以上に入るものとして分類する。入力された呼吸音記録の分類に当たり、機械学習モデルにより多種多様な機械学習技法を適用することができる。幾つかの場合、機械学習モデルはニューラルネットワーク、例えば、人工ニューラルネットワーク又は畳み込みニューラルネットワークに基づくことができる。幾つかの場合、取得された入力された音を既知の音及び対応する分類と比較して分類を実行するのに、他のデータ比較技法を使用することも可能である。

幾つかの実施態様では、機械学習モデルは、「実行時」前、例えば、対応する呼吸音分類を用いて医師により正確にラベリングされた既知の音記録のトレーニングセットを使用してトレーニングされる。そのようなトレーニング記録は、呼吸状態技術の動作の一環として取得することができ、又は第三者から取得することができる。いずれの場合でも、トレーニング記録はデータベースのトレーニング記録テーブル２２４に記憶され、トレーニングを目的としてデータベースから機械学習モデルに提供することができる。

機械学習モデルは、図２ではプロセッサ２１０の一部として示されているが、幾つかの実施態様では、その機能は、音センサ、ユーザデバイス、又は音センサ、ユーザデバイス、及びサーバにおけるプロセッサの２つ以上の組合せで実行することができる。

機械学習モデルは、入力され取得された音毎に、各分類の確率を生成することができ、最も高い確率を有する分類が分類の結果として解釈される。幾つかの場合、音分類はその分類である確実性を用いて指定される。幾つかの場合、確定的な音分類を指定する代わりに、機械学習モデルは、正確な分類の確率を指定し、確率をモデル出力に組み込むことができる。モデル出力２２６は、記憶のためにデータベースマネージャに送ることができ、特に専門家システム２１８に直接又は記憶されたものから間接的に送ることができる。

専門家システム２１８は、モデル出力を他の呼吸情報２２８（及び場合によっては追加情報、全て一緒に「専門家システム入力」と呼ばれる）と併せて推測エンジンに適用する。他の呼吸情報は、データベース２２０又は専門家システムに記憶され、推測エンジンでの実行に使用するために検索される知識ベース２３０を含むことができる。モデル出力及び知識ベースに加えて、少数の例を挙げれば、対象者についての人口統計学的データ、地理、天気、時刻、及び他の環境状況についての情報、対象者の母集団についての人口統計学的情報、及び対象者又は他の関係者により入力された情報を含めた多種多様な他の呼吸情報を専門家システムにより使用することができる。専門家システム入力は、特定の瞬間（例えば、現在）及び特定の対象者に関連することができ、他の対象者（対象者の家族若しくは友人又は対象者の母集団、例えば、スウェーデンＳｔｏｃｋｈｏｌｍで生活している人々若しくは特定のアパートメントの建物で生活している人々等）についての情報を含むこともできる。

専門家システム知識ベースは、専門家システム入力の組合せ（単純又は複雑）から導き出すことができる推測についての知識を取得する対象専門家により提供される情報を含む。例えば、医師が、冬の間シベリアで喘鳴音を長期間経験し、その対象者が１０歳〜１５歳の年齢であるという情報を提供する場合、良好な推測は、呼吸状態が一般的な咳風邪であることである。

専門家システム出力２３４は、専門家システム入力及び専門家知識を使用して推測エンジンを実行させることにより生成された１つ若しくはそれ以上の対象者又は対象者の群若しくは母集団の１つ若しくは複数の呼吸状態についての１つ若しくはそれ以上の推測を含む。データベースに記憶されることに加えて、専門家システム出力２３４は呼吸状態プロセッサ２３２に提供され、呼吸状態プロセッサ２３２は、種々の時間に種々の対象者及び母集団について生成された種々の専門家システム出力並びに他の呼吸状態情報を使用して、対象者及び他の関係者への報告に使用する呼吸状態判定２３６を生成する（また、データベースに記憶する）。呼吸状態プロセッサは、呼吸状態判定に関連し、ページをアプリケーション及びブラウザに提供するのに使用されるようフォーマットされたページデータ２３８を生成し記憶することもできる。

プロセッサ１２０は、ユーザ２５２、２５４、２５６のユーザデバイス２４０、２４２、２４４に提示されたユーザインターフェース２４６、２４８、２５０にネットワーク２０８を通じて呼吸情報を含むページを提供するページサーバ２２０を含む。ユーザは対象者、他の関係者、又はそれらの組合せとすることができ、デバイスはユーザデバイス２０３、２０５、２０７と同じ又は異なり得る。ページサーバにより提供されるページに、データベースに記憶された情報及び他のソース（ニュース、天気、人口統計、リサーチ、記事、及び統計等の外部ソース等）からの情報を含めた多種多様な情報を含めることができる。提供されるページに含まれる情報の中には、対象者及び他の関係者が回答するべき質問、対象者及び対象者の母集団の呼吸状態についての情報、注意喚起、チャート、アドバイス、指針、リマインダー、テキスト、数字、画像、動画、訓練、履歴要約、統計学的要約等、及びそれらの組合せがある。

呼吸音記録に加えて、プロセッサは、インバウンド情報プロセッサ２６０において他のインバウンド情報を受信し、インバウンド情報プロセッサ２６０において情報は、編成、リフォーマットされ、データベースのインバウンド情報２６２内の記憶装置に送信される。インバウンド情報は、機械学習モデル、専門家システムモデル、プロセッサ２１０又はサーバの他の構成要素、及びページサーバにより使用される情報を含め、質問に対する回答、画像、動画、コメント、メモ、所見、診断、修正、指示、ガイド、他の情報、及びそれらの組合せを含むことができる。

対象者、関係者、及び呼吸状態技術の他のユーザは、プロセッサ２１０の参加者マネージャ２６８との各自のデバイスのユーザインターフェースを通じた対話により、ユーザとして登録し、プロフィール情報を提供し、アカウントを管理することができる。参加者マネージャは、ユーザデバイスとの対話に必要な場合、セキュリティ及び認証機能を管理することもできる。プロセッサ２１０の一部として示されているが、参加者マネージャの仕事は、ユーザデバイスにおけるプロセッサと共有することができる。プロフィールデータは、データベースの参加者データテーブル２６６に記憶することができる。プロフィールデータは、対象者又は他の関係者により明示的に提供される情報に限らず、公的であれ私的であれ第三者ソースから受信、取得することもできる。ユーザアカウントのメンテナンス及び更新を可能にすることに加えて、プロフィールデータは、機械学習モデル、専門家システム、呼吸状態プロセッサ、プロセッサ２１０又はサーバの他の構成要素、ページサーバ、及びそれらの組合せにより使用することができる。

図２におけるプロセッサ２１０は、１つのサーバにおける１つのプロセッサであってもよく、又は２つ以上の場所における２つ以上の異なるサーバに配置された２つ以上のプロセッサであってもよい。同じことがデータベースマネージャ２２０に対しても当てはまる。

呼吸状態技術のユーザの多くは個々の対象者及び対象者の特定の呼吸状態に関わるが、幾つかの実施態様では、本技術は、対象者の母集団及び呼吸状態の履歴についての情報の蓄積、分析、作用、及び集計情報の報告に使用することができる。例えば、呼吸状態技術は、時間の経過に伴う、複数の母集団にわたる、及び地理に関して呼吸状態の進展を追跡して、母集団に影響する呼吸悪状態を低減又は制限するための警告及び注意喚起を提供するに当たり有用な情報を作成することができる。

本明細書では、本文書の最初の段落において特定した欧州特許出願において提供された説明を組み込むとともに補足し、呼吸状態技術の追加の説明を提供する。

幾つかの実施態様では、呼吸状態技術は、対象者の呼吸器系の呼吸状態に関して少なくとも以下の機能を実行する以下の構成要素を含むことができる。
１．プロセッサ（例えば、信号サンプリングユニット）は、聴診ツールを使用して呼吸音信号を記録する。呼吸信号は、パルスコード変調（ｐｕｌｓｅ ｏｃｄｅ ｍｏｄｕｌａｔｉｏｎ：ＰＣＭ）によりデジタル化され、信号サンプリングユニットにおける記録デバイスによりＰＣＭフォーマットで記憶される。
２．プロセッサ（例えば、問診票サブシステム）は、定期的な健康問診票又は診断的健康問診票の質問を対象者に提示し、質問に対する回答を受信、分析する。
３．プロセッサ（例えば、オーディオ事前処理サブシステム）は、ノイズ抑制、周波数フィルタリング、及びメルスペクトログラムを計算することによる周波数−時間表現チャート化を実行する。
４．プロセッサ（例えば、呼吸音自動分類サブシステム）は、ニューラルネットワーク又は他の機械学習アルゴリズムを含む機械学習モデルを使用して呼吸音を分類する。分類モデルは、５つの呼吸音分類：正常呼吸、喘鳴、類鼾音、捻髪音、及び水泡音のそれぞれ並びに心拍、膜皮膚摩擦、及び干渉を含むアーチファクトの分類に呼吸音を正確に分類する確率を表す値を生成する。
５．幾つかの実施態様では、プロセッサ（例えば、呼吸フェーズ判定サブシステム）は呼吸信号を、吸気フェーズ、呼気フェーズ、及び特定の呼吸分類（喘鳴等）の呼吸音が記録された期間にセグメント化するが、幾つかの実施態様では、そのような工程は必要ないか、又は有用ではない場合もある。
６．専門家システム（入力はサブシステムの出力に接続される）は、呼吸音分類、診断的問診票及び定期的な問診票に対する回答、並びに吸気フェーズ及び呼気フェーズの持続時間に基づいて呼吸状態を判定する。
７．専門家システム動作の判定についての情報は、デバイス（例えば、情報出力及び表示ユニット）のユーザインターフェースを通じて提示される。

本明細書に記載される呼吸状態技術は、特に、医療科学、特に呼吸器科及び上述した他の状況に関連する。特に、呼吸状態技術は、（ａ）呼吸信号、呼吸信号のデジタル版、呼吸音データ、及び他の呼吸状態情報を取得、処理し、（ｂ）呼吸異常を判定し、肺の状態をモニタし、（ｃ）呼吸状態情報を導出し、（ｄ）呼吸状態情報を多種多様な状況での使用するために関係者に提供するように設計される。呼吸状態技術及び呼吸状態情報は、患者（又は他の対象者）により家庭で、医療機関における作業場所で若しくは遠隔医療を介して医師により、又は任意の他の関係者により先に示唆した任意の他の状況で使用することができる。

上述したように、肺で生じている音現象−肺聴診−の聴診及び主観的査定に基づいて人間の肺での変化をスクリーニング、モニタリング、及び診断する音響方法は、周知であり臨床実施において広く使用されている。

肺聴診は、例えば、聴診デバイスを胸部に配置することにより行われる。呼吸音の聴診の方法［２００９年５月１０日付で公開された露国特許第２３５４２８５号明細書］及び人間の肺−気管支声における限局性変化の音響診断の方法［１９９２年１１月２３日付で公開された旧ソ連特許第１７７７５６０号明細書］が既知である。

呼吸臓器疾患を診断する既知の方法及びその実施システム［２００７年８月２７日付で公開された露国特許第２３０４９２８号明細書（プロトクラス）］は、直列接続された以下の構成要素を含む：聴診ツールを使用して呼吸音オーディオ信号を記録する信号サンプリングユニット、オーディオ信号事前処理サブシステム、呼吸音自動分類サブシステム、呼吸活動検出アルゴリズムに基づく呼吸フェーズ判定サブシステム、データ処理ユニット、並びに情報出力及び表示ユニット。胸部表面に伝えられた呼吸音の推定される属性は、振幅及び周波数が第１（Ａ１，ｆ１）、第２（Ａ２，ｆ２）、及び第３（Ａ３，ｆ３）でスペクトル極大となる調和関係周波数であり第１の極大のレベルの少なくとも６０ｄＢのレベルを有する。次に、以下の値が計算される：（Ａ１−Ａ２）の（ｆ２−ｆ１）に対する比率に等しい比率Ａ１２／ｆ２１、（Ａ２−Ａ３）の（ｆ３−ｆ２）に対する比率に等しい比率Ａ２３／ｆ３２、及び対象者の右（Ｄ）及び左（Ｓ）の対称測点間のＡ１値とＡ２との間の差ΔＡ１２。次に、取得された値は、特定の分類の疾患についての対応する閾値と比較される。

この方法は、高い判別性を有する、胸部表面に伝えられた呼吸音の新しくより情報量が多く客観的で自動的に評価される属性を識別することにより、人間の肺の限局性障害を診断できるようにする。

その方法の主な欠点は、任意のオーディオ信号サンプリングがノイズ又は外部動作の影響を受けやすく、例えば、患者が膜を非意図的にノックする場合、音楽がかかっている場合、又は人々が患者の近くで大きな声で話す場合に、誤った信号が生成され呼吸ノイズの抽出を不可能にすることである。

その方法の他の欠点は、個人による単純な呼吸器健全性モニタリングツールがない、長期間その病院を受診していない又は他の病院を受診していた場合に長い病歴がない、患者の状況を遠隔から見ることができない、記録を聴くことができない、危険について警告することができない、又は受診するように求めることができないといったことのために、入院や物理的な検査の実施が必要なことである。

本明細書に記載される新しい呼吸状態技術は、特に、呼吸器健全性モニタリングの保証、長期病歴の編纂及び維持、患者の状態を遠隔から見る機会の医師への提供、患者が聴診記録を聴けるようにすること、及び危険についての患者への警告又は受診を患者に求めることに基づいて呼吸臓器疾患をスクリーニング、モニタリング、診断する単純で手頃でロバストな個人の方法及びシステムを作成することを目的とする。

これらの目標は、本明細書に記載される呼吸状態技術により達成されている。幾つかの実施態様では、この呼吸状態技術は、以下の工程を含む呼吸臓器疾患診断を提供する。
１．信号サンプリングユニットを使用して、聴診ツールにより検知された呼吸音オーディオ信号を記録し、パルスコード変調（ＰＣＭ）によりデジタル化されたオーディオ信号は記録され、ＰＣＭフォーマットで信号サンプリングユニットにおける記録デバイスに記憶される。
２．問診票サブシステムを使用して、定期的又は診断的健康問診票の質問に対する回答が編成され格付けされる。
３．オーディオ事前処理サブシステムを使用して、ノイズ抑制、周波数フィルタリング、及び周波数−時間表現視覚化が、メルスペクトル及びメル周波数ケプストラム係数を計算することにより実行される。
４．呼吸音自動分類サブシステムを使用して、呼吸音の分類評価が、ニューラルネットワーク機械学習アルゴリズムを使用して実行され、これにより、呼吸音を５つの分類：例えば、正常呼吸、喘鳴、類鼾音、水泡音、及び捻髪音の１つ並びに心拍、膜皮膚摩擦、及び干渉を含むアーチファクトの分類に割り当てる確率が生成される。
５．幾つかの実施態様では、呼吸フェーズ判定サブシステムを使用して、ソース信号は吸気フェーズ、呼気フェーズ、及び喘鳴等の特徴的な呼吸音が記録された期間に分割される。
６．専門家システムを使用して、患者の呼吸器健全性ステータスの最終的な評価が、呼吸音の分類評価並びに診断的及び定期的な問診票の質問に対する回答を考慮に入れて生成される。

専門家システムの動作の結果は、情報出力及び表示ユニットを介して提示される。

幾つかの実施態様では、呼吸臓器疾患をスクリーニング、モニタリング、及び診断するシステム（直列接続された、聴診ツールを用いて呼吸音オーディオ信号を記録する信号サンプリングユニット、オーディオ信号事前処理サブシステム、呼吸音自動分類サブシステム、音活動検出アルゴリズムに基づく呼吸フェーズ判定サブシステム、データ処理ユニット、並びに情報出力及び表示ユニットを含む）は、目標を首尾よく達成する。その理由は、追加で（ａ）システムが問診票サブシステムを装備し、（ｂ）データ処理ユニットが、専門家システムであってその入力が全てのサブシステムの出力に接続されるものとして設計され、（ｃ）幾つかの実施態様が（任意選択で）、呼吸フェーズ判定サブシステムが、元のオーディオ信号を吸気フェーズ及び呼気フェーズに分割し、喘鳴が検出された時間間隔をマークするように設計されることを含むことができ、（ｄ）呼吸音自動分類サブシステムが、呼吸音を、正常呼吸、喘鳴、類鼾音、捻髪音、及び水泡音の５つの分類の１つ、並びに心拍、膜皮膚摩擦、及び干渉を含むアーチファクト分類に正確に割り当てる１組の確率の形態で結果を取得することが可能な機械学習アルゴリズムに基づいて動作し、（ｅ）ユーザデバイスを通じて動作するアプリケーションが、患者に有意な値を提供するインタラクティブ特徴及び推奨を露出したことによるものである。

機械学習は周知の技術であり、例えば、［２０１６年１２月１２日付で公開された米国特許第７，１４９，３４７号明細書］に記載されるように又はこの説明の技術分野では−［Ａ．Ｋａｎｄａｓｗａｍｙａ ｅｔ ａｌ．， Ｎｅｕｒａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｌｕｎｇ ｓｏｕｎｄｓ ｕｓｉｎｇ ｗａｖｅｌｅｔ ｃｏｅｆｆｉｃｉｅｎｔｓ．Ｃｏｍｐｕｔｅｒｓ ｉｎ Ｂｉｏｌｏｇｙ ａｎｄ Ｍｅｄｉｃｉｎｅ，３４（２００４）５２３−５３７］に記載されるように使用することができる。

機械学習は、本明細書に記載される呼吸状態技術では、例えば、明らかに疾患を有する人々及び健康な人々から医師により前に収集された呼吸音の１組のオーディオ信号を使用する。幾つかの実施態様では、各オーディオ信号は、５秒長であり、パルスコード変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ：ＰＣＭ）１６ビットフォーマットで表され、サンプリング周波数４４，１００ＨｚでＡｎｄｒｏｉｄスマートフォンを使用して収集することができる。幾つかの実施態様では、サンプリング周波数はそのように高い必要はなく、４０Ｈｚから８ｋＨｚまでの範囲のサンプリング周波数とすることができる。各オーディオ信号は肺音を表す。初期収集肺音は医師団により検証されるものであり、その目標は、各音を５つの呼吸音分類（正常呼吸、喘鳴（ｗｈｅｅｚｅ：ウィーズ）、類鼾音（ｒｈｏｎｃｈｉ：ロンカイ）、捻髪音（ｆｉｎｅ ｃｒａｃｋｌｅｓ：ファインクラックル）、水泡音（ｃｏａｒｓｅ ｃｒａｃｋｌｅｓ：コアースクラックル））に割り当てることにより、例えば、したがって音記録のラベリングされた呼吸（例えば肺）音データセットを形成することにより、各音（例えば、ラベル）の定量的評価を与えることである。

一例では、データセットは、Ｂｅｌａｒｕｓｉａｎ Ｍｅｄｉｃａｌ Ａｃａｄｅｍｙ ｏｆ Ｐｏｓｔｇｒａｄｕａｔｅ Ｅｄｕｃａｔｉｏｎ（ＢｅｌＭＡＰＯ）と呼ばれる科学グループの一部であるＢｅｌｏｒｕｓｓｉａｎ病院から医師により収集された。データセットの全ての記録は、ＡｎｄｒｏｉｄスマートフォンのＡｎｄｒｏｉｄアプリを使用して取得された。アプリの唯一の機能は肺音を記録することであった。基本的な医師音響聴診器は、マイクロホンを取り付け、マイクロホンをワイヤによりスマートフォンに接続することにより変更された。肺音が記録された後、医師はデータセットの各記録を聴いた。３つの医師群は、データセットの記録された各音（音記録）により表された肺音の分類について一致した判定に達した。データセットのサイズは、トレーニングセットによりカバーされる５つの異なる分類それぞれにつき１２１個の記録、及びそのデータセットの合計９０５個の記録のためのテストセットにおける５つの異なる分類それぞれにつき６０個の記録を含んだ。幾つかの実施態様では、データセットはより多数（例えば、遙かに多く）の数の記録を有する。例えば、データセットは、６０００個のトレーニング記録及び３０００個のテスト記録を含むことがある。

次に、幾つかの実施態様では、対数的メルスペクトログラムが各信号に構築され、結果がＰＮＧフォーマットでカラー（ＲＧＢ）画像として保存される。これらの画像は、機械学習の初期トレーニングデータセット（学習サンプル）として機能する（メルスペクトログラムはそのセットの信号、すなわちセットの各音記録のためのものである）。幾つかの実施態様では、トレーニングデータセット内のラベリングされた信号の数は、比較的少ない（例えば、各音分類で１０００未満のラベリング済み信号）。そのような場合、学習サンプルのサイズが制限されていることに起因して、ディープモデルラーニングにおいて標準手法を使用することは可能ではなく、したがって、学習転送手法の使用が決定された。学習転送手法のそのような実施は、特徴抽出器（信号を分類に割り当てるに当たり使用される特徴を学習サンプルから抽出する）として畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）に基づく。幾つかの実施態様では、技法は、１つの全結合層で終わり、上記分類の１つに割り当てられる確率の形態の分類結果を取得する再帰ニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＲＮＮ）に基づくこともできる。すなわち、ニューラルネットワーク出力は、分類の１つに入力サンプルが割り当てられる確率のリストである。処理シーケンスの後の構成要素は単に、最高確率を有する分類を使用することができる。

幾つかの実施態様では、Ｘｃｅｐｔｉｏｎモデル［Ｘｃｅｐｔｉｏｎ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｄｅｐｔｈｗｉｓｅ Ｓｅｐａｒａｂｌｅ Ｃｏｎｖｏｌｕｔｉｏｎｓ，Ｆｒａｎｃｏｉｓ Ｃｈｏｌｌｅｔ，Ｇｏｏｇｌｅ，Ｉｎｃ．，ｈｔｔｐ：／／ｏｐｅｎａｃｃｅｓｓ．ｔｈｅｃｖｆ．ｃｏｍ／ｃｏｎｔｅｎｔ＿ｃｖｐｒ＿２０１７／ｐａｐｅｒｓ／Ｃｈｏｌｌｅｔ＿Ｘｃｅｐｔｉｏｎ＿Ｄｅｅｐ＿Ｌｅａｒｎｉｎｇ＿ＣＶＰＲ＿２０１７＿ｐａｐｅｒ．ｐｄｆ］が特徴抽出器（ＣＮＮとして上述）として使用され、一方、ＲＮＮは、長・短期メモリモデル（ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）に基づいて実施される。モデルは学習サンプルを使用して、まずＣＮＮ、そしてＣＮＮがトレーニングした後でのみＲＮＮを順次学習する。両モデルは誤差バックプロパゲーションを使用して学習する。クロスエントロピーが損失関数として使用され、Ａｄａｍ（適応モーメント推定）がＲＮＮの最適化アルゴリズムとして使用され、一方、ＣＮＮはＲＭＳｐｒｏｐ［ｈｔｔｐｓ：／／ｔｏｗａｒｄｓｄａｔａｓｃｉｅｎｃｅ．ｃｏｍ／ｕｎｄｅｒｓｔａｎｄｉｎｇ−ｒｍｓｐｒｏｐ−ｆａｓｔｅｒ−ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ−ｌｅａｒｎｉｎｇ−６２ｅ１１６ｆｃｆ２９ａ］を最適化アルゴリズムとして使用する。したがって、音認識の問題（すなわち、道の音記録を分類する問題）は画像（スペクトログラム）の問題になり、これは、ＩｍａｇｅＮｅｔ［ｈｔｔｐ：／／Ｉｍａｇｅ−ｎｅｔ．ｏｒｇ／ｉｎｄｅｘ］データセット（ＩｍａｇｅＮｅｔで見つけられたスペクトログラムデータの小さなセットを使用する）で元々トレーニングされ、利用可能な学習サンプルデータを使用して更にトレーニングされたモデルを使用して解決され、すなわち、これは学習転送手法がいかに実施されるかである。学習が終わると、トレーニングされたモデルはテストされて、精度が判定される。テストの場合、結果としてトレーニングされたモデルを通じて５００個の記録（例えば、保存された音の信号、例えば、保存された音記録）が実行され、その結果生成された分類は医師から受信された標準ラベルと比較される。

トレーニングされたモデルがテストされ、正確であると確認されると、サーバのトレーニング済みモデル（ニューラルネットワーク）はランダム・アクセス・メモリに永続的にロードされ、分類のために外部からサーバに来た全ての現在の要求は、トレーニング済みモデルにより処理され、上述した結果が出力される。幾つかの実施態様では、呼吸状態技術の専門家システム部分は、人間の介入を必要とせず、専門家が使用するのと同じ判断方法を使用するため−大まかに言えば、専門家システムが仮に存在しない場合に人間の専門家が実行するのと同じ動作を実行するように専門家により構築されるため、専門家システムと呼ばれる。

本発明は、欧州特許出願の非限定的な図面に提示されている。

図１に示されるように、幾つかの実施態様では、呼吸状態技術は、聴診ツール１０２及び幾つかの場合ではスマートフォン１１０を使用して呼吸音オーディオ信号を記録する信号サンプリングユニット１０１と、オーディオ信号事前処理サブシステム１０３と、呼吸音自動分類サブシステム１０４と、音活動検出アルゴリズムに基づく呼吸フェーズ判定サブシステム１０５（必須ではない）と、診断的問診票サブシステム１０６及び定期的問診票サブシステム１０７を含む問診票サブシステムとが直列接続されたものを有する。データ処理ユニットは専門家システム１０８として設計され、その入力は全てのサブシステムの出力に接続される。情報出力及び表示ユニット１０９（スマートフォン１１０を含むこともできる）もあり、その入力は専門家システム１０８の出力に接続される。構成要素の幾つかは、示されるように、サーバ１１２の一部である。

幾つかの実施態様では、全ての処理はサーバで行われ、表示ユニットは医師のＰＣ及び患者のスマートフォンに配置され、データ取得はスマートフォンで行われる。幾つかの場合、処理の幾つか又は全ては患者のスマートフォンで行うことができる。幾つかの場合、処理はサーバと患者のスマートフォンとの組合せで行われる。幾つかの実施態様では、処理の幾つかは電子聴診器又は同様のデバイスで行うことができる。

幾つかの実施態様では、聴診ツール１０２は、Ｂｌｕｅｔｏｏｔｈモジュールを有する電子聴診器の形態で設計することができ、これは、アナログ／デジタル変換器と、データをデータ処理ユニットに送信するＢｌｕｅｔｏｏｔｈ送信機と、Ｂｌｕｅｔｏｏｔｈモジュールに給電する電池と、マイクロホン増幅器とを有し、幾つかの実施態様では、聴診ツールは、スマートフォンの聴診器アタッチメントの形態で設計することができる。市販の構成要素を含め、聴診ツールに多種多様な実施態様が可能である。幾つかの場合、肺音はスマートフォンのマイクロホンを使用して直接記録される。

幾つかの実施態様では、オーディオ信号事前処理サブシステム１０３は、信号デジタル処理分野からのアルゴリズム、すなわち、順方向及び逆方向ウェーブレット変換を使用したノイズ低減、有限インパルス応答フィルタ（例えば、遮断周波数８ｋＨｚを有するＦＩＲフィルタ）を使用した周波数フィルタリング、一定振幅オフセット（ＤＣオフセット）の除去による信号正規化（例えば、ピーク正規化）、及び入力データを機械学習アルゴリズムに向けて準備するのに望ましい時間−周波数表現、特にメルスペクトログラム計算を使用する。より大きなデータセットが関わる場合、ノイズ抑制フィルタリング工程を低減することができ、他の変更を処理工程シーケンスに行うことができる。

幾つかの実施態様では、呼吸フェーズ判定サブシステム１０５は、元の現在オーディオ信号を吸気フェーズ、呼気フェーズ、及び喘鳴が検出された期間に分割する。分割は１組の時間間隔を定義し、各時間間隔は、検出された吸気、呼気、又は喘鳴の開始時間及び終了時間により定義される。呼吸フェーズ判定サブシステムは、全ての呼吸音活動検出アルゴリズムに基づく。分析された音活動における上限周波数及び下限周波数等のこのアルゴリズムへの入力情報の選択は、各オーディオ信号で個々に実行される。幾つかの実施態様では、オーディオ信号を、吸気フェーズ、呼気フェーズ、及び喘鳴が検出された期間に分割する必要はない。

幾つかの場合、結果として生成された、肺音に呼吸フェーズ及び喘鳴を有する時間間隔セットを使用して、信号の振幅−時間表現を視覚的にマークして、閲覧者に向けてフェーズ及び喘鳴を識別し（これは、例えば医師の視覚化ユニットに表示され、概ね図３０に示されるように見える）、各フェーズの振幅及び持続時間を計算することができる。−２０ｄＢと−４０ｄＢとの間の間隔内の最大値が振幅として使用される。各時間間隔の持続時間は通常、４００ミリ秒〜５，０００ミリ秒である（信号全体は時に、吸気のみ又は呼気のみを含むことがある）。振幅及び持続時間は、幾つかの実施態様では、続けて専門家システム１０８において使用される。

幾つかの実施態様では、情報は、医師及び患者以外の参加者に提供することができ、医師及び患者のそれぞれに提示される情報の分割は異なり得る。幾つかの場合、呼吸状態技術は、外部遠隔医療システムにより使用されるＡＰＩを提供し、外部遠隔医療システムは、肺音分類の分類及び基礎となる音記録を多種多様な方法で利用することができる。遠隔医療システムは、基礎となる音記録を使用してそれ自体の分類を実行することもできる。

幾つかの実施態様では、呼吸音自動分類サブシステム１０４は、深層機械学習アルゴリズムに基づき、上述したように編成される。上述したように、トレーニング済みモデル（ニューラルネットワーク）はランダム・アクセス・メモリにロードされ、外部からサーバに来た全ての分類要求はトレーニング済みモデルにより処理され、トレーニング済みモデルは、５つの分類：正常呼吸、喘鳴、類鼾音、捻髪音、及び水泡音に呼吸音をそれぞれ正確に割り当てる１組の確率、及び心拍、膜被覆摩擦、及び干渉を含むアーチファクト分類の確率の形態の分類結果を出力する。呼吸音のこれらの５つの分類は一般に使用され、十分に認識されているが、幾つかの実施態様では、他の呼吸音分類を多種多様な目的での使用で分類することができる。そのような他の呼吸音分類は、子供により行われる幾つかの種類の呼吸又は気管支呼吸及び上述した他の音分類を含むことができる。そのような他の分類をサポートするのに、データセットの追加のトレーニング記録が必要である。幾つかの実施態様では、呼吸状態技術の目標は、例えば、ＣＯＰＤ及び慢性喘息又は疾患進行についての増悪又はベースラインへの復帰を示唆する呼吸音を分類することである。それらの呼吸状態では、喘鳴、クラックル、及び正常呼吸が、分類すべき呼吸音の重要な態様である。この分類結果は続けて専門家システムにより使用される。

幾つかの実施態様では、モデルはサーバではなくスマートフォンで展開することができ、又はモデルの態様は、スマートフォンとサーバとの組合せで実行することができる。

幾つかの実施態様では、診断的問診票サブシステム１０６は、患者に提案された質問のリストを含み、結果すなわち回答は、専門家システムにおいて使用される。質問ついての幾つかの分類があり、それは、例えば、単一選択回答、幾つかの選択肢の中からの回答、及び数値回答のような許容される回答の性質によって定義される。各回答にはそれ自体の重みが割り当てられ、重みは専門家システムにより行われる最終判定に影響する。最も可能性が高い問題を示唆する情報を得るために、診断的問診票が患者に提示されて呼吸器健全性の現在の状態が判定される。

幾つかの実施態様では、定期的問診票サブシステム１０７は定期的問診票を使用する。定期的問診票は、呼吸器健全性の連続モニタリングのために定期的に提供され、特定の患者の事例での常に変化する情報を取得することを目的とした質問を含むこと以外、異なる文脈であるが、本質的に診断的問診票と同様である。その理由は、先に患者により識別された異なる疾患についての１組の情報が、時間が経過するにつれて大きく異なることがあるためである。定期的問診票と診断的問診票との間の文脈の１つの違いは、定期的問診票が既知の疾患のダイナミクスの理解に有用な患者情報を提供する一方、診断的問診票が起こり得るスクリーニング、モニタリング、及び診断を示す何が悪かったかについての情報を提供することである。

テストされ確認された定期的問診票及び診断的問診票の例は、例えば、ｈｔｔｐｓ：／／ｃｃｑ．ｎｌ／？ｐａｇｅ＿ｉｄ＝３４２．、ｈｔｔｐｓ：／／ｃａｔｅｓｔｏｎｌｉｎｅ．ｏｒｇ、ｈｔｔｐｓ：／／ｍｄｃａｌｃ．ｃｏｍ、及びｈｔｔｐｓ：／／ａｓｔｈｍａｅｏｎｔｒｏｌｔｅｓｔ．ｃｏｍにおけるワールドワイドウェブ上で（公的使用又はライセンス取得下のいずれかで）入手可能であり、この参照により本明細書に組み込まれる。定期的問診票及び診断的問診票は、喘息、慢性閉塞性肺疾患（ｃｈｒｏｎｉｃ ｏｂｓｔｒｕｃｔｉｖｅ ｐｕｌｍｏｎａｒｙ ｄｉｓｅａｓｅ：ＣＯＰＤ）を有する患者、肺炎、及び気管支炎等の特定の呼吸状態に関するユーザに向けて特に構成することができる。

臨床側では、ＣＯＰＤ患者は、増悪の高い危険性がある冬期中に技術を連続使用する傾向がより高い。ＣＯＰＤ患者は常に何らかの症状を経験しており、異常肺音は常に存在する。時系列データ（経時にわたり蓄積されたデータ）を有することは、ＣＯＰＤ増悪を早期に検出するのに最も重要である。喘息の場合、逆であることが多い。重度ではない喘息を有する患者は、ピークフロー後の第２の検証ポイントとして技術を使用する傾向がより高い。重度ではない喘息を有する患者は通常、制御された状況では喘鳴を有さず、したがって、喘鳴の存在は非常に示唆的である。喘息の重度の事例はＣＯＰＤのようにモニタリングすべきである。

幾つかの実施態様では、問診票フォーマットが情報の取得に使用される。その理由は、医師が通常の検査で患者に尋ねる質問に類似するためである。この意味では、問診票は医師の行為を模倣する。問診票フォーマットの使用は、起こり得る異なる呼吸状態、医師により提供される専門家示唆に基づいて、及び異なる患者のプロフィールデータの違いに鑑みて質問及び回答（異なる問診票での）の差別化も可能にする。例えば、喘息患者には、患者の喘息状態に関連する質問を尋ね、ＣＯＰＤ患者には、患者のＣＯＰＤ状態に関連する質問を尋ねることができる。システムにより行われる分類は医師により使用されるべきものであり、また、医師は異なる呼吸状態を有する患者に有効な標準質問を有するため、問診票フォーマットは実用的であり有効である。

加えて、情報収集のフォーマットが問診票で表現されるか、それとも何らかの他の方法で表現されるかに関係なく、臨床的に有意な結果及び呼吸状態の他の有効な管理に到達するために、記録された音に加えて呼吸状態情報を蓄積することは重要で有用である。幾つかの実施態様では、２つの例を挙げれば、患者の発話又は物理的活動等の他の種類の情報を使用することにより、問診票の範囲を低減又は全体的になくすことが可能である。

幾つかの実施態様では、呼吸状態技術の目標は、肺音分類（音分類）の種別、又は問診票結果及びプロフィールデータ、あるいはその両方に基づいて、患者について２つのことを理解することである。すなわち、ユーザは、病気を有する、他の点では健康な患者であるか、及び、慢性疾患を有する患者について、健康状態を改善させたか、それとも悪化させたか。問診票は、病気及び慢性疾患のスクリーニング、モニタリング、及び診断に有用な情報を提供する。

幾つかの実施態様において、専門家システム１０８の入力は、呼吸音自動分類の結果、幾つかの場合では呼吸のフェーズ及び喘鳴のフェーズを識別する１組の時間間隔、並びに、診断的問診票、定期的問診票又はその両方の問診票に対する回答を含む情報を上記サブシステムから受信する。専門家システム１０８の目的は、特に、患者の呼吸器健全性についての最も可能性が高い問題、及び、それらの改善もしくは悪化に関する時間的な変化の可能性についての最終判定を行うために、全てのサブシステムからの情報を集計することである。全てのデータの処理は専門家の性質による：例えば、各呼吸器疾患について、現在のデータセット及び他の入力情報を特定の疾患に割り当てるための個人意志決定分岐がある；その意志決定分岐は、問診票に対する回答と呼吸音自動分類の結果との可能な全ての組合せを考慮に入れる。

システムは、幾つかの実施態様では、２つの情報ソース（音記録に基づく呼吸状態の分類と問診票の質問に対する回答）に基づいて推奨及び統計を提供することを意図するが、推奨は、他方の情報ソースなしで一方のソースのみに基づくことができ、幾つかの実施態様では、他方のソースに基づくこともできる。

幾つかの実施態様では、情報出力及び表示ユニット１０９は、主治医用に１つ（図３０）及び患者用に１つ（図３１）の２つの部分に編成することができる。

幾つかの実施態様では、呼吸状態技術が使用される場合、患者は、例えば、聴診ツール１０２を使用してオーディオ信号を定期的に記録し（例えば、１日に１回又は増悪した場合、１日に２回であるが、幾つかの実施態様では、１日に１回未満又は１日に３回以上記録することが可能である）、例えば、Ａｎｄｒｏｉｄプラットフォームで展開されるモバイルアプリケーションで実施され、専門家システム１０８の動作の結果に基づく健康ステータスについての視覚化された統計へのアクセスを得る。

モバイルアプリケーションは、電子聴診器から呼吸音オーディオ信号を収集して、ユーザが診断的及び定期的問診票に対する回答を入力し、統計を維持できるようにするために使用される。幾つかの実施態様では、ピークフロー及び／又は肺活量測定データを他の医療デバイスから自動的に受信することが可能である。幾つかの実施態様では、活動追跡に基づく情報を受信することも可能である。多くの基本的な実施態様では、工程は、肺音データ及び問診票結果を収集し、肺音を分類し、回答及び分類結果を処理し、呼吸状態を管理するために患者又は他の関係者に詳細な統計及びジャスト・イン・タイムの推奨を与える。

これらの機能は、表示ユニットの考慮事項の一環である（そのような表示ユニットのユーザインターフェースの一例を図３１に示す）。図３１に示される例では、患者に表示された統計は、この例では以下の説明に従って文字Ａ〜Ｄで示された幾つかのゾーンを図示する：Ａ）症状ダイナミクス図及び最大呼吸流量（ピークフロー）図、Ｂ）自動要約を含む呼吸音の自動分類の結果、Ｃ）測定値及びその結果の履歴に基づく個人化された統計、及びＤ）自動推奨。幾つかの実施態様では、表示ユニットのユーザインターフェースを通じて、患者は、ウェブサイト上で、必要な場合に別の医師に送信できるようにする「カード」へのリンクを受信し、緊急に受診する必要がある場合、医師から通知を受信する。

一般に、患者はモバイルアプリのユーザインターフェースを通じて患者の統計にアクセスする。一般に、医師は、ウェブページを通じてより包括的な１組の情報にアクセスする。幾つかの実施態様では、医師が患者についての情報を共有するために、読み取り専用ウェブページを提供することができる。

幾つかの実施態様では、医師は、必要な場合、医師と患者との間の通信セッションを組織する能力を含め、ＰＣ又はモバイルデバイス上のブラウザを通じて表示されたリモートウェブサイトのウェブページを通じてサーバに保持された患者の呼吸器健全性についての統計（及び恐らくは呼吸状態についての他の情報）にアクセスする。医師が受信するデータの一例を図３０に示す。データは同様に、この例では以下の説明に従って文字Ｅ〜Ｋで示されるゾーンに分割される：Ｅ）聴診、診断的問診票の結果、及び以前の呼吸状態履歴に基づく、ユーザの考えられる病気及び他の呼吸状態についてのニューラルネットワークの仮説、Ｆ）喘鳴が検出された音取得ポイントを示すユーザの最新の聴診結果、Ｇ）問診票へのユーザの回答（選択された１日の）、Ｈ）ユーザの状態チャート（聴診に基づく）、Ｊ）選択された１日での問診票（日毎、週毎、又は診断的）により識別された危険な症状、及びＫ）選択された１日での問診票（日毎、週毎、又は診断的）により識別された症状。

呼吸器系技術では、記録された呼吸音オーディオ信号は、続く、信号の時間−周波数属性分析で処理される呼吸音であり、それは、呼吸音の分類並びに患者の健康ステータスのスクリーニング、モニタリング、及び診断を可能にする。

幾つかの実施態様では、記録された呼吸音オーディオ信号の処理は以下のように実行される：電子聴診器の膜が患者の体に密に適用される。音取得ポイントは、検査中、医師により実行される典型的な聴診中のポイントと一致する。音取得ポイントは患者の胸部、背中、及び両側部に配置されて、全ての肺エリアをカバーする。記録条件は、オーディオ信号に少なくとも１つの呼吸フェーズ（患者の吸気又は呼気）が存在することを含み、その理由は、呼吸音が検出されるのがこれらの時間であるためである。音取得ポイント及び音取得ポイントシーケンスを有するチャートが患者のスマートフォンのユーザインターフェースに表示される。図４、図５、及び図６は、患者の胸部の前面、両側面、及び後面における聴診音取得ポイントを示し、これらはディスプレイのユーザインターフェースにおいて識別される。１〜１５の音取得ポイントの順序は、聴診音取得ポイントを適用する好ましいシーケンスに対応する。幾つかの実施態様では、経験に基づいて他の聴診音取得ポイントを識別し使用することが可能である。幾つかの場合、聴診音取得ポイントの数は、例えば、健康な人々により使用される場合、低減することができる。幾つかの場合、慢性疾患が関わるとき、より多くの特定の又は他の聴診音取得ポイントを識別し使用して、分類プロセスの品質を改善することができる。

幾つかの実施態様、体に適用される各音取得ポイントにおける呼吸音記録は同じシナリオに従って行われる：電子聴診器１０２は、Ｂｌｕｅｔｏｏｔｈ技術を使用して患者のスマートフォンに接続し、パルスコード変調フォーマットで８ｋＨｚサンプリング周波数（電子聴診器に使用されるマイクロホンの性能に基づく）の５秒長オーディオ信号を記録し、これは患者のスマートフォンの記憶装置に保存される。病的呼吸音が識別される場合、聴診を実行し、病的呼吸音が検出されたポイント近くの２〜３個のポイントにおいて記録するように患者に求め、これは、新たに発見された音の確認に有用である。幾つかの実施態様では、５秒長オーディオ信号記録のそれぞれについて、以下の動作が実行される：収集されたオーディオ信号がサーバにアップロードされ、サーバにおいて、分類システムが、オーディオ信号が病状を表すか否かを判定する（又はより一般に、オーディオ信号に関連する音分類に対応する呼吸状態を判定する）。サーバが回答（例えば、判定された呼吸状態）をモバイルデバイスに返し、モバイルデバイスが追加の音取得ポイントを記録するように患者に申し出る価値があるか否かをチェックする。したがって、このような実施態様では、音分析が分類システムを使用してサーバで行われる。

上述したユーザインターフェース表示の例に加えて、図３〜図２３は、対象者のスマートフォンで実行中のアプリケーションのユーザインターフェースの幾つかの実施態様をいかに配置することができるかを図示する。

図３に示されるように、対象者は、呼吸状態技術に登録し、対象者のスマートフォンの対応するアプリケーションをインストールすると、聴診プロセスを開始することができる。アプリケーションは、聴診器３０２と接続するように対象者に指示し、対象者が接続できるようにするアバウト３０４を提供する。次に、スマートフォンはＢｌｕｅｔｏｏｔｈ接続を通じてそれ自体を無線聴診器とペアリングする。ペアリングのステータスは３０６に図示される。

次に、対象者に３つの連続した画面４００（図４、図５、及び図６）で体の異なる側面（前面、後面、及び側面）が示される。各側面は、音取得ポイント１〜１５を識別する数値ラベル４０２でラベリングされる。スマートフォンアプリケーションは、各音取得ポイントを強調表示し（４０３）、順に、音記録を連続した音取得ポイントで取得すべきシーケンスをユーザに対して示す。それぞれの場合で、対象者は、聴診器をラベリングされた音取得ポイントに配置すると、「記録実行」ボタン４０６をクリックすることができる。対象者は、その音取得ポイントに少なくとも４秒間、聴診器を保持する。ポイントからポイントに音記録を取得するときの進行は、要素４０４及び進行インジケータ５０２（図５）において対象者に報告される。

特定の音取得ポイントの音記録が取得され、分類モデルにより処理されると、スマートフォンのアプリケーションは、図７の中央に示されるように音記録をグラフィカルに表示することができる。音記録のグラフィカル表現は、それぞれが所与のサンプルの音記録の大きさを有する垂直バーにより形成される。時間の瞬間は、ドットの時間インジケータにより識別され、音記録のグラフィカル表現の上で左から右に及ぶ。

分類モデルを適用して、音記録に基づいて音分類を識別した結果は、グラフィカル表現の各サンプルバーに適用される色又は陰影で示される。図示の例では、分類モデルは４つの音分類を識別する：正常呼吸、喘鳴、クラックル、及びアーチファクト。前、音分類は、音記録のグラフィカル表現の下で４つのボタン中のそれぞれの頭文字で識別される。４つのボタンのいずれかをクリックすることにより、対象者に、分類モデルがその音タイプを識別したグラフィカル表現のサンプルバーが示される。例えば、図７では、正常呼吸が明るい色のバー７０２において識別された。図８では、コアース及び捻髪音が明るい色のバー８０２において識別された。図９では、喘鳴及び類鼾音が右側で明るい色のバーで示され、４つの音分類の説明が対象者に提供される。図１０は、喘鳴及び類鼾音バー１００４をより明確に示す。各グラフィカル表現表示は、グラフィカル表現に関連する音取得ポイントを識別するヘッダ１００２を含む。

図１１に示されるように、対象者が、示されたその全ての音取得ポイントを取得し終えると、分類プロセスの結果及び分類プロセスの結果への専門家システムの適用を概要散文フォーマット１１０２で提示することができる。２つのボタンが提供される。一方のボタン１１０６は、対象者に結果の完全レポートを可能にする。他方のボタン１１０４は、ユーザが、専門家システムの動作において有用となり得る問診票を進められるようにする。

図１２〜図１６は、問診票の一環としてスマートフォンのアプリケーションにより提示される画面の特徴を図示する。診断的問診票は、図１２〜図１６に図示される種類の質問を含むことができる。

図１２に示されるように、診断的質問は、症状の変化についての情報を尋ねることができる。図１３に示されるように、例えば、アプリケーションは、円形インジケータ１３０４を使用して現在の体温を示すように対象者に求めることができる（１３０２）。図１４に図示される問診票中の先の診断的質問は、症状についての非常に一般的な質問を尋ねることができる。図１５は、チェックマーク１５０６により識別するように対象者に求める、慢性である特定の既知の呼吸状態を列挙するような言い回し１５０４の診断的質問１５０２を図示する。スマートフォンで実行中のアプリケーションは、明確化質問１６０２を尋ねる必要性を認識する場合、その質問を提出することができる。示されるように、数値情報についての問診票コメントの一部である質問及び適切な数字を判定して、回答として挿入するように対象者に求める。

図１７に示されるように、スマートフォンで実行中のアプリケーションは、一連の月中の所与の月１７０４の聴診セッション１７０６の履歴を示すジャーナルを提示することができる。その月の各日の垂直バーは、検出された肺音を図示する。異なる色を使用して、異なる音分類を示すことができる。例えば、緑色バーは「正常」を意味し、黄色は「喘鳴／類鼾音」を意味し、赤色は「ファイン／水泡音」を意味することができる。バーが高いほど、音は広範囲に広がっている（検出された記録ポイントの数により）。ジャーナルの閲覧に加えて、対象者はボタン１７１０をクリックして、新たな状態の情報を入力し、評価させることができる。図１８及び図１９は、所与の月の状態についての詳細を理解するために対象者に提供される「詳細」１９０２画面を図示する。図１８では、ユーザは、特定の呼吸症状、この場合は喘息についての追加情報を明らかにする４つの制御機構１８０２を有する。「分析結果」という名称の４番目のボタンは、呼吸状態技術を対象者により提供された音記録に適用した結果を示すことに関わることができる。肺１８０４の概略図は、特定の音分類が識別された位置を示すように注釈付けられる。散文説明１８０５も含まれる。ボタン１８０６をクリックすることにより、対象者は追加情報をより詳細なレポートで取得することができる。図１９は、「喘息コントロール」１９０４、「喘息緊急医療」１９０６、及び「喘息治療」１９０８という名称のリンクを開いた結果を図示する。垂直線１９１０は、その瞬間に考慮されている特定の日を識別する。画面表示の各セクションにおける垂直バーは、喘息管理に関連する首尾よく完了した活動を図示する。図２０は、対象者が使用中の特定の治療についての情報２００４を提供する治療２００２表示である。

スマートフォンで実行中のアプリケーションは、呼吸状態に関連する教育的情報を提供することもできる。図２１に示されるように、例えば、画面は空気の質について報告し、推奨を対象者に提供することができる。図２２では、百科事典２２０２からの気管支炎のより長い散文説明２２０４が表示される。

図２３は、対象者２３０２を識別し、呼吸状態に関連するファクタについての情報２３０４を提供する画面を示す。

幾つかの実施態様では、スマートフォンの聴診器アタッチメントを使用して、呼吸音を検出し、オーディオ信号を生成する。聴診器アタッチメントが使用される場合、Ｂｌｕｅｔｏｏｔｈ接続は行われず、スマートフォン内蔵マイクロホンが、呼吸音の検出及びオーディオ信号の生成を受け持ち、聴診器アタッチメントは、コーンを通じて音をスマートフォンマイクロホンに向ける。信号の記録とともに、患者は、モバイルアプリケーションのユーザインターフェースで利用可能な定期的問診票、診断的問診票、又は両方を完成させることができる。問診票は健康の呼吸状態のモニタリング又は判定を助けるように設計され、その理由は、同様の呼吸音が異なる疾患又は他の呼吸状態の特徴であることがあり、したがって、実際の呼吸状態をより正確に判定するために追加の質問を尋ねる必要があることがあるためである。

幾つかの例では、問診票は、健康全般、病的症状の有無、及び体温又はＥＳＲ（赤血球沈降速度）等の定量的特徴についての質問を含む。定期的又は診断的な健康問診票の質問に対する回答及び記録された呼吸音オーディオ信号のファイルは次に、リモートサーバに送信されて処理され、呼吸音の分類の分類評価を取得し、対応する呼吸症状を判定し、推奨を提供し、収集されたデータを保存して、対象者の事例履歴を維持する。

幾つかの実施態様では、オーディオ信号の処理は幾つかの段階を含む。
１．オーディオ信号事前処理、すなわち、ノイズ抑制及び周波数−時間表現チャート化、特に、機械学習アルゴリズムへの入力オーディオ信号の準備及び事前処理済みデータの増強に有用であるメルスペクトル及びメル周波数ケプストラム係数並びに画像ファイルでのそれらの表現を計算する段階。
２．常に必要とされるわけではなく、したがって、任意選択であるが、呼吸フェーズ（欧州特許出願の図はアルゴリズムの一例を示す）を判定する工程は、呼吸のフェーズ（吸気及び呼気）及びこれらのフェーズにおいて検出された喘鳴（喘鳴が生じた場合）に従って振幅−時間特徴をマークすることを含む。これは、例えば、以下のように実行される。
ａ．元のオーディオ信号がパルスコード変調形態（振幅−時間表現）で取得される。仮定は、波形の窪みが吸気と呼気との間の区切りに対応するというものである。
ｂ．元のオーディオ信号は数桁圧縮される（２１２，０００ポイントから約２，５００ポイントに）。
ｃ．生成された圧縮オーディオ信号は、小さな窪みが平滑化され除去されて近似される。
ｄ．次に、閾値未満の全ての窪みがマークされる（例えば、０．０２クオンタイル、すなわち、図上のポイントの２％のみ）。
ｅ．セグメント及びフェーズの平均幅の３０％未満の全てを含め、短いセグメント及びフェーズは除去される。
ｆ．残りの間隔は、吸気の後に呼気が続くという仮定に基づいて呼吸フェーズと見なされる。
近似アルゴリズムは広く知られている：工程ａ〜ｆの結果は、マークアップとともに図２９に図示され、吸気、呼気、及び喘鳴が検出されたタイムライン上のエリアを強調表示できるようにする。記録された音の振幅−周波数特徴も示される。
３．呼吸音を、例えば、喘鳴分類又は健康呼吸分類（喘鳴なし）の１つに正確に割り当てる確率を生成する、ニューラルネットワーク機械学習アルゴリズムを使用した呼吸音の分類評価段階（音分類を判定する）。
４．分類の結果及び受信した定期的問診票に対する回答を使用する専門家システムの動作の工程。専門家システムは、呼吸音の自動分類及び問診票回答、並びに恐らくは他のことを考慮に入れて、患者の健康状態又は他の呼吸状態の最終的な評価を与えるように設計される。

呼吸器系技術の実施態様の非限定的な例を以下に与える。

例：
ＣＯＰＤの臨床診断を有する患者が、診断的問診票に回答する：
回答から、患者について以下のことを学習する：
−疾患は咳から始まる
−体温は上がらない
−咳は湿性であり、永続的であり、数年にわたり続いている
−多くの痰がある
−呼吸困難が生じることがある
−脱力感はない
−胸痛はない
−悪寒又は発汗はない
−胃の問題はない
−血液検査はここ数日行わなかった
−長期にわたり喫煙している
−花粉及び埃にアレルギーがある

次に、患者は聴診を受ける。

専門家システムの入力は、問診票からの回答、聴診からの信号データ、及び患者のプロフィールからの情報を受信し、専門家システムは疾患の季節性を考慮に入れることができる。例えば、アレルギー性喘息の増悪は春〜夏期間を特徴とし、一方、肺炎及びＣＯＰＤの増悪は湿潤季を特徴とする。患者は慢性疾患をモバイルアプリケーションのプロフィールにおいて示し、したがって、システムは予期される問題を考慮に入れることができる：例えば、湿潤季であり、患者がＣＯＰＤをプロフィールに有し、クラックルが検出される場合、これは、緊急に受診する必要性の合図である。専門家システムは各疾患又は他の呼吸状態（各疾患を個々に有する確率）の分析を実行する。問診票の応答及び聴診（例えば、肺の幾つかの部分で類鼾音が発見されたこと）に基づいて、専門家システムは、ＣＯＰＤの確率が高いと判定する。

その後、オーディオ信号及び定期的問診票に対する回答の分析の結果は、患者及び主治医の両者に提供される。患者は、現在の健康ステータス又は他の呼吸状態についての推奨をモバイルアプリケーションのユーザインターフェースにおいて受信し（推奨はサーバで自動的に生成され、サーバから患者のモバイルアプリケーションに送信される）、呼吸状態の改善又は低下のダイナミクスをモニタリングすることもできる。

時間の経過に伴い、統計を補充する必要があり、このために、患者は（例えば、ＣＯＰＤについての）新しい問診票を完成させ、聴診を実行又は受けることができ、更新された統計を受信する。医師も同様に患者の呼吸状態についての詳細情報を受信し、更に、呼吸音自動分類の結果、視覚的マーク、又は両方の正確性について疑いがある場合、呼吸音オーディオ信号を聴くことが可能である。患者がデータをモバイルアプリケーションからサーバに送信した後、データはサーバのデータベースに保存され、データベースにおいて、ウェブサイトからの許可を受けた医師及び患者に提供されることになり、患者は、データをモバイルアプリケーションにおいて聴き、呼吸音の自動分類結果を見ることができる。上記手順が最初に行われると、医師及び患者は相互に主導して互いに連絡をとることができる。

利点の中でも特に、本明細書に記載される呼吸器系技術の実際的意義は、呼吸器疾患及び他の呼吸状態の自動的な検出、スクリーニング、モニタリング、及び診断を行う手頃で安価な方法を提供することにある。一方では、結果情報は患者により家庭で使用することができ、これは、肺の健康低下の早期検出に起因して、呼吸器疾患、呼吸状態、及び特定の慢性疾患を有する人々の生活の質の改善を目的とする。他方、本明細書に記載される呼吸状態技術は、呼吸状態の履歴の利用可能性、状況にそぐわない受診の回避、又は逆に、疾患増悪前の適時治療介入回数の増大に起因して、医療機関において患者を受け入れる期間及び患者ケアのコストを低減するように設計される。

呼吸器系技術は、家庭使用のハードウェア及びソフトウェア解決策を提供し、呼吸音分類の自動判定の高精度（約８０％）のアルゴリズムを達成し、これは、医療検査と組み合わせて、呼吸器疾患又は他の呼吸状態の診断又は他の管理における人的エラーを実質的になくすことを可能にする。

呼吸音分類の自動判定アルゴリズムは、呼吸音分類タスクに機械学習における既知の手法を適応させ、適応は、呼吸音オーディオ信号データベースの限られたサイズ（ラベリングされた信号に関して）及びそれらの特異性により正当であることが証明され、学習プロセスにおいて適切なニューラルネットワークアーキテクチャ及び学習転送手法の使用を含む。

上記欧州特許出願に記載される実施態様及び上述した他の実施態様に加えて、以下の実施態様及びそれらの組合せも、呼吸状態技術の一部とすることができる。

幾つかの実施態様では、分類モデルはＳｑｕｅｅｚｅＮｅｔベースのアーキテクチャ（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＳｑｕｅｅｚｅＮｅｔ）を使用して、ニューラルネットワークのサイズを低減し、モデルの動作をより高速にすることができる。そのような実施態様では、入力はより少ない情報を使用するメルスペクトログラムとすることができる。例えば、音記録のセグメントの事前処理及び分類の場合、事前処理及び分類は約８０ｍｓという時間枠内で達成することができ、ファイルサイズは２．８５Ｍｂのオーダとすることができる。

幾つかの実施態様では、医師、患者、又は別の関係者に提示されるものとしての肺音のマークは、異常音が検出された厳密なエリアを強調表示することができる。このために、呼吸音記録は、それぞれが呼吸状態の分類に別個に分類されたセグメントに分割することができる。例えば、記録の第１のセグメントは類鼾音として分類することができ、一方、続く第２のセグメントはクラックルとして分類することができる。分類の結果がユーザインターフェースを通じて提示されると、閲覧者に、記録された音に関連する呼吸音分類についてのより多くの情報を与えることができ、閲覧者が、分類された各音が厳密にいつ検出されたかを理解できるようになる。

上述したように、幾つかの実施態様では、分類モデルは、Ａｎｄｒｏｉｄスマートフォン等のモバイルデバイスで実行中のアプリケーションの一環として実行することができる。これは、分類モデルによって占められるメモリ空間が十分に小さく、モデルの実行に必要な処理リソースが十分に小さい場合、可能となり得る。加えて、モバイルデバイスで分類モデルを実行することは、量子化技法を使用し、未使用定数を削除し、Ｔｅｎｓｏｒｆｌｏｗユーティリティにおける動作を含む他の従来の調整を使用することにより可能になり得る。

幾つかの実施態様では、トレーニングされた機械言語（分類）モデルは、ＡＲＭ Ｍシリーズマイクロコントローラで実施されて、医療デバイス、聴診器、及び他の機器において多種多様な用途を有することができるスタンドアロンハードウェア及びファームウェアデバイスを形成する。このために、トレーニングされた機械言語（分類）モデルをパーズして、動作グラフ及び重みを抽出することができ、静的定数として量子化された重みのみを含む１つのファイルと、層のサイズ及び次元等のＡＮＮ（人工ニューラルネットワーク）の構成情報を含む第２のファイルと、オーディオ処理コード及びＡＲＭ（ｈｔｔｐｓ：／／ｃｏｍｍｕｎｉｔｙ．ａｒｍ．ｃｏｍ／ｄｅｖｅｌｏｐｅｒ／ｉｐ−ｐｒｏｄｕｃｔｓ／ｐｒｏｃｅｓｓｏｒｓ／ｂ／ｐｒｏｃｅｓｓｏｒｓ−ｉｐ−ｂｌｏｇ／ｐｏｓｔｓ／ｎｅｗ−ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ−ｋｅｒｎｅｌｓ−ｂｏｏｓｔ−ｅｆｆｉｃｉｅｎｃｙ−ｉｎ−ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒｓ−ｂｙ−５ｘ）から入手可能なＣＭＳＩＳ−ＮＮライブラリからの連鎖ＡＮＮ層呼び出しを含む第３のファイルとを含むＣ＋＋ソースコードファイルを生成することができる。

上述したように、幾つかの場合、音記録の吸気部分及び呼気部分を別個に識別する検出アルゴリズムの使用は、異常音が検出されたエリアのマークアップ強調表示の実施を目的として無視することができる。幾つかの実施態様では、音記録の吸気部分及び呼気部分の検出は気管支呼吸検出に有用となり得るが、機械学習技法をこの目的で使用する方が良好である。

幾つかの例では、呼吸音分類への音記録の分類は、以下の分類にわたり９３％の正確レベルで達成することができる：喘鳴＋類鼾音、捻髪音＋水泡音、正常状態、及びアーチファクト。アーチファクトは、例えば、心音、電磁及び環境干渉、及び皮膚との聴診器膜摩擦を含むことができる。

幾つかの実施態様では、機械学習分類モデルを使用する代わりに、周波数フィルタリング及び卓越周波数検出に基づいて非機械学習アルゴリズムを開発することができる。これは、人間の聴覚により判定された典型的な分類に機械学習技法を適用するのに十分にクリーンなデータセットを作成することが可能ではない状況で有用である。これは特に、喘鳴及び類鼾音分類に存在することがある大きな中間周波数異常音によるものである。非機械学習状況では、データセットはよりクリーンにすることができ、判別器として使用することができる。人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＡＮＮ）分類は、例えば、喘鳴の分類に使用することができ、その場合、判別アルゴリズムは、喘鳴が高周波数にあるか、中間周波数にあるか、それとも低周波数にあるかを示すことができる。

幾つかの実施態様では、捻髪音と水泡音とを区別するように構成された、換言すれば、同じ音記録中にクラックルと組み合わせられた類鼾音等の混合音を含む音記録の場合、多分類の分類が可能な分類モデルを生成することが可能である。

幾つかの場合、機械学習分類モデルは２つの段階に基づくことができる：データセット事前処理及びモデルトレーニング。第１の段階では、例えば、正常呼吸音を記録し、喘鳴の記録から喘鳴音をカットし、自動的に喘鳴を増強させ、正常呼吸音に追加することにより、自然データに基づいて人工データを生成することができる。次に、生成されたスペクトログラムに、音記録における異常音を識別する矩形を追加することができる。生成されたデータセットは次に、スペクトログラムと、異常音を含むスペクトログラムの厳密な部分を識別する矩形メタデータとを含む。第２の段階では、シングル・ショット・マルチボックス検出器（ｓｉｎｇｌｅ ｓｈｏｔ ｍｕｌｔｉ ｂｏｘ ｄｅｔｅｃｔｏｒ：ＳＳＤ）をトレーニングし、モバイル・デバイス・アプリケーションで使用することができる。

呼吸状態技術の幾つかの実施態様は、例として以下の使用事例に適用することができる。

事例１．子供が咳をしているが、咳のわけは不明確である。親は肺炎の可能性について心配し、子供を受診させるべきか否かを知りたい。親は子供の肺音を記録し、肺音は分析されて、親のモバイルデバイスのユーザインターフェースに提示される。提示は、記録に存在する異常音の表示、それらの音に関連する典型的な呼吸状態（例えば、学術文献による）、及び子供を受診させるべきか否かについての推奨を含むことができる。

事例２．不安を感じている喫煙者は、肺がん、ＣＯＰＤ、又は喫煙に関連する他の有害な呼吸状態を発症しているか否かを知りたいことがある。

事例３．４５歳〜６５歳年齢範囲内の健康意識の高い又は技術に精通した人々は、各自の呼吸状態に常に関心を有することがある。

事例４．汚染された地域に住んでいる人々は、頻繁に気管支炎及び風邪にかかりやすいことがあり、気管支炎及び風邪の進行を追跡し、それらの存在を識別したい。

種々の実施態様では、音センサは、Ｌｉｔｔｍａｎｎの従来の聴診器＋ｅＫｕｏｒｅアタッチメント又はカスタムメードの有線聴診器、大量生産のＢｌｕｅｔｏｏｔｈ対応聴診器、又はｉＰｈｏｎｅ（登録商標）若しくはバージョン８＋以降で実行されるＡｎｄｒｏｉｄデバイス等のスマートフォン等の適切な品質レベルで肺音を記録する多種多様な市販のハードウェアとすることができる。幾つかの場合、音センサはシャツ又は他の衣服に埋め込むことができる。

モバイルデバイスのユーザインターフェースの幾つかの実施態様では、ユーザインターフェースは、音記録を取得するプロセスを通じて対象者をガイドし、次に、ユーザインターフェースを通じて結果を表示する。結果はリンクを使用して共有することができる。

幾つかの場合、慢性肺疾患のタイプの増悪の初期兆候は、音記録及び一連の音記録から判定することができる。差し迫った（例えば、数日以内）慢性肺疾患の増悪を示す、記録された音におけるクラックルを検出することが可能である。増悪と相関付けられた、記録された音の特徴は、肺音の分類、対象者内の位置、及び強度を含むことができる。幾つかの場合、記録された音の変化と症状の変化との組合せは、増悪の予測に最も有効であり、対象者に対して最小の増悪を提供することができる。音、症状、及び予期される将来の増悪間の相関の判定は、記録された音のサンプルの集まり及び医師によるそれらの音の分類に基づくことができる。

事例５．ＣＯＰＤを有する患者は、症状の増悪により入院している。病院の看護師は音記録を取得する記録デバイスを患者に支給し、患者のモバイルデバイスにアプリケーションをインストールし、その利点及び使用について患者を教育する。患者は機器を家に持ち帰り、１ヶ月〜２ヶ月期間にわたり毎日自己モニタリングして、続く増悪の早期兆候を検出する。予測された続く増悪が検出される場合、患者は注意喚起され、治療又は受診を勧められる。そのような患者の判定は、インターネットを通じて自動的に、例えば、医療提供者の既存のコンピュータシステムに送信することができる。

対象者又は他の関係者により使用されるモバイル・デバイス・アプリケーション及びそのユーザインターフェースの幾つかの実施態様は、慢性又は他の呼吸状態の自己管理に向けて設計される。アプリケーションは、ユーザが時々経験する症状を容易に記録できるようにする機能、ユーザが音記録を取得できるようにし、取得の仕方をユーザに教える機能、慢性呼吸状態の発症及び進行をチャートで及び他のユーザインターフェース技法を通じて表示する機能、並びに、医療提供者又は他のアシスタントと連絡をとるメカニズムを提供する機能を含むことができる。

幾つかの用途では、呼吸状態技術は、呼吸状態の診断又は解釈と併せて第２の検証ソースとして機能することができる。

事例５．喘息を有する人々は、呼吸状態の迫り来る増悪を注意喚起する最大呼気流量計又はスマート吸入器を使用し得るが、それら最大呼気流量計又はスマート吸入器の技法は精密ではないことがある。呼吸状態技術は、最大呼気流量計又はスマート吸入器により提供される情報を補足して、迫り来る増悪をより正確に予測又は確証し、擬陽性又は偽陰性を低減することができる。幾つかの実施態様では、通常、それ自体のピークフロー情報を使用し、関連するプロットを表示する呼吸状態技術のモバイル・デバイス・アプリケーションは、別個のスマート最大呼気流量計からのこの情報を受け入れることができる。

事例６．嚢胞性線維症（ＣＦ）患者は、生まれつきＣＦを有し中断なしの治療が必要であるため、自身の健康の専門家である。更にそのような患者は、治療のレベル及びいつもの身体的リハビリ技法の評価についての判断を助けることができる疾患についての客観的な警告の別個のソースから恩恵を受けることができる。呼吸状態技術は、他の情報ソースと併せてそのような評価ソースを提供することができる。

事例７．幾つかの場合、呼吸状態についての診断、情報、又は示唆を提供することのみならず、呼吸状態技術を使用して治療についての示唆を行うことも可能である。そのような示唆は、治療追跡、上述したような増悪予測、投薬リマインダー、又は空気汚染データに関連することがある。例えば、情報は、増悪中、ＣＯＰＤ抗生物質を飲むべき時及び単なるステロイドの使用で十分であるときの示唆を患者に提供する。幾つかの場合、呼吸状態技術は、治療への患者の反応を評価し、母集団データの相関分析を使用して、どの治療が所与の期間に最良であるかを示唆することがある。

幾つかの実施態様では、呼吸状態技術は、個人の音記録から導出された呼吸状態を蓄積、分析、報告することのみならず、ユーザの母集団から導出された集計情報及び統計学的情報を分析、報告することもできる。例えば、情報は、人口統計、地理、及び他のファクタに基づいて蓄積、分析することができる。幾つかの場合、マップを生成し、モバイルデバイスのユーザインターフェースを通じての表示に提供されて、国、行政的小区域、又は多国領域にわたる１つ若しくはそれ以上の呼吸状態の有病率、重症度、又は履歴を示すことができる。例えば、地理的領域にわたる上気道感染（ｕｐｐｅｒ ｒｅｓｐｉｒａｔｏｒｙ ｔｒａｃｔ ｉｎｆｅｃｔｉｏｎｓ：ＵＲＴＩｓ）の進行についての情報は、表示されたマップに視覚化技法により図示することができる。

幾つかの場合、統計分析の結果はユーザに報告することができる。例えば、（恐らくＵＲＴＩに起因して咳をし始めた健康な個人により取得された）豊富な正常記録を有するデータベースの出現は、（ＣＯＰＤ患者によるＵＲＴＩ感染の半分が増悪を生むことから）ＣＯＰＤ患者への脅威を示唆することができ、その示唆はユーザインターフェースを通じて報告することができる。別の例では、多数の喘息患者が特定の場所を訪れた後に増悪を経験している場合、他の喘息患者に注意喚起することができる。

呼吸状態技術を使用してスクリーニング、モニタリング、診断することができる他の呼吸器疾患の中には、公共場所における大きな母集団の広いスクリーニングを受けることがある特発性肺線維症（ｉｄｉｏｐａｔｈｉｃ ｐｕｌｍｏｎａｒｙ ｆｉｂｒｏｓｉｓ：ＩＰＦ）、がん（ＣＯＰＤの先の首尾よい治療の失敗に基づく）、心音及び呼吸音の分析によって判定され、重症度を下げるための介入が続く心血管疾患と呼吸器疾患との組合せ、ユーザへより精密な測定を行うよう注意喚起を示唆する呼吸音の変化、並びに初期段階での下肺の感染を検出するための肺移植患者のスクリーニング、モニタリング、及び診断がある。

他の実施態様も以下の特許請求の範囲内にある。

Claims (56)

1. マシンベースの方法であって、
   聴診によって取得された対象者の呼吸音を表す音記録を受信する工程と、
   マシンにより、前記受信した音記録を時間−周波数領域グラフィカル表現に変換する工程と、
   マシンにより、前記時間−周波数領域グラフィカル表現を分類器モデルに適用して、前記対象者の前記呼吸音の音分類を判定する工程と、
   マシンにより、前記分類器モデルにより判定された前記音分類に基づいて少なくとも前記対象者の呼吸状態を推測する工程と
   を有する方法。
2. 請求項１記載の方法において、前記時間−周波数領域グラフィカル表現は、メルスペクトログラムを含む方法。
3. 請求項２記載の方法において、前記時間−周波数領域グラフィカル表現は、カラーメルスペクトログラムを含む方法。
4. 請求項１記載の方法において、前記分類器モデルは、ニューラルネットワークモデルを含む方法。
5. 請求項１記載の方法において、前記分類器モデルにより判定された前記音分類に少なくとも基づいて前記対象者の呼吸状態を推測する工程に専門家システムを使用する工程を有する方法。
6. 請求項５記載の方法において、前記専門家システムは、前記対象者についての他の情報にも基づいて前記対象者の前記呼吸状態を推測する方法。
7. 請求項６記載の方法において、前記対象者についての前記他の情報は、問診票に応答して前記対象者から受信される方法。
8. 請求項６記載の方法において、前記対象者についての前記他の情報は、人口統計学的情報を含む方法。
9. 請求項６記載の方法において、前記対象者についての前記他の情報は、呼吸状態についての情報を含む方法。
10. 請求項１記載の方法において、デバイスのユーザインターフェースを通じて前記推測された呼吸状態についての情報を提示する工程を有する方法。
11. 請求項１０記載の方法において、前記ユーザインターフェースを通じて提示される情報は、その期間中の前記音記録のグラフィカル表現を含む方法。
12. 請求項１１記載の方法において、前記音記録の前記グラフィカル表現は、音分類に従って配色される方法。
13. 請求項１０記載の方法において、前記ユーザインターフェースを通じて提示される前記推測された呼吸状態についての前記情報は、呼吸状態の管理についての情報を含む方法。
14. 請求項１記載の方法において、前記対象者の異なる音取得ポイントにおいて測定された複数の音記録を受信する工程を有する方法。
15. 請求項１４記載の方法において、前記音取得ポイントは、前記呼吸状態に基づいてアルゴリズム的に判定され、モバイルデバイスのユーザインターフェースを通じて前記対象者に提示される方法。
16. 請求項１記載の方法において、前記対象者の特定の音取得ポイントで測定された複数の音記録を受信する工程を有する方法。
17. 請求項１６記載の方法において、マシンにより、前記複数の音記録に対して主成分分析又は他の相関分析若しくは多次元分析を実行する工程を有する方法。
18. 請求項１記載の方法において、前記音記録は低下した品質を有する方法。
19. 請求項１８記載の方法において、前記低下した品質は、ノイズ、不適切な聴診、又はそれらの組合せに基づく方法。
20. マシンベースの方法であって、
    第１の数の音記録を受信する工程であって、前記音記録のそれぞれは聴診によって取得された対象者の呼吸音を表し、前記音記録のそれぞれは、１人若しくはそれ以上の専門家により判定された既知の音分類を有するものである、前記受信する工程と、
    音記録に必ずしも関連しない第２の数の既知のスペクトログラムを使用して、ニューラルネットワークの初期畳み込み層を事前トレーニングする工程と、
    前記事前トレーニング後、前記第１の数の音記録及び前記既知の音分類を使用して前記ニューラルネットワークの前記初期畳み込み層をトレーニングする工程であって、前記第２の数の音記録は、前記第１の数の音記録よりも少なくとも１桁大きいものである、前記トレーニングする工程と、
    前記音分類が判定されていない音記録を受信する工程と、
    前記受信した音記録を前記ニューラルネットワークに適用して前記音記録の音分類を判定する工程と
    を有する方法。
21. 請求項２０記載の方法において、前記音記録におけるアーチファクトの検出及び削除、異なる分類の音記録の区別、又は前記１つ若しくはそれ以上の専門家により判定される既知の音分類を有する新しい音記録に基づいた新しい音分類の追加のうちの１つ若しくはそれ以上により前記ニューラルネットワークの動作を強化する工程を有する方法。
22. 請求項２０記載の方法において、前記ニューラルネットワークは切断モデルを含む方法。
23. 請求項２２記載の方法において、前記切断モデルはＳｑｕｅｅｚｅＮＥＴモデルを含む方法。
24. 請求項２２記載の方法において、前記切断モデルはモバイルデバイスで実行される方法。
25. 請求項２２記載の方法において、前記切断モデルはＡＲＭプロセッサで実行される方法。
26. 請求項２０記載の方法において、前記判定された音分類を使用して前記音記録に対して専門家システムを実行し、前記対象者の呼吸状態を推測する工程を有する方法。
27. 請求項２６記載の方法において、前記デバイスのユーザインターフェースを通じて前記推測された呼吸状態についての情報を提示する工程を有する方法。
28. 請求項２０記載の方法において、前記受信した音記録を前記ニューラルネットワークに適用して前記音記録の音分類を判定する工程は、前記音記録が取得された場所から遠隔のサーバで実行される方法。
29. 請求項２０記載の方法において、前記受信した音記録を前記ニューラルネットワークに適用して前記音記録の音分類を判定する工程は、モバイルデバイスで実行される方法。
30. 請求項２０記載の方法において、前記受信した音記録を前記ニューラルネットワークに適用して前記音記録の音分類を判定する工程は、モバイルデバイスと当該モバイルデバイスから遠隔のサーバとの組合せで実行される方法。
31. 請求項２０記載の方法において、前記受信した音記録を前記ニューラルネットワークに適用して前記音記録の音分類を判定する工程は、前記受信した音記録のメルスペクトログラムを生成する工程を含む方法。
32. 請求項２０記載の方法において、前記受信した音記録を前記ニューラルネットワークに適用して前記音記録の音分類を判定する工程は、前記音記録のそれぞれのキー値対を判定する工程であって、前記キーは前記対象者における前記音取得ポイントを含み、前記値は前記音分類を含むものである、判定する工程を含む方法。
33. 請求項２０記載の方法において、前記音分類は、正常音、喘鳴、類鼾音、捻髪音、水泡音、皮膚摩擦アーチファクト、干渉アーチファクト、及び心拍アーチファクトのうちの少なくとも１つを含む方法。
34. マシンベースの方法であって、
    対象者のモバイルデバイスで実行中のアプリケーションから、前記対象者の１つ若しくはそれ以上の呼吸状態に関連する情報を受信する工程であって、前記情報は聴診によって前記対象者から取得された呼吸音を含むものである、受信する工程と、
    サーバにおいて前記情報を処理する工程と、
    デバイスのユーザインターフェースを通じて医療提供者に、前記対象者の前記１つ若しくはそれ以上の呼吸状態に関連する、前記モバイルデバイスで実行中のアプリケーションから受信された情報を提示する工程と、
    前記サーバにおいて前記医療提供者から前記１つ若しくはそれ以上の呼吸状態の管理についての判定を受信する工程と
    を有する方法。
35. 請求項３４記載の方法において、前記モバイルデバイスで実行中のアプリケーションから受信される情報は、前記モバイルデバイスのユーザインターフェースを通じて前記対象者により入力された情報を含む方法。
36. 請求項３４記載の方法において、前記サーバにおいて前記情報を処理する工程は、前記呼吸音を分類モデルに適用して前記呼吸音の音分類を判定する工程を含む方法。
37. 請求項３４記載の方法において、前記サーバにおいて前記情報を処理する工程は、前記対象者の１つ若しくはそれ以上の呼吸状態を推測する工程を含む方法。
38. 請求項３７記載の方法において、前記対象者の前記１つ若しくはそれ以上の呼吸状態を推測する工程は、前記呼吸音及び前記モバイルデバイスを通じて前記対象者から受信される他の情報に基づく方法。
39. 請求項３４記載の方法において、前記モバイルデバイスを通じて前記対象者に前記１つ若しくはそれ以上の呼吸状態の管理についての前記医療提供者の前記判定を提示する工程を有する方法。
40. 請求項３４記載の方法において、前記１つ若しくはそれ以上の呼吸状態の管理についての前記判定は、診断、治療の処方、訓練、指針、又は質問のうちの１つ若しくはそれ以上を含む方法。
41. 請求項３４記載の方法において、前記１つ若しくはそれ以上の呼吸状態の管理についての前記判定はバイナリ判定を含み、前記方法は、モバイルデバイスを通じて前記バイナリ判定を対象者に提示する工程を有する方法。
42. 請求項４１記載の方法において、前記対象者に提示される前記バイナリ判定は、前記呼吸状態が危険であるか否かの判定又は前記対象者が受診すべきか否かの判定を含む方法。
43. マシンベースの方法であって、
    対象者のデバイスから、前記対象者についての１つ若しくはそれ以上の質問に対する回答を受信する工程と、
    サーバにおいて、前記回答を専門家システムに適用して前記対象者の呼吸状態を推測する工程であって、前記専門家システムは、前記対象者の聴診によって取得された音記録にも基づいて前記対象者の前記呼吸状態を推測するものである、推測する工程と
    を有する方法。
44. 請求項４３記載の方法において、前記質問は、診断的な問診票又は定期的な問診票の一部である方法。
45. 請求項４４記載の方法において、前記診断問的な診票又は定期的な問診票は、特定の呼吸状態に関連するものである方法。
46. 請求項４４記載の方法において、前記対象者の聴診によって取得された前記音記録は、前記対象者の前記デバイスからも受信される方法。
47. マシンベースの方法であって、
    対象者のモバイルデバイスにおいて、前記対象者の前記１つ若しくはそれ以上の音取得ポイントにおける聴診によって取得された音記録を受信する工程であって、前記音記録は或る期間にわたり連続した時間で取得されたものである、受信する工程と、
    前記連続した時間で取得された前記音記録に基づいて、前記対象者の呼吸状態の変化を推測する工程と、
    前記モバイルデバイスを通じて前記対象者の前記呼吸状態の前記変化についての情報を提示する工程と
    を有する方法。
48. 請求項４７記載の方法において、前記対象者の前記呼吸状態の変化を推測する工程は、前記連続した時間のそれぞれにおける前記対象者の前記呼吸状態を推測する工程と、前記推測された呼吸状態を比較する工程とを含む方法。
49. 請求項４８記載の方法において、前記連続した時間のそれぞれにおける前記対象者の前記呼吸状態を推測する工程は、１つ若しくはそれ以上の音分類を表すものとして前記音記録の少なくとも１つを分類する工程を含む方法。
50. 請求項４９記載の方法において、前記連続した時間のそれぞれにおける前記対象者の前記呼吸状態を推測する工程は、専門家システムを前記１つ若しくはそれ以上の音分類に適用する工程を含む方法。
51. 請求項４７記載の方法において、前記呼吸状態の前記変化を推測する工程は、少なくとも部分的に前記モバイルデバイスにおいて実行される方法。
52. 請求項４７記載の方法において、前記呼吸状態の前記変化を推測する工程は、少なくとも部分的にサーバにおいて実行される方法。
53. 請求項４７記載の方法において、前記呼吸状態は慢性呼吸状態を含む方法。
54. 請求項５３記載の方法において、前記慢性呼吸状態はＣＯＰＤを含む方法。
55. 請求項４７記載の方法において、前記対象者の前記呼吸状態の前記推測される変化は、増悪を含む方法。
56. 請求項４７記載の方法において、デバイスのユーザインターフェースを通じて、前記対象者の前記呼吸状態の前記変化についての情報を医療提供者に提示する工程を有する方法。

Images