JP2021508577A - 吸入器訓練システムおよび方法 - Google Patents

Abstract

吸入器とともに患者に提供される使用指示に従って、治療エアロゾルを吸入するための特定のタイプの吸入器を使用してフィードバックを患者に提供するための方法およびシステムに関する。本方法は、吸入器を使用しながら患者から放出される一連のデジタルオーディオ信号および一連のデジタルビデオ信号を取得するステップと、ビデオ信号を処理することにより吸入器のタイプを認識するステップと、オーディオおよびビデオ信号を処理することにより、患者が指示から逸脱したか否かを認識するステップと、逸脱のタイプを認識するステップと、逸脱が認識されたか否か、および、そうである場合、発生した逸脱のタイプ、ならびに任意選択的に逸脱のない吸入操作を示す１つまたは複数のフィードバックメッセージを患者に提示するステップとを含む。
【選択図】図１

Description

呼吸性の患者は、吸入装置を介してほとんどの薬剤を受け取る。このようにして、薬剤は治療される標的領域である肺に直接到達する。既知の問題は、吸入装置の市場が拡大しており、したがって、その種類が多様化していることである。肺への医薬品の吸入をサポートする装置には、少なくとも４つの異なるカテゴリがある。すなわち、ドライパウダー吸入器、ネブライザ、定量吸入器（ＭＤＩ）およびソフトミスト吸入器である。これらはすべて、在宅患者が薬剤を自己投与するために使用されるように意図されている。

薬剤が錠剤として投与される場合、治療の成功にとって重要なのは、服薬遵守のみである。吸入される薬剤では、薬剤の規則正しい使用だけでなく、吸入装置の適切な取り扱いおよび吸入操作が重要である。吸入が適切に行われない場合、肺に投与される薬剤の量は低すぎて、治療に成功しない。喘息またはＣＯＰＤのような慢性疾患は不安定になる可能性が高く、患者に不必要に高用量が処方されるか、または、より頻繁に通院するようになる。したがって、患者には吸入システムを適切に使用するための案内が必要である。

例えばＭＤＩでは、医薬品の放出を吸入の開始に合わせる必要があり、または、ドライパウダー吸入器では吸入を迅速かつ強力にする必要がある。薬剤の全量を放出するために、いくつかの装置は直立または別の規定の角度で保持する必要がある。

文献によれば、吸入療法の誤った使用はよくあることであるが、患者を適切に繰り返し教育し、訓練することを通じて回避することができる。そのような訓練手法は、患者への動画および他の説明書の提供、ならびに吸入器の使用中の結果を測定する追加の支援機器および装置を含む。装置は、例えば、患者に結合されたセンサ、および、関連する、コンピュータ処理フィードバック機構を有する特定の構造を構成する。

例えば、米国特許出願公開第２０１５／０３３９９５３号明細書では、携帯型コンピュータ装置およびカメラ装置を使用して吸入器システムに対する案内を提供する自己学習システムが提供される。システムは、例えば、取扱説明ビデオおよび患者のリアルタイムビデオを同時に視聴する、リアルタイム学習の複数の段階の案内を含む。

米国特許出願公開第２０１３／００６３５７９号明細書には、所定の吸入システムを使用するように患者を訓練することができる訓練方法が記載されている。このシステムは、患者および吸入器ごとに特別に適合される。普遍的に適用可能なシステムがより効率的である。

米国特許出願公開第２０１５／０３３９９５３号明細書 米国特許出願公開第２０１３／００６３５７９号明細書

吸入訓練のための既存の方法は、患者との個人的な相互作用が不足しているか、または、追加の機器が必要になるため、持ち運びできない。したがって、吸入装置を使用する患者のための個人化された便利な訓練方法が必要である。

第１の態様では、本発明は、吸入器のために、または吸入器とともに患者に提供される使用指示に従って、治療エアロゾルを吸入するための特定のタイプの吸入器を使用してフィードバックを患者に提供するコンピュータ実装方法に関する。本方法は、（ａ）吸入器を使用しながら患者から放出される一連のデジタルオーディオ信号および一連のデジタルビデオ信号を取得するステップと、（ｂ）ビデオ信号を処理することにより吸入器のタイプを認識するステップと、（ｃ）オーディオおよびビデオ信号を処理することにより、患者が指示から逸脱したか否かを認識するステップと、（ｄ）ステップ（ｃ）において逸脱が認識された場合、逸脱のタイプを認識するステップと、（ｅ）（ｉ）逸脱が認識されたか否か、（ｉｉ）逸脱が認識された場合、逸脱のタイプ、および任意選択的に（ｉｉｉ）逸脱のない吸入操作を示す１つまたは複数のフィードバックメッセージを患者に提示するステップとを含む。

さらなる態様において、本発明は、本明細書に記載の方法を実行するように適合されたプロセッサを含むデータ処理システムを提供する。

さらに別の態様において、本発明は、プログラムがコンピュータによって実行されると、コンピュータに本明細書に記載の方法のステップを実行させる命令を含むコンピュータプログラムを提供する。

さらに別の態様によれば、本発明は、コンピュータによって実行されると、コンピュータに本発明の方法のステップを実行させる命令を含むコンピュータ可読記憶媒体を提供する。

第１の実施形態による本発明の方法のステップを示す図である。 さらなる任意選択の実施形態による本発明の方法のステップを示す図である。

第１の態様では、本発明は、請求項１において規定されているような、吸入器とともに患者に提供される使用指示に従って、治療エアロゾルを吸入するための特定のタイプの吸入器を使用してフィードバックを患者に提供するコンピュータ実装方法を提供する。

１つの実施形態において、本方法は、
（ａ）吸入器を使用しながら患者から放出される一連のデジタルオーディオ信号および一連のデジタルビデオ信号を取得するステップと、
（ｂ）ビデオ信号を処理することにより吸入器のタイプを認識するステップと、
（ｃ）オーディオおよびビデオ信号を処理することにより、患者が指示から逸脱したか否かを認識するステップと、
（ｄ）ステップ（ｃ）において逸脱が認識された場合、逸脱のタイプを認識するステップと、
（ｅ）（ｉ）逸脱が認識されたか否か、
（ｉｉ）逸脱が認識された場合、逸脱のタイプ、および任意選択的に
（ｉｉｉ）逸脱のない吸入操作
を示す１つまたは複数のフィードバックメッセージを患者に提示するステップとを含み、
好ましくは、ステップｂ）およびｃ）は、吸入器タイプを識別するとともに、逸脱を識別するように訓練された人工ニューラルネットワークを使用してビデオおよびオーディオ信号を分析することによって、または規則的な動きを検出する方法によって実行され、
ステップ（ａ）〜（ｅ）は、
−データ処理システムと、
−データメモリと、
−カメラと、
−マイクロフォンと、
−ディスプレイと、
−スピーカと
を備える、手持ちで使用するための携帯型フィードバック装置によって実行される。

好ましくは、ステップｂ）およびｃ）は、吸入器タイプを識別し、逸脱を識別するように訓練された人工ニューラルネットワークを使用してビデオおよびオーディオ信号の分析を実行することを含み、ステップｃ）は、規則的な動きを検出する方法の使用も含む。

本明細書において使用される場合、吸入器は、例えば、使用者または患者がエアロゾルを吸入することを可能にするための、治療エアロゾルを放出することができる吸入装置である。エアロゾルは、連続気相中の固相、半固相または液相の分散であり、したがって、例えば、吸入用粉末として製薬上知られている粉末エアロゾル、および噴霧エアロゾルを含む。粉末エアロゾルを送達するための吸入装置は、一般に粉末吸入器として説明される。エアロゾル化された液体は、ネブライザ、加圧式定量吸入器、およびソフトミスト吸入器を含むさまざまな吸入装置によって投与される。一実施形態では、本発明の方法は、粉末吸入器、ネブライザ、定量吸入器またはソフトミスト吸入器を使用して患者にフィードバックを提供する。

本発明による方法の主な利点は、手持ち式装置上で本方法を実施することができることである。適切な手持ち式装置はスマートフォンであってもよい。一般的に、本方法は、任意のプロセッサ、さらにはスマートフォンまたはラズベリーパイなどの比較的遅いプロセッサ上で実行することができる。本方法は、リアルタイムで実行することができ、多くの計算能力を有するサーバへのアクセスを必要としない、すなわち、本方法はオフラインで実行することができる。

吸入器タイプは、特定の吸入器モデルまたはモデルファミリーを指す。この文脈において、モデルファミリーは、特に呼吸動作に関して、本質的に同じ方法で患者によって使用されるモデルの変形形態を意味する。例示のために、特定のタイプのネブライザの一例は、振動メッシュ技術を組み込んだ電子ネブライザであるＰＡＲＩ ｅＦｌｏｗ高速ネブライザシステムであり、特定のタイプの粉末吸入器の一例は、ＧＳＫから販売されているＡＤＶＡＩＲ ＤＩＳＫＵＳ（登録商標）であり、特定のタイプのソフトミスト吸入器の一例は、Ｂｏｅｈｒｉｎｇｅｒ Ｉｎｇｅｌｈｅｉｍから販売されているＳＰＩＲＩＶＡ（登録商標）ＲＥＳＰＩＭＡＴ（登録商標）であり、特定のタイプの定量吸入器の一例は、ＧＳＫから販売されているＶＥＮＴＯＬＩＮ（登録商標）ＨＦＡである。

各吸入器は、使用指示とともに患者に提供される。これは通常、患者手引き書に印刷されるが、インターネットを通じて、または、医師、薬剤師もしくは看護師などの医療提供者から受け取られる口頭および／または視覚情報によっても提供されてもよい。

吸入器を使用する患者は、吸入器を通じて投与される治療エアロゾルを必要としている、またはそれから利益を受けることになる人間の対象者である。使用は、エアロゾルが潜在的に有益である任意の疾患、状態または症状の防止または治療を含む、任意の医療目的のためであり得る。

本発明の方法の利点は、方法が吸入器のタイプを識別することである。例えば米国特許出願公開第２０１３／００６３５７９号明細書に記載されているような従来技術の方法は、患者を訓練するのに適しているかもしれないが、事前に特定の吸入器に適合させる必要がある。

吸入器は、事前訓練された人工ニューラルネットワークを使用して識別することができる。したがって、本方法は、例えばスマートフォンなど、計算能力の限られた手持ち式装置上で実行することができる。

本発明の方法は、コンピュータ実装される。データ処理システム、データメモリ、オーディオおよびビデオ信号を取得するための手段、ならびにオーディオおよびビデオフィードバックメッセージを提示するための手段を備える任意の適切なコンピュータまたは他の装置が、例えば、装置のデータ処理システムによって実行されると、装置に本明細書に記載の方法ステップを実行させるソフトウェアをインストールすることによって、本方法を実行するために使用され得る。好ましい実施形態の１つでは、装置は携帯型フィードバック装置である。携帯可能であり、本発明のステップを実行するためのコンピュータプログラムによって構成することができる適切な装置の一例は、スマートフォンである。

本方法は、吸入器を使用しながら、患者から放出される一連のデジタルオーディオ信号および一連のデジタルビデオ信号を取得するステップを含む。オーディオ信号はマイクロフォンから取得することができ、ビデオ信号はカメラから取得でき、マイクロフォンおよびカメラは、携帯型フィードバック装置内に組み込むことができる。関連する信号は、吸入器を使用している間に患者から放出され、患者が使用している間に吸入器自体から放出される信号を含む。

一実施形態では、一連のオーディオ信号は、患者が吸入器を使用して１回の呼吸動作を行う時間をカバーするか、またはその時間にわたって収集される。別の実施形態では、２回以上の連続する呼吸動作からのオーディオ信号が取得または収集される。本明細書において使用される場合、呼吸動作は、患者が吸入器から放出されるエアロゾルを吸い込むまたは吸入する吸気相と、患者が息を吐くまたは呼気する呼気相とを含む。場合によっては、呼吸動作は、患者が息を止め、吸気も呼気もしない相をさらに含む。

同様に、ビデオ信号は、患者が吸入器を使用して１回の呼吸動作を行う時間、および任意選択的に、患者が２回以上の連続する呼吸動作を行う時間をカバーし、またはその時間にわたって収集することができる。好ましい実施形態の１つでは、ビデオ信号は、患者の顔および吸入器からの信号を含む。

一実施形態では、一連のオーディオ信号および一連のビデオ信号が同時に取得される。

本方法は、先行するステップにおいてビデオ信号を処理することによって実行される、吸入器のタイプを認識するステップをさらに含む。このステップは、事前訓練されたニューラルネットワークベースの分類器への入力として、吸入器Ａをキャプチャしていると考えられるビデオ信号からのフレームを使用することによって実行される。分類器はｘ個の異なる値を出力する。各値は吸入器Ａ_ｉを検出している可能性に対応し、ｉは吸入器タイプに対応する１からｘまでの数である。

方法は、患者が指示から逸脱したか否かを認識するステップをさらに含み、これは、先行するステップにおいて得られたオーディオ信号およびビデオ信号を処理することによって実行される。この文脈では、逸脱は、患者が治療エアロゾルを吸入するために吸入器を使用する、または使用した方法に関連し、オーディオおよびビデオ信号が取得または収集されている間に関連する。このステップは、吸入器のタイプを認識するステップの後に実行されてもよい。部分的に、そのステップはまた、吸入器のタイプの認識と同時に実行されてもよい。

指示からの逸脱は、例えば、患者の姿勢、吸入器の位置もしくは向き、または患者の呼吸動作に関連し得る。呼吸動作に関して、指示からの逸脱は、例えば、速すぎるまたは遅すぎる吸入、短すぎるまたは長すぎる吸気相、息を止める相の有無、吸入器の作動の正しくないタイミング、正しくない呼気（例えば、指示が他のことを提示している場合に吸入器のマウスピースを通じた、またはその逆）などによって表されてもよい。

さらなる逸脱は、吸入器の誤った準備であり得る。一部の吸入器、特に定量吸入器の形の懸濁液エアロゾルは、吸入されるのに最適化された懸濁液を提供するために振ることを必要とする。他の吸入器または吸入器と薬剤製品との組み合わせの場合、（任意選択的に再構成された）活性組成物の低速の攪拌が必要になる場合がある。

患者が指示から逸脱したか否かを認識するステップは、それぞれの吸入器に適用可能な指示に従って、患者が行った呼吸動作が、適切に行われた呼吸動作と一致するか（否か）の可能性を計算するなどのために、患者から放出されるオーディオおよびビデオ信号を処理することによって実行することができる。

本発明者らは、吸入器が正しく準備されたか否かを識別するための新規の方法を開発することができた。従来技術の方法は、相当の計算能力を必要とし、スマートフォンまたは低電力プロセッサ上ではリアルタイムに実行できないオプティカルフロー分析に基づく。本発明者らは、規則的な動き、すなわち、振ることまたは攪拌することを、例えばスマートフォンプロセッサなど、能力が限られたプロセッサ上でリアルタイムで識別することを可能にする新規の方法を開発した。

本方法は一般に、運動認識に基づく。選択される装置に適した任意の方法を利用することができる。特に、本方法は、以下に定義されるような規則的な動きを検出するための方法である。

逸脱が認識された場合、方法は、発生した逸脱のタイプを認識するステップをさらに含む。また、このステップは、先行するステップにおいて取得したオーディオ信号およびビデオ信号の処理を含む。

さらなるステップにおいて、逸脱が認識されたか否かを示し、認識された場合には発生した逸脱のタイプを示す１つまたは複数のフィードバックメッセージが患者に提示される。任意選択的に、フィードバックは、それぞれの逸脱のない吸入操作に関する情報、および、吸入操作が患者によってどのように実行されるべきかに関する情報を含む。

本発明によれば、フィードバックメッセージは、オーディオおよび／またはビデオフォーマットで、例えば、本発明の方法を実行するように構成されたスマートフォンのスピーカおよびディスプレイなどの、携帯型フィードバック装置の一部であり得るスピーカおよび／またはディスプレイを介して患者に提示されてもよい。一実施形態では、フィードバックメッセージ、またはいくつかのフィードバックメッセージのうちの少なくとも１つは、視聴覚フォーマットで患者に提示される。オーディオおよび／またはビデオフォーマットに加えて、触覚フィードバックなど、他のフォーマットも使用されてもよい。一実施形態では、上記フィードバックメッセージは、拡張現実を使用して提示される。

例えば、逸脱が発生したという指示を有するオーディオフォーマットのフィードバックメッセージは、警報音などの「否定的な」意味合いを有する特定の音声として提示されてもよく、または、話し言葉のメッセージとして提示されてもよい。視覚フォーマットでは、フィードバックは、逸脱の存在を示す記号、色、またはテキストメッセージの表示を含んでもよい。任意選択的に、この情報を伝達するためのビデオクリップが表示されてもよい。

同様に、逸脱のタイプの指示は、オーディオフォーマット、視覚フォーマット、または組み合わせ視聴覚フォーマットのフィードバックメッセージとして提示されてもよい。好ましい実施形態の１つでは、この指示はより複雑であるため、このフィードバックのフォーマットは視聴覚である。

それぞれの指示による吸入器の正しい使用、特に正しい呼吸動作を示す任意選択のフィードバックもまた、上述のフォーマットのいずれかで提示されてもよい。好ましい実施形態では、フォーマットは視聴覚である。特定の好ましい実施形態では、フォーマットは、拡張現実を使用した視聴覚である。

述べたように、方法のステップ（ａ）〜（ｅ）は、手持ち使用のための携帯型フィードバック装置によって実行されてもよい。そのような装置は、少なくともデータ処理システム、データメモリ、カメラ、マイクロフォン、ディスプレイおよびスピーカを備える。本発明の文脈において、「手持ち使用のための」と組み合わせた「携帯型」は、方法が実施されている間、フィードバック装置を患者の手に保持することができることを意味する。装置は、スマートフォンなどの、カスタムメイドまたは汎用装置であってもよい。装置が本発明によるフィードバック装置であるためには、装置は、方法ステップを実行するように適合されなければならず、その適合は、プログラムが実行されると、方法ステップ（ａ）〜（ｅ）が実行されるように、装置上で実行されるコンピュータプログラムによって、すなわち、装置のデータ処理システムによって達成される。

コンピュータプログラムは、携帯型フィードバック装置のデータメモリに記憶することができる。患者から放出される一連のデジタルオーディオ信号は、ステップ（ａ）においてマイクロフォンによって得られてもよく、デジタルビデオ信号は装置のカメラによって得られてもよい。ステップ（ｅ）に従って患者に提示される１つまたは複数のフィードバックメッセージは、装置のディスプレイ上に表示されてもよく、スピーカを通して鳴らされてもよく、またはこれらの出力手段の組み合わせを使用することによって提示されてもよい。

ステップ（ｂ）による吸入器タイプの認識は、装置のデータ処理システムによって実行され得るビデオ信号の処理に基づく。所定の吸入器形状パラメータＡ_１〜Ａ_ｘを、フィードバック装置のデータメモリ内のデータベースに記憶することができる。代替的に、パラメータＡ_１〜Ａ_ｘは、好ましくは無線通信によってデータ処理システムによってアクセス可能な、遠隔のメモリまたはデータ記憶装置（例えばクラウドベース）に記憶されるデータベースに記憶されてもよい。したがって、フィードバック装置は、任意選択的にインターネットを介した、そのような外部データメモリまたはデータストレージ装置との無線通信のための手段を備えることが好ましい。

同様に、ステップ（ｃ）および（ｄ）による吸入器を使用する際の患者による指示からの逸脱の存在およびタイプの認識は、コンピュータプログラムがその上で実行される装置のデータ処理システムによって実行されてもよい。ここでも、データ処理システムが患者の呼吸動作の逸脱を認識するための基礎となる既存のデータは、フィードバック装置のデータメモリに記憶されてもよく、または、好ましくは無線通信を用いることによってフィードバック装置によってアクセスされる外部データメモリもしくはデータ記憶装置から取得されてもよい。

上述したように、逸脱が認識されたか否かを示し、認識された場合には発生した逸脱のタイプを示す１つまたは複数のフィードバックメッセージが患者に提示される。任意選択的に、フィードバックは、それぞれの逸脱のない吸入操作に関する情報、および、吸入操作が患者によってどのように実行されるべきかに関する情報を含む。フィードバックメッセージは、オーディオおよび／またはビデオフォーマットで、例えば、本発明の方法を実行するように構成されたスマートフォンのスピーカおよびディスプレイなどの、携帯型フィードバック装置の一部であり得るスピーカおよび／またはディスプレイを介して患者に提示されてもよい。

一実施形態では、上記フィードバックメッセージは、拡張現実を使用して提示される。

任意選択的に、方法は、ビデオ信号に基づいて患者の身元を認識するさらなるステップを含む。このステップはまた、カメラからビデオ信号を取得し、これらの信号を処理し、それらを特定の顔に対応する記憶されたデータと比較するなどのように構成された携帯型フィードバック装置のデータ処理システムによって実行されてもよい。ここでも、そのようなデータが記憶されるデータベースは、携帯型フィードバック装置のデータメモリに配置されてもよく、または、好ましくは無線通信を用いてフィードバック装置によってアクセスされる外部データメモリもしくはデータ通信装置に配置されてもよい。

このステップのタイミングはある程度柔軟である。その実施には、患者から放出される一連のデジタルビデオ信号の可用性が必要であるが、必ずしも吸入器の使用中である必要はない。したがって、患者の身元の認識は、ステップ（ａ）の前またはステップ（ｅ）の後に実行することさえできる。しかしながら、任意選択的に、ステップ（ａ）に従って提供されるように、吸入器を使用しながら患者から放出される一連のデジタルビデオ信号を処理することによって患者の身元が認識され、認識自体は少なくとも部分的にステップ（ａ）に並行して、または、ステップ（ｂ）、（ｃ）、および／もしくは（ｄ）と同時に実行されてもよい。

患者の身元が認識された場合、方法は、患者が認識もしくは識別されたという事実を示す、または認識された患者の身元を示すフィードバックメッセージを患者に提示するさらなる任意選択のステップを含んでもよい。他のフィードバックメッセージと同様に、患者の識別に関するそのようなメッセージは、オーディオおよび／またはビデオフォーマットで、例えば、本発明の方法を実行するように構成されたスマートフォンのスピーカおよびディスプレイなどの、携帯型フィードバック装置の一部であり得るスピーカおよび／またはディスプレイを介して提示されてもよい。例えば、患者の名前が書面で表示されてもよく、または、名前を示す音声メッセージがスピーカを介して鳴らされてもよく、または、患者の顔の画像が表示されてもよく、またはそれらの任意の組み合わせであってもよい。

一実施形態では、逸脱が認識されたか否か、および、存在する場合は逸脱のタイプを示す１つまたは複数のフィードバックメッセージの提示の前に、患者が認識もしくは識別されたという事実を示す、または認識された患者の身元を示すフィードバックメッセージが提示される。別の実施形態では、患者の身元に関するフィードバックメッセージは、ステップ（ｅ）の１つまたは複数の他のフィードバックメッセージと少なくとも部分的に並行して（または同時に）提示される。

さらに、方法は、任意選択的に、オーディオ信号またはビデオ信号の品質に悪影響を与える可能性のある有害な条件が存在するか否かを識別するステップを含んでもよく、また、任意選択的に、そのような有害な条件の性質および程度を識別するステップを含んでもよい。本明細書において使用される場合、有害な条件は、環境条件、および、患者による携帯型フィードバック装置の取り扱い、または両方の組み合わせを含むように広く解釈されるべきである。

一実施形態では、有害な条件は環境条件である。例えば、そのような環境条件は、患者が吸入器を使用しようとしているときに優勢である、特に低いまたは高い光度に関連する可能性がある。患者によって（例えば、患者が吸入器および／または携帯型フィードバック装置を保持する方法によって）共に影響を受ける有害な環境条件は、患者から放出されるビデオ信号の輝度コントラストである。これが非常に高い場合、ステップ（ｂ）、（ｃ）、および／または（ｄ）、ならびに、ビデオ信号に基づいて患者の身元を認識する任意のステップの実行が困難であるか、極端な場合には不可能である可能性がある。

有害な環境条件の別の例は、音響雑音、すなわち患者による吸入器の使用に関連しない望ましくない音の存在である。例えば、平均音響背景雑音は、好ましくは約５０ｄＢより低く、より好ましくは約４０ｄＢより低く、または約３５ｄＢより低くあるべきである。特に好ましい実施形態の１つでは、閾値は約３０ｄＢであり、それを超えると有害な環境条件の存在が認識される。

患者によって引き起こされる有害な条件の一例は、携帯型フィードバック装置の揺れである。約１Ｈｚ以上、または約２Ｈｚ以上の揺動周波数、または特に約３Ｈｚ以上の揺動周波数では、ステップ（ｂ）〜（ｄ）、または患者の身元の認識の実行を可能にする十分に高品質のビデオ信号を取得することが困難になる場合がある。これらの揺動周波数の各々は、それを超えると有害な条件の存在が認識される閾値として機能することができる。

オーディオ信号またはビデオ信号の品質に悪影響を及ぼす可能性のある有害な条件が特定された場合、方法は、有害な条件の存在および任意選択的に性質を示すフィードバックメッセージを患者に提示するさらなるステップを含むことが好ましい。フィードバックメッセージ、そのフォーマット、およびそれを提示する方法に関連するオプションおよび選好については、同様に適用されるべきである、他のフィードバックメッセージの提示について説明した本明細書の上記部分が参照される。例えば、「暗すぎます」、「騒音が多すぎます」、または「揺らさないでください」などのフィードバックメッセージを、携帯型フィードバック装置のディスプレイに表示することができ、またはスピーカを介して鳴らすことができる。

本発明の方法は、フィードバック装置が動作しており、カメラおよびマイクロフォンが患者の顔に向けられるように保持されている間に、使用指示に従って吸入器を使用して治療エアロゾルを吸入するように患者に指示するステップをさらに含むことができる。このステップは、ステップ（ａ）の前に実行することができ、それぞれの指示は、様々な任意選択的な形式で患者に提示することができる。例えば、当該指示は、装置がカスタムメイドの装置の場合は携帯型フィードバック装置とともに、または、装置が汎用（スマートフォンなど）であり、そのようなソフトウェアによって本発明の方法を実行するように構成される場合にはコンピュータプログラムとともに配布される手引き書またはマニュアルに印刷することができる。代替的に、または加えて、上記のフィードバックメッセージの１つと同じように、指示を携帯型フィードバック装置のディスプレイ上に表示するか、またはスピーカを通して鳴らしてもよい。

本発明のさらなる態様において、本発明は、本明細書に記載の方法を実行するように適合されたプロセッサを含むデータ処理システムが提供される。前述のように、データ処理システムは、データ処理システムにロードされてデータ処理システム上で実行されるコンピュータプログラムによって方法ステップを実行するように適合または構成されている、スマートフォンのデータ処理システムなどの一般的な性質のものであってもよい。ただし、データ処理システムが組み込まれている装置が汎用であるかカスタムメイドであるかに関係なく、装置が携帯型であり、手持ち使用に適しており、データメモリ、カメラ、マイクロフォン、ディスプレイ、およびスピーカをさらに備えることが好ましい。

さらに別の態様において、本発明は、プログラムがコンピュータによって実行されると、コンピュータに本明細書に記載の方法のステップを実行させる命令を含むコンピュータプログラムを提供する。ここでも、コンピュータは、好ましくは、上で定義されたデータ処理システムを備える。

さらに別の態様において、本発明は、コンピュータによって実行されると、コンピュータに本発明の方法のステップを実行させる命令を含むコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、任意のタイプのデータ記憶媒体、すなわち、光学、磁気、半導体ベースまたは任意の他のクラスの媒体であってもよい。これは、フラッシュメモリ、デジタル光ディスク、ハードディスクドライブ、またはソリッドステートドライブなどの不揮発性記憶媒体であることが好ましい。

さらなる態様では、本発明は、規則的な動きを検出および／または分析するためのコンピュータ実装方法であって、
（ａ）上記規則的な動きから放出される一連のデジタルビデオ信号を取得するステップと、
（ｂ）上記ビデオ信号において、上記ビデオ信号の一連のフレームに対して、
（ｉ）上記規則的な動きが通過するフレームの一部分を選択するステップ、
（ｉｉ）フレームの上記部分内の平均輝度値を計算するステップ、
（ｉｉｉ）上記フレームの上記部分の上記平均輝度値をバッファに記憶するステップ
を実行するステップと、
（ｃ）複数のフレームを含む一連のフレームについてステップ（ｉ）〜（ｉｉｉ）を繰り返し、ここで、フレームの上記部分は各フレーム内で同一であり、上記平均輝度値のバッファを生成するステップと、
（ｄ）決定され、上記バッファに記憶されている輝度値のすべての値の平均輝度の代表値を計算するステップと、
（ｅ）上記決定された平均輝度の代表値を上記バッファ内の各値から減算して、ゼロ中心バッファを生成するステップと、
（ｆ）上記ゼロ中心バッファのゼロ交差率を計算するステップと
を含む、コンピュータ実装方法に関する。

本発明者らによって開発された新規方法は、例えばスマートフォンプロセッサまたはラズベリーパイなど、より遅く、あまり強力でないプロセッサ上でさえリアルタイム分析を可能にするため、従来の方法よりも有利である。

好ましくは、上記方法ステップ（ａ）〜（ｆ）は、少なくとも、
−データ処理システム、
−データメモリ
を備えるコンピュータシステムによって実行される。

いくつかの実施形態では、上記装置はカメラをさらに備える。

いくつかの実施形態では、方法ステップ（ａ）〜（ｆ）は、
−データ処理システムと、
−データメモリと、
−カメラと、
−マイクロフォンと、
−ディスプレイと、
−スピーカと
を備えるコンピューティングシステムによって実行される。

より好ましい実施形態では、上記コンピューティングシステムは携帯型であり、より好ましくは携帯型かつ手持ち式用である。一部の実施形態では、特定の実施形態では、上記コンピューティングシステムはスマートフォンである。

ステップ（ｉ）〜（ｉｉｉ）は、少なくとも１秒間の動きをカバーする複数のフレームにわたって実行する必要がある。好ましくは、上記ステップは、少なくとも約２４フレーム、または好ましくは少なくとも約４８フレームにわたって繰り返される。

この方法は、フレームの一部分を選択することを必要とする。上記フレームは動きの一部分をカバーするべきである、すなわち、動きは装置を通過するが、フレームの上記部分の内部では完全には実行されない。フレームの上記部分は、運動の分析のために同じであるべきである。好ましくは、フレームの上記部分は、分析される各フレームにおいて同一であり、好ましくは、規則的な運動の位置に対して同一である。好ましくは、カメラまたはビデオキャプチャ装置が、例えば、手持ち式装置である場合、フレームの上記部分は、カメラの動きに対して補正される。

いくつかの実施形態では、フレームの一部分の上記選択は、ビデオキャプチャ装置の運動を調整および補正するように適合される。

すでに述べたように、本方法は、スマートフォンなど、計算能力が限定されたコンピューティングシステムに特に適している。本方法の実施を改善するために、いくつかのさらなる調整を本方法に行うことができる。

本方法は、フレームの上記部分の平均輝度値を利用して記憶する。好ましくは、上記輝度値は

本発明のいくつかの実施形態では、平均輝度値を記憶するためのバッファは、循環バッファである。

ビデオ信号がフルカラーではなくグレースケールに変換される場合、輝度値をより容易に計算することができる。したがって、いくつかの実施形態では、方法は、ステップ（ｂ）において、ステップ（ｉ）の前に、
（ｏ）上記フレームの色情報をグレースケールに変換するさらなるステップを含む。

本方法は、規則的な動きの強度または速度に比例するゼロ交差率を提供する。したがって、規則的な動きの速度または強度を、基準値と比較することによって決定することができる。

したがって、一実施形態では、本発明は、ステップ（ｇ）、すなわち、
（ｇ）決定されたゼロ交差率を所定の基準値と比較して、上記規則的な動きの速度または強度に関する推定を得るステップ
をさらに含む、上で定義された方法に関する。

さらなる実施形態および任意選択の特徴は、当業者には明らかであろう。

Claims (20)

1. 吸入器のために、または、吸入器とともに患者に提供される使用指示に従って、治療エアロゾルを吸入するための特定のタイプの前記吸入器を使用してフィードバックを前記患者に提供するコンピュータ実装方法であって、
   （ａ）前記吸入器を使用しながら前記患者から放出される一連のデジタルオーディオ信号および一連のデジタルビデオ信号を取得するステップと、
   （ｂ）前記ビデオ信号を処理することにより前記吸入器のタイプを認識するステップと、
   （ｃ）前記オーディオ信号および前記ビデオ信号を処理することにより、前記患者が指示から逸脱したか否かを認識するステップと、
   （ｄ）ステップ（ｃ）において逸脱が認識された場合、前記逸脱のタイプを認識するステップと、
   （ｅ）（ｉ）逸脱が認識されたか否か、
   （ｉｉ）逸脱が認識された場合、前記逸脱のタイプ、および任意選択的に
   （ｉｉｉ）前記逸脱のない吸入操作
   を示す１つまたは複数のフィードバックメッセージを前記患者に提示するステップとを含み、
   ステップｂ）およびｃ）は、吸入器タイプを識別し、逸脱を識別するように訓練された人工ニューラルネットワークを使用して前記ビデオ信号および前記オーディオ信号を分析することによって、または規則的な動きを検出する方法によって実行され、
   ステップ（ａ）〜（ｅ）は、
   −データ処理システムと、
   −データメモリと、
   −カメラと、
   −マイクロフォンと、
   −ディスプレイと、
   −スピーカと
   を備える、手持ちで使用するための携帯型フィードバック装置によって実行される、コンピュータ実装方法。
2. ステップｃ）が前記携帯型フィードバック装置上でリアルタイムで実行され、ステップｅ）における前記フィードバックメッセージが即座に提示される、請求項１に記載の方法。
3. ステップｅ）において、前記フィードバックメッセージは、拡張現実を使用して提示される、請求項１または２に記載の方法。
4. 前記吸入器が、粉末吸入器、ネブライザ、定量吸入器、またはソフトミスト吸入器である、請求項１〜３のいずれか一項に記載の方法。
5. 前記ビデオ信号に基づいて前記患者の身元を認識するステップをさらに含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記オーディオ信号または前記ビデオ信号の品質に悪影響を及ぼす可能性のある有害な条件が存在するか否かを識別するステップをさらに含み、前記有害な条件は、任意選択的に、輝度コントラストもしくは音響雑音などの環境条件、または前記携帯型フィードバック装置の揺れなどの患者の活動である、請求項１〜５のいずれか一項に記載の方法。
7. 前記有害な条件の存在および性質を示すフィードバックメッセージを前記患者に提示するステップをさらに含む、請求項６に記載の方法。
8. 本発明の方法は、前記フィードバック装置が動作しており、前記カメラおよび前記マイクロフォンが前記患者の顔に向けられるように保持されている間に、前記使用指示に従って前記吸入器を使用して前記治療エアロゾルを吸入するように前記患者に指示するステップをさらに含む、請求項１〜７のいずれか一項に記載の方法。
9. 請求項１〜８のいずれか一項に記載の方法を実行するように適合されたプロセッサを備える、データ処理システム。
10. 手持ち式使用のための携帯型フィードバック装置内に組み込まれ、前記フィードバック装置は、
    −データメモリと、
    −カメラと、
    −マイクと、
    −ディスプレイと、
    −スピーカと
    をさらに備える、請求項９に記載のデータ処理システム。
11. コンピュータプログラムであって、前記プログラムがコンピュータによって実行されると、前記コンピュータに請求項１〜８のいずれか一項に記載の方法のステップを実行させる命令を含む、コンピュータプログラム。
12. 前記コンピュータは、請求項８または９に記載のデータ処理システムを備える、請求項１１に記載のコンピュータプログラム。
13. コンピュータ可読記憶媒体であって、コンピュータによって実行されると、前記コンピュータに請求項１〜８のいずれか一項に記載の方法のステップを実行させる命令を含む、コンピュータ可読記憶媒体。
14. 前記コンピュータは、請求項９または１０に記載のデータ処理システムを備える、請求項１３に記載のコンピュータ可読記憶媒体。
15. 規則的な動きを検出および／または分析するためのコンピュータ実装方法であって、
    （ａ）前記規則的な動きから放出される一連のデジタルビデオ信号を取得するステップと、
    （ｂ）前記ビデオ信号において、前記ビデオ信号の一連のフレームに対して、
    （ｉ）前記規則的な動きが通過するフレームの一部分を選択するステップ、
    （ｉｉ）前記フレームの前記部分内の平均輝度値を計算するステップ、
    （ｉｉｉ）前記フレームの前記部分の前記平均輝度値をバッファに記憶するステップ
    を実行するステップと、
    （ｃ）複数のフレームを含む一連のフレームについてステップ（ｉ）〜（ｉｉｉ）を繰り返し、ここで、フレームの前記部分は各フレーム内で同一であり、輝度値のバッファを生成するステップと、
    （ｄ）決定され、前記バッファに記憶されている輝度値のすべての値の平均輝度の代表値を計算するステップと、
    （ｅ）前記決定された平均輝度の代表値を前記バッファ内の各値から減算して、ゼロ中心バッファを生成するステップと、
    （ｆ）前記ゼロ中心バッファのゼロ交差率を計算するステップと
    を含み、ステップ（ａ）〜（ｆ）は、少なくとも
    −データ処理システム、
    −データメモリ
    を備えるコンピューティングデバイスによって実行される、コンピュータ実装方法。
16. ステップ（ｉ）〜（ｉｉｉ）が少なくとも４８フレームにわたって繰り返される、請求項１５に記載のコンピュータ実装方法。
17. フレームの一部分の前記選択は、前記ビデオキャプチャ装置の運動を調整および補正するように適合される、請求項１５または１６に記載のコンピュータ実装方法。
18. 前記バッファが循環バッファである、請求項１５〜１７のいずれか一項に記載のコンピュータ実装方法。
19. ステップ（ｂ）において、ステップ（ｉ）の前に、さらなるステップ、すなわち、
    （ｏ）前記フレームの色情報をグレースケールに変換するステップを含む、請求項１５〜１８のいずれか一項に記載のコンピュータ実装方法。
20. ステップ（ｇ）、すなわち、
    （ｇ）前記決定されたゼロ交差率を所定の基準値と比較して、前記規則的な動きの速度または強度に関する推定を得るステップ
    をさらに含む、請求項１５〜１９のいずれか一項に記載のコンピュータ実装方法。