[0001]本開示は一般に、デジタル画像内の人物を識別することを対象とするが、これに限定されるものではない。より具体的には、本明細書で開示される様々な方法および装置は、衣服、アクセサリ、髪、顔の特徴などの特徴の組み合わせを使用してデジタル画像内の人物を識別することに関するが、これに限定されない。
[0002]人々を含むシーンを写すデジタル画像に基づいて人々を自動的に識別することが望ましい可能性がある多くのシナリオが存在する。例えば、患者が病院を訪れるとき、患者は通常、登録され、トリアージされ、そして、病院リソース(例えば、医師)が患者を検査および/または治療するために利用可能になるのを待つために待合室等のエリアに送られる。個々の患者を自動的に特定できるようにすることは、医療リソースの割り当てを待つ間、患者の状態を監視し続ける(例えば、状態悪化の監視)のに役立ち得る。また、患者が診療前に立ち去ったか否か/いつ立ち去ったか(left without being seen/LWBS)を特定するためにも有用であり得る。デジタル画像に基づいて人々を自動的に識別することは、空港、国境検問所、ジムやフィットネスセンター、様々なビジネス等の様々な他のコンテキストにおいても有用であり得る。
[0003](例えば、分類器を介して)顔認識を利用した人々の識別が可能であるが、顔の特徴(例えば、目、鼻、口など)を識別することができるように、分析されるデジタル画像が比較的高い解像度を有することを要求し得る。さらに、待合室に設けられたカメラが分析されるデジタル画像を取得し得るような状況では、例えば、顔が完全には見えなかったり、かつ/または部分的にまたは完全に遮られている(例えば、本、雑誌、スマートフォンなどによって)可能性があるため、待機している患者が顔認識に好ましい位置にいるという保証はない(実際にはその可能性は低いおそれがある)。
[0004]本開示は、取得されたデジタル画像内に示された人物を自動的に識別するための方法、システム、および装置を対象とする。1つの非限定的な例として、複数のトリアージされた患者は、救急医療医が対応にあたるまで待合室で待機し得る。患者は、例えば、トリアージナースによって患者から取得された情報、ならびに患者の待ち時間や患者の在否などの他のデータポイントに基づいて決定される各患者に関連付けられた重大度の指標(本明細書では「患者重大度指標」と呼ばれる)に基づいて順序付けまたはランク付けされる患者モニタリングキュー(単に「患者キュー」とも呼ばれる)に含まれてもよい。待合室に取り付けられた1つまたは複数の「バイタルサイン取得カメラ」は、各患者から1つまたは複数の更新されたバイタルサインおよび/または生理学的パラメータを非接触かつ/または控えめな形式で定期的に取得するように構成されてもよい。これらの更新されたバイタルサインおよび/または生理学的パラメータは温度、脈拍、酸素飽和度(「SpO2」)、呼吸数、姿勢、発汗などを含んでもよいが、これらに限定されない。バイタルサイン取得カメラが更新されたバイタルサインを取得すべき特定の患者を特定するために、本明細書に記載される技術を使用して、いわゆる「基準」デジタル画像(いくつかの実施形態では、登録および/またはトリアージ中に取得された患者のデジタル画像であり得る)が、例えば比較的広い「FOV(field of view)」から、1つまたは複数のバイタルサイン取得カメラによって取得された比較的低い解像度のデジタル画像が捉えたシーンに含まれる人物とマッチングされ得る。より一般的には、本明細書で説明される技術は、例えば、被写体から生成されたスーパーピクセルから抽出された特徴を、基準デジタル画像(例えば、登録時に取得された画像、空港または列車駅へのチェックイン時に取得された画像、写真付き身分証明書など)から生成された基準スーパーピクセルから抽出された特徴とマッチングすることによって、デジタル画像(例えば、単一の画像および/またはビデオフィードなどのデジタル画像のストリーム)に写る被写体を識別するために様々なコンテキストで実装され得る。
[0005]一般に、一態様では、方法は、1つまたは複数のプロセッサによって、少なくとも第1の被写体を含む環境を捉えるデジタル画像を取得するステップと、1つまたは複数のプロセッサによって、第1の被写体を写すデジタル画像の第1の部分を複数のスーパーピクセルにセグメント化するステップと、複数のスーパーピクセルのそれぞれについて、1つまたは複数のプロセッサによって、スーパーピクセルに意味ラベルを割り当てるステップと、1つまたは複数のプロセッサによって、スーパーピクセルの特徴を抽出するステップと、1つまたは複数のプロセッサによって、スーパーピクセルから抽出された特徴と、基準デジタル画像内で特定された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するステップであって、基準スーパーピクセルは、スーパーピクセルに割り当てられた意味ラベルと合致する基準意味ラベルを有する、ステップと、1つまたは複数のプロセッサによって、複数のスーパーピクセルに関連付けられた複数の類似性の指標に基づいて、第1の被写体が基準画像内に写っていることを決定するステップとを含み得る。
[0006]様々な実施形態において、デジタル画像は、第1の被写体を含む複数の被写体を含むシーンを捉え得る。方法はさらに、デジタル画像を、複数の被写体のうちの異なる被写体を写す複数の部分にセグメント化するステップを含む。様々な実施形態において、デジタル画像は、デジタル画像に含まれる複数の被写体をマスクへとインスタンスセグメンテーションすることによって、複数の部分にセグメント化されてもよい。様々な実施態様において、マスクを複数の別々のサブマスクに分離するためにマスクのカットが使用され、各サブマスクは複数の被写体のうちの個々の被写体に対応する。
[0007]様々な実施形態において、デジタル画像は姿勢推定を用いて複数の部分にセグメント化されてもよい。様々な実施形態において、複数のスーパーピクセルのうちの少なくとも1つに、人間の胴体の上に着用される衣類に関連付けられた意味ラベルが割り当てられ得る。
[0008]様々な実施形態において、方法はさらに、1つまたは複数のプロセッサによって、複数のスーパーピクセルに関連付けられた類似性の指標のうちの1つまたは複数に基づいて、基準デジタル画像の取得時とデジタル画像の取得時との間の時間間隔中に、第1の被写体が第1の被写体の胴体の上に着ていた衣類を着替えた蓋然性を決定するステップを含み得る。
[0009]様々な実施形態において、複数のスーパーピクセルのうちの少なくとも1つに、人間の脚に着用される衣類に関連付けられた意味ラベルが割り当てられ得る。様々な実施形態において複数のスーパーピクセルのうちの少なくとも1つに、人間の髪に関連付けられた意味ラベルが割り当てられ得る。様々な実施形態において、複数のスーパーピクセルのうちの少なくとも1つに、人間の顔に関連付けられた意味ラベルが割り当てられ得る。
[0010]様々な実施形態において、方法はさらに、1つまたは複数のプロセッサによって、複数のスーパーピクセルに関連付けられた類似性の指標に基づいて、第1の被写体の外観が、基準デジタル画像の取得時とデジタル画像の取得時との間の時間間隔中に変更されたことの第1の蓋然性、および第1の被写体が環境から去ったことの第2の蓋然性を決定するステップを含み得る。様々な実施形態において、環境が病院待合室、ジム、または空港の形態をとることができる。
[0011]上記の各概念、および以下でより詳細に論じられるさらなる概念のあらゆる組合せが本明細書で開示される主題の一部であると考えられることを理解されたい(組み合わせられる概念が互いに矛盾しない限り)。特に、本開示の最後に提示されるクレームされる主題のすべての組み合わせが本明細書に開示される主題の一部であると考えられる。また、本明細書で明示的に用いられており、かつ参照により援用される任意の文献にも現れ得る専門用語は、本明細書に開示される特定の概念と最も整合する意味を有するものとする。
[0012]図中、類似する参照符号は異なる図面を通じて一般的に同一の部分を指す。また、図面は必ずしも縮尺通りではなく、概して、本開示の原理を説明することに重点が置かれている。
[0013]図1は、様々な実施形態に係る、本開示の技術を使用してデジタル画像内で識別された患者をモニタリングするための全般的なプロセスフローを概略的に示す。
[0014]図2は、本開示の様々な構成要素が様々な実装形態に従って本開示の選択された態様を実装し得る例示的な環境を示す。
[0015]図3は、様々な実施形態に従って開示される技術が実施され得る例示的なシナリオを示す。
[0016]図4は、様々な実施形態に係る、患者識別モジュールの一部として実装され得る例示的な構成要素を示す。
[0017]図5は、デジタル画像に写る異なる複数の被写体を識別するためのインスタンスセグメンテーションに関して、どのようにスケルトン化、Watershed、またはキーポイントが使用され得るかの例を示す。
[0018]図6Aおよび図6Bは、本開示の様々な態様を実証するデータのグラフ例を示す。
[0019]図7は、本開示の様々な態様を実証するさらなるデータのグラフ例を示す。
[0020]図8は、様々な実施形態に係る、デジタル画像内の人物を識別する方法の例を示す。
[0021]図9は、例示的なコンピュータシステムの構成要素を示す。
発明の詳細な説明
[0022]図1は、本開示の技術を用いてどのように患者をモニターすることができるかを概略的に示す。具体的には、受付および/または登録所、および/またはトリアージステーションまたはブースを含み得る待合室前エリア(例えば、待合室前エリア102)で起こり得る動作およびアクションが示されている。さらに、待合室104内で発生し得る動作およびアクションが示されている。ブロック106において、新たな患者が、例えば受付デスク(図示せず)で受付をした後に、待合室前エリア102に入るおよび/または接近し得る。
[0023]ブロック108において、新しい患者が登録され得る。登録は例えば、患者の名前、年齢、性別、保険情報、および来院理由などの患者に関する情報を収集することを含むことができる。限定はされないが、典型的には、この情報はトリアージナースなどの医療従事者によってコンピュータに手動で入力されてもよい。一部の実施形態では、患者の1人つまたは複数の基準画像が、例えば、トリアージナースによって操作されるコンピューティングデバイスと一体化されたカメラによって、スタンドアロンカメラによって、および/またはバイタルサイン取得カメラによって(この場合、登録時に任意選択的に少なくともいくつかのバイタルサインが取得されてもよい)取得されてもよい。多くの場合、トリアージナースはさらに、様々な医療器具を使用して、ブロック110において、様々な初期バイタルサインおよび/または生理学的パラメータを取得することができる。これらの初期バイタルサインおよび/または生理学的パラメータは、血圧、脈拍、血糖値、SO2、フォトプレチスモグラム(「PPG」)、呼吸数、体温、皮膚色などを含み得るが、これらに限定されない。図1には示されていないが、一部の実施形態では他の情報もトリアージ時に収集することができ、例えば、患者の病歴を取得/更新すること、患者のアレルギーを特定すること、患者の薬物使用を特定することなどが行われ得る。
[0024]患者が登録され、初期バイタルサインおよび/または生理学的パラメータが取得されると、ブロック112において、患者は待合室104に送られ得る。いくつかの実施形態では、患者の病気の重症度をランク付けするために使用される指標であり得る、いわゆる「患者重大度指標(patient acuity measure)」が患者に割り当てられてもよく、いくつかの場合では、これは、緊急治療室リソースの予想される必要性を示し得る。患者重大度指標を決定および/または割り当てるにあたり、任意の数の一般的に使用される指標および/または臨床意思決定支援(「CDS」)アルゴリズムが使用され、例えば限定はされないが、「ESI」(Emergency Severity Index)、「TTS」(Taiwan Triage System)、「CTAS」(Canadian Triage and Acuity Scale)などが使用されてもよい。例えば、いくつかの実施形態では、患者のバイタルサインを、システムデータベースに記憶された予め定められたバイタルサイン閾値と、または、所与の患者年齢、性別、体重などに典型的な公開されているまたは既知のバイタルサイン値と比較することで、患者の初期患者重大度指標および/または患者の患者キュー(待機列)内の初期位置を決定してもよい。いくつかの実施形態では、1つまたは複数の重大度指標を導出するために、患者についての様々な生理学的情報および他の情報が、訓練されたモデル(例えば、回帰モデル、ニューラルネットワーク、ディープラーニングネットワークなど)、事例ベース推論アルゴリズム、または他の臨床的推論アルゴリズムにわたる入力として適用され得る。いくつかの実施形態では、重大度指標を導出するために使用される情報は、バイタル、またはバイタルサイン取得カメラによって取得され得る他の情報を含んでもよく、または完全にそれらに限定されてもよい。いくつかの実施形態では、重大度指標を導出するために使用される情報は、代替的にまたは追加的に、患者の以前の電子医療記録(EMR)からの情報、トリアージ時に患者から取得された情報、ウェアラブルデバイスまたは患者が携帯する他のセンサからの情報、待合室内の他の患者または人々に関する情報(例えば、部屋内の他の人々のバイタル)、家族または患者に関連する他の人々に関する情報(例えば、家族のEMR)などの情報を含んでもよい。
[0025]ブロック114において、例えば、1つ以上のカメラ、センサ、または医療従事者からの入力を使用して、患者が待合室を出たことが特定され得る。ブロック114は、待合室内に現在いる人をそれぞれスキャンし(例えば、ある患者が、バイタルが取得されるべき患者の待機列の先頭になると当該患者の位置を特定しようとする探索機能の一部として(例えば、後述されるブロック120の実行)、または、後述されるブロック118および120を含むループの複数の実行としてバイタル取得のために部屋内の各人を巡る)、患者の位置を突き止められなかったことを決定することを含んでもよい。いくつかの実施形態では、システムは、一時的な不在(例えば、トイレに行っている、またはトリアージルーム内の臨床スタッフと話している)を考慮するために、患者が待合室を出たと見なされる前に、患者が不在であるインスタンスが所定の数に達するまで、または患者が不在である時間が所定の時間量を経過するまで、待機することができる。例えば、患者は救急科(ED)に送られ得る。あるいは、待機中に患者の状態が改善し、病院を去った可能性もある。または、患者が待ちきれず、他の場所での治療を求めて去った可能性がある。どのような理由であれ、患者が少なくとも閾値時間量、待合室を離れていたことが決定されると、ブロック116において、患者は診療前に去ったと見なされ、例えば、登録された患者が入る待機列から当該患者を除去することによって、システムからリリースされ得る。
[0026]ブロック118において、待合室104内のある患者がモニタリングのために選択され得る。例えば、いくつかの実施形態では、ブロック108〜110で取得された登録情報を格納するデータベースを検索して、最も高い患者重大度指標を有する患者が選択されてもよく、または、しばらくモニタリングされていない最も高い重大度指標を有する患者が選択されてもよい。後者は、全ての患者について設定された時間閾値、または重大度指標に基づいて設定された(例えば、逆相関の)時間閾値によって決定され得る。他の実施形態では、待機時間や、待合室内に患者が在室しているか否か(例えば、不在患者は、不在状態が繰り返される場合にリリースされるべきかどうかを判定するために、より頻繁にモニタリング対象として選択されてもよい)などの他の指標に加えてまたは代わりに、例えば各患者の患者重大度指標によって、待合室内の複数の患者に関連付けられた登録情報が患者モニタリングキュー内にランク付けされてもよい。さらなる他の実施形態では、患者モニタリングキューのランク付けの際に患者重大度指標を考慮しなくてもよく、代わりに、患者の待ち時間、患者が在室しているか否かなどのみを考慮してもよい。
[0027]しかし、そのような患者モニタリングキューがどのようにランク付けされようとも、いくつかの実施形態では、キュー内の最初の患者が次にモニタリングされるべき患者として選択され得る。患者モニタリングキューは、患者重大度指標によって順序付けられた物理的記憶位置のシーケンスとして保存される必要はない(可能ではあるが)。むしろ、いくつかの実施形態では、ランク付けされた患者モニタリングキューは、単に、各患者に関連付けられたランクまたは優先度レベル値を含むことができる。言い換えれば、本明細書で記載される「患者モニタリングキュー」は、必ずしも連続的なメモリ位置シーケンスではなく、患者重大度指標や待ち時間などに基づいて論理的にランク付けされた「論理的」キューを指し得る。ブロック118において、患者モニタリングキュー内のそれぞれのランキングの順序でのモニタリングのために患者が選択されてもよい。
[0028]ブロック120において、ブロック118で選択された患者が待合室104内で特定され得る。様々な実施形態において、待合室104内の患者の1人つまたは複数のデジタル画像を取得するよう、待合室104内またはその近くに配備された1つまたは複数のバイタルサイン取得カメラ(図1には不図示、図2および図3を参照)が動作(例えば、パン、チルト、ズームなど)させられてもよい。取得されたデジタル画像は、患者の様々な視覚的特徴を、ブロック108における登録中に取得された1つまたは複数の基準患者画像の視覚的特徴とマッチさせるために分析されてもよい。患者画像の対応する特徴にマッチさせられ得る患者の視覚的特徴には、顔、形状(例えば、体格)、毛髪、服装、胴体、アクセサリ(例えば、帽子、ハンドバッグ、宝飾品など)などが含まれるが、これらに限定されない。以下でより詳細に説明するように、選択された患者の位置を特定するために、1つまたは複数のバイタルサイン取得カメラによって取り込まれたデジタル画像に対して様々な技術を適用することができる。これらの技術はエッジ検出、輪郭検出、ヒストグラム、セグメンテーション、面積計算、パーシング、ローカライゼーション、機械学習モデル(例えば、畳み込みニューラルネットワーク)などを含むことができる。様々な実施形態において、(特に、複数の異なる特徴を使用して患者を識別することに関して)これらの技術を以下に記載されるように使用することによって、比較的大きなFOVを有するバイタルサイン取得カメラが、比較的低い解像度のデジタル画像としてシーンを撮影し得るという技術的利点が達成される。様々な視覚的特徴を、登録/トリアージ時に得られた上記基準画像の視覚的特徴と比較することによって1人または複数の患者を識別するために、比較的低い解像度のデジタル画像は迅速に解析され得る。
[0029]ブロック122において、待合室104内またはその近くに取り付けられた、または他の方法で配備された1つまたは複数のバイタルサイン取得カメラが、ブロック118で選択されてブロック120で位置特定された患者から1つまたは複数の更新されたバイタルサインおよび/または生理学的パラメータを控えめな形式で(例えば、非接触で)取得するように動作され得る。これらのバイタルサイン取得カメラは、血圧、脈拍(または心拍数)、皮膚色、呼吸数、PPG、SpO2、体温、姿勢、汗レベルなどを含むが、これらに限定されない患者からの様々なバイタルサインおよび/または生理学的パラメータを(患者に物理的に接触することなく)取得するように構成されてもよい。いくつかの実施形態では、バイタルサイン取得カメラは、患者からバイタルサインを取得する、かつ/または生理学的情報を抽出するための、いわゆる「非接触方法」を実行するように構成されてもよく、医療画像デバイスとして使用されてもよい。そのようなカメラの非限定的な例は、米国特許出願公開第20140192177A1号、20140139656A1号、20140148663A1号、20140253709A1号、20140235976A1号、および米国特許第US9125606B2号に記載されており、これらの文献はあらゆる目的のために参照により本明細書に組み込まれる。
[0030]ブロック124では、例えば、(以下で説明される)図2に示される1つまたは複数の構成要素によって、ブロック122で取得された更新されたバイタルサインおよび/または生理学的パラメータと、以前に取得されたバイタルサインおよび/または生理学的パラメータ(例えば、ブロック110で取得された初期バイタルサイン、またはバイタルサイン取得カメラによって取得された更新されたバイタルサイン/生理学的パラメータの以前のイテレーション)との比較に基づいて、患者の状態が変化したか否かが決定され得る。例えば、患者が待機している間に患者の脈拍、呼吸数、血圧、SpO2、PPG、体温などが上昇したか減少したかを判定することができる。答えがノーである場合、制御はブロック118に戻り、新しい患者(例えば、次に高い患者重大度指標を有する患者)が選択されたのち、制御はブロック120に戻り得る。一方、ブロック124における答えがイエスである(すなわち、患者の状態が変化した)場合、制御はブロック126に移り得る。いくつかの実施形態では、患者の状態は、モニタリング順序を決定するために使用されるものと同じ重大度指標によって(少なくとも部分的に)表現され得る。
[0031]ブロック126では、ブロック124で検出された変化に基づいて、医療アラートが正当であるか否かが(再び、図2の1つまたは複数の構成要素によって)判定され得る。例えば、1つまたは複数のバイタルサインまたは患者重大度指標の変化が1つまたは複数の閾値を満たすか否か(例えば、当該患者にとって安全であると考えられるレベルを超えて血圧が上昇したか否か)が判定されてもよい。答えがイエスの場合、制御はブロック128に移行し得る。ブロック128では、患者が悪化しているという警告を、例えば、勤務中の看護師または他の医療従事者に対して出力することができる。次いで、医療従事者は、患者の状態を調べ、患者を直ちに入院させる、または患者を医師に送るなどの是正措置が必要であるか否かを判定することができる。いくつかの実施形態では、その後、制御はブロック118に戻り得る。一方、ブロック126での答えがノーである場合、いくつかの実施形態では、制御はブロック118に戻り得る。
[0032]図2は、様々な実施形態に係る、本開示の技術を実施するために使用され得る例示的な構成要素を示す。病院情報システム240は、病院や診療所などで一般に見られるタイプのものであってもよい。病院情報システム240は、1つまたは複数のコンピューティングシステムを使用して実装されてもよく、コンピューティングシステムは、1つまたは複数のコンピュータネットワーク(図示せず)を介して接続されてもされなくてもよい。病院情報システム240は、とりわけ、登録モジュール242、トリアージモジュール244、リリースモジュール246、および警告モジュール248を含むことができる。モジュール242〜248のうちの1つまたは複数、または本明細書に記載される任意の他のモジュールまたはエンジンは、任意のハードウェアとソフトウェアの組み合わせを用いて実装され、例えば、メモリ、または「クラウド」ベースのコンピューティングインフラストラクチャに保存された命令を実行する1つまたは複数のマイクロプロセッサなどを用いて実装され得る。例えば、登録モジュール242は、プロセッサ上で実行される登録に関連して本明細書に記載の機能を実装する登録命令を含むことができ、トリアージモジュール244は、同じプロセッサ上で実行されるトリアージに関連して本明細書に記載の機能を実現するトリアージ命令を含むことができる。同様の基盤となるハードウェアおよびソフトウェアを使用して、本明細書で説明される他の「モジュール」を実装することができる。
[0033]登録モジュール242は、例えば担当看護師からの手動入力として、新規患者の登録情報を受け取るように構成されてもよい。これは、例えば患者の名前、年齢、保険情報などを含むことができる。トリアージモジュール244は、例えば担当看護師からの手動入力として、またはネットワーク化された医療機器から直接、上記したようなバイタルサイン、および/または体重、身長、患者の来院理由などの他の生理学的データを受け取るように構成されてもよい。様々な実施形態において、トリアージモジュール244によって受け取られたバイタルサインおよび/または患者重大度指標(例えば、図2のESI)は、例えば病院情報システム240に関連付けられた1つまたは複数のデータベース(図示せず)内で、登録モジュール242によって受け取られた対応する患者情報に関連付けられ得る。
[0034]警告モジュール248は、患者の悪化などの様々なイベントを示す情報を受け取り、それに応じて様々なアラームおよび/またはアラートを発するように構成され得る。これらのアラームおよび/またはアラートは、視覚的出力(例えば、病院職員が見ることができる表示画面上に出力される)、インターコムアナウンス、テキストメッセージ、電子メール、音声アラート、触覚アラート、ページ、ポップアップウィンドウ、点滅ライトなどを含むが、これらに限定されない、様々なモダリティを使用して出力されてもよい。病院情報システム240のモジュール242〜248は、例えば、1つまたはコンピュータネットワーク(図示せず)を介して、病院情報システムインターフェース250(図2の「H.I.S.インターフェース」)に動作可能に結合され得る。
[0035]病院情報システムインターフェース250は、従来の病院情報システム240と、本開示の選択された態様で構成された患者モニタリングシステム252との間のインターフェースとして働くことができる。様々な実施形態において、病院情報システムインターフェース250は、例えば患者モニタリングシステム252の他のモジュールに対して、登録情報、患者重大度指標(例えば、ESI)、処方および/または投与された薬剤、患者がリリースされたかどうか、様々なアラーム/アラートなどの患者に関する様々な情報を公開することができる。以下に説明するように、いくつかの実施形態では、これらの公開情報は、イベント公開およびサブスクライブ(「EPS」)モジュール270に提供され得る。モジュール270はその後、それらをデータベース272に選択的に保存し、および/または、患者モニタリングシステム252の他のモジュールに選択的に公開し得る。いくつかの実施形態では、病院情報システムインターフェース250は、追加でまたは代わりに、他のモジュールによって提供される1つまたは複数の警告または公開情報をサブスクライブし得る。例えば、病院情報システムインターフェース250は、悪化検出モジュール268からのアラートをサブスクライブしてもよい。これにより、例えば、病院情報システムインターフェース250は、患者が悪化していることを警告モジュール248などの病院情報システム240の適切な構成要素に通知することができる。
[0036]患者モニタリングシステム252は、患者の実際の医学的状態に資する対応を患者に提供するために、待合室104などのエリア内の患者のモニタリングを容易にする様々な構成要素を含み得る。患者モニタリングシステム252は、例えば、1つまたは複数のカメラ256、患者キューモジュール258、患者識別モジュール260、動的較正モジュール262、顔/胴取得モジュール264、バイタルサイン測定モジュール266、悪化検出モジュール268、上記EPSモジュール270、および1つまたは複数のデータベース272、274へのインターフェースとなる患者キャプチャモジュール254を含むことができる。上述したように、モジュール250、254、および258〜270はそれぞれ、ハードウェアとソフトウェアの任意の組み合わせを使用して実現することができる。また、これらのモジュールは別々に図示されているが、これは限定を意味するものでなく、また、それぞれが別々のハードウェアコンポーネント上に実装されることを示唆するものでもない。例えば、1つまたは複数のモジュールが組み合わされ、かつ/または省かれてもよく、1つまたは複数のモジュールが、1つまたは複数のコンピュータネットワークを介して動作可能に接続された1つまたは複数のコンピューティングシステム(図示せず、例えば、いわゆる「クラウド」を形成するために協働する複数のコンピューティングシステム)上に実装されてもよい。図2の様々な構成要素を接続する図示された線は、これらの構成要素にアクセス可能な通信チャネルを表し得る。これらの通信チャネルは、1つまたは複数のバス、イーサネット、Wi−Fi、Bluetooth、Z−Wave、ZigBee、セルラー通信など、任意の数のネットワーキングまたは他のコンピュータ通信技術を使用して実装することができる。
[0037]患者モニタリングシステム252はまた、患者の1つまたは複数のバイタルサインおよび/または生理学的パラメータを、例えば患者から離れた位置で取得するように構成された1つまたは複数のバイタルサイン取得カメラ276を含むことができる。このようなバイタルサイン取得カメラの例は上述の通りである。様々な実施形態において、バイタルサイン取得カメラ276は、待合室104などのエリアの複数の異なる部分をFOV内に収めることができるよう、パン、チルト、ズームを実行可能なパンチルトズーム(「PTZ」)カメラであってもよい。あるいは、固定式の広角FOVカメラを使用することも可能である。このようにすることで、複数の異なる患者の位置を特定するために、モニタリング対象エリアをスキャンすることが可能であり、よって、更新されたバイタルサインおよび/または生理学的パラメータを控えめな形式で取得することができる。
[0038]患者キャプチャモジュール254は、1つまたは複数のカメラ256から、患者の撮影画像データを搬送する1つまたは複数の信号を受信することができる。例えば、いくつかの実施形態では、患者キャプチャモジュール254は、カメラ256からビデオストリームを受信することができる。患者キャプチャモジュール254は、ビデオストリームに対して画像処理(例えば、顔検出、セグメンテーション、人間の形を検出するための形状検出など)を実行して、患者がいつ存在するかを検出し、検出結果を受けて、患者の基準デジタル画像をキャプチャし得る。いくつかの実施形態では、基準デジタル画像は、ビデオストリームの個々のフレームよりも高い解像度でキャプチャされ得るが、これは必須ではない。いくつかの実施形態では、カメラ256は、待合室前エリア102内またはその近くに配備された、ウェブカメラやPTZカメラ(例えば、276)などのスタンドアロンカメラであってもよい。カメラ256によって取得された1つまたは複数の画像は、その後、患者に関連付けられた基準デジタル画像として使用され、後にモニタリング対象エリア内の患者を識別するために使用され得る。
[0039]患者キューモジュール258は、モニタリング対象エリア内の患者の(例えばデータベース内にある)優先度キューを確立および/または維持するように構成され得る。様々な実施形態において、キューは様々なパラメータによって順序付けられ得る。いくつかの実施形態では、キュー内の各患者は、患者重大度指標の順序で(すなわち、優先順位によって)ランク付けされてもよい。例えば、最も重大な状態の患者はキューの先頭付近に配置され、重大性がより低い患者はキューの終わり近くに配置され得る(その逆も同様である)。いくつかの実施形態では、更新されたバイタルサインは、キューの順序で、待合室104などのモニタリング対象エリアで待機している患者から取得されてもよい。他の実施形態では、更新されたバイタルサインは、FIFOまたはラウンドロビンの順序で患者から取得されてもよい。他の実施形態では、更新されたバイタルサインは、バイタルサイン取得カメラ276にプログラムされた所定のスキャン軌道に対応する順序で患者から取得されてもよい(例えば、椅子の各列を順にスキャンする)。
[0040]患者識別モジュール260は、バイタルサイン取得カメラ276(または控えめな形式でバイタルサインを取得するように構成されていない別のカメラ)によって取得された1つまたは複数のデジタル画像を、患者キャプチャモジュール254によって取得された1つまたは複数の基準患者画像と共に使用することでモニタリング対象エリア(例えば、待合室104)内の1人または複数の患者の位置を特定するように、本開示の選択された態様で構成され得る。患者識別モジュール260は患者の様々な視覚的特徴を利用して患者を識別するために、様々な画像処理技術を用いて取得されたデジタル画像を分析することができる。患者を認識するために使用され得るこれらの視覚的特徴は限定されるものではないが、顔の特徴(例えば、顔のローカライゼーション)、および衣服、髪、姿勢、アクセサリなどの顔以外の特徴を含み得る。後述する図4〜図8は、任意の状況における患者(より一般的には対象)認識の一部として使用され得る様々な技術の様々な側面を示す。
[0041]いくつかの実施形態では、患者識別モジュール260は、PTZカメラを用いて物理的に、または広視野カメラを用いてデジタル的に、更新されたバイタルサインを取得すべき特定の患者を探すためにモニタリング対象領域をサーチし得る。例えば、患者識別モジュール260は、患者キューモジュール258によって選択された患者を探すためにモニタリング対象領域をサーチすることができる。選択された患者は、例えば、最も高い患者重大度指標を有するキュー内の患者であってもよい。いくつかの実施形態では、患者識別モジュール260は、バイタルサイン取得カメラ276に、選択された患者が特定されるまでモニタリング対象領域(例えば、待合室104)をスキャンさせることができる。
[0042]動的較正モジュール262は、バイタルサイン取得カメラ276の使用をトラッキングし、必要に応じて較正するように構成され得る。例えば、動的較正モジュール262は、バイタルサイン取得カメラ276が特定のPTZ位置に向くように指示されたとき、常に同じ場所に向くことを保証し得る。PTZカメラは常に動いている可能性があり、または少なくとも頻繁に動いている可能性がある。したがって、PTZカメラの機械的部品は摩耗および破損する可能性がある。小さな機械的誤差/バイアスが蓄積することで、時間の経過とともに、バイタルサイン取得カメラ276が所与のPTZコマンドに対して異なる応答をする可能性がある。動的較正モジュール262は、例えば、ランドマーク(例えば、壁上の小さなステッカーなどの目印)を使用して、バイタルサイン取得カメラ276が適切に応答するようにする補正機構を訓練することを含み得る較正ルーチンを時々実行することによって、これを補正してもよい。
[0043]患者キューモジュール258によって特定された患者が患者識別モジュール260によって認識されると、顔/胴/人取得モジュール264は、各自のFOV(視野)が患者の所望の部分を捉えるように、1つまたは複数のバイタルサイン取得カメラ276をパン、チルト、および/またはズームさせるように構成され得る。例えば、いくつかの実施形態では、顔/胴/人取得モジュール264は、患者の顔および/または胴に焦点が合うよう、バイタルサイン取得カメラ276をパン、チルト、またはズームさせ得る。加えて、または代わりに、顔/胴体取得モジュール264は、患者の顔を撮影するために1つのバイタルサイン取得カメラ276をパン、チルト、またはズームさせ、患者の胴を撮影するために別のカメラをパン、チルト、またはズームさせ、患者の全身を撮影するために別のカメラをパン、チルト、またはズームさせる等してもよい。これらにより、様々なバイタルサインおよび/または生理学的パラメータが取得され得る。例えば、患者の脈拍、SpO2、呼吸数、および血圧などのバイタルサインは、例えば、バイタルサイン測定モジュール266によって、1つまたは複数のバイタルサイン取得カメラ276によって撮影された患者の顔の画像/動画に対して画像処理を実行することによって取得され得る。患者の呼吸数や全身の姿勢(疼痛および/または怪我を示す可能性がある)等のバイタルサインおよび/または生理学的パラメータは、例えば、バイタルサイン測定モジュール266によって、1つまたは複数のバイタルサイン取得カメラ276によって撮影された患者の胴の画像/動画に対して画像処理を実行することによって取得され得る。当然ながら、顔および胴はバイタルサインを得るために調べられ得る身体部分の2つの例に過ぎず、限定することを意味するものではない。
[0044]悪化検出モジュール268は、登録された患者の状態が悪化しているか、改善しているか、および/または安定したままであるかを判定するために、1つまたは複数の信号を分析するように構成され得る。いくつかの実施形態では、患者の状態は、少なくとも部分的に、患者のモニタリング順序を決定するために使用されるものと同じ上記患者重大度指標によって表されてもよい。したがって、悪化検出モジュール268は、1つまたは複数のCDS、事例ベース推論、または本明細書に記載の他の臨床的推論アルゴリズム、または、本明細書に記載の重大度指標以外の患者の状態の指標を評価するための他の臨床的推論アルゴリズム(例えば、訓練されたロジスティック回帰モデルまたは他の機械学習モデル)を含むことができる。いくつかの実施形態では、悪化検出モジュール268によって採用される患者の重大度または患者の状態の他の指標を評価するためのアルゴリズムは時々更新されてもよく、例えば、選択された機械学習モジュールのための新しい訓練された重み(例えば、シータ値)を書き込むことによって、または、(例えば、javaアーカイブ、JAR、ファイル、またはコンパイルされたライブラリの形式で)プロセッサによって実行されるべき新しい命令を提供することによって更新され得る。これらの信号は、例えば、患者の初期バイタルサインおよび他の生理学的情報(例えば、図1のブロック108〜110で取得されたもの)、バイタルサイン測定モジュール266によって取得された更新されたバイタルサイン、患者の初期患者重大度指標(例えば、登録中に計算されたもの)、および/または患者の更新された患者重大度指標(例えば、バイタルサイン測定モジュール266から提供された更新されたバイタルサインおよび/または生理学的パラメータに基づいて計算されたもの)を含むことができる。これらの信号を使用して行われた判定に基づいて、悪化検出モジュール268は、様々なアクションを取るために様々な他のモジュールに様々な警告を送ることができる。例えば、悪化検出モジュール268は、例えば、サブスクライブしているモジュール(例えば、病院情報システム240の警告モジュール248)に対してEPSモジュールが警告を公開できるよう、EPSモジュール270に警告を送ることによって、警告を公開し得る。いくつかの実施形態では、そのような警告は、例えば、患者の名前(または、より一般的には患者識別子)、写真、待合室内の患者の最後に検出された位置、ベースラインバイタルサイン、1つまたは複数の更新されたバイタルサイン、および/または患者重大度指標の表示を含むことができる。警告を受けとると、警告モジュール248は、患者の悪化および他の情報、とりわけ、待合室内で最後に検出された患者の位置について、医療従事者に警告を発し得る。
[0045]EPSモジュール270は、図2の様々な他の構成要素によってリリースされたイベントを配信するように構成された一般的な通信ハブであってもよい。いくつかの実施形態では、図2に示される他のモジュールの全てまたは少なくとも一部は、当該モジュールからの何らかの形式の結果/判定/計算/決断を示すイベントを生成することができる。これらのイベントはEPSモジュール270に送信または「公開」され得る。図2に示される他のモジュールの全てまたは一部は、任意の他のモジュールから任意のイベントを受信または「サブスクライブ」することを選択し得る。イベントを受信すると、EPSモジュール270は、当該イベントを示すデータを当該イベントにサブスクライブしている全てのモジュールに送信し得る(例えば、イベントを転送し得る)。
[0046]いくつかの実施形態では、EPSモジュール270は、データベース272および/またはアーカイブ274(任意選択でもよい)などの1つまたは複数のデータベースと通信してもよい。一部の実施形態では、EPSモジュール270は、1つまたは複数のデータベース272および/または274内に記憶された情報へのアクセスを与えるために、および/または、他のモジュールから受信した情報(例えば、警告)をデータベース272および/または274に追加するために、任意のモジュールからの「RPC」(remote procedure calls)を受け入れてもよい。データベース272は、警告、公開情報、または図2の1つまたは複数の他のモジュールによって伝送/ブロードキャスト/送信された他の通信に含まれる情報を記憶することができる。いくつかの実施形態では、データベース272は、例えば、患者および/または患者の初期バイタルサイン、(バイタルサイン取得カメラ276によって取得された)更新されたバイタルサイン、および/または患者重大度指標に関連付けて基準画像を保存することができる。任意選択的なアーカイブ274は、いくつかの実施形態では、同じまたは類似の情報をより長い期間にわたって記憶することができる。
[0047]患者モニタリングシステム252を実装するために、様々なハードウェア構成が利用可能であることは明らかであろう。例えば、いくつかの実施形態では、単一のデバイスがシステム252全体を実装し得る(例えば、カメラ276にバイタルサイン取得機能260〜266を実行させ、悪化検出268および患者キュー管理258を含む、バイタルサイン分析および警告機能を実行する単一のサーバ)。他の実施形態では、複数の独立したデバイスがシステム252を形成してもよい。例えば、第1のデバイスはバイタルサイン取得カメラ276を駆動して機能260〜266を実装し、1つまたは複数の別のデバイスが残りの機能を実施し得る。いくつかのそのような実施形態では、1つのデバイスは待合室の現場にある一方、別のデバイスは離れた場所にあってもよい(例えば、地理的に離れたクラウドコンピューティングアーキテクチャにおける仮想マシンとして実装される)。いくつかの実施形態では、(例えば、プロセッサおよびメモリを含む)デバイスがバイタルサイン取得カメラ276自体の中に配置されてもよく、したがって、カメラ276は単なるダム周辺端末ではなく、バイタルサイン機能260〜266を実行してもよい。いくつかのそのような実施形態では、別のサーバがカメラ276に指示(例えば、識別子、記録全体、または登録された顔画像)を送り、さらなる処理のためにバイタルを返すことを要求してもよい。いくつかのそのような実施形態では、追加の機能がカメラ276に搭載されて提供されてもよく、例えば、悪化検出268(またはそのための前処理)および/または患者キューモジュール258管理などがカメラ276に搭載されて実行されてもよい。いくつかの実施形態では、カメラ276がHISインターフェース250またはEPS 270さえ実装してもよい。様々な追加の構成が理解されるであろう。
[0048]図3は、モニタリングを目的として待合室304内の患者378A〜Cを識別するために本開示の技術が実施され得る例示的なシナリオを示す。この例では、3人の患者378A〜Cが病院待合室304で医療従事者380による対応を待っている。2つのビデオカメラ376A、376Bが待合室304の面(例えば、天井や壁)に取り付けられている。2つのビデオカメラ376A、376Bは、待合室304内の患者378をモニタリングするために使用することができる。患者378A〜Cはそれぞれ、事前の患者状態分析に基づき、トリアージ担当の医療従事者(図示されていない)によって患者重大度指標を割り当てられていてもよい。患者378が担当医を待っている間、2つのビデオカメラ376A、376Bは、モニタリング対象として選択された患者を特定するために本明細書に記載の技術を使用して分析されるデジタル画像(複数可)を取り込むことができる。その後、同じ2つのビデオカメラ(バイタルサインを控えめな形式で取得するように構成されていると仮定する)、または異なるビデオカメラが、例えば患者の悪化を検出するために、上述のように患者378をモニタリングするように動作し得る。いくつかの実施形態では、患者モニタリングシステム(より具体的には悪化検出モジュール268)による患者の悪化の検出に応じて、医療従事者によって患者に関連付けられた患者重大度指標が更新されてもよい。様々な実施形態において、新しい患者が待合室304に入ると、例えば患者モニタリングシステム252によって、患者モニタリングおよび優先順位付けの新たなラウンドが実行され得る。新しい患者が待合室304に入るたびに、例えば患者キューモジュール258によって、患者キューが自動的に更新され得る。これに加えてまたは代わりに、トリアージ後に新たに到着した患者が含まれるよう、医療従事者が患者キューを手動で更新してもよい。
[0049]本明細書に記載される技術は病院の待合室に限定されない。デジタル画像または動画内の被写体を識別するために本明細書で説明される技術が実施され得る多数の他のシナリオが存在する。例えば、本開示の技術は空港、アリーナ、国境検問所、および他の公共の場所における群衆のセキュリティモニタリングのために使用されてもよい。このようなシナリオでは、患者重大度指標を決定するために患者をモニタリングするのではなく、リスク評価や事後調査などの他の目的のために被写体が特定され得る。本明細書で説明される技術はまた、フィットネス環境(例えば、ジム、老人ホーム)、またはデジタル画像に写る個々の被写体の識別が実施され得る他のモニタリングシナリオ(例えば、空港、国境検問所など)などのシナリオにも適用可能であり得る。例えば空港では、例えばゲートで待機している被写体の特徴をチェックイン時に取得された特徴と比較することによって被写体が識別され得る。また、本明細書に記載される技術は、患者の顔が視認可能であることを要さずに、診療を受けずに去った患者を識別するために使用され得る。
[0050]図4は、本開示の選択された態様で構成された構成要素の例、およびそれらの構成要素間の例示的な相互作用を概略的に示す。様々な実施形態において、これらの構成要素のうちの1つまたは複数は、例えば、図2の患者識別モジュール260の一部として、ハードウェアおよびソフトウェアの任意の組み合わせを使用して実装され得る。左上から開始して、カメラは、1つまたは複数のデジタル画像(例えば、複数の個別画像および/または複数の画像からなるストリーム)を取得するように構成されてもよい。図4において、カメラは、上記バイタルサイン取得カメラ476の形態をとる。しかしながら、これは限定を意味するものではない。本明細書で説明される技術は、様々な異なるコンテキストにおいて様々な異なるタイプのカメラを使用して実装され得る。例えば、閉回路テレビ(「CCTV」)および他のタイプのカメラが、本開示の技術を用いて分析可能なデジタル画像を取得し得る。
[0051]全被写体(人物)検出モジュール402(あるいは、背景除去モジュール)は、カメラ476によって取得された画像を分析し、複数の被写体が画像内に写っていると仮定すると、デジタル画像内に写っている複数の被写体に対応するマスクまたは関心領域404を生成するように構成されてもよい。いくつかの実施形態では、ニューラルネットワーク(例えば、畳み込みニューラルネットワーク)がこの分析を実行するように訓練されてもよい。例えば、ニューラルネットワークは、複数の被写体を含む、ピクセル単位でラベル付けされたデジタル画像の形態の訓練例を使用して訓練されてもよい。各ピクセルが、被写体の一部である/無いとしてラベル付けされてもよい。これらの訓練例をニューラルネットワークへの入力として適用することで、どのピクセルが被写体の一部である/無いかについてのピクセル単位の「推測」を含む出力が生成され得る。この出力を、ピクセル単位でラベル付けされた訓練例と(例えば、損失関数を使用して)比較することで差(または誤差)が決定され得る。次いで、ニューラルネットワークは、確率的勾配降下および逆伝播などの最適化技術を含む様々な技法を使用して、この差(または誤差)を最小にするように訓練され得る。当然ながら、デジタル画像内の被写体を分離するために、機械学習に加えて、または機械学習の代わりに、他の技術を使用することができる。
[0052]分離モジュール406は、被写体マスク404を分析して、デジタル画像を、複数の被写体の異なる各被写体410をそれぞれ写す複数の部分408に分割するように構成されてもよい。いくつかの実施形態では、デジタル画像に含まれる複数の被写体がマスクに「スケルトン化(skeletonize)」(例えばセグメンテーション)されてもよい。 図5は、図4の複数の被写体をマスク530にスケルトン化する方法の一例を示す。この例では、被写体マスク404内に写る3人の被写体に関連付けられた肢要素、関節要素、および姿勢要素を使用して、位相的スケルトンマスク530を生成する。被写体を互いに区別するために、すなわち、マスク530を、いくつかの実施形態ではそれぞれが各被写体に対応する3つの別個のサブマスクに分離するために、1つまたは複数のいわゆる「最小カット」(またはそのバリエーション)を適用することができる。例えば、図5では、エッジ532および534がマスク530内の全てのエッジの中で最も小さい傾斜を有する。したがって、マスク530を、それぞれが各被写体に対応する3つの別個のマスクに分離するために、これらのエッジが除去され得る。各被写体が別個のサブマスクによって表されるようになった後、各被写体を写す元のデジタル画像の各部分を識別し、別々に分析することができる。
[0053]個々の被写体を区別するために、スケルトン化の代わりに、分離モジュール406が他の技術を適用してもよい。いくつかの実施形態では、姿勢推定(pose estimation)(例えば、2次元デジタルデータを複数の既知の人間の姿勢と反復的に比較する)を用いて、デジタル画像をそれぞれが個々の被写体を写す複数の部分にセグメント化してもよい。いくつかの実施形態では、スケルトン化および最小カットの代わりに、またはこれらに加えて姿勢推定が実施され得る。さらに他の実施形態では、(例えば、Cannyエッジ検出を用いた)エッジのパーシングなど、他の技術を使用してデジタル画像を個々の被写体を写す複数の部分にセグメント化してもよい。
[0054]図4に戻り、いくつかの実施形態では、構成要素402および406によって実行されるものとして上述した動作が、代わりに、エンドツーエンドディープ(例えば、畳み込み)ニューラルネットワークを使用して、例えば、M.BaiおよびR.Urtasunによる”Deep watershed transform for instance segmentation”、2016年11月24日に記載されたWatershedアルゴリズムを使用して実行されてもよい。本明細書では、ピクセルごとに離散化エネルギー値を予測した。そして、Watershedアルゴリズムを使用して、エネルギー表面を別個の物体(本開示では別々の被写体)のインスタンスにセグメント化することができる。
[0055]デジタル画像がどのようにして個々の被写体410を写す複数の部分408にセグメント化されるかに関わらず、セグメント化/パーシングモジュール412は、特定の被写体410を写すデジタル画像の各部分408を複数のスーパーピクセル4141−4にセグメント化するように構成されてもよい。最終的なスーパーピクセルは、被写体の視覚的特徴に対応してもよい。例えば、1つのスーパーピクセルは被写体の髪を含み、別のスーパーピクセルは被写体の顔/頭を含み(デジタル画像において視認可能であれば)、別のスーパーピクセルは被写体の胴体の衣服(例えば、シャツ、セーター、ジャケットなど)を含み、さらに別のスーパーピクセルは被写体のズボン(または半ズボンやドレスなど)を含み得る。様々な実施形態において、アクセサリ(例えば、ハンドバッグ、帽子、手袋)、靴、ストッキング、靴下等の被写体の他の視覚的要素を含むスーパーピクセルも生成され得る。いくつかの実施形態では、第1のスーパーピクセルセットが生成され得る。各スーパーピクセルは、1つまたは複数の類似性制約を満たすピクセルを含む。衣服は不規則な視覚的特徴(例えば、折り目、しわなど)を有する傾向があり、また、撮影される現実のシーンには様々な障害(例えば、被写体が自分の電話を見ている、部分的に遮断されているなど)がある可能性があるため、初期スーパーピクセルセットは、必ずしも被写体の実際の衣服と非常に正確に対応しない可能性がある。
[0056]したがって、様々な実施形態において、初期スーパーピクセルセットは、様々な意味属性(semantic attribute)を共有する他のスーパーピクセルとクラスター化され得る(例えば、「SLIC(simple linear iterative clustering)」を使用して)。さらに、または代わりに、「CRF(Conditional Random Fields)」、または「DDN(deep decompositional neural networks)」や「FCN(fully convolutional neural networks)」などのディープラーニングに基づくセグメンテーション手法などの他のアプローチが採用されてもよい。いくつかの実施形態では、過度にセグメント化された(例えば、小さすぎる)スーパーピクセルごとに、記述的特徴に基づいてk(ゼロより大きい整数)個の最も近い近傍ピクセルが特定され得る。これらの特徴は色、テクスチャ、パターン(例えば、水玉模様、格子縞など)、空間的位置、形態などを含むことができるが、これらに限定されない。いくつかの実施形態では、畳み込みニューラルネットワークが意味的に互いに類似するスーパーピクセルを識別するように訓練され得る。スーパーピクセルは、いくつかの実施態様ではペアで比較され得るが、他の実施態様において、より大きな倍数でスーパーピクセルがグループ化されてもよい。例えば、第1のピクセルが第のスーパーピクセルおよび第3のスーパーピクセルの両方と類似しており(例えば、予め定められた閾値に基づき)、第2および第3のスーパーピクセルが第1のスーパーピクセルとつながっているコンポーネントを有する場合、3つのスーパーピクセルすべてが1つのスーパーピクセルにクラスター化されてもよい。
[0057]次に、関心領域(「ROI」)分類器416は、セグメント化/パーシングモジュール412によって生成された各スーパーピクセルに意味ラベルを割り当てるように構成され得る。直感的には、ROI分類器416は、被写体のどの部分が各スーパーピクセルに対応するかを決定する。例えば、第1のスーパーピクセルは被写体の脚(例えば、パンツ、ショーツ、スカート等)の上に着用された衣服に対応し、別のスーパーピクセルは被写体の胴体に対応し、別のスーパーピクセルは被写体の髪に対応し、別のスーパーピクセルは被写体の顔に対応する、等々である。
[0058]ROI分類器416は、スーパーピクセルに意味ラベルを割り当てるために様々な技術を使用することができる。いくつかの実施形態では、ROI分類器416が対象の様々な部分について境界ボックスまたは他の空間領域を識別することができ、これらの境界ボックス内に含まれるスーパーピクセルに、対応する意味ラベルを割り当てることができる。例えば、被写体全体について境界ボックスが特定され得る(これは、その被写体に関連付けられたすべてのスーパーピクセルを含む)。その場合、その面積の少なくとも半分が特定の閾値(例えば、おおよそ首の高さ)より(標準的な直交座標系において)高い最大のスーパーピクセルには「頭」の意味ラベルが割り当てられ得る。その面積の大半が前記閾値より高い2番目に大きいスーパーピクセルには「髪」の意味ラベルが割り当てられ得る。「パンツ」の意味ラベルは、その面積の少なくとも半分が別の閾値(例えば、おおよそウエストライン)より低い最大のスーパーピクセルに割り当てられ得る。「胴」、「上着」、または「シャツ」の意味ラベルは、その面積の大半が前記2つの閾値の間にある最大のスーパーピクセルに割り当てられ得る。当然ながら、これは限定することを意味するものではなく、他のシナリオ、例えば被写体が丈の長いドレスまたは医療用ガウンを着用する場合には、他の閾値および/またはメトリックが使用され得る。また、上記と同様に、例えばROI分類器416によって、意味ラベルをスーパーピクセルに割り当てるために他の技術、例えば、姿勢推定および/または確率マップ等を同様に使用することができる。
[0059]特徴抽出器418は、下流処理のために、意味的にラベル付けされた各スーパーピクセルの様々な特徴を抽出するように構成されてもよい。これらの特徴は色、テクスチャ、パターン(例えば、格子縞、水玉模様、ストライプ等)、反射率、サイズ等の様々な形態をとることができる。いくつかの実施形態では、スーパーピクセルに割り当てられた意味ラベルに基づいて、異なる特徴を抽出することができる。例えば、あるスーパーピクセルに「胴」の意味ラベルが割り当てられている場合、袖の種類(例えば、袖なし、半袖、長袖)や襟ぐりなどの特徴が抽出され、スーパーピクセルに「髪」の意味ラベルが割り当てられている場合、色、カールのタイプ、髪質、光沢、範囲、形状(例えば、ポニーテール)などの特徴が抽出され得る。
[0060]類似性およびマッチングモジュール420は、カメラ476によって取得された元のデジタル画像に写る特定の被写体が、登録データベース422に保存された基準画像に写る被写体とマッチするかどうかを決定するように構成され得る。上述のように、いくつかの状況では、被写体の基準画像は、例えば、患者登録中に図2の患者キャプチャモジュール254によって取得されてもよい。いくつかの実施形態では、登録データベース422が登録された被写体の基準画像だけでなく、基準画像内で識別された意味的にラベル付けされた「基準」スーパーピクセルから抽出された特徴も保存するように、図4に示される同じ構成要素によって基準画像が前処理されてもよい。様々な実施形態において、カメラ476によって取得されたデジタル画像に写る特定の被写体を、登録データベース422に保存された基準画像とマッチさせることは、両者の様々な抽出された特徴の間の類似性の指標を計算することを含み得る。様々な実装形態において、類似性は、ユークリッド距離、コサイン類似度などを含むがこれらに限定されない様々な技術および/または概念を使用して計算され得る。
[0061]いくつかの実施形態では、類似性およびマッチングモジュール420は、例えば特徴抽出器418によって各意味的にラベル付けされたスーパーピクセルから抽出された特徴と、基準デジタル画像において識別された基準スーパーピクセルから抽出された特徴との間の類似性の指標を決定するように構成されてもよい。いくつかの実施形態では、比較に使用される基準スーパーピクセルは、考慮中のスーパーピクセルに割り当てられた意味ラベルとマッチする「基準」意味ラベルを有し得る。直感的には、胴体スーパーピクセルは基準胴体スーパーピクセルと比較され、髪スーパーピクセルは基準髪スーパーピクセルと比較され、以下同様である。考慮中の(すなわち、考慮中の被写体を写すデジタル画像の特定の部分に関連付けられた)複数のスーパーピクセルについて決定された複数の類似性の指標に基づいて、類似性およびマッチングモジュール420は、考慮中の被写体が基準画像内に写っているか否かを決定することができる。
[0062]図6Aは、一連のデジタル画像の取得中に被写体の顔が常に見えるわけではない、被写体がシャツまたはセーターを脱ぐといったことにかかわらず、類似性およびマッチングモジュール420が時間の経過とともに、考慮中の一連のデジタル画像(例えば、ビデオストリーム)に写る被写体を、基準デジタル画像に写る被写体とどのようにマッチさせ得るかの一例を示す。上側の3つのグラフx1、x2、およびx3は、それぞれ「胴」、「ズボン」、および「頭」として意味的にラベル付けされたスーパーピクセルの類似性スコアを時間の関数として表す。より具体的には、各グラフは、一連のデジタル画像において検出された該当するスーパーピクセルと、基準デジタル画像からの対応する(すなわち、同じ意味ラベル)静的スーパーピクセルとの間の進行中の類似性スコアを表す。
[0063]したがって、例えば、被写体の頭部を表すグラフx3では、期間620Aおよび620Bの間、被写体の顔が、例えば被写体が外を見ていたために、または被写体の顔が一時的に(例えば、携帯電話で)遮られていたために、カメラが捉えることができなかったことが分かる。さらに、グラフx1では、期間622の間に胴の類似度が低下する。これは、例えば、患者がセーターまたはジャケットを脱いだ、または着用したためであり得る。
[0064]図6Aの下側の2つの図は、被写体(図6Aでは「患者」)が着替えをしたという進行中の確信、および近傍(例えば待合室)を離れたという進行中の確信(x1、x2、x3に基づいて決定される)を時間の関数として表している。様々な実施形態において、患者が着替えをしたという進行中の確信は、複数の類似性スコアに基づいて決定されてもよい。例えば、ズボン/頭部スーパーピクセル間で計算された類似性スコアが一定のままであるが、胴体間の類似性スコアが劇的に/突然変化した場合、これは患者が胴体の衣服を変えたことを示し得る。これは、図6Aの期間622の間において見られる。被写体が着替えをしたという確信は期間622まで低くとどまっているが、その期間に差し掛かると、時間的に対応する類似性スコアx1のみの急激かつ劇的な低下に応じて、スーパーピクセル着替えイベントの確信が増加する(例えば、被写体がセーターまたはジャケットを着用したまたは脱いだ)。同時点において、一番下のグラフの被写体(図6Aでは「患者」)が去ったことの確信は有意な増加を示さない。これは、被写体に対応する他のスーパーピクセルが依然として被写体の基準デジタル画像の基準スーパーピクセルと合致するからである。例えば、類似性スコアx2は期間622の間、比較的一定のままであり、被写体がまだ同じズボンを着用していることを示唆する。
[0065]図6Bは、図6Aのグラフによって表されるシナリオに関連するより多くのグラフを示す。図6Bにおいて、上図の横軸は各被写体識別子(「Pt ID」)を示す。図6Bの上図には11本の棒があり、これは、モニタリングされているエリア(例えば、待合室104)内に11人の被写体が存在している可能性があることを意味する。図6Bの上図の縦軸は、特定の時間tの後の被写体ごとのリコール頻度(recall frequency)α、すなわち、本明細書に記載される技術を用いて各被写体が基準デジタル画像と何回マッチングされたかを表す。(左から)1番目、2番目、3番目、7番目の患者は、他の被写体よりもはるかに頻繁にマッチングされていたことが分かる。これは、2人以上の特定の被写体が外観において比較的同質である場合にしばしば起こり得る。例えば、類似する体型(例えば、身長、体重)を有する複数の被写体が、さらにおそろいの制服等の類似する衣服(暗いズボンおよび明るいシャツが一般的である)を着用している可能性がある。特定の被写体が頻繁に特定される場合、一部の被写体を誤認したり、特定できなかったりすることがあり、また一方で、他の被写体を過剰に特定するおそれがある。図6Bの下図は、特定の位置(例えば、待合室の座席)における以前の患者の検出結果βを時間の関数として表す。
[0066]様々な実施形態において、特定の基準デジタル画像が複数の被写体とあまりに頻繁にマッチングされる場合、または予測される患者の位置に過剰な変化がある場合、様々ないわゆる「ペナルティ」が適用され得る。例えば、新たな被写体の(例えば、頭、胴、脚に対応する)スーパーピクセルが[x
1、x
2、x
3]で表されるとする。1つまたは複数の基準ディジタル画像から生成された同じ意味ラベルを有する基準スーパーピクセルが[y
1、y
2、y
3]によって表されるとする。様々な実施形態において、基準スーパーピクセル[y
1、y
2、y
3]は、例えば、基準画像を訓練された(例えば、既知の特性を備えた衣服/髪を有するラベル付き基準画像を用いて訓練された)機械学習モデルに提供することによって、各基準スーパーピクセルy
jに割り当てられる重みc
jを決定するために使用され得る。いくつかの実装形態では以下の式を適用することができる。
[0067]iおよびnはそれぞれ、探索対象の被写体および考慮中のスーパーピクセルの数(例えば、頭、胴、およびズボンのスーパーピクセルが使用されている場合、n=3)を表す正の整数である。λはペナルティを表す正則化パラメータであり得る。この式の目的は、直感的に言えば、図6Bに示される上図を「平らにする」こと、例えば、すべてのバーが比較的均一な高さを有するようにする(すなわち、各患者が比較的等しい頻度で特定される)ことである。代わりに、いくつかの実施形態では、「LSTM(Long Short Term Memory)」や「RNN(Recurrent Neural Network)」などのディープラーニングに基づく手法を使用してこれらの時間的シグネチャが学習されてもよい。
[0068]図7は、図6Aに示される図に類似する図を示す。しかし、この例では、被写体(図7では「患者」)が実際にエリア(例えば、待合室104)を去っている。したがって、類似性スコアx1、x2、x3はすべて、時点722付近で劇的に低下する。3つの類似性スコアはいずれも同時に低下するため、被写体が去った可能性があるという結論が導かれる。これは下から2番目の図と一番下の図に反映されている。患者が服を着替えたという確信は低いままであり、時点722において、被写体(患者)が去ったという確信は「患者除外」閾値724を上回る。そのような患者除外閾値は手動で選択されてもよく、または、例えば経験的エビデンスに基づいて、あるいは機械学習モデルを訓練することなどによって自動的に選択されてもよい。そのような状況下では、患者識別モジュール260は、被写体がそのエリアを離れた(例えば、患者が診療されることなく去った)と判定することができる。
[0069]図8は、例えば患者識別モジュール260によって使用され得る被写体を識別するための1つの例示的な方法800を比較的高いレベルで概略的に示す。患者モニタリングとは無関係な状況では、方法800を実行する構成要素は患者識別モジュール260とは全く異なるものでもよい。方法800の動作は特定の順序で示されているが、これは限定を意味するものではない。様々な実施形態において、1つまたは複数の動作を追加、省略、または並べ替えることができる。
[0070]ブロック802において、患者識別モジュール260は、例えばバイタルサイン取得カメラ(276、476)または別のカメラを介して、1人または複数の被写体を含むシーン(例えば、待合室)を写す1つまたは複数のデジタル画像を(例えば、ビデオストリームから)取得することができる。ブロック804において、患者識別モジュール260はデジタル画像内の1人または複数の被写体を写す1つまたは複数の部分を検出し得る。いくつかの実施形態では、患者識別モジュール260は、例えば全被写体検出モジュール402および/または分離モジュール406によって、例えば(例えば、マスクを構築することによって)被写体を互いにおよび/または背景から分離するために、構成要素402および406に関連してその一部が上述された様々な技術を使用して、被写体を写す1つまたは複数の部分を検出することができる。
[0071]ブロック806において、患者識別モジュール260は、例えばセグメント化/パーシングモジュール412によって、被写体を写すデジタル画像の特定の部分を複数のスーパーピクセルにセグメント化するために、いわゆる「スーパーピクセルパーシング」を実行し得る。「スーパーピクセル」は、矩形パッチよりも正確にエッジに沿わせられた画像パッチであり得る。上述したように、セグメンテーションモジュール414はスーパー初期ピクセルセットを生成し、次いで、画像上の被写体の同じ意味領域(例えば、シャツ、ズボンなど)を表すスーパーピクセルを合体させるために互いに類似するスーパーピクセルをクラスター化し得る。
[0072]ブロック808において、患者識別モジュール260は次のスーパーピクセルを取得し(またはこれが最初の分析されるスーパーピクセルである場合、最初のスーパーピクセルを取得し)、それを「現在の」スーパーピクセルとし得る。ブロック810において、患者識別モジュール260は、例えばROI分類器416によって、現在のスーパーピクセルに意味ラベルを割り当てることができる。意味ラベルを割り当てるための技術は上記の通りである。例えば、その面積の大部分がネックライン閾値より高いスーパーピクセルは頭部と見なされ得る。面積の大部分がウエストライン閾値より低いスーパーピクセルは脚/ズボンと見なされ得る。以下同様である。
[0073]ブロック812において、患者識別モジュール260は、例えば特徴抽出器418によって、現在のスーパーピクセルから様々な特徴を抽出することができる。抽出される特徴のタイプは現在のスーパーピクセルに割り当てられた意味ラベルに依存し得る。例えば、髪スーパーピクセルからは色およびテクスチャが抽出され得るが、髪は本来的に動的であることが多く、画像間で変化することがあるため、形状は抽出されてもされなくてもよい。胴および/または脚のスーパーピクセルから抽出される特徴の例は色、テクスチャ、形状、およびパターン(例えば、格子縞)であり得る。いくつかの実施形態では、患者識別モジュール260はスーパーピクセルごとに、「HSV(hue−saturation−value)」色、二次元色ヒストグラム(例えば、LAB色空間)、スーパーピクセル幾何学的比率、スーパーピクセル特徴類似性、エッジ、テクスチャ、および/または輪郭などの特徴を抽出することができる。いくつかの実施形態では、「HOG(histogram of oriented gradients)」、「SURF(speeded up robust features)」、オプティカルフローなどのアルゴリズムを使用して、輪郭および他の同様の特徴を抽出することができる。さらに、畳み込みニューラルネットワーク(「CNN」)はより高いレベルの特徴を抽出することができる。これらのアルゴリズムのうちの1つまたは複数が「OpenCV(Open Source Computer Vision)」ライブラリの一部として利用可能である。
[0074]ブロック814において、患者識別モジュール260は、例えば類似性およびマッチングモジュール420によって、現在のスーパーピクセルから抽出された特徴と、基準デジタル画像の1つまたは複数の対応する(例えば、同じ意味ラベルを有する)基準スーパーピクセルから抽出された基準特徴との間の類似性の指標(例えば、上述してきた図におけるx1、x2、x3)を決定することができる。類似性の指標を決定するために、ドット積、コサイン類似度などの様々な技術を使用することができる。ブロック816において、まだ解析されていない追加のスーパーピクセルがある場合、次のスーパーピクセルが選択され、「現在の」スーパーピクセルにされ得る。その後、方法800はブロック808に戻り、次のスーパーピクセルを解析し得る。一方、ブロック816における答えがノーである場合、方法800はブロック818に進み得る。
[0075]ブロック818において、患者識別モジュール260は、例えば類似性およびマッチングモジュール420によって、類似性スコアに基づいて、解析中のデジタル画像の部分に写る被写体を、(例えば、患者モニタリングの場合には登録中に撮影された)基準画像に写る被写体とマッチングし得る。例えば、特定の被写体について、髪/頭のスーパーピクセルおよびズボンのスーパーピクセルの類似性スコアが特定の基準画像に関して最も高いと仮定する。胴の類似性指標が低いとしても、図6Aに関して述べたように、被写体が単にジャケットまたはセーターを着用したまたは脱いだに過ぎないかもしれないので、被写体は依然として基準画像とマッチし得る。
[0076]いくつかの実施形態では、個人のプライバシーが様々な方法で尊重および/または保護されてもよい。例えば、登録された患者の完全な基準デジタル画像を保存するのではなく、いくつかの実施形態では、基準デジタル画像を機械学習モデルに適用することによって生成された特徴/アクティベーション/出力のみが、後の比較のためにメモリ内に保持されてもよい。完全なデジタル画像は(自動的に、またはリクエストを受けて)破棄されてもよい。同様に、識別されるべき人物が含まれるシーンを捉えるデジタル画像も、デジタル画像の適用によって生成された特徴/アクティベーション/出力が生成された後に破棄されてもよい。したがって、人物を識別しようと試みるとき、それぞれのデジタル画像に関連付けられた特徴のみを保持し、比較することができる。これにより、自身の画像が保持されないという一部の人々の懸念を軽減することができる。
[0077]図9は、例示的なコンピュータシステム910のブロック図である。コンピュータシステム910は、典型的には、バスサブシステム912を介して多数の周辺デバイスと通信する少なくとも1つのプロセッサ914を含む。本明細書で使用される「プロセッサ」との用語は、例えば、マイクロプロセッサ、FPGA、「GPU(graphical processing unit)」、ASIC、他の同様のデバイス、およびそれらの組み合わせなど、本明細書で説明される構成要素に帰する様々な機能を実行可能な様々なデバイスを包含するものと理解されたい。これらの周辺デバイスは、例えばメモリサブシステム925およびファイル記憶サブシステム926を含むデータ保持サブシステム924と、ユーザインターフェース出力デバイス920と、ユーザインターフェース入力デバイス922と、ネットワークインターフェースサブシステム916とを含み得る。入出力デバイスは、コンピュータシステム910とのユーザインタラクションを可能にする。ネットワークインターフェースサブシステム916は外部ネットワークへのインターフェースを提供し、他のコンピュータシステム内の対応するインターフェースデバイスに結合される。
[0078]ユーザインターフェース入力デバイス922は、キーボードや、マウス、トラックボール、タッチパッド、またはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムなどのオーディオ入力デバイス、マイクロフォン、および/または他のタイプの入力デバイスを含むことができる。一般に、「入力デバイス」という用語の使用は、情報をコンピュータシステム910または通信ネットワークに入力するためのあらゆる可能なタイプのデバイスおよび方法を含むものとする。
[0079]ユーザインターフェース出力デバイス920は、ディスプレイサブシステム、プリンタ、ファックス機、またはオーディオ出力デバイスなどの非ビジュアルディスプレイを含むことができる。ディスプレイサブシステムは、ブラウン管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または視認可能な画像を作成するための何らかの他の機構を含み得る。ディスプレイサブシステムはまた、例えばオーディオ出力デバイスを介して、非ビジュアルディスプレイを提供してもよい。一般に、「出力デバイス」との用語の使用は、コンピュータシステム910からユーザまたは別のマシンもしくはコンピュータシステムに情報を出力するためのあらゆる可能なタイプのデバイスおよび方法を含むものとする。
[0080]データ保持システム924は、本明細書に記載の一部またはすべてのモジュールの機能を提供するプログラミングおよびデータ構造を格納する。例えば、データ保持システム924は、方法800の選択された態様を実行するための、および/または患者識別モジュール260を含む患者モニタリングシステム252の1つまたは複数の構成要素を実装するためのロジックを含み得る。
[0081]これらのソフトウェアモジュールは一般に、プロセッサ914単独で、または他のプロセッサとの組み合わせによって実行される。ストレージサブシステムで使用されるメモリ925は、プログラム実行中に命令およびデータを格納するためのメインランダムアクセスメモリ(RAM)930、固定命令が格納されるリードオンリーメモリ(ROM)932、および命令/データキャッシュなどの他のタイプのメモリ(追加で、または代替的に少なくとも1つのプロセッサ914と一体的であってもよい)を含む多数のメモリを含むことができる。ファイルストレージサブシステム926は、プログラムおよびデータファイルのための永続的ストレージを提供することができ、ハードディスクドライブ、フロッピーディスクドライブおよび付随するリムーバブルメディア、CD−ROMドライブ、光学式ドライブ、またはリムーバブルメディアカートリッジを含むことができる。特定の実装形態の機能を実装するモジュールは、ファイル記憶サブシステム926によってデータ保持システム924内に、またはプロセッサ914によってアクセス可能な他のマシン内に格納され得る。本明細書で使用される「非一時的コンピュータ可読媒体」という用語は、揮発性メモリ(例えば、DRAMおよびSRAM)および不揮発性メモリ(例えば、フラッシュメモリ、磁気ストレージ、および光学ストレージ)の両方を包含するが、一時的信号は除外されると理解されたい。
[0082]バスサブシステム912は、コンピュータシステム910の様々な構成要素およびサブシステムが意図通りに互いに通信することを可能にするメカニズムを提供する。バスサブシステム912は単一のバスとして概略的に示されているが、代わりに複数のバスを使用するバスサブシステムであってもよい。
[0083]コンピュータシステム910は、ワークステーション、サーバ、コンピューティングクラスター、ブレードサーバ、サーバファーム、または他の任意のデータ処理システムもしくはコンピューティングデバイスを含む様々なタイプのものであり得る。いくつかの実施形態では、コンピュータシステム910はクラウドコンピューティング環境内に実装されてもよい。コンピュータおよびネットワークの絶えず変化する性質のために、図9に示されるコンピュータシステム910に関する記述は、あくまでいくつかの実装形態を説明するための具体例に過ぎない。図9に示されるコンピュータシステムよりも多いまたは少ない構成要素を有するコンピュータシステム910の多くの他の構成が考えられる。
[0084]いくつかの実施形態を本明細書で記載および図示してきたが、当業者は本明細書に記載される機能を実行するための、かつ/または結果を取得するための、かつ/または1つまたは複数の利点を得るための様々な他の手段および/または構造を容易に考え付くであろう。そのような変形形態および/または改変形態はいずれも本明細書に記載される実施形態の範囲に含まれると見なされる。より一般的には、当業者は、本明細書に記載されるいずれのパラメータ、寸法、材料、および構成も例として意図されたものであり、実際のパラメータ、寸法、材料、および/または構成は本開示の教示が利用される具体的な用途に依存することを容易に理解するであろう。当業者は、本明細書に記載される具体的実施形態の数多くの均等物を認識するか、または過度な実験を要することなく確認することができるのであろう。したがって、上記実施形態は例としてのみ提示され、添付の特許請求の範囲およびその均等物の範囲内で、本明細書および特許請求の範囲において具体的に記される態様とは異なる態様で実施形態を実施することができることを理解されたい。本開示の独創的実施形態は、本明細書に記載される個々の特徴、システム、物品、材料、キットおよび/または方法を対象とする。さらに、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法の任意の組み合わせも、そのような特徴、システム、物品、材料、キット、および/または方法が相互に相容れない場合を除き、本開示の範囲に含まれる。
[0085]本明細書で定められ用いられる定義はいずれも、辞書による定義、参照により援用される文献中の定義、および/または定義された用語の通常の意味よりも優先されると理解されたい。
[0086]本明細書および特許請求の範囲において使用される単数形は、特に明記しない限り、「少なくとも1つ」を意味すると理解されたい。
[0087]本明細書および特許請求の範囲で使用される「および/または」という語句は、結合された要素の「いずれかまたは両方」、すなわち、場合によっては連言的に存在し、他の場合には選言的に存在する要素を意味すると理解されるべきである。「および/または」とともに列挙される複数の要素も同じように解釈されるべきであり、すなわち、結合された要素の「1つまたは複数」と解釈されるべきである。「および/または」の節によって具体的に特定されている要素以外の要素が任意で存在してもよく、具体的に特定されている要素に関連しているか否かは問わない。したがって、非限定的な例として、「備える」などの非限定的な文言と併せて使用される場合、「Aおよび/またはB」への言及は、例えば一実施形態ではAのみ(任意でB以外の要素を含む)、別の実施形態ではBのみ(任意でA以外の要素を含む)、さらに別の実施形態ではAおよびBの両方(任意で他の要素を含む)を指し得る。
[0088]本明細書および特許請求の範囲において使用される「または」は、上記で定義された「および/または」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を分けているとき、「または」または「および/または」は包括的であると解されるべきであり、すなわち、複数の要素または列挙された要素のうちの少なくとも1つ、2つ以上、および任意で追加の列挙されていない項目を包含すると解されるべきである。「1つのみ」または「ちょうど1つ」、あるいは特許請求の範囲において使用される「〜からなる」などの明確に反する用語のみ、複数の要素または列挙された要素のうちのただ1つの要素を含むことを指す。一般に、本明細書において使用される「または」という用語は、「〜のいずれか」、「〜のうちの1つ」、「〜のうちの1つのみ」、または「〜のうちのちょうど1つ」などの排他的な用語が先行する場合に限り、排他的な選択肢(すなわち、「両方ではなくどちらか一方」)を指すものとして解されるべきである。特許請求の範囲において使用される「本質的に〜からなる」との表現は、特許法の分野において使用される通常の意味を有するものとする。
[0089]本明細書および特許請求の範囲において、1つまたは複数の要素のリストに言及する「少なくとも1つ」という語句は、列挙された要素のうちの任意の1つまたは複数の要素から選択される少なくとも1つの要素を意味し、必ずしも、リスト内に具体的に列挙されたすべての要素を少なくとも1つを含むわけではなく、また、リスト内の複数の要素のいかなる組合せも排除しない。この定義はまた、語句「少なくとも1つ」が言及する要素のリストにおいて具体的に特定されている要素以外の要素が任意で存在し得ることを許容し、具体的に特定されている要素に関連するか否かは問わない。したがって、非限定的な例として、「AおよびBのうちの少なくとも1つ」(または同等に「AまたはBのうちの少なくとも1つ」、または同等に「Aおよび/またはBのうちの少なくとも1つ」)は、1つの実施形態ではAを少なくとも1つ(任意で2つ以上)含み、Bは存在しないこと(任意でB以外の要素を含む)を指し、別の実施形態ではBを少なくとも1つ(任意で2つ以上)含み、Aは存在しないこと(任意でA以外の要素を含む)を指し、さらに別の実施形態ではAを少なくとも1つ(任意で2つ以上)含み、Bを少なくとも1つ(任意で2つ以上)含むこと(任意で他の要素を含む)を指し得る。
[0090]また、特に明記しない限り、2つ以上のステップまたは動作を含む本明細書でクレームされるいずれの方法においても、方法のステップまたは動作の順番は、方法のステップまたは動作が列挙される順番に必ずしも限定されないと理解されるべきである。
[0091]特許請求の範囲および本明細書において、「備える」、「含む」、「運ぶ」、「有する」、「保有する」、「保持する」、「〜から構成される」等の移行句はすべて非限定であると、すなわち、移行句が言及する要素を含むがそれらに限定されないと理解されるべきである。米国特許庁特許審査手続便覧セクション2111.03に記載されているように、「〜からなる」および「本質的に〜からなる」という移行句のみが、それぞれ限定的または準限定的な移行句である。特許協力条約(「PCT」)の規則6.2(b)に従って特許請求の範囲内で使用される特定の表現および参照符号は発明の範囲を制限しないことを理解されたい。