JP2020518894A - 人識別システム及び方法 - Google Patents

人識別システム及び方法 Download PDF

Info

Publication number
JP2020518894A
JP2020518894A JP2019555972A JP2019555972A JP2020518894A JP 2020518894 A JP2020518894 A JP 2020518894A JP 2019555972 A JP2019555972 A JP 2019555972A JP 2019555972 A JP2019555972 A JP 2019555972A JP 2020518894 A JP2020518894 A JP 2020518894A
Authority
JP
Japan
Prior art keywords
patient
face
digital image
machine learning
vital signs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019555972A
Other languages
English (en)
Other versions
JP7229174B2 (ja
Inventor
クリスティン メンキング スウィッシャー
クリスティン メンキング スウィッシャー
ラーマン アシフ
ラーマン アシフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020518894A publication Critical patent/JP2020518894A/ja
Application granted granted Critical
Publication of JP7229174B2 publication Critical patent/JP7229174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本明細書に開示される技術は、デジタル画像にある個人と識別することに関する。幾つかの実施例において、１人以上の人々を含む場面を取り込むデジタル画像４３０、５３０が取得される４０２。単一のデジタル画像は、単一の機械学習モデル５３４にわたり入力として利用される４０６、４０８。幾つかの実施において、単一の機械学習モデルは、顔以外の特徴の認識タスク及び顔に関する認識タスクを行うように訓練される。前記入力に基づいて、単一の機械学習モデルを介して出力が生成される。出力は、１人以上の人々の所与の人の顔以外の特徴を示す第１のデータ、及びデジタル画像における、顔以外の特徴に対する、少なくとも前記所与の人の顔の位置を示す第２のデータを含む。様々な実施例において、所与の人は、前記出力に少なくとも部分的に基づいて識別される４１０。

Description

本開示は一般的に、それに限らないが、デジタル画像内の人々を識別することを対象としている。特に、本明細書に開示される様々な方法及び装置は、それに限らないが、顔の特徴に加え又はその代わりに、顔以外の特徴、例えば衣服、アクセサリー及び髪等を用いて、デジタル画像内の人々を識別することに関する。
人々を含む場面を取り込むデジタル画像に基づいて人々を自動的に識別することが望ましい状況が多くある。例えば、患者が病院を訪れるとき、患者は通例、登録され、トリアージされ、次いで、例えば医師のような病院の人材が患者を検査及び／又は治療することが可能となるために待つための待合室のような領域に送られる。個々の患者を自動的に識別することが可能であることは、患者が医療人材の割り当てを待っている間、患者の（悪化に対する）状態を監視し続けるのに有用である。患者が診療前に帰宅してしまったかどうか／帰宅したとき決定するのにも有用である。デジタル画像に基づいて人々を自動的に識別することは、様々な他の状況においても有用である。
（例えば分類器を用いた）顔認識を使用して、人々を識別することは可能であるのに対し、それは、分析中のデジタル画像が顔の特徴（例えば、目、鼻、口等）が認識できるようにかなり高い解像度であることが必要である。加えて、装着したカメラが分析されるデジタル画像を取得する、例えば待合室のような状況において、待っている患者が例えば患者の顔が十分に見えない及び／又は患者の顔が（例えば本、雑誌、スマートフォン等により）一部が若しくは完全に塞がれることもあるので、顔認識の助けとなるように位置決められることの保証がない（及び実際に可能性は少ない）。
本開示は、取得したデジタル画像に示される人々を自動的に識別する方法、システム及び装置を対象としている。１つの限定ではない例として、複数のトリアージされた患者は、患者が救急医療医師により診療され得るまで、待合室で待っている。患者は、例えば患者の待ち時間、患者の存在等のような他のデータ点と同様に、例えばトリアージナースにより患者から得られる／取得される情報に基づいて決定される、各患者に関連付けられる重症度の尺度（ここでは"患者重症度(patient acuity measure)"）に基づいて順位付け又はランク付けされる患者監視キュー（簡単に"患者キュー"とも呼ばれる）に含まれる。待合室に取り付けられる１つ以上の"生命兆候取得カメラ"は、各患者から、１つ以上の更新される生命兆候及び／又は生理学的パラメータの非接触及び／又は目立たない取得を定期的に行うように構成される。これらの更新される生命兆候及び／又は生理学的パラメータは、体温、脈拍、酸素飽和度（"ＳｐＯ２"）、呼吸速度、姿勢及び発汗等を含むが、これらに限定されない。生命兆候取得カメラが更新される生命兆候を取得すべき特定の患者を識別するために、本明細書に記載される技術は、−幾つかの実施例において、登録及び／又はトリアージ中に取得した患者のデジタル画像である−いわゆる"参照"デジタル画像を、例えばかなり広い視野（"ＦＯＶ"）から、１つ以上の生命兆候取得カメラにより取得されるかなり低い解像度のデジタル画像により取り込まれる場面に含まれる人とマッチングさせるために用いられる。
一般的に、１つの態様において、ある方法は、１つ以上のプロセッサにより１人以上の人々を含む場面を取り込むデジタル画像を取得するステップ、前記プロセッサの１つ以上により、単一の機械学習モデルへの入力として、デジタル画像を利用するステップであり、ここで単一の機械学習モデルは、顔以外の特徴の認識タスク及び顔に関する認識タスクを行うように訓練されている、前記デジタル画像を利用するステップ、前記プロセッサの１つ以上により、前記入力に基づく単一の機械学習モデルを介して、前記１人以上の人々の所与の人間の顔以外の特徴を示す第１のデータ、及びデジタル画像における、少なくとも顔以外の特徴に対する前記所与の人間の顔の位置を示す第２のデータを含む出力を生成するステップ、並びに前記プロセッサの１つ以上により、前記出力に少なくとも部分的に基づいて前記所与の人間を識別するステップ、を含む。
様々な実施例において、前記単一の機械学習モデルはさらに、位置特定(localization)、セグメント化(segmentation)又は解析(parsing)を並行して実行することを容易にするために訓練される。様々な実施例において、前記単一の機械学習モデルは、畳み込みニューラルネットワークの形式をとってもよい。様々な実施例において、顔以外の特徴の認識タスク及び顔に関する認識タスクは、１つ以上の隠れ層(hidden layer)を共有してよい。様々な実施例において、デジタル画像は、所与の人間を示す参照デジタル画像を取得した後に取得される後続するデジタル画像を含み、前記識別は、前記第１及び第２のデータを前記参照デジタル画像と関連付けられる第３のデータと比較することを含む。様々な実施例において、この第３のデータは、前記単一の機械学習モデルを参照デジタル画像に利用することにより生成される出力を含む。
様々な実施例において、前記場面は、複数の人々を含む、及び前記識別は、前記第１及び第２のデータを複数の参照デジタル画像と関連付けられる追加のデータと比較することを含む。前記複数の参照デジタル画像の各々は、前記複数の人々の１人を示している。様々な実施例において、前記取得は、生命兆候取得カメラを用いて行われる、及び前記方法はさらに、前記識別に応じて前記生命兆候取得カメラにより、所与の人間から１つ以上の生命兆候を目立たずに取得することを含む。
様々な実施例において、所与の人間の顔以外の特徴は、所与の人間が着ている衣服、所与の人間の髪又は所与の人間により飾られる１つ以上のアクセサリーの１つ以上を含む。様々な実施例において、第１のデータは、所与の人間の顔以外の特徴のピクセル単位のラベルを含む。様々な実施例において、第２のデータは、所与の人間の顔、胴体又は他の態様と関連付けられる空間的位置を含む。
上述した概念、及び以下により詳細に説明される追加の概念の全ての組み合わせは（そのような概念が互いに矛盾しないという条件で）、明細書に開示される主題の一部であると考えられることを分かるべきである。特に、本開示の最後にある特許請求の範囲に記載される主題の全ての組み合わせは、本明細書に開示される主題の一部として考えられる。参照することにより含まれる如何なる開示にもある本明細書に明確に用いられる技術は、本明細書に開示される特定の概念に沿った意味と一致すべきであることも分かるべきである。
図面において、異なる図面を通じて、同様の参照文字は概ね同じ部分を言及している。さらに、図面は必ずしも、等倍ではなく、本開示の原理を例示するときに代わりに一般的に置かれる強調である。
様々な実施例に従う、開示される技術を用いて、デジタル画像内で識別される患者を監視するための一般的な処理フローを概略的に示す。 様々な実施例に従う、本開示の様々な構成要素が本開示の選択される態様を実行する例示的な環境を示す。 様々な実施例に従う、開示される技術が実施されている例示的なシナリオを示す。 様々な実施例に従う、デジタル画像内の人を識別する例示的な方法を示す。 図４Ａに示される方法の様々な態様を示す。 図４Ａに示される方法の様々な態様を示す。 様々な実施例に従う、デジタル画像内の人々を識別するために機械学習がどのように用いられているかの例を概略的に示す。 例示的なコンピュータシステムの構成要素を示す。
図１は一般的に、開示される技術を用いて、患者が監視される方法を概略的に示す。特に、受付及び／又は登録を含む、待合室より前の領域、例えば待合室より前の領域１０２、及び／又はトリアージステーション若しくはブースにおいて起こる作業及び行動が示される。さらに、待合室１０４で起こる作業及び行動が示される。ブロック１０６において、例えば受付（図示せず）でチェックした後に、新しい患者が入ってくる及び／又は待合室より前の領域１０２に近づく。
ブロック１０８において、新しい患者が登録される。登録は例えば、患者の名前、年齢、性別、保険情報及び訪問理由のような患者に関する情報を集めることを含む。通例、限定されないが、この情報は、医療関係者、例えばトリアージナースによりコンピュータに手動で入力される。幾つかの実施例において、患者の１つ以上の参照画像が、例えばトリアージナースにより操作される計算装置と一体化したカメラ、独立型のカメラ及び／又は（この場合、少なくとも幾つかの生命兆候が登録時に任意で取得される）生命兆候取得カメラにより取得される。多くの場合、トリアージナースはさらに、様々な医療機器を用いてブロック１１０において様々な最初の生命兆候及び／又は生理学的パラメータを取得する。これらの最初の生命兆候及び／又は生理学的パラメータは、血圧、脈拍、血糖値、ＳＯ２、フォトプレチスモグラム（"ＰＰＧ"）、呼吸速度（例えば呼吸数）、体温及び皮膚の色等を含むがこれらに限定されない。幾つかの実施例において、図１に示されていないが、患者の病歴を取得／更新する、患者のアレルギーを決定する及び患者の使用薬剤を決定する等のような他の情報もトリアージ時に収集されてよい。
一旦患者が登録され、患者の最初の生命兆候及び／又は生理学的パラメータが取得されると、ブロック１１２において、患者は待合室１０４に送られる。幾つかの実施例において、患者は、いわゆる"患者重症度量"を割り当てられ、これは、患者の疾患の深刻さをランク付けるのに使用され、時には、緊急治療室のリソースの予想される必要性を示す尺度である。如何なる数の一般的に使用されるインジケータ及び／又は臨床意思決定支援（"ＣＤＳ"）アルゴリズムも、これらに限定されないが、"ＥＳＩ(Emergency Severity Index)"、"ＴＴＳ(Taiwan Triage System)"及び"ＣＴＡＳ(Canadian Triage and Acuity Sale)"等を含む患者重症度を決定及び／又は割り当てるのに使用される。例えば、幾つかの実施例において、患者の生命兆候は、患者の最初の患者重症度及び／又は患者キューにおける患者の最初の位置を決定するために、システムのデータベースに記憶される事前に規定された生命兆候のしきい値、すなわち所与の患者の年齢、性別、体重等にとって典型的な公表された又は既知の生命兆候の値と比較される。幾つかの実施例において、患者に関する様々な生理学的及び他の情報は、訓練を受けたモデル（例えば回帰モデル、ニューラルネットワーク、深層学習ネットワーク等）、事例ベース推論アルゴリズム、又は他の臨床推論アルゴリズムにわたり、入力として利用され、１つ以上の重症度量を得る。幾つかの実施例において、重症度を得るために使用される情報は、生命兆候取得カメラにより取り込まれる生命兆候又は他の情報を含んでよい、又は完全にそれらに限定されてもよい。幾つかの実施例において、重症度を得るために使用される情報は、例えば患者の以前の電子医療記録（ＥＭＲ）からの情報、トリアージ時に患者から取得される情報、ウェアラブル装置又は患者により担持される他のセンサからの情報、待合室にいる他の患者又は人々に関する情報（例えば待合室にいる他人の生命兆候）、家族若しくは患者に関連する他人に関する情報（例えば、家族のＥＭＲ）等のような情報を代わりに、又はそれに加えて含んでよい。
ブロック１１４において、例えば１つ以上のカメラ、センサ又は医療関係者からの入力を用いて、患者が待合室を離れたことを決定してよい。ブロック１１４は、現在待合室にいる各人をスキャンすること（例えば、以下に説明されるブロック１２０の実行のように、生命兆候が取り込まれる患者のキューの最上位にいると、その患者を位置特定しようとする探索機能の一部として、又は例えば以下に説明されるブロック１１８及び１２０を含むループの複数回の実行として、生命兆候を取り込むために待合室にいる各人を巡回する）並びに患者は位置特定されなかったと決定することを含む。幾つかの実施例において、システムは、患者を見失う事例が既定数に達する、又は（例えばトイレに行っている或いはトリアージ室にいる臨床スタッフと話しているような）一時的な不在を説明するために、患者が待合室を離れたと見なされる前に患者を見失っている既定の時間量が経過するまで待っている。例えば、医師に診てもらう順番であるため、患者が緊急治療室（ＥＲ）そのものに入る。或いは、患者が待っている間に患者の状態が改善され、患者を病院から離れさせる。又は、患者がしびれを切らし、他の場所で診療を受けるために離れる。どんな理由であれ、少なくともしきい時間量の間、患者が待合室を離れたと決定されると、ブロック１１６において、患者は、診てもらうことなく離れたと見なされてよく、例えば登録された患者が入力されるキューから患者を削除することにより、システムから解放されてもよい。
ブロック１１８において、待合室１０４にいる１人の患者が監視するために選択される。例えば、幾つかの実施例において、ブロック１０８−１１０で得た登録情報を記憶しているデータベースが検索され、全ての患者に対する時間のしきい値の設定、又は重症度に基づく（例えば逆相関した）設定により決定されるように、最も高い重症度を持つ患者、又は最近監視されていない最も高い重症度を持つ患者を選択する。他の実施例において、待合室にいる複数の患者に関連付けられる登録情報は、他の尺度、例えば待ち時間、待合室における患者の存在（例えば、患者が度々不在となる場合、解放されるべきかを決定するために、より頻繁に監視するために、見失った患者が選択される。）等に加えて、又はそれらの代わりに、例えば患者夫々の患者重症度により、患者監視キュー順にランク付けられる。さらに、他の実施例において、患者重症度は、患者監視キューをランク付けるとき考慮されず、代わりに、患者の待ち時間、患者の存在等の検討事項だけが考慮される。
しかしながら、幾つかの実施例において、そのような患者監視キューがランク付けられ、そのキューの１番目の患者は、次に監視される人として選択される。患者監視キューが患者重症度により順序付けられる、物理的メモリ位置の順に記憶されることを（可能であったとしても）必要とされない。寧ろ、幾つかの実施例において、ランク付けられた患者監視キューは、各々の患者に関連付けられるランク又は優先レベル値を単に含むだけでもよい。言い換えると、本明細書に説明されるように"患者監視キュー"は、患者重症度、待ち時間等に基づいて論理的にランク付けられた"論理的"キューを言及し、必ずしもメモリ位置の連続した順を言及していない。患者監視キューの患者夫々のランキングの順で、ブロック１１８において監視する患者が選択される。
ブロック１２０において、ブロック１１８で選択された患者は、待合室１０４において位置特定される。様々な実施例において、待合室１０４内又は待合室１０４の近くに配置される１つ以上の生命兆候取得カメラ（図１には図示されず、図２及び図３を参照）は、待合室１０４にいる患者の１つ以上のデジタル画像を取得するように操作される（例えばパン(pan)、チルト(tilt)、ズーム(zoom)等する）。これらの取得したデジタル画像は、患者の様々な視覚的特徴をブロック１０８での登録中に取り込まれた１つ以上の参照患者画像の視覚的特徴とマッチさせるために分析される。患者の画像の対応する特徴にマッチした患者の視覚的特徴は、それらに限定されないが、顔、髪、衣服、胴部、アクセサリー（例えば、帽子、ハンドバッグ、宝石）等を含む。以下により詳細に説明されるように、様々な技術は、選択された患者を位置特定するために、１つ以上の生命兆候取得カメラにより取り込まれるデジタル画像に利用されてよい。これらの技術は、エッジ検出、輪郭検出、ヒストグラム、セグメント化、解析、位置特定、機械学習モデル（例えば畳み込みニューラルネットワーク）等を含んでよい。これらの技術を以下に説明されるように用いることにより、特に顔の特徴以外の特徴を用いて患者を識別することに関して、様々な実施例において、かなり大きなＦＯＶを持つ生命兆候取得カメラがかなり低い解像度のデジタル画像の場面を取り込むという点で、技術的な利点が達成される。このかなり低い解像度のデジタル画像は素早く解析され、様々な視覚的特徴を登録／トリアージ時に得られた上述した参照画像の視覚的特徴と比較することにより、１人以上の患者を識別する。
ブロック１２２において、待合室１０４内又は待合室１０４の近くに取り付けられる又は別の方法で配置される１つ以上の生命兆候取得カメラは、ブロック１１８で選択され、ブロック１２０で位置特定された患者から１つ以上の更新される生命兆候及び／又は生理学的パラメータの目立たない（例えば非接触での）取得を行うように操作される。これらの生命兆候取得カメラは、これらに限定されないが、血圧、脈拍（例えば心拍）、皮膚の色、呼吸速度、ＰＰＧ、ＳＯ２、体温、姿勢及び発汗レベル等を含む、様々な異なる生命兆候及び／又は生理学的パラメータを患者から（患者に物理的に接触することなく）取得するように構成される。幾つかの実施例において、生命兆候取得カメラは、患者から生命兆候を取得する、及び／又は生理学的情報を抽出するために、いわゆる"非接触方法"を行うために装備され、医用撮像装置として使用される。そのようなカメラの限定ではない例は、米国特許出願公報第20140192177 A1、20140139656 A1、20140148966 A1、20140253709 A1、20140235976 A1及び米国特許番号US9125606 B2に開示され、これらは参照することにより、全ての目的で本明細書に包含される。
ブロック１２４において、患者の状態が変化したかは、ブロック１２２で取得した更新される生命兆候及び／又は生理学的パラメータと、以前に取得した生命兆候及び／又は生理学的パラメータ（例えば、ブロック１１０で取得した最初の生命兆候、又は生命兆候取得カメラにより取得した以前のバージョンの更新される生命兆候／生理学的パラメータ）との比較に基づいて、例えば（以下に説明される）図２に示される１つ以上の構成要素により決定される。例えば、患者の脈拍、呼吸速度、血圧、ＳＯ２、ＰＰＧ、体温等が、患者が待っている間に増大した又は減少したかが決定されてよい。その答えが「いいえ」である場合、制御は、ブロック１１８に戻り、新しい患者（例えば次に最も高い患者重症度を持つ患者）が選択され、制御は、ブロック１２０に続く。しかしながら、ブロック１２４での答えが「はい」である（すなわち、患者の状態が変化した）場合、制御は、ブロック１２６に移る。幾つかの実施例において、患者の状態は、監視する順番を決めるのを目的に使用される同じ重症度により（少なくとも部分的に）示されてもよい。
ブロック１２６において、ブロック１２４で検出された変化に基づいて、医療警告が許可されるかが（再び図２の１つ以上の構成要素により）決定される。例えば１つ以上の生命兆候又は患者重症度の変化１つ以上のしきい値を満たしているか（例えば血圧がこの特定の患者には安全であると考えられるレベルより上に増大したか？）が決定される。その答えが「はい」である場合、制御はブロック１２８に移る。ブロック１２８において、例えば勤務看護師又は他の医療関係者に、患者が悪化していることの警告が出力される。医療関係者は次いで救済措置、例えば直ちに患者を入院させる又は患者を先生に送ることが許可されるかを決定するために、患者を調べる。幾つかの実施例において、制御は次いで、ブロック１１８に戻る。しかしながら、ブロック１２６での答えが「いいえ」である場合、このとき幾つかの実施例において、制御はブロック１１８に戻る。
図２は様々な実施例に従う、開示される技術を実行するのに使用される例示的な構成要素を示す。病院情報システム２４０は、病院及び診療所等に一般的に見られる種類である。病院情報システム２４０は、１つ以上のコンピューターネットワーク（図示せず）を介して接続される又は接続されていない１つ以上の計算システムを使用して実施される。病院情報システム２４０はとりわけ、登録モジュール２４２、トリアージモジュール２４４、解放モジュール２４６及び警報モジュール２４８を含む。これらモジュール２４２−２４８の１つ以上、又は本明細書に記載される他の如何なるモジュール若しくはエンジンは、メモリに記憶される命令を実施する１つ以上のマイクロプロセッサを含む、ハードウェア及びソフトウェアの如何なる組み合わせを用いて実施されてよい。例えば、登録モジュール２４２は、プロセッサ上で実行する登録と組み合わせて、本明細書に記載される機能を実行する登録命令を含むのに対し、トリアージモジュール２４４は、同じプロセッサ上で実行するトリアージと組み合わせて、本明細書に記載される機能を実施するトリアージ命令を含む。同様の基本的なハードウェア及びソフトウェアは、本明細書に記載される他の"モジュール"を実施するのに使用されてよい。
登録モジュール２４２は、新しい患者の登録情報を、例えば勤務看護師からの手動入力として受信するように構成される。これは例えば、患者の名前、年齢及び保険情報等を含む。トリアージモジュール２４４は、例えば上述したような生命兆候、及び／又は他の生理学的データ、例えば体重、身長、患者の訪問理由等を、勤務看護師から手動入力として又はネットワークに接続された医療機器から直接受信するように構成される。様々な実施例において、トリアージモジュール２４４により受信した生命兆候及び／又は患者重症度（例えば図２のＥＳＩ）は、例えば病院情報システム２４０と関連付けられる１つ以上のデータベース（図示せず）において、登録モジュール２４２により受信される対応する患者情報と関連付けられる。
警報モジュール２４８は、例えば患者の悪化のような様々な事象を示す情報を受信し、それに応じて様々な警告及び／又は警報を生じさせるために構成される。これらの警告及び／又は警報は、これらに限定されないが、（例えば病院の職員に見ることができる表示スクリーン上の）視覚的出力、インターホンによるアナウンス、テキストメッセージ、ｅメール、音声警報、触覚的警報、呼び出し(page)、ポップアップウィンドウ及び点滅光等を含む様々なモダリティを使用して出力される。病院情報システム２４０のモジュール２４２−２４８は、例えば１つ以上のコンピュータネットワーク（図示せず）を介して、病院情報システムのインターフェース２５０（図２の"H.I.S.インターフェース"）に動作可能なように結合される。
病院情報システムのインターフェース２５０は、従来の病院情報システム２４０と、本開示の選択される態様を用いて構成される患者監視システム２５２との間のインターフェースとして働く。様々な実施例において、病院情報システムのインターフェース２５０は、例えば患者監視システム２５２の他のモジュールに、患者に関する様々な情報、たとえば登録情報、患者重症度（例えばＥＳＩ）、処方される及び／又は投与される薬物、患者が解放されたかどうか、及び様々な警告／警報等を出版する。以下に説明されるように、幾つかの実施例において、これらの出版物は、事象出版・購読モジュール（"ＥＰＳ"）２７０に供給され、このモジュールは、これらの出版物をデータベース２７２に選択的に記憶する及び／又は患者監視システム２５２の他のモジュールにこれらの出版物を選択的に出版する。幾つかの実施例において、病院情報システムのインターフェース２５０は、それに加えて又はその代わりに、他のモジュールにより提供される１つ以上の警報又は出版物を購読(subscribe)する。例えば病院情報システムのインターフェース２５０は、例えばこの病院情報システムのインターフェース２５０が病院情報システム２４０の適切な構成要素、例えば警報モジュール２４８に患者が悪化していることを知らせるように、悪化検出モジュール２６８からの警告を購読する。
患者監視システム２５２は、例えば待合室１０４のような領域にいる患者の監視を容易にする様々な構成要素を含み、患者は、自分の実際の医療状態の助けとなる方法で、尽くされることを保証する。患者監視システム２５２は例えば、１つ以上のカメラ２５６と連動する患者取り込みモジュール２５４、患者キューモジュール２５８、患者識別モジュール２６０、動的較正モジュール２６２、顔／胴体取得モジュール２６４、生命兆候測定モジュール２６６、悪化検出モジュール２６８、上述したＥＰＳモジュール２７０及び１つ以上のデータベース２７２、２７４を含む。上述したように、これらモジュール２５０、２５４及び２５８−２７０の各々は、ハードウェア及びソフトウェアの如何なる組み合わせを用いて実施されてよい。さらに、これらのモジュールが別々に示されているのに対し、これは、各々がハードウェアの別々の部分で実施されることに限定又はそれを提案することを意図いない。例えば、１つ以上のモジュールが組み合わされる及び／又は省略されてよいし、並びに１つ以上のモジュールが１つ以上のコンピューターネットワーク（図示せず）を介して動作するように接続される１つ以上の計算システム上で実施されてよい。図２の様々な構成要素を繋いでいる図示される線は、これらの構成要素にアクセス可能である通信チャンネルを示している。これらの通信チャンネルは、如何なる数のネットワーク又は他のコンピュータ通信技術、例えば１つ以上のバス、イーサーネット（登録商標）、Ｗｉ−Ｆｉ、Bluetooth（登録商標）、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅ及びセルラー通信等を使用して実施されてよい。
患者監視システム２５２は、例えばある患者から少し離れたところから、その患者の１つ以上の生命兆候及び／又は生理学的パラメータを取得するために構成される１つ以上の生命兆候取得カメラ２７６も含む。そのような生命兆候取得カメラの例は上述されている。様々な実施例において、生命兆候取得カメラ２７６は、例えば待合室１０４のような領域の別々の部分がそのＦＯＶ内に含まれるように、パン、チルト及びズームするように動作可能であるパン−チルト−ズーム（"ＰＴＺ"）カメラでもよい。このように、異なる患者を位置特定するために監視される領域をスキャンすることが可能であるため、更新される生命兆候及び／又は生理学的パラメータが目立たずに取得される。
患者取り込みモジュール２５４は、１つ以上のカメラ２５６から患者の取り込まれた画像データを担持する１つ以上の信号を受信する。例えば、幾つかの実施例において、患者取り込みモジュール２５４は、カメラ２５６からビデオストリームを受信してよい。患者取り込みモジュール２５４は、患者が存在しているときを検出するために、ビデオストリーム上で画像処理（例えば顔検出、セグメント化、人間の形を検出するための形状検出）を行ってよく、この検出に応じて、患者の参照デジタル画像を取り込んでよい。幾つかの実施例において、参照デジタル画像が必要とされてなくても、この参照デジタル画像は、ビデオストリームの個々のフレームよりも高い解像度で取り込まれる。幾つかの実施例において、カメラ２５６は、待合室より前の領域１０２内又はその近くに配置されるスタントアロン型のカメラ、例えばウェブカム及びＰＴＺカメラ（例えば２７６）等でよい。カメラ２５６により取り込まれる１つ以上の画像は、以後参照デジタル画像として使用され、これらの画像は、患者と関連付けられる、及び監視される領域にいる患者を識別するのに後で使用される。
患者キューモジュール２５８は、例えばデータベースにおいて監視される領域にいる患者の優先順位のキューを設定及び／又は維持するように構成される。様々な実施例において、このキューは、様々なパラメータにより順序付けられてよい。幾つかの実施例において、このキューにいる患者は、患者重症度順で（すなわち優先順位よって）ランク付けられる。例えば、最も重症の患者は、このキューの先頭の近くに置かれ、それほど重症ではない患者は、キューの最後尾の近くに置かれる、若しくは逆もまた同様である。幾つかの実施例において、前記キューの順で監視される領域、例えば待合室１０４で待っている患者から更新された生命兆候が取得される。他の実施例において、ＦＩＦＯで又はラウンドロビン(round robin)順で患者から更新された生命兆候が取得される。他の実施例において、生命兆候取得カメラ２７６内にプログラムされる既定の走査軌跡に対応する（例えば、椅子の各列を順に走査する）順で患者から更新された生命兆候が取得される。
患者識別モジュール２６０は、監視される領域（例えば待合室１０４）にいる１人以上の患者を位置特定するために、患者取り込みモジュール２５４により取り込まれる１つ以上の参照患者画像と連動して、生命兆候取得カメラ２７６（又は生命兆候を目立たずに取得するようには構成されていないもう１つのカメラ）により取り込まれる１つ以上のデジタル画像を使用するための本開示の選択される態様を用いて構成される。患者識別モジュール２６０は、患者の様々な視覚的特徴を用いて患者を識別するための様々な画像処理技術を使用して、取得したデジタル画像を分析する。患者を認識するのに使用されるこれらの視覚的特徴は、これらに限定されないが、顔の特徴（例えば顔の位置特定）及び顔以外の特徴、例えば衣服、髪、姿勢及びアクセサリー等を含む。以下に説明される図４は、デジタル画像の視覚的特徴を使用して患者を識別するための１つの例示的な方法を示す。以下に説明される図５も、デジタル画像の視覚的特徴を使用して患者を識別するための１つの例示的な計算手法を概略的に示す。
幾つかの実施例において、患者識別モジュール２６０は、更新された生命兆候を得る特定の患者を求めて、監視される領域を探す。例えば、患者識別モジュール２６０は、例えばキューにおいて最も高い患者重症度を持つ患者である、患者キューモジュール２５８により選択される患者を求めて、監視される領域を探す。幾つかの実施例において、患者識別モジュール２６０は、選択される患者が識別されるまで、生命兆候取得カメラ２７６に監視される領域（例えば待合室１０４）をスキャンさせる。
動的較正モジュール２６２は、生命兆候取得カメラ２７６の使用を追跡し、必要に応じてこれらカメラを較正するように構成される。例えば、動的較正モジュール２６２は、生命兆候取得カメラ２７６が特定のＰＴＺ位置に向くように指示されるたびに、カメラは常に同じ場所を向いていることを保証する。ＰＴＺカメラは、常に移動している又は少なくとも頻繁に移動している。それ故に、これらの機械的な構成要素は消耗しがちである。小さな機械的誤差／バイアスが蓄積し、時間の経過と共に、生命兆候取得カメラ２７６が与えられるＰＴＺ命令に対し異なって応答する。動的較正モジュール２６２は、例えば生命兆候取得カメラ２７６に適切に応答させる補正機構を訓練するのにランドマーク（例えば壁にある小さなステッカーのようなしるし）が使用される較正ルーチンを時々実行することにより、これを補正する。
患者キューモジュール２５８により識別される患者が患者識別モジュール２６０により一旦認識されると、顔／胴体取得モジュール２６４は、生命兆候取得カメラ２７６の視野が患者の所望する部分を取り込むように、１つ以上の生命兆候取得カメラ２７６をパン、チルト及び／又はズームするように構成される。例えば、幾つかの実施例において、顔／胴体取得モジュール２６４は、生命兆候取得カメラ２７６が患者の顔及び／又は胴体をフォーカスするように、生命兆候取得カメラ２７６をパン、チルト及び／又はズームする。それに加えて又はそれに代わって、顔／胴体取得モジュール２６４は、患者の顔を取り込むための１つの生命兆候取得カメラ２７６並びに患者の胴体を取り込むためのもう１つの生命兆候取得カメラをパン、チルト及び／又はズームしてよい。様々な生命兆候及び／又は生理学的パラメータがこのとき取得される。例えば患者の脈拍、ＳｐＯ２、呼吸数及び血圧のような生命兆候が、例えば生命兆候測定モジュール２６６により、生命兆候取得カメラ２７６により取り込まれた患者の顔の画像／ビデオに画像処理を行うことにより得られる。患者の呼吸数、及び（痛み及び／又はケガを示す）一般的な姿勢等のような生命兆候及び／又は生理学的パラメータは、例えば生命兆候測定モジュール２６６により、生命兆候取得カメラ２７６により取り込まれた患者の胴体の画像／ビデオに画像処理を行うことにより得られる。もちろん、顔及び胴体は、生命兆候を得るために検査される身体部分のほんの２つの例であり、これらは限定を意味していない。
悪化検出モジュール２６８は、登録される患者の状態が、悪化している、改善している及び／又は安定したままであるかを決定するために、１つ以上の信号を分析するように構成される。幾つかの実施例において、患者の状態は、監視する患者の順番を決定するために上述した同じ患者重症度により少なくとも部分的に表される。そのようなものとして、悪化検出モジュール２６８は、１つ以上のＣＤＳ、事例に基づく推論、又は本明細書に記載される他の臨床的な推論アルゴリズム或いは本明細書に記載される重症度以外の患者の状態の尺度を評価するための他の臨床的な推論アルゴリズム（例えば訓練を受けたロジスティクス回帰モデル又は他の機械学習モデル）を含んでよい。幾つかの実施例において、悪化検出モジュール２６８により用いられる患者重症度又は患者の状態の他の尺度を評価するためのアルゴリズムは、例えば選択される機械学習モジュールの新しく訓練を受けた重み（例えばΘ値）を書き込む、又は（例えばｊａｖａアーカイブ、ＪＡＲ、ファイル又はコンパイルしたライブラリの形式で）プロセッサが実行するための新しい命令を与えることにより、時々更新される。これらの信号は例えば、（例えば図１のブロック１０８−１１０で得られる）患者の最初の生命兆候及び他の生理学的情報、生命兆候測定モジュール２６６により得られる更新される生命兆候、（例えば登録中に計算される）患者の最初の患者重症度、及び／又は（例えば生命兆候測定モジュール２６６から受信した更新される生命兆候及び／又は生理学的パラメータに基づいて計算される）患者の更新される患者重症度を含む。これらの信号を用いて行われる決定に基づいて、悪化検出モジュール２６８は、様々な行動を取るために、様々な他のモジュールに様々な警告を送る。例えば、ＥＰＳモジュールが、購読されるモジュール、例えば病院情報システム２４０の警報モジュール２４８に警告を発行することができるように、悪化検出モジュール２６８は、例えばＥＰＳモジュール２７０に警告を送ることにより警告を発行する。幾つかの実施例において、そのような警告は、例えば患者の名前（又はより一般的に患者のＩＤ）、画像、待合室における患者を最後に検出した位置、ベースラインの生命兆候、１つ以上の更新される生命兆候及び／又は患者重症度の指標を含む。この警告を受け取ると、警報モジュール２４８は、医療関係者への患者の悪化、とりわけ待合室における患者を最後に検出した位置の警告又は警報を生じさせる。
ＥＰＳモジュール２７０は、図２の様々な他の構成要素により発表される事象を配信するために構成される一般的な通信ハブでもよい。幾つかの実施例において、図２に示される他のモジュールの全て又は少なくとも幾つかは、そのモジュールからの何らかの形式の結果／決定／計算／判定を示す事象を生成する。これらの事象は、ＥＰＳモジュール２７０に送られる、すなわち"公表"される。図２に示される他のモジュールの全て又は幾つかは、如何なる他のモジュールからの如何なる事象も受信する、すなわちそれらを"購読"するために選ばれる。ＥＰＳモジュール２７０がある事象を受信するとき、ＥＰＳモジュール２７０は、その事象を購読した全てのモジュールにその事象を示すデータを送る（例えば事象を転送する）。
幾つかの実施例において、ＥＰＳモジュール２７０は、１つ以上のデータベース、例えばデータベース２７２及び／又は（任意である）アーカイブ２７４と通信してよい。幾つかの実施例において、ＥＰＳモジュール２７０は、１つ以上のデータベース２７２及び／又は２７４に記憶される情報にアクセスするため、及び／又は他のモジュールから受信した情報（例えば警告）をデータベース２７２及び／又は２７４に追加するために、如何なるモジュールからの遠隔手続き呼び出し（ＲＰＣ：リモート・プロシージャ・コール）を受理する。データベース２７２は、図２の１つ以上の他のモジュールにより送られる／送信される／伝達される警告、発行物又は他の通信に含まれる情報を記憶する。幾つかの実施例において、データベース２７２は例えば、患者及び／又は患者の最初の生命兆候に関連付けられる参照画像、（生命兆候取得カメラ２７６により取得される）更新される生命兆候及び／又は患者重症度を記憶する。任意のアーカイブ２７４は、幾つかの実施例において、長期間にわたり同じ又は類似の情報を記憶してよい。
様々なハードウェア配列が患者監視システム２５２を実施するのに使用されてよいことは明らかである。例えば、幾つかの実施例において、単一の装置がシステム２５２全体（例えば生命兆候取得機能２６０−２６６を行う、並びに悪化検出２６８及び患者キューの管理２５８を含む生命兆候分析並びに警告機能を行うようにカメラ２７６を操作する単一のサーバ）を実施してよい。他の実施例において、複数の独立した装置が、システム２５２を形成してよい。例えば、第１の装置が生命兆候取得カメラ２７６及び実行機能２６０−２６６を駆動させるのに対し、もう１つの装置が残りの機能を行ってよい。そのような幾つかの実施例において、ある装置は、待合室にあってよいのに対し、も１つの装置は遠隔であってもよい（例えば地理的に離れたクラウドコンピューティングアーキテクチャにある仮想マシンとして実施される）。幾つかの実施例において、（例えばプロセッサ及びメモリを含む）装置は、生命兆候取得カメラ２７６自身の中に置かれてよく、そのようなものとして、カメラ２７６は、単なる単機能周辺機器(dumb peripheral)ではなく、生命兆候機能２６０−２６６を代わりに行うことが可能である。そのような幾つかの実施例において、さらに処理するために生命兆候が戻されることを要求するために、もう１つのサーバは、カメラ２７６に指標（識別子、全記録又は登録された顔画像）を与える。そのような幾つかの実施例において、追加の機能が搭載されるカメラ２７６に設けられてよく、例えば悪化検出２６８（又はそのための前処理）及び／又は患者キューモジュール２５８が搭載されるカメラ２７６で行われてよい。幾つかの実施例において、カメラ２７６はさらに、ＨＩＳインターフェース２５０又はＥＰＳ２７０を実施してもよい。様々な通貨の配列が明らかである。
図３は、監視を目的とする、待合室３０４にいる患者３７８Ａ−Ｃを識別するために、開示される技術が実施される例示的なシナリオを示す。この例において、医療関係者３８０により診てもらう３人の患者３７８Ａ−Ｃが待合室３０４で待っている。２つのビデオカメラ２７６Ａ、３７６Ｂが待合室３０４の表面（例えば天井、壁）に取り付けられている。２つのビデオカメラ３７６Ａ、３７６Ｂは、待合室３０４にいる患者３７８を監視するために用いられる。患者３７８Ａ−Ｃは、予備的な患者の状態分析に基づいて医療関係者（図示せず）を訓練することにより、患者重症度を各々に割り当てられてよい。患者３７８は、担当医を待っているので、２つのビデオカメラ３７６Ａ、３７６Ｂは、本明細書に開示される技術を用いて、監視するための選択される患者を識別するために分析されるデジタル画像を取り込む。（生命兆候を目立たずに取得するように構成されると仮定した）同じビデオカメラ、又は異なるビデオカメラが、上述したように患者３７８を監視するように操作され、例えば患者の悪化を検出する。幾つかの実施例において、患者監視システム（特に、悪化検出モジュール２６８）により患者が悪化したことを検出するのに応じて、患者に関連付けられる患者重症度が医療関係者により更新される。様々な実施例において、新しい患者が待合室３０４に入るとき、患者の監視及び優先順位付けの新しいラウンドが例えば患者監視システム２５２により行われる。新しい患者が待合室３０４に入るたびに、例えば患者キューモジュール２５８により、患者キューが自動的に更新される。それに加えて又はその代わりに、医療関係者は、訓練を受けた後に、新しく到着した患者を含めるために、患者キューを手動で更新してもよい。
本明細書に記載される技術は、病院の待合室に限定されない。デジタル画像又はビデオにいる人々を識別するために本明細書に記載される技術が実行される他の様々なシナリオが存在している。例えば、開示される技術は、空港、競技場及び他の公共の場における群衆のセキュリティー監視のために使用されてもよい。そのようなシナリオにおいて、患者重症度を決定するために患者を監視するのではなく、例えばリスク評価又は事後調査のような他の目的のために個人が識別されてよい。本明細書に記載される技術は、例えば運動(fitness)環境（例えばジム、介護施設）又は他の監視シナリオのようなシナリオにおいて応用可能でもある。加えて、本明細書に記載される技術は、患者の顔が見えることを必要とせずに、診察前に帰宅した患者を識別するのに使用される。
図４Ａは、患者識別モジュール２６０により行われる患者の識別の精度を向上させるために、顔以外の特徴、例えば衣服、髪、アクセサリー（例えば、帽子、財布、靴、宝石等）を使用するための１つの例示的な方法を、比較的にハイレベルで概略的に示している。ブロック４０２において、患者識別モジュール２６０は、例えば生命兆候取得カメラ２７６又はもう１つのカメラを介して、１人以上の人間を含む場面（例えば待合室）を取り込んでいる（例えばビデオストリームからの）１つ以上のデジタル画像を取得する。例えば、図４Ｂは、待合室にある椅子に座っている人４３２を取り込む例示的なデジタル画像４３０を示す。ブロック４０４において、患者識別モジュール２６０は、このデジタル画像内にいる１人以上の人間を検出する。幾つかの実施例において、患者識別モジュール２６０は、顔検出及び／又は人検出を使用して、前記１人以上の人間を識別する。
ブロック４０６において、患者識別モジュール２６０は、いわゆる"スーパーピクセル解析(superpixel parsing)"を行う。"スーパーピクセル"は、矩形のパッチよりもより正確にエッジが揃えられる画像のパッチである。幾つかの実施例において、スーパーピクセル解析は、例えば顔以外の特徴、人の顔、人の身体等を含む、画像内の候補の関心領域（ＲＯＩ）を識別するための（例えば並行して行われる）位置特定、セグメント化及び／又は解析を含む。明細書に用いられるように、"位置特定"は、関心対象の位置を識別する空間的位置、例えば中心座標及び／又は（矩形、円形とする又は他の形状を持つ）境界ボックスを識別することに言及している。明細書に使用されるような"セグメント化"は、１つ以上の関心対象（例えばシャツ、髪、アクセサリー等）を分離して、（本明細書で"スーパーピクセル"とも呼ばれる）一般的に（これに限らないが）不規則な形状にすることに言及している。本明細書に使用されるような"解析"は、セグメント化された関心対象（例えば、帽子、赤いシャツ、格子縞のコート、毛皮のコート等）の記述（例えば特徴ベクトル、格子縞のシャツ）又は"ラベル"の追加の出力を用いたセグメント化に言及している。
患者識別モジュール２６０は、位置特定のために様々な技術を用いる。幾つかの実施例において、患者識別モジュール２６０は、結果生じる顔のＲＯＩに含まれる（例えばそれにより境界付けられる）対象（例えば患者の顔の前部）を位置特定するために、ハールライク特徴(Haar-like features)を探し出すように訓練を受けたハールカスケード分類器(Haar cascade classifier)を用いる。加えて、患者識別モジュール２６０は、比較的小さな衣服に関するＲＯＩを位置特定してよく、これは、色の特徴抽出に実質的に使用され得る衣類ピクセルを含むことだけを保証する。他のＲＯＩ、例えば人のＲＯＩ、背景のＲＯＩ、胴体のＲＯＩ、脚部のＲＯＩ等も、例えば顔のＲＯＩを基準として使用して位置特定されてよい。顔のＲＯＩ、衣類のＲＯＩ及び人のＲＯＩの例は、図４Ｂにおいて夫々４３４、４３６及び４３８で示されている。
幾つかの実施例において、患者識別モジュール２６０は次に、人間４３２により装飾されるアイテム、例えば衣類（例えば人４３２が着用する白いシャツ及び黒いズボン）、アクセサリー及び／又は人の髪を識別するために、人のＲＯＩ（例えば図４Ｂの４３８）をセグメント化及び／又は解析する。幾つかの実施例において、患者識別モジュール２６０は、最大フローグラフカット(Max flow graph cut)及び／又は期待値最大化(EM:expectation maximization)を用いて推定される混合ガウスモデル（ＧＭＭ）を用いる。ラベルの可能性を提供するのに一次元のシングルチャネルのガウスが十分であるのに対し、三次元のガウスは改善されるラベルの可能性を提供してよい。デジタル画像の他の態様、例えばエッジ、ピクセルが隣りに拡張される可能性等は、幾つかの実施例において、ソーベルフィルタ(Sobel filter)を使用して決定される。幾つかの実施例において、中間のスーパーピクセルは、ブロック４０６の動作中に決定されるエッジ及びラベルの可能性に基づいて（例えばピクセル又は"ピクセル方向(pixel-wise)"のラベル毎に）作られる。次いで、最後のスーパーピクセルは、各々の中間のスーパーピクセルの最大連結成分だけを使用することにより生成される。図４Ｃは、人４３２が着用している白いシャツを含むデジタル画像４３０の一部を概ね囲むスーパーピクセル４４０の一例を示す。
ブロック４０８において、患者識別モジュール２６０は、事前に位置特定／セグメント化／解析されたＲＯＩ及び／又はスーパーピクセルの１つ以上から様々な特徴を抽出してよい。例えば、幾つかの実施例において、各々の前景(foreground)スーパーピクセル（例えば人のシャツを囲むスーパーピクセル４４０のような人の特徴を取り込むスーパーピクセル）に対し、患者識別モジュール２６０は、例えば色相・彩度・明度（ＨＳＶ）色、二次元の色ヒストグラム（例えばＬＡＢ色空間）、スーパーピクセル幾何比、スーパーピクセル特徴類似性、エッジ、テクスチャー及び／又は輪郭のような特徴を抽出する。幾つかの実施例において、輪郭及び他の類似の特徴は、例えばＨＯＧ(histogram of oriented gradients)、ＳＵＲＦ(speeded up robust features)、オプティカルフロー等のようなアルゴリズムを使用して抽出される。これらのアルゴリズムの１つ以上が、ＯｐｅｎＣＶ(Open Source Computer Vision)ライブラリの一部として利用可能である。
次いで、ブロック４１０において、ブロック４０８で抽出された特徴は、分析されるデジタル画像４３０に示される人を、例えば上述したような登録中に取得した参照画像に示される人とマッチングするのに使用される。幾つかの実施例において、マルチラベル分類器又は類似性スコアリング手法は、分析下のデジタル画像４３０にいる知らない人が参照デジタル画像に示される人とマッチングしているかを決定するのに使用される。
ブロック４０４−４０６に関し上述した特定の動作は、１つ以上のＲＯＩ及び／又はスーパーピクセルを生成するために、位置特定、セグメント化及び／又は解析がどのように使用されるかのほんの一例である。他の実施例において、他の動作が患者識別モジュール２６０により使用されてよい。例えば、幾つかの実施例において、患者識別モジュール２６０は最初に、取得したデジタル画像にエッジ検出を行う。次いで、患者識別モジュール２６０は、シード(seed)領域又は"セル"を識別するために、例えばボロノイ分割(Voronoi partitioning)を使用して、デジタル画像の分割(tessellation)を行う。次いで、これらのシード領域が（例えば繰り返し）スーパーピクセルを形成(erode)し、これらスーパーピクセルは、類似性に基づいてペアワイズマッチング(pairwise matching)される。最後に、患者識別モジュール２６０は、バックグラウンド検出及び解析を行う。次いで、動作は、方法４００のブロック４０８で動き出す。
他の実施例において、監視のために開発される他の深層学習(deep learning)技術は、位置特定及びセマンティックセグメンテーション(semantic segmentation)を行うために用いられる。例えば、幾つかの実施例において、例えばLuo他著、"Pedestrian Parsing via Deep Decompositional Neural Network", Proceeding of IEEE International Conference on Computer Vision(ICCV)(2003)に開示されるＤＤＮ(deep decompositional network)が使用される。この手法は、人々の関心領域（例えば顔、胴体及び足）の検出及び推定の両方を正確に行うために、低レベルの視覚的特徴を身体部位のラベルのマップに直にマッピングする。このＤＤＮ手法は、示される人のどの部分が塞がれている（すなわち目に見えない）かを示すために、バイナリマスクを推定する閉塞推定層の使用を含む。完了層(completion layer)は、示される人の閉塞部分の特徴を合成し、分解層(decomposition layer)は、これら合成された特徴をラベルのマップに変換する。この手法は、関心のある人（例えば目立たずに監視される患者）が生命兆候取得カメラのＦＯＶ内で一部分だけが見ることができる状況において有益である。ＤＤＮがＲＯＩ及び／又はスーパーピクセルを一旦生成したら、図４のブロック４０８−４１０に関して上述したように、特徴が抽出され、人のマッチングが行われる。
図５は、様々な実施例に従う、デジタル画像に示される人を参照画像に示される人にマッチングするために、深層学習を用いて、カメラ（例えば２７６、３７６）により取得されるデジタル画像がどのように分析されるかのもう１つの限定ではない例を概略的に示す。図５において、例えば生命兆候取得カメラにより取得されるデジタル画像５３０は、機械学習モデル５３４にわたり入力として利用される。この例において、デジタル画像５３０は、一人の人間４３２を示している。しかしながら、これは限定を意味しない。様々な実施例において、デジタル画像５３０は、１人以上の特定の人々が識別される複数の人々を含む場面を取り込んでもよい。図５において、機械学習モデル５３４は、これが必要とされていなくても、完全畳み込みニューラルネットワークの形式をとる。他の種類の深層学習ニューラルネットワーク、例えば回帰型ニューラルネットワーク、スライド窓畳み込みニューラルネットワーク及び他の畳み込みアーキテクチャ等が代わりに利用されることができる。図５において、前記アーキテクチャは、コンテクストを記述するための一連の構成層、及び（"隠れ層"とも呼ばれる）正確に位置特定するための対称的な一連の膨張層を含む。しかしながら、上記ニューラルネットワークが如何なる数の隠れ層及び他のアーキテクチャを持つことを示すために、上２つの層と下２つの層との間に省略符号が示される。
図５において、デジタル画像５３０は、例えば図２の患者識別モジュール２６０により、機械学習モデル５３４にわたり入力として利用される。様々な実施において、機械学習モデル５３４は、複数のタスクを共同で行うように（例えば意味的にラベル付けされたピクセルを備えるデジタル画像を使用して）訓練された１つのニューラルネットワークを含む。幾つかの実施例において、機械学習モデル５３４は、顔以外の特徴の認識タスク及び顔に関する認識タスクの両方を行うように訓練される。様々なアルゴリズム、例えばバッチ若しくは確率的勾配下降法又は正規方程式の応用が前記モデルを訓練するのに使用される。幾つかの実施例において、顔以外の特徴の認識タスク及び顔に関する認識タスクは、１つ以上の隠れ層（及び故に、そこに含まれる少なくとも幾つかのニューロンと関連付けられる重み）を共有する。従って、幾つかの実施例において、機械学習モデル５３４は、例えば各タスクに関連付けられる独立した目標関数(cost function)を最小化する一方、顔の位置特定及びセグメント化を同時に行うように訓練される。共有される隠れ層は、各タスクのパフォーマンスを向上させる共通する特徴の組を学習してよい。
入力されるデジタル画像５３０に基づいて、単一の機械学習モデル５３４を介して、例えば患者識別モジュール２６０により出力が生成される。様々な実施例において、この出力は、人５３２の顔以外の特徴を示す第１のデータ、及び顔以外の特徴に対する、少なくともデジタル画像５３０における人５３２の顔の位置を示す第２のデータを含む。様々な実施例において、機械学習モデル５３４は、デジタル画像に取り込まれる複数の人々を位置特定するために、同様の境界ボックスのタスクを行うＨＯＧ(histogram of oriented gradient)記述子又は畳み込みニューラルネットワークと組み合わせて使用される。
顔以外の特徴を示すデータは、様々な形式で生じてよい。幾つかの実施例において、顔以外の特徴は、衣服、髪、アクセサリー（例えばハンドバッグ、宝石、靴、スマートフォン、眼鏡等）を含んでよい。従って、顔以外の特徴を示すデータは例えば、衣服の色、パターン、形（例えばＴシャツ、ズボン、短パン、ブラウス、タンクトップ、コート、セーター等）、髪の長さ、髪の色、髪の部分的又は完全な欠損（例えばげ）、ハンドバッグの型、ハンドバッグの色、ハンドバッグの大きさ、宝石の色／サイズ／形等を含む。例えば、図５において、顔以外の特徴を示すデータは、髪のスーパーピクセル５６４、シャツのスーパーピクセル５４８及びズボンのスーパーピクセル５５０を含む（又はこれらから抽出される）。顔の特徴を示すデータは、人５３２の顔の位置特定を含む。例えば、図５において、顔の特徴を示すデータは、人５３２の顔を囲む（他の形状である）境界ボックス５４２を含む。
様々な実施例において、上述した第１及び第２のデータは、示される人５３２を（例えば上述したように登録中に得られる）人も示す参照のデジタル画像にマッチングするために、例えば患者識別モジュール２６０により使用される。幾つかの実施例において、機械学習モデル５３４の最終層における各ニューロンの出力（又は"特徴"若しくは"アクチベーション"）は、デジタル画像５３０に示される人５３２と、参照デジタル画像に取り込まれる人のもう１つの描写との間の類似性の尺度を決定するのに使用される。例えば、幾つかの実施例において、（例えば登録中に取り込まれる）複数の参照画像は、対応する参照出力（又はアクチベーション若しくは特徴）を生成するために、機械学習モデル５３４にわたり入力として利用される。同様に、潜在的に関心のある１人以上の知らない人を含む場面（例えばＰＴＺカメラにより取り込まれる待合室）を取り込む１つ以上のデジタル画像も、対応する出力を生成するために、機械学習モデル５３４にわたり入力として利用される。参照デジタル画像に基づいて生成される参照出力は、１つ以上の類似性スコアを生成するために、（例えば認識又は類似性機能のために、ダウンストリームの機械学習モデルを使用して）１つ以上の現在のデジタル画像に基づいて生成される出力と比較される。所与の現在のデジタル画像に対し、最大の類似性スコアは、同じ人を示す参照デジタル画像に対応する。
一例として、待合室にいる複数の患者のために、参照デジタル画像が登録中に取り込まれた、及びこれら参照画像は、各々の参照デジタル画像と関連付けられる参照出力（又は"特徴"若しくは"アクチベーション"）を生成するために、機械学習モデル５３４にわたり入力として利用されたと仮定する。さらに、図２の患者キューモジュール２５８は、生命兆候取得カメラにより監視される次の患者として"John Doe"を選択すると仮定する。患者識別モジュール２６０は、John Doeを位置特定するために、カメラ、例えば生命兆候取得カメラを、例えばかなり広いＦＯＶを持ち及びかなり低い解像度で待合室の周りをパン、チルト及び／又はズームする。待合室にいる患者は、ＦＯＶに取り込まれる（及び従って、これらの患者の現在のデジタル画像が取得される）ので、現在のデジタル画像は、機械学習モデル５３４にわたり入力として利用される。生成される出力（例えば"アクチベーション"、"特徴"）は、類似性スコアを生成するために、参照デジタル画像と関連付けられる参照出力と（例えばニューラルネットワークのような機械学習モデルを使用して）比較される。幾つかの実施例において、類似性スコアが何らかのしきい値を満たす（例えば９０％）場合、このとき、現在のデジタル画像に取り込まれる待合室にいる患者は、参照画像に示される患者とマッチングすると決定する。他の実施例において、待合室にいる患者に対し最大の類似性スコアを生成するマッチングが見つけられてもよい。
上述した技術、特に深層学習及びニューラルネットワークと関連付けられる技術は、様々な技術的な利点を提供する。カメラが複数の人々を含む場面（例えば複数の患者がいる待合室）の周りでパンされるとき、人々はそのカメラを見ない可能性が高い。その代わりに、彼らが下を向いている、本を読んでいる、スマートフォンを操作等をしてよく、これらの何れもが、人々の顔が視界から一部が遮られる。従来の顔認識が単独で利用された場合、所与の人の顔が見ることができなかったという事実は、この所与の人と参照画像とのマッチングを難しくするか又は不可能にする。さらに、従来の顔認識を行うためにかなり高い解像度が必要とされる。さらに、従来の衣服の認識は単独で患者を識別するのに有用であるのに対し、（低い解像度であっても行うことができる）顔の位置特定と、顔以外の特徴のセグメント化との組み合わせを分析することにより、十分に見ることができない所与の人と参照画像とをより高い精度でマッチングすることが可能である。この利点は特に、顔認識を行う必要がないので、診察を受けずに帰った患者を識別することにも役立つ。さらに、デジタル画像に取り込まれる場面に含まれる複数の患者の並行した識別を可能にする。さらに、従来の顔認識が用いられるシナリオにおいてでさえも、顔認識分類器の精度は、これを本明細書に記載される技術と組み合わせることにより増大する。
幾つかの実施例において、個人のプライバシーは、様々な方法で尊重される及び／又は保護される。例えば、幾つかの実施例において、登録される患者の完全な参照デジタル画像を記憶するのではなく、これら参照デジタル画像を機械学習モデルに利用することにより生成される個人の特徴／アクチベーション／出力だけが後での比較のためにメモリに記憶される。十分なデジタル画像が（自動的に又はリクエストにより）処分される。同様に、識別される人が含まれる場面を取り込んでいるデジタル画像も、デジタル画像を利用することにより生成される特徴／アクチベーション／出力が生成された後、処分されてよい。従って、人を識別しようとするとき、夫々のデジタル画像と関連付けられる特徴だけが記憶及び比較される。これは、それらの画像が記憶されないという幾人かの人々の不安を和らげる。
図６は、例示的なコンピュータシステム６１０のブロック図である。コンピュータシステム６１０は通例、バスサブシステム６１２を介して多数の周辺装置と通信する少なくとも１つのプロセッサ６１４を含む。本明細書に用いられるように、"プロセッサ"という言葉は、例えばマイクロプロセッサ、ＦＰＧＡ、ＡＳＩＣ、他の同様な装置及びこれらの組み合わせのような、本明細書に記載される構成要素による様々な機能を行うことが可能である様々な装置を含むと考えられる。これらの周辺装置は、例えばメモリサブシステム６２５及びファイルストレージサブシステム６２６を含むデータ保持サブシステム６２４、ユーザインターフェース出力装置６２０、ユーザインターフェース入力装置６２２、並びにネットワークインターフェースサブシステム６１６を含む。これら入力及び出力装置は、コンピュータシステム６１０とのユーザ対話を可能にする。ネットワークインターフェースサブシステム６１６は、外部ネットワークとのインターフェースを提供する及び他のコンピュータシステムの対応するインターフェース装置に結合される。
ユーザインターフェース入力装置６２２は、キーボード、例えばマウス、トラックボール、タッチパッド若しくはグラフィックスタブレットのようなポインティング装置、スキャナー、ディスプレイに組み込まれるタッチ式スクリーン、例えば音声認識システム、マイクのような音声入力装置及び／又は他の種類の入力装置を含む。一般に、"入力装置"という言葉は、情報をコンピュータシステム６１０内に又は通信ネットワーク上に入力するための、可能な全ての種類の装置及び方法を含んでいると意図される。
ユーザインターフェース出力装置６２０は、ディスプレイサブシステム、プリンター、ファックス機器又は例えば音声出力装置のような非視覚的ディスプレイを含む。ディスプレイサブシステムは、ブラウン管（ＣＲＴ）、例えば液晶ディスプレイ（ＬＣＤ）のようなフラットパネルディスプレイ、プロジェクション装置又は可視画像を作るための何らかの他の機構を含む。このディスプレイサブシステムは、例えば音声出力装置を介して非視覚的ディスプレイを提供してもよい。一般に、"出力装置"という言葉は、コンピュータシステム６１０からユーザに又はもう１つの機械若しくはコンピュータシステムに情報を出力するための、可能な全ての種類の装置及び方法を含んでいると意図される。
データ保持システム６２４は、本明細書に記載されるモジュールの幾つか又は全ての機能を提供するプログラミング及びデータ構造を記憶する。例えば、データ保持システム６２４は、方法４００の選択される態様を行う、及び／又は患者識別モジュール２６０を含む、患者監視システム２５２の１つ以上の構成要素を実装するためのロジックを含む。
これらのソフトウェアモジュールは一般的に、プロセッサ６１４単独により、又は他のプロセッサと組み合わせて実行される。ストレージサブシステムに使用されるメモリ６２５は、プログラムの実行中に命令及びデータを記憶するためのメインのＲＡＭ６３０、固定の命令が記憶されるＲＯＭ６３２及び（それに加えて又はそれに代わって少なくとも１つのプロセッサ６１４と一体化される）他の種類のメモリ、例えば命令／データキャッシュを含む多数のメモリを含むことができる。ファイルストレージサブシステム６２６は、プログラム及びデータファイルのための永続的なストレージを提供することができる、並びにハードディスクドライブ、関連付けられる取り外し可能な媒体と共にフロッピーディスク（登録商標）ドライブ、ＣＤ−ＲＯＭドライブ、光学式ドライブ又は取り外し可能な媒体のカートリッジを含む。ある実施の機能を実行するモジュールは、データ保持システム６２４のファイルストレージサブシステム６２６により、又はプロセッサ６１４によりアクセス可能な他の機械に記憶されてよい。本明細書に用いられるように、"非一時的なコンピュータ可読媒体"という言葉は、揮発性メモリ（例えばＤＲＡＭ及びＳＲＡＭ）及び不揮発性メモリ（例えばフラッシュメモリ、磁気ストレージ及び光学ストレージ）の両方を含むが、一時的な信号を除くと考えられる。
バスサブシステム６１２は、コンピュータシステム６１０の様々な構成要素及びサブシステムに互いに意図されるように通信させるための機構を提供する。バスサブシステムがシングルバスとして概略的に示されているが、このバスサブシステムの代替的実施が複数のバスを使用する。
コンピュータシステム６１０は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム又は他の如何なるデータ処理システム又は計算装置を含む様々な種類とすることができる。幾つかの実施例において、コンピュータシステム６１０は、クラウドコンピューティング環境内で実施されてよい。コンピュータ及びネットワークは絶え間なく変化するので、図６に示されるコンピュータシステム６１０の記載は、幾つかの実施例を例示することを目的とする単なる特定の例と意図される。図６に示されるコンピュータシステムよりも多くの又は少ない構成要素を持つコンピュータシステム６１０の他の多くの形態が可能である。
幾つかの実施例が本明細書に記載及び例示されたのに対し、当業者は、前記機能を行う及び／又は前記結果及び／又は本明細書に記載される利点の１つ以上を得るための様々な他の手段及び／又は構成を容易に想定する、並びにそのような変更及び／又は修正の各々は、本明細書に記載される実施例の範囲内であると見なされる。より一般的には、当業者は、本明細書に記載される全てのパラメータ、寸法、材料及び構成は例示的であることを意図していること、並びに実際のパラメータ、寸法、材料及び／又は構成は、技術が使用される特定の応用に依存していることを容易に分かっている。当業者は、本明細書に記載される特定の実施例に対する多くの同等物を認識する、すなわち、日常の実験だけを用いて確認することができる。従って、上述した実施例は、単なる一例として示されること、並びに添付の特許請求の範囲及びそれと同等の物の範囲内において、実施例は、明確に記載及び請求したのとは別の方法で実施されてよい。本開示の発明的な実施例は、本明細書に記載される、個人の特徴、システム、項目、材料、キット及び／又は方法の各々を対象としている。加えて、上記の特徴、システム、項目、材料、キット及び／又は方法が互いに矛盾しない場合、２つ以上の上記の特徴、システム、項目、材料、キット及び／又は方法の如何なる組み合わせも本開示の範囲内に含まれる。
本明細書に規定及び使用される全ての定義は、辞書的定義、参照することにより組み込まれる文書における定義、及び／又は定義される用語の普通の意味を規制すると理解されるべきである。
明細書及び特許請求の範囲において、それが複数あると述べていなくても、そうではないとはっきり示されない限り、それらは"少なくとも１つ"を意味すると理解されるべきである。
明細書及び特許請求の範囲に用いられる"及び／又は"という表現は、接続されるならば、要素の"何れか一方又は両方"を意味すると理解されるべきであり、すなわち、ある場合は、これら要素は結合して存在している、及び他の場合は、これら要素は分離して存在している。"及び／又は"を用いて記載される複数の要素は、同じように理解されるべきである、すなわち、結合される場合、要素の"１つ又はそれ以上"である。"及び／又は"の節により明確に特定される要素に関係していても又はしていなくても、明確に特定されるこれらの要素以外の他の要素が任意で存在してもよい。従って、限定ではない例として、"Ａ及び／又はＢ"という言及は、例えば"有する"のようなオープンエンド(open-ended)な言葉と共に使用されるとき、ある実施例において、Ａだけを言及する（任意でＢ以外の要素を含む）、もう１つの実施例において、Ｂだけを言及する（任意でＡ以外の要素を含む）、さらにもう１つの実施例において、ＡとＢとを言及する（任意で他の要素を含む）等ができる。
明細書及び特許請求の範囲に使用されるように、"又は"は、上に規定される"及び／又は"と同じ意味を持つと理解されるべきである。例えば、リストにある項目を分けるとき、"又は"若しくは"及び／又は"は、両立的(inclusive)であると解釈される、すなわち、少なくとも１つを含むが、多数の要素又は要素のリスト、及び任意で追加のリストにはない項目の２つ以上も含む。請求項において"から構成される"を使用するとき、それとは反対である明確に示される唯一の表現、例えば"その中の１つだけ"若しくは"その中のちょうど１つ"は、多数の要素又は要素のリストのちょうど１つの要素を含むことを言及している。一般的に、明細書に用いられる"又は"という表現は、例えば"何れか一方"、"その中の１つ"、"その中の１つだけ"又は"その中のちょうど１つ"のような排他的な表現がつくとき、排他的選択肢（すなわち"一方又は他方であるが両方ではない"）を示していると唯一解釈される。"から基本的に構成される"は、請求項に使用されるとき、特許法の分野で用いられるように、それのいつもの意味を持つ。
明細書及び特許請求の範囲に使用されるように、１つ以上の要素からなるリストに関して、"少なくとも１つ"という表現は、その要素のリストにある１つ以上の要素の何れかから選択される少なくとも１つの要素を意味すると理解されるべきであるが、その要素のリスト内に明確に記載されるありとあらゆる要素の少なくとも１つを必ずしも含むのではなく、その要素のリストにある要素の如何なる組み合わせも排除しない。この定義は、明確に特定される要素に関係していても又はしていなくても、"少なくとも１つ"という表現が言及する要素のリスト内に明確に特定される要素以外の要素が任意で存在することも可能である。従って、限定ではない例として、"Ａ及びＢの少なくとも１つ"（又は同等に"Ａ又はＢの少なくとも１つ"、又は同等に"Ａ及び／又はＢの少なくとも１つ"）は、ある実施例において、２つ以上及びＡを任意で含む、少なくとも１つを言及し、Ｂは存在しない（及びＢ以外の要素を任意で含む）、もう１つの実施例において、２つ以上及びＢを任意で含む、少なくとも１つを言及し、Ａは存在しない（及びＡ以外の要素を任意で含む）、さらにもう１つの実施例において、２つ以上及びＡを任意で含む少なくとも１つ、並びに２つ以上及びＢを任意で含む少なくとも１つ（及び任意で他の要素を含む）を言及する。
そうではないとはっきり示されない限り、２つ以上のステップ又は動作を含む特許請求の範囲に記載される如何なる方法において、この方法のステップ又は動作の順番は、必ずしもこの方法のステップ又は動作が列挙されている順番に限定される必要はないことを理解されるべきである。
上記明細書及び特許請求の範囲において、全ての移行句、例えば"有する"、"含有する"、"担持する"、"持つ"、"包含する"、"含む"、"保持する"、"から構成される"等は、オープンエンドである、すなわち含むことを意味するが、それらに限定されないと理解されるべきである。"から成る"及び"から基本的に成る"という移行句は単に、米国特許庁の特許審査手続きのマニュアル、セクション2111.03に規定されるように、夫々クローズド又はセミクローズド(closed or semiclosed)な移行句である。ＰＣＴの規則６．２（ｂ）に従って、請求項内に用いられるある表現及び参照符号は、その範囲を限定しないと理解されるべきである。

Claims (16)

  1. １つ以上のプロセッサにより、１人以上の人々を含む場面を取り込むデジタル画像を取得するステップ、
    前記プロセッサの１つ以上により、単一の機械学習モデルへの入力として、前記デジタル画像を利用するステップであり、前記単一の機械学習モデルは、顔以外の特徴の認識タスク及び顔に関する認識タスクを行うよう訓練されている、前記利用するステップ、
    前記プロセッサの１つ以上により、前記入力に基づく前記単一の機械学習モデルを介して、前記１人以上の人々の所与の人の顔以外の特徴を示す第１のデータ、及び前記デジタル画像における、少なくとも前記顔以外の特徴に対する前記所与の人の顔の位置を示す第２のデータを含む出力を生成するステップ、並びに
    前記プロセッサの１つ以上により、前記出力に少なくとも部分的に基づいて、前記所与の人を識別するステップ、
    を有する、コンピュータ実施方法。
  2. 前記単一の機械学習モデルはさらに、位置特定、セグメント化又は解析を並行して行うことを容易にするために訓練される、請求項１に記載のコンピュータ実施方法。
  3. 前記機械学習モデルは、畳み込みニューラルネットワークを有する、請求項１に記載のコンピュータ実施方法。
  4. 前記顔以外の特徴の認識タスク及び前記顔に関する認識タスクは、１つ以上の隠れ層を共有している、請求項１に記載のコンピュータ実施方法。
  5. 前記デジタル画像は、前記所与の人を示す参照デジタル画像を取得した後に取得される後続するデジタル画像を有する、並びに前記識別するステップは、前記第１及び第２のデータを前記参照デジタル画像と関連付けられる第３のデータと比較するステップを有する、請求項１に記載のコンピュータ実施方法。
  6. 前記第３のデータは、前記単一の機械学習モデルを前記参照デジタル画像に利用することにより生成される出力を有する、請求項５に記載のコンピュータ実施方法。
  7. 前記場面は、複数の人々を有する、並びに前記識別するステップは、前記第１及び第２のデータを複数の参照デジタル画像と関連付けられる追加のデータと比較するステップを有し、前記複数の参照デジタル画像の各々は、前記複数の人々の１人を示している、請求項１に記載のコンピュータ実施方法。
  8. 前記取得するステップは、生命兆候取得カメラを用いて行われる、及び前記方法はさらに、前記識別するステップに応じて前記生命兆候取得カメラにより、前記所与の人から１つ以上の生命兆候を目立たずに取得するステップを有する、請求項１に記載のコンピュータ実施方法。
  9. 前記所与の人の前記顔以外の特徴は、前記所与の人が着用している衣服、前記所与の人の髪、又は前記所与の人により飾られる１つ以上のアクセサリーの１つ以上を含む、請求項１に記載のコンピュータ実施方法。
  10. 前記第１のデータは、前記所与の人の前記顔以外の特徴のピクセル単位のラベルを有する、請求項１に記載のコンピュータ実施方法。
  11. 前記第２のデータは、前記所与の人の顔、胴体又は他の態様と関連付けられる空間的位置を有する、請求項１に記載のコンピュータ実施方法。
  12. １つ以上のプロセッサ、
    前記１つ以上のプロセッサと動作可能なように結合される生命兆候取得カメラ、及び
    前記１つ以上のプロセッサと動作可能なように結合されるメモリ
    を有するシステムにおいて、前記メモリは、前記１つ以上のプロセッサによる命令の実行に応じて、１つ以上のプロセッサに、
    複数の登録される患者から、監視される患者を選択する、
    前記複数の登録される患者の少なくとも一部を含む場面のデジタル画像を、前記生命兆候取得カメラを介して取得する、
    前記デジタル画像に基づいて、前記一部の患者の各々の１つ以上の顔以外の特徴を抽出する、
    前記デジタル画像に基づいて、前記一部の患者の各々の１つ以上の顔の特徴を抽出する、
    前記抽出された顔以外及び顔の特徴に基づいて、前記監視される患者を識別する、並びに
    前記識別に基づいて、前記監視される患者から１つ以上の更新される生命兆候を、前記生命兆候取得カメラを介して目立たずに取得する
    ことをさせる前記命令を有する、システム。
  13. 前記顔以外の特徴は、関心のある衣服の領域として識別される前記デジタル画像の領域から抽出される、請求項１２に記載のシステム。
  14. 前記顔以外の特徴は、色相−彩度−明度（ＨＳＶ）色、二次元の色ヒストグラム、テクスチャー、オプティカルフロー、輪郭又は深層学習ネットワークから抽出されるハイレベル特徴の１つ以上を含む、請求項１２に記載のシステム。
  15. 単一の機械学習モデルへの入力として、前記デジタル画像を利用する、並びに
    前記入力に基づいて、前記単一の機械学習モデルを介して、前記抽出される顔及び顔以外の特徴を含む出力を生成する
    命令をさらに有する請求項１２に記載のシステムにおいて、前記単一の機械学習モデルは、前記顔以外及び顔の特徴を並行して抽出することを容易にするように訓練される、システム。
  16. 前記一部の所与の人の前記１つ以上の顔の特徴は、前記所与の人の顔に関連付けられる空間的位置を含む、請求項１２に記載のシステム。
JP2019555972A 2017-04-14 2018-04-04 人識別システム及び方法 Active JP7229174B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762485654P 2017-04-14 2017-04-14
US62/485,654 2017-04-14
PCT/EP2018/058516 WO2018188993A1 (en) 2017-04-14 2018-04-04 Person identification systems and methods

Publications (2)

Publication Number Publication Date
JP2020518894A true JP2020518894A (ja) 2020-06-25
JP7229174B2 JP7229174B2 (ja) 2023-02-27

Family

ID=61952681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019555972A Active JP7229174B2 (ja) 2017-04-14 2018-04-04 人識別システム及び方法

Country Status (5)

Country Link
US (2) US11157726B2 (ja)
EP (1) EP3610410A1 (ja)
JP (1) JP7229174B2 (ja)
CN (1) CN110869938A (ja)
WO (1) WO2018188993A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180092495A (ko) * 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
EP3452955A4 (en) * 2017-06-06 2019-07-03 Midea Group Co., Ltd. HARD DETECTION METHOD WITH HAND DETECTION USING DEEP NEURAL NETWORK
US10452923B2 (en) 2017-11-28 2019-10-22 Visual Semantics, Inc. Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation
WO2019207721A1 (ja) 2018-04-26 2019-10-31 日本電気株式会社 情報処理装置、制御方法、及びプログラム
EP3803678A1 (en) * 2018-05-25 2021-04-14 Koninklijke Philips N.V. Person identification systems and methods
US11775834B2 (en) 2018-11-22 2023-10-03 Polycom, Llc Joint upper-body and face detection using multi-task cascaded convolutional networks
EP3884661A4 (en) * 2018-11-22 2022-07-27 Polycom, Inc. COMMON USE OF FACE, MOTION AND UPPER BODY DETECTION IN A GROUP FRAMING
BR112021011817A2 (pt) * 2018-12-27 2021-08-31 Nec Corporation Aparelho de processamento de informações, método de processamento de informações e programa
US11475246B2 (en) 2019-04-02 2022-10-18 Synthesis Ai, Inc. System and method for generating training data for computer vision systems based on image segmentation
US11134079B2 (en) * 2019-05-21 2021-09-28 International Business Machines Corporation Cognitive behavioral and environmental access
CN110223279B (zh) * 2019-05-31 2021-10-08 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备
EP3808269A1 (en) 2019-10-15 2021-04-21 Koninklijke Philips N.V. Device, method and system for determining a vital sign of a subject
CN113033263B (zh) * 2019-12-24 2024-06-11 深圳云天励飞技术有限公司 一种人脸图像年龄特征识别方法
KR20210093072A (ko) * 2020-01-17 2021-07-27 엘지전자 주식회사 Personal roi를 활용한 프로파일링
US11783587B2 (en) * 2020-03-04 2023-10-10 Nec Corporation Deep learning tattoo match system based
WO2021190756A1 (en) 2020-03-26 2021-09-30 Brainlab Ag Determining image similarity by analysing registrations
TWI759731B (zh) * 2020-04-27 2022-04-01 淡江大學 機器學習方法
CN112699810B (zh) * 2020-12-31 2024-04-09 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112766927B (zh) * 2021-01-28 2023-06-20 成都晨云信息技术有限责任公司 一种基于人脸识别技术的高校新生入学资格审查方法
CN112949531A (zh) * 2021-03-15 2021-06-11 哈尔滨理工大学 一种基于图像处理与机器学习的颈部姿态识别方法
CN114973305B (zh) * 2021-12-30 2023-03-28 昆明理工大学 一种针对拥挤人群的精确人体解析方法
CN114343612B (zh) * 2022-03-10 2022-05-24 中国科学院自动化研究所 基于Transformer的非接触式呼吸率测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2014529797A (ja) * 2011-08-22 2014-11-13 コーニンクレッカ フィリップス エヌ ヴェ データ管理システム及び方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US20070237364A1 (en) 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
US8582807B2 (en) 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US8379920B2 (en) 2010-05-05 2013-02-19 Nec Laboratories America, Inc. Real-time clothing recognition in surveillance videos
US9025864B2 (en) 2010-06-01 2015-05-05 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
BR112014002227A2 (pt) 2011-08-01 2017-02-21 Koninklijke Philips Nv dispositivo e método para a obtenção e processamento de leituras de medição incluindo pelo menos um componente representante de um fenômeno físico em um ser vivo; processador e método para processar leituras de medição incluindo pelo menos um componente representante de um fenômeno físico em um ser vivo; e programa de computador
MX2014002199A (es) 2011-09-02 2014-05-30 Koninkl Philips Nv Camara para generar una señal biometrica de un ser vivo.
US9778079B1 (en) * 2011-10-27 2017-10-03 Masimo Corporation Physiological monitor gauge panel
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
US20160171167A9 (en) * 2012-07-02 2016-06-16 Physio-Control, Inc. Clinical dashboard for medical device
BR112015011573A2 (pt) 2012-11-23 2017-07-11 Koninklijke Philips Nv dispositivo de monitoramento remoto, método de monitoramento remoto e programa de computador
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
MX2015011368A (es) 2013-03-06 2015-12-16 Koninkl Philips Nv Sistema y metodo para determinar informacion de signos vitales.
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
US20160217260A1 (en) * 2015-01-22 2016-07-28 Koninklijke Philips N.V. System, method and computer program product for patient triage
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
US10163042B2 (en) * 2016-08-02 2018-12-25 International Business Machines Corporation Finding missing persons by learning features for person attribute classification based on deep learning
US10726312B2 (en) * 2016-12-05 2020-07-28 Avigilon Corporation System and method for appearance search
CA3046035A1 (en) * 2016-12-05 2018-06-14 Avigilon Coporation System and method for cnn layer sharing
WO2018117704A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
US10366595B2 (en) * 2017-03-10 2019-07-30 Turing Video, Inc. Surveillance method and system based on human behavior recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2014529797A (ja) * 2011-08-22 2014-11-13 コーニンクレッカ フィリップス エヌ ヴェ データ管理システム及び方法

Also Published As

Publication number Publication date
EP3610410A1 (en) 2020-02-19
US20220036055A1 (en) 2022-02-03
WO2018188993A1 (en) 2018-10-18
JP7229174B2 (ja) 2023-02-27
CN110869938A (zh) 2020-03-06
US11157726B2 (en) 2021-10-26
US20180300540A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP7229174B2 (ja) 人識別システム及び方法
US11232287B2 (en) Camera and image calibration for subject identification
US10832035B2 (en) Subject identification systems and methods
US11295150B2 (en) Subject identification systems and methods
US20210090736A1 (en) Systems and methods for anomaly detection for a medical procedure
US10997397B2 (en) Patient identification systems and methods
JP7299923B2 (ja) 個人識別システムおよび方法
Adireddi et al. Detection of eye blink using svm classifier
Hsu et al. Extraction of visual facial features for health management
Manzoor et al. A health detection model based on facial data
Wang et al. Framework for facial recognition and reconstruction for enhanced security and surveillance monitoring using 3D computer vision
Chhaya et al. Robust face detection in patient triage images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220324

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230214

R150 Certificate of patent or registration of utility model

Ref document number: 7229174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150