JP2022514167A - 対象者をモニタリングするための装置、システム及び方法 - Google Patents

対象者をモニタリングするための装置、システム及び方法 Download PDF

Info

Publication number
JP2022514167A
JP2022514167A JP2021520372A JP2021520372A JP2022514167A JP 2022514167 A JP2022514167 A JP 2022514167A JP 2021520372 A JP2021520372 A JP 2021520372A JP 2021520372 A JP2021520372 A JP 2021520372A JP 2022514167 A JP2022514167 A JP 2022514167A
Authority
JP
Japan
Prior art keywords
subject
field
view
unit
spatial arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021520372A
Other languages
English (en)
Other versions
JPWO2020083772A5 (ja
JP7320059B2 (ja
Inventor
トーマス マリア ファルク
デン ヒューヴェル テウン ファン
アンジェラ グラッシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022514167A publication Critical patent/JP2022514167A/ja
Publication of JPWO2020083772A5 publication Critical patent/JPWO2020083772A5/ja
Application granted granted Critical
Publication of JP7320059B2 publication Critical patent/JP7320059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、対象者をモニタリングするための装置、システム及び方法に関する。合理的な費用及び複雑さで、より高い性能を得るため、該装置は、対象者の少なくとも一部を含む視野から撮像ユニットにより時間経過とともに取得された画像データを取得するよう構成された、入力インタフェース81と、該対象者の該取得された画像データからモニタリング信号を決定するよう構成された、モニタリング信号決定ユニット82と、該画像データを評価して該撮像ユニットに対する該対象者の空間的配置を決定し、該決定された空間的配置についてのフィードバックを提供するためのフィードバック信号を生成するよう構成された処理ユニットであって、該フィードバック信号は、該空間的配置が維持されても良いか変更されるべきかを、該視野の照明によって指示するよう、投射ユニット9を制御するよう構成された、処理ユニット83と、該フィードバック信号を出力するよう構成された、出力インタフェースと、を有する。

Description

本発明は、対象者をモニタリングするための装置、システム及び方法に関する。
カメラベースの非接触技術は、対象者、例えば病院の患者又は介護施設若しくは自宅の高齢者を、目立たない方法で遠隔モニタリングする可能性を提供する。カメラベースの非接触患者モニタリングアプリケーションは、患者の身体又は身体の一部の適切な視野を有するカメラを利用する。
カメラの視野は、カメラの視野(FOV)に対する患者(及び/又はベッド又は椅子等の患者の支持体)の不適切な位置、カメラと患者との間のオブジェクトによって引き起こされる遮蔽、及びカメラと患者との間の人々(例えば医療スタッフ又は訪問者)によって引き起こされる遮蔽のうちの1つ以上を含む、幾つかの要因によって妨げられる可能性がある。
これらの課題に対処するための種々の方法が知られている。1つの選択肢は、画像データ(ビデオ出力)を視覚的にチェックし、(カメラの位置及び/又は角度及び/又は移動オブジェクト又は人を調整することを含むことができる)補正動作を行うことであるが、このことは、プライバシー上の懸念を伴い、技能及び労力を必要とする。別の選択肢は、ベッド、オブジェクト等をどこに配置するかについての特定のワークフロー指示を使用することであるが、このことは、人為的エラーを起こしやすく、柔軟性がない。更に別の選択肢は、複数のカメラにより冗長性を提供することであるが、このことは、コスト及びシステムの複雑さを増大させる。
それ故、性能を向上させ、かつカメラによって取得された画像データを使用することによって患者をモニタリングするための既知の装置及び方法の欠点の1つ以上を伴わない、患者モニタリングが必要とされている。
米国特許出願公開US2014/0368425A1は、画像捕捉装置を有する透明ディスプレイを調整するためのシステム及び方法を開示している。
米国特許出願公開US2007/0076935A1は、対象者の呼吸運動をモニタリングするための方法及びシステムを開示している。
米国特許出願公開US2012/0075464A1は、画像を捕捉し、画像を表す信号を出力するように構成されたカメラを含むモニタリングシステムを開示している。
本発明の目的は、合理的な費用及び複雑さで、より高い性能を有する、対象者をモニタリングするための装置、システム及び方法を提供することにある。
本発明の第1の態様においては、対象者をモニタリングするための装置であって、
対象者の少なくとも一部を含む視野から撮像ユニットにより時間経過とともに取得された画像データを取得するよう構成された、入力インタフェースと、
前記対象者の前記取得された画像データからモニタリング信号を決定するよう構成された、モニタリング信号決定ユニットと、
前記画像データを評価して前記撮像ユニットに対する前記対象者の空間的配置を決定し、前記決定された空間的配置についてのフィードバックを提供するためのフィードバック信号を生成するよう構成された処理ユニットであって、前記フィードバック信号は、前記空間的配置が維持されても良いか変更されるべきかを、前記視野の照明によって指示するよう、投射ユニットを制御するよう構成された、処理ユニットと、
前記フィードバック信号を出力するよう構成された、出力インタフェースと、
を有する装置が提供される。
本発明の更なる態様においては、対象者をモニタリングするためのシステムであって、
前記対象者の少なくとも一部を含む視野から時間経過とともに画像データを取得するよう構成された撮像ユニットと、
前記取得された画像データに基づいて対象者のモニタリング信号を決定するための、前述の装置と、
を有するシステムが提供される。
本発明の更に他の態様においては、対応する方法、コンピュータ上で実行されたときに、ここで開示される方法のステップを該コンピュータに実行させるためのプログラムコード手段を有するコンピュータプログラム、及び、プロセッサにより実行されたときに、ここに開示される方法を実行させるコンピュータプログラム製品を保存した、非一時的なコンピュータ読み取り可能な記録媒体が提供される。
本発明の好適な実施例は、従属請求項に定義される。本発明の方法、システム、コンピュータプログラム及び媒体は、特に従属請求項で定義され、ここで開示されるような、本発明のシステムと類似及び/又は同一の好適な実施例を有することは、理解されるべきである。
本発明は、画像データを使用することによって、既知の装置、システム及び方法の欠点を克服するという着想に基づいており、画像データは、取得され(即ち例えば撮像ユニットから直接的に又は記憶装置から、取得又は受信され)、モニタリングのタスクに使用されて、撮像ユニットに対する対象者の空間的配置を決定(例えば推定又は計算)する。例えば撮像ユニットの視野に対する対象者の相対位置及び/又は向きが、例えば対象者及び/又は撮像ユニットの不適切な配置を検出するために決定される。更に、例えば他のオブジェクト及び/又は人によって引き起こされる対象者の任意の遮蔽が検出されても良い。対応するフィードバック(例えば推奨、命令、制御信号等)は、例えば現在の空間的関係についてユーザに通知し、任意に、現在の空間関係によって引き起こされる実際のモニタリングタスクに関する任意の欠点を克服するために、適切な変更を(例えば自動的に及び/又はユーザ対話を通じて)促すために、当該情報に基づいて生成され得る。
それ故、本発明では、対象者に対する撮像ユニットの誤った配置を識別し、目標(即ちベッド上に横たわっていても良い対象者の身体)が撮像ユニットの視野に含まれるように、撮像ユニットの正しい位置決めを達成するための情報を提供することが可能である。
撮像ユニットは、視野の従来のカメラ画像を取得する従来のカメラ、例えばビデオカメラ、静止画像カメラ、Webカム、RGBカメラ等であっても良い。代替としては、撮像ユニットは、距離情報を含む3D画像データを取得するタイムオブフライト(time-of-flight)カメラ等の3Dカメラであっても良い。
本発明は、種々のモニタリング用途に使用することができ、用途に応じてモニタリング信号に種々の選択肢がある。1つの用途では、胸部及び/又は腹部の動きの観察からの呼吸測定又はPPG信号が画像データの時間シーケンスから導出され、そこからバイタルサイン(例えば心拍数、SpO2、呼吸数等)が従来から知られている測定値を使用して導出されても良いフォトプレチスモグラフィ(PPG)等の、従来から知られている測定値を使用するバイタルサインモニタリングの状況で、本発明が使用され得る。別の用途においては、対象者の活動レベルを測定し、及び/又は患者の異常な運動行動(例えばもがき又は掴み、即ちリントピッキング行動)を、対象者のせん妄状態の症状として決定しても良い。一般に、本発明は、種々のカメラベースの用途に使用することができる。
一実施例によれば、前記処理は、画像データを評価して、対象者が画像データ内で可視であるかどうか、又は対象者が遮蔽されているか若しくは撮像ユニットの視野外にあるかどうかを検出するように構成される。例えば画像データ内の対象者の一部を覆う影(視野を時間的に照明することによって生じる)を検出して、遮蔽を見つけることができ、次いで、斯かる遮蔽を回避する方法を任意に指示して、対応するフィードバックを生成するために使用することができる。別の実施例においては、例えば3D(奥行き)カメラを撮像ユニットとして使用して、画像データ内の奥行き情報又は画像データと共に装置に利用できるようにする場合、遮蔽及び遮蔽オブジェクトをそのような画像データ及び奥行き情報から直接的に検出することができるので、投射ユニット及び視野の一時的な照明は不要である。
他の実施例によれば、該視野は、撮像ユニットが該視野を観察するのと実質的に同じ方向から少なくとも一時的に照明される。好適には、該視野は、撮像ユニットの視野と実質的に重なる投射視野を有する投射ユニットによって、少なくとも一時的に照明される。例えば投射器は、撮像ユニットの視野と実質的に重複する投射視野を有するように配置されても良い。一実施例においては、例えばLEDのアレイ又は他の光源のような投射器が、撮像ユニットとして使用されるカメラに一体化されても良く又はカメラに搭載されても良い。このようにして、該投射器は、照明パターン及び/又は影を生成することによって、空間的配置についての指示及びフィードバックを与えるために使用される。
上述したように、フィードバックは、種々の形態をとることができ、種々の情報を有することができる。一実施例においては、フィードバック信号は、投射ユニットを制御して、視野の照明を通して、空間的配置が維持されても良いか又は変更されるべきかを示すように構成されても良い。例えば、視野内の選択された領域の照明及び/又は記号、色、文字及びテキストのうちの1つ以上の投射を、この目的のために使用することができる。視野の異なる領域は、例えば異なる色で照らされても良く、且つ/又は異なる照明パターン及び/又は異なる輝度で照らされて、撮像ユニットの視野内で十分に見えるシーンの空間領域及び、例えば遮蔽されている他の空間領域を示すことができる。
別の実施例においては、フィードバック信号は、例えば視覚フィードバック及び/又は音声フィードバックの使用によって、空間的配置が維持されても良いか又は変更されなければならないかを、ユーザフィードバックを介して示すように、ユーザインタフェースを制御するように構成されても良い。ユーザインタフェースは、例えばシーンの隣に配置されたディスプレイスクリーン又はラウドスピーカであっても良い。
更に別の実施例においては、フィードバック信号は、投射ユニット及び/又はユーザインタフェースを制御して、空間的配置がどのように変更されるべきかを示すように、命令又は記号の形で構成されても良い。
フィードバック信号は、更に、i)遮蔽オブジェクトが動かされるべきかどうか及び/又はどのように動かされるべきか、ii)対象者及び/又は対象者の支持体が動かされるべきかどうか、及び/又はiii)撮像ユニット及び/又は投射ユニットが動かされるべきかどうか及び/又はどのように動かされるべきか、を示すように、投射ユニット及び/又はユーザインタフェースを制御するように構成されても良い。当該情報に基づいて、ユーザは、現在の空間的配置によって引き起こされるあらゆる問題を克服するために適切な措置をとることができる。
別の実施例においては、処理ユニットは、空間的配置を変更するために、撮像ユニットを制御するための制御信号を生成するように及び/又は、決定された空間的配置に基づいて、対象者を支持するための支持体を生成して、その位置及び/又は向きを変更するように構成されても良く、出力ユニットは、制御信号を出力するように構成されている。従って、空間的配置の変化が自動的に行われる自動システムを実現することができる。
本発明のシステムは、少なくとも、上述の装置と、画像データを取得するための撮像ユニットとを有する。更に、該システムは、視野を少なくとも一時的に照明するように構成された投射ユニットを有してもよく、投射ユニットは、撮像ユニットの視野と実質的に重なる投射視野を有し、及び/又は、空間的配置が維持されても良いか又は変更され得るかを視野の照明を通して示すように構成され及び/又は、空間的配置が維持されても良いか又は変更され得るかを、ユーザフィードバックを通して示すように構成されたユーザインタフェースを有しても良い。
本発明のこれら及び他の態様は、以下に記載される実施例から明らかになり、それを参照して説明される。
従来のシステムの模式的な図を示す。 本発明によるシステムの第1の実施例の模式的な図を示す。 本発明による装置の実施例の模式的な図を示す。 本発明によるシステムの第2の実施例の模式的な図を示す。 本発明によるシステムの第3の実施例の模式的な図を示す。 本発明による方法の実装例のフロー図を示す。
図1は、対象者2をモニタリングするための従来のシステム1の模式的な図を示す。この状況では、対象者2は患者であり、例えば病院又は介護施設で、ベッド3に横たわっている。別の人4、例えば看護婦又は訪問者が、ベッド3のそばに立っている。システム1は、患者2の少なくとも一部を含む視野6から時間経過とともに画像データを取得するように構成された、ベッド3の上の天井に取り付けられた従来の光学ビデオカメラ等の撮像ユニット5を備える。取得された画像は、単に患者2をモニタリングするために、例えば中央モニタリング室内のモニタ上に表示するために使用されても良く、又は、例えば患者2が寝台3内に依然としているときに、患者2の呼吸数又は脈拍数、患者2の任意の活動等、患者2に関する特定の情報を提供するモニタリング信号を取得するために、装置8、例えばコンピュータによって処理されても良い。
図1に示される状況に示されるように、撮像ユニット5の視野は、撮像ユニット5の視野6に対する患者2及び/又はベッド3の不適切な位置、撮像ユニット5と患者2との間のオブジェクト7(モニタ又は可動テーブル等)によって引き起こされる遮蔽、及び撮像ユニット5と患者2との間の他の人4(例えば医療スタッフ)によって引き起こされる遮蔽等、幾つかの要因によって妨げられる可能性がある。
これらの課題に対処するための既知の方法は、撮像ユニットの出力を視覚的にチェックすること、及び手動で補正動作を行うこと(例えば撮像ユニットの位置又は視野を手動で変更すること)を含むが、これはプライバシーの問題を有し、技能及び労力を必要とする。別の既知の方法は、ベッド、オブジェクト等をどこに配置するかについての特定のワークフロー命令を提供することであるが、これらはヒューマンエラーを起こしやすく、あまり柔軟性がない。更に、冗長性が複数の撮像ユニットにより提供されても良いが、追加のコスト及びシステムの複雑さの増加を伴う。
図2は、本発明によるシステム100の第1の実施例の模式的な図を示す。全体的に、この状況は図1と同様であるが、本実施例においては、撮像ユニット5の視野6を少なくとも一時的に照明するように構成された投射ユニット9(例えば投射器又は有向光ビームを放射する光源)の使用によって、視野6が少なくとも一時的に照明される。この目的のために、本実施例において備えられた(任意の)投射ユニット9は、撮像ユニット5の視野6と実質的に重なり合い、視差が十分に小さい投射領域10を有する。好適には、投射ユニット9は、視野6及び投射視野10が、特に投射視野10が視野6を完全に覆うように十分な重なり合って配置されることを確実にするために、撮像ユニット5の中に又はその隣に取り付けられる。
視野6の一時的な照明によって、撮像ユニット5に対する患者2の空間的配置に関するフィードバックを提供することができる。例えば投射ユニット9を用いて照明パターン及び/又は影を作ることができ、これは例えば医療スタッフに空間的配置の問題を知らせる。斯かる照明パターンは、図2に例示的に示されており、照明パターン11、12及び13は、オブジェクト7又は他の人4が患者2の少なくとも一部の遮蔽につながり得ることを示し、照明パターン14は、投射視野10の一部が視野6の外にあることを示す。別の実施例においては、視野6に対応する投射形状が提供され、境界(端として見られる)及び遮蔽(影として見られる)を暗黙的に示す。更に別の実施例においては、特定のパターンを投射して、画像データの自動分析によって検出された問題、例えばベッドの視野外の部分又は遮蔽領域の部分を示すことができる。
図2に示すように、投射は、原因(即ちオブジェクト/人物)及び結果(影)の両方を示すために、問題を引き起こすオブジェクト/人物に、及び/又は隣接するベッド領域上に直接行うことができる。別の実施例においては、投射は、例えば或る色(例えば赤)が変化が必要であることを示し別の色(例えば緑)が変化が必要でないことを示すようなカラーコードの使用によって、空間的配置が維持されても良いか変化されるべきかを、視野の照明を通して示すために使用され得る。更に、一実施例においては、適切な領域、例えばことによると距離表示を伴って、ベッドを移動させるべき方向におけるベッド上の矢印のような、符号や記号等の形で、是正措置のための特定の指示を投射することができる。該矢印はベッドの現在位置の端から始まり、ベッドがあるべき位置で終わっても良い。更に、矢印を斯かる方向にレンダリングすることによって、ユーザは、遮蔽を低減するようオブジェクトを移動できる。矢印は、オブジェクトの現在位置の端部から始まり、オブジェクトが関心領域をもはや遮蔽しない位置で終わる。
本実施例によれば、撮像ユニット5は、2D光学カメラ(例えばRGBビデオカメラ、ウェブカメラ又は画像を定期的に取得する静止画像カメラ)であっても良いが、代わりに、例えばせん妄検出又は超音波撮像装置に関連するアプリケーションにおいて必要とされるような患者の活動をモニタリングするために使用されるような距離情報を提供するためのタイムオブフライト型カメラのような赤外カメラ(例えば暗闇でも同様に動作する)又は3D(奥行き)カメラであっても良い。望ましい状態は、ベッド3上の患者2が完全に撮像ユニット5の視野内にあることである。
3D(奥行き)カメラが撮像ユニットとして使用されている場合(又は2Dカメラと奥行き測定ユニット(レーダユニット等)が使用されている場合)、奥行き情報は画像データ内又はデータと一緒に利用できる。この奥行き情報(及び画像データ)から、3Dにおける空間的関係に関する情報を検出すること、特に遮蔽及び遮蔽オブジェクトを検出することが可能である。遮蔽物及び遮蔽オブジェクトを検出するための情報を得るための投射ユニット及び視野の一時的な照明(画像取得中の)は、斯かる実施例においては省略されても良い。斯かる実施例は、従って、図1に示すように構成することができ、その違いは、撮像ユニット5が3D(奥行き)カメラであること又は2Dカメラに加えて画像測定ユニット(図示せず)が設けられていることである。
本発明による装置8は、撮像ユニット5により取得された画像データを処理し、上述のフィードバックを提供するフィードバック信号を生成する。図3は、本実施例による装置8の別の実施例の模式的な図を示す。本実施例は、対象者2の少なくとも一部を含み、少なくとも一時的に照明されている視野6から撮像ユニット5によって時間経過とともに受信される画像データを取得する(即ち受信する又は取り出す)入力インタフェース81を有する。
モニタリング信号決定ユニット82は、得られた対象者の画像データからモニタリング信号を判定する。モニタリング信号は、例えばPPG信号、バイタルサイン信号(例えば呼吸信号、脈拍数信号、SpO2信号等)、動き信号指示運動又は患者の活動等であっても良い。
並行して、処理ユニット83は、撮像ユニット5に対する対象者2の空間的配置を決定するために画像データを評価し、決定された空間的配置についてのフィードバックを提供するためのフィードバック信号を生成する。ここで空間的配置とは、撮像ユニット5の視野6内に少なくとも潜在的にある対象者の一部が、実際には撮像ユニットによって「見え」ておらず(即ち検出されず)従って撮像データによって取得された画像データ中にレンダリングされていないかどうか及び/又は対象者のどの部分がそのようになっているかの情報を含む、対象者2及び撮像ユニット5の相対位置及び/又は方向として理解される。
出力インタフェース84は、フィードバック信号(及び任意にモニタリング信号)を出力する。
入力インタフェース81と出力インタフェース84とは、別個のインタフェースであっても良く、共通のインタフェースであっても良い。これらは、例えば無線又は有線ネットワークを介して又は有線若しくは無線データ通信技術(例えばWi-Fi(登録商標)、Bluetooth(登録商標)、LAN等)を用いて、別の装置と直接的にデータを交換するための従来のデータインタフェースとして実施することができる。モニタリング信号決定ユニット82と処理ユニット83とは、別個の処理要素であっても良いし、プロセッサ又はコンピュータ等の共通の処理要素であっても良い。
フィードバック信号を使用することによって、ユーザ(例えば医療スタッフ)は、撮像ユニット5、対象者2及び視野6内に存在する可能性のある他のオブジェクト又は人物の現在位置に関する問題が存在するか否か、及び/又はどこに斯かる問題が存在するかの情報を取得し、それによりユーザは、該問題を解決するために適切な措置を講じることができる。他の実施例においては、以下に説明するように、問題を自動的に解決することさえできる。
図4は、本発明によるシステム200の第2の実施例の模式的な図を示す。本実施例においては、システム200は、空間的配置が維持されても良いか又は変更すべきかどうかをユーザフィードバックによって示すように構成されたユーザインタフェース15を備える。更なる情報は、ユーザインタフェース15によって同様に提供されても良い。
ユーザインタフェース15によって提供される可能なフィードバックは、撮像ユニット5の視野6内にある領域の量に基づいて、カラーコーディング(即ち信号機のような)を提供するディスプレイに基づくものであっても良い。例えば赤は、ベッド及び/又は患者が視野6内にないこと(又は画像データから決定された関心領域が視野外にあること)、及びベッド及び/又は患者の位置が変更されるべきであることを示しても良い。黄色は、部分的な遮蔽(又は関心領域が部分的に視野外にあること)を示しても良く、緑色は、ベッド及び患者が完全に検出可能であり、(人及び/又はオブジェクトからの)遮蔽がないこと(又は関心領域が完全に視野内にあること)を示しても良い。
更に、一実施例においては、視野6は、その輪郭をユーザ指定の色(例えば青)でレンダリングする(又はその全領域を塗りつぶす)ことによって示しても良く、視野6内の関心領域は、その輪郭を別のユーザ指定の色(例えば緑)でレンダリングする(又はその全領域を塗りつぶす)ことによって示しても良く、視野6の外側の関心領域は、その輪郭を更に別のユーザ指定の色(例えば赤)でレンダリングする(又はその全領域を塗りつぶす)ことによって示しても良い。更に、関心領域を遮るオブジェクト/人物が、それらの輪郭を別のユーザ指定色(例えばオレンジ色)でレンダリングする(又はそれらの全領域を塗りつぶす)ことによって示されても良い。
ユーザインタフェース15によって提供される別の可能なフィードバックは、異なるタイプの遮蔽(人、オブジェクト、部分的遮蔽、完全遮蔽等)に関して異なる音及び/又はアラーム等の音響的フィードバックを提供する、ラウドスピーカに基づくことができる。例えばオブジェクトが関心領域を遮蔽している場合、ユーザ指定の音をレンダリングしても良い。空間的設定の品質は、上述したように、緑色、黄色及び赤色についてのユーザ指定の音を有する音響的な信号によって示すことができる。更に、修正動作は、音響フィードバック(自動車の音響駐車支援システムのような)によって、例えばベッドが視野の完全に外側にある場合には連続音を使用し、ベッドが視野に入る場合には低速音シーケンスを使用し、ベッドが視野の完全に内側にある場合には音を使用しないことによってサポートすることができる。別の実施例においては、連続トーンは、オブジェクト全体が関心領域を遮蔽している場合にレンダリングされても良く、より低いトーンシーケンスは、オブジェクトのより少ない部分が関心領域を遮蔽している場合にレンダリングされても良く、オブジェクトがもはや関心領域を遮蔽していない場合には、トーンはレンダリングされなくても良い。
図5は、本発明によるシステム300の第3の実施例の模式的な図を示す。この実施例においては、システム300は、撮像ユニット5及び/又はベッド3の位置及び/又は向きを変更するための手段を備える。例えば撮像ユニット5(及び投射ユニット9)が取り付けられるロボットアーム16又は電動マウントユニットを有しても良い。装置8によって生成され提供される制御信号に応じて、ロボットアーム16は、撮像ユニット5の現在の空間的配置が対象者2のモニタリングに関連する問題を引き起こすことが装置8によって決定される場合、撮像ユニット5の位置及び/又は向きを(直線運動及び/又は回転運動で)自動的に変更(即ちチルト及び/又はパン)し得る。同様に、モータ(図示せず)が、装置8からの対応する制御信号に応答して、その位置及び/又は向きを変更(自動的に)するために、ベッド3に設けられても良い。斯かる実施例により、作業空間、精度及び速度を向上させることができる。
図6は、本発明による方法の例示的な実施のフロー図を示す。第1のステップS1において、ユーザ(例えば看護婦)は、患者が寝ているベッドを、撮像ユニットの一般的な領域内の患者部屋に運び入れる。第2のステップS2において、処理ユニット83は、撮像ユニット5からの変更された画像によってトリガされ、空間的配置の分析を開始し、所望の状態と比較する。ステップS3において、所望の状態が達成されているかどうかがチェックされる。所望の状態が達成されない限り、処理ユニット83は、ステップS4において適切なフィードバック動作を決定し、そうでない場合、該処理は、ステップS2にループバックする。ステップS5において、適切なフィードバック動作のための表示が(マウント/視覚的/音響)フィードバックユニットに送られる。ステップS6において、フィードバック動作が、自動的に(例えば電動マウントユニットによって)及び/又はユーザ(例えば看護師)によって手動で、受信された指示に従って実行される。そして、ループはステップS2に戻る。
一実施例においては、ユーザは該システムを設定することができ、即ち、上述したすべての可能な選択肢のうち、どれを有効又は無効にすべきかを指定することができる。本発明は、主として、カメラを使用する非接触患者モニタリング用途に使用される。しかしながら、原理的には、他の多くのカメラベースの用途で適用することができる。更に、X線システムにおいては、適切な身体部分が、X線源によって放出されX線検出器(撮像ユニットを表す)によって検出されるX線ビーム(少なくとも一時的な照明を表す)の照射野(撮像ユニットの視野を表す)内にあることを確実にするように適用することができ、ここではX線照射される1つ以上の身体部分が関心領域を表す。
本発明は図面及び以上の記述において説明され記載されたが、斯かる説明及び記載は説明するもの又は例示的なものであって限定するものではないとみなされるべきであり、本発明は開示された実施例に限定されるものではない。図面、説明及び添付される請求項を読むことにより、請求される本発明を実施化する当業者によって、開示された実施例に対する他の変形が理解され実行され得る。
請求項において、「有する(comprising)」なる語は他の要素又はステップを除外するものではなく、「1つの(a又はan)」なる不定冠詞は複数を除外するものではない。単一の要素又はその他のユニットが、請求項に列記された幾つかのアイテムの機能を実行しても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光記憶媒体又は固体媒体のような適切な媒体上で保存/配布されても良いが、インターネット又はその他の有線若しくは無線通信システムを介してのような、他の形態で配布されても良い。
請求項におけるいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。

Claims (14)

  1. 対象者をモニタリングするための装置であって、
    対象者の少なくとも一部を含む視野から撮像ユニットにより時間経過とともに取得された画像データを取得するよう構成された、入力インタフェースと、
    前記対象者の前記取得された画像データからモニタリング信号を決定するよう構成された、モニタリング信号決定ユニットと、
    前記画像データを評価して前記撮像ユニットに対する前記対象者の空間的配置を決定し、前記決定された空間的配置についてのフィードバックを提供するためのフィードバック信号を生成するよう構成された処理ユニットであって、前記フィードバック信号は、前記空間的配置が維持されても良いか変更されるべきかを、前記視野の照明によって指示するよう、投射ユニットを制御するよう構成された、処理ユニットと、
    前記フィードバック信号を出力するよう構成された、出力インタフェースと、
    を有する装置。
  2. 前記処理は、前記画像データを評価して、前記対象者が前記画像データに見えているか、前記対象者が前記撮像ユニットの視野において遮蔽されているか、を検出するよう構成された、請求項1に記載の装置。
  3. 前記処理ユニットは、前記撮像ユニットが視野を見る方向と略同じ方向からの視野を少なくとも一時的に照明するよう、前記投射ユニットを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項1又は2に記載の装置。
  4. 前記処理ユニットは、前記撮像ユニットの視野と略重なる投射の範囲を持つよう前記投射ユニットを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項3に記載の装置。
  5. 前記処理ユニットは、前記空間的配置が維持されても良いか変更されるべきかを、ユーザフィードバックによって指示するようユーザインタフェースを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項1乃至4のいずれか一項に記載の装置。
  6. 前記処理ユニットは、前記空間的配置がどのように変更されるべきかを指示するよう前記投射ユニット及び/又は前記ユーザインタフェースを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項1乃至5のいずれか一項に記載の装置。
  7. 前記処理ユニットは、
    遮蔽しているオブジェクトが動かされるべきか否か及び/又はどのように動かされるべきか、
    前記対象者及び/又は前記対象者の支持体が動かされるべきか否か及び/又はどのように動かされるべきか、及び/又は動かされるべきか否か及び/又はどのように動かされるべきか、
    を指示するよう前記投射ユニット及び/又は前記ユーザインタフェースを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項1乃至6のいずれか一項に記載の装置。
  8. 前記処理ユニットは、前記視野における選択された領域の照明、及び/又は記号、帰路、文字及びテキストのうち1つ以上の投射の使用により、前記空間的配置が維持されても良いか変更されるべきかを指示するよう、前記投射ユニットを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項1乃至4のいずれか一項に記載の装置。
  9. 前記処理ユニットは、視覚的及び/又は音響的フィードバックの使用により、前記空間的配置が維持されても良いか変更されるべきかを指示するよう、前記ユーザインタフェースを制御するよう構成されたフィードバック信号を生成するよう構成された、請求項5に記載の装置。
  10. 前記処理ユニットは、前記空間的配置を変更するため、位置及び/又は向きを変更するため、前記決定された空間的配置に基づいて、前記撮像ユニット及び/又は前記対象者を支持するための支持体を制御するための制御信号を生成するよう構成され、
    前記出力ユニットは、前記制御信号を出力するよう構成された、請求項1乃至9のいずれか一項に記載の装置。
  11. 対象者をモニタリングするためのシステムであって、
    前記対象者の少なくとも一部を含む視野から時間経過とともに画像データを取得するよう構成された撮像ユニットと、
    前記取得された画像データに基づいて対象者のモニタリング信号を決定するための、請求項1乃至10のいずれか一項に記載の装置と、
    を有するシステム。
  12. 撮像ユニットの視野と略重なる投射の範囲を持ち、前記視野を少なくとも一時的に照明するよう構成された、及び/又は、前記空間的配置が維持されても良いか又は変更されるべきかを、前記視野の照明により指示するよう構成された、投射ユニット、及び/又は
    前記空間的配置が維持されても良いか変更されるべきかをユーザフィードバックにより指示するよう構成された、ユーザインタフェース
    を更に有する、請求項11に記載のシステム。
  13. 対象者をモニタリングするための方法であって、
    対象者の少なくとも一部を含む視野から撮像ユニットにより時間経過とともに取得される画像データを取得するステップと、
    前記対象者の前記取得された画像データからモニタリング信号を決定するステップと、
    前記画像データを評価し、前記画像ユニットに対する前記対象者の空間的配置を決定するステップと、
    前記決定された空間的配置についてのフィードバックを提供するためのフィードバック信号を生成するステップであって、前記フィードバック信号は、前記空間的配置が維持されても良いか変更されるべきかを、前記視野の照明により指示するよう、投射ユニットを制御するよう構成された、ステップと、
    前記フィードバック信号を出力するステップと、
    を有する方法。
  14. コンピュータ上で実行されたときに、請求項13に記載の方法のステップを前記コンピュータに実行させるためのプログラムコード手段を有する、コンピュータプログラム。
JP2021520372A 2018-10-22 2019-10-18 対象者をモニタリングするための装置、システム及び方法 Active JP7320059B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18201838.2 2018-10-22
EP18201838.2A EP3643235A1 (en) 2018-10-22 2018-10-22 Device, system and method for monitoring a subject
PCT/EP2019/078359 WO2020083772A1 (en) 2018-10-22 2019-10-18 Device, system and method for monitoring a subject

Publications (3)

Publication Number Publication Date
JP2022514167A true JP2022514167A (ja) 2022-02-10
JPWO2020083772A5 JPWO2020083772A5 (ja) 2022-08-26
JP7320059B2 JP7320059B2 (ja) 2023-08-02

Family

ID=64100559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021520372A Active JP7320059B2 (ja) 2018-10-22 2019-10-18 対象者をモニタリングするための装置、システム及び方法

Country Status (5)

Country Link
US (1) US20210358616A1 (ja)
EP (2) EP3643235A1 (ja)
JP (1) JP7320059B2 (ja)
CN (1) CN112912001A (ja)
WO (1) WO2020083772A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4176809A1 (en) * 2021-11-08 2023-05-10 Koninklijke Philips N.V. Device, system and method for monitoring a subject

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507088A (ja) * 2002-11-25 2006-03-02 バリアン・メディカル・システムズ・テクノロジーズ・インコーポレイテッド 対象の呼吸活動をモニターする方法およびシステム
JP2009509779A (ja) * 2005-09-23 2009-03-12 ブレインテック カナダ インコーポレイテッド 視覚追跡のシステム及び方法
JP2009273861A (ja) * 2008-04-16 2009-11-26 Scalar Corp 疲労予防装置
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
JP2015002560A (ja) * 2013-06-12 2015-01-05 ビステオン グローバル テクノロジーズ インコーポレイテッド 画像取込みデバイスによる透過型ディスプレイの調整

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3980406B2 (ja) * 2002-05-17 2007-09-26 株式会社日立メディコ 磁気共鳴撮影装置
WO2004106970A1 (en) * 2003-06-03 2004-12-09 Koninklijke Philips Electronics, N.V. Synchronizing a swiveling three-dimensional ultrasound display with an oscillating object
JP2005005912A (ja) * 2003-06-10 2005-01-06 Sumitomo Osaka Cement Co Ltd 監視装置
JP5542152B2 (ja) * 2008-12-23 2014-07-09 コーニンクレッカ フィリップス エヌ ヴェ 身体結合通信及びラジオ周波数通信の組み合わせ
JP5235718B2 (ja) * 2009-02-27 2013-07-10 株式会社日立製作所 映像監視システム
EP2641395B1 (en) * 2010-11-15 2019-10-09 Intergraph Corporation System and method for camera control in a surveillance system
AU2012221159B2 (en) * 2011-02-21 2015-11-26 Stratech Systems Limited A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
CN202477657U (zh) * 2012-01-10 2012-10-10 高然 医学影像检查环绕跟踪监控装置
CN103049911B (zh) * 2012-12-20 2015-07-29 成都理想境界科技有限公司 轮廓检测稳定性判断方法及图像检索方法
US9339210B2 (en) * 2013-05-08 2016-05-17 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
US9776511B2 (en) * 2014-07-08 2017-10-03 Rite-Hite Holding Corporation Vehicle alignment systems for loading docks
TWI561199B (en) * 2014-08-11 2016-12-11 Wistron Corp Interference system and computer system thereof for robot cleaner
DE102015111728A1 (de) * 2015-07-20 2017-01-26 Rwe Effizienz Gmbh Überwachungskamera, System mit einer Überwachungskamera sowie Verfahren zum Betreiben einer Überwachungskamera
US10074184B2 (en) * 2015-08-10 2018-09-11 Koniklijke Philips N.V. Occupancy detection
WO2017025546A1 (en) * 2015-08-10 2017-02-16 Koninklijke Philips N.V. Occupancy detection
US10610133B2 (en) * 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
KR101734729B1 (ko) * 2015-12-22 2017-05-11 동서대학교산학협력단 디지털 그림자부 생성 및 상호작용 방법
WO2017132636A1 (en) * 2016-01-29 2017-08-03 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US9648225B1 (en) * 2016-05-10 2017-05-09 Howard Preston Method, apparatus, system and software for focusing a camera
CN107094234B (zh) * 2017-06-29 2020-01-14 浙江宇视科技有限公司 一种应用于移动摄像终端的拍摄区域遮挡方法和装置
WO2019012586A1 (ja) * 2017-07-10 2019-01-17 オリンパス株式会社 医用画像処理装置及び医用画像処理方法
EP3428765A1 (en) * 2017-07-12 2019-01-16 ETH Zurich A drone and method of controlling flight of a drone
US10560645B2 (en) * 2017-09-22 2020-02-11 Feedback, LLC Immersive video environment using near-infrared video compositing
US10867186B2 (en) * 2018-05-15 2020-12-15 Genetec Inc. Transaction monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507088A (ja) * 2002-11-25 2006-03-02 バリアン・メディカル・システムズ・テクノロジーズ・インコーポレイテッド 対象の呼吸活動をモニターする方法およびシステム
JP2009509779A (ja) * 2005-09-23 2009-03-12 ブレインテック カナダ インコーポレイテッド 視覚追跡のシステム及び方法
JP2009273861A (ja) * 2008-04-16 2009-11-26 Scalar Corp 疲労予防装置
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
JP2015002560A (ja) * 2013-06-12 2015-01-05 ビステオン グローバル テクノロジーズ インコーポレイテッド 画像取込みデバイスによる透過型ディスプレイの調整

Also Published As

Publication number Publication date
CN112912001A (zh) 2021-06-04
EP3870045A1 (en) 2021-09-01
WO2020083772A1 (en) 2020-04-30
JP7320059B2 (ja) 2023-08-02
US20210358616A1 (en) 2021-11-18
EP3870045B1 (en) 2023-12-20
EP3643235A1 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
US11382591B2 (en) Automated apparatus to improve image quality in x-ray and associated method of use
US9204825B2 (en) Method and apparatus for monitoring an object
JP6623226B2 (ja) 顎の動きの追跡
EP3373804B1 (en) Device, system and method for sensor position guidance
KR101695267B1 (ko) 환자를 위치결정하기 위한 위치결정 유닛, 영상 획득 장치, 및 위치결정 보조물을 광학적으로 생성하기 위한 방법
JP7229705B2 (ja) X線スキャンジオメトリを決定する方法およびx線画像を取得する方法
US20210169438A1 (en) Imaging systems and methods
US20230005154A1 (en) Apparatus, method and computer program for monitoring a subject during a medical imaging procedure
JP6970203B2 (ja) コンピュータ断層撮影および撮像されるべき解剖学的構造の位置決め
JP2023060281A (ja) 放射線撮影システム
JP2022514167A (ja) 対象者をモニタリングするための装置、システム及び方法
JP2016538065A (ja) 生体構造の部分ボリュームの位置決め
JP2005006965A (ja) 放射線撮影装置及び放射線撮影方法
KR20020077863A (ko) 엑스레이 단면화상 촬영기기

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230721

R150 Certificate of patent or registration of utility model

Ref document number: 7320059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150