CN116457882A - 用于控制相机的设备和方法 - Google Patents

用于控制相机的设备和方法 Download PDF

Info

Publication number
CN116457882A
CN116457882A CN202180077796.9A CN202180077796A CN116457882A CN 116457882 A CN116457882 A CN 116457882A CN 202180077796 A CN202180077796 A CN 202180077796A CN 116457882 A CN116457882 A CN 116457882A
Authority
CN
China
Prior art keywords
area
camera
monitoring mode
person
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077796.9A
Other languages
English (en)
Inventor
E·M·范德海德
左菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116457882A publication Critical patent/CN116457882A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0046—Arrangements of imaging apparatus in a room, e.g. room provided with shielding or for improved access to apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于控制相机(10)的设备(20)。所述设备包括：输入单元(21)，其被配置为从所述相机获得视频数据；图像处理单元(22)，其被配置为根据所获得的视频数据来确定特定人是否单独存在于由所述相机监测的第一区域中；控制单元(23)，其被配置为基于由所述图像处理单元确定所述特定人是否单独存在于由所述相机监测的所述第一区域中来生成用于控制所述相机在第一监测模式或第二监测模式下操作的控制信号；以及输出单元(24)，其被配置为将所述控制信号输出到所述相机。

Description

用于控制相机的设备和方法
技术领域
本发明涉及用于控制相机(特别是用于监测例如医院的患者房间或休息室中的患者的相机)的设备和方法。本发明还涉及对应的系统。
背景技术
在医院中的不同病房中越来越多地使用相机技术用于远程和自动监测。相机是不突兀的传感器，并且给出关于特定测量的背景的许多信息。在重症监护病房(ICU)中，相机可以具有附加价值，并且可以用于如谵妄监测、睡眠监测、褥疮管理、跌倒管理、生命体征监测等的应用中。
对于这些应用，需要鲁棒地检测包括细微运动的不同方面。例如，谵妄的患者用手表现出典型的运动，诸如在床单上拣选。为了能够检测到这些小运动，重要的是具有关于移动对象的良好视场。
存在不同的相机模态，诸如RGB(彩色)、红外或深度相机，所有这些相机模态对于在ICU中的使用都具有其优点和缺点。ICU环境是动态环境，具有工作人员和访客的大量活动，还具有动态光照条件、床的位置等。深度相机具有对例如由闪烁的监测灯、投射阴影、夜间的黑暗条件引入的光照变化不敏感的优点。
大多数深度相机具有固定的焦距，但是已经存在支持可调节焦距(缩放)和机械移动(平移、旋转/倾斜)的相机平台。由此使得具有PTZ(平移-倾斜-缩放)功能的3D深度相机成为可能。PTZ相机提供了精确放大细微运动的机会，从而增强了特定测量(例如谵妄分数)的可检测性和输出。
US2020/0267321Al公开了一种捕获场景的图像的方法。确定捕获具有一个或多个感兴趣事件的场景的视频的帧中的多个对象的当前位置。针对感兴趣事件中的至少一个，基于多个对象的当前位置预测与感兴趣事件相关联的多个对象中的每一个的时间和位置。基于感兴趣事件的预测时间和预测位置，针对帧中的多个帧子集中的每一个确定帧子集分数，多个帧子集中的每一个包括多个对象中的一个或多个。基于所确定的帧子集分数来选择所确定的多个帧子集中的一个。基于所选择的帧子集的相机取向设置，使用相机捕获感兴趣事件的图像，其中，所捕获的图像包括所选择的帧子集。
发明内容
本发明的目的是进一步利用选项来应用这样的相机以用于通过相机监测人(例如，ICU中的患者)，并且控制相机以提供附加功能。
在本发明的第一方面中，提出了一种用于控制相机的设备，所述设备包括：
输入单元，其被配置为从所述相机获得视频数据；
图像处理单元，其被配置为根据所获得的视频数据来确定特定人是否单独存在于由所述相机监测的第一区域中；
控制单元，其被配置为基于由所述图像处理单元确定所述特定人是否单独存在于由所述相机监测的所述第一区域中来生成用于控制所述相机在第一监测模式或第二监测模式下操作的控制信号，其中，所述控制信号被配置为在所述特定人不单独在所述第一区域中的情况下控制所述相机在监测所述第一区域或第三区域的所述第一监测模式下操作，并且在所述特定人单独在所述第一区域中的情况下在监测第二区域的所述第二监测模式下操作，其中，所述第二区域小于所述第一区域并且基本上包括所述特定人，并且所述第三区域大于所述第二区域但小于所述第一区域并且包括存在于所述第一区域中的除了所述特定人之外的一个或多个人；以及
输出单元，其被配置为将所述控制信号输出到所述相机。
在本发明的另一方面中，提出了一种用于监测区域的系统，所述系统包括：
相机，其被配置为根据控制信号在第一监测模式和第二监测模式下操作，
如本文所公开的用于生成控制信号并将其输出到所述相机的设备。
在本发明的又一方面，提供了一种对应的方法、一种计算机程序以及一种非瞬态计算机可读记录介质，所述计算机程序包括程序代码单元，当所述计算机程序在计算机上执行时，所述程序代码单元用于使计算机执行本文公开的方法的步骤，所述非瞬态计算机可读记录介质在其中存储有计算机程序产品，所述计算机程序产品在由处理器执行时引起本文公开的方法被执行。
在从属权利要求中限定了本发明的优选实施例。应当理解，请求保护的方法、系统、计算机程序和介质与请求保护的并且如特别是在从属权利要求中定义并且在本文中公开的系统具有相似和/或相同的优选实施例。
本发明基于利用相机来监测诸如ICU房间的区域并且基于对由相机采集的视频数据的评估来控制相机在至少两种不同的监测模式中的一种监测模式下操作的构思。因此，从一种监测模式切换涉及调整相机的设置中的一个或多个，诸如改变视角、聚焦区域、缩放因子等。
由此，在最一般的情况下，基于特定人(例如，要主要监测的患者)是否存在于第一区域中(例如，在第一监测模式(也称为场景或房间监测模式)下观察的房间中)来切换监测模式。如果特定人单独在第一区域中(即，房间中没有其他人)，则相机被切换到第二监测模式(也称为患者监测模式)，其中，例如仅监测特定人(即，躺在床上或坐在椅子上的患者)，使得相机放大到特定人。另一方面，如果一个或多个其他人存在于第一区域中，则相机切换到(或保持在)第一监测模式，其中监测整个第一区域或第三区域(例如，其他人中的一些或全部所位于的区域)。因此，在本发明的实施方式中，可以调整一个或多个相机设置以最适合房间中正在进行的活动。
在现实场景中，本发明可以有助于避免错误或不必要的警报。例如，如果相机用于检测患者是否有从床上跌落的风险或检测一个或多个生命体征(诸如心率、呼吸率、氧饱和度(SpO2)等)并且因此聚焦在患者和床上，则可能存在这样的情况：如果患者移动到床的边缘使得他可能从床上跌落，或如果特定的生命体征指示危急情况，则发出警报(例如，在中央监测屏幕和/或护理人员的移动设备上)。然而，如果知道另一个人(例如护士或护理人员)也存在于房间中，在一旦检测到除了患者之外的一个或多个其他人就将相机切换到第一监测模式的情况下，可以获得该信息，这样的警报变得不必要并且可以被抑制，因为另一个人已经存在于房间中，并且可以直接识别患者的危急情况并采取适当的措施。
检测房间中另一个人的存在有意义的另一场景是相机是否用于检测谵妄或癫痫发作。此外，相机可以切换到检测患者的小运动的模式，以实现谵妄或癫痫发作的运动检测和识别的能力和可靠性。
在另一实施例中，可以执行床上运动聚焦。当躺在床上时的患者运动为谵妄检测提供了重要的提示，诸如在床单上拣选。通过运动检测，可以捕获患者的小运动，并且可以放大相机以获得更好的细节。这不仅是为了更好的可视化，而且还为用于进一步分析这些细微运动的算法提供更好的(高分辨率)输入。为了从细微运动检测谵妄，可以使用例如在US2014/235969A中描述的方法。
在实施例中，所述图像处理单元被配置为通过检测所述第一区域中的活动并且确定所述活动是否表示一个或多个人的运动来从所获得的视频数据确定所述特定人是否单独存在于所述第一区域中。这样的实施例可以容易地实施并且提供可靠的结果。
在特定实施例中，所述图像处理单元还被配置为在所述第一区域中检测到一个或多个其他人的情况下确定他们中的一个或多个是否在所述第二区域内或与所述第二区域重叠或相邻。此外，所述控制单元被配置为在所述其他人中的一个或多个在所述第二区域内或与所述第二区域重叠或相邻的情况下生成用于控制所述相机在所述第一监测模式下操作并且监测基本上包括所述特定人和所述一个或多个其他人的所述第三区域的控制信号。因此，如果存在靠近特定人的一个或多个人，例如，如果存在靠近患者的一个或多个护理人员或亲属，应当监测患者周围的区域，使得不仅监测患者而且监测与患者相邻的(一个或多个)人，以更好地理解患者是否发生了什么以及患者发生了什么。
所述控制单元还可以被配置为在没有其他人在所述第二区域内或与所述第二区域重叠或邻近的情况下生成用于控制所述相机在所述第二监测模式下操作或在所述第一监测模式下操作并且监测所述第一区域的控制信号。因此，在监测患者房间的示例中，如果不存在与患者相邻的人，则相机应当对患者进行缩放或监测整个房间。
在另一实施例中，所述图像处理单元被配置为在所获得的视频数据中检测特定家具，特别是床或椅子(例如医院的患者房间中的病床或休息室中的放松椅子)，以确定所述特定人是否存在于所述家具上或所述家具处，并且将基本上包括所述特定人存在于其上或其处的所述特定家具的所述区域定义为第二区域。例如，可以检测所述特定家具，并且可以基于所述视频数据的深度信息来确定所述特定人是否存在于所述家具上或所述家具处。深度信息可以例如从3D或深度相机获得。
所述图像处理单元被配置为通过校正所述相机的视角来校正所获得的视频数据，使得地平面被布置在水平方向上，并且被配置为使用经校正的视频数据用于确定特定人是否单独存在于所述第一区域中。利用这样的校正，更容易确定距离并检测在视频数据中检测到的人和事物的空间关系。此外，这有助于检测例如特定家具，诸如病床。
不是计算视频数据的校正，而是在另一实施例中，所述控制单元被配置为生成用于控制所述相机旋转使得地平面被布置在水平方向上的控制信号。
在另一实施例中，所述图像处理单元被配置为在所述第二监测模式下执行以下中的一个或多个：对所述特定人的面部表情的面部表情分析、检测所述特定人是否已经离开或进入床或处于从床上跌落的风险中的床离开检测、检测所述特定人的具体运动的运动检测、检测所述特定人的一个或多个生命体征的生命体征检测、以及用于检测一个或多个其他人是否接近或离开所述特定人的接近检测。因此，根据用户要求或本发明的设备和方法的一般需要或应用，存在可以替代地或组合地使用的各种选项。
所提出的系统的相机可以被配置为在控制信号的控制下平移和/或倾斜和/或缩放。例如，可以使用3D平移-倾斜-缩放(PTZ)相机。相机可以被配置为固定地安装在房间中(例如，在天花板或墙壁上)或可移动地定位在房间中(例如，经由可移动支架或三脚架)。
有利地，该系统还可以包括鱼眼相机，所述鱼眼相机被配置为总是监测第一区域或甚至更大的区域。因此，除了被控制为监测不同区域的上述相机之外，以这种方式监测第一区域(例如，来自特定视图的患者房间)或甚至更大的区域(例如，患者房间的更宽视图并且因此更大的区域)总是可能的。
附图说明
本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。在以下附图中：
图1示出了根据本发明的系统和设备的示意图；
图2至4示出了可以应用本发明的现实场景的不同情况；
图5示出了根据本发明的监测方法的示例性实施例的流程图；
图6A示出了安装在病床上方的天花板处的相机的相机视图；
图6B示出了从与图6A所示的相机视图相同的视角的深度视图；
图7A示出了面向患者床的端部的相机视图；
图7B示出了视角校正之后的校正视图；
图8A示出了所识别的患者区域的图像；
图8B示出了患者区域和与患者区域相邻的人的图像；并且
图8C示出了仅与患者区域相邻的人的图像。
具体实施方式
图1示出了根据本发明的系统1和设备20的示意图。该系统至少包括可以根据控制信号在第一监测模式和第二监测模式下操作的相机10和用于生成控制信号并将控制信号输出到相机的设备20。为此目的，设备20获得(例如，接收或检索)由相机10采集的视频数据并对它们进行评估。
设备20包括用于从相机获得视频数据的输入单元21。输入单元21可以例如是用于经由与相机的有线或无线连接(例如，经由WLAN或LAN连接)接收视频数据的数据接口。
设备20还包括用于根据所获得的视频数据确定特定人(例如患者)是否单独存在于由相机10监测的第一区域中的图像处理单元22，例如处理器或计算机。
设备20还包括用于基于图像处理单元22的确定来生成用于控制相机10在第一监测模式或第二监测模式下操作的控制信号的控制单元23，例如控制器、处理器或计算机(例如，实施图像处理单元22的同一处理器或计算机)。
设备20还包括用于将控制信号输出到相机的输出单元24。输出单元24可以例如是用于经由与相机的有线或无线连接(例如，经由WLAN或LAN连接)传输控制信号的数据接口。
设备20可以以硬件和/或软件来实施。例如，设备20可以被实施为适当编程的计算机或处理器。取决于应用，设备20可以例如是计算机或工作站或移动用户设备，诸如智能手机、膝上型计算机、平板计算机、智能手表。例如，在医院或休息室中的应用中，设备20可以被实施在护理人员的智能手机上，使得护理人员可以总是监测患者或在例如监测模式改变的情况下获得新的监测信息。在另一应用中，设备20可以被实施在中央监测室中的计算机上，在该中央监测室中对许多患者房间进行集中监督。
系统1还可以包括用于显示由相机10采集的视频的显示器30，例如计算机监测器或移动用户设备的显示器。此外，即使相机10在不同的监测模式之间切换，也可以提供鱼眼相机40以始终监测第一区域或者甚至更大的区域。
图2至4示出了可以应用本发明的现实场景的不同场景。在该场景下，患者2躺在医院的患者房间4中的病床3上。相机10(例如3D PTZ相机)安装在墙壁(或天花板)处并且能够平移、倾斜和旋转。任选的鱼眼相机40被安装在房间4的上角落中。设备20和显示器30可以位于另一房间(例如，中央监测室)中。
由设备20生成的控制信号控制相机10在第一监测模式或第二监测模式下操作。在第一监测模式下，在特定人不单独在第一区域中的情况下，监测第一区域11或第三区域13。在第二监测模式下，在特定人单独在第一区域中的情况下，监测第二区域12。这将参考图2至4中衅示的情况进行解释。
在图2中所示的情况下，患者2单独在患者房间4(例如，ICU房间)中，使得相机10被控制为在第二监测模式下操作。在这种情况下，监测第二区域12，第二区域12基本上是患者2本身的区域，并且基本上包括患者2或患者2的部分(例如，患者的面部或身体的上部分)。
在图3中所示的情况下，患者2不单独在患者房间4中，而是另一个人5(例如护理人员或医师或访客)存在于房间3中，使得相机10被控制为在第一监测模式下操作。在这种情况下，另一个人5存在于门6的区域中。因此监测第一区域11，第一区域11可以是相机10的最大视场。在图3所示的场景中，第一区域11几乎是整个患者房间4，只要它可以被相机10看到。
在图4所示的情况下，患者2再次不单独在患者房间4中，而是另一个人7(例如护理人员或医师或访客)存在于房间3中，使得相机10再次被控制以在第一监测模式下操作。在这种情况下，另一个人7存在于床3的区域中。因此监测第三区域13，第三区域13可以是床3周围的区域，使得其包括患者2和另一个人7。
因此，如图2至4所示的情况所示，第二区域12小于第一区域11并且基本上包括特定人2，并且第三区域13大于第二区域12但小于第一区域11并且包括存在于第一区域11中的除了特定人2之外的一个或多个人5、7。
因此，根据本发明，基于房间中的当前活动和场景分析来自动调整3D PTZ相机的一个或多个设置(例如，聚焦区域和/或缩放水平)，以实现最佳监测结果。
在第一监测模式(也称为患者监测模式)中，存在多个选项。在图5中示出了根据本发明的监测方法的示例性实施例的流程图。参考图2至4所示的类似场景来解释该示例性实施例。
在第一步骤S10中，旋转相机，使得地平面是平坦的。可以执行使用场景分割算法的床分割，并且可以调整图像缩放以聚焦在床区域上。
在第二步骤S11中，基于从视频数据获得的深度轮廓来检测患者是否在床上。如果患者不在床上，则床的深度轮廓(几乎)是平坦的。在示例性实施方式中，检查床区域中的深度值的分布(直方图)。如果患者不在床上，则相机将切换到第二(房间)监测模式以检查患者是否坐在椅子上。
在第三步骤S12中，检测患者是否在椅子上。这可以通过检查靠近床区域的周围区域中的深度轮廓来完成。椅子通常对应于来自场景分割算法的分割的斑点。如果没有找到具有患者的椅子，则相机将切换到第二(房间)监测模式。
如果患者在床上或椅子上，则存在用于进一步监测的各种选项。可以执行运动估计以捕获更多细节。相机将放大具有小的细微运动的区域，特别是对于手部区域(步骤S14)。如果在一分钟内在放大区域中没有检测到运动，则相机将缩小以使整个床区域在视图中(步骤S13)。
可以执行放大区域的优先级排序。如果在具有部分细微运动的图像中的多于一个区域中检测到运动，则可以基于具有细微运动的区域的优先级来决定放大，并且仅在具有最高优先级的区域处放大。典型的谵妄行为主要表现为手部运动。因此，放大以最佳地检测手部的运动是有利的。人姿势检测器(例如，基于OpenPose检测器)可以用于定位不同的身体部位，诸如头部、手臂、手部和腿部。
可以执行聚焦于患者面部区域(步骤S15)。这使得能够分析面部表情，这可以提供关于患者状态的重要提示，例如潜在的谵妄、疼痛和/或压力。
作为另一选项，可以检测到床离开或进入(步骤S16)，使得相机将自动切换到第二(房间)监测模式。
作为另一选项，可以检测(一个或多个)其他人(步骤S17)。例如，可以检测到除了患者之外的另一个人何时进入房间，特别是相机视图。如果患者不单独在被监测区域中，则相机可以切换到第二监测模式以了解测量的背景。取决于另一个人的位置，可以将焦点调整到场景的较小区域(第三区域)而不是整个房间(第一区域)。
在第二监测模式下，如果患者既不在床上也不在椅子上，则可以进行活动(运动)水平测量(步骤S18)。基于此，相机视图可以被缩放和/或移位以聚焦于最密集的活动或交互。
在实施例中，使用安装在天花板处并面向下的标准3D PTZ相机。可以执行预校准步骤以估计相机的倾斜角度(相对于地平面，例如房间的地板)，并且然后机械地旋转相机，使得地平面在相机视图中是平坦的。在另一实施例中，计算地执行视频数据的校正，使得接地平面布置在水平方向上。图6A示出了安装在病床上方的天花板处的相机的相机视图。图6B示出了从该视角的深度视图。
在另一实施例中，为了便于进一步分析，可以校正相机的视角，使得地平面在XY平面上总是水平的。图7A示出了图6B所示的深度数据的点云表示。该点云表示通常可以从侧视图图像和/或相关的俯视图图像构建。可以假设，从原始3D点云(如图7A所示，其中，视角面向病床的端部，其中，两个人站在床旁边)直到最远点上方0.5米(或可以预先设置或可以针对特定视图估计的任何其他合理值)主要构成地面像素。这些所选像素用于利用鲁棒方法(诸如称为RANSAC(随机样本一致性)的技术)来拟合3D地平面。基于RANSAC的估计由于其处理异常值的能力而表示非常鲁棒的解决方案。基于估计的平面参数，可以旋转相机，使得地平面在XY平面上(如图7B所示)。新点云的Z值反映了场景对象在地平面上方的真实高度。应当注意，可以替代地应用代替RANSAC算法的其他方法来实现这样的校正。
为了确定在房间中监测什么，确定房间中是否存在其他人或患者是否单独在房间中。在实施例中，这可以如下完成。
在第一步骤中，可以应用ROI(感兴趣区域)检测算法来勾勒患者区域的轮廓，如例如在图8A中所示。这可以例如使用WO2020/127014Al中描述的方法来完成。根据患者区域(在本文中称为第二区域)的深度轮廓，知晓患者是否在床上。如果是，则可以执行以下步骤以决定患者是否单独在房间中。
可以例如基于帧差分、H3DRS或光流来从视频数据生成运动图。如果检测到的运动区域(在患者区域之外)不与患者区域相邻，则可以假设房间中存在其他人，但是他们不与患者物理交互。
如果运动场(例如，如图8B和8C中所示)与患者区域相交，则可以进一步检查这些运动分量的相关联的真实深度值。基于上述内容，可以导出患者区域与其他人(诸如护士、医生、访客等)之间是否存在交互。然后可以控制相机缩小，使得与患者交互的人和患者区域在视场中，即，控制相机监测大于患者区域的第三区域。
如果运动在患者区域之外，则可以控制其切换到患者监测模式(第二监测模式)并放大到患者区域。
如果在床区域中没有检测到患者，则可以进一步检查围绕床区域的检测到的其他连通分量(例如，斑点)，以便定位潜在的椅子存在。这再次可以通过斑点的形状和深度轮廓来确认。如果患者在椅子上，则可以遵循与上面针对患者在床上的情况所解释的相同的逻辑。
对于从视频数据检测活动或运动，许多不同的算法通常是已知的，诸如使用背景减除的算法(确定当前视频帧与参考帧或先前视频帧之间的差异)或使用基于光流的模型的算法。对于确定活动是否表示人的运动，也可以应用已知算法，诸如评估示出活动的图像区域的纹理、形状、运动模式等的算法。例如在Paul,M.,Haque,S.M.E.&Chakraborty,S.的Human detection in surveillance videos and its applications-a review(EURASIPJ.Adv.Signal Process.2013,176(2013))中描述了各种算法。区分是否存在不同的人可以例如通过检测具有活动的区域是否清楚地分开来实现。
如果患者单独在房间中，则可以应用用于实时监测的以下分析特征或模式中的一个或多个。它们可以被手动选择或由自动检测的事件触发。
在实施例中，可以执行全床监测。在该操作中，可以调整相机的缩放水平，使得床区域占据大部分视场(例如，80％)。在图8A中示出了示例。该操作可以用作默认操作。
在另一实施例中，可以执行床上运动聚焦。当躺在床上时的患者运动为谵妄检测提供了重要的提示，诸如在床单上拣选。通过运动检测，可以捕获患者的小运动，并且可以放大相机以获得更好的细节。这不仅是为了更好的可视化，而且还为用于进一步分析这些细微运动的算法提供更好的(高分辨率)输入。为了从细微运动检测谵妄，可以使用例如在US2014/235969A中描述的方法。
在另一实施例中，可以执行面部表情分析。面部表情是ICU患者的一个重要的沟通线索。对于该操作，可以使用诸如在Weon SH.,Joo SI.,Choi HI.(2014)Using DepthInformation for RealTime Face Detection(In:Stephanidis C.(eds)HCIInternational 2014Posters’Extended Abstracts.HCI 2014,Communications inComputer and Information Science,vol 434,Springer中描述的自动面部检测算法来寻找面部区域。PTZ相机可以放大到该区域。图像可以用于视觉检查或馈送到自动面部表情分析算法中。该操作可以被手动选择或由面部运动以与上述类似的方式触发。
在另一实施例中，可以执行床进入/离开检测。可以不断地监测床边界以检测床进入/离开的任何事件。这可以例如通过从外向内或从内向外检查床边界上的运动方向来实现。如果检测到床进入/离开事件，则可以控制相机缩放监测整个房间的水平。为了检测床进入/离开，可以使用例如在US 2019/228866Al或US 2019/192052Al中描述的方法。
在另一实施例中，可以执行另一个人(例如护士或访客)的进入/离开检测。可以检测患者旁边的另一个人何时进入图像。知道这一点，相机可以相应地调整其缩放行为。
为了连续概览房间中的所有活动，相机可以与例如鱼眼相机组合，因此可以记录房间中的所有活动。可以分析这种附加相机的图像的运动热点。它将提供该信息用于分析，并且将用于从患者监测模式返回到房间监测模式(第一监测模式)。
对于单个PTZ相机，可以使用数字缩放来聚焦在感兴趣区域上，同时使用原始全分辨率图像用于连续全房间监测。
本发明提供了基于相机的ICU房间监测的能力，但是也可以用于普通病房、老年病房和使用相机监测的其他健康护理环境。此外，它使得能够自动表征ICU患者运动。由本发明提供的其他选项包括谵妄检测、生命体征监测、褥疮管理和跌倒管理。
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解和实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现在权利要求中记载的若干项的功能。尽管特定措施是在互不相同的从属权利要求中记载，但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在合适的非瞬态介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。
权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于控制相机(10)的设备(20)，所述设备包括：
输入单元(21)，其被配置为从所述相机获得视频数据；
图像处理单元(22)，其被配置为根据所获得的视频数据来确定特定人是否单独存在于由所述相机监测的第一区域中；
控制单元(23)，其被配置为基于由所述图像处理单元对所述特定人是否单独存在于由所述相机监测的所述第一区域中的确定来生成用于控制所述相机在第一监测模式或第二监测模式下操作的控制信号，其中，所述控制信号被配置为在所述特定人不单独在所述第一区域中的情况下控制所述相机在监测所述第一区域或第三区域的所述第一监测模式下操作，并且在所述特定人单独在所述第一区域中的情况下在监测第二区域的所述第二监测模式下操作，其中，所述第二区域小于所述第一区域并且实质上包括所述特定人，并且所述第三区域大于所述第二区域但小于所述第一区域并且包括存在于所述第一区域中的除了所述特定人之外的一个或多个人；以及
输出单元(24)，其被配置为将所述控制信号输出到所述相机。
2.根据权利要求1所述的设备，
其中，所述图像处理单元(22)被配置为通过检测所述第一区域中的活动并且确定所述活动是否表示一个或多个人的运动来根据所获得的视频数据确定所述特定人是否单独存在于所述第一区域中。
3.根据权利要求2所述的设备，
其中，所述图像处理单元(22)被配置为在所述第一区域中检测到一个或多个其他人的情况下确定他们中的一个或多个是否在所述第二区域内或与所述第二区域交叠或相邻，并且
其中，所述控制单元(23)被配置为在所述其他人中的一个或多个人在所述第二区域内或与所述第二区域交叠或相邻的情况下生成用于控制所述相机在所述第一监测模式下操作的控制信号，并且监测实质上包括所述特定人和所述一个或多个其他人的所述第三区域。
4.根据权利要求3所述的设备，
其中，所述控制单元(23)被配置为在没有其他人在所述第二区域内或与所述第二区域交叠或邻近的情况下生成用于控制所述相机在所述第二监测模式下操作或在所述第一监测模式下操作的控制信号，并且监测所述第一区域。
5.根据前述权利要求中的任一项所述的设备，
其中，所述图像处理单元(22)被配置为在所获得的视频数据中检测特定家具，特别是床或椅子，以确定所述特定人是否存在于所述家具上或所述家具处，并且将实质上包括所述特定人存在于其上或其处的所述特定家具的所述区域定义为第二区域。
6.根据权利要求5所述的设备，
其中，所述图像处理单元(22)被配置为检测所述特定家具，并且基于所述视频数据的深度信息来确定所述特定人是否存在于所述家具上或所述家具处。
7.根据前述权利要求中的任一项所述的设备，
其中，所述图像处理单元(22)被配置为通过校正所述相机的视角来校正所获得的视频数据，使得地平面被布置在水平方向上，并且被配置为使用经校正的视频数据用于确定特定人是否单独存在于所述第一区域中。
8.根据前述权利要求中的任一项所述的设备，
其中，所述控制单元(23)被配置为生成用于控制所述相机旋转以使得地平面被布置在水平方向上的控制信号。
9.根据前述权利要求中的任一项所述的设备，
其中，所述图像处理单元(22)被配置为在所述第二监测模式下执行以下操作中的一项或多项：对所述特定人的面部表情的面部表情分析、检测所述特定人是否已经离开或进入床或处于从床上跌落的风险中的床离开检测、检测所述特定人的具体运动的运动检测、检测所述特定人的一个或多个生命体征的生命体征检测、以及用于检测一个或多个其他人是否接近或离开所述特定人的接近检测。
10.一种用于监测区域的系统，所述系统包括：
相机(10)，其被配置为根据控制信号在第一监测模式和第二监测模式下操作，
根据权利要求1至9中的任一项所述的设备(20)，其用于生成控制信号并将其输出到所述相机。
11.根据权利要求10所述的系统，
其中，所述相机(10)被配置为在所述控制信号的控制下平移和/或倾斜和/或缩放，特别是3D平移-倾斜-缩放相机。
12.根据权利要求10或11所述的系统，
其中，所述相机(10)被配置为固定地安装在房间中或可移动地定位在房间中。
13.根据权利要求10、11或12所述的系统，
还包括鱼眼相机(40)，所述鱼眼相机被配置为总是监测所述第一区域或甚至更大的区域。
14.一种用于控制相机(10)的方法，所述方法包括：
从所述相机获得视频数据；
根据所获得的视频数据来确定特定人是否单独存在于由所述相机监测的第一区域中；
基于对所述特定人是否单独存在于由所述相机监测的所述第一区域中的确定来生成用于控制所述相机在第一监测模式或第二监测模式下操作的控制信号，其中，所述控制信号被配置为在所述特定人不单独在所述第一区域中的情况下控制所述相机在监测所述第一区域或第三区域的所述第一监测模式下操作，并且在所述特定人单独在所述第一区域中的情况下在监测第二区域的所述第二监测模式下操作，其中，所述第二区域小于所述第一区域并且基本上包括所述特定人，并且所述第三区域大于所述第二区域但小于所述第一区域并且包括存在于所述第一区域中的除了所述特定人之外的一个或多个人；以及
将所述控制信号输出到所述相机。
15.一种包括程序代码单元的计算机程序，当所述计算机程序在计算机上执行时，所述程序代码单元用于使所述计算机执行根据权利要求14所述的方法的步骤。
CN202180077796.9A 2020-11-18 2021-11-10 用于控制相机的设备和方法 Pending CN116457882A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20208465.3 2020-11-18
EP20208465.3A EP4002365A1 (en) 2020-11-18 2020-11-18 Device and method for controlling a camera
PCT/EP2021/081177 WO2022106269A1 (en) 2020-11-18 2021-11-10 Device and method for controlling a camera

Publications (1)

Publication Number Publication Date
CN116457882A true CN116457882A (zh) 2023-07-18

Family

ID=73476046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077796.9A Pending CN116457882A (zh) 2020-11-18 2021-11-10 用于控制相机的设备和方法

Country Status (5)

Country Link
US (1) US20230412919A1 (zh)
EP (2) EP4002365A1 (zh)
JP (1) JP2023548886A (zh)
CN (1) CN116457882A (zh)
WO (1) WO2022106269A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023035448A (ja) * 2021-09-01 2023-03-13 パナソニックＩｐマネジメント株式会社 監視装置、監視システムおよび監視方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
WO2013050912A1 (en) 2011-10-07 2013-04-11 Koninklijke Philips Electronics N.V. Monitoring system for monitoring a patient and detecting delirium of the patient
EP3504647A1 (en) 2016-08-24 2019-07-03 Koninklijke Philips N.V. Device, system and method for patient monitoring to predict and prevent bed falls
JP6823160B2 (ja) 2016-08-24 2021-01-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法
US11100635B2 (en) * 2016-11-03 2021-08-24 Koninklijke Philips N.V. Automatic pan-tilt-zoom adjustment to improve vital sign acquisition
DE102017006529A1 (de) * 2017-07-11 2019-01-17 Drägerwerk AG & Co. KGaA Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung
EP3671530A1 (en) 2018-12-17 2020-06-24 Koninklijke Philips N.V. Device, system and method for object recognition
AU2019201192A1 (en) * 2019-02-20 2020-09-03 Canon Kabushiki Kaisha Method, system and apparatus for capturing an image

Also Published As

Publication number Publication date
EP4248442A1 (en) 2023-09-27
JP2023548886A (ja) 2023-11-21
EP4002365A1 (en) 2022-05-25
WO2022106269A1 (en) 2022-05-27
US20230412919A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
JP5715132B2 (ja) 画像解析に関する方法及びシステム
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US7106885B2 (en) Method and apparatus for subject physical position and security determination
JP6115335B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN107072548B (zh) 用于人的取向和/或位置的自动检测的设备、系统和方法
JP6182917B2 (ja) 監視装置
RU2676147C2 (ru) Непрерывное автоматическое наблюдение за движениями пациента
JP6232165B2 (ja) 占有の検出
US10321856B2 (en) Bed exit monitoring system
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
JPH11276443A (ja) 被介護者観測装置及びその方法
US20230412919A1 (en) Device and method for controlling a camera
EP3361464A1 (en) Person monitoring device and method, and person monitoring system
JP2018533240A (ja) 占有検出
JP6645503B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6115693B1 (ja) 対象物検出装置および対象物検出方法ならびに被監視者監視装置
CN112912001A (zh) 用于监测对象的设备、系统和方法
EP4176809A1 (en) Device, system and method for monitoring a subject
JP2014135683A (ja) 撮像制御装置、撮像制御方法および撮像制御プログラム
JP2013090063A (ja) 監視装置、監視方法および監視プログラム
WO2024181109A1 (ja) モニタリングシステム、モニタリング方法、およびプログラム
JP6729512B2 (ja) 見守り支援システム及びその制御方法
JPWO2017203986A1 (ja) 情報処理装置、情報処理方法、プログラム、および見守りシステム
JP2022126071A (ja) 画像処理方法
JP2022126070A (ja) 画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination