CN111448589A - 用于检测患者的身体移动的设备、系统和方法 - Google Patents

用于检测患者的身体移动的设备、系统和方法 Download PDF

Info

Publication number
CN111448589A
CN111448589A CN201880078810.5A CN201880078810A CN111448589A CN 111448589 A CN111448589 A CN 111448589A CN 201880078810 A CN201880078810 A CN 201880078810A CN 111448589 A CN111448589 A CN 111448589A
Authority
CN
China
Prior art keywords
motion
patient
projection
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880078810.5A
Other languages
English (en)
Other versions
CN111448589B (zh
Inventor
B·拉米什哈内
S·D·费尔南多
A·海因里希
E·M·范德海德
T·M·福尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111448589A publication Critical patent/CN111448589A/zh
Application granted granted Critical
Publication of CN111448589B publication Critical patent/CN111448589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于检测人的运动的设备。本发明还涉及一种包含上述设备的系统和对应的方法。所提出的设备包括：投影扫掠单元，其被配置为获得包括与示出患者的图像相对应的深度信息的图像数据，并且针对不同的视点生成患者的一幅或多幅投影图像，运动检测单元，其被配置为在一幅或多幅投影图像中检测患者的运动，并生成指示在相应的投影图像中是否检测到运动的一个或多个运动检测信号，以及分析单元，其被配置为基于运动检测信号的一种或多种组合来检测和定位患者的一个或多个身体部位的身体移动。

Description

用于检测患者的身体移动的设备、系统和方法
技术领域
本发明涉及用于检测、定位和分析人的运动的设备。本发明还涉及一种包含上述设备的系统和对应的方法。
背景技术
对患者运动的自动检测和分析可以对医院或家庭护理中的患者进行连续监控。身体移动的检测和分析具有广泛的应用范围，从运动成绩分析，安全敏感区域的监视和人机接口到各种临床应用，例如确定跌倒风险。谵妄检测给出了运动分析的另一应用。例如，患有谵妄的患者表现出独特的运动方式，典型的运动方式如摸空、捉空摸床等。因此，当看到患者的不希望有的运动指示特定的医学状况(例如谵妄)时，可以给医师、护士和护理人员迅速的警报，以提供立即的帮助。
使用计算机视觉技术，可以使用相机自动检测和分析患者的运动。实际上，基于视觉的运动检测和分析是众所周知的技术(例如，参见J.K,Aggarwal和Q.Cai:“Human MotionAnalysis:A Review”,Computer Vision an Image Understanding,第73卷,第428-440页,1999年)。特别是，深度相机提供了一种捕获和量化运动信息的可靠方法。这是由于以下事实：深度相机(即距离成像相机或3D相机)除了提供二维(2D)强度信息外，还提供场景的深度信息。深度图像以帧速率在每个像素中提供相机到看见的物体的距离。利用深度信息和2D强度图像信息，可以做出关于运动的准确推断，所述推断对于照明水平和相机视点的变化具有鲁棒性。
简单的运动探测器系统通常利用以下方法来实现，所述方法使用在视频中或从图像流中获得的两幅或多幅图像帧的相关性或帧差异。在这种情况下，相关性由两个相继的图像帧之间的(二维)相关系数表示，所述系数被定义为由每个帧中像素强度变化归一化的平均相减的逐像素强度乘法的总和。通常认为相关系数的取反的高值，例如(1-相关系数)的高值，是通过运动产生的。另一方面，帧差异是相继的图像帧中逐像素强度差的绝对和。同样，所述差异的任何高值都被认为是由运动产生的。
使用这些方法的运动检测器本身不能给出诸如运动的位置的详细信息，也不能给出特定运动类型的发生的可靠推断。当存在共同发生的身体移动时，例如，患者的两只手同时运动，则不能从整体运动检测信号中先验地分离来自一个特定身体区域的运动信息。如果然后要进一步分析运动检测信号的频谱，例如检测重复运动，则可能会得出错误的推论。例如，对于躺在床上而左手也有手指轻敲动作同时右手也在移动的患者，运动检测信号将包括来自两只手运动的贡献，而没有对位置进行任何分配。然而，如果运动检测信号将仅包括来自左手运动的贡献，则可以通过对相应运动检测信号的频谱分析来推断左手的重复运动正在发生。
到目前为止，要对运动进行鲁棒的检测并进行详细分析，就需要在捕获的图像中准确表示场景。像光流算法一样，运动估计算法以像素级分辨率或小块级分辨率估计运动，即，所述算法为图像中的每个像素或块生成运动矢量。然而，运动估计算法是复杂的并且运行起来计算成本很高，并且对运动区域/类型的最终推断受到所用运动估计器精度的限制。这是由于以下事实：所述算法由于其精细的粒度，即高分辨率，特别是关于在临床环境中获得的视频记录的种类，而易受噪声影响。但是，嘈杂的运动估计使得难以将不同部位的同时发生的运动分开。此外，对运动的详细分析和定位需要运动估计算法以及诸如身体部位分割的辅助信息。尽管不同聚类中运动矢量的空间分割可以用来区分特别是同时发生的运动，但是所述方法是高度复杂且非平凡的。
US 9232912B2公开了一种用于使用视频系统测量婴儿的一个或多个肢体的运动的系统和方法，其目的是确定婴儿是否患有诸如脑瘫的疾病或处于患这种疾病的风险中。
Xiaodong Yang等人的：Recognizing Actions Using Depth Motion Maps-basedHistograms of Oriented Gradients”,Proceedings of the 20th ACM InternationalConference on Multimedia，2012年1月1日，第1057页，公开了一种从深度图序列中识别人类动作的方法，所述方法可提供用于动作识别的额外的身体形状和运动信息。在该方法中，将深度图投影到三个正交平面上，并通过整个视频序列累积全局活动，以生成深度运动图(DMM)。
Lian Bin等人的：“Specificity and Latent Correlation Learning forAction Recognition Using Synthetic Multi-View Data From Depth Maps”,IEEETransactions on image processing，第26卷，第12号，2017年12月1日，第5560至5574页，公开了一种使用根据深度图的合成多视图数据进行动作识别的方法。具体而言，首先通过旋转深度图的3D点云来生成多个视图。然后采用金字塔多视图深度运动模板进行多视图动作表示，以3D模式表征多尺度运动和形状图案。
发明内容
本发明的目的是提供一种用于以计算廉价的方式可靠地检测身体移动并且用于分离与不同身体部位相对应的身体移动设备、系统和方法。
在本发明的第一方面中，提出了一种用于患者的身体移动的设备，所述设备包括：
投影扫掠单元，其被配置为获得包括与示出患者的图像相对应的深度信息的图像数据，并且针对不同的视点生成患者的一幅或多幅投影图像，
运动检测单元，其被配置为在所述一幅或多幅投影图像中检测患者的运动，并生成指示在相应的投影图像中是否检测到运动的一个或多个运动检测信号，以及
分析单元，其被配置为基于运动检测信号的一种或多种组合来检测和定位患者的一个或多个身体部位的身体移动。
在本发明的另一方面中，提出了一种用于检测患者的身体移动的系统，所述系统包括：
深度相机，其被配置为采集图像数据，所述图像数据包括与示出患者的图像相对应的深度信息，以及
用于基于采集的图像数据来检测患者的身体移动的设备。
在本发明的另一方面中，提出了一种用于检测患者的身体移动的方法，所述方法包括以下步骤：
获得包括与示出患者的图像相对应的深度信息的图像数据，并且针对不同的视点生成患者的一幅或多幅投影图像，
在所述一幅或多幅投影图像中检测患者的运动并生成指示在相应的投影图像中是否检测到运动的一个或多个运动检测信号，以及
基于运动检测信号的一种或多种组合来检测和定位患者的一个或多个身体部位的身体移动。
在本发明的又一个方面中，提供了一种包括程序代码模块的计算机程序，当所述计算机程序在计算机上执行时，所述程序代码模块用于执行所述方法的步骤，并且提供了一种在其中存储有计算机程序产品非瞬态计算机可读记录介质，所述计算机程序产品在由计算机处理器运行时，使本文公开的方法被执行。
在从属权利要求中限定了本发明的优选实施例。应当理解，请求保护的方法、系统、处理器、计算机程序和介质与请求保护的并且如特别是在从属权利要求中定义并且在本文中公开的系统具有相似和/或相同的优选实施例。
本发明基于以下思想，提供允许可靠而简单地检测和分离场景中的同时发生的运动的设备、系统和方法。当前的运动检测系统或者不能区分场景中不同位置发生的运动，或者它们可以区分这种运动，但是代价很高。代替使用复杂的运动检测算法，本发明旨在使用应用于投影图像的简单二元运动/无运动检测算法来检测身体移动，特别是在同时运动的身体部位之间进行区分。
当一幅图像部分中的运动与另一部分或其他部分中的运动同时发生时，所提出的系统具有特别的优势。当针对不同的视点投影表示图像的点云(即三维空间中的一组数据点)时，可以将各幅图像部分中的运动分离为不同的投影图像。特别地，取决于观看视角，可以将与图像部分中的运动有关的点驱动到遮挡区域中。同样，可以在不同的投影图像中选择性地抑制或增强场景的不同部分。
例如，对于在第一区域和第二区域中包括运动的图像，所提出的设备可以生成仅捕获运动的第一区域的一幅或多幅投影图像和仅捕获运动的第二区域的一幅或多幅投影图像。组合仅捕获第一运动区域的不同投影图像而忽略其他投影，将与第一区域中的运动对应的运动检测信号与与第二运动区域的运动检测信号分离。反之亦然，组合仅仅捕获运动的第二区域的投影图像，将突出显示与第二区域相对应的运动检测信号。因此，利用投影扫掠来生成对应于不同视点的投影图像，在所述投影图像中的运动检测以及检测到的运动检测信号的组合允许分离属于不同图像区域中的运动的运动检测信号。因此，由于不同的运动区域属于患者的不同身体部位，因此可以分别检测和分析不同身体部位的运动。即，即使存在同时发生的运动，也可以准确且独立地分析特定身体部位的运动。
通常，视点的数量直接影响在场景中检测和定位运动的分辨率或颗粒度。投影图像的差异越大，其越是适用。生成的投影图像越多，并且所述投影图像的交叠区域越小，则场景中运动检测的粒度就越精细。因此，投影扫掠中的许多小步骤覆盖了大范围的视点，因此可以灵活地将复杂的身体移动分离到单独的投影图像中。特别地，所述方法允许区分大量同时发生的身体移动。有利地，为了获得有意义的运动分析，需要至少三个至少部分不同的投影图像。进一步有利地，投影图像被绑定到单个预定义的身体部位。例如，第一投影图像可以表示患者的头部，而第二和第三投影图像可以分别表示患者的左臂和右臂。该限制甚至进一步简化了对共同发生的运动的检测。
除此之外，所提出的设备允许关于运动的推断，而没有对运动估计和身体部位分割信息的明确需要。
这里在运动检测和在重症监护单元ICU室中患者活动的特定上下文中描述本发明的要素及其用途。然而，所述系统通常可用于需要运动分析的任何类似应用。
在设备的实施例中，运动检测单元被配置为使用基于帧差分和/或基于相关的方法来检测患者的运动。
帧差分(也称为帧减法)是一种检查相继的图像帧之间差异的技术。如果像素或体素已更改，则显然图像中的某些内容已更改。为了将所述图像变化分配给所捕获场景中的运动，大多数技术都使用某种模糊或阈值来过滤由噪声或照明的变化引起的变化。特别地，帧差异被定义为相继的图像帧中逐像素强度差的绝对和。该差异的非零值，特别是高值，被认为是由运动产生的。
另一方面，基于相关的方法利用相继的图像帧的2D或3D相关系数，尤其是皮尔森相关系数。该系数被定义为通过各帧中像素或体素的强度变化归一化的均值减去的逐像素的强度乘积的总和。同样，认为相关系数的取反的高值，例如(1-相关系数)的高值，是通过运动产生的。基于针对相关系数和/或帧差异的预定阈值，运动检测单元可以因此指示在图像中是否检测到运动。帧差分和基于相关的方法都很简单，因此计算上廉价。
实际上，只要在要相互比较的图像之间没有发现差异，这两种方法仅需要应用于投影图像。一旦在相继的相应像素或体素中发现差异，就可以停止图像比较，因为运动检测单元仅需要检测图像中是否存在运动，而不必定位所述运动。
在该设备的另一个实施例中，分析单元被配置为使用辅助信息来检测身体移动，所述辅助信息包括床位置和/或取向、相机位置以及与身体四肢相对应的检测到的肢端点中的任何一个。例如，利用床的位置和方向信息，可以将每个投影图像先验地链接到床和/或患者的特定一侧。分析单元可以使用此先验信息。例如，在床跨图像平面的整个宽度的图像中，从左到右的投影扫掠对应于平行于患者矢状面的投影图像。但是，如果床在图像平面上跨过一长度，则相同的投影扫掠将对应于从头到脚的投影。尽管前者的投影图像可以用于检测和区分患者的矢状运动，但是后者的图像可以用于分离沿例如与头部和脚趾相对应的身体纵轴的运动。辅助信息可以由临床人员通过用户接口提供，或者设备本身可以例如使用自动计算机视觉单元采集所述信息本身。
在该设备的另一实施例中，分析单元被配置为推断包括运动区域、运动方向、运动速度以及运动频率和运动模式中的任一项的运动数据。因此，分析单元可以推断患者的哪些身体部位在运动以及运动如何发生。例如，分析单元可以推断出患者快速地朝着床的边缘移动或划伤了他身体的某个部位。通过推断运动的方向和速度，分析单元可以进一步分析运动的类型，例如，所述运动是平稳的还是不平稳的。特别地，例如，周期性运动及其频率可以被识别为诸如颤抖或周期性肢体运动障碍中的四肢运动。
在设备的又一个实施例中，分析单元被配置为基于检测到的身体移动与医学状况之间的映射来将检测到的身体移动分配给医学状况。这使系统可以从检测到的运动检测信号导出患者的医学状况。捡棉花行为，例如，可以由分析单元与谵妄状态相关联。同样，抽搐可能与癫痫发作相关联。
在设备的另一实施例中，分析单元包括针对预定义的功能而被训练和/或被配置为被训练的一个或多个机器学习模型。尽管更简单的功能包括确定运动在图像中的何处发生，但是更复杂的功能包括通过跟踪所述区域中检测到的运动来确定特定图像区域中的周期性运动。例如，可以训练第一模型以推断所述运动的速度，可以训练第二模型以推断所述运动的方向，并且可以训练第三模型以将测量的参数分配给相应的医学状况。在更复杂的环境中，机器学习模型经过训练以采集不同的运动检测信号，并根据有关身体部位运动的多个预定义决策来产生输出。例如，机器学习模型可以推断出患者的头部是否在移动，或者他的左手或右手在移动。为了推断所述信息，一个或多个机器学习模型可以使用辅助信息。典型的运动，例如谵妄中的摸空，可以基于针对这些一个或多个模型的训练集进行识别，其中可以标注运动特性。
在设备的实施例中，分析单元被配置为根据加权因子来组合运动检测信号。一种可能的加权因子是检测到的运动信号的强度，其例如由帧差异的大小或相关系数的大小给出。其他示例性加权因子包括图像清晰度、光照条件和其他图像质量因子或其他参考运动检测信号强度的标记。
根据设备的另一实施例，投影扫掠单元被配置为从不同的角度和/或不同的缩放水平获得图像。该额外的信息可用于生成其他投影图像，从而帮助实现更精细的粒度。例如，不同缩放水平的投影有助于将注意力集中在移动区域上，以采集有关此处同时出现的身体部位的更详细信息。例如，这对于分析诸如手指之类的小身体部位特别重要。
在又一个实施例中，所述设备还包括用户接口，所述用户接口被配置为：呈现由分析单元提供的分析，获得辅助信息和/或获得检测到的身体移动与医学状况之间的映射，和/或所述设备还包括存储单元，所述存储单元被配置为存储所述图像、一幅或多幅投影图像、所述移动数据、所述辅助信息以及检测到的身体移动与医学状况之间的映射中的任一项。
例如，所述用户接口可以包括显示器，所述显示器示出检测到的每个运动的区域、速度和方向。此外，可以指示运动模式和推断出的医学状况。用户接口还可以由临床人员使用，例如，以向设备提供与床位置和取向有关的辅助信息，然后可以由分析单元将其与特定图像区域相关联。而且，用户接口可以用于向设备提供关于身体移动与医学状况之间的关系的信息。特别地，可以使用用户输入，例如检测到的身体移动与医学状况之间的映射，用于训练分析单元的一个或多个机器学习模型。
另一方面，存储单元可以以表格的形式存储这样的映射，其中，所述分析单元可以访问所述表格。存储运动数据和相应的图像对于治疗反复发作的患者特别有帮助。可以将以前住院的移动方式与当前的移动行为进行比较，以得出疾病进展的结论。
在另一实施例中，设备的投影扫掠单元被配置为生成图像和/或一幅或多幅投影图像的一幅或多幅子图像，并且运动检测单元被配置为从一幅或多幅子图像中检测子图像运动检测信号，所述子图像运动检测信号指示在相应子图像中是否检测到运动的信号。子图像可以通过放大和/或通过切割图像和/或投影图像来生成。子图像和在所述图像中的运动检测尤其用于缩小运动检测信号的范围，即更精确地定位场景中的运动。子图像与不能分别通过图像和投影图像的组合明确地定位运动的区域特别相关。
在又一实施例中，投影扫掠单元被配置为从一幅或多幅子图像生成针对不同视点的一幅或多幅投影子图像，并且运动检测单元被配置为从一幅或多幅投影子图像中检测另一运动检测信号，所述另一运动检测信号指示在相应的投影子图像中是否检测到运动。
在设备的又一个实施例中，投影扫掠单元被配置为生成以下中的任一项：具有或不具有深度信息的投影图像、子图像和投影子图像。
因此，在获得包括深度信息的图像数据之后，投影扫掠单元可以将输入图像投影到与不同视点相对应的不同平面上，或者保留距离信息，即实际上创建3D图像，或者省略所述信息。由于简单的二维图像中的运动检测通常比三维图像中的运动检测需要更少的精力，因此当省略深度信息时，运动检测可能会变得更加有效。将三维图像(即还包括深度信息的二维图像)映射到二维平面的类型可以是正投影、弱透视投影和透视投影中的任何一种。仍然，在某些情况下，省略深度信息是不经济的，例如，在仅需要分析很少的投影图像的情况下。
附图说明
参考下文描述的实施例，本发明的这些和其他方面将变得显而易见并得以阐述。在附图中：
图1示出了根据本发明的用于检测患者的身体移动的设备的实施例的示意图。
图2示出了根据本发明的用于检测患者的身体移动的方法的实施例的流程图。
图3A至3F示出了根据本发明的患者的图像以及所述图像在两个相继的时间点上的相应投影。
图4A和4B示出了由根据本发明的设备的实施例生成的图像的两个不同的投影图像。
图5示出了根据本发明的用于检测患者的身体移动的系统的实施例的示意图。
图6示出了用于检测、分析和定位躺在床上的患者的运动的八个不同的投影平面。
图7示出了由根据本发明的设备的实施例生成的图像的流程图。
具体实施方式
图1示出了根据本发明的用于检测患者的身体移动的设备1的实施例的示意图。设备1包括投影扫掠单元2、运动检测单元3和分析单元4。
使用包括深度信息5的图像数据，投影扫掠单元2针对不同的视点投影相应的图像50，就好像相机被摇摄和/或定位在房间中的其他地方一样。因此，获得一幅或多幅投影图像21。对于这些投影图像21中的每一个，即对应的投影图像数据，运动检测单元3被配置为检测运动是否存在于相应的投影图像21中作为二进制判定。如此获得的用于投影图像21的运动检测信号31被传递到分析单元3。在分析单元中，可以以任何方式组合信号31以更详细地检测场景中的身体移动，特别是定位和分析所述运动。分析的结果41然后可以用于进一步的处理。
图2示出了根据本发明的用于检测患者的身体移动的方法的实施例的流程图。
在第一步中，从深度相机6接收包括深度信息5的图像数据。所述图像数据可以例如对应于示出躺在床上的对象的图像。给定所述数据5，如果由运动检测单元3的运动检测器30发现在图像中发生运动，则由投影扫掠单元2生成与不同视点22相对应的不同投影图像21的图像流。基于从初始相机平面开始的离散扫掠来生成不同的投影平面或视点22。在没有可用的有关初始相机平面的明确信息的替代方案中，将根据监视场景中的静态信息(即辅助信息，例如地板和墙壁的方向)来选择投影平面。还可以在视点22的整个范围内进行完整扫掠。在下一步骤中，将所生成的投影图像21提供给包括运动检测器30的运动检测单元3，运动检测器30确定每个投影图像21中的运动(如果有的话)。使用基于相继的图像的相关性或帧差的简单运动检测算法，可以对这些图像流中的运动/不运动(即运动或不运动)做出决策。因此，运动检测在计算上是廉价的。然后将得到的运动检测信号31进行组合，并在分析单元4中进行分析。尽管运动检测信号31是二元运动/非运动信号，即表示每个投影的二元信号，以指示是否在相应的投影图像中存在运动，但是分析单元4仍能够组合来自不同投影图像流的运动检测决策，以采集有关运动的更复杂的推理。除了在图像中定位运动之外，分析单元4还可以将检测到的运动分配给特定的身体部位，例如推断运动的频率并识别重复。场景中运动的检测、定位和分析可以有规律地或间隔地进行。
图3A至3F示出了根据本发明的患者的图像50以及所述图像50的在两个相继时间点上的相应投影21。特别地，图3A和3B以俯视图示出了躺在床上的患者，图3C和3D以侧视图示出了同一患者，而图3E和3F从患者头部后面的角度示出了上述场景。图3A、3C和3E分别示出了在同一时间点的场景。在稍后的时间点被捕获图3B、3D和3F也是如此。在图3A和3B中示出的输入场景分别包括患者右手和左手的运动，分别由区域51和52标记。从图3C和3D可以看出，用于侧视图的投影图像仅捕获两个区域中的区域51。因此，在此透视图中可以看到患者右手的运动，而对应于区域52的左手的运动却被遮挡了。在图3E和3F中，另一方面，可以清楚地看到左手的运动，即区域52，而遮挡了包括右手的区域51。因此，分别通过图3C和3D中所示的投影，可以分别可视化患者的手的同时发生的运动。
图4A和4B示出了由根据本发明的设备1的实施例生成的图像50的两个不同的投影图像21。特别地，图4A和4B示出了形成场景的三维表示的点的集合，即点云。投影的每个点由其三个坐标x,y和z来识别。一个视点由一个平面唯一地识别，并相应地由该平面的法线识别。可以将与包括深度信息的图像数据相对应的图像投影到另一平面上，以获得包括针对另一视点的深度信息的另一投影图像。例如，图4A示出了包括深度信息的图像，即三维点云Pc，如从对应于由法线Nc限定的平面的视点看到的。点要被投影到的视点的法线为Np。这些法线之间的角度定义了旋转矩阵R，并且点从与法线Np对应的视点看的云Pc由Pc′＝R*Pc给出。从由Np点定义的视点可见的点的集合，即包含深度信息Pc′的图像在图4B中示出。由于视点不同，云Pc中可见的一些点隐藏在Pc′中。特别是，靠近视点平面的点和(其)表面将遮挡同一视点线中但距离相应的投影平面更远的点(及其表面)。尽管图4B可能已经被用作三维投影图像，即，包括深度信息的投影图像，但是在运动检测单元3中，投影扫掠单元2优选地进一步处理所述图像以收集二维投影，即Pc′中的保留的点集中没有深度信息的投影图像。实际上，在二维图像而不是三维图像中检测运动信号极大地减少了计算量。使用的投影方法可以是正交投影或透视投影。由于正交投影忽略了远处的对象看起来比附近的对象小，因此首选透视投影。使用此方法最终的2D图像被获得为
Figure BDA0002525864530000111
其中，坐标x′,y′和z′对应于图像数据中包含深度信息Pc′,f是任意比例因子，并且坐标X′和Y′表示由法线Np定义的视点平面中的2D投影。所有点X′和Y′的集合对应于Pc′中的点x′,y′和z′的集合被定义为投影图像。可以进一步定义平移向量T以模拟视点平面越来越接近或远离点云或投影的点云。使用这样的缩放也可能导致不同运动的分离。
图5示出了根据本发明的用于检测患者的身体移动的系统100的实施例的示意图。系统100包括深度相机6、投影扫掠单元2、运动检测单元3、分析单元4、存储单元7、用户接口8、警报单元9以及自动计算机视觉单元10。
在该场景下，相机6直接位于病床上方，从平行于他前侧平面220(即，平行于病床上表面)的角度观察患者。然后将收集的图像数据5提供给投影扫掠单元2。在该实施例中，投影扫掠单元2将与包括深度信息5的图像数据相对应的图像50投影到两个投影平面210和211上，这两个投影平面均平行于患者身体的矢状面230，特别是在左侧和右侧与患者的矢状面230平行。因此，在本实施例中生成的投影图像是缺少深度信息的二维图像。
为了仅检测和分析患者右手的运动，将运动检测应用于投影到平面210和/或其他靠近平面210的平面上的图像。根据床取向和相机取向的信息，识别此处要选择的平面(或附近区域)。获得有关床和相机取向的该辅助信息可以经由系统初始化可用，由用户经由用户接口8提供，或者从自动计算机视觉单元10观察到的场景的静态区域导出。在选择平面210及其附近的其他平面以检测右手的运动时，系统100隐式地定位运动区域。提出的系统100还可以显式地检测运动的位置。
例如，仅在对应于平面211的投影图像中捕获患者左手的运动。然而，当包括深度信息的图像50被投影到平面210上时，左手的点被遮挡。类似地，右手仅在对应于平面211的投影图像中被捕获。因此，分离了针对不同身体部位的运动的运动信息。在两只手都在移动的情况下，来自平面210和平面211的组合运动检测信号捕获左手和右手两者都在移动的信息。
在分析单元4中，分别例如通过频谱分析来进一步分析分别来自平面210和211的单独的运动信息信号，以推断出周期性、持续时间等。运动检测信号中的运动模式也可以由分析单元4找到。
然后可以将所获得的有关患者运动的信息，例如所述运动的位置、速度和持续时间，与存储在存储单元7中的运动数据进行比较。运动数据尤其包括特定障碍和运动模式的运动特征。另外，存储单元7可以存储所述数据以及到关于与相关医学状况的数据的映射。
因此，当分析单元4通过将检测到的运动检测信号31与来自存储单元7的运动数据进行比较而发现患者患有疾病时，可以在用户接口8的显示器上显示诊断。用户接口8的显示器可以是床边患者监视器、护士监视器和/或医师监视器。
同样，根据诊断出的医学状况，警报单元9可以向医务人员发出听觉、视觉或触觉警报。为此，分析单元4可以为每个诊断出的医学状况分配风险分数，并且可以在超过预定的风险分数阈值时向警报单元9发出信号以警告医护人员。
除了实时分析之外，分析单元4还被配置为提供患者运动行为的长期分析。通过在预定的时间间隔上分析运动检测信号31，分析单元4可以进一步推断关于患者的平均活动以及患者活动的变化和/或趋势的信息。谵妄的平均持续时间例如可以是几个小时，例如在实际的示例性情况下约为48小时。因此，如果在相应的时间跨度上监视谵妄的患者，则可以提高诊断谵妄的可靠性。尽管如此，检测身体移动并不需要连续进行，而是可以在特定的时间点例如在睡眠时间执行。
存储单元7可以进一步被配置为在预定时间间隔内存储运动检测信号以及分析单元4的相应分析41。
图6示出了用于检测、分析和定位躺在床上的患者的运动的八个不同的投影平面。在原始图像中，从上方观察患者的床。基于与所述原始图像在平面212到219上的八个不同投影有关的运动检测决策，进行运动的后续详细定位。如果来自平面212到219的运动检测决策为“y”，“y”，“n”，“n”，“n”，“y”，“y”，“n”，其中，“y”表示检测到运动，而“n”表示未检测到，则对对应于平面212、213、217和218的视点检测到运动。由于预先确定的关于患者位置的所述视点的位置(即投影平面)，可以推断出存在两个可能的运动区域——第一个是对应于平面212和213的视点相交区域，第二个是针对平面212和219的视点的相交区域。为了收集关于所述区域中的运动的更多信息，投影扫掠单元2可以根据原始图像和所述子图像的进一步投影来生成这些区域的子图像。
图7示出了由根据本发明的设备的实施例生成的图像的流程图。生成多个投影图像240至246以检测、定位和分析患者的手指运动。
使用一系列投影图像，可以对运动区域进行更精确的定位，以进行可靠的运动检测和运动类型的推断。在接收到与包括深度信息的图像数据5相对应的患者图像50时，投影扫掠单元2创建投影图像240、241和242，每个投影图像从不同的角度示出患者。图像240示出患者的头部和左臂，图像241示出患者的躯干和左臂，并且图像242示出示患者的左臂和腿。如果在每个投影图像中都检测到运动，则分析单元会将检测到的运动定位在投影的交叠区域，即包括患者手臂的区域。随后，分析单元4放大运动区域，使得以更多的细节地捕获来自该区域的信息。这导致图像243仅显示从对应于图像50的角度看的左臂。取决于图像数据5的质量，例如也可以从外部深度相机获得放大图像243。基于检测到的运动区域，应用进一步的投影扫掠，示出了患者的手臂，其来自图像244中与患者矢状面平行的平面的以及来自图像245的患者的下体的与横断面平行的平面。这提供了获得更精细信息的好处，例如，通过在先前步骤中已检测到运动的受约束的区域内进行更精细的投影扫掠。如果仅在投影图像245中检测到运动，则检测到的运动必须发生在图像244遮挡的区域中，大概是患者的手指中的一个在躯干附近。然后可以进一步监视手指，并且可以在分析单元4中的放大图像246中分析运动。频谱分析和辅助信息(例如图像中肢体的位置)的使用支持了手指运动的识别。所述辅助信息可以被提供给分析单元4，并且被用于将投影平面绑定到各个身体区域。如果分析单元4确定手指的运动类似于与谵妄相关联的采棉行为，则医师和护理人员可以立即发出警报。
总而言之，所提出的系统允许检测场景部分中的运动，并使用简单的运动检测算法来推断移动类型，而无需明确的运动估计和身体部位分割信息。当同时发生运动时，所提出的系统能够独立地分离和分析不同身体部位的运动。
所提出的系统可以用于像利用相机监视患者的应用。它可以在单个患者监控设置中使用，例如在ICU中，甚至在相机视野内有多个患者的普通病房中。除了基于整个人体运动的整体活动措词外，像谵妄检测系统等临床应用还将受益于更精细的信息，例如特定身体区域(如手和腿)中检测到的运动事件的数量，检测到的摸空运动的数量等。
在临床应用场景之外，所提出的系统可用于细粒度运动信息有帮助的应用中的运动定位和增强。一些示例应用包括人群中异常行为检测，用户手势识别、跌倒预测、步态分析等。
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示范性的，而非限制性的。本发明不限于公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以完成权利要求书中所记载的若干个项目的功能。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的集合。
计算机程序可以存储/分布在与其它硬件一起或作为其它硬件的部分来提供的合适(非瞬态)介质中，例如光存储介质或固态介质，但也可以用其它形式来发布，例如经由互联网或者其它有线或无线电信系统。
权利要求书中的任何附图标记均不应被解释为对范围的限制。

Claims (15)

1.一种用于检测患者的身体移动的设备(1)，所述设备包括：
投影扫掠单元(2)，其被配置为获得包括与示出所述患者的图像相对应的深度信息(5)的图像数据并且针对不同的视点(22)生成所述患者的一幅或多幅投影图像(21)，
运动检测单元(3)，其被配置为在所述一幅或多幅投影图像(21)中检测所述患者的运动并且生成指示在相应的投影图像(21)中是否检测到运动的一个或多个运动检测信号(31)，以及
分析单元(4)，其被配置为基于运动检测信号(31)的一种或多种组合来检测和定位所述患者的一个或多个身体部位的身体移动。
2.根据权利要求1所述的设备(1)，
其中，所述运动检测单元(3)被配置为使用帧差分和/或基于相关的方法来检测所述患者的所述运动。
3.根据前述权利要求中的任一项所述的设备(1)，
其中，所述分析单元(4)被配置为使用辅助信息来检测身体移动，所述辅助信息包括床位置和/或取向、相机位置以及与身体四肢相对应的检测到的肢端点中的任何一个。
4.根据前述权利要求中的任一项所述的设备(1)，
其中，所述分析单元(4)被配置为推断包括以下中的任一项的移动数据：运动区域、运动方向、运动速度以及运动频率和运动模式。
5.根据前述权利要求中的任一项所述的设备(1)，
其中，所述分析单元(4)被配置为基于检测到的身体移动与医学状况之间的映射来将检测到的身体移动分配给所述医学状况。
6.根据前述权利要求中的任一项所述的设备(1)，
其中，所述分析单元(4)包括针对预定义的功能而被训练和/或被配置为针对预定义的功能而被训练的一个或多个机器学习模型。
7.根据前述权利要求中的任一项所述的设备(1)，
其中，所述分析单元(4)被配置为根据加权因子来组合所述运动检测信号。
8.根据前述权利要求中的任一项所述的设备(1)，
其中，所述投影扫掠单元(2)被配置为从不同的角度和/或不同的缩放水平获得图像。
9.根据前述权利要求中的任一项所述的设备(1)，
还包括存储单元(8)，所述存储单元被配置为存储以下中的任一项：所述图像数据、所述一幅或多幅投影图像(21)、所述移动数据、所述辅助信息以及检测到的身体移动与所述医学状况之间的映射，并且/或者
还包括用户接口(7)，所述用户接口被配置为呈现由所述分析单元(4)提供的分析以获得所述辅助信息和/或获得检测到的身体移动与所述医学状况之间的所述映射。
10.根据前述权利要求中的任一项所述的设备(1)，
其中，所述投影扫掠单元(2)被配置为生成所述图像和/或所述一幅或多幅投影图像的一幅或多幅子图像，其中，所述运动检测单元被配置为从所述一幅或多幅子图像中检测子图像运动检测信号，所述子图像运动检测信号指示在相应子图像中是否检测到运动。
11.根据权利要求10所述的设备(1)，
其中，所述投影扫掠单元(2)被配置为针对不同的视点从所述一幅或多幅子图像生成一幅或多幅投影子图像，其中，所述运动检测单元被配置为从所述一幅或多幅投影子图像中检测另外的运动检测信号，所述另外的运动检测信号指示在相应投影子图像中是否检测到运动。
12.根据前述权利要求中的任一项所述的设备(1)，
其中，所述投影扫掠单元(2)被配置为生成以下中的任一项：具有或不具有深度信息的投影图像(21)、子图像以及投影子图像。
13.一种用于检测患者的身体移动的系统(100)，所述系统包括：
深度相机(6)，其被配置为采集图像数据，所述图像数据包括与示出所述患者的图像相对应的深度信息(5)，以及
根据前述权利要求中的任一项所述的设备(1)，其用于基于所采集的图像数据(5)来检测所述患者的身体移动。
14.一种用于检测患者的身体移动的方法，所述方法包括以下步骤：
获得包括与示出所述患者的图像相对应的深度信息(5)的图像数据，并且针对不同的视点(22)生成所述患者的一幅或多幅投影图像(21)，
在所述一幅或多幅投影图像(21)中检测所述患者的运动并生成指示在相应的投影图像(21)中是否检测到运动的一个或多个运动检测信号(31)，并且
基于运动检测信号(31)的一种或多种组合来检测和定位所述患者的一个或多个身体部位的身体移动。
15.一种包括程序代码单元的用于检测患者的身体移动的计算机程序，所述程序代码单元用于当所述计算机程序在计算机上执行时使所述计算机执行根据权利要求14所述的方法的步骤。
CN201880078810.5A 2017-12-06 2018-11-28 用于检测患者的身体移动的设备、系统和方法 Active CN111448589B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17205627.7 2017-12-06
EP17205627.7A EP3496037A1 (en) 2017-12-06 2017-12-06 Device, system and method for detecting body movement of a patient
PCT/EP2018/082767 WO2019110382A1 (en) 2017-12-06 2018-11-28 Device, system and method for detecting body movement of a patient

Publications (2)

Publication Number Publication Date
CN111448589A true CN111448589A (zh) 2020-07-24
CN111448589B CN111448589B (zh) 2024-03-08

Family

ID=60627464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078810.5A Active CN111448589B (zh) 2017-12-06 2018-11-28 用于检测患者的身体移动的设备、系统和方法

Country Status (5)

Country Link
US (1) US11354809B2 (zh)
EP (2) EP3496037A1 (zh)
JP (1) JP7266599B2 (zh)
CN (1) CN111448589B (zh)
WO (1) WO2019110382A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435440A (zh) * 2020-10-30 2021-03-02 成都蓉众和智能科技有限公司 一种基于物联网平台的非接触式室内人员跌倒识别方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182723B2 (en) * 2017-06-16 2021-11-23 Soter Analytics Pty Ltd Method and system for monitoring core body movements
US20230377279A1 (en) * 2022-05-19 2023-11-23 Disney Enterprises, Inc. Space and content matching for augmented and mixed reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040554A2 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
WO2015078735A1 (en) * 2013-11-27 2015-06-04 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
US20150281680A1 (en) * 2014-03-31 2015-10-01 Siemens Aktiengesellschaft System and method for triangulation-based depth and surface visualization
WO2016058866A1 (en) * 2014-10-13 2016-04-21 Koninklijke Philips N.V. Patient monitoring system and method
US20160147959A1 (en) * 2014-11-20 2016-05-26 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
CN107072548A (zh) * 2014-11-03 2017-08-18 皇家飞利浦有限公司 用于人的取向和/或位置的自动检测的设备、系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP1671216B1 (en) 2003-10-09 2016-12-07 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
KR100846498B1 (ko) 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
GB2475104A (en) 2009-11-09 2011-05-11 Alpha Vision Design Res Ltd Detecting movement of 3D objects using a TOF camera
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US9232912B2 (en) 2010-08-26 2016-01-12 The Regents Of The University Of California System for evaluating infant movement using gesture recognition
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US9408561B2 (en) 2012-04-27 2016-08-09 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
DE102013017264A1 (de) 2013-10-17 2015-04-23 Dräger Medical GmbH Verfahren für die Überwachung eines Patienten innerhalb eines medizinischen Überwachungsbereichs
WO2016015760A1 (en) 2014-07-30 2016-02-04 Brainlab Ag Online patient reconstruction and tracking for patient setup in radiation therapy using an iterative closest point algorithm
WO2016086976A1 (en) 2014-12-02 2016-06-09 Brainlab Ag Human body measurement using thermographic images
US10445886B2 (en) * 2017-05-30 2019-10-15 General Electric Company Motion-gated medical imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040554A2 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
WO2015078735A1 (en) * 2013-11-27 2015-06-04 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
US20150281680A1 (en) * 2014-03-31 2015-10-01 Siemens Aktiengesellschaft System and method for triangulation-based depth and surface visualization
WO2016058866A1 (en) * 2014-10-13 2016-04-21 Koninklijke Philips N.V. Patient monitoring system and method
CN107072548A (zh) * 2014-11-03 2017-08-18 皇家飞利浦有限公司 用于人的取向和/或位置的自动检测的设备、系统和方法
US20160147959A1 (en) * 2014-11-20 2016-05-26 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAODONG YANG: "Recognizing Actions Using Depth Motion Maps-based Histograms of Oriented Gradients", ROCEEDINGS OF THE 20TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, pages 1057 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435440A (zh) * 2020-10-30 2021-03-02 成都蓉众和智能科技有限公司 一种基于物联网平台的非接触式室内人员跌倒识别方法

Also Published As

Publication number Publication date
CN111448589B (zh) 2024-03-08
JP7266599B2 (ja) 2023-04-28
WO2019110382A1 (en) 2019-06-13
EP3721410A1 (en) 2020-10-14
US20200342608A1 (en) 2020-10-29
JP2021505264A (ja) 2021-02-18
US11354809B2 (en) 2022-06-07
EP3496037A1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6588978B2 (ja) 人の向き及び／又は位置の自動検出のための装置、システム、及び方法
Cuppens et al. Automatic video detection of body movement during sleep based on optical flow in pediatric patients with epilepsy
US9687189B2 (en) Automatic visual remote assessment of movement symptoms in people with parkinson's disease for MDS-UPDRS finger tapping task
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
Zhu et al. A computer vision-based system for stride length estimation using a mobile phone camera
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
JP2019185752A (ja) 画像抽出装置
Albawendi et al. Video based fall detection using features of motion, shape and histogram
Satriya et al. Robust pupil tracking algorithm based on ellipse fitting
Stone et al. Silhouette classification using pixel and voxel features for improved elder monitoring in dynamic environments
Jaroensri et al. A video-based method for automatically rating ataxia
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
Ahmedt-Aristizabal et al. Motion signatures for the analysis of seizure evolution in epilepsy
Munn et al. FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers
CN112885435B (zh) 图像目标区域的确定方法、装置和系统
Jain et al. Innovative algorithms in computer vision
Mirmahboub et al. View-invariant fall detection system based on silhouette area and orientation
US11704829B2 (en) Pose reconstruction by tracking for video analysis
Green Automatic'Timed-Up and Go'(TUG) test segmentation
US20230050992A1 (en) Multi-view multi-target action recognition
KR20230141866A (ko) 다중 뷰 다중 타깃 행동 인식
Patrone et al. Dynamical optical flow of saliency maps for predicting visual attention
Iakovidis Versatile approximation of the lung field boundaries in chest radiographs in the presence of bacterial pulmonary infections
JP2016143071A (ja) 特定動作検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant