CN117136028A - 患者监测系统 - Google Patents

Abstract

该特征涉及患者监测系统，患者监测系统被配置使得能够适当地监测患者的状态。该患者监测系统包括：估计单元，通过将指示患者的生命体征的生命体征信息和通过分析患者出现的影像而获得的影像分析信息输入到第一学习模型中来估计患者的状态；以及监测单元，基于该估计单元的估计结果来监测患者的状态。例如，该特征可以应用于设置在ICU内部的监测系统。

Description

患者监测系统

技术领域

本技术涉及患者监测系统，并且更具体地，涉及能够适当地监测患者的状况的患者监测系统。

背景技术

在医疗环境中，患者的状况可突然变化。在ICU中，许多患者处于生命的关键状况或手术后状况，并且患者的状况尤其可能突然变化。因此，需要用于适当地监测患者的方法。

例如，在专利文件1中描述了对显示在生物体监测器上的监测器画面进行监测，并且在发生异常的时刻以强调的方式显示。

引用列表

专利文献

专利文献1：日本专利申请公开第2009-233042号

发明内容

本发明要解决的问题

顺便说一下，医生和护士仅仅通过观察生命体征的变化，不能掌握患者的状况。医生或护士通过与生命体征的变化一起观察患者的外观，凭经验感觉不舒服，来感测患者的异常或状况的突然变化的体征。

鉴于这种情况做出本技术，并且本技术旨在适当地监测患者的状态。

问题的解决方案

根据本技术的一个方面的患者监测系统包括：估计单元，将指示患者的生命体征的生命信息和通过分析示出患者的影像而获得的影像分析信息输入到第一学习模型以估计患者的状态；以及监测单元，基于估计单元的估计结果来监测患者的状态。

在本技术的一个方面，将指示患者的生命体征的生命信息和通过分析显示患者的影像而获得的影像分析信息输入至第一学习模型，估计患者的状态，并且基于估计结果监测患者的状态。

附图说明

图1是示出应用本技术的患者监测系统的实施方式的图。

图2是示出通过信息处理装置获取的数据的示例的图。

图3是示出通过信息处理装置进行的处理的流程的示图。

图4是示出提取眼睛周围的特征量的方法的流程的图。

图5是示出提取面部和肩部的特征量的方法的流程的图。

图6是示出用于多变量分析的时间序列数据的示例的图。

图7是示出显示屏幕的示例的图。

图8是示出用于各个患者的相机的配置示例的图。

图9是示出患者监测系统的另一配置示例的图。

图10是示出信息处理装置的功能配置示例的框图。

图11是示出用于各个分析的学习模型的学习数据集的示例的图。

图12是用于说明信息处理装置的处理的流程图。

图13是示出计算机的硬件的配置示例的框图。

具体实施方式

下面将描述用于执行本技术的模式。将按照以下顺序进行描述。

1.患者监测系统

2.信息处理装置的配置

3.信息处理装置的操作

4.变形例

<1.患者监测系统>

图1是示出应用本技术的患者监测系统的实施方式的图。

患者监测系统是这样一种系统：通过使用除了患者生命体征数据、诊断数据和属性数据之外，还使用从显示患者的影像中获得的外观特征量进行分析来进行患者的异常检测和突然变化预测。异常检测和突然变化预测的结果被提供给医疗人员。医疗人员包括医生和护士。

图1中的患者监测系统通过经由有线或无线通信将相机1A至1C和医疗设备2A至2C连接到信息处理装置3来配置。监测器4也连接到信息处理装置3。构成患者监测系统的各个设备安装在例如重症监护室(ICU)中。在图1的示例中，由患者A至C使用的三张床被安装在ICU中。注意，相机1A至1C和医疗设备2A至2C可以经由网络连接到信息处理装置3。此外，相机1A至1C和医疗设备2A至2C可以经由IP转换器连接至信息处理装置3，该IP转换器将通信协议转换为预定通信协议(例如，互联网协议(IP))。IP转换器包括信息处理电路，该信息处理电路包括CPU和存储器。

相机1A至1C被配置为例如能够改变成像方向和视角的云台(pan-tilt-zoom)相机。相机1A至1C进行成像并且获取显示各个患者A至C的影像。例如，通过相机1A至1C获取RGB影像作为显示各个患者A至C的影像。注意，以下，在不需要区分相机1A至1C的情况下，将相机1A至1C简称为相机1。这同样适用于所提供的多个其他设备。

医疗设备2A至2C检测各个患者A至C的生命体征，并且获取预定时间段的生命体征的时间序列数据作为生命体征数据(生命信息)。

例如，对每个患者设置一个相机1和一个医疗设备2作为用于每个患者的设备。在图1中，在ICU中提供三个相机1和三个医疗设备2，但实际上，在ICU中提供与患者的数量和床的数量相对应的多个相机1和医疗设备2。

信息处理装置3是进行患者的异常检测和突然变化预测并且监测该患者的状态的装置。信息处理装置3从ICU中的设备和其他系统、医院中的其他系统等获取各种数据。

图2是示出通过信息处理装置3获取的数据的示例的图。

如图2的A所示，从ICU中的另一个系统或医院中的另一个系统获取指示患者的性别、年龄、病历等的属性数据以及指示血液检查等的结果的医疗护理数据。医疗护理数据例如是每个预定时间段进行的血液检查的结果的时间序列数据。

如图2的B所示，从医疗设备2获取时间序列数据(诸如心电图、呼吸频率、SpO2、体温、血糖水平和侵入性动脉压)作为生命体征数据。

如图2的C所示，从相机1取得显示患者的面部的面部图像以及显示患者的全身的全身图像。获取构成显示患者的影像的帧图像作为面部图像和全身图像。

图1中的信息处理装置3从(从相机1获取的)面部图像和全身图像中提取患者的外观特征量。信息处理装置3通过基于外观特征量、属性数据、医疗护理数据和生命体征数据进行分析来估计患者的状态。此外，信息处理装置3还记录外观特征量、医疗护理数据和生命体征数据。

监测器4对每个患者A至C显示影像列表、生命体征数据、患者状态的估计结果等，并且对一个患者显示影像列表、生命体征数据、状态估计结果等。

图3是示出信息处理装置3进行的处理的流程的图。

如图3的箭头A1所示，信息处理装置3从面部图像中提取面部特征量和呼吸模式。例如，从面部图像提取指示基于患者的面部表情的扭体(writhing)状态的数值作为面部特征量。此外，例如，从面部图像中提取指示基于患者的嘴、鼻子、喉咙以及颈部的肌肉的运动的呼吸状态的数值作为呼吸模式。

ICU中的患者通常佩戴呼吸器。由于呼吸器遮掩了患者面部的一部分，因此，如果使用通用面部表情检测技术来提取面部特征量，则面部表情检测的准确性可能变差。

因此，信息处理装置3进行专门用于提取患者眼睛周围的特征量作为面部特征量的面部表情识别。

图4是示出提取眼睛周围的特征量的方法的流程的图。

如图4中的箭头A21所示，信息处理装置3从面部图像中大致地检测示出患者面部的上半部的区域。在图4的示例中，如矩形框F1中所示，从患者的鼻子到前额周围的眼睛周围的区域被检测为用于眼睛周围的特征量提取的区域。

信息处理装置3从面部图像中切出眼睛周围的区域以产生局部图像。在旋转眼睛周围的局部图像之后，信息处理装置3从图像中检测眼睛周围的特征点(landmark)，如箭头A22所示。例如，眼睑的边缘位置、眼睛的中心位置(虹膜的中心位置)、眉毛的位置、眼睛的内角的位置、眼睛的外角的位置、以及鼻梁的位置中的至少一个被检测为眼睛周围的特征点的位置。眼睛周围的局部图像上的灰点指示眼睛周围的特征点的位置。

通过仅将眼睛周围的区域设置为特征点检测的对象，能够不受呼吸器的影响而以高准确度检测特征点。

如箭头A23所示，例如，信息处理装置3基于眼睛周围的特征点的位置来提取眼睛周围的特征量，诸如眉毛内端之间的距离、眼睑的打开状态、眼睑的张开和闭合次数、眼睛的外角的下降量、以及眼线的方向。这些眼睛周围的特征量是指示患者的痛苦、抑郁、活力等的数值。注意，指示眼睛周围的特征点之间的相对位置关系的信息可以被用作眼睛周围的特征量。

以这种方式，信息处理装置3可以将患者的镇静状态、疼痛表情、意识状态、睡眠状态等作为数值处理。信息处理装置3记录从面部图像提取的眼睛周围的特征量。由于记录眼睛周围的特征量而不是面部图像本身，因此可以考虑患者隐私来实现患者监测系统。

返回图3，如箭头A2所示，信息处理装置3从全身图像中提取姿势特征量。例如，从全身图像中提取指示基于患者身体的痉挛或移动的激发状态的数值作为姿势特征量。

ICU中的患者可能覆盖有蒲团(futon)床上用品。由于蒲团隐藏了患者身体的一部分，如果使用通用骨架估计技术来提取姿势特征量，则骨架估计的准确性可能变差。

因此，信息处理装置3进行专门用于提取患者的面部和肩部的特征量的识别。

图5是示出提取面部和肩部的特征量的方法的流程的图。

如图5中的箭头A31所示，信息处理装置3从全身图像中大致地检测示出患者的上身的区域。在图5的示例中，由矩形框F11包围的区域被检测为用于提取面部和肩部的特征量的区域。

信息处理装置3从全身图像中切出上身的区域以产生局部图像。在生成上身的局部图像之后，信息处理装置3从上身的局部图像检测面部的朝向和肩部的位置，如箭头A32所示。上身的局部图像上的虚线方框指示患者面部的朝向。此外，两个灰色椭圆指示肩部的位置。

通过仅将上半身的区域设置为肩部的位置的检测对象，能够不受蒲团的影响而以高准确度检测肩部的位置。

如箭头A33所示，信息处理装置3提取肩部的位置、肩部之间的距离、肩部之间的角度、面部朝向等作为姿势特征量。具体地，基于肩部的位置和面部的朝向，获得诸如身体相对于仰卧状态向左旋转的角度、面部相对于肩部倾斜的角度以及右肩部相对于左肩部抬升的角度的数值作为姿势特征量。

以这种方式，信息处理装置3可以将患者的镇静状态、意识状态、睡眠状态等作为数值来处理。信息处理装置3记录从全身图像中提取出的姿势特征量。由于记录姿势特征量而不是全身图像，因此可以考虑患者隐私来实现患者监测系统。

如图3中虚线所示，将如上所述的从影像提取的面部特征量、呼吸模式和姿势特征量用作患者的外观特征量以用于后续分析。

如箭头A3所示，信息处理装置3除了医疗护理数据、生命体征数据之外，还使用从预定时间段的影像中获得的外观特征量的时间序列数据来进行多变量分析。

图6是示出用于多变量分析的时间序列数据的示例的图。在图6中，横轴表示时间，并且纵轴表示生命体征或外观特征量的数值。

如图6所示，将在预定时间段中执行的血液检查的结果的时间序列数据、在预定时间段中检测的生命体征的时间序列数据、以及从构成预定时间段的影像的帧图像提取的外观特征量的时间序列数据用于多变量分析。

注意，在生命体征、帧图像、血液检查结果等的采样率彼此不同的情况下，信息处理装置3进行插值处理，并且同时生成生命体征、外观特征量(帧图像)、血液检查结果等。插值处理后的时间序列数据被用于多变量分析。

使用诸如主成分分析、机器学习或深度学习之类的方法来执行多变量分析。例如，通过输入医疗护理数据、生命体征数据和外观特征量的时间序列数据，从学习模型输出从基准时刻起的预定时间之后的生命体征的预测值。作为基准时刻的示例，可以考虑捕获帧图像的时间、检测到生命体征的时间或者进行血液检查的时间。作为生命体征的预测值，例如，通过多变量分析估计预定时间之后的血压、SpO2、心率和呼吸频率。此外，可以通过多变量分析来估计血压降低的概率、SpO2的概率、心率增加的概率和呼吸频率增加的概率。因此，通过多变量分析来估计患者的未来状况。

如图3中的箭头A4、A5所示，在进行多变量分析之后，信息处理装置3使用多变量分析结果和属性数据进行分析。还使用诸如主成分分析、机器学习或深度学习的方法来执行这一分析。

具体地，作为使用属性数据和多变量分析结果的分析，可以考虑对两个模式进行处理。

在第一模式的处理中，作为多变量分析结果的预定时间之后的生命体征的预测值基于属性数据来校正，并且判断校正后的预测值是否超过阈值。

在第二模式的处理中，基于属性数据来调整阈值。在调整阈值之后，判断在作为多变量分析结果的预定时间之后的生命体征的预测值是否超过调整的阈值。

如箭头A6所示，信息处理装置3在利用属性数据和多变量分析结果进行分析后，在监测器4中显示异常数值、异常预测值、身体活动数值等。异常数值例如是指示生命体征突然变化时的风险程度或生命体征突然变化的概率的值。异常预测值是超过阈值的预测值。另外，身体活动量数值是指示捕获帧图像时的患者的移动程度的值。身体活动量数值指示患者正在移动、疲劳等。使用属性数据和多变量分析结果通过分析来获得诸如异常数值、异常预测值和身体活动数值的信息。

如箭头A7所示，信息处理装置3基于异常数值和异常预测值控制监测器4发出异常警报。例如，在确定异常数值或异常预测值超过阈值的情况下，在监测器4上显示生命体征突然变化的预测时间和突然变化的类型，并且向医疗人员发出警告患者状态的突然变化的警报。作为突然变化的种类，例如在监测器4中显示血压降低、SpO2降低、心率增加、呼吸频率增加中的至少一个。

图7是图示显示屏幕的示例的图。

如图7的左侧所示，监测器4显示生命体征和外观特征量的时间序列数据，并且在时间序列上显示标签T1至T3。

例如，对基于外观特征量检测到的患者的状况(诸如患者做出激动的面部表情、睁开或闭合眼睛、四处移动、或痉挛)的变化的时间设置标签。此外，还对用于基于生命体征检测到的患者的状况(诸如血压的降低或呼吸频率的增加)的变化的时间设置标签。

信息处理装置3记录设置标签的时刻附近捕获到的影像。在通过医疗人员观看监测器4上的显示来选择标签的情况下，信息处理装置3使得监测器4显示在设置标签的时刻附近的患者的影像。通过选择标签，医疗人员可以在患者的状况已改变的时间附近检查影像。

由于仅当患者的状况改变时才记录影像，因此可以减小影像数据的存储容量。此外，医疗人员能够在患者的状况已改变的时间附近有效地检查患者的状态，而无需执行复杂的操作(诸如通过操作影像的时间线来检查患者的状态)。

注意，不仅可以对检测到患者的状况的变化的时间设置标签，而且可以对基于通过信息处理装置3的分析结果估计的生命体征突然变化的未来时间设置标签。例如，将对未来时间设置的标签与生命体征的预测值一起显示在监测器4上。

以这种方式，将指示患者的当前状态的信息(诸如生命体征、外观特征量的时间序列数据等)和指示患者的未来状态的信息(诸如生命体征的预测值、警报等)显示在监测器4上。

如上所述，本技术的患者监测可以基于显示患者的影像通过观察患者的外观来量化由医疗人员凭经验确定的不适感、显示量化的外观特征量，并且基于该外观特征量预测患者的状况的突然变化。

医疗人员能够通过观看监测器4上显示的各个患者的外观特征量而无需检查各个患者的状态，适当地监测患者的状态或状况的突然变化的标志。因此，可以减少医疗人员的频繁监测工作。另外，能够防止忽略患者的异常。

由于患者状态是基于持续获取的影像、生命体征数据和医疗护理数据来估计的，所以信息处理装置3可以诸如24小时或365天持续地监测患者状态。

图8是示出用于各个患者的相机1的配置示例的图。

如图8的上侧所示，在患者使用的床的附近区域中，在天花板上固定有两轴(X轴、Y轴)的轨道11，在该轨道11上设置有相机1。相机1能够沿轨道11改变其位置(作为移动机构)。注意，轨道11也可以固定在患者使用的床上。

例如，在ICU中，患者的姿势可能由于床的倾斜角度的改变或位置的改变而改变。由于患者的姿势改变，因此难以总是从前方对患者的面部进行成像。因此，在本技术的患者监测系统中，相机1移动至从正面对患者的面部进行成像的位置。相机1的位置通过信息处理装置3控制。

当相机1捕获患者面部的图像时，相机1首先以低倍率捕获图像以获取从上方观看的患者全身的影像。信息处理装置3从以这种方式获取的影像中检测患者面部的位置和朝向。

信息处理装置3基于患者的面部的位置和朝向的检测结果将相机1从接近前方的方向移动至能够捕获患者面部的位置。接下来，信息处理装置3摇动、倾斜和变焦相机1以便显示患者的面部。

通过执行这样的控制，获取面部图像。即使患者使用的床的倾斜角度变化，即使患者的姿势由于位置的变化而朝向上方、右方、左方等变化，相机1也移动至能够从前方捕获患者的面部的位置，并且能够获取能够容易地提取面部特征量的影像。

注意，设置相机1的轨道11可以是一个或多个轨道。此外，轨道11的形状可以是直线或曲线。

图9是示出患者监测系统的另一配置示例的图。

除了在ICU中的监测器4之外，图9中所示的患者监测系统还可以通过将远程监测器12连接至信息处理装置3来配置。例如，远程监测器12经由无线通信与信息处理装置3连接。

远程监测器12是设置在ICU外部的监测器，诸如另一医院。远程监测器12在信息处理装置3的控制下显示与监测器4中显示的信息相同的信息。远程医疗人员可以在检查在远程监测器12上显示的患者的生命体征的预测值等的同时，向ICU中的医疗人员给出指令。

以这种方式，指示考虑到患者的外观估计的多个患者中的每一个的状态的信息可以显示在设置在ICU外部的监测器上的列表中。

<2.信息处理装置的配置>

图10是示出信息处理装置3的功能配置示例的框图。在下文中，将描述监测一个患者的状态的示例。实际上，通过信息处理装置3的各个配置对多个患者中的每一个进行处理。

如图10所示，信息处理装置3包括有图像获取单元21、外观特征量提取单元22、医疗护理数据获取单元23、生命体征数据获取单元24、属性数据获取单元25、分析单元26以及显示控制单元27。

图像获取单元21从相机1获取显示患者的影像。此外，图像获取单元21基于从相机1获取的影像控制相机1的位置、方向和视角。将构成显示患者的影像的帧图像输出到外观特征量提取单元22。

外观特征量提取单元22用作对显示患者的影像进行分析并且获取指示分析结果的影像分析信息的分析单元。例如，从由图像获取单元21提供的帧图像中提取外观特征量作为影像分析信息。

具体地，外观特征量提取单元22从帧图像中检测提取外观特征量的区域。例如，外观特征量提取单元22从帧图像中检测患者眼睛周围的区域和患者的上身的区域。外观特征量提取单元22从检测区域中提取面部特征量和姿势特征量作为外观特征量。

通过外观特征量提取单元提取的外观特征量的时间序列数据被提供给分析单元26。

医疗护理数据获取单元23与ICU中的其他系统等通信并且获取患者的医疗护理数据。通过医疗护理数据获取单元23获取的医疗护理数据被输出到分析单元26。

生命体征数据获取单元24从医疗设备2获取患者的生命体征数据，并将生命体征数据输出到分析单元26。

属性数据获取单元25与ICU中的其他系统、医院中的其他系统等通信，并获取关于患者的属性数据。由属性数据获取单元25获取的属性数据被输出到分析单元26。

分析单元26使用外观特征量的时间序列数据、医疗护理数据和生命体征数据来执行多变量分析。具体地，外观特征量的时间序列数据、医疗护理数据和生命体征数据被输入到学习模型，并且输出在预定时间之后生命体征的预测值。注意，在外观特征量、血液检查结果和生命体征的采样率彼此不同的情况下，分析单元26进行插值处理，使得外观特征量、血液检查结果和生命体征中的具有低采样率的信息的采样率被调整为具有最高采样率的信息的采样率，然后执行多变量分析。分析单元26用作对具有低采样率的信息进行插值处理的插值单元。

分析单元26还使用多变量分析结果和属性数据进行分析。具体地，预定时间之后的生命体征的预测值和属性数据被输入到学习模型，并输出生命体征是否突然变化的确定结果。与该确定结果一起，还输出异常数值、异常预测值、身体活动量数值等。

图11是示出用于各个分析的学习模型的学习数据集的示例的图。

图11的A中示出的学习数据集包括生命体征、面部特征量和姿势特征量的时间序列数据作为输入数据，并且包括生命体征的时间序列数据作为输出数据。

如上所述，通过使用(用指示患者状态的生命体征的时间序列数据标记的)生命体征、面部特征量以及姿势特征量的时间序列数据作为学习数据的机器学习来生成在使用时间序列数据的多变量分析中使用的学习模型。

在图11的B所示的学习数据集中，生命体征的预测值和属性数据被包括作为输入数据，并且对生命体征的预测值的待校正值被包括作为输出数据。例如，生命体征的预测值和测量值之间的差被用作对预测值的待校正值。

如上所述，通过使用属性数据(其中生命体征的预测值和测量值之间的差被标记)和多变量分析的预测值作为学习数据的机器学习，来生成在使用多变量分析结果和属性数据的分析中使用的学习模型。例如，将在多变量分析中使用的学习模型和在使用多变量分析结果和属性数据的分析中使用的学习模型配置为长短期存储器(LSTM)。

返回图10，分析单元26将多变量分析结果和使用属性数据的分析的结果输出到显示控制单元27。分析单元26还用作将外观特征量的时间序列数据、生命体征数据等输入到学习模型以估计患者的状态的估计单元。

显示控制单元27使得监测器4显示指示患者的状态的信息。例如，在监测器4中显示分析单元26的分析结果、外观特征量的时间序列数据、医疗护理数据、生命体征数据、属性数据等作为指示患者的状态的信息。在这种情况下，将与提供给分析单元26的外观特征量的时间序列数据、医疗护理数据、生命体征数据和属性数据相同的数据提供给显示控制单元27。

此外，显示控制单元27根据分析单元26的分析结果发出警报等以提供预测到患者的生命体征的突然变化的通知。显示控制单元27用作基于分析单元26的分析结果来监测患者的状态的监测单元。

<3.信息处理装置的操作>

参考图12的流程图，将描述信息处理装置3的处理。

在步骤S1中，属性数据获取单元25从ICU中的另一个系统、医院中的另一个系统等中获取关于患者的属性数据。

在步骤S2中，医疗护理数据获取单元23从ICU中的另一个系统等获取医疗护理数据。

在步骤S3中，生命体征数据获取单元24获取通过医疗设备2检测的生命体征的时间序列数据作为生命体征数据。

在步骤S4中，图像获取单元21控制相机1的位置、方向和视角。

在步骤S5中，图像获取单元21从相机1获取构成显示患者的影像的帧图像。

在步骤S6中，外观特征量提取单元22检测从帧图像中提取外观特征量的区域。

在步骤S7中，外观特征量提取单元22从检测到的区域中提取外观特征量。

在步骤S8中，分析单元26使用外观特征量的时间序列数据、生命体征数据和医疗护理数据来进行多变量分析。

在步骤S9中，分析单元26使用多变量分析结果和属性数据来进行分析。

在步骤S10中，显示控制单元27根据分析单元26的分析结果使得监测器4显示指示患者的状态的信息。

在监测器4中显示指示患者的状态的信息之后，处理返回到步骤S3，反复进行之后的处理。注意，在再次进行血液检查使得医疗护理数据被更新的情况下，通过医疗护理数据获取单元23适当地获取更新的医疗护理数据。

如上所述，医疗人员能够通过观看监测器4上显示的各个患者的外观特征量而无需检查每个患者的状态，适当地监测患者的状态或状况的突然变化的标志。

<4.变形例>

可根据患者的严重程度设置诸如帧图像、生命体征和血液检查结果的采样率。因此，这可以最小化患者监测系统的总体处理成本。

相机1可以包括夜视相机。可以从通过深度传感器捕获的影像、通过接收短波长红外(SWIR)波长带中的光捕获的影像、或者通过热感相机捕获的影像中提取外观特征量。

使用电磁波(诸如毫米波)获取的患者感测信息的时间序列数据可以通过信息处理装置3用于分析。例如，使用电磁波获取的指示患者的心跳或呼吸的感测信息的时间序列数据作为生命体征数据用于分析。此外，使用电磁波获取的指示患者的姿势的感测信息的时间序列数据作为外观特征量的时间序列数据用于分析。

通过使用多变量分析结果和属性数据的分析，不仅确定是否发生诸如血压降低、SpO2降低、心率增加和呼吸频率增加的生命体征的突然变化，而且可以确定是否发生诸如医疗人员的干预或患者按下护士呼叫的事件。

通过使用包括属性数据和作为多变量分析结果的生命体征的预测值的学习数据集的机器学习来生成用于预测事件的发生的学习模型，在学习数据集中标记了指示诸如医疗人员的干预的事件的发生状况的信息。

多变量分析可以通过使用在预定时间之后输出血压、SpO2、心率和呼吸频率的各自的预测值的多个学习模型来执行。在该情况下，在监测器4中显示从多个学习模型的各个学习模型输出的预定时间后的血压、SpO2、心率、呼吸频率的预测值的列表。

可以通过在多变量分析中使用的学习模型来提取作为通过对外观特征量的时间序列数据、生命体征数据和医疗护理数据进行整合而获得的特征量的整合特征量。在这种情况下，在使用属性数据的分析中，整合特征量和属性数据被输入到学习模型，并且输出关于患者的状态是否突然变化的确定结果。

当生命体征的预测值(多变量分析结果)超过阈值时，不仅可发出警报，而且可以基于生命体征的预测值的统计数据发出警报。例如，考虑到生命体征的预测值的时间序列变化，发出指示生命体征的预测值逐渐接近阈值的警报。

·计算机

上述一系列处理可以通过硬件或软件执行。在一系列处理通过软件执行的情况下，包括在软件中的程序从程序记录介质安装至例如结合在专用硬件中的计算机或者通用个人计算机。

图13是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。

输入/输出接口205进一步连接至总线204。包括键盘、鼠标等的输入单元206和包括显示器、扬声器等的输出单元207连接至输入/输出接口205。此外，输入/输出接口205连接至包括硬盘、非易失性存储器等的存储单元208、包括网络接口等的通信单元209、以及驱动可移除介质211的驱动210。

在以上述方式配置的计算机中，例如，CPU 201通过输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203上以执行，并且根据该程序，执行上述一系列处理。

例如，由CPU 201执行的程序通过记录在可移除介质211中或者经由诸如局域网、因特网或者数字广播等有线或无线传输介质提供，并且该程序安装在存储单元208中。

应注意，由计算机执行的程序可以是用于按照本说明书中描述的顺序按时间序列执行的程序，或用于并行处理或在必要定时(诸如当进行呼叫时)处理的程序。

·其他

注意，在本说明书中，系统意味着多个构成部件(设备、模块(部件)等)的集合，并且是否所有构成部件位于相同的容器中无关紧要。因此，容纳在分开的壳体中并且经由网络连接的多个设备以及多个模块容纳在一个壳体中的一个设备都是系统。

应注意，在本说明书中描述的效果仅是示例并且不受限制，并且可以提供其他效果。

本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下可以做出各种修改。

例如，本技术可被配置为云计算，其中，功能通过网络由多个设备共享以一起处理。多个设备例如是IP转换器、IP交换器或服务器。例如，可以采用如下配置，其中，从由每个IP转换器连接到的相机或医疗设备输出的信号中提取特征量，并且服务器聚集和分析来自每个IP转换器的特征量以估计患者状态。

此外，在上述流程图中描述的每个步骤可以由一个设备执行或者由多个设备以共享方式执行。

此外，在一个步骤中包括多个处理的情况下，在一个步骤中包括的多个处理可以由一个设备执行或者由多个设备以共享方式执行。

·配置的组合的示例

本技术还可采用以下配置：

(1)

一种患者监测系统，包括：

估计单元，将指示患者的生命体征的生命信息和通过分析显示患者的影像而获得的影像分析信息输入到第一学习模型以估计患者的状态；以及

监测单元，基于估计单元的估计结果来监测患者的状态。

(2)

根据(1)所述的患者监测系统，其中

生命信息是预定时间段的时间序列数据。

(3)

根据(1)或(2)所述的患者监测系统，其中

影像分析信息是从预定时间段的影像中提取的患者的外观的特征量的时间序列数据。

(4)

根据(3)所述的患者监测系统，其中

特征量包括面部特征量、呼吸模式或姿势信息中的至少一个。

(5)

根据(1)至(4)所述的患者监测系统，其中

第一学习模型是通过使用学习数据进行学习生成的机器学习模型，该学习数据包括影像分析信息以及标记了患者的状态的生命信息。

(6)

根据(1)至(4)所述的患者监测系统，其中

第一学习模型是通过使用学习数据进行学习生成的机器学习模型，该学习数据包括影像分析信息以及标记了医疗人员的干预的存在或者不存在的生命信息。

(7)

根据(1)至(6)所述的患者监测系统，其中

估计单元估计患者的未来状态。

(8)

根据(4)所述的患者监测系统，其中

面部特征量是在影像中患者的眼睛的特征点的位置或者是基于患者的眼睛的特征点的位置的数值。

(9)

根据(4)所述的患者监测系统，其中

影像分析信息是指示患者的面部朝向和双肩位置的信息或者是基于患者的面部朝向和双肩位置的数值。

(10)

根据(1)至(9)中任一项所述的患者监测系统，其中

估计单元将包括患者的性别、年龄或病历中的至少一个的属性数据以及第一学习模型的输出结果输入至第二学习模型以估计患者的状态。

(11)

根据(1)至(10)中任一项所述的患者监测系统，其中

估计单元将患者的医疗护理数据与生命信息和影像分析信息一起输入至第一学习模型以估计患者的状态。

(12)

根据(1)至(11)中任一项所述的患者监测系统，其中

第一学习模型是LSTM。

(13)

根据(1)至(12)中任一项所述的患者监测系统，其中

监测单元基于估计单元的估计结果提供患者的状态的突然变化的通知。

(14)

根据(13)所述的患者监测系统，其中

监测单元显示包括患者的状态突然变化的概率的信息。

(15)

根据(1)至(14)中任一项所述的患者监测系统，其中

第一学习模型输出在从捕获影像的帧图像的时刻起的预定时间之后的血压降低的概率、SpO2减小的概率、心率升高的概率或呼吸频率增加的概率中的至少一个。

(16)

根据(1)至(15)中任一项所述的患者监测系统，其中

估计单元将生命信息和影像分析信息输入到分别输出指示患者的状态的不同类型的信息的多个第一学习模型，以估计患者的状态，并且

监测单元显示不同类型的信息的列表。

(17)

根据(13)所述的患者监测系统，其中

所述监测单元基于所述第一学习模型的输出结果的统计数据提供所述患者的状态突然变化的通知。

(18)

根据(1)至(17)中任一项所述的患者监测系统，还包括：

插值单元，在生命信息的采样率与影像分析信息的采样率不同的情况下，对具有低采样率的信息进行插值处理。

(19)

根据(1)至(18)中任一项所述的患者监测系统，其中

监测单元基于患者的状态来生成标签，并且将标签与估计单元估计的患者的状态发生突然变化的未来时间相关联地显示。

(20)

根据(10)所述的患者监测系统，其中

第一学习模型输出通过整合生命信息和影像分析信息获得的整合特征量，并且

第二学习模型接收整合特征量和属性数据作为输入，并且输出指示患者的状态的信息。

(21)

根据(1)至(20)中任一项所述的患者监测系统，还包括：

控制单元，基于影像控制捕捉影像的相机的位置、朝向和视角。

参考符号列表

1 相机

2 医疗设备

3 信息处理装置

4 监测器

11 轨道

12 情绪监测器

21 图像获取单元

22 外观特征量提取单元

23 医疗护理数据获取单元

24 生命体征数据获取单元

25 属性数据获取单元

26 分析单元

27 显示控制单元。

Claims (20)

1.一种患者监测系统，包括：

估计单元，将指示患者的生命体征的生命信息和通过分析显示患者的影像而获得的影像分析信息输入到第一学习模型以估计患者的状态；以及

监测单元，基于所述估计单元的估计结果来监测所述患者的状态。

2.根据权利要求1所述的患者监测系统，其中，

所述生命信息是预定时间段的时间序列数据。

3.根据权利要求1所述的患者监测系统，其中，

所述影像分析信息是从预定时间段的所述影像中提取的所述患者的外观的特征量的时间序列数据。

4.根据权利要求3所述的患者监测系统，其中，

所述特征量包括面部特征量、呼吸模式、姿势信息中的至少一个。

5.根据权利要求1所述的患者监测系统，其中，

所述第一学习模型是通过使用学习数据进行学习生成的机器学习模型，所述学习数据包括所述影像分析信息以及标记了所述患者的状态的所述生命信息。

6.根据权利要求1所述的患者监测系统，其中，

所述第一学习模型是通过使用学习数据进行学习生成的机器学习模型，所述学习数据包括所述影像分析信息以及标记了医疗人员的干预的存在或者不存在的所述生命信息。

7.根据权利要求1所述的患者监测系统，其中，

所述估计单元估计所述患者的未来状态。

8.根据权利要求4所述的患者监测系统，其中，

所述面部特征量是在所述影像中所述患者的眼睛的特征点的位置或者是基于所述患者的眼睛的特征点的位置的数值。

9.根据权利要求4所述的患者监测系统，其中，

所述姿势信息是指示所述患者的面部朝向和双肩位置的信息或者是基于所述患者的面部朝向和双肩位置的数值。

10.根据权利要求1所述的患者监测系统，其中，

所述估计单元将包括所述患者的性别、年龄、病历中的至少一个的属性数据以及所述第一学习模型的输出结果输入至第二学习模型，以估计所述患者的状态。

11.根据权利要求1所述的患者监测系统，其中，

所述估计单元将所述患者的医疗护理数据与所述生命信息和所述影像分析信息一起输入至所述第一学习模型，以估计所述患者的状态。

12.根据权利要求1所述的患者监测系统，其中，

所述第一学习模型是LSTM。

13.根据权利要求1所述的患者监测系统，其中，

所述监测单元基于所述估计单元的估计结果提供所述患者的状态的突然变化的通知。

14.根据权利要求13所述的患者监测系统，其中，

所述监测单元显示包括所述患者的状态突然变化的概率的信息。

15.根据权利要求1所述的患者监测系统，其中，

所述第一学习模型输出从捕获所述影像的帧图像的时刻起的预定时间之后的血压降低的概率、SpO2减小的概率、心率升高的概率、呼吸频率增加的概率中的至少一个。

16.根据权利要求1所述的患者监测系统，其中，

所述估计单元将所述生命信息和所述影像分析信息输入到分别输出指示所述患者的状态的不同类型的信息的多个所述第一学习模型，以估计所述患者的状态，并且

所述监测单元显示所述不同类型的信息的列表。

17.根据权利要求13所述的患者监测系统，其中，

所述监测单元基于所述第一学习模型的输出结果的统计数据提供所述患者的状态的突然变化的通知。

18.根据权利要求1所述的患者监测系统，还包括：

插值单元，在所述生命信息的采样率与所述影像分析信息的采样率不同的情况下，对具有低采样率的信息进行插值处理。

19.根据权利要求1所述的患者监测系统，其中，

所述监测单元基于所述患者的状态来生成标签，并且将所述标签与所述估计单元估计的所述患者的状态发生突然变化的未来时间相关联地显示。

20.根据权利要求10所述的患者监测系统，其中，

所述第一学习模型输出通过整合所述生命信息和所述影像分析信息获得的整合特征量，并且

所述第二学习模型接收所述整合特征量和所述属性数据作为输入，并且输出指示所述患者的状态的信息。