CN106793980A - 患者监测系统和方法 - Google Patents

患者监测系统和方法 Download PDF

Info

Publication number
CN106793980A
CN106793980A CN201580055481.9A CN201580055481A CN106793980A CN 106793980 A CN106793980 A CN 106793980A CN 201580055481 A CN201580055481 A CN 201580055481A CN 106793980 A CN106793980 A CN 106793980A
Authority
CN
China
Prior art keywords
patient
video
sensor
body part
analytics subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580055481.9A
Other languages
English (en)
Other versions
CN106793980B (zh
Inventor
A·海因里希
T·法尔克
E·M·范德海德
Y·谢
F·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN106793980A publication Critical patent/CN106793980A/zh
Application granted granted Critical
Publication of CN106793980B publication Critical patent/CN106793980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Nursing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Alarm Systems (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供了一种用于监测床上的患者的患者监测系统。视频相机用于捕获所述患者的视频图像。视频分析用于确定和跟踪所述患者的包括手的身体部分的位置。该分析通过使用检测由所述患者与所述床附近的多件仪器的交互的传感器来增强。

Description

患者监测系统和方法
技术领域
本发明涉及尤其当患者在用于处置的床(例如，病床)上时对患者的监测。
背景技术
常规地，当许多医学工作人员访问患者时，医院患者的肌肉运动行为被观察到。先前访问与当前访问之间的肌肉运动行为的变化的检测结果常常难以由医学工作人员注意到。尤其是忙碌的时候，医学工作人员难以回想起早前的观察。这种类型的检查在关键问题的检测时引入不可忽略的滞后，例如，由肌肉运动行为的变化所揭露的疾病的发作或由患者的移动诱发的关键情况。
已经提出了患者的基于自动视频的监测来解决这个问题。它是相对新的课题并且开发的工具在起步阶段。
基于相机的视频监测是有希望的方法，并且提供了用于临床状况的变化的自动检测的机会。在理论上，它允许以非干扰性方式进行全身运动分析。连续且自动的视频监测因此被认为提供了机会来提供比身体穿戴的传感器增强的信息。
为了对患者移动进行辨识和分类，自然移动和反常移动的特征能够从视频图像中被提取，并且它们然后能够被提供给分类器。用于患者监测的特征提取通常整体上基于整个身体的移动来执行。然而，基于特定身体部分的移动分类能够提供更有意义的信息，这是因为具体移动通常通过特定身体部分来执行(例如，从左向右连续移动头部是反常的，而当吃饭时重复的手移动不是反常的)。
视频分析方法必须应付医院环境的动态方面。这些能够引起场景变化(例如，床角度和床靠背倾斜的变化)、人或像TV屏幕一样的物体阻隔患者的多个部分、患者在床上的不同躺卧位置，以及毯子遮盖患者的身体部分。这些挑战使其难以包括典型身体分割方法和用于患者监测的身体部分的识别。
例如，毯子的存在使其难以将人模型适配在躺卧的患者上。场景变化还限制了用于身体部分分割的当前视频分析方法(例如，边缘/梯度分析、亮度值分析和物体检测)。
除视频相机之外的传感器已经被建议用于监测患者的肌肉运动行为。一般来说，它们是用于检测具体事件(例如，患者从床上掉落)的专用传感器。尽管专用传感器能够用于检测特定事件，但是视频数据在信息上丰富得多。如果与上面识别的视频辨识相关联的问题能够被至少部分地解决，它给出检测患者的脸和手并且分析移动和与物体的交互或辨识一般行为的可能性。因此，如果场景变化和阻隔的问题能够被解决，视频传感器系统提供自动分析并辨识由患者执行的不同类型的移动的机会。
已经认识到，监测患者或患者的特定身体部分(例如，手)的移动能够给出关于患者的临床状况的信息。例如，除了监测患者何时从床上掉落外，对于医学工作人员来说还存在许多能够从患者移动提取的额外的相关信息。一个范例是患者正在拉动医学仪器(例如，气管导管或供给管)的指示。一些患者移动是疾病特异性的(例如，在精神错乱或癫痫性发作等的情况下在空中抓取或腿的重复移动)。
如上面提到的，存在目的在于检测患者是否正在起床或处于从床上掉落的危险的各种系统。例如，WO2012/040554公开了一种基于相机的患者监测系统，所述患者监测系统具有检测患者何时将要起床的一个目的。针对病房中的仪器的仪器环境也可以被监测，例如检测床侧栏杆是向上还是向下。
这些系统提供有限的信息，并且例如并不使得可以指示具体医学情况的患者移动能够被识别。因此，尽管使用除视频监测系统之外的额外的传感器是已知的，但是在卧床的患者的环境中使用视频监测系统方面仍然存在问题。
发明内容
本发明由权利要求进行限定。
根据本发明的一方面的范例提供了一种用于监测床上的患者的患者监测系统，包括：
视频相机，其用于捕获所述患者的视频图像；
视频分析子系统，其用于确定和跟踪所述患者的包括手的身体部分的位置；
传感器的集合，其与位于所述床附近的多件仪器相关联，用于检测由所述患者做出的交互，
其中，所述传感器信号被提供给所述视频分析子系统，以辅助确定和跟踪所述患者的所述身体部分的所述位置。
该系统利用患者的身体部分(例如，手和手臂)的位置的了解以及患者可以与之交互的仪器的位置的了解。该额外的交互信息能够用于帮助将反常移动与自然移动分类开。例如，与娱乐屏幕的交互是自然的，而连续拉动医学仪器会是反常的。在空中重复地抓取甚至可以指示具体的医学情况。
多件仪器可以被固定就位，在这种情况下，其位置在配置过程期间对于视频分析子系统来说是已知的。它们反而可以是可移动的，例如，显示器屏幕。在这种情况下，多件仪器的位置也可以被视频分析子系统来跟踪，或者其实时位置可以通过其他方法被提供给视频系统。
当存在由患者做出的交互时，基于患者正在与之交互的物体的已知位置，那么识别手和手臂所位于的图像区是可能的。这能够用于帮助跟踪手和手臂并实时或随后分析重复的手和手臂移动。
以此方式，连接的系统被定义，其中，医院(或其他监护机构)房间设施能够与视频监测系统通信。这些设施例如可以包括屏幕、床栏杆和医学设备(例如，患者身体上的传感器、管和静脉线路)。
所述视频分析子系统可以例如适于基于所述传感器信号来识别患者身体部分所位于的视频图像区域。以此方式，视频分析子系统能够增加手或手臂(或其他身体部分)位置能够被准确跟踪的置信度。
所述传感器的集合可以包括：
用于检测显示器屏幕何时已经被所述患者触摸的触摸传感器。
患者的手在屏幕附近的重复的来回移动然后可以例如针对触摸屏或当调节屏幕位置或设定时被分类为正常行为。
所述传感器的集合可以包括：
用于检测床栏杆何时已经被所述患者触摸的触摸传感器。
这能够用于提供患者可能试图起床的警告，但是，额外地，它使得患者的手的位置能够被假设为在床栏杆的区中，以再次改善身体部分检测的可靠性。
所述传感器的集合可以包括：
例如用于脉搏血氧测量(SpO2)的指夹传感器。
所述传感器的集合可以包括：
用于检测药物或呼吸空气递送系统何时已经被所述患者触摸的传感器。
这可以用于检测由患者对患者的供应线路的抓取，这能够生成警告。
可能的传感器的该列表不是详尽的。实际上，来自任何连接的设备或物体的传感器都能够用于检测患者与设备或物体(例如，杯子、瓶子和开关)交互。
所述视频分析子系统优选适于当所述患者的身体部分的移动被认为异常或显出危险时基于所述视频分析来创建警报。
所述视频分析子系统例如用于确定和跟踪所述患者的包括手臂和手的身体部分的位置。因此，可以存在除手之外对手臂和/或腿的跟踪。
根据本发明的另一方面的范例提供了一种用于监测床上的患者的患者监测方法，包括：
捕获所述患者的视频图像；
使用视频分析来确定和跟踪所述患者的包括手的身体部分的位置；
利用在所述床附近的多件仪器来检测由所述患者做出的交互；并且
在所述视频分析中使用检测到的交互来辅助确定和跟踪所述患者的所述身体部分的所述位置。
该方法使用关于与患者附近的仪器的患者交互的信息来改善视频分析子系统的性能，并且使得能够从视频分析导出增加量的有用信息。所述视频分析子系统例如用于基于所述检测到的交互来识别患者身体部分所位于的视频图像区域。
检测交互可以包括：检测显示器屏幕何时已经被所述患者触摸，或者检测床栏杆何时已经被所述患者触摸，或者检测药物递送系统何时已经被所述患者触摸。
所述方法还可以包括基于利用多件仪器检测到的交互来检测除所述患者之外的人的存在。这些其他人能够是护士或客人。该信息还能够辅助患者的跟踪和定位。
本发明还提供了一种包括计算机程序代码模块的计算机程序，所述计算机程序代码模块适于当所述计算机程序在计算机上被运行时执行所述方法。所述计算机程序能够被嵌入在计算机可读介质上。
附图说明
现在将参考附图详细描述本发明的范例，其中：
图1示出了根据本发明的一个范例的患者监测系统；
图2示出了用于病床的系统；
图3以更多细节的方式示出了视频信号处理；
图4至图6示出了在系统的使用期间的不同步骤；并且
图7示出了用于实施视频辨识算法的计算机。
具体实施方式
本发明提供了一种用于监测床上的患者的患者监测系统。视频相机用于捕获患者的视频图像。视频分析用于确定和跟踪患者的包括手的身体部分的位置。该分析通过使用检测由患者与床附近的多件仪器的交互的传感器来增强。
本发明能够应用于任何给予监护的建立，或者甚至应用于家庭中的监护的提供。仅通过范例的方式，下面的描述仅涉及医院。
该方法意味着病房设施实质上与视频监测系统通信。通过在设施与视频监测系统之间交换信息，能够得到关于视频内容的更多了解，例如，患者屏幕位于哪里，手臂/手在哪里，身体传感器在视频图像中被放置在哪里。
该信息能够用于将患者移动分类为反常或自然。它能够用于增强图像中的手和/或手臂的位置的识别，并且用于跟踪在未来图像中的那些位置。最终结果然后是对反常移动或自然移动的改善的分类。
图1示出了根据本发明的一个范例的患者监测系统10。
该系统包括至少一个视频相机，用于当在处置时期期间患者在床上时捕获患者的视频图像。图1示出了两个视频相机12、14。这些为视频分析子系统16提供两个视频相机12、14的视频输出，以用于确定和跟踪患者的包括手的身体部分的位置。该跟踪信息被提供为输入18。该输入能够呈以跟踪信息的形式以被解读。然而，当患者的身体部分的移动被认为异常或显出危险时，该系统能够额外地(或备选地)基于视频分析来生成警报19。
所使用的视频跟踪算法是常规的。例如，视频跟踪算法的范例是：
均值漂移跟踪(参见例如J.Wang和Y.Yagi的“Adaptive Mean-Shift TrackingWith Auxiliary Particles”(IEEE Transactions on Systems，Man and Cybernetics，部分B,第39卷，第6期，第1578-1589页，2009年))；以及
卡尔曼和粒子滤波(参见例如J.M.del Rincon等人的“Tracking Human Positionand Lower Body Parts Using Kalman and Particle Filters Constrained by HumanBiomechanics”(IEEE Transactions on Systems，Man and Cybernetics，部分B，第41卷，第1期，第26-37页，2010年))。
为了改善视频分析子系统的性能，提供了相关联的传感器20、22、24的集合。每个传感器与床附近的一件仪器相关联，用于检测由患者做出的交互。传感器信号被提供给视频分析子系统，以辅助确定和跟踪患者的身体部分的位置。
传感器为视频跟踪算法提供其输出而无任何修改。视频跟踪系统然后包括组合视频数据与传感器数据以将它们一起处理的融合块。
图2示出了使用中的系统。示出了在病床31上的患者30。各件仪器在患者附近，包括床侧栏杆32、34、娱乐屏幕36、药物递送系统38和呼吸空气递送系统40。这些中的每个与相应的传感器32a、34a、36a、38a、40a相关联。这些传感器检测由患者做出的交互。它们可以例如包括例如使用电容触摸感测的触摸传感器。
然而，不同的传感器能够用于不同的多件仪器。例如，对于娱乐屏幕36，感测可以基于由屏幕提供的控制信号，所述控制信号指示已经对屏幕做出的设定的改变，例如，信道改变、对比度或亮度改变、或任何其他的用户输入的更改。触摸传感器也可以与屏幕结合使用以例如指示患者何时正在做出屏幕位置的调节。
用于药物递送系统38或呼吸空气递送系统40的传感器可以例如基于检测到的拉力的力感测，所述力感测再次指示患者正在与该系统交互。
如图1所示，传感器信息被提供给视频分析子系统16。
仪器中的一些将会具有固定的位置，使得患者与仪器的交互的检测能够例如用于为视频分析子系统提供大概的手位置。固定的位置能够被编程到系统中，作为安装程序的一部分。对于可移动的仪器(例如，屏幕36)，位置可以被实时更新。例如，视频处理能够基于屏幕的特征性尺寸和形状而容易地识别屏幕位置。
仪器上可以存在标记物(例如，QR码(“快速响应”2D条形码))，以帮助视频分析子系统辨识某一类型的仪器。其他跟踪系统可以用于确定物体的位置，例如，RFID感测。
传感器也可以基于来自传感器的不正常信号行为发出警报。这些可以提供不是专门目标在于检测患者交互而是用于其他监测目的的信息。例如，可以提供包括指夹或ECG电极的传感器。如果传感器(例如，ECG电极)检测到异常行为，这可以是由于患者交互(拉动电极)，或它可以是由于医学问题(例如，异常心跳行为)。通过标示该事件，视频系统能够被警告一些事情可能会发生在相应的传感器附近，使得视频图像能够被分析。
当传感器指示已经存在与仪器项目的交互并且信息已经被传输给视频系统时，则视频系统能够核查图像移动已经在哪里发生。预期移动存在于仪器项目附近。如果灰度/直方图/边缘/SIFT(尺度不变特征变换)特征性质或其他图像特征不足以识别仪器，则与其他帧不同的帧(在不存在移动的情况下)应当在新的位置附近返回高检测速率。以此方式，即使之前便携式项目已经在另一位置处也能够改善位置信息。
该系统因此利用患者的身体部分(例如，手和手臂)的位置的了解以及患者可以与之交互的仪器的位置的了解。
如果患者正在屏幕附近进行重复的移动，这会是非常正常的。如果患者正在药物或呼吸空气递送系统附近进行在空气中的重复的移动，则这更可能引起警告。
图3示出了由视频分析子系统16实施的功能的一个范例。该范例中的系统用于确定和跟踪视频图像中的手和手臂的位置。
视频信号V1和V2被提供给运动估计或检测系统50。这为定位单元52提供运动检测信息51，所述定位单元52识别检测到的运动正在发生的视频的区域。系统50还能够包括用于识别视频图像中的手或其他身体部分的计算机视觉技术，以从传感器补充信息。区域信息被视为53，所述区域信息与运动已经发生或存在具体身体部分的识别的区域有关。定位单元还接收传感器信号S1、S2、S3作为输入。当患者与患者附近的一件仪器交互时，到连接的网络的相关联的传感器信号指示它已经被触摸或者以其他方式已经被使用。
对于已知用手发生的交互，与对应的视频图像有关的运动检测信息51以及定位信息53然后能够基于手的已知位置而被更有效地处理。
该方法使得手(例如)能够以高置信度被检测到，并且然后使得手能够被跟踪。手的运动行为然后能够被分析，以得出移动是反常的还是自然的结论。已知当仪器项目被触摸时给出手在哪里的信息，手然后能够在图像中利用例如运动检测被识别。
额外的传感器输出的使用还意味着，系统能够检测另一人(例如，护士)何时在图像中。例如，如果床侧监测器的按钮被按压，则能够推断出护士在房间中。已知床侧监测器在房间中的位置，护士的移动能够从对由患者引起的移动的分析中被排除出。
因此，该系统和方法可以包括基于利用多件仪器检测到的交互来检测除患者之外的人的存在。一般来说，这能够通过使传感器在患者区之外(即，不可由躺在床上的患者触及)来实施。当这些传感器被激活时，除患者之外的人可能在图像中，并且来自这(一个或多个)其他人的移动能够被忽视。
移动历史单元54随着时间存储定位信息53、运动检测信息51以及传感器信号。这允许跟踪、更新位置并且使得重复的移动能够被辨识。这使得能够增加手或手臂位置的正确检测的置信度。这能够用于使系统在计算手或手臂位置时更为鲁棒。单元56提供了手或手臂区的置信度的更新，所述置信度示出检测结果能够被认为有多可靠。
例如，当与仪器项目的交互被用信号告知时，能够发现手存在的图像区的置信度高。之后，手被跟踪并且移动被分析。在后续的处理步骤中，手的位置可能变得较不准确。当另一交互已经被用信号告知并且手的跟踪导致手正存在于靠近设备的图像区中时，再次存在已经正确发现两个交互之间的手移动的高置信度。
一旦位置已经被建立，手和/或手臂就能够被单元58跟踪。这生成手或手臂跟踪信号Trk。这能够被解读单元60解读以生成警报Alt。关于手或手臂位置的信息能够因此用于改善将会生成警报的反常移动的自动分类算法，而自然移动将会被忽视。尤其地，关于手位置的详细信息是已知的，并且更好的跟踪能够被执行。
关于用户正在与之交互的设备的了解和交互的类型能够有益于由解读单元60对自然移动或反常移动进行分类。一些设备更可能在自然状况下与其他设备交互。例如，经由计算机屏幕写邮件将会给出能够被辨识的典型移动样式。
图4至图6以图形方式示出了所使用的方法。它们示出了在床31上的患者30以及在患者上方的显示器36。
在图4中，患者30的手臂正在移动，但是尚不存在与屏幕的交互。区域70示出由视频分析子系统检测到移动的区。在图5中，患者的手触摸屏幕，并且屏幕将它已经被触摸传达给视频分析子系统。
视频图像中的移动区能够被识别并且能够基于过去的移动，手的区和屏幕的区(如果屏幕被移动)能够以如由减小的区70所示的更大的准确性和/或置信度被识别。在图6中，利用手和手臂位置的先前了解来使对手位置的后续跟踪更准确。
根据以上描述将会清楚的是，本发明提供了一种病房设施与视频监测系统通信的系统。关于哪个设备正在交互的信息的传输能够帮助后续自动识别视频图像中的以下信息：
图像中的医学仪器的位置；
图像中的娱乐设施的位置；
当仪器最可能使用手和手臂被操作时图像中的手和手臂的位置。
这可以用于提供当前移动为反常或为自然的改善的识别。手或手臂位置的更准确的检测使得未来的跟踪能够更可靠。这种跟踪然后使得能够基于手臂或手的移动对反常移动或自然移动的改善的分类。
房间中的仪器的位置可以例如由工作人员通过在呈现视频镜头的屏幕上标记区来进行初始化。大多数时间，房间中的仪器(除了被附接到患者的医学仪器)是静止且不移动的。例如屏幕仅会在他或她想要使用屏幕时的开始或结束时被朝向患者或远离患者移动。因此，模板能够通过使用图像的历史并且通过针对静止部分的核查来根据视频图像中的所有仪器来自动构建。
当还考虑利用传感器检测到的交互时，仪器的确切位置能够被自动检测。
注意，许多额外的类型的传感器也可以被使用。传感器实际上能够被提供在任何设备或物体上，以检测患者何时与设备或物体交互。使用唯一可识别的嵌入的计算设备的相互连接仪器的可能性在本技术领域中被称为“物联网”。
临床工作人员可能需要与医学仪器(例如，静脉线路、供给管等)交互，例如核查正确附接。此外，娱乐屏幕不仅可以被患者使用，而且可以被访问者或帮助患者临床工作人员使用。为了确保在这些情况下其他人的移动不会与患者的移动相混淆，图像中的临床工作人员或其他人的移动历史也能够被跟踪和被使用。
本发明可应用于用于医院中的许多不同类型的病房(重症监护室、急症监护室、一般病房、老年病房)的患者监测系统中。本发明还能够被使用在疗养院或复健中心中以及在家庭保健监测系统中。
自动和连续的视频移动分析可以例如用于对精神错乱或具有反常移动或行为的其他疾病的早期检测。当患者与医学设备(例如，静脉线路)交互时，能够提供早期警告。当患者试图起床时，能够例如基于与床栏杆的交互来提供早期检测。
视频分析实质上能够被执行在由控制器运行的软件中。
图7图示了可以如何使用计算机600的范例。上面讨论的各种操作可以利用计算机600的能力。
计算机600可以包括但不限于PC、工作站、膝上型计算机、PDA、掌上设备、服务器、存储设备等。一般来说，在硬件架构方面，计算机600可以包括一个或多个处理器610、存储器620，以及经由本地接口(未示出)通信性耦合的一个或多个输入和/或输出(I/O)设备670。本地接口能够例如是但不限于一个或多个总线或其它有线连接或无线连接，如本领域已知的。本地接口可以具有使得能够通信的额外元件，例如，控制器、缓冲器(缓存)、驱动器、转发器以及接收器。此外，本地接口可包括地址连接、控制连接和/或数据连接，以使得能够进行上述部件之间的适当通信。
处理器610是用于运行能够被存储在存储器620中的软件的硬件设备。处理器610实际上能够是任何定制的或商业可获得的处理器、中央处理单元(CPU)、数字信号处理器(DSP)或与计算机600相关联的若干处理器之间的辅助处理器，并且处理器610可以是(以微芯片的形式的)基于半导体的微处理器或微处理器。
存储器620能够包括易失性存储器元件(例如，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等的随机存取存储器(RAM))和非易失性存储器元件(例如，ROM、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、压缩盘只读存储器(CD-ROM)、磁盘、磁碟、卡式磁带、盒式磁带等)中的任何一个或其组合。此外，存储器620可以并入电学、磁性、光学和/或其它类型的存储媒介。注意，存储器620能够具有分布式架构，其中，各种部件互相远离，但能够由处理器610访问。
存储器620中的软件可以包括一个或多个单独的程序，所述程序中的每个包括用于实施逻辑功能的可执行指令的排序列表。存储器620中的软件包括合适的操作系统(O/S)650、编译器640、源代码630以及根据示范性实施例的一个或多个应用程序660。如所图示的，应用程序660包括用于实施示范性实施例的特征和操作的众多功能部件。计算机600的应用程序660可以表示根据示范性实施例的各种应用程序、计算单元、逻辑单元、功能单元、过程、操作、虚拟实体和/或模块，但是应用程序660并不意味着限制。
应用程序660可以是源程序、可执行程序(目标代码)、脚本，或包括要被执行的指令集的任何其它实体。当应用程序660是源程序时，则该程序通常经由编译器(例如，编译器640)、汇编器、解读器等翻译，它们可以被包括也可以不被包括在存储器620内，以便结合操作系统(O/S)650适当地操作。
I/O设备670可以包括输入设备，例如，但不限于，鼠标、键盘、扫描仪、麦克风、相机等。此外，I/O设备670还可以包括输出装置，例如，但不限于，打印机、显示器等。
应用程序660能够被嵌入在任何计算机可读介质中，以供指令执行系统、装置或设备(例如，基于计算机的系统、包含处理器的系统)或者能够从指令执行系统、装置或设备取回指令并运行该指令的其它系统使用或者与其结合使用。在本文档的上下文中，“计算机可读介质”能够是能够存储、通信、传播或传输供指令执行系统、装置或设备使用或者与其结合使用的程序的任何器件。例如，计算机可读介质能够例如是但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、设备或传播介质。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质(或媒介)，所述计算机可读存储介质(或媒介)在其上载有用于令处理器实现本发明的各方面的计算机可读程序指令。
计算机可读存储介质能够是能够保持和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或者上述设备的任何合适的组合。计算机可读存储介质的更具体的范例的非穷举的列表包括：便携式计算机磁碟、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备(例如其上记录有指令的打孔卡或凹槽内凸起结构)，以及上述设备的任何合适的组合。
本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (13)

1.一种在用于监测床上的患者的患者监测系统(10)中使用的视频分析子系统(16)，所述患者监测系统还包括：
视频相机(12、14)，其用于捕获所述患者的视频图像；以及
传感器的集合(32a、34a、36a、38a)，其与位于所述床附近的多件仪器(32、34、36、38)相关联，用于检测由所述患者做出的交互；
所述视频分析子系统(16)，其被布置用于根据所述视频图像来确定和跟踪所述患者的身体部分的位置；并且
其中，从所述传感器的集合(32a、34a、36a、38a)获得的传感器信号(S1、S2、S3)被提供给所述视频分析子系统(16)，以辅助确定和跟踪所述患者的所述身体部分的所述位置。
2.一种用于监测床上的患者的患者监测系统(10)，包括：
视频相机(12、14)，其用于捕获所述患者的视频图像；
根据权利要求1所述的视频分析子系统(16)，其用于确定和跟踪所述患者的身体部分的位置；
传感器的集合(32a、34a、36a、38a)，其与位于所述床附近的多件仪器(32、34、36、38)相关联，用于检测由所述患者做出的交互，
其中，从所述传感器的集合(32a、34a、36a、38a)获得的传感器信号(S1、S2、S3)被提供给所述视频分析子系统(16)，以辅助确定和跟踪所述患者的所述身体部分的所述位置。
3.根据权利要求1所述的视频分析子系统(16)，其中，所述视频分析子系统(16)适于基于所述传感器信号(S1、S2、S3)来识别患者的身体部分所位于的视频图像区域。
4.根据权利要求2所述的患者监测系统(10)，其中，所述传感器的集合(32a、34a、36a、38a)包括以下中的一个或多个：
用于检测显示器屏幕何时已经被所述患者触摸的触摸传感器(36a)；
用于检测床栏杆何时已经被所述患者触摸的触摸传感器(32a、34a)；
指夹传感器；以及
用于检测药物或呼吸空气递送系统(38、40)何时已经被所述患者触摸的传感器。
5.根据权利要求1所述的视频分析子系统(16)，其中，所述视频分析子系统(16)适于当所述患者的身体部分的移动被认为异常或显出危险时基于所述视频分析来创建警报(Alt)。
6.根据权利要求1所述的视频分析子系统(16)，其中，所述视频分析子系统(16)被配置为确定和跟踪所述患者的包括手、手臂和腿中的一个或多个的身体部分的位置。
7.一种用于监测床上的患者的患者监测方法，包括：
捕获所述患者的视频图像；
使用对所述视频图像的视频分析来确定和跟踪所述患者的身体部分的位置；
利用在所述床附近的多件仪器(32a、34a、36a、38a)来检测由所述患者做出的交互；并且
在所述视频分析中使用检测到的交互来辅助确定和跟踪所述患者的所述身体部分的所述位置。
8.根据权利要求7所述的方法，其中，所述视频分析用于基于所述检测到的交互来识别患者的身体部分所位于的视频图像区域。
9.根据权利要求7或8所述的方法，其中，检测交互包括以下中的一个或多个：
检测显示器屏幕(36)何时已经被所述患者触摸；
检测床栏杆(32、34)何时已经被所述患者触摸；以及
检测药物或呼吸空气递送系统(38、40)何时已经被所述患者触摸。
10.根据权利要求7至9中的任一项所述的方法，还包括基于利用多件仪器检测到的交互来检测除所述患者之外的人的存在。
11.根据权利要求7至10中的任一项所述的方法，包括当所述患者的身体部分的移动被认为异常或显出危险时基于所述视频分析来创建警报(Alt)。
12.一种包括计算机程序代码模块的计算机程序，所述计算机程序代码模块适于当所述计算机程序在计算机上被运行时执行根据权利要求7至11中的任一项所述的方法。
13.根据权利要求12所述的计算机程序，其被嵌入在计算机可读介质上。
CN201580055481.9A 2014-10-13 2015-10-06 患者监测系统和方法 Active CN106793980B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14188581.4 2014-10-13
EP14188581 2014-10-13
PCT/EP2015/073040 WO2016058866A1 (en) 2014-10-13 2015-10-06 Patient monitoring system and method

Publications (2)

Publication Number Publication Date
CN106793980A true CN106793980A (zh) 2017-05-31
CN106793980B CN106793980B (zh) 2020-06-05

Family

ID=51690909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580055481.9A Active CN106793980B (zh) 2014-10-13 2015-10-06 患者监测系统和方法

Country Status (6)

Country Link
US (1) US11116423B2 (zh)
EP (1) EP3206580B1 (zh)
JP (1) JP6392983B2 (zh)
CN (1) CN106793980B (zh)
RU (1) RU2679864C2 (zh)
WO (1) WO2016058866A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803769A (zh) * 2020-06-19 2020-10-23 周建 病人体位异常管理系统以及相应终端
CN113491617A (zh) * 2020-07-24 2021-10-12 南京迈瑞生物医疗电子有限公司 一种手术床的控制方法以及手术床
CN114469555A (zh) * 2022-01-26 2022-05-13 浙江大学 一种监测癫痫病人发作用医疗床

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3348192A1 (en) * 2017-01-12 2018-07-18 Hill-Rom Services, Inc. Bed exit monitoring system
JP6856252B2 (ja) * 2018-06-26 2021-04-07 株式会社フジタ医科器械 生体情報モニタリングシステム、生体情報モニタリング方法および生体情報モニタリングプログラム
EP3496037A1 (en) * 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
US20220125338A1 (en) * 2019-02-18 2022-04-28 Nec Corporation Abnormality determination apparatus, method, and computer-readable medium
JP7407562B2 (ja) * 2019-11-05 2024-01-04 グローリー株式会社 危険行動予防装置、危険行動予防システム、危険行動予防方法及び危険行動予防プログラム
US20210225489A1 (en) * 2020-01-22 2021-07-22 Koninklijke Philips N.V. Determining the likelihood of patient self-extubation
CN113243923B (zh) * 2021-05-19 2022-10-14 中科芯未来微电子科技成都有限公司 一种提高心电图监测的准确性的方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3781843A (en) * 1971-04-15 1973-12-25 Sanders Associates Inc Bed guard system
US4175263A (en) * 1977-04-25 1979-11-20 Triad & Associates, Inc. Technique for monitoring whether an individual is moving from a particular area
US5140309A (en) * 1991-03-12 1992-08-18 Gaymar Industries, Inc. Bed signalling apparatus
JPH08257017A (ja) * 1995-03-24 1996-10-08 Toshiba Corp 状態監視装置及びその方法
US20090119843A1 (en) * 2007-11-12 2009-05-14 Valence Broadband, Inc. Monitoring patient support exiting and initiating response
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
US20120089419A1 (en) * 2010-10-08 2012-04-12 Huster Keith A Hospital bed with graphical user interface having advanced functionality
CN202282004U (zh) * 2011-06-02 2012-06-20 上海巨浪信息科技有限公司 基于情景感知与活动分析的移动健康管理系统
CN102835958A (zh) * 2011-06-20 2012-12-26 山东省普来特能源与电器研究院 人体生命体征远程监测装置
US20120330109A1 (en) * 2006-05-24 2012-12-27 Bao Tran Health monitoring appliance
CN103690285A (zh) * 2013-12-16 2014-04-02 北京京东方光电科技有限公司 一种智能护理装置
CN103781409A (zh) * 2011-07-05 2014-05-07 沙特阿拉伯石油公司 用于监测和改善雇员的生物力学健康的系统、计算机介质和计算机实现方法
CN103930027A (zh) * 2011-10-07 2014-07-16 皇家飞利浦有限公司 用于监测患者并检测该患者的谵妄的监测系统
US20140267718A1 (en) * 2013-03-14 2014-09-18 All Systems Designed Solutions, Inc. System And Method For Monitoring A Patient

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3198412B2 (ja) * 1998-07-27 2001-08-13 株式会社ノア 安全管理システム
JP2006223650A (ja) 2005-02-18 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> ベッド、起き上がり検出装置、及びプログラム
US20080021731A1 (en) 2005-12-09 2008-01-24 Valence Broadband, Inc. Methods and systems for monitoring patient support exiting and initiating response
EP1965679A4 (en) * 2005-12-19 2012-08-15 Stryker Corp HOSPITAL BED
KR101260847B1 (ko) * 2007-02-08 2013-05-06 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 행동 인식 시스템
US20130127620A1 (en) 2011-06-20 2013-05-23 Cerner Innovation, Inc. Management of patient fall risk
US8872640B2 (en) 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3781843A (en) * 1971-04-15 1973-12-25 Sanders Associates Inc Bed guard system
US4175263A (en) * 1977-04-25 1979-11-20 Triad & Associates, Inc. Technique for monitoring whether an individual is moving from a particular area
US5140309A (en) * 1991-03-12 1992-08-18 Gaymar Industries, Inc. Bed signalling apparatus
JPH08257017A (ja) * 1995-03-24 1996-10-08 Toshiba Corp 状態監視装置及びその方法
US20120330109A1 (en) * 2006-05-24 2012-12-27 Bao Tran Health monitoring appliance
US20140249429A1 (en) * 2006-05-24 2014-09-04 Bao Tran Fitness monitoring
US20090119843A1 (en) * 2007-11-12 2009-05-14 Valence Broadband, Inc. Monitoring patient support exiting and initiating response
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
US20120089419A1 (en) * 2010-10-08 2012-04-12 Huster Keith A Hospital bed with graphical user interface having advanced functionality
CN202282004U (zh) * 2011-06-02 2012-06-20 上海巨浪信息科技有限公司 基于情景感知与活动分析的移动健康管理系统
CN102835958A (zh) * 2011-06-20 2012-12-26 山东省普来特能源与电器研究院 人体生命体征远程监测装置
CN103781409A (zh) * 2011-07-05 2014-05-07 沙特阿拉伯石油公司 用于监测和改善雇员的生物力学健康的系统、计算机介质和计算机实现方法
CN103930027A (zh) * 2011-10-07 2014-07-16 皇家飞利浦有限公司 用于监测患者并检测该患者的谵妄的监测系统
US20140267718A1 (en) * 2013-03-14 2014-09-18 All Systems Designed Solutions, Inc. System And Method For Monitoring A Patient
CN103690285A (zh) * 2013-12-16 2014-04-02 北京京东方光电科技有限公司 一种智能护理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803769A (zh) * 2020-06-19 2020-10-23 周建 病人体位异常管理系统以及相应终端
CN113491617A (zh) * 2020-07-24 2021-10-12 南京迈瑞生物医疗电子有限公司 一种手术床的控制方法以及手术床
CN114469555A (zh) * 2022-01-26 2022-05-13 浙江大学 一种监测癫痫病人发作用医疗床

Also Published As

Publication number Publication date
JP6392983B2 (ja) 2018-09-19
WO2016058866A1 (en) 2016-04-21
RU2017116701A (ru) 2018-11-15
US11116423B2 (en) 2021-09-14
CN106793980B (zh) 2020-06-05
JP2018503409A (ja) 2018-02-08
RU2679864C2 (ru) 2019-02-13
US20170231531A1 (en) 2017-08-17
EP3206580B1 (en) 2018-06-13
RU2017116701A3 (zh) 2018-11-15
EP3206580A1 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
CN106793980A (zh) 患者监测系统和方法
Dhiman et al. A review of state-of-the-art techniques for abnormal human activity recognition
AU2018250385B2 (en) Motor task analysis system and method
Bardram et al. Phase recognition during surgical procedures using embedded and body-worn sensors
US11497417B2 (en) Measuring patient mobility in the ICU using a novel non-invasive sensor
Ann et al. Human activity recognition: A review
Harris et al. A survey of human gait-based artificial intelligence applications
Zhu et al. A sequence-to-sequence model-based deep learning approach for recognizing activity of daily living for senior care
Gjoreski et al. Context-based fall detection and activity recognition using inertial and location sensors
Mansoor et al. A machine learning approach for non-invasive fall detection using Kinect
Likitlersuang et al. Interaction detection in egocentric video: Toward a novel outcome measure for upper extremity function
JP5143780B2 (ja) 監視装置及び監視方法
JP3767898B2 (ja) 人物行動理解システム
Huang et al. Image-recognition-based system for precise hand function evaluation
JP2017041079A (ja) 動作認識装置
Yu et al. A survey of sensor modalities for human activity recognition
Gandomkar et al. Method to classify elderly subjects as fallers and non‐fallers based on gait energy image
Mollaei et al. Patient’s actions recognition in hospital’s recovery department based on RGB-D dataset
Richter et al. Pose estimation and movement detection for mobility assessment of elderly people in an ambient assisted living application
Torres et al. Deep EYE-CU (decu): Summarization of patient motion in the ICU
US20230066994A1 (en) Information processing system, program, and information processing method
Richter et al. Mobility Assessment of Demented People Using Pose Estimation and Movement Detection-An Experimental Study in the Field of Ambient Assisted Living
Weerathunga et al. Remote Reading of Surgical Monitors Physiological Readings: An Image Processing Approach
JP6061546B2 (ja) 医療情報処理装置、医療情報処理方法及びプログラム
JP5982835B2 (ja) 検出装置、検出方法、および検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant