CN103472920B - 基于动作识别的医学影像控制方法及系统 - Google Patents
基于动作识别的医学影像控制方法及系统 Download PDFInfo
- Publication number
- CN103472920B CN103472920B CN201310418504.0A CN201310418504A CN103472920B CN 103472920 B CN103472920 B CN 103472920B CN 201310418504 A CN201310418504 A CN 201310418504A CN 103472920 B CN103472920 B CN 103472920B
- Authority
- CN
- China
- Prior art keywords
- joint
- action
- medical image
- human
- hands
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001276 controlling effect Effects 0.000 claims abstract description 95
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 210000004247 Hand Anatomy 0.000 claims description 62
- 210000001145 Finger Joint Anatomy 0.000 claims description 40
- 239000000284 extract Substances 0.000 claims description 23
- 210000000323 Shoulder Joint Anatomy 0.000 claims description 7
- 230000001808 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 210000001503 Joints Anatomy 0.000 claims description 6
- 210000003857 Wrist Joint Anatomy 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 210000004556 Brain Anatomy 0.000 description 3
- 210000000707 Wrist Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 241000905957 Channa melasoma Species 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 230000000875 corresponding Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive Effects 0.000 description 2
- 230000004899 motility Effects 0.000 description 2
- 210000003414 Extremities Anatomy 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000576 supplementary Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明公开了一种基于动作识别的医学影像控制方法及系统,其中方法包括:对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。其实现了非接触式控制医学影像操作,有效地解决高卫生条件下的医学影像操作查看问题。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种基于动作识别的医学影像控制方法及系统。
背景技术
医学影像是指通过X光成像(X-ray)、电脑断层扫描(CT)、核磁共振成像(MRI)、超声成像(ultrasound)、正电子发射计算机断层扫描(PET)、脑电图(EEG)、脑磁图(MEG)、眼球追踪(eye-tracking)、穿颅磁波刺激(TMS)、光学相干断层扫描等现代成像技术检查人体无法用非手术手段检查的部位的过程。通常作为一种医疗辅助手段用于诊断和治疗,也可以作为一种科研手段用于生命科学的研究中。随着科技的发展,医学影像不光指以上的医学成像也指医学设备生成的三维医学影像或由二维医学图像通过技术手段所生成的三维医学影像。
传统的医学影像浏览和操作方式主要为打印成介质实物如胶片等进行查看或者通过鼠标或键盘对存于PC机对电子版进行操作和查看两种方式。这两种方式都需要医生的手直接和操作物进行接触,特别不利于在手术这种对卫生条件要求较高的场合使用。而且,在手术这种无菌环境下如果主刀医生自己不直接操作鼠标键盘,也需要额外一名医生在其口令指导下为其操作,这样不但丧失了医学影像操作的灵活性也浪费了人力。所以,传统的医学影像控制方法大大限制了操作的灵活性,也无法满足医学环境中的高卫生条件的要求。
发明内容
基于上述问题,本发明提供了一种操作灵活的基于动作识别的医学影像控制方法及系统,实现非接触式控制医学影像操作,有效地解决高卫生条件下的医学影像操作查看问题。
为实现本发明目的而提供的一种基于动作识别的医学影像控制方法,包括以下步骤:
对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;
将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;
根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
在其中一个实施例中,所述基于动作识别的医学影像控制方法,还包括以下步骤:
获取所述人体动作的二维或三维视频图像。
在其中一个实施例中,所述对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作,包括以下步骤:
从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息;
根据获取的所述控制部位的位置信息,识别所述控制部位的动作。
在其中一个实施例中,所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
其中,所述双臂部位的关节包括双臂关节和双手的手指关节;
所述头颈部位的关节包括头部关节和颈部关节。
在其中一个实施例中,所述双臂关节包括臂肩关节、手臂关节以及手腕关节;
所述双手的手指关节包括上部关节、中部关节以及下部关节。
在其中一个实施例中,所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息,包括以下步骤:
在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓,并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配,提取所述当前人体躯干的头颈部位的关节;
跟踪所述当前人体躯干的头颈部位的关节,实时获取所述头颈部位的关节的位置信息。
在其中一个实施例中,所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息,还包括以下步骤:
在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓,识别所述当前双手的轮廓中包含的指尖个数;
将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配,得到相近的人手模型,提取所述当前双手的手指关节;
跟踪所述当前双手的手指关节,实时获取所述双手的手指关节的位置信息。
相应地,为实现本发明目的而提供的一种基于动作识别的医学影像控制系统,包括人体动作识别模块、动作语义映射模块以及医学影像控制模块;
所述人体动作识别模块,用于对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;
所述动作语义映射模块,用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;
所述医学影像控制模块,用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
在其中一个实施例中,所述基于动作识别的医学影像控制系统还包括图像获取模块;
所述图像获取模块,用于获取所述人体动作的二维或三维视频图像。
在其中一个实施例中,所述人体动作识别模块包括控制部位跟踪子模块和动作识别子模块;
所述控制部位跟踪子模块,用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息;
所述动作识别子模块,根据获取的所述控制部位的位置信息,识别所述控制部位的动作。
在其中一个实施例中,所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
其中,所述双臂部位的关节包括双臂关节和双手的手指关节;
所述头颈部位的关节包括头部关节和颈部关节。
在其中一个实施例中,所述双臂关节包括臂肩关节、手臂关节以及手腕关节;
所述双手的手指关节包括上部关节、中部关节以及下部关节。
在其中一个实施例中,所述控制部位跟踪子模块包括头颈部位识别单元和头颈部位跟踪单元;
所述头颈部位识别单元,用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓,并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配,提取所述当前人体躯干的头颈部位的关节;
所述头颈部位跟踪单元,用于跟踪所述当前人体躯干的头颈部位的关节,实时获取所述头颈部位的关节的位置信息。
在其中一个实施例中,所述控制部位跟踪子模块还包括指尖识别单元、手指关节识别单元和手指关节跟踪单元;
所述指尖识别单元,用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓,识别所述当前双手的轮廓中包含的指尖个数;
所述手指关节识别单元,用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配,得到相近的人手模型,提取所述当前双手的手指关节;
所述手指关节跟踪单元,用于跟踪所述当前双手的手指关节,实时获取所述双手的手指关节的位置信息。
本发明的有益效果为:本发明提供的一种基于动作识别的医学影像控制方法及系统,通过对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作,将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令,进而根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作,从而实现非接触式控制医学影像操作,有效地解决高卫生条件下的医学影像操作查看问题。
附图说明
为了使本发明的基于动作识别的医学影像控制方法及系统的目的、技术方案及优点更加清楚明白,以下结合具体附图及具体实施例,对本发明基于动作识别的医学影像控制方法及系统进行进一步详细说明。
图1为本发明的基于动作识别的医学影像控制方法的一个实施例的流程图;
图2-a和图2-b为图1所示的本发明的基于动作识别的医学影像控制方法中的控制部位的一个实施例的示意图;
图3为图1所示的本发明的基于动作识别的医学影像控制方法中的对控制部位进行动作识别的一个实施例的示意图;
图4为本发明的基于动作识别的医学影像控制系统的一个实施例的结构图;
图5为图4所示的本发明的基于动作识别的医学影像控制系统中的人体动作识别模块的一个实施例的结构图。
具体实施方式
下面结合说明书附图,对本发明实施例提供的基于动作识别的医学影像控制方法及系统进行说明。
本发明实施例提供的基于动作识别的医学影像控制方法,如图1所示,包括以下步骤:
S100,对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;
S200,将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;
S300,根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
本发明实施例提供的一种基于动作识别的医学影像控制方法,通过对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作,将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令,进而根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作,从而实现非接触式控制医学影像操作,有效地解决高卫生条件下的医学影像操作查看问题。
较佳地,作为一种可实施方式,如图2-a和图2-b所示,本发明提供的一种基于动作识别的医学影像控制方法中的控制部位包括但不限于人体的双臂部位的关节和头颈部位的关节。其中,双臂部位的关节包括双臂关节和双手的手指关节,头颈部位的关节包括头部关节10和颈部关节20。
进一步地,所述双臂关节包括臂肩关节31、手臂关节32以及手腕关节33,双手的手指关节包括上部关节41、中部关节42以及下部关节43。
视觉交互技术是一种非接触的交互方式,它有效地解决了传统输入设备无法处理三维或多自由度输入的问题。人体动作识别是机器视觉领域的研究难点和研究热点,人体动作是人自然的语义表述。人与人之间的交流除了语言外,动作是最有效的表达方式。基于机器视觉的动作识别目前多被应用于娱乐领域。目前,在智能控制方面应用较少,但大部分都处于研发阶段。如一些智能电视厂商正研究将此种技术应用到他们的系统当中,用来控制智能电视的选台、调节音量等功能。随着计算机硬件处理技术和计算机图形图像处理技术的发展,人体动作识别将会更多地应用于其他领域。
需要说明的是,已有的基于机器视觉的非接触式医学影像控制方法,主要通过体感摄像机获取深度信息并与个人计算机进行数据通信,由深度数据处理系统对数据进行分析实现体感交互,医学影像显示系统进行数字影像的显示和图像处理,从而实现手势对显示的医学影像进行缩放、旋转、平移、改变显示数量、改变窗宽窗位等图像处理操作。上述传统的基于机器视觉的非接触式医学影像控制方法只能通过双手手势进行医学影像的控制操作,其所能表达的语义信息非常有限,无法满足医疗诊断和医疗手术中非接触式控制医学影像多样化操作的需求。而本发明实施例提供的一种基于动作识别的医学影像控制方法,可通过人体的控制部位包括但不限于双手、双臂以及头颈部位,实现对医学图像或医学影像三维模型的缩放、旋转、平移以及深度透视等操作,满足医疗诊断和医疗手术中非接触式控制医学影像多样化操作的需求。
上述实施例中,某个或某些关节点的位置或位置组合可以表示大量的语义信息,通过对这些关节点的跟踪实时获取到跟踪关节点的位置和位置组合以此来产生不同的控制信号。设定一个医学影像控制语义映射库,标明不同动作和控制信号之间的映射关系,当一个控制动作触发并被识别后,通过查询语义映射库转换成预设的控制信号。控制信号通过控制驱动来实现医学影像的控制功能。为了便于理解,如下表1所示,给出了一种可能的医学影像控制语义映射表举例;
表1:
较佳地,作为一种可实施方式,所述基于动作识别的医学影像控制方法,还包括以下步骤:
S400,获取所述人体动作的二维或三维视频图像,可通过二维或三维的人体动作捕捉摄像头来捕捉人体动作的视频图像。
较佳地,作为一种可实施方式,所述对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作,包括以下步骤:
S110,从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息;
S120,根据获取的所述控制部位的位置信息,识别所述控制部位的动作。
控制部位的动作包括一系列具有丰富含义的肢体运动,如手指、手、手臂、头、面部或身体等姿态或运动模式,是一种表达人的行为意图或者完成人与环境的信息传递方式。从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取控制部位的位置信息,根据其位置的变化,识别控制部位的动作。
下面以由人脑头部核磁影像重建得到的人脑三维模型为例,说明采用本发明实施例提供的基于动作识别的医学影像控制方法中通过控制部位的动作来实现人脑三维模型的上下左右四个方向的旋转以及逐层透视的功能,其具体的控制部位的动作与对应的控制信号可以约定为:
约定控制开始开关为手掌的张开和握拳,例如右手掌张开即为右手具有控制权限,左手掌张开那么左手掌也具有控制权限;
约定右手掌张开并向右摆动为控制头部模型向右转动,右手掌张开并向上摆动为控制头部模型向上转动,右手掌张开并向下摆动为控制头部模型向下转动;
约定左手掌张开并向左摆动为控制头部模型向左转动;
约定右手掌张开向前推动为控制模型逐层向里透视,向后推动为控制模型逐层向外透视;
约定当手掌处于握拳状态时,此手关闭控制功能。
对于人体躯干的关节跟踪,可以采用光流稀疏L_K算法对初始化后得到的关节点进行跟踪,获取到实时的关节点位置信息。
较佳地,作为一种可实施方式,所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息,包括以下步骤:
S111,在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓,并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配,提取所述当前人体躯干的头颈部位的关节;
S112,跟踪所述当前人体躯干的头颈部位的关节,实时获取所述头颈部位的关节的位置信息。
对于人手的手指关节跟踪,系统将当前人手轮廓数据与人手数据库的进行匹配,然后得到相近的人手模型,并由此确定关节点的位置。较优地,为了减少匹配的工作量,可以先进行指尖识别找到指尖个数,然后在具有此指尖个数的人手数据库进行匹配。
较佳地,作为一种可实施方式,所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息,包括以下步骤:
S113,在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓,识别所述当前双手的轮廓中包含的指尖个数;
S114,将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配,得到相近的人手模型,提取所述当前双手的手指关节;
S115,跟踪所述当前双手的手指关节,实时获取所述双手的手指关节的位置信息。
较佳地,作为一种可实施方式,在获取到关节点的位置信息后,通过计算关节点的位置关系以及关节点间夹角等信息就可以计算出当前的动作。
下面,以右手臂的三个关节点举例来说明一下是如何计算出右手臂做“投降”这个动作的。
如图3示,p1、p2、p3为右手手臂三个关节点的位置,其中,p1为手腕关节的位置,p2为手臂关节的位置,p3为臂肩关节的位置。如果p1高于p2和p3而且(p2,p1)和(p2,p3)之间的夹角a接近90°,那么这个动作就可以识别成右手“投降”动作,设为其分配一个动作ID为M8,表示成公式如下:
Current action=M8,(p1.y>p2.y&&p1.y>p3.y&&(90-e)<a<(90+e),e为允许误差);
按照以上所述,从医学影像控制语义映射表中按照动作ID(M8)来查找和其对应的语义ID,设为C8,且假设其语义为控制模型右转一定角度,那么系统就会调用模型右转一定角度的接口控制模型右转。正是如此,通过类似于表1的语义映射表,将识别出来的动作和控制模型动作的接口关联起来,形成一套语义映射机制。
基于同一发明构思,相应地本发明实施例还提供一种基于动作识别的医学影像控制系统,由于此系统解决问题的原理与前述基于动作识别的医学影像控制方法的实现原理相似,此系统的实施可以通过前述方法的具体过程实现,因此重复之处不再赘述。
为实现本发明目的而提供的一种基于动作识别的医学影像控制系统,如图4所示,包括人体动作识别模块100、动作语义映射模块200以及医学影像控制模块300;
所述人体动作识别模块100,用于对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;
所述动作语义映射模块200,用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;
所述医学影像控制模块300,用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
本发明实施例提供的基于人体动作识别技术的医学影像控制系统,包括人体动作识别模块、动作语义映射模块以及医学影像控制模块。通过动作识别模块对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作,然后经过动作语义映射模块将控制部位的动作与设定的医学影像控制语义进行映射,转换为医学影像控制命令,最后,通过医学影像控制模块,根据医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作,实现对医学图像或医学影像三维模型的缩放、旋转、平移以及深度透视等。其实现了非接触式控制医学影像操作,有效地解决高卫生条件下的医学影像操作查看问题。
较佳地,作为一种可实施方式,所述基于动作识别的医学影像控制系统还包括图像获取模块,所述图像获取模块用于获取所述人体动作的二维或三维视频图像。
优选地,图像获取模块为二维或三维的人体动作捕捉摄像头。
较佳地,作为一种可实施方式,如图5所示,所述人体动作识别模块100包括控制部位跟踪子模块110和动作识别子模块120;
所述控制部位跟踪子模块110,用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息;
所述动作识别子模块120,根据获取的所述控制部位的位置信息,识别所述控制部位的动作。
较佳地,作为一种可实施方式,所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
其中,所述双臂部位的关节包括双臂关节和双手的手指关节;
所述头颈部位的关节包括头部关节和颈部关节。
进一步地,所述双臂关节包括臂肩关节、手臂关节以及手腕关节;
所述双手的手指关节包括上部关节、中部关节以及下部关节。
较佳地,作为一种可实施方式,所述控制部位跟踪子模块110包括头颈部位识别单元111和头颈部位跟踪单元112;
所述头颈部位识别单元111,用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓,并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配,提取所述当前人体躯干的头颈部位的关节;
所述头颈部位跟踪单元112,用于跟踪所述当前人体躯干的头颈部位的关节,实时获取所述头颈部位的关节的位置信息。
进一步地,所述控制部位跟踪子模块110还包括指尖识别单元113、手指关节识别单元114和手指关节跟踪单元115;
所述指尖识别单元113,用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓,识别所述当前双手的轮廓中包含的指尖个数;
所述手指关节识别单元114,用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配,得到相近的人手模型,提取所述当前双手的手指关节;
所述手指关节跟踪单元115,用于跟踪所述当前双手的手指关节,实时获取所述双手的手指关节的位置信息。
本发明实施例提供的基于动作识别技术的医学影像控制系统,包括人体动作识别模块、动作语义映射模块以及医学影像控制模块,人体动作识别模块通过对人体二维或三维视频图像的处理和分析识别人体双臂(包括双手和手指)以及人体头颈部位的动作,并将识别结果通过动作语义映射模块进行语义映射,转换成医学影像控制命令,最后,通过医学影像控制模块根据医学影像控制命令对医学影像所描述的医学对象的位置和形态进行控制操作。本发明实施例提供的基于动作识别技术的医学影像控制方法及系统,实现了非接触式控制医学影像操作,有效地解决高卫生条件下的医学影像操作查看问题。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于动作识别的医学影像控制方法,其特征在于,包括以下步骤:
对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;
将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;
根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作;
所述对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作,包括以下步骤:
从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位的关节,实时获取所述关节的位置信息;
通过计算关节的位置关系以及关节间的夹角信息识别出所述控制部位的动作;
所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
其中,所述双臂部位的关节包括双臂关节和双手的手指关节;
所述头颈部位的关节包括头部关节和颈部关节;
所述双臂关节包括臂肩关节、手臂关节以及手腕关节;
所述双手的手指关节包括上部关节、中部关节以及下部关节。
2.根据权利要求1所述的基于动作识别的医学影像控制方法,其特征在于,还包括以下步骤:
获取所述人体动作的二维或三维视频图像。
3.根据权利要求1所述的基于动作识别的医学影像控制方法,其特征在于,所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息,包括以下步骤:
在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓,并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配,提取所述当前人体躯干的头颈部位的关节;
跟踪所述当前人体躯干的头颈部位的关节,实时获取所述头颈部位的关节的位置信息。
4.根据权利要求3所述的基于动作识别的医学影像控制方法,其特征在于,所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位,实时获取所述控制部位的位置信息,还包括以下步骤:
在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓,识别所述当前双手的轮廓中包含的指尖个数;
将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配,得到相近的人手模型,提取所述当前双手的手指关节;
跟踪所述当前双手的手指关节,实时获取所述双手的手指关节的位置信息。
5.一种基于动作识别的医学影像控制系统,其特征在于,包括人体动作识别模块、动作语义映射模块以及医学影像控制模块;
所述人体动作识别模块,用于对人体动作的二维或三维视频图像进行处理分析,识别控制部位的动作;
所述动作语义映射模块,用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射,使所述控制部位的动作转化为医学影像控制命令;
所述医学影像控制模块,用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作;
所述人体动作识别模块包括控制部位跟踪子模块和动作识别子模块;
所述控制部位跟踪子模块,用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位的关节,实时获取所述关节的位置信息;
所述动作识别子模块,用于通过计算关节的位置关系以及关节间的夹角信息识别出所述控制部位的动作;
所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
其中,所述双臂部位的关节包括双臂关节和双手的手指关节;
所述头颈部位的关节包括头部关节和颈部关节;
所述双臂关节包括臂肩关节、手臂关节以及手腕关节;
所述双手的手指关节包括上部关节、中部关节以及下部关节。
6.根据权利要求5所述的基于动作识别的医学影像控制系统,其特征在于,还包括图像获取模块;
所述图像获取模块,用于获取所述人体动作的二维或三维视频图像。
7.根据权利要求5所述的基于动作识别的医学影像控制系统,其特征在于,所述控制部位跟踪子模块包括头颈部位识别单元和头颈部位跟踪单元;
所述头颈部位识别单元,用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓,并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配,提取所述当前人体躯干的头颈部位的关节;
所述头颈部位跟踪单元,用于跟踪所述当前人体躯干的头颈部位的关节,实时获取所述头颈部位的关节的位置信息。
8.根据权利要求7所述的基于动作识别的医学影像控制系统,其特征在于,所述控制部位跟踪子模块还包括指尖识别单元、手指关节识别单元和手指关节跟踪单元;
所述指尖识别单元,用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓,识别所述当前双手的轮廓中包含的指尖个数;
所述手指关节识别单元,用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配,得到相近的人手模型,提取所述当前双手的手指关节;
所述手指关节跟踪单元,用于跟踪所述当前双手的手指关节,实时获取所述双手的手指关节的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310418504.0A CN103472920B (zh) | 2013-09-13 | 基于动作识别的医学影像控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310418504.0A CN103472920B (zh) | 2013-09-13 | 基于动作识别的医学影像控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103472920A CN103472920A (zh) | 2013-12-25 |
CN103472920B true CN103472920B (zh) | 2016-11-30 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129719A (zh) * | 2011-03-17 | 2011-07-20 | 北京航空航天大学 | 基于虚拟人动态模型的人体骨骼提取方法 |
CN102129292A (zh) * | 2010-01-15 | 2011-07-20 | 微软公司 | 在运动捕捉系统中识别用户意图 |
CN102354345A (zh) * | 2011-10-21 | 2012-02-15 | 北京理工大学 | 一种具有体感交互方式的医学影像浏览设备 |
CN102640086A (zh) * | 2009-12-04 | 2012-08-15 | 微软公司 | 感测机械能以使得身体适用于进行数据输入 |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102640086A (zh) * | 2009-12-04 | 2012-08-15 | 微软公司 | 感测机械能以使得身体适用于进行数据输入 |
CN102129292A (zh) * | 2010-01-15 | 2011-07-20 | 微软公司 | 在运动捕捉系统中识别用户意图 |
CN102129719A (zh) * | 2011-03-17 | 2011-07-20 | 北京航空航天大学 | 基于虚拟人动态模型的人体骨骼提取方法 |
CN102354345A (zh) * | 2011-10-21 | 2012-02-15 | 北京理工大学 | 一种具有体感交互方式的医学影像浏览设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Video analysis of human dynamics—a survey | |
US20140049465A1 (en) | Gesture operated control for medical information systems | |
CN110298286B (zh) | 基于表面肌电与深度图像的虚拟现实康复训练方法及系统 | |
CN101869501A (zh) | 计算机辅助针刀定位系统 | |
Tao et al. | Trajectory planning of upper limb rehabilitation robot based on human pose estimation | |
CN114649083A (zh) | 一种三维模型处理方法、系统、装置及存储介质 | |
Kipshagen et al. | Touch-and marker-free interaction with medical software | |
CN110025377A (zh) | 一种基于手势识别控制的手术辅助导航方法 | |
Ameur et al. | Leapgesturedb: A public leap motion database applied for dynamic hand gesture recognition in surgical procedures | |
CN103472920B (zh) | 基于动作识别的医学影像控制方法及系统 | |
TW201619754A (zh) | 醫用影像物件化介面輔助解說控制系統及其方法 | |
Li et al. | Continuous dynamic gesture spotting algorithm based on Dempster–Shafer Theory in the augmented reality human computer interaction | |
Baulig et al. | Adapting egocentric visual hand pose estimation towards a robot-controlled exoskeleton | |
Wang et al. | MTRT: Motion trajectory reconstruction transformer for EEG-based BCI decoding | |
Dutta et al. | A hand gesture-operated system for rehabilitation using an end-to-end detection framework | |
Bastico et al. | Continuous Person Identification and Tracking in Healthcare by Integrating Accelerometer Data and Deep Learning Filled 3D Skeletons | |
Wang et al. | What you see is what you grasp: User-friendly grasping guided by near-eye-tracking | |
Reddy | Evidential reasoning for multimodal fusion in human computer interaction | |
Zheng et al. | An improved image segmentation model based on U-Net for interventional intravascular robots | |
CN103472920A (zh) | 基于动作识别的医学影像控制方法及系统 | |
TK et al. | Real-Time Virtual Mouse using Hand Gestures for Unconventional Environment | |
Gil-Jiménez et al. | Hand detection and tracking using the skeleton of the blob for medical rehabilitation applications | |
Zhai | Gesture Interaction System Design for Telerehabilitation Based on Mediapipe | |
CN110503056A (zh) | 以ar技术为基础应用于认知功能评估的肢体动作识别方法 | |
Li et al. | Improved SLAM and Motor Imagery Based Navigation Control of a Mobile Robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20141212 Address after: 100070 No. 11 East Fengtai Road, Beijing, Fengtai District Applicant after: CRSC Communication &Information Corporation Applicant after: Jiang Tao Address before: 100070 No. 11 East Fengtai Road, Beijing, Fengtai District Applicant before: CRSC Communication &Information Corporation |
|
GR01 | Patent grant |