CN112270982B - 一种远距离手势控制一体化手术室系统 - Google Patents

一种远距离手势控制一体化手术室系统 Download PDF

Info

Publication number
CN112270982B
CN112270982B CN202011319238.2A CN202011319238A CN112270982B CN 112270982 B CN112270982 B CN 112270982B CN 202011319238 A CN202011319238 A CN 202011319238A CN 112270982 B CN112270982 B CN 112270982B
Authority
CN
China
Prior art keywords
gesture
operating room
remote
integrated operating
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011319238.2A
Other languages
English (en)
Other versions
CN112270982A (zh
Inventor
黄新俊
汪彦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tuge Medical Technology Co ltd
Original Assignee
Nanjing Tuge Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tuge Medical Technology Co ltd filed Critical Nanjing Tuge Medical Technology Co ltd
Priority to CN202011319238.2A priority Critical patent/CN112270982B/zh
Publication of CN112270982A publication Critical patent/CN112270982A/zh
Application granted granted Critical
Publication of CN112270982B publication Critical patent/CN112270982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种远距离手势控制一体化手术室系统，包括远距离手势识别系统和一体化手术室系统；远距离手势识别系统由双目摄像头和运行在触摸一体机上的人工智能手势识别软件组成；一体化手术室系统内运行有现有手术室触摸一体机上的一体化手术室控制软件系统；一体化手术室系统硬件包括扫描枪、触摸一体机、后台服务器、内窥镜系统、EMR客户端主机、PACS客户端主机、视频切换矩阵、多个医用内窥显示器、手术室交换机、院内交换机、EMR服务器和PACS服务器；远距离手势识别系统通过采集目标人员手部手势动作实现对目标人员指令的获取，并将获取到的指令发送给所述一体化手术室系统，实现对目标人员指令的执行。

Description

一种远距离手势控制一体化手术室系统
技术领域
本发明属于远程医疗控制的技术领域，具体涉及一种远距离手势控制一体化手术室系统。
背景技术
微创外科手术的进步为医疗行业带来了一系列革命，而随着技术日益复杂化，人们很快也意识到，现有的手术室并不能满足这一新工艺流程的需求。
一体化手术室是随着微创技术的发展而诞生的一个新的医疗项目，它是以创造手术室的高效率、高安全性、以及提升手术室对外交流平台为目的的多个系统(如医学、工控、通讯、数码等)的综合运用。是多个学科，多种技术在手术室内应用的综合性解决方案。
而随着一体化手术室的发展，利用一体化整体解决方案给主刀医生提供更全面，更便捷的手术环境和手术需要的信息已经成为未来手术室发展的必然趋势，但是目前对整个系统功能的控制都局限于手指触摸控制屏的方式实现，这会影响主刀医生的手术环境，增加感染风险。
目前的一体化手术室系统的操作方法是通过一台安装在吊塔或者是吊臂上的触摸一体机进行控制的，医生或者护士通过手指触摸完成控制操作，这种操作方式存在以下几个不足：
(1)使用手指触摸控制属于接触性控制操作方式，虽然触摸一体机可以满足消毒灭菌的要求，但和非接触式操作方式比较起来，非接触式控制方式在降低手术感染风险方面有接触式控制方式无法比拟的优势。
(2)使用手指触摸控制方式要求在每台手术结束之后都需要对触摸一体机进行消毒灭菌，增加手术准备时间，增加手术室使用成本，降低手术室使用效率。
(3)手指触摸控制方式需要控制人员在触摸控制一体机前才能进行操作，无论是医生还是护士，在操作的过程中都必须移动到触摸一体机前，而非接触式控制方式可以实现远距离操作，不需要移动到触摸一体机前，增加了操作的便捷性，提高了控制的效率。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种远距离手势控制一体化手术室系统。
为实现上述技术目的，本发明采取的技术方案为：
一种远距离手势控制一体化手术室系统，所述手术室系统包括远距离手势识别系统和一体化手术室系统；
所述远距离手势识别系统由双目摄像头和运行在触摸一体机上的人工智能手势识别软件组成；
所述一体化手术室系统内运行有现有手术室触摸一体机上的一体化手术室控制软件系统；所述一体化手术室系统硬件包括扫描枪、触摸一体机、后台服务器、内窥镜系统、EMR客户端主机、PACS客户端主机、视频切换矩阵、多个医用内窥显示器、手术室交换机、院内交换机、EMR服务器和PACS服务器；
所述远距离手势识别系统通过采集目标人员手部手势动作实现对目标人员指令的获取，并将获取到的指令发送给所述一体化手术室系统，实现对目标人员指令的执行。
优选地，所述远距离手势识别系统内的手部手势动作识别训练过程如下：
步骤一：获取大量手势样板数据，手势数据种类包含所有用于产生指令的手势含有的特征；
步骤二：采用人工智能算法对手势样板数据进行特征提取；
步骤三：将提取到的手势特征根据指令手势种类进行分类，并标号手势特征；
步骤四：调用人工智能算法对标号后的手势特征进行手势特征学习；
步骤五：根据手势特征学习结果产生特征权值矩阵；
步骤六：对产生的特征权值矩阵进行特征筛选；
步骤七：对特征筛选后产生的手势特征或者手势指令进行标号，产生精简特征集；
步骤八：利用生成的精简特征集进行手势识别学习；
步骤九：获得手势识别学习后生成的手势识别分类器。
优选地，所述步骤四中对手势识别学习采用卷积神经网络模型，根据预先设定的标准手势指令动作，利用手势特征集对卷积神经网络进行训练。
优选地，所述获取大量手势样板数据的方法为通过对人群手势动作进行广泛图像采集。
优选地，所述远距离手势识别系统内的手部手势动作识别过程如下：
步骤一：通过双目摄像头(15)实时采集目标人员手势视频图像；
步骤二：对采集到的目标人员手势视频图像进行特征提取；
步骤三：通过比对精简特征集中的手势特征，分解出手势中包含的手势特征；
步骤四：将分解出的手势特征输出；
步骤五：通过手势识别分类器对输出的手势特征进行识别；
步骤六：输出识别出的手势指令结果；
步骤七：将识别结果传输给一体化手术室系统执行。
优选地，所述步骤一中对目标人员手势动作采集还通过扫描枪获取。
优选地，所述手势识别分类器在对手势动作识别的过程中，对使用者的手势动作进行特征提取进行指令识别的同时，还将使用者的手势动作并加入训练库，实现对手势识别分类器的不断训练和完善。
本发明具有以下有益效果：
采用本发明的一种远距离手势控制一体化手术室系统后，实现了远距离手势控制，远距离手势控制属于非接触式控制方式，能够最大程度降低手术感染风险，提高手术的安全性；并且，使用远距离手势控制，不需要在每台手术结束之后对触摸一体机进行消毒灭菌，减少手术准备时间，降低手术室使用成本，增加手术室使用效率；另外，使用远距离手势控制，在操作的过程中不需要移动到触摸一体机前，可以实现远距离操作，增加了操作的便捷性，提高了控制的效率。提高了当前手术室系统的实用性和可靠性。
附图说明
图1是本发明一种远距离手势控制一体化手术室系统的系统组成示意图；
图2是本发明一种远距离手势控制一体化手术室系统的训练手势识别器的过程流程图；
图3是本发明一种远距离手势控制一体化手术室系统的使用手势识别器的过程流程图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
本发明的一种远距离手势控制一体化手术室系统，所述手术室系统包括远距离手势识别系统和一体化手术室系统；
参见图1，所述远距离手势识别系统由双目摄像头和运行在触摸一体机上的人工智能手势识别软件组成；
所述一体化手术室系统内运行有现有手术室触摸一体机上的一体化手术室控制软件系统；所述一体化手术室系统硬件包括扫描枪1、触摸一体机2、后台服务器3、内窥镜系统4、EMR客户端主机5、PACS客户端主机6、视频切换矩阵7、多个医用内窥显示器(所述多个医用内窥显示器在实际实施时为医用内窥显示器#18、医用内窥显示器#29、医用内窥显示器#310)、手术室交换机11、院内交换机12、EMR服务器13和PACS服务器14；
所述远距离手势识别系统通过采集目标人员手部手势动作实现对目标人员指令的获取，并将获取到的指令发送给所述一体化手术室系统，实现对目标人员指令的执行。
参见图2，具体实施时，所述远距离手势识别系统内的手部手势动作识别训练过程如下：
步骤一：获取大量手势样板数据，手势数据种类包含所有用于产生指令的手势含有的特征；
步骤二：采用人工智能算法对手势样板数据进行特征提取；
步骤三：将提取到的手势特征根据指令手势种类进行分类，并标号手势特征；
步骤四：调用人工智能算法对标号后的手势特征进行手势特征学习；
步骤五：根据手势特征学习结果产生特征权值矩阵；
步骤六：对产生的特征权值矩阵进行特征筛选；
步骤七：对特征筛选后产生的手势特征或者手势指令进行标号，产生精简特征集；
步骤八：利用生成的精简特征集进行手势识别学习；
步骤九：获得手势识别学习后生成的手势识别分类器。
具体实施时，所述步骤四中对手势识别学习采用卷积神经网络模型，根据预先设定的标准手势指令动作，利用手势特征集对卷积神经网络进行训练。
具体实施时，所述获取大量手势样板数据的方法为通过对人群手势动作进行广泛图像采集。
参见图3，具体实施时，所述远距离手势识别系统内的手部手势动作识别过程如下：
步骤一：通过双目摄像头15实时采集目标人员手势视频图像；
步骤二：对采集到的目标人员手势视频图像进行特征提取；
步骤三：通过比对精简特征集中的手势特征，分解出手势中包含的手势特征；
步骤四：将分解出的手势特征输出；
步骤五：通过手势识别分类器对输出的手势特征进行识别；
步骤六：输出识别出的手势指令结果；
步骤七：将识别结果传输给一体化手术室系统执行。
具体实施时，所述步骤一中对目标人员手势动作采集还通过扫描枪获取。
具体实施时，所述手势识别分类器在对手势动作识别的过程中，对使用者的手势动作进行特征提取进行指令识别的同时，还将使用者的手势动作并加入训练库，实现对手势识别分类器的不断训练和完善。
本发明的工作原理如下：当需要使用一体化手术室系统时，使用者通过远距离向手势获取装置展现相应手势，一体化手术室系统通过双目摄像头或者扫描枪录下具体手势动作，然后通过训练好的手势识别器对使用者手势指令进行识别，并将识别后的指令发送给一体化手术室系统执行。
本发明的一种远距离手势控制一体化手术室系统，实现了远距离手势控制，远距离手势控制属于非接触式控制方式，能够最大程度降低手术感染风险，提高手术的安全性；并且，使用远距离手势控制，不需要在每台手术结束之后对触摸一体机进行消毒灭菌，减少手术准备时间，降低手术室使用成本，增加手术室使用效率；另外，使用远距离手势控制，在操作的过程中不需要移动到触摸一体机前，可以实现远距离操作，增加了操作的便捷性，提高了控制的效率。提高了当前手术室系统的实用性和可靠性。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (3)

1.一种远距离手势控制一体化手术室系统，其特征在于，所述手术室系统包括远距离手势识别系统和一体化手术室系统；
所述远距离手势识别系统由双目摄像头和运行在触摸一体机上的人工智能手势识别软件组成；
所述一体化手术室系统内运行有现有手术室触摸一体机上的一体化手术室控制软件系统；所述一体化手术室系统硬件包括扫描枪(1)、触摸一体机(2)、后台服务器(3)、内窥镜系统(4)、EMR客户端主机(5)、PACS客户端主机(6)、视频切换矩阵(7)、多个医用内窥显示器、手术室交换机(11)、院内交换机(12)、EMR服务器(13)和PACS服务器(14)；
所述远距离手势识别系统通过采集目标人员手部手势动作实现对目标人员指令的获取，并将获取到的指令发送给所述一体化手术室系统，实现对目标人员指令的执行；
所述远距离手势识别系统内的手部手势动作识别过程如下：
步骤一：通过双目摄像头(15)实时采集目标人员手势视频图像；
步骤二：对采集到的目标人员手势视频图像进行特征提取；
步骤三：通过比对精简特征集中的手势特征，分解出手势中包含的手势特征；
步骤四：将分解出的手势特征输出；
步骤五：通过手势识别分类器对输出的手势特征进行识别；
步骤六：输出识别出的手势指令结果；
步骤七：将识别结果传输给一体化手术室系统执行；
所述手势识别分类器在对手势动作识别的过程中，对使用者的手势动作进行特征提取进行指令识别的同时，还将使用者的手势动作并加入训练库，实现对手势识别分类器的不断训练和完善；
所述远距离手势识别系统内的手部手势动作识别训练过程如下：
步骤一：获取大量手势样板数据，手势数据种类包含所有用于产生指令的手势含有的特征；
步骤二：采用人工智能算法对手势样板数据进行特征提取；
步骤三：将提取到的手势特征根据指令手势种类进行分类，并标号手势特征；
步骤四：调用人工智能算法对标号后的手势特征进行手势特征学习；对手势识别学习采用卷积神经网络模型，根据预先设定的标准手势指令动作，利用手势特征集对卷积神经网络进行训练；
步骤五：根据手势特征学习结果产生特征权值矩阵；
步骤六：对产生的特征权值矩阵进行特征筛选；
步骤七：对特征筛选后产生的手势特征或者手势指令进行标号，产生精简特征集；
步骤八：利用生成的精简特征集进行手势识别学习；
步骤九：获得手势识别学习后生成的手势识别分类器。
2.根据权利要求1所述的一种远距离手势控制一体化手术室系统，其特征在于，所述获取大量手势样板数据的方法为通过对人群手势动作进行广泛图像采集。
3.根据权利要求1所述的一种远距离手势控制一体化手术室系统，其特征在于，所述步骤一中对目标人员手势动作采集还通过扫描枪(1)获取。
CN202011319238.2A 2020-11-23 2020-11-23 一种远距离手势控制一体化手术室系统 Active CN112270982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011319238.2A CN112270982B (zh) 2020-11-23 2020-11-23 一种远距离手势控制一体化手术室系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011319238.2A CN112270982B (zh) 2020-11-23 2020-11-23 一种远距离手势控制一体化手术室系统

Publications (2)

Publication Number Publication Date
CN112270982A CN112270982A (zh) 2021-01-26
CN112270982B true CN112270982B (zh) 2022-09-30

Family

ID=74339332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011319238.2A Active CN112270982B (zh) 2020-11-23 2020-11-23 一种远距离手势控制一体化手术室系统

Country Status (1)

Country Link
CN (1) CN112270982B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207009090U (zh) * 2017-04-25 2018-02-13 深圳市汇健医疗工程有限公司 基于vr技术的数字化复合手术室远程会诊系统
CN108563995A (zh) * 2018-03-15 2018-09-21 西安理工大学 基于深度学习的人机协作系统手势识别控制方法
CN109129471A (zh) * 2018-08-03 2019-01-04 江苏大学 一种用于医疗领域的机械手装置的远程手势控制系统及方法
CN110025377A (zh) * 2018-01-12 2019-07-19 中国科学院沈阳自动化研究所 一种基于手势识别控制的手术辅助导航方法
CN110970118A (zh) * 2019-12-18 2020-04-07 南京图格医疗科技有限公司 一种多显示器显示患者相关病历和检查影像系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117372A (ja) * 2015-12-25 2017-06-29 キヤノン株式会社 操作装置とその制御方法、及びプログラム
DE112018005499T5 (de) * 2017-09-29 2020-07-09 Apple Inc. Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207009090U (zh) * 2017-04-25 2018-02-13 深圳市汇健医疗工程有限公司 基于vr技术的数字化复合手术室远程会诊系统
CN110025377A (zh) * 2018-01-12 2019-07-19 中国科学院沈阳自动化研究所 一种基于手势识别控制的手术辅助导航方法
CN108563995A (zh) * 2018-03-15 2018-09-21 西安理工大学 基于深度学习的人机协作系统手势识别控制方法
CN109129471A (zh) * 2018-08-03 2019-01-04 江苏大学 一种用于医疗领域的机械手装置的远程手势控制系统及方法
CN110970118A (zh) * 2019-12-18 2020-04-07 南京图格医疗科技有限公司 一种多显示器显示患者相关病历和检查影像系统

Also Published As

Publication number Publication date
CN112270982A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
US20210157403A1 (en) Operating room and surgical site awareness
Bardram et al. Phase recognition during surgical procedures using embedded and body-worn sensors
US20140049465A1 (en) Gesture operated control for medical information systems
EP3373834A1 (en) Surgical system with training or assist functions
Talati AI in healthcare domain
Li et al. Appearance-based gaze estimator for natural interaction control of surgical robots
US20210249109A1 (en) Information processing system, information processing device, and information processing method
CN113813053A (zh) 一种基于腹腔镜内窥影像的手术进程分析方法
Tanzi et al. Intraoperative surgery room management: A deep learning perspective
CN104517016A (zh) 一种体感技术和虚拟现实技术的手术模拟系统
CN112270982B (zh) 一种远距离手势控制一体化手术室系统
Grange et al. M/ORIS: a medical/operating room interaction system
CN110032270B (zh) 一种基于手势识别的人机交互方法
Staszuk et al. Telerehabilitation approach for patients with hand impairment
WO2021011596A1 (en) Systems and methods for displaying augmented anatomical features
CN103236213A (zh) 基于光学双目定位的心房颤动导管消融模拟
CN110211650A (zh) 手术富媒体电子病历自动监测识别记录的方法及装置
Fayyaz et al. Adjustment of bed for a patient through gesture recognition: an image processing approach
Wang et al. A touch-free human-robot collaborative surgical navigation robotic system based on hand gesture recognition
Yue et al. An intelligent hand-washing monitoring platform based on gesture recognition technology
CN111208907A (zh) 基于肌电信号和手指关节形变信号的手语识别系统及方法
Song et al. P‐2.4: Development and Prospect of Medical Action Recognition Technology forVirtual Reality (VR)
KR102505016B1 (ko) 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법
Pereira Harnessing artificial intelligence in maxillofacial surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant