CN117373617A - 用于控制肺模型的手势感应方法、装置、设备及存储介质 - Google Patents

用于控制肺模型的手势感应方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117373617A
CN117373617A CN202311553185.4A CN202311553185A CN117373617A CN 117373617 A CN117373617 A CN 117373617A CN 202311553185 A CN202311553185 A CN 202311553185A CN 117373617 A CN117373617 A CN 117373617A
Authority
CN
China
Prior art keywords
hand
lung model
control mode
menu
transparency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311553185.4A
Other languages
English (en)
Inventor
杨秋菊
于鲁闽
严健伟
叶剑鸿
李阿敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yian Intelligent Medical Technology Co ltd
Original Assignee
Xiamen Yian Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yian Intelligent Medical Technology Co ltd filed Critical Xiamen Yian Intelligent Medical Technology Co ltd
Priority to CN202311553185.4A priority Critical patent/CN117373617A/zh
Publication of CN117373617A publication Critical patent/CN117373617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种用于控制肺模型的手势感应方法、装置、设备及存储介质。本公开的至少一个实施例中，通过采集手部影像信息，可以识别手部手势和手部运动轨迹，进而基于手部手势和手部运动轨迹，可以确定对肺模型的控制模式；从而在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；最后基于控制模式和控制指令，对肺模型进行控制。便于主刀医生通过手势来控制肺模型的展示效果，无需脱下无菌手套和无菌手术衣，脱离无菌环境进行操作，确保在手术过程中不产生任何污染，从而满足手术台上无菌环境下的应用需求，也无需借助手术台下其他人的协助，节约沟通成本，提升手术效率。

Description

用于控制肺模型的手势感应方法、装置、设备及存储介质
技术领域
本公开实施例涉及肺模型控制技术领域，具体涉及一种用于控制肺模型的手势感应方法、装置、设备及存储介质。
背景技术
目前，在肺部手术过程中，主刀医生需要观察患者的肺部影像，为了避免对手术产生污染，主刀医生需要脱下无菌手套和无菌手术衣，去手动翻看肺部影像，但是会影响手术效率。由其他人协助展示肺部影像虽然可以提升主刀医生的手术效率，但是需要主刀医生和协助人员及时快速地准确沟通要展示的肺部影像，然而协助人员可能由于自己与主刀医生理解有偏差，无法准确快速地展示出主刀医生所要观察的肺部影像，从而影像手术的顺利进行，降低手术效率。
发明内容
本公开的至少一个实施例提供了一种用于控制肺模型的手势感应方法、装置、设备及存储介质。
第一方面，本公开实施例提出一种用于控制肺模型的手势感应方法，该方法包括：
采集手部影像信息，并基于手部影像信息识别手部手势和手部运动轨迹；
基于手部手势和手部运动轨迹，确定对肺模型的控制模式；
在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；其中，控制指令与控制模式相关；
基于控制模式和控制指令，对肺模型进行控制。
在一些实施例中，基于手部手势和手部运动轨迹，确定对肺模型的控制模式，包括：
在显示屏上显示肺模型以及控制模式菜单，基于手部手势为手掌半握，在控制模式菜单上生成光标；
基于手部运动轨迹，确定光标在控制模式菜单上的移动轨迹；
基于光标在控制模式菜单上的移动轨迹，在控制模式菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的控制模式；
基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的控制模式。
在一些实施例中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令，包括：
若控制模式为结构控制模式，则在显示屏上显示一级菜单，一级菜单中包括：透明度和结构表；其中，透明度的二级菜单包括多个透明度值，结构表的二级菜单包括肺模型的多个局部结构；
基于手部手势和手部运动轨迹，确定对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，基于手部手势和手部运动轨迹，确定对肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于手部手势为手掌半握，在一级菜单上生成光标；
基于手部运动轨迹，确定光标在一级菜单上的移动轨迹；
基于光标在一级菜单上的移动轨迹，在一级菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的透明度和/或结构表；基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度和/或结构表；
响应于选中透明度和/或结构表，显示透明度的二级菜单和/或结构表的二级菜单；
基于手部手势和手部运动轨迹，从透明度的二级菜单和/或结构表的二级菜单中，确定对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，基于手部手势和手部运动轨迹，从透明度的二级菜单和/或结构表的二级菜单中，确定对肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于手部手势为手掌半握，在透明度的二级菜单和/或结构表的二级菜单上生成光标；
基于手部运动轨迹，确定光标在透明度的二级菜单和/或结构表的二级菜单上的移动轨迹；
基于光标在透明度的二级菜单和/或结构表的二级菜单上的移动轨迹，在透明度的二级菜单和/或结构表的二级菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的透明度值和/或局部结构；基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度值和/或局部结构；
响应于选中的透明度值和/或局部结构，生成对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令，包括：
若控制模式为缩放模式，基于手部手势为握拳且手部运动轨迹的方向为第一方向，则确定对肺模型的控制指令为放大指令；
若控制模式为缩放模式，基于手部手势为握拳且手部运动轨迹的方向为第二方向，则确定对肺模型的控制指令为缩小指令；
若控制模式为旋转模式，基于手部手势为手掌张开且张开时长达到第二预设时长，取消缩放。
在一些实施例中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令，包括：
若控制模式为旋转模式，基于手部手势为握拳，则识别握拳后的旋转角度，确定对肺模型的控制指令为旋转指令，旋转指令用于将肺模型旋转角度；
若控制模式为旋转模式，基于手部手势为手掌张开且张开时长达到第二预设时长，取消旋转。
第二方面，本公开实施例中还提出一种用于控制肺模型的手势感应装置，该装置包括：
采集单元，用于采集手部影像信息，并基于手部影像信息识别手部手势和手部运动轨迹；
第一确定单元，用于基于手部手势和手部运动轨迹，确定对肺模型的控制模式；
第二确定单元，用于在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；其中，控制指令与控制模式相关；
控制单元，用于基于控制模式和控制指令，对肺模型进行控制。
第三方面，本公开实施例还提出一种电子设备，其中，包括存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现如第一方面所述用于控制肺模型的手势感应方法的步骤。
第四方面，本公开实施例还提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如第一方面所述用于控制肺模型的手势感应方法的步骤。
可见，本公开的至少一个实施例中，通过采集手部影像信息，可以识别手部手势和手部运动轨迹，进而基于手部手势和手部运动轨迹，可以确定对肺模型的控制模式；从而在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；最后基于控制模式和控制指令，对肺模型进行控制。便于主刀医生通过手势来控制肺模型的展示效果，无需脱下无菌手套和无菌手术衣，脱离无菌环境进行操作，确保在手术过程中不产生任何污染，从而满足手术台上无菌环境下的应用需求，也无需借助手术台下其他人的协助，节约沟通成本，提升手术效率。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种用于控制肺模型的手势感应方法的流程示意图；
图2为本公开实施例提供的一种用于控制肺模型的手势感应装置的示意图；
图3为本公开实施例提供的一种电子设备的示例性框图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本公开实施例提供了一种用于控制肺模型的手势感应方法、装置、设备或存储介质，能够精准地响应主刀医生的手势，可以使主刀医生在无菌环境下进行手术过程中，轻松地通过手势来控制肺模型的展示效果，确保在手术过程中不产生任何污染，从而满足手术台上无菌环境下的应用需求，例如肺模型解剖结构导航等，让手术方案得以科学、精准地指导医生操作。无需借助手术台下其他人的协助，也无需脱下无菌手套和无菌手术衣，脱离无菌环境进行操作，主刀医生可以独自通过手势控制肺模型，满足自身对肺模型不同位置、角度的观察需求，有效避免因为人际沟通不畅造成的延迟、表达模糊或理解错误。
图1为本公开实施例提供的一种用于控制肺模型的手势感应方法的流程示意图，该用于控制肺模型的手势感应方法的执行主体为电子设备，电子设备包括但不限于智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备、服务器等，其中，服务器可以是独立的服务器，也可以是多个服务器的集群，可以包括搭建在本地的服务器和架设在云端的服务器。
如图1所示，该用于控制肺模型的手势感应方法可以包括但不限于步骤101至步骤104：
在步骤101中，采集手部影像信息，并基于手部影像信息识别手部手势和手部运动轨迹。
本实施例中，可以预先生成肺模型的三维结构，该生成过程属于三维建模的常规技术收到，不再赘述。需要说明的是，肺模型可以是基于患者的肺部影像生成的三维模型。
本实施例中，可以通过摄像头等图像采集设备采集手部影像信息，然后从图像采集设备获取手部影像信息，并对手部影像信息进行识别。基于手部影像信息识别手部手势和手部运动轨迹是图像识别技术领域的成熟技术，不再赘述。
在步骤102中，基于手部手势和手部运动轨迹，确定对肺模型的控制模式。
本实施例中，肺模型的控制模式有多种，包括但不限于：结构控制模式、缩放模式和旋转模式。
其中，结构控制模式用于对肺模型的局部结构进行控制，包括对局部结构的透明度设置等，以便主刀医生直观了解手术区域的局部结构，提高手术效率。缩放模式用于对肺模型进行缩小或放大，缩小便于主刀医生观察肺模型的整体情况，放大便于主刀医生观察肺模型的局部特征。旋转模式用于对肺模型进行全方位旋转，便于主刀医生从不同角度观察肺模型。
为了实现手势复用，简化手势操作复杂度，本实施例提出了手势二级感应策略，该手势二级感应策略分为两个感应层级，第一感应层级用于基于手部手势和手部运动轨迹，感知对肺模型的控制模式，第二感应层级用于在具体的控制模式下，进一步地对肺模型进行控制。这样，使得相同的手势在不同的控制模式下具有不同的含义，实现同一手势不同控制的效果。
在步骤103中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；其中，控制指令与控制模式相关。
本实施例中，在确定对肺模型的控制模式后，基于不同的控制模式，对肺模型进行不同控制。控制指令与控制模式相关，也即，相同的手势和相同的手部运动轨迹，在不同模式下，生成的对肺模型的控制不同。在下文详述。
在步骤104中，基于控制模式和控制指令，对肺模型进行控制。
本实施例中，肺模型及对肺模型的控制可以进行可视化，显示在显示屏上，以便主刀医生进行观察。
可见，通过采集手部影像信息，可以识别手部手势和手部运动轨迹，进而基于手部手势和手部运动轨迹，可以确定对肺模型的控制模式；从而在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；最后基于控制模式和控制指令，对肺模型进行控制。便于主刀医生通过手势来控制肺模型的展示效果，无需脱下无菌手套和无菌手术衣，脱离无菌环境进行操作，确保在手术过程中不产生任何污染，从而满足手术台上无菌环境下的应用需求，也无需借助手术台下其他人的协助，节约沟通成本，提升手术效率。
在一些实施例中，基于手部手势和手部运动轨迹，确定对肺模型的控制模式，包括：
在显示屏上显示肺模型以及控制模式菜单，基于手部手势为手掌半握，在控制模式菜单上生成光标；
基于手部运动轨迹，确定光标在控制模式菜单上的移动轨迹；
基于光标在控制模式菜单上的移动轨迹，在控制模式菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的控制模式；
基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的控制模式。
在一些实施例中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令，包括：
若控制模式为结构控制模式，则在显示屏上显示一级菜单，一级菜单中包括：透明度和结构表；其中，透明度的二级菜单包括多个透明度值，结构表的二级菜单包括肺模型的多个局部结构；
基于手部手势和手部运动轨迹，确定对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，基于手部手势和手部运动轨迹，确定对肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于手部手势为手掌半握，在一级菜单上生成光标；
基于手部运动轨迹，确定光标在一级菜单上的移动轨迹；
基于光标在一级菜单上的移动轨迹，在一级菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的透明度和/或结构表；基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度和/或结构表；
响应于选中透明度和/或结构表，显示透明度的二级菜单和/或结构表的二级菜单；
基于手部手势和手部运动轨迹，从透明度的二级菜单和/或结构表的二级菜单中，确定对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，基于手部手势和手部运动轨迹，从透明度的二级菜单和/或结构表的二级菜单中，确定对肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于手部手势为手掌半握，在透明度的二级菜单和/或结构表的二级菜单上生成光标；
基于手部运动轨迹，确定光标在透明度的二级菜单和/或结构表的二级菜单上的移动轨迹；
基于光标在透明度的二级菜单和/或结构表的二级菜单上的移动轨迹，在透明度的二级菜单和/或结构表的二级菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的透明度值和/或局部结构；基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度值和/或局部结构；
响应于选中的透明度值和/或局部结构，生成对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令，包括：
若控制模式为缩放模式，基于手部手势为握拳且手部运动轨迹的方向为第一方向，则确定对肺模型的控制指令为放大指令；
若控制模式为缩放模式，基于手部手势为握拳且手部运动轨迹的方向为第二方向，则确定对肺模型的控制指令为缩小指令；
若控制模式为旋转模式，基于手部手势为手掌张开且张开时长达到第二预设时长，取消缩放。
在一些实施例中，在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令，包括：
若控制模式为旋转模式，基于手部手势为握拳，则识别握拳后的旋转角度，确定对肺模型的控制指令为旋转指令，旋转指令用于将肺模型旋转角度；
若控制模式为旋转模式，基于手部手势为手掌张开且张开时长达到第二预设时长，取消旋转。
基于以上各实施例，以外科肺结节手术为例，说明肺模型的手势控制过程。在进行胸外科肺结节手术的过程中，能够在三维重建图像(肺模型)的基础上，以简单手势准确地定位和展现肺结节的具体位置和解剖关系，主刀医生可以非接触式控制屏幕的光标，对三维肺部模型进行控制，需右手距离摄像头10-100厘米为最佳状态，右手手掌半握状态是单纯移动光标，当光标移动到按钮界面上，右手握拳停留2秒为选中状态，右手手掌张开为取消状态。右手手掌张开2秒是取消状态。
旋转：
右手手掌半握把光标移动到旋转按钮界面上，右手手掌握拳2秒选中，持续握拳可对三维肺部模型根据右手移动的方向进行全方位的旋转，右手手掌半握状态是可单纯移动光标，当三维肺部模型移动到期望的方向后，右手手掌张开2s可取消当前状态。
缩放：
右手手掌半握把光标移动到旋转按钮界面上，右手手掌握拳2秒选中，持续握拳可对三维肺部模型进行缩放，右手手掌持续握拳往左可对三维肺部模型进行放大，往右进行缩小，当三维肺部模型移动到期望的大小后，右手手掌张开2秒可取消当前状态。
结构：
右手手掌半握把光标移动到结构按钮界面上，右手手掌握拳2秒选中，弹出结构列表，出现透明度选择：0％，10％，30％，100％；以及结构表，具体至肺结节与胸膜、血管、气管之间的独立结构与相互关系。比如单方面体现气管树重建结构，具体可表达至气管、左右支气管、左右肺各叶级支气管(如右肺上、中、下叶)、左右肺各段级支气管以及肺段支气管进一步细分的亚段支气管、亚亚段支气管的重建结构；单方面表现肺动脉的结构，具体可表达肺动脉主干、左右肺动脉干，左右肺各段动脉的详细结构；单方面表现肺静脉的结构，具体可表达左右肺各段内及段间的回流静脉、左右肺各肺叶静脉、以及回流至左心房的详细结构；单方面表现肺结节的结构，大小、形态等。同时，可多种方式表气管、动脉、静脉、肺结节各结构的相关空间关系和位置毗邻，比如气管和动脉、气管和静脉、气管和结节、动静脉之间、动静脉和结节、气管和动静脉和结节等二者或三者或四者之间的关系。可表达左右肺总体以及细分至肺叶、肺段、肺亚段的容积和占比。右手手掌半握把光标移动到想到选中的按钮界面上，右手手掌握拳2秒选中，右手手掌可半握状态进行移动，继续对结构列表的按钮界面进行选择，选择完后在选择透明度，右手手掌握拳2秒选中，结构列表消失，三维肺部模型透明度变化，或者右手手掌张开2秒结构列表消失。可选择旋转，缩放，对所显示的结构进行多方位的操作。
由此，主刀医生能够更深入地掌握手术区域的解剖构造，从而为手术方案的设定和手术操作提供更为准确的指导，从而极大地提高手术的精度。
此外，基于三维重建技术，本实施例不仅能对医生的手势进行精确的智能解析，同时还能够生成精确的可视化手术范围，可以具体表现肺结节所在的肺段或亚段的解剖位置，所在肺段或亚段的组织结构如结节、气管、动脉、静脉、段间平面等的解剖关系，从而有助于手术治疗的精确指引，减少了手术中可能产生的误解，从而保证了手术流程的顺畅进行。
在三维重建技术的支持下，通过手势操作，实现手术患者真实体位与重建图像的精确匹配，使主刀医生能够在虚拟图像中精准感知手术区域的解剖结构，并将其与实际体位进行相应匹配，从而在手术过程中指导解剖定位和制定手术方案。
总之，本实施例能够满足主刀医生在手术过程中对图像变化、肺结节位置和解剖关系、手术区域解剖结构以及重建图像与实际体位匹配等方面的需求。它提供了一种简单、高效、无菌的导航和指导方式，为手术治疗提供准确性和安全性的保障。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
图2为本公开实施例提供的一种用于控制肺模型的手势感应装置的示意图，该用于控制肺模型的手势感应装置可以应用于电子设备，电子设备包括但不限于智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备、服务器等，其中，服务器可以是独立的服务器，也可以是多个服务器的集群，可以包括搭建在本地的服务器和架设在云端的服务器。
本公开实施例提供的用于控制肺模型的手势感应装置可以执行用于控制肺模型的手势感应方法各实施例提供的处理流程，如图2所示，用于控制肺模型的手势感应装置包括但不限于：采集单元21、第一确定单元22、第二确定单元23和控制单元24。各单元功能说明如下：
采集单元21，用于采集手部影像信息，并基于手部影像信息识别手部手势和手部运动轨迹；
第一确定单元22，用于基于手部手势和手部运动轨迹，确定对肺模型的控制模式；
第二确定单元23，用于在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；其中，控制指令与控制模式相关；
控制单元24，用于基于控制模式和控制指令，对肺模型进行控制。
在一些实施例中，第一确定单元22，用于：
在显示屏上显示肺模型以及控制模式菜单，基于手部手势为手掌半握，在控制模式菜单上生成光标；
基于手部运动轨迹，确定光标在控制模式菜单上的移动轨迹；
基于光标在控制模式菜单上的移动轨迹，在控制模式菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的控制模式；
基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的控制模式。
在一些实施例中，第二确定单元23，用于：
若控制模式为结构控制模式，则在显示屏上显示一级菜单，一级菜单中包括：透明度和结构表；其中，透明度的二级菜单包括多个透明度值，结构表的二级菜单包括肺模型的多个局部结构；
基于手部手势和手部运动轨迹，确定对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，第二确定单元23基于手部手势和手部运动轨迹，确定对肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于手部手势为手掌半握，在一级菜单上生成光标；
基于手部运动轨迹，确定光标在一级菜单上的移动轨迹；
基于光标在一级菜单上的移动轨迹，在一级菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的透明度和/或结构表；基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度和/或结构表；
响应于选中透明度和/或结构表，显示透明度的二级菜单和/或结构表的二级菜单；
基于手部手势和手部运动轨迹，从透明度的二级菜单和/或结构表的二级菜单中，确定对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，第二确定单元23基于手部手势和手部运动轨迹，从透明度的二级菜单和/或结构表的二级菜单中，确定对肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于手部手势为手掌半握，在透明度的二级菜单和/或结构表的二级菜单上生成光标；
基于手部运动轨迹，确定光标在透明度的二级菜单和/或结构表的二级菜单上的移动轨迹；
基于光标在透明度的二级菜单和/或结构表的二级菜单上的移动轨迹，在透明度的二级菜单和/或结构表的二级菜单上移动光标；
基于手部手势为握拳且握拳时长达到第一预设时长，选中光标指向的透明度值和/或局部结构；基于手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度值和/或局部结构；
响应于选中的透明度值和/或局部结构，生成对肺模型的透明度选择指令和/或局部结构选择指令。
在一些实施例中，第二确定单元23，用于：
若控制模式为缩放模式，基于手部手势为握拳且手部运动轨迹的方向为第一方向，则确定对肺模型的控制指令为放大指令；
若控制模式为缩放模式，基于手部手势为握拳且手部运动轨迹的方向为第二方向，则确定对肺模型的控制指令为缩小指令；
若控制模式为旋转模式，基于手部手势为手掌张开且张开时长达到第二预设时长，取消缩放。
在一些实施例中，第二确定单元23，用于：
若控制模式为旋转模式，基于手部手势为握拳，则识别握拳后的旋转角度，确定对肺模型的控制指令为旋转指令，旋转指令用于将肺模型旋转角度；
若控制模式为旋转模式，基于手部手势为手掌张开且张开时长达到第二预设时长，取消旋转。
可见，本公开的至少一个用于控制肺模型的手势感应装置实施例中，通过采集手部影像信息，可以识别手部手势和手部运动轨迹，进而基于手部手势和手部运动轨迹，可以确定对肺模型的控制模式；从而在控制模式下，基于手部手势和手部运动轨迹，确定对肺模型的控制指令；最后基于控制模式和控制指令，对肺模型进行控制。便于主刀医生通过手势来控制肺模型的展示效果，无需脱下无菌手套和无菌手术衣，脱离无菌环境进行操作，确保在手术过程中不产生任何污染，从而满足手术台上无菌环境下的应用需求，也无需借助手术台下其他人的协助，节约沟通成本，提升手术效率。
图3是本公开实施例提供的一种电子设备的示例性框图。如图3所示，该电子设备包括：存储器31、处理器32以及存储在所述存储器31上的计算机程序。可以理解，本实施例中的存储器31可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器31存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用任务。实现本公开实施例提供的用于控制肺模型的手势感应方法的程序可以包含在应用程序中。
在本公开实施例中，至少一个处理器32通过调用至少一个存储器31存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，至少一个处理器32用于执行本公开实施例提供的用于控制肺模型的手势感应方法各实施例的步骤。
本公开实施例提供的用于控制肺模型的手势感应方法可以应用于处理器32中，或者由处理器32实现。处理器32可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器32中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器32可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的用于控制肺模型的手势感应方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器31，处理器32读取存储器31中的信息，结合其硬件完成方法的步骤。
本公开实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如用于控制肺模型的手势感应方法各实施例的步骤，为避免重复描述，在此不再赘述。其中，计算机可读存储介质可以为非暂态计算机可读存储介质。
本公开实施例还提出一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，计算机可读存储介质可以为非暂态计算机可读存储介质。计算机的至少一个处理器从计算机可读存储介质中读取并执行该计算机程序，使得计算机执行如用于控制肺模型的手势感应方法各实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种用于控制肺模型的手势感应方法，所述方法包括：
采集手部影像信息，并基于所述手部影像信息识别手部手势和手部运动轨迹；
基于所述手部手势和所述手部运动轨迹，确定对肺模型的控制模式；
在所述控制模式下，基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的控制指令；其中，所述控制指令与所述控制模式相关；
基于所述控制模式和所述控制指令，对所述肺模型进行控制。
2.根据权利要求1所述的方法，其中，所述基于所述手部手势和所述手部运动轨迹，确定对肺模型的控制模式，包括：
在显示屏上显示所述肺模型以及控制模式菜单，基于所述手部手势为手掌半握，在所述控制模式菜单上生成光标；
基于所述手部运动轨迹，确定所述光标在所述控制模式菜单上的移动轨迹；
基于所述光标在所述控制模式菜单上的移动轨迹，在所述控制模式菜单上移动所述光标；
基于所述手部手势为握拳且握拳时长达到第一预设时长，选中所述光标指向的控制模式；
基于所述手部手势为手掌张开且张开时长达到第二预设时长，取消选中的控制模式。
3.根据权利要求1所述的方法，其中，所述在所述控制模式下，基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的控制指令，包括：
若所述控制模式为结构控制模式，则在所述显示屏上显示一级菜单，所述一级菜单中包括：透明度和结构表；其中，所述透明度的二级菜单包括多个透明度值，所述结构表的二级菜单包括所述肺模型的多个局部结构；
基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的透明度选择指令和/或局部结构选择指令。
4.根据权利要求3所述的方法，其中，所述基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于所述手部手势为手掌半握，在所述一级菜单上生成光标；
基于所述手部运动轨迹，确定所述光标在所述一级菜单上的移动轨迹；
基于所述光标在所述一级菜单上的移动轨迹，在所述一级菜单上移动所述光标；
基于所述手部手势为握拳且握拳时长达到第一预设时长，选中所述光标指向的所述透明度和/或所述结构表；基于所述手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度和/或结构表；
响应于选中所述透明度和/或所述结构表，显示所述透明度的二级菜单和/或所述结构表的二级菜单；
基于所述手部手势和所述手部运动轨迹，从所述透明度的二级菜单和/或所述结构表的二级菜单中，确定对所述肺模型的透明度选择指令和/或局部结构选择指令。
5.根据权利要求4所述的方法，其中，所述基于所述手部手势和所述手部运动轨迹，从所述透明度的二级菜单和/或所述结构表的二级菜单中，确定对所述肺模型的透明度选择指令和/或局部结构选择指令，包括：
基于所述手部手势为手掌半握，在所述透明度的二级菜单和/或所述结构表的二级菜单上生成光标；
基于所述手部运动轨迹，确定所述光标在所述透明度的二级菜单和/或所述结构表的二级菜单上的移动轨迹；
基于所述光标在所述透明度的二级菜单和/或所述结构表的二级菜单上的移动轨迹，在所述透明度的二级菜单和/或所述结构表的二级菜单上移动所述光标；
基于所述手部手势为握拳且握拳时长达到第一预设时长，选中所述光标指向的透明度值和/或局部结构；基于所述手部手势为手掌张开且张开时长达到第二预设时长，取消选中的透明度值和/或局部结构；
响应于选中的透明度值和/或局部结构，生成对所述肺模型的透明度选择指令和/或局部结构选择指令。
6.根据权利要求1所述的方法，其中，所述在所述控制模式下，基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的控制指令，包括：
若所述控制模式为缩放模式，基于所述手部手势为握拳且所述手部运动轨迹的方向为第一方向，则确定对所述肺模型的控制指令为放大指令；
若所述控制模式为缩放模式，基于所述手部手势为握拳且所述手部运动轨迹的方向为第二方向，则确定对所述肺模型的控制指令为缩小指令；
若所述控制模式为旋转模式，基于所述手部手势为手掌张开且张开时长达到第二预设时长，取消缩放。
7.根据权利要求1所述的方法，其中，所述在所述控制模式下，基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的控制指令，包括：
若所述控制模式为旋转模式，基于所述手部手势为握拳，则识别所述握拳后的旋转角度，确定对所述肺模型的控制指令为旋转指令，所述旋转指令用于将所述肺模型旋转所述旋转角度；
若所述控制模式为旋转模式，基于所述手部手势为手掌张开且张开时长达到第二预设时长，取消旋转。
8.一种用于控制肺模型的手势感应装置，所述装置包括：
采集单元，用于采集手部影像信息，并基于所述手部影像信息识别手部手势和手部运动轨迹；
第一确定单元，用于基于所述手部手势和所述手部运动轨迹，确定对肺模型的控制模式；
第二确定单元，用于在所述控制模式下，基于所述手部手势和所述手部运动轨迹，确定对所述肺模型的控制指令；其中，所述控制指令与所述控制模式相关；
控制单元，用于基于所述控制模式和所述控制指令，对所述肺模型进行控制。
9.一种电子设备，其中，包括存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现如权利要求1至7任一项所述用于控制肺模型的手势感应方法的步骤。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述用于控制肺模型的手势感应方法的步骤。
CN202311553185.4A 2023-11-20 2023-11-20 用于控制肺模型的手势感应方法、装置、设备及存储介质 Pending CN117373617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311553185.4A CN117373617A (zh) 2023-11-20 2023-11-20 用于控制肺模型的手势感应方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311553185.4A CN117373617A (zh) 2023-11-20 2023-11-20 用于控制肺模型的手势感应方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117373617A true CN117373617A (zh) 2024-01-09

Family

ID=89405994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311553185.4A Pending CN117373617A (zh) 2023-11-20 2023-11-20 用于控制肺模型的手势感应方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117373617A (zh)

Similar Documents

Publication Publication Date Title
EP2631739B1 (en) Contactless gesture-based control method and apparatus
US8199106B2 (en) Systems and methods of camera-based fingertip tracking
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
RU2672624C2 (ru) Графический интерфейс пользователя, обеспечивающий функциональные возможности виртуального супермасштабирования
CN112527112B (zh) 一种多通道沉浸式流场可视化人机交互方法
Shen et al. Gpu-based realtime hand gesture interaction and rendering for volume datasets using leap motion
US10475160B1 (en) Image magnification system
CN107390881A (zh) 一种手势控制方法
CN117373617A (zh) 用于控制肺模型的手势感应方法、装置、设备及存储介质
Roy et al. Real time hand gesture based user friendly human computer interaction system
US11931114B2 (en) Virtual interaction with instruments in augmented reality
Guliani et al. Gesture controlled mouse navigation: Hand landmark approach
Soroni et al. Hand Gesture Based Virtual Blackboard Using Webcam
KR102482133B1 (ko) 시선, 제스쳐, 또는 음성을 이용한 비접촉 무균 조작 시스템
Li et al. Continuous dynamic gesture spotting algorithm based on Dempster–Shafer Theory in the augmented reality human computer interaction
Uddin Improving Multi-Touch Interactions Using Hands as Landmarks
Bérci et al. Vision based human-machine interface via hand gestures
Heloir et al. Design and evaluation of a self adaptive architecture for upper-limb rehabilitation
CN113885695A (zh) 基于人工现实的手势交互方法、系统
Feng et al. An HCI paradigm fusing flexible object selection and AOM-based animation
CN108415571A (zh) 一种基于大拇指运动引起的数据分析的体感设备实现方法
Shah et al. Navigation of 3D brain MRI images during surgery using hand gestures
CN114167980B (zh) 手势处理方法、装置、电子设备和可读存储介质
Fan The Improvements for the Hands Gesture Recognition Based on the Mediapipe
Saalfeld et al. Touchless measurement of medical image data for interventional support

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination