CN116974369A - 术中医学影像操作方法、系统、设备及存储介质 - Google Patents

术中医学影像操作方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116974369A
CN116974369A CN202310750761.8A CN202310750761A CN116974369A CN 116974369 A CN116974369 A CN 116974369A CN 202310750761 A CN202310750761 A CN 202310750761A CN 116974369 A CN116974369 A CN 116974369A
Authority
CN
China
Prior art keywords
image
gesture
images
joint point
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310750761.8A
Other languages
English (en)
Other versions
CN116974369B (zh
Inventor
洪杨
莫建清
何汉武
陈光忠
秦琨
刘聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310750761.8A priority Critical patent/CN116974369B/zh
Publication of CN116974369A publication Critical patent/CN116974369A/zh
Application granted granted Critical
Publication of CN116974369B publication Critical patent/CN116974369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种术中医学影像操作方法、系统、设备及介质，包括：采集多组手部图像并进行模拟血迹处理，构建图像数据集进行训练，分别提取第一关节点坐标及第二关节点坐标，并计算出第三关节点坐标，通过读取第三关节点坐标，识别用户手势以及执行交互命令；采集用户的手势影像，提取手势影像关键帧图像，基于用户识别模型建立手势影像与用户手势间的映射关系，通过映射系数识别手势及用户身份；将患者CT影像转化为3D模型，提取病灶轮廓后逐级设置多层级的ROI区域和POI病灶关键点，用户通过手势控制光标定位病灶，操作病灶模型。本发明基于视觉和深度学习的手势识别算法，实现术中外科医生对医学影像数据的实时、精确操作。

Description

术中医学影像操作方法、系统、设备及存储介质
技术领域
本发明涉及机器学习领域，具体涉及一种术中医学影像操作方法、系统、设备及存储介质。
背景技术
在手术过程中，医生为了进一步确定患者病变组织(简称病灶)的大小、解剖结构以及空间定位关系，需通过电脑实现患者医学影像的缩放、旋转及测量等操作，为避免手术感染风险，医生需在操作电脑时更换手套以及手部消毒，然而这会增加手术过程医生操作的复杂程度，并延长手术时间。
现有的技术手段可通过机器学习算法实现自然手势识别，且具有较高的识别率，而将上述基于机器学习算法实现自然手势识别应用在手术场景却存在以下缺陷：
(1)外科手术中，医生常佩戴手套掩盖了手部纹理信息，且手套上常沾有随机分布的血迹，手势识别难度大；
(2)不同医生之间的手势幅度存在差异，这会影响后续医生操作医学影像的控制精确度；
(3)无法满足医生在测量不同形状、体积的病灶时，准确且高效的定位病灶。
发明内容
为解决现有技术中手势识别操作应用在手术场景下存在的缺陷，本发明提出一种术中医学影像操作方法、系统、设备及存储介质。
本发明第一方面公开了一种术中医学影像操作方法，包括：
S1:分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；
S2：根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；
S3：基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。
在一个可选的实施例中，所述分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集包括：
S101：将所述彩色相机和深度相机叠放至影像系统的屏幕上方；
S102：通过彩色相机和深度相机分别采集多组不同用户佩戴手套的手部图像；
S103：通过图片标定获得所述彩色相机和深度相机的内参数和外参数；
S104：根据平移旋转变换将所述彩色相机和深度相机采集的深度手部图像和彩色手部图像中全部像素相对应，再以所述屏幕边角为原点建立用于获得手部RGB-D图像序列的三维坐标系。
在一个可选的实施例中，所述对所述手部图像做模拟血迹处理包括：
S105：通过人工标注所述彩色相机采集的手部图像的手部区域；
S106：在所述手部区域生成若干大小和位置随机的红色掩膜，所述红色掩膜的面积大小为所述手部区域面积大小的5％-40％。
在一个可选的实施例中，所述分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标包括：
S107：获取采集图像过程中用户手部到相机间的距离；
S108：基于相机型号设置所述第一关节点坐标和第二关节点坐标相对应的权重分配比例；
S109：基于所述第一关节点坐标、第二关节点坐标以及权重分配比例，通过特征数据融合计算所述第三关节点坐标。
在一个可选的实施例中，所述通过特征数据融合计算所述第三关节点坐标的表达式为：
(xn,yn,zn)
其中，(xnRGB,ynRGB,znRGB)表示所述彩色相机采集下的第一关节点坐标，(xnD,ynD,znD)表示所述深度相机采集下的第二关节点坐标，(xn,yn,zn)表示所述第三关节点坐标，L表示采集图像过程中用户手部到相机间的距离。
在一个可选的实施例中，所述根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像包括：
S201：影像系统通过语音和屏幕播报所采集用户的手势类型，所述手势类型包括放缩手势和旋转手势；
S202：用户根据个人习惯和播报的手势类型做出相应手势；
S203：影像系统识别并采集用户手势影像保存至用户数据库中；
S204：提取手势影像中开始时刻的第一关键帧图像和结束时刻的第二关键帧图像，计算关键帧图像中的关节点坐标。
在一个可选的实施例中，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri包括：
S205：基于放缩手势计算关键帧图像经放大缩小手势对应的放缩处理后，变化前后两图像间关节点坐标的变化大小L1，再将所述关键帧图像转换为二值图像；
S206：计算经放缩处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R1；
S207：基于旋转手势计算关键帧图像经旋转手势对应的旋转处理后，变化前后两图像间关节点坐标的变化大小L2，再将所述关键帧图像转换为二值图像；
S208：计算经旋转处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R2；
S209：设置测试次数N，重复步骤S205-S208计算获取若干组对应用户手势数据的L1和R1以及L2和R2，直至满足测试次数后结束，输出若干组L1和R1以及L2和R2。
在一个可选的实施例中，所述映射关系的表达式为：
其中表示，L1表示放缩变化前后两图像间关节点坐标的变化大小，L2表示旋转变化前后两图像间关节点坐标的变化大小，R1表示放缩变化前后二值图像中两图像手势移动区域所占图像像素点的占比，R2表示旋转变化前后两图像手势移动区域所占图像像素点的占比，ks1、ks2表示放缩变化前后的映射系数，kθ1，kθ2表示旋转变化前后的映射系数。
在一个可选的实施例中，所述映射系数表示用户手势操作对应医学影像变化间的映射关系，且所述映射系数和对应的用户数据将保存于数据库中供影像系统识别用户身份。
在一个可选的实施例中，所述提取病灶轮廓包括：
S301：确定三维病灶模型的几何中心为圆心，最大长度为直径建立三维球，提取任意观测角度下三维球的二维圆图像；
S302：通过自适应阈值将所述二维圆图像转换为二值化图像，再经高斯滤波对所述二值化图像进行平滑去噪，后采用边缘检测算法和/或卷积神经网络提取病灶轮廓。
在一个可选的实施例中，所述逐级设置多层级的光标吸附区域ROI以及病灶关键点POI包括；
S303：采用道格拉斯-普克算法拟合多边形病灶轮廓，计算多边形轮廓的中心点；
S304：将拟合多边形区域放大后设置为一级ROI区域，将拟合多边形中心设置为一级POI点；
S305：采用Harris角点检测算法提取一级ROI区域的病灶关键点，并根据所述病灶关键点的特征值大小排序，取4个最大特征值对应的病灶关键点设置为二级POI点，以所述二级POI点为中心建立正方形的二级ROI区域，所述二级ROI区域的边长为所述二维圆直径的1/4。
本发明第二方面公开了一种术中医学影像操作系统，所述系统包括：
手势识别模块,用于分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；
用户识别模块，用于根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；
病灶定位模块，用于基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。在一个可选的实施例中，
在一个可选的实施例中，所述手势识别模块包括：
数据集采集模块，用于将所述彩色相机和深度相机叠放至影像系统的屏幕上方；通过彩色相机和深度相机分别采集多组不同用户佩戴手套的手部图像；通过图片标定获得所述彩色相机和深度相机的内参数和外参数；根据平移旋转变换将所述彩色相机和深度相机采集的深度手部图像和彩色手部图像中全部像素相对应，再以所述屏幕边角为原点建立用于获得手部RGB-D图像序列的三维坐标系。
在一个可选的实施例中，所述手势识别模块还包括：
图像处理模块：用于通过人工标注所述彩色相机采集的手部图像的手部区域；在所述手部区域生成若干大小和位置随机的红色掩膜，所述红色掩膜的面积大小为所述手部区域面积大小的5％-40％。
在一个可选的实施例中，所述手势识别模块还包括；
坐标计算模块：用于获取采集图像过程中用户手部到相机间的距离；基于相机型号设置所述第一关节点坐标和第二关节点坐标相对应的权重分配比例；基于所述第一关节点坐标、第二关节点坐标以及权重分配比例，通过特征数据融合计算所述第三关节点坐标，所述通过特征数据融合计算所述第三关节点坐标的表达式为：
其中，(xnRGB,ynRGB,znRGB)表示所述彩色相机采集下的第一关节点坐标，(xnD,ynD,znD)表示所述深度相机采集下的第二关节点坐标，(xn,yn,zn)表示所述第三关节点坐标，L表示采集图像过程中用户手部到相机间的距离。
在一个可选的实施例中，所述用户识别模块包括：
手势采集模块：用于影像系统通过语音和屏幕播报所采集用户的手势类型，所述手势类型包括放缩手势和旋转手势；用户根据个人习惯和播报的手势类型做出相应手势；影像系统识别并采集用户手势影像保存至用户数据库中；提取手势影像中开始时刻的第一关键帧图像和结束时刻的第二关键帧图像，计算关键帧图像中的关节点坐标。
在一个可选的实施例中，所述用户识别模块还包括：
数据测试模块：用于计算经放缩处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R1；基于旋转手势计算关键帧图像经旋转手势对应的旋转处理后，变化前后两图像间关节点坐标的变化大小L2，再将所述关键帧图像转换为二值图像；计算经旋转处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R2；设置测试次数N，重复计算获取若干组对应用户手势数据的L1和R1以及L2和R2，直至满足测试次数后结束，输出若干组L1和R1以及L2和R2。
在一个可选的实施例中，所述病灶定位模块包括：
轮廓提取模块：用于确定三维病灶模型的几何中心为圆心，最大长度为直径建立三维球，提取任意观测角度下三维球的二维圆图像；通过自适应阈值将所述二维圆图像转换为二值化图像，再经高斯滤波对所述二值化图像进行平滑去噪，后采用边缘检测算法和/或卷积神经网络提取病灶轮廓。
在一个可选的实施例中，所述病灶定位模块还包括：
多层吸附光标模块：用于采用道格拉斯-普克算法拟合多边形病灶轮廓，计算多边形轮廓的中心点；将拟合多边形区域放大后设置为一级ROI区域，将拟合多边形中心设置为一级POI点；采用Harris角点检测算法提取一级ROI区域的病灶关键点，并根据所述病灶关键点的特征值大小排序，取4个最大特征值对应的病灶关键点设置为二级POI点，以所述二级POI点为中心建立正方形的二级ROI区域，所述二级ROI区域的边长为所述二维圆直径的1/4。
本发明第三方面公开了一种术中医学影像操作设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面公开的任一项所述的术中医学影像操作方法。
本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方便公开的任一项所述的术中医学影像操作方法。
与现有技术相比，本发明具有以下优点：
(1)本发明分别通过彩色相机和深度相机采集多名医生的不同手部图像作为训练集，并通过随机的红色掩膜模拟血迹作为数据增强，在利用神经网络提取医生手部关节点，提高位置精度，从而实现对医生手部更准确的动作姿态估计，在术中对医生进行动态手势识别。
(2)本发明通过收录不同医生的手势影像，并通过关键帧图像变化前后的变化参数建立手势与用户之间的映射关系，从而适应不同医生的手势运动幅度和识别医生身份。
(3)本发明通过结合三维图像分割、二维图像处理与手势交互技术，根据医生的需求不同，建立了多层级的吸附功能，帮助医生在手势交互过程中对病人病灶的三维模型进行高效精准定位，从而方便改变病灶的观察视角或测量病灶长度、体积等操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明术中医学影像操作方法的流程图；
图2为本发明术中医学影像操作系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参见图1，本发明实施方式公开了一种术中医学影像操作方法，包括：
S1:分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；
需要说明的是，目前在手术场景下，利用神经网络识别医生手势的一般方法，还没有考虑制作针对佩戴了手术手套的手部数据集，并且也没有考虑到血迹污染对于手部识别的影响，所以无法实时对医生的手部姿态进行准确估计，通常是针对医生固定的手势进行静态识别，本实施例通过采集50名医生在术中佩戴手术手套的手部图片以及一般场景下人为佩戴手术手套的手部图片作为训练数据集，再通过在每张图片中随机生成血迹污染作数据增强，在利用神经网络提取医生手部关节点时，提高提取到的手部关节点的位置精度，从而实现对医生手部更准确的姿态估计，在术中对医生进行动态手势识别，通过得到的手部关节点坐标，可以在术中实时获取用户手部位置姿态，动态识别出不同的手势及尺度，使系统准确获取用户的交互命令。
S2：根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；
需要说明的是，针对不同用户在手势交互过程的手势尺度大小问题，目前方法只考虑了通过获取不同用户的手部移动快慢习惯，从而建立手部移动速度与交互对象移动速度之间的映射关系，只适用于解决如：通过根据不同用户手势的手势习惯调节鼠标移动快慢问题，无法解决不同医生在通过手势交互对三维医学影像进行具体操作(如旋转，放缩)时手部尺度大小不同的问题。本实施例通过建立手部关节点移动以及手势移动范围与三维影像变化幅度之间的映射关系，从而适应不同医生操作尺度。
进一步的，在手术场景下识别不同医生通常是利用摄像头进行人脸识别，需要医生摘下口罩，极为不便，本实施例通过识别医生在交互过程中不同手势的尺度大小即可对医生身份进行识别。
S3：基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。
需要说明的是，一般的手势交互方法在需要定位到某些特定物体或特定点时，对使用者熟练度要求较高的同时，很难快速且精准的定位。本实施例通过结合三维图像分割、二维图像处理与手势交互技术，根据医生的需求不同，建立了多层级的吸附功能，帮助医生在手势交互过程中对病人病灶的三维模型进行高效精准定位，从而方便改变病灶的观察视角或测量病灶长度、体积等操作。
在一个可选的实施例中，所述分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集包括：
S101：将所述彩色相机和深度相机叠放至影像系统的屏幕上方；
S102：通过彩色相机和深度相机分别采集多组不同用户佩戴手套的手部图像；
S103：通过图片标定获得所述彩色相机和深度相机的内参数和外参数；
S104：根据平移旋转变换将所述彩色相机和深度相机采集的深度手部图像和彩色手部图像中全部像素相对应，再以所述屏幕边角为原点建立用于获得手部RGB-D图像序列的三维坐标系。
在一个可选的实施例中，所述对所述手部图像做模拟血迹处理包括：
S105：通过人工标注所述彩色相机采集的手部图像的手部区域；
S106：在所述手部区域生成若干大小和位置随机的红色掩膜，所述红色掩膜的面积大小为所述手部区域面积大小的5％-40％。
在一个可选的实施例中，所述分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标包括：
S107：获取采集图像过程中用户手部到相机间的距离；
S108：基于相机型号设置所述第一关节点坐标和第二关节点坐标相对应的权重分配比例；
S109：基于所述第一关节点坐标、第二关节点坐标以及权重分配比例，通过特征数据融合计算所述第三关节点坐标。
在一个可选的实施例中，所述通过特征数据融合计算所述第三关节点坐标的表达式为：
其中，(xnRGB,ynRGB,znRGB)表示所述彩色相机采集下的第一关节点坐标，(xnD,ynD,znD)表示所述深度相机采集下的第二关节点坐标，(xn,yn,zn)表示所述第三关节点坐标，L表示采集图像过程中用户手部到相机间的距离。
需要说明的是，由于彩色相机对于医生手部的纹理细节更加敏感，所以识别距离远。但是太近时易受手术手套反光及血迹的影响，并且通过彩色相机得到的深度坐标不如深度相机得到的准确，而深度相机虽然不容易受到光线、血迹遮挡的影响，但是识别距离较短。根据以上特点，通过计算医生手部与相机距离L,基于特征级别的数据融合方法，按不同比例融合通过两种相机提取出的手部关节点坐标可获得更为精确的坐标。
进一步的，针对不同相机型号，还可以采用更为精确的权重分配方式，也可以对上述分配的权重适当调整，以便更接近于实际情况。应当提醒的是，不管怎样，在计算手部的三维坐标时，针对深度相机与彩色相机应充分考虑不同型号相机的具体识别范围，根据这一点考虑权重的分配，这点尤为重要。
在一个可选的实施例中，所述根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像包括：
S201：影像系统通过语音和屏幕播报所采集用户的手势类型，所述手势类型包括放缩手势和旋转手势；
S202：用户根据个人习惯和播报的手势类型做出相应手势；
S203：影像系统识别并采集用户手势影像保存至用户数据库中；
S204：提取手势影像中开始时刻的第一关键帧图像和结束时刻的第二关键帧图像，计算关键帧图像中的关节点坐标。
需要说明的是，在用户正式使用手势交互系统之前，需要先进行语音和屏幕图像引导下的简单测试，在交互过程中收集用户的数据信息。其中测试1，系统使用语音播报具体的手势类型，并在屏幕上显示一张三维医学影像，按默认比例进行放大或者缩小，用户按照个人习惯做出相应的手势。系统识别到对应手势后，提取出手势开始和结束时的关键帧，并计算出两张图像中放缩手势涉及的关节点坐标变化大小L1。接着将这两张帧图像转换为二值图像，计算手势移动区域在图像中所占像素点的占比R1。在完成以上步骤之后，需要改变医学影像的放大或缩小倍率S，并重复执行此测试N次。类似地，进行测试2，通过语音播报手势类型，在屏幕中使医学影像按默认角度θ进行旋转，提示用户做出相应手势，同样将手势开始与结束的关键帧提取，记录这两帧图像中旋转手势涉及的关节点三维坐标变化L2，然后将图像转换为二值图像，计算手势移动范围在图像中所占像素点的占比R2。接着改变影像旋转角度θ，重复以上步骤N次，测试次数N越多，得到的用户数据信息就越丰富，下面得到的该用户的操作尺度就会更加精确。但同时，会增加测试时间，实际应用中需要平衡二者关系，对N进行取值。
在一个可选的实施例中，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri包括：
S205：基于放缩手势计算关键帧图像经放大缩小手势对应的放缩处理后，变化前后两图像间关节点坐标的变化大小L1，再将所述关键帧图像转换为二值图像；
S206：计算经放缩处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R1；
S207：基于旋转手势计算关键帧图像经旋转手势对应的旋转处理后，变化前后两图像间关节点坐标的变化大小L2，再将所述关键帧图像转换为二值图像；
S208：计算经旋转处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R2；
S209：设置测试次数N，重复步骤S205-S208计算获取若干组对应用户手势数据的L1和R1以及L2和R2，直至满足测试次数后结束，输出若干组L1和R1以及L2和R2。
在一个可选的实施例中，所述映射关系的表达式为：
其中表示，L1表示放缩变化前后两图像间关节点坐标的变化大小，L2表示旋转变化前后两图像间关节点坐标的变化大小，R1表示放缩变化前后二值图像中两图像手势移动区域所占图像像素点的占比，R2表示旋转变化前后两图像手势移动区域所占图像像素点的占比，ks1、ks2表示放缩变化前后的映射系数，kθ1，kθ2表示旋转变化前后的映射系数。
需要说明的是，利用得到的系数ks1，ks2，kθ1，kθ2调整操作尺度与医学影像变化幅度间的映射关系，使其符合当前用户的操作习惯。将这些系数作为该用户的个人数据记录并保存到系统中。在之后的用户数据采集过程中，可以通过测试1得到的系数ks1，ks2与已有用户数据之间进行比较，当两者误差小于10％时，即判定该用户数据已存在，跳过测试2，系统直接调用该用户的系数ks1，ks2，kθ1，kθ2调整映射关系，可以节省测试时间的同时，在手术环境下医生不用脱下口罩进行人脸识别，通过简单的手势测试即可识别出身份。
在一个可选的实施例中，所述映射系数表示用户手势操作对应医学影像变化间的映射关系，且所述映射系数和对应的用户数据将保存于数据库中供影像系统识别用户身份。
在一个可选的实施例中，所述提取病灶轮廓包括：
S301：确定三维病灶模型的几何中心为圆心，最大长度为直径建立三维球，提取任意观测角度下三维球的二维圆图像；
S302：通过自适应阈值将所述二维圆图像转换为二值化图像，再经高斯滤波对所述二值化图像进行平滑去噪，后采用边缘检测算法和/或卷积神经网络提取病灶轮廓。
需要说明的是首先以三维病灶模型的几何中心为圆心，最大长度为直径建立三维包围球，通过任意角度观察，屏幕中的病灶将始终处于二维的包围圆内，实时提取出当前视角下包围圆内的图像，利用自适应阈值将其转换为二值化图像，通过高斯滤波对其进行平滑去噪，增强病灶在图像中的边缘特征，采用传统边缘检测算法或卷积神经网络，从而提取出病灶的轮廓。
在一个可选的实施例中，所述逐级设置多层级的光标吸附区域ROI以及病灶关键点POI包括；
S303：采用道格拉斯-普克算法拟合多边形病灶轮廓，计算多边形轮廓的中心点；
S304：将拟合多边形区域放大后设置为一级ROI区域，将拟合多边形中心设置为一级POI点；
S305：采用Harris角点检测算法提取一级ROI区域的病灶关键点，并根据所述病灶关键点的特征值大小排序，取4个最大特征值对应的病灶关键点设置为二级POI点，以所述二级POI点为中心建立正方形的二级ROI区域，所述二级ROI区域的边长为所述二维圆直径的1/4。
需要说明的是，由于病人的病灶模型通常是一个不规则的空间多面体，提取出的二维病灶的轮廓会随着三维模型的旋转而改变形状，为了在实际应用中能实时快速计算出病灶在屏幕中的二维几何中心，所以采用Douglas-Peucker算法，在表示病灶轮廓的曲线中采样取出一系列点，通过连接这些点得到一个多边形拟合病灶轮廓，并根据点的坐标求出多边形的几何中心来近似表示当前病灶轮廓的中心，将拟合得到的多边形区域等比放大2倍后设置为ROI，多边形的几何中心设置为POI。在实际交互过程中，用户希望定位到病灶时，利用手势控制光标靠近病灶过程中，光标就会先进入Ⅰ级ROI区域，从而被吸附到当前视角下病灶中心。
在手术过程中，用户定位到病灶后，往往需要对病灶的长度、体积进行测量，本方法通过建立Ⅱ级吸附区域，辅助用户进一步定位到病灶的关键点。采用Harris角点检测算法提取出病灶轮廓中的关键点，将这些关键点根据特征值大小排序，取出特征值最大的四个点作为病灶轮廓的关键点，设置为POI，以POI为中心建立正方形ROI，正方形ROI的边长取包围圆直径的四分之一。在手术场景下，用户需要对病灶的长度、体积进行测量时，在完成Ⅰ级吸附，快速定位到病灶几何中心后，就可以利用手势将光标从中心向病灶边缘移动，首次进入不同的正方形ROI，光标会吸附到对应的病灶关键点，形成Ⅱ级吸附，从而帮助用户可以快速定位到病灶以及病灶的特征点。为了确保用户也可以定位到其他的病灶关键点，所以在交互过程中，利用手势控制光标经过Ⅰ级吸附后，才能进行Ⅱ级吸附，并且在Ⅰ级吸附区域内，重复进入相同的Ⅱ级ROI区域时不会被再次吸附。同时，也可以根据具体病人的病灶三维形状的复杂程度，调整ROI形状大小以及Ⅱ级POI数量，从而更方便地辅助用户利用手势交互操作病灶模型。
本发明分别通过彩色相机和深度相机采集多名医生的不同手部图像作为训练集，并通过随机的红色掩膜模拟血迹作为数据增强，在利用神经网络提取医生手部关节点，提高位置精度，从而实现对医生手部更准确的动作姿态估计，在术中对医生进行动态手势识别；通过收录不同医生的手势影像，并通过关键帧图像变化前后的变化参数建立手势与用户之间的映射关系，从而适应不同医生的手势运动幅度和识别医生身份；通过结合三维图像分割、二维图像处理与手势交互技术，根据医生的需求不同，建立了多层级的吸附功能，帮助医生在手势交互过程中对病人病灶的三维模型进行高效精准定位，从而方便改变病灶的观察视角或测量病灶长度、体积等操作，本发明基于视觉和深度学习的自然手势识别算法，解决术中外科医生对医学影像数据的实时、精确操控问题。
如图2所示，本发明第二方面公开了一种术中医学影像操作系统，所述系统包括：
手势识别模块,用于分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；
用户识别模块，用于根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；
病灶定位模块，用于基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。在一个可选的实施例中，
在一个可选的实施例中，所述手势识别模块包括：
数据集采集模块，用于将所述彩色相机和深度相机叠放至影像系统的屏幕上方；通过彩色相机和深度相机分别采集多组不同用户佩戴手套的手部图像；通过图片标定获得所述彩色相机和深度相机的内参数和外参数；根据平移旋转变换将所述彩色相机和深度相机采集的深度手部图像和彩色手部图像中全部像素相对应，再以所述屏幕边角为原点建立用于获得手部RGB-D图像序列的三维坐标系。
在一个可选的实施例中，所述手势识别模块还包括：
图像处理模块：用于通过人工标注所述彩色相机采集的手部图像的手部区域；在所述手部区域生成若干大小和位置随机的红色掩膜，所述红色掩膜的面积大小为所述手部区域面积大小的5％-40％。
在一个可选的实施例中，所述手势识别模块还包括；
坐标计算模块：用于获取采集图像过程中用户手部到相机间的距离；基于相机型号设置所述第一关节点坐标和第二关节点坐标相对应的权重分配比例；基于所述第一关节点坐标、第二关节点坐标以及权重分配比例，通过特征数据融合计算所述第三关节点坐标，所述通过特征数据融合计算所述第三关节点坐标的表达式为：
其中，(xnRGB,ynRGB,znRGB)表示所述彩色相机采集下的第一关节点坐标，(xnD,ynD,znD)表示所述深度相机采集下的第二关节点坐标，(xn,yn,zn)表示所述第三关节点坐标，L表示采集图像过程中用户手部到相机间的距离。
在一个可选的实施例中，所述用户识别模块包括：
手势采集模块：用于影像系统通过语音和屏幕播报所采集用户的手势类型，所述手势类型包括放缩手势和旋转手势；用户根据个人习惯和播报的手势类型做出相应手势；影像系统识别并采集用户手势影像保存至用户数据库中；提取手势影像中开始时刻的第一关键帧图像和结束时刻的第二关键帧图像，计算关键帧图像中的关节点坐标。
在一个可选的实施例中，所述用户识别模块还包括：
数据测试模块：用于计算经放缩处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R1；基于旋转手势计算关键帧图像经旋转手势对应的旋转处理后，变化前后两图像间关节点坐标的变化大小L2，再将所述关键帧图像转换为二值图像；计算经旋转处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R2；设置测试次数N，重复计算获取若干组对应用户手势数据的L1和R1以及L2和R2，直至满足测试次数后结束，输出若干组L1和R1以及L2和R2。
在一个可选的实施例中，所述病灶定位模块包括：
轮廓提取模块：用于确定三维病灶模型的几何中心为圆心，最大长度为直径建立三维球，提取任意观测角度下三维球的二维圆图像；通过自适应阈值将所述二维圆图像转换为二值化图像，再经高斯滤波对所述二值化图像进行平滑去噪，后采用边缘检测算法和/或卷积神经网络提取病灶轮廓。
在一个可选的实施例中，所述病灶定位模块还包括：
多层吸附光标模块：用于采用道格拉斯-普克算法拟合多边形病灶轮廓，计算多边形轮廓的中心点；将拟合多边形区域放大后设置为一级ROI区域，将拟合多边形中心设置为一级POI点；采用Harris角点检测算法提取一级ROI区域的病灶关键点，并根据所述病灶关键点的特征值大小排序，取4个最大特征值对应的病灶关键点设置为二级POI点，以所述二级POI点为中心建立正方形的二级ROI区域，所述二级ROI区域的边长为所述二维圆直径的1/4。
本发明第三方面公开了一种术中医学影像操作设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面公开的任一项所述的术中医学影像操作方法。
本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方便公开的任一项所述的术中医学影像操作方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种术中医学影像操作方法，其特征在于，所述方法包括：
S1:分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；
S2：根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；
S3：基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。
2.根据权利要求1所述的术中医学影像操作方法，其特征在于，所述分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集包括：
S101：将所述彩色相机和深度相机叠放至影像系统的屏幕上方；
S102：通过彩色相机和深度相机分别采集多组不同用户佩戴手套的手部图像；
S103：通过图片标定获得所述彩色相机和深度相机的内参数和外参数；
S104：根据平移旋转变换将所述彩色相机和深度相机采集的深度手部图像和彩色手部图像中全部像素相对应，再以所述屏幕边角为原点建立用于获得手部RGB-D图像序列的三维坐标系。
3.根据权利要求1所述的术中医学影像操作方法，其特征在于，所述对所述手部图像做模拟血迹处理包括：
S105：通过人工标注所述彩色相机采集的手部图像的手部区域；
S106：在所述手部区域生成若干大小和位置随机的红色掩膜，所述红色掩膜的面积大小为所述手部区域面积大小的5％-40％。
4.根据权利要求1所述的术中医学影像操作方法，其特征在于，所述分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标包括：
S107：获取采集图像过程中用户手部到相机间的距离；
S108：基于相机型号设置所述第一关节点坐标和第二关节点坐标相对应的权重分配比例；
S109：基于所述第一关节点坐标、第二关节点坐标以及权重分配比例，通过特征数据融合计算所述第三关节点坐标。
5.根据权利要求4所述的术中医学影像操作方法，其特征在于，所述通过特征数据融合计算所述第三关节点坐标的表达式为：
其中，(xnRGB,ynRGB,znRGB)表示所述彩色相机采集下的第一关节点坐标，(xnD,ynD,znD)表示所述深度相机采集下的第二关节点坐标，(xn,yn,zn)表示所述第三关节点坐标，L表示采集图像过程中用户手部到相机间的距离。
6.根据权利要求1所述的术中医学影像操作方法，其特征在于，所述根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像包括：
S201：影像系统通过语音和屏幕播报所采集用户的手势类型，所述手势类型包括放缩手势和旋转手势；
S202：用户根据个人习惯和播报的手势类型做出相应手势；
S203：影像系统识别并采集用户手势影像保存至用户数据库中；
S204：提取手势影像中开始时刻的第一关键帧图像和结束时刻的第二关键帧图像，计算关键帧图像中的关节点坐标。
7.根据权利要求6所述的术中医学影像操作方法，其特征在于，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri包括：
S205：基于放缩手势计算关键帧图像经放大缩小手势对应的放缩处理后，变化前后两图像间关节点坐标的变化大小L1，再将所述关键帧图像转换为二值图像；
S206：计算经放缩处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R1；
S207：基于旋转手势计算关键帧图像经旋转手势对应的旋转处理后，变化前后两图像间关节点坐标的变化大小L2，再将所述关键帧图像转换为二值图像；
S208：计算经旋转处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R2；
S209：设置测试次数N，重复步骤S205-S208计算获取若干组对应用户手势数据的L1和R1以及L2和R2，直至满足测试次数后结束，输出若干组L1和R1以及L2和R2。
8.根据权利要求7所述的术中医学影像操作方法，其特征在于，所述映射关系的表达式为：
其中表示，L1表示放缩变化前后两图像间关节点坐标的变化大小，L2表示旋转变化前后两图像间关节点坐标的变化大小，R1表示放缩变化前后二值图像中两图像手势移动区域所占图像像素点的占比，R2表示旋转变化前后两图像手势移动区域所占图像像素点的占比，ks1、ks2表示放缩变化前后的映射系数，kθ1，kθ2表示旋转变化前后的映射系数。
9.根据权利要求8所述的术中医学影像操作方法，其特征在于，所述映射系数表示用户手势操作对应医学影像变化间的映射关系，且所述映射系数和对应的用户数据将保存于数据库中供影像系统识别用户身份。
10.根据权利要求1所述的术中医学影像操作方法，其特征在于，所述提取病灶轮廓包括：
S301：确定三维病灶模型的几何中心为圆心，最大长度为直径建立三维球，提取任意观测角度下三维球的二维圆图像；
S302：通过自适应阈值将所述二维圆图像转换为二值化图像，再经高斯滤波对所述二值化图像进行平滑去噪，后采用边缘检测算法和/或卷积神经网络提取病灶轮廓。
11.根据权利要求10所述的术中医学影像操作方法，其特征在于，所述逐级设置多层级的光标吸附区域ROI以及病灶关键点POI包括；
S303：采用道格拉斯-普克算法拟合多边形病灶轮廓，计算多边形轮廓的中心点；
S304：将拟合多边形区域放大后设置为一级ROI区域，将拟合多边形中心设置为一级POI点；
S305：采用Harris角点检测算法提取一级ROI区域的病灶关键点，并根据所述病灶关键点的特征值大小排序，取4个最大特征值对应的病灶关键点设置为二级POI点，以所述二级POI点为中心建立正方形的二级ROI区域，所述二级ROI区域的边长为所述二维圆直径的1/4。
12.一种术中医学影像操作系统，其特征在于，所述系统包括：
手势识别模块,用于分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；
用户识别模块，用于根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；
病灶定位模块，用于基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。
13.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述手势识别模块包括：
数据集采集模块，用于将所述彩色相机和深度相机叠放至影像系统的屏幕上方；通过彩色相机和深度相机分别采集多组不同用户佩戴手套的手部图像；通过图片标定获得所述彩色相机和深度相机的内参数和外参数；根据平移旋转变换将所述彩色相机和深度相机采集的深度手部图像和彩色手部图像中全部像素相对应，再以所述屏幕边角为原点建立用于获得手部RGB-D图像序列的三维坐标系。
14.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述手势识别模块还包括：
图像处理模块：用于通过人工标注所述彩色相机采集的手部图像的手部区域；在所述手部区域生成若干大小和位置随机的红色掩膜，所述红色掩膜的面积大小为所述手部区域面积大小的5％-40％。
15.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述手势识别模块还包括；
坐标计算模块：用于获取采集图像过程中用户手部到相机间的距离；基于相机型号设置所述第一关节点坐标和第二关节点坐标相对应的权重分配比例；基于所述第一关节点坐标、第二关节点坐标以及权重分配比例，通过特征数据融合计算所述第三关节点坐标，所述通过特征数据融合计算所述第三关节点坐标的表达式为：
其中，(xnRGB,ynRGB,znRGB)表示所述彩色相机采集下的第一关节点坐标，(xnD,ynD,znD)表示所述深度相机采集下的第二关节点坐标，(xn,yn,zn)表示所述第三关节点坐标，L表示采集图像过程中用户手部到相机间的距离。
16.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述用户识别模块包括：
手势采集模块：用于影像系统通过语音和屏幕播报所采集用户的手势类型，所述手势类型包括放缩手势和旋转手势；用户根据个人习惯和播报的手势类型做出相应手势；影像系统识别并采集用户手势影像保存至用户数据库中；提取手势影像中开始时刻的第一关键帧图像和结束时刻的第二关键帧图像，计算关键帧图像中的关节点坐标。
17.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述用户识别模块还包括：
数据测试模块：用于计算经放缩处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R1；基于旋转手势计算关键帧图像经旋转手势对应的旋转处理后，变化前后两图像间关节点坐标的变化大小L2，再将所述关键帧图像转换为二值图像；计算经旋转处理下所述二值图像中两图像手势移动区域所占图像像素点的占比R2；设置测试次数N，重复计算获取若干组对应用户手势数据的L1和R1以及L2和R2，直至满足测试次数后结束，输出若干组L1和R1以及L2和R2。
18.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述病灶定位模块包括：
轮廓提取模块：用于确定三维病灶模型的几何中心为圆心，最大长度为直径建立三维球，提取任意观测角度下三维球的二维圆图像；通过自适应阈值将所述二维圆图像转换为二值化图像，再经高斯滤波对所述二值化图像进行平滑去噪，后采用边缘检测算法和/或卷积神经网络提取病灶轮廓。
19.根据权利要求12所述的术中医学影像操作系统，其特征在于，所述病灶定位模块还包括：
多层吸附光标模块：用于采用道格拉斯-普克算法拟合多边形病灶轮廓，计算多边形轮廓的中心点；将拟合多边形区域放大后设置为一级ROI区域，将拟合多边形中心设置为一级POI点；采用Harris角点检测算法提取一级ROI区域的病灶关键点，并根据所述病灶关键点的特征值大小排序，取4个最大特征值对应的病灶关键点设置为二级POI点，以所述二级POI点为中心建立正方形的二级ROI区域，所述二级ROI区域的边长为所述二维圆直径的1/4。
20.一种术中医学影像操作设备，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至11任一项所述的术中医学影像操作方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至11任一项所述的术中医学影像操作方法。
CN202310750761.8A 2023-06-21 2023-06-21 术中医学影像操作方法、系统、设备及存储介质 Active CN116974369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310750761.8A CN116974369B (zh) 2023-06-21 2023-06-21 术中医学影像操作方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310750761.8A CN116974369B (zh) 2023-06-21 2023-06-21 术中医学影像操作方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116974369A true CN116974369A (zh) 2023-10-31
CN116974369B CN116974369B (zh) 2024-05-17

Family

ID=88475802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310750761.8A Active CN116974369B (zh) 2023-06-21 2023-06-21 术中医学影像操作方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116974369B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231278A1 (en) * 2006-02-08 2009-09-17 Oblong Industries, Inc. Gesture Based Control Using Three-Dimensional Information Extracted Over an Extended Depth of Field
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
US20150089453A1 (en) * 2013-09-25 2015-03-26 Aquifi, Inc. Systems and Methods for Interacting with a Projected User Interface
CN105589552A (zh) * 2014-10-30 2016-05-18 联想(北京)有限公司 基于手势的投影交互方法及投影交互设备
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN108052901A (zh) * 2017-12-13 2018-05-18 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
CN108932500A (zh) * 2018-07-09 2018-12-04 广州智能装备研究院有限公司 一种基于深度神经网络的动态手势识别方法及系统
CN109145802A (zh) * 2018-08-14 2019-01-04 清华大学 基于Kinect的多人手势人机交互方法及装置
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN110363760A (zh) * 2019-07-22 2019-10-22 广东工业大学 用于识别医学图像的计算机系统
CN110660130A (zh) * 2019-09-23 2020-01-07 重庆邮电大学 一种面向医学影像的移动增强现实系统构建方法
CN111191627A (zh) * 2020-01-06 2020-05-22 浙江工业大学 一种多视点下提高动态手势动作识别准确率的方法
CN111209861A (zh) * 2020-01-06 2020-05-29 浙江工业大学 一种基于深度学习的动态手势动作识别方法
CN114783564A (zh) * 2022-04-02 2022-07-22 上海寻是科技有限公司 基于人工智能和手势控制的手术导航交互系统及交互方法
CN115115810A (zh) * 2022-06-29 2022-09-27 广东工业大学 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231278A1 (en) * 2006-02-08 2009-09-17 Oblong Industries, Inc. Gesture Based Control Using Three-Dimensional Information Extracted Over an Extended Depth of Field
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
US20150089453A1 (en) * 2013-09-25 2015-03-26 Aquifi, Inc. Systems and Methods for Interacting with a Projected User Interface
CN105589552A (zh) * 2014-10-30 2016-05-18 联想(北京)有限公司 基于手势的投影交互方法及投影交互设备
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN108052901A (zh) * 2017-12-13 2018-05-18 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
CN108932500A (zh) * 2018-07-09 2018-12-04 广州智能装备研究院有限公司 一种基于深度神经网络的动态手势识别方法及系统
CN109145802A (zh) * 2018-08-14 2019-01-04 清华大学 基于Kinect的多人手势人机交互方法及装置
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN110363760A (zh) * 2019-07-22 2019-10-22 广东工业大学 用于识别医学图像的计算机系统
CN110660130A (zh) * 2019-09-23 2020-01-07 重庆邮电大学 一种面向医学影像的移动增强现实系统构建方法
CN111191627A (zh) * 2020-01-06 2020-05-22 浙江工业大学 一种多视点下提高动态手势动作识别准确率的方法
CN111209861A (zh) * 2020-01-06 2020-05-29 浙江工业大学 一种基于深度学习的动态手势动作识别方法
CN114783564A (zh) * 2022-04-02 2022-07-22 上海寻是科技有限公司 基于人工智能和手势控制的手术导航交互系统及交互方法
CN115115810A (zh) * 2022-06-29 2022-09-27 广东工业大学 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FURUSAWA, K. ETC.: "Robust Hand Gesture Recognition Using Multimodal Deep Learning for Touchless Visualization of 3D Medical Images", 《ADVANCES IN NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》, pages 593 - 600 *
魏元;韩燮;况立群;: "三维人手关节点的提取研究", 计算机测量与控制, no. 02, pages 231 - 234 *

Also Published As

Publication number Publication date
CN116974369B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
US11253171B2 (en) System and method for patient positioning
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
CN109859203B (zh) 基于深度学习的缺陷牙齿图像识别方法
CN107766855B (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
US10607420B2 (en) Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
Kolar et al. Hybrid retinal image registration using phase correlation
CN110930374A (zh) 一种基于双深度相机的腧穴定位方法
CN111291736B (zh) 图像修正方法、装置及医疗设备
CN111091562A (zh) 一种消化道病灶大小测量方法及系统
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
CN107122754A (zh) 姿势识别方法和装置
Niri et al. Multi-view data augmentation to improve wound segmentation on 3D surface model by deep learning
Ghaderi et al. Augmented reality for breast tumors visualization
CN114022554B (zh) 一种基于yolo的按摩机器人穴位检测与定位方法
CN109934798A (zh) 体内目标物信息标注方法及装置、电子设备、存储介质
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN116974369B (zh) 术中医学影像操作方法、系统、设备及存储介质
TWI462027B (zh) 圖像處理裝置及圖像處理方法
CN116843647A (zh) 肺野面积确定、肺发育评估方法及装置、电子设备和介质
CN113011333B (zh) 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法
TWI615130B (zh) 影像處理方法及非暫態電腦可讀取媒體
CN115345927A (zh) 展品导览方法及相关装置、移动终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant