CN112288689B - 一种显微手术成像过程中术区三维重建方法及系统 - Google Patents

一种显微手术成像过程中术区三维重建方法及系统 Download PDF

Info

Publication number
CN112288689B
CN112288689B CN202011073299.5A CN202011073299A CN112288689B CN 112288689 B CN112288689 B CN 112288689B CN 202011073299 A CN202011073299 A CN 202011073299A CN 112288689 B CN112288689 B CN 112288689B
Authority
CN
China
Prior art keywords
point cloud
surgical instrument
image
dimensional
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011073299.5A
Other languages
English (en)
Other versions
CN112288689A (zh
Inventor
黄海亮
邵航
唐洁
刘威
廖家胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze Delta Region Institute of Tsinghua University Zhejiang
Original Assignee
Yangtze Delta Region Institute of Tsinghua University Zhejiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze Delta Region Institute of Tsinghua University Zhejiang filed Critical Yangtze Delta Region Institute of Tsinghua University Zhejiang
Priority to CN202011073299.5A priority Critical patent/CN112288689B/zh
Publication of CN112288689A publication Critical patent/CN112288689A/zh
Application granted granted Critical
Publication of CN112288689B publication Critical patent/CN112288689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Probability & Statistics with Applications (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

一种显微手术成像过程中术区三维重建方法及系统，构建手术器械的三维点云数据集；构建卷积神经网络；根据术区手术器械像素级分割图像，获取术区内手术器械的掩模图；校正视点图像中的高光区域，获得弱高光或无高光手术场景显微图像；分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和IrR；获取手术场景的深度信息，根据深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果；根据术区内手术器械的掩模图和手术器械的三维点云数据集，恢复出当前术区中所有手术器械形态的点云图像；约束术区三维点云重建结果。本发明解决手术显微成像过程术区三维重建中手术器械所引起的整幅图像严重扭曲，重建效果不佳的问题。

Description

一种显微手术成像过程中术区三维重建方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种显微手术成像过程中术区三维重建方法及系统。
背景技术
显微手术成像设备已在眼科、耳鼻喉科以及神经外科等多个临床科室推广使用，其不仅解决了传统显微手术对主刀医生强迫体位的要求，可以使主刀医生对着数字化显示屏实时进行手术操作，也为后续发展数字化、智能化以及精细化手术提供了可行性。随着手术的智能化和微创化发展，手术场景在数字化的过程中获得信息越来越多。
现有的显微手术成像设备借助双目立体视觉的三维重建方法，可以获得显微手术区域的三维重建模型，双目立体视觉三维重建的过程，根据光流求取视差图或者根据立体匹配的算法进行三维重建，但是该方法在针对术区含有手术器械时，往往因为手术器械的反光或者无纹理等各种原因造成手术器械重建结果的扭曲，甚至导致整体重建精度严重下降，重建的三维模型会存在较大的误差，这对未来精细化的微创手术是致命的。故亟需一种显微手术成像过程中术区三维重建的方案以有效解决手术器械等反光问题所带来的三维重建不准的问题。
发明内容
为此，本发明提供一种显微手术成像过程中术区三维重建方法及系统，解决手术显微成像过程术区三维重建中手术器械所引起的整幅图像严重扭曲，重建效果不佳的问题，提高术区三维重建的整体重建精度，更好的恢复术区三维重建的模型。
为了实现上述目的，本发明提供如下技术方案：一种显微手术成像过程中术区三维重建方法，包括以下步骤：
步骤1、基于结构光三维重建算法，构建手术器械的三维点云数据集D；
步骤2、构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；
步骤3、根据所述术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；
步骤4、校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；
步骤5、根据步骤4分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和Irr；
步骤6、基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据所述深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；
步骤7、根据步骤3中的术区内手术器械的掩模图Ms(s＝1…n)和步骤1中手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；
步骤8、根据步骤3中的术区内手术器械的掩模图Ms(s＝1…n)和步骤7中恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束步骤6中的术区三维点云重建结果Rr。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤1包括以下步骤：
步骤1.1、使用张正友标定法对投影仪以及双目相机进行标定；
步骤1.2、使用投影仪投射格雷码编码的方式对所要重建的手术器械进行空间编码操作；
步骤1.3、通过对格雷码的解码获取双目相机中像素点的立体匹配；
步骤1.4、使用三角测量方案进行三维点云的重建；
步骤1.5、对手术器械的三维点云进行处理，将手术器械所有可移动的部位点云单独分割出来进行刚性部件的点云重建。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤2包括以下步骤：
步骤2.1、确定卷积神经网络的输入为显微手术成像设备的视点图像I；
步骤2.2、使用VGG16的卷积网络层对输入层的视点图像I进行特征提取；
步骤2.3、使用上采样层以及softmax层，根据图像特征对视点图像I将手术器械按照给定标签进行分类标注，以达到显微手术成像设备中像素级别的分割并获得术区手术器械像素级分割图像MI。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤3包括以下步骤：
步骤3.1、构建常用手术器械的数据集，使用标注软件进行像素级的标注工作；
步骤3.2、根据步骤2.3中对于手术器械的标注标签，构建术区内各个手术器械的掩膜图像Ms(s＝1…n)。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤4包括以下步骤：
步骤4.1、将显微手术成像设备录制的已有手术视频进行分帧操作；
步骤4.2、对步骤4.1中分帧后的图片，将含有高光的图片和不含有高光的图像进行人工手动分类；
步骤4.3、构建CycleGAN-and-pix2pix网络，将步骤4.2中的数据集分成数据集合测试集，进行训练，并保存网络参数；
步骤4.4、构建视点图像I中高光区域的掩模图IM；
步骤4.5、结合步骤4.4中构建的掩模图IM，将高光区域放进步骤4.3中训练的网络中进行高光区域的修复，得到弱高光或无高光的图像Ir。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤6包括以下步骤：
步骤6.1、基于张正友标定法，对显微手术成像设备的双目相机进行标定，获取双目相机的内参和外参；
步骤6.2、根据弱高光或无高光手术场景显微图像IrL和IrR基于DIS光流算法获取两幅图像上的光流场；
步骤6.3、基于步骤6.2中的光流场对像素级别的稠密点进行匹配，获得两幅图像上稠密的二维图像匹配点；
步骤6.4、根据步骤6.1获得的相机的内外参，以及6.3中获得的两幅图像上稠密的二维图像匹配点，使用三角测量的方法进行三维重建；
步骤6.5、获得初步的显微手术成像设备下术区三维点云重建结果Rr。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤7包括以下步骤：
步骤7.1、根据步骤6.5中获得的初步的三维点云重建结果Rr，结合步骤3中获得的掩膜图像Ms(s＝1…n)，获取手术器械在术区的坐标位置(x,y)、摆放方向以及高度h；
步骤7.2、从步骤1中的三维点云数据集D中提取对应的手术器械点云数据Di；
步骤7.3、将手术器械点云数据Di根据步骤7.1中的坐标位置(x,y)、摆放方向以及高度h重新调整手术器械点云数据Di，使其空间坐标与步骤6.5中获得的初步三维点云重建结果Rr一致。
作为显微手术成像过程中术区三维重建方法的优选方案，所述步骤8包括以下步骤：
步骤8.1、根据手术器械形态的点云图像Rs(s＝1…n)计算每个点的切向量/法向量根据术区手术器械的掩膜图Ms(s＝1…n)，找出对应于显微手术成像设备下术区三维点云重建结果Rr中点的切向量/法向量/>
步骤8.2、求解的最优解；
步骤8.3、重复步骤8.1和步骤8.2,迭代优化当或者当迭代次数达到预设次数后跳出迭代。
本发明还提供一种显微手术成像过程中术区三维重建系统，基于上述的显微手术成像过程中术区三维重建方法，包括：
三维点云构建模块，用于基于结构光三维重建算法，构建手术器械的三维点云数据集D；
卷积神经网络构建模块，用于构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；
掩模图获取模块，用于根据所述术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；
高光校正模块，用于校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；
三维点云重建模块，基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据所述深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；
点云图像恢复模块，用于根据掩模图获取模块的术区内手术器械的掩模图Ms(s＝1…n)和三维点云构建模块中手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；
三维点云约束模块，用于根据掩模图获取模块的术区内手术器械的掩模图Ms(s＝1…n)和点云图像恢复模块中恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束三维点云重建模块中的术区三维点云重建结果Rr。
作为显微手术成像过程中术区三维重建系统的优选方案，获得的弱高光或无高光手术场景显微图像Ir包括左右视点的手术场景显微图像IrL和IrR。
本发明基于结构光三维重建算法，构建手术器械的三维点云数据集；构建卷积神经网络，卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；根据术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；校正视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和IrR；基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；根据术区内手术器械的掩模图Ms(s＝1…n)和手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；根据术区内手术器械的掩模图Ms(s＝1…n)和恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束步骤6中的术区三维点云重建结果Rr。本发明借助手术器械是刚体的先验信息，解决手术显微成像过程术区三维重建中手术器械所引起的整幅图像严重扭曲，重建效果不佳的问题，提高术区三维重建的整体重建精度，更好的恢复术区三维重建的模型，使三维成像能够更好的指导手术操作，提高手术的成功效率，保证患者获得最佳的手术效果。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的显微手术成像过程中术区三维重建方法流程示意图；
图2为本发明实施例中提供的显微手术成像过程中术区三维重建方法技术架构图；
图3为本发明实施例中提供的显微手术成像过程中术区三维重建系统示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，提供一种显微手术成像过程中术区三维重建方法，包括以下步骤：
S1、基于结构光三维重建算法，构建手术器械的三维点云数据集D；
S2、构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；
S3、根据所述术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；
S4、校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；
S5、根据步骤S4分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和IrR；
S6、基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据所述深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；
S7、根据步骤S3中的术区内手术器械的掩模图Ms(s＝1…n)和步骤S1中手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；
S8、根据步骤S3中的术区内手术器械的掩模图Ms(s＝1…n)和步骤S7中恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束步骤S6中的术区三维点云重建结果Rr。
具体的，步骤S1包括以下步骤：
S1.1、使用张正友标定法对投影仪以及双目相机进行标定；
S1.2、使用投影仪投射格雷码编码的方式对所要重建的手术器械进行空间编码操作；
S1.3、通过对格雷码的解码获取双目相机中像素点的立体匹配；
S1.4、使用三角测量方案进行三维点云的重建；
S1.5、对手术器械的三维点云进行处理，将手术器械所有可移动的部位点云单独分割出来进行刚性部件的点云重建。
具体的，张正友标定法是张正友教授1998年提出的单平面棋盘格的相机标定方法。传统标定法的标定板是需要三维的，需要非常精确，这很难制作，而张正友教授提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。
具体的，在一组数的编码中，若任意两个相邻的代码只有一位二进制数不同，则称这种编码为格雷码，另外由于最大数与最小数之间也仅一位数不同，即“首尾相连”，因此又称循环码或反射码。格雷码是一种具有反射特性和循环特性的单步自补码，其循环和单步特性消除了随机取数时出现重大错误的可能，其反射和自补特性使得对其进行求反操作也非常方便，格雷码属于一种可靠性编码，是一种错误最小化的编码方式。
具体的，三角测量是视觉定位中，已知多个相机位置和空间中一点的投影点，进一步求该点三维位置的方法。三角测量是Pose Estimation的相反过程，求出相机位置后，图像中其它特征点的3D位置可以由这种方法一一求出。
具体的，步骤S2包括以下步骤：
S2.1、确定卷积神经网络的输入为显微手术成像设备的视点图像I；
S2.2、使用VGG16的卷积网络层对输入层的视点图像I进行特征提取；
S2.3、使用上采样层以及softmax层，根据图像特征对视点图像I将手术器械按照给定标签进行分类标注，以达到显微手术成像设备中像素级别的分割并获得术区手术器械像素级分割图像MI。
具体的，所述步骤S3包括以下步骤：
S3.1、构建常用手术器械的数据集，使用标注软件进行像素级的标注工作；
S3.2、根据步骤S2.3中对于手术器械的标注标签，构建术区内各个手术器械的掩膜图像Ms(s＝1…n)。
具体的，步骤S4包括以下步骤：
S4.1、将显微手术成像设备录制的已有手术视频进行分帧操作；
S4.2、对步骤S4.1中分帧后的图片，将含有高光的图片和不含有高光的图像进行人工手动分类；
S4.3、构建CycleGAN-and-pix2pix网络，将步骤S4.2中的数据集分成数据集合测试集，进行训练，并保存网络参数；
S4.4、构建视点图像I中高光区域的掩模图IM；
S4.5、结合步骤S4.4中构建的掩模图IM，将高光区域放进步骤S4.3中训练的网络中进行高光区域的修复，得到弱高光或无高光的图像Ir。
具体的，步骤S6包括以下步骤：
S6.1、基于张正友标定法，对显微手术成像设备的双目相机进行标定，获取双目相机的内参和外参；
S6.2、根据弱高光或无高光手术场景显微图像IrL和IrR基于DIS光流算法获取两幅图像上的光流场；
S6.3、基于步骤S6.2中的光流场对像素级别的稠密点进行匹配，获得两幅图像上稠密的二维图像匹配点；
S6.4、根据步骤S6.1获得的相机的内外参，以及S6.3中获得的两幅图像上稠密的二维图像匹配点，使用三角测量的方法进行三维重建；
S6.5、获得初步的显微手术成像设备下术区三维点云重建结果Rr。
具体的，步骤S7包括以下步骤：
S7.1、根据步骤S6.5中获得的初步的三维点云重建结果Rr，结合步骤S3中获得的掩膜图像Ms(s＝1…n)，获取手术器械在术区的坐标位置(x,y)、摆放方向以及高度h；
S7.2、从步骤1中的三维点云数据集D中提取对应的手术器械点云数据Di；
S7.3、将手术器械点云数据Di根据步骤S7.1中的坐标位置(x,y)、摆放方向以及高度h重新调整手术器械点云数据Di，使其空间坐标与步骤S6.5中获得的初步三维点云重建结果Rr一致。
具体的，步骤8包括以下步骤：
S8.1、根据手术器械形态的点云图像Rs(s＝1…n)计算每个点的切向量/法向量根据术区手术器械的掩膜图Ms(s＝1…n)，找出对应于显微手术成像设备下术区三维点云重建结果Rr中点的切向量/法向量/>
S8.2、求解的最优解；
S8.3、重复步骤S8.1和步骤S8.2,迭代优化，
当或者当迭代次数达到预设次数后跳出迭代。
具体的，推荐最佳迭代次数为30次。
参见图3，本发明还提供一种显微手术成像过程中术区三维重建系统，基于实施例1中的显微手术成像过程中术区三维重建方法，包括：
三维点云构建模块1，用于基于结构光三维重建算法，构建手术器械的三维点云数据集D；
卷积神经网络构建模块2，用于构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；
掩模图获取模块3，用于根据所述术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；
高光校正模块4，用于校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；弱高光或无高光手术场景显微图像Ir包括左右视点的手术场景显微图像IrL和IrR；
三维点云重建模块5，基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据所述深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；
点云图像恢复模块6，用于根据掩模图获取模块3的术区内手术器械的掩模图Ms(s＝1…n)和三维点云构建模块1中手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；
三维点云约束模块7，用于根据掩模图获取模块3的术区内手术器械的掩模图Ms(s＝1…n)和点云图像恢复模块6中恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束三维点云重建模块5中的术区三维点云重建结果Rr。
本发明基于结构光三维重建算法，构建手术器械的三维点云数据集；构建卷积神经网络，卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；根据术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；校正视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和IrR；基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；根据术区内手术器械的掩模图Ms(s＝1…n)和手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；根据术区内手术器械的掩模图Ms(s＝1…n)和恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束步骤6中的术区三维点云重建结果Rr。本发明借助手术器械是刚体的先验信息，解决手术显微成像过程术区三维重建中手术器械所引起的整幅图像严重扭曲，重建效果不佳的问题，提高术区三维重建的整体重建精度，更好的恢复术区三维重建的模型，使三维成像能够更好的指导手术操作，提高手术的成功效率，保证患者获得最佳的手术效果。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种显微手术成像过程中术区三维重建方法，其特征在于，包括以下步骤：
步骤1、基于结构光三维重建算法，构建手术器械的三维点云数据集D；
步骤2、构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；
步骤3、根据所述术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1…n)；
步骤4、校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；
步骤5、根据步骤4分别获得显微手术成像设备左右视点的弱高光或无高光手术场景显微图像IrL和IrR；
步骤6、基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据所述深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；
步骤7、根据步骤3中的术区内手术器械的掩模图Ms(s＝1…n)和步骤1中手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1…n)；
步骤8、根据步骤3中的术区内手术器械的掩模图Ms(s＝1…n)和步骤7中恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1…n)，约束步骤6中的术区三维点云重建结果Rr。
2.根据权利要求1所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1、使用张正友标定法对投影仪以及双目相机进行标定；
步骤1.2、使用投影仪投射格雷码编码的方式对所要重建的手术器械进行空间编码操作；
步骤1.3、通过对格雷码的解码获取双目相机中像素点的立体匹配；
步骤1.4、使用三角测量方案进行三维点云的重建；
步骤1.5、对手术器械的三维点云进行处理，将手术器械所有可移动的部位点云单独分割出来进行刚性部件的点云重建。
3.根据权利要求1所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1、确定卷积神经网络的输入为显微手术成像设备的视点图像I；
步骤2.2、使用VGG16的卷积网络层对输入层的视点图像I进行特征提取；
步骤2.3、使用上采样层以及softmax层，根据图像特征对视点图像I将手术器械按照给定标签进行分类标注，以达到显微手术成像设备中像素级别的分割并获得术区手术器械像素级分割图像MI。
4.根据权利要求3所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1、构建常用手术器械的数据集，使用标注软件进行像素级的标注工作；
步骤3.2、根据步骤2.3中对于手术器械的标注标签，构建术区内各个手术器械的掩膜图像Ms(s＝1…n)。
5.根据权利要求1所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1、将显微手术成像设备录制的已有手术视频进行分帧操作；
步骤4.2、对步骤4.1中分帧后的图片，将含有高光的图片和不含有高光的图像进行人工手动分类；
步骤4.3、构建CycleGAN-and-pix2pix网络，将步骤4.2中的数据集分成数据集合测试集，进行训练，并保存网络参数；
步骤4.4、构建视点图像I中高光区域的掩模图IM；
步骤4.5、结合步骤4.4中构建的掩模图IM，将高光区域放进步骤4.3中训练的网络中进行高光区域的修复，得到弱高光或无高光的图像Ir。
6.根据权利要求1所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤6包括以下步骤：
步骤6.1、基于张正友标定法，对显微手术成像设备的双目相机进行标定，获取双目相机的内参和外参；
步骤6.2、根据弱高光或无高光手术场景显微图像IrL和IrR基于DIS光流算法获取两幅图像上的光流场；
步骤6.3、基于步骤6.2中的光流场对像素级别的稠密点进行匹配，获得两幅图像上稠密的二维图像匹配点；
步骤6.4、根据步骤6.1获得的相机的内外参，以及6.3中获得的两幅图像上稠密的二维图像匹配点，使用三角测量的方法进行三维重建；
步骤6.5、获得初步的显微手术成像设备下术区三维点云重建结果Rr。
7.根据权利要求1所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤7包括以下步骤：
步骤7.1、根据步骤6.5中获得的初步的三维点云重建结果Rr，结合步骤3中获得的掩膜图像Ms(s＝1…n)，获取手术器械在术区的坐标位置(x,y)、摆放方向以及高度h；
步骤7.2、从步骤1中的三维点云数据集D中提取对应的手术器械点云数据Di；
步骤7.3、将手术器械点云数据Di根据步骤7.1中的坐标位置(x,y)、摆放方向以及高度h重新调整手术器械点云数据Di，使其空间坐标与步骤6.5中获得的初步三维点云重建结果Rr一致。
8.根据权利要求1所述的一种显微手术成像过程中术区三维重建方法，其特征在于，所述步骤8包括以下步骤：
步骤8.1、根据手术器械形态的点云图像Rs(s＝1…n)计算每个点的切向量/法向量根据术区手术器械的掩膜图Ms(s＝1…n)，找出对应于显微手术成像设备下术区三维点云重建结果Rr中点的切向量/法向量/>
步骤8.2、求解
步骤8.3、重复步骤8.1和步骤8.2,迭代优化当或者当迭代次数达到预设次数后跳出迭代。
9.一种显微手术成像过程中术区三维重建系统，采用如权利要求1至8中任一项的显微手术成像过程中术区三维重建方法，其特征在于，包括：
三维点云构建模块，用于基于结构光三维重建算法，构建手术器械的三维点云数据集D；
卷积神经网络构建模块，用于构建卷积神经网络，所述卷积神经网络的输入为显微手术成像设备的视点图像I，卷积神经网络的输出为术区手术器械像素级分割图像MI；
掩模图获取模块，用于根据所述术区手术器械像素级分割图像MI，获取术区内手术器械的掩模图Ms(s＝1...n)；
高光校正模块，用于校正所述视点图像I中的高光区域，获得弱高光或无高光手术场景显微图像Ir；
三维点云重建模块，基于双目立体视觉，通过弱高光或无高光手术场景显微图像IrL和IrR获取手术场景的深度信息，根据所述深度信息进行三维点云重建获得显微手术成像设备下术区三维点云重建结果Rr；
点云图像恢复模块，用于根据掩模图获取模块的术区内手术器械的掩模图Ms(s＝1...n)和三维点云构建模块中手术器械的三维点云数据集D，恢复出当前术区中所有手术器械形态的点云图像Rs(s＝1...n)；
三维点云约束模块，用于根据掩模图获取模块的术区内手术器械的掩模图Ms(s＝1...n)和点云图像恢复模块中恢复出的当前术区中所有手术器械形态的点云图像Rs(s＝1...n)，约束三维点云重建模块中的术区三维点云重建结果Rr。
10.根据权利要求9所述的一种显微手术成像过程中术区三维重建系统，其特征在于，获得的弱高光或无高光手术场景显微图像Ir包括左右视点的手术场景显微图像IrL和IrR。
CN202011073299.5A 2020-10-09 2020-10-09 一种显微手术成像过程中术区三维重建方法及系统 Active CN112288689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011073299.5A CN112288689B (zh) 2020-10-09 2020-10-09 一种显微手术成像过程中术区三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011073299.5A CN112288689B (zh) 2020-10-09 2020-10-09 一种显微手术成像过程中术区三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN112288689A CN112288689A (zh) 2021-01-29
CN112288689B true CN112288689B (zh) 2024-03-22

Family

ID=74423053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011073299.5A Active CN112288689B (zh) 2020-10-09 2020-10-09 一种显微手术成像过程中术区三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN112288689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421210B (zh) * 2021-07-21 2024-04-12 长春工业大学 一种基于双目立体视觉的表面点云重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142726B2 (en) * 2003-03-19 2006-11-28 Mitsubishi Electric Research Labs, Inc. Three-dimensional scene reconstruction from labeled two-dimensional images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN111126304A (zh) * 2019-12-25 2020-05-08 鲁东大学 一种基于室内自然场景图像深度学习的增强现实导航方法
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法

Also Published As

Publication number Publication date
CN112288689A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN105374019B (zh) 一种多深度图融合方法及装置
CN111145238A (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN110459301B (zh) 基于热力图和面部关键点的脑部神经外科导航配准方法
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN112509055B (zh) 基于双目视觉和编码结构光相结合的穴位定位系统及方法
CN109166177A (zh) 一种颅颌面外科手术的术中导航方法
CN112489193B (zh) 一种基于结构光的三维重建方法
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
CN115035235A (zh) 三维重建方法及装置
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
CN112288689B (zh) 一种显微手术成像过程中术区三维重建方法及系统
CN114399527A (zh) 单目内窥镜无监督深度和运动估计的方法及装置
CN113516719A (zh) 一种基于多单应性矩阵的相机标定方法、系统及存储介质
KR20150105190A (ko) 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치
CN116883471A (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
KR20230030682A (ko) Ct를 이용한 3d 두부 계측 랜드마크 자동 검출 장치 및 방법
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240219

Address after: 314001 9F, No.705, Asia Pacific Road, Nanhu District, Jiaxing City, Zhejiang Province

Applicant after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University

Country or region after: China

Address before: No.152 Huixin Road, Nanhu District, Jiaxing City, Zhejiang Province 314000

Applicant before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING)

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant