CN107680103A - 用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 - Google Patents
用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 Download PDFInfo
- Publication number
- CN107680103A CN107680103A CN201710818977.8A CN201710818977A CN107680103A CN 107680103 A CN107680103 A CN 107680103A CN 201710818977 A CN201710818977 A CN 201710818977A CN 107680103 A CN107680103 A CN 107680103A
- Authority
- CN
- China
- Prior art keywords
- pixel
- point
- mrow
- real
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 13
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 13
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000000903 blocking effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 7
- 210000004204 blood vessel Anatomy 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000002357 laparoscopic surgery Methods 0.000 claims description 2
- 238000001356 surgical procedure Methods 0.000 abstract description 5
- 210000002784 stomach Anatomy 0.000 abstract description 4
- 238000004040 coloring Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011902 gastrointestinal surgery Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法。本发明所述方法包括以下步骤：离线阶段计算腹腔镜图像的深度信息和颜色信息，精确提取遮挡目标；在线阶段通过特征点跟踪和轮廓跟踪特征点查找深度值自动确定遮挡关系。本发明所述方法快速确定虚实场景的位置关系，实现虚拟模型和手术场景的实时精准融合，提高导航的精确性，精确地指引手术进程，提高手术成功率，有利于腹腔镜胃肠手术的应用和推广。
Description
技术领域
本发明属于有微创胃肠外科学、影像学、混合现实、图像处理等领域，涉及一种用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法。
背景技术
胃癌是我国常见的肿瘤之一，根治性切除是其主要的治疗手段。腹腔镜技术因其创伤少、且有助于术后恢复等特点，在胃肠外科领域上的应用越来越多。然而，腹腔镜存在管状视野、缺少触觉及纵深感等自身特有的局限性，而且胃周血管走行复杂，解剖变异较多，术中淋巴结清扫引起的血管损伤是腹腔镜胃癌手术严重并发症之一，也是导致非计划二次手术的重要原因，使得这项技术的推广受到了一定的限制。
光学跟踪技术的研发和应用，导航由“静态”向“动态”的转变成为了可能，达到实时导航的效果。光学跟踪具有测量精度高、范围广等优点，但其仅能实现粗略的场景匹配，而且腹腔镜胃肠手术具有组织脏器不固定且易形变等特点，光学跟踪达不到精准的配准。混合现实技术能够实现虚实场景实时叠加，可提高导航匹配的准确性。然而将虚拟物体叠加到真实场景中时，虚拟对象与真实场景间存在一定的空间位置关系，即遮挡与被遮挡的关系。简单地将三维虚拟血管模型叠加到腹腔镜真实场景中，会导致虚拟血管模型遮挡真实场景或真实场景遮挡虚拟血管，导致观察者在感官方向上的迷失和空间位置上的错乱。本项目拟研究虚实遮挡自动处理方法：根据图像特征点实时配准信息与血管模型的实时形变信息确定虚实场景的位置关系；在离线阶段计算腹腔镜图像的深度信息和颜色信息，依据两种信息精确提取遮挡目标；术中即在线阶段通过跟踪特征点查找深度值自动确定遮挡关系。在满足精确度的要求下快速确定虚实场景的位置关系，实现两者的实时融合。该方法吸取数字图像处理、模式识别、计算机视觉和非线性优化等学科理论的最新成果，围绕虚实遮挡处理中的自动实时处理方法技术内容，针对手术导航应用场合，能在提高混合现实系统可用性的同时最大限度保证虚实遮挡处理的效果和系统的实时性。
发明内容
本发明的目的在于研发出一种用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法。在光学跟踪的基础上，通过虚拟自动遮挡处理混合现实技术，将计算机生成的虚拟信息和图像采集装置捕获的真实自然场景叠加到一起，提高导航的精确性，精确地指引手术进程，提高手术成功率，有利于腹腔镜胃肠手术的应用和推广。
本发明所述的用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法，包括以下步骤：
A.离线处理过程中，首先用腹腔镜双目镜头拍摄左右两幅图像，计算场景中每个像素点的深度值，然后对深度值进行改善，以便提取一个相对粗糙的遮挡边缘，同时计算场景中在HSV颜色空间中每个像素点的像素值，并采用锐化等图像等增强处理得到较为清晰的轮廓；之后利用融合手段，结合粗糙遮挡边缘和轮廓信息，获得更高精度的遮挡边缘；
B.在线处理过程中，首先跟踪特征点，根据特征点的位移计算目标轮廓的位移量，获得近似轮廓，然后以近似轮廓为中心的带状区域内求目标物体的精确轮廓；
C.利用重绘技术获得遮挡关系正确的虚实合成图像；继续下一帧图像，将当前帧图像中求得的目标轮廓作为下一帧的初始轮廓，重复以上步骤；在满足精确度的要求下快速确定虚拟模型和真实场景的位置关系，实现两者的实时融合,实时提供普通腹腔镜手术无法展现的血管的走行信息。
根据本发明所述的方法的进一步特征，所述步骤A中，所述数据采集和提取遮挡目标包括以下步骤：
(1)构造能量函数：改进Potts能量函数，将Potts能量函数以像素点的视差为基本优化单元转换为以匹配点对为基本优化单元，改善其不能有效的利用像素点匹配的假设条件；能量函数构造如下式：
E(f)＝Edata(f)+Eocc(f)+Esmooth(f)，
其中，数据项Edata(f)表示匹配像素点之间在亮度特性上的相似程度，遮挡项Eocc(f)描述遮挡像素的固定惩罚值，平滑项Esmooth(f)使相邻像素点的视差接近；
(2)能量函数最小化：通过最小化能量函数求深度值，求得真实场景每个像素点的深度值之后，可以通过比较深度值的大小提取遮挡虚拟物体的真实物体区域内的所有像素点；
(3)深度图改善：利用快速均值漂移方法对图像进行分割，将图像分为具有相似性质的区域，然后将同一区域内所有像素深度的平均值代替该区域内像素的深度值,从而保证同一物体上各个像素点的深度信息一致，将目标物体完整的从背景中提取出来；
(4)通过比较虚拟物体与真实物体的深度值，确定它们之间的遮挡关系，从而提取遮挡物体的轮廓；
(5)根据图像在HSV颜色空间的像素值进行锐化等增强处理，使其中的物体轮廓更加明显。
根据本发明所述的方法的进一步特征，所述步骤(5)中，首先构建颜色图像概率分布的高斯核模型GC，然后利用深度信息构建图像的空间分布高斯核GS，最终融合颜色和空间的高斯分布核h＝∑GCGS，最终提取高精度的遮挡边缘。
根据本发明所述的方法的进一步特征，所述步骤B中，所述特征点跟踪包括以下步骤：跟踪上一帧图像中目标区域内的特征点，然后根据特征点的位移，将上一帧的轮廓平移，获得当前帧图像中目标物体的近似轮廓，接下来在以近似轮廓为中心的带状区域求得目标的精确轮廓，从而实现了物体轮廓的精确跟踪。
根据本发明所述的方法的进一步特征，所述步骤B中，所述特征点提取采用快速角点检测法的方式。
根据本发明所述的方法的进一步特征，所述步骤B中，所述特征点匹配是采用双向光流法将不在目标区域内的特征点剔除，同时采用特征匹配算法对目标特征点集进行更新和校正，最后利用特征点之间的位置信息，确定目标的变化因子和尺度，从而实现目标的定位。
根据本发明所述的方法的进一步特征，所述步骤B中，所述估计近似轮廓包括以下步骤：根据得到的目标物体的轮廓、上一帧轮廓区域内的特征点、以及当前帧跟踪到的特征点，计算相互匹配的特征点平均位移，进而根据轮廓相似点的移动计算当前帧图像中目标物体的近似轮廓；匹配特征点平均位移Dt计算方程式如下：
fi,j-1代表t-1时刻目标物体已知的轮廓区域内的特征点；
fi,j代表t时刻跟踪到的特征点；
M代表t时刻跟踪到的特征点的个数
通过将已知t-1时刻轮廓上的像素点移动Dt，可以获得t时刻视频帧图像中目标物体的近似轮廓。
根据本发明所述的方法的进一步特征，所述步骤B中，所述提取精确轮廓包括以下步骤：利用最大流/最小割方法对带状区域进行分割，获得精确的目标轮廓。
本发明所述的导航系统具有以下有益效果：
(1)克服遮挡关系的错误判断而对手术实时精确地指引手术进程，减少术中血管损伤的并发症，增加手术安全性，提高手术效率，减少手术时间。
(2)促进患者术后恢复，降低术后并发症率，缩短术后住院日，进而降低患者住院费用，减少腹腔镜胃癌手术的医疗成本。
(3)该方法能缩短初学者的学习曲线，有利于腹腔镜胃癌手术的应用和推广。
(4)有利于实现胃癌精准化治疗，具有较高的科学价值和社会效益。
(5)该虚实自动遮挡处理混合现实技术对于提高虚拟手术的真实度，使得手术导航发挥出更多的功能，以及更加可靠的对手术效果进行预测具有重要意义。
附图说明
图1为本发明所述的虚实自动遮挡处理混合现实的过程。
具体实施方式
本发明所述的虚实自动遮挡处理混合现实的过程如图1所示，详述如下：
(1)离线阶段图像深度值的计算
采用深度计算的方式不需要预先知道场景中物体的三维模型，只需要通过查找深度值并进行比较即可完成虚实遮挡处理。
深度值的计算过程如下：
构造能量函数——改进Potts能量函数，将Potts能量函数以像素点的视差为基本优化单元转换为以匹配点对为基本优化单元，改善其不能有效的利用像素点匹配的假设条件。能量函数构造如下：
E(f)＝Edata(f)+Eocc(f)+Esmooth(f)，
其中，数据项Edata(f)表示匹配像素点之间在亮度特性上的相似程度，遮挡项Eocc(f)描述遮挡像素的固定惩罚值，平滑项Esmooth(f)使相邻像素点的视差接近。
能量函数最小化——通过最小化能量函数求深度值，求得真实场景每个像素点的深度值之后，可以通过比较深度值的大小提取遮挡虚拟物体的真实物体区域内的所有像素点。
深度图改善——深度的改善利用快速均值漂移方法对图像进行分割，将图像分为具有相似性质的区域，然后将同一区域内所有像素深度的平均值代替该区域内像素的深度值，从而保证同一物体上各个像素点的深度信息一致，将目标物体完整的从背景中提取出来。
遮挡物体轮廓提取：通过比较虚拟物体与真实物体的深度值就可以确定它们之间的遮挡关系。
(2)离线阶段颜色图像处理
根据图像在HSV颜色空间的像素值进行锐化等增强处理，使其中的物体轮廓更加明显。首先构建颜色图像概率分布的高斯核模型GC，然后利用深度信息构建图像的空间分布高斯核GS，最终融合颜色和空间的高斯分布核h＝∑GCGS最终提取高精度的遮挡边缘。
(3)在线阶段特征点跟踪
跟踪上一帧图像中目标区域内的特征点，然后根据特征点的位移，将上一帧的轮廓平移，获得当前帧图像中目标物体的近似轮廓，接下来在以近似轮廓为中心的带状区域求得目标的精确轮廓，从而实现了物体轮廓的精确跟踪。这种方法不仅能够实时跟踪目标物体轮廓，而且在场景复杂、前景背景颜色相似的情况下也能获得精确的轮廓跟踪效果。
特征点提取：采用快速角点检测法的方式，该方法的计算速度快，对于光照、遮挡、复杂背景的变换具有鲁棒性，满足了在线处理过程要求的实时性。
这种方法提取算子的基本原理是：与每一图像点相关的局部区域具有相同的亮度。如果某一窗口区域内的每一像元亮度值与该窗口中心的像元亮度值相同或相似，这一窗口区域将被称之为“USAN”。计算图像每一像元的“USAN”，这便提供了是否有边缘的方法。位于边缘上的像元的“USAN”较小，位于角点上的像元的“USAN”更小。因此，仅需寻找最小的“USAN”，就可确定角点。该方法由于不需要计算图像灰度差，因此，具有很强的抗噪声的能力。该算法检测的角点定义为在像素点的周围邻域内有足够多的像素点与该点处于不同的区域。应用到灰度图像中，即有足够多的像素点的灰度值大于该点的灰度值或者小于该点的灰度值。比如考虑某图中A点附近半径为3的圆环上的16个点，若其中有连续的12个点的灰度值与A点的灰度值差别超过某一阈值，则可以认为A点为角点。
特征点匹配：采用双向光流法将不在目标区域内的特征点剔除。
(4)近似轮廓估计
根据得到的目标物体的轮廓、上一帧帧轮廓区域内的特征点、以及当前帧跟踪到的特征点，计算相互匹配的特征点平均位移，进而根据轮廓相似点的移动计算当前帧图像中目标物体的近似轮廓。匹配特征点平均位移Dt计算如下：
fi,j-1代表t-1时刻目标物体已知的轮廓区域内的特征点；
fi,j代表t时刻跟踪到的特征点；
M代表t时刻跟踪到的特征点的个数
通过将已知t-1时刻轮廓上的像素点移动Dt，可以获得t时刻视频帧图像中目标物体的近似轮廓。
(5)精确轮廓提取
利用最大流/最小割方法对带状区域进行分割,获得精确的目标轮廓。
(6)利用重绘技术获得遮挡关系正确的虚实合成图像。继续下一帧图像，将当前帧图像中求得的目标轮廓作为下一帧的初始轮廓，重复以上步骤。在满足精确度的要求下快速确定虚拟模型和真实场景的位置关系，实现两者的实时融合,实时给医生提供普通腹腔镜手术无法展现的血管的走行信息。
3.得出结论
3.1基于深度分析的虚拟自动遮挡处理混合现实技术，能更有效提高导航的精确性；
3.2该方法有利于腹腔镜胃癌手术的推广，具有很好的临床应用前景。
Claims (8)
1.一种用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法，其特征在于，包括以下步骤：
A.离线处理过程中，首先用腹腔镜双目镜头拍摄左右两幅图像，计算场景中每个像素点的深度值，然后对深度值进行改善，以便提取一个相对粗糙的遮挡边缘，同时计算场景中在HSV颜色空间中每个像素点的像素值，并采用锐化等图像等增强处理得到较为清晰的轮廓；之后利用融合手段，结合粗糙遮挡边缘和轮廓信息，获得更高精度的遮挡边缘；
B.在线处理过程中，首先跟踪特征点，根据特征点的位移计算目标轮廓的位移量，获得近似轮廓，然后以近似轮廓为中心的带状区域内求目标物体的精确轮廓；
C.利用重绘技术获得遮挡关系正确的虚实合成图像。继续下一帧图像，将当前帧图像中求得的目标轮廓作为下一帧的初始轮廓，重复以上步骤；在满足精确度的要求下快速确定虚拟模型和真实场景的位置关系，实现两者的实时融合,实时提供普通腹腔镜手术无法展现的血管的走行信息。
2.根据权利要求1所述的方法，其特征在于，所述步骤A中，所述数据采集和提取遮挡目标包括以下步骤：
(1)构造能量函数：改进Potts能量函数，将Potts能量函数以像素点的视差为基本优化单元转换为以匹配点对为基本优化单元，改善其不能有效的利用像素点匹配的假设条件；能量函数构造如下式：
E(f)＝Edata(f)+Eocc(f)+Esmooth(f)，
其中，数据项Edata(f)表示匹配像素点之间在亮度特性上的相似程度，遮挡项Eocc(f)描述遮挡像素的固定惩罚值，平滑项Esmooth(f)使相邻像素点的视差接近；
(2)能量函数最小化：通过最小化能量函数求深度值，求得真实场景每个像素点的深度值之后，可以通过比较深度值的大小提取遮挡虚拟物体的真实物体区域内的所有像素点；
(3)深度图改善：利用快速均值漂移方法对图像进行分割，将图像分为具有相似性质的区域，然后将同一区域内所有像素深度的平均值代替该区域内像素的深度值,从而保证同一物体上各个像素点的深度信息一致，将目标物体完整的从背景中提取出来；
(4)通过比较虚拟物体与真实物体的深度值，确定它们之间的遮挡关系，从而提取遮挡物体的轮廓；
(5)根据图像在HSV颜色空间的像素值进行锐化等增强处理，使其中的物体轮廓更加明显。
3.根据权利要求2所述的方法，其特征在于：所述步骤(5)中，首先构建颜色图像概率分布的高斯核模型GC，然后利用深度信息构建图像的空间分布高斯核GS，最终融合颜色和空间的高斯分布核h＝∑GCGS，最终提取高精度的遮挡边缘。
4.根据权利要求1所述的方法，其特征在于，所述步骤B中，所述特征点跟踪包括以下步骤：跟踪上一帧图像中目标区域内的特征点，然后根据特征点的位移，将上一帧的轮廓平移，获得当前帧图像中目标物体的近似轮廓，接下来在以近似轮廓为中心的带状区域求得目标的精确轮廓，从而实现了物体轮廓的精确跟踪。
5.根据权利要求1所述的方法，其特征在于，所述步骤B中，所述特征点提取采用快速角点检测法的方式。
6.根据权利要求1所述的方法，其特征在于，所述步骤B中，所述特征点匹配是采用双向光流法将不在目标区域内的特征点剔除，同时采用特征匹配算法对目标特征点集进行更新和校正，最后利用特征点之间的位置信息，确定目标的变化因子和尺度，从而实现目标的定位。
7.根据权利要求1所述的方法，其特征在于，所述步骤B中，所述估计近似轮廓包括以下步骤：根据得到的目标物体的轮廓、上一帧轮廓区域内的特征点、以及当前帧跟踪到的特征点，计算相互匹配的特征点平均位移，进而根据轮廓相似点的移动计算当前帧图像中目标物体的近似轮廓；匹配特征点平均位移Dt计算方程式如下：
<mrow>
<msub>
<mi>D</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>M</mi>
</mrow>
</msub>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mo>|</mo>
<mi>M</mi>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
fi,j-1代表t-1时刻目标物体已知的轮廓区域内的特征点；
fi,j代表t时刻跟踪到的特征点；
M代表t时刻跟踪到的特征点的个数
通过将已知t-1时刻轮廓上的像素点移动Dt，可以获得t时刻视频帧图像中目标物体的近似轮廓。
8.根据权利要求1所述的方法，其特征在于，所述步骤B中，所述提取精确轮廓包括以下步骤：利用最大流/最小割方法对带状区域进行分割，获得精确的目标轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710818977.8A CN107680103A (zh) | 2017-09-12 | 2017-09-12 | 用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710818977.8A CN107680103A (zh) | 2017-09-12 | 2017-09-12 | 用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107680103A true CN107680103A (zh) | 2018-02-09 |
Family
ID=61134700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710818977.8A Pending CN107680103A (zh) | 2017-09-12 | 2017-09-12 | 用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680103A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930361A (zh) * | 2019-10-22 | 2020-03-27 | 西安理工大学 | 一种虚实物体遮挡检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104378582A (zh) * | 2013-08-16 | 2015-02-25 | 北京博思廷科技有限公司 | 一种基于ptz摄像机巡航的智能视频分析系统及方法 |
| CN106236264A (zh) * | 2016-08-24 | 2016-12-21 | 李国新 | 基于光学跟踪和图像匹配的胃肠手术导航方法及系统 |
| CN106236263A (zh) * | 2016-08-24 | 2016-12-21 | 李国新 | 基于场景分解的胃肠手术导航方法及系统 |
-
2017
- 2017-09-12 CN CN201710818977.8A patent/CN107680103A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104378582A (zh) * | 2013-08-16 | 2015-02-25 | 北京博思廷科技有限公司 | 一种基于ptz摄像机巡航的智能视频分析系统及方法 |
| CN106236264A (zh) * | 2016-08-24 | 2016-12-21 | 李国新 | 基于光学跟踪和图像匹配的胃肠手术导航方法及系统 |
| CN106236263A (zh) * | 2016-08-24 | 2016-12-21 | 李国新 | 基于场景分解的胃肠手术导航方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 卢胜男等: "结合双向光流约束的特征点匹配车辆跟踪方法", 《交通运输系统工程与信息》 * |
| 徐维鹏等: "增强现实中的虚实遮挡处理综述", 《计算机辅助设计与图形学学报》 * |
| 田元: "增强现实中的虚实遮挡处理方法研究", 《万方数据知识服务平台》 * |
| 霍薪: "基于双目立体视觉的三维场景重建研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930361A (zh) * | 2019-10-22 | 2020-03-27 | 西安理工大学 | 一种虚实物体遮挡检测方法 |
| CN110930361B (zh) * | 2019-10-22 | 2022-03-25 | 西安理工大学 | 一种虚实物体遮挡检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qin et al. | Surgical instrument segmentation for endoscopic vision with data fusion of cnn prediction and kinematic pose | |
| Yang et al. | Fine-grained recurrent neural networks for automatic prostate segmentation in ultrasound images | |
| Giannarou et al. | Probabilistic tracking of affine-invariant anisotropic regions | |
| Lin et al. | Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey | |
| Bouget et al. | Detecting surgical tools by modelling local appearance and global shape | |
| Hasan et al. | Detection, segmentation, and 3D pose estimation of surgical tools using convolutional neural networks and algebraic geometry | |
| Wang et al. | Multi-cue based tracking | |
| CN103150723B (zh) | 基于形状和椭圆拟合的胃部ct图像淋巴结检测系统及方法 | |
| CN104463914B (zh) | 一种改进的Camshift目标跟踪方法 | |
| CN103810709A (zh) | 基于血管的眼底图像与sd-oct投影图像配准方法 | |
| CN104778441A (zh) | 融合灰度信息和深度信息的多模态人脸识别装置及方法 | |
| Lin et al. | Simultaneous tracking, 3D reconstruction and deforming point detection for stereoscope guided surgery | |
| CN112464847B (zh) | 视频中人体动作切分方法及装置 | |
| Mei et al. | Scene-adaptive off-road detection using a monocular camera | |
| Lin et al. | Efficient vessel feature detection for endoscopic image analysis | |
| Chen et al. | Automatic and accurate needle detection in 2D ultrasound during robot-assisted needle insertion process | |
| Mahmood et al. | DSRD-Net: Dual-stream residual dense network for semantic segmentation of instruments in robot-assisted surgery | |
| Luo et al. | Unsupervised learning of depth estimation from imperfect rectified stereo laparoscopic images | |
| CN106236264A (zh) | 基于光学跟踪和图像匹配的胃肠手术导航方法及系统 | |
| Ali et al. | ArthroNet: a monocular depth estimation technique with 3D segmented maps for knee arthroscopy | |
| Chu et al. | Multi-level feature aggregation network for instrument identification of endoscopic images | |
| Chi et al. | A discussion on the evaluation of a new automatic liver volume segmentation method for specified CT image datasets | |
| Rieke et al. | Computer vision and machine learning for surgical instrument tracking: Focus: random forest-based microsurgical tool tracking | |
| Luo et al. | SiamSMDFFF: Siamese network tracker based on shallow-middle-deep three-level feature fusion and clustering-based adaptive rectangular window filtering | |
| CN114020155A (zh) | 一种基于眼动仪的高精度视线定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180209 |