CN117315032A - 一种组织偏移的监测方法 - Google Patents
一种组织偏移的监测方法 Download PDFInfo
- Publication number
- CN117315032A CN117315032A CN202311595967.4A CN202311595967A CN117315032A CN 117315032 A CN117315032 A CN 117315032A CN 202311595967 A CN202311595967 A CN 202311595967A CN 117315032 A CN117315032 A CN 117315032A
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- real
- time
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008030 elimination Effects 0.000 claims abstract description 13
- 238000003379 elimination reaction Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000006073 displacement reaction Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 13
- 241001270131 Agaricus moelleri Species 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000002679 ablation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 description 89
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 238000005520 cutting process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 210000002307 prostate Anatomy 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000001125 extrusion Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000934136 Verruca Species 0.000 description 1
- 241001661641 Verrucosa Species 0.000 description 1
- 208000000260 Warts Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000010153 skin papilloma Diseases 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种组织偏移的监测方法，包含：获取所述目标组织在第一断面上的初始图像即第一初始图像，将第一初始图像的至少部分区域作为第一监控区域以获取第一监控区域图像；获取目标组织中已被消融的部分在第一监控区域图像中对应的区域即消除区域图像，并在第一监控区域图像中去除消除区域图像以获取第一初始局部图像；获取剩余组织在第一断面上的图像，以此为第一实时局部图像；将第一实时局部图像与第一初始局部图像进行比对以获取两者的相似度，根据该相似度判定剩余组织在所述第一断面上的偏移程度。据此，能够高效判断术中剩余组织的偏移程度。
Description
技术领域
本申请涉及能够准确高效判断术中剩余组织的偏移程度的监测方法。
背景技术
在医疗手术中，经常需要用水刀、激光刀、电消融器械等执行机构对目标组织进行消融/切除操作。手术中，如因人体外部如腹部发生挤压碰撞或意外移动超声探头等造成人体组织器官发生偏移，会使即将被消融/切割的剩余组织与规划偏离，带来手术风险。
现有技术对剩余组织的偏移程度的判断通常较为困难，准确度也容易受医生人为因素影响。因此，现有技术中，如何准确高效判断术中剩余组织的偏移程度成为课题。
发明内容
本申请的目的在于，提供一种能够准确高效判断术中剩余组织的偏移程度的监测方法。为了实现上述目的，本申请的一个方案为，一种组织偏移的监测方法，用于在对目标组织的消融/切除手术中实时监测剩余组织的偏移程度，所述剩余组织为所述目标组织中尚未消融/切除的组织；所述监测方法包含如下步骤：S1：第一监控区域图像获取步骤，获取所述目标组织在第一断面上的初始图像即第一初始图像，将所述第一初始图像的至少部分区域作为第一监控区域以获取第一监控区域图像；S2：第一初始局部图像确立步骤，获取所述目标组织中已被消融/切除的部分在所述第一监控区域图像中对应的区域即消除区域图像，并在所述第一监控区域图像中去除所述消除区域图像以获取第一初始局部图像；S3：第一实时局部图像获取步骤，获取所述剩余组织在所述第一断面上的图像，以此为第一实时局部图像；S4：图像比对步骤，将所述第一实时局部图像与所述第一初始局部图像进行比对以获取两者的相似度，根据该相似度判定所述剩余组织在所述第一断面上的偏移程度；其中，在所述第一断面上以执行机构的移动方向为X轴、垂直于X轴的方向为Y轴建立第一图像坐标系；所述执行机构具有使能端，所述使能端的起始位置在所述第一图像坐标系中的坐标为（x0，y0）;所述第一初始图像是沿X轴的像素尺寸为w0、沿Y轴的像素尺寸为h0的区域；所述第一监控区域图像是以所述使能端的起始位置为起点、沿X轴的像素尺寸为w、沿Y轴的像素尺寸为h的区域；w、h分别满足如下的式（1）和式（2）：
w=w0-x0-w2 式（1）；
h=min(h0-y0，h1) 式（2）；
其中，w2为预设的图像边界尺寸；h1为预设的Y轴上的监控区域阈值。
根据前述的技术方案，通过初始图像和实时图像的比对，可以高效地对组织偏移和变形进行判定。在获取第一初始图像后，再以执行机构的起始位置为起点，划分出用于监控组织偏移变形的区域作为第一监控区域，以该第一监控区域作为后续分析判断的基础。
在一个优选的方式中，预先建立所述执行机构在所述第一断面上的物理位移与其在所述第一初始图像中对应的像素位移之间的映射关系，根据该映射关系将所述执行机构的物理位移转换为其在所述第一初始图像中的像素位移，进而换算出所述消除区域图像的范围。
根据前述的技术方案，能够基于执行机构的物理位移换算出消除区域图像的范围，进而更准确地判断第一初始图像的范围。
在一个优选的方式中，假设所述使能端沿X轴相对于起始位置的物理位移为dx，则所述使能端移动后在所述第一图像坐标系中沿X轴的实时位置为：x1=x0+g*dx；其中，g为所述使能端的物理位移与其在所述第一图像坐标系中的像素位移之间的换算系数。
根据前述的技术方案，预先设定换算系数g，能够提高运算效率。
在一个优选的方式中，所述第一初始局部图像的范围为：以所述使能端的实时位置（x1+w3，y0）为起点，沿X轴的像素尺寸为w-x1-w3、沿Y轴的像素尺寸为h的区域；其中，w3为预设的安全区域在X轴上的像素尺寸。
根据前述的技术方案，将执行机构沿X轴方向移动的距离对应的范围，叠加上射流自身在X轴方向上的尺寸和允许的偏差，以此作为已消除的区域，进而更准确地生成第一初始局部图像。
在一个优选的方式中，在所述图像比对步骤中，将所述第一初始局部图像和所述第一实时局部图像分别划分为n*n个子块，并分别形成第一灰度矩阵H（n*n）、H’（n*n）；H（n*n）、H’（n*n）的第i行、第j列的元素分别为与所述第一初始局部图像、所述第一实时局部图像中第i行、第j列的子块的灰度对应的值，i、j为小于等于n的自然数；至少基于H（n*n）、H’（n*n）判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
根据前述的技术方案，将第一初始局部图像和第一实时局部图像划分成对应的子块序列，再基于每个子块的灰度值生成整个区域的灰度矩阵，基于两个图像的灰度矩阵进行相似度判断，方法简便高效。
在一个优选的方式中，在所述图像比对步骤中，对所述第一初始局部图像和所述第一实时局部图像进行特征点匹配，分别形成第一特征点描述矩阵F(n*n)、F’(n*n)；其中，F(n*n)、F’(n*n)的第i行、第j列的元素分别为所述第一初始局部图像、所述第一实时局部图像中第i行、第j列的子块所包含的完成匹配的特征点的数量；基于H（n*n）、H’（n*n）及/或F(n*n)、F’(n*n)判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
根据前述的技术方案，基于第一初始局部图像和第一实时局部图像中每个子块包含的特征点数量生成整个区域的特征点描述矩阵，然后再进行相似度判断，可以减少术中图像灰度变化对相似度判断的影响。
在一个优选的方式中，在所述图像比对步骤中，基于H（n*n）、H’（n*n）和F(n*n)、F’(n*n)分别构建第一特征融合矩阵K(n*n)、K’(n*n)；K(n*n)=a*H（n*n）+F(n*n)，K’(n*n)=a*H’（n*n）+F’（n*n)，a为预设的权重；基于K(n*n)、K’(n*n)判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
根据前述的技术方案，预先设定第一灰度矩阵和第一特征点描述矩阵的不同权重，形成加权后的第一特征融合矩阵，使相似度判断更精准。
在一个优选的方式中，在所述图像比对步骤中，将K(n*n)、K’(n*n)中对应元素之差的绝对值求和得到S1，如下述的式（3）：
式（3）；
基于S1判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
根据前述的技术方案，将第一初始局部图像和第一实时局部图像的第一特征融合矩阵内对应的元素逐个相减后绝对值叠加，如果S1较小说明两个图像的第一特征融合矩阵相差较小，可以认为相似度较高，即剩余组织的偏移程度较小。反之，如果S1较大说明两个图像的第一特征融合矩阵相差较大，可以认为相似度较低，即剩余组织的偏移程度较大。
在一个优选的方式中，在所述图像比对步骤中，若所述第一实时局部图像与所述第一初始局部图像的相似度大于预设的相似度阈值，进入第二断面图像比对步骤：以与所述第一断面垂直的平面为第二断面；获取一组与所述第一初始局部图像对应的、与所述第一断面垂直且依次平行分布的第二初始图像，构成第二初始图像组，并获取与所述第二初始图像组中的每个图像一一对应的第二实时图像，构成第二实时图像组；通过比对所述第二初始图像组和所述第二实时图像组的相似度，判定所述剩余组织在所述第二断面方向的偏移程度。
根据前述的技术方案，当判定剩余组织在第一断面上的偏移程度较低时，需要再对第二断面上的图像进行分析，以判断剩余组织在第二断面上是否发生较大的偏移或变形。
在一个优选的方式中，根据所述第一断面与所述第二断面之间的对应关系，至少基于所述第一初始局部图像确定所述第二初始图像组和所述第二实时图像组中每个图像的监控区域。
根据前述的技术方案，根据两个断面的位置对应关系可以得到两个断面图像中坐标的转换矩阵，进而能够至少基于第一初始局部图像的位置确定所述第二初始图像组和所述第二实时图像组中每个图像的监控区域。
在一个优选的方式中，将所述第二初始图像组和所述第二实时图像组中每个图像的监控区域分别划分为m*m个子块，并分别形成第二灰度矩阵P1（m*m）、P2（m*m）……Pb（m*m），和P1’（m*m）、P2’（m*m）……Pb’（m*m），m为自然数，b为所述第二初始图像组中的图像数量；Pt（m*m）、Pt’（m*m）的第c行、第d列的元素分别为所述第二初始图像组和所述第二实时图像组中第t个图像的监控区域的第c行、第d列的子块的灰度对应的值，c、d为小于等于m的自然数，t为小于等于b的自然数；
P0（m*m）=P1（m*m）+P2（m*m）+……+Pb（m*m）；
P0’（m*m）=P1’（m*m）+P2’（m*m）+……+Pb’（m*m）；
至少基于P0（m*m）、P0’（m*m）判定所述第二初始图像组和所述第二实时图像组之间的相似度。
根据前述的技术方案，基于第二初始图像组和第二实时图像组中各个图像的第二灰度矩阵的叠加，分别获取两个图像组总体的灰度矩阵P0（m*m）、P0’（m*m），再基于P0（m*m）、P0’（m*m）判断两个图像组的相似度。
在一个优选的方式中，将所述第二初始图像组和所述第二实时图像组中的对应的单个图像进行特征点匹配，分别形成第二特征点描述矩阵Q1（m*m）、Q2（m*m）……Qb（m*m），和Q1’（m*m）、Q2’（m*m）……Qb’（m*m）；其中，Qt（m*m）、Qt’（m*m）的第c行、第d列的元素分别为所述第二初始图像组和所述第二实时图像组中第t个图像的监控区域的第c行、第d列的子块所包含的完成匹配的特征点的数量；
Q0（m*m）=Q1（m*m）+Q2（m*m）+……+Qb（m*m）；
Q0’（m*m）=Q1’（m*m）+Q2’（m*m）+……+Qb’（m*m）；
基于P0（m*m）、P0’（m*m）及/或Q0（m*m）、Q0’（m*m）判定所述第二初始图像组和所述第二实时图像组之间的相似度。
根据前述的技术方案，基于第二初始图像组和第二实时图像组中各个图像的第二特征点描述矩阵的叠加，分别获取两个图像组总体的第二特征点描述矩阵Q0（m*m）、Q0’（m*m），再基于P0（m*m）、P0’（m*m）和Q0（m*m）、Q0’（m*m）判断两个图像组的相似度。
在一个优选的方式中，基于P0（m*m）、P0’（m*m）和Q0（m*m）、Q0’（m*m）分别构建第二特征融合矩阵G(m*m)、G’(m*m)；G(m*m)=e*P0(m*m)+Q0(m*m)，G’(m*m)=e*P0’(m*m)+Q0’(m*m)，e为预设的权重；基于G(m*m)、G’(m*m)判定所述第二初始图像组和所述第二实时图像组之间的相似度。
根据前述的技术方案，预先设定第二灰度矩阵和第二特征点描述矩阵的不同权重，形成加权后的第二特征融合矩阵，使相似度判断更精准。
在一个优选的方式中，将G(m*m)、G’(m*m)中对应元素之差的绝对值求和得到S2，如下述的式（4）：
式（4）；
基于S2判定所述第二初始图像组和所述第二实时图像组之间的相似度。
根据前述的技术方案，将两个图像组的第二特征融合矩阵内对应的元素逐个相减后绝对值叠加，如果S2较小说明两个图像组的第二特征融合矩阵相差较小，可以认为相似度较高，即剩余组织的偏移程度较小。反之，如果S2较大说明两个图像组的第二特征融合矩阵相差较大，可以认为相似度较低，即剩余组织的偏移程度较大。
在一个优选的方式中，在所述目标组织中预设关键区域，将所述第二初始图像组和所述第二实时图像组中所有涉及该关键区域的图像的监控区域的第二灰度矩阵及/或第二特征点描述矩阵乘以预设的权重，再与未涉及该关键区域的图像的监控区域的第二灰度矩阵及/或第二特征点描述矩阵分别相加，以获得加权后的P0（m*m）、P0’（m*m）及/或Q0（m*m）、Q0’（m*m）。
根据前述的技术方案，加大涉及关键区域的部分图像的权重，以降低术中对关键区域的组织产生破坏的风险。
附图说明
为了更清楚地说明本申请，下面将对本申请的说明书附图进行描述和说明。显而易见地，下面描述中的附图仅仅说明了本申请的一些示例性实施方案的某些方面，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是监测方法总体流程图。
图2是第一断面图像示意图。
图3是双平面图像示意图。
图4是矢状面和横断面对应关系图。
具体实施方式
以下参照附图详细描述本申请的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，绝不作为对本申请及其应用或使用的任何限制。本申请可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本申请透彻且完整，并且向本领域技术人员充分表达本申请的范围。应注意到：除非另有说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值等应被解释为仅仅是示例性的，而不是作为限制。
本申请中使用的“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其它要素的可能。
本申请使用的所有术语（包括技术术语或者科学术语）与本申请所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用词典中定义的术语应当被理解为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非本文有明确地这样定义。
对于本部分中未详细描述的部件、部件的具体型号等参数、部件之间的相互关系以及控制电路，可被认为是相关领域普通技术人员已知的技术、方法和设备，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
第一断面的图像比对
以下参照图1和图2说明本申请的组织偏移的监测方法。图1是监测方法总体流程图，图2是第一断面图像示意图。
本申请的组织偏移的监测方法用于在对目标组织的消融/切除手术中实时监测剩余组织的偏移程度，目标组织为待切除的整个组织部位，剩余组织为所述目标组织中尚未消融/切除的组织，剩余组织的偏移程度是指剩余组织受挤压、拉扯等因素导致的偏移或变形。这类手术中通常以水刀、激光刀、电消融器械等作为执行机构对人体组织进行消除作业，并采用超声探头获取人体组织的图像。为了简单起见，这里仅以水刀为例进行说明，此时执行机构具有纵长形的水刀刀身和喷射射流的使能端。
在水刀切除手术中，人体外部如腹部发生挤压碰撞或意外移动超声探头等原因，都会造成人体组织器官发生偏移，导致水刀即将切割的组织与规划偏离，从而达不到预期手术效果或对人体造成意外损伤。故需要评估人体组织在手术中的偏移程度，如果偏移超出预定程度则要停止手术、重新规划。
参看图1，本申请的组织偏移的监测方法，主要包含S1第一监控区域图像获取步骤、S2第一初始局部图像确立步骤、S3第一实时局部图像获取步骤、S4图像比对步骤，接下来分别进行说明。
首先对S1第一监控区域图像获取步骤进行说明。
医生在手术时，通常通过超声探头获取单个方向或者两个不同方向（横断面和矢状面）的超声图像，医生分别阅读横断面图像和矢状面图像进行空间位置识别、手工标注，或者手动输入参数，并将医生输入的信息转换为手术过程中的切割路径规划。作为一例，本申请以矢状面为第一断面、横断面为第二断面。实际上也可以以横断面为第一断面、矢状面为第二断面，这里不作具体限定。
参看图2，在第一断面上建立第一图像坐标系。执行机构的水刀刀身以垂直于第一断面的方式设置，手术中能够沿X轴方向进行平移，水刀的使能端则从图示的A0点沿X轴方向平移至A3点，并沿Y轴方向喷射射流以切除人体组织，该射流能够以使能端为圆心、在第二断面上进行左右摆动以形成扇形的切割范围。
首先获取目标组织在第一断面上的初始图像即第一初始图像，在图中对应的是坐标系原点O到A7点之间的整个组织区域R0，R0在X轴、Y轴方向的尺寸分别为w0、h0。
然后将所述第一初始图像的至少部分区域作为第一监控区域R1，以获取对应的第一监控区域图像。
在本实施例中，以使能端的起始位置在第一图像坐标系中的坐标为（x0，y0），第一监控区域图像R1则是以使能端的起始位置（x0，y0）为起点、沿X轴的像素尺寸为w、沿Y轴的像素尺寸为h的区域，具体到图2中则为A0、A3、A4、A6四点之间的虚线框区域。这里的w、h分别满足如下的式（1）和式（2）：
w=w0-x0-w2 式（1）；
h=min(h0-y0，h1) 式（2）；
其中，w2为预设的图像边界的像素尺寸，采集的超声图像在边沿附近容易出现模糊现象，为此预设一定的图像边界距离，将图像边界从第一初始图像中去除，以保证第一监控区域图像的清晰。
h1则为预设的Y轴上的监控区域深度阈值，以h0-y0、h1中的最小者为h。为了简单起见，这里仅以图示的h1小于h0-y0为例进行说明。示例性地，作为一种超声的实施例，表1为监控区域深度阈值h1与超声深度之间的映射关系表。根据预设的超声深度，查表1即可得到监控区域深度阈值h1。
表1
接下来，对S2第一初始局部图像确立步骤进行说明。
在S2第一初始局部图像确立步骤中，获取所述目标组织中已被消融/切除的部分在所述第一监控区域图像R1中对应的区域即消除区域图像R2，并在所述第一监控区域图像R1中去除所述消除区域图像R2以获取第一初始局部图像R3。
在超声图像中对组织的直接识别和分割需要大量对应场景下的超声图像数据来训练组织分割和识别的算法模型，同时，在术中考虑到该组织经过水刀手术的切割体积不断减少、形态不断变化、同时因喷水产生的超声噪音较大，需要训练的数据更难以积累和获取。因此，本申请基于对执行机构及其使能端的位置识别及实验数据，来判断已消除区域和剩余组织对应的区域，无需借助大量数据训练及对切割场景的模拟。
在本实施例，预先建立执行机构在第一断面上的物理位移与其在第一图像坐标系中对应的像素位移之间的映射关系，根据该映射关系将所述执行机构的物理位移转换为其在第一图像坐标系中的像素位移，进而换算出所述消除区域图像的范围。
具体而言，参看图2，假设执行机构的使能端沿X轴相对于起始位置（x0，y0）的物理位移为dx，则使能端移动后在第一图像坐标系中沿X轴的实时位置为x1=x0+g*dx；其中，g为使能端的物理位移与其在第一图像坐标系中的像素位移之间的换算系数。
此时使能端位于图2所示的A1点位置，沿A1点处的箭头方向发射射流。由于射流本身在X轴方向上具有一定宽度，再加上一个允许的偏差范围，两者叠加形成预设的安全区域，该安全区域在X轴上的像素尺寸为w3。在这个安全区域里图像像素发生变化都认为是射流切割造成的而不是组织偏移造成的。
图2所示的A0至A1点之间的区域以及w3宽度的安全区域叠加构成消除区域图像R2，消除区域图像R2为A0、A2、A4、A5四点之间的虚线框区域。第一监控区域图像R1去除消除区域图像R2对应的部分，剩下的即为剩余组织区域对应的图像，以此为第一初始局部图像R3，即为图示的A2、A3、A5、A6四点之间的虚线框区域。换句话说，第一初始局部图像R3是以使能端的实时位置（x1+w3，y0）为起点，沿X轴的像素尺寸为w-x1-w3、沿Y轴的像素尺寸为h的区域。
接下来，在S3第一实时局部图像获取步骤中，采用超声设备获取剩余组织在第一断面上的图像，以此为第一实时局部图像。
理论上，当剩余组织未发生偏移时，第一实时局部图像与第一初始局部图像R3对应的区域一致、两个图像之间的配准度比较高。而当剩余组织的偏移程度超过允许范围时，第一实时局部图像就会出现较大的变化，与第一初始局部图像R3的相似度降低。
因此，通过比对第一实时局部图像与第一初始局部图像R3之间的相似度，即可判定剩余组织的偏移程度。
接下来，对S4图像比对步骤进行具体说明。
在S4图像比对步骤中，将第一实时局部图像与第一初始局部图像R3进行比对以获取两者的相似度，根据该相似度判定剩余组织的偏移程度。
一方面，将第一初始局部图像R3和第一实时局部图像分别划分为n*n个子块，并分别形成第一灰度矩阵H（n*n）、H’（n*n）。H（n*n）、H’（n*n）的第i行、第j列的元素分别为与所述第一初始局部图像R3、所述第一实时局部图像中第i行、第j列的子块的灰度对应的值，i、j为小于等于n的自然数。
以第一初始局部图像R3为例，将其划分为n*n个子块，每个子块的形状大小相同，均为第一初始局部图像R3的等比例缩放，这样可以保证生成n*n的第一灰度矩阵，以方便后续矩阵之间的相关运算。
以n=4为例，第一初始局部图像R3划分为4*4个子块，假设第一行第一列的子块的灰度对应的值为1，第二行第三列的子块的灰度对应的值为2，则H（n*n）的第一行第一列的元素为1、第二行第三列的元素为2，以此类推，最终由各个子块的灰度对应的值生成H（n*n）的各行各列的元素，从而使H（n*n）能够基于各个子块的灰度情况，反映出第一初始局部图像R3的整个区域的灰度情况。这里各个子块的灰度对应的值，优选为该子块的灰度值。同理，将第一实时局部图像划分为n*n个子块，由各个子块的灰度对应的值生成H’（n*n）的各行各列的元素值，这里不再一一赘述。
图像比对过程中，至少基于H（n*n）、H’（n*n）判定第一初始局部图像R3和第一实时局部图像之间的相似度。例如，可以将H（n*n）的第i行、第j列的元素值减去H’（n*n）的第i行、第j列的元素值，再将对应元素相减后的绝对值逐个相加，以最终结果的大小判断第一初始局部图像R3和第一实时局部图像之间的相似度。
另一方面，考虑到术中剩余组织可能受到相邻组织拉扯或其他因素造成一定的变形，同时考虑到图像的多数局部灰度变化较平滑、没有明显的变化，以及可能图像中某个局部区域因飞溅的射流等产生的噪音影响整体灰度的变化，仅基于区域灰度特征进行图像比对可能存在一定误差。为了增加图像比对的准确度，作为一种优选的方式，本申请还引入了特征点匹配的方案，一方面通过分区域的方式减少整体灰度的影响，通过整体的灰度直方图对比会忽略不同区域本来存在的差异，另一方面通过特征融合的方式兼顾局部区域变形和区域灰度变化平滑不易提取特征点的问题。
具体而言，将第一初始局部图像R3和第一实时局部图像划分为n*n个子块后，还使用SURF构建特征描述，使用RANSAC随机采样一致性来匹配特征点，完成匹配后，获得两个图像能够匹配到的特征点及其坐标位置，分别形成第一特征点描述矩阵F(n*n)、F’(n*n)。
其中，F(n*n)、F’(n*n)的第i行、第j列的元素分别为第一初始局部图像R3、第一实时局部图像中第i行、第j列的子块所包含的完成匹配的特征点的数量。以第一初始局部图像R3为例，假设其第一行第三列的子块里包含3个特征点，则F(n*n)的第一行第三列的元素值为3，以此类推，由各个子块里的特征点数量构成F(n*n)的各行各列的元素值。F’(n*n)的构成原理相同，这里不再赘述。
图像比对过程中，基于H（n*n）、H’（n*n）及/或F(n*n)、F’(n*n)判定第一初始局部图像R3和第一实时局部图像之间的相似度。
优选地，基于H（n*n）、H’（n*n）和F(n*n)、F’(n*n)分别构建第一特征融合矩阵K(n*n)、K’(n*n)；其中，K(n*n)=a*H（n*n）+F(n*n)，K’(n*n)=a*H’（n*n）+F’（n*n)，a为预设的权重，可以根据实际情况进行调整。最后基于K(n*n)、K’(n*n)判定第一初始局部图像R3和第一实时局部图像之间的相似度。
可以理解，K(n*n)、K’(n*n)将H（n*n）、F(n*n)和H’（n*n）、F’(n*n)分别融合在了一起，能够同时反映两个图像的灰度匹配和特征点匹配的情况，再乘以权重系数a，根据实际情况和经验调节灰度匹配和特征点匹配各自的权重大小，使第一初始局部图像R3和第一实时局部图像的比对结果更精准。
具体而言，将K(n*n)、K’(n*n)中对应元素之差的绝对值求和得到S1，如下述的式（3）：
式（3）
基于S1判定第一初始局部图像R3和第一实时局部图像之间的相似度。若S1值较小，说明K(n*n)、K’(n*n)中对应元素之差较小，说明第一初始局部图像R3与第一实时局部图像在第一断面上的相似度较高，可以判定剩余组织在第一断面上的偏移程度较低。反之，若S1值较大，说明K(n*n)、K’(n*n)中对应元素之差较大，说明第一初始局部图像R3与第一实时局部图像在第一断面上的相似度较低，可以判定剩余组织在第一断面上的偏移程度较高。
第二断面的图像比对
接下来，结合图3、图4第二断面的图像比对进行具体说明。图3是双平面图像示意图，图4是矢状面和横断面对应关系图。正如前述的，本申请以矢状面为第一断面、横断面为第二断面进行说明，实际上不限于此。
在S4图像比对步骤中，若第一实时局部图像与第一初始局部图像R3的相似度小于预设的相似度阈值，则说明K(n*n)、K’(n*n)中对应元素之差较大，可以认为剩余组织在第一断面上的偏移程度较高，此时需要停止手术，而不必再对第二断面上的图像进行分析判断，以提高判断效率。
反之，若第一实时局部图像与第一初始局部图像R3的相似度大于预设的相似度阈值，则说明K(n*n)、K’(n*n)中对应元素之差较小，认为剩余组织在第一断面上的偏移程度较低。但由于人体组织是三维立体的，其在第一断面上偏移程度低，在其他断面上的偏移程度可能较高。为此，作为一种优选的方式，本申请通过横断面图像序列，进行第二断面上剩余组织偏移程度的判定。
若第一实时局部图像与第一初始局部图像R3的相似度大于预设的相似度阈值，则进入第二断面图像比对步骤：获取一组与第一初始局部图像R3对应的、与所述第一断面垂直且依次平行分布的第二初始图像，构成第二初始图像组，并获取与所述第二初始图像组中的每个图像一一对应的第二实时图像，构成第二实时图像组；通过比对所述第二初始图像组和所述第二实时图像组的相似度，判定所述剩余组织在所述第二断面方向的偏移程度。
具体而言，参看图3，本申请中第二断面垂直于第一断面的第一图像坐标系的X轴，超声探头可以在第二断面方向上获取一组垂直于X轴、沿X轴依次平行间隔分布的横断面图像序列，横断面图像序列可通过超声步进器逐步长采集来获取或通过对三维超声的图像切割获得。
在横断面图像序列中，选取与第一初始局部图像R3对应的一组第二初始图像，构成第二初始图像组。示例性地，如图3所示，T1、T2、T3是三个与第一初始局部图像R3对应的第二初始图像，以T1、T2、T3为基础构成第二初始图像组。这里的与第一初始局部图像R3对应，是指基于同一组织部位，该组织部位所对应的第一断面上的图像即矢状面图像和第二断面上的图像即横断面图像相互对应。
相应地，手术中利用超声探头实时获取剩余组织的、与T1、T2、T3一一对应的三个第二实时图像T1’、T2’、T3’（图中未示出），构成第二实时图像组。通过比对第二初始图像组和第二实时图像组的相似度，判定剩余组织在第二断面方向的偏移程度。
其中，第一断面与第二断面之间的位置对应关系已经预先标定。换句话说，在第二断面上建立第二图像坐标系，横轴为X’、纵轴为Y’,Y’轴与第一断面的Y轴平行。则第一图像坐标系和第二图像坐标系之间的坐标转换矩阵可以预先计算得到，进而，同一个组织部位在第一断面上的图像和第二断面上的图像的坐标能互相转换。
参看图4，根据第一断面与第二断面之间的对应关系，至少基于第一初始局部图像R3确定第二初始图像组和第二实时图像组中每个图像的监控区域。
具体而言，以图示的第二初始图像T2为例，该图像的监控区域为R41，R41在Y’轴上的范围h4可通过第一图像坐标系和第二图像坐标系之间的坐标转换矩阵、由第一初始局部图像R3在Y轴上的范围h转换获得，R41在X’轴方向上的像素尺寸w4需要通过对第二断面的图像分割算法结合手术场景获得，以前列腺切割手术为例，通过对横断面图像序列每帧的图像分割前列腺区域，获取前列腺区域的最小外接矩形，在最小外接矩形的基础上再加上监控阈值获得。同理，可以获得第二初始图像T1、T3中的监控区域R42、R43（图中未示出），并以此确定第二实时图像组中每个图像T1’、T2’、T3’的监控区域R41’、R42’、R43’。
接下来，将第二初始图像组和第二实时图像组中每个图像的监控区域分别划分为m*m个子块，并分别形成第二灰度矩阵P1（m*m）、P2（m*m）……Pb（m*m），和P1’（m*m）、P2’（m*m）……Pb’（m*m），m为自然数，b为所述第二初始图像组中的图像数量。Pt（m*m）、Pt’（m*m）的第c行、第d列的元素分别为所述第二初始图像组和所述第二实时图像组中第t个图像的监控区域的第c行、第d列的子块的灰度对应的值，c、d为小于等于m的自然数，t为小于等于b的自然数；
P0（m*m）=P1（m*m）+P2（m*m）+……+Pb（m*m）；
P0’（m*m）=P1’（m*m）+P2’（m*m）+……+Pb’（m*m）；
至少基于P0（m*m）、P0’（m*m）判定所述第二初始图像组和所述第二实时图像组之间的相似度。
具体而言，在本实施例中，将第二初始图像组中三个图像T1、T2、T3各自的监控区域R41、R42、R43分别划分为m*m的子块，每个监控区域内的子块形状大小一致、由该监控区域等比例缩放而成。然后根据每个子块的灰度对应的值形成第二灰度矩阵P1（m*m）、P2（m*m）、P3（m*m），子块的灰度对应的值优选为该子块的灰度值。其中，P2（m*m）中第c行、第d列的元素即为T2的监控区域R42内第c行、第d列的子块的灰度值，P1（m*m）、P3（m*m）的原理与此相同，不再一一赘述。
同理，将第二实时图像组中的三个图像T1’、T2’、T3’的监控区域R41’、R42’、R43’也分别划分为m*m的子块，每个监控区域内的子块形状大小一致、由该监控区域等比例缩放而成，然后根据每个子块灰度对应的值形成第二灰度矩阵P1’（m*m）、P2’（m*m）、P3’（m*m）。其中，P2’（m*m）中第c行、第d列的元素即为T2’的监控区域R42’内第c行、第d列的子块的灰度值，P1’（m*m）、P3’（m*m）的原理与此相同，不再一一赘述。
进而，以各个监控区域的第二灰度矩阵相加，得到第二初始图像组总的灰度矩阵P0（m*m）=P1（m*m）+P2（m*m）+P3（m*m）；以及第二实时图像组总的灰度矩阵P0’（m*m）=P1’（m*m）+P2’（m*m）+P3’（m*m）。可以基于P0（m*m）、P0’（m*m）判定第二初始图像组和第二实时图像组之间的相似度。
考虑到术中可能对相邻组织有拉扯或其他影响造成一定的局部变形，同时考虑到组织可能多数局部灰度变化较平滑没有明显的变化及可能图像中某个局部区域因飞溅的射流等产生的噪音影响整体灰度的变化，仅基于区域灰度特征进行图像比对可能存在一定误差。为了增加图像比对的准确度，作为一种优选的方式，本申请还引入了特征点匹配的方案。一方面通过分区域的方式减少整体灰度的影响，通过整体的灰度直方图对比会忽略不同区域本来存在的差异，另一方面又通过特征融合的方式兼顾局部区域变形和区域灰度变化平滑不易提取特征点的问题。
将第二初始图像组和第二实时图像组中的对应的单个图像进行特征点匹配，分别形成第二特征点描述矩阵Q1（m*m）、Q2（m*m）……Qb（m*m），和Q1’（m*m）、Q2’（m*m）……Qb’（m*m）；其中，Qt（m*m）、Qt’（m*m）的第c行、第d列的元素分别为所述第二初始图像组和所述第二实时图像组中第t个图像的监控区域的第c行、第d列的子块所包含的完成匹配的特征点的数量；
Q0（m*m）=Q1（m*m）+Q2（m*m）+……+Qb（m*m）；
Q0’（m*m）=Q1’（m*m）+Q2’（m*m）+……+Qb’（m*m）；
基于P0（m*m）、P0’（m*m）及/或Q0（m*m）、Q0’（m*m）判定所述第二初始图像组和所述第二实时图像组之间的相似度。
具体而言，将第二初始图像组和第二实时图像组中的对应的单个图像进行特征点匹配，即将T1和T1’、T2和T2’、T3和T3’分别进行特征点匹配。
以T1和T1’为例，将其监控区域R41、R41’划分为m*m个子块后，使用SURF构建特征描述，使用RANSAC随机采样一致性来匹配特征点，完成匹配后，获得两个图像能够匹配到的特征点及其坐标位置，分别形成第二特征点描述矩阵Q1（m*m）和Q1’（m*m），其中Q1（m*m）和Q1’（m*m）的第c行、第d列的元素分别为监控区域R41、R41’区域的第c行、第d列的子块所包含的完成匹配的特征点的数量。
同理，通过上述方法对监控区域R42和R42’、R43和R43’分别进行特征点匹配，分别形成第二特征点描述矩阵Q2（m*m）和Q2’（m*m），Q3（m*m）和Q3’（m*m）。
Q0（m*m）=Q1（m*m）+Q2（m*m）+Q3（m*m）；
Q0’（m*m）=Q1’（m*m）+Q2’（m*m）+Q3’（m*m）；
基于P0（m*m）、P0’（m*m）及/或Q0（m*m）、Q0’（m*m）判定第二初始图像组和第二实时图像组之间的相似度。
优选地，一种判定方法为，基于P0（m*m）、P0’（m*m）和Q0（m*m）、Q0’（m*m）分别构建第二特征融合矩阵G(m*m)、G’(m*m)。G(m*m)=e*P0(m*m)+Q0(m*m)，G’(m*m)=e*P0’(m*m)+Q0’(m*m)，e为预设的权重；基于G(m*m)、G’(m*m)判定第二初始图像组和第二实时图像组之间的相似度。
可以理解，G(m*m)、G’(m*m)将P0（m*m）、P0’（m*m）和Q0（m*m）、Q0’（m*m）分别融合在了一起，能够同时反映两个图像组的灰度匹配和特征点匹配的情况，再乘以权重系数e，根据实际情况和经验调节灰度匹配和特征点匹配各自的权重大小，使第二初始图像组和第二实时图像组的比对结果更精准。
具体而言，将G(m*m)、G’(m*m)中对应元素之差的绝对值求和得到S2，如下述的式（4）：
式（4）
基于S2判定第二初始图像组和第二实时图像组之间的相似度。若S2值较小，说明G(m*m)、G’(m*m)中对应元素之差较小，说明第二初始图像组与第二实时图像组在第二断面上的相似度较高，可以判定剩余组织在第二断面上的偏移程度较低。反之，若S2值较大，说明G(m*m)、G’(m*m)中对应元素之差较大，说明第二初始图像组与第二实时图像组在第二断面上的相似度较低，可以判定剩余组织在第二断面上的偏移程度较高。
关键区域
手术中，目标组织可能存在如图3、图4中黑点所示的关键区域R5，例如前列腺手术中，关键区域R5为精阜，水刀若切割关键区域R5，将带来较大的风险和伤害，换句话说，关键区域R5的安全权重比其他组织部位更大。
为此，进一步地，将第二初始图像组和第二实时图像组中所有涉及该关键区域R5的图像的监控区域的第二灰度矩阵和第二特征点描述矩阵分别乘以预设的权重，再与未涉及该关键区域的图像的监控区域的第二灰度矩阵和第二特征点描述矩阵分别相加，以获得加权后的P0（m*m）、P0’（m*m）和Q0（m*m）、Q0’（m*m）。
具体而言，在本实施例中，假设仅第二初始图像T2和第二实时图像T2’穿过关键区域R5，则加权后的结果为：
第二初始图像组总的灰度矩阵P0（m*m）=P1（m*m）+L1*P2（m*m）+P3（m*m）；第二实时图像组总的灰度矩阵P0’（m*m）=P1’（m*m）+L1’*P2’（m*m）+P3’（m*m）；
第二初始图像组总的特征点描述矩阵Q0（m*m）=Q1（m*m）+L2*Q2（m*m）+Q3（m*m）；第二实时图像组总的特征点描述矩阵Q0’（m*m）=Q1’（m*m）+L2’*Q2’（m*m）+Q3’（m*m）；
其中L1、L1’和L2、L2’为预设的权重，根据实际情况而定，优选地L1和L1’相同，L2和L2’相同。
将上述加权后的结果再代入G(m*m)=e*P0(m*m)+Q0(m*m)和G’(m*m)=e*P0’(m*m)+Q0’(m*m)中，以形成双重加权后的G(m*m)和G’(m*m)，进而代入式（4）得到双重加权后的S2。基于该S2对第二初始图像组和第二实时图像组进行相似度判断，可以进一步提高判断的精确度，降低手术中伤害关键区域的风险。
综上，本申请中，首先基于第一断面上初始图像和实时图像的比对，来判断剩余组织在第一断面上的偏移或变形程度。具体方式为，获取目标组织的初始图像，再根据术中执行机构的位移判断已切除区域的大小，从初始图像中去除已切除区域，剩下的部分即为理论上剩余组织的初始图像，再和术中获取的剩余组织的实时图像进行比对，根据相似度判定剩余组织的偏移程度，保证了判定的效率和精准度。
进一步地，为了对剩余组织的偏移程度进行更全面的判定，本申请又引入与第一断面垂直的第二断面，将第二断面上的初始图像组和实时图像组进行比对，根据两个图像组的相似度判定剩余组织在第二断面上的偏移程度，进一步提高了判定的精准度。更进一步地，本申请还针对目标组织中存在的关键区域，在图像比对中引入关键区域的权重，以降低关键区域的组织被执行机构伤害的风险。
应当理解，以上所述的具体实施例仅用于解释本申请，本申请的保护范围并不限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，根据本申请的技术方案及其发明构思加以变更、置换、结合，都应涵盖在本申请的保护范围之内。
Claims (15)
1.一种组织偏移的监测方法，用于在对目标组织的消融/切除手术中实时监测剩余组织的偏移程度，所述剩余组织为所述目标组织中尚未消融/切除的组织；所述监测方法的特征在于，包含如下步骤：
S1：第一监控区域图像获取步骤，获取所述目标组织在第一断面上的初始图像即第一初始图像，将所述第一初始图像的至少部分区域作为第一监控区域以获取第一监控区域图像；
S2：第一初始局部图像确立步骤，获取所述目标组织中已被消融/切除的部分在所述第一监控区域图像中对应的区域即消除区域图像，并在所述第一监控区域图像中去除所述消除区域图像以获取第一初始局部图像；
S3：第一实时局部图像获取步骤，获取所述剩余组织在所述第一断面上的图像，以此为第一实时局部图像；
S4：图像比对步骤，将所述第一实时局部图像与所述第一初始局部图像进行比对以获取两者的相似度，根据该相似度判定所述剩余组织在所述第一断面上的偏移程度；
其中，在所述第一断面上以执行机构的移动方向为X轴、垂直于X轴的方向为Y轴建立第一图像坐标系；
所述执行机构具有使能端，所述使能端的起始位置在所述第一图像坐标系中的坐标为（x0，y0）;
所述第一初始图像是沿X轴的像素尺寸为w0、沿Y轴的像素尺寸为h0的区域；
所述第一监控区域图像是以所述使能端的起始位置为起点、沿X轴的像素尺寸为w、沿Y轴的像素尺寸为h的区域；w、h分别满足如下的式（1）和式（2）：
w=w0-x0-w2 式（1）；
h=min(h0-y0，h1) 式（2）；
其中，w2为预设的图像边界尺寸；h1为预设的Y轴上的监控区域阈值。
2.根据权利要求1所述的组织偏移的监测方法，其特征在于：
预先建立所述执行机构在所述第一断面上的物理位移与其在所述第一初始图像中对应的像素位移之间的映射关系，根据该映射关系将所述执行机构的物理位移转换为其在所述第一初始图像中的像素位移，进而换算出所述消除区域图像的范围。
3.根据权利要求2所述的组织偏移的监测方法，其特征在于：
假设所述使能端沿X轴相对于起始位置的物理位移为dx，则所述使能端移动后在所述第一图像坐标系中沿X轴的实时位置为：x1=x0+g*dx；
其中，g为所述使能端的物理位移与其在所述第一图像坐标系中的像素位移之间的换算系数。
4.根据权利要求3所述的组织偏移的监测方法，其特征在于：
所述第一初始局部图像的范围为：
以所述使能端的实时位置（x1+w3，y0）为起点，沿X轴的像素尺寸为w-x1-w3、沿Y轴的像素尺寸为h的区域；
其中，w3为预设的安全区域在X轴上的像素尺寸。
5.根据权利要求1所述的组织偏移的监测方法，其特征在于：
在所述图像比对步骤中，将所述第一初始局部图像和所述第一实时局部图像分别划分为n*n个子块，并分别形成第一灰度矩阵H（n*n）、H’（n*n）；
H（n*n）、H’（n*n）的第i行、第j列的元素分别为与所述第一初始局部图像、所述第一实时局部图像中第i行、第j列的子块的灰度对应的值，i、j为小于等于n的自然数；
至少基于H（n*n）、H’（n*n）判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
6.根据权利要求5所述的组织偏移的监测方法，其特征在于：
在所述图像比对步骤中，对所述第一初始局部图像和所述第一实时局部图像进行特征点匹配，分别形成第一特征点描述矩阵F(n*n)、F’(n*n)；
其中，F(n*n)、F’(n*n)的第i行、第j列的元素分别为所述第一初始局部图像、所述第一实时局部图像中第i行、第j列的子块所包含的完成匹配的特征点的数量；
基于H（n*n）、H’（n*n）及/或F(n*n)、F’(n*n)判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
7.根据权利要求6所述的组织偏移的监测方法，其特征在于：
在所述图像比对步骤中，基于H（n*n）、H’（n*n）和F(n*n)、F’(n*n)分别构建第一特征融合矩阵K(n*n)、K’(n*n)；
K(n*n)=a*H（n*n）+F(n*n)，K’(n*n)=a*H’（n*n）+F’（n*n)，a为预设的权重；
基于K(n*n)、K’(n*n)判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
8.根据权利要求7所述的组织偏移的监测方法，其特征在于：
在所述图像比对步骤中，将K(n*n)、K’(n*n)中对应元素之差的绝对值求和得到S1，如下述的式（3）：
式（3）；
基于S1判定所述第一初始局部图像和所述第一实时局部图像之间的相似度。
9.根据权利要求5-8中任一项所述的组织偏移的监测方法，其特征在于：
在所述图像比对步骤中，若所述第一实时局部图像与所述第一初始局部图像的相似度大于预设的相似度阈值，进入第二断面图像比对步骤：
以与所述第一断面垂直的平面为第二断面；
获取一组与所述第一初始局部图像对应的、与所述第一断面垂直且依次平行分布的第二初始图像，构成第二初始图像组，并获取与所述第二初始图像组中的每个图像一一对应的第二实时图像，构成第二实时图像组；
通过比对所述第二初始图像组和所述第二实时图像组的相似度，判定所述剩余组织在所述第二断面方向的偏移程度。
10.根据权利要求9所述的组织偏移的监测方法，其特征在于：
根据所述第一断面与所述第二断面之间的对应关系，至少基于所述第一初始局部图像确定所述第二初始图像组和所述第二实时图像组中每个图像的监控区域。
11.根据权利要求10所述的组织偏移的监测方法，其特征在于：
将所述第二初始图像组和所述第二实时图像组中每个图像的监控区域分别划分为m*m个子块，并分别形成第二灰度矩阵P1（m*m）、P2（m*m）……Pb（m*m），和P1’（m*m）、P2’（m*m）……Pb’（m*m），m为自然数，b为所述第二初始图像组中的图像数量；
Pt（m*m）、Pt’（m*m）的第c行、第d列的元素分别为所述第二初始图像组和所述第二实时图像组中第t个图像的监控区域的第c行、第d列的子块的灰度对应的值，c、d为小于等于m的自然数，t为小于等于b的自然数；
P0（m*m）=P1（m*m）+P2（m*m）+……+Pb（m*m）；
P0’（m*m）=P1’（m*m）+P2’（m*m）+……+Pb’（m*m）；
至少基于P0（m*m）、P0’（m*m）判定所述第二初始图像组和所述第二实时图像组之间的相似度。
12.根据权利要求11所述的组织偏移的监测方法，其特征在于：
将所述第二初始图像组和所述第二实时图像组中的对应的单个图像进行特征点匹配，分别形成第二特征点描述矩阵Q1（m*m）、Q2（m*m）……Qb（m*m），和Q1’（m*m）、Q2’（m*m）……Qb’（m*m）；
其中，Qt（m*m）、Qt’（m*m）的第c行、第d列的元素分别为所述第二初始图像组和所述第二实时图像组中第t个图像的监控区域的第c行、第d列的子块所包含的完成匹配的特征点的数量；
Q0（m*m）=Q1（m*m）+Q2（m*m）+……+Qb（m*m）；
Q0’（m*m）=Q1’（m*m）+Q2’（m*m）+……+Qb’（m*m）；
基于P0（m*m）、P0’（m*m）及/或Q0（m*m）、Q0’（m*m）判定所述第二初始图像组和所述第二实时图像组之间的相似度。
13.根据权利要求12所述的组织偏移的监测方法，其特征在于：
基于P0（m*m）、P0’（m*m）和Q0（m*m）、Q0’（m*m）分别构建第二特征融合矩阵G(m*m)、G’(m*m)；
G(m*m)=e*P0(m*m)+Q0(m*m)，G’(m*m)=e*P0’(m*m)+Q0’(m*m)，e为预设的权重；
基于G(m*m)、G’(m*m)判定所述第二初始图像组和所述第二实时图像组之间的相似度。
14.根据权利要求13所述的组织偏移的监测方法，其特征在于：
将G(m*m)、G’(m*m)中对应元素之差的绝对值求和得到S2，如下述的式（4）：
式（4）；
基于S2判定所述第二初始图像组和所述第二实时图像组之间的相似度。
15.根据权利要求13所述的组织偏移的监测方法，其特征在于：
在所述目标组织中预设关键区域，将所述第二初始图像组和所述第二实时图像组中所有涉及该关键区域的图像的监控区域的第二灰度矩阵及/或第二特征点描述矩阵乘以预设的权重，再与未涉及该关键区域的图像的监控区域的第二灰度矩阵及/或第二特征点描述矩阵分别相加，以获得加权后的P0（m*m）、P0’（m*m）及/或Q0（m*m）、Q0’（m*m）。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410302512.7A CN118247347A (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
| CN202311595967.4A CN117315032B (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311595967.4A CN117315032B (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410302512.7A Division CN118247347A (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117315032A true CN117315032A (zh) | 2023-12-29 |
| CN117315032B CN117315032B (zh) | 2024-03-08 |
Family
ID=89288688
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311595967.4A Active CN117315032B (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
| CN202410302512.7A Pending CN118247347A (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410302512.7A Pending CN118247347A (zh) | 2023-11-28 | 2023-11-28 | 一种组织偏移的监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN117315032B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521838A (zh) * | 2011-12-19 | 2012-06-27 | 国家计算机网络与信息安全管理中心 | 一种图像检索/匹配方法及系统 |
| CN109948655A (zh) * | 2019-02-21 | 2019-06-28 | 华中科技大学 | 一种基于多层次的内窥镜手术器械检测方法 |
| CN113362280A (zh) * | 2021-05-14 | 2021-09-07 | 同济大学 | 一种基于医学造影的动态目标跟踪方法 |
| CN113539442A (zh) * | 2021-08-02 | 2021-10-22 | 重庆真逆思维科技有限公司 | 获取异常医学影像的工作方法 |
| CN115690183A (zh) * | 2022-11-23 | 2023-02-03 | 苏州微清医疗器械有限公司 | 一种图像配准数据处理方法及系统 |
| CN116128923A (zh) * | 2023-01-13 | 2023-05-16 | 杭州华匠医学机器人有限公司 | 腔内组织跟踪方法、电子设备及计算机可读介质 |
| CN116205889A (zh) * | 2023-03-06 | 2023-06-02 | 合肥联宝信息技术有限公司 | 偏移检测方法、装置、电子设备及存储介质 |
| CN116965930A (zh) * | 2023-09-22 | 2023-10-31 | 北京智愈医疗科技有限公司 | 一种基于超声图像的手术器械位移监测装置 |
| CN116993805A (zh) * | 2023-04-14 | 2023-11-03 | 合肥工业大学 | 面向手术规划辅助的术中剩余器官体积估计系统 |
| WO2023216947A1 (zh) * | 2022-05-07 | 2023-11-16 | 武汉联影智融医疗科技有限公司 | 一种用于介入手术的医学影像处理系统和方法 |
| CN117116413A (zh) * | 2023-10-16 | 2023-11-24 | 深圳卡尔文科技有限公司 | 一种口腔种植优化方法、系统和存储介质 |
-
2023
- 2023-11-28 CN CN202311595967.4A patent/CN117315032B/zh active Active
- 2023-11-28 CN CN202410302512.7A patent/CN118247347A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521838A (zh) * | 2011-12-19 | 2012-06-27 | 国家计算机网络与信息安全管理中心 | 一种图像检索/匹配方法及系统 |
| CN109948655A (zh) * | 2019-02-21 | 2019-06-28 | 华中科技大学 | 一种基于多层次的内窥镜手术器械检测方法 |
| CN113362280A (zh) * | 2021-05-14 | 2021-09-07 | 同济大学 | 一种基于医学造影的动态目标跟踪方法 |
| CN113539442A (zh) * | 2021-08-02 | 2021-10-22 | 重庆真逆思维科技有限公司 | 获取异常医学影像的工作方法 |
| WO2023216947A1 (zh) * | 2022-05-07 | 2023-11-16 | 武汉联影智融医疗科技有限公司 | 一种用于介入手术的医学影像处理系统和方法 |
| CN115690183A (zh) * | 2022-11-23 | 2023-02-03 | 苏州微清医疗器械有限公司 | 一种图像配准数据处理方法及系统 |
| CN116128923A (zh) * | 2023-01-13 | 2023-05-16 | 杭州华匠医学机器人有限公司 | 腔内组织跟踪方法、电子设备及计算机可读介质 |
| CN116205889A (zh) * | 2023-03-06 | 2023-06-02 | 合肥联宝信息技术有限公司 | 偏移检测方法、装置、电子设备及存储介质 |
| CN116993805A (zh) * | 2023-04-14 | 2023-11-03 | 合肥工业大学 | 面向手术规划辅助的术中剩余器官体积估计系统 |
| CN116965930A (zh) * | 2023-09-22 | 2023-10-31 | 北京智愈医疗科技有限公司 | 一种基于超声图像的手术器械位移监测装置 |
| CN117116413A (zh) * | 2023-10-16 | 2023-11-24 | 深圳卡尔文科技有限公司 | 一种口腔种植优化方法、系统和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张建伟;杨红;陈允杰;方林;詹天明;: "局部熵驱动下的脑MR图像分割与偏移场恢复耦合模型", 中国图象图形学报, no. 08 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118247347A (zh) | 2024-06-25 |
| CN117315032B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101886990B1 (ko) | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 | |
| JP7162793B2 (ja) | 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム | |
| US11039734B2 (en) | Real time correlated depiction system of surgical tool | |
| EP3608870A1 (en) | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure | |
| CN101474075B (zh) | 微创手术导航系统 | |
| CN113966204B (zh) | 为医疗介入自动规划轨迹的方法 | |
| CN112842529A (zh) | 全膝关节置换术前规划方法及装置 | |
| CN110214341A (zh) | 重建颅骨的方法 | |
| KR20130054003A (ko) | 해부학적 특성을 기반으로 초음파 조사 계획을 수립하는 방법 및 장치 | |
| CN117315032B (zh) | 一种组织偏移的监测方法 | |
| KR20190074226A (ko) | Ent 뼈 거리 색상 코딩된 안면 맵 | |
| EP3377998B1 (en) | Image processing method | |
| CN114191076A (zh) | 一种肝肿瘤消融路径规划系统 | |
| CN115192195A (zh) | 计算机可读存储介质、电子设备及手术机器人系统 | |
| CN116966450A (zh) | 一种聚焦超声无创消融装置、消融术前规划方法及系统 | |
| CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准系统 | |
| JP2022122663A (ja) | 手術ナビゲーションシステム、情報処理装置、および、情報処理方法 | |
| KR102644469B1 (ko) | 내시경 증강현실 정밀도 향상 및 심부 병변 오차 감소를 위한 의료 영상 정합 장치 및 그 방법 | |
| JP6246843B2 (ja) | 医療システム及び表示方法 | |
| CN112386333B (zh) | 一种肺部氩氦刀手术路径数据的生成方法及系统 | |
| Salah et al. | Preoperative planning of a complete mastoidectomy: semiautomatic segmentation and evaluation | |
| Le Fol et al. | Angioplasty simulation using ChainMail method | |
| Kacenjar et al. | Near real-time skin deformation mapping | |
| WO2024039796A1 (en) | Surgical procedure segmentation | |
| Williams et al. | DISCOVERING PATTERNS IN ORTHOPEDIC SURGICAL RESIDENT BEHAVIOR DURING A CEPHALOMEDULLARY NAIL PROCEDURE WITH A WIRE NAVIGATION SIMULATOR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |