CN112614141B - 血管扫描路径的规划方法、装置、存储介质及终端设备 - Google Patents
血管扫描路径的规划方法、装置、存储介质及终端设备 Download PDFInfo
- Publication number
- CN112614141B CN112614141B CN202011505244.7A CN202011505244A CN112614141B CN 112614141 B CN112614141 B CN 112614141B CN 202011505244 A CN202011505244 A CN 202011505244A CN 112614141 B CN112614141 B CN 112614141B
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- target
- image
- path
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000002792 vascular Effects 0.000 title claims description 28
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 208
- 238000007689 inspection Methods 0.000 claims abstract description 51
- 238000003709 image segmentation Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 72
- 238000004891 communication Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 239000000523 sample Substances 0.000 description 35
- 238000002604 ultrasonography Methods 0.000 description 13
- 210000002414 leg Anatomy 0.000 description 10
- 238000002583 angiography Methods 0.000 description 4
- 208000019553 vascular disease Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000007556 vascular defect Effects 0.000 description 3
- 208000007536 Thrombosis Diseases 0.000 description 2
- 208000011775 arteriosclerosis disease Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请公开了一种血管扫描路径的规划方法、装置、存储介质及终端设备，所述方法包括获取目标部位的DSA图像；基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；基于所述目标血管区域，确定所述目标血管对应的检查路径；基于所述检查路径，确定所述目标血管对应的扫描路径。本申请通过图像分割模型确定DSA图像中的目标血管区域，并基于获取到目标血管区域确定目标血管的血管走向，并基于血管走向来规划扫描路径，这样以血管走向作为扫描路径引导，可以提高扫描路径与目标血管的匹配度，从而可以提高基于扫描路径对目标血管扫描的准确性。
Description
技术领域
本申请涉及超声技术领域，特别涉及一种血管扫描路径的规划方法、装置、存储介质及终端设备。
背景技术
血管疾病是危害人类健康的严重病症，如血管硬化，血栓，血管缺损，血流异常等。超声检查对于血管疾病是一种有效的检查方式。超声检查需要有多年经验的超声科医生。由于超声科医生的水平参差不齐，同时超声检查也要求医生长时间手握探头，这对超声医生而言也是极大的负担。所以超声自动扫描是一个非常吸引人的研究课题和技术方向。
现有超声自动扫描技术方法普遍包括通过人工牵引的方式来规划扫描路径和通过摄像机拍摄目标部位的图片来规划扫描路径。但是，在大范围的血管(例如，四肢血管等)超声扫描场景中，采用上述方法规划的扫描路径进行自动扫描时，普遍存在扫描准确度低的问题。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种血管扫描路径的规划方法、装置、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种血管扫描路径的规划方法，所述方法包括：
获取目标部位的DSA图像，其中，所述目标部位包括目标血管；
基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；
基于所述目标血管区域，确定所述目标血管对应的检查路径，其中，所述检查路径用于反映目标血管的血管走向；
基于所述检查路径，确定所述目标血管对应的扫描路径。
所述血管扫描路径的规划方法，其中，所述图像分割模型为预先经过训练的，所述图像分割模型的训练过程具体包括：
获取训练样本集，其中，所述训练样本集包括若干训练图像，若干训练图像中的每个训练图像均包括标注血管区域；
将训练样本集中的训练图像输入预设网络模型，通过预设网络模型输出预测血管区域；
基于所述训练图像对应的标注血管区域以及预测血管区域，对所述预设网络模型进行训练，以得到图像分割模型。
所述血管扫描路径的规划方法，其中，所述获取所述训练样本集具体包括：
获取若干DSA图像，其中，若干DSA图像中的每个DSA图像均包括标注血管区域；
对于若干DSA图像中的每个DSA图像，将该DSA图像中的标注血管区域中的各像素点的像素值设置为第一像素值，除标注血管区域外的各像素点的像素值设置为第二像素值；
将设置后的各DSA图像构成的图像集作为训练样本集。
所述血管扫描路径的规划方法，其中，所述图像分割模型采用U-net编码器—解码器对称的网络结构。
所述血管扫描路径的规划方法，其中，所述基于所述目标血管区域，确定所述目标血管对应的检查路径具体包括：
获取所述目标血管区域中的第一血管壁边缘和第二血管壁边缘；
对于第一血管壁边缘中的每个像素点，确定该像素点和其对应的参考像素点的连线的中心点，其中，参考像素点位于第二血管壁边缘上；
将获取到的所有中心点连接以得到所述目标血管对应的检查路径。
所述血管扫描路径的规划方法，其中，所述基于所述检查路径，确定所述目标血管对应的扫描路径具体包括：
获取目标部位的目标图像，并基于所述目标图像将所述检查路径匹配至目标部位，以得到扫描路径。
所述血管扫描路径的规划方法，其中，所述获取目标部位的目标图像，并基于所述目标图像将所述检查路径匹配至目标部位，以得到扫描路径具体包括：
获取所述目标部位的目标图像，其中，所述目标图像包括深度信息；
在所述目标图像中选取所述目标部位的候选部位轮廓；
基于所述候选部位轮廓以及所述目标血管区域，确定所述检查路径对应的扫描路径。
本申请实施例第二方面提供了一种血管扫描路径的规划装置，所述规划装置包括：
获取模块，用于获取目标部位的DSA图像，其中，所述目标部位包括目标血管；
第一确定模块，用于基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；
第二确定模块，用于基于所述目标血管区域，确定所述目标血管对应的检查路径，其中，所述检查路径包含与所述目标血管区域内；
第三确定模块，用于基于所述检查路径，确定所述目标血管对应的扫描路径。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的血管扫描路径的规划方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的血管扫描路径的规划方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种血管扫描路径的规划方法、装置、存储介质及终端设备，所述方法包括获取目标部位的DSA图像；基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；基于所述目标血管区域，确定所述目标血管对应的检查路径；基于所述检查路径，确定所述目标血管对应的扫描路径。本申请通过图像分割模型确定DSA图像中的目标血管区域，并基于获取到目标血管区域确定目标血管的血管走向，并基于血管走向来规划扫描路径，这样以血管走向作为扫描路径引导，可以提高扫描路径与目标血管的匹配度，从而可以提高基于扫描路径对目标血管扫描的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的血管扫描路径的规划方法的流程图。
图2为本申请提供的血管扫描路径的规划方法中图像分割膜的模型结构原理示意图。
图3为本申请提供的血管扫描路径的规划装置的结构原理图。
图4为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种血管扫描路径的规划方法、装置、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，血管疾病是危害人类健康的严重病症，如血管硬化，血栓，血管缺损，血流异常等。超声检查对于血管疾病是一种有效的检查方式。超声检查需要有多年经验的超声科医生。由于超声科医生的水平参差不齐，同时超声检查也要求医生长时间手握探头，这对超声医生而言也是极大的负担。所以超声自动扫描是一个非常吸引人的研究课题和技术方向。
人体躯干在关节处，如膝关节与肘关节，血管会发生转弯。同时，姿态的变化下血管走向也是不同的。而现有超声自动扫描技术方法主要是：通过测量，计算，直接给定固定的扫描路径；或结合人机交互模块，在人参与的情况下给予一个扫描路径；又或者是由摄像机拍摄待检测人部位的图片来规划扫描路径。这些方法，在大范围的血管(尤其是在我们这里提到的四肢血管)超声扫描场景中，由于没有造影图像引导的情况下，存在的自动扫描的困难。此外，直接给定一个固定的扫描路径，一方面对不同的人而言差异很大，另一方面在不同姿态下也不符合超声检查的需要；需要人参与路径的选取，则需要花费大量的人力成本和资源；对于摄像机拍摄待检测人部位图片的方法，人躯干的图像无法反映血管的走向，从而限制了扫描路径规划的精确性。
为了解决上述问题，在本申请实施例中，获取目标部位的DSA图像；基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；基于所述目标血管区域，确定所述目标血管对应的检查路径；基于所述检查路径，确定所述目标血管对应的扫描路径。本申请通过图像分割模型确定DSA图像中的目标血管区域，并基于获取到目标血管区域确定目标血管的血管走向，并基于血管走向来规划扫描路径，这样以血管走向作为扫描路径引导，可以提高扫描路径与目标血管的匹配度，从而可以提高基于扫描路径对目标血管扫描的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施提供了一种血管扫描路径的规划方法，如图1所示，所述方法包括：
S10、获取目标部位的DSA图像，其中，所述目标部位包括目标血管。
具体地，所述目标部位包括目标血管，所述目标血管为待扫描的血管，换句话说，本实施例规划的扫描路径用于扫查目标血管。所述DSA图像为目标血管的DSA(digitalsubstraction angiography，数字减影血管造影)图像，所述DSA图像携带有所述目标血管，换句话说，目标血管包含于所述DSA图像中，通过DSA图像可以获取到目标血管的血管信息。在一个实现方式中，所述目标血管可以为四肢血管，所述DSA图像为通过对腿部进行数字减影血管造影得到的图像，DSA图像包括腿部血管的血管信息，其中，腿部为目标部位，腿部进行数字减影血管造影的血管为目标血管，DSA图像包括腿部血管的血管信息为目标血管的血管信息，即DSA图像包括目标血管的图像区域。
S20、基于预设的图像分割模型，确定所述DSA图像中的目标血管区域。
具体地，所述图像分割模型为经过训练的网络模型，用于识别DSA图像中的目标血管区域。可以理解的是，图像分割模型的输入项为DSA图像，输出项为目标血管区域，其中，目标血管区域为目标血管在DSA图像中所处的图像区域。
在本实施例的一个实现方式中，所述图像分割模型的训练过程具体包括：
获取训练样本集；
将训练样本集中的训练图像输入预设网络模型，通过预设网络模型输出预测血管区域；
基于所述训练图像对应的标注血管区域以及预测血管区域，对所述预设网络模型进行训练，以得到图像分割模型。
具体地，所述训练样本集包括若干训练图像，若干训练图像中的每个训练图像均包括标注血管区域，其中，若干训练图像中的每个训练图像均为DSA图像，并且各DSA图像可以来源于不同的患者，例如，若干训练图像中的各训练图像对应的患者不同；或者是，若干训练图像中的部分训练图像来源于同一患者，部分训练图像来源不同患者等。此外，若干训练图像中的各训练图像可以均为腿部血管的DSA图像，或者是，部分为手臂血管的DAS图像，部分为腿部血管的DAS图像；或者是，若干训练图像中的各训练图像均为手臂血管的DAS图像。在本实施例的一个具体实现方式中，若干训练图像中的训练图像部分为手臂血管的DAS图像，部分为腿部血管的DAS图像，并且若干训练图像对应的至少两个患者，这样可以提供训练样本集的多样性，使得训练得到的图像分割模型可以既可以适用于腿部血管的DAS图像，也可以适用于手臂血管的DAS图像。
在本实施例的一个实现方式中，所述获取所述训练样本集具体包括：
获取若干DSA图像；
对于若干DSA图像中的每个DSA图像，将该DSA图像中的标注血管区域中的各像素点的像素值设置为第一像素值，除标注血管区域外的各像素点的像素值设置为第二像素值；
将设置后的各DSA图像构成的图像集作为训练样本集。
具体地，所述DSA图像中的每个DSA图像均包括标注血管区域，所述标注血管区域用于衡量预设网络模型输出的预测血管区域的准确性。其中，标注血管缺陷可以是目标血管的血管边缘所处图像区域，也可以是目标血管所处图像区域。第一像素值和第二像素值均为预先设置的，并且第一像素值与第二像素值不相同，以便于通过第一像素值和第二像素值来区分DSA图像中标注血管区域以及非标注血管区域。这样采用由第一像素值和第二像素值构成的图像作为训练图像，可以提高对训练图像的学习速度，从而可以提高图像分割图像的训练速度。在本实施例的一个实现方式中，所述第一像素值可以为1，第二像素值可以为0。
在本实施例的一个实现方式中，所述预设网络模型为预先设置的，预设网络模型的模型结构与图像分割模型的模型结构相同，预设网络模型与图像分割模型的不同之处在于：预设网络模型配置的模型参数为初始模型参数，图像分割模型配置的模型参数为经过训练样本集训练得到的模型参数。预设网络模型可以采用U-net编码器—解码器对称的网络结构，相应的，图像分割模型的模型结构为U-net编码器—解码器对称的网络结构。可以理解的是，图像分割模型包括编码器和解码器，所述编码器包括若干级联的下采样模块，所述解码器包括若干级联的上采样模块，若干下采样模块与若干上采样模块一一对应，并且若干下采样模块中的每个下采样模块与其对应的上采样模块跳跃连接，以将其输出的特征图作为其对应的上采样模块的输入项。
在一个具体实现方式中，如图2所示，所述编码器可以采用VGG19网络模型，并且预先在ImageNet中对VGG19网络模型的网络参数进行预训练，并将预训练的VGG19网络模型中的VGG19特征层的网络参数迁移到编码器中，然后在基于训练样本对预设网络模型进行训练，以对VGG19网络模型的网络参数进行微调，使得训练得到的图像分割模型可以适用于DSA图像，其中，微调的学习率可以为0.0001等。本实施例通过预先训练编码器的网络模型，可以减少图像分割模型训练所需要的DSA图像的数量，从而可以减少对DSA图像的标注，提高图像分割模型的训练数量以及人力成本。此外，在实际应用中，由于DSA图像的数据量小，为了避免图像分割模型过拟合，在获取到训练样本集后，可以对训练样本集进行数据增强，以提高训练样本集的多样性，其中，所述数据增强可以包括旋转，平移以及加噪等。
S30、基于所述目标血管区域，确定所述目标血管对应的检查路径。
具体地，所述检查路径用于反映目标血管的血管走向，并且对于检查路径上的每个像素点，该像素点均包含于目标血管区域内，换句话说，检查路径所处的图像区域包含于目标血管所处的图像区域内。所述检查路径的延伸方向可以为目标血管的血管走向，例如，所述目标血管有腿部血管，检查路径为由远心端至近心端，那么血管走向为从远心端到近心端的方向；或者是，检查路径为由近心端至远心端，那么血管走向为从近心端至远心端的方向，其中，近心端为靠近大腿根部的一端，远心端为靠近足部的一端。
在本实施例的一个实现方式中，所述基于所述目标血管区域，确定所述目标血管对应的检查路径具体包括：
获取所述目标血管区域中的第一血管壁边缘和第二血管壁边缘；
对于第一血管壁边缘中的每个像素点，确定该像素点和其对应的参考像素点的连线的中心点，其中，参考像素点位于第二血管壁边缘上；
将获取到的所有中心点连接以得到所述目标血管对应的检查路径。
具体地，所述第一血管壁边缘和第二血管壁边缘均为目标血管的血管壁在DSA图像中所处的图像区域，目标血管区域包括目标血管的血管壁在DSA图像中所处的图像区域。其中，第一血管壁边缘和第二血管壁边缘均可以通过预先训练的识别模型，或者是通过传统图像识别方法，或者是通过边缘识别方式(例如，roberts算子、Prewitt算子、sobel算子、canny算子以及Laplacian算子等)等。例如，在本实施例的一个具体实现方式中，所述第一血管壁边缘和第二血管壁边缘均采用sobel算子确定得到的。
进一步，第一血管壁边缘与第二血管壁边缘相对应，对于第一血管壁边缘中的每个像素点，第二血管壁边缘中均存在一个参考像素点，该参考像素点与该像素点相对应，其中，参考像素点与该像素点相对应指的是像素点在第一血管壁边缘中的位置信息与参考像素点在第二血管壁边缘中的位置信息相同。例如，第一血管壁边缘和第二血管壁边缘均为曲线，像素点A为从第一血管壁边缘的第一端开始数的第二个像素点，那么像素点A对应的参考像素点B为第二血管壁边缘的第二端开始数的第二个像素点，并且第一端和第二端位于目标血管的同一端，例如，第一端位于目标血管靠近远心端，则第二端位于目标血管靠近远心端。
获取到像素点和其对应的参考像素点后，连接像素点与其对应的参考像素点，以得到连接线段；选取该连接线段的中点，并将该中点作为检查路径上的一个检查点；最后将所有检查点连接得到所述目标血管对应的检查路径。在本实施例的一个实现方式中，在确定检查路径上的检查点时，可以在第一血管壁边缘上每间隔预设数量的像素点选取一个像素点以减少检查点的数量，以提高检查路径的获取速度，其中，预设数量可以为预先设置的，例如，5,10等。当然，值得说明的是，在确定中心点时，可以对于第一血管壁边缘中的像素点在第二血管壁边缘中查找参考像素点，也可以对于第二血管壁边缘中的像素点在第一血管壁边缘中查找参考像素点，这里是在第二血管壁边缘中查找与第一血管壁边缘中的像素点对应的参考像素点为例加以说明的。
S40、基于所述检查路径，确定所述目标血管对应的扫描路径。
具体地，所述扫描路径为用于超声探头沿目标部位的皮肤表面移动的移动路径，用于配置于用于控制超声探头的机械臂中，通过机械臂带动探头在目标部位上沿该扫描路径移动，可以扫描到目标血管的超声图像，其中，若干超声图像中的每张超声图像均包括有部分目标血管区域。所述扫描路径为超声探头沿目标部位的皮肤表面所移动的移动轨迹，检查路径为位于DSA图像中的目标血管所处图像区域中的移动轨迹。基于此，在获取到检查路径后，可以采用检查路径作为引导来确定扫描路径，使得扫描路径与目标血管的血管走向相匹配，从而可以提高基于扫描路径对目标血管进行扫描的准确性。
在本实施例的一个实现方式中，所述基于所述检查路径，确定所述目标血管对应的扫描路径具体包括：
获取目标部位的目标图像，并基于所述目标图像将所述检查路径匹配至目标部位，以得到扫描路径。
具体地，所述目标图像为通过图像采集设备对目标部位拍摄得到，其中，所述目标图像携带有深度信息。例如，图像采集设备为深度相机，目标图像为通过深度相机对目标图像拍摄以得到目标图像。所述目标图像包括的图像内容包括于DSA图像中，换句话说，DSA图像包括目标图像中的图像特征，从而可以将DSA图像与目标图像进行特征匹配，以将移动轨迹映射至目标图像上，以得到扫描路径，其中，扫描路径的延伸方向与检查路径的延伸方向相同，并且对于检查路径中的每个检查点，扫描路径中均存在一个扫描点与该检查点相对应。
在本实施例的一个实现方式中，所述获取目标部位的目标图像，并基于所述目标图像将所述移动轨迹匹配至目标部位，以得到扫描路径具体包括：
获取所述目标部位的目标图像，其中，所述目标图像包括深度信息；
在所述目标图像中选取所述目标部位的候选部位轮廓；
基于所述候选部位轮廓以及所述目标血管区域，确定所述检查路径对应的扫描路径。
具体地，所述目标图像为灰度图，并且目标图像携带有目标部位的图像信息以及深度信息，其中，所述目标图像可以通过深度摄像机获取的目标图像的影像。所述候选部位轮廓指的是所述目标部位在目标图像中的部位边缘，候选部位轮廓可以通过边缘识别的方式获取，例如，采用sobel算子识别目标部位的部位边缘等。
在获取到候选部位轮廓后，将所述目标图像与DSA图像进行匹配，以将目标图像与DSA图像对齐。在一个实现方式中，所述匹配方法可以采用根据候选部位轮廓确定目标部位对应的若干候选横截面，并在目标部位对应图像区域中选取若干参考横截面；将若干候选横截面中相邻两个横截面的沿候选部位轮廓连接以形成若干候选四边形，并将若干参考横截面中相邻两个参考横截面的连接以形成若干参考四边形；最后将各候选四边形和若干参考四边形进行匹配，以将目标图像与DSA图像对齐。在目标图像与DSA图像对齐后，将检查路径匹配至目标图像，以得到目标血管对应的扫描路径。
在本实施的一个实现方式中，所述基于所述检查路径，确定所述目标血管对应的扫描路径之后，所述方法还包括：
控制机械臂带动超声探头按照所述扫描路径对扫描查血管进行扫描，以得到扫描图像；
基于所述扫描图像，确定目标血管的血管管径以及参考距离；
根据所述血管管径以及所述参考调整所述扫描路径，并将调整后的扫描路径作为目标血管对应的扫描路径。
具体地，所述扫描图像为机械臂按照扫描路径带动超声探头在皮肤表面运动所采集到的超声图像，每个扫描图像对应的扫描路径上的一个扫描点，该扫描点对应于检查路径上的一个检查点。从而，在获取到扫描图像后，该扫描图像对应的检查点来对该扫描图像对应的扫描点进行调整，以调整扫描路径。所述参考距离为目标血管与皮肤表面之间的距离，其中，所述目标血管的血管管径为在超声中心线发射方向上的血管管径，参考距离为目标图像中在超声中心线发射方向上的血管到皮肤表面之间的距离。
在本实施例的一个实现方式中，所述根据所述血管管径以及所述参考调整所述扫描路径具体包括：
若血管管径与参考距离的和小于预设距离，则将所述超声探头沿超声发射中心线向远离皮肤表面的方向移动，其中，所述预设距离为所述扫描图像对应的轨迹点对应的目标定位点与目标部位的部位轮廓之间无骨骼阻碍的最小距离；
获取移动后的超声探头的位置信息，并采用所述位置信息更新所述扫描图像对应的轨迹点，以调整所述扫描路径。
具体地，所述预设距离可以为预设的，用于反映检查点与目标部位的皮肤表面之间的距离，换句话说，预设距离为规划扫描路径时检查点与皮肤之间的距离，并且，若干检测点中的各检测点各自对应的预设距离可以不同。当血管管径与参考距离的和小于预设距离时，调整机械臂带动超声探头沿超声发射中心线方向向远离皮肤方向移动目标距离，其中，目标距离为预设距离与参照距离的差值，参照距离为血管管径与参考距离的和。此外，在机械臂移动时，若目标距离小于机械臂探头移动精度，则机械臂不做移动，亦无需更新组织检查路径和机械臂扫描路径。若目标距离大于机械臂探头移动精度，则将目标距离规划为目标距离/机械臂探头移动精度个整数步进，并控制机械臂按照步进进行运动。在机械臂完成移动后，获取移动后的超声探头的位置信息，并采用所述位置信息更新所述扫描图像对应的轨迹点，以调整所述扫描路径。这样通过采集超声图像确定的目标血管与皮肤表面的实际距离更新皮肤表面扫描路径，可以提高扫描路径的精确性。
综上所述，本实施例提供了一种血管扫描路径的规划方法，所述方法包括获取目标部位的DSA图像；基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；基于所述目标血管区域，确定所述目标血管对应的检查路径；基于所述检查路径，确定所述目标血管对应的扫描路径。本申请通过图像分割模型确定DSA图像中的目标血管区域，并基于获取到目标血管区域确定目标血管的血管走向，并基于血管走向来规划扫描路径，这样以血管走向作为扫描路径引导，可以提高扫描路径与目标血管的匹配度，从而可以提高基于扫描路径对目标血管扫描的准确性。
基于上述血管扫描路径的规划方法，本实施例提供了一种血管扫描路径的规划装置，如图3所示，所述规划装置包括：
获取模块100，用于获取目标部位的DSA图像，其中，所述目标部位包括目标血管；
第一确定模块200，用于基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；
第二确定模块300，用于基于所述目标血管区域，确定所述目标血管对应的检查路径，其中，所述检查路径包含与所述目标血管区域内；
第三确定模块400，用于基于所述检查路径，确定所述目标血管对应的扫描路径。
在一个实现方式中，所述图像分割模型为预先经过训练的，所述图像分割模型的训练过程具体包括：
获取训练样本集，其中，所述训练样本集包括若干训练图像，若干训练图像中的每个训练图像均包括标注血管区域；
将训练样本集中的训练图像输入预设网络模型，通过预设网络模型输出预测血管区域；
基于所述训练图像对应的标注血管区域以及预测血管区域，对所述预设网络模型进行训练，以得到图像分割模型。
在一个实现方式中，所述获取所述训练样本集具体包括：
获取若干DSA图像，其中，若干DSA图像中的每个DSA图像均包括标注血管区域；
对于若干DSA图像中的每个DSA图像，将该DSA图像中的标注血管区域中的各像素点的像素值设置为第一像素值，除标注血管区域外的各像素点的像素值设置为第二像素值；
将设置后的各DSA图像构成的图像集作为训练样本集。
在一个实现方式中，所述图像分割模型采用U-net编码器—解码器对称的网络结构。
在一个实现方式中，所述第二确定模块具体包括：
获取单元，用于获取所述目标血管区域中的第一血管壁边缘和第二血管壁边缘；
确定单元，用于对于第一血管壁边缘中的每个像素点，确定该像素点和其对应的参考像素点的连线的中心点，其中，参考像素点位于第二血管壁边缘上；
将获取到的所有中心点连接以得到所述目标血管对应的检查路径。
在一个实现方式中，所述第三确定模块具体包括：
匹配单元，用于获取目标部位的目标图像，并基于所述目标图像将所述检查路径匹配至目标部位，以得到扫描路径。
在一个实现方式中，所述匹配单元具体用于：
获取所述目标部位的目标图像，其中，所述目标图像包括深度信息；
在所述目标图像中选取所述目标部位的候选部位轮廓；
基于所述候选部位轮廓以及所述目标血管区域，确定所述检查路径对应的扫描路径。
基于上述血管扫描路径的规划方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的血管扫描路径的规划方法中的步骤。
基于上述血管扫描路径的规划方法，本申请还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (9)
1.一种血管扫描路径的规划方法，其特征在于，所述方法包括：
获取目标部位的DSA图像，其中，所述目标部位包括目标血管；
基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；
基于所述目标血管区域，确定所述目标血管对应的检查路径，其中，所述检查路径用于反映目标血管的血管走向；
所述基于所述目标血管区域，确定所述目标血管对应的检查路径具体包括：
获取所述目标血管区域中的第一血管壁边缘和第二血管壁边缘；
对于第一血管壁边缘中的每个像素点，确定该像素点和其对应的参考像素点的连线的中心点，其中，参考像素点位于第二血管壁边缘上；
将获取到的所有中心点连接以得到所述目标血管对应的检查路径；
基于所述检查路径，确定所述目标血管对应的扫描路径。
2.根据权利要求1所述血管扫描路径的规划方法，其特征在于，所述图像分割模型为预先经过训练的，所述图像分割模型的训练过程具体包括：
获取训练样本集，其中，所述训练样本集包括若干训练图像，若干训练图像中的每个训练图像均包括标注血管区域；
将训练样本集中的训练图像输入预设网络模型，通过预设网络模型输出预测血管区域；
基于所述训练图像对应的标注血管区域以及预测血管区域，对所述预设网络模型进行训练，以得到图像分割模型。
3.根据权利要求2所述血管扫描路径的规划方法，其特征在于，所述获取所述训练样本集具体包括：
获取若干DSA图像，其中，若干DSA图像中的每个DSA图像均包括标注血管区域；
对于若干DSA图像中的每个DSA图像，将该DSA图像中的标注血管区域中的各像素点的像素值设置为第一像素值，除标注血管区域外的各像素点的像素值设置为第二像素值；
将设置后的各DSA图像构成的图像集作为训练样本集。
4.根据权利要求1-3任一所述的血管扫描路径的规划方法，其特征在于，所述图像分割模型采用U-net编码器—解码器对称的网络结构。
5.根据权利要求1所述血管扫描路径的规划方法，其特征在于，所述基于所述检查路径，确定所述目标血管对应的扫描路径具体包括：
获取目标部位的目标图像，并基于所述目标图像将所述检查路径匹配至目标部位，以得到扫描路径。
6.根据权利要求5所述血管扫描路径的规划方法，其特征在于，所述获取目标部位的目标图像，并基于所述目标图像将所述检查路径匹配至目标部位，以得到扫描路径具体包括：
获取所述目标部位的目标图像，其中，所述目标图像包括深度信息；
在所述目标图像中选取所述目标部位的候选部位轮廓；
基于所述候选部位轮廓以及所述目标血管区域，确定所述检查路径对应的扫描路径。
7.一种血管扫描路径的规划装置，其特征在于，所述规划装置包括：
获取模块，用于获取目标部位的DSA图像，其中，所述目标部位包括目标血管；
第一确定模块，用于基于预设的图像分割模型，确定所述DSA图像中的目标血管区域；
第二确定模块，用于基于所述目标血管区域，确定所述目标血管对应的检查路径，其中，所述检查路径包含于所述目标血管区域内；
所述基于所述目标血管区域，确定所述目标血管对应的检查路径具体包括：
获取所述目标血管区域中的第一血管壁边缘和第二血管壁边缘；
对于第一血管壁边缘中的每个像素点，确定该像素点和其对应的参考像素点的连线的中心点，其中，参考像素点位于第二血管壁边缘上；
将获取到的所有中心点连接以得到所述目标血管对应的检查路径；
第三确定模块，用于基于所述检查路径，确定所述目标血管对应的扫描路径。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-6任意一项所述的血管扫描路径的规划方法中的步骤。
9.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述的血管扫描路径的规划方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505244.7A CN112614141B (zh) | 2020-12-18 | 2020-12-18 | 血管扫描路径的规划方法、装置、存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505244.7A CN112614141B (zh) | 2020-12-18 | 2020-12-18 | 血管扫描路径的规划方法、装置、存储介质及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614141A CN112614141A (zh) | 2021-04-06 |
| CN112614141B true CN112614141B (zh) | 2023-09-19 |
Family
ID=75241157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011505244.7A Active CN112614141B (zh) | 2020-12-18 | 2020-12-18 | 血管扫描路径的规划方法、装置、存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614141B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023184518A1 (en) * | 2022-04-02 | 2023-10-05 | Shanghai United Imaging Healthcare Co., Ltd. | Automated scanning system and method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002000103A2 (en) * | 2000-06-27 | 2002-01-03 | Cbyon, Inc. | Method and apparatus for tracking a medical instrument based on image registration |
| WO2012098485A1 (en) * | 2011-01-20 | 2012-07-26 | Koninklijke Philips Electronics N.V. | Method for determining at least one applicable path of movement for an object in tissue |
| CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
| CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
| CN109805991A (zh) * | 2019-03-14 | 2019-05-28 | 北京理工大学 | 血管穿刺辅助控制方法及装置 |
| CN110993065A (zh) * | 2019-11-19 | 2020-04-10 | 浙江工业大学 | 一种基于图像引导的脑肿瘤锁孔手术路径规划方法 |
| CN111325759A (zh) * | 2020-03-13 | 2020-06-23 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、计算机设备及可读存储介质 |
| CN111968070A (zh) * | 2020-04-22 | 2020-11-20 | 深圳睿心智能医疗科技有限公司 | 一种基于三维建模的血管检测方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11931202B2 (en) * | 2018-09-03 | 2024-03-19 | Canon Medical Systems Corporation | Ultrasound automatic scanning system, ultrasound diagnostic apparatus, ultrasound scanning support apparatus |
| CN109979593B (zh) * | 2018-09-24 | 2021-04-13 | 北京科亚方舟医疗科技股份有限公司 | 血管路径的健康半径的预测方法、血管路径的候选狭窄处的预测方法、血管狭窄度预测装置 |
-
2020
- 2020-12-18 CN CN202011505244.7A patent/CN112614141B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002000103A2 (en) * | 2000-06-27 | 2002-01-03 | Cbyon, Inc. | Method and apparatus for tracking a medical instrument based on image registration |
| WO2012098485A1 (en) * | 2011-01-20 | 2012-07-26 | Koninklijke Philips Electronics N.V. | Method for determining at least one applicable path of movement for an object in tissue |
| CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
| CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
| CN109805991A (zh) * | 2019-03-14 | 2019-05-28 | 北京理工大学 | 血管穿刺辅助控制方法及装置 |
| CN110993065A (zh) * | 2019-11-19 | 2020-04-10 | 浙江工业大学 | 一种基于图像引导的脑肿瘤锁孔手术路径规划方法 |
| CN111325759A (zh) * | 2020-03-13 | 2020-06-23 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、计算机设备及可读存储介质 |
| CN111968070A (zh) * | 2020-04-22 | 2020-11-20 | 深圳睿心智能医疗科技有限公司 | 一种基于三维建模的血管检测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Feasibility evaluation of 3D photoacoustic imaging of blood vessel structure using multiple wavelengths with a handheld probe;Yo Uchimoto et al,;PROCEEDINGS OF SPIE;1-8 * |
| 一种提取数字减影图像血管边界方法的研究;白玫,冯树理,彭明辰;医疗设备信息(05);全文 * |
| 影像引导下腹腔神经丛毁损术的研究进展;魏婷 等;肿瘤预防与治疗;第32卷(第6期);552-556 * |
| 影像引导血管内精准介入诊疗;陈芳;马龙飞;廖洪恩;;中国医疗设备(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614141A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8162835B2 (en) | Ultrasonic image generating method | |
| JP2021140820A (ja) | 血管内画像における影の検出および検証 | |
| US10405817B2 (en) | X-ray image diagnosis apparatus and medical system | |
| CN110910465B (zh) | 一种运动伪影校正方法和系统 | |
| CN112614141B (zh) | 血管扫描路径的规划方法、装置、存储介质及终端设备 | |
| Jiang et al. | Towards autonomous atlas-based ultrasound acquisitions in presence of articulated motion | |
| Goyal et al. | A refined deep learning architecture for diabetic foot ulcers detection | |
| KR102250219B1 (ko) | 초음파 진단 시스템 | |
| JP2022549669A (ja) | 時空間データに基づき医用画像を解析するシステム及び方法 | |
| CN112842395B (zh) | 一种扫描轨迹的规划方法、存储介质及终端设备 | |
| CN109350059B (zh) | 用于肘部自动对准的组合的转向引擎和界标引擎 | |
| WO2021106967A1 (ja) | 眼底画像処理装置および眼底画像処理プログラム | |
| JP2021006250A (ja) | ３次元血管認識方法及び３次元血管認識装置 | |
| WO2023054467A1 (ja) | モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置 | |
| CN113538419B (zh) | 一种图像处理方法和系统 | |
| CN115359100A (zh) | 融合造影方法、腔内图像和造影图像的配准方法及装置 | |
| CN112529906B (zh) | 一种软件层面的血管内oct三维图像管腔分割方法和装置 | |
| CN112472138B (zh) | 一种超声跟踪方法、系统、存储介质及超声设备 | |
| CN111513738B (zh) | 血管造影方法、装置、设备及系统 | |
| JP7215053B2 (ja) | 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム | |
| CN111599004A (zh) | 一种3d血管成像系统、方法及装置 | |
| CN112472139B (zh) | 一种成像参数的配置方法、存储介质及超声设备 | |
| Filho et al. | Automated calcification detection and quantification in intravascular ultrasound images by adaptive thresholding | |
| WO2021220990A1 (ja) | 画像認識装置および画像認識プログラム | |
| US20230270414A1 (en) | Method and device for characterizing at least one object depicted in an ultrasound image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 518000, 18th Floor, Building B, High tech Innovation Center, Guangqiao Road, Tianliao Community, Yutang Street, Guangming District, Shenzhen, Guangdong Province Patentee after: Shenzhen Delikai Medical Electronics Co.,Ltd. Address before: 6 / F, building 10, Guanlong Village Second Industrial Zone, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN DELICA MEDICAL EQUIPMENT Co.,Ltd. |
|
| CP03 | Change of name, title or address |