CN117994346A - 基于数字孪生的穿刺器械检测方法、系统及存储介质 - Google Patents
基于数字孪生的穿刺器械检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117994346A CN117994346A CN202410398695.7A CN202410398695A CN117994346A CN 117994346 A CN117994346 A CN 117994346A CN 202410398695 A CN202410398695 A CN 202410398695A CN 117994346 A CN117994346 A CN 117994346A
- Authority
- CN
- China
- Prior art keywords
- puncture needle
- puncture
- model
- digital
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 9
- 239000000243 solution Substances 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及器械检测技术领域，具体涉及基于数字孪生的穿刺器械检测方法、系统及存储介质，包括以下步骤：利用数字孪生技术，通过所述穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正。本发明在实景空间和数字空间分别解算穿刺针位置信息，实现多空间多数据化识别穿刺针，提升了穿刺针识别的鲁棒性，而且实景空间和数字空间间解算结果的相互限定校正，保障了穿刺针识别的精准度。
Description
技术领域
本发明涉及器械检测技术领域，具体涉及基于数字孪生的穿刺器械检测方法、系统及存储介质。
背景技术
静脉穿刺，是临床中常用的一种治疗手段。然而，繁重的穿刺任务给医护人员带来了极大的负担；同时，穿刺失败给患者带来的风险也逐渐被大众所重视。而静脉穿刺采血/注射机器人的发明可以很好的解决这一切。随着智慧医疗的快速发展，市场对于静脉穿刺采血/注射机器人日益增加。而对于静脉采血机器人的自动化而言，穿刺针位置的识别是其中很重要的一步。
现有技术通常仅依赖于医学图像识别来实现穿刺针的检测，因此检测结果仅取决于图像数据这单一数据，而且图像数据的质量也影响检测结果，检测途径单一导致穿刺针检测结果鲁棒性差，最终导致穿刺针的检测精度不可控。
发明内容
本发明的目的在于提供一种基于数字孪生的穿刺器械检测方法、系统及存储介质，以解决现有技术中检测结果仅取决于图像数据这单一数据，而且图像数据的质量也影响检测结果，检测途径单一导致穿刺针检测结果鲁棒性差，最终导致穿刺针的检测精度不可控的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一方面，本发明提供了一种基于数字孪生的穿刺器械检测方法，包括以下步骤：
获取穿刺前的CT图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3D模型和穿刺针实体3D模型；
利用数字孪生技术，通过所述穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；
通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；
利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。
作为本发明的一种优选方案，利用CAD 3D建模软件通过穿刺前的CT图像和穿刺针图像分别构建出穿刺实景3D模型和穿刺针实体3D模型。
作为本发明的一种优选方案，所述穿刺针孪生平台的创建方法，包括：
通过Unity加载穿刺实景3D模型和穿刺针实体3D模型投影至数字平台上，得到穿刺针孪生平台；
其中，穿刺针实体3D模型与穿刺针实体间通过云服务器构建有数据传输通道，以实现穿刺针实体3D模型和穿刺针实体的实时数据传输。
作为本发明的一种优选方案，所述穿刺实景3D模型和穿刺针实体3D模型投影方法为UTM投影方法。
作为本发明的一种优选方案，所述穿刺针数字预测坐标的解算方法包括：
将穿刺针实体的移动信息实时传输至穿刺针实体3D模型中，使得穿刺针实体3D模型在穿刺实景3D模型中依据移动信息进行相应移动；
穿刺针孪生平台实时记录穿刺针实体3D模型在穿刺实景3D模型中的位置信息，作为所述穿刺针数字预测坐标。
作为本发明的一种优选方案，所述穿刺针识别模型的创建方法包括：
随机选取多个超声图像作为样本图像；
在样本图像中标记出表征穿刺针实体的位置信息作为实景预测坐标；
将样本图像作为YOLO V5神经网络的输入项，将所述实景预测坐标作为YOLO V5神经网络的输出项，利用YOLO V5神经网络对YOLO V5神经网络的输入项和YOLO V5神经网络的输出项进行映射学习，得到所述穿刺针识别模型；
所述穿刺针识别模型为：
Dreal=YOLO V5(G)；
式中，Dreal为穿刺针实景预测坐标，G为超声图像，YOLO V5为YOLO V5神经网络。
作为本发明的一种优选方案，利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，包括：
将穿刺针孪生平台解算出的穿刺针数字预测坐标与穿刺针识别模型解算出的穿刺针实景预测坐标，分别作为boosting分类器的输入项；
将穿刺针真实坐标作为boosting分类器的输出项；
以穿刺针孪生平台解算的准确率和穿刺针识别模型解算的准确率，构建出用于解算结果在数字空间和实景空间进行校正的校正目标函数；
以所述校正目标函数作为boosting分类器的损失函数，对boosting分类器进行训练，得到输出穿刺针真实坐标的校正模型；
所述校正模型为：
D=boosting(Dreal, Ddigital)；
式中，D为穿刺针真实坐标，Dreal穿刺针实景坐标，Ddigital为穿刺针数字坐标，boosting为boosting分类器。
作为本发明的一种优选方案，所述校正目标函数为：
M=(1-sigmoid)*(FR-FD)2-sigmoid*(FR2+FD2)；
式中，M为校正目标值，FR为穿刺针孪生平台解算的准确率，FD为穿刺针孪生平台解算的准确率，sigmoid为sigmoid函数。
在本发明的第二方面，本发明提供了一种基于数字孪生的穿刺器械检测系统，应用于所述的一种基于数字孪生的穿刺器械检测方法，穿刺器械检测系统包括：
数字模型构建单元，用于获取穿刺前的CT图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3D模型和穿刺针实体3D模型；
数字空间解算单元，用于利用数字孪生技术，通过所述穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；
实景空间解算单元，用于通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；
解算校正单元，用于利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。
在本发明的第三方面，本发明提供了一种计算机存储介质，所述计算机存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现所述穿刺器械检测方法。
本发明与现有技术相比较具有如下有益效果：
本发明在实景空间和数字空间分别解算穿刺针位置信息，实现多空间多数据化识别穿刺针，提升了穿刺针识别的鲁棒性，而且实景空间和数字空间间解算结果的相互限定校正，保障了穿刺针识别的精准度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例的穿刺设备结构图；
图2为本发明实施例提供的穿刺器械检测方法流程图；
图3为本发明实施例提供的穿刺器械检测系统框图；
图中的标号分别表示如下：
1-第一穿刺臂；11-第一柔性穿刺针；
2-第二穿刺臂；12-第二柔性穿刺针；
3-超声臂；31-超声探头；
4-显示器；
51-第一主手；52-第二主手。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，机器人系统包括：人机交互装置、第一穿刺臂1、第二穿刺臂2、超声臂3和手术导引工作站；
第一穿刺臂1的末端安装有第一柔性穿刺针11，第二穿刺臂2的末端安装有第二柔性穿刺针12，超声臂3的末端安装有超声探头31；
人机交互装置用于接收操作指令并且向第一穿刺臂1、第二穿刺臂2、超声臂3、第一柔性穿刺针11和第二柔性穿刺针12发出动作指令；
手术导引工作站用于融合通过超声探头31在术中采集的超声图像和术前采集的CT图像、规划第一柔性穿刺针11和第二柔性穿刺针12的手术路径、判断目标靶位置，并且向操作者显示包括手术路径和目标靶位置的实时导航图像。
如图2所示，在本发明的第一方面，本发明提供了在本发明的第一方面，本发明提供了一种基于数字孪生的穿刺器械检测方法，包括以下步骤：
获取穿刺前的CT图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3D模型和穿刺针实体3D模型；
利用数字孪生技术，通过穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；
通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；
利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。
利用CAD 3D建模软件通过穿刺前的CT图像和穿刺针图像分别构建出穿刺实景3D模型和穿刺针实体3D模型。
本发明为了提升穿刺针识别的鲁棒性，降低对图像数据的单一依赖性，利用数字孪生技术构建穿刺针孪生平台，在数字空间（或称虚拟空间）实现对穿刺针的识别，以及利用神经网络构建穿刺针识别模型，在实景空间（或称真实空间）实现对穿刺针的识别，数字空间和实景空间相结合进行穿刺针位置信息的检测，实现多空间化、多数据化利用至穿刺针识别中，去单一数据化，从而实现提升穿刺针识别的鲁棒性。
进一步的，本发明将数字空间和实景空间中穿刺针位置信息的解算结果进行相互校正，从而使得解算出的穿刺针位置信息准确性更高，更能从多空间多数据中解算出真实性更高的穿刺针位置信息。
具体的，本发明通过分类器boosting思想构建校正模型，通过深度学习模型对数字空间和实景空间的解算结果进行自动校正，从而能够在两个空间中提取最准确的，或称最接近真实结果的穿刺针识别结果，从而实现穿刺针识别精准度的提升。
本发明利用数字孪生技术构建穿刺针孪生平台，在数字空间（或称虚拟空间）实现对穿刺针的识别，以及利用神经网络构建穿刺针识别模型，在实景空间（或称真实空间）实现对穿刺针的识别，具体如下：
穿刺针孪生平台的创建方法，包括：
通过Unity加载穿刺实景3D模型和穿刺针实体3D模型投影至数字平台上，得到穿刺针孪生平台；
其中，穿刺针实体3D模型与穿刺针实体间通过云服务器构建有数据传输通道，以实现穿刺针实体3D模型和穿刺针实体的实时数据传输。
穿刺实景3D模型和穿刺针实体3D模型投影方法为UTM投影方法。
穿刺针数字预测坐标的解算方法包括：
将穿刺针实体的移动信息实时传输至穿刺针实体3D模型中，使得穿刺针实体3D模型在穿刺实景3D模型中依据移动信息进行相应移动；
穿刺针孪生平台实时记录穿刺针实体3D模型在穿刺实景3D模型中的位置信息，作为穿刺针数字预测坐标。
本发明利用穿刺针孪生平台进行穿刺针的检测，使得穿刺针检测在开发测试阶段可以在贴近真实环境的数字空间中进行大量的测试，有效提升穿刺针检测的效率，且不会对真实环境下的穿刺过程造成任何影响，数字孪生平台的穿刺针检测安全性更强。
进一步的，穿刺针孪生平台的数字空间中穿刺针3D模型与穿刺过程中的真实空间内穿刺针实体之间进行数据交互，交互呈现实时交互，穿刺针孪生平台根据实时交互的信息，进行数字空间中穿刺针位置信息的自适应更新，从而实现数字坐标的自适应更新，实现穿刺针坐标的修正更新，提高了数字空间解算穿刺针位置信息的准确性。
本发明利用神经网络构建穿刺针识别模型，在实景空间（或称真实空间）实现对穿刺针的识别，具体如下：
穿刺针识别模型的创建方法包括：
随机选取多个超声图像作为样本图像；
在样本图像中标记出表征穿刺针实体的位置信息作为实景预测坐标；
将样本图像作为YOLO V5神经网络的输入项，将实景预测坐标作为YOLO V5神经网络的输出项，利用YOLO V5神经网络对YOLO V5神经网络的输入项和YOLO V5神经网络的输出项进行映射学习，得到穿刺针识别模型；
穿刺针识别模型为：
Dreal=YOLO V5(G)；
式中，Dreal为穿刺针实景预测坐标，G为超声图像，YOLO V5为YOLO V5神经网络。本发明通过分类器boosting思想构建校正模型，通过深度学习模型对数字空间和实景空间的解算结果进行自动校正，从而能够在两个空间中提取最准确的，或称最接近真实结果的穿刺针识别结果，从而实现穿刺针识别精准度的提升，具体如下：
利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，包括：
将穿刺针孪生平台解算出的穿刺针数字预测坐标与穿刺针识别模型解算出的穿刺针实景预测坐标，分别作为boosting分类器的输入项；
将穿刺针真实坐标作为boosting分类器的输出项；
以穿刺针孪生平台解算的准确率和穿刺针识别模型解算的准确率，构建出用于解算结果在数字空间和实景空间进行校正的校正目标函数；
以校正目标函数作为boosting分类器的损失函数，对boosting分类器进行训练，得到输出穿刺针真实坐标的校正模型；
校正模型为：
D=boosting(Dreal, Ddigital)；
式中，D为穿刺针真实坐标，Dreal穿刺针实景坐标，Ddigital为穿刺针数字坐标，boosting为boosting分类器。
校正目标函数为：
M=(1-sigmoid)*(FR-FD)2-sigmoid*(FR2+FD2)；
式中，M为校正目标值，FR为穿刺针孪生平台解算的准确率，FD为穿刺针孪生平台解算的准确率，sigmoid为sigmoid函数。
本发明为了对数字空间和实景空间的解算结果进行校正以获得最准确的穿刺针识别结果，设定校正目标，即使得穿刺针孪生平台解算的准确率最高、穿刺针孪生平台解算的准确率最高，且二者间的差距最小，为计算方便进行最小化结合，从而达到数字空间和实景空间解算准确率的双最大化，从而保证了以校正目标训练出的校正模型能够校正出最真实的穿刺针位置信息。
而且添加了sigmoid生长函数，能够在校正模型训练过程中，进行自适应偏向，保证数字空间和实景空间解算准确率最大化程度跟随训练阶段逐渐增强，二者差距最小化程度根据训练阶段逐渐减弱，符合校正中以追求最高准确性来获取最真实解算结果的目标，因此，本发明的数字空间和实景空间的解算结果校正，自适应能力强，进一步保障了解算校正精准性。
如图3所示，在本发明的第二方面，本发明提供了一种基于数字孪生的穿刺器械检测系统，应用于的一种基于数字孪生的穿刺器械检测方法，穿刺器械检测系统包括：
数字模型构建单元，用于获取穿刺前的CT图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3D模型和穿刺针实体3D模型；
数字空间解算单元，用于利用数字孪生技术，通过穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；
实景空间解算单元，用于通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；
解算校正单元，用于利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。
在本发明的第三方面，本发明提供了一种计算机存储介质，计算机存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现穿刺器械检测方法。
本发明在实景空间和数字空间分别解算穿刺针位置信息，实现多空间多数据化识别穿刺针，提升了穿刺针识别的鲁棒性，而且实景空间和数字空间间解算结果的相互限定校正，保障了穿刺针识别的精准度。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种基于数字孪生的穿刺器械检测方法，其特征在于，包括以下步骤：
获取穿刺前的CT图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3D模型和穿刺针实体3D模型；
利用数字孪生技术，通过所述穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；
通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；
利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。
2.根据权利要求1所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：利用CAD 3D建模软件通过穿刺前的CT图像和穿刺针图像分别构建出穿刺实景3D模型和穿刺针实体3D模型。
3.根据权利要求2所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺针孪生平台的创建方法，包括：
通过Unity加载穿刺实景3D模型和穿刺针实体3D模型投影至数字平台上，得到穿刺针孪生平台；
其中，穿刺针实体3D模型与穿刺针实体间通过云服务器构建有数据传输通道，以实现穿刺针实体3D模型和穿刺针实体的实时数据传输。
4.根据权利要求3所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺实景3D模型和穿刺针实体3D模型投影方法为UTM投影方法。
5.根据权利要求4所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺针数字预测坐标的解算方法包括：
将穿刺针实体的移动信息实时传输至穿刺针实体3D模型中，使得穿刺针实体3D模型在穿刺实景3D模型中依据移动信息进行相应移动；
穿刺针孪生平台实时记录穿刺针实体3D模型在穿刺实景3D模型中的位置信息，作为所述穿刺针数字预测坐标。
6.根据权利要求5所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺针识别模型的创建方法包括：
随机选取多个超声图像作为样本图像；
在样本图像中标记出表征穿刺针实体的位置信息作为实景预测坐标；
将样本图像作为YOLO V5神经网络的输入项，将所述实景预测坐标作为YOLO V5神经网络的输出项，利用YOLO V5神经网络对YOLO V5神经网络的输入项和YOLO V5神经网络的输出项进行映射学习，得到所述穿刺针识别模型；
所述穿刺针识别模型为：Dreal=YOLO V5(G)；式中，Dreal为穿刺针实景预测坐标，G为超声图像，YOLO V5为YOLO V5神经网络。
7.根据权利要求6所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，包括：
将穿刺针孪生平台解算出的穿刺针数字预测坐标与穿刺针识别模型解算出的穿刺针实景预测坐标，分别作为boosting分类器的输入项；
将穿刺针真实坐标作为boosting分类器的输出项；
以穿刺针孪生平台解算的准确率和穿刺针识别模型解算的准确率，构建出用于解算结果在数字空间和实景空间进行校正的校正目标函数；
以所述校正目标函数作为boosting分类器的损失函数，对boosting分类器进行训练，得到输出穿刺针真实坐标的校正模型；
所述校正模型为：
D=boosting(Dreal, Ddigital)；式中，D为穿刺针真实坐标，Dreal穿刺针实景坐标，Ddigital为穿刺针数字坐标，boosting为boosting分类器。
8.根据权利要求7所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述校正目标函数为：
M=(1-sigmoid)*(FR-FD)2-sigmoid*(FR2+FD2)；
式中，M为校正目标值，FR为穿刺针孪生平台解算的准确率，FD为穿刺针孪生平台解算的准确率，sigmoid为sigmoid函数。
9.一种基于数字孪生的穿刺器械检测系统，其特征在于，应用于权利要求1-8任一项所述的一种基于数字孪生的穿刺器械检测方法，穿刺器械检测系统包括：
数字模型构建单元，用于获取穿刺前的CT图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3D模型和穿刺针实体3D模型；
数字空间解算单元，用于利用数字孪生技术，通过所述穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；
实景空间解算单元，用于通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；
解算校正单元，用于利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求 1-8 任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410398695.7A CN117994346B (zh) | 2024-04-03 | 2024-04-03 | 基于数字孪生的穿刺器械检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410398695.7A CN117994346B (zh) | 2024-04-03 | 2024-04-03 | 基于数字孪生的穿刺器械检测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117994346A true CN117994346A (zh) | 2024-05-07 |
| CN117994346B CN117994346B (zh) | 2024-06-14 |
Family
ID=90889246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410398695.7A Active CN117994346B (zh) | 2024-04-03 | 2024-04-03 | 基于数字孪生的穿刺器械检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994346B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150065916A1 (en) * | 2013-08-29 | 2015-03-05 | Vasculogic, Llc | Fully automated vascular imaging and access system |
| CN112083799A (zh) * | 2020-07-23 | 2020-12-15 | 常州锦瑟医疗信息科技有限公司 | 一种增强现实辅助穿刺定位方法 |
| CN116052864A (zh) * | 2023-02-03 | 2023-05-02 | 广东工业大学 | 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法 |
| CN116224829A (zh) * | 2023-02-03 | 2023-06-06 | 广东工业大学 | 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法 |
| US20230177696A1 (en) * | 2021-12-02 | 2023-06-08 | Infervision Medical Technology Co., Ltd. | Method and system for generating guide information, and computer-readable storage medium |
| US20230181258A1 (en) * | 2021-12-10 | 2023-06-15 | Ix Innovation Llc | Robotic surgical system for insertion of surgical implants |
| WO2023110801A1 (en) * | 2021-12-16 | 2023-06-22 | Koninklijke Philips N.V. | Guidewire and catheter selection and real-time guidance |
| CN116912430A (zh) * | 2023-09-14 | 2023-10-20 | 北京唯迈医疗设备有限公司 | 用于构建远程介入手术室的三维数字孪生系统的装置 |
| CN117017439A (zh) * | 2023-04-13 | 2023-11-10 | 青岛市市立医院 | 一种数字孪生皮肤穿刺针辅助系统 |
| CN117670835A (zh) * | 2023-12-07 | 2024-03-08 | 北京理工大学 | 一种基于神经网络的穿刺损伤检测方法 |
-
2024
- 2024-04-03 CN CN202410398695.7A patent/CN117994346B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150065916A1 (en) * | 2013-08-29 | 2015-03-05 | Vasculogic, Llc | Fully automated vascular imaging and access system |
| CN112083799A (zh) * | 2020-07-23 | 2020-12-15 | 常州锦瑟医疗信息科技有限公司 | 一种增强现实辅助穿刺定位方法 |
| US20230177696A1 (en) * | 2021-12-02 | 2023-06-08 | Infervision Medical Technology Co., Ltd. | Method and system for generating guide information, and computer-readable storage medium |
| US20230181258A1 (en) * | 2021-12-10 | 2023-06-15 | Ix Innovation Llc | Robotic surgical system for insertion of surgical implants |
| WO2023110801A1 (en) * | 2021-12-16 | 2023-06-22 | Koninklijke Philips N.V. | Guidewire and catheter selection and real-time guidance |
| CN116052864A (zh) * | 2023-02-03 | 2023-05-02 | 广东工业大学 | 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法 |
| CN116224829A (zh) * | 2023-02-03 | 2023-06-06 | 广东工业大学 | 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法 |
| CN117017439A (zh) * | 2023-04-13 | 2023-11-10 | 青岛市市立医院 | 一种数字孪生皮肤穿刺针辅助系统 |
| CN116912430A (zh) * | 2023-09-14 | 2023-10-20 | 北京唯迈医疗设备有限公司 | 用于构建远程介入手术室的三维数字孪生系统的装置 |
| CN117670835A (zh) * | 2023-12-07 | 2024-03-08 | 北京理工大学 | 一种基于神经网络的穿刺损伤检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YANGYANG SHI等: "Synergistic Digital Twin and Holographic Augmented-Reality-Guided Percutaneous Puncture of Respiratory Liver Tumor", IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, vol. 52, no. 6, 31 December 2022 (2022-12-31), pages 1364 - 1374 * |
| 王磊;张耀楠;何颖;唐亮;赵金龙;: "基于SOFA的颈静脉穿刺虚拟手术系统的初步构建", 中国医疗设备, no. 02, 10 February 2018 (2018-02-10), pages 49 - 54 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117994346B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102014359B1 (ko) | 수술영상 기반 카메라 위치 제공 방법 및 장치 | |
| CN112734776B (zh) | 一种微创手术器械定位方法和系统 | |
| CN115005981A (zh) | 手术路径规划方法、系统、设备、介质和手术操作系统 | |
| KR101862360B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| Bi et al. | VesNet-RL: Simulation-based reinforcement learning for real-world US probe navigation | |
| KR102233585B1 (ko) | 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법 | |
| WO2020036968A9 (en) | Computer vision systems and methods for real-time localization of needles in ultrasound images | |
| KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| CN113197665A (zh) | 一种基于虚拟现实的微创外科手术模拟方法、系统 | |
| CN113171174A (zh) | 荧光镜图像中的取向检测 | |
| CN113703574A (zh) | 一种基于5g的vr医疗学习方法及系统 | |
| CN117994346B (zh) | 基于数字孪生的穿刺器械检测方法、系统及存储介质 | |
| CN110478042B (zh) | 一种基于人工智能技术的介入手术导航装置 | |
| CN116747017A (zh) | 脑出血手术规划系统及方法 | |
| CN116047412B (zh) | 标记物的伪影坐标去除方法及相关装置 | |
| CN111144163B (zh) | 基于神经网络的静脉与动脉识别系统 | |
| CN115135223A (zh) | 图像处理系统、内窥镜系统以及图像处理方法 | |
| CN112488982A (zh) | 一种超声图像检测方法及装置 | |
| CN116077152A (zh) | 穿刺路径规划方法及相关产品 | |
| Gil et al. | Intraoperative extraction of airways anatomy in videobronchoscopy | |
| CN114767270A (zh) | 一种用于肺部手术穿刺的导航显示系统 | |
| CN114187281A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN112885435B (zh) | 图像目标区域的确定方法、装置和系统 | |
| CN111598904A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN112085698A (zh) | 左右乳腺超声图像自动分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |