CN113643226B - 标注方法、装置、设备及介质 - Google Patents
标注方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113643226B CN113643226B CN202010342534.8A CN202010342534A CN113643226B CN 113643226 B CN113643226 B CN 113643226B CN 202010342534 A CN202010342534 A CN 202010342534A CN 113643226 B CN113643226 B CN 113643226B
- Authority
- CN
- China
- Prior art keywords
- labeling
- image
- dimensional
- perspective projection
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 51
- 210000000056 organ Anatomy 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001356 surgical procedure Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 abstract description 13
- 238000012549 training Methods 0.000 description 13
- 238000003062 neural network model Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000012805 animal sample Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种标注方法、装置、设备及介质。该方法包括:利用三维摄像头采集手术过程中的三维图像;利用预先建立的初始三维模型,匹配三维图像中的物体;其中,初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型;在三维图像中,标注匹配出的物体。本发明实施例的标注方法、装置、设备及介质,能够在手术过程中进行标注,进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性,降低手术风险。
Description
技术领域
本发明涉及医疗技术领域,尤其涉及一种标注方法、装置、设备及介质。
背景技术
在深度学习中,保证输出结果的准确性的决定因素在于海量的被准确标注的训练数据。这就要求海量的训练数据和训练数据被准确标注。在基于手术视频数据的深度学习的训练过程中,以上两点尤为突出。
首先,在数据量方面,一场手术很可能会达到一个小时或者一个小时以上。而我们知道每一秒的视频,往往包含24帧以上的画面。即使不需要对每一帧的画面都进行标注,由于手术视频数据中会包含大量的操作,以及目标对象的移动,导致仍然有大量的画面需要单独进行标注。
其次,在手术过程中,大量深度学习所需要的信息(比如,器官内部的血管等管道,特定组织结构)往往被掩盖于器官表面以下,这些信息是人们很难去定位和标注的。同时,在内窥镜手术画面中,往往只能看到局部的器官景象。因此在手术后,标注者很难判断操作时的具体位置。这也是传统的内窥镜手术视频的标注中的一大困扰。如果没有海量正确标注的数据,深度学习模型将无法进行有效训练,以产生准确的结果。
发明内容
本发明实施例提供一种标注方法、装置、设备及介质,能够在手术过程中进行标注,进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性,降低手术风险。
一方面,本发明实施例提供了一种标注方法,包括:
利用三维摄像头采集手术过程中的三维图像;
利用预先建立的初始三维模型,匹配三维图像中的物体;其中,初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型;
在三维图像中,标注匹配出的物体。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:
标注匹配出的物体的内部结构以及病灶。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:
标注匹配出的物体对应的手术规划路线。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:
利用内窥镜采集手术过程中的第一图像;
确定物体与内窥镜的相对位置;
根据相对位置,对三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;
将第一透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的物体。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:
根据相对位置,对带有标注的手术规划路线进行透视投影,得到手术规划路线对应的第二透视投影图像;
将第二透视投影图像和二维图像进行叠加,得到在二维图像中带有标注的手术规划路线。
另一方面,本发明实施例提供了一种标注装置,包括:
三维图像获取模块,用于利用三维摄像头采集手术过程中的三维图像;
匹配模块,用于利用预先建立的初始三维模型,匹配三维图像中的物体;其中,初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型;
标注模块,用于在三维图像中,标注匹配出的物体。
在本发明的一个实施例中,标注模块,还可以用于:
标注匹配出的物体的内部结构以及病灶。
在本发明的一个实施例中,标注模块,还可以用于:
标注匹配出的物体对应的手术规划路线。
在本发明的一个实施例中,本发明实施例提供的标注装置还可以包括:
二维图像获取模块,用于利用内窥镜采集手术过程中的第一图像;
相对位置确定模块,用于确定物体与内窥镜的相对位置;
第一透视投影模块,用于根据相对位置,对三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;
第一叠加模块,用于将第一透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的物体。
在本发明的一个实施例中,本发明实施例提供的标注装置还可以包括:
第二透视投影模块,用于根据相对位置,对带有标注的手术规划路线进行透视投影,得到手术规划路线对应的第二透视投影图像;
第二叠加模块,用于将第二透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的手术规划路线。
再一方面,本发明实施例提供了一种标注设备,设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;
处理器执行计算机程序时实现本发明实施例提供的标注方法。
再一方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现本发明实施例提供的标注方法。
本发明实施例提供的标注方法、装置、设备及介质,能够在手术过程中进行标注,进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性,降低手术风险。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的标注方法的流程示意图;
图2示出了本发明实施例提供的三维图像中标注的结果示意图;
图3示出了本发明实施例提供的物体与内窥镜的相对位置示意图;
图4示出了本发明实施例提供的二维图像中标注的结果示意图;
图5示出了本发明实施例提供的标注装置的结构示意图;
图6示出了能够实现根据本发明实施例的标注方法及装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题,本发明实施例提供一种标注方法、装置、设备及存储介质。下面首先对本发明实施例提供的标注方法进行说明。
如图1所示,图1示出了本发明实施例提供的标注方法的流程示意图。
标注方法可以包括:
S101:利用三维摄像头采集手术过程中的三维图像。
S102:利用预先建立的初始三维模型,匹配三维图像中的物体。
其中,初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型。
S103:在三维图像中,标注匹配出的物体。
可以理解的是,本发明实施例匹配出的物体可以包括:手术器械、器官和生物组织等等。
本发明实施例,能够在手术过程中,对手术器械、器官和生物组织等进行标注,能够提高基于手术视频数据的深度学习的模型输出结果的准确性,降低手术风险。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:标注匹配出的物体的内部结构以及病灶。
其中,病灶指机体上发生病变的部分。
具体的,可以利用三维摄像头采集物体的表面三维形态信息,根据表面三维形态信息,预估物体的内部结构形变。
在本发明的一个实施例中,可以根据表面三维形态信息,利用神经网络模型,预估物体的内部结构形变。
神经网络模型需要大量的训练样本。对于器官而言,训练样本可以由动物实验获取,在动物实验中,在注入造影剂之后,对动物的器官外加形变,用电子计算机断层扫描(Computed Tomography,CT)进行扫描,来获取器官内部的结构改变。通过这种方式获取器官由外部形变导致内部结构改变的训练样本。在神经网络模型的训练过程中,利用动物样本的实验数据和病人的真实CT数据,以病人的真实CT数据作为指引来训练神经网络模型。
由于动物样本的数据采集比较困难,在神经网络模型训练过程中,可以采用迁移学习的方法,来减少对数据量的要求。
在神经网络模型训练时,最重要的部分在于训练样本的采集。而在医疗行业,对于器官内部实时结构的采集具有相当的难度。为了在采用迁移学习后进一步减少对训练数据集大小的要求,需要有效地减少神经网络模型所需要的参数数量。在本发明的一个实施例中,可以对器官的结构特征进行有限元建模。通过对器官有限元建模的方式,器官的表达从三维点阵转变为由有限个参数控制的物理模型。采用这种方式,神经网络模型为基于有限元的神经网络模型,神经网络模型的输出由直接输出预测的器官的三维点阵,转化为输出预测的器官物理模型的参数。因此,这种方式将器官的内部结构特性用于辅助深度学习网络,从而降低了深度学习网络预测出准确结果的难度,进而减少了对训练样本集大小的要求。
在本发明的一个实施例中,可以根据相邻两次获取到的表面三维形态信息,确定物体表面的变化幅度;根据变化幅度,预估物体的内部结构形变。
本发明实施例并不对根据相邻两次获取到的表面三维形态信息,计算物体表面变化对应的变化体积的方式进行限定,任何可用的方式均可应用于本发明实施例中。
对于器官而言,对于比较轻微的形变,往往能够被器官表面本身所吸收,而不会传导到器官内侧。为了应对这种情况,以及提高对内部结构形变的预测精确度,可以对表面形态的细微变化进行预过滤处理。比如根据实际器官特性,在某个区域的,微小形变,可以忽略。在具体实施方案中,可以根据模型人工划分表面变形区域,以及阈值。也可以通过深度学习的方法,来自动划分。
对于器官而言,此时可以采用CT、磁共振成像(Magnetic Resonance Imaging,MRI)或正电子发射型计算机断层显像(Positron Emission Computed Tomography,PET)影像中常采用的影像配准方法中采用的原则对变形后的内部结构进行微调。这些影像配准方法包括但不局限于:调和能量,曲面共形结构畸变,极小化流速场能量,最优传输方法等。
更进一步,对器官内部不能直接观察到的结构部分的估计的精度的修正可以借助深度学习的方法。记深度学习神经网络的变换函数为D,根据表达式(1)可得器官内部结构的内部结构。
V’=D(V,So’) (1)
其中,表达式(1)中,V为利用CT、MRI或PET等方式获取的器官初始三维模型,So’为器官表面三维形态信息So根据预设匹配函数映射回初始三维模型空间的表示,V’为预估的器官的形态。
在本发明的一个实施例中,预设匹配函数对应的表达式为:
(V’,x,y,z,α,β,θ)=H(V,So) (2)
其中,表达式(2)中V’为预估的器官的形态,(x,y,z)为预估的器官的姿态包括的坐标信息,(α,β,θ)为预估的器官的姿态包括的旋转指向角,V为器官对应的初始三维模型,So为器官的表面三维形态信息,H为预设匹配函数的对应法则,预设匹配函数以So和V’的最小化差值为目标。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:标注匹配出的物体对应的手术规划路线。
在三维图像中,对手术器械的标注、对器官的标注、对器官内部结构的标注以及对手术规划路径的标注对应的标注结果,如图2所示,图2示出了本发明实施例提供的三维图像中标注的结果示意图。
在本发明的一个实施例中,本发明实施例提供的标注方法还可以包括:
利用内窥镜采集手术过程中的第一图像;确定物体与内窥镜的相对位置;根据相对位置,对三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;将第一透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的物体。
在本发明的一个实施例中,内窥镜可以为二维内窥镜,也可以为三维内窥镜。
当内窥镜为二维内窥镜时,内窥镜采集到的第一图像为二维图像;当内窥镜为三维内窥镜时,内窥镜采集到的第一图像为由两个二维图像构成的三维图像。
下面以内窥镜为二维内窥镜为例进行说明。
图3示出了本发明实施例提供的物体与内窥镜的相对位置示意图。
其中,图3中O为三维摄像头位置,三维坐标系XYZ的Y轴的正方向为三维摄像头的图像采集方向,物体A在三维坐标系XYZ中的坐标为(XA,YA,ZA),内窥镜B在三维坐标系XYZ中的坐标为(XB,YB,ZB),三维坐标系X′Y′Z′的Y′轴的正方向为内窥镜的图像采集方向。
在本发明的一个实施例中,可以基于三维坐标系XYZ,确定出三维坐标系X′Y′Z′相对于三维坐标系XYZ的偏转方向。
示例性的,假设确定出三维坐标系X′Y′Z′相对于三维坐标系XYZ绕X轴的偏转角度为α,绕Y轴的偏转角度为β。
则物体A在三维坐标系X′Y′Z′中的坐标为([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ,(YA-YB)cosα+(ZA-ZB)sinα,[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。其中,该物体A在三维坐标系X′Y′Z′中的坐标即为物体A相对于内窥镜B的位置。物体A与内窥镜B的相对位置表示为([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ,(YA-YB)cosα+(ZA-ZB)sinα,[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。
在本发明的一个实施例中,在确定出物体与内窥镜的相对位置后,可以根据相对位置,对三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;将第一透视投影图像和二维图像进行叠加,得到在二维图像中带有标注的物体,即完成了二维图像中针对物体的标注。
可以理解的是,当对物体的内部结构和病灶也进行标注后,经过上述过程,还可以得到在二维图像中带有标注的物体的内部结构和病灶,即完成了二维图像中针对物体的内部结构和病灶的标注。
当内窥镜为三维内窥镜时,可以按照上述过程完成内窥镜三维图像中每个二维图像中针对物体的内部结构和病灶的标注,标注有物体的内部结构和病灶的两个二维图像即可构成标注有物体的内部结构和病灶的三维图像。
在本发明的一个实施例中,在确定出物体与内窥镜的相对位置后,还可以根据相对位置,对带有标注的手术规划路线进行透视投影,得到手术规划路线对应的第二透视投影图像;将第二透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的手术规划路线,即完成了第一图像中针对手术规划路线的标注。
在二维图像中,对手术器械的标注、对器官的标注、对器官内部结构的标注以及对手术规划路径的标注对应的标注结果,如图4所示,图4示出了本发明实施例提供的二维图像中标注的结果示意图。
在本发明的一个实施例中,还可以为匹配出的手术器械、器官及生物组织进行同步的三维记录。
与上述的方法实施例相对应,本发明实施例还提供一种标注装置。如图5所示,图5示出了本发明实施例提供的标注装置的结构示意图。标注装置可以包括:
三维图像获取模块501,用于利用三维摄像头采集手术过程中的三维图像。
匹配模块502,用于利用预先建立的初始三维模型,匹配三维图像中的物体。
其中,初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型。
标注模块503,用于在三维图像中,标注匹配出的物体。
在本发明的一个实施例中,标注模块503,还可以用于:
标注匹配出的物体的内部结构以及病灶。
在本发明的一个实施例中,标注模块503,还可以用于:
标注匹配出的物体对应的手术规划路线。
在本发明的一个实施例中,本发明实施例提供的标注装置还可以包括:
二维图像获取模块,用于利用内窥镜采集手术过程中的第一图像;
相对位置确定模块,用于确定物体与内窥镜的相对位置;
第一透视投影模块,用于根据相对位置,对三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;
第一叠加模块,用于将第一透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的物体。
在本发明的一个实施例中,本发明实施例提供的标注装置还可以包括:
第二透视投影模块,用于根据相对位置,对带有标注的手术规划路线进行透视投影,得到手术规划路线对应的第二透视投影图像;
第二叠加模块,用于将第二透视投影图像和第一图像进行叠加,得到在第一图像中带有标注的手术规划路线。
本发明实施例的标注装置,能够在手术过程中进行标注,进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性,降低手术风险。
图6示出了能够实现根据本发明实施例的标注方法及装置的计算设备的示例性硬件架构的结构图。如图6所示,计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中,输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接,输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接,进而与计算设备600的其他组件连接。
具体地,输入设备601接收来自外部的输入信息,并通过输入接口602将输入信息传送到中央处理器603;中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器604中,然后通过输出接口605将输出信息传送到输出设备606;输出设备606将输出信息输出到计算设备600的外部供用户使用。
也就是说,图6所示的计算设备也可以被实现为标注设备,该标注设备可以包括:存储有可在处理器上运行的计算机程序的存储器;以及处理器,该处理器在执行计算机程序时可以实现本发明实施例提供的标注方法。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序;该计算机程序被处理器执行时实现本发明实施例提供的标注方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种标注方法,其特征在于,所述方法包括:
利用三维摄像头采集手术过程中的三维图像;
利用预先建立的初始三维模型,匹配所述三维图像中的物体;其中,所述初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型;
在所述三维图像中,标注匹配出的物体;
利用内窥镜采集手术过程中的第一图像;
确定所述物体与所述内窥镜的相对位置;
根据所述相对位置,对所述三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;
将所述第一透视投影图像和所述第一图像进行叠加,得到在所述第一图像中带有标注的物体。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
标注所述匹配出的物体的内部结构以及病灶。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
标注所述匹配出的物体对应的手术规划路线。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述相对位置,对带有标注的手术规划路线进行透视投影,得到所述手术规划路线对应的第二透视投影图像;
将所述第二透视投影图像和所述第一图像进行叠加,得到在所述第一图像中带有标注的手术规划路线。
5.一种标注装置,其特征在于,所述装置包括:
三维图像获取模块,用于利用三维摄像头采集手术过程中的三维图像;
匹配模块,用于利用预先建立的初始三维模型,匹配所述三维图像中的物体;其中,所述初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型;
标注模块,用于在所述三维图像中,标注匹配出的物体;
二维图像获取模块,用于利用内窥镜采集手术过程中的第一图像;
相对位置确定模块,用于确定所述物体与所述内窥镜的相对位置;
第一透视投影模块,用于根据所述相对位置,对所述三维图像中带有标注的物体进行透视投影,得到带有标注的物体对应的第一透视投影图像;
第一叠加模块,用于将所述第一透视投影图像和所述第一图像进行叠加,得到在所述第一图像中带有标注的物体。
6.根据权利要求5所述的装置,其特征在于,所述标注模块,还用于:
标注匹配出的物体的内部结构以及病灶。
7.根据权利要求5所述的装置,其特征在于,所述标注模块,还用于:
标注所述匹配出的物体对应的手术规划路线。
8.一种标注设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;
所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的标注方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的标注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010342534.8A CN113643226B (zh) | 2020-04-27 | 2020-04-27 | 标注方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010342534.8A CN113643226B (zh) | 2020-04-27 | 2020-04-27 | 标注方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113643226A CN113643226A (zh) | 2021-11-12 |
CN113643226B true CN113643226B (zh) | 2024-01-19 |
Family
ID=78414930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010342534.8A Active CN113643226B (zh) | 2020-04-27 | 2020-04-27 | 标注方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113643226B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
CN107578477A (zh) * | 2017-09-11 | 2018-01-12 | 南京大学 | 一种三维模型部件的自动检测方法 |
CN107667380A (zh) * | 2015-06-05 | 2018-02-06 | 西门子公司 | 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统 |
CN108629845A (zh) * | 2018-03-30 | 2018-10-09 | 湖南沛健医疗科技有限责任公司 | 手术导航方法、装置、设备、系统和可读存储介质 |
CN109657675A (zh) * | 2018-12-06 | 2019-04-19 | 广州景骐科技有限公司 | 图像标注方法、装置、计算机设备和可读存储介质 |
CN109934798A (zh) * | 2019-01-24 | 2019-06-25 | 深圳安泰创新科技股份有限公司 | 体内目标物信息标注方法及装置、电子设备、存储介质 |
CN110135323A (zh) * | 2019-05-09 | 2019-08-16 | 北京四维图新科技股份有限公司 | 图像标注方法、装置、系统及存储介质 |
WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及系统 |
CN110322512A (zh) * | 2019-06-28 | 2019-10-11 | 中国科学院自动化研究所 | 结合小样本实例分割和三维匹配的物体位姿估计方法 |
CN110992731A (zh) * | 2019-12-12 | 2020-04-10 | 苏州智加科技有限公司 | 基于激光雷达的3d车辆检测方法、装置及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9104902B2 (en) * | 2010-04-15 | 2015-08-11 | Koninklijke Philips N.V. | Instrument-based image registration for fusing images with tubular structures |
CN102883661B (zh) * | 2010-05-10 | 2015-06-03 | 株式会社日立医疗器械 | 图像处理装置以及图像处理方法 |
EP3295423A1 (en) * | 2015-05-11 | 2018-03-21 | Siemens Aktiengesellschaft | Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data |
US9827053B2 (en) * | 2015-06-05 | 2017-11-28 | Chieh-Hsiao Chen | Intraoperative tracking method |
CN109242903B (zh) * | 2018-09-07 | 2020-08-07 | 百度在线网络技术(北京)有限公司 | 三维数据的生成方法、装置、设备及存储介质 |
-
2020
- 2020-04-27 CN CN202010342534.8A patent/CN113643226B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
CN107667380A (zh) * | 2015-06-05 | 2018-02-06 | 西门子公司 | 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统 |
CN107578477A (zh) * | 2017-09-11 | 2018-01-12 | 南京大学 | 一种三维模型部件的自动检测方法 |
WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及系统 |
CN108629845A (zh) * | 2018-03-30 | 2018-10-09 | 湖南沛健医疗科技有限责任公司 | 手术导航方法、装置、设备、系统和可读存储介质 |
CN109657675A (zh) * | 2018-12-06 | 2019-04-19 | 广州景骐科技有限公司 | 图像标注方法、装置、计算机设备和可读存储介质 |
CN109934798A (zh) * | 2019-01-24 | 2019-06-25 | 深圳安泰创新科技股份有限公司 | 体内目标物信息标注方法及装置、电子设备、存储介质 |
CN110135323A (zh) * | 2019-05-09 | 2019-08-16 | 北京四维图新科技股份有限公司 | 图像标注方法、装置、系统及存储介质 |
CN110322512A (zh) * | 2019-06-28 | 2019-10-11 | 中国科学院自动化研究所 | 结合小样本实例分割和三维匹配的物体位姿估计方法 |
CN110992731A (zh) * | 2019-12-12 | 2020-04-10 | 苏州智加科技有限公司 | 基于激光雷达的3d车辆检测方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113643226A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110946654B (zh) | 一种基于多模影像融合的骨科手术导航系统 | |
CN111161326B (zh) | 用于可变形图像配准的无监督深度学习的系统和方法 | |
CN112991409B (zh) | 骨骼注册方法及系统及存储介质 | |
Zhang et al. | Electromagnetic tracking for abdominal interventions in computer aided surgery | |
CN112971982B (zh) | 基于肝内血管配准的手术导航系统 | |
CN104434313B (zh) | 一种腹部外科手术导航方法及系统 | |
Song et al. | Locally rigid, vessel-based registration for laparoscopic liver surgery | |
US20110282151A1 (en) | Image-based localization method and system | |
JP2016512973A (ja) | 身体に対して対象を追跡するための追跡装置 | |
JP2018061837A (ja) | 撮像装置を備える磁気追跡システムの重ね合わせ法 | |
US10588702B2 (en) | System and methods for updating patient registration during surface trace acquisition | |
Sganga et al. | Offsetnet: Deep learning for localization in the lung using rendered images | |
JP2021522931A (ja) | 機械学習を使用する手術中の自動腫瘍識別 | |
WO2022214105A1 (zh) | 骨科手术配准装置、终端设备和存储介质 | |
Gu et al. | Extended capture range of rigid 2d/3d registration by estimating riemannian pose gradients | |
Luo et al. | Evolutionarily optimized electromagnetic sensor measurements for robust surgical navigation | |
CN115245384A (zh) | 骨骼注册方法及系统、机器人系统及存储介质 | |
CN113643226B (zh) | 标注方法、装置、设备及介质 | |
Zhang et al. | A hybrid feature-based patient-to-image registration method for robot-assisted long bone osteotomy | |
CN116612166A (zh) | 一种多模态影像的配准融合算法 | |
Lee et al. | Toward robust partial-image based template matching techniques for MRI-guided interventions | |
CN113855235A (zh) | 用于肝脏部位的微波热消融手术中磁共振导航方法及装置 | |
CN113648060A (zh) | 超声引导的软组织形变跟踪方法、装置、存储介质及系统 | |
CN113643433A (zh) | 形态和姿态预估方法、装置、设备及存储介质 | |
Zhang et al. | Two-stage registration for real-time deformable compensation using an electromagnetic tracking device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |