CN113643226A - 标注方法、装置、设备及介质 - Google Patents

标注方法、装置、设备及介质 Download PDF

Info

Publication number
CN113643226A
CN113643226A CN202010342534.8A CN202010342534A CN113643226A CN 113643226 A CN113643226 A CN 113643226A CN 202010342534 A CN202010342534 A CN 202010342534A CN 113643226 A CN113643226 A CN 113643226A
Authority
CN
China
Prior art keywords
dimensional
image
marking
dimensional model
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010342534.8A
Other languages
English (en)
Other versions
CN113643226B (zh
Inventor
廖锐
张懿
林敏�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shutong Technology Co ltd
Original Assignee
Chengdu Shutong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shutong Technology Co ltd filed Critical Chengdu Shutong Technology Co ltd
Priority to CN202010342534.8A priority Critical patent/CN113643226B/zh
Publication of CN113643226A publication Critical patent/CN113643226A/zh
Application granted granted Critical
Publication of CN113643226B publication Critical patent/CN113643226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种标注方法、装置、设备及介质。该方法包括：利用三维摄像头采集手术过程中的三维图像；利用预先建立的初始三维模型，匹配三维图像中的物体；其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；在三维图像中，标注匹配出的物体。本发明实施例的标注方法、装置、设备及介质，能够在手术过程中进行标注，进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。

Description

标注方法、装置、设备及介质
技术领域
本发明涉及医疗技术领域，尤其涉及一种标注方法、装置、设备及介质。
背景技术
在深度学习中，保证输出结果的准确性的决定因素在于海量的被准确标注的训练数据。这就要求海量的训练数据和训练数据被准确标注。在基于手术视频数据的深度学习的训练过程中，以上两点尤为突出。
首先，在数据量方面，一场手术很可能会达到一个小时或者一个小时以上。而我们知道每一秒的视频，往往包含24帧以上的画面。即使不需要对每一帧的画面都进行标注，由于手术视频数据中会包含大量的操作，以及目标对象的移动，导致仍然有大量的画面需要单独进行标注。
其次，在手术过程中，大量深度学习所需要的信息(比如，器官内部的血管等管道，特定组织结构)往往被掩盖于器官表面以下，这些信息是人们很难去定位和标注的。同时，在内窥镜手术画面中，往往只能看到局部的器官景象。因此在手术后，标注者很难判断操作时的具体位置。这也是传统的内窥镜手术视频的标注中的一大困扰。如果没有海量正确标注的数据，深度学习模型将无法进行有效训练，以产生准确的结果。
发明内容
本发明实施例提供一种标注方法、装置、设备及介质，能够在手术过程中进行标注，进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。
一方面，本发明实施例提供了一种标注方法，包括：
利用三维摄像头采集手术过程中的三维图像；
利用预先建立的初始三维模型，匹配三维图像中的物体；其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；
在三维图像中，标注匹配出的物体。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：
标注匹配出的物体的内部结构以及病灶。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：
标注匹配出的物体对应的手术规划路线。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：
利用内窥镜采集手术过程中的第一图像；
确定物体与内窥镜的相对位置；
根据相对位置，对三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；
将第一透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的物体。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：
根据相对位置，对带有标注的手术规划路线进行透视投影，得到手术规划路线对应的第二透视投影图像；
将第二透视投影图像和二维图像进行叠加，得到在二维图像中带有标注的手术规划路线。
另一方面，本发明实施例提供了一种标注装置，包括：
三维图像获取模块，用于利用三维摄像头采集手术过程中的三维图像；
匹配模块，用于利用预先建立的初始三维模型，匹配三维图像中的物体；其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；
标注模块，用于在三维图像中，标注匹配出的物体。
在本发明的一个实施例中，标注模块，还可以用于：
标注匹配出的物体的内部结构以及病灶。
在本发明的一个实施例中，标注模块，还可以用于：
标注匹配出的物体对应的手术规划路线。
在本发明的一个实施例中，本发明实施例提供的标注装置还可以包括：
二维图像获取模块，用于利用内窥镜采集手术过程中的第一图像；
相对位置确定模块，用于确定物体与内窥镜的相对位置；
第一透视投影模块，用于根据相对位置，对三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；
第一叠加模块，用于将第一透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的物体。
在本发明的一个实施例中，本发明实施例提供的标注装置还可以包括：
第二透视投影模块，用于根据相对位置，对带有标注的手术规划路线进行透视投影，得到手术规划路线对应的第二透视投影图像；
第二叠加模块，用于将第二透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的手术规划路线。
再一方面，本发明实施例提供了一种标注设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
处理器执行计算机程序时实现本发明实施例提供的标注方法。
再一方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例提供的标注方法。
本发明实施例提供的标注方法、装置、设备及介质，能够在手术过程中进行标注，进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的标注方法的流程示意图；
图2示出了本发明实施例提供的三维图像中标注的结果示意图；
图3示出了本发明实施例提供的物体与内窥镜的相对位置示意图；
图4示出了本发明实施例提供的二维图像中标注的结果示意图；
图5示出了本发明实施例提供的标注装置的结构示意图；
图6示出了能够实现根据本发明实施例的标注方法及装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本发明实施例提供一种标注方法、装置、设备及存储介质。下面首先对本发明实施例提供的标注方法进行说明。
如图1所示，图1示出了本发明实施例提供的标注方法的流程示意图。
标注方法可以包括：
S101：利用三维摄像头采集手术过程中的三维图像。
S102：利用预先建立的初始三维模型，匹配三维图像中的物体。
其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型。
S103：在三维图像中，标注匹配出的物体。
可以理解的是，本发明实施例匹配出的物体可以包括：手术器械、器官和生物组织等等。
本发明实施例，能够在手术过程中，对手术器械、器官和生物组织等进行标注，能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：标注匹配出的物体的内部结构以及病灶。
其中，病灶指机体上发生病变的部分。
具体的，可以利用三维摄像头采集物体的表面三维形态信息，根据表面三维形态信息，预估物体的内部结构形变。
在本发明的一个实施例中，可以根据表面三维形态信息，利用神经网络模型，预估物体的内部结构形变。
神经网络模型需要大量的训练样本。对于器官而言，训练样本可以由动物实验获取，在动物实验中，在注入造影剂之后，对动物的器官外加形变，用电子计算机断层扫描(Computed Tomography，CT)进行扫描，来获取器官内部的结构改变。通过这种方式获取器官由外部形变导致内部结构改变的训练样本。在神经网络模型的训练过程中，利用动物样本的实验数据和病人的真实CT数据，以病人的真实CT数据作为指引来训练神经网络模型。
由于动物样本的数据采集比较困难，在神经网络模型训练过程中，可以采用迁移学习的方法，来减少对数据量的要求。
在神经网络模型训练时，最重要的部分在于训练样本的采集。而在医疗行业，对于器官内部实时结构的采集具有相当的难度。为了在采用迁移学习后进一步减少对训练数据集大小的要求，需要有效地减少神经网络模型所需要的参数数量。在本发明的一个实施例中，可以对器官的结构特征进行有限元建模。通过对器官有限元建模的方式，器官的表达从三维点阵转变为由有限个参数控制的物理模型。采用这种方式，神经网络模型为基于有限元的神经网络模型，神经网络模型的输出由直接输出预测的器官的三维点阵，转化为输出预测的器官物理模型的参数。因此，这种方式将器官的内部结构特性用于辅助深度学习网络，从而降低了深度学习网络预测出准确结果的难度，进而减少了对训练样本集大小的要求。
在本发明的一个实施例中，可以根据相邻两次获取到的表面三维形态信息，确定物体表面的变化幅度；根据变化幅度，预估物体的内部结构形变。
本发明实施例并不对根据相邻两次获取到的表面三维形态信息，计算物体表面变化对应的变化体积的方式进行限定，任何可用的方式均可应用于本发明实施例中。
对于器官而言，对于比较轻微的形变，往往能够被器官表面本身所吸收，而不会传导到器官内侧。为了应对这种情况，以及提高对内部结构形变的预测精确度，可以对表面形态的细微变化进行预过滤处理。比如根据实际器官特性，在某个区域的，微小形变，可以忽略。在具体实施方案中，可以根据模型人工划分表面变形区域，以及阈值。也可以通过深度学习的方法，来自动划分。
对于器官而言，此时可以采用CT、磁共振成像(Magnetic Resonance Imaging，MRI)或正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)影像中常采用的影像配准方法中采用的原则对变形后的内部结构进行微调。这些影像配准方法包括但不局限于：调和能量，曲面共形结构畸变，极小化流速场能量，最优传输方法等。
更进一步，对器官内部不能直接观察到的结构部分的估计的精度的修正可以借助深度学习的方法。记深度学习神经网络的变换函数为D，根据表达式(1)可得器官内部结构的内部结构。
V’＝D(V，So’) (1)
其中，表达式(1)中，V为利用CT、MRI或PET等方式获取的器官初始三维模型，So’为器官表面三维形态信息So根据预设匹配函数映射回初始三维模型空间的表示，V’为预估的器官的形态。
在本发明的一个实施例中，预设匹配函数对应的表达式为：
(V’，x，y，z，α，β，θ)＝H(V，So) (2)
其中，表达式(2)中V’为预估的器官的形态，(x，y，z)为预估的器官的姿态包括的坐标信息，(α，β，θ)为预估的器官的姿态包括的旋转指向角，V为器官对应的初始三维模型，So为器官的表面三维形态信息，H为预设匹配函数的对应法则，预设匹配函数以So和V’的最小化差值为目标。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：标注匹配出的物体对应的手术规划路线。
在三维图像中，对手术器械的标注、对器官的标注、对器官内部结构的标注以及对手术规划路径的标注对应的标注结果，如图2所示，图2示出了本发明实施例提供的三维图像中标注的结果示意图。
在本发明的一个实施例中，本发明实施例提供的标注方法还可以包括：
利用内窥镜采集手术过程中的第一图像；确定物体与内窥镜的相对位置；根据相对位置，对三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；将第一透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的物体。
在本发明的一个实施例中，内窥镜可以为二维内窥镜，也可以为三维内窥镜。
当内窥镜为二维内窥镜时，内窥镜采集到的第一图像为二维图像；当内窥镜为三维内窥镜时，内窥镜采集到的第一图像为由两个二维图像构成的三维图像。
下面以内窥镜为二维内窥镜为例进行说明。
图3示出了本发明实施例提供的物体与内窥镜的相对位置示意图。
其中，图3中O为三维摄像头位置，三维坐标系XYZ的Y轴的正方向为三维摄像头的图像采集方向，物体A在三维坐标系XYZ中的坐标为(XA，YA，ZA)，内窥镜B在三维坐标系XYZ中的坐标为(XB，YB，ZB)，三维坐标系X′Y′Z′的Y′轴的正方向为内窥镜的图像采集方向。
在本发明的一个实施例中，可以基于三维坐标系XYZ，确定出三维坐标系X′Y′Z′相对于三维坐标系XYZ的偏转方向。
示例性的，假设确定出三维坐标系X′Y′Z′相对于三维坐标系XYZ绕X轴的偏转角度为α，绕Y轴的偏转角度为β。
则物体A在三维坐标系X′Y′Z′中的坐标为([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ，(YA-YB)cosα+(ZA-ZB)sinα，[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。其中，该物体A在三维坐标系X′Y′Z′中的坐标即为物体A相对于内窥镜B的位置。物体A与内窥镜B的相对位置表示为([(YA-YB)cosα+(ZA-ZB)cosα]sinβ+(XA-XB)sinβ，(YA-YB)cosα+(ZA-ZB)sinα，[(YA-YB)cosα+(ZA-ZB)cosα]cosβ-(XA-XB)sinβ)。
在本发明的一个实施例中，在确定出物体与内窥镜的相对位置后，可以根据相对位置，对三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；将第一透视投影图像和二维图像进行叠加，得到在二维图像中带有标注的物体，即完成了二维图像中针对物体的标注。
可以理解的是，当对物体的内部结构和病灶也进行标注后，经过上述过程，还可以得到在二维图像中带有标注的物体的内部结构和病灶，即完成了二维图像中针对物体的内部结构和病灶的标注。
当内窥镜为三维内窥镜时，可以按照上述过程完成内窥镜三维图像中每个二维图像中针对物体的内部结构和病灶的标注，标注有物体的内部结构和病灶的两个二维图像即可构成标注有物体的内部结构和病灶的三维图像。
在本发明的一个实施例中，在确定出物体与内窥镜的相对位置后，还可以根据相对位置，对带有标注的手术规划路线进行透视投影，得到手术规划路线对应的第二透视投影图像；将第二透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的手术规划路线，即完成了第一图像中针对手术规划路线的标注。
在二维图像中，对手术器械的标注、对器官的标注、对器官内部结构的标注以及对手术规划路径的标注对应的标注结果，如图4所示，图4示出了本发明实施例提供的二维图像中标注的结果示意图。
在本发明的一个实施例中，还可以为匹配出的手术器械、器官及生物组织进行同步的三维记录。
与上述的方法实施例相对应，本发明实施例还提供一种标注装置。如图5所示，图5示出了本发明实施例提供的标注装置的结构示意图。标注装置可以包括：
三维图像获取模块501，用于利用三维摄像头采集手术过程中的三维图像。
匹配模块502，用于利用预先建立的初始三维模型，匹配三维图像中的物体。
其中，初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型。
标注模块503，用于在三维图像中，标注匹配出的物体。
在本发明的一个实施例中，标注模块503，还可以用于：
标注匹配出的物体的内部结构以及病灶。
在本发明的一个实施例中，标注模块503，还可以用于：
标注匹配出的物体对应的手术规划路线。
在本发明的一个实施例中，本发明实施例提供的标注装置还可以包括：
二维图像获取模块，用于利用内窥镜采集手术过程中的第一图像；
相对位置确定模块，用于确定物体与内窥镜的相对位置；
第一透视投影模块，用于根据相对位置，对三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；
第一叠加模块，用于将第一透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的物体。
在本发明的一个实施例中，本发明实施例提供的标注装置还可以包括：
第二透视投影模块，用于根据相对位置，对带有标注的手术规划路线进行透视投影，得到手术规划路线对应的第二透视投影图像；
第二叠加模块，用于将第二透视投影图像和第一图像进行叠加，得到在第一图像中带有标注的手术规划路线。
本发明实施例的标注装置，能够在手术过程中进行标注，进而能够提高基于手术视频数据的深度学习的模型输出结果的准确性，降低手术风险。
图6示出了能够实现根据本发明实施例的标注方法及装置的计算设备的示例性硬件架构的结构图。如图6所示，计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中，输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接，输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接，进而与计算设备600的其他组件连接。
具体地，输入设备601接收来自外部的输入信息，并通过输入接口602将输入信息传送到中央处理器603；中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器604中，然后通过输出接口605将输出信息传送到输出设备606；输出设备606将输出信息输出到计算设备600的外部供用户使用。
也就是说，图6所示的计算设备也可以被实现为标注设备，该标注设备可以包括：存储有可在处理器上运行的计算机程序的存储器；以及处理器，该处理器在执行计算机程序时可以实现本发明实施例提供的标注方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现本发明实施例提供的标注方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种标注方法，其特征在于，所述方法包括：
利用三维摄像头采集手术过程中的三维图像；
利用预先建立的初始三维模型，匹配所述三维图像中的物体；其中，所述初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；
在所述三维图像中，标注匹配出的物体。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
标注所述匹配出的物体的内部结构以及病灶。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
标注所述匹配出的物体对应的手术规划路线。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用内窥镜采集手术过程中的第一图像；
确定所述物体与所述内窥镜的相对位置；
根据所述相对位置，对所述三维图像中带有标注的物体进行透视投影，得到带有标注的物体对应的第一透视投影图像；
将所述第一透视投影图像和所述第一图像进行叠加，得到在所述第一图像中带有标注的物体。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述相对位置，对带有标注的手术规划路线进行透视投影，得到所述手术规划路线对应的第二透视投影图像；
将所述第二透视投影图像和所述第一图像进行叠加，得到在所述第一图像中带有标注的手术规划路线。
6.一种标注装置，其特征在于，所述装置包括：
三维图像获取模块，用于利用三维摄像头采集手术过程中的三维图像；
匹配模块，用于利用预先建立的初始三维模型，匹配所述三维图像中的物体；其中，所述初始三维模型包括手术器械三维模型、器官三维模型和生物组织三维模型；
标注模块，用于在所述三维图像中，标注匹配出的物体。
7.根据权利要求6所述的装置，其特征在于，所述标注模块，还用于：
标注匹配出的物体的内部结构以及病灶。
8.根据权利要求6所述的装置，其特征在于，所述标注模块，还用于：
标注所述匹配出的物体对应的手术规划路线。
9.一种标注设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的标注方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的标注方法。
CN202010342534.8A 2020-04-27 2020-04-27 标注方法、装置、设备及介质 Active CN113643226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010342534.8A CN113643226B (zh) 2020-04-27 2020-04-27 标注方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010342534.8A CN113643226B (zh) 2020-04-27 2020-04-27 标注方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113643226A true CN113643226A (zh) 2021-11-12
CN113643226B CN113643226B (zh) 2024-01-19

Family

ID=78414930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010342534.8A Active CN113643226B (zh) 2020-04-27 2020-04-27 标注方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113643226B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130039560A1 (en) * 2010-05-10 2013-02-14 Yoshihiro Goto Image processing device and image processing method
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位系统及其导航方法
US20130195338A1 (en) * 2010-04-15 2013-08-01 Koninklijke Philips Electronics N.V. Instrument-based image registration for fusing images with tubular structures
US20160354157A1 (en) * 2015-06-05 2016-12-08 Chieh-Hsiao Chen Intraoperative tracking method
CN107578477A (zh) * 2017-09-11 2018-01-12 南京大学 一种三维模型部件的自动检测方法
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统
US20180150929A1 (en) * 2015-05-11 2018-05-31 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
CN108629845A (zh) * 2018-03-30 2018-10-09 湖南沛健医疗科技有限责任公司 手术导航方法、装置、设备、系统和可读存储介质
CN109657675A (zh) * 2018-12-06 2019-04-19 广州景骐科技有限公司 图像标注方法、装置、计算机设备和可读存储介质
CN109934798A (zh) * 2019-01-24 2019-06-25 深圳安泰创新科技股份有限公司 体内目标物信息标注方法及装置、电子设备、存储介质
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
US20200082553A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating three-dimensional data, device, and storage medium
CN110992731A (zh) * 2019-12-12 2020-04-10 苏州智加科技有限公司 基于激光雷达的3d车辆检测方法、装置及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130195338A1 (en) * 2010-04-15 2013-08-01 Koninklijke Philips Electronics N.V. Instrument-based image registration for fusing images with tubular structures
US20130039560A1 (en) * 2010-05-10 2013-02-14 Yoshihiro Goto Image processing device and image processing method
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位系统及其导航方法
US20180150929A1 (en) * 2015-05-11 2018-05-31 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
US20160354157A1 (en) * 2015-06-05 2016-12-08 Chieh-Hsiao Chen Intraoperative tracking method
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统
CN107578477A (zh) * 2017-09-11 2018-01-12 南京大学 一种三维模型部件的自动检测方法
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN108629845A (zh) * 2018-03-30 2018-10-09 湖南沛健医疗科技有限责任公司 手术导航方法、装置、设备、系统和可读存储介质
US20200082553A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating three-dimensional data, device, and storage medium
CN109657675A (zh) * 2018-12-06 2019-04-19 广州景骐科技有限公司 图像标注方法、装置、计算机设备和可读存储介质
CN109934798A (zh) * 2019-01-24 2019-06-25 深圳安泰创新科技股份有限公司 体内目标物信息标注方法及装置、电子设备、存储介质
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
CN110992731A (zh) * 2019-12-12 2020-04-10 苏州智加科技有限公司 基于激光雷达的3d车辆检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN113643226B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
CN112991409B (zh) 骨骼注册方法及系统及存储介质
Zhang et al. Electromagnetic tracking for abdominal interventions in computer aided surgery
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
Mori et al. Hybrid bronchoscope tracking using a magnetic tracking sensor and image registration
US9687204B2 (en) Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
Toth et al. 3D/2D model-to-image registration by imitation learning for cardiac procedures
JP5592796B2 (ja) 定量３ｄｃｅｕｓ分析のためのシステム及び方法
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
EP3716879A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
JP2018061837A (ja) 撮像装置を備える磁気追跡システムの重ね合わせ法
Sganga et al. Offsetnet: Deep learning for localization in the lung using rendered images
KR20190096575A (ko) 의료 영상 시스템
Zhang et al. 3D ultrasound centerline tracking of abdominal vessels for endovascular navigation
Gu et al. Extended capture range of rigid 2d/3d registration by estimating riemannian pose gradients
Jiang et al. Skeleton graph-based ultrasound-ct non-rigid registration
Jiang et al. Defcor-net: physics-aware ultrasound deformation correction
CN115245384A (zh) 骨骼注册方法及系统、机器人系统及存储介质
CN113643226B (zh) 标注方法、装置、设备及介质
CN116612166A (zh) 一种多模态影像的配准融合算法
US10413364B1 (en) Internal organ localization of a subject for providing assistance during surgery
CN113855235B (zh) 用于肝脏部位的微波热消融手术中磁共振导航方法及装置
Lee et al. Toward robust partial-image based template matching techniques for MRI-guided interventions
CN113643433A (zh) 形态和姿态预估方法、装置、设备及存储介质
Diakov et al. Vector field analysis for surface registration in computer‐assisted ENT surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant