CN111588467B - 基于医学影像的三维空间坐标转换为影像二维坐标的方法 - Google Patents
基于医学影像的三维空间坐标转换为影像二维坐标的方法 Download PDFInfo
- Publication number
- CN111588467B CN111588467B CN202010722650.2A CN202010722650A CN111588467B CN 111588467 B CN111588467 B CN 111588467B CN 202010722650 A CN202010722650 A CN 202010722650A CN 111588467 B CN111588467 B CN 111588467B
- Authority
- CN
- China
- Prior art keywords
- points
- coordinates
- dimensional
- point
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 238000002324 minimally invasive surgery Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Robotics (AREA)
- Gynecology & Obstetrics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于医学影像的三维空间坐标转换为影像二维坐标的方法，在保持X光影像拍摄的目标没有发生大幅度位移的情况下，计算捕捉到的被追踪器械的三维空间位置信息经过转换后输出该影像上的实时影像二维位置。本发明在拍摄环境没有发生较大变化的情况下，实时显示被追踪设备在拍摄好的X光影像上的位置。能够极大减少患者和医生被辐射的次数，降低相关手术难度，减少手术时间和风险。
Description
技术领域
本发明属于医学影像诊断辅助技术领域，具体涉及基于医学影像的三维空间坐标转换为影像二维坐标的方法。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统和医学图像处理。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。作为一门科学，医学影像属于生物影像，并包含影像诊断学、放射学、内视镜、医疗用热影像技术、医学摄影和显微镜。另外，包括脑波图和脑磁造影等技术，虽然重点在于测量和记录，没有影像呈显，但因所产生的数据俱有定位特性(即含有位置信息)，可被看作是另外一种形式的医学影像。
然而，在现有技术中，在临床手术方面，越来越多的患者希望选择创伤小恢复快的微创手术；在引导内窥镜植入阶段，医生往往需要拍摄大量的X光影像来确认病灶位置和引导器械的位置；由于大剂量X光的使用造成的辐射会对患者身体造成伤害。在医疗培训方面，微创手术培训使用的教学器具，通常是无法直接看见引导器械需要到达的目标区域的，在穿刺过程中也同样存在拍摄大量的X光影像来确认病灶位置和引导器械的位置情况。
发明内容
本发明目的在于提供基于医学影像的三维空间坐标转换为影像二维坐标的方法，用于解决上述现有技术中存在的技术问题之一，如：在现有技术中，在临床手术方面，越来越多的患者希望选择创伤小恢复快的微创手术；在引导内窥镜植入阶段，医生往往需要拍摄大量的X光影像来确认病灶位置和引导器械的位置；由于大剂量X光的使用造成的辐射会对患者身体造成伤害。在医疗培训方面，微创手术培训使用的教学器具，通常是无法直接看见引导器械需要到达的目标区域的，在穿刺过程中也同样存在拍摄大量的X光影像来确认病灶位置和引导器械的位置情况。
为实现上述目的，本发明的技术方案是：
基于医学影像的三维空间坐标转换为影像二维坐标的方法，包括以下步骤：
S1、通过三目式高清红外摄像装置配合运动捕捉系统进行三维空间位置的捕捉；将带有反光材料的标记点固定在需要被追踪的物体上，并在运动捕捉系统中将上述标记点编辑成同一个刚体，当该被追踪的物体暴露在三目式高清红外摄像装置下时，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，计算出单个标记点的空间位置，再将图片中拍到的所有标记点和运动捕捉系统中编辑好的刚体进行匹配，匹配成功以后即可获得被追踪的物体的空间信息；
S2、计算运动捕捉系统捕捉到的三维空间坐标系到医学影像采集设备成像空间的转换关系；首先获取多个具有唯一性的特征点在两套不同坐标系里的坐标信息，这里的唯一性是指：每一个特征点在所有特征点构成的一个集合中具有相对位置关系的唯一性，即所有的特征点的位置经采集后都可识别一一对应，任何角度下都不存在两个或两个以上的点存在对称或类似的单个坐标对应的特征点不唯一的情况；集成了这些特征点的设备即为空间配准装置，在使用该空间配准装置时只需手持该空间配准装置在X光影像采集设备和拍摄目标间的区域进行拍摄即可，该空间配准装置上共集成了两种不同的标记点：
第一、特定反光材料的特征点，采用三目式高清红外摄像装置识别，并通过相对位置关系计算出其它非反光材料的特征点在这套坐标系中的位置信息；
第二、大密度材料制作的标记点，在X光影像采集设备采集到的影像中，与骨骼、肌肉、手术器械区别；
S3、使用医学影像采集设备对空间配准装置进行一次拍摄，根据各标记点的相对位置的三维坐标和实际成像后的二维坐标之间的对应关系，得到3x3上三角矩阵A；
S4、通过opencv识别特定形状的特征点提取出每一个对应特征点在X光影像上的二维坐标；通过代入记录的特征点三维坐标和特征点的初始相对位置坐标，以及X光影像中的二维位置和步骤S3中得到的医学影像采集设备相关参数计算出三维影像采集坐标系到影像二维坐标系的转换矩阵；
S5、将带有特定反光材料的特征点的追踪器械固定于穿刺设备上；三目式高清红外摄像装置只能识别特征点的位置，根据实际跟踪的点与特征点的相对位置关系，推算出这个点当前的三维坐标；再代入后续的运算，需要被追踪的点与特征点之间必须保持相对位置不变的刚性连接，标定一次穿刺设备端点，标定方法即为将需追踪的点放在标定工具的中心，对比该点与标定工具几何中心的坐标，得到该点和特征点的相对位置关系；然后通过三目式高清红外摄像装置实时采集特征点坐标，加上标定的相对位置坐标计算出端点坐标，代入计算好的转换矩阵得到该穿刺设备在X光影像上的实时二维坐标。
进一步的，
步骤S4中计算出三维影像采集坐标系到影像二维坐标系的转换矩阵的计算方法为：
1、使用X光影像采集设备拍摄空间配准装置得到X光影像，同时使用三目式高清红外摄像装置采集P0-P3四个特征点的空间位置关系；
2、自动识别出17个标记点在影像上的二维坐标；
3、计算P0-P3四个特征点的相对坐标到三目式高清红外摄像装置测量坐标的变换矩阵Rt；
4、计算17个标记点的相对坐标到X光影像上的二维坐标的转换矩阵H；
5、根据H和A计算旋转平移矩阵RtBall，旋转平移矩阵RtBall即为标记点坐标到C-Arm中心坐标的变换矩阵；
6、用RtBall左除[Rt； 0 0 0 1]得到RtCC，RtCC即为3x4旋转平移矩阵；
7、如有一点P在三目式高清红外摄像装置采集到的坐标为（x,y,z），则
P点在X光影像上的坐标为（u，v）。
进一步的，
步骤S1中，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，图片信息具体处理步骤如下：
第一步、对于高速连续抓拍到的多张图片，检测并识别每张图片信息中的标记点；
第二步、将检测并识别到的标记点缩放成一个预设尺寸大小的标准标记点，并转化处理成灰度图；
第三步、建立卷积神经网络，所述卷积神经网络包括依次对所输入标准标记点进行处理的输入层、预设多个卷积层、预设多个全连接层和输出层；
第四步、将一部分标准标记点的灰度图作为训练集的输出，该部分灰度图对应的图片信息作为训练集的输入，对所述卷积神经网络进行训练；
第五步、将一部分标准标记点的灰度图作为测试集的标准输出，该部分灰度图对应的图片信息作为测试集的输入，输入到完成训练的卷积神经网络中，将卷积神经网络此时的输出与所述标准输出进行对比，若二者匹配，则由所述卷积神经网络提取高速连续抓拍到的多张图片中的标记点，若二者不匹配，则回到第一步。
进一步的，
所述三目式高清红外摄像装置采用Optitrack V120摄像机。
进一步的，
上述第二步中，还包括以下步骤：
预先设置Optitrack V120摄像机在其所在环境中拍摄图片信息中标记点部分所包含的像素点的阈值灰度值；
提取上述第二中得到的所有灰度图中像素点的实际灰度值，将所述实际灰度值与所述阈值灰度值进行对比分配；
若所述实际灰度值与所述阈值灰度值匹配，则进行第三步；
若所述实际灰度值与所述阈值灰度值不匹配，则发出Optitrack V120摄像机所在环境异常的报警信息。
进一步的，
上述第一步中，还包括以下步骤：
对某一张图片检测并识别完标记点后，还要进行标记点校验步骤；即
对某一张图片第一次检测并识别完标记点，记录该标记点信息为第一标记点信息；
对该张图片进行第二次检测并识别标记点，记录该标记点信息为第二标记点信息；
将所述第一标记点信息与所述第二标记点信息进行对比分析；
若所述第一标记点信息与所述第二标记点信息匹配，则进行第二步；
若所述第一标记点信息与所述第二标记点信息不匹配，则发出标记点检测并识别异常的报警信息。
与现有技术相比，本发明所具有的有益效果为：
保持X光影像拍摄的目标没有发生大幅度位移的情况下，计算捕捉到的被追踪器械的三维空间位置信息经过转换后输出该影像上的实时影像二维位置；不仅能给用户提供引导器械的实时位置情况，因为医疗培训常对同一手术对象进行操作，几乎不改变手术环境和手术对象摆放情况，因此基于本方法的运算原理，经过一次配准后，可以长时间持续使用，能最大程度上减少医生拍摄X光影像的次数。能够在拍摄环境没有发生较大变化的情况下，实时显示被追踪设备在拍摄好的X光影像上的位置。能够极大减少患者和医生被辐射的次数，降低相关手术难度，减少手术时间和风险。
附图说明
图1是本发明具体实施方式的步骤流程示意图。
图2是本发明具体实施方式的X光影像上的标记点示意图。
图3是本发明具体实施方式的各个设备之间的配合过程示意图。
具体实施方式
下面结合本发明的附图1-3，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1和图3所示，基于医学影像的三维空间坐标转换为影像二维坐标的方法，包括以下步骤：
S1、通过三目式高清红外摄像装置配合运动捕捉系统进行三维空间位置的捕捉；将带有反光材料的标记点固定在需要被追踪的物体上，并在运动捕捉系统中将上述标记点编辑成同一个刚体，当该被追踪的物体暴露在三目式高清红外摄像装置下时，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，计算出单个标记点的空间位置，再将图片中拍到的所有标记点和运动捕捉系统中编辑好的刚体进行匹配，匹配成功以后即可获得被追踪的物体的空间信息；
S2、计算运动捕捉系统捕捉到的三维空间坐标系到医学影像采集设备成像空间的转换关系；首先获取多个具有唯一性的特征点在两套不同坐标系里的坐标信息，这里的唯一性是指：每一个特征点在所有特征点构成的一个集合中具有相对位置关系的唯一性，即所有的特征点的位置经采集后都可识别一一对应，任何角度下都不存在两个或两个以上的点存在对称或类似的单个坐标对应的特征点不唯一的情况；集成了这些特征点的设备即为空间配准装置，在使用该空间配准装置时只需手持该空间配准装置在X光影像采集设备和拍摄目标间的区域进行拍摄即可，该空间配准装置上共集成了两种不同的标记点：
第一、特定反光材料的特征点，采用三目式高清红外摄像装置识别，并通过相对位置关系计算出其它非反光材料的特征点在这套坐标系中的位置信息；
如图2所示，第二、大密度材料制作的标记点，在X光影像采集设备采集到的影像中，与骨骼、肌肉、手术器械区别；
S3、使用医学影像采集设备对空间配准装置进行一次拍摄，根据各标记点的相对位置的三维坐标和实际成像后的二维坐标之间的对应关系，得到3x3上三角矩阵A；
S4、通过opencv识别特定形状的特征点提取出每一个对应特征点在X光影像上的二维坐标；通过代入记录的特征点三维坐标和特征点的初始相对位置坐标，以及X光影像中的二维位置和步骤S3中得到的医学影像采集设备相关参数计算出三维影像采集坐标系到影像二维坐标系的转换矩阵；
S5、将带有特定反光材料的特征点的追踪器械固定于穿刺设备上；三目式高清红外摄像装置只能识别特征点的位置，根据实际跟踪的点与特征点的相对位置关系，推算出这个点当前的三维坐标；再代入后续的运算，需要被追踪的点与特征点之间必须保持相对位置不变的刚性连接，标定一次穿刺设备端点，标定方法即为将需追踪的点放在标定工具的中心，对比该点与标定工具几何中心的坐标，得到该点和特征点的相对位置关系；然后通过三目式高清红外摄像装置实时采集特征点坐标，加上标定的相对位置坐标计算出端点坐标，代入计算好的转换矩阵得到该穿刺设备在X光影像上的实时二维坐标。
进一步的，
步骤S4中计算出三维影像采集坐标系到影像二维坐标系的转换矩阵的计算方法为：
1、使用X光影像采集设备拍摄空间配准装置得到X光影像，同时使用三目式高清红外摄像装置采集P0-P3四个特征点的空间位置关系；
2、自动识别出17个标记点在影像上的二维坐标；
3、计算P0-P3四个特征点的相对坐标到三目式高清红外摄像装置测量坐标的变换矩阵Rt；
4、计算17个标记点的相对坐标到X光影像上的二维坐标的转换矩阵H；
5、根据H和A计算旋转平移矩阵RtBall，旋转平移矩阵RtBall即为标记点坐标到C-Arm中心坐标的变换矩阵；
6、用RtBall左除[Rt； 0 0 0 1]得到RtCC，RtCC即为3x4旋转平移矩阵；
7、如有一点P在三目式高清红外摄像装置采集到的坐标为（x,y,z），则
P点在X光影像上的坐标为（u，v）。
进一步的，
步骤S1中，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，图片信息具体处理步骤如下：
第一步、对于高速连续抓拍到的多张图片，检测并识别每张图片信息中的标记点；
第二步、将检测并识别到的标记点缩放成一个预设尺寸大小的标准标记点，并转化处理成灰度图；
第三步、建立卷积神经网络，所述卷积神经网络包括依次对所输入标准标记点进行处理的输入层、预设多个卷积层、预设多个全连接层和输出层；
第四步、将一部分标准标记点的灰度图作为训练集的输出，该部分灰度图对应的图片信息作为训练集的输入，对所述卷积神经网络进行训练；
第五步、将一部分标准标记点的灰度图作为测试集的标准输出，该部分灰度图对应的图片信息作为测试集的输入，输入到完成训练的卷积神经网络中，将卷积神经网络此时的输出与所述标准输出进行对比，若二者匹配，则由所述卷积神经网络提取高速连续抓拍到的多张图片中的标记点，若二者不匹配，则回到第一步。
进一步的，
所述三目式高清红外摄像装置采用Optitrack V120摄像机。
进一步的，
上述第二步中，还包括以下步骤：
预先设置Optitrack V120摄像机在其所在环境中拍摄图片信息中标记点部分所包含的像素点的阈值灰度值；
提取上述第二中得到的所有灰度图中像素点的实际灰度值，将所述实际灰度值与所述阈值灰度值进行对比分配；
若所述实际灰度值与所述阈值灰度值匹配，则进行第三步；
若所述实际灰度值与所述阈值灰度值不匹配，则发出Optitrack V120摄像机所在环境异常的报警信息。
进一步的，
上述第一步中，还包括以下步骤：
对某一张图片检测并识别完标记点后，还要进行标记点校验步骤；即
对某一张图片第一次检测并识别完标记点，记录该标记点信息为第一标记点信息；
对该张图片进行第二次检测并识别标记点，记录该标记点信息为第二标记点信息；
将所述第一标记点信息与所述第二标记点信息进行对比分析；
若所述第一标记点信息与所述第二标记点信息匹配，则进行第二步；
若所述第一标记点信息与所述第二标记点信息不匹配，则发出标记点检测并识别异常的报警信息。
综上所述，保持X光影像拍摄的目标没有发生大幅度位移的情况下，计算捕捉到的被追踪器械的三维空间位置信息经过转换后输出该影像上的实时影像二维位置；不仅能给用户提供引导器械的实时位置情况，因为医疗培训常对同一手术对象进行操作，几乎不改变手术环境和手术对象摆放情况，因此基于本方法的运算原理，经过一次配准后，可以长时间持续使用，能最大程度上减少医生拍摄X光影像的次数。能够在拍摄环境没有发生较大变化的情况下，实时显示被追踪设备在拍摄好的X光影像上的位置。能够极大减少患者和医生被辐射的次数，降低相关手术难度，减少手术时间和风险。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (6)
1.基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，包括以下步骤：
S1、通过三目式高清红外摄像装置配合运动捕捉系统进行三维空间位置的捕捉；将带有反光材料的标记点固定在需要被追踪的物体上，并在运动捕捉系统中将上述标记点编辑成同一个刚体，当该被追踪的物体暴露在三目式高清红外摄像装置下时，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，计算出单个标记点的空间位置，再将图片中拍到的所有标记点和运动捕捉系统中编辑好的刚体进行匹配，匹配成功以后即可获得被追踪的物体的空间信息；
S2、计算运动捕捉系统捕捉到的三维空间坐标系到医学影像采集设备成像空间的转换关系；首先获取多个具有唯一性的特征点在两套不同坐标系里的坐标信息，这里的唯一性是指：每一个特征点在所有特征点构成的一个集合中具有相对位置关系的唯一性，即所有的特征点的位置经采集后都可识别一一对应，任何角度下都不存在两个或两个以上的点存在对称或类似的单个坐标对应的特征点不唯一的情况；集成了这些特征点的设备即为空间配准装置，在使用该空间配准装置时只需手持该空间配准装置在X光影像采集设备和拍摄目标间的区域进行拍摄即可，该空间配准装置上共集成了两种不同的标记点：
第一、特定反光材料的特征点，采用三目式高清红外摄像装置识别，并通过相对位置关系计算出其它非反光材料的特征点在这套坐标系中的位置信息；
第二、大密度材料制作的标记点，在X光影像采集设备采集到的影像中，与骨骼、肌肉、手术器械区别；
S3、使用医学影像采集设备对空间配准装置进行一次拍摄，根据各标记点的相对位置的三维坐标和实际成像后的二维坐标之间的对应关系，得到3x3上三角矩阵A；
S4、通过opencv识别特定形状的特征点提取出每一个对应特征点在X光影像上的二维坐标；通过代入记录的特征点三维坐标和特征点的初始相对位置坐标，以及X光影像中的二维位置和步骤S3中得到的医学影像采集设备相关参数计算出三维影像采集坐标系到影像二维坐标系的转换矩阵；
S5、将带有特定反光材料的特征点的追踪器械固定于穿刺设备上；三目式高清红外摄像装置只能识别特征点的位置，根据实际跟踪的点与特征点的相对位置关系，推算出这个点当前的三维坐标；再代入后续的运算，需要被追踪的点与特征点之间必须保持相对位置不变的刚性连接，标定一次穿刺设备端点，标定方法即为将需追踪的点放在标定工具的中心，对比该点与标定工具几何中心的坐标，得到该点和特征点的相对位置关系；然后通过三目式高清红外摄像装置实时采集特征点坐标，加上标定的相对位置坐标计算出端点坐标，代入计算好的转换矩阵得到该穿刺设备在X光影像上的实时二维坐标。
2.如权利要求1所述的基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，
步骤S4中计算出三维影像采集坐标系到影像二维坐标系的转换矩阵的计算方法为：
1、使用X光影像采集设备拍摄空间配准装置得到X光影像，同时使用三目式高清红外摄像装置采集P0-P3四个特征点的空间位置关系；
2、自动识别出17个标记点在影像上的二维坐标；
3、计算P0-P3四个特征点的相对坐标到三目式高清红外摄像装置测量坐标的变换矩阵Rt；
4、计算17个标记点的相对坐标到X光影像上的二维坐标的转换矩阵H；
5、根据H和A计算旋转平移矩阵RtBall，旋转平移矩阵RtBall即为标记点坐标到C-Arm中心坐标的变换矩阵；
6、用RtBall左除[Rt； 0 0 0 1]得到RtCC，RtCC即为3x4旋转平移矩阵；
7、如有一点P在三目式高清红外摄像装置采集到的坐标为（x,y,z），则
P点在X光影像上的坐标为（u，v）。
3.如权利要求2所述的基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，
步骤S1中，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，图片信息具体处理步骤如下：
第一步、对于高速连续抓拍到的多张图片，检测并识别每张图片信息中的标记点；
第二步、将检测并识别到的标记点缩放成一个预设尺寸大小的标准标记点，并转化处理成灰度图；
第三步、建立卷积神经网络，所述卷积神经网络包括依次对所输入标准标记点进行处理的输入层、预设多个卷积层、预设多个全连接层和输出层；
第四步、将一部分标准标记点的灰度图作为训练集的输出，该部分灰度图对应的图片信息作为训练集的输入，对所述卷积神经网络进行训练；
第五步、将一部分标准标记点的灰度图作为测试集的标准输出，该部分灰度图对应的图片信息作为测试集的输入，输入到完成训练的卷积神经网络中，将卷积神经网络此时的输出与所述标准输出进行对比，若二者匹配，则由所述卷积神经网络提取高速连续抓拍到的多张图片中的标记点，若二者不匹配，则回到第一步。
4.如权利要求3所述的基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，
所述三目式高清红外摄像装置采用Optitrack V120摄像机。
5.如权利要求4所述的基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，
上述第二步中，还包括以下步骤：
预先设置Optitrack V120摄像机在其所在环境中拍摄图片信息中标记点部分所包含的像素点的阈值灰度值；
提取上述第二步中得到的所有灰度图中像素点的实际灰度值，将所述实际灰度值与所述阈值灰度值进行对比分配；
若所述实际灰度值与所述阈值灰度值匹配，则进行第三步；
若所述实际灰度值与所述阈值灰度值不匹配，则发出Optitrack V120摄像机所在环境异常的报警信息。
6.如权利要求5所述的基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，
上述第一步中，还包括以下步骤：
对某一张图片检测并识别完标记点后，还要进行标记点校验步骤；即
对某一张图片第一次检测并识别完标记点，记录该标记点信息为第一标记点信息；
对该张图片进行第二次检测并识别标记点，记录该标记点信息为第二标记点信息；
将所述第一标记点信息与所述第二标记点信息进行对比分析；
若所述第一标记点信息与所述第二标记点信息匹配，则进行第二步；
若所述第一标记点信息与所述第二标记点信息不匹配，则发出标记点检测并识别异常的报警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010722650.2A CN111588467B (zh) | 2020-07-24 | 2020-07-24 | 基于医学影像的三维空间坐标转换为影像二维坐标的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010722650.2A CN111588467B (zh) | 2020-07-24 | 2020-07-24 | 基于医学影像的三维空间坐标转换为影像二维坐标的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111588467A CN111588467A (zh) | 2020-08-28 |
| CN111588467B true CN111588467B (zh) | 2020-10-23 |
Family
ID=72186642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010722650.2A Active CN111588467B (zh) | 2020-07-24 | 2020-07-24 | 基于医学影像的三维空间坐标转换为影像二维坐标的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111588467B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113823399B (zh) * | 2021-09-18 | 2023-08-22 | 武汉联影智融医疗科技有限公司 | 二维医学影像设备的摆位控制方法、装置和计算机设备 |
| CN116725662B (zh) * | 2023-08-11 | 2023-11-03 | 北京维卓致远医疗科技发展有限责任公司 | 一种基于二维影像的骨折手术规划方法、设备及可存储介质 |
| CN117017487B (zh) * | 2023-10-09 | 2024-01-05 | 杭州键嘉医疗科技股份有限公司 | 一种脊柱配准方法、装置、设备及存储介质 |
| CN117974647B (zh) * | 2024-03-29 | 2024-06-07 | 青岛大学 | 一种二维医学影像的三维联动式测量方法、介质及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400365A (zh) * | 2013-06-26 | 2013-11-20 | 成都金盘电子科大多媒体技术有限公司 | 肺区ct序列自动分割方法 |
| CN111053574A (zh) * | 2019-12-05 | 2020-04-24 | 深圳开立生物医疗科技股份有限公司 | 一种三维表面重建方法、装置及超声设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1256072C (zh) * | 2004-03-11 | 2006-05-17 | 上海交通大学 | 由可观测标记点定位所连接的空间物体的方法 |
| CN104783824B (zh) * | 2014-01-20 | 2020-06-26 | 上海联影医疗科技有限公司 | X射线成像系统的校正方法 |
| US10478143B2 (en) * | 2016-08-02 | 2019-11-19 | Covidien Lp | System and method of generating and updatng a three dimensional model of a luminal network |
| CN106887039B (zh) * | 2017-02-28 | 2021-03-02 | 成都金盘电子科大多媒体技术有限公司 | 一种基于医学影像的器官和病灶的三维成像方法及系统 |
| EP3716879A4 (en) * | 2017-12-28 | 2022-01-26 | Changi General Hospital Pte Ltd | MOTION COMPENSATION PLATFORM FOR IMAGE-GUIDED PERCUTANEOUS ACCESS TO BODY ORGANS AND STRUCTURES |
| CN109363770B (zh) * | 2018-12-06 | 2021-08-10 | 安徽埃克索医疗机器人有限公司 | 一种手术导航机器人标志点自动识别定位方法 |
| CN110169823A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 超声探头标定方法、装置、终端及存储介质 |
| CN110916707B (zh) * | 2019-12-18 | 2023-06-27 | 上海皓桦科技股份有限公司 | 二维骨骼图像获取方法、系统及装置 |
-
2020
- 2020-07-24 CN CN202010722650.2A patent/CN111588467B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400365A (zh) * | 2013-06-26 | 2013-11-20 | 成都金盘电子科大多媒体技术有限公司 | 肺区ct序列自动分割方法 |
| CN111053574A (zh) * | 2019-12-05 | 2020-04-24 | 深圳开立生物医疗科技股份有限公司 | 一种三维表面重建方法、装置及超声设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111588467A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111588467B (zh) | 基于医学影像的三维空间坐标转换为影像二维坐标的方法 | |
| JP7519354B2 (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
| US7831096B2 (en) | Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use | |
| JP2003265408A (ja) | 内視鏡誘導装置および方法 | |
| US20050004449A1 (en) | Method for marker-less navigation in preoperative 3D images using an intraoperatively acquired 3D C-arm image | |
| Wengert et al. | Markerless endoscopic registration and referencing | |
| US20220020160A1 (en) | User interface elements for orientation of remote camera during surgery | |
| JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
| WO2001057805A2 (en) | Image data processing method and apparatus | |
| KR20160057024A (ko) | 마커리스 ３차원 객체추적 장치 및 그 방법 | |
| CN111466952B (zh) | 一种超声内镜与ct三维图像实时转化方法和系统 | |
| Chen et al. | Automated global optimization surface-matching registration method for image-to-patient spatial registration in an image-guided neurosurgery system | |
| CN107260305A (zh) | 计算机辅助微创手术系统 | |
| CN113317874B (zh) | 一种医学图像处理装置及介质 | |
| US20080172383A1 (en) | Systems and methods for annotation and sorting of surgical images | |
| CN111743628A (zh) | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 | |
| TWI741889B (zh) | 手術空間註冊系統與方法 | |
| US11832895B2 (en) | Method and system for register operating space | |
| US12042944B2 (en) | Robotic surgical system with graphical user interface | |
| US20230240755A1 (en) | Systems and methods for registering one or more anatomical elements | |
| CN111991080A (zh) | 一种手术入口的确定方法和系统 | |
| CN118633104A (zh) | 用于跟踪一个或多个对象的系统、方法和装置 | |
| CN118613830A (zh) | 用于重建三维表示的系统、方法和装置 | |
| CN118557287A (zh) | 一种基于磁导航的内窥镜下目标位置搜寻方法及系统 | |
| WO2020181498A1 (zh) | 体内导航系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 610000 Information Industry Building, 159 East Section of First Ring Road, Chenghua District, Chengdu City, Sichuan Province Patentee after: Chengdu Chengdian Jinpan health data Technology Co.,Ltd. Address before: 610000 Information Industry Building, 159 East Section of First Ring Road, Chenghua District, Chengdu City, Sichuan Province Patentee before: CHENGDU GOLDISC UESTC MULTIMEDIA TECHNOLOGY Co.,Ltd. |