CN110288653A - 一种多角度超声图像融合方法、系统及电子设备 - Google Patents

一种多角度超声图像融合方法、系统及电子设备 Download PDF

Info

Publication number
CN110288653A
CN110288653A CN201910634955.5A CN201910634955A CN110288653A CN 110288653 A CN110288653 A CN 110288653A CN 201910634955 A CN201910634955 A CN 201910634955A CN 110288653 A CN110288653 A CN 110288653A
Authority
CN
China
Prior art keywords
image
coordinate
linear equation
ultrasonic
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910634955.5A
Other languages
English (en)
Other versions
CN110288653B (zh
Inventor
熊璟
方治屿
夏泽洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910634955.5A priority Critical patent/CN110288653B/zh
Publication of CN110288653A publication Critical patent/CN110288653A/zh
Application granted granted Critical
Publication of CN110288653B publication Critical patent/CN110288653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种多角度超声图像融合方法、系统及电子设备。包括：步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。本申请可以提升医生对术中环境的感知能力，降低术中风险，提高手术成功率。

Description

一种多角度超声图像融合方法、系统及电子设备
技术领域
本申请属于医学图像处理技术领域，特别涉及一种多角度超声图像融合方法、系统及电子设备。
背景技术
超声图像是利用超声声束扫描人体，通过对反射信号的接收、处理，从而获得体内器官图像，常被用来判断脏器的位置、大小、形态，确定病灶的范围和物理性质等。
作为一门新发展的微创方法，腹腔镜手术因其术后瘢痕小、疼痛轻、恢复快、住院时间短等优势，深受患者青睐，成为越来越多患者的最佳选择。但是由于腹腔镜手术中存在视野局限性、医生对术中环境感知差，也造成了术中出血、病灶边界定位不准、健康组织切除过多、并发症风险高等诸多问题。由于超声图像具备深度信息的优势，腹腔镜超声技术(LUS)因运而生。LUS是将超声检查与腹腔镜检查相结合的新型影像学诊断技术，可以提供深度视觉信息，弥补了腹腔镜的视野局限性。虽然LUS技术可以利用术中超声图像的深度信息实时监测软组织情况，但是目前基于LUS技术的方法大多是超声图像与CT或MRI图像之间的相互转换，依然依赖于术前数据。而且该技术对数据的配准算法要求较高，容易出现误差。
随着计算机视觉和增强现实技术的发展，学者们提出了腹腔镜增强现实导航技术(LARN)。LARN主要是将手术环境的全局信息融合到腹腔镜视野中，为医生提供手术靶标信息。一般是将CT或MRI等术前图像进行三维重建，再将重建后的模型融合到腹腔镜视频中，从而达到手术导航的目的。目前，LARN主要分为基于术前数据、基于术中数据和基于机器人辅助三种类型，其中基于术前数据的方法是指导航数据来源于术前的CT或MRI，以视频融合方式显示，该方法获取的是术前数据无法准确表示术中患者病变组织的实际情况；基于术中数据的方法是指利用复合手术室获取术中CT或MRI，以视频融合方式显示，由于采集术中数据的系统太过昂贵且受电子设备甚至手术器械的干扰；基于机器人辅助的方法是指使用手术机器人与LARN相结合的技术，但是该项技术的硬件成本很高，而且操作机器人仍存在手术场景感知缺乏(力反馈、深度信息等)的问题，此外医生也需要经过专业的培训才可以上手使用。
发明内容
本申请提供了一种多角度超声图像融合方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种多角度超声图像融合方法，包括以下步骤：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
本申请实施例采取的技术方案还包括：在所述步骤a中，所述超声探头定位具体包括：首先使用形态学算法对所述腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值算法进行二聚类，将腹腔镜双目视频图像二值化，使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P1、P2、P3。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述得到超声探头扫描平面的线性方程具体为：假设三个空间坐标点分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：
将其转换为矩阵形式为：
令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：
WX＝0
根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：
W＝USV
SVD分解得到了由WW′的特征向量组成的矩阵U，由W′W的特征向量组成的矩阵V和奇异值矩阵S，由此得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，通过所述列向量确定超声探头扫描平面的线性方程。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述超声图像的融合公式为：
I＝αIsrc+(1-α)Ifuse
上述公式中，I表示融合后的图像，Isrc表示腹腔镜双目视频中一帧的图像，Ifuse表示待融合的超声图像，α表示融合系数。
本申请实施例采取的技术方案还包括：所述步骤d后还包括：根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标；其中，坐标系转换公式如下：
上述公式中，(u,v)表示图像像素坐标系中的坐标点，(u0,v0)表示相机光心在图像像素坐标系中的像素坐标，dx、dy分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(xc，yc，zc)表示相机坐标系中的坐标点，即为超声图像在左眼或右眼视频中的位置坐标；
假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，得到超声图像在右眼视频中的位置坐标；求解公式为：
上述公式中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，dx为单位像素对应长度。
本申请实施例采取的另一技术方案为：一种多角度超声图像融合系统，包括：
探头定位模块：用于通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
扫描平面计算模块：用于根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
空间坐标计算模块：用于根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
图像融合模块：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
本申请实施例采取的技术方案还包括：所述超声探头定位具体包括：首先使用形态学算法对所述腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值算法进行二聚类，将腹腔镜双目视频图像二值化，使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P1、P2、P3。
本申请实施例采取的技术方案还包括：所述扫描平面计算模块得到超声探头扫描平面的线性方程具体为：假设三个空间坐标点分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：
将其转换为矩阵形式为：
令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：
WX＝0
根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：
W＝USV
SVD分解得到了由WW′的特征向量组成的矩阵U，由W′W的特征向量组成的矩阵V和奇异值矩阵S，由此得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，通过所述列向量确定超声探头扫描平面的线性方程。
本申请实施例采取的技术方案还包括：所述图像融合模块的超声图像融合公式为：
I＝αIsrc+(1-α)Ifuse
上述公式中，I表示融合后的图像，Isrc表示腹腔镜双目视频中一帧的图像，Ifuse表示待融合的超声图像，α表示融合系数。
本申请实施例采取的技术方案还包括坐标转换模块，所述坐标转换模块用于根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标；其中，坐标系转换公式如下：
上述公式中，(u,v)表示图像像素坐标系中的坐标点，(u0,v0)表示相机光心在图像像素坐标系中的像素坐标，dx、dy分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(xc，yc，zc)表示相机坐标系中的坐标点，即为超声图像在左眼或右眼视频中的位置坐标；
假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，得到超声图像在右眼视频中的位置坐标；求解公式为：
上述公式中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，dx为单位像素对应长度。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的多角度超声图像融合方法的以下操作：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的多角度超声图像融合方法、系统及电子设备通过定位超声探头在双目视频中的位置，读取超声探头采集的图像，并将超声图像融合到双目视频中探头的对应位置上，实时地为医生显示患者病变组织的内部情况。相对于现有技术，本申请至少具有以下优点：
1、利用双目视觉成像特点，为医生提供三维的视觉信息，为医生提供更加真实的视野，提升医生对术中环境的感知能力。
2、通过融合超声图像，实现增强现实导航技术，为医生提供病变位置的深度信息，克服传统腹腔镜手术中的视野局限性问题。
3、通过对手术环境的实时反馈，可以及时监测术中病变组织的变化情况，使医生更精确地诊断和手术，降低术中风险，提高手术成功率。
附图说明
图1是本申请实施例的多角度超声图像融合方法的流程图；
图2为世界坐标系中一点在双目视觉成像中各坐标系的对应关系示意图；
图3是本申请实施例的多角度超声图像融合系统的结构示意图；
图4是本申请实施例提供的多角度超声图像融合方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的多角度超声图像融合方法的流程图。本申请实施例的多角度超声图像融合方法包括以下步骤：
步骤100：通过图像处理技术进行腹腔镜双目视频中超声探头的定位，得到代表超声探头位置的空间坐标点；
步骤100中，超声探头定位方式具体为：首先使用形态学算法对腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值(K-means)算法进行二聚类，将腹腔镜双目视频图像二值化；使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P1、P2、P3。
步骤200：根据超声探头位置的空间坐标点建立齐次线性方程组，并使用奇异值分解(SVD)得到超声探头扫描平面的线性方程；
步骤200中，设三个空间坐标点分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：
将其转换为矩阵形式为：
令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：
WX＝0 (3)
根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：
W＝USV (4)
SVD分解得到了由WW′的特征向量组成的矩阵U，由WW的特征向量组成的矩阵V和奇异值矩阵S，由此得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，一般地，S会按降序排列，所以最优解对应于V的最后一列，通过该列向量可以进一步确定超声探头扫描平面的线性方程。
步骤300：根据超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤400：超声探头采集超声图像，并根据空间坐标将采集的超声图像融合在超声探头扫描平面上(即超声探头在腹腔镜双目视频中的对应位置上)；
步骤400中，利用图像融合技术实现超声图像在扫描平面上的融合，超声图像融合公式如下：
I＝αIsrc+(1-α)Ifuse (5)
公式(5)中，I表示融合后的图像，Isrc表示腹腔镜双目视频中一帧的图像，Ifuse表示待融合的超声图像，α表示融合系数。
步骤500：根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标，得到超声图像在腹腔镜双目视频中的位置坐标；
步骤500中，坐标系转换公式如下：
公式(6)、(7)中，(u,v)表示图像像素坐标系中的坐标点，(u0,v0)表示相机光心在图像像素坐标系中的像素坐标，dx、dy分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(xc，yc，zc)表示相机坐标系中的坐标点，即超声图像的空间坐标。具体如图2所示，为世界坐标系中一点在双目视觉成像中各坐标系的对应关系示意图。其中O为光心，L和R为成像平面即左右双目图像，b为基线，即双目摄像头光心间距，f为焦距，xcyczc构成相机坐标系，uv构成图像像素坐标系，xy构成图像坐标系，xwywzw构成世界坐标系。
腹腔镜双目视频包括左眼视频和右眼视频，超声图像需要同时融合到左眼视频和右眼视频中，而通过公式(6)和公式(7)得到的坐标仅为超声图像在左眼或右眼单眼视频中的位置坐标。为达到立体效果，假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，进而得到超声图像在右眼视频中的位置坐标；求解公式如下：
公式(8)中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，dx为单位像素对应长度。由于腹腔镜双目视频的图像已经过极线校正处理，保证相同物理点在图像中位于同一水平线(即在左右视频图像中具有相同y值)，所以只需在x方向上加上Δx即可得到右眼视频中超声图像的位置，实时为医生提供患者病变组织的三维视觉信息，克服传统腹腔镜手术中的视野局限性问题。
请参阅图3，是本申请实施例的多角度超声图像融合系统的结构示意图。本申请实施例的多角度超声图像融合系统包括探头定位模块、扫描平面计算模块、空间坐标计算模块、图像融合模块和坐标转换模块。
探头定位模块：用于通过图像处理技术进行腹腔镜双目视频中超声探头的定位，得到代表超声探头位置的空间坐标点；其中，超声探头定位方式具体为：首先使用形态学算法对腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值(K-means)算法进行二聚类，将腹腔镜双目视频图像二值化；使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P1、P2、P3。
扫描平面计算模块：用于根据超声探头位置的空间坐标点建立齐次线性方程组，并使用奇异值分解(SVD)得到超声探头扫描平面的线性方程；其中，设三个空间坐标点分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：
将其转换为矩阵形式为：
令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：
WX＝0 (3)
根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：
W＝USA (4)
SVD分解得到了由WW′的特征向量组成的矩阵U，由W′W的特征向量组成的矩阵V和奇异值矩阵S，由此得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，一般地，S会按降序排列，所以最优解对应于V的最后一列，通过该列向量可以进一步确定超声探头扫描平面的线性方程。
空间坐标计算模块：用于根据超声探头扫描平面的线性方程计算超声图像的空间坐标；
图像融合模块：用于利用图像融合技术将超声探头根据空间坐标采集的超声图像融合在超声探头扫描平面上(即超声探头在腹腔镜双目视频中的对应位置上)；其中，超声图像融合公式如下：
I＝αIsrc+(1-α)Ifuse (5)
公式(5)中，I表示融合后的图像，Isrc表示腹腔镜双目视频中一帧的图像，Ifuse表示待融合的超声图像，α表示融合系数。
坐标转换模块：用于根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标，得到超声图像在腹腔镜双目视频中的位置坐标；其中，坐标系转换公式如下：
公式(6)、(7)中，(u,v)表示图像像素坐标系中的坐标点，(u0,v0)表示相机光心在图像像素坐标系中的像素坐标，dx、dy分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(xc，yc，zc)表示相机坐标系中的坐标点，即超声图像的空间坐标。具体如图2所示，为世界坐标系中一点在双目视觉成像中各坐标系的对应关系示意图。其中O为光心，L和R为成像平面即左右双目图像，b为基线，即双目摄像头光心间距，f为焦距，xcyczc构成相机坐标系，uv构成图像像素坐标系，xy构成图像坐标系，xwywzw构成世界坐标系。
腹腔镜双目视频包括左眼视频和右眼视频，超声图像需要同时融合到左眼视频和右眼视频中，而通过公式(6)和公式(7)得到的坐标仅为超声图像在左眼或右眼单眼视频中的位置坐标。为达到立体效果，假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，进而得到超声图像在右眼视频中的位置坐标；求解公式如下：
公式(8)中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，dx为单位像素对应长度。由于腹腔镜双目视频的图像已经过极线校正处理，保证相同物理点在图像中位于同一水平线(即在左右视频图像中具有相同y值)，所以只需在x方向上加上Δx即可得到右眼视频中超声图像的位置，实时为医生提供患者病变组织的三维视觉信息，克服传统腹腔镜手术中的视野局限性问题。
图4是本申请实施例提供的多角度超声图像融合方法的硬件设备结构示意图。如图4所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
本申请实施例的多角度超声图像融合方法、系统及电子设备通过定位超声探头在双目视频中的位置，读取超声探头采集的图像，并将超声图像融合到双目视频中探头的对应位置上，实时地为医生显示患者病变组织的内部情况。相对于现有技术，本申请至少具有以下优点：
1、利用双目视觉成像特点，为医生提供三维的视觉信息，为医生提供更加真实的视野，提升医生对术中环境的感知能力。
2、通过融合超声图像，实现增强现实导航技术，为医生提供病变位置的深度信息，克服传统腹腔镜手术中的视野局限性问题。
3、通过对手术环境的实时反馈，可以及时监测术中病变组织的变化情况，使医生更精确地诊断和手术，降低术中风险，提高手术成功率。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种多角度超声图像融合方法，其特征在于，包括以下步骤：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
2.根据权利要求1所述的多角度超声图像融合方法，其特征在于，在所述步骤a中，所述超声探头定位具体包括：首先使用形态学算法对所述腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值算法进行二聚类，将腹腔镜双目视频图像二值化，使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P1、P2、P3。
3.根据权利要求2所述的多角度超声图像融合方法，其特征在于，在所述步骤b中，所述得到超声探头扫描平面的线性方程具体为：假设三个空间坐标点分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：
将其转换为矩阵形式为：
令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：
WX＝0
根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：
W＝USV
SVD分解得到了由WW’的特征向量组成的矩阵U，由W’W的特征向量组成的矩阵V和奇异值矩阵S，得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，通过所述列向量确定超声探头扫描平面的线性方程。
4.根据权利要求3所述的多角度超声图像融合方法，其特征在于，在所述步骤c中，所述超声图像的融合公式为：
I＝αIsrc+(1-α)Ifuse
上述公式中，I表示融合后的图像，Isrc表示腹腔镜双目视频中一帧的图像，Ifuse表示待融合的超声图像，α表示融合系数。
5.根据权利要求1至4任一项所述的多角度超声图像融合方法，其特征在于，所述步骤d后还包括：根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标；其中，坐标系转换公式如下：
上述公式中，(u,v)表示图像像素坐标系中的坐标点，(u0,v0)表示相机光心在图像像素坐标系中的像素坐标，dx、dy分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(xc，yc，zc)表示相机坐标系中的坐标点，即为超声图像在左眼或右眼视频中的位置坐标；
假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，得到超声图像在右眼视频中的位置坐标；求解公式为：
上述公式中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，dx为单位像素对应长度。
6.一种多角度超声图像融合系统，其特征在于，包括：
探头定位模块：用于通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
扫描平面计算模块：用于根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
空间坐标计算模块：用于根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
图像融合模块：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
7.根据权利要求6所述的多角度超声图像融合系统，其特征在于，所述超声探头定位具体包括：首先使用形态学算法对所述腹腔镜双目视频进行预处理，突出探头在腹腔镜双目视频中的位置；然后利用K均值算法进行二聚类，将腹腔镜双目视频图像二值化，使用Canny梯度算子进行边缘检测，提取探头轮廓，再根据最小外接矩形将探头轮廓标准化；最后，利用图像像素坐标系与相机坐标系转换公式得到三个代表探头位置的空间坐标点P1、P2、P3。
8.根据权利要求7所述的多角度超声图像融合系统，其特征在于，所述扫描平面计算模块得到超声探头扫描平面的线性方程具体为：假设三个空间坐标点分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，扫描平面线性方程为Ax+By+Cz+D＝0，A、B、C、D为待求线性方程系数，得到的齐次线性线性方程组为：
将其转换为矩阵形式为：
令W表示由空间坐标构成的系数矩阵，X表示由A、B、C、D构成的待求参数矩阵，则齐次线性方程组的矩阵形式可以化简为：
WX＝0
根据SVD分解，对所述齐次线性方程组的系数矩阵W进行分解：
W＝USV
SVD分解得到了由WW′的特征向量组成的矩阵U，由W′W的特征向量组成的矩阵V和奇异值矩阵S，由此得到待求齐次线性方程组的系数[A B C D]的最优解为S的最小奇异值对应的V中的奇异向量，通过所述列向量确定超声探头扫描平面的线性方程。
9.根据权利要求8所述的多角度超声图像融合系统，其特征在于，所述图像融合模块的超声图像融合公式为：
I＝αIsrc+(1-α)Ifuse
上述公式中，I表示融合后的图像，Isrc表示腹腔镜双目视频中一帧的图像，Ifuse表示待融合的超声图像，α表示融合系数。
10.根据权利要求6至9任一项所述的多角度超声图像融合系统，其特征在于，还包括坐标转换模块，所述坐标转换模块用于根据相机坐标系到图像像素坐标系转换公式将超声图像的空间坐标映射为腹腔镜双目视频中的像素坐标；其中，坐标系转换公式如下：
上述公式中，(u,v)表示图像像素坐标系中的坐标点，(u0,v0)表示相机光心在图像像素坐标系中的像素坐标，dx、dy分别表示一个像素单位对应于图像物理坐标系中的长度；(x,y)表示图像物理坐标系中的坐标点，s为比例因子，f为焦距，(xc，yc，zc)表示相机坐标系中的坐标点，即为超声图像在左眼或右眼视频中的位置坐标；
假设通过上述公式求得了左眼视频中超声图像的图像像素坐标系下的位置坐标，则依据双目视觉成像原理进行光学三角形求解，得到超声图像在右眼视频中的位置坐标；求解公式为：
上述公式中，Δx表示腹腔镜双目视频中某一点的像素差，b为基线，f为焦距，dx为单位像素对应长度。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至5任一项所述的多角度超声图像融合方法的以下操作：
步骤a：通过图像处理技术对超声探头进行定位，并利用相机坐标与图像像素坐标相互转换公式得到所述超声探头在腹腔镜双目视频中的空间坐标点；
步骤b：根据所述超声探头的空间坐标点建立齐次线性方程组，并使用奇异值分解得到所述超声探头扫描平面的线性方程；
步骤c：根据所述超声探头扫描平面的线性方程计算超声图像的空间坐标；
步骤d：超声探头采集超声图像，并根据相机坐标与像素坐标转换公式将所述空间坐标转换为融合到视频图像中对应的像素坐标，完成超声图像到视频图像的融合。
CN201910634955.5A 2019-07-15 2019-07-15 一种多角度超声图像融合方法、系统及电子设备 Active CN110288653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910634955.5A CN110288653B (zh) 2019-07-15 2019-07-15 一种多角度超声图像融合方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910634955.5A CN110288653B (zh) 2019-07-15 2019-07-15 一种多角度超声图像融合方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN110288653A true CN110288653A (zh) 2019-09-27
CN110288653B CN110288653B (zh) 2021-08-24

Family

ID=68022923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910634955.5A Active CN110288653B (zh) 2019-07-15 2019-07-15 一种多角度超声图像融合方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110288653B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111502671A (zh) * 2020-04-20 2020-08-07 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法
WO2021134506A1 (zh) * 2019-12-31 2021-07-08 无锡祥生医疗科技股份有限公司 宽景拼接方法、装置及存储介质
CN113160221A (zh) * 2021-05-14 2021-07-23 深圳市奥昇医疗科技有限责任公司 图像处理方法、装置、计算机设备和存储介质
CN114842239A (zh) * 2022-04-02 2022-08-02 北京医准智能科技有限公司 一种基于超声视频的乳腺病灶属性预测方法及装置
CN114996658A (zh) * 2022-07-20 2022-09-02 中国空气动力研究与发展中心计算空气动力研究所 一种基于投影的高超声速飞行器气动热预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095609A (zh) * 2006-06-29 2008-01-02 奥林巴斯医疗株式会社 体腔内探测装置
US20080030578A1 (en) * 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20120200683A1 (en) * 2010-07-09 2012-08-09 Ryu Oshima System for recording and reproducing images
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法
CN108778143A (zh) * 2016-03-16 2018-11-09 皇家飞利浦有限公司 用于将腹腔镜图像与超声图像进行叠加的计算设备
CN109219384A (zh) * 2016-05-31 2019-01-15 皇家飞利浦有限公司 内窥镜图像与超声图像的基于图像的融合

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095609A (zh) * 2006-06-29 2008-01-02 奥林巴斯医疗株式会社 体腔内探测装置
US20080030578A1 (en) * 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20120200683A1 (en) * 2010-07-09 2012-08-09 Ryu Oshima System for recording and reproducing images
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法
CN108778143A (zh) * 2016-03-16 2018-11-09 皇家飞利浦有限公司 用于将腹腔镜图像与超声图像进行叠加的计算设备
CN109219384A (zh) * 2016-05-31 2019-01-15 皇家飞利浦有限公司 内窥镜图像与超声图像的基于图像的融合

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAÚL S J E等: "Towards real time 2D to 3D registration for ultrasound-guided endoscopic and laparoscopic procedures", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY & SURGERY》 *
李霞等: "基于环境特征和随机方法的柔性针路径规划", 《计算机工程与应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134506A1 (zh) * 2019-12-31 2021-07-08 无锡祥生医疗科技股份有限公司 宽景拼接方法、装置及存储介质
US11983844B2 (en) 2019-12-31 2024-05-14 Chison Medical Technologies Co. Ltd. Panoramic stitching method, apparatus, and storage medium
CN111502671A (zh) * 2020-04-20 2020-08-07 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法
CN111502671B (zh) * 2020-04-20 2022-04-22 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法
CN113160221A (zh) * 2021-05-14 2021-07-23 深圳市奥昇医疗科技有限责任公司 图像处理方法、装置、计算机设备和存储介质
CN114842239A (zh) * 2022-04-02 2022-08-02 北京医准智能科技有限公司 一种基于超声视频的乳腺病灶属性预测方法及装置
CN114842239B (zh) * 2022-04-02 2022-12-23 北京医准智能科技有限公司 一种基于超声视频的乳腺病灶属性预测方法及装置
CN114996658A (zh) * 2022-07-20 2022-09-02 中国空气动力研究与发展中心计算空气动力研究所 一种基于投影的高超声速飞行器气动热预测方法
CN114996658B (zh) * 2022-07-20 2022-11-08 中国空气动力研究与发展中心计算空气动力研究所 一种基于投影的高超声速飞行器气动热预测方法

Also Published As

Publication number Publication date
CN110288653B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110288653B (zh) 一种多角度超声图像融合方法、系统及电子设备
US9978141B2 (en) System and method for fused image based navigation with late marker placement
Maier-Hein et al. Optical techniques for 3D surface reconstruction in computer-assisted laparoscopic surgery
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8939892B2 (en) Endoscopic image processing device, method and program
CN111260786A (zh) 一种智能超声多模态导航系统及方法
CN103948361B (zh) 无标志点的内窥镜定位跟踪方法和系统
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
CN103948432A (zh) 术中立体内窥视频与超声图像增强现实算法
EP2223150A1 (en) System and method for automatic calibration of tracked ultrasound
JP6290723B2 (ja) 手術支援装置および手術支援システム
Sun et al. Surface reconstruction from tracked endoscopic video using the structure from motion approach
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
KR20140052524A (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CN115245303A (zh) 一种用于内窥镜三维导航的图像融合系统和方法
Zenteno et al. 3D Cylinder Pose Estimation by Maximization of Binary Masks Similarity: A simulation Study for Multispectral Endoscopy Image Registration.
Haase et al. 3-D operation situs reconstruction with time-of-flight satellite cameras using photogeometric data fusion
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
Penza et al. Virtual assistive system for robotic single incision laparoscopic surgery
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
Serna-Morales et al. Acquisition of three-dimensional information of brain structures using endoneurosonography
Joerger et al. Global laparoscopy positioning system with a smart trocar
Baba et al. A low-cost camera-based transducer tracking system for freehand three-dimensional ultrasound

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant