CN110432986B - 用于从ct数据构建虚拟径向超声图像的系统和方法 - Google Patents
用于从ct数据构建虚拟径向超声图像的系统和方法 Download PDFInfo
- Publication number
- CN110432986B CN110432986B CN201910395712.0A CN201910395712A CN110432986B CN 110432986 B CN110432986 B CN 110432986B CN 201910395712 A CN201910395712 A CN 201910395712A CN 110432986 B CN110432986 B CN 110432986B
- Authority
- CN
- China
- Prior art keywords
- image
- lesion
- data
- pole
- kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 52
- 230000003902 lesion Effects 0.000 claims abstract description 75
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 230000003362 replicative effect Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 57
- 239000000523 sample Substances 0.000 description 20
- 238000012285 ultrasound imaging Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 201000007902 Primary cutaneous amyloidosis Diseases 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000007340 echolocation Effects 0.000 description 1
- 238000002593 electrical impedance tomography Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G06T3/06—
-
- G06T5/70—
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明提供一种用于从CT数据构建虚拟径向超声图像的系统和方法,所述系统和方法包括接收CT数据、计算所述CT数据的梯度以及通过3D内插获得2D切片。所述方法还包括计算远离每个2D切片的中心的每条径向线上的透射值和反射值以创建病变图像、将所述病变图像转换为极图像、在所述极图像中生成随机噪声并向所述极图像添加随机彗尾。通过从一系列极病变图像沿着半径计算平均轮廓来创建背景图像。将所述背景图像与所述极病变图像合并并且在所述合并图像的所述背景中生成随机噪声。在所述合并图像中模拟密度变化并将所述合并图像的坐标转换为笛卡尔坐标以构建虚拟径向超声图像。
Description
相关申请的交叉引用
本申请要求2018年5月2日提交的美国临时申请序列号62/665,667的权益和优先权,其全部内容以引用方式并入本文。
背景技术
技术领域
本公开涉及用于从CT数据构建虚拟径向探头支气管内超声(“径向EBUS”)图像、使虚拟径向EBUS图像与CT数据配准并使用虚拟径向EBUS超声图像和CT数据执行外科导航程序的系统、装置和方法。
相关领域的描述
有若干种通常用于治疗影响器官,包括肝脏、脑、心脏、肺和肾脏的各种疾病的方法。通常,临床医生采用一种或多种成像模态,诸如磁共振成像、超声成像、计算机断层摄影(CT)以及其他成像模式来识别在患者内的感兴趣的区域以及最终用于治疗的目标。
已经证明内窥镜检查方法可用于导航到在患者内的感兴趣的区域,并且特别是用于在身体的管腔网络(诸如肺)内的区域。为了实现在肺中的内窥镜式,并且更特别地,支气管镜式方法,已经开发了支气管内导航系统,该支气管内导航系统使用先前所获取的MRI数据或CT图像数据以生成特定身体部位(诸如肺)的三维渲染或体积。特别地,利用从患者的MRI扫描或CT扫描获取的先前所获取的图像以生成患者的三维或体积渲染。
然后利用从MRI扫描或CT扫描生成的所得的体积来创建导航规划,以便于导航导管(或其他合适的设备)通过支气管镜和患者支气管的分支推进到感兴趣的区域。电磁跟踪可与CT数据结合利用,以便于引导导航导管通过支气管的分支到达感兴趣的区域。在某些情况下,导航导管可被定位在与感兴趣的区域相邻或在感兴趣的区域内的分支管腔网络的气道中的一者内,以为一个或多个医疗器械提供通路。
在一些程序中,在导管导航到感兴趣的区域或目标后,径向超声探头被定位为穿过导管以获得感兴趣的区域或目标的径向EBUS图像。此类径向EBUS图像可用于供临床医生实时观察感兴趣的区域和目标并确认导管相对于目标正确定位。
目前,存在用于从CT数据生成模拟超声图像的方法。然而,用于从CT数据生成模拟超声图像的已知方法并不模拟真实设备噪声和伪影。通常,用于从CT数据生成模拟超声图像的已知方法尝试使用波和若干回波,一些甚至利用超声纹理的复制和粘贴来模拟或创建噪声。特别地,用于从CT数据生成模拟超声图像的已知方法应用柏林(Perlin)噪声作为任意噪声,而无需考虑它是否对真实图像中的观察到的噪声正确建模。由于已知方法应用标准2D图像中的噪声,其中在距径向图像的中心的近处或远处具有相同的特性,因此所得的模拟超声图像具有非常细的噪声和非常少的伪影,从而创建比真实径向EBUS图像更清洁且不那么有用的图像。
因此,需要可实现从CT数据模拟径向EBUS图像的益处,同时为模拟径向EBUS图像提供更多细节的系统。另外,需要将模拟径向EBUS图像结合在外科导航系统中以帮助临床医生执行外科导航程序的系统。
发明内容
本公开涉及用于从CT数据构建虚拟径向探头支气管内超声(“径向EBUS”)图像、使虚拟径向EBUS图像与CT数据或实时超声图像(径向或线性)配准并使用虚拟径向EBUS图像和CT数据执行外科导航程序的系统和方法。所构建的虚拟径向EBUS图像可形成为合成图像,其具有从与该合成图像结合在一起的CT数据中所提取的元素。所构建的虚拟径向EBUS图像可用于引导、训练、导航规划、改善导航精度、导航确认和治疗确认。
如下面更详细描述的,所公开的系统和方法对背景噪声和各种类型的伪影建模以便尽可能逼真,从而找到真实超声薄膜、来自真实数据的逆向工程的潜在概率模型。在本文公开的方法中,与真实图像一样,随着距中心的距离的增大,噪声变得更粗糙。为了使用这种方法获得逼真的模拟,在极坐标中执行大多数计算,并将最终乘积转换为笛卡尔坐标。
结合附图详细描述了本公开的各方面,其中相似的附图标记识别类似或相同的元件。如本文所用,术语“远侧”是指所描述的离使用者较远的部分,而术语“近侧”是指所描述的离使用者较近的部分。
根据本公开的一个方面,提供用于从CT数据构建虚拟径向超声图像的方法。该方法包括:接收分支管腔网络的术前CT数据;计算CT数据的梯度(例如,计算3D Sobel梯度);通过3D内插获得CT数据的2D切片;计算远离每个2D切片的中心的每条径向线上的透射值和反射值以创建病变图像;将病变图像转换为极病变图像;在极病变图像中生成随机噪声;基于随机噪声向极病变图像添加随机彗尾;通过从一系列极病变图像沿着半径计算平均轮廓来创建背景图像;将背景图像与极病变图像合并以创建合并图像;在合并图像的背景中生成随机噪声;模拟合并图像中的密度变化;以及将合并图像的坐标转换为笛卡尔坐标以构建虚拟径向超声图像。
该方法还可包括使用表示在隔离反射中看到的内容的模型内核来复制极病变图像中的内核。使用表示在隔离反射中看到的内容的模型内核来复制极病变图像中的内核可包括应用以下公式:
imLesion(neiY,neiX)=max(imLesion(neiY,neiX),kernel*imReflection(peakY,peakX)),
其中neiY和neiX为peakY和peakX附近的坐标列表。
另外,该方法还可包括模拟极病变图像中的高密度点周围的真实超声图像的明显模糊。模拟极病变图像中的高密度点周围的真实超声图像的明显模糊可包括对于介于0度和180度之间的多个(例如,20个)方向执行多个(例如,20个)灰度线性闭合。
计算远离每个2D切片的中心的每条径向线上的透射值和反射值以创建病变图像可包括应用以下公式:
imVirt(ptCur)=|Rad.Grad|.|Grad|/(2.Vol)^2.valTransmit,
和
imTransmit(ptCur)=(1-(|Grad|/(2.Vol)))^2。
基于随机噪声向极病变图像添加随机彗尾可包括通过在内核掩模中考虑在上方和下方的每个峰值的近邻(neiPeak)向峰值添加彗尾。
该方法还可包括将针对每种像素所定义的减小轮廓沿着水平线复制到峰值的近邻的右侧,如下:
val(neiPeak)*ratioX(radiusDif)*ratioY(angleDif),
其中radiusDif为半径与峰值差,并且angleDif为对于沿着轮廓的每种像素的角度与峰值差。
将背景图像与极病变图像合并以创建合并图像可包括应用启发式公式,例如,
imBackground(y,x)=imBackground(y,x)+log(imBackground(y,x))*imLesion(y,x)*K。
在本公开的另一方面,提供用于从CT数据构建虚拟径向超声图像的系统。该系统包括计算设备,该计算设备被配置为:接收分支管腔网络的术前CT数据;计算CT数据的梯度(例如,计算3D Sobel梯度);通过3D内插获得CT数据的2D切片;计算远离每个2D切片的中心的每条径向线上的透射值和反射值以创建病变图像;将病变图像转换为极病变图像;在极病变图像中生成随机噪声;基于随机噪声向极病变图像添加随机彗尾;通过从一系列极病变图像沿着半径计算平均轮廓来创建背景图像;将背景图像与极病变图像合并以创建合并图像;在合并图像的背景中生成随机噪声;模拟合并图像中的密度变化;以及将合并图像的坐标转换为笛卡尔坐标以构建虚拟径向超声图像。
计算设备可被配置为通过应用以下公式来计算远离每个2D切片的中心的每条径向线上的透射值和反射值以创建病变图像:
imVirt(ptCur)=|Rad.Grad|.|Grad|/(2.Vol)^2.valTransmit,
和
imTramsmit(ptCur)=(1-(|Grad|/(2.Vol)))^2。
该计算设备还可被配置为使用表示在隔离反射中看到的内容的模型内核来复制极病变图像中的内核。该计算设备可被配置为通过应用以下公式而使用表示在隔离反射中看到的内容的模型内核来复制极病变图像中的内核:
imLesion(neiY,neiX)=max(imLesion(neiY,neiX),kernel*imReflection(peakY,peakX)),
其中neiY和neiX为peakY和peakX附近的坐标列表。另外,该计算设备还可被配置为模拟极病变图像中的高密度点周围的真实超声图像的明显模糊。例如,该计算设备被配置为通过对于介于0度和180度之间的多个(例如,20个)方向执行多个(例如,20个)灰度线性闭合来模拟极病变图像中的高密度点周围的真实超声图像的明显模糊。
该计算设备可被配置为通过在内核掩模中考虑在上方和下方的每个峰值的近邻(neiPeak)向峰值添加彗尾来基于随机噪声向极病变图像添加随机彗尾。
该计算设备还可被配置为将针对每种像素所定义的减小轮廓沿着水平线复制到峰值的近邻的右侧,如下:
val(neiPeak)*ratioX(radiusDif)*ratioY(angleDif),
其中radiusDif为半径与峰值差,并且angleDif为对于沿着轮廓的每种像素的角度与峰值差。另外,该计算设备可被配置为通过应用启发式公式来将背景图像与极病变图像合并以创建合并图像,例如,
imBackground(y,x)=imBackground(y,x)+log(imBackground(y,x))*imLesion(y,x)*K。
附图说明
下文结合附图描述了本公开的各个方面和实施方案,其中:
图1为根据本公开的电磁导航(EMN)系统的一个例示性实施方案的透视图;
图2为从CT数据构建虚拟径向EBUS图像的方法的流程图;
图3为3D梯度/体积中的2D切片的图示;
图4A为从CT体积获得的2D切片的示例的图示;
图4B为从模糊体积获得的2D切片的示例的图示;
图4C为沿着CT体积的X轴的3D梯度的x坐标的切片(x,y)的示例的图示;
图4D为沿着CT体积的Y轴的3D梯度的y坐标的切片(x,y)的示例的图示;
图5为使用本文所述的公式从中心点到边界执行的循环的图示,以求出所得的图像(“imVirt”);
图6为病变的无噪声的所得的反射图像的图示;
图7为在上面显示有随机点的极坐标中的图6的所得的反射图像的极图像的图示;
图8为表示在隔离反射中看到的内容的模型内核的图示;
图9为具有在极坐标中随机粘贴的内核的所得的图像的图示;
图10为线性结构元素图表,用于对于介于0度和180度之间的20个不同方向执行线性闭合(其中接近峰已连接)以模拟真实超声图像中高密度点周围的明显模糊;
图11为表示对于沿着用于添加彗尾的轮廓的每种像素的半径与峰值差(“radiusDif”)的半径与峰值差图表,如本文所述的公式中所使用的;
图12为表示对于沿着用于添加彗尾的轮廓的每种像素的角度与峰值差(“angleDif”)的角度与峰值差图表,如本文所述的公式中所使用的;
图13为在根据图10的线性结构元素图表执行闭合后的所得的图像;
图14为在根据图11的半径与峰值差图表和图12的角度与峰值差图表添加彗尾后的所得的图像;
图15为示出沿着半径的背景轮廓的图表;
图16为在背景图像的每一行上复制图15的轮廓后的初始背景图像的图示;
图17为合并图像的图示,其中图16的初始背景图像与病变图像合并;
图18为在其上模拟的背景中具有用于噪声的随机位置的合并图像的图示;
图19为噪声点的模型内核的图示;
图20为在背景中添加噪声后的所得的图像的图示;
图21为用于定义应用阴影效应的比率的图表;
图22为在应用阴影效应后的所得的图像;
图23为在将坐标转换为笛卡尔坐标后的所得的虚拟径向EBUS图像;并且
图24为使用图1的系统来执行外科导航程序的方法的流程图。
具体实施方式
本公开涉及用于从CT数据构建虚拟径向探头支气管内超声(“径向EBUS”)图像、使虚拟径向EBUS图像与CT数据或实时超声图像(径向或线性)配准并使用虚拟径向EBUS图像和CT数据执行外科导航程序的系统和方法。所构建的虚拟径向EBUS图像利用类似于真实噪声的噪声的创建以创建更准确和更逼真的图像模拟。所构建的虚拟径向EBUS图像可形成为合成图像,其具有从与该合成图像结合在一起的CT数据中所提取的元素。所构建的虚拟径向EBUS图像可用于引导、训练、导航规划、改善导航精度、导航确认和治疗确认。
如下面更详细描述的,所公开的系统和方法对背景噪声和各种类型的伪影建模以便尽可能逼真,从而找到真实超声薄膜、来自真实数据的逆向工程的潜在概率模型。在本文公开的方法中,与真实图像一样,随着距中心的距离的增大,噪声变得更粗糙。为了使用这种方法获得逼真模拟,在极坐标中执行大多数计算并将结果转换为笛卡尔坐标。
图1描绘了电磁导航(EMN)系统100,其被配置用于审阅CT图像数据以识别一个或多个目标,规划通往所识别的目标的路径(规划阶段),经由用户界面将导管组件的延伸工作通道(EWC)12导航到目标(导航阶段),以及确认EWC 12相对于目标的放置。一种此类EMN系统为目前由美敦力公司(Medtronic PLC)出售的ELECTROMAGNETIC NAVIGATION系统。目标可为感兴趣的组织,或者可与感兴趣的位置相关,所述感兴趣的组织或感兴趣的位置通过在规划阶段期间审阅CT图像数据来识别。在导航后,可将医疗器械诸如活组织检查工具或其他工具插入EWC 12中以从位于目标处或附近的组织获得组织样本,或者治疗位于目标处或附近的组织。
EMN系统100一般包括操作台20,该操作台被配置为支撑患者“P”;支气管镜30,该支气管镜被配置用于穿过患者“P”的嘴插入患者“P”的气道中;联接到支气管镜30的监视设备120(例如,视频显示器,用于显示从支气管镜30的视频成像系统接收的视频图像);跟踪系统50包括跟踪模块52、多个参考传感器54和发射器垫56;以及计算设备125,该计算设备包括用于便于目标识别、通往目标的路径规划、将医疗器械导航到目标和确认EWC 12的放置的软件和/或硬件,或者相对于目标穿过其中的合适的设备。
计算设备125可为包括处理器和存储介质的任何合适的计算设备,其中处理器能够执行存储在存储介质上的指令。计算设备125还可包括数据库,该数据库被配置为存储患者数据、包括CT图像的CT数据集、包括荧光镜图像和视频的荧光镜数据集、超声图像或数据集、导航规划、以及任何其他此类数据。尽管未明确示出,但计算设备125可包括输入,或者可以其他方式配置为接收CT数据集、荧光镜图像/视频、超声图像/视频和本文所述的其他数据。另外,计算设备125包括被配置为显示图形用户界面的显示器。计算设备125可连接到一个或多个网络,可通过该一个或多个网络访问一个或多个数据库,并且计算设备可被配置为执行本文所述的方法中的任一种。
如下面进一步详细描述的,计算设备125被配置为从CT数据创建虚拟径向EBUS图像。可由计算设备125显示虚拟径向EBUS图像,以增强通往目标的导航。此外,计算设备125还可被配置为将虚拟径向EBUS图像与由超声成像设备45获取的实时径向EBUS图像配准。可经由图像分析和在两个数据集之间的比较来完成在两个数据集之间的配准。另外,可从中提取CT数据集的分量并将其集成到从径向EBUS探头所接收的实时超声图像或从CT数据集构建的虚拟径向EBUS图像中的任一者或两者中。
在简要描述了图1中描绘的系统100的部件后,以下关于图2至图23的描述提供了使用系统100的部件创建虚拟超声图像(特别地,虚拟径向EBUS图像)的示例性工作流,并且将整体描述为方法200。本文所述的任何方法可由系统100的任何部件执行,并且可包括所描述的步骤的全部或一些。另外,任何方法可以任何顺序执行,具体地,可以附图中所描述和所示出的步骤的不同顺序执行。
方法200在步骤201处开始,在该步骤中计算设备125接收患者的分支管腔网络的术前CT数据。在步骤203中,计算设备125计算CT数据的梯度,例如,3D Sobel梯度(图3)。在步骤205中,计算设备125通过3D内插获得CT数据的2D切片(图3)。在步骤207中,计算设备125计算远离每个2D切片的中心的每条径向线上的透射值和反射值以创建病变图像(图5)。在步骤209中,计算设备125将病变图像转换为极病变图像(图7)。在步骤211中,计算设备125在极病变图像中生成随机噪声(图9)。在步骤213中,计算设备125基于随机噪声向极病变图像添加随机彗尾(图14)。在步骤215中,计算设备125通过从一系列极病变图像沿着半径计算平均轮廓来创建背景图像(图16)。在步骤217中,计算设备125将背景图像与极病变图像合并以创建合并图像(图17)。在步骤219中,计算设备125在合并图像的背景中生成随机噪声(图18至图20)。在步骤221中,计算设备125模拟合并图像中的密度变化(图21至图23)。在步骤223中,计算设备125将合并图像的坐标转换为笛卡尔坐标以构建虚拟径向超声图像(图23)。
参照图3以及方法200的步骤203和205,对于物理模型,使用步长为2个像素的3DSobel梯度,然而应当理解,也可使用任何梯度算子。(ux1,uy1,uz1)为所考虑的3D体积(CT或梯度300)的3D参考坐标。(ux2,uy2,uz2)为超声图像的3D参考坐标,其中uz2为探头的方向。对于每个超声图像301,由轨迹303计算uz2。ux2为使用以下公式来计算的:
ux2=uy1*uz2。
可假设,超声的y轴为垂直的(恒定辊),其不为真并且将在后一步骤中解决。uy2为使用以下公式来计算的:
uy2=uz2*ux2。
2D切片中的每一点都相对地定义为ux2和uy2,因此在3D参考坐标(ux2,uy2,uz2)中获得非整数值,并且在(ux1,uy1,uz1)中导出3D坐标。在八个近邻(具有整数坐标)之间执行三线内插。
使用模糊体积而不是CT体积以避免在将梯度除以零值后的步骤中出现奇点。使用掩模(例如,Sobel掩模)使数据模糊。特别地,图4A示出了在模糊前从CT体积所获得的2D切片,并且图4B示出了模糊体积的2D切片。图4A和图4C分别示出了沿着X轴和Y轴的3D梯度。
参照方法200的步骤207,现在将参考方图5描述用于创建虚拟径向EBUS图像的透射和反射。定义了两个2D图像,imVirt和imTransmit。imVirt为包含反射信号的结果图像。imTransmit包含透射数据,并且为临时图像。执行两个循环:外部循环和内部循环。沿着某一角度执行外部循环,从而扫描图像ptBor的边界点。通过从中心盘507的周边开始,扫描将中心点ptCen连接到边界点ptBor的线505上的点来执行内部循环。在3D中计算线505的单位矢量Rad。计算线505上的当前点ptCur和前一点ptPrev。valTransmit被定义为中心盘507的周边上的值1。应用以下关于在ptCur处的反射和透射的公式(参见图5):
imVirt(ptCur)=|Rad.Grad|·|Grad/(2.Vol)^2.valTransmit,
其为入射角的余弦与平方相对密度衰减以及与输入信号的乘积;和
imTransnuit(ptCur)=(1-(|Grad|/(2.Vol)))^2,
其为非反射信号。为方便起见,可仅针对单个角度来计算imVirt的每个值。在图6中示出所得的反射图像601,其中在轮廓中具有开口或孔603,表示病变的连接到血管的一部分。
病变上的噪声
如下面进一步详细描述的,所公开的方法对背景噪声和各种类型的伪影建模,以便形成尽可能逼真且尽可能接近真实超声图像的模拟超声图像。所公开的方法找到真实超声薄膜、来自真实数据的逆向工程的潜在概率模型。在本文所公开的方法中,与真实图像一样,随着距中心的距离的增大,噪声变得更粗糙或更夸张。为了使用这种方法获得逼真的模拟,在极坐标中执行大多数计算。
在方法200的步骤209中将病变图像转换为极图像后,反射图像601(图6)在图7中示为极图像701。参照方法200的步骤211,定义随机点(例如,五百个随机点),如图7中的点703(例如,703...n)表示。模型内核801(图8)由来自真实超声图像的病变中的数百个样本峰定义。模型内核801表示在隔离反射中看到的内容。对于较大的反射区域,峰值相互作用。对于每个随机峰值,复制病变图像中的内核,其幅度由反射图像中的峰值位置处的灰度值定义。在下面的公式中,neiY和neiX为peakY和peakX附近的坐标列表:
imLesion(neiY,neiX)=max(imLesion(neiY,neiX),kernel*imReflection(peakY,peakX))。
所得的病变图像在图9中示为图像901,其中通过乘以6,000获得相关的灰度值。也就是说,将图像imLesion缩放、乘以6,000,以获得与真实超声图像中范围类似的值。
为了模拟高密度点周围的真实超声图像中的明显模糊,对于介于0度和180度之间的多个(例如,20个)不同方向执行多个(例如,20个)灰度线性形态闭合(参见图10,使用线性结构元素)。非平坦结构元素的使用降低了在两个峰之间的灰度级,使其通过某一区段可视地接合。所得的图像在图13中示为图像1301。此外,如果峰值属于图像中的10%的最高峰值(考虑到所有峰值,包括黑色区域中的峰值)并且随机在10%的情况下,向峰值添加彗尾的伪影,导致图14中所示的图像1401,图14示出了具有彗尾的病变。为了添加注释峰值,在内核掩模内部考虑在上方和下方的每个峰值的近邻neiPeak。我们将针对每种像素所定义的减小轮廓沿着水平线复制到近邻的右侧,如下:
val(neipeak)*ratioX(radiusDif)*ratioY(angleDif),
其中radiusDif为半径与峰值差,并且angleDif为对于沿着轮廓的每种像素的角度差(参见图11和图12)
参照方法200的步骤215,从一系列图像沿着半径计算平均轮廓。该平均轮廓由常数值组成,部分近似为指数减小(参见图15)。在背景图像的每一行上复制该轮廓(参见图14),并且创建初始背景图像1601(图16)。参照方法200的步骤217,根据启发式公式来将背景图像和病变图像合并:
imBackground(y,x)=imBackground(y,x)+log(imBackground(y,x))*imLesion(y,x)*K,
这意味着背景上的病变的幅度随半径线性地减小(背景呈指数减小)。在由计算设备125执行方法200的步骤217后,在图17中示出了所得的合并图像1701。
参照方法200的步骤219,通过以下方式在背景中模拟随机噪声:1)生成40,000个随机点(参见图18);2)由一系列图像中的统计度量定义“噪声点”的内核(参见图19);以及3)对每个随机点应用以下公式:
imBackground(ly,lx)=imBackground(ly,lx)+log(imBackground(ly,lx))*kernel_background,
其中ly和lx为内核内部的随机点的相邻的行和列。在由计算设备125完成方法200的步骤219后,在图20中示出所得的图像2001。考虑到点的数量,粘贴的内核相互作用并产生随机形状。
参照方法200的步骤221,为了根据角度模拟低频的密度变化,采取以下步骤。首先,在固定范围内(在1周围)计算三个随机值V1、V2、V3。其次,计算由值[V1,V2,V3,V1]在角度[0,120,240,360]处定义的阶次3的多项式polShadow(角度)。第三,定义2D比率(半径,角度)(参见图21),其中:
比率(最小半径,角度)=1;
比率(最大半径,角度)=polShadow(角度);并且
比率(半径,角度)在最小半径和最大半径之间为线性的。
第四,将图像乘以比率(半径,角度)^3,并获得图22所示的图像2201。最后,在方法200的步骤223中,将坐标转换为笛卡尔坐标,以获得图23所示的虚拟径向EBUS图像2301。
使用虚拟径向EBUS图像进行的外科导航程序
上文已经参照方法200和图2至图23描述了虚拟径向EBUS图像的构建,现在将具体参考图1和图24来描述使用系统100执行外科导航程序的方法作为方法2400。
如图1所示,EWC 12为导管引导组件40的一部分。在实践中,将EWC 12插入支气管镜30中以进入患者“P”的管腔网络。具体地,导管引导组件40的EWC 12可插入支气管镜30的工作通道中,用于导航通过患者的管腔网络。将可定位引导件(LG)32(包括传感器44)插入到EWC 12中并锁定到适当位置,使得传感器44延伸超出EWC 12的远侧尖端一段所需的距离。可导出传感器44相对于参考坐标系的位置和取向,并因此导出电磁场内的EWC 12的远侧部分。导管引导组件40目前由美敦力公司(Medtronic PLC)以品牌名称程序套件或EDGETM程序套件推销和出售,并且可设想为可与本公开一起使用。关于导管引导组件40的更详细描述,参考2013年3月15日提交的由Ladtkow等人共同拥有的美国专利号美国9,247,992,美国专利号7,233,820,以及美国专利号9,044,254,这些专利的全部内容以引入方式并入本文。
在系统100的该特定方面中还包括能够获取患者“P”的超声图像或视频的超声成像设备45。由超声成像设备45所捕获的图像、图像系列或视频可存储在超声成像设备45内或传输到计算设备125以便存储、处理、与其他数据集配准、和显示。另外,超声成像设备45可为径向EBUS探头,其可被插入穿过支气管镜40的工作通道,或更具体地穿过导管引导组件40的EWC 12,以导航到管腔网络的外围区域。
关于规划阶段,计算设备125利用先前所获取的CT图像数据来生成和查看患者“P”的气道的三维模型,实现在三维模型上识别目标(自动地、半自动地或者手动地),并且允许确定通过患者“P”的气道到位于目标处和组织周围的路径。更具体地,处理从先前CT扫描所获取的CT图像并将其组装成三维CT体积,然后将其用于生成患者“P”的气道的三维模型。该三维模型可显示在与计算设备125相关联的显示器上,或者以任何其他合适的方式显示。使用计算设备125,呈现三维模型的各种视图或从三维模型生成的增强的二维图像。增强的二维图像可具有一些三维能力,因为它们为从三维数据生成的。可操纵三维模型以便于三维模型或二维图像上的目标的识别,并且可对穿过患者“P”的气道进入位于目标处的组织的合适的路径进行选择。一旦被选择,路径规划、三维模型和从其导出的图像可被保存并导出到导航系统以在导航阶段期间使用。其中一种规划软件为目前由美敦力公司(MedtronicPLC)销售的规划套件。
关于导航阶段,六自由度电磁跟踪系统50,例如,类似于美国专利号8,467,589,6,188,355和公开的PCT申请号WO 00/10456和WO 01/67035中公开的那些,每个文献的全部内容以引用方式并入本文,或者其他合适的定位测量系统用于执行图像的配准和用于导航的路径,但是还可设想其他配置。跟踪系统50包括跟踪模块52、多个参考传感器54和发射器垫56。跟踪系统50被配置为与可定位引导件32,特别是传感器44和超声成像设备45一起使用。如上所述,可定位引导件32和传感器44被配置用于(在借助或不借助支气管镜30的情况下)穿过EWC 12插入到患者“P”的气道中,并且可经由锁定机构选择性地相对于彼此锁定。
发射器垫56定位在患者“P”下方。发射器垫56在患者“P”的至少一部分周围生成电磁场,在电磁场内可使用跟踪模块52确定多个参考传感器54和传感器元件44的位置。一个或多个参考传感器54附接到患者“P”的胸部。参考传感器54的六个自由度坐标被发送到计算设备125(其包括适当的软件),其中它们用于计算患者坐标参考系。如下详述,通常执行配准以协调来自规划阶段的三维模型的位置和二维图像与如通过支气管镜30观察到的患者“P”的气道,并且允许在确切了解传感器44和超声成像设备45的位置(即使是在支气管镜30无法到达的气道部分中)的情况下开始进行导航阶段。这种配准技术及其在管腔导航中的具体实施的更多细节可见于美国专利申请公布号2011/0085720(该专利申请公布的整个内容以引用方式并入本文),但还可设想到其他合适的技术。
可通过将LG 32移动穿过患者“P”的气道执行发射器垫56上患者“P”的位置的配准。更具体地讲,使用发射器垫56、参考传感器54和跟踪模块52记录与在可定位引导件32移动穿过气道时传感器44的位置相关的数据。将由该位置数据产生的形状与在规划阶段中生成的三维模型的通道的内部几何形状进行比较,并且基于该比较例如利用计算设备125上的软件确定在形状和三维模型之间的位置相关性。另外,软件识别三维模型中的非组织空间(例如,充满空气的空腔)。该软件将表示传感器44的位置的图像与三维模型和由三维模型生成的二维图像对准或配准,这些二维图像基于所记录的位置数据以及可定位引导件32一直位于患者“P”的气道中的非组织空间中的假设。另选地,可通过将支气管镜30与传感器44导航到患者“P”的肺中的预定位置,并且手动将来自支气管镜的图像与三维模型的模型数据相关来采用手动配准技术。
一旦EWC 12已经成功导航到目标附近,如用户界面上所描绘,可定位引导件32就可从EWC 12解锁并被取出,从而将EWC 12留在适当位置作为引导医疗器械的引导通道,所述医疗器械包括但不限于光学系统、超声探头诸如超声成像设备45、标记物放置工具、活组织检查工具、消融工具(即,微波消融设备)、激光探头、低温探头、传感器探头以及通往目标的抽吸针。
方法2400在步骤2401处开始,在该步骤处接收患者的分支管腔网络的术前CT数据。在步骤2403中,生成分支管腔网络的3D模型,并生成通往一个或多个目标的导航规划和路线。在步骤2405中,例如通过上述方法200来构建虚拟径向EBUS图像(图2至图23)。在步骤2405中,每个虚拟径向EBUS图像具有假设的位置坐标,其可从CT数据中提取。在步骤2407中,使用在步骤2403中生成的导航规划导航径向EBUS探头。在步骤2407中导航径向EBUS探头期间,径向EBUS探头正在获取患者的分支管腔网络的径向EBUS图像。在步骤2409中,跟踪径向EBUS探头的电磁(EM)位置,并在显示器上显示径向EBUS探头的位置。
在步骤2411中,将虚拟径向EBUS图像(在步骤2405中构建)配准到真实径向EBUS图像(在步骤2407中由径向EBUS探头获取)。步骤2411中的该配准可例如通过基于图像的分析来完成。另选地或除此之外,步骤2411中的配准可通过基于位置的分析来完成,其中将虚拟径向EBUS图像的假设坐标与真实径向EBUS图像的实际坐标进行比较。在一个方面,步骤2411包括利用配准技术,所述配准技术包括基于图像且基于位置两者的分析。
在步骤2413中,基于步骤2411中的配准以及虚拟径向EBUS图像的假设坐标与径向EBUS探头的跟踪EM位置数据的比较,在显示器上确认或更新径向EBUS探头的显示位置。在步骤2415中,继续导航程序直到到达目标,并且在步骤2417中,在目标处执行治疗(例如,活组织检查)。为了更好地观察分支管腔网络和目标,可提取CT数据的各部分并将其覆盖在虚拟径向EBUS图像上。
根据前述内容并且参考各个附图,本领域的技术人员将会理解,还可在不脱离本公开范围的情况下对本公开做出某些修改。例如,虽然系统和方法被描述为可与EMN系统一起使用以通过管腔网络诸如肺导航,但是本文所述的系统和方法可与利用其他导航和治疗设备诸如经皮设备的系统一起利用。另外,尽管上述系统和方法被描述为在患者的管腔网络内使用,但是应当理解,上述系统和方法可用于其他目标区域,诸如肝脏。此外,上述系统和方法还可用于经胸针抽吸程序。
本文公开了本公开的详细实施方案。然而,所公开的实施方案仅仅为本公开的示例,其可能以多种形式或方面体现。因此,本文所公开的特定的结构和功能细节不应理解为限制性的,而仅仅为权利要求书的基础,并作为具有代表性的基础用于教导本领域技术人员以几乎任何合适的详细结构不同地采用本公开。
如可理解的,可为了治疗组织而穿过患者的一个或多个分支管腔网络定位的医疗器械(诸如活组织检查工具)或能量设备(诸如微波消融导管)可被证明可用于外科区域,并且本公开涉及可与这些器械和工具一起使用的系统和方法。通过使用导航技术,可经皮或通过自然孔口进入管腔网络。另外,可使用图像引导来完成通过管腔网络的导航。这些图像引导系统可与能量设备或单独的进入工具分离或集成,并且可包括MRI、CT、荧光镜透视检查、超声、电阻抗断层摄影、光学和/或设备跟踪系统。用于定位进入工具的方法包括EM、IR、回声定位、光学等。跟踪系统可集成到成像设备,其中该跟踪在虚拟空间中完成或与术前或实时图像融合。在一些情况下,可直接从官腔内进入治疗目标,诸如用于治疗COPD、哮喘、肺癌等的支气管内壁。在其他情况下,可能需要能量设备和/或另外的进入工具刺穿管腔并延伸到其他组织中以到达目标,诸如用于治疗实质内的疾病。能量设备或工具放置的最终定位和确认可使用结合有上述方法和系统的标准荧光镜成像设备通过成像和/或导航引导来执行。
尽管在附图中已经示出了本公开的若干实施方案,但是本公开不旨在限于此,因为本公开旨在与本领域所允许的范围那样宽泛,并且旨在同样宽泛地阅读说明书。因此,以上说明不应理解为限制性的,而是仅作为具体实施方案的例示。本领域的技术人员能够设想在本文所附权利要求书的范围和实质内的其他修改。
Claims (16)
1.一种用于从CT数据构建虚拟径向超声图像的方法,所述方法包括:
接收分支管腔网络的术前CT数据;
计算所述CT数据的梯度;
通过3D内插获得所述CT数据的2D切片;
计算远离每个2D切片的中心的径向线上的透射值和反射值以创建病变图像;
将所述病变图像转换为极病变图像;
在所述极病变图像中生成随机噪声;
基于所述随机噪声向所述极病变图像添加随机彗尾;
通过从一系列极病变图像沿着半径计算平均轮廓来创建背景图像;
将所述背景图像与所述极病变图像合并以创建合并图像;
在所述合并图像的背景中生成随机噪声;
模拟所述合并图像中的密度变化;以及
将所述合并图像的坐标转换为笛卡尔坐标以构建虚拟径向超声图像。
2.根据权利要求1所述的方法,还包括使用表示在隔离反射中看到的内容的模型内核来复制所述极病变图像中的内核。
3.根据权利要求2所述的方法,其中使用表示在隔离反射中看到的内容的模型内核来复制所述极病变图像中的内核包括应用以下公式:
imLesion(neiY,neiX)=max(imLesion(neiY,neiX),kernel*imReflection(peakY,peakX))
其中neiY和neiX为peakY和peakX附近的坐标列表。
4.根据权利要求1所述的方法,还包括模拟所述极病变图像中的高密度点周围的真实超声图像的模糊。
5.根据权利要求4所述的方法,其中模拟所述极病变图像中的高密度点周围的真实超声图像的模糊包括对于介于0度和180度之间的多个方向执行多个灰度线性闭合。
6.根据权利要求1所述的方法,其中基于所述随机噪声向所述极病变图像添加随机彗尾包括通过在内核掩模中考虑在上方和下方的每个峰值的近邻(neiPeak)向所述峰值添加彗尾。
7.根据权利要求6所述的方法,还包括将针对每种像素所定义的减小轮廓沿着水平线复制到每个所述峰值的近邻的右侧,如下:
val(neiPeak)*ratioX(radiusDif)*ratioY(angleDif),
其中radiusDif为半径与所述峰值差,并且angleDif为对于沿着轮廓的每种像素的角度与所述峰值差。
8.根据权利要求1所述的方法,其中将所述背景图像与所述极病变图像合并以创建合并图像包括应用启发式公式。
9.一种用于从CT数据构建虚拟径向超声图像的系统,所述系统包括计算设备,所述计算设备被配置为:
接收分支管腔网络的术前CT数据;
计算所述CT数据的梯度;
通过3D内插获得所述CT数据的2D切片;
计算远离每个2D切片的中心的径向线上的透射值和反射值以创建病变图像;
将所述病变图像转换为极病变图像;
在所述极病变图像中生成随机噪声;
基于所述随机噪声向所述极病变图像添加随机彗尾;
通过从一系列极病变图像沿着半径计算平均轮廓来创建背景图像;
将所述背景图像与所述极病变图像合并以创建合并图像;
在所述合并图像的背景中生成随机噪声;
模拟所述合并图像中的密度变化;以及
将所述合并图像的坐标转换为笛卡尔坐标以构建虚拟径向超声图像。
10.根据权利要求9所述的系统,其中所述计算设备还被配置为使用表示在隔离反射中看到的内容的模型内核来复制所述极病变图像中的内核。
11.根据权利要求10所述的系统,其中所述计算设备被配置为通过应用以下公式而使用表示在隔离反射中看到的内容的模型内核来复制所述极病变图像中的内核:
imLesion(neiY,neiX)=max(imLesion(neiY,neiX),kernel*imReflection(peakY,peakX))
其中neiY和neiX为peakY和peakX附近的坐标列表。
12.根据权利要求9所述的系统,其中所述计算设备还被配置为模拟所述极病变图像中的高密度点周围的真实超声图像的模糊。
13.根据权利要求12所述的系统,其中所述计算设备被配置为通过对于介于0度和180度之间的多个方向执行多个灰色线性闭合来模拟所述极病变图像中的高密度点周围的真实超声图像的模糊。
14.根据权利要求9所述的系统,其中所述计算设备被配置为通过在内核掩模中考虑在上方和下方的每个峰值的近邻(neiPeak)向所述峰值添加彗尾来基于所述随机噪声向所述极病变图像添加随机彗尾。
15.根据权利要求14所述的系统,其中所述计算设备还被配置为将针对每种像素所定义的减小轮廓沿着水平线复制到每个所述峰值的近邻的右侧,如下:
val(neiPeak)*ratioX(radiusDif)*ratioY((angleDif),
其中radiusDif为半径与所述峰值差,并且angleDif为对于沿着轮廓的每种像素的角度与所述峰值差。
16.根据权利要求9所述的系统,其中所述计算设备被配置为通过应用启发式公式来将所述背景图像与所述极病变图像合并以创建合并图像。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862665667P | 2018-05-02 | 2018-05-02 | |
US62/665,667 | 2018-05-02 | ||
US16/383,888 US10872449B2 (en) | 2018-05-02 | 2019-04-15 | System and method for constructing virtual radial ultrasound images from CT data and performing a surgical navigation procedure using virtual ultrasound images |
US16/383,888 | 2019-04-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110432986A CN110432986A (zh) | 2019-11-12 |
CN110432986B true CN110432986B (zh) | 2022-09-09 |
Family
ID=66349460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910395712.0A Active CN110432986B (zh) | 2018-05-02 | 2019-04-30 | 用于从ct数据构建虚拟径向超声图像的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10872449B2 (zh) |
EP (1) | EP3566652B1 (zh) |
CN (1) | CN110432986B (zh) |
AU (1) | AU2019202779B1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021090495A (ja) * | 2019-12-06 | 2021-06-17 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像診断装置および医用画像処理プログラム |
KR20220144360A (ko) * | 2019-12-19 | 2022-10-26 | 노아 메디컬 코퍼레이션 | 로봇 기관지경 검사 탐색용의 시스템 및 방법 |
US11446095B2 (en) * | 2019-12-24 | 2022-09-20 | Biosense Webster (Israel) Ltd. | 2D pathfinder visualization |
CN112043377B (zh) * | 2020-10-12 | 2022-05-10 | 中国人民解放军总医院第五医学中心 | Ct任意切面超声视野模拟辅助消融路径规划方法及系统 |
CN113413213B (zh) * | 2021-07-14 | 2023-03-14 | 广州医科大学附属第一医院(广州呼吸中心) | Ct结果的处理方法、导航处理方法、装置与检测系统 |
WO2023235224A1 (en) * | 2022-05-31 | 2023-12-07 | Noah Medical Corporation | Systems and methods for robotic endoscope with integrated tool-in-lesion-tomosynthesis |
WO2024004597A1 (ja) * | 2022-06-29 | 2024-01-04 | 富士フイルム株式会社 | 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105025803A (zh) * | 2013-02-28 | 2015-11-04 | 皇家飞利浦有限公司 | 从多个三维视图对大对象的分割 |
Family Cites Families (176)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4202352A (en) | 1978-04-06 | 1980-05-13 | Research Development Corporation | Apparatus for measurement of expired gas concentration in infants |
IL103445A (en) | 1991-10-18 | 1997-04-15 | Ethicon Inc | Endoscopic tissue manipulator |
GB2329840C (en) | 1997-10-03 | 2007-10-05 | Johnson & Johnson Medical | Biopolymer sponge tubes |
IL122578A (en) | 1997-12-12 | 2000-08-13 | Super Dimension Ltd | Wireless six-degree-of-freedom locator |
JP2003524443A (ja) | 1998-08-02 | 2003-08-19 | スーパー ディメンション リミテッド | 医療用体内誘導装置 |
US6086586A (en) | 1998-09-14 | 2000-07-11 | Enable Medical Corporation | Bipolar tissue grasping apparatus and tissue welding method |
US6459926B1 (en) | 1998-11-20 | 2002-10-01 | Intuitive Surgical, Inc. | Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery |
US6468265B1 (en) | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
US6659939B2 (en) | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
US8600551B2 (en) | 1998-11-20 | 2013-12-03 | Intuitive Surgical Operations, Inc. | Medical robotic system with operatively couplable simulator unit for surgeon training |
US6398726B1 (en) | 1998-11-20 | 2002-06-04 | Intuitive Surgical, Inc. | Stabilizer for robotic beating-heart surgery |
US6413981B1 (en) | 1999-08-12 | 2002-07-02 | Ortho-Mcneil Pharamceutical, Inc. | Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods |
EP1269111A4 (en) | 2000-03-09 | 2016-08-10 | Covidien Lp | OBJECT MARKING USING A SINGLE DETECTOR OR A PAIR OF DETECTORS |
US20050165276A1 (en) | 2004-01-28 | 2005-07-28 | Amir Belson | Methods and apparatus for accessing and treating regions of the body |
US6656177B2 (en) | 2000-10-23 | 2003-12-02 | Csaba Truckai | Electrosurgical systems and techniques for sealing tissue |
US6472372B1 (en) | 2000-12-06 | 2002-10-29 | Ortho-Mcneil Pharmaceuticals, Inc. | 6-O-Carbamoyl ketolide antibacterials |
US6533784B2 (en) | 2001-02-24 | 2003-03-18 | Csaba Truckai | Electrosurgical working end for transecting and sealing tissue |
US6913579B2 (en) | 2001-05-01 | 2005-07-05 | Surgrx, Inc. | Electrosurgical working end and method for obtaining tissue samples for biopsy |
US7607440B2 (en) | 2001-06-07 | 2009-10-27 | Intuitive Surgical, Inc. | Methods and apparatus for surgical planning |
US6802843B2 (en) | 2001-09-13 | 2004-10-12 | Csaba Truckai | Electrosurgical working end with resistive gradient electrodes |
JP2005522274A (ja) | 2002-04-17 | 2005-07-28 | スーパー ディメンション リミテッド | 内視鏡構造と分岐構造内の標的にナビゲートするための技術 |
US9808597B2 (en) | 2002-09-12 | 2017-11-07 | Intuitive Surgical Operations, Inc. | Shape-transferring cannula system and method of use |
US7947000B2 (en) | 2003-09-12 | 2011-05-24 | Intuitive Surgical Operations, Inc. | Cannula system for free-space navigation and method of use |
US8298161B2 (en) | 2002-09-12 | 2012-10-30 | Intuitive Surgical Operations, Inc. | Shape-transferring cannula system and method of use |
US7333644B2 (en) * | 2003-03-11 | 2008-02-19 | Siemens Medical Solutions Usa, Inc. | Systems and methods for providing automatic 3D lesion segmentation and measurements |
CA2449080A1 (en) * | 2003-11-13 | 2005-05-13 | Centre Hospitalier De L'universite De Montreal - Chum | Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method |
US8052636B2 (en) | 2004-03-05 | 2011-11-08 | Hansen Medical, Inc. | Robotic catheter system and methods |
CN1976629A (zh) * | 2004-04-26 | 2007-06-06 | D·F·杨克洛维茨 | 用于准确测定定向瘤变化的医学影像系统 |
US20060235458A1 (en) | 2005-04-15 | 2006-10-19 | Amir Belson | Instruments having an external working channel |
WO2007005976A1 (en) | 2005-07-01 | 2007-01-11 | Hansen Medical, Inc. | Robotic catheter system |
JP2009507617A (ja) | 2005-09-14 | 2009-02-26 | ネオガイド システムズ, インコーポレイテッド | 経腔的及び他の操作を行うための方法及び装置 |
US8190238B2 (en) | 2005-12-09 | 2012-05-29 | Hansen Medical, Inc. | Robotic catheter system and methods |
US8218847B2 (en) | 2008-06-06 | 2012-07-10 | Superdimension, Ltd. | Hybrid registration method |
US8517955B2 (en) | 2009-05-08 | 2013-08-27 | Broncus Medical Inc. | Tissue sampling devices, systems and methods |
US20110085720A1 (en) | 2009-05-14 | 2011-04-14 | Superdimension, Ltd. | Automatic Registration Technique |
US20120071894A1 (en) | 2010-09-17 | 2012-03-22 | Tanner Neal A | Robotic medical systems and methods |
US8578810B2 (en) | 2011-02-14 | 2013-11-12 | Intuitive Surgical Operations, Inc. | Jointed link structures exhibiting preferential bending, and related methods |
US9393017B2 (en) | 2011-02-15 | 2016-07-19 | Intuitive Surgical Operations, Inc. | Methods and systems for detecting staple cartridge misfire or failure |
WO2012112249A1 (en) | 2011-02-15 | 2012-08-23 | Intuitive Surgical Operations, Inc. | Systems for detecting clamping or firing failure |
US9572481B2 (en) | 2011-05-13 | 2017-02-21 | Intuitive Surgical Operations, Inc. | Medical system with multiple operating modes for steering a medical instrument through linked body passages |
US20130096385A1 (en) | 2011-10-14 | 2013-04-18 | Intuitive Surgical Operations, Inc. | Vision probe and catheter systems |
US10238837B2 (en) | 2011-10-14 | 2019-03-26 | Intuitive Surgical Operations, Inc. | Catheters with control modes for interchangeable probes |
EP3552653A3 (en) | 2011-10-14 | 2019-12-25 | Intuitive Surgical Operations Inc. | Catheter systems |
US9452276B2 (en) | 2011-10-14 | 2016-09-27 | Intuitive Surgical Operations, Inc. | Catheter with removable vision probe |
US9387048B2 (en) | 2011-10-14 | 2016-07-12 | Intuitive Surgical Operations, Inc. | Catheter sensor systems |
JP6290099B2 (ja) | 2012-02-03 | 2018-03-07 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 埋め込み型形状感知機能を有する操縦可能な可撓性針 |
US20130317519A1 (en) | 2012-05-25 | 2013-11-28 | Hansen Medical, Inc. | Low friction instrument driver interface for robotic systems |
US9247993B2 (en) | 2012-08-07 | 2016-02-02 | Covidien, LP | Microwave ablation catheter and method of utilizing the same |
CN104470575B (zh) | 2012-08-14 | 2017-06-06 | 直观外科手术操作公司 | 配置微创器械中的部件的系统和方法 |
US20140052018A1 (en) | 2012-08-15 | 2014-02-20 | Intuitive Surgical Operations, Inc. | Specimen removal bag and methods of using same |
US11272845B2 (en) * | 2012-10-05 | 2022-03-15 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
US11172809B2 (en) | 2013-02-15 | 2021-11-16 | Intuitive Surgical Operations, Inc. | Vision probe with access port |
US9839481B2 (en) | 2013-03-07 | 2017-12-12 | Intuitive Surgical Operations, Inc. | Hybrid manual and robotic interventional instruments and methods of use |
US10206747B2 (en) | 2013-05-15 | 2019-02-19 | Intuitive Surgical Operations, Inc. | Guide apparatus for delivery of a flexible instrument and methods of use |
US9592095B2 (en) | 2013-05-16 | 2017-03-14 | Intuitive Surgical Operations, Inc. | Systems and methods for robotic medical system integration with external imaging |
CN103295455B (zh) | 2013-06-19 | 2016-04-13 | 北京理工大学 | 基于ct影像模拟与定位的超声培训系统 |
US9713509B2 (en) | 2013-10-24 | 2017-07-25 | Auris Surgical Robotics, Inc. | Instrument device manipulator with back-mounted tool attachment mechanism |
US11007026B2 (en) | 2013-10-25 | 2021-05-18 | Intuitive Surgical Operations, Inc. | Flexible instrument with embedded actuation conduits |
WO2015061674A1 (en) | 2013-10-25 | 2015-04-30 | Intuitive Surgical Operations, Inc. | Flexible instrument with grooved steerable tube |
EP3073896A2 (en) | 2013-11-25 | 2016-10-05 | Body Vision Medical Ltd. | Surgical devices and methods of use thereof |
KR102360625B1 (ko) | 2013-12-13 | 2022-02-09 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 삽통식 생검 바늘 |
US9993222B2 (en) | 2014-02-05 | 2018-06-12 | Intuitive Surgical Operations, Inc. | System and method for dynamic virtual collision objects |
KR102337419B1 (ko) | 2014-04-02 | 2021-12-13 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 조향 가능 스타일렛 및 가요성 바늘을 사용하는 장치, 시스템, 및 방법 |
US10206686B2 (en) | 2014-06-10 | 2019-02-19 | Ethicon Llc | Bronchus sealants and methods of sealing bronchial tubes |
US9801630B2 (en) | 2014-06-10 | 2017-10-31 | Ethicon Llc | Methods and devices for reinforcing a staple line |
US10792464B2 (en) | 2014-07-01 | 2020-10-06 | Auris Health, Inc. | Tool and method for using surgical endoscope with spiral lumens |
US20160270865A1 (en) | 2014-07-01 | 2016-09-22 | Auris Surgical Robotics, Inc. | Reusable catheter with disposable balloon attachment and tapered tip |
WO2016018618A1 (en) | 2014-07-28 | 2016-02-04 | Intuitive Surgical Operations, Inc. | Guide apparatus for delivery of a flexible instrument and methods of use |
US10722108B2 (en) | 2014-08-14 | 2020-07-28 | Intuitive Surgical Operations, Inc. | Systems and methods for cleaning an endoscopic instrument |
CN107072717B (zh) | 2014-08-22 | 2020-01-03 | 直观外科手术操作公司 | 用于自适应输入映射的系统和方法 |
CN106794012B (zh) | 2014-08-23 | 2022-09-16 | 直观外科手术操作公司 | 用于动态轨迹控制的系统和方法 |
CN106794050B (zh) | 2014-08-25 | 2019-08-27 | 直观外科手术操作公司 | 用于医疗器械力感测的系统和方法 |
EP4091572A1 (en) | 2014-09-09 | 2022-11-23 | Intuitive Surgical Operations, Inc. | Flexible medical instrument |
CN107072648B (zh) | 2014-09-09 | 2021-02-26 | 直观外科手术操作公司 | 具有不同柔性的导引器和工具的系统 |
CN107148235B (zh) | 2014-09-10 | 2019-10-08 | 直观外科手术操作公司 | 使用配合的导管尖端和工具的装置、系统及方法 |
US11273290B2 (en) | 2014-09-10 | 2022-03-15 | Intuitive Surgical Operations, Inc. | Flexible instrument with nested conduits |
US9737371B2 (en) | 2014-09-30 | 2017-08-22 | Auris Surgical Robotics, Inc. | Configurable robotic surgical system with virtual rail and flexible endoscope |
US10314463B2 (en) | 2014-10-24 | 2019-06-11 | Auris Health, Inc. | Automated endoscope calibration |
JP7017931B2 (ja) | 2014-11-13 | 2022-02-09 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 位置特定データをフィルタリングするシステム及び方法 |
US11033716B2 (en) | 2015-01-12 | 2021-06-15 | Intuitive Surgical Operations, Inc. | Devices, systems, and methods for anchoring actuation wires to a steerable instrument |
US10213110B2 (en) * | 2015-01-27 | 2019-02-26 | Case Western Reserve University | Analysis of optical tomography (OCT) images |
US20160324580A1 (en) * | 2015-03-23 | 2016-11-10 | Justin Esterberg | Systems and methods for assisted surgical navigation |
US10349938B2 (en) | 2015-08-31 | 2019-07-16 | Ethicon Llc | Surgical adjuncts with medicants affected by activator materials |
US10245034B2 (en) | 2015-08-31 | 2019-04-02 | Ethicon Llc | Inducing tissue adhesions using surgical adjuncts and medicants |
US10172973B2 (en) | 2015-08-31 | 2019-01-08 | Ethicon Llc | Surgical adjuncts and medicants for promoting lung function |
WO2017044884A1 (en) | 2015-09-09 | 2017-03-16 | Auris Surgical Robotics, Inc. | Instrument device manipulator for a surgical robotics system |
US9727963B2 (en) | 2015-09-18 | 2017-08-08 | Auris Surgical Robotics, Inc. | Navigation of tubular networks |
PL3367954T3 (pl) | 2015-10-26 | 2020-11-02 | Neuwave Medical, Inc. | Przyrządy do mocowania urządzenia medycznego i powiązane z nimi sposoby |
US10231793B2 (en) | 2015-10-30 | 2019-03-19 | Auris Health, Inc. | Object removal through a percutaneous suction tube |
US9955986B2 (en) | 2015-10-30 | 2018-05-01 | Auris Surgical Robotics, Inc. | Basket apparatus |
US9949749B2 (en) | 2015-10-30 | 2018-04-24 | Auris Surgical Robotics, Inc. | Object capture with a basket |
JP6942700B2 (ja) | 2015-10-30 | 2021-09-29 | オーリス ヘルス インコーポレイテッド | 経皮的手術のための方法 |
US20190076143A1 (en) | 2015-11-13 | 2019-03-14 | Intuitive Surgical Operations, Inc. | Stapler anvil with compliant tip |
US10258326B2 (en) | 2016-02-08 | 2019-04-16 | Ethicon, Inc. | Elastic tissue reinforcing fastener |
US10702137B2 (en) | 2016-03-14 | 2020-07-07 | Intuitive Surgical Operations, Inc.. | Endoscopic instrument with compliant thermal interface |
US20170274189A1 (en) | 2016-03-24 | 2017-09-28 | Ethicon, Inc. | Single lumen balloon delivery catheter with lumen bypass at balloon |
EP3448297B1 (en) | 2016-04-29 | 2022-06-15 | Intuitive Surgical Operations, Inc. | Compliant mechanisms having inverted tool members |
US10327635B2 (en) * | 2016-05-03 | 2019-06-25 | Oregon Health & Science University | Systems and methods to compensate for reflectance variation in OCT angiography |
KR102598706B1 (ko) | 2016-05-31 | 2023-11-07 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 유연한 생검 니들 시스템 |
EP3478208A4 (en) | 2016-06-30 | 2020-02-19 | Intuitive Surgical Operations Inc. | SYSTEMS AND METHODS FOR ERROR REACTION MECHANISMS FOR MEDICAL ROBOT SYSTEMS |
KR102476150B1 (ko) | 2016-06-30 | 2022-12-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 조향 가능한 신장된 장치의 시스템 및 방법 |
EP3478149B1 (en) | 2016-07-01 | 2024-03-20 | Intuitive Surgical Operations, Inc. | Systems for flexible computer-assisted instrument control |
WO2018009841A1 (en) | 2016-07-08 | 2018-01-11 | Intuitive Surgical Operations, Inc. | Guide apparatus for delivery of an elongate device and methods of use |
US10729886B2 (en) | 2016-08-24 | 2020-08-04 | Intuitive Surgical Operations, Inc. | Axial support structure for a flexible elongate device |
US10881385B2 (en) | 2016-09-13 | 2021-01-05 | Intuitive Surgical Operations, Inc. | Radial telescoping guide apparatus for delivery of a flexible instrument and methods of use |
WO2018052939A1 (en) | 2016-09-14 | 2018-03-22 | Intuitive Surgical Operations, Inc. | Joint assemblies with cross-axis flexural pivots |
US10682192B2 (en) | 2016-09-30 | 2020-06-16 | Intuitive Surgical Operations, Inc. | Variable-length guide apparatus for delivery of a flexible instrument and methods of use |
US9931025B1 (en) | 2016-09-30 | 2018-04-03 | Auris Surgical Robotics, Inc. | Automated calibration of endoscopes with pull wires |
EP3522770A4 (en) | 2016-10-07 | 2020-06-10 | Body Vision Medical Ltd. | DEVICES FOR USE IN INTERVENTIONAL AND SURGICAL INTERVENTIONS AND METHODS FOR USE THEREOF |
WO2018071573A1 (en) | 2016-10-12 | 2018-04-19 | Intuitive Surgical Operations, Inc. | Surgical puncture device insertion systems and related methods |
US10543048B2 (en) | 2016-12-28 | 2020-01-28 | Auris Health, Inc. | Flexible instrument insertion using an adaptive insertion force threshold |
KR102536940B1 (ko) | 2016-12-28 | 2023-05-30 | 아우리스 헬스, 인코포레이티드 | 가요성 기구 삽입을 위한 장치 |
US10244926B2 (en) | 2016-12-28 | 2019-04-02 | Auris Health, Inc. | Detecting endolumenal buckling of flexible instruments |
WO2018132386A1 (en) | 2017-01-10 | 2018-07-19 | Intuitive Surgical Operations, Inc. | Systems and methods for using a robotic medical system |
CN110225710B (zh) | 2017-02-01 | 2022-12-30 | 直观外科手术操作公司 | 用于图像引导的程序的配准的系统和方法 |
US11744654B2 (en) | 2017-02-06 | 2023-09-05 | Intuitive Surgical Operations, Inc. | Systems and methods for coupling components of a medical system |
US20200100776A1 (en) | 2017-02-09 | 2020-04-02 | Intuitive Surgical Operations, Inc. | System and method of accessing encapsulated targets |
US11464411B2 (en) | 2017-03-13 | 2022-10-11 | Intuitive Surgical Operations, Inc. | Systems and methods for medical procedures using optical coherence tomography sensing |
CN116585031A (zh) | 2017-03-22 | 2023-08-15 | 直观外科手术操作公司 | 用于智能种子配准的系统和方法 |
AU2018244318B2 (en) | 2017-03-28 | 2023-11-16 | Auris Health, Inc. | Shaft actuating handle |
US10285574B2 (en) | 2017-04-07 | 2019-05-14 | Auris Health, Inc. | Superelastic medical instrument |
KR102643758B1 (ko) | 2017-05-12 | 2024-03-08 | 아우리스 헬스, 인코포레이티드 | 생검 장치 및 시스템 |
US11026758B2 (en) | 2017-06-28 | 2021-06-08 | Auris Health, Inc. | Medical robotics systems implementing axis constraints during actuation of one or more motorized joints |
JP7130682B2 (ja) | 2017-06-28 | 2022-09-05 | オーリス ヘルス インコーポレイテッド | 器具挿入補償 |
US10426559B2 (en) | 2017-06-30 | 2019-10-01 | Auris Health, Inc. | Systems and methods for medical instrument compression compensation |
EP3654870A4 (en) | 2017-07-21 | 2021-04-07 | Intuitive Surgical Operations, Inc. | FLEXIBLE ELONGATED DEVICE SYSTEMS AND METHODS |
US10512515B2 (en) | 2017-07-31 | 2019-12-24 | Intuitive Surgical Operations, Inc. | Systems and methods for steerable elongate device |
JP7213867B2 (ja) | 2017-08-16 | 2023-01-27 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 医療処置中に患者の動きをモニタするためのシステムおよび方法 |
US10464209B2 (en) | 2017-10-05 | 2019-11-05 | Auris Health, Inc. | Robotic system with indication of boundary for robotic arm |
US10016900B1 (en) | 2017-10-10 | 2018-07-10 | Auris Health, Inc. | Surgical robotic arm admittance control |
US10145747B1 (en) | 2017-10-10 | 2018-12-04 | Auris Health, Inc. | Detection of undesirable forces on a surgical robotic arm |
EP3706657A4 (en) | 2017-11-10 | 2020-12-23 | Intuitive Surgical Operations Inc. | VOLTAGE REGULATION DURING THE OPERATION OF JOINT INSTRUMENTS |
DE112018005836T5 (de) | 2017-11-14 | 2020-08-06 | Intuitive Surgical Operations Inc. | Systeme und verfahren zum reinigen endoskopischer instrumente |
WO2019113249A1 (en) | 2017-12-06 | 2019-06-13 | Auris Health, Inc. | Systems and methods to correct for uncommanded instrument roll |
AU2018378808A1 (en) | 2017-12-08 | 2020-05-21 | Auris Health, Inc. | Directed fluidics |
KR102462568B1 (ko) | 2017-12-11 | 2022-11-04 | 아우리스 헬스, 인코포레이티드 | 기구 기반 삽입 아키텍처를 위한 시스템 및 방법 |
US11696760B2 (en) | 2017-12-28 | 2023-07-11 | Cilag Gmbh International | Safety systems for smart powered surgical stapling |
US11596767B2 (en) | 2018-01-12 | 2023-03-07 | Intuitive Surgical Operations, Inc. | Deployable tube apparatus for delivery of an elongate device and methods of use |
CN116370084A (zh) | 2018-02-13 | 2023-07-04 | 奥瑞斯健康公司 | 用于驱动医疗器械的系统和方法 |
US20190246876A1 (en) | 2018-02-15 | 2019-08-15 | Neuwave Medical, Inc. | Compositions and methods for directing endoscopic devices |
US20190269468A1 (en) | 2018-03-01 | 2019-09-05 | Auris Health, Inc. | Methods and systems for mapping and navigation |
US11298505B2 (en) | 2018-03-05 | 2022-04-12 | Intuitive Surgical Operations, Inc. | Deployable bellows for delivery of a flexible, elongate device and methods of use |
CN117017505A (zh) | 2018-03-28 | 2023-11-10 | 奥瑞斯健康公司 | 复合器械和机器人系统 |
KR20200139200A (ko) | 2018-03-29 | 2020-12-11 | 아우리스 헬스, 인코포레이티드 | 회전 오프셋을 갖는 다기능 엔드 이펙터를 가진 로봇식 의료 시스템 |
WO2019222495A1 (en) | 2018-05-18 | 2019-11-21 | Auris Health, Inc. | Controllers for robotically-enabled teleoperated systems |
JP7267309B2 (ja) | 2018-06-07 | 2023-05-01 | オーリス ヘルス インコーポレイテッド | 高力器具を有するロボット医療システム |
WO2020005370A1 (en) | 2018-06-27 | 2020-01-02 | Auris Health, Inc. | Systems and techniques for providing multiple perspectives during medical procedures |
KR20210024472A (ko) | 2018-06-27 | 2021-03-05 | 아우리스 헬스, 인코포레이티드 | 의료 기구를 위한 정렬 및 부착 시스템 |
KR20210024484A (ko) | 2018-06-28 | 2021-03-05 | 아우리스 헬스, 인코포레이티드 | 풀리 공유를 통합한 의료 시스템 |
US11678788B2 (en) | 2018-07-25 | 2023-06-20 | Intuitive Surgical Operations, Inc. | Systems and methods for use of a variable stiffness flexible elongate device |
US20200029948A1 (en) | 2018-07-26 | 2020-01-30 | Intuitive Surgical Operations, Inc. | Systems and methods of steerable elongate device |
WO2020033318A1 (en) | 2018-08-07 | 2020-02-13 | Auris Health, Inc. | Combining strain-based shape sensing with catheter control |
CN112566567A (zh) | 2018-08-17 | 2021-03-26 | 奥瑞斯健康公司 | 双极医疗器械 |
US10881280B2 (en) | 2018-08-24 | 2021-01-05 | Auris Health, Inc. | Manually and robotically controllable medical instruments |
WO2020060750A1 (en) | 2018-09-17 | 2020-03-26 | Auris Health, Inc. | Systems and methods for concomitant medical procedures |
EP3813634A4 (en) | 2018-09-26 | 2022-04-06 | Auris Health, Inc. | ARTICULATING MEDICAL INSTRUMENTS |
CN112770689A (zh) | 2018-09-26 | 2021-05-07 | 奥瑞斯健康公司 | 用于抽吸和冲洗的系统和器械 |
KR20210069670A (ko) | 2018-09-28 | 2021-06-11 | 아우리스 헬스, 인코포레이티드 | 동시 내시경술 및 경피 의료 절차를 위한 로봇 시스템 및 방법 |
US10765487B2 (en) | 2018-09-28 | 2020-09-08 | Auris Health, Inc. | Systems and methods for docking medical instruments |
EP3856001A4 (en) | 2018-09-28 | 2022-06-22 | Auris Health, Inc. | DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS |
WO2020076447A1 (en) | 2018-10-08 | 2020-04-16 | Auris Health, Inc. | Systems and instruments for tissue sealing |
EP3870075A4 (en) | 2018-12-20 | 2022-08-03 | Auris Health, Inc. | SHIELDING FOR WRIST INSTRUMENTS |
EP3866718A4 (en) | 2018-12-20 | 2022-07-20 | Auris Health, Inc. | ROBOT ARM ALIGNMENT AND DOCKING SYSTEMS AND METHODS |
WO2020140072A1 (en) | 2018-12-28 | 2020-07-02 | Auris Health, Inc. | Percutaneous sheath for robotic medical systems and methods |
CN113286543A (zh) | 2018-12-28 | 2021-08-20 | 奥瑞斯健康公司 | 具有可关节运动区段的医疗器械 |
CN113423359A (zh) | 2019-02-08 | 2021-09-21 | 奥瑞斯健康公司 | 机器人控制的凝块操纵和移除 |
EP3965710A4 (en) | 2019-03-08 | 2023-04-05 | Auris Health, Inc. | TILT MECHANISMS FOR MEDICAL SYSTEMS AND APPLICATIONS |
CN113613580A (zh) | 2019-03-22 | 2021-11-05 | 奥瑞斯健康公司 | 用于使医疗器械上的输入部对准的系统和方法 |
US11534248B2 (en) | 2019-03-25 | 2022-12-27 | Auris Health, Inc. | Systems and methods for medical stapling |
US11617627B2 (en) | 2019-03-29 | 2023-04-04 | Auris Health, Inc. | Systems and methods for optical strain sensing in medical instruments |
CN114126529A (zh) | 2019-06-25 | 2022-03-01 | 奥瑞斯健康公司 | 包括具有混合重定向表面的腕部的医疗器械 |
EP3989841A4 (en) | 2019-06-26 | 2023-09-20 | Auris Health, Inc. | SYSTEMS AND METHODS FOR ROBOTIC ARM ALIGNMENT AND MOORING |
US11369386B2 (en) | 2019-06-27 | 2022-06-28 | Auris Health, Inc. | Systems and methods for a medical clip applier |
EP3989793A4 (en) | 2019-06-28 | 2023-07-19 | Auris Health, Inc. | CONSOLE OVERLAY ITS METHODS OF USE |
US20200405411A1 (en) | 2019-06-28 | 2020-12-31 | Auris Health, Inc. | Patient introducer for a robotic system |
CN114040727A (zh) | 2019-06-28 | 2022-02-11 | 奥瑞斯健康公司 | 包括具有混合重定向表面的腕部的医疗器械 |
-
2019
- 2019-04-15 US US16/383,888 patent/US10872449B2/en active Active
- 2019-04-18 AU AU2019202779A patent/AU2019202779B1/en not_active Ceased
- 2019-04-30 CN CN201910395712.0A patent/CN110432986B/zh active Active
- 2019-05-01 EP EP19172131.5A patent/EP3566652B1/en active Active
-
2020
- 2020-11-19 US US16/952,662 patent/US11282251B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105025803A (zh) * | 2013-02-28 | 2015-11-04 | 皇家飞利浦有限公司 | 从多个三维视图对大对象的分割 |
Also Published As
Publication number | Publication date |
---|---|
US20210074043A1 (en) | 2021-03-11 |
EP3566652A1 (en) | 2019-11-13 |
US10872449B2 (en) | 2020-12-22 |
CN110432986A (zh) | 2019-11-12 |
US11282251B2 (en) | 2022-03-22 |
US20190340800A1 (en) | 2019-11-07 |
EP3566652B1 (en) | 2022-10-26 |
AU2019202779B1 (en) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110432986B (zh) | 用于从ct数据构建虚拟径向超声图像的系统和方法 | |
US11707241B2 (en) | System and method for local three dimensional volume reconstruction using a standard fluoroscope | |
US11896414B2 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
US9782147B2 (en) | Apparatus and methods for localization and relative positioning of a surgical instrument | |
US11559266B2 (en) | System and method for local three dimensional volume reconstruction using a standard fluoroscope | |
AU2020210140B2 (en) | System and method for local three dimensional volume reconstruction using a standard fluoroscope | |
Gergel et al. | An electromagnetic navigation system for transbronchial interventions with a novel approach to respiratory motion compensation | |
Stolka et al. | A 3D-elastography-guided system for laparoscopic partial nephrectomies | |
US20140316234A1 (en) | Apparatus and methods for accurate surface matching of anatomy using a predefined registration path | |
Galloway et al. | Image-guided abdominal surgery and therapy delivery | |
Shahin et al. | Ultrasound-based tumor movement compensation during navigated laparoscopic liver interventions | |
Herrell et al. | Image guidance in robotic-assisted renal surgery | |
Shahin et al. | Intraoperative tumor localization in laparoscopic liver surgery | |
Shahin et al. | Localization of liver tumors in freehand 3D laparoscopic ultrasound | |
Ong | Intra-operative Registration Methods for Image-Guided Kidney Surgery | |
LIVER | Osama Shahin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |