CN104125805B - 用于三维超声图像的交互显示的方法与装置 - Google Patents

用于三维超声图像的交互显示的方法与装置 Download PDF

Info

Publication number
CN104125805B
CN104125805B CN201280070418.9A CN201280070418A CN104125805B CN 104125805 B CN104125805 B CN 104125805B CN 201280070418 A CN201280070418 A CN 201280070418A CN 104125805 B CN104125805 B CN 104125805B
Authority
CN
China
Prior art keywords
image
dimensional
display system
touch
ultrasound data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280070418.9A
Other languages
English (en)
Other versions
CN104125805A (zh
Inventor
M·J·达乌拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104125805A publication Critical patent/CN104125805A/zh
Application granted granted Critical
Publication of CN104125805B publication Critical patent/CN104125805B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/462Displaying means of special interest characterised by constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0061Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object

Abstract

一种医学成像系统,包括三维(3D)超声系统和3D全息显示系统。所述超声系统生成可以被用于构建患者的3D图像的3D超声数据。所述显示系统以3D全息形式显示所述图像,并且包括无触摸输入接口,所述无触摸输入接口允许用户在执行医学程序时从无菌区内控制所述显示。

Description

用于三维超声图像的交互显示的方法与装置
技术领域
本发明大体涉及医学成像与显示技术。更具体地,本文公开的各种创新方法与装置涉及三维超声图像的交互显示。
背景技术
超声成像是被用于观察皮下身体结构(例如肌腱、关节、肌肉、血管及内部器官)的医学技术。通过超声成像的使用,临床医师能够观察并诊断这些结构的各种病理学或病灶。他们还可以使用超声成像,以辅助各种介入或手术程序。
超声心动描记术是用于观察心脏的特定类型的超声成像。最常见地是通过将超声换能器或探头放置在患者的胸壁上,并使用所述探头以穿过所述胸壁捕获图像来执行超声心动描记。这被称作经胸廓超声心动描记。对该方法的替代是将超声探头传送到所述患者的食道中,并从食道内执行心脏成像。这被称作经食道超声心动描记术。
超声心动描记术传统上一直被用于产生心脏的二维(2D)切片的实况图像。然而,最近的技术进步已允许超声心动描记术产生心脏的三维(3D)实况图像。这典型地是通过具有被耦合到处理系统的成像元件的阵列这样的超声探头来实现的。所述成像元件的阵列并行地捕获多个图像,并且所述处理系统组合所述多个图像以构建3D图像。
实况3D超声心动描记术具有各种诊断应用,例如对心脏畸形和心律失常的观察。此外,实况3D超声心动描记术可以被用作介入程序的部分,在所述程序之前、期间或之后——这种做法被称作围介入超声心动描记术(peri-interventional echocardiography)。围介入超声心动描记术可以被用于,例如在程序之前分析解剖结构,以辅助临床医师对基于导管的设备的引导和放置,以及在程序结束之后评估所述程序的成功。类似地,实况3D超声心动描记术也可以被用作手术程序的部分,在所述程序之前、期间或之后——这种做法被称作围手术超声心动描记术。围手术超声心动描记术可以被用于,例如在切开胸腔之前观察解剖结构,以区分是需要修复还是替换心瓣,以及在闭合胸腔之后确定术中端点。
在围介入或围手术程序期间,实况3D超声心动描记术图像可以被显示在2D屏幕上,以允许临床医师观察心脏的不同方面。而且,所述显示可以被控制以改变其属性,例如3D视角、图像对比度或缩放。这一般是通过计算接口的使用来实现的,例如带有鼠标和键盘的个人计算机。
一般地,执行围介入或围手术程序的临床医师不能从在其中执行所述程序的无菌区内控制超声心动描记术图像的显示。这是由于对所述临床医师的各种约束造成的,例如需要维持无菌且不受阻碍的双手,以及针对计算机设备的有限空间。因此,可能需要额外的临床医师以辅助所述临床医师根据需要改变所述图像的观看属性。这可能造成复杂化,然而,由于其典型地增加了执行程序所需要的人员的数目,也增加了在所述程序期间所需要的通信的量,并给已经够复杂的程序协议增加了步骤。
由于常规技术的这些以及其他缺陷,存在着对用于实况3D超声图像(例如被用于超声心动描记术的那些)的交互显示的改进的方法与装置的需要。
发明内容
本公开涉及用于3D超声图像的交互显示的创新方法与装置。例如,在某些实施例中,3D超声系统被连接到3D全息显示系统。所述全息显示系统显示从超声数据构建的3D图像,并且其允许用户使用无触摸输入(例如手势)来控制所述显示。例如,用户可以通过在所述显示附近在期望的旋转方向移动手来旋转3D图像的视角。
使用无触摸输入控制全息显示系统的能力允许临床医师控制被显示图像的观看属性,而不污染正在其中执行围介入或围手术程序的无菌区。其也可以得到对所述显示更快更准确的控制,并且其可以减少辅助程序所需要的临床医师的数目。
大体上,在一个方面中,一种显示3D超声数据的方法,包括:使用超声探头捕获3D超声数据;将所述超声数据传送到3D全息显示系统,并在所述显示系统上实时显示所述超声数据;接收来自用户的无触摸输入;并且基于所述无触摸输入,配置所述超声数据在所述显示系统上的所述显示。
在一些实施例中,配置所述3D超声数据的所述显示包括旋转、平移或缩放由所述超声数据形成的全息图像。
在一些实施例中,所述超声数据为与围介入或围手术超声心动描记术程序有关而捕获的超声心动描记术数据。而且,在一些实施例中,所述显示系统被安装在所述程序的受试者上方,例如在介入实验室或导管实验室的天花板上。
在一些实施例中,所述无触摸输入包括手势或语音命令。
在一些实施例中,基于所述无触摸输入,配置所述超声数据在所述显示系统上的所述显示包括将信号传输到所述超声探头,以控制由所述超声探头捕获并被在所述显示器上显示的所述超声数据的视图。
在另一方面中,一种医学成像系统,包括:超声探头,其被配置为捕获来自受试者的三维(3D)数据;处理系统,其被配置为从所述3D数据生成实况3D图像;3D全息显示系统,其被配置为显示由所述处理系统生成的所述实况3D图像;以及用户接口,其被配置为检测来自用户的无触摸输入,并且响应于所述无触摸输入在所述显示系统中启动对所述实况3D图像的图像变换。
在一些实施例中,所述图像变换包括图像旋转、平移或缩放。
在一些实施例中,所述用户接口包括被配置为检测一个或多个手势的一个或多个电磁场传感器。
在一些实施例中,所述用户接口包括被配置为检测一个或多个手势的计算机视觉系统。
在一些实施例中,所述超声探头为经食道超声心动描记术探头。
在一些实施例中,所述3D全息显示系统被安装到介入实验室、手术室或导管实验室的天花板。
在一些实施例中,所述处理系统通过无线通信接口与所述显示系统通信。
在一些实施例中,所述用户接口还被配置为响应于手势,启动对图像的流的记录或回放、对图像显示的暂停或对菜单系统的操作。
在另一方面中,一种在无菌区内执行围介入或围手术医学程序的方法,包括:将超声探头应用于患者;观察从由所述超声探头生成的数据导出并被显示在3D全息显示设备上的3D超声图像;基于所述观察来处置所述患者;并且通过无触摸接口来控制所述3D全息显示设备。
在一些实施例中,处置所述患者包括将基于导管的设备应用于所述患者或者在所述患者上执行手术。
在一些实施例中,所述无触摸接口包括被配置为检测一个或多个手势的一个或多个电磁传感器。
在一些实施例中,控制所述3D全息显示设备包括执行手势,以更改被呈现在所述3D全息显示设备上的3D图像的观看属性。
在一些实施例中,更改所述3D图像的所述观看属性包括旋转、缩放或平移所述3D图像。
如本文中出于本公开的目的而使用的,应如下解释以下术语。
术语“超声数据”指代通过使用超声技术生成的信息。超声数据典型地包括可以被用于生成超声图像的原始测量结果。例如,3D超声数据可以包括与受试者的特定3D位置相关联的测量值。
术语“超声探头”指代生成与正被测量的受试者(例如患者)有关的超声数据的仪器。超声探头典型地包括换能器,所述换能器使用超声波以在被置于所述受试者附近时生成所述受试者的原始测量结果。超声探头可以有不同的形状和大小,并且它们可以具有不同类型和配置的感测元件。
术语“3D全息图像”指代在体积空间中创建受试者的视觉表示的一组光。可以例如通过控制或操纵激光(例如通过反射、衍射或叠加)来创建3D全息图像。
术语“3D全息显示系统”指代用于创建3D全息图像的技术。在一些实施例中,3D全息显示系统包括在其中形成这样的图像的容器或衬底。然而,3D全息显示系统不限于这样的配置。此外,在某些实施例中,3D全息显示系统包括用于控制3D全息图像的观看属性的部件。这样的部件可以定位于所述图像显示附近或者它们可以被置于不同位置。
术语“无触摸输入”指代允许用户无需物理接触地与系统通信的机制。例如,无触摸输入可以包括手势或语音命令。术语“无触摸输入”不应被解释为在特定输入操作中排除所有物理接触,而是其仅指示无接触输入机制的存在。术语“手势”指代一种类型的无触摸输入,其中,用户的手的特定移动或外形定义输入值。例如,用户的手的横扫运动可以定义控制图像显示以旋转图像的输入值。
术语“无触摸输入接口”指代允许系统接收无触摸输入的机制。例如,在一些实施例中,3D全息显示系统包括感测其环境中的电磁场的无触摸输入接口,以确定用户是否已执行特定手势。可选地,无触摸输入接口可以使用光学晶体管或各种计算机视觉技术来检测特定姿势。术语“无触摸输入接口”不应被解释为排除与所述接口的所有物理接触,而是其仅指示存在用于接收无触摸输入的机制。
术语“图像变换”指代图像的显示或观看属性的改变。例如,图像变换可以包括线性变换,例如旋转、平移或缩放,或者其可以涉及更为复杂的变换功能。
术语“围介入程序”指代在医学介入之前、期间或之后在无菌区内执行的医学程序,并且术语“围手术程序”指代在手术之前、期间或之后在无菌区内执行的医学程序。
应认识到,前述概念与下文更详细讨论的额外概念的所有组合(条件是这些概念不相互抵触)均预期为本文公开的创新主题的部分。尤其地,权利要求的主题的所有组合均预期为本文公开的创新主题的部分。也应认识到,应为本文中明确采用的也可以出现在通过引用并入的任意公开内容中的术语赋予与本文中公开的特定概念最一致的意义。
附图说明
附图中,相同的附图标记一般指不同视图中的相同部分。同样,附图不一定按比例,而是重点在于图示本发明的原理。
图1图示了根据示范性实施例的、被用于经食道超声心动描记术的超声系统和3D全息显示系统。
图2图示了根据示范性实施例的、被执行用于控制图1的3D全息显示系统的观看属性的姿势。
图3图示了根据示范性实施例的、包括超声系统和全息显示系统的系统。
图4图示了根据示范性实施例的、图3的超声系统的范例。
图5图示了根据示范性实施例的、图3的全息显示系统的范例。
图6图示了根据示范性实施例的、操作图3的系统的方法。
图7图示了根据示范性实施例的、使用图4的系统执行医学程序的方法。
具体实施方式
如上文所讨论,用于显示3D超声图像的常规技术遭受可能复杂化并阻碍医学程序的多种缺陷。例如,为了在执行程序的同时维持无菌区,常规技术典型地要求一名临床医师控制图像的显示,同时另一名临床医师操纵超声仪器,并且再另一名临床医师执行所述程序。这倾向于增加执行所述程序所要求的步骤的数量和通信的量。其还减少了由执行所述程序的所述临床医师的控制的量。
申请人因此已察觉并认识到,提供允许临床医师从所述无菌区内控制3D超声图像的显示的方法和装置,将会是有益的。例如,申请人已察觉到使用可以使用诸如手势的无触摸输入控制的3D全息显示系统来显示3D超声图像的益处。这样的方法允许所述临床医师从所述无菌区内控制所述显示,并且它们也可以为所述临床医师提供在所述显示上更精确且直接的控制,这可以得到更有效且准确的程序。
鉴于以上,本发明的各个实施例和实现方式针对用于使用3D全息显示系统对3D超声图像的交互显示的系统和方法。所述3D全息显示系统是通过无触摸接口被控制的,所述无触摸接口允许临床医师通过手势、语音命令或不要求所述临床医师离开所述无菌区的其他类型的输入,来改变被显示图像的观看属性。因此,所描述的方法和系统可以被容易地用于要求无菌区的医学程序(例如围介入或围手术程序)的场景中。
某些实施例尤其与包括超声心动描记术的程序有关。例如,某些实施例可以被应用于在导管实验室或介入实验室中执行的超声心动描记术程序。在这样的程序中,临床医师(例如侵入性心脏病科医师)可以在将诸如导管的仪器插入受试者中的同时,控制对通过经胸廓或经食道超声心动描记术生成的超声数据的3D全息显示系统。可以通过无触摸接口来执行该控制,这允许所述临床医师更改所显示而不污染所述无菌区。
图1图示了根据示范性实施例的、被用于经食道超声心动描记术的超声系统和3D全息显示系统。这些系统被示出于在心脏导管(cath)实验室100的场景中,其中临床医师从无菌区内执行程序。然而,这些系统也可以被用于许多其他场景,例如手术室、数据回顾室、介入实验室,以及其他。
参考图1,所述超声系统包括被连接到处理系统110的超声探头105。临床医师将超声探头105放置在患者的食道中在心脏附近。超声探头105使用超声波,以生成表示所述患者的心脏的3D图像的数据。所述数据被传输到处理系统110,其构建3D图像,并然后将所述3D图像传输到3D全息显示系统115。
3D全息显示系统115定位于所述临床医师的前方,以允许在医学程序期间对所述患者的心脏进行实时可视化。在图1的范例中,3D全息显示系统115具有悬空的球面显示。可以例如通过将交叉光的束投影在临床医师前方来生成该显示。可以例如由被安装在导管实验室100的各个部分上的激光器来生成这些束。
作为对图1中的显示器的替代,3D全息显示系统115可以被形成有指定的显示介质,例如容器,而不是将全息图像形成在半空中。例如,所述显示可以采取圆柱形容器的形式,其通过使用定位于所述圆柱体内的光源,来产生3D全息图像。这样的圆柱形显示器可以被安装在导管实验室100的天花板或墙壁上,在所述临床医师附近,以允许在程序期间方便的观看。在还其他的实施例中,所述3D全息显示系统可以被形成为除圆柱体或漂浮球体以外的其他配置。而且,不要求具有统一的形状因子。例如,其可以由分散的部件形成,所述分散的部件一起起作用,以创建在空中或容器内或指定介质内的所述全息图像。使用容器的3D全息设备的一个可商业获得的范例为索尼的Raymodeler。
3D全息显示系统115中的3D图像可以典型地从任意360度取向同时观看。因此,在某些医学程序期间,一个或多个额外的临床医师可以从不同角度观察所述患者的心脏。这可以有益于,例如精确取向仪器,或在整个程序期间监测心脏健康。
3D全息显示系统115也有用户接口,其允许所述临床医师使用无触摸输入来控制所述显示,所述无触摸输入例如为手势、姿势或语音命令,如由3D全息显示系统115周围的箭头所指示。例如,在一些实施例中,所述临床医师可以挥手跨过3D全息显示系统115的外侧,以旋转心脏的视角。由于所述临床医师可以无需触摸地控制3D全息显示系统115,因而所述临床医师可以执行这样的控制操作,而不污染所述患者周围的无菌区。可以使用各种技术来实现所述用户接口,例如,电磁场传感器、计算机视觉系统,或其他。在一些实施例中,临床医师也可以使用无触摸输入,以通过3D全息显示系统115的所述接口来控制超声探头105的移动。例如,所述临床医师可以在所述接口上使用手势,以引起超声探头105移动到食道壁的不同部分或旋转,以捕获所述心脏的不同视图。通过控制超声探头105的移动,所述临床医师可以潜在地获得针对正被执行的程序而言,更清楚的图像或更相关的视图。为了便于这样的控制,所述超声系统可以被装配有在3D全息显示系统115与超声探头105或处理系统110之间的双向通信或其他反馈机制。
在使用常规技术的侵入性心脏程序中,超声心动描记术医师可以在技师控制显示系统并且介入心脏病科医师执行程序的同时,使超声仪器工作并调遣所述经食道探头。然而,通过3D全息显示系统115的所述无触摸接口的使用,所述超声心动描记术医师或介入心脏病科医师可以能够控制所述显示,潜在地消除了对额外的技师的需要。此外,这可以给所述介入心脏病科医师提供更多的能力以控制所显示的图像,并改进正被执行的所述程序。
作为范例,在侵入性程序中,所述介入心脏病科医师可能戴着被血液覆盖的手套。然而,通过在3D全息显示系统115周围执行手势,所述心脏病科医师可以重新配置所显示的图像,而不污染所述手套或弄脏所述设备。随着所述心脏病科医师插入导管,所述显示可以被旋转到允许对所述导管的定位的精确观察的视角和缩放水平。随后,所述显示可以被取向为确认在闭合身体并且完成所述程序之前,没有不想要的泄漏。
尽管图1示出了在介入或手术程序的过程期间使用3D全息显示系统115的医师,但其也可以被用于整个围介入和围手术程序。例如,在临床医师已采取步骤以消毒他或她的手等之后,可以在执行侵入性程序之前,从所述无菌区内使用3D全息显示系统115执行某些任务,例如使用手势回顾储存的图像。而且,3D全息显示系统115的所述无触摸接口允许其被用于在其中典型地不使用常规技术的环境中。例如,医师可以在消毒他或她的手之后,在数据回顾室内使用3D全息显示系统115,因为该系统的使用不需要触摸所述数据察看室中的任何东西。
图2图示了根据示范实施例的被执行用于控制图1的3D全息显示系统的观看属性的手势。图2的所述范例为可以由全息显示系统执行的许多手势之一。
参考图2,通过在全息显示系统115的外周周围,在从点“A”到点“B”的横扫运动中移动手205,执行简单的手势。所述设备的无触摸接口检测所述移动,并引起所述心脏的3D图像关于被示于所述3D显示中心的垂直轴旋转。所述临床医师也可以使用由图2中的箭头指示的手势,在其他维度中控制所述显示的旋转。
除控制所述3D图像的所述旋转以外,手势还可以被用于控制其他观看属性,例如缩放、图像的左右或上下移动。而且,手势也可以被用于控制全息显示系统115的其他功能,例如图像的流的记录和回放、删除先前记录的图像、暂停所述图像显示、对菜单系统的操作,等等。
图3图示了根据范例实施例的包括3D超声系统305和3D全息显示系统310的系统300。系统300表示图1中示出的所述系统的更通用版本。
一般而言,3D超声系统305可以包括能够生成3D超声数据的任意类型的超声仪器。其可以被配置为从所述超声数据生成3D图像,或者其可以将所述超声数据传输到另一部件,例如3D全息显示系统310,以形成3D图像。类似地,3D全息显示系统310可以包括能够从3D超声数据产生3D全息图像并允许通过无触摸输入的使用来控制所述显示的任意类型的仪器。
可以使用多种技术或科技将超声系统305和全息显示系统彼此集成。例如,它们可以被设计为使用标准无线或有线通信协议通信,例如WiFi、蓝牙、USB、火线、PCI-E等等。此外,它们可以被设计为使用兼容的数据格式,用于方便集成。
图4图示了根据范例实施例的、图3的超声系统305的范例。
参考图4,超声系统305包括超声探头405、数据捕获单元410、图像构建单元415和通信接口420。超声探头405包括被配置为通过使用超声波来生成3D超声数据的换能器阵列。数据捕获单元410捕获和/或数字化所述3D超声数据,并将其传输到图像构建单元415。图像构建单元415处理所述3D超声数据,以生成3D图像。所述图像可以被有利地创建为与全息显示系统兼容的格式。一旦创建了所述3D图像,则将其传输到通信接口420,通信接口420然后将所述图像传输到全息显示系统。图4中示出的元件典型地实时地执行它们的功能以生成实况3D图像。因此,为了便于有效处理,可以使用各种管线和/或平行处理技术实现它们。
图5图示了根据范例实施例的、图3的全息显示系统310的范例。
参考图5,全息显示系统包括通信接口505、无触摸输入接口510、控制器515、绘制引擎520和显示器525。通信接口505从超声系统305接收数据并将所接收到的数据传输到控制器515。所述数据典型地表示3D超声图像,例如3D超声心动描记图。通信接口505可以使用任意各种有线或无线通信协议来实现。无触摸输入接口510接收来自用户的无触摸输入,并将所接收到的输入传送到控制器515。这样的输入可以包括,例如,手势或语音命令。可以通过各种可获得的感测技术来实施无触摸输入接口510,例如电磁场传感器的阵列、基于照相机的计算机视觉系统,或一个或多个麦克风。
控制器515从通信接口505接收3D图像数据,并且其从无触摸输入接口510接收无触摸输入数据。基于该接收的信息,控制器515将数据和/或命令传输到绘制引擎520,以引起其绘制所述图像数据。绘制引擎520典型地执行图像变换及其他操作,以在显示器525上绘制所述3D图像数据。所述3D图像数据然后通过显示器525被显示。
图6图示了根据范例实施例的、操作图3的所述系统的方法600。在下面的描述中,用括号(SXXX)指示示范性方法步骤。
参考图6,所述方法包括捕获3D超声数据(S605)。如上所述,这可以使用超声探头来完成,例如在经胸廓超声心动描记术或经食道超声心动描记术中。接下来,所捕获的数据被传送到3D全息显示系统(S610)。其后,所述3D全息显示系统显示从所捕获的3D超声数据导出的3D图像(S615)。然后,所述3D全息显示系统接收来自用户(例如临床医师)的无触摸输入(S620)。最后,根据所述无触摸输入配置所显示的图像(S625)。可以例如通过执行图像变换(例如根据所述无触摸输入的旋转、平移或缩放)来执行对所显示图像的所述配置。可选地,可以通过更改所述超声探头的定位以更改被捕获图像的视图来改变对所显示图像的所述配置。例如,响应于无触摸输入(例如横扫手势),所述全息显示系统可以将控制系统传输到所述超声系统,引起其将信号传输到所述超声探头以控制换能器尖端在患者的食道内的(x、y、z)位置。这可以改变由所述超声探头捕获并且被示于所述显示上的所述超声数据的所述视图。例如,其可以改变在所述图像中看到的心脏的部分,或者其可以生成所观看部分的更清楚的图像。本领域技术人员将认识到,存在用于控制由所述超声探头捕获的所述视图的多种方式,因此为了简要将省略对各种可选技术的详细描述。
图7图示了根据范例实施例的、使用图3的系统300执行医学程序的方法700。
参考图7,所述方法包括将超声探头应用于患者,以生成3D超声图像,例如超声心动描记图(S705)。接下来,所述方法包括在3D全息显示上观察所述3D超声图像(S710),基于所述观察执行程序(S715),并且通过无触摸接口控制所述全息显示(S720)。图7的所述方法一般是由无菌区内的临床医师执行的。例如,其可以在各种侵入性程序期间,在手术室、介入实验室或导管实验室中被执行。如由以上描述指示的,图7的所述方法可以改进所述临床医师对所述显示的控制,并且其可以得到更有效的程序。
尽管本文中已描述并图示了几个创新实施例,但本领域技术人员将容易地预想多种其他方式和/或结构,用于执行所述功能和/或获得所述结果和/或本文描述的优点中的一个或多个,并且这样的变型和/或更改中的每个均被示为在本文描述的创新实施例的范围内。更一般地,本领域技术人员将容易地认识到,本文描述的所有参数、尺寸、材料和配置均意图为示范性的,并且实际参数、尺寸、材料和/或配置将取决于特定的应用或所述创新的教导被用于的应用。本领域技术人员将认识到,或者能够使用不超过常规的实验来确定,对本文描述的所述特定创新实施例的许多等价方案。因此,要理解,前面的实施例仅是以举例的方式提供,并且在所附权利要求书及其等同的范围内,可以用除具体描述并要求保护的以外的其他方式来实践创新实施例。本公开的创新实施例涉及本文描述的每个个体特征、系统、物品、材料、成套设备和/或方法。此外,两个或多个这样的特征、系统、物品、材料、成套设备和/或方法的任意组合,如果这样的特征、系统、物品、材料、成套设备和/或方法不相互抵触的话,均被包括在本公开的创新范围内。
本文中定义并使用的所有定义,均应被理解为支配词典定义、通过引用并入的文件中的定义和/或所定义术语的普通意义。
本文在说明书和权利要求书中使用的限定词“一”和“一个”,除非清楚地另行指定,均应被理解为意指“至少一个”。
本文在说明书和权利要求书中使用的词语“和/或”应被理解为意指如此连接的元件“之一或两者”,即在一些情况中结合地提供并且在其他情况中分离地提供的元件。应以相同的方式解释用“和/或”列出的多个元件,即,如此结合所述元件中的“一个或多个”。可以任选地提供除由所述“和/或”分句具体指出的所述元件以外的其他元件,无论与具体指出的那些元件相关或不相关。因此,作为非限制性范例,对“A和/或B”的应用,在被用于与开放式语言(例如“包括”)联用时,可以在一个实施例中指仅A(任选地包括除B以外的其他元件);在另一实施例中指仅B(任选地包括除A以外的其他元件);在又另一实施例中指A和B两者(任选地包含其他元件);等等。
本文在说明书和权利要求书中使用的,“或”应被理解为具有与上文定义的“和/或”相同的意义。例如,当分隔列举中的项目时,“或”或“和/或”应被解释为包含性的,即,对若干或列举的元件中至少一个的包含,但也包含多于一个,并且任选地包含额外的未列出的项目。只有相反地清楚地指示的术语,例如“仅一个”或“确切的一个”,或者当在权利要求书中使用时,“由……组成”将指对若干或列举的元件中确切的一个的包含。一般地,本文中使用的术语“或”在前跟排除性术语(例如“任一个”、“一个”、“仅一个”或“确切的一个”)时,仅应被解释为指示排除性的选择(即“一个或另一个而非两者”)。“基本上由……组成”,在被用于权利要求书中时,应具有其在专利法领域中所用的普通意义。
本文在说明书和权利要求书中使用的,短语“至少一个”,在对一个或多个元件的列举的引用中,应被理解为意指选自所述列举的元件中的所述元件的一个或多个的至少一个元件,但不必须包含所述元件的列举中具体列出的每个和每一个元件中的至少一个,并且不排除所述列举的元件中元件的任意组合。该定义也允许可以任选地提供除所述短语“至少一个”所指的所述列举的元件内具体明确的所述元件以外的其他元件,无论与具体明确的那些元件相关或不相关。因此,作为非限制性范例,“A和B中的至少一个”(或者等同地,“A或B的至少一个”,或者等同地“A和/或B中的至少一个”)可以在一个实施例中指至少一个,任选地包含多于一个,A,不存在B(并且任选地包含除B以外的其他元件);在另一实施例中指至少一个,任选地包含多于一个,B,不存在A(并且任选地包含除A以外的其他元件);在再另一个实施例中,任选地包含多于一个,A,并且至少一个,任选地包含多于一个,B(并且任选地包含其他元件);等等。
也应理解,除非清楚地另外指定,本文要求保护的包括多于一个步骤或动作的任意方法中,所述方法的所述步骤或动作的顺序不必须被限制为所记载所述方法的所述步骤或动作的顺序。
在权利要求书中以及在以上说明书中,所有的连接词,例如“包括”、“包含”、“承载”、“具有”、“含有”、“涉及”、“拥有”、“由……构成”等等要被理解为开放式的,即意指包含但不限于。仅连接词“由……组成”和“基本上由……组成”应分别为封闭式或半封闭是的连接词,如在美国专利局专利审查程序手册,部分2111.03中所规定。

Claims (18)

1.一种显示三维(3D)超声数据的方法,包括:
使用超声探头捕获所述三维(3D)超声数据;
将所述超声数据传送到三维(3D)全息显示系统并在所述显示系统上实时显示所述超声数据;
接收来自用户的无触摸输入;并且
基于所述无触摸输入,配置所述超声数据在所述显示系统上的所述显示,其中基于所述无触摸输入配置所述超声数据在所述显示系统上的所述显示包括将信号传输到所述超声探头以控制由所述超声探头捕获并被显示在所述显示系统上的所述超声数据的视图。
2.如权利要求1所述的方法,其中,配置所述三维(3D)超声数据的所述显示包括旋转、平移或缩放由所述超声数据形成的全息图像。
3.如权利要求1所述的方法,其中,所述超声数据为与围介入或围手术超声心动描记程序有关而捕获的超声心动描记数据。
4.如权利要求3所述的方法,其中,所述显示系统被安装在所述程序的受试者上方。
5.如权利要求4所述的方法,其中,所述显示系统被安装在介入实验室或导管实验室的天花板上。
6.如权利要求1所述的方法,其中,所述无触摸输入包括手势。
7.如权利要求1所述的方法,其中,所述无触摸输入包括语音命令。
8.一种医学成像系统,包括:
超声探头,其被配置为捕获来自受试者的三维(3D)数据;
处理系统,其被配置为从所述三维(3D)数据生成实况三维(3D)图像;
三维(3D)全息显示系统,其被配置为显示由所述处理系统生成的所述实况三维(3D)图像;以及
用户接口,其被配置为检测来自用户的无触摸输入并且响应于所述无触摸输入而在所述显示系统中启动对所述实况三维(3D)图像的图像变换,其中响应于所述无触摸输入,通过改变所述超声探头的位置以改变捕获图像的视图能够改变所显示图像的配置。
9.如权利要求8所述的医学成像系统,其中,所述图像变换包括图像旋转、平移或缩放。
10.如权利要求8所述的医学成像系统,其中,所述用户接口包括被配置为检测一个或多个手势的一个或多个电磁场传感器。
11.如权利要求8所述的医学成像系统,其中,所述用户接口包括被配置为检测一个或多个手势的计算机视觉系统。
12.如权利要求8所述的医学成像系统,其中,所述超声探头为经食道超声心动描记探头。
13.如权利要求8所述的医学成像系统,其中,所述三维(3D)全息显示系统被安装到介入实验室、手术室或导管实验室的天花板。
14.如权利要求8所述的医学成像系统,其中,所述处理系统通过无线通信接口与所述显示系统通信。
15.如权利要求8所述的医学成像系统,其中,所述用户接口还被配置为响应于手势而启动对图像的流的记录或回放、对图像显示的暂停或对菜单系统的操作。
16.一种利用权利要求8所述的医学成像系统执行医学程序的方法,包括:
将所述超声探头应用于患者;
观察从由所述超声探头生成的数据导出的并被显示在所述三维(3D)全息显示系统上的所述三维(3D)图像;
并且
通过无触摸接口控制所述三维(3D)全息显示系统。
17.如权利要求16所述的方法,其中,控制所述三维(3D)全息显示系统包括执行手势以更改被呈现在所述三维(3D)全息显示系统上的三维(3D)图像的观看属性。
18.如权利要求17所述的方法,其中,更改所述三维(3D)图像的所述观看属性包括旋转、缩放或平移所述三维(3D)图像。
CN201280070418.9A 2011-12-23 2012-12-20 用于三维超声图像的交互显示的方法与装置 Expired - Fee Related CN104125805B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161579900P 2011-12-23 2011-12-23
US61/579,900 2011-12-23
PCT/IB2012/057533 WO2013093837A1 (en) 2011-12-23 2012-12-20 Method and apparatus for interactive display of three dimensional ultrasound images

Publications (2)

Publication Number Publication Date
CN104125805A CN104125805A (zh) 2014-10-29
CN104125805B true CN104125805B (zh) 2016-10-05

Family

ID=47683800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280070418.9A Expired - Fee Related CN104125805B (zh) 2011-12-23 2012-12-20 用于三维超声图像的交互显示的方法与装置

Country Status (9)

Country Link
US (1) US10966684B2 (zh)
EP (1) EP2793704A1 (zh)
JP (1) JP6110404B2 (zh)
CN (1) CN104125805B (zh)
BR (1) BR112014015394A8 (zh)
IN (1) IN2014CN05012A (zh)
MX (1) MX344319B (zh)
RU (1) RU2639026C2 (zh)
WO (1) WO2013093837A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012210821A1 (de) * 2012-06-26 2014-01-02 Siemens Aktiengesellschaft Verfahren zu einer Kommunikation zwischen einer Steuereinheit und einem Patienten und/oder einem Bedienpersonal sowie eine medizinische Bildgebungsvorrichtung hierzu
EP3019913A4 (en) * 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface
CN104771232A (zh) * 2015-05-05 2015-07-15 北京汇影互联科技有限公司 一种电磁定位系统及其三维影像视角的选取方法
US11449146B2 (en) 2015-06-10 2022-09-20 Wayne Patrick O'Brien Interactive holographic human-computer interface
US10275098B1 (en) * 2015-07-12 2019-04-30 sigmund lindsay clements Laser mid-air hologram touch input buttons for a device
CN105117112A (zh) * 2015-09-25 2015-12-02 王占奎 空中交互式智能全息显示系统
EP3380031A4 (en) * 2015-11-27 2018-11-21 NZ Technologies Inc. Method and system for interacting with medical information
US10663657B2 (en) 2016-07-15 2020-05-26 Light Field Lab, Inc. Selective propagation of energy in light field and holographic waveguide arrays
CN107329669B (zh) * 2017-06-22 2020-02-14 青岛海信医疗设备股份有限公司 在人体医学三维模型中选择人体子器官模型的方法及装置
RU2686576C1 (ru) 2017-11-30 2019-04-29 Самсунг Электроникс Ко., Лтд. Компактное устройство голографического дисплея
CN107961035A (zh) * 2017-12-29 2018-04-27 深圳开立生物医疗科技股份有限公司 一种超声探头以及控制超声诊断仪的方法和装置
US11181749B2 (en) 2018-01-14 2021-11-23 Light Field Lab, Inc. Systems and methods for transverse energy localization in energy relays using ordered structures
EP3737982B1 (en) 2018-01-14 2024-01-10 Light Field Lab, Inc. Energy field three-dimensional printing system
CN115493480A (zh) 2018-01-16 2022-12-20 太平洋灯光全息图公司 使用电磁场计算的三维显示方法、显示屏及系统
US10863971B2 (en) * 2018-11-30 2020-12-15 Fujifilm Sonosite, Inc. Touchless input ultrasound control
CN109480903A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 超声诊断设备的成像方法、装置及系统
CN110495900B (zh) * 2019-08-19 2023-05-26 武汉联影医疗科技有限公司 影像显示方法、装置、设备和存储介质
KR20230004475A (ko) * 2020-04-13 2023-01-06 워싱톤 유니버시티 초음파 이미징을 위한 증강 현실 데이터 상호작용을 위한 시스템 및 방법
US11378917B2 (en) 2020-09-17 2022-07-05 Pacific Light & Hologram, Inc. Displaying three-dimensional objects
EP4134974A1 (en) 2021-08-12 2023-02-15 Koninklijke Philips N.V. Dynamic care assistance mechanism
US11630633B1 (en) * 2022-04-07 2023-04-18 Promp, Inc. Collaborative system between a streamer and a remote collaborator
WO2024006367A1 (en) * 2022-06-29 2024-01-04 Provisio Medical, Inc. Ultrasound measurement interface systems and methods
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253749A (ja) * 1994-03-15 1995-10-03 Fujitsu Ltd 立体表示装置
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6450960B1 (en) 2000-08-29 2002-09-17 Barbara Ann Karmanos Cancer Institute Real-time three-dimensional acoustoelectronic imaging and characterization of objects
US20040046709A1 (en) * 2002-09-05 2004-03-11 Kazutora Yoshino 3 Dimensional image projector and holodeck
US7648461B2 (en) 2003-06-10 2010-01-19 Koninklijke Philips Electronics N.V. User interface for a three-dimensional colour ultrasound imaging system
US7717849B2 (en) * 2004-07-06 2010-05-18 Gerneral Electric Company Method and apparatus for controlling ultrasound system display
CN101564596A (zh) * 2004-08-23 2009-10-28 盖姆卡斯特公司 用以观看和操纵虚拟环境的设备、方法和系统
WO2006030378A1 (en) 2004-09-17 2006-03-23 Koninklijke Philips Electronics, N.V. Wireless ultrasound system display
US20070055949A1 (en) * 2005-01-29 2007-03-08 Nicholas Thomas Methods and apparatus for rfid interface control
EP1897063B1 (en) * 2005-06-22 2018-05-02 Koninklijke Philips N.V. Method to visualize cutplanes for curved elongated structures
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
JP5354885B2 (ja) 2007-10-24 2013-11-27 日立アロカメディカル株式会社 超音波診断システム
US20090109215A1 (en) 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
DE102008015312A1 (de) * 2008-03-20 2009-10-01 Siemens Aktiengesellschaft Displaysystem zur Wiedergabe medizinischer Hologramme
EP2108328B2 (de) * 2008-04-09 2020-08-26 Brainlab AG Bildbasiertes Ansteuerungsverfahren für medizintechnische Geräte
EP2291815A2 (en) * 2008-05-07 2011-03-09 Carrot Medical Llc Integration system for medical instruments with remote control
KR101595104B1 (ko) 2008-07-10 2016-02-17 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
EP2381851A1 (en) 2008-12-29 2011-11-02 Koninklijke Philips Electronics N.V. Ultrasound imaging system with remote control and method of operation thereof
US20100249589A1 (en) * 2009-03-25 2010-09-30 Peter Lysyansky System and method for functional ultrasound imaging
US9050019B2 (en) * 2009-05-08 2015-06-09 Luiz Ferreira Maracajá Neto Pharyngeal ultrasound guide
US20100286519A1 (en) * 2009-05-11 2010-11-11 General Electric Company Ultrasound system and method to automatically identify and treat adipose tissue
WO2011143387A2 (en) * 2010-05-13 2011-11-17 Brennan, Jeffrey Integrated optical coherence tomography systems and methods
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース

Also Published As

Publication number Publication date
US10966684B2 (en) 2021-04-06
BR112014015394A8 (pt) 2017-07-04
JP6110404B2 (ja) 2017-04-05
WO2013093837A1 (en) 2013-06-27
JP2015507490A (ja) 2015-03-12
BR112014015394A2 (pt) 2017-06-13
MX2014007601A (es) 2014-09-15
RU2014130274A (ru) 2016-02-10
RU2639026C2 (ru) 2017-12-19
US20140358002A1 (en) 2014-12-04
IN2014CN05012A (zh) 2015-09-18
EP2793704A1 (en) 2014-10-29
MX344319B (es) 2016-12-13
CN104125805A (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
CN104125805B (zh) 用于三维超声图像的交互显示的方法与装置
JP6157486B2 (ja) 医療処置のためのホログラフィユーザインターフェース
EP3857519B1 (en) Overlay and manipulation of medical images in a virtual environment
JP5992448B2 (ja) 画像システム及び方法
US10499881B2 (en) Ultrasound diagnosis apparatus and method of displaying ultrasound image
JP2021510107A (ja) 超音波画像データの三次元撮像およびモデリング
JP2014512550A6 (ja) 画像システム及び方法
Jiang et al. Robotic ultrasound imaging: State-of-the-art and future perspectives
JP2016202351A (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2013009813A (ja) 医療用マニピュレータシステム
US10854005B2 (en) Visualization of ultrasound images in physical space
US11869216B2 (en) Registration of an anatomical body part by detecting a finger pose
TWM551477U (zh) 一種適用於人工智慧影像分析的超音波診斷裝置
Costa Modular framework for a breast biopsy smart navigation system
CN116909442A (zh) 可隔空手势交互的全息三维医学数据可视化方法及系统
JP5751993B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2013048688A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161005

CF01 Termination of patent right due to non-payment of annual fee