CN109564785A - 具有用户界面特征的分布式交互医学可视化系统 - Google Patents

具有用户界面特征的分布式交互医学可视化系统 Download PDF

Info

Publication number
CN109564785A
CN109564785A CN201780048906.2A CN201780048906A CN109564785A CN 109564785 A CN109564785 A CN 109564785A CN 201780048906 A CN201780048906 A CN 201780048906A CN 109564785 A CN109564785 A CN 109564785A
Authority
CN
China
Prior art keywords
user
user interface
visual angle
video processing
processing circuits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780048906.2A
Other languages
English (en)
Inventor
肯尼斯·马修·默丹
大卫·M·弗里恩
格雷戈里·戈瑞厄内斯特·奥斯滕森
本杰明·彼得纳
罗比·哈尔沃森
埃里克·A·威尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Scientific Scimed Inc
Original Assignee
Boston Scientific Scimed Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Scientific Scimed Inc filed Critical Boston Scientific Scimed Inc
Publication of CN109564785A publication Critical patent/CN109564785A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Abstract

本文的实施例涉及包括用户界面特征的分布式交互医学可视化系统以及相关方法。在实施例中，包括了分布式交互医学可视化系统，所述系统具有第一视频处理电路、与所述第一视频处理电路通信的第一中央处理电路、与所述第一中央处理电路通信的第一通信电路、以及由所述第一视频处理电路生成的第一用户界面。所述第一用户界面可以包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，所述第一视角被配置为由第一用户控制。所述第一用户界面可以进一步包括表示一个或多个其他用户的一个或多个用户表示，所述用户表示被叠加在所述三维模型内，其中，所述一个或多个用户表示中的每一个在视觉上彼此不同。本文中还包括其他实施例。

Description

具有用户界面特征的分布式交互医学可视化系统
本申请作为PCT国际专利申请于2017年8月8日，在所有指定国以美国国营公司波士顿科学希梅德公司(Boston Scientific Scimed,Inc.)作为申请人的名义，并且在所有指定国以美国公民Kenneth Matthew Merdan和美国公民David M.Flynn和美国公民Gregory Ernest Ostenson和美国公民Benjamin Bidne和美国公民Robbie Halvorson以及美国公民Eric A.Ware作为发明人的名义进行提交，并且要求2016年8月12日提交的美国临时专利申请号62/374,343的优先权，该临时专利申请的内容通过引用以其全部内容结合在本文中。
技术领域
本文的实施例涉及具有用户界面特征的分布式交互医学可视化系统以及相关方法。
背景技术
医学诊断和治疗经常借助于或在一些情况下基于对患者的解剖结构的一个或多个部分的视觉观察。最常见的是，这种视觉观察是通过对临床医生用肉眼可见的对象进行直接物理观察来执行的。在外科手术场景中，这可以包括对内部器官的视觉观察。
各种仪器已经被配置为具有光学器件或电子成像相机，以允许对原本可能难以看到的患者的解剖结构的部分的视觉观察。以举例的方式，支气管镜、内窥镜等都允许临床医生可视地观察到原本隐藏的解剖结构的部分。
用于医学成像的技术也大大扩展了临床医生可视地观察患者的解剖结构的部分的能力。从诸如x射线照相术的技术开始，并且这些技术后来包括诸如荧光镜透视检查、计算机化轴向断层扫描(CAT)和磁共振成像(MRI)等技术，查看患者的解剖结构的部分的能力从未如此强大。然而，在许多情况下，由医学成像系统生成的图像是二维的，并且因此需要高水平的技能以便准确地解释。一些成像系统提供图像，该图像包括三维信息但在二维显示器上渲染，导致三维信息的许多值丢失。
发明内容
本文的实施例涉及分布式交互医学可视化系统，用于该分布式交互医学可视化系统的用户界面特征、以及相关方法。在第一方面，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、与第一中央处理电路通信的第一通信电路、以及由第一视频处理电路生成的第一用户界面。该第一用户界面可以包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，该第一视角被配置为由第一用户控制。该第一用户界面可以进一步包括表示一个或多个其他用户的一个或多个用户表示，这些用户表示被叠加在三维模型内，其中，该一个或多个用户表示中的每一个在视觉上彼此不同。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第二方面，一个或多个用户表示包括光笔。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第三方面，一个或多个用户表示具有彼此不同的颜色。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第四方面，三维模型包括实时采集的患者数据、先前存储的患者数据、和理想化模型数据中的一者或多者。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第五方面，关于第一视角的信息通过网络广播。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第六方面，关于一个或多个用户表示的信息通过网络广播。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第七方面，第一视频处理电路与显示初级用户界面的机器协同定位。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第八方面，第一视频处理电路定位成远离显示第一用户界面的机器。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第九方面，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、与第一中央处理电路通信的第一通信电路、以及由第一视频处理电路生成的第一用户界面。该第一用户界面可以包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，该第一视角被配置为由第一用户控制。该第一用户界面可以进一步包括命令界面对象，其中，命令界面对象的接合使得第一用户界面显示来自第二视角的受检者的解剖结构的三维模型。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第十方面，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、与第一中央处理电路通信的第一通信电路、以及由第一视频处理电路生成的第一用户界面。该第一用户界面可以包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，该第一视角被配置为由第一用户控制。该第一用户界面可以进一步包括正在查看同一三维模型的一个或多个其他用户的一个或多个图形表示，其中，该一个或多个图形表示中的每一个在该一个或多个其他用户中识别各个用户。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第十一方面，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、与第一中央处理电路通信的第一通信电路、以及由第一视频处理电路生成的第一用户界面。该第一用户界面可以包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，该第一视角被配置为由第一用户控制。该第一用户界面可以进一步包括命令界面对象，其中，命令界面对象的接合使得由一个或多个其他用户控制的一个或多个其他用户界面从由单个其他用户引导切换到由第一用户引导。
除了前述方面或以下方面中的一个或多个方面之外，或者在一些方面的替代方案中，在第十二方面，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、与第一中央处理电路通信的第一通信电路、以及由第一视频处理电路生成的第一用户界面。该第一用户界面可以包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，该第一视角被配置为由第一用户控制。该第一用户界面可以进一步包括一个或多个注释的虚拟表示，每个注释在三维模型内具有特定的位置锚。
此发明内容部分是本申请的一些教学内容的概述，并且不旨在排他地或穷尽地处理本发明主题。在具体实施方式和所附权利要求中可找到进一步的细节。当阅读和理解以下详细说明并且查看形成该详细说明的一部分的附图时，其他方面对于本领域技术人员而言将是清楚的，这些附图中的每一个均不具有限制意义。本文的范围是由所附权利要求和它们的法律等效物来限定。
附图说明
结合以下附图可以更完全地理解多个方面，在附图中：
图1是根据本文各个实施例的分布式交互医学可视化系统的方面的示意图。
图2是展示了根据本文各个实施例的特定用户视角的实施例的三维模型的示意图。
图3是根据本文各个实施例的分布式交互医学可视化系统的示意图。
图4是根据本文各个实施例的分布式交互医学可视化系统的示意图。
图5是根据本文各个实施例示出的示例性用户界面的示意图。
图6是根据本文各个实施例的三维解剖模型的示意图。
图7是示出了用于生成三维解剖模型的数据源的示意图。
图8是根据本文一些实施例的各种部件的简图。
图9是根据本文各个实施例的示例性图形流水线的各种部件的简图。
虽然实施例容易有各种不同的修改和替代形式，但已经通过举例和绘图方式示出了其详细内容并且将进行详细描述。然而，应理解的是，本文的范围并不受限于所描述的具体实施例。与此相反，本发明将覆盖落入本文的精神和范围内的修改、等效物、以及替代方案。
具体实施方式
本文所述的实施例并非旨在是穷尽的或将本发明限制于在下面的详细说明中披露的确切形式。而是，选择和描述这些实施例以使本领域的其他技术人员可以领会并且理解其原理和实践。
本文中所提及的所有出版物和专利以引用方式并入本文。单独地针对其披露内容来提供本文所披露的出版物和专利。本文中的内容均不应解释为是承认发明人无权先于任何出版物和/或专利(包括本文中引用的任何出版物和/或专利)。
有许多技术可借以采集视觉解剖数据。技术可以包括x射线照相术、荧光镜透视检查、计算机化轴向断层扫描(CAT)、磁共振成像(MRI)技术等。传统上来讲，使用此类信息的一个挑战是生成的图像通常是二维的并且需要高水平的技能以便正确地解释。一些成像系统提供图像，该图像包括三维信息但在二维显示器上渲染，导致三维信息的许多值丢失。
各种更新的技术允许三维图像数据以对用户呈现为反映三个维度的方式进行显示。虽然这些技术有差别，但它们通常基于向用户的每只眼睛显示稍微不同的图像的基本原理，从而允许系统用户体验三维图像的感觉。在三个维度显示视觉信息是允许用户快速地基于其所见进行学习的巨大进步。
本文提供了用于允许多个个体同时与相同的三维图像模型交互的系统和方法。具体地，本文提供了可以促进多个用户查看同一三维解剖模型的用户界面特征。
现在参考图1，示出了根据本文各个实施例的分布式交互医学可视化系统100的方面的示意图。分布式交互医学可视化系统100可以包括受检者的解剖结构104的至少一部分的三维模型102。三维模型102可以在X、Y和Z维度上延伸。多个个体可以同时与三维模型102进行交互。例如，第一用户106以及一个或多个第二用户108、110可以同时查看三维模型102并与之进行交互。在一些实施例中，每个用户可以从他们自己的视角查看模型102。以举例的方式，第一用户106可以从第一视角116查看模型102，而第二用户108可以从第二视角118查看模型102，并且第三用户110可以从第三视角120查看模型102。
可以以各种方式定义与模型102进行交互的每个单个用户的视角。在一些实施例中，单个视角可以包括指示单个用户的视图或视觉的起始点的坐标。这允许用户随其起始点变化而“移动”通过模型。在一些实施例中，单个视角还可以包括指示用户当前从其起始点查看的方向的角度。
现在参考图2，示出了展示特定用户的视角的实施例的三维模型102的示意图。在一些实施例中，特定用户的视角可以包括位置和观察角度。例如，模型可以包括X(222)、Y(224)和Z(226)维度。模型的总体积可以约为X、Y和Z维度中的每个维度的最大量值的乘积。个体的视角可以包括处于最大的X、Y和Z边界内的位置(或起始点)。例如，起始点230可以表示在三维模型内的特定个体的当前位置。为了表示特定用户的视角，模型还可以将观察角度考虑在内。例如，通过使用反映在XY平面内的旋转的第一角度240以及反映在Z平面内的旋转的第二角度242，可以指定模型102内的任何可能的定向视图。如此，用户的视角可以由起始点230结合XY角度244和Z轴角度246进行定义。虽然这提供了可以如何在三维模型内定义用户的视角的一个示例，但应当理解，存在许多其他可能的方法来精确地描述用户的视角。
交互医学可视化系统可以为“分布式的”，因为它们可以物理地分布在多个单个机器或工作站上。单个机器或工作站可以位于相同的物理位置或区域，或者可以位于单独的物理位置。现在参考图3，示出了根据本文各个实施例的分布式交互医学可视化系统300的示意图。在该示例中，可视化系统300包括处于第一位置302(位置A)、第二位置304(位置B)、以及第三位置306(位置C)的用户。在一些实施例中，不同的物理位置可能仅仅是诸如医院或大学等同一设施中的不同房间。在其他实施例中，不同的物理位置相互之间可以相距数英里。位置(302、304和306)可以经由存在于不同物理位置之间的网络连接308来互连。在此视图中，第一位置302包括主用户310(或第一用户、初级用户或领导者)和两个跟随者312(或次级用户)。其他位置只包括跟随者。然而，应当理解，在一些情况下，主用户310可以单独在物理位置上。在其他情况下，所有用户可以在相同的物理位置。在一些场景中，可以存在多于一个主用户。
本文的交互医学可视化系统的架构可以变化。在一些实施例中，该系统可以存在于对等类型模型中而无中心节点或控制机器。在其他实施例中，该系统可以包括诸如解剖模型服务器等中心节点，该解剖模型服务器计算关于三维模型以及当前在模型中的各种用户的方面，并且然后将此信息发送到单个机器或工作站以进行渲染。在其他实施例中，视频渲染可以几乎完全在中心节点或服务器(或服务器集群)上发生，并且视频图像可以然后被推送到单个工作站，该单个工作站显示所接收的视频信号(经编码的或未编码的)并且接收并传输用户输入。
现在参考图4，示出了根据本文各个实施例的分布式交互医学可视化系统400的示意图。系统400包括位于位置A处的与位于位置Z处的解剖模型服务器402进行双向通信的主用户404(或第一用户、初级用户、或领导者)。位置Z可以与位置A相同或不同。系统400还包括位于位置A处的跟随者406、位于位置B处的跟随者408、以及位于位置C处的跟随者410。在一些实施例中，大量视频处理(包括但不限于图像或视频渲染)发生在解剖模型服务器402上，并且视频流然后分布到各个用户节点。在其他实施例中，解剖模型服务器402主要仅用于协调用户之间的交互，并且大多数视频处理发生在系统的各个节点(由各个用户操作的机器)的级别处。
每个单个机器或系统可以提供或显示用于个体与之交互的用户界面。用户界面可以由视频处理电路(以下更详细地讨论)生成。视频处理电路可以在用户的机器的本地，或者可以位于中心节点或服务器处。用户界面可以包括各种特征。以举例的方式，用户界面可以包括来自特定视角的受检者的解剖结构的至少一部分的三维模型的表示。在一些情况下，视角可以被配置为由系统用户(第一或第二、初级或次级等)通过用户界面来控制。
用户界面可以包括各种命令界面对象。命令界面对象可以包括用户可以与之直接交互(诸如利用触摸屏)或间接交互(诸如利用键盘、鼠标、笔等真实或虚拟工具)的各种元件。命令界面对象可以包括但不限于按钮、菜单树、滑动条、拨盘等。用户对命令界面对象进行接合或致动可以导致各种动作或功能被执行，如下文更详细地描述。
现在参考图5，示出了根据本文实施例的示例性用户界面500的示意图。用户界面500包括三维解剖模型102。解剖模型102包括患者的解剖结构的至少一部分的三维图像504。用户界面可以示出图标或其他图形对象520，该图标或图形对象指示与相同的三维解剖模型102交互的另一个用户的位置和/或视图。
用户界面500还可以包括菜单栏506，该菜单栏可以包括诸如菜单树等命令界面对象。用户界面500还可以包括诸如按钮512等一个或多个命令界面对象。在一些实施例中，用户界面500还可以包括信息侧边栏510。信息侧边栏510可以被选择性地显示或隐藏，并且可以显示诸如与用户界面交互的用户的当前位置和当前视图等信息或者用于另一个所选择用户的信息。例如，如果显示用户界面500的系统的用户点击了指示另一个用户的图形对象520，那么可以在侧边栏510中显示此用户的信息。在一些实施例中，代替侧边栏，相同类型的信息可以被显示在附接到屏幕底部或顶部的栏上。在仍其他实施例中，相同类型的信息可以被渲染在三维模型自身内。
三维解剖模型可以包括渲染在模型或用户界面的部分内的各种其他类型的图形元素。以举例的方式，三维模型可以包括一个或多个其他用户的图形表示以及他们的对应位置和当前视图。此外，诸如医疗设备等对象可以在三维模型中叠加和/或渲染。
现在参考图6，示出了根据本文各个实施例的三维解剖模型的示意图。三维解剖模型可以包括患者的解剖结构602的至少一部分的视觉表示。三维解剖模型可以包括医疗设备604的视觉表示。在这种情况下，医疗设备604为心脏瓣膜。然而应当理解，医疗设备可以是任何种类的医疗设备，包括但不限于支架、植入式心率管理设备、导管、栓塞保护设备等。用户可以操纵医疗设备，包括移动、旋转和/或部署医疗设备。在此视图中，第一用户的视角608(如用第一光笔表示)与第二用户的视角606(如用第二光笔表示)一起示出。
如上所述，三维模型可以包括患者的解剖结构的至少一部分的视图。此外，三维模型可以包括其他方面，这些其他方面包括医疗设备的表示、其他用户的指示、以及叠加到模型中的一般信息。解剖可视化可以包括来自各种源的数据的部分。以举例的方式，解剖可视化可以包括实时从患者获取的实况可视化数据、先前从患者记录且存储的可视化数据、以及从一般医学知识和/或从患者群体中提取的理想化解剖模型数据。在一些情况下，系统可以将来自这些源中的一个或多个源的数据的部分混合，以便创建在本文各种实施例中使用的三维解剖模型。
现在参考图7，示出了指示用于生成三维解剖模型102的数据源的示意图。数据源可以包括实时采集的患者数据702、先前存储的患者数据704(诸如存储在文件、文件夹和/或数据库中的数据)、以及理想化模型数据706。实时采集的患者数据可以包括诸如医学成像数据等数据，该医学成像数据包括但不限于x射线照相术数据、荧光镜透视检查数据、计算机化轴向断层扫描(CAT)数据、磁共振成像(MRI)数据、相机数据等。先前存储的患者数据可以包括诸如医学成像数据等数据，该医学成像数据包括但不限于x射线照相术数据、荧光镜透视检查数据、计算机化轴向断层扫描(CAT)数据、磁共振成像(MRI)数据、相机数据等。理想化模型数据可以包括解剖结构的理想化模型，包括但不限于主要器官(心脏、肺、肝脏、肾脏、大脑等)、关节、骨骼结构、肌肉组织、胸腔、脉管系统、中心和外周静脉系统、心肺系统、淋巴系统、肝系统、肾系统、头脑并且具体是大脑、鼻窦等，和/或在医疗手术中使用的医疗设备，包括但不限于植入物、心脏瓣膜、栓塞保护设备、支架、移植物、医疗器械、心律管理设备、起搏器、植入式心律转复除颤器、心脏再同步化治疗设备、心室辅助设备等。理想化模型数据可以以包括关于几何形状(线框、表面、实体等)的信息的CAD文件格式来存储，或者可以以包括关于理想化模型的类似信息的其他文件格式来存储。
如上所述，用于在三个维度显示视觉信息的系统通常基于用于向用户的一只眼睛提供第一图像并向用户的另一只眼睛提供不同于第一图像的第二图像的机制。以此方式，由用户感知的图像可以看起来具有深度并且因此看起来是三维的。在一些情况下，可以通过单独的视频屏幕或单个视频屏幕的单独部分向用户的每只眼睛提供单独的视频图像。在其他情况下，单独的视频屏幕可以设置在头戴式耳机或眼镜内。
然而，在一些情况下，单个视频屏幕可以用于偏振眼镜。在一些实施例中，可以将包括左图像以及在立体图像内空间复用的右图像的立体图像通过左偏振滤波器和右偏振滤波器分别呈现给用户的左眼和右眼。这种类型的示例性方法在US2007/0043466中有描述，该申请的内容以引用方式并入本文。
应当理解，本文的系统可以具有各种形式因素，以便提供包括患者的解剖结构的三维模型的视图的用户界面。以举例的方式，该系统可以包括基于一个或多个屏幕以向左眼和右眼显示单独图像的头戴式耳机、具有复用的左图像和右图像的屏幕、以及使得左眼看到左图像且右眼看到右图像的眼镜或者类似的系统。在一些实施例中，该系统可以包括传感器以便跟踪用户头部位置。在US 2013/0128011中描述了用于跟踪用户头部位置的一种方式，该申请的内容以引用方式并入本文。
在一些实施例中，可以在三维模型内表示(用户表示)每个用户或关于每个用户的方面。用户表示可以采用许多不同的形式。在一些情况下，用户表示可以反映物理对象的虚拟图像。例如，在一些情况下，用户可以将笔或光笔作为用户输入设备，并且可以将笔的虚拟图像和/或笔的表现形式(诸如从笔中延伸的光束)叠加在三维模型内以供他人观看。在其他情况下，可以设计用户表示，诸如作为符号(诸如箭头、线等)、图形元素、头像等。
不同用户的用户表示可以在视觉上彼此不同。以此方式，可以向系统用户提供关于正在从其他视角查看同一三维模型的其他用户的信息。可以通过许多不同的方式使用户表示在视觉上彼此不同。例如，可以使用不同的颜色来表示每个不同的用户。在一些情况下，可以使用不同的颜色来表示每个不同的用户组。
在一些情况下，不同颜色的使用可以在不同用户的三维模型视图中一致。例如，用户“X”可以与特定颜色(假设为绿色)相关联，并且他们的用户界面对象可以始终为此颜色，而不管哪个用户正在通过其用户界面查看三维模型。在其他情况下，就用户“X”可以呈现为具有绿色用户表示并且其他用户表示不具有绿色的意义而言，不同颜色的使用可以是相对的，但是当从不同的用户的界面查看时,那么用户“X”可以呈现为具有蓝色用户表示并且其他用户不具有蓝色用户表示。
在实施例中，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、以及与第一中央处理电路通信的第一通信电路。该系统还可以包括由第一视频处理电路生成的第一用户界面，该第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。第一用户界面还可以包括表示一个或多个其他用户的一个或多个用户表示，这些用户表示被叠加在三维模型内，其中，该一个或多个用户表示或用户表示组中的每一个在视觉上彼此不同。
在一些实施例中，用户界面包括命令或命令界面对象，该命令或命令界面对象允许用户对齐(或跳转)到相同三维解剖模型的不同视角的显示。不同的视角可以表示固定的或动态的视角、预置视角、表示另一个用户的当前视角的视角等。在一些情况下，用户界面可以呈现其他视角的列表或集合，其中可以将对三维解剖模型的视角设置为这些视角。从列表或集合中选择选项可以使得当前的视角改变为所选择的视角。在一些实施例中，路点或其他标记可以叠加在三维解剖模型本身中，并且这些路点或其他标记的选择可以引发当前视角改变为所选择视角。在一些情况下，标记可以表示特定的其他用户。
在实施例中，包括了用于为多个用户显示三维模型的方法。该方法可以包括用第一视频处理电路生成第一用户界面，第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该方法可以进一步包括显示一个或多个命令界面对象，该一个或多个命令界面对象允许用户对齐(或跳转)到相同三维解剖模型的不同视角的显示。
在实施例中，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、以及与第一中央处理电路通信的第一通信电路。该系统还可以包括由第一视频处理电路生成的第一用户界面，该第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该第一用户界面还可以包括表示一个或多个命令界面对象的一个或多个用户表示，其中，命令界面对象的接合使得第一用户界面显示来自第二视角的受检者的解剖结构的三维模型。
在实施例中，包括了用于为多个用户显示三维模型的方法。该方法可以包括用第一视频处理电路生成第一用户界面，第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该方法可以进一步包括显示包括一个或多个命令界面对象的一个或多个用户表示，其中，命令界面对象的接合使得第一用户界面显示来自第二视角的受检者的解剖结构的三维模型。
在一些实施例中，用户界面包括正在查看相同主题的其他用户的表示或标识符。用户特定的表示或标识可以出现在叠加于三维解剖模型中的用户界面上，以识别特定的用户。在一些情况下，用户特定的表示或标识可以出现在用户界面上，但不叠加在三维解剖模型本身中。用户特定的标识可以伴有各种信息。以举例的方式，信息可以包括其他用户当前正在从何角度查看何种解剖特征等。
在实施例中，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、以及与第一中央处理电路通信的第一通信电路。该系统还可以包括由第一视频处理电路生成的第一用户界面，该第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该第一用户界面还可以包括正在查看同一三维模型的一个或多个其他用户的一个或多个图形或文本表示，其中，该一个或多个图形或文本表示中的每一个在该一个或多个其他用户中识别各个用户。
在实施例中，包括了用于为多个用户显示三维模型的方法。该方法可以包括用第一视频处理电路生成第一用户界面，第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该方法可以进一步包括显示正在查看同一三维模型的一个或多个其他用户的一个或多个图形或文本表示，其中，该一个或多个图形或文本表示中的每一个在该一个或多个其他用户中识别各个用户。
在一些实施例中，查看同一三维解剖模型的不同用户可以具有不同角色，以允许基于角色的不同功能。可以以许多不同的方式来定义角色，但是以举例的方式，角色可以包括功能更多的角色(诸如引导者或领导者)和功能较少的角色(诸如参与者或跟随者)。功能可以以许多不同的方式表现出来。一个示例包括在表现模式与探索模式之间切换的能力，在表现模式中，其他系统用户不能引导他们自己的对三维解剖模型的视图，而是义务的“跟随者”，在探索模式中，其他系统用户可以引导他们自己的对三维解剖模型的视图。引导者或领导者可以独有的功能的其他方面可以包括对三维模型的哪些方面应该显示以及向谁显示的控制。
在实施例中，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、以及与第一中央处理电路通信的第一通信电路。该系统还可以包括由第一视频处理电路生成的第一用户界面，该第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该第一用户界面还可以包括命令界面对象，其中，命令界面对象的接合使得由一个或多个其他用户控制的一个或多个其他用户界面从由单个其他用户引导切换到由第一用户引导。
在实施例中，包括了用于为多个用户显示三维模型的方法。该方法可以包括用第一视频处理电路生成第一用户界面，第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该方法可以进一步包括显示一个或多个命令界面对象，其中，(多个)命令界面对象的接合使得由一个或多个其他用户控制的一个或多个其他用户界面从由单个其他用户引导切换到由第一用户引导。
在一些实施例中，该系统可以被配置为允许各个用户对其正在查看或已经查看的三维解剖模型的特定方面进行注释。可以完成此类注释，使得注释为私有的(注释仅对创建者可见)、半公开的(注释的至少部分对其他人或其他人的特定组可见)、或完全公开的(所有内容对所有人可见)。注释可以包括音频、图形(包括图片、视频和其他图形对象)和/或文本信息。注释可以具有位置锚，诸如三维模型内的特定点(其可具有X、Y和Z特异性)、特定区域、特定解剖特征等。然而，在一些情况下，注释不锚定于任何特定的事物。在一些情况下，注释包括无论其他用户是否选择注释都可见的信息。在其他情况下，注释包括仅当其他用户实际选择注释时才可见的信息。
在实施例中，包括了分布式交互医学可视化系统，该系统具有第一视频处理电路、与第一视频处理电路通信的第一中央处理电路、以及与第一中央处理电路通信的第一通信电路。该系统还可以包括由第一视频处理电路生成的第一用户界面，该第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该第一用户界面还可以包括一个或多个注释的虚拟表示，每个注释在三维模型内具有特定的位置锚。
在实施例中，包括了用于为多个用户显示三维模型的方法。该方法可以包括用第一视频处理电路生成第一用户界面，第一用户界面包括来自第一视角的受检者的解剖结构的至少一部分的三维模型，第一视角被配置为由第一用户控制。该方法可以进一步包括显示一个或多个注释，每个注释在三维模型内具有特定的位置锚。
在一些实施例中，该系统可以包括用户界面，该用户界面将实际物理空间(诸如手术室)的视觉描绘与叠加在其上的信息(诸如本文别处描述的各种元素)一起显示。如此，物理房间和/或患者的真实图像可以与叠加在其图像上的各种图形增强一起被查看以实现各种功能，包括例如上文讨论的方面中的一些方面。以举例的方式，特定用户的用户界面可以包括手术室中实际患者的图像以及查看同一真实图像的另一个用户的用户表示，该用户表示指示他们从何处以及从何视角查看同一真实图像。作为另一个示例，第一用户可以创建可以实际上叠加在三维模型内的注释，该注释可以对查看同一真实图像的其他用户可见。
应当理解，除非另外指明，本文方法中包括的操作不限于事件的特定进展。允许实现本文讨论的技术的任何进展都是适当的。
在一些实施例中，本发明包括：设备，该设备包括图形显示器；以及机器可读介质，该机器可读介质包括指令。当由一个或多个处理器实施时，指令可以执行各种操作。以举例的方式，操作可以包括根据如本文描述的方法中的操作。机器可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁性数据存储介质、光学数据存储介质、闪存存储器等。
用于显示受检者的解剖结构的至少一部分的三维模型和/或针对该三维模型的用户界面的设备可以包括许多计算设备通用的部件。现在参考图8，示出了根据一些实施例的各种部件的简图。该系统可以包括中央处理电路，该中央处理电路可以包括诸如中央处理单元等各种部件。以举例的方式，该系统可以包括中央处理单元(CPU)805或处理器，该中央处理单元或处理器可以包括常规微处理器、用于信息临时存储的随机存取存储器(RAM)810、以及用于信息永久存储的只读存储器(ROM)815。提供了用于控制系统RAM 810的存储器控制器820。提供了用于控制数据总线830的总线控制器825，并且中断控制器835用于从其他系统部件接收各种中断信号并对这些信号进行处理。
海量存储装置可以由磁性或闪存存储器驱动器841提供，包括通过控制器840连接到总线830的可移除或不可移除介质、通过控制器845连接到总线830的光学驱动器诸如CD-ROM或DVD驱动器846、和/或通过控制器850连接到总线830的硬盘驱动器851(磁性的或固态的)。在一些实施例中，海量存储装置可以由通过通用串行总线(USB)、eSATA、火线、或Thunderbolt接口或其他类型的连接进行连接的设备来提供。到编程器系统的用户输入可以由多个设备提供。例如，键盘和鼠标910可以通过键盘和鼠标控制器855连接到总线830。提供DMA控制器860用于执行对系统RAM 810的直接存储器访问。在一些实施例中，用户输入可以由笔、光笔、手套、可穿戴对象、手势控制界面等提供。
可以包括视频处理电路，并且视频处理电路可以生成用户界面。视频处理电路可以包括控制视频显示器870的视频控制器865或视频输出端。在一些实施例中，视频控制器865还可以包括一个或多个图形处理单元(GPU)。视频处理电路可以与中央处理电路通信。
系统还可以包括允许系统与其他系统和/或服务器接口连接和交换数据的通信接口890或通信电路。通信电路可以与中央处理电路通信。在一些实施例中，通信接口890可以包括网络接口卡或电路以促进与分组交换(诸如IP)或其他类型的数据网络的通信。
应当理解，一些实施例可以不含图8中所示的各种元件。此外，图8中示出的架构仅仅是分立部件可如何布置的一个示例，并且本文明确地设想了其他构架。
除了或代替关于图8描述的部件，应当理解，系统还可以包括微控制器、可编程逻辑控制器(PLC)、ASIC、FPGA、微处理器或其他适合的技术。
视频处理电路(在本地或在远程节点上)可以基于包括几何形状、视点、纹理、光照和阴影信息、以及上述其他信息中的一个或多个的信息来生成3D(或更少或更多维度)图像。在一些实施例中，用于渲染图像的信息被组合在场景文件中。术语“图形流水线”可以用于指用于创建3D场景的2D光栅表示的步骤序列。视频处理电路可以执行图形流水线的一个或多个步骤。视频处理电路还可以包括在图形流水线中使用的一个或多个物理部件。通过使用上述信息，图形流水线可以包括由几何图元创建场景、建模和转换、相机转换、照明、投影转换、剪辑、扫描转化或光栅化、以及纹理和片段着色中的一个或多个阶段。在各个实施例中，还可以执行其他操作。在各个实施例中，图形流水线可以使用OpenGL、DirectX或其他协议。
应当理解，可以使用图形流水线的各种形式。仅作为一个示例，图9中示出了示例性计算机图形流水线900。在此示例中，主机计算系统或中央处理电路910(其可以是本地的或在远程节点上)运行能够根据多边形顶点、颜色、光照、纹理等对场景进行建模的系统和应用软件。中央处理电路910将此信息发送到图形加速系统912(其可以是本地的或在远程节点上)。图形加速系统912可以通过生成像素数据以存储在帧缓冲器存储器中来渲染建模的场景。在帧缓冲器存储器中的内容可以由随机存取存储器/数模转换器(“RAMDAC”)模块922连续地读取，该RAMDAC模块通常包含颜色或伽玛校正查找表并且驱动显示监视器924。可替代地，中央处理电路910可以在没有图形加速系统的情况下生成像素数据，并且将像素数据直接写入到帧缓冲器中。
在一些情况下，可以使用已知为双缓冲的技术。在双缓冲中，提供了两个帧缓冲器916和918，而不是提供单个帧缓冲器。这样，中央处理电路910或图形加速系统912可以将像素数据写入一个帧缓冲器(“不可查看的”或“后面的”缓冲器)中，同时RAMDAC模块922和监视器924显示先前写入到另一个帧缓冲器(“可查看的”或“前面的”缓冲器)中的像素数据。这种技术的效果是在帧缓冲器的内容发生变化同时该帧缓冲器的内容正被显示时，减少引入到图像中的撕裂和其他不想要的视觉伪影。在使用两个缓冲器的系统中，帧缓冲器控制器914可以用于协调在任何给定时刻哪个缓冲器是可视的以及哪个缓冲器是不可视的。具体地，帧缓冲器控制器914内的交换控制器920可以指示何时停止显示一个帧缓冲器的内容并且开始显示另一个帧缓冲器的内容是安全的。通常地，交换控制器920将在以下时刻指示交换帧缓冲器是安全的：(1)当图形流水线已经完成将像素数据渲染到不可视缓冲器中时，以及(2)当显示器的当前光栅位置不在感兴趣的窗口内时。在全屏图形中，缓冲器交换通常仅发生在垂直回扫期间，但缓冲器交换可以在不同时间执行。在窗口化图形中，当光栅不在感兴趣的窗口内时，缓冲器交换可能在任何时候发生。
应当注意的是，如在本说明书和所附权利要求书中所使用的，单数形式“一个/种(a/an)”和“该/这些(the)”包括复数的指代物，除非上下文另外明确指示。因此，例如，对含有“一种化合物”的组合物的引用包括两种或更多种化合物的混合物。还应当注意的是，术语“或”通常以其包括“和/或”的意义来使用，除非上下文另外明确指示。
还应当注意的是，如在本说明书和所附权利要求书中所使用的，短语“被配置”描述被构造或被配置用于执行特定任务或采用特定配置的系统、装置或其他结构。短语“被配置”可以与其他类似短语(诸如被安排并配置、被构造并安排、被构造、被制造和安排等)可互换地使用。
本说明书中所有的出版物和专利申请指示本发明所属领域中普通技术人员的水平。所有出版物和专利申请通过引用结合在本文中，其程度如同具体且单独地通过引用指示每个单独的出版物或专利申请。
已经参考各种特定和优选的实施例和技术描述了多个方面。然而，应当理解的是，在保持处于本文的精神和范围内的同时，仍可做出许多变化和修改。

Claims (15)

1.一种分布式交互医学可视化系统，包括：
第一视频处理电路；
与所述第一视频处理电路通信的第一中央处理电路；
与所述第一中央处理电路通信的第一通信电路；
由所述第一视频处理电路生成的第一用户界面，所述第一用户界面包括：
来自第一视角的受检者的解剖结构的至少一部分的三维模型，所述第一视角被配置为由第一用户控制；以及
表示一个或多个其他用户的一个或多个用户表示，所述用户表示被叠加在所述三维模型内，其中，所述一个或多个用户表示中的每一个在视觉上彼此不同。
2.如权利要求1所述的分布式交互医学可视化系统，所述一个或多个用户表示包括光笔。
3.如权利要求1至2中任一项所述的分布式交互医学可视化系统，所述一个或多个用户表示具有彼此不同的颜色。
4.如权利要求1至3中任一项所述的分布式交互医学可视化系统，所述三维模型包括实时采集的患者数据、先前存储的患者数据、以及理想化模型数据中的一者或多者。
5.如权利要求1至4中任一项所述的分布式交互医学可视化系统，其中，关于所述第一视角的信息通过网络来广播。
6.如权利要求1至5中任一项所述的分布式交互医学可视化系统，其中，关于所述一个或多个用户表示的信息通过网络来广播。
7.如权利要求1至6中任一项所述的分布式交互医学可视化系统，其中，所述第一视频处理电路与显示所述第一用户界面的机器协同定位。
8.如权利要求1至6中任一项所述的分布式交互医学可视化系统，其中，所述第一视频处理电路被定位成远离显示所述第一用户界面的机器。
9.一种分布式交互医学可视化系统，包括：
第一视频处理电路；
与所述第一视频处理电路通信的第一中央处理电路；
与所述第一中央处理电路通信的第一通信电路；
由所述第一视频处理电路生成的第一用户界面，所述第一用户界面被配置为由第一用户引导并且包括：
来自第一视角的受检者的解剖结构的至少一部分的三维模型，以及
命令界面对象，其中，所述命令界面对象的接合使得所述第一用户界面显示来自第二视角的所述受检者的解剖结构的三维模型。
10.如权利要求9所述的分布式交互医学可视化系统，所述第二视角还由第二用户界面显示，并且所述第二视角被配置为由第二用户引导。
11.如利要求9所述的分布式交互医学可视化系统，其中，所述命令界面对象的接合使得所述第二视角从由第二用户引导切换到由所述第一用户引导。
12.如权利要求9所述的分布式交互医学可视化系统，所述三维模型包括实时采集的患者数据、先前存储的患者数据以及理想化模型数据中的一者或多者。
13.一种分布式交互医学可视化系统，包括：
第一视频处理电路；
与所述第一视频处理电路通信的第一中央处理电路；
与所述第一中央处理电路通信的第一通信电路；
由所述第一视频处理电路生成的第一用户界面，所述第一用户界面包括：
来自第一视角的受检者的解剖结构的至少一部分的三维模型，所述第一视角被配置为由第一用户控制；以及
正在查看同一三维模型的一个或多个其他用户的一个或多个图形表示，其中，所述一个或多个图形表示中的每一个在所述一个或多个其他用户中识别各个用户。
14.一种分布式交互医学可视化系统，包括：
第一视频处理电路；
与所述第一视频处理电路通信的第一中央处理电路；
与所述第一中央处理电路通信的第一通信电路；
由所述第一视频处理电路生成的第一用户界面，所述第一用户界面包括：
来自第一视角的受检者的解剖结构的至少一部分的三维模型，所述第一视角被配置为由第一用户控制；以及
命令界面对象，其中，所述命令界面对象的接合使得由一个或多个其他用户控制的一个或多个其他用户界面从由单个其他用户引导切换到由所述第一用户引导。
15.一种分布式交互医学可视化系统，包括：
第一视频处理电路；
与所述第一视频处理电路通信的第一中央处理电路；
与所述第一中央处理电路通信的第一通信电路；
由所述第一视频处理电路生成的第一用户界面，所述第一用户界面包括：
来自第一视角的受检者的解剖结构的至少一部分的三维模型，所述第一视角被配置为由第一用户控制；以及
一个或多个注释的虚拟表示，每个注释在所述三维模型内具有特定的位置锚。
CN201780048906.2A 2016-08-12 2017-08-08 具有用户界面特征的分布式交互医学可视化系统 Pending CN109564785A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662374343P 2016-08-12 2016-08-12
US62/374,343 2016-08-12
PCT/US2017/045931 WO2018031561A1 (en) 2016-08-12 2017-08-08 Distributed interactive medical visualization system with user interface features

Publications (1)

Publication Number Publication Date
CN109564785A true CN109564785A (zh) 2019-04-02

Family

ID=59677358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048906.2A Pending CN109564785A (zh) 2016-08-12 2017-08-08 具有用户界面特征的分布式交互医学可视化系统

Country Status (5)

Country Link
US (1) US10585552B2 (zh)
EP (1) EP3497600B1 (zh)
JP (1) JP6921940B2 (zh)
CN (1) CN109564785A (zh)
WO (1) WO2018031561A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115881315A (zh) * 2022-12-22 2023-03-31 北京壹永科技有限公司 交互式医学可视化系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585552B2 (en) 2016-08-12 2020-03-10 Boston Scientific Scimed, Inc. Distributed interactive medical visualization system with user interface features
CN109564471B (zh) 2016-08-12 2022-08-23 波士顿科学国际有限公司 具有主/次交互特征的分布式交互医学可视化系统
WO2020243409A1 (en) * 2019-05-29 2020-12-03 Aqumin, Llc Systems and methods for blending and aggregating multiple related datasets and rapidly generating a user-directed series of interactive 3d visualizations
CN114821826A (zh) * 2022-02-03 2022-07-29 北京泽桥医疗科技股份有限公司 一种面向交互式三维人体医学模型的可视化系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248261A1 (en) * 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
CN103534733A (zh) * 2011-05-06 2014-01-22 皇家飞利浦有限公司 医学图像系统和方法
US20150347682A1 (en) * 2011-10-04 2015-12-03 Quantant Technology Inc. Remote cloud based medical image sharing and rendering semi-automated or fully automated, network and/or web-based, 3d and/or 4d imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard x-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
CN106456250A (zh) * 2013-08-13 2017-02-22 波士顿科学国际有限公司 解剖项的计算机可视化

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5494042A (en) 1994-01-28 1996-02-27 Ep Technologies, Inc. Systems and methods for deriving electrical characteristics of cardiac tissue for output in iso-characteristic displays
US6608628B1 (en) 1998-11-06 2003-08-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Method and apparatus for virtual interactive medical imaging by multiple remotely-located users
US7840393B1 (en) 2000-10-04 2010-11-23 Trivascular, Inc. Virtual prototyping and testing for medical device development
US7538764B2 (en) 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US7327862B2 (en) 2001-04-30 2008-02-05 Chase Medical, L.P. System and method for facilitating cardiac intervention
CA2478088A1 (en) 2002-03-07 2003-09-18 Medtronic, Inc. Algorithm for accurate three-dimensional reconstruction of non-linear implanted medical devices in vivo
US20030216710A1 (en) 2002-03-26 2003-11-20 Hurt Robert F. Catheter
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
CA2471073A1 (en) 2003-06-17 2004-12-17 Zale Tabakman System, method and computer for communicating using interactive three-dimensional renderings
US10258285B2 (en) 2004-05-28 2019-04-16 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic surgical system and method for automated creation of ablation lesions
US7805177B2 (en) 2004-06-23 2010-09-28 M2S, Inc. Method for determining the risk of rupture of a blood vessel
US7291166B2 (en) 2005-05-18 2007-11-06 Advanced Cardiovascular Systems, Inc. Polymeric stent patterns
US20070043466A1 (en) 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear
US20070092864A1 (en) 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
US20070127791A1 (en) 2005-11-15 2007-06-07 Sectra Ab Automated synchronization of 3-D medical images, related methods and computer products
JP2009521985A (ja) * 2005-12-31 2009-06-11 ブラッコ イメージング エス．ピー．エー． ３Ｄデータセットのネットワーク（”ＤｅｘｔｒｏＮｅｔ”）上での、協同的でインタラクティブな可視化のためシステムおよび方法
US20100106475A1 (en) 2006-08-04 2010-04-29 Auckland Uniservices Limited Biophysical virtual model database and applications
US8412503B2 (en) 2006-10-17 2013-04-02 Shoji Yamamoto Simulation system of cardiac function, simulation method of cardiac function, simulation program of cardiac function, and composite material sheet
US7940974B2 (en) 2006-11-21 2011-05-10 General Electric Company Method and system for adjusting 3D CT vessel segmentation
DE102007028065A1 (de) 2007-06-19 2009-01-02 Siemens Ag Vorrichtung und Verfahren zur automatischen Wegplanung
US8363096B1 (en) 2007-08-21 2013-01-29 Echopixel Technologies, Inc. Method and apparatus for displaying stereoscopic 3D images with a liquid crystal panel
US8131379B2 (en) 2007-08-27 2012-03-06 St. Jude Medical Atrial Fibrillation Division, Inc. Cardiac tissue elasticity sensing
WO2009049681A1 (en) 2007-10-19 2009-04-23 Vascops Automatic geometrical and mechanical analyzing method and system for tubular structures
EP2248122A1 (en) 2008-02-25 2010-11-10 Inventive Medical Limited Medical training method and apparatus
US8403911B2 (en) 2008-04-22 2013-03-26 Becton, Dickinson And Company Systems and methods for improving catheter hole array efficiency
US8340763B2 (en) 2008-09-08 2012-12-25 Backbeat Medical, Inc. Methods and apparatus to stimulate heart atria
US9547902B2 (en) 2008-09-18 2017-01-17 Siemens Healthcare Gmbh Method and system for physiological image registration and fusion
CA2808641A1 (en) 2010-08-18 2012-02-23 Boston Scientific Neuromodulation Corporation User interface for segmented neurostimulation leads
US9595127B2 (en) 2010-12-22 2017-03-14 Zspace, Inc. Three-dimensional collaboration
EP2691899A2 (en) 2011-03-29 2014-02-05 Boston Scientific Neuromodulation Corporation System and method for leadwire location
AU2012255708B2 (en) 2011-05-17 2016-12-22 Boston Scientific Neuromodulation Corporation Display of region of activation in neurostimulation programming screen
WO2012166656A2 (en) 2011-05-27 2012-12-06 Boston Scientific Neuromodulation Corporation Collection of clinical data for graphical representation and analysis
JP2013017577A (ja) * 2011-07-08 2013-01-31 Toshiba Corp 画像処理システム、装置、方法及び医用画像診断装置
WO2013023076A2 (en) 2011-08-09 2013-02-14 Boston Scientific Neuromodulation Corporation Control and/or quantification of target stimulation volume overlap and interface therefor
US8958615B2 (en) 2011-08-09 2015-02-17 Boston Scientific Neuromodulation Corporation System and method for weighted atlas generation
US8935328B2 (en) 2011-09-15 2015-01-13 Ramakrishna J Tumuluri System and method for collaborative 3D visualization and real-time interaction on a computer network
US9106903B2 (en) 2011-11-18 2015-08-11 Zspace, Inc. Head tracking eyewear system
US9173626B2 (en) 2012-01-04 2015-11-03 Siemens Aktiengesellschaft Method for performing dynamic registration, overlays, and 3D views with fluoroscopic images
US8900225B2 (en) 2012-05-07 2014-12-02 Biosense Webster (Israel) Ltd. Automatic ablation tracking
EP2890454B1 (en) 2012-08-28 2017-11-08 Boston Scientific Neuromodulation Corporation Point-and-click programming for deep brain stimulation using real-time monopolar review trendlines
US9613461B2 (en) * 2012-12-10 2017-04-04 Sony Corporation Display control apparatus, display control method, and program
US9710968B2 (en) * 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US9225969B2 (en) 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
CN104237791A (zh) 2013-06-20 2014-12-24 电子科技大学 一种锂电池荷电状态估算方法及电池管理系统和电池系统
US9940750B2 (en) * 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
WO2015066295A1 (en) 2013-10-31 2015-05-07 Boston Scientific Neuromodulation Corporation System to incorporate lead information from image
AU2014348865B2 (en) 2013-11-14 2017-06-01 Boston Scientific Neuromodulation Corporation Systems, methods, and visualization tools for stimulation and sensing of neural systems with system-level interaction models
JP2017513662A (ja) 2014-03-28 2017-06-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Ｑ３ｄ画像の３ｄ画像とのアライメント
US10667796B2 (en) 2014-09-22 2020-06-02 General Electric Company Method and system for registering a medical image with a graphical model
US9992202B2 (en) 2015-02-28 2018-06-05 Aruba Networks, Inc Access control through dynamic grouping
BR112018007473A2 (pt) 2015-10-14 2018-10-23 Surgical Theater LLC navegação cirúrgica de realidade aumentada
CN109564471B (zh) 2016-08-12 2022-08-23 波士顿科学国际有限公司 具有主/次交互特征的分布式交互医学可视化系统
US10585552B2 (en) 2016-08-12 2020-03-10 Boston Scientific Scimed, Inc. Distributed interactive medical visualization system with user interface features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248261A1 (en) * 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
CN103534733A (zh) * 2011-05-06 2014-01-22 皇家飞利浦有限公司 医学图像系统和方法
US20150347682A1 (en) * 2011-10-04 2015-12-03 Quantant Technology Inc. Remote cloud based medical image sharing and rendering semi-automated or fully automated, network and/or web-based, 3d and/or 4d imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard x-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data
CN106456250A (zh) * 2013-08-13 2017-02-22 波士顿科学国际有限公司 解剖项的计算机可视化
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115881315A (zh) * 2022-12-22 2023-03-31 北京壹永科技有限公司 交互式医学可视化系统
CN115881315B (zh) * 2022-12-22 2023-09-08 北京壹永科技有限公司 交互式医学可视化系统

Also Published As

Publication number Publication date
JP2019533489A (ja) 2019-11-21
US20180046355A1 (en) 2018-02-15
JP6921940B2 (ja) 2021-08-18
WO2018031561A1 (en) 2018-02-15
EP3497600B1 (en) 2021-11-17
US10585552B2 (en) 2020-03-10
EP3497600A1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
US10592067B2 (en) Distributed interactive medical visualization system with primary/secondary interaction features
CN109564785A (zh) 具有用户界面特征的分布式交互医学可视化系统
AU2013370334B2 (en) System and method for role-switching in multi-reality environments
US8520024B2 (en) Virtual interactive presence systems and methods
Pinter et al. SlicerVR for medical intervention training and planning in immersive virtual reality
CN101802873A (zh) 增强现实的非真实感绘制
WO2007059477A2 (en) Virtual patient simulator
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
US20200205905A1 (en) Distributed interactive medical visualization system with user interface and primary/secondary interaction features
JP2022547450A (ja) 仮想マルチユーザコラボレーションにおいて医用画像データを分析するための方法、コンピュータプログラム、ユーザインターフェース、およびシステム
US20160205390A1 (en) Method for displaying on a screen an object shown in a 3d data set
Marsh et al. VR in medicine: virtual colonoscopy
EP3923299A1 (en) System for synchronizing the viewing of at least one 3d medical image between a first displaying device and at least one second displaying device, and method thereof
RASMUSSEN Cranial implant design using augmented reality immersive system
Hawkes Virtual Reality and Augmented Reality in Medicine
JP2023004884A (ja) 拡張現実のグラフィック表現を表示するための表現装置
JP5868051B2 (ja) 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置
Wagner Augmented Reality for Spatial Perception in the Computer Assisted Surgical Trainer
Foo et al. Isis: Patient Data Visualization and Surgical Planning in an Interactive Virtual Environment
Mehrle et al. Import and visualization of clinical medical imagery into multiuser VR environments
Zhuming et al. Cranial Implant Design Using Augmented

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination