CN112261906A - 使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准 - Google Patents

使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准 Download PDF

Info

Publication number
CN112261906A
CN112261906A CN201980032343.7A CN201980032343A CN112261906A CN 112261906 A CN112261906 A CN 112261906A CN 201980032343 A CN201980032343 A CN 201980032343A CN 112261906 A CN112261906 A CN 112261906A
Authority
CN
China
Prior art keywords
patient
optical code
image data
optical
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980032343.7A
Other languages
English (en)
Inventor
史蒂文·切特科
温德尔·阿伦·吉比
雅各布·特洛伊·吉比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novarad Corp
Original Assignee
Novarad Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novarad Corp filed Critical Novarad Corp
Publication of CN112261906A publication Critical patent/CN112261906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准。在一些实施例中，一种方法可以包括将光学码贴附于患者，将标记图案贴附于患者，感测贴附于患者的光学码以及该光学码在3D空间中的位置，访问图像数据，计算标记图案在3D空间中的位置，通过将计算得到的标记图案在3D空间中的位置与标记图案在图像数据中的位置相校准来配准患者的内层的位置，以及在增强现实(AR)头戴式设备中实时显示源自投影在患者的实际视图上的图像数据的患者的内层。

Description

使用贴附于患者的光学码来将患者的图像数据与患者的实际 视图相校准
相关申请的交叉引用
本申请是2018年5月14日提交的美国申请15/979,283的继续申请，该申请在这里被全部引入以作为参考。
背景技术
增强现实(AR)系统通常获取用户在现实环境中的实时视图，并且使用计算机生成的虚拟元素(例如视频、声音、图像或图形)来增强该视图。由此，AR系统起到了增强用户的当前现实感知的作用。
AR系统面临的一个常见问题是准确地将虚拟元素的位置与现实环境的实时视图相对准。AR系统面临的另一个常见问题是始终如一地检索与真实环境的实时视图相对应的正确的虚拟元素。这些检索和对准处理通常是手动完成的，而这有可能会很耗时，繁琐且不准确。
这里请求保护的主题并不局限于解决如上所述的缺陷或者仅仅在如上所述的环境中工作的实施例。相反，提供本背景技术部分仅仅是为了例证可以实施这里描述的一些实施例的一个例示技术领域。
发明内容
在一些实施例中，一种使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准的方法可以包括不同的动作。例如，该方法可以包括将光学码贴附于患者，其中所述光学码可被光学传感器感知。该方法还可以包括在相对于所述光学码的位置固定的位置将标记图案贴附于患者，其中所述标记图案能被非光学成像模式感知。该方法可以进一步包括使用非光学成像模式来捕获患者的图像数据，其中所述图像数据包括患者内层，并且所述图像数据进一步包括相对于患者内层位置处于固定位置的标记图案。该方法还可以包括使用增强现实(AR)头戴式设备的光学传感器来感测贴附于患者的光学码以及所述光学码在3D空间中的位置。该方法可以进一步包括基于光学码访问图像数据。该方法可以进一步包括基于感测到的光学码在3D空间中的位置以及标记图案相对于所述光学码的位置的固定位置来计算所述标记图案在3D空间中的位置。该方法可以进一步包括：基于计算得到的所述标记图案在3D空间中的位置以及标记图案在图像数据中相对于患者内层位置的固定位置，通过将计算得到的标记图案在3D空间中的位置与所述标记图案在图像数据中的位置相校准来配准(register)患者内层在3D空间中的位置。该方法还可以包括：在AR头戴式设备中，基于所述配准来实时显示源自投影在患者的实际视图上的图像数据的患者内层。
在一些实施例中，将光学码贴附于患者可以包括将打印有光学码的绷带贴附于患者的外层。在这些实施例中，在相对于光学码位置固定的位置将标记图案贴附于患者可以包括在相对于光学码位置固定的位置将标记图案贴附于绷带。并且，在这些实施例中，标记图案可被嵌入绷带内部，例如将标记图案嵌入到用以将光学码印刷在绷带上的油墨内部，并且所述油墨包括能被非光学成像模式感知的材料。在这些实施例中，能被非光学成像模式感知的材料可以是对X射线不透明的不透射线材料、磁性可见(magnetically visible)材料或放射性材料。
在一些实施例中，所述非光学成像模式可以包括磁共振成像(MRI)模式、计算机断层摄影(CT)扫描模式、X射线模式、正电子发射断层成像(PET)模式、超声模式、荧光模式、红外热成像(IRT)模式或单光子发射计算机断层摄影(SPECT)扫描模式。
在一些实施例中，所述图像数据可以包括二维(2D)图像数据、三维(3D)图像数据、四维(4D)图像数据或其某种组合。
在一些实施例中，所述光学码可以是线性条形码、矩阵二维(2D)条形码、快速响应(QR)码或是其某种组合。
在一些实施例中，所述光学码可被链接到患者的医疗数据，由此可以用所述光学码来访问患者的医疗数据。在这些实施例中，所述光学码可以是链接到患者的医疗数据的安全凭证，由此可以在没有附加的安全凭证的情况下用所述光学码来访问患者的医疗数据。
在一些实施例中，将光学码贴附于患者可以包括将所述光学码印在患者的皮肤上。
在一些实施例中，将光学码贴附于患者可以在患者的身上放置印有所述光学码的衣服。
在一些实施例中，一种使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准的设备可以包括绷带、印在绷带上的光学码以及贴附于绷带的标记图案。所述光学码能被光学传感器感知。标记图案可以在绷带中具有相对于光学码在绷带上的位置固定的位置。所述标记图案能被非光学成像模式感知，由此，在使用非光学成像模式捕获患者的图像数据时，所述图像数据包含了患者的内层，并且所述图像数据进一步包括相对于患者的内层的位置处于固定位置的标记图案。
在一些实施例中，标记图案可被嵌入到用以将光学码印在绷带上的油墨中。在这些实施例中，所述油墨可以包括能被非光学成像模式感知的材料。在这些实施例中，能被非光学成像模式感知的材料可以是对X射线不透明的不透射线材料、磁性可见材料或放射性材料。
在一些实施例中，绷带可以用可灭菌材料制成。
应该理解的是，以上的发明内容以及以下的具体实施方式都是说明性的，其并没有对请求保护的发明进行限制。
附图说明
这里的实施例连带其附加特征和细节是通过使用附图而被描述和说明的，其中：
图1示出了一个例示的增强现实(AR)环境，在该环境中可以用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准；
图2示出了贴附于患者的图1的光学码；
图3示出了一个可以在使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准的过程中使用的例示的计算机系统；
图4是使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准的例示方法的流程图；
图5A-5B是贴附于患者的光学码和标记图案的照片；
图5C-5D是患者的图像数据的照片，其中来自图5A-5B的标记图案在该图像数据中是可见的；以及
图5E是通过增强现实(AR)头戴式设备观察到的实时投影在图5A-5B的患者的实际视图上的图5C-5D的图像数据的视图的照片。
具体实施方式
医学成像处理可以用于创建患者内部的视觉表示。更具体地说，出于各种目的(例如训练、研究、诊断和治疗)，可以使用医学成像处理来揭示被患者的外层(例如患者的皮肤或衣服)隐藏的内部结构。
常规医学成像系统可以为患者创建图像数据，然后在计算机显示器上显示该图像数据。虽然在计算机显示器上查看与实际患者分离的患者图像在训练、研究、诊断和治疗方面会很有用，但是这种分离的查看方式也有可能会导致产生一些问题。
举例来说，如果外科医生需要从患者的大脑内部清除肿瘤，那么外科医生可以在计算机显示器上查看患者大脑的图像。当在计算机显示器上查看了肿瘤位置之后，外科医生可以将其视线从计算机显示器转移到手术台上的实际患者，并且可以尝试识别患者大脑内部的肿瘤在实际患者的身上的大致位置。这种识别肿瘤的大致位置的方法有可能会很困难并且容易出错。例如，当肿瘤实际处于大脑右侧时，外科医生有可能无意中将图像中的大脑左侧识别成具有肿瘤。这个错误可能导致外科医生在脑外科手术开始时错误地在患者头骨左侧切开不必要的切口，或者导致外科医生在脑外科手术期间错误地从肿瘤上移开器械。
在另一个示例中，当医生需要对患者进行膝盖手术时，医生可以在计算机显示器上查看患者膝盖的图像。当在计算机显示器上查看了膝盖的问题区域之后，医生可以将其视线从计算机显示器转移到手术台上的实际患者，并且可以尝试在实际患者身上识别膝盖的问题区域以进行手术。这种识别膝盖问题区域的方法可能会很困难且容易出错。例如，医生可能会无意中在计算机显示器上上拉错误的患者的图像，而没有意识到手术台上的患者与计算机显示器上的图像不匹配。这个错误可能会导致外科医生在膝盖手术开始时因为从一个患者到下一个患者的膝盖的问题区域的自然变化而在错误的位置切开切口，或者可能导致外科医生在膝盖手术期间错误地将器械引入膝盖的错误的内部区域。
为了避免在如上所述的脑外科手术和膝部外科手术示例中出现的问题，医疗专业人员可以使用增强现实(AR)头戴式设备，以便用患者的图像数据(例如先前捕获并且随后被投影在显示器上(例如投影在AR头戴式设备的透镜上)的一个或多个图像)来增强患者的实际视图(例如可以用用户的裸眼或是用用户的眼睛通过AR头戴式设备的镜头查看的患者的实时视图)。特别地，患者的图像数据可以与患者的实际视图校准或配准，然后，在AR头戴式设备中可以将源自图像数据的图像投影在患者的实际视图上。然而，不幸的是，患者的图像数据与患者的实际视图的精确校准或配准是很难实现的，因为该校准处理通常是手动完成的，而这有可能会很耗时、繁琐且不准确，并且有可能会对于指定患者检索到错误的图像数据。
在美国专利9,892,564中公开的自动校准处理是一种针对上述手动校准问题的解决方案，其中所述专利在这里被全部引入以作为参考。然而，在一些应用中，这种自动校准处理有可能会受限于AR头戴式设备中的映射传感器的分辨率，和/或在仅仅暴露了患者的相对较小的皮肤区域或其他外层的情况下会受到限制。
与传统的AR系统相比，这里公开的实施例可以提供各种益处。特别地，举例来说，这里公开的实施例可以使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准。举例来说，医疗专业人员可以将光学码(例如QR码)和标记图案贴附于患者。然后，医学专业人员可以使用非光学成像模式来捕获患者的图像数据。该图像数据可包括患者的一个或多个内层以及处于相对于患者的一个或多个内层的位置固定的位置的标记图案。然后，医疗专业人员可以使用AR头戴式设备来感知贴附于患者的光学码以及该光学码在3D空间中的位置。然后，AR头戴式设备可以基于该光学码来自动访问图像数据，并且可以基于感测到的光学码在3D空间中的位置以及标记图案相对于光学码位置的固定位置来自动计算标记图案在3D空间中的位置。然后，AR头戴式设备可以基于计算得到的标记图案在3D空间中的位置以及标记图案在图像数据中相对于患者内层位置的固定位置来将计算得到的标记图案在3D空间中的位置与标记图案在图像数据中的位置相校准，由此自动配准患者内层在3D空间中的位置。最后，AR头戴式设备可以由投影在患者的实际视图上的图像数据实时显示患者的一个或多个内层。
由此，这里公开的实施例能使医疗专业人员在通过AR头戴式设备观看实际患者的同时查看患者的虚拟内部，而不用执行任何耗时、繁琐且不精确的手动校准图像数据与患者的实际视图的处理。更进一步，通过使用与在捕获图像数据期间使用的光学码相同的光学码来自动检索(例如在手术期间检索)图像数据，可以在没有任何耗时、繁琐且不精确的手动检索图像数据的处理的情况下，确保通过AR头戴式设备检索的图像数据与通过AR头戴式设备看到的实际患者相匹配。在被用于训练、研究、诊断或治疗时，这些实施例能使医学专业人员更容易且更准确地定位患者体内的目标位置。更进一步，这里公开的实施例能用被暴露的患者的相对较小的皮肤区域或其他外层(例如图2中的暴露的患者106的相对较小的皮肤区域)来执行自动校准。
作为示例，在被用于如上论述的脑外科手术示例时，这里公开的实施例可以精确地将患者的图像数据与患者的实际视图相对准，然后可以避免外科医生对肿瘤在大脑左右侧的位置产生困惑，并且由此可以避免外科医生在脑外科手术开始时在头骨的错误一侧切开不必要的切口。更进一步，这里公开的实施例能使外科医生在外科手术中在内部精确地将器械引导至肿瘤，由此清除肿瘤。同样，在被用于如上所述的膝盖手术示例时，这里公开的实施例可以避免医生使用错误的患者的图像数据，因为保持贴附于患者的光学码会被AR头戴式设备使用，以便自动检索在膝盖手术开始时用贴附于患者的相同光学码预先捕获的患者的图像数据。更进一步，这里公开的实施例能使外科医生在膝盖手术期间准确地朝着膝盖的期望内部区域引导器械。
转到附图，图1示出了一个例示的增强现实(AR)环境100，在该环境中可以使用贴附于患者106的光学码200来将患者106的图像数据与患者106的实际视图相校准。在一些实施例中，环境100可以包括3D空间102、用户104、患者106、可通过网络110与服务器112通信的AR头戴式设备108、以及光学码200。在一些实施例中，该环境100还可以包括虚拟用户界面114、虚拟框体116、对象118以及虚拟光标122，所有这些都是用虚线显示的，由此表明这些虚拟元素是由AR头戴式设备108产生的，并且只能被用户通过AR头戴式设备108看到。
在一些实施例中，3D空间102可以是任何3D空间，这其中包括但不局限于建筑物房间，例如具有手术台103的手术室(如图1所示)、办公室、教室或实验室。在一些实施例中，3D空间102可以是可供用户104在佩戴AR头戴式设备108时查看患者106的空间。
在一些实施例中，用户104可以是AR头戴式设备108的任何用户，这其中包括但不局限于医学专业人员(如图1所示、指导者、研究人员、患者或是患者的护理者。举例来说，医疗专业人员可以使用AR头戴式设备108来对患者106执行医疗程序，例如为患者106做手术。同样，研究人员或指导者可以在进行医学研究或指导医学生时使用AR头戴式设备108。更进一步，当医疗专业人员尝试为患者106解释所建议的医疗程序时，患者106的护理者或患者106本人可以使用AR头戴式设备108。
在一些实施例中，患者106可以是任何动物，其可以是有生命或死亡的、有意识或无意识的、完整的或者缺少一个或多个身体部位的。例如，患者106可以是活着的成年人(如图1所示)，其已经失去知觉，由此会经历用户104为其执行的医疗程序。在另一个示例中，患者106可以是将要出于研究或训练目而被解剖的成人的尸体。在另一个示例中，患者106可以是由兽医评估以诊断身体状况的有意识的动物。在另一个示例中，患者106可以是死者的单个肢体或器官。
在一些实施例中，AR头戴式设备108可以是采用了能用图像数据来增强关于患者106的实际视图的AR头戴式设备的形式的任何计算机系统。例如，用户104可以使用AR头戴式设备108，以便用患者106的一个或多个内层来增强患者106的实际视图，其中所述内层包括但不局限于骨骼106b(如图1所示)、肌肉、器官或液体。在一些实施例中，无论用户104在3D空间102中的当前位置如何，AR头戴式设备108都可以执行这种增强患者106的实际视图的处理。举例来说，用户104可以围绕手术台103来回走动，并且可以从3D空间102内部的任何角度查看患者106，而AR头戴式设备108可以始终用患者106的一个或多个内层来持续增强患者106的实际视图，由此，用户104可以从3D空间102内部的任意角度查看患者106以及患者106的图像数据。AR头戴式设备108可以依照在这里结合图4公开的方法400来执行这种用图像数据增强关于患者106的实际视图的处理。在一些实施例中，AR头戴式设备108可以是Microsoft HoloLens的修改版本。
在一些实施例中，网络110可以被配置为可通信地耦合AR头戴式设备108和服务器112或其他计算机系统。在一些实施例中，网络110可以是被配置成在系统与设备之间发送和接收通信的任何有线或无线网络或是多个网络的组合。在一些实施例中，网络110可以包括个人局域网(PAN)(例如蓝牙网络)、局域网(LAN)(例如WiFi网络)、城域网(MAN)、广域网(WAN)、或存储局域网(SAN)。在一些实施例中，网络110还可以耦合到或者可以包括电信网络的一部分，以便用各种不同的通信协议(例如蜂窝网络)发送数据。
在一些实施例中，服务器112可以是能够结合AR头戴式设备108工作的任何计算机系统。在一些实施例中，服务器112可以被配置成与AR头戴式设备108实时通信，以便将图像数据传达到AR头戴式设备108或是从AR头戴式设备108接收数据。此外，服务器112可以用于卸载AR头戴式设备108所期望的一些或所有的数据存储或处理。
在一些实施例中，虚拟用户界面114可以是由AR头戴式设备108生成的任何虚拟用户界面，这其中包括用于改变来自患者106的图像数据的患者106的一个或多个投影内层的显示的选项。该虚拟用户界面114可以进一步包括有可能对用户104有用的其他信息。例如，虚拟用户界面114可以包括患者106的实时生命体征，例如心率、血压和呼吸率。在另一个示例中，虚拟用户界面114可以包括显示了患者106失去知觉的时间量的秒表。在另一个示例中，虚拟用户界面114可以包括患者106的病历或其他医疗数据。
在一些实施例中，虚拟框体116可以由AR头戴式设备108生成，以便将来自图像数据的患者106的投影内层限制在该虚拟框体116的容积内部。作为示例，患者106的被投影的骨骼106b可被限制在图1中的虚拟框图116内部。在一些实施例中，在用户浏览被投影的图像数据时，虚拟框体116还可以通过为用户104提供参考框架来为用户提供帮助。举例来说，当在虚拟框体116内部移动图像数据的轴向切片、冠状切片、矢状切片或倾斜切片时，该参考框架可以为用户提供帮助。切片可以是二维(2D)切片和/或3D切片。3D切片可以包括弯曲切片，例如遵循解剖特征的自然曲线的弯曲切片，或者具有深度以及高度和宽度的切片。用户104可以使用手势来移动这些切片，这些手势要求用户104大致在虚拟框体116的线条的方向上移动其手部，由此虚拟框体116的显示可以使得用户104更易于执行这些手部移动。
在一些实施例中，对象118可以是用户104希望通过患者106的外层插入患者106的任何东西。例如，对象118可以包括但不局限于手术刀(如图1所示)、观察镜、钻孔器、探针、别的医疗器械，乃至用户104的手。与配准患者106的外层的实时位置相似，对象118的外层位置也可以被配准。但是，与可以在环境100中保持相对静止的患者106不同，对象118有可能会在环境100中被频繁移动，由此可以在3D空间102中对照已配准的患者106的外层的位置来自动追踪对象108的实时位置。然后，如果用户104将对象118的某个部分插入患者106的外层，那么AR头戴式设备108可以显示投影在源自图像数据的患者106的被投影内层中的对象118的虚拟插入位置。这样一来，即使对象118的实际插入位置是对用户104的实际视图隐藏的，也可以将对象118的虚拟插入位置投影在用户104的实际视图上。对象118的配准可以采用与这里公开的图像数据配准相类似的方式来执行，其中光学码被贴附于对象118，然后通过由AR头戴式设备108感测该光学码来确定对象118相对于3D空间102的持续更新位置。
在一些实施例中，虚拟光标122可以是由AR头戴式设备108在虚拟用户界面114上、在别的虚拟控件上或者在3D空间102中的其他任何位置生成的虚拟光标。在一些实施例中，虚拟光标122的位置可以对应于AR头戴式设备108的焦点方位120，所述焦点方位可以与用户104的头部的方位相对应。用户104可以使用虚拟光标122来选择虚拟用户界面114的一个或多个选项，该选择有时会与用户104的一个或多个其他动作(例如用户眨眼)或是用户104的一个或多个手势(例如在AR头戴式设备108的视野中同时敲击两根手指)。
在一些实施例中，光学码200可以在生成患者106的图像数据之前被贴附于患者106，然后会在用户104通过AR头戴式设备108观察患者106时保持贴附于患者106。在其他实施例中，光学码200可以在生成患者106的图像数据之后被贴附于患者106，然后会在用户104通过AR头戴式设备108查看患者106时保持贴附于患者106。无论哪一种情况，AR头戴式设备108随后都可以使用光学码200来自动将患者106的图像数据与患者106的实际视图相校准。更进一步，在使用与在捕获图像数据期间使用的光学码相同的光学码200来自动检索图像数据时，这么做可以确保AR头戴式设备108获取的图像数据与通过AR头戴式设备108看到的实际患者106相匹配。以下将会结合图2来论述光学码200的附加方面。
在不脱离本公开的范围的情况下，针对环境100的修改、补充或省略都是可行的。举例来说，在一些实施例中，在3D空间102中可以存在多个用户，其中每一个用户都佩戴了AR头戴式设备108，以便同时查看用患者106的图像数据增强的患者106。在另一个示例中，在3D空间102中可以同时存在多名患者，以便允许佩戴AR头戴式设备108的用户104同时查看用患者的图像数据增强的多个患者。在另一个示例中，在3D空间中可以同时存在多个佩戴有AR头戴式设备108的用户以及多名患者。在另一个示例中，来自AR头戴式设备108的视图的视频可以被AR头戴式设备108捕获，然后被发送到远程位置，例如通过网络110发送到服务器112或是发送到远程AR头戴式设备或虚拟现实(VR)头戴式设备，以供别的用户查看。该示例能使远程用户引导本地用户104完成针对患者106的医疗过程。更进一步，虽然概括性地将环境100公开成处于用户104查看患者106的上下文中，然而应该理解，该环境100可以被更广泛地定义成是用户希望观看任何物体(例如树木、岩石、油田或行星)的一个或多个内层的任何环境。
图2示出了贴附于图1中的患者106的图1的光学码200。参考图1和图2，光学码200可以被光学传感器(例如内置于AR头戴式设备108中的光学传感器)感知。在一些实施例中，该光学码200可以是线性条形码、矩阵二维(2D)条形码、快速响应(QR)码或是其某种组合。在一些实施例中，光学码200可以链接到患者106的医疗数据，以便可以用该光学码200来访问患者106的医疗数据。在这些实施例中，光学码可以是链接到患者106的医疗数据的安全凭证，由此可以在没有附加的安全凭证的情况下使用该光学码200来访问患者106的医疗数据。在这些实施例中，使用光学码200自身作为安全凭证可以允许AR头戴式设备108的用户在医疗环境中(例如在对患者106做手术的过程中)访问患者106的医疗图像以及其他敏感医疗数据，而不必由用户104在访问患者106的医疗数据之前手动或以其他方式输入其他安全凭证。换句话说，基于任何可以直接访问光学码200的用户都被授权可以直接访问患者106的医疗数据而无需任何附加认证这一假设，由AR头戴式设备108对光学码200的自动感测可以提供针对患者106的医疗图像数据及其他医疗数据的即时自动访问，而无需AR头戴式设备的用户104方面任何额外的工作。
光学码200可以进一步与能被非光学成像模式感知的标记206相关联。关于非光学成像模式的示例可以包括但不局限于磁共振成像(MRI)模式，计算机断层摄影(CT)扫描模式、X射线模式、正电子发射断层成像(PET)模式、超声模式、荧光模式、红外热成像(IRT)模式、或单光子发射计算机断层摄影(SPECT)扫描模式。通过用能被非光学成像模式感知的材料来制造标记206，可以使得标记206能够出现在使用非光学成像模式捕获的患者106的任何图像数据中。关于标记206的示例包括但不局限于金属球、液体球、金属线以及金属油墨区段。
标记206可被布置成相对于光学码200的位置具有固定位置的图案。例如，在图2公开的实施例中，光学码200可被印在绷带202(例如粘性绷带)上，并且标记206可被贴附于绷带202(例如通过嵌入绷带202，由此在绷带的任何表面都是不可见的)。在该实施例中，通过将标记206布置在绷带202的固定图案中，可以将标记206布置成相对于光学码200的位置具有固定位置的图案。作为补充或替换，标记206可被嵌入光学码200自身内部，例如将标记器206嵌入用以将光学码200的至少某个部分印在绷带202上的油墨的内部，并且该油墨包括能被非光学成像模式感知的材料，例如不透射线并且由此对X射线不透明的油墨、磁性可见进而在MRI图像上可见的油墨、或是具有放射性进而在PET图像上可见的油墨。在这些实施例中，光学码200本身既可以充当光学码又可以充当标记图案。作为补充或替换，标记206可以以一种不与将标记器206贴附于印有光学码200的绷带的处理相关的方式来布置，例如将光学码200印在衣服(例如衣服107)以及将标记206贴附于衣服制品上，或者将光学码200直接印在(至少临时地)患者106的皮肤106a上，以及将标记206直接贴附于(至少临时地)患者106的皮肤106a或是皮肤下方。在这其中的任一实施例中，即使标记206本身不可见或者不能被AR头戴式设备108的其他传感器感知，通过将标记206布置成相对于光学码200的位置具有固定位置的图案，也可以在后续使用该固定位置来计算标记206的图案相对于光学码200的可见位置的位置。
更进一步，在一些实施例中，在患者106体内可以插入一个或多个其他内部标记。例如，在活检肿块部位可以将一个或多个附加的内部标记插入患者106的乳房，以便能够追踪内部活检部位。然后，这其中的一个或多个附加内部标记可以用标记206的图案来进行定位和执行三角测量，以便能够追踪内部的活检部位。这一点在所要追踪的内部位置所在的患者106的身体部位(例如胸部(其倾向于依照患者106的位置而来回移动))相对于患者的其他身体部分不太固定的情况下是非常有益的。
一旦以固定的图案将光学码200和标记206贴附于患者106，则医学专业人员或自动系统可以使用非光学成像模式(可以感知标记206)来捕获患者106和标记206的图像数据。特别地，该图像数据不但可以包括患者106的一个或多个内层(例如骨骼106b、肌肉、器官或流体)，而且可以包括相对于患者106的一个或多个内层的位置处于固定位置的标记206的图案。换句话说，在患者106的图像数据中不但会出现患者106的一个或多个内层，而且标记206同样会以固定的图案出现在患者106的图像数据中，并且标记206的这个固定图案的位置会在图像数据中出现在相对于患者106的一个或多个内层的位置固定的位置。在一个示例中，如果非光学成像模式是CT扫描模式，那么CT扫描图像可以显示患者106的骨骼106b、器官和软组织，以及相对于患者106的骨骼106b、器官和软组织的位置布置在固定位置的标记206。
一旦捕获了患者106的图像数据，则可以在一段时间中保持将光学码贴附于患者。在这段时间，患者106可以被移动，例如从医院的医学成像室移动到医院的手术室。在一些实施例中，绷带202可以用可灭菌材料制成，以便于先在非无菌环境(例如X射线室)以及稍后在无菌环境(例如手术室)中让绷带202贴附于患者106，其中在该无菌环境中，虽然所述绷带202已经贴附于患者106，但必须对其进行消毒。在这段时间过去之后，用户104(例如医疗专业人员)可以使用AR头戴式设备108来确定光学码200在3D空间102中的位置。举例来说，该AR头戴式设备108可以包括光学传感器(例如照相机)，其中AR头戴式设备108可以使用该光学传感器来感测贴附于患者106的光学码200，以及感测光学码200在3D空间102中的位置。接着，AR头戴式设备108可以基于该光学码来访问患者106的图像数据。举例来说，如上所述，一旦AR头戴式设备108检测到3D空间102中存在光学码200，那么AR头戴式设备108可以在不需要来自AR头戴式设备108的用户104的任何附加凭证的情况下自动检索患者106的图像数据。
在感测到在3D空间102中存在光学码200之后，AR头戴式设备108可以自动计算标记206的图案在3D空间102中的位置。这种自动计算可以基于感测到的光学码200在3D空间102中的位置，并且还可以基于标记206的图案相对于光学码200的位置的已知固定位置。换句话说，即使AR头戴式设备108无法感知标记206(例如由于标记206被嵌入到绷带202内部)，AR头戴式设备108也还是可以基于AR头戴式设备108感测到的光学码200的位置以及基于标记206的图案相对于AR头戴式设备108已知的光学码200的位置的固定位置来自动计算标记206的图案位置。在这个示例中，只要光学码200在捕获图像数据的处理与AR头戴式设备108感测光学码200的处理之间保持在相同的位置贴附于患者，并且只要标记206的图案的位置相对于光学码200的位置保持固定，那么即使AR头戴式设备108不能直接感测到标记206在3D空间102中的位置，这些固定位置也能使AR头戴式设备108自动计算标记206的图案在3D空间102中的位置。
然后，在计算了标记206的图案在3D空间102中的位置之后，基于计算得到的标记206的图案在3D空间102中的位置以及标记206的图案在图像数据中相对于患者106的一个或多个内层的位置的固定位置，AR头戴式设备108可以将计算得到的标记206的图案在3D空间102中的位置与标记206的图案在图像数据中的位置相校准，由此配准患者106的一个或多个内层在3D空间102中的位置。于是，这种校准和配准处理能使AR头戴式设备108实时显示源自投影在患者106的实际视图上的图像数据的患者106的一个或多个内层。
由此，AR头戴式设备108可以使用该光学码200以及相关联的标记206的图案来自动将患者106的图像数据与患者106的实际视图相校准。更进一步，通过使用与捕获图像数据期间使用的光学码相同的光学码200来自动检索图像数据，可以确保AR头戴式设备108检索的图像数据与通过AR头戴式设备108查看的实际患者106相匹配。
在不脱离本公开的范围的情况下，针对贴附于患者106的光学码200的修改、补充或省略都是可行的。举例来说，在一些实施例中，多个光学码200可被同时贴附于患者106，以便进一步确保精确地将患者106的图像数据与患者106在3D空间102中的实际视图相校准。在这些实施例中，三个或更多光学码200能够实现基于多个光学码200的三角测量。在这些实施例中，通过将多个光学码200间隔开来(例如间隔几英寸)，可以提升三角测量的精度。并且，在一些实施例中，图2中公开的五个标记206的图案可以用别的图案(例如三个标记图案或七个标记图案)替换。更进一步，在一些实施例中，由于标记206被贴附于患者106的外层，并且由于患者106的外层未必是平面的，因此，标记206未必全都位于单个平面上，而是可以围绕患者106的外层的任何曲率来弯曲。在这些实施例中，标记206的图案相对于光学码200的位置的固定位置可以是在将光学码200和标记206贴附于U患者106之后确定的，因为该固定位置有可能会依照光学码200和标记206所贴附的患者的外层的曲率而改变。
图5A-5B是光学码以及贴附于患者的标记图案的照片，图5C-5D是患者的图像数据的照片，其中来自图5A-5B的标记图案在该图像数据中是可见的，以及图5E是通过增强现实(AR)头戴式设备看到的实时投影在图5A-5B的患者的实际视图上的图5C-5D的图像数据的视图的照片。正如图5A-5B中公开的那样，绷带可以被贴附于患者，在该绷带上印有光学码(例如QR码)，并且在该绷带上贴附有标记图案(例如四个金属球体)。该光学码能被光学传感器感知。标记图案在绷带中可以相对于光学码在绷带上的位置具有固定位置。标记图案可以被非光学成像模式(例如CT模式)感知。然后，如图5C-5D中公开的那样，在使用非光学成像模式(例如CT模式)捕获患者的图像数据(例如CT图像)时，该图像数据可以包括患者的内层(例如患者的骨骼)，并且该图像数据可以进一步包括相对于患者的内层的位置处于固定位置的标记(例如四个金属球)的图案。稍后，用户可以佩戴AR头戴式设备(例如，外科医生可以在为患者做手术期间佩戴图1的AR头戴式设备108)，并且AR头戴式设备的光学传感器可以感测贴附于患者的光学码以及该光学码在3D空间(例如手术室)中的位置。然后，AR头戴式设备可以基于该光学码访问图5C-5D的图像数据。接着，AR头戴式设备可以基于感测到的光学码在3D空间中的位置以及标记(例如四个金属球)图案相对于光学码的位置的固定位置来计算标记图案在3D空间中的位置。然后，AR头戴式设备可以基于计算得到的标记(例如四个金属球)的图案在3D空间中的位置以及标记图案在图像数据(例如图5C-5D的CT图像)中相对于患者的内层(例如患者骨骼)的位置的固定位置来将计算得到的标记图案在3D空间中的位置与标记图案在图像数据中的位置相校准，由此配准患者的内层在3D空间中的位置。接着，如图5E中公开的那样，AR头戴式设备可以在该AR头戴式设备中基于所述配准来实时显示图5E的照片中显示的视图，其中所述视图是来自投影在患者的实际视图上的图像数据(例如图5C-5D的CT图像)的患者的内层(例如患者的骨骼)。
在不脱离本公开的范围的情况下，针对图5A-5B中公开的光学码和标记图案或图5C-5D中公开的图像数据的修改、补充或省略都是可行的。例如，图5A-5B的标记图案可被替换成具有不同数量和/或不同类型的标记的其他标记图案，而不是包括四个金属球的标记图案，由此会在图5C-5D的图像数据中包含其他的标记图案。
图3示出了一个可以在使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准的处理中使用的例示的计算机系统300。在一些实施例中，该计算机系统300可以是本公开中描述的任一系统或设备的一部分。例如，计算机系统300可以是图1的AR头戴式设备108或服务器112中的任何一个的一部分。
该计算机系统300可以包括能被可通信地耦合的处理器302、存储器304、文件系统306、通信单元308、操作系统310、用户界面312以及AR模块314。在一些实施例中，举例来说，计算机系统300可以是台式计算机、客户端计算机、服务器计算机、移动电话、膝上型计算机、智能电话、智能手表、平板计算机、便携式音乐播放器、嵌入式计算机、AR头戴式设备、VR头戴式设备或其他任何计算机系统。
通常，处理器302可以包括包含了各种计算机硬件或软件模块且可以被配置成执行存储在任何适用的计算机可读存储介质上的指令的任何适当的专用或通用计算机、计算实体或处理设备。举例来说，处理器302可以包括微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或是其他任何被配置成解释和/或执行程序指令和/或处理数据的数字或模拟电路，抑或是其任何组合。在一些实施例中，处理器302可以解释和/或执行程序指令和/或处理存储在存储器304和/或文件系统306中的数据。在一些实施例中，处理器302可以从文件系统306获取程序指令，并且可以将程序指令加载到存储器304中。在将程序指令载入存储器304之后，处理器302可以执行该程序指令。在一些实施例中，这些指令可以包括由处理器302执行图4的方法400的一个或多个动作。
存储器304和文件系统306可以包括用于携带或存储有计算机可执行指令或数据结构的计算机可读存储介质。此类计算机可读存储介质可以是可被通用或专用计算机(例如处理器302)访问的任何可用的非暂时性介质。作为示例而不是限制，此类计算机可读存储介质可以包括非暂时性计算机可读存储介质，这其中包括只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、紧凑型碟片只读存储器(CD-ROM)或其他光盘存储设备、磁盘存储设备或其他磁性存储设备，闪存设备(例如固态存储设备)，或是其他任何可用于携带或存储采用计算机可执行指令或数据结构的形式且能被通用或专用计算机访问的期望的程序代码的存储介质。上述各项的组合同样可以包含在计算机可读存储介质的范围以内。作为示例，计算机可执行指令可以包括被配置成促使处理器302执行某个操作或某组操作(例如图4的方法400的一个或多个动作)的和指令和数据。作为示例，这些计算机可执行指令可以被包含在操作系统310、一个或多个应用(例如AR模块314)或是其某种组合之中。
通信单元308可以包括被配置成通过网络(例如图1的网络110)来传送或接收信息的任何组件、设备、系统或是其组合。在一些实施例中，通信单元308可以与位于其他位置、相同位置乃至同一系统内部的其他组件的其他设备进行通信。举例来说，通信单元308可以包括调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备(例如天线)和/或芯片组(例如蓝牙设备、802.6设备(例如城域网(MAN))、WiFi设备、WiMax设备、蜂窝通信设备等等)等等。通信单元308可以允许与网络和/或其他任何设备或系统(例如本公开中描述的设备或系统)交换数据。
操作系统310可被配置成管理计算机系统300的硬件和软件资源，并且可以被配置成为计算机系统300提供通用服务。
用户界面312可以包括被配置成允许用户与计算机系统300交互的任何设备。例如，用户界面312可以包括被配置成按处理器302指示呈现视频、文本、应用用户界面及其他数据的显示器，例如LCD、LED、或其他显示器(例如AR透镜)。该用户界面312可以进一步包括鼠标、触控板、键盘、触摸屏、音量控制、其他按钮、扬声器、麦克风、照相机、任何外围设备或其他输入或输出设备。该用户界面312可以接收来自用户的输入，并且可以将该输入提供给处理器302。同样，用户界面312可以将输出呈现给用户。
AR模块314可以是存储在一个或多个非暂时性计算机可读介质(例如存储器304或文件系统306)上的一个或多个计算机可读指令，在被处理器302运行时，所述指令被配置成执行一个或多个方法(例如图4的方法400的一个或多个动作)。在一些实施例中，AR模块314可以是操作系统310的一部分，或者可以是计算机系统300的应用的一部分，抑或是其某种组合。
在不脱离本公开的范围的情况下，针对计算机系统300的修改、补充或省略都是可行的。举例来说，虽然在图3中将每一个组件图示成是单个组件，但是计算机系统300的任一组件302-314都可以包括共同发挥作用且被可通信地耦合在一起的多个相似的组件。此外，虽然被图示成是单个计算机系统，然而应该理解，计算机系统300可以包括联网在一起(例如在云计算环境、多租户环境或虚拟化环境中)的多个物理或虚拟计算机系统。
图4是使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准的例示方法的流程图。在一些实施例中，方法400可以由设备或系统执行，例如由在图1的AR头戴式设备108和/或服务器112上运行的图3的AR模块314来执行。在这些和其他实施例中，方法400可以由一个或多个处理器基于存储在一个或多个非暂时性计算机可读介质上的一个或多个计算机可读指令来执行。现在将结合图1、2、3和4来描述方法400。虽然在下文中将方法400的各种动作描述成是由AR头戴式设备执行的，然而应该理解，方法400的这些动作可以可替换地由别的计算机系统或计算机系统的组合来执行。
方法400可以包括，在动作402，将光学码贴附于患者。在一些实施例中，该光学码可以被光学传感器感知。在一些实施例中，将光学码贴附于患者可以包括将印有光学码的绷带贴附于患者的外层。在一些实施例中，该光学码可以是线性条形码、矩阵二维(2D)条形码、快速响应(QR)码或是其某种组合。举例来说，在动作402，医学专业人员或自动化系统可以通过将印有光学码200的绷带202贴附于患者来将光学码200(采用QR码的形式)贴附于患者106。
方法400可以包括，在动作404，在相对于光学码的位置的固定位置将标记图案贴附于患者。在一些实施例中，该标记图案可以被非光学成像模式感知。在一些将光学码印在绷带上的实施例中，在相对于光学码的位置的固定位置将标记图案贴附于患者可以包括在相对于光学码的位置的固定位置将标记图案贴附于绷带。在这些实施例中，标记图案可以被嵌入绷带内部，例如将标记图案嵌入用以将光学码印在绷带上的油墨中，并且该油墨包含了能被非光学成像模式感知的材料。在这些实施例中，能被非光学成像模式感知的材料可以是对X射线不透明的不透射线材料、磁性可见材料或放射性材料。在一些实施例中，将光学码贴附于患者可以包括将光学码印在患者的皮肤上。在一些实施例中，将光学码贴附于患者可以包括将印有光学码的衣服制品放在患者身上。例如，在动作404，医学专业人员或自动化系统可以通过将印有光学码200且贴附有标记206的图案的绷带贴附于患者106而在图2中公开的相对于光学码200的位置的固定位置以图2中公开的图案将标记206贴附于患者106。作为替换，标记206的图案可被直接嵌入用以将光学码印在绷带202上的油墨中。作为替换，光学码200可被印在衣服107上，并且标记206可被贴附于置于患者106的身上的衣服107；或者可以将光学码200直接印在(至少临时地)患者106的皮肤106a上，以及将标记206直接贴附于(至少临时地)患者106的皮肤106a上。
方法400可以包括：在动作406，捕获患者的图像数据。在一些实施例中，患者的图像数据可以用能感知标记的非光学成像模式来捕获。在一些实施例中，该图像数据可以包括患者的内层以及相对于患者内层的位置处于固定位置的标记图案。在一些实施例中，图像数据可以包括二维(2D)图像数据、三维(3D)图像数据、四维(4D)图像数据或是其某种组合。例如，在动作406，医学专业人员或自动化系统可以使用非光学成像模式来捕获患者106的图像数据，该图像数据同时包含了患者的内层(例如患者106的骨骼106b)以及相对于患者106的骨骼106b的位置处于固定位置的标记206的图案。
在一些实施例中，通过使用一种或多种方法，可以在患者106处于环境100时实时捕获或生成患者106的图像数据，和/或在患者106进入环境100之前捕获或生成患者106的图像数据。例如，一些图像数据可以在患者106进入环境100之前被获取，然后可以用患者106处于环境100时实时获取的附加图像数据来增强该图像数据。作为示例，患者106的图像数据可以包括但不局限于磁共振成像(MRI)图像、计算机断层摄影(CT)扫描图像、X射线图像、正电子发射断层摄影(PET)图像、超声图像、荧光图像、红外热成像(IRT)图像或单光子发射计算机断层摄影(SPECT)扫描图像，或是其某种组合。这其中的任一图像都可以采用静止图像或视频图像的形式。例如，方法400可以使用患者106的骨骼系统的静止X射线图像(如图1所示)。在另一个示例中，方法400可以使用患者106的跳动心脏的超声视频图像。在另一个示例中，方法400能在心脏的静止图像与心脏跳动的实时视频之间切换。
虽然患者的图像数据是用多种不同方法获取的，但在一些实施例中，患者的图像数据可以包括患者的外层以及患者的多个内层。作为示例，患者106的外层可以包括图1中的患者106的皮肤106a和/或患者106穿着的衣服107。在另一个示例中，尸体的外层可以是除了皮肤之外的组织层，例如肌肉或脂肪层，其中皮肤已被从尸体上去除。患者106的内层可以包括但不局限于患者106的内部骨骼106b(如图1所示)、肌肉、器官或体液。图像数据可以包括2D图像(例如X射线图像)，因为在将2D图像投影到3D空间时，2D图像会具有3D意义。作为示例，患者106的图像数据可以包括可被投影到患者106的皮肤106a或衣服107上的2DX射线图像。图像数据还可以包括时间元素，该时间元素有时被称为四维(4D)数据。作为示例，患者的一个或多个内层的图像数据可以包括切片、透明视图、分段图像或注释。举例来说，图像数据可以包括视频，该视频不但包含了3D图像，而且还包含随时间变化的3D图像。多个内层既可以是贯穿患者106的层，也可以是仅仅延伸至患者106的特定的局部深度的层。作为示例，某些形式的图像数据(例如从毫米波扫描仪得到的3D数据)只能被配置成揭示容纳在患者的外衣与皮肤之间的物品。该图像数据也可以是各种类型的图像数据的组合。
在方法400的动作406和408之间有可能会经过一段时间。在这段时间，患者有可能会被移动，例如被从一个房间的一部分移动到另一部分，或者被从医院的一个房间移动到医院的另一个房间。在一些实施例中，在这样移动了患者106之后，有可能要注意将手术台103上的患者106定位在捕获图像数据时患者106所在的相同的相对位置和/或方位。作为替换，当患者106在手术台103上被定位在与捕获或生成图像数据时不同的位置和/或方位时，AR头戴式设备108可以使得图像数据变形，以便与患者106的不同位置和/或方位相匹配。
方法400可以包括，在动作408，感测贴附于患者的光学码以及该光学码在3D空间中的位置。在一些实施例中，该光学码可以用AR头戴式设备的光学传感器来感测。例如，在动作408，AR头戴式设备108的光学传感器可以感测贴附于患者106的光学码200以及光学码200在3D空间102中的位置。
方法400可以包括：在动作410，访问图像数据。在一些实施例中，图像数据可以是基于光学码来访问的。在一些实施例中，光学码可以链接到患者的医疗数据，以便可以用光学码来访问患者的医疗数据。在这些实施例中，光学码可以是链接到患者的医疗数据的安全凭证，以便可以在没有附加的安全凭据的情况下用用光学码来访问患者的医疗数据。举例来说，在动作410，AR头戴式设备108可以基于在动作408感测到的光学码200来访问患者106的图像数据，其中所述光学码200充当了链接到患者106的医疗数据的安全凭证。由此可以在没有附加安全凭据的情况下仅仅使用光学码200来访问患者106的医疗数据。
方法400可以包括：在动作412，计算标记图案在3D空间中的位置。在一些实施例中，动作412的计算可以基于所感测的光学码在3D空间中的位置以及标记图案相对于光学码的位置的固定位置。举例来说，在动作412，AR头戴式设备108可以基于感测到的光学码200在3D空间102中的位置以及与感测到的标记206的图案相对于光学码200的位置的已知(例如先前确定的)固定位置来计算标记206的图案在3D空间102中的位置。
方法400可以包括：在动作414，通过将计算得到的标记图案在3D空间中的位置与图像数据中的标记图案的位置相校准来配准患者的内层在3D空间中的位置。在一些实施例中，动作414的配准可以基于计算得到的标记图案在3D空间中的位置以及标记的图案在图像数据中相对于患者的内层的位置的固定位置。例如，在动作414，基于计算得到的标记206的图案在3D空间102中的位置以及标记206的图案在图像数据中相对于患者106的骨骼106b的位置的已知(例如先前确定的)固定位置，AR头戴式设备108可以通过将计算得到的标记206的图案在3D空间102中的位置与标记206的图案在患者106的图像数据中的位置相校准来配准患者106的骨骼106b在3D空间102中的位置。
方法400可以包括：在动作416，由投影在患者的实际视图上的图像数据实时显示患者的内层。在一些实施例中，在AR头戴式设备中可以基于动作414的配准来执行动作416的显示。例如，在动作416，AR头戴式设备108可以基于动作414的配准来根据投影在患者106的实际视图上的图像数据实时显示患者106的骨骼106b。
在一些实施例中，方法400的动作416可以进一步包括一次或多次或者连续地重复动作406，然后显示从重复执行动作406得到的新捕获的图像数据以及从初始执行动作406得到的初始捕获的图像数据，或是将新捕获的图像数据覆盖在初始捕获的图像数据上来进行显示。例如，在初始执行动作406的过程中可以使用一种成像模式，例如MRI，然后，在重复执行或连续执行动作406的过程中(例如在将导管插入患者106的血管的手术期间)可以使用另一种成像模式，例如荧光模式。然后，在动作416，AR头戴式设备108可以基于动作414的配准来实时显示与投影在患者106的实际视图上的新捕获的荧光图像相重叠的初始捕获的MRI图像。在动作416，初始捕获的图像数据与新捕获的图像数据的这种重叠可以进一步使用附加的标记来完成。例如，荧光检查镜可以具有将荧光图像与MRI图像相校准的一个或多个附加标记，由此，外科医生可以更准确地在患者106的血管中定位放置导管的正确位置，并且可以在手术期间更准确地在内部引导导管插入患者106。
在一些实施例中，方法400可以使用贴附于患者106的光学码200来完成患者106的图像数据与患者106的实际视图的校准。更进一步，这种校准能使医疗专业人员在不执行常规校准形式所需要的耗时、繁琐且不准确的手动校准图像数据与患者的实际视图的情况下，在通过AR头戴式设备108观察实际患者106的同时查看患者106的虚拟内部。更进一步，通过使用与在捕获图像数据期间使用的光学码相同的光学码200来自动检索图像数据，可以在不执行常规校准形式所需要的耗时、繁琐且不准确的手动检索图像数据的情况下，确保AR头戴式设备检索的图像数据与通过AR头戴式设备看到的实际患者相匹配。
尽管在图4中将方法400的动作图示成是分立的动作，但是依照期望的实施方式，不同的动作既可以被划分成附加的动作，也可以被组合成较少的动作，还可以被重排序、扩展或消除。举例来说，在一些实施例中，动作408-416既可以是在没有执行任一动作402-406的情况下执行的，也可以是在先前自行了动作402-406的情况下执行的，还可以是由与执行动作402-416的实体不同的另一个实体执行的。更进一步，在一些实施例中，所执行的可以仅仅是动作408-414，而不会执行动作402-406以及416中的任何一个。并且，在一些实施例中，动作412可被修改成包括感测标记图案在3D空间中的位置，而不是计算标记图案在3D空间中的位置(例如在AR头戴式设备108能够直接感测标记206的情况下)。
更进一步，应该理解的是，方法400可以改善AR系统自身的功能，并且可以增进AR的领域。举例来说，借助于方法400，通过使用贴附于患者106的光学码200来将患者106的图像数据与患者106的实际视图相校准，可以对图1的AR头戴式设备108自身的功能进行改进。与使用手动配准处理的常规AR系统相比，这种自动校准处理可以以更加容易且更加精确的方式执行。
如上所示，这里描述的实施例可以包括使用包含了以下更详细论述的不同计算机硬件或软件模块的专用或通用计算机(例如图3的处理器302)。此外，如上所示，这里公开的实施例可以使用用于携带或存储计算机可执行指令或数据结构的计算机可读介质(例如图3的存储器304或文件系统306)来实施。
在一些实施例中，这里描述的不同组件和模块可以作为在计算系统上运行的对象或进程(例如作为单独的线程)来实施。虽然这里描述的一些方法被概括性地描述成是用软件(保存在通用硬件上和/或由通用硬件运行)实施的，但是特定的硬件实施方式或软件与特定硬件实施方式的组合也是可能的以及可以预期的。
按照惯例，附图中图示的不同特征未必是按比例绘制的。本公开中给出的图示并不意味着任何特定装置(例如设备、系统等等)或方法的实际视图，相反，其仅仅是用于描述本公开的不同实施例的例示表示。相应地，为了清楚起见，各种特征的尺寸都是可以任意扩大或减小的。此外，为了清楚起见，一些附图可以被简化。由此，这些附图有可能并未描述指定装置(例如设备)的所有组件或是特定方法的所有操作。
在这里尤其在附加权利要求(例如附加权利要求主体)中使用的术语通常被作为“开放式”术语(例如，术语“包括”应该被解释成是“包括但不局限于”，术语“具有”应被解释成“至少具有”，术语“包含”应被解释成“包含但不局限于”等等)。
此外，如果意图在权利要求的叙述中引入特定数量，那么在权利要求中将会明确地列举该意图，并且如果缺少这种列举，那么此类意图是不存在的。例如，为了帮助理解，以下的附加权利要求可以包括使用介绍性短语“至少一个”以及“一个或多个”来引入权利要求陈述。然而，使用此类短语不应被解释为暗示由不定冠词“一”或“一个”引入的权利要求陈述将任何包含这种被引入的权利要求陈述的特定权利要求限制成只包含一个这样的陈述的实施例，即使是在相同的权利要求包含了介绍性短语“一个或多个”或“至少一个”以及不定冠词(例如“一”或“一个”)(作为示例，“一”和/或“一个”应被解释成是指“至少一个”或者“一个或多个”)的情况下也是如此；相同的情况对于使用定冠词来引入权利要求陈述的用法来说也是成立的。
另外，应该理解的是，即使明确地列举了被引入的权利要求叙述的具体数量，此类叙述也应被解释成至少意味着所叙述的数量(例如，没有其他修饰语的“两个叙述”这种表达指的是至少两次叙述、或两次或更多次叙述)。此外，在那些使用了与“A、B和C等等中的至少一个”相类似的惯例的情况中，通常，此类结构旨在包括单独的A、单独的B、单独的C、A和B、A和C、B和C，、或者A、B和C等等。作为示例，术语“和/或”的用法应该以这种方式来解释。
此外，无论是在发明内容、具体实施方式、权利要求还是在附图中，用于呈现两个或更多替换项的任何析构词或短语都应该被理解成设想了包括其中一项，任一项或所有两项的可能性。举例来说，短语“A或B”应被理解成包含了“A”或“B”或“A和B”的可能性。
另外，在这里使用术语“第一”、“第二”、“第三”等等未必是用于暗示元素的特定顺序或数量。通常，术语“第一”、“第二”、“第三”等等被用于区分作为通用标识符的不同元素。由于术语“第一”、“第二”、“第三”等不表示特定顺序，因此这些术语不应理解为表示特定顺序。此外，在没有显示术语“第一”、“第二”、“第三”等等暗示了特定数量的元素的情况下，不应将这些术语理解成表示特定数量的元素。举例来说，第一部件可被描述成具有第一侧，并且第二部件可被描述成具有第二侧。使用与第二部件相对的术语“第二侧”可以将第二部件的该侧与第一部件的“第一侧”区分开来，而不是暗示第二部件具有两侧。
出于说明目的，以上的叙述参考了特定实施例来进行描述。然而，以上的说明性论述的目的并不是进行穷举，或是将请求保护的发明局限于所公开的精确形式。有鉴于以上教导，众多的修改和变化都是可能的。选择和描述这些实施例是为了解释实际应用，由此使得本领域其他技术人员能够使用请求保护的发明以及具有与所设想的特定用途相适合的不同修改的不同实施例。

Claims (20)

1.一种使用贴附于患者的光学码将患者的图像数据与所述患者的实际视图相校准的方法，所述方法包括：
将光学码贴附于患者，所述光学码能够被光学传感器感知；
在相对于所述光学码的位置的固定位置上将标记图案贴附于所述患者，所述标记图案能够被非光学成像模式感知；
使用所述非光学成像模式来捕获所述患者的图像数据，所述图像数据包括所述患者的内层，所述图像数据进一步包括相对于所述患者的所述内层的位置处于固定位置的所述标记图案；
使用增强现实(AR)头戴式设备的光学传感器来感测贴附于所述患者的所述光学码以及所述光学码在3D空间中的位置；
根据所述光学码来访问所述图像数据；
基于感测到的所述光学码在所述3D空间中的位置以及所述标记图案相对于所述光学码的位置的所述固定位置，计算所述标记图案在所述3D空间中的位置；
基于计算得到的所述标记图案在所述3D空间中的位置以及所述标记图案在所述图像数据中相对于所述患者的所述内层的位置的所述固定位置，通过将所述计算得到的所述标记图案在所述3D空间中的位置与所述标记图案在所述图像数据中的位置相校准来配准所述患者的所述内层在所述3D空间中的位置；以及
在所述AR头戴式设备中基于所述配准来实时显示源自投影在所述患者的实际视图上的所述图像数据的所述患者的所述内层。
2.根据权利要求1所述的方法，其中将所述光学码贴附于所述患者包括：将印有所述光学码的绷带贴附于所述患者的外层。
3.根据权利要求2所述的方法，其中在相对于所述光学码的位置的固定位置将所述标记图案贴附于所述患者包括：在相对于所述光学码的位置的所述固定位置，将标记图案贴附于所述绷带。
4.根据权利要求3所述的方法，其中所述标记图案被嵌入到所述绷带内部。
5.根据权利要求3所述的方法，其中：
所述标记图案被嵌入到用以将所述光学码印在所述绷带的油墨中；以及
所述油墨包括能被所述非光学成像模式感知的材料。
6.根据权利要求5所述的方法，其中所述能被所述非光学成像模式感知的材料是对X射线不透明的不透射线材料、磁性可见材料或放射性材料。
7.根据权利要求1所述的方法，其中所述非光学成像模式包括磁共振成像(MRI)模式、计算机断层摄影(CT)扫描模式、X射线模式、正电子发射断层摄影(PET)模式、超声模式、荧光模式、红外热成像(IRT)模式或单光子计算机断层摄影(SPECT)扫描模式。
8.根据权利要求1所述的方法，其中所述图像数据包括二维(2D)图像数据、三维(3D)图像数据、四维(4D)图像数据或是其某种组合。
9.根据权利要求1所述的方法，其中所述光学码是线性条形码、矩阵二维(2D)条形码、快速响应(QR)码或是其某种组合。
10.根据权利要求1所述的方法，其中所述光学码被链接到所述患者的医疗数据，以便能够用所述光学码来访问所述患者的所述医疗数据。
11.一种使用贴附于患者的光学码来将所述患者的图像数据与所述患者的实际视图相校准的方法，所述方法包括：
将光学码贴附于患者，所述光学码能被光学传感器感知；
使用非光学成像模式来捕获所述患者的图像数据，所述图像数据包括所述患者的内层；
使用增强现实(AR)头戴式设备的光学传感器来感测贴附于所述患者的所述光学码以及所述光学码在3D空间中的位置；
基于所述光学码来访问所述图像数据，所述光学码是链接到所述患者的医疗数据的安全凭证，由此在没有附加的安全凭证的情况下使用所述光学码来访问所述患者的所述医疗数据；以及
在所述AR头戴式设备中实时显示源自投影到所述患者的实际视图上的所述图像数据的所述患者的所述内层。
12.根据权利要求11所述的方法，其中将所述光学码贴附于所述患者包括：将所述光学码印在所述患者的皮肤上。
13.根据权利要求11所述的方法，其中将所述光学码贴附于所述患者包括：将印有所述光学码的衣物放在所述患者的身上。
14.一种使用贴附于患者的光学码来将所述患者的图像数据与所述患者的实际视图相校准的方法，所述方法包括：
将绷带贴附于患者，所述绷带包括印在其上的光学码以及贴附于其上的标记图案，所述标记图案在所述绷带中具有相对于所述光学码在所述绷带上的位置的固定位置，所述光学码能被光学传感器感知，所述标记图案能被非光学成像模式感知；
使用所述非光学成像模式来捕获所述患者的图像数据，所述图像数据包括患者的内层，所述图像数据进一步包括相对于所述患者的所述内层的位置处于固定位置的标记图案；
使用增强现实(AR)头戴式设备的光学传感器来感测贴附于所述患者的所述光学码以及所述光学码在3D空间中的位置；
根据所述光学码来访问所述图像数据；
基于感测到的所述光学码在所述3D空间中的位置以及所述标记图案在所述绷带中相对于所述光学码在所述绷带上的位置的所述固定位置，计算所述标记图案在所述3D空间中的位置；
基于计算得到的所述标记图案在所述3D空间中的位置以及所述标记图案在所述图像数据中相对于所述患者的所述内层的位置的所述固定位置，通过将所述计算得到的所述标记图案在所述3D空间中的位置与所述标记图案在所述图像数据中的位置相校准来配准所述患者的所述内层在所述3D空间中的位置；以及
在所述AR头戴式设备中基于所述配准来实时显示源自投影在所述患者的实际视图上的所述图像数据的所述患者的所述内层。
15.根据权利要求14所述的方法，其中：
所述标记图案被嵌入用以将所述光学码印在所述绷带上的油墨的内部；以及
所述油墨包括对X射线不透明的不透射线材料、磁性可见材料或放射性材料。
16.根据权利要求14所述的方法，其中所述光学码是链接到所述患者的医疗数据的安全凭据，由此能够在没有附加安全凭据的情况下使用所述光学码来访问所述患者的所述医疗数据。
17.一种用于使用贴附于患者的光学码来将所述患者的图像数据与所述患者的实际视图相校准的装置，所述装置包括：
绷带；
印在所述绷带上的光学码，所述光学码能被光学传感器感知；以及
贴附于所述绷带的标记图案，所述标记图案在所述绷带中具有相对于所述光学码在所述绷带上的位置的固定位置，所述标记图案能被非光学成像模式感知，由此，在使用非光学成像模式捕获所述患者的图像数据时，所述图像数据包括所述患者的内层，并且所述图像数据进一步包括相对于所述患者的所述内层的位置处于固定位置的所述标记图案。
18.根据权利要求17所述的装置，其中：
所述标记图案被嵌入到用以将光学码印在所述绷带上的油墨的内部；以及
所述油墨包括能被所述非光学成像模式感知的材料。
19.根据权利要求18所述的装置，其中能被所述非光学成像模式的材料是对X射线不透明的不透射线材料、磁性可见材料或放射性材料。
20.根据权利要求17所述的装置，其中所述绷带是由灭菌材料制成的。
CN201980032343.7A 2018-05-14 2019-04-30 使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准 Pending CN112261906A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/979,283 2018-05-14
US15/979,283 US10825563B2 (en) 2018-05-14 2018-05-14 Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
PCT/US2019/029966 WO2019221908A1 (en) 2018-05-14 2019-04-30 Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient

Publications (1)

Publication Number Publication Date
CN112261906A true CN112261906A (zh) 2021-01-22

Family

ID=68464126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032343.7A Pending CN112261906A (zh) 2018-05-14 2019-04-30 使用贴附于患者的光学码来将患者的图像数据与患者的实际视图相校准

Country Status (6)

Country Link
US (2) US10825563B2 (zh)
EP (1) EP3793434A4 (zh)
JP (2) JP7190145B2 (zh)
KR (2) KR102562252B1 (zh)
CN (1) CN112261906A (zh)
WO (1) WO2019221908A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117017232A (zh) * 2023-10-07 2023-11-10 牛尾医疗科技（苏州）有限公司 结合ar和固有荧光的辅助诊断系统、介质和设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11684400B2 (en) 2018-09-07 2023-06-27 Cilag Gmbh International Grounding arrangement of energy modules
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) * 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
DE102020201070A1 (de) * 2020-01-29 2021-07-29 Siemens Healthcare Gmbh Darstellungsvorrichtung
EP4099934A1 (en) 2020-02-07 2022-12-14 Smith & Nephew, Inc. Augmented reality ready optical tracking system
US11583345B2 (en) * 2020-04-24 2023-02-21 Smith & Nephew, Inc. Optical tracking device with built-in structured light module
KR102273276B1 (ko) * 2020-07-03 2021-07-06 한국과학기술원 실시간 동작 분석 방법 및 이를 수행하는 장치
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US20220335696A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Mixed reality feedback systems that cooperate to increase efficient perception of complex data feeds
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11948265B2 (en) * 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
SE2250262A1 (en) * 2022-02-25 2023-08-26 Navari Surgical Ab Marker unit for use in ar aided surgery

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075787A (en) * 1989-09-14 1991-12-24 Eastman Kodak Company Reproduction apparatus and method with alphanumeric character-coded highlighting for selective editing
US20150187038A1 (en) * 2013-12-27 2015-07-02 General Electric Company System for integrated protocol and decision support
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
WO2017145155A1 (en) * 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US20170258526A1 (en) * 2016-03-12 2017-09-14 Philipp K. Lang Devices and methods for surgery
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
JP4867605B2 (ja) * 2006-11-20 2012-02-01 株式会社島津製作所 被検体用検査衣
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
JP6311393B2 (ja) * 2014-03-28 2018-04-18 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
DE102013015382A1 (de) * 2013-09-17 2015-03-19 Giesecke & Devrient Gmbh Verfahren zum Anzeigen einer Information
JP2015185566A (ja) * 2014-03-20 2015-10-22 株式会社東芝 超電導コイルならびにその製造方法および製造装置
JP2016077574A (ja) * 2014-10-17 2016-05-16 学校法人 埼玉医科大学 識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム
JP6172178B2 (ja) * 2015-02-17 2017-08-02 コニカミノルタ株式会社 画像処理システム、画像処理装置、および画像形成装置
JP6510301B2 (ja) * 2015-04-17 2019-05-08 株式会社日本未来医療研究所 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
JP2017221267A (ja) * 2016-06-13 2017-12-21 オオクマ電子株式会社 患者取違防止システム
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075787A (en) * 1989-09-14 1991-12-24 Eastman Kodak Company Reproduction apparatus and method with alphanumeric character-coded highlighting for selective editing
US20150187038A1 (en) * 2013-12-27 2015-07-02 General Electric Company System for integrated protocol and decision support
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
WO2017145155A1 (en) * 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US20170258526A1 (en) * 2016-03-12 2017-09-14 Philipp K. Lang Devices and methods for surgery
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117017232A (zh) * 2023-10-07 2023-11-10 牛尾医疗科技（苏州）有限公司 结合ar和固有荧光的辅助诊断系统、介质和设备

Also Published As

Publication number Publication date
US10825563B2 (en) 2020-11-03
KR102562252B1 (ko) 2023-08-02
JP2021523784A (ja) 2021-09-09
JP7190145B2 (ja) 2022-12-15
EP3793434A4 (en) 2022-03-23
US20210057080A1 (en) 2021-02-25
KR20230116969A (ko) 2023-08-04
KR20210016378A (ko) 2021-02-15
JP2023015398A (ja) 2023-01-31
WO2019221908A1 (en) 2019-11-21
US20190348169A1 (en) 2019-11-14
EP3793434A1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
US20210057080A1 (en) Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US11481987B2 (en) Augmenting real-time views of a patient with three-dimensional data
US20220291741A1 (en) Using Optical Codes with Augmented Reality Displays
US11443431B2 (en) Augmented reality patient positioning using an atlas
CA2681275A1 (en) Recognizing a real world fiducial in patient image data
WO2016195919A1 (en) Accurate three-dimensional instrument positioning
US8457718B2 (en) Recognizing a real world fiducial in a patient image data
JP6548110B2 (ja) 医用観察支援システム及び臓器の３次元模型
US20230169696A1 (en) Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
US11816821B2 (en) Method and system for generating an enriched image of a target object and corresponding computer program and computer-readable storage medium
EP2139391A2 (en) Recognizing a real world fiducial in patient image data
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR20140128131A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination