CN110769740A - 将诊断测试集成到实时治疗中的通用设备和方法 - Google Patents

将诊断测试集成到实时治疗中的通用设备和方法 Download PDF

Info

Publication number
CN110769740A
CN110769740A CN201880015729.2A CN201880015729A CN110769740A CN 110769740 A CN110769740 A CN 110769740A CN 201880015729 A CN201880015729 A CN 201880015729A CN 110769740 A CN110769740 A CN 110769740A
Authority
CN
China
Prior art keywords
data
medical
source images
images
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880015729.2A
Other languages
English (en)
Other versions
CN110769740B (zh
Inventor
贝杜恩·阿拉亚
古普塔·维卡什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Maryland Medical Center LLC
Original Assignee
University of Maryland Medical Center LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Maryland Medical Center LLC filed Critical University of Maryland Medical Center LLC
Publication of CN110769740A publication Critical patent/CN110769740A/zh
Application granted granted Critical
Publication of CN110769740B publication Critical patent/CN110769740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/53—Supports for surgical instruments, e.g. articulated arms connected to the surgeon's body, e.g. by a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • A61B2560/0493—Special user inputs or interfaces controlled by voice
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于集成诊断测试和实时治疗的方法和系统，包括用于捕获多个源图像的医学数据采集设备，其中，至少一个源图像包含基准标记。该方法和系统包括低延迟编码器以将捕获的源图像编码为数据流，并且还包括用于捕获传感器数据的环境传感器装置。处理器用于基于捕获的传感器数据和基准标记来基于环境修改源图像，并且传输装置用于将基于环境修改的源图像传输到显示装置。

Description

将诊断测试集成到实时治疗中的通用设备和方法
本申请是要求于2017年3月3日提交的第62/466689号美国临时申请的权益的非临时申请，该美国临时申请的内容通过引用整体并入本文。
技术领域
本发明的实施例大致涉及与医学诊断和治疗相关的技术的改进，更具体地，涉及医学成像装置。
背景技术
在帮助患者的过程中，医疗专业人员依靠各种装置来帮助诊断和治疗影响患者的各种不适和疾病。在现代医疗保健环境中的医疗设备包括允许测量可以由医疗保健提供者解读以指导患者护理的生物参数的设备。这样的生物参数可以包括可存储在称为电子病历(EMR)的集中式数据库上的诸如血压和心率的生命体征、身体及其结构的图像以及各种其他生物参数。
通常，寻求医疗建议的患者可以首先接受诊断测试以收集与各种生物参数有关的信息或生成患者的图像，然后在任何治疗之前将其传递给护士、技师或医师以供查看。在诊断测试期间产生的图像用于帮助医疗专业人员决定治疗过程，所述治疗过程包括帮助减轻或修复困扰患者的任何疼痛或损伤的具体程序。诊断测试的示例可以包括放射学、核医学、超声和其他图像生成技术。另外，生物参数和图像可以与治疗期间通过直接连接的显示监视器和物理打印输出提供的服务同时提供。
发明内容
因此，本发明的实施例涉及将诊断测试整合到实时的治疗(即，实时治疗)中的系统和方法，基本上消除了由于现有技术的限制和缺点导致的一个或更多个问题。
提供系统和方法以帮助向诸如医疗专业人员的用户实时提供环境适当的数据显示。可以将所述环境适当的数据显示呈现为生物信息和诊断以及其他图像。收集和处理数据，使得在向医疗专业人员呈现数据时考虑环境信息，使得数据的显示适合于正在收集数据的特定设置。
本发明的其他特征和优点将在下面的描述中阐述，并且部分地从描述而明显，或者可以通过本发明的实践来习得。本发明的目的和其他优点将通过书面说明书及其权利要求以及附图中具体指出的结构来实现和获得。
为了实现这些和其他优点，并且根据本发明的目的，如实施的和广泛描述的，集成的诊断测试和实时的治疗(即实时治疗)，包括被配置为实时可视化数据的每种方法、系统、设备和计算机可读介质，包括收集数据、将数据传输到数据变换装置、感测收集数据的第一环境、感测将显示数据的第二环境、至少基于第二环境来基于环境转换数据、将基于环境修改的(contextually modified)数据传输到数据显示装置以及显示基于环境修改的数据。
此外，可以通过数字地绘制环境和跟踪区域同时以解剖学上精确的覆盖显示基于环境修改的数据来提供另外的优势，该覆盖实施为通过可处于无菌操作和手术环境的基准标记和其他可跟踪标记来生成。
附图说明
被包括以提供对本发明的进一步理解并且被并入且构成本说明书的一部分的附图，示出了本发明的实施例，并且与说明书一起来解释本发明的原理。
在附图中：
图1示出了根据示例实施例的与通用流装置(universal streaming device)连接的流程图；
图2示出了根据示例实施例的设备的组件的流程图；
图3是根据示例实施例的具有各种数据点的示例捕获图像帧的图示；
图4是根据示例实施例的传感器数据输入和捕获数据修改的图示；
图5是根据示例实施例的使用基准标记的环境跟踪的图示；
图6是根据示例实施例的使用系统的实施例的专业人员的图示；
图7是根据示例实施例的基于磁的自对准基准标记系统的图示；以及
图8是根据示例实施例的使用具有自对准基准标记的系统的实施例的专业人员的图示。
具体实施方式
本发明的实施例大致涉及一种系统和方法，所述系统和方法能够使装置连接到任何医疗数据收集装置或成像装置(模拟的或数字的)并且允许使用低延迟编码器以及捕获的数据和图像的流(例如，图像的数据流)来近实时编码。医疗数据收集装置可以是任何类型的医疗仪器或医疗工具或装置。实施例可以包括连接到医学成像装置的任何视频输出端口或另一连接端口的装置。实施例可以包括编码和程序，以实时地从医学成像装置向医疗专业人员提供环境适当的图像，优选地，医疗程序期间。
本发明可以实施可通过标准端口、无线连接或光学传感器连接到现代医学中使用的标准数据捕获设备的装置。该装置可以具有从这样的设备捕获相关数据的能力，并且在低延迟过程中通过各种协议来无线传输该修改的或未修改的数据，所述协议包括但不限于Wi-Fi标准、蓝牙、4G或5G。低延迟意味着小于250ms，在数据捕获与显示在目标显示装置上之间测量延迟。例如，实施例大致涉及可以通过封闭的本地网络(例如，Wi-Fi，蓝牙等)或远程地无线传输数据(可以是图像)的系统和方法。该装置被设计成对于至少各种医学成像装置是通用的，并且将允许对所使用的成像装置的紧邻区域内以及远离紧邻区域的图像的解释。
另外，该装置能够将图像流式传输到可穿戴显示器，例如Google Glass或Microsoft Hololens，允许在不需要传统显示器的情况下流式传输任何医学图像或其他数据。
该装置包括利用各种微处理器处理数据的能力，其中，各种微处理器包括CPU(中央处理单元)、GPU(图形处理单元)和/或定制ASIC(专用集成电路)。处理能力允许基于低延迟硬件的视频编码(即，低延迟编码器)、文件转码、加密编码和三维修改。该装置还包括无线接入点，由此可以通过诸如WPA2、WPA或其他编码算法的安全连接来传输数据。
此外，该装置可以被配置作为中继来控制与它相连的成像设备。该装置可以被配置为响应于例如提供给可穿戴显示器的语音和其他命令，并且应用程序接口(API)在该通用装置上运行，其中，API控制该装置所连接到的成像设备上的数据收集或成像设置。换句话说，该装置或系统可以包括可更新的命令库(library)，其中，命令库中的命令可以被传输到从中捕获数据的医疗装置(即，诊断工具或成像装置)。这些命令可以配置为允许通过可用API对连接的设备进行无线控制。
系统的另一个实施例可以具有从可穿戴装置或各种其他传感器系统接收命令和/或其他数据点的能力，可以利用该能力来通过API控制连接的设备并且在向可穿戴单元传输之前修改捕获的数据。例如，这可以允许对捕获的诸如超声或计算机断层扫描(CT)图像的成像数据进行三维操作，捕获成像数据可以在图像采集期间直接在患者身上以解剖学上正确的位置显示，给人以“进入”患者的印象，例如，非侵入性图像(noninvasive imagery)。系统还可以允许在咨询、治疗或手术期间患者的实时观察患者的生理或图像数据的叠加，从而提供实时执行的源图像(也称为医学源图像)的基于环境的修改(contextualmodification)。
基准标记是放置在成像系统的视野中的物体，其出现在所产生的图像中。该标记可用作参考点或度量。在实施例中，基准标记可以用于跟踪患者身上的特定区域，允许基于基准标记与诸如光学传感器的外部传感器数据的相关性来对源设备数据进行基于环境的修改。
在实施例中，经历诊断成像扫描的患者可以原位接收使用基准标记的扫描，因此这些基准标记可以在成像数据中表示。在实施例中，这些标记也可以由外部传感器检测并使用一种或多种方法跟踪，所述方法包括光学、激光、红外、磁性或其他性质。然后，外部传感器数据和源设备数据可以使用由程序执行的图像修改算法彼此相关，从而允许源图像的基于环境的修改。另外，由环境传感器装置捕获的环境传感器数据可以实时跟踪基准标记，允许基于从环境传感器装置捕获的传感器数据(例如，捕获的环境传感器数据)来对源图像进行实时的基于环境的修改。
在实施例中，基准标记可以是被扫描对象的固有特征，例如轮廓或界标、诸如衣服或盖布的独特的覆盖纹理、独特的形状或图案(诸如光学图案)、光源、磁场源或其他可检测的对象。以这种方式，基准标记在结构和/或功能上可以是被动的或主动的。在实施例中，基准标记可以表示单个可跟踪点，在另一个实施例中，基准标记可以表达一个或多个矢量以允许其在多个维度上被跟踪。另外，在实施例中，基准标记可以表示初始标记源，由此环境传感器装置可以绘制(map)邻近的环境特征、结构和纹理以扩展被跟踪的基准标记的特征、大小和精度。
在图像引导医疗程序的背景下，基准标记可能需要在场消毒之前被包括在源数据中，但在场消毒之后也可见并且可由环境跟踪设备访问。另外，基准标记可能需要覆盖在无菌手术区域/盖布上，并且在被跟踪时保持相对于对象的固定位置。以这种方式，基准标记可能需要在手术区域消毒之前和之后都存在，包括在无菌区域中而不损害无菌性，并且在手术区域消毒程序之前和之后不改变其位置。
在实施例中，自对准和互补吸引的基准标记可以用于在图像引导过程期间定位精确环境跟踪的这些基本组件。在这样的实施例中，基于粘合剂或非粘合剂的基准标记可以在初始数据采集期间固定到成像对象的特定部位。该基准标记可以在部位消毒期间保持在未改变的位置，并且在放置无菌手术单时被覆盖。随后，互补的无菌基准标记可以使用吸引力(例如通过磁力或电子力吸引力)通过盖布附接到初始标记。这两个基准标记当彼此接近时可以基于它们的基本特性自对准，并且，可以通过环境传感器装设备跟踪盖布上的基准标记，充当非无菌标记的准确替代物。在实施例中，还可以绘制周围的盖布特征和纹理以扩展可跟踪区域。在其他实施例中，可以使用多个基准标记，可以对非无菌标记进行消毒，环境传感器设备能够跟踪被覆盖的标记，或者可以在消毒后准确地限定标记位置。
在另一实施例中，可以放置附加的可跟踪标记以扩展可跟踪区域。可以推断这些附加标记与最初放置的标记的关系，以扩展可跟踪场并且/或者提供用于基于环境的图像修改的附加基准点。以这种方式，如果初始放置的基准标记不能被环境传感器充分跟踪，则可以使用附加的可跟踪点。
从数据捕获装置，捕获数据编码可以是硬件加速的，以使延迟最小化。低延迟对于提供由数据源设备采集的图像(例如，源图像)的实时解释是重要的。该装置被鲁棒地设计，使得该装置可以适于在任何超低延迟流应用中使用，特别是在无线网络上。
实施例可以应用于各种医疗技术，包括例如放射诊断学、介入性放射学、图像引导手术、核医学、超声、超声波检查等。放射诊断学涉及使用各种成像方式来辅助诊断疾病。放射诊断学可以使用X射线机、其他放射装置以及诸如磁共振成像(MRI)和可以不涉及放射的超声的技术。介入性放射学涉及使用医学图像数据来引导医疗干预和使用诸如导管、线、线圈、探针或其他适当设备的工具的程序。
核医学是涉及放射性物质在疾病的诊断和治疗中的应用的医学专业。放射性物质起着示踪剂的作用，有助于诊断和治疗各种疾病。核医学涉及记录从体内发射的辐射而不是外部源产生的辐射。核医学允许基于器官、组织或骨的功能来确定医学问题的原因，而X射线、超声或其他诊断测试基于结构外观来确定疾病的存在。
超声或超声波检查涉及使用声波来观察身体内部，包括内部结构。超声波最常用于观察身体内部器官的肿胀和感染、检查孕妇中的婴儿、帮助指导活组织检查、诊断心脏病和评估心脏病发作后的损伤。
在用于帮助医疗专业人员完成其专业任务的装置中，成像装置变得更加重要并且用于提供关于患者的深入到外部皮肤的解剖学和生理学的信息。换句话说，成像装置允许医生和其他医疗专业人员在不需要侵入性手术的情况下观察患者。
如上所述，从患者收集的医疗保健信息除了作为EMR存储之外，还可以打印出来或显示在与这些数据收集装置有线且直接连接的监视器上。为了使信息对医疗专业人员有用，即，为了解释该信息，医疗保健提供者与打印输出或显示监视器之间必须存在直接视线。这样的要求会限制信息的使用性和用于诊断或治疗服务的设备的放置。在许多医疗保健环境中，提供者可能不得不不断改变他们的关注区域并调整他们的视线，以便查看指导护理所需的所有相关信息。如在正在进行的外科手术的过程中收集信息的情况，这种要求可能是麻烦的或潜在不安全的。
在一些情况下，医疗设备仅在收集的数据立即可用时才有用。例如，当执行超声引导程序时，其中操作者瞄准患者体内病变的活组织检查时，操作者必须始终知道活检装置或他们的针的尖端的位置，以确保重要结构不被伤害。因此，实时解释此数据的基本要素是对操作者的实时可用性。
本发明的实施例大致涉及连接到标准数据源设备的装置、方法和系统。标准数据源设备包括但不限于诸如超声、血管造影、荧光透视、光纤、计算机断层扫描和磁共振成像机的医疗设备。本发明的实施例包括被配置为通过物理连接到源设备的标准端口、无线连接和光学传感器与诸如医疗设备的数据源设备交互的设备。标准端口可以包括但不限于USB、HDMI、DVI、显示端口、VGA、组件端口、复合端口和S-Video端口。数据源设备上的标准数据输出端口可以直接连接到实施例，该实施例被配置为从模拟和数字源捕获数据，并且以原始形式或修改的(例如，加密的)形式低延迟(即，<250ms)无线地传输数据。数据的传输可以通过无线协议进行，无线协议包括Wi-Fi标准(诸如802.11a、802.11b、802.11n、802.11ac和802.11ad)、蓝牙以及4G或5G网络。可以使用分组交换协议(例如，用户数据协议(UDP)或传输控制协议(TCP))来执行数据的传输。
在实施例中，该系统可以包括计算机视觉和/或光学字符识别(OCR)算法，允许从源设备对捕获的数据进行数据挖掘。例如，当从超声机器捕获时，系统可以提取嵌入在捕获的源图像内的数据点，例如患者姓名、其他识别信息、图像获取参数和/或其他文字叠加信息。
该设备的实施例提供具有低延迟的数据传输。测量的从数据捕获到显示于目标显示装置上的低延迟被认为大约小于250ms。由于医疗专业人员可能需要近实时数据才能提供安全有效的治疗，低延迟是应用的一个重要方面。为了确保该数据的低延迟捕获和传输，该装置/系统通过至少使用CPU(中央处理单元)、GPU(图形处理单元)和/或各种ASIC(专用集成电路)组件来包括微处理能力。这些组件被配置为一起工作以提供低延迟硬件，在安全无线连接上进行数据传输之前，所述低延迟硬件对数据进行编码和/或转码。另外，通过使用GPU和/或ASIC系统，可以修改所获取的数据以基于来自各种环境传感器的输入以各种格式显示。
为了传输该数据，该系统可以包括无线接入点，无线接入点有助于使用诸如WPA、WPA2或其他编码算法的协议在安全连接上无线传输数据。当设备在局域网(LAN)或广域网(WAN)上时，可以传输数据。由于编码数据不会被传输到接入点的范围之外，可以优选LAN系统用于传输高度敏感的信息，例如私人健康信息(PHI)。另外，WAN系统可以用于通过因特网远程传输数据，并且可以有利于更广范围的远程呈现或远程医疗能力。除了WiFi协议之外，附加的无线流传输解决方案可以包括其他基于无线电的无线传输协议，例如由蓝牙标准或其他潜在协议定义的协议。
另外，在实施例中，该系统可以包括命令库，该命令库中的命令可以被发送到从中捕获数据的设备。可以通过与因特网的无线连接或使用在装置上本地执行的补丁来更新库。该系统可以被配置为自动检测正在传输的源数据源的类型。系统还可以被配置为基于正被传输的源数据的类型从库中选择适当的API。在实施例中，除了自动选择之外，可以代替地执行手动选择适当API。
这些库被配置为允许通过可用的特定的应用程序接口(API)对连接的设备进行无线控制。例如，在示例性实施例中，用户可以使用语音命令、物理手势或其他适当的方法向系统提交任意数量的命令。反过来，该命令可以由系统解释并且中继到从中捕获数据的设备。该命令反过来又使系统根据用户的意图改变数据采集参数。
在实施例中，第三方设备使用API系统与该系统通信。API系统可以基于设备类型、品牌、文件类型或其他参数为第三方设备定制，允许传输和利用各种命令和/或环境参数，所述命令和/或环境参数包括但不限于输入命令(诸如语音、手势、眼睛跟踪、键盘、鼠标或触控板)和环境传感器数据(例如，捕获的传感器数据，诸如由陀螺仪传感器、加速度计、激光定位系统、磁力计和/或光学照相机获取的传感器数据)。命令可以被配置为允许控制系统和/或数据源设备。另外，系统可以集成和解释环境传感器数据以基于环境修改源数据。在传输之前，系统可以进行基于环境的修改。然后，由传输装置发送的传输数据可以被发送到可穿戴单元或以其他方式显示给用户(例如，医疗专业人员)。
例如，在示例性实施方式中，用户将使用包括诸如照相机、眼睛跟踪器和/或位置传感器的传感器的可穿戴显示装置，同时使用超声源设备，来使用针活检装置来靶向患者肝脏内的肿块的活组织检查。在该示例中，超声源机器将通过有线连接来连接到系统，允许系统从超声机器捕获图像。该系统将通过安全连接来无线连接到可穿戴显示装置，从而允许HIPAA(Health Insurance Portability and Accountability Act，健康保险携带和责任法案)兼容的低延迟传输捕获的超声图像到可穿戴装置。另外，系统可以基于来自可穿戴装置的环境传感器数据来三维地修改捕获的超声源数据。然后，源数据的三维修改将直接以解剖学准确度在患者身上产生低延迟投影，同时还投影活检装置的路径。可选地，低延迟传输可以是使用可穿戴装置可见的，而不用投影到患者身上。另外，系统可以被配置为允许用户通过语音命令和手势控制来无线地改变超声源设备的采集参数，而无需物理地按压其控制台上的按钮。
图1示出了根据示例实施例的与通用流装置连接的流程图。
如图1中所示，根据示例实施例描绘了系统100的流程图。系统100可以包括计算机组件，所述计算机组件包括被配置为在系统100的各种组件(诸如处理器和存储器)之间传递信息的总线和/或其他通信机制。另外，通信设备可以通过对将要从处理器通过网络(未示出)发送到另一个设备的数据进行编码并且通过对通过网络从另一个系统接收的用于处理器的数据进行解码，来实现处理器与其他设备之间的连接。
根据实施例，系统100可以包括与通用流装置101的连接。数据源设备102被配置为例如从患者收集数据。数据源设备102可以包括端口105，根据实施例，通用流装置101可以通过端口105连接到数据源设备102。端口105可以是USB、HDMI、DVI、显示端口、VGA、组件端口、复合端口、S-Video或其他输入/输出端口。
在实施例中，数据源设备102可以物理连接到通用流装置101。在可选的实施例中，数据源设备102可以无线连接到通用流装置101。系统100还可以包括显示装置103，在该显示装置103上可以显示由数据源设备102收集的数据。在一个实施例中，显示装置103可以物理连接到通用流装置101。在另一实施例中，显示装置103可以无线连接到通用流装置101。通用流装置101与可以是可穿戴的显示装置103之间的连接107可以是有线的或无线的。
显示装置103可以是显示监视器，所述显示监视器被配置为显示生物特征或其他数据或者由收集的数据集合的图像。在实施例中，显示装置可以是显示数据或由数据生成的图像的可穿戴装置。显示装置也可以是呈现数据或由数据集合的图像的多个设备。显示装置103可以被配置为以二维、以三维来显示数据或由数据集合的图像，作为线框(wireframe)或作为患者身上的覆盖图(overlay)。显示装置103可以被配置为诸如从患者记录来整合预先存在的数据或图像。
在实施例中，显示装置103还可以整合来自至少环境传感器104的信息。环境传感器104可以是被配置为调查和测量数据收集或成像的对象周围的环境的陀螺仪传感器、加速度计、激光定位系统、磁力计、光学传感器或其他设备，所述对象是例如在环境中跟踪的患者或其他对象。环境传感器104可以具有有线或无线的连接108。在实施例中，显示装置103可以配置有集成的环境传感器104。
在实施例中，通用流装置101和显示装置103被配置为使用可穿戴装置对由用户查看的环境与由数据源设备102收集的数据进行整合。显示装置103被配置为允许用户清楚地查看对象(即，患者)，同时经由可穿戴装置向用户显示数据和图像。因此，用户可以查看如同在对象内部或穿透对象的覆盖的生物特征数据和图像，同时还在外部同步观察患者。
在实施例中，显示装置103可以被配置为对图像进行投影。显示装置103可以被配置为将图像投影到用户的视野内的表面上。例如，显示装置可以从数据源设备102和环境传感器104接收数据，以识别用户注视的方向并将数据或图像投影到注视方向的表面上。例如，显示装置103可以被配置为适当地将投影引导至墙壁、地板或其他地方。在实施例中，显示装置103可以被配置为将图像投影到正在被收集数据的被检查的对象的主体上或类似位置上。
在实施例中，显示装置103可以被配置为显示仅对可穿戴装置的佩戴者可见的数据和图像。这样的可穿戴装置可以实施为一对透明透镜或其他光学设备。例如，在实施例中，显示装置103被配置为将数据或图像(或两者)覆盖在可穿戴装置的内表面上，使得可穿戴装置的用户能够通过可穿戴装置可见的周围环境上覆盖的数据或图像来查看周围环境。
在实施例中，系统100可以被配置为通过可以是有线或无线的HCI输入端口109从人机接口(HCI)接收输入。这样的HCI可以包括键盘和鼠标、触摸板或任何其他类型的HCI。在实施例中，显示装置103可以配置有允许解释各种用户命令的HCI。这些命令可以包括但不限于手势、语音命令和/或眼睛跟踪。在这样的实施例中，用户可以能够使用通过显示装置103提交的命令来直接控制系统100的各种参数。
另外，在实施例中，数据源设备102可以具有被配置为接收输入到数据源设备102中的数据的端口106。端口106可以是与端口105不同且独立的端口。在实施例中，端口106可以是与端口105相同的端口。端口106可以被配置为为数据源设备102接收可以包括控制命令的数据。在实施例中，可以利用HCI输入端口109和端口106经由通用流装置101将HCI输入传递到数据源设备102。在这样的实施例中，显示装置103可以用作HCI以控制数据源设备102内的各种数据采集参数。
图2示出了根据示例实施例的通用流装置101的组件的流程图。
如图2中所示，描绘了包括流装置201的系统200。流装置201可以被配置为包括装置存储器202。在实施例中，装置存储器202可以包括可被配置为如上所述控制数据源设备102的API的库203。流装置201的装置存储器202还可以包括被配置为允许输入各种传感器数据的API 204。API 204可以被配置为允许输入各种HCI命令。在实施例中，流装置201可以包括传输组件(transmitting component)205。在实施例中，传输组件205可以被配置为有线传输组件。在实施例中，传输组件205可以被配置为无线传输组件。
在实施例中，流装置201可以包括处理器系统206，所述处理器系统206可以是微处理器系统。处理器系统206可以包含组件，所述组件包括CPU、GPU、ASICS和其他适当的组件。在实施例中，装置存储器202可以被配置为经由连接207从数据源设备102接收数据。在实施例中，装置存储器202可以被配置为经由连接208将数据传输到数据源设备102。
在实施例中，传输组件205可以被配置为经由连接209从环境传感器104接收数据。在实施例中，传输组件205可以被配置为经由连接210向显示装置103传输数据。在实施例中，传输组件205可以被配置为经由连接215接收HCI输入数据。另外，传输组件205可以通过输入连接211和输出连接212连接到装置存储器202。处理器系统206可以通过输入连接213和输出连接214连接到装置存储器202。
图3是根据示例实施例的示例捕获的具有各种数据点的图像帧300的图示。
如图3中所示，示例捕获的图像帧可以包含各种数据点，通用流装置101可以被配置为提取的所述各种数据点。OCR或计算机视觉算法可以识别和提取患者识别信息301、图像获取参数302、测量信息304或其他文字叠加信息(text overlay information)305。在实施例中，通用流装置101还可以配置有计算机视觉算法，所述计算机视觉算法允许医学图像303的计算机辅助检测(CAD)。
图4是根据示例实施例的传感器数据输入和捕获数据的修改的图示。
如图4中所示，描绘了用于数据捕获的系统400。在实施例中，存储器组件402可以被配置为存储经由输入405提供给存储器组件402的源数据。在实施例中，存储器组件402可以被配置为存储经由连接406提供给存储器组件402的环境数据。存储器组件402还可以具有输出407，被配置为输出可以是原始或修改的数据。存储器组件402可以包括输出407，可以将数据通过输出407发送到输出设备以使数据和图像可供系统400的用户使用。
在实施例中，存储器组件402还可以通过输出408和输入409连接到微处理阵列404，微处理阵列404包括被配置为确保数据被适当地且以低延迟传输的组件。在实施例中，微处理阵列404可以包括用于分析从输入405和连接406进入存储器组件402的数据的组件。微处理阵列404可以分析和解释输入到存储器组件402的数据，使得设备401可以通过输出407向用户提供基于环境的(contextualized)输出。微处理阵列可以包括至少第一API以修改输入到设备401中的数据，使得经由输出407输出给用户的数据针对使用设备401的用户面临的环境和情况被适当地环境化。
图5是根据示例实施例的展示环境和元件跟踪的示例图示。如图5中所示，跟踪元件501可以固定到数据源设备503的可跟踪组件502。该跟踪元件或基准标记可以用外部环境传感器504或嵌入在可以由专业人员506佩戴的显示装置505中的传感器来跟踪。
图6是使用根据示例实施例的系统的实施例的专业人员的图示。
如图6中所示，描绘了系统600，医疗专业人员或其他用户610借由系统600操作具有可跟踪元件616的数据源设备602，该可跟踪元件616在此实施为超声设备。数据源设备602连接到计算机组件603，计算机组件603可以包括处理器、总线、存储器和诸如API的算法。计算机组件603可以连接到诸如计算机监视器的显示器。用户610还可以使用可穿戴装置611。由设备601从计算机组件603捕获的数据可以作为修改的或未修改的数据传输到显示装置611。可以使用环境传感器614数据以及从捕获的数据提取的数据点来修改数据以便以基于环境的适当的方式来显示数据，例如如图3所示。在实施例中，可跟踪元件605可以提供可由计算机组件603合并并且可向用户610显示的数据。可跟踪元件605可以实施为可穿戴元件(如图所示)、传感器，或者作为数据源设备602的一部分来实施。以这种方式，根据本发明的实施例，用户610可以查看由设备601提供的情景化的或基于环境修改的源图像。基于环境修改的图像和基于环境修改的源图像可以包含文本、图标、图形或任何其他图像类型。图像并不意图以任何方式被限制。
在实施例中，可穿戴装置611在可穿戴装置611内显示用于用户610查看的基于环境的图像。在另一实施例中，可穿戴装置611可以将基于环境的图像广播或投射到包括患者612的表面上，如图像613所示。
在可选的实施例中，用户610可以控制图像投影设备，图像投影设备可以是手持的或可穿戴的，使得图像被投影到表面或患者612上，使得视角区域(viewing vicinity)内的任何人都能够查看图像613。
图7是根据示例实施例的基于磁的自对准基准标记系统的图示。
如图7中所示，可以使用用于在图像引导过程(image guided procedure)期间在场消毒之前和之后关联可跟踪基准标记的系统700。在实施例中，非无菌磁体703具有可以使非无菌磁体固定到患者701的粘合剂衬背702。非无菌磁体可以具有固定在互补磁性表面(complimentary magnetic surface)上的非无菌可跟踪标识符705。因此，非无菌基准组件709可以包括诸如粘合剂衬背702、非无菌磁体703和盖布704的组件的组合。在患者消毒之前，环境传感器708可以跟踪非无菌基准组件709。在患者消毒之后，盖布704可以覆盖在患者身上并且可以覆盖非无菌基准组件709，以防止环境传感器708的直接跟踪。
无菌基准组件710包括无菌磁体706的组件，无菌磁体706具有允许与非无菌磁体703精确对齐的互补吸引力和性质。无菌磁体706可在其非互补磁性表面上具有可由环境传感器708跟踪的无菌可跟踪标记707。使用覆盖非无菌基准组件709的盖布，无菌基准组件710可以利用固有的磁性性质与709重叠并精确对齐。
图8是根据示例实施例的使用具有自对准基准标记系统的系统的实施例的专业人员的图示。
如图8中所示，医疗专业人员或其他用户803借由系统800使用数据源设备801(在实施例中示出为CT扫描仪)来对患者802执行图像引导过程。在该示例中，在无菌盖布805覆盖患者802的情况下，用户803在涉及患者结构808的患者无菌区域806中工作。可跟踪且类似于图7中所示的基准标记的两个基准标记807a和807b放置在无菌区域中。外部传感器809可以跟踪基准标记的807a和807b。在实施例中，可穿戴显示装置804还可以包含至少第一外部传感器，该附加传感器允许跟踪基准标记807a和807b。在实施例中，如外部传感器809所感测的，与基准标记807a和807b邻近的区域地形和纹理特征可以扩展可跟踪区域。
数据源设备801可以连接到计算机组件810，计算机组件810可以包括处理器、总线、存储器和诸如API的算法。计算机组件810可以连接到诸如计算机监视器的显示器。用户803还可以使用可穿戴显示装置804。由计算机组件810从数据源设备801捕获的数据可以作为修改的或未修改的数据传输到显示装置811或可穿戴装置804。可以修改数据以便利用外部传感器809以基于环境的适当的方式显示数据，同时跟踪诸如807a、807b、两者或另外的附加标记的任何数量的基准标记。在一个实施例中，可以从由计算机组件810捕获的数据(例如，如图3所示)或者源成像数据内的嵌入元数据(例如，源自801的源图像)来修改数据。以这种方式，根据本发明的实施例，用户803可以查看由数据源设备801提供的环境化或基于环境修改的图像。
本文讨论的各种实施方案可用于捕获和显示各种数据，包括诸如CT、超声、MRI、荧光透视(fluoroscopy)、血管造影的医学图像以及诸如在腹腔镜检查、结肠镜检查、内窥镜胃十二指肠镜检查(EGD)和膀胱镜检查等期间成像的那些光学纤维图像。数据可以包括图像以及诸如血压、心率、呼吸频率、脉搏氧合、温度和其他生物识别读数的生命体征。数据还可以包括心电图(EKG)、脑电图(EEG)、肌电图和其他这样的数据。此外，实施例可以包括诸如呼吸机、透析机、体外膜氧合(ECMO)机器等的各种生命支持系统的设置和数据参数。在实施例中，数据还可以包括并结合可以以其他方式存储在电子病历中的实验室数据、病理学数据和微生物学数据。
本文描述的系统在外科手术过程中可能是有用的，以在医疗过程期间向医疗专业人员提供重要信息和图像的实时或接近实时的读数。一些这样的外科手术可以包括纤维辅助手术，纤维辅助手术包括腹腔镜检查、膀胱镜检查、支气管镜检查、结肠镜检查、内窥镜检查和喉镜检查等。一些其他外科手术可以包括超声或其他荧光透视介入，诸如肝、肾、骨或其他活组织检查、静脉或动脉导管放置、血管造影、泌尿生殖干预、整形外科、眼科干预、肝胆干预、神经干预和其他手术。
可穿戴装置可以实施为可包括多个可穿戴组件的可穿戴装置的系统，多个可穿戴组件允许系统的用户既查看数据和图像，又控制收集数据的设备。多个可穿戴组件可以包括解释手势以控制显示哪些数据和图像的组件。在实施例中，可穿戴组件可以被配置为解释手势以控制数据收集装置。
本领域普通技术人员将容易理解，如上所讨论的本发明可以以不同顺序的步骤和/或使用不同于所公开的那些配置中的元件来实施。因此，尽管已经基于这些优选实施例描述了本发明，但是对于本领域技术人员来说明显的是，保持在本发明的精神和范围内的情况下，某些修改、改变和替代构造将是明显的。

Claims (20)

1.一种用于集成诊断测试和实时治疗的系统，包括：
医疗数据采集装置，配置为捕获多个源图像，其中，所述源图像中的至少一个包含基准标记；
低延迟编码器，配置为将多个捕获的源图像编码为数据流；
环境传感器装置，配置为捕获传感器数据；
处理器，配置为基于捕获的传感器数据和所述基准标记来基于环境修改源图像；以及
传输装置，配置为将基于环境修改的源图像传输到显示装置。
2.根据权利要求1所述的系统，其中，所述显示装置是可穿戴的。
3.根据权利要求1所述的系统，其中，所述医疗数据采集装置是医疗工具。
4.根据权利要求3所述的系统，其中，所述医疗工具包括成像装置，所述成像装置被配置为提供来自患者体内的非侵入性图像。
5.根据权利要求1所述的系统，其中，所述处理器还基于从可穿戴装置的输入来修改源图像。
6.根据权利要求1所述的系统，其中，所述源图像的基于环境的修改是实时执行的。
7.根据权利要求1所述的系统，其中，所述基于环境修改的源图像包括在患者身上的覆盖图。
8.一种用于集成诊断测试和实时治疗的方法，包括：
捕获多个医学源图像，其中，所述医学源图像中的至少一个包含基准标记；
使用低延迟编码器将捕获的所述多个医学源图像编码为数据流；
捕获环境传感器数据；
基于捕获的所述环境传感器数据和所述基准标记，基于环境来修改所述医学源图像中的至少一个；以及
将所述基于环境修改的医学源图像中的至少一个传输至显示装置。
9.根据权利要求8所述的方法，其中，所述显示装置是可穿戴的。
10.根据权利要求8所述的方法，其中，使用医疗工具来执行所述多个医学源图像的捕获。
11.根据权利要求10所述的方法，其中，医疗工具提供来自患者体内的非侵入性图像。
12.根据权利要求8所述的方法，所述方法还包括基于从可穿戴装置的输入来修改所述医学源图像中的至少一个。
13.根据权利要求8所述的方法，其中，所述医学源图像中的至少一个的基于环境的修改是实时执行的。
14.根据权利要求8所述的方法，其中，所述医学源图像中的至少一个的基于环境的修改包括患者身上的覆盖图。
15.一种其上存储有用于集成诊断测试和实时治疗的指令的非暂时性计算机可读介质，所述测试和治疗包括：
捕获多个医学源图像，其中，所述多个医学源图像中的至少一个包含基准标记；
使用低延迟编码器将捕获的所述多个医学源图像编码为数据流；
捕获环境传感器数据；
基于捕获的所述环境传感器数据和所述基准标记，基于环境来修改所述医学源图像中的至少一个；以及
将所述基于环境修改的医学源图像中的至少一个传输至显示装置。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述显示装置是可穿戴的。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，利用提供来自患者体内的非侵入性图像的医疗工具来执行所述多个医学源图像的捕获。
18.根据权利要求15所述的非暂时性计算机可读介质，还包括基于从可穿戴装置的输入来修改所述医学源图像中的至少一个。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述医学源图像中的至少一个的基于环境的修改是实时执行的。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述医学源图像中的至少一个的基于环境的修改包括患者身上的覆盖图。
CN201880015729.2A 2017-03-03 2018-03-03 将诊断测试集成到实时治疗中的通用设备和方法 Active CN110769740B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762466689P 2017-03-03 2017-03-03
US62/466,689 2017-03-03
PCT/US2018/020800 WO2018161057A1 (en) 2017-03-03 2018-03-03 Universal device and method to integrate diagnostic testing into treatment in real-time

Publications (2)

Publication Number Publication Date
CN110769740A true CN110769740A (zh) 2020-02-07
CN110769740B CN110769740B (zh) 2023-09-05

Family

ID=63355307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015729.2A Active CN110769740B (zh) 2017-03-03 2018-03-03 将诊断测试集成到实时治疗中的通用设备和方法

Country Status (6)

Country Link
US (1) US10839956B2 (zh)
EP (1) EP3589192A4 (zh)
JP (1) JP6987893B2 (zh)
KR (2) KR20200016829A (zh)
CN (1) CN110769740B (zh)
WO (1) WO2018161057A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11064208B2 (en) * 2018-02-20 2021-07-13 Arlo Technologies, Inc. Transcoding in security camera applications
US11756390B2 (en) 2018-02-20 2023-09-12 Arlo Technologies, Inc. Notification priority sequencing for video security
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN110246109B (zh) * 2019-05-15 2022-03-18 清华大学 融合ct影像和个性化信息的分析系统、方法、装置及介质
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11701828B2 (en) 2019-10-28 2023-07-18 Medtronic, Inc. Additive manufacturing for medical devices
US11759110B2 (en) * 2019-11-18 2023-09-19 Koninklijke Philips N.V. Camera view and screen scraping for information extraction from imaging scanner consoles
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11766538B2 (en) 2020-07-31 2023-09-26 Medtronic, Inc. Systems and methods for manufacturing 3D printed medical devices
CN116056869A (zh) 2020-07-31 2023-05-02 美敦力公司 用于制造3d打印医疗装置的系统和方法
EP4188679A1 (en) 2020-07-31 2023-06-07 Medtronic, Inc. Method and system of additive manufacturing medical devices including internal shaping
WO2022159482A1 (en) * 2021-01-20 2022-07-28 Medtronic, Inc. Lead construction including alignable marker elements
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230397966A1 (en) * 2022-06-11 2023-12-14 Ecolab Usa Inc. Medical drape with connector system for surgical robotic tracking marker

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040097805A1 (en) * 2002-11-19 2004-05-20 Laurent Verard Navigation system for cardiac therapies
CN1599900A (zh) * 2001-10-16 2005-03-23 Z-凯特公司 数字介质增强的影像引导程序的系统和方法
CN101321542A (zh) * 2003-06-20 2008-12-10 巴尔的摩马里兰大学 用于微动脉成像和放射治疗的微颗粒
CN101652097A (zh) * 2007-04-12 2010-02-17 皇家飞利浦电子股份有限公司 与生命体征床旁监护仪结合的图像捕获
CN101677799A (zh) * 2008-03-25 2010-03-24 株式会社东芝 医用图像处理装置以及x射线诊断装置
CN102307535A (zh) * 2009-01-05 2012-01-04 皇家飞利浦电子股份有限公司 用于电磁跟踪系统的动态金属畸变补偿的系统和方法
US20150133945A1 (en) * 2012-05-02 2015-05-14 Stryker Global Technology Center Handheld tracking system and devices for aligning implant systems during surgery
WO2015075720A1 (en) * 2013-11-21 2015-05-28 Elbit Systems Ltd. A medical optical tracking system
US20150173715A1 (en) * 2013-12-20 2015-06-25 Raghu Raghavan Apparatus and method for distributed ultrasound diagnostics
US20150182191A1 (en) * 2014-01-02 2015-07-02 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
CN105050525A (zh) * 2013-03-15 2015-11-11 直观外科手术操作公司 用于跟踪介入器械的形状传感器系统以及使用方法
US20160000515A1 (en) * 2013-03-15 2016-01-07 Gal Sels System and method for dynamic validation, correction of registration for surgical navigation
US20160338676A1 (en) * 1999-06-22 2016-11-24 Noah Berger Ultrasound probe with integrated electronics

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493575B1 (en) * 1998-06-04 2002-12-10 Randy J. Kesten Fluoroscopic tracking enhanced intraventricular catheter system
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US7559895B2 (en) * 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
WO2002100285A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
CN103142309B (zh) * 2005-10-20 2015-06-17 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
EP2143038A4 (en) * 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
US8315689B2 (en) * 2007-09-24 2012-11-20 MRI Interventions, Inc. MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools
US9521961B2 (en) 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
US10517688B2 (en) * 2009-05-29 2019-12-31 Jack Wade Method for enhanced data analysis with specialized video enabled software tools for medical environments
WO2011106433A1 (en) * 2010-02-24 2011-09-01 Accuray Incorporated Gantry image guided radiotherapy system and related treatment delivery methods
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP5394299B2 (ja) * 2010-03-30 2014-01-22 富士フイルム株式会社 超音波診断装置
JP2012170747A (ja) * 2011-02-23 2012-09-10 Toshiba Corp 超音波診断装置、及び超音波診断プログラム
WO2013013142A1 (en) * 2011-07-21 2013-01-24 The Research Foundation Of State University Of New York System and method for ct-guided needle biopsy
US10206661B2 (en) * 2012-09-07 2019-02-19 Empire Technology Development Llc Ultrasound with augmented visualization
US10493298B2 (en) * 2013-08-02 2019-12-03 Varian Medical Systems, Inc. Camera systems and methods for use in one or more areas in a medical facility
JP6287257B2 (ja) * 2014-01-24 2018-03-07 セイコーエプソン株式会社 画像形成装置及び超音波診断装置
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2018049196A1 (en) * 2016-09-09 2018-03-15 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for display of patient data in computer-assisted surgery
US10524865B2 (en) * 2016-12-16 2020-01-07 General Electric Company Combination of 3D ultrasound and computed tomography for guidance in interventional medical procedures
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160338676A1 (en) * 1999-06-22 2016-11-24 Noah Berger Ultrasound probe with integrated electronics
CN1599900A (zh) * 2001-10-16 2005-03-23 Z-凯特公司 数字介质增强的影像引导程序的系统和方法
US20040097805A1 (en) * 2002-11-19 2004-05-20 Laurent Verard Navigation system for cardiac therapies
CN101321542A (zh) * 2003-06-20 2008-12-10 巴尔的摩马里兰大学 用于微动脉成像和放射治疗的微颗粒
CN101652097A (zh) * 2007-04-12 2010-02-17 皇家飞利浦电子股份有限公司 与生命体征床旁监护仪结合的图像捕获
CN101677799A (zh) * 2008-03-25 2010-03-24 株式会社东芝 医用图像处理装置以及x射线诊断装置
CN102307535A (zh) * 2009-01-05 2012-01-04 皇家飞利浦电子股份有限公司 用于电磁跟踪系统的动态金属畸变补偿的系统和方法
US20150133945A1 (en) * 2012-05-02 2015-05-14 Stryker Global Technology Center Handheld tracking system and devices for aligning implant systems during surgery
CN105050525A (zh) * 2013-03-15 2015-11-11 直观外科手术操作公司 用于跟踪介入器械的形状传感器系统以及使用方法
US20160000515A1 (en) * 2013-03-15 2016-01-07 Gal Sels System and method for dynamic validation, correction of registration for surgical navigation
WO2015075720A1 (en) * 2013-11-21 2015-05-28 Elbit Systems Ltd. A medical optical tracking system
US20150173715A1 (en) * 2013-12-20 2015-06-25 Raghu Raghavan Apparatus and method for distributed ultrasound diagnostics
US20150182191A1 (en) * 2014-01-02 2015-07-02 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data

Also Published As

Publication number Publication date
JP2020510511A (ja) 2020-04-09
EP3589192A1 (en) 2020-01-08
KR20200016829A (ko) 2020-02-17
JP6987893B2 (ja) 2022-01-05
WO2018161057A1 (en) 2018-09-07
CN110769740B (zh) 2023-09-05
US10839956B2 (en) 2020-11-17
KR20220025186A (ko) 2022-03-03
EP3589192A4 (en) 2020-11-25
US20180254099A1 (en) 2018-09-06
KR102458587B1 (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110769740B (zh) 将诊断测试集成到实时治疗中的通用设备和方法
JP7190145B2 (ja) 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
KR102643758B1 (ko) 생검 장치 및 시스템
Gunkel et al. Experience with various 3-dimensional navigation systems in head and neck surgery
US11443431B2 (en) Augmented reality patient positioning using an atlas
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
CN110494921A (zh) 利用三维数据增强患者的实时视图
US9918798B2 (en) Accurate three-dimensional instrument positioning
US11083526B2 (en) Medical system, apparatus and method for shape sensing
CN212276454U (zh) 一种多模态图像融合系统
EP3944254A1 (en) System for displaying an augmented reality and method for generating an augmented reality
CA3117888A1 (en) System for visualizing patient stress
US11816821B2 (en) Method and system for generating an enriched image of a target object and corresponding computer program and computer-readable storage medium
CN110269679B (zh) 用于非侵入式追踪物体的医疗技术系统和方法
EP4191598A1 (en) Endoscope image processing device
CN116453715A (zh) 一种远程触诊方法和系统
Evans VISLAN: computer-aided surgery
GB2611556A (en) Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner
KR20210013384A (ko) 수술위치 정보제공방법 및 수술위치 정보제공장치
Franceschini et al. Computer-Aided Surgery in Otolaryngology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant