CN117017490A - 用于医疗辅助的系统和方法 - Google Patents

用于医疗辅助的系统和方法 Download PDF

Info

Publication number
CN117017490A
CN117017490A CN202310983649.9A CN202310983649A CN117017490A CN 117017490 A CN117017490 A CN 117017490A CN 202310983649 A CN202310983649 A CN 202310983649A CN 117017490 A CN117017490 A CN 117017490A
Authority
CN
China
Prior art keywords
subject
information
target
projection
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310983649.9A
Other languages
English (en)
Inventor
陈德仁
吴子彦
孙善辉
阿伦·因南耶
本杰明·普郎奇
阿比舍克·沙玛
郑梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN117017490A publication Critical patent/CN117017490A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了用于医疗辅助的系统和方法。系统可以获得受试者体内的目标在手术期间的位置信息。系统还可以基于位置信息确定目标相对于受试者的手术区域的深度信息。系统还可以指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上。

Description

用于医疗辅助的系统和方法
技术领域
本公开总体涉及医疗领域，更具体地涉及用于医疗辅助的系统和方法。
背景技术
在医疗手术(例如，外科手术)中，用户(例如，医生)通常基于在医疗手术之前采集的受试者的扫描图像(例如，CT图像)来获得与目标(例如，肿瘤)相关联的相关信息。在一些情况下，可以基于在医疗期间采集的扫描图像在医疗手术期间向用户提供指导。然而，不仅在医疗手术期间获得扫描图像花时间，而且通常无法直观地向用户提供指导。因此，期望提供提高医疗辅助的效率和便利性的用于医疗辅助的系统和方法。
发明内容
在本公开的一个方面，提供了一种用于医疗辅助的方法。该方法可以在至少一个计算装置上实施，各个计算装置可以包括至少一个处理器和储存装置。该方法可以包括：获得受试者体内的目标在手术期间的位置信息。该方法可以包括：基于位置信息确定目标相对于受试者的手术区域的深度信息。该方法还可以包括：指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上。
在一些实施例中，获得受试者体内的目标在手术期间的位置信息可以包括：获得由第一采集装置捕捉的受试者的光学图像，获得由第二采集装置捕捉的受试者的扫描图像，以及基于光学图像和扫描图像确定受试者体内的目标在手术期间的位置信息。扫描图像可以包括目标。
在一些实施例中，基于光学图像和扫描图像确定受试者体内的目标在手术期间的位置信息可以包括：基于光学图像建立对应于受试者的受试者模型，将扫描图像与受试者模型对齐，以及基于对齐的扫描图像和对齐的受试者模型确定受试者体内的目标在手术期间的位置信息。
在一些实施例中，指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上可以包括：基于深度信息确定投影指令，以及基于投影指令指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上。投影指令可以被配置为指示光学投影装置的投影操作。
在一些实施例中，基于深度信息确定投影指令可以包括：获得指令生成模型，以及基于深度信息和指令生成模型确定投影指令。
在一些实施例中，基于深度信息确定投影指令可以包括：基于目标的更新的位置信息或手术区域的表面层面的位置信息中的至少一个来确定目标相对于受试者的手术区域的更新的深度信息，以及基于更新的深度信息来确定更新的投影指令。
在一些实施例中，基于深度信息确定投影指令可以包括：获得与受试者相关联的环境信息，以及基于与受试者相关联的环境信息和深度信息来确定投影指令。
在一些实施例中，投影指令可以与包括在光学信号中的信号信息相关联。包括在光学信号中的信号信息可以包括光学信号的颜色信息或投影在受试者的表面上的光学信号的位置信息中的至少一个。
在一些实施例中，光学信号的颜色信息可以指示目标相对于手术区域的深度信息。
在一些实施例中，光学信号的颜色信息可以与目标的类型相关联。
在本公开的另一方面，提供了一种用于医疗辅助的系统。该系统可以包括控制器和光学投影装置。控制器可以被配置为获得受试者体内的目标在手术期间的位置信息，基于位置信息确定目标相对于受试者的手术区域的深度信息，以及指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上。光学投影装置可以被配置为将表征深度信息的光学信号投影在受试者的表面上。
在本公开的又一方面，提供了一种存储至少一个指令集的非瞬时性计算机可读介质。当由至少一个处理器执行时，该至少一个指令集可以指示至少一个处理器执行方法。该方法可以包括：获得受试者体内的目标在手术期间的位置信息，基于位置信息确定目标相对于受试者的手术区域的深度信息，以及指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上。
附加特征将部分在以下描述中阐述，并且将部分在审查以下内容和附图时对本领域技术人员变得显而易见，或者可以通过示例的产生或操作来学习。本公开的特征可以通过实践或使用在下面讨论的详细示例中阐述的方法、装置以及组合的各个方面来实现和获得。
附图说明
本公开根据示例性实施例来进一步描述。这些示例性实施例参见附图来详细描述。这些实施例是非限制性的示例性实施例，其中在附图的若干视图中，同样的附图标记表征类似的结构，并且附图中：
图1是例示了根据本公开的一些实施例的示例性医疗辅助系统的示意图；
图2是例示了根据本公开的一些实施例的示例性处理装置的框图；
图3是例示了根据本公开的一些实施例的用于医疗辅助的示例性过程的流程图；
图4是例示了根据本公开的一些实施例的光学信号的示例性投影的示意图；
图5是例示了根据本公开的一些实施例的用于确定受试者体内的目标在手术期间的位置信息的示例性过程的流程图；
图6是例示了根据本公开的一些实施例的用于确定受试者体内的目标在手术期间的位置信息的示例性过程的示意图；
图7是例示了根据本公开的一些实施例的用于确定投影指令的示例性过程的示意图；
图8是例示了根据本公开的一些实施例的用于确定更新的投影指令的示例性过程的流程图；
图9A是例示了根据本公开的一些实施例的手术期间的示例性投影过程的示意图；
图9B至图9D是例示了根据本公开的一些实施例的在不同情况下的光学信号的示例性投影的示意图；
图10是例示了根据本公开的一些实施例的用于确定投影指令的示例性过程的流程图；以及
图11是例示了根据本公开的一些实施例的光学信号的示例性投影的示意图。
具体实施方式
在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关公开的透彻理解。然而，对于本领域技术人员而言应当显而易见的是，可以在没有这种细节的情况下实践本公开。在其它情况下，为了避免不必要地模糊本公开的方面，已经以相对高的级别描述了公知的方法、过程、系统、部件和/或电路，而没有详细描述。对所公开的实施例的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神和范围的情况下，本文所定义的一般原理可以应用于其他实施例和应用。由此，本公开不限于所示的实施例，而是应被赋予与权利要求一致的最广范围。
本文所用的术语仅用于描述特定示例实施例的目的，而不旨在为限制性的。如本文所用的，单数形式“一”、“一个”以及“该”也可以旨在包括复数形式，除非上下文明确地另外指示。如本文所用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
在本公开中，受试者可以包括生物对象和/或非生物对象。生物对象可以是人类、动物、植物或其特定部分、器官和/或组织。例如，受试者可以包括头部、颈部、胸部、心脏、胃、血管、软组织、肿瘤、结节等、或其任意组合。在一些实施例中，受试者可以是具有或不具有生命的有机和/或无机物的人造组合物。术语“对象”和“受试者”在本公开中可互换使用。
在本公开中，术语“图像”可以指代二维(2D)图像、三维(3D)图像或四维(4D)图像(例如，3D图像的时间序列)。在一些实施例中，术语“图像”可以指代受试者的区域(例如，感兴趣区域(ROI))的图像。在一些实施例中，图像可以是医学图像、光学图像等。
在本公开中，为了简洁，图像中的对象(例如，受试者、患者或其一部分)的表征可以被称为“对象”。例如，为了简洁，图像中的器官、组织(例如，心脏、肝脏、肺)或ROI的表征可以被称为器官、组织或ROI。进一步地，为了简洁，包括对象或其一部分的表征的图像可以被称为对象或其一部分的图像或者包括对象或其一部分的图像。仍然进一步地，为了简洁，对图像中的对象或其一部分的表征执行的操作可以被称为对对象或其一部分执行的操作。例如，为了简洁，对包括来自图像的ROI的表征的图像的部分的分割可以被称为对ROI的分割。
在本公开中，术语“信号(信号部分)”和“手术区域”可互换使用。
本公开涉及用于医疗辅助的系统和方法。系统可以获得受试者体内的目标在手术期间的位置信息，并且基于位置信息来确定目标相对于受试者的手术区域的深度信息。进一步地，系统可以指示光学投影装置将表征深度信息的光学信号投影在受试者的表面上。因此，用户可以直接通过光学信号获得深度信息，这可以提高手术的便利性和效率，并且改善用户体验。
图1是例示了根据本公开的一些实施例的示例性医疗辅助系统的示意图。如图1所示，医疗辅助系统100可以包括处理装置110、网络120、终端装置130、光学投影装置140、储存装置150和图像采集装置160。在一些实施例中，光学投影装置140、终端装置130、处理装置110、储存装置150和/或图像采集装置160可以经由无线连接、有线连接或其组合彼此连接和/或通信。医疗辅助系统100的部件之间的连接可以是可变的。仅仅通过示例的方式，光学投影装置140可以通过网络120连接到处理装置110，如图1例示。作为另一示例，光学投影装置140可以直接连接到处理装置110。作为另外的示例，储存装置150可以通过网络120连接到处理装置110，如图1例示，或者直接连接到处理装置110。
处理装置110可以处理从医疗辅助系统100的一个或多个部件(例如，光学投影装置140、终端130、储存装置150和/或图像采集装置160)获得的数据和/或信息。例如，处理装置110可以获得受试者(例如，患者)体内的目标(例如，肿瘤)在手术(例如，手术操作)期间的位置信息。作为另一示例，处理装置110可以基于位置信息来确定目标相对于受试者的手术区域(例如，受试者表面上的手术区域)的深度信息。作为又一示例，处理装置110可以指示光学投影装置140将表征深度信息的光学信号投影在受试者的表面上。
在一些实施例中，处理装置110可以与计算机可读存储介质(例如，储存装置150)通信，并且可以执行存储在计算机可读存储介质中的指令。
在一些实施例中，处理装置110可以是单个服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中，处理装置110可以是本地的或远程的。例如，处理装置110可以经由网络120访问存储在光学投影装置140、终端装置130和/或储存装置150中的信息和/或数据。作为另一示例，处理装置110可以直接连接到光学投影装置140、终端装置130和/或储存装置150以访问所存储的信息和/或数据。在一些实施例中，处理装置110可以在云平台上实施。
在一些实施例中，处理装置110可以由计算装置实施。例如，计算装置可以包括处理器、储存器、输入/输出(I/O)以及通信端口。处理器可以执行计算机指令(例如，程序代码)并且根据本文所述的技术执行处理装置110的功能。在一些实施例中，处理装置110或处理装置110的一部分可以由终端装置130的一部分实施。
在一些实施例中，处理装置110可以包括多个处理装置。由此，如本公开中描述的由一个处理装置执行的操作和/或方法步骤也可以由多个处理装置联合或单独地执行。例如，如果在本公开中，医疗辅助系统100执行操作A和操作B二者，则应当理解，操作A和操作B还可以由两个或更多个不同的处理装置联合地或单独地执行(例如，第一处理装置执行操作A并且第二处理装置执行操作B，或者第一处理装置和第二处理装置联合地执行操作A和操作B)。
网络120可以包括可以促进医疗辅助系统100的信息和/或数据交换的任何合适的网络。在一些实施例中，医疗辅助系统100的一个或多个部件(例如，光学投影装置140、终端装置130、处理装置110、储存装置150、图像采集装置160)可以经由网络120与医疗辅助系统100的一个或多个其他部件传送信息和/或数据。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线和/或无线网络接入点，诸如基站和/或互联网交换点，通过这些接入点，医疗辅助系统100的一个或多个部件可以连接到网络120以交换数据和/或信息。
终端装置130可以包括移动装置130-1、平板计算机130-2、膝上型计算机130-3等、或其任意组合。在一些实施例中，移动装置130-1可以包括智能家居装置、可穿戴装置、移动装置、虚拟现实装置、增强现实装置等或其任意组合。在一些实施例中，终端装置130可以是处理装置110的一部分。
光学投影装置140可以被配置为将光学信号投影在受试者的表面上。例如，如上所述，当对受试者执行手术(例如，治疗手术)时，光学投影装置140可以将表征目标(例如，肿瘤)相对于手术区域(例如，受试者表面上的手术区域)的深度信息的光学信号投影在躺在工作台102上的受试者的表面上。作为另一示例，光学投影装置140可基于由处理装置110提供的投影指令将光学信号投影在受试者的表面上。投影指令可以被配置为指示光学投影装置140的投影操作，并且可以与包括在光学信号中的信号信息相关联。
在一些实施例中，光学投影装置140可以包括液晶显示(LCP)投影装置、数字照明处理(DLP)投影装置、阴极射线管(CRT)投影装置等、或其任意组合。
在一些实施例中，光学投影装置140可布置于各种适当位置，只要基于投影指令将光学信号投影在受试者的表面上即可。例如，光学投影装置140可以布置在医疗装置(例如，医学成像装置、放射治疗装置)的部件(例如，扫描仪、工作台、台架)上。作为另一示例，光学投影装置140可以布置在用于放置受试者的房间的墙壁上。
储存装置150可以存储从处理装置110、光学投影装置140、终端装置130和/或医疗辅助系统100的任何其它部件获得的数据/信息。
在一些实施例中，储存装置150可以连接到网络120以与医疗辅助系统100的一个或多个其他部件(例如，光学投影装置140、终端装置130、处理装置110、图像采集装置160)通信。医疗辅助系统100的一个或多个部件可以经由网络120访问存储在储存装置150中的数据或指令。在一些实施例中，储存装置150可以直接连接到医疗辅助系统100的一个或多个其他部件或与其通信。在一些实施例中，储存装置150可以是处理装置110的一部分。
图像采集装置160(也称为“第一采集装置”)可以被配置为获得受试者的图像数据(例如，光学图像)。在一些实施例中，受试者的图像数据可以用于建立对应于受试者的受试者模型。在一些实施例中，图像采集装置160可以在手术之前或期间获得受试者的图像数据。例如，图像采集装置160可以被指示在手术期间连续地或间歇地(例如，周期性地)获得受试者的图像数据，使得对应于受试者的受试者模型可以实时或间歇地更新。
在一些实施例中，图像采集装置160可包括摄像头、成像传感器等或其任意组合。示例性摄像头可包括红绿蓝(RGB)摄像头、深度摄像头、飞行时间(TOF)摄像头、双目摄像头、结构化照明摄像头、立体三角测量摄像头、片光(sheet of light)三角测量装置、干涉测量装置、编码孔径装置、立体匹配装置等、或其任意组合。示例性成像传感器可以包括雷达传感器、3D激光成像传感器等、或其任意组合。
在一些实施例中，图像采集装置160可以布置在各种合适的位置，只要受试者在图像采集装置160的视场(FOV)内以便获得受试者的图像数据。例如，图像采集装置160可以布置在医疗装置的部件上或用于放置受试者的房间的墙壁上。
在一些实施例中，医疗辅助系统100可以包括两个或更多个投影装置和/或两个或更多个图像采集装置。在一些实施例中，光学投影装置140的总数、图像采集装置160的总数、光学投影装置140的位置和/或图像采集装置160的位置可以根据不同的手术情况来设置或调节，在本文中不作限制。
在一些实施例中，医疗辅助系统100还可以包括医学成像装置(也称为“第二采集装置”)。医学成像装置可以被配置为获得受试者的医学图像数据(例如，扫描图像)。在一些实施例中，受试者的医学图像数据可以用于确定目标的位置信息。进一步地，可以基于位置信息来确定目标相对于受试者的手术区域的深度信息。在一些实施例中，医学成像装置可以在手术之前或期间获得受试者的医学图像数据。
在一些实施例中，医学成像装置可以包括单模态成像装置。例如，医学成像装置可以包括计算机断层摄影(CT)装置、磁共振成像(MRI)装置、正电子发射断层摄影(PET)装置、X射线成像装置、单光子发射计算机断层摄影(SPECT)装置、超声装置等。在一些实施例中，医学成像装置可以包括多模态成像装置。示例性的多模态成像装置可以包括正电子发射断层摄影-计算机断层摄影(PET-CT)装置、正电子发射断层摄影-磁共振成像(PET-MRI)装置、计算机断层摄影-磁共振成像(CT-MRI)装置等。多模态扫描仪可以同时执行多模态成像。例如，PET-CT装置可以在单次扫描中同时生成结构X射线CT图像数据和功能PET图像数据。PET-MRI装置可以在单次扫描中同时生成MRI数据和PET数据。
应当注意，以上关于医疗辅助系统100的描述仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，医疗辅助系统100可以包括一个或多个附加部件和/或可以省略上述医疗辅助系统100的一个或多个部件。在一些实施例中，医疗辅助系统100的部件可以在两个或更多个子部件上实施。医疗辅助系统100的两个或更多个部件可以被集成到单个部件中。
图2是例示了根据本公开的一些实施例的示例性处理装置的框图。在一些实施例中，图2所例示的模块可以在计算装置上实施。在一些实施例中，处理装置110可以包括获得模块210、确定模块220和控制模块230。
获得模块210可以被配置为获得受试者体内的目标在手术期间的位置信息。目标可以包括需要治疗或诊断的受试者的区域。该手术可以指用于诊断或治疗的对受试者或目标的侵入性手术。目标的位置信息可以包括关于目标的绝对位置的信息和/或关于目标的相对位置的信息。在一些实施例中，关于目标的绝对位置的信息可以包括目标在坐标系中的坐标。在一些实施例中，关于目标的相对位置的信息可以包括目标与参考对象(例如，受试者(例如受试者的表面)、工作台102、光学投影装置140、图像采集装置160)之间的位置关系。关于获得目标的位置信息的更多描述可以在本公开的别处找到。参见例如操作302及其相关描述。
确定模块220可以被配置为基于目标的位置信息来确定目标相对于受试者的手术区域的深度信息。手术区域可以指与手术相对应的侵入性区域(例如，受试者表面上的区域)。目标相对于手术区域的深度信息可以指目标与手术区域之间的位置关系。在一些实施例中，深度信息可以包括目标与手术区域之间的距离、目标与手术区域之间的角度等。在一些实施例中，确定模块220可以基于目标的位置信息来确定目标相对于受试者的手术区域的深度信息。关于深度信息的确定的更多描述可以在本公开的别处找到。参见例如操作304及其相关描述。
控制模块230可以配置为指示光学投影装置(例如，图1所例示的光学投影装置140)将表征深度信息的光学信号投影在受试者的表面上。光学信号可以提供用于在目标上执行或正在执行的手术的参考信息或辅助信息。在一些实施例中，控制模块230可基于目标的深度信息确定投影指令，并基于投影指令指示光学投影装置投影光学信号。在一些实施例中，投影指令可以与包括在光学信号中的信号信息相关联。在一些实施例中，投影指令可以被配置为指示光学投影装置的投影操作(例如，用于投影光学信号的操作)。在一些实施例中，控制模块230可以基于用户(例如，医生、技师)的输入来确定投影指令。在一些实施例中，控制模块230可以基于目标相对于受试者的手术区域的深度信息自动地确定投影指令。关于光学投影装置的控制的更多描述可以在本公开的别处找到。参见例如操作306及其相关描述。
处理装置110中的模块可以经由有线连接或无线连接彼此连接或通信。
应当注意，处理装置110的以上描述是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的指导下可以进行各种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，处理装置110可以包括一个或多个其他模块。例如，处理装置110可以包括用于存储由处理装置110中的模块生成的数据的储存模块。在一些实施例中，两个或更多个模块可以组合为单个模块，并且模块中的任何一个模块可以分成两个或更多个单元。
图3是例示了根据本公开的一些实施例的用于医疗辅助的示例性过程的流程图。在一些实施例中，过程300可以由医疗辅助系统100执行。例如，过程300可以以指令(例如，应用)的形式存储在储存装置150中，并且由处理装置110调用和/或执行。下面提出的所例示过程的操作旨在是例示性的。在一些实施例中，过程300可以利用未描述的一个或多个附加操作和/或不利用讨论的操作中的一个或多个来完成。另外，如图3例示和下面描述的过程300的操作的顺序不旨在是限制性的。
在302中，处理装置110(例如，获得模块210)可以获得受试者体内的目标在手术期间的位置信息。
目标可以包括需要治疗或诊断的受试者的区域。例如，目标可以包括恶性组织(例如，肿瘤、充斥癌症的器官、放射治疗的非癌目标)的至少一部分。仅仅通过示例的方式，目标可以是病灶(例如，肿瘤、异常组织的肿块)、具有病灶的器官、具有病灶的组织或其任意组合。
该手术可以指用于诊断或治疗的对受试者或目标的侵入性手术。示例性手术可以包括探查手术、治疗手术、美容手术等、或其任意组合。可以执行探查手术以辅助或确认诊断。可以执行治疗手术以治疗先前诊断的目标。可以执行美容手术以主观地改善其他正常结构的外观。
目标的位置信息可以包括关于目标的绝对位置的信息和/或关于目标的相对位置的信息。在一些实施例中，关于目标的绝对位置的信息可以包括目标在坐标系中的坐标。例如，关于目标的绝对位置的信息可包括目标上的至少一个点在世界坐标系下的坐标(例如，经度、纬度和海拔)。作为另一示例，处理装置110可以建立三维(3D)坐标系，并且关于目标的绝对位置的信息可以包括目标上的至少一个点在3D坐标系下的坐标。例如，如图1所示，工作台102的上表面的中心点可以被指定为3D坐标系的原点，工作台102的上表面的长边可以被指定为3D坐标系的X轴，工作台102的上表面的短边可以被指定为3D坐标系的Z轴，并且工作台102的竖直方向可以被指定为3D坐标系的Y轴。因此，目标的各个点可以由对应于3D坐标系的3D坐标表征。在一些实施例中，关于目标的相对位置的信息可以包括目标与参考对象(例如，受试者(例如受试者的表面)、工作台102、光学投影装置140、图像采集装置160)之间的位置关系。
在一些实施例中，处理装置110可以获得由第一采集装置(例如，图像采集装置160)捕捉的受试者的光学图像和由第二采集装置(例如，医学采集装置)捕捉的受试者的扫描图像(其包括目标)。进一步地，处理装置110可以基于光学图像和扫描图像确定受试者体内的目标在手术期间的位置信息。关于位置信息的确定的更多描述可以在本公开的别处找到(例如，图4和图5及其描述)。
在304中，处理装置110(例如，确定模块220)可以基于目标的位置信息来确定目标相对于受试者的手术区域的深度信息。
手术区域可以指与手术相对应的侵入性区域(例如，受试者表面上的区域)。例如，可以通过手术区域对目标执行手术。作为另一示例，可以打开手术区域以暴露目标，使得可以对目标执行手术。在一些实施例中，手术区域的面积可以与目标(例如，目标的上表面、目标的交叉区域)的面积不同或相同。例如，当手术是微创手术时，手术区域的面积可以小于目标的面积。作为另一示例，当手术是开放手术时，手术区域的面积可以等于或大于目标的面积。
在一些实施例中，可以基于系统默认设置(例如，统计信息)来确定受试者的手术区域，或者由用户(例如，技师、医生、物理学家)手动设置受试者的手术区域。例如，处理装置110可以基于治疗计划(例如，手术的类型、目标的类型、目标的位置信息)来确定受试者的手术区域。作为另一示例，医生可以基于治疗计划来手动确定受试者的表面上的手术区域。
目标相对于手术区域的深度信息可以指目标与手术区域之间的位置关系。在一些实施例中，深度信息可以包括目标与手术区域之间的距离、目标与手术区域之间的角度等。
在一些实施例中，目标与手术区域之间的距离可以是目标的点(例如，表面点、目标的表面上的中心点、中心点、任何内部点)与手术区域的点(例如，边界点、中心点、任何内部点)之间的距离、目标的表面(例如，上表面、下表面、水平横截面、中心水平横截面、任何横截面)与手术区域的表面(例如，水平表面层面)之间的距离、目标的点与手术区域的表面之间的距离、目标的表面与手术区域的点之间的距离等。
在一些实施例中，目标与手术区域之间的角度可以包括目标的表面(例如，上表面、下表面、水平横截面、中心水平横截面、任何横截面)与手术区域的表面(例如，水平表面层面)之间的角度、目标的点(例如，表面点、目标的表面上的中心点、中心点、任何内部点)和手术区域的点(例如，边界点、中心点、任何内部点)的连线与工作台102的竖直方向(例如，图1所例示的Y方向)或水平方向(例如，图1所例示的X方向)之间的角度等。
仅为了例示，目标与手术区域之间的距离可以是目标的上表面与手术区域的水平表面层面之间的距离，并且目标与手术区域之间的角度可以是目标的上表面与手术区域的水平表面层面之间的角度。
在一些实施例中，处理装置110可以基于目标的位置信息来确定目标相对于受试者的手术区域的深度信息。例如，如果目标的位置信息包括关于目标的绝对位置的信息，并且目标的点和手术区域的点由坐标表征，则可以基于目标的点和手术区域的点的坐标来确定深度信息。例如，如果目标的中心点的坐标是(X1,Y1,Z1)并且手术区域的中心点的坐标是(X2,Y2,Z2)，则深度信息可以被表征为向量(X1-X2,Y1-Y2,Z1-Z2)。作为另一示例，如果目标的位置信息包括关于目标的相对位置的信息并且参考对象是手术区域，则处理装置110可直接将相对位置信息指定为深度信息。作为又一示例，如果目标的位置信息包括关于目标的相对位置的信息并且参考对象是另一对象(例如，受试者的除手术区域之外的部分、工作台102、光学投影装置140、图像采集装置160)而不是手术区域，则处理装置110可以获得参考对象与手术区域之间的相对位置信息，然后基于目标的位置信息和手术区域与参考对象之间的相对位置信息来确定目标的深度信息。
在306中，处理装置110(例如，控制模块230)可以指示光学投影装置(例如，图1所例示的光学投影装置140)将表征深度信息的光学信号投影在受试者的表面上。
光学信号可以提供用于在目标上执行或正在执行的手术的参考信息或辅助信息。在一些实施例中，包括在光学信号中的信号信息可以包括光学信号的颜色信息、投影在受试者的表面上的光学信号的位置信息等、或其任意组合。
在一些实施例中，光学信号的颜色信息可以指示目标相对于受试者的手术区域(或手术区域的表面层面)的深度信息。例如，不同的颜色可以对应于受试者的目标与手术区域之间的不同深度。例如，蓝光可以指示目标与手术区域之间的距离超过2厘米，绿光可以指示目标与受试者的手术区域之间的距离在2厘米内，黄光可以指示目标已经被手术，等等。作为另一示例，不同的饱和度和/或不同的亮度可以对应于不同的深度。例如，目标与受试者的手术区域之间的对应于光学信号的低饱和度和/或低亮度的距离可以大于目标与受试者的手术区域之间的对应于光学信号的高饱和度和/或高亮度的距离。
在一些实施例中，光学信号的颜色信息可以与目标的类型相关联。在一些实施例中，不同类型的目标可以对应于光学信号的不同颜色信息。例如，如果目标是具有病灶的器官，则与器官相对应的光学信号的颜色可以比与病灶相对应的光学信号的颜色更明显。
在一些实施例中，投影在受试者的表面上的光学信号的位置信息可以包括与光学信号被投影到的投影点或投影区域相关联的相关信息(例如，形状、边界、坐标、尺寸)。
在一些实施例中，包括在光学信号中的信号信息还可以包括或指示与手术相关联的其他参考信息或辅助信息。在一些实施例中，信号信息可以包括或指示年龄信息、性别信息、提示信息等或其任意组合。例如，与儿童或老人相对应的光学信号的颜色可以比与成人相对应的光学信号的颜色更明显。作为另一示例，当出现异常情况(例如，在危及器官(OAR)中出现出血，手术器械被留下)时，可以在手术区域周围的区域上投影红光以提示用户停止手术。
在一些实施例中，光学信号可以包括指示各种参考信息或辅助信息的多个部分。例如，如图4例示，光学信号可包括用于指示肝脏区域的目标的第一部分410、用于指示肝脏区域的OAR的第二部分420、以及用于指示肝脏区域之外的区域的第三部分430。进一步地，光学信号的第一部分410可以是绿光，光学信号的第二部分420可以是黄光，光学信号的第三部分430可以是蓝光。因此，用户可以通过光学信号将目标与肝脏区域(或OAR)区分开。作为另一示例，光学信号的第一部分410可用于区分目标，光学信号的第二部分420可用于指示目标的深度信息，并且光学信号的第三部分430可提供其他参考信息或辅助信息(例如，年龄信息、提示信息)。
在一些实施例中，处理装置110可基于目标的深度信息确定投影指令，并基于投影指令指示光学投影装置投影光学信号。在一些实施例中，投影指令可以与包括在光学信号中的信号信息相关联。在一些实施例中，投影指令可以被配置为指示光学投影装置的投影操作(例如，用于投影光学信号的操作)。示例性投影操作可包括控制投影装置移动投影位置、控制投影装置移动投影角度、控制投影装置选择光学信号的投影颜色、控制投影装置改变光学信号的投影颜色、控制投影装置投影、控制投影装置停止投影等、或其任意组合。在一些实施例中，投影指令可以包括投影装置的参数(例如，投影角度、投影位置、投影区域、投影颜色)、投影操作的参数(例如，投影周期)等。
在一些实施例中，处理装置110可以基于用户(例如，医生、技师)的输入来确定投影指令。例如，用户可以基于目标相对于受试者的手术区域的深度信息来确定与光学信号相关联的信号信息，并且输入包括与光学信号相关联的信号信息的投影指令。
在一些实施例中，处理装置110可以基于目标相对于受试者的手术区域的深度信息自动地确定投影指令。例如，处理装置110可以获得指令生成模型，并且基于目标相对于受试者的手术区域的深度信息和指令生成模型来确定投影指令。关于投影指令的确定的更多描述可以在本公开的别处找到(例如，图7及其描述)。
在一些实施例中，在对受试者执行的手术期间，目标的位置信息和/或受试者的手术区域的表面层面的位置信息可能变化。目标相对于受试者的手术区域的深度信息可以相应地变化。为了提供准确的参考信息或辅助信息，处理装置110可以基于目标的更新的位置信息或手术区域的表面层面的位置信息中的至少一个来确定目标相对于受试者的手术区域的更新的深度信息，并且基于更新的深度信息来确定更新的投影指令。关于更新的投影指令的确定的更多描述可以在本公开的别处找到(例如，图8至图9D及其描述)。
在一些实施例中，处理装置110可以获得与受试者相关联的环境信息(例如，用户(或用户的一部分)的位置信息、手术器械的位置信息、环境亮度信息、可能影响光学信号的投影的对象)，然后基于与受试者相关联的环境信息和目标的深度信息来确定投影指令。关于投影指令的确定的更多描述可以在本公开的别处找到(例如，图10至图11及其描述)。
根据本公开的一些实施例，可以确定目标相对于受试者的手术区域的深度信息，并且可以将表征深度信息的光学信号投影在受试者的表面上。因此，用户可以直接通过光学信号获得深度信息，这可以提高手术的便利性和效率，并且改善用户体验。
应当注意，过程300的描述是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行各种变更和修改。例如，当投影光学信号时，处理装置110可以在用户界面上显示光学信号，并且用户可以在用户界面上检查和/或获得信号信息。然而，这些变更和修改不会脱离本公开的保护。
图5是例示了根据本公开的一些实施例的用于确定受试者体内的目标在手术期间的位置信息的示例性过程的流程图。在一些实施例中，可以执行过程500，以实现如结合图3描述的操作302的至少一部分。
在502中，处理装置110(例如，获得模块210)可获得由第一采集装置(例如，图像采集装置160)捕捉的受试者的光学图像。
在一些实施例中，处理装置110可以从第一采集装置或存储受试者的光学图像的储存装置(例如，储存装置150、数据库或外部储存装置)获得光学图像。
在504中，处理装置110(例如，获得模块210)可以获得由第二采集装置捕捉的受试者的扫描图像。
在一些实施例中，扫描图像可以包括目标。在一些实施例中，受试者的扫描图像可以包括包含受试者的结构信息的医学图像。示例性扫描图像可以包括CT图像、MR图像、PET图像、X射线图像、超声图像等。在一些实施例中，扫描图像可以是包括多个切片图像的3维图像。
在一些实施例中，处理装置110可以从第二采集装置(例如，医学成像装置)或存储受试者的扫描图像的储存装置(例如，储存装置150、数据库或外部储存装置)获得扫描图像。
在506中，处理装置110(例如，获得模块210)可以基于光学图像和扫描图像确定受试者体内的目标在手术期间的位置信息。
在一些实施例中，处理装置110可以基于光学图像建立与受试者对应的受试者模型。受试者模型可以表征受试者的外部轮廓。示例性的受试者模型可以包括网格模型(例如，表面网格模型、人体网格模型)、3D掩模、运动模型等、或其任意组合。例如，处理装置110可以根据美国专利申请第16/863,382号中公开的技术基于光学图像建立与受试者对应的人体网格模型，该美国专利申请以引证的方式并入本文。
在一些实施例中，处理装置110可以将扫描图像与受试者模型对齐。在一些实施例中，处理装置110可以基于校准技术(例如，校准矩阵)将扫描图像与受试者模型对齐。校准矩阵可以指将与受试者模型相对应的第一坐标系和与扫描图像相对应的第二坐标系转换为相同坐标系的转移矩阵。例如，校准矩阵可以被配置为将对应于受试者模型的第一坐标系转换为对应于扫描图像的第二坐标系。作为另一示例，校准矩阵可以被配置为将对应于扫描图像的第二坐标系转换为对应于受试者模型的第一坐标系。作为又一示例，校准矩阵可以被配置为将与扫描图像相对应的第二坐标系和与受试者模型相对应的第一坐标系转换为参考坐标系。
在一些实施例中，处理装置110可以基于配准算法将扫描图像与受试者模型对齐。示例性配准算法可以包括基于AI的配准算法、基于灰度信息的配准算法、基于变换域的配准算法、基于特征的配准算法等、或其任意组合。
在一些实施例中，处理装置110可以基于对齐的扫描图像和对齐的受试者模型来确定受试者体内的目标在手术期间的位置信息。例如，在扫描图像与受试者模型对齐之后，可以将扫描图像和受试者模型转换到相同的坐标系。因此，目标的点和受试者的点可以由相同坐标系中的对应坐标表征。处理装置110可以基于相同坐标系下的坐标来确定受试者体内的目标在手术期间的位置信息。
仅仅通过示例的方式，如图6例示，可以获得受试者605的光学图像610，并且可以基于光学图像610建立对应于受试者605的受试者模型620。可以获得受试者605的扫描图像630，其中，扫描图像630可以包括目标635。进一步地，扫描图像630可以与受试者模型620对齐。对应地，可以基于对齐的受试者模型和对齐的扫描图像确定受试者605体内的目标635在手术期间的位置信息640。
在一些实施例中，处理装置110可以将扫描图像与光学图像对齐，并且基于对齐的图像确定受试者体内的目标在手术期间的位置信息。例如，处理装置110可以将扫描图像和光学图像输入到图像配准模型中，并且图像配准模型可以输出对齐的图像。处理装置110可以基于对齐的图像确定受试者体内的目标在手术期间的位置信息。图像配准模型可以通过基于多个训练样本训练初始图像配准模型(例如，初始深度学习模型)来获得。多个训练样本中的每一个训练样本可以包括样本受试者的样本光学图像和样本扫描图像作为初始图像配准模型的输入，以及样本受试者的样本对齐图像作为标签。在一些实施例中，多个训练样本可以包括历史图像数据。
应当注意，过程500的描述是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行各种变更和修改。然而，这些变更和修改不会脱离本公开的保护。
图7是例示了根据本公开的一些实施例的用于确定投影指令的示例性过程的示意图。
如图7所示，在一些实施例中，可以将目标的深度信息710输入到指令生成模型720中，并且指令生成模型720可以输出投影指令730。
在一些实施例中，指令生成模型720可以包括卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)等或其任意组合。
在一些实施例中，指令生成模型720可以通过基于多个训练样本740训练初始指令生成模型来获得。在一些实施例中，多个训练样本740中的每一个训练样本可以包括样本受试者体内的样本目标的样本深度信息741作为初始图像预测模型的输入，以及样本投影指令745作为标签。
样本深度信息741的获得可类似于操作502-506中描述的深度信息的获得。样本投影指令745可以基于系统默认设置(例如，统计信息)来获得，或者由用户(例如，技师、医生、物理学家)手动设置。在一些实施例中，处理装置110可以通过检索(例如，通过数据接口)数据库或储存装置来获得多个训练样本。
在初始指令生成模型的训练期间，可以将多个训练样本输入到初始指令生成模型，并且可以通过一次或多次迭代来更新初始指令生成模型的参数。例如，处理装置110可将各个训练样本的样本深度信息741输入至初始指令生成模型，并获得预测结果。处理装置110可以基于预测结果和各个训练样本的标签(即，对应的样本投影指令745)来确定损失函数。损失函数可以与预测结果和标签之间的差异相关联。处理装置110可基于损失函数调节初始指令生成模型的参数，以减小预测结果与标签之间的差异，例如，通过连续调节初始指令生成模型的参数以减小或最小化损失函数。
在一些实施例中，损失函数可以是感知损失函数、平方损失函数、逻辑回归损失函数等。
在一些实施例中，指令生成模型还可以根据其他训练方式获得。例如，指令生成模型可以使用多个训练样本基于初始学习速率(例如，0.1)和/或衰减策略来获得。
图8是例示了根据本公开的一些实施例的用于确定更新的投影指令的示例性过程的流程图。在一些实施例中，可以执行过程800，以实现如结合图3描述的操作306的至少一部分。
在802中，处理装置110(例如，确定模块220)可以基于目标的更新的位置信息或手术区域的表面层面的位置信息中的至少一个来确定目标相对于受试者的手术区域的更新的深度信息。
如结合操作306所述，在对受试者执行的手术期间，目标的位置信息和/或受试者的手术区域的表面层面的位置信息可能变化。例如，目标的位置信息可能由于受试者的轻微移动而变化。作为另一示例，在手术期间，一个或多个手术器械(例如，抓钳、夹钳、外科剪刀)可以与手术区域接触，并且手术区域的表面层面可能在手术期间变化。仅仅通过示例的方式，如图9A例示，受试者904可以躺在工作台902上，并且目标906位于受试者904体内。光学投影装置910可以致力于将光学信号投影在受试者904的表面上。在执行手术或将要执行手术之前，手术区域的表面层面可以由“A”表征；在手术期间(例如，手术器械逐渐下降并进入受试者体内)，手术区域的表面层面可以由“B”和“C”表征。
在一些实施例中，处理装置110可以基于由第一采集装置捕捉的受试者的光学图像来获得手术区域的表面层面的位置信息。例如，如结合图5和图6描述的，处理装置110可以基于根据光学图像建立的受试者模型来获得手术区域的表面层面的位置信息。作为另一示例，处理装置110可以在手术期间获得受试者的更新的光学图像，并且基于更新的光学图像建立对应于受试者的更新的受试者模型。进一步地，处理装置110可以将扫描图像与更新的受试者模型对齐，并且基于对齐的更新的受试者模型来确定手术区域的表面层面的位置信息。
在一些实施例中，更新的深度信息的确定可类似于操作304和图5中描述的深度信息的确定，在此不再重复。
在804中，处理装置110(例如，确定模块220)可以基于目标的更新的深度信息来确定更新的投影指令。
更新的投影指令的确定可以类似于操作306中描述的投影指令的确定。例如，处理装置110可以如过程700所述的那样获得指令生成模型，并且基于更新的深度信息来确定更新的投影指令。
在一些实施例中，可通过基于更新的深度信息更新先前投影指令中的参数来确定更新的投影指令。例如，可以基于更新的深度信息来更新光学信号的颜色信息，并且可以通过基于光学信号的更新的颜色信息调节投影颜色来确定更新的投影指令。
仅仅通过示例的方式，如图9B至图9D例示，图9B中的光学信号的投影对应于手术区域的表面层面为图9A中例示的“A”的情况，图9C中的光学信号的投影对应于手术区域的表面层面为图9A中例示的“B”的情况，并且图9D中的光学信号的投影对应于手术区域的表面层面为图9A中例示的“C”的情况，其中，922、942和962指代指示肝脏区域的目标的信号部分，而924、944和964指代指示肝脏区域的OAR的信号部分。可以看出，随着手术区域的表面层面的变化(变得更靠近目标)，指示目标的信号部分的颜色变得更深。
在一些实施例中，处理装置110可以确定手术区域的表面层面的运动幅度，并且基于运动幅度来确定用于确定更新的投影指令的估计的更新时间。
在一些实施例中，手术区域的表面层面的运动幅度可以基于当前表面层面和一个或多个先前表面层面来确定。例如，第一采集装置可以被指示在手术期间连续地或间歇地(例如，周期性地)获得受试者的光学图像，并且处理装置110可以确定两个或更多个相邻光学图像之间的手术区域的表面层面的运动幅度。
在一些实施例中，估计的更新时间可以指示确定目标的更新的深度信息并相应地确定更新的投影指令所需的时间段，例如，如结合操作304和图5描述的，将对应于受试者的受试者模型与扫描图像对齐并且基于对齐的受试者模型进一步确定目标的位置信息以及基于目标的位置信息进一步确定目标的深度信息所需的时间段。
在一些实施例中，手术区域的表面层面的运动幅度越大，估计的更新时间可以越大。在一些实施例中，可以基于历史数据来确定运动幅度与估计的更新时间之间的关系。
在一些实施例中，处理装置110可以检查估计的更新时间。例如，处理装置110可以将基于运动幅度确定的估计更新时间指定为初步估计更新时间，并且确定初步估计更新时间的置信度是否满足条件。初步估计更新时间的置信度可用于确定估计更新时间是否可信。在一些实施例中，置信度可以由百分比、等级等表征。例如，置信度可以是在从0到1的范围内的值。在一些实施例中，初步估计更新时间的置信度可以根据置信度算法来确定，该算法在本文中不作限制。该条件可以是初步估计更新时间的置信度在置信度范围内。置信度范围可以基于系统默认设置来确定，或者由用户手动设置，诸如从0.5到0.8的范围。如果初步估计更新时间的置信度满足条件，则处理装置110可确定初步估计更新时间作为估计更新时间。如果初步估计更新时间的置信度不满足条件，则处理装置110可更新初步估计更新时间。
在一些实施例中，在更新的投影指令的确定期间，处理装置110可以提供提示以通知光学信号被更新。在一些实施例中，提示可包括用于指示光学投影装置停止投影光学信号的指令、用于指示光学投影装置投影指示系统更新的另一光学信号(例如，具有不同颜色的光学信号)的指令、指示估计的更新时间的通知(例如，显示在用户界面上的通知、直接投影在受试者表面上的通知)等。
应当注意，过程800的描述是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行各种变更和修改。然而，这些变更和修改不会脱离本公开的保护。
图10是例示了根据本公开的一些实施例的用于确定投影指令的示例性过程的流程图。在一些实施例中，可以执行过程1000，以实现如结合图3描述的操作306的至少一部分。
在1002中，处理装置110(例如，确定模块220)可以获得与受试者相关联的环境信息。
与受试者相关联的环境信息可以指可能影响对目标执行的手术的信息。例如，环境信息可以包括用户(或用户的一部分)的位置信息、手术器械的位置信息、环境亮度信息、可能影响光学信号的投影的对象等。
在一些实施例中，处理装置110可以基于受试者的光学图像来获得与受试者相关联的环境信息。例如，处理装置110可以从光学图像识别对象并且确定对象是否可能影响操作。如果对象可能影响操作(例如，位于光学信号的投影区域中或阻挡光学信号的投影)，则对象可以被确定为与受试者相关联的环境信息。
在1004中，处理装置110(例如，确定模块220)可以基于与受试者相关联的环境信息和目标的深度信息来确定投影指令。
在一些实施例中，处理装置110可基于目标的深度信息(例如，根据操作306)确定初步投影指令，并且基于与受试者相关联的环境信息调节初步投影指令中的参数。例如，处理装置110可以调节投影角度，使得对象将不在光学信号的投影区域中或者将不阻挡光学信号的投影。例如，如图11所示，1102指代指示目标的光学信号(或信号部分)。可以看出，对象阻挡光学信号的一部分，并且与对象相对应的投影区域1106覆盖光学信号(或信号部分)的投影区域的一部分。因此，在这种情况下，可以确定投影指令以调节光学信号(或信号部分)的投影角度。
应当注意，过程1000的描述是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行各种变更和修改。然而，这些变更和修改不会脱离本公开的保护。

Claims (10)

1.一种方法，在具有至少一个处理器和至少一个储存装置的计算装置上实施，所述方法包括：
获得受试者体内的目标在手术期间的位置信息；
基于所述位置信息确定所述目标相对于所述受试者的手术区域的深度信息；以及
指示光学投影装置将表征所述深度信息的光学信号投影在所述受试者的表面上。
2.根据权利要求1所述的方法，其中，所述获得受试者体内的目标在手术期间的位置信息包括：
获得由第一采集装置捕捉的所述受试者的光学图像；
获得由第二采集装置捕捉的所述受试者的扫描图像，所述扫描图像包括所述目标；以及
基于所述光学图像和所述扫描图像确定所述受试者体内的所述目标在所述手术期间的所述位置信息。
3.根据权利要求2所述的方法，其中，所述基于所述光学图像和所述扫描图像确定所述受试者体内的所述目标在所述手术期间的所述位置信息包括：
基于所述光学图像建立对应于所述受试者的受试者模型；
将所述扫描图像与所述受试者模型对齐；以及
基于所述对齐的扫描图像和所述对齐的受试者模型确定所述受试者体内的所述目标在所述手术期间的所述位置信息。
4.根据权利要求1所述的方法，其中，所述指示光学投影装置将表征所述深度信息的光学信号投影在所述受试者的表面上包括：
基于所述深度信息确定投影指令，所述投影指令被配置为指示所述光学投影装置的投影操作；以及
基于所述投影指令指示所述光学投影装置将表征所述深度信息的所述光学信号投影在所述受试者的所述表面上。
5.根据权利要求4所述的方法，其中，所述基于所述深度信息确定投影指令包括：
获得指令生成模型；以及
基于所述深度信息和所述指令生成模型确定所述投影指令。
6.根据权利要求4所述的方法，其中，所述基于所述深度信息确定投影指令包括：
基于所述目标的更新的位置信息或所述手术区域的表面层面的位置信息中的至少一个来确定所述目标相对于所述受试者的所述手术区域的更新的深度信息；以及
基于所述更新的深度信息来确定更新的投影指令，或
获得与所述受试者相关联的环境信息；以及
基于与所述受试者相关联的所述环境信息和所述深度信息来确定所述投影指令。
7.根据权利要求4所述的方法，其中，所述投影指令与包括在所述光学信号中的信号信息相关联，包括在所述光学信号中的所述信号信息包括所述光学信号的颜色信息或投影在所述受试者的所述表面上的所述光学信号的位置信息中的至少一个。
8.根据权利要求7所述的方法，其中，所述光学信号的所述颜色信息指示所述目标相对于所述手术区域的所述深度信息，其中，所述光学信号的所述颜色信息与所述目标的类型相关联。
9.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1-8任意一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-8任一所述的方法。
CN202310983649.9A 2022-08-31 2023-08-07 用于医疗辅助的系统和方法 Pending CN117017490A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/823,953 US20240065799A1 (en) 2022-08-31 2022-08-31 Systems and methods for medical assistant
US17/823,953 2022-08-31

Publications (1)

Publication Number Publication Date
CN117017490A true CN117017490A (zh) 2023-11-10

Family

ID=88642308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310983649.9A Pending CN117017490A (zh) 2022-08-31 2023-08-07 用于医疗辅助的系统和方法

Country Status (2)

Country Link
US (1) US20240065799A1 (zh)
CN (1) CN117017490A (zh)

Also Published As

Publication number Publication date
US20240065799A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
CN111724904B (zh) 用于针对医学扫描的患者建模的多任务渐进式网络
US10946214B2 (en) Automated anatomy delineation for image guided therapy planning
KR102018565B1 (ko) 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
US10499992B2 (en) Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality
EP3406196A1 (en) X-ray system and method for standing subject
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
US20210104055A1 (en) Systems and methods for object positioning and image-guided surgery
US20220084245A1 (en) Systems and methods for positioning an object
US8457372B2 (en) Subtraction of a segmented anatomical feature from an acquired image
CN110956633B (zh) 一种基于虚拟立体定位像的快速ct扫描方法及系统
EP2189942A2 (en) Method and system for registering a medical image
CN111627521B (zh) 增强现实在放疗中的应用
JP2003265408A (ja) 内視鏡誘導装置および方法
US20220061781A1 (en) Systems and methods for positioning
CN111544037B (zh) 一种基于双目视觉的超声定位方法及系统
WO2021104153A1 (en) Systems and methods for automated calibration
EP3285639A1 (en) Monitoring a patient's position using a planning image and subsequent thermal imaging
CN114529502A (zh) 用于进行自动化受检者解剖结构和取向识别的基于深度学习的方法和系统
US10631948B2 (en) Image alignment device, method, and program
CN109903264B (zh) 数字人图像与ct图像的配准方法及系统
CN117017490A (zh) 用于医疗辅助的系统和方法
KR20200056855A (ko) 기복모델 생성방법, 장치 및 프로그램
CN101926676A (zh) 一种自动识别特征点的医用影像跟踪方法和装置
CN201719372U (zh) 一种自动识别特征点的医用影像跟踪装置
KR102373370B1 (ko) Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination