CN113963780A - 医疗环境的自动化方法，系统和设备 - Google Patents

医疗环境的自动化方法，系统和设备 Download PDF

Info

Publication number
CN113963780A
CN113963780A CN202111251538.6A CN202111251538A CN113963780A CN 113963780 A CN113963780 A CN 113963780A CN 202111251538 A CN202111251538 A CN 202111251538A CN 113963780 A CN113963780 A CN 113963780A
Authority
CN
China
Prior art keywords
medical
image
medical environment
images
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111251538.6A
Other languages
English (en)
Inventor
吴子彦
斯里克里希纳·卡拉南
郑梦
阿比舍克·沙玛
李韧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN113963780A publication Critical patent/CN113963780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/10—Safety means specially adapted therefor
    • A61B6/102—Protection against mechanical damage, e.g. anti-collision devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/545—Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0046—Arrangements of imaging apparatus in a room, e.g. room provided with shielding or for improved access to apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本文描述了用于使医疗环境自动化的系统、方法和装置。自动化可以使用一个或多个感测装置和至少一个处理装置来实现。感测装置可以被配置为捕捉医疗环境的图像并且将图像提供给处理装置。处理装置可以基于图像确定医疗环境的特征并且使医疗环境中的操作的一个或多个方面自动化。这些特征可以包括例如存在于图像中的人和/或物体以及人和/或物体在医疗环境中的相应位置。可以自动化的操作可以包括例如基于患者的位置操纵和/或定位医疗装置，确定和/或调节医疗装置的参数，管理工作流程，向患者或医师提供指令和/或警告等。

Description

医疗环境的自动化方法，系统和设备
技术领域
本申请涉及医疗领域。
背景技术
医疗过程是需要高度集中、精确和协调的复杂操作。目前，在医疗环境中发生的大多数操作是手动执行的。比如，在外科手术期间，医务人员不仅必须专注于执行方案和观察患者的状况，他们还必须注意工具和设备(例如，照明设备、X射线扫描仪等)，并且通常认知操作环境以确保工具和设备在需要时在可及范围内，并且一个工具或装置的移动不干扰正在进行的手术或不与环境中的其它工具或装置碰撞。此外，患者在手术期间的身体特征、位姿和/或移动可能需要连续地调节医疗装置(例如，诸如X射线扫描仪)的参数、配置和/或设置，使得它们可以适应患者的特定状况。手动执行这些任务不仅给医务人员带来额外的负担，手动工作也缺乏准确性和一致性，并且难以监视或验证。因此，非常期望在医疗环境中使操作的方面自动化，以减轻医学专家的负担，而且增强操作的安全性、效率和有效性。
发明内容
本文描述了与使医疗环境自动化相关联的系统、方法和装置。本文所述的系统可包括一个或多个感测装置和通信地耦合到一个或多个感测装置的至少一个处理装置。一个或多个感测装置可以被配置为捕捉医疗环境的图像，其中，图像可以与相应的图像坐标系相关联，而医疗环境可以与世界坐标系相关联。一个或多个感测装置中的每一个感测装置可以包括被配置为捕捉医疗环境的二维(2D)图像的2D视觉传感器或被配置为捕捉医疗环境的三维(3D)图像的3D视觉传感器。至少一个处理装置可以被配置为接收由一个或多个感测装置捕捉的图像的全部或子集，(例如，使用诸如卷积神经网络的人工神经网络)识别所接收的图像中的一个或多个人或一个或多个物体，并且基于一个或多个人或一个或多个物体在所接收的图像中的相应位置来确定一个或多个人或一个或多个物体在医疗环境中的相应位置。
至少一个处理装置可以被配置为至少基于世界坐标系和与所接收的图像相关联的图像坐标系之间的相应空间关系来确定一个或多个人或一个或多个物体在医疗环境中的相应位置。根据所确定的一个或多个人或一个或多个物体在医疗环境中的位置，至少一个处理装置可以生成用于控制位于医疗环境中的医疗装置(例如，医疗装置的至少一部分)的信息，并且将所生成的用于控制医疗装置的信息传输到接收装置。例如，在医疗环境中检测到的一个或多个物体可以包括医疗装置，在医疗环境中检测到的一个或多个人可以包括患者，并且由至少一个处理装置生成的信息可以包括将医疗装置朝向患者移动的命令。
在一个或多个实施例中，由至少一个处理装置生成的信息可以包括导航指令，该导航指令防止医疗装置在医疗装置朝向患者移动时与在所接收的图像中检测到的其他人或物体碰撞。在一个或多个实施例中，由至少一个处理装置生成的信息可以包括医疗装置朝向患者的移动路径的规划。在一个或多个实施例中，由至少一个处理装置接收的图像可以包括医疗环境中的患者的图像，并且至少一个处理装置可以被配置为基于患者的图像生成患者的参数人体模型，并且还基于参数人体模型确定患者的扫描区域或手术区域。然后，至少一个处理装置可以生成并传输将医疗装置朝向患者的所确定的扫描或手术区域移动的指令。在一个或多个实施例中，在由至少一个处理装置接收的图像中检测到的一个或多个物体可以包括辐射源，并且至少一个处理装置可以被配置为基于辐射源和由至少一个处理装置确定的一个或多个人的相应位置来确定在所接收的图像中检测到的一个或多个人的相应辐射暴露。在一个或多个实施例中，至少一个处理装置还可以被配置为基于在接收到的图像中检测到的一个或多个人或一个或多个物体和/或由至少一个处理装置采集的关于医疗过程的各个阶段的信息来确定在医疗环境中执行的医疗过程的阶段。
至少一个处理装置被配置为基于由一个或多个感测装置捕捉的位于医疗环境中的一个或多个标记的图像来确定世界坐标系与图像坐标系之间的相应空间关系。例如，至少一个处理装置可被配置为确定一个或多个标记在与一个或多个标记的各个图像相关联的图像坐标系中的相应坐标，确定一个或多个标记在世界坐标系中的相应坐标，并且基于一个或多个标记在图像坐标系中的相应坐标以及一个或多个标记在世界坐标系中的相应坐标来确定与一个或多个标记的各个图像相关联的世界坐标系和图像坐标系之间的旋转和平移。进一步地，当一个或多个感测装置包括2D视觉传感器时，至少一个处理装置可以被配置为基于由第一感测装置捕捉的第一2D图像和由第二感测装置捕捉的第二2D图像来确定在第一2D图像中检测到的人或物体的深度。
本文所述的一个或多个感测装置中的每一个感测装置可包括通信电路，并且各个感测装置可被配置为经由通信电路与所述一个或多个感测装置中的至少一个其它感测装置通信。本文所述的医疗装置可以包括X射线扫描仪，诸如具有C形臂的X射线扫描仪。本文所述的接收装置可以包括医疗装置或医疗装置的控制单元(例如，远程控制单元)。本文所述至少一个处理装置被配置为使用卷积神经网络来识别所述所接收的图像中的所述一个或多个人或所述一个或多个物体。
附图说明
从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
图1是例示了可以用于使医疗环境自动化的本文所述的示例系统的框图。
图2A和图2B是例示了与摄像头投影相关联的示例几何形状的图。
图3是例示了校准本文所述的感测装置的示例的图。
图4是例示了基于由本文所述的两个感测装置捕捉的图像的深度确定的示例的图。
图5是例示了训练人工神经网络以检测图像中的人或物体的示例的流程图。
图6是例示了可以在医疗环境的自动化期间执行的示例操作的流程图。
图7是例示了本文所述的感测装置的示例的框图。
图8是例示了本文所述的处理装置的示例的框图。
具体实施方式
在附图的各图中，通过示例而非限制性的方式例示了本公开。
图1是例示了可以使用本文公开的系统、方法和/或装置自动化的医疗环境100的图。医疗环境100可以是健康护理环境中的任意设施，包括例如医院的手术室或扫描室、康复设施、健身中心等。医疗环境100可以配备有各种工具、装置和/或设备，诸如病床102、具有c形臂(例如，C形臂106)的X射线扫描仪104、患者监视装置108等。可以操纵(例如，手动或自动地)工具、装置和/或设备以适应在医疗环境100中执行的医疗过程的需要。例如，可以升高或降低病床102，可以朝向特定扫描位置操纵(例如，移动、倾斜或旋转)X射线扫描仪的C形臂106，可以调节照明装置(未示出)以聚焦在手术部位等。
例如，可以利用一个或多个感测装置110和/或通信地耦合到一个或多个感测装置110的处理装置112(例如，处理装置)来使医疗环境100中的部分或全部操作自动化。感测装置110可以安装在医疗环境100的各个位置处，并且可以经由通信网络114通信地耦合到处理装置112和/或医疗环境100的其他装置。各个感测装置110可以包括一个或多个传感器，诸如一个或多个2D视觉传感器(例如，2D摄像头)、一个或多个3D视觉传感器(例如，3D摄像头)、一个或多个红、绿和蓝(RGB)传感器、一个或多个深度传感器、一个或多个RGB加深度(RGB-D)传感器、一个或多个热传感器(例如，红外(FIR)或近红外(NIR)传感器)、一个或多个运动传感器、一个或多个雷达传感器和/或被配置为捕捉医疗环境100中的人、物体或场景的图像的其他类型的图像捕捉电路。取决于感测装置110中包括的摄像头、传感器和/或图像捕捉电路的类型，由感测装置110生成的图像可以包括例如一个或多个照片、一个或多个热图像、一个或多个雷达图像等。感测装置110可以被配置为响应于在医疗环境100中检测到人、物体或场景而生成本文所述的图像。感测装置110还可被配置为基于预配置的时间表或时间间隔或在接收到触发图像生成的控制信号(例如，从远程装置)时生成本文所述的图像。
各个感测装置110可以包括被配置为控制本文所述的图像捕捉功能的功能单元(例如，处理器)。功能单元还可以被配置为处理图像(例如，在将图像发送到另一装置之前预处理图像)、与位于医疗环境100内部或外部的其他装置通信、基于所捕捉的图像确定医疗环境100的特征等。各个感测装置110可包括通信电路，并且可被配置为经由通信电路和/或通信网络114与一个或多个其它感测装置交换信息。感测装置110可形成传感器网络，在该传感器网络内，感测装置可将数据传输到彼此和从彼此接收数据。在感测装置110之间交换的数据可包括例如由各个感测装置捕捉的图像数据和/或用于发现各个感测装置的存在和/或校准各个感测装置的参数的控制数据。比如，当向医疗环境100添加新的感测装置时，感测装置可以向传感器网络中的一个或多个其他感测装置和/或传感器网络的控制器(例如，如本文所述的处理装置)传输消息(例如，经由广播、组播或单播)，以通告新感测装置的添加。响应于这样的通告或数据的传输，其他感测装置和/或控制器可以注册新的感测装置并开始与新的感测装置交换数据。
感测装置110可以被配置为安装在医疗环境100的各种位置处，包括例如天花板上、门口上方、墙壁上、医疗装置上等。从这些位置，各个感测装置110可以捕捉在感测装置的视场(FOV)中的患者、物体或场景的图像(例如，FOV可以由视点和/或视角限定)。各个感测装置110的FOV可以手动或自动地(例如，通过向感测装置传输控制信号)调节，使得感测装置可以从不同的视点或不同的视角拍摄医疗环境100中的人、物体或场景的图像。
各个感测装置110可以被配置为例如经由通信网络114与医疗环境100中的其他装置交换信息。在示例中，各个感测装置110可以被配置为将由感测装置捕捉的图像传输到处理装置112。在示例中，处理装置112可以被配置为例如经由拉动机制从感测装置检索由感测装置110捕捉的图像。图像的传输和/或检索可以周期性地执行，或者响应于接收到指示传输或检索的控制信号而执行。比如，处理装置112可以被配置为在捕捉图像时从感测装置110接收通知，并且响应于接收到该通知而检索图像。
感测装置110的配置和/或操作可以至少部分地由编程装置116控制。例如，编程装置116可以被配置为初始化和修改感测装置110的一个或多个执行参数，包括例如由感测装置110捕捉的图像的分辨率、感测装置110与处理装置112之间的数据交换的周期、与数据交换相关联的帧率或比特率、感测装置上的数据存储的持续时间等。编程装置116还可以被配置为控制感测装置110的操作的一个或多个方面，诸如触发感测装置的校准、调节感测装置的相应取向、放大或缩小医疗环境100中的人或物体、触发重置等。编程装置116可以是移动装置(例如，诸如智能电话、平板电脑或可穿戴装置)、台式计算机、膝上型计算机等，并且可以被配置为通过通信网络114与感测装置110和/或处理装置112通信。编程装置116可以从用户接收信息和/或指令(例如，经由在编程装置116上实施的用户接口)，并且经由通信网络114将所接收的信息和/或指令转发到感测装置110。
本文所述的通信网络114可以是有线或无线网络、或其组合。例如，通信网络114可以建立在公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)或5G网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络和/或电话网络上。通信网络114可以包括一个或多个网络接入点。例如，通信网络114可以包括有线和/或无线网络接入点，诸如基站和/或互联网交换点，通过这些接入点，医疗环境100中的一个或多个装置可以连接以交换数据和/或其他信息。这种交换可以利用路由器、集线器、交换机、服务器计算机和/或其任意组合。
处理装置112可以被配置为从感测装置110接收图像并且基于图像确定医疗环境100的一个或多个特征。这些特征可以包括例如存在于医疗环境100中的人和/或物体以及人和/或物体在医疗环境100中的相应位置。在医疗环境100中呈现的人可以包括例如患者118和/或照顾患者118的医务人员(例如，医师、技师、护士等)。在医疗环境100中呈现的物体可以包括例如X射线扫描仪104、C形臂106、监视装置108、病床102和/或图1中未示出的其他装置或工具。基于所确定的医疗环境100的特征，处理装置112可以生成用于使医疗环境100内的操作的一个或多个方面自动化的信息(例如，命令)。例如，响应于检测到患者118并且确定患者118和医疗环境100中的各种装置的相应位置，处理装置112可以生成一个或多个消息(例如，一个或多个指令和/或命令)，该一个或多个消息例如朝向患者118操纵目标医疗装置的至少一部分(例如，诸如X射线扫描仪104或手术机器人的C形臂106)，而不需要医师或技师手动操纵目标医疗装置。患者118的位置可以包括患者118的扫描或手术部位的3D位置(例如，用[X,Y,Z]坐标来表示)，并且处理装置112可以被配置为经由到目标医疗装置的通信接口(诸如应用编程接口(API))将一个或多个控制消息传输到目标医疗装置(例如，目标医疗装置的控制单元)。通信接口可以基于各种协议来实现，包括例如表述性状态转移(REST)协议。处理装置112可以确定患者118与目标医疗装置之间的潜在障碍(例如，医疗环境100中的其他工具或装置)，并且在由处理单元112生成的一个或多个消息中包括导航指令(例如，导航方向和/或步长)，以防止目标医疗装置在医疗装置朝向患者118移动时与医疗环境100中的其他物体(例如，诸如图1所示的监视装置108)和/或人(例如，照顾患者118的医师)碰撞。
处理装置112可以被配置为将一个或多个消息传输到接收装置，以基于一个或多个消息控制目标医疗装置。接收装置可以是X射线扫描仪104或者X射线扫描仪104的控制单元，其可以位于X射线扫描仪104内部或者远离X射线扫描仪104(例如，在单独的房间中)。接收装置可以例如经由通信网络114通信地耦合到处理装置112。处理装置112可以向接收装置和/或照顾患者118的医务人员提供关于要对目标医疗装置执行的控制操作的通知。比如，处理装置112可以基于所确定的医疗环境100的特征(例如，基于在医疗环境中检测到的人和/或物体的相应位置)来估计C型臂106朝向患者118的移动路径，并且向接收装置和/或医务人员提供(例如，指示)该估计。估计可以以各种形态提供，包括例如移动路径的规划或医疗装置的移动的模拟(例如，动画模拟)。该估计可以呈现在监视装置108或诸如附接到处理装置112的显示装置的另一合适的显示装置上。处理装置112还可以被配置为基于在由感测装置110捕捉的图像中检测到的人和/或物体来提供医疗环境100的布局的视觉表示。视觉表示可以指示例如在医疗环境100中检测到的人和/或物体和/或它们在医疗环境100中的相应位置。视觉表示可以被提供给本文所述的接收装置和/或医疗环境100的控制者(例如，监督医疗环境100的医师或技师)。
医疗环境100中的操作和/或工作流程的其他方面还可以基于由感测装置110捕捉的图像而自动化。在示例中，处理装置112可以基于患者118的一个或多个图像来确定反映患者118的体型、姿势和/或运动的人体模型(例如，3D参数人体模型)。处理装置112可以使用这样的人体模型来确定患者的扫描或手术区域，并且生成指令或命令，该指令或命令将医疗装置(例如，扫描仪、手术机器人等)朝向所确定的扫描或手术区域移动。处理单元112还可以调节医疗装置的参数(例如，扫描方向、辐射剂量、切角等)，以更好地瞄准扫描或手术区域。替代地或另外，处理装置112可向医师指示扫描或手术区域(例如，通过在人体模型上突出显示扫描或手术区域)，使得可以以改进的准确度执行扫描或切开。处理装置112可以呈现可视化(例如，增强或虚拟现实可视化)，其中，可以将本文所述的患者的3D人体模型与感兴趣器官或病变的3D位置重叠，以在医疗过程期间向医师或技师提供实时引导(例如，可以基于患者的位姿和/或姿势实时调节人体模型和/或3D位置)。处理装置112还可以通过融合由感测装置110捕捉的图像和/或视觉来促进图像配准(例如，粗略到精细图像配准)。基于患者的一个或多个图像创建患者的人体模型的示例可以在2020年4月28日提交的标题为“Sensing Device for Medical Facilities,”的共同转让的美国专利申请号16/860,901中找到，据此以引证的方式将该申请的公开内容全文并入。
在示例中，处理装置112可以在由感测装置110捕捉的图像中检测辐射源，并且基于图像进一步确定医疗环境100中的辐射源相对于医疗环境100中的人(例如，患者118、医师、技师等)的位置和/或取向。响应于检测和/或确定，处理装置112可以估计人的辐射暴露(例如，在一段时间内累积的辐射)并且向人提供关于辐射暴露的通知(例如，以向人警告暴露)。处理装置112可以采集关于辐射源的执行参数的信息，并且基于这些执行参数生成估计。例如，执行参数可以指示辐射源的辐射强度和/或辐射范围(例如，参数可以反映辐射源的辐射模型)。由此可见，基于由图像指示的辐射源的位置和/或取向，处理装置112可以确定可以到达医疗环境100中的人的位置的辐射量。处理装置112还可以利用可以从人的图像导出的人的人体网格模型来计算人的特定身体部分(例如，头部、胸部等)的辐射暴露值。处理单元可以以各种形态提供关于辐射暴露的通知，包括例如沿着时间轴描绘人的辐射暴露的图。处理装置112可以基于人的估计辐射暴露和/或关于人的治疗或安全方案自动地调节辐射源的一个或多个参数(例如，方向和/或辐射强度)。
在示例中，处理装置112可以基于在医疗环境100中检测到的人、物体和/或活动来确定针对患者118的医疗过程的进展。比如，医疗过程的各个阶段可以与视觉模式相关联，视觉模式诸如是处于医疗环境100中的某些人员(例如，麻醉师)、部署和/或管理的某些工具、装置和/或药物、患者118所采取的某些位姿等。处理装置112可以采集关于与医疗过程的各个阶段相关联的视觉模式的信息，基于由感测装置110捕捉的图像来检测特定模式，并且相应地确定医疗过程的当前阶段。处理装置112可以基于医疗过程的当前和/或后续阶段来优化或提供用于优化医疗环境100的工作流程的推荐。比如，处理装置112可以推荐、定位和/或准备医疗过程的当前或后续阶段可能需要的工具或装置，处理装置112可以检测医疗环境100中的异常(例如，识别医疗环境中的冗余人员)，和/或处理装置112可以进行医疗过程的时间分析，例如，以确定医疗过程是在时间表之前还是之后。
在示例中，处理装置112可以例如经由通信网络114通信地耦合到数据库120。数据库120可以包括患者记录储存库，其存储患者118的基本信息、患者118的诊断和/或治疗历史、患者118的扫描图像等。作为患者118的医疗过程的自动化的一部分，处理装置112可以被配置为从数据库120检索患者118的病历的全部或子集，结合由处理装置112收集或确定的患者118的其他信息(例如，诸如本文所述的人体模型)分析检索的病历，并且生成使得能够在没有人类发明的情况下针对患者118执行医疗过程的一个或多个方面的命令和/或信息。例如，基于患者118的过去的医学扫描、患者118的身体几何形状和/或与患者118相关联的其他偏好和/或约束，处理装置112可以自动确定医疗装置中涉及的装置的参数和/或配置(例如，C型臂106的位置和/或取向)，并且例如通过将参数和/或配置传输到装置的控制单元来使得参数和/或配置针对装置被实施。
为了基于由感测装置捕捉的人或物体的图像来确定人或物体在医疗环境100中的位置，可以建立与医疗环境100相关联的坐标系(例如，在本文中可以被称为世界坐标系或全局坐标系)和与图像相关联的坐标系(例如，在本文中可以被称为图像坐标系或局部坐标系)之间的空间关系。为了便于描述，本文中假设坐标系是笛卡尔坐标系，其中，可以使用人或物体在X、Y或Z方向上相对于坐标系原点的相应坐标来定义人或物体的位置。然而，本领域技术人员应当理解，也可以使用其它类型的坐标系(例如，诸如柱面坐标系或球面坐标系)而不影响本文所述的功能。
图2A和图2B示出了与摄像头投影相关联的示例几何形状。如图所示，世界中(例如，图1的医疗环境100中)的3D点P可以被投影到图像平面上并且变为P’。由此，给定世界中的P的坐标(X,Y,Z)，图像平面中的P’的坐标(x,y)可以被导出为x＝fX/Z和y＝fY/Z，其中，f可以表示摄像头的焦距(例如，摄像头中心与投影平面之间的距离)。使用齐次坐标，摄像头投影可以被建模如下：
Figure BDA0003313314560000101
为了用像素坐标表达上述模型中的距离并添加对可以如何在x和y方向上缩放像素的控制，上面示出的模型可以被重写为：
Figure BDA0003313314560000102
其中，fx＝sxf、fy＝syf，sx和sy可以表示x、y方向上的缩放因子，并且(u0,v0)可以表示图像平面中的摄像头中心(例如，主点)的像素坐标。
如果图像平面的轴不是精确垂直的，则还可以向模型添加偏斜因子α，以考虑与方形像素的潜在未对准。内部摄像头模型然后可以被表达为：
Figure BDA0003313314560000103
此外，由于图像坐标系可以从世界坐标系旋转和/或平移(例如，经由刚性变换)，所以世界坐标系与图像坐标系之间的坐标变换可以进一步考虑两个坐标系之间的旋转和/或平移，如下例示：
Figure BDA0003313314560000111
其中，K(如下所示)可以表示包括摄像头的内部参数的内部摄像头矩阵，内部参数诸如摄像头的焦距、主点的像素坐标、一个或多个缩放因子、偏斜因子等，并且[R t](如下所示)可以表示指示世界坐标系与图像坐标系之间的旋转和平移的外部矩阵。
Figure BDA0003313314560000112
Figure BDA0003313314560000113
其中，外部矩阵中的参数r可以表示世界坐标系和图像坐标系的对应轴之间的相应旋转角度，并且其中，外部矩阵中的参数t可以表示世界坐标系和图像坐标系的原点之间的相应坐标偏移。
对于各个感测装置，可以通过一个或多个校准操作来确定本文所述的内部矩阵和外部矩阵的参数。校准操作可以在将感测装置安装在医疗环境中期间或之后(例如，在将感测装置添加到本文所述的传感器网络之后)执行。校准可以在没有人为干预的情况下自主地执行(例如，利用预先存在的标记和/或由感测装置拍摄的图像)。例如，可以利用单应矩阵H来估计内部参数和外部参数，该单应矩阵表示图像投影平面与图像之间(例如，图像投影平面上的点M和图像中的对应点m之间)的变换。这种变换可以表达如下：
Figure BDA0003313314560000114
其中，(x,y,1)和(X,Y,1)可以分别表示点M和m的坐标。
基于4)-6)，并且在不失一般性的情况下假设感测装置的图像投影平面在世界坐标系的Z＝0上，也可以获得以下方程：
Figure BDA0003313314560000121
(例如，通过使Z＝0并从6)删除第三列)。从7)和8)，可以导出以下方程：
Figure BDA0003313314560000122
其可以表达为K(r1,r2,t)＝(h1,h2,h3)。基于9)，可以进一步获得以下方程：
h1 TK-TK-1h2＝0 10)
h1 TK-TK-1h1-h2 TK-TK-1h2＝0 11)
现在令
Figure BDA0003313314560000123
B可以是对称的并且可以由向量b＝(B11,B12,B13,B22,B23,B33)T定义。通过将单应矩阵H的第i列表示为hi＝(hi1,hi2,hi3)T，可以导出以下方程：
hi TBhj＝vij Tb 12)
其中，vij＝(hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3)T。给定单应矩阵H，约束10)和11)然后可以被重写为b的齐次方程：
Figure BDA0003313314560000124
由此，基于图像投影平面的n个图像，像13)的n个方程可以被堆叠在一起以获得以下方程：
Vb＝0 14)
其中，V可以是2n×6矩阵。
由于B具有6个自由度，并且单应矩阵H具有8个自由度，所以可以使用平面(例如，诸如图像投影平面)的三个或更多个图像以及与该平面相关联的四个或更多个点来唯一地求解b(例如，至缩放因子)(例如，由于平面上的各个点以及在其所拍摄的图像中的对应点可以提供两个方程)。并且一旦b被估计，感测装置的内部矩阵K可以例如如下确定：
v0＝(B12B13-B11B23)/(B11B22-B12 2)
λ＝B33–[B13 2+v0(B12B13-B11B23)]/B11
Figure BDA0003313314560000131
Figure BDA0003313314560000132
α＝–B12fx 2fy/λ
u0＝αv0/fy-B13α2/λ
其中，λ可以表示缩放因子(例如，任意缩放因子)。
使用所确定的K，可以例如基于以下方程导出与感测装置相关联的外部参数：
r1＝λK-1h1
r2＝λK-1h2
r3＝r1xr2
t＝λK-1h3
其中，λ＝1/||K-1h1||＝1/||K-1h2||。
在感测装置的校准期间可以利用各种技术来获得估计本文所述的内部和外部参数所需的(例如平面的)图像和(例如平面中的)特征点。图3示出了校准感测装置310的示例。如图所示，在安装感测装置310的医疗环境中可识别平坦表面320。这种平坦表面320可以是例如位于扫描室或手术室中的病床。平坦表面320可包括多个标记330(例如，诸如图3所示的“X”的特征点)，这些标记可以是平坦表面的现有部分(例如，刻到表面板中的标记)和/或为了校准感测装置310的目的而特别创建和放置在平坦表面320上的标记。如本文所述，与平坦表面320相关联的四个或更多个标记以及包括这些标记的平坦表面320的三个或更多个图像可用于唯一地确定单应矩阵H和/或与感测装置310相关联的摄像头模型的内部和外部参数。在校准期间可以操纵(例如，升高、降低和/或倾斜)平坦表面320的位置，以扩充(例如，人工地)可以用于执行校准的标记和/或图像的数量。当平坦表面320处于特定位置时，可以使用感测装置310来拍摄平坦表面320的一组图像，并且可以例如通过感测装置310或被配置为促进感测装置310的校准的处理装置(例如，诸如图1的处理装置112)来确定各个捕捉的图像中的标记的相应(x,y)坐标。世界坐标系中的各个标记的(X,Y,Z)坐标可以例如基于由感测装置310或处理装置接收的配置信息、基于在安装或设置过程期间获得的测量结果等来确定。然后，可以基于摄像头和捕捉的图像中的标记的世界坐标来导出单应矩阵H和/或感测装置310的内部参数和外部参数。
一旦确定了感测装置的内部和外部摄像头模型参数，就可以基于人或物体在一个或多个图像中的坐标(例如，在图像坐标系中)来导出人或物体在世界中的位置(例如，人或物体在医疗环境100中的(X,Y,Z)坐标)。例如，给定物体或人的图像坐标(x,y)和深度值z(例如，可从深度图像或基于多个2D图像获得)，物体或人的世界坐标P可确定如下：
C＝inv(K)*(x,y,1)*z 15)
P＝inv(R)*(C-t) 16)
其中，K可以表示本文所述的内部矩阵，R可以表示本文所述的旋转矩阵，t可以表示本文所述的平移向量。
如果感测装置包括诸如深度或立体摄像头的3D视觉传感器，则人或物体在世界坐标系中的Z坐标可基于由3D视觉传感器提供的深度信息D来导出。然后，可以基于15)和16)通过填充人或物体在图像中的(x，y)坐标并使Z＝D来计算人或物体在世界坐标系中的(X，Y，Z)坐标。如果感测装置包括可能不提供人或物体的深度信息的2D视觉传感器，则可以使用由多个感测装置捕捉的图像来导出人或物体在世界坐标系中的Z坐标，然后可以基于15)和16)来计算人或物体的3D位置，类似于3D传感器示例。
图4示出了基于由两个摄像头L和R捕捉的图像确定点P的深度的示例(例如，使用三角测量)。如图所示，点P可以被投影到两个摄像头L和R的相应图像平面上。基于图5所示的几何形状，可以建立以下方程：
z/f＝x/xl
z/f＝(x-b)/xr
z/f＝y/yl＝y/yr
其中，f可以表示摄像头L和R的焦距，该焦距可以被确定为本文所述的内部参数的一部分，(x,y,z)可以表示点P的坐标(Y轴垂直于页面)，并且xl、yl、xr和xl可以表示点P在摄像头L和R的相应图像平面上的投影坐标。从上文，点P的深度(例如，Z坐标)可以基于点P在摄像头L和R的相应图像平面上的投影坐标之间的差异来确定，例如，如下：
z＝f*b/(xl-xr)
在示例实施方式中，如本文所述的处理装置(例如，图1的处理装置112)可被配置为从多个感测装置接收图像(例如，2D图像)，并应用本文所述的技术来确定图像中包括的人或物体的深度位置(例如，Z坐标)。使用深度信息和人或物体在一个或多个图像中的坐标，处理装置可例如基于15)和16)进一步确定人或物体在世界坐标系中的剩余坐标(例如，X和Y)。在示例中，可以使用本文所述的图像识别或分割技术来确定表示人或物体的图像的区域，并且可以基于表示人或物体的图像区域的中心像素来确定图像中的人或物体的坐标。在示例中，可基于从图像估计的人或物体的人体网格模型(例如，人体网格模型可为定义关键点的位置的参数模型)来确定图像中的人或物体的坐标，诸如人或物体的一或多个关键点(例如，鼻子、左手等)的坐标。
如本文所述的处理装置(例如，图1的处理装置112)可配置有图像识别能力，该图像识别能力用于识别由感测装置(例如，图1的感测装置110)捕捉的图像中的人或物体。人或物体的识别可以用于多个目的，包括例如确定图像中的人或者物体的坐标、跨多个图像跟踪人或物体、从储存库(例如，图1的数据库118)自动检索人的病历等。
处理装置可以被配置为经由诸如卷积神经网络(CNN)的人工神经网络来执行图像识别相关功能。CNN可被训练成接收图像，从图像提取视觉特征或模式(例如，以特征图或特征向量的形态)，并且产生输出，该输出指示所提取的特征或模式是否落入特定类别或种类(例如，患者、医师、诸如图1所示的C型臂106的特定医疗装置等)。CNN可以包括多个层，包括例如输入层、一个或多个卷积层、一个或多个池化层、一个或多个全连接层和/或输出层。各个卷积层可包括被配置为检测图像中共同表示视觉特征或模式的关键点的多个过滤器(例如，核)。过滤器可以被分配相应的权重，当被应用于输入时，这些权重产生指示是否检测到特定特征或模式的输出。CNN的权重可以通过训练过程来学习。例如，在训练期间，CNN可以接收各种训练图像，并且可以使用当前分配的权重来处理这些图像，以做出关于图像中是否已经识别出人或物体(例如，本文所述的医疗装置)的预测。预测可以与金标准进行比较，并且预测与金标准之间的差异可以例如基于损失函数来确定。CNN然后可以基于所确定的损失(例如，基于损失函数的梯度下降)更新其权重，目的是减小预测与金标准之间的差异。CNN可以通过多个训练迭代和/或针对多个训练图像重复这些操作，直到已经满足一组预定义的训练终止准则为止。
图5例示了用于训练本文所述的神经网络以执行图像识别的示例过程500。过程500可以在502开始，并且在504，神经网络可以初始化其操作参数，诸如与神经网络的一个或多个过滤器或核相关联的权重。神经网络例如可以基于来自具有类似架构的另一神经网络的一个或多个概率分布或参数值的样本来初始化参数。在506，神经网络可以接收训练图像，通过神经网络的各个层处理图像，并且使用神经网络的当前分配的参数进行预测。预测可以是例如训练图像是否包括人(例如，患者、医师等)和/或特定物体(例如，诸如图1所示的C型臂106的医疗装置)。在508，神经网络可以将预测结果与金标准进行比较，并且例如使用损失函数来确定预测结果与金标准之间的差异。损失函数可以基于例如预测与金标准之间的均方误差(MSE)。在510，神经网络可以确定是否满足一个或多个训练终止准则。例如，如果预测结果与金标准之间的差异低于预定阈值，如果两个训练迭代之间的损失函数的变化低于预定阈值，或者如果神经网络已经完成预定数量的训练迭代，则神经网络可以确定训练终止准则被满足。如果在510确定不满足训练终止准则，则神经网络可以进行到512，以经由反向传播来更新当前分配的神经网络参数。例如，可以基于与损失函数相关联的梯度下降(例如，随机梯度下降)来执行更新。然后，神经网络可以返回到506以重复506-510的操作。如果在510确定满足训练终止准则，则神经网络可以在514结束训练过程500。
在本文提供的示例中，一个或多个任务被描述为由诸如处理装置112的处理装置例如以集中的方式发起和/或实施。然而，应当注意，任务也可以分布在多个处理装置(例如，经由通信网络114互连、布置在云计算环境中等)之间并且以分布式方式执行。进一步地，即使处理装置在本文中已被描述为与感测装置(例如，感测装置110)分离的装置，处理装置的功能也可经由一个或多个感测装置来实现(例如，一个或多个感测装置110可包括被配置为执行本文所述的处理装置112的功能的相应处理器)。因此，在一些示例实施方式中，可以不包括单独的处理装置，并且一个或多个感测装置(例如，感测装置110)可以承担处理装置的责任。
图6示出了可以由处理装置(例如，图1的处理装置112)和/或一个或多个感测装置(例如，感测装置110)执行以使医疗环境(例如，图1的医疗环境100)自动化的示例操作。操作可以在602开始。在604，可以校准一个或多个感测装置(例如，已经安装在医疗环境中)，以准备在医疗环境中操作。校准可由处理装置(例如，使用由各个感测装置捕捉的图像)和/或由各个感测装置(例如，与处理装置和/或一个或多个其它感测装置通信)执行。为了便于描述，至少一些校准操作在本文中将被描述为由处理装置执行，即使它们也可以由一个或多个感测装置执行。校准可以包括确定感测装置的相应参数，相应参数可以包括例如与感测装置的相应视觉传感器(例如，摄像头)相关联的内部参数和外部参数，如本文所述。为了确定这些参数，各个感测装置可以被配置为拍摄医疗环境中的物体(例如，病床)的一个或多个图像。物体可以包括多个标记(例如，如图3所示)，并且可以在物体处于不同位置时(诸如当物体处于不同高度时)拍摄图像(例如，以便增加可以用于校准的数据量)。图像可以被传输到处理装置，在此时，处理装置可以检测(例如，经由CNN自动地)图像中的标记，并且进一步确定图像中的标记的坐标(例如，在图像坐标系中)。处理装置还可以例如基于医疗环境的配置信息来采集标记的世界坐标(例如，在医疗环境中)。处理装置然后可以基于摄像头和所捕捉的图像中的标记的世界坐标来确定感测装置的内部和外部摄像头参数(和/或与感测装置相关联的单应矩阵H)。
一旦感测装置被校准，在606，感测装置可以开始捕捉医疗环境的图像和/或将医疗环境的图像传输到处理装置。响应于接收到图像，处理装置可以例如经由处理装置的CNN分析图像(例如，在像素级)，从图像提取视觉特征，并且识别图像中的一个或多个人(例如，医师和/或患者)和/或物体(例如，工具、装置等)。在608，处理装置可以基于在图像中检测到的人和/或物体和/或可以由处理装置采集的其他信息来确定医疗环境的特征。比如，处理装置可以确定人或物体在医疗环境中的相应位置，并且基于所确定的位置来学习人或物体的空间关系。处理装置可从可由不同感测装置捕捉的多个图像汇集信息(例如，将多个图像拼接在一起)，以便确定人或物体的位置。处理装置可通过利用处理装置可能已经经由本文所述的校准过程采集的关于感测装置的参数(例如，诸如感测装置的相对位置)的知识来完成此任务。例如，处理装置可以基于由相应的感测装置捕捉的两个图像例如使用本文所述的三角测量技术来确定医疗环境中的人或物体的深度(例如，Z坐标)。处理装置还可以基于感测装置的摄像头参数和/或图像中的人或物体的(x,y)坐标来确定医疗环境中的人或物体的(X,Y)坐标。
在610，处理装置可以生成用于使医疗环境中的操作的一个或多个方面自动化的信息和/或控制信号。例如，处理装置可以向接收装置(例如，诸如本文所述的C形臂X射线扫描仪的医疗装置的控制单元)传输消息，使得医疗装置可以自动地朝向医疗环境中的患者移动。消息可以包括医疗装置和/或患者在医疗环境中的位置信息、和/或用于医疗装置的导航指令，使得医疗装置在朝向患者移动时不会与环境中的其他物体碰撞。作为另一示例，处理装置可以检测医疗环境中的冗余人员、工具和/或装置，并且将检测报告给例如医疗环境的控制者。作为又一示例，处理装置可以对在医疗环境中执行的操作执行时间分析，并且确定针对患者执行的医疗过程的当前阶段。处理装置然后可以自动推荐和/或定位工具或装置，以适应医疗过程的当前和/或后续阶段。
例如，当在医疗环境中添加新的感测装置和/或检测到新的物体和人时，处理装置可以连续地执行604-610的操作。例如，如果处理装置在医疗环境中没有检测到活动和/或如果处理装置接收到停止操作的命令，则处理装置可以在612停止执行这些操作(例如，进入空闲状态)。
图7例示了可以放置或安装在医疗环境(例如，图1的医疗环境100)中以促进医疗环境的自动化的示例感测装置700(例如，图1所示的感测装置110)。感测装置700可以包括传感器702、功能单元704和/或电源706，它们可以被配置为容纳在壳体中。尽管在图中示出了两个传感器，但是感测装置700可以包括任意数量的传感器。进一步地，尽管在图7中将一个或多个部件示出为在功能单元704的内部或外部，但是这些部件可以在不影响本文所述的感测装置的功能的情况下移出或移入功能单元704。
如本文所述，传感器702可以包括RGB传感器、深度传感器、RGB加深度(RGB-D)传感器、热传感器(诸如FIR或NIR传感器)、雷达传感器、运动传感器、摄像头(例如，数字摄像头)和/或被配置为生成传感器的FOV中的人、物体和/或场景的图像(例如，2D图像或照片)的其他类型的图像捕捉电路。由传感器702生成的图像可以包括例如人、物体或场景的一个或多个照片、热图像和/或雷达图像。各个图像可以包括共同表示人、物体或场景的图形视图且可以经分析以提取表示人、物体或场景的一个或多个特性的特征的多个像素。
传感器702可以例如经由有线或无线通信链路通信地耦合到功能单元704。传感器702可以被配置为将由传感器生成的图像传输到功能单元704(例如，经由推送机制)，或者功能单元704可以被配置为从传感器702检索图像(例如，经由拉动机制)。传输和/或检索可以周期性地(例如，基于预先配置的时间表)或者响应于接收到触发传输或检索的控制信号来执行。功能单元704可以被配置为控制传感器702的操作。例如，功能单元704可以传输调节传感器702的FOV(例如，通过操纵传感器702的方向或取向)的命令。作为另一示例，功能单元704可以传输改变传感器702拍摄人、物体或场景的图像的分辨率的命令。
传感器702和/或功能单元704(例如，功能单元704的一个或多个部件)可以由电源706供电，该电源可以包括交流(AC)电源或直流(DC)电源(例如，电池电源)。当使用诸如电池电源的DC电源时，电源706可以是可再充电的，例如，通过经由有线或无线连接从外部源接收充电电流。例如，充电电流可以通过将感测装置700经由充电电缆和/或充电适配器(包括USB适配器)连接到AC插座来接收。作为另一示例，充电电流可以通过将感测装置700放置成与充电垫接触来无线地接收。
功能单元704可以包括通信接口电路708、数据处理装置710、计算单元712、数据渲染单元714、存储器716或编程和/或校准应用编程接口(API)718中的一个或多个。应注意，图7所示的部件仅作为示例而提供，且不意指限制本公开的范围。例如，功能单元704不限于包括如图7所示的确切部件。可以组合部件中的两个或更多个(例如，部件的功能)，部件中的任何一个可以被分成子部件，可以省略部件中的任何一个，可以添加更多部件等。由此可见，即使感测装置700的功能在本文中被描述为与相应的一个或多个部件相关联，但是应当理解，这些功能也可以由不同的部件来执行和/或在多个其它部件之间划分。
功能单元704可以被配置为经由通信接口电路708从传感器702接收或检索图像，该通信接口电路可以包括一个或多个有线和/或无线网络接口卡(NIC)，诸如以太网卡、WiFi适配器、移动宽带装置(例如，4G/LTE/5G卡或芯片组)等。在示例中，相应NIC可以被指定为与相应传感器通信。在示例中，统一NIC可以被指定为与多个传感器通信。
从传感器702接收或检索的图像可以被提供给数据处理装置710，数据处理装置可以被配置为分析图像并且执行本文所述的一个或多个操作(例如，包括本文所述的处理装置112的操作)。数据处理装置710的功能可以由计算单元712促进，该计算单元可以被配置为基于由传感器702产生的图像执行各种计算密集型任务，诸如特征提取和/或特征分类。计算单元712可以被配置为实施一个或多个神经网络，诸如本文所述的一个或多个CNN。数据渲染单元714可以被配置为生成本文所述的一个或多个视觉表示，包括例如2D或3D人体模型的表示、医疗环境的模拟等。
数据处理装置710、计算单元712或数据渲染单元714中的每一个可以包括一个或多个处理器，诸如中央处理装置(CPU)、图形处理装置(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理装置(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其组合。数据处理装置710、计算单元712和/或数据渲染单元714还可以包括能够执行本文所述功能的其它类型的电路或处理器。进一步地，数据处理装置710、计算单元712或数据渲染单元714可以利用存储器716来促进本文描述的操作中的一个或多个。例如，存储器716可以包括被配置为存储数据和/或指令的机器可读介质，当执行该数据和/或指令时，使得处理装置710、计算单元712或数据渲染单元714执行本文所述的功能中的一个或多个。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。并且尽管图7中未示出，但是感测装置700还可以包括一个或多个大容量储存装置，其包括磁盘，诸如内置硬盘、可移动盘、磁光盘、CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于执行本文所述的功能。
感测装置700的操作可以例如使用诸如图1中的编程装置116的远程编程装置通过编程/校准API 718来配置和/或控制。在示例中，编程/校准API 718可以被配置为从编程装置接收命令(例如，一个或多个数字消息)，该命令调节感测装置700的执行参数，诸如传感器的取向和/或FOV、传感器捕捉图像的分辨率、从传感器接收或检索图像的周期等。响应于从编程装置接收命令，感测装置700(例如，功能单元704)可以根据该命令调节其操作的一个或多个方面。比如，如果命令指定较高输出质量，则感测装置700可以作为响应输出高分辨率图像，并且如果命令指定较高帧率，则感测装置300可以以增加的帧率输出较低分辨率图像。
感测装置700(例如，功能单元704)也可以被配置为通过编程/校准API 718接收临时(ad hoc)命令。这种临时命令可以包括例如放大或缩小传感器的命令、重置感测装置700(例如，重启装置或将装置的一个或多个执行参数重置为默认值)的命令、启用或停用感测装置700的特定功能的命令等。感测装置700(例如，功能单元704)也可以经由编程/校准API718被编程和/或训练(例如，通过网络)。例如，感测装置700可以在初始配置过程期间和/或之后通过编程/校准API 718接收训练数据和/或操作逻辑。
感测装置700和/或功能单元704可以被配置为是模块化且可扩展的，使得传感器、通信电路、数据处理装置、计算单元和/或数据渲染单元可以被添加到感测装置700或从其去除，例如，以适应医疗环境中的不同系统设置、配置和/或要求。例如，如果输出质量是医疗环境中的优先级，则高分辨率传感器(例如，高分辨率摄像头)可以被包括在(例如，添加到)感测装置700中以满足优先级。另一方面，如果优先级是关于输出速度(例如，帧率)，则可以使用具有较低分辨率的传感器(例如，摄像头)和/或具有较快比特率的通信电路(例如，以太网卡而不是WiFi卡)来满足输出要求。作为另一示例，感测装置700可以被配置为与医疗环境中的多个装置(诸如多个成像模式(例如，CT、MR等))一起工作(例如，同时工作)，在这种情况下，感测装置可以包括用于相应的医疗装置的相应组的传感器、通信电路、电源、处理器(例如，本文所述的数据处理装置、计算单元和/或数据渲染单元)。作为又一示例，感测装置700可以被配置为接收多个患者的图像(例如，从不同传感器)，并且基于图像例如同时生成患者的相应2D或3D模型。在这种场景中，感测装置700可以包括用于捕捉并处理相应患者的相应图像的相应组的传感器、通信电路、电源、处理器(例如，本文所述的数据处理装置、计算单元和/或数据渲染单元)。
在示例中，感测装置700和/或功能单元704可以包括多个槽(例如，扩展板等)，各个槽配备有能够通过有线或无线通信链路传输和接收信息的电源连接器或通信电路(例如，网络接口卡、USB端口等)中的至少一个。传感器和/或处理器(例如，本文所述的数据处理装置、计算单元和/或数据渲染单元)可以被容纳在(例如，插入)这些槽中，在这些槽上，传感器和/或处理器可以通过相应的电源连接器接收电力，并且经由相应的通信电路与一个或多个内部或外部装置执行数据交换。这些传感器和处理器可以分别具有与本文所述的传感器702、数据处理装置710、计算单元712以及数据渲染单元714类似的能力，并且可以被添加到感测装置700或从其去除，例如以适应其中安装感测装置700的医疗环境中变化的条件和/或要求。这样，感测装置700可以是模块化且可扩展的，以处理与不同患者、装置、和/或成像模式相关联的数据处理任务。在其他示例情况下，诸如当计算量、通信量和/或数据存储工作量接近或超过一组传感器和/或处理器的能力时，可以添加更多的传感器和/或处理器以分享工作量。
本文所述的处理装置(例如，图1的处理装置112)可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图8例示了本文所述的处理装置800的示例部件。如图所示，处理装置800可以包括处理器802，该处理器可以是中央处理装置(CPU)、图形处理装置(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理装置(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。处理装置800还可以包括通信电路804、存储器806、大容量储存装置808、输入装置810、显示装置812和/或通信链路814(例如，通信总线)，图8所示的一个或多个部件可以通过该通信链路交换信息。通信电路804可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器806可以包括被配置为存储机器可读指令的存储介质，当机器可读指令被实行时，使得处理器802执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置808可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器802的操作。输入装置810可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收处理装置800的用户输入。显示装置812可以包括一个或多个监视器(例如，计算机监视器、TV监视器、平板电脑、诸如智能电话的移动装置等)、一个或多个扬声器、一个或多个增强现实(AR)装置(例如，AR护目镜)和/或被配置为促进内容在显示装置812上的视觉表示的其他附件。这些内容可以包括例如由处理装置生成的信息，诸如患者的3D网格、医疗装置的模拟移动、辐射暴露随时间的规划等。显示可以以各种格式呈现，包括例如视频、动画和/或AR呈现。
应当注意，处理装置800可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图8中仅示出了各个部件的一个实例，本领域技术人员将理解，处理装置800可以包括图中示出的一个或多个部件的多个实例。此外，尽管处理装置的示例操作可以在本文中以特定顺序描绘和描述，但是操作也可以以其他顺序、同时和/或与本文中未呈现或描述的其他操作一起发生。不是处理装置能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由处理装置执行。
尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种用于使医疗环境自动化的系统，包括：
一个或多个感测装置，其被配置为捕捉所述医疗环境的图像，其中，所述图像与相应的图像坐标系相关联，并且所述医疗环境与世界坐标系相关联；和
至少一个处理装置，其通信地耦合到所述一个或多个感测装置并且被配置为：
接收由所述一个或多个感测装置捕捉的所述图像的全部或子集；
识别所述所接收的图像中的一个或多个人或一个或多个物体；
基于所述一个或多个人或所述一个或多个物体在所述所接收的图像中的相应位置来确定所述一个或多个人或所述一个或多个物体在所述医疗环境中的相应位置，其中，所述一个或多个人或所述一个或多个物体在所述医疗环境中的所述相应位置基于与所述所接收的图像相关联的所述世界坐标系与所述图像坐标系之间的相应空间关系来确定；
根据所述所确定的所述一个或多个人或所述一个或多个物体在所述医疗环境中的位置来生成用于控制位于所述医疗环境中的医疗装置的信息；并且
将用于控制所述医疗装置的所述信息传输到接收装置。
2.根据权利要求1所述的系统，其中，在所述所接收的图像中识别的所述一个或多个物体包括所述医疗装置，在所述所接收的图像中识别的所述一个或多个人包括患者，并且用于控制所述医疗装置的所述信息包括将所述医疗装置的至少一部分朝向所述患者移动的指令，其中，用于控制所述医疗装置的所述信息包括导航指令，所述导航指令防止所述医疗装置的所述部分在所述医疗装置的所述部分朝向所述患者移动时与在所述所接收的图像中识别的其他人或物体碰撞，其中，用于控制所述医疗装置的所述信息包括所述医疗装置的所述部分朝向所述患者的移动路径的规划。
3.根据权利要求1所述的系统，其中，由所述至少一个处理装置接收的所述图像包括所述医疗环境中的患者的图像，所述至少一个处理装置被配置为基于所述患者的所述图像来确定所述患者的扫描区域或手术区域，并且用于控制所述医疗装置的所述信息包括将所述医疗装置的所述部分朝向所述患者的所述扫描区域或所述手术区域移动的指令，其中，所述至少一个处理装置被配置为基于所述患者的所述图像生成所述患者的参数人体模型，并且基于所述参数人体模型确定所述患者的所述扫描区域或所述手术区域。
4.根据权利要求1所述的系统，其中，在所述所接收的图像中识别的所述一个或多个物体包括辐射源，并且所述至少一个处理装置被配置为基于所述辐射源和所述一个或多个人在所述医疗环境中的所述相应位置来确定在所述所接收的图像中检测到的所述一个或多个人的相应辐射暴露。
5.根据权利要求1所述的系统，其中，所述至少一个处理装置还被配置为基于在所述所接收的图像中识别的所述一个或多个人或所述一个或多个物体来确定在所述医疗环境中执行的医疗过程的阶段，其中，所述至少一个处理装置被配置为采集关于所述医疗过程的各个阶段的信息，并且还基于所述所采集的信息来确定所述医疗过程的所述阶段。
6.根据权利要求1所述的系统，其中，所述一个或多个人或所述一个或多个物体在所述医疗环境中的所述相应位置由所述一个或多个人或所述一个或多个物体在所述世界坐标系中的相应坐标来指示，并且所述一个或多个人或所述一个或多个物体在所述所接收的图像中的所述相应位置由所述一个或多个人或所述一个或多个物体在与所述所接收的图像相关联的所述相应图像坐标系中的相应坐标来指示。
7.根据权利要求1所述的系统，其中，所述至少一个处理装置被配置为基于由所述一个或多个感测装置捕捉的处于所述医疗环境中的一个或多个标记的图像来确定所述世界坐标系与所述图像坐标系之间的所述相应空间关系，其中，所述至少一个处理装置被配置为：
确定所述一个或多个标记在与所述一个或多个标记的各个所述图像相关联的所述图像坐标系中的相应坐标；
确定所述一个或多个标记在所述世界坐标系中的相应坐标；并且
基于所述一个或多个标记在所述图像坐标系中的所述相应坐标以及所述一个或多个标记在所述世界坐标系中的所述相应坐标，来确定与所述一个或多个标记的各个所述图像相关联的所述世界坐标系和所述图像坐标系之间的旋转和平移。
8.根据权利要求1所述的系统，其中，所述一个或多个感测装置中的每一个感测装置包括被配置为捕捉所述医疗环境的二维(2D)图像的2D视觉传感器或被配置为捕捉所述医疗环境的三维(3D)图像的3D视觉传感器，或者，所述至少一个处理装置被配置为基于由第一感测装置捕捉的第一2D图像和由第二感测装置捕捉的第二2D图像来确定人或物体的深度位置。
9.一种被配置为使医疗环境自动化的设备，包括至少一个处理器，其中，所述至少一个处理器被配置为：
接收所述医疗环境的多个图像；
使用卷积神经网络来识别所述所接收的图像中的一个或多个人或一个或多个物体；
基于所述一个或多个人或所述一个或多个物体在所述所接收的图像中的相应位置以及与所述医疗环境相关联的世界坐标系和与各个所述所接收的图像相关联的图像坐标系之间的相应空间关系，来确定所述一个或多个人或所述一个或多个物体在所述医疗环境中的相应位置；
根据所述所确定的所述一个或多个人或所述一个或多个物体在所述医疗环境中的位置来生成用于控制所述医疗环境中的医疗装置的命令；并且
将所述命令传输到接收装置。
10.一种用于使医疗环境自动化的方法，所述方法包括：
从一个或多个感测装置接收所述医疗环境的图像，其中，所述图像与相应的图像坐标系相关联，并且所述医疗环境与世界坐标系相关联；
识别所述所接收的图像中的一个或多个人或一个或多个物体；
基于所述一个或多个人或所述一个或多个物体在所述所接收的图像中的相应位置以及所述世界坐标系和与所述所接收的图像相关联的所述图像坐标系之间的相应空间关系，来确定所述一个或多个人或所述一个或多个物体在所述医疗环境中的相应位置；
根据所述所确定的所述一个或多个人或所述一个或多个物体在所述医疗环境中的位置来生成用于控制位于所述医疗环境中的医疗装置的信息；以及
将所生成的用于控制所述医疗装置的所述信息传输到接收装置。
CN202111251538.6A 2020-10-27 2021-10-20 医疗环境的自动化方法，系统和设备 Pending CN113963780A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/081,381 2020-10-27
US17/081,381 US11540801B2 (en) 2020-10-27 2020-10-27 Automating a medical environment

Publications (1)

Publication Number Publication Date
CN113963780A true CN113963780A (zh) 2022-01-21

Family

ID=79467248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251538.6A Pending CN113963780A (zh) 2020-10-27 2021-10-20 医疗环境的自动化方法，系统和设备

Country Status (2)

Country Link
US (2) US11540801B2 (zh)
CN (1) CN113963780A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11839777B2 (en) * 2020-09-21 2023-12-12 Shanghai United Imaging Healthcare Co., Ltd. Medical systems including a positioning lamp and a projection device and control methods of the medical systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5902239A (en) * 1996-10-30 1999-05-11 U.S. Philips Corporation Image guided surgery system including a unit for transforming patient positions to image positions
US9785246B2 (en) * 2010-10-06 2017-10-10 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
US9886534B2 (en) * 2016-02-03 2018-02-06 Varian Medical Systems, Inc. System and method for collision avoidance in medical systems
CN107468351A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种手术定位装置、定位系统及定位方法
US20200297444A1 (en) * 2019-03-21 2020-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for localization based on machine learning
US11276166B2 (en) * 2019-12-30 2022-03-15 GE Precision Healthcare LLC Systems and methods for patient structure estimation during medical imaging

Also Published As

Publication number Publication date
US20220125400A1 (en) 2022-04-28
US20230132936A1 (en) 2023-05-04
US11937967B2 (en) 2024-03-26
US11540801B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US11335456B2 (en) Sensing device for medical facilities
CN111031897B (zh) 用于分析皮肤状况的系统和方法
CN109564690B (zh) 使用多向相机评估封闭空间的尺寸
CN107403463B (zh) 在成像系统中具有非刚性部分的人体表示
CN112258567B (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
TWI476729B (zh) Dimensional image and three - dimensional model of the combination of the system and its computer program products
CN111192321B (zh) 目标物三维定位方法与装置
KR20220160066A (ko) 이미지 처리 방법 및 장치
JP2024015376A (ja) 入力装置および入力装置の入力方法、ならびに、出力装置および出力装置の出力方法
WO2017017790A1 (ja) 画像生成装置、画像生成システム及び画像生成方法
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN102970514A (zh) 映像监视装置、映像监视方法以及程序
US11937967B2 (en) Automating a medical environment
US11475997B2 (en) Systems and methods for automated healthcare services
CN112489745A (zh) 用于医疗设施的感测装置及实施方法
US20240005556A1 (en) System and method for assessing imaged object location
US20240099774A1 (en) Systems and methods for surgical task automation
US20240164758A1 (en) Systems and methods for generating patient models based on ultrasound images
WO2020137092A1 (ja) 領域特定装置、方法およびプログラム
Chang et al. Using line consistency to estimate 3D indoor Manhattan scene layout from a single image
US20240177326A1 (en) Systems and methods for human model recovery
Yang et al. Model-based 3d object tracking using an extended-extended Kalman filter and graphics rendered measurements
Schacter Multi-camera active-vision system reconfiguration for deformable object motion capture
CN115272581A (zh) 用于构建三维(3d)人体模型的方法及设备
Jandeleit et al. A target-free approach to estimate thermal camera pose in LiDAR scenes of feature-deficient environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination