CN109077752A - 移动机器臂 - Google Patents

移动机器臂 Download PDF

Info

Publication number
CN109077752A
CN109077752A CN201810543000.4A CN201810543000A CN109077752A CN 109077752 A CN109077752 A CN 109077752A CN 201810543000 A CN201810543000 A CN 201810543000A CN 109077752 A CN109077752 A CN 109077752A
Authority
CN
China
Prior art keywords
robotic arm
data collection
exercise data
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810543000.4A
Other languages
English (en)
Other versions
CN109077752B (zh
Inventor
J·弗鲁顿伯格
S·海德
P·莫尔纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN109077752A publication Critical patent/CN109077752A/zh
Application granted granted Critical
Publication of CN109077752B publication Critical patent/CN109077752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4209Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4209Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4272Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/429Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Manipulator (AREA)

Abstract

本公开的实施例涉及移动机器臂。公开了一种用于移动用于超声检查的机器臂的方法(超声探头被附接到机器臂)、一种相关联的超声系统、一种用于提供经训练的人工神经网络的方法、一种相关联的第二计算单元以及一种相关联的计算机程序产品。

Description

移动机器臂
技术领域
本发明涉及一种用于移动用于超声检查的机器臂的方法,超声探头被附接到机器臂。本发明还涉及一种相关联的超声系统、一种用于提供经训练的人工神经网络的方法、一种相关联的第二计算单元、以及一种相关联的计算机程序产品。
背景技术
通常而言,超声系统使得检查对象(特别是人类患者)的要被检查的身体能够被非侵入地检查。用于医学诊断的超声系统通常包括超声探头,其由医师放置在患者的身体表面上,并且与患者的皮肤紧密接触,生成超声图像。为此,超声探头包含一维或二维压电阵列,其中电发射脉冲被转换成具有特定频率或在特定频带中的压力脉冲,或者压力脉冲被转换成电接收信号。一般地,超声图像可以从电接收信号生成,超声图像通常以特定模式被可视化。
通常,超声探头在超声检查期间移动。在US 9,420,997 B2中描述了一种方法,其中运动伪影可以在超声诊断成像中被抑制。
机器臂与超声探头的组合在WO 2017 020 081 A1中被公开。
人工神经网络成为科学和工业领域的关注焦点已经相当长的时间。人工神经网络基于自然神经网络来建模,自然神经网络由大脑和脊髓中的神经细胞相互连接而形成。人工神经网络通常包括多个节点以及节点之间的连接。在训练阶段,神经网络能够基于连接权重的变化来学习。在挑战性应用中,人工神经网络通常比竞争的机器学习方法提供更好的结果。
DE 10 2015 212 953 A1描述了经训练的人工神经网络的可能应用。
发明内容
本发明基于以下目标:公开一种用于移动用于超声检查的机器臂的方法(超声探头被附接到机器臂)、一种相关联的超声系统、一种用于提供训练的人工神经网络的方法、一种相关联的第二计算单元、以及一种相关联的计算机程序产品。
该目标通过独立的权利要求的特征来实现。有利的实施例在从属权利要求中被公开。
该目标根据本发明以下文所述的方式实现,其与要求保护的超声系统和用于移动用于超声检查的机器臂的方法有关,并且与要求保护的用于提供经训练的人工神经网络的方法有关,以及与第二计算单元和相关联的计算机程序产品有关。在这方面提及的特征、优点或备选实施例变型也适用于其他要求保护的技术方案,反之亦然。换言之,目标相关的权利要求(其涉及例如超声系统)也可以使用结合一种方法所描述的或要求保护的特征来开发。在这种情况下,该方法的对应功能性特征通过与对应的、目标相关的模块来实施。
根据本发明的用于移动用于超声检查的机器臂的方法,其中超声探头被附接到机器臂,包括以下方法步骤:
-提供经训练的人工神经网络,
-记录医学问题,
-通过将经训练的人工神经网络应用于医学问题来确定包含机器臂的运动序列的运动数据集,
-将运动数据集传送给机器臂的控制单元,以及
-根据运动数据集的运动序列来移动机器臂。
以这种方式,根据本发明的方法可以允许更好和更直接的超声检查。特别地,本发明因此可以提供许多优点:
例如,在移动期间,机器臂可以辅助用户和/或机器臂自动移动。例如当用户(特别是医师)由于缺少经验或对超声检查不熟悉,或者由于同时在执行外科手术干预,而在超声检查期间要求辅助时,这特别有利。此外可能的是,在没有医师,因而没有熟悉超声检查的用户可得以执行超声检查的情况下,超声检查通过机器臂自动移动来被自动执行或甚至被自主执行。优选地,机器臂不需要由经验丰富的专业超声医师远程控制。此外,用于移动机器臂的两种方法中的高度可重复性应该被重视,由于该高度可重复性,在超声检查和/或超声检查的实际执行中的成本节省完全是可能的。由于该高度可重复性,机器臂对于超声检查特别有利,其中超声探头被附接到机器臂。例如,在大量人群中筛查心脏功能可以因此以经济有效且高度自动化的方式被执行。
特别地,人工神经网络(ANN)是由在计算机程序中模拟的人工神经元组成的网络。在这种情况下,人工神经网络通常是基于多个人工神经元的网络。在这种情况下,人工神经元通常被布置在不同的层。人工神经网络通常包括输入层和输出层,输出层的神经元输出作为人工神经网络的唯一输出是可见的。输入层与输出层之间的中间层通常被称为隐藏层。人工神经网络的架构和/或拓扑通常在第一阶段被初始化,然后在针对特定任务的训练阶段中或针对多个任务的训练阶段中被训练。在这种情况下,人工神经网络的训练通常包括对人工神经网络的两个人工神经元之间的连接的权重进行改变。人工神经网络的训练还可以包括人工神经元之间的新连接的发展、人工神经元之间现有连接的删除、人工神经元的阈值的调整和/或人工神经元的添加或删除。因此,两个不同的经训练的人工神经网络能够执行不同的任务,即使例如它们具有相同的架构和/或拓扑。
人工神经网络的一个示例是浅层人工神经网络,其通常仅包含输入层与输出层之间的单个隐藏层,因此相对容易训练。另一个示例是深度人工神经网络,其在输入层和输出层之间包含多个(例如多达十个)人工神经元的交错隐藏层。这种情况下的深度人工神经网络使得改进的模式识别和复杂的相互关系成为可能。此外,附加地使用卷积滤波器(例如,边缘滤波器)的深度卷积人工神经网络可以被选择,以确定运动数据集。
现在提出选择以这种方式实施的经训练的人工神经网络,经训练的人工神经网络应用到医学问题,使得能够确定运动数据集。在这种情况下,通过将经训练的人工神经网络应用于医学问题,经训练的人工神经网络可以仅适用于确定运动数据集。备选地,它也可以承担其他任务。可能发生的是,不同的人工神经网络被建立,它们同样能够执行运动数据集的确定。
在本发明的方法中,特别地,已经训练的人工神经网络被提供,用于通过将经训练的人工神经网络应用于医学问题来确定运动数据集。在这种情况下,人工神经网络的训练可能已经借助于至少一个训练运动数据集并借助于至少一个医学训练问题已经完成。用于训练人工神经网络的各种选项在下文部分的一个部分中被描述。有利地,人工神经网络可以借助于在下文部分的一个部分中描述的、根据本发明的方法来训练,以提供经训练的人工神经网络,用于确定包含用于超声检查的机器臂的运动序列的运动数据集,其中超声探头被附接到机器臂。
医学问题的记录可以包括:传感器(特别是相机)提供医学问题的至少一个参数。备选地或附加地,还可以设想,医学问题的记录包括用户借助图形用户界面提供医学问题的至少一个参数。基本上也可以设想,传感器和用户二者都提供医学问题的至少一个参数。
传感器(特别是光学相机)可以优选地适合于捕获要被检查的人(特别是患者)的图像。图像识别过程可以借助合适的和已知的算法来执行。优选地,传感器可以捕获要被检查的人的多个图像,例如在胶片记录中。图像识别过程也可以应用于胶片记录。医学问题的至少一个参数可以借助于图像识别过程来采集,该参数由例如传感器的控制单元提供。医学问题可以包括借助图像识别过程采集的至少一个参数。
基本上也可以设想,传感器具有多个传感器部件,每个传感器部件表征不同的传感器技术。
用户可以例如在图形用户界面上提供医学问题的至少一个参数。为此,规划单元具有例如监视器,监视器具有图形用户界面。通常,用户可以通过输入设备与图形用户界面交互。优选地,图形用户界面可以提供默认值,或包含用户可以查看和选择的典型值或参数的列表。基本上也可以设想,用户可以自由地输入或选择医学问题的至少一个参数。医学问题的至少一个参数可以完全由传感器提供、完全由用户提供、或部分由传感器提供,部分由用户提供。
在另一实施例中,医学问题包括来自以下列表的至少一个参数:
-患者要被检查的身体区域,
-超声检查的模式,
-超声检查的频率,以及
-针对超声检查的规范。
患者要被检查的身体区域可以包括患者在超声检查中要被检查的区域或部分。要被检查的身体区域的示例是腹部、胸部或颈部。通常还可以设想,要被检查的身体区域还涉及诸如患者的肝、心脏、胆囊或甲状腺之类的器官。通常而言,传感器可以简单地感测患者身体的表面,并且例如借助于图像识别来确定对应的身体区域。为了定位患者的器官,备选的成像系统可能在某些情况下会被需要,例如基于X射线的荧光透视系统,或优选地,超声系统。
取决于规范,超声检查可以使用不同的超声探头来执行。超声图像可以从该过程中生成的超声测量数据来确定,该数据基本上对应于电接收信号。所确定的超声图像可以以不同的方式被评估和可视化,该过程被称为模式(或程式)。除了A模式(超声测量数据的幅度曲线)之外,要被检查的身体区域的二维截面图像(切片)通常实时生成。所确定的超声图像的形式可以取决于超声探头。超声检查的时间分辨率通常是超声检查的另外的测量参数的函数,诸如由超声探头发射的压力脉冲的穿透深度以及所使用的超声探头。备选地或附加地,B模式、M模式和/或多普勒方法也可以被应用于超声检查,包括它们的组合。所有这些方法都是本领域技术人员已知的。
针对超声检查的一个规范可以包括例如超声检查的目的。超声检查的目的可以是:在随访期间检测器官中占位性病变。在随访中,医学检查通常被多次执行,特别是在相对长的一段时间内。因为该应用通常为低风险、无创、无痛且不涉及对电离辐射的暴露,所以多次重复的医学检查对患者不造成健康风险。例如,占位性病变(特别是肿瘤或结节)可以在利用药物治疗之前、期间和之后的超声检查中被检测。针对超声检查的规范还可以是对心脏血流量或心脏大小的记录。
在一个实施例中,医学问题包括患者的患者特定数据。患者特定数据包括以下列表中的至少一个参数:
-患者的身高,
-患者的体重,
-与患者有关的医学发现,以及
-患者的医学图像数据集。
例如,以这种方式,患者特定数据包括患者的至少一个解剖特征指标,诸如患者的身高和/或患者的体重。机器臂的运动序列可以被调整,以特别地适于匹配患者的至少一个解剖特征指标。例如,如果患者较瘦削,那么运动序列在空间上可以较短。作为另外的示例,如果患者身材较重,那么运动序列在空间上可以较长。
此外,患者特定的数据可能包括患者的年龄。患者的年龄可以影响例如医学问题的规范。该规范因此可以是一种标准,其特别地指定或表征超声检查被实际执行的方式。例如,该规范可以要求进行优选较短持续时间的超声检查。当要被检查的患者由于患者年龄相对较高而不能静止躺卧足够长时间时,优选短持续时间的超声检查特别有利。换言之,特别地,患者年龄越大,运动序列的持续时间越短。在这种情况下,可以更快地执行超声检查。
通常,大量的关于患者的信息,例如在超声检查期间生成的信息,参考患者被评估并保存。用户(例如治疗患者的医师)在临床发现中描述了患者的医学状况。临床发现通常可以包含关于病症的指示(类型、严重程度等)以及描述性参数(占位病变的大小、血压等)。在随后的医学检查中,如果临床发现呈现另外的医学问题,医师可以特别地借助于临床发现来了解患者的病史。病史可以包括由不同的人(特别是医师)在不同的场合已经产生的多个临床发现。患者特定数据可以因此包括例如肿瘤疾病或药物治疗计划的随访。例如,运动数据集可以根据随访来确定,随访借助于超声检查的方式来继续。
在超声检查之前采集的患者的医学图像数据集可以与医学问题有关。例如,医学图像数据集可以已经被不同的医学成像设备采集。此外,医学图像数据集还可以包括患者身体表面的常规相机图像。考虑到医学图像数据集,运动数据集可以优选地如此被确定,以使得可以高质量执行超声检查。
为了清楚起见,没有另外呈现关于至少一个医学训练问题所做的描述,因为这些描述基本对应于关于医学问题所做的描述。这意味着在本质上,医学训练问题和医学问题在数据格式方面可以彼此一致,除了各自记录的时间之外。
机器臂通常具有合适的附接装置,以确保超声探头可以通过附接装置被安装在机器臂上。
优选地,机器臂以能够执行人类用户的常规移动的方式来实施。例如,机器臂可以具有至少一个旋转关节和用于该目的的至少一个载体元件。也可以设想的是,机器臂具有至少一个可缩回和延伸的望远镜单元。超声探头可以例如被安装在至少一个载体元件上。给定机器臂的合适配置,机器臂至少具有一个自由度。通常,机器臂包括足够数目的自由度,以确保能够执行机器臂已经被设定的任务。执行机器臂已经被设定的任务通常包括根据运动数据集来移动机器臂。
机器臂通常具有机器臂坐标系,该坐标系包含机器臂可在其中移动的机器臂的3D运动范围。由经训练的神经网络确定的运动数据集优选地适合于匹配机器臂的3D运动范围。特别地,机器臂的3D运动范围通过机器臂关于机器臂所提供自由度的构造来预先定义。例如,3D运动范围可能通过校准行程而已经被测量到。机器臂的3D运动范围可以取决于机器臂的类型和配置而不同。
神经网络可以在输出层提供输出,作为在输入层的输入的函数。通常,所记录的医学问题是所提供的、经训练的人工神经网络的输入层的输入。医学问题可以作为输入信息输入到经训练的人工神经网络中。作为输出,特别是作为输出层的人工神经元的输出,人工神经网络可以确定运动数据集。换言之,运动数据集,作为输出层的人工神经元的输出,被分配给医学问题。如果人工神经网络以以下方式被应用到医学问题,即将医学问题作为输入信息输入到人工神经网络的输入层并且基于此确定运动数据集,则在输入层处的输入之后在输出层处提供输出可以等同于作为医学问题函数的运动数据集的分配。
特别地,该方法基于以下考虑:运动数据集可以通过医学问题被读出。由于人类用户(特别是医师)在一定程度上可以仅基于医学问题来确定可以执行超声检查的运动数据集,因而以相同的方式,经过对应训练的人工神经网络也可以仅基于医学问题来提取该信息。
通过人工神经网络的应用来确定的运动数据集被传送到机器臂的控制单元。运动数据集可以以适当的数据格式来呈现,其从神经网络的输出层直接或间接地被传送到机器臂的控制单元。通常,一旦运动数据集已经被传送,机器臂的控制单元可以以适当的方式来处理运动数据集。
运动数据集包括机器臂的运动序列。另外,运动数据集可以包含一个配置,该配置关于运动序列在偏离预定义的运动序列的情况下所具有的空间容限的程度。
在另一实施例中,机器臂的运动序列包括机器臂的定向随时间的函数和机器臂的位置随时间的函数。运动序列因此可以特别地描述机器臂的运动。机器臂的位置(特别是机器臂的中点或端点)通常可以通过具有任意原点的3D坐标系中的坐标来指定。机器臂的定向可以特别地由例如在机器臂的纵向方向上延伸的机器人轴线和由坐标系限定的系统平面之间的立体角来指定。
在技术背景下,位置和定向的组合通常被称为3D空间中的姿势或位置。3D空间中的位置随时间的函数因此特别地对应于定向随时间的函数,以及位置随时间的函数。运动序列可以因此包括至少一个随着时间在3D空间中的位置。例如,机器人控制器可以经由接口接收或发送运动序列。机器臂的运动序列可以被直接转变为机器臂的定向随时间的函数和机器臂的位置随时间的函数。
控制单元能够根据运动数据集的运动序列来移动机器臂,例如控制单元将与运动序列对应的控制信号发送到机器臂。特别地,机器臂可以沿着与运动序列对应的3D空间中的位置移动。机器臂因此优选地行进到3D空间中的位置,特别是由时间函数指定的位置和定向。因此,控制单元优选地根据运动数据集的运动序列来控制机器臂的运动。优选地,机器臂在患者身体的表面上移动。如果医学问题涉及特定的身体区域,则机器臂根据特定的身体部位来移动。
为了清楚起见,没有另外呈现关于至少一个训练运动数据集所做的描述,因为这些描述基本上对应于关于运动数据集所做的描述。类似地,训练运动序列基本上对应于运动序列。
在另一实施例中,机器臂具有用于投影仪的附接装置。投影仪优选通过附接装置以可释放的方式被连接到机器臂。基本上也可以设想,机器臂通过例如电缆连接来致动未安装在机器臂上的外部投影仪。例如,投影仪可以通过激光将运动序列投影到患者身体的表面上。
基本上也可以设想,投影仪在记录医学问题期间支持用户。例如,投影仪可以用光标记或照亮患者的要被检查的身体区域。
根据另一实施例,机器臂具有传感器。可选地,也可以设想,机器臂具有用于传感器的附接装置,传感器能够通过附接装置可释放地安装在机器臂上。传感器包括以下变型中的至少一个:电光传感器、相机、用于记录心电图的设备、距离传感器、姿势传感器和压力传感器。传感器能够检测机器臂在3D空间中的位置。通常,传感器可以检测机器臂的运动序列是否被障碍物妨碍。传感器通常在机器臂的移动期间提供反馈装置。
姿势传感器可以捕获机器臂的运动序列,特别是机器臂的定向随时间的函数和机器臂的位置随时间的函数。备选地或附加地,传感器可以具有加速度传感器。基本上可以设想,机器臂具有多个传感器。例如,机器臂可以具有用于机器人关节的第一姿势传感器(其可以对应于机器臂的至少一个旋转关节)和第二姿势传感器以及超声探头中的加速度传感器。
例如,压力传感器可以确定机器臂是否正在自由移动或者例如是否被过度紧压在患者身上。例如,机器臂可以具有合适的设备,例如碰撞传感器、或者可以借助传感器检测机器臂与患者的碰撞的算法。例如,患者的呼吸运动可以被检测到。患者的呼吸运动例如通过用于检测呼吸运动的呼吸带或通过相机来捕获。
控制单元可以通过传感器捕获运动序列。备选地或附加地,控制单元可以通过合适的算法来计算和采集运动序列。特别地,机器臂的控制单元具有合适的算法,该算法可以捕获(特别是计算)机器臂在3D空间中的位置。
通常,控制单元根据可执行性来验证所确定的运动数据集。控制单元可以为此目的访问传感器的更多信息。运动数据集可以通过控制单元进行调整,以匹配机器臂的3D运动范围。如果不能进行调整,则控制单元可以例如中断超声检查和/或返回错误消息。机器臂的3D运动范围通常包括附接到机器臂的超声探头的3D运动范围。超声探头可以在超声探头的3D运动范围内被移动。
机器臂的控制单元对运动数据集的验证可以包括控制单元借助由传感器提供的数据(例如图像从该数据重建)来校正所确定的运动数据集,使得运动数据被调整为适合患者身体的表面。这在患者例如自从训练人工神经网络以来例如变得更老或病情更重或更瘦削的情况下,特别能够更好地执行超声检查。为了验证运动数据集,可能相关的是:适合于医学问题的超声图像可以由超声检查来生成。
特别地,机器臂的控制单元传送合适的控制信号,使得机器臂被移动。当机器臂被移动时,它通常可以借助于机器臂的马达和/或致动器和/或传感器而被移动。
在另一实施例变型中,机器臂根据运动数据集的运动序列来自动移动。因此可以设想的是,只有机器臂与患者位于检查室中。监督程序的人可以在检查室中。也可以设想,监督人员启动机器臂的自动移动。例如,特别地,只有当监督人员通过致动安全设备来启动机器臂的移动时,机器臂才根据运动序列移动。特别地,一旦监督人员启动移动的中断,根据运动序列的移动同样被中断。在监督人员启动中断之后,根据运动序列的机器臂的移动通常被恢复。
备选地或附加地,安全设备可以由在检查室外的监督人员致动。优选地,监督人员可以位于任意位置,监督人员具有例如可用的合适网络连接以及被对应配置的显示设备,该显示设备使得能够从检查室外监视超声检查。例如,也可以设想的是,监督人员对患者执行干预或外科手术。在这种情况下,机器臂可以被自动操纵,同时例如监督人员,特别是医师执行干预或外科手术。
根据另一实施例,在机器臂的移动期间,机器臂的移动与运动数据集的运动序列的偏差借助于传感器来确定。运动序列的偏差可以借助于合适的传感器来检测,特别是实时检测。例如,由于患者正在呼吸,机器臂在3D空间中的实际位置,特别是实际运动序列,可以偏离由运动序列在任意时间点预定义的3D空间中的位置。
如果机器臂的移动偏离运动数据集的运动序列,则控制单元具有特别地用于发起对策的装置。例如,控制单元可以调节机器臂的运动序列,并且例如根据患者的呼吸运动、根据所确定的偏差来发起对策。通常,控制单元可以根据用于记录超声心动图的设备来计算校正控制信号。发起对策可以意味着控制单元计算校正控制信号,并且向机器臂发送校正控制信号,机器臂根据校正控制信号而被移动。控制单元通常可以计算合适的校正控制信号并且向机器臂发送所述信号,而不管运动序列产生偏差的原因是什么。
根据另一实施例,机器臂由用户根据运动数据集的运动序列来移动。例如,当用户在超声检查期间借助他/她的至少一只手来引导超声探头时,用户可以移动机器臂。机器臂可以提供合适的引导设备,用户可以用至少一只手操作或能够用至少一只手来引导该引导设备。机器臂的操纵可对应于用户对超声探头的引导。超声探头可以以下述方式被引导,即用户可以用至少一只手引导超声探头,或者用户用至少一只手引导合适的引导设备,超声探头经由合适的引导设备和机器臂之间的直接操作性连接而被操纵。例如,用户可以直接或借助于合适的引导设备来引导超声探头。直接操作性连接可以包括用于确保当合适的引导设备被移动时机器臂和/或附接到机器臂的超声探头被移动的装置。直接操作性连接可以包括例如杠杆。
用户根据运动数据集的运动序列移动机器臂包括,例如当机器臂的净重由控制单元补偿时,在机器臂根据运动数据集的运动序列的移动期间支持用户。优选地,用户可以进行超声检查而不受附接有超声探头的机器臂的干扰。机器臂引起的干扰可以是由于机器臂所缺乏的自由度。备选地或附加地,干涉可以包含机器臂移动期间的阻力,该阻力通常可以归因于例如旋转关节中的摩擦或者当望远镜单元缩回和伸出时导致。优选地,当移动机器臂时,特别是在引导超声探头时,引导超声探头的用户是空闲的。换言之,用户以下述方式被支持,即在不施加任何额外的力的情况下,用户能够根据运动数据集的运动序列来移动机器臂,就好像超声探头未附接到机器臂。
如果运动数据集通过将人工神经网络应用于医学问题已经被确定,并且如果机器臂的运动偏离运动数据集的运动序列,则用户可以例如以下述方式被支持,即机器臂的控制单元将用户的注意力吸引到其上。例如,机器臂可以具有振动设备,如果机器臂的移动偏离运动数据集的运动序列,则该振动设备通过振动来提醒用户。备选地或附加地,也可以设想,机器臂借助于光学设备(特别是灯或激光器)或借助于投影仪向用户指示所确定的运动数据集的运动序列。在与所确定的运动数据集的运动序列偏离的情况下,灯可以例如点亮。备选地或附加地,特别地,激光器可以将所确定的运动数据集的运动序列投影到患者身体的表面上。
在另一实施例中,可以设想,机器臂可以根据运动数据集的运动序列自动地以及由用户移动。在这种情况下,机器臂可以具有合适的引导设备和例如安全设备二者,当机器臂可以自动移动时,机器臂通常具有该安全设备。例如,取决于超声检查,用户可以根据运动数据集的运动序列移动机器臂,或者机器臂根据运动数据集的运动序列自动移动。
此外,经训练的人工神经网络根据本发明的用于提供经训练的人工神经网络的方法来提供,以用于确定包含用于超声检查的机器臂的运动序列的运动数据集,其中超声探头被附接到机器臂。以这种方式,通过将经训练的人工神经网络应用于医学问题,特别有利地经训练的人工神经网络可以被提供用于确定运动数据集的任务。
用于提供经训练的人工神经网络的方法,用于确定包含用于超声检查的机器臂的运动序列的运动数据集,超声探头被附接到机器臂,该方法包括以下方法步骤:
-提供至少一个训练运动数据集,其中至少一个医学训练问题被分配给该至少一个训练运动数据集,
-使用该至少一个训练运动数据集和该至少一个医学训练问题来训练人工神经网络,其中将该经训练的人工神经网络到该至少一个医学训练问题的应用使得能够确定该至少一个训练运动数据集,以及
-提供经训练的人工神经网络,用于确定运动数据集的目的。
因此,至少一个训练运动数据集和至少一个医学训练问题,以及被分配给该至少一个训练运动数据集的至少一个医学训练问题对于人工神经网络的训练至关重要。
特别地,至少一个医学训练问题已经被分配给至少一个训练运动数据集。否则,至少一个医学训练问题可以被手动地或自动地分配给至少一个训练运动数据集。在这种情况下,将至少一个医学训练问题分配到至少一个训练运动数据集可以由例如传感器的制造商(运动数据集借助于该传感器已经被采集)、和/或由基于检查而生成运动数据集的用户、或由医院的工作人员来执行。
通常,至少一个医学训练问题,特别是患者特定数据可用于所述至少一个训练运动数据集。例如,图像格式(例如DICOM)可以包括除图像信息之外的患者特定数据,特别是医学问题。特别地,仅至少一个训练运动数据集被用于被分配了至少一个医学训练问题的人工神经网络的训练,至少一个医学训练问题包含用于训练的足够信息。
至少一个训练运动数据集的采集和至少一个训练运动数据集的提供可以优选地借助于传感器来实现,例如姿势传感器和/或加速度传感器。至少一个训练运动数据集的采集通常在至少一个训练运动数据集的提供之前。例如,传感器最初采集其中捕获运动序列的至少一个训练运动数据集,并且在下一个步骤中,特别地,传感器的控制单元经由适当的接口提供训练运动数据集。
根据一个实施例变型,由用户提供至少一个训练运动数据集包括:基于至少一个医学问题、借助机器臂来手动执行至少一个训练超声检查,以及在至少一个手动执行的训练超声检查期间捕获至少一个训练运动数据集的训练运动序列。
借助机器臂的至少一个训练超声检查的手动执行通常由用户完成。例如,用户可以借助于机器臂的引导设备来移动超声探头。通常,至少一个训练超声检查基于至少一个医学训练问题。
随着机器臂的移动,训练运动序列,特别是随着时间推移的3D空间中的位置可以被存储。当至少一个训练超声检查被手动执行时,训练运动序列可以基于至少一个医学训练问题借助于机器臂(特别是机器臂的控制单元)来捕获。在这种情况下基于至少一个医学训练问题捕获的训练运动序列可以被必要地转变为至少一个训练运动数据集。该至少一个训练运动数据集然后优选地包含训练运动序列,当基于至少一个医学训练问题手动执行至少一个训练超声检查时,机器臂根据该训练运动序列被用户移动。因此,在手动执行至少一个训练超声检查期间,至少一个医学训练问题可以被分配给至少一个训练运动数据集。
根据另一实施例变型,由用户提供至少一个训练运动数据集可以备选或附加地包括:基于至少一个医学训练问题,仅借助于未被附接到机器臂的自由超声探头来手动执行至少一个训练超声检查,其中用户移动自由超声探头;在至少一个训练超声检查期间,借助传感器来捕获自由超声探头的移动;以及所捕获的移动被转变为至少一个训练运动数据集,训练运动数据集可以借助机器臂来执行
该至少一个训练超声检查可以例如在未被附接到机器臂的超声探头的情况下执行。例如,如果该另外的自由超声探头附接到机器臂,则该自由超声探头也可以对应于附接到机器臂的超声探头。基本上,附加于附接到机器臂的超声探头,自由超声探头也可以是第二超声探头。此外,还可能的是:在训练室中只有自由超声探头可用于相关联的超声系统,并且机器臂定位在检查室中。
自由超声探头在至少一个训练超声检查期间的移动借助于传感器(例如相机)来捕获。移动的捕获可以对应于运动数据的存储。运动数据通常对应于所捕获的移动,特别是对应于在至少一个训练超声检查期间自由超声探头的随时间的在3D空间中的位置。根据自由超声探头随时间的在3D空间中的位置,可能的是:确定运动序列,该运动序列被转变为可以借助机器臂执行的至少一个训练运动数据集。所采集的运动数据(特别是所捕获的移动)的转变通常对应于从运动数据(特别是移动)到至少一个训练运动数据集的转换,该至少一个训练运动数据集可以借助机器臂执行。优选地,机器臂的3D运动范围在转换中被考虑。
人工神经网络的训练有利地通过反向传播来完成。特别地,这意味着至少一个训练问题作为输入数据被馈送到要被训练的人工神经网络中。在训练期间,要被训练的人工神经网络的输出然后与被分配给至少一个训练问题的至少一个训练数据集进行比较。要被训练的人工神经网络的输出优选地包括至少一个训练运动数据集。特别地,人工神经网络的训练然后包括改变要被训练的人工神经网络的网络参数,使得要被训练的人工神经网络的输出更靠近被分配了至少一个训练问题的至少一个训练数据集。人工神经网络因此以下述方式被有利地训练,使得通过将人工神经网络应用于至少一个训练问题来确定被分配给至少一个训练问题的至少一个训练运动数据集。
尽管反向传播通常表示用于训练人工神经网络的最重要的训练算法,但是本领域技术人员已知的其他算法也可以用于训练人工神经网络。其他可能的算法的示例是:演化算法、“模拟退火”、“期望最大化”算法(EM算法)、无参数算法(非参数方法)、粒子群优化(PSO)等。
人工神经网络的训练可以完全地在机器臂制造商的设施处和/或在执行训练的组织处进行。备选地,还可以设想,在机器臂制造商的设施处和/或在最初执行训练的组织处进行初步训练阶段,并且在医院中的一个或多个情况下安排后训练阶段,以便使得确定运动数据集的过程专门针对医院的要求而更加稳健。同样可以设想的是,通过导入新的权重矩阵,将已训练的人工神经网络用于不同的分类任务。
还可以设想,人工神经网络的训练以多次迭代来执行。以这种方式,至少一个训练运动数据集的提供(其中至少一个医学训练问题被分配给至少一个训练运动数据集),以及人工神经网络的训练可以以多个步骤交替进行。因此,例如,确定运动数据集的过程中的选择性可以通过经训练的人工神经网络来改善。
以这种方式训练的人工神经网络随后可以被用于根据本发明的方法中,用于通过将经训练的人工神经网络应用于医学问题或为此目的而提供经训练的人工神经网络来确定运动数据集。以这种方式,所描述的人工神经网络的训练使得事先未知的运动数据集能够随后以特别有利的方式作为医学问题的函数来确定。
通常,用于提供经训练的人工神经网络的方法可以提供,在经训练的人工神经网络被提供之前对经训练的人工神经网络执行有效性检查。有效性检查可以仅利用样本进行。借助于所述检查,可以确保经训练的人工神经网络适合于确定运动数据集。
超声系统包括规划单元、第一计算单元和具有用于超声检查的机器臂的测量单元,超声探头附接到机器臂。
规划单元可以包括具有图形用户界面和输入设备的监视器。通常,用户能够与规划单元交互,特别是借助于输入设备。例如,用户还可以在监视器上查看超声检查的超声测量数据或超声图像。特别地,规划单元可以在监视器上显示超声测量数据。
第一计算单元优选以下述方式配置,即第一计算单元可以通过将人工神经网络应用于医学问题来确定运动数据集。计算单元可以具有到规划单元、控制单元或测量单元的接口,其中特别地,医学问题和/或运动数据集可以经由接口被接收和发送。第一计算单元优选以下述方式来实施,即例如作为计算机程序产品被提供并且可以被加载到第一可编程计算单元的存储器中的经训练的神经网络在第一计算单元上可执行。
测量单元包括用于超声检查的机器臂。超声探头附接到机器臂。测量单元通常包括机器臂和机器臂的控制单元。测量单元可以包括传感器、相机和/或投影仪。超声系统优选被实施为用于为了超声检查的目的而移动机器臂。
根据本发明的超声系统的大部分部件可以以软件部件的形式实施。然而原则上,这些部件中的一些还可以以由软件辅助的硬件部件的形式来实现,例如FPGA等,特别是当需要特别快速的计算时。类似地,所要求的接口可以被实施为软件接口,例如当仅仅是从其他软件部件导入数据时。但是,这些接口也可以被实施为由适当的软件控制的基于硬件的接口。当然,还可以设想的是,多个前述部件以单个软件部件或由软件辅助的硬件部件的形式组合来实现。
为了确定包含用于超声检查的机器臂的运动序列的运动数据集的目的(超声探头附接到机器臂),根据本发明的第二计算单元被实施为用于提供经训练的人工神经网络。优选地,第二计算单元能够执行根据本发明的用于提供经训练的人工神经网络的方法。第二计算单元包括计算模块。所述计算模块可以被用于例如人工神经网络的训练。
根据本发明的计算机程序产品可以被直接加载到可编程计算单元的存储器中,并且具有程序代码装置,当计算机程序产品在计算单元中被执行时,该程序代码装置执行根据本发明的方法。第一计算单元和第二计算单元等同于这样的可编程计算单元,并且每个计算单元具有存储器。
计算机程序产品可以是计算机程序或包括计算机程序。这使得根据本发明的方法能够以完全一致的可重现和稳健的方式被快速执行。计算机程序产品以下述方式配置,即计算机程序产品可以通过计算单元执行本发明的方法步骤。计算单元在每种情况下都必须为此提供先决条件,诸如对应的随机存取存储器,例如,对应的图形卡或对应的逻辑单元,使得相应的方法步骤可以被高效地执行。计算机程序产品例如被存储在计算机可读介质上或者保持驻留在网络或服务器上,计算机程序产品可以从网络或服务器被加载到计算单元的处理器中,该处理器例如可以实施为超声系统的一部分。计算机程序产品的控制信息也可以被存储在电子可读数据介质上。电子可读数据介质的控制信息可以以下述方式实施,即当数据介质被用于计算单元时,该控制信息执行根据本发明的方法。因此,计算机程序产品还可以表示电子可读数据介质。电子可读数据介质的示例是:其上存储有电子可读控制信息(特别是软件(参见上文))的DVD、磁带、硬盘或USB棒。当所述控制信息(软件)被从数据介质读取,并且被存储在第二计算单元和/或超声系统的第一计算单元和/或规划单元和/或测量单元中时,上文描述的方法的所有发明实施例变型可以被执行。因此,本发明还可以涉及所述计算机可读介质和/或所述电子可读数据介质。
根据本发明的用于通过将训练的神经网络应用于医学问题来确定运动数据集的方法的、和/或相关联的超声系统的、和/或根据本发明的用于提供经训练的人工神经网络的方法的、和/或相关联的第二计算单元的、和/或计算机程序产品的另外的特征、优点或备选实施例变型同样也可以被应用于相应的其他要求保护的技术方案,反之亦然。
附图说明
下面参考附图中描绘的示例性实施例,本发明被更详细地描述和解释,其中:
图1示出了超声系统11,
图2示出了根据本发明的用于提供经训练的人工神经网络的方法的流程图,以及
图3示出了根据本发明的用于移动机器臂的方法的流程图。
具体实施方式
图1示出超声系统11,超声系统11具有机器臂14和传感器(特别是相机16)。超声探头15附接到机器臂14。机器臂14优选地以下述方式实施,即对患者12的超声检查可以借助于机器臂14来执行。优选地,患者12位于患者支撑设备13上,特别是在患者床上。通常,患者12仰卧在患者床上。备选地,患者12也可以在超声检查期间采取坐姿。
超声系统11包括规划单元17、第一计算单元18和测量单元19。特别地,测量单元19具有用于超声检查的机器臂14,超声探头15附接到机器臂14。特别地,机器臂14具有机器臂14的控制单元20和相机16。
自由超声探头15.f未被连接到机器臂14。当自由超声探头15.f连接到机器臂14时,先前的自由超声探头15.f则对应于超声探头15。自由超声探头15.f是分离的超声系统的一部分。
自由超声探头15.f例如可以被用户用于提供训练运动数据集。根据一个优选实施例,用户可以基于至少一个医学训练问题、仅通过未附接到机器臂14的自由超声探头15.f来手动进行至少一个训练超声检查,用户移动自由超声探头15.f。在这种情况下,自由超声探头15.f在至少一个训练超声检查期间的移动借助于传感器,特别是相机16来捕获,并且所捕获的移动被转变为至少一个可以借助于机器臂14执行的训练运动数据集。
例如,还可以设想,用户使用自由超声探头15.f执行第一超声检查,并且机器臂14根据第一超声检查执行第二超声检查。换言之,机器臂14可以首先记录第一超声检查,并且由此优选地通过执行第二超声检查来重复相同的检查。
机器臂14附加地具有长度为L1的第一载体元件14.1和长度为L2的第二载体元件14.2。第一载体元件14.1被布置在悬挂设备14.b上。第二载体元件14.2被连接到第一载体元件14.1。悬挂设备14.b被实施为盘形,并且坐标系的x轴和y轴位于悬挂设备14.b中。z轴垂直于由坐标系的x轴和y轴形成的平面上。第一角度W1描述了x轴和y轴之间的角度。第二角度W2描述了在第一载体元件14.1的纵向方向上延伸的纵向轴线与z轴之间的角度。第三角度W3描述了在第一载体元件14.1的纵向方向上延伸的纵向轴线和在第二载体元件14.2的纵向方向上延伸的纵向轴线之间的角度。参考点14.p对应于未被连接到第一载体元件14.1的第二载体元件14.2的一端。
例如,控制单元20借助合适的算法来捕获运动序列。参考点14.p的(x,y,z)坐标中的位置可以例如使用以下方程式来计算:
x14.p=cos(W1)·(L2sin(W2+W3)+L1sin(W2))
y14.p=sin(W1)·(L2sin(W2+W3)+L1sin(W2))
z14.p=L2cos(W2+W3)+L1cos(W2)
另外,机器臂14的定向可以优选地通过合适的算法来确定。定向通常对应于机器臂14的立体角,并且可以从角度W1、W2和W3来计算。
机器臂14可以借助例如至少一个旋转关节或至少一个望远镜单元而具有更多的自由度(未示出)。
控制单元20可以以下述方式来处理所确定的运动数据集,使得机器臂根据机器臂的运动顺序而移动。
图示的超声系统11当然可以包括通常存在于超声系统11中的另外的部件。同样地,各个部件,特别是机器臂14、超声探头15、相机16、规划单元17、第一计算单元18、测量单元19和控制单元20可以以彼此间不同的关系来布置和/或被集成到更高等级的单元中。超声系统11的总体操作原理是本领域技术人员已知的,因而省去了对其他部件的详细描述。
超声系统优选地还被实施为执行图2和图3中描绘的方法步骤。
图2示出了根据本发明的用于提供经训练的人工神经网络的方法的流程图,该经训练的人工神经网络用于确定包含用于超声检查的机器臂14的运动序列的运动数据集,超声探头15附接到机器臂14。该方法包括方法步骤201-203和相应的从属方法步骤。
方法步骤201指示提供至少一个训练运动数据集,其中至少一个医学训练问题被分配给至少一个训练运动数据集。
方法步骤202指示使用至少一个训练运动数据集和至少一个医学训练问题对人工神经网络进行训练,其中将该经训练的人工神经网络应用于该至少一个医学训练问题使得能够确定该至少一个训练运动数据集。
方法步骤203指示提供经训练的人工神经网络,用于确定运动数据集的目的。
从属方法步骤201.1指示由用户提供至少一个训练运动数据集。用户对至少一个训练运动数据集的提供201.1包括以下从属方法步骤:
-基于至少一个医学训练问题通过机器臂(14)手动执行201.1.1至少一个训练超声检查,
-在手动执行的至少一个训练超声检查期间,捕获201.1.2至少一个训练运动数据集的训练运动序列。
用于提供经训练的人工神经网络的第二计算单元包括计算模块,第二计算单元被实施用于执行根据方法步骤201-203以及从属方法步骤201.1、201.1.1和201.1.2的方法。
根据本发明的方法在图2中示出的方法步骤由第二计算单元执行。为此,第二计算单元包括存储在第二计算单元的存储器单元中的必需的软件和/或计算机程序和/或计算机程序产品。该软件和/或计算机程序和/或计算机程序产品包括程序装置,该程序装置被配置为:当计算机程序和/或软件和/或计算机程序产品在第二计算单元中通过第二计算单元中的处理器单元被执行时,该程序装置执行根据本发明的方法。
图3示出了根据本发明的用于移动用于超声检查的机器臂14的方法的流程图,超声探头15附接到机器臂14。该方法包括方法步骤301-305。
方法步骤301指示提供经训练的人工神经网络。
方法步骤302指示记录医学问题。医学问题的记录优选地包括:借助图形用户界面提供医学问题的至少一个参数的传感器和/或用户。医学问题包括来自以下列表的至少一个参数:
-患者12的要被检查的身体区域,
-超声检查的模式,
-超声检查的频率,以及
-针对超声检查的规范。
根据另一实施例变型,医学问题包括患者12的患者特定数据,并且患者特定数据包括来自以下列表的至少一个参数:
-患者12的身高,
-患者12的体重,
-关于患者12可能的病症的临床发现,以及
-患者12的医学图像数据集。
在另一实施例中,运动数据集的运动序列包括机器臂14的定向随时间的函数和机器臂14的位置随时间的函数。
优选地,机器臂14具有传感器,并且传感器包括以下变型中的至少一个:
-相机16,
-距离传感器,
-姿势传感器,以及
-压力传感器。
方法步骤303指示:通过将经训练的人工神经网络应用于医学问题来确定包含机器臂14的运动序列的运动数据集。
方法步骤304指示向机器臂14的控制单元20传送运动数据集。
方法步骤305指示机器臂14根据运动数据集的运动序列的移动。根据一个优选实施例,机器臂14根据运动数据集的运动序列自动和/或由用户移动,并且机器臂14根据运动数据集的运动序列的移动包括:在机器臂14的移动期间,借助于传感器确定机器臂的移动与运动数据集的运动序列的偏差,并且根据所确定的偏差,由控制单元20发起对策。
用户根据运动数据集的运动序列移动机器臂14优选地包括:在机器臂14根据运动数据集的运动序列的移动期间支持用户。
根据本发明的方法在图3中示出的方法步骤由超声系统11的第一计算单元18执行。为此,第一计算单元18包括存储在第一计算单元18的存储器单元中的必需的软件和/或计算机程序和/或计算机程序产品。该软件和/或计算机程序和/或计算机程序产品包括程序装置,该程序装置被配置为:当计算机程序和/或软件和/或计算机程序产品在第一计算单元中通过第一计算单元中的处理器单元被执行时,该程序装置执行根据本发明的方法。

Claims (15)

1.一种用于移动用于一个超声检查的一个机器臂(14)的方法,其中一个超声探头(15)被附接到所述机器臂(14),所述方法包括以下方法步骤:
-提供一个经训练的人工神经网络,
-记录一个医学问题,
-通过将所述经训练的人工神经网络应用于所述医学问题来确定包含所述机器臂(14)的一个运动序列的一个运动数据集,
-向所述机器臂(14)的一个控制单元(20)传送所述运动数据集,以及
-根据所述运动数据集的所述运动序列来移动所述机器臂(14)。
2.根据权利要求1所述的方法,其中所述医学问题的记录包括一个传感器和/或一个用户借助一个图形用户界面来提供所述医学问题的至少一个参数。
3.根据前述权利要求中任一项所述的方法,其中所述医学问题包括来自以下列表的至少一个参数:
-一个患者(12)的要被检查的一个身体区域,
-所述超声检查的一个模式,
-所述超声检查的一个频率,以及
-针对所述超声检查的一个规范。
4.根据前述权利要求中任一项所述的方法,其中所述医学问题包括一个患者(12)的患者特定数据,并且其中所述患者特定数据包括来自以下列表的至少一个参数:
-所述患者(12)的一个身高,
-所述患者(12)的一个体重,
-关于所述患者(12)可能的病症的一个临床发现,以及
-所述患者(12)的一个医学图像数据集。
5.根据前述权利要求中任一项所述的方法,其中所述运动数据集的所述运动序列包括:
-所述机器臂(14)的定向随时间的一个函数,以及
-所述机器臂(14)的位置随时间的一个函数。
6.根据前述权利要求中任一项所述的方法,其中所述机器臂(14)根据所述运动数据集的所述运动序列的移动包括:
-借助于一个投影仪将所述运动序列投影到一个患者(12)的一个身体表面上。
7.根据前述权利要求中任一项所述的方法,其中所述机器臂(14)根据所述运动数据集的所述运动序列的移动由一个用户来执行,并且根据所述运动数据集的所述运动序列、由所述用户对所述机器臂(14)的移动包括:
-在根据所述运动数据集的所述运动序列来移动所述机器臂(14)期间支持所述用户。
8.根据前述权利要求中任一项所述的方法,其中所述机器臂(14)具有一个传感器,并且所述传感器包括以下变型中的至少一个:
-一个电光传感器,
-一个相机(16),
-一个距离传感器,
-一个姿势传感器,以及
-一个压力传感器。
9.根据权利要求8所述的方法,其中所述机器臂(14)根据所述运动数据集的所述运动序列自动地和/或由一个用户移动,并且所述机器臂(14)根据所述运动数据集的所述运动序列的移动包括:
-通过所述传感器来确定在所述机器臂(14)的所述移动期间,所述机器臂的一个移动与所述运动数据集的所述运动序列的一个偏差,以及
-根据确定的所述偏差,由所述控制单元(20)发起对策。
10.一种用于提供一个经训练的人工神经网络的方法,所述经训练的人工神经网络用于确定一个运动数据集的目的,所述运动数据集包含用于一个超声检查的一个机器臂(14)的一个运动序列,其中一个超声探头(15)被附接到所述机器臂(14),所述方法包括以下方法步骤:
-提供至少一个训练运动数据集,其中至少一个医学训练问题被分配给所述至少一个训练运动数据集,
-使用所述至少一个训练运动数据集和所述至少一个医学训练问题来训练一个人工神经网络,其中所述经训练的人工神经网络对所述至少一个医学训练问题的应用使得能够确定所述至少一个训练运动数据集,以及
-提供所述经训练的人工神经网络,用于确定所述运动数据集的目的。
11.根据权利要求10所述的方法,其中所述至少一个训练运动数据集由一个用户提供,并且所述用户对所述至少一个训练运动数据集的提供包括:
-基于所述至少一个医学训练问题,借助所述机器臂(14)来手动执行至少一个训练超声检查,
-在手动执行的所述至少一个训练超声检查期间,捕获所述至少一个训练运动数据集的一个训练运动序列。
12.根据权利要求10至11中任一项所述的方法,其中所述至少一个训练运动数据集由一个用户提供,并且所述用户对所述至少一个训练运动数据集的提供包括:
-基于所述至少一个医学训练问题,仅借助于未被附接到所述机器臂(14)的一个自由超声探头(15.f)来手动执行至少一个训练超声检查,其中所述自由超声探头(15.f)由所述用户移动,
-在所述至少一个训练超声检查期间,借助一个传感器来捕获所述自由超声探头(15.f)的所述移动,以及
-将所捕获的所述移动转变为能够借助所述机器臂(14)来执行的至少一个训练运动数据集。
13.一种超声系统(11),包括:
-一个规划单元(17),
-一个第一计算单元(18),以及
-一个测量单元(19),所述测量单元(19)具有用于一个超声检查的一个机器臂(14),其中一个超声探头(15)被附接到所述机器臂(14),
其中所述超声系统被实施用于执行根据前述权利要求中任一项所述的方法。
14.一种用于提供一个经训练的人工神经网络的第二计算单元,包括一个计算模块,其中所述第二计算单元被实施用于执行根据权利要求10至12中任一项所述的方法。
15.一种计算机程序产品,所述计算机程序产品能够被直接加载到一个可编程计算单元的一个存储器中并且具有程序代码装置,当所述计算机程序产品在所述计算单元中被执行时,所述程序代码装置用于执行根据权利要求1至12中任一项所述的方法。
CN201810543000.4A 2017-05-31 2018-05-30 移动机器臂 Active CN109077752B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17173787.7 2017-05-31
EP17173787.7A EP3409230B1 (de) 2017-05-31 2017-05-31 Bewegen eines roboterarms

Publications (2)

Publication Number Publication Date
CN109077752A true CN109077752A (zh) 2018-12-25
CN109077752B CN109077752B (zh) 2020-07-10

Family

ID=59054980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810543000.4A Active CN109077752B (zh) 2017-05-31 2018-05-30 移动机器臂

Country Status (3)

Country Link
US (1) US10470740B2 (zh)
EP (1) EP3409230B1 (zh)
CN (1) CN109077752B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人系统、超声扫查方法及介质
CN111477318A (zh) * 2020-04-25 2020-07-31 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN112998749A (zh) * 2021-02-18 2021-06-22 江苏省人民医院(南京医科大学第一附属医院) 一种基于视觉伺服的自动超声检查系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018306475A1 (en) * 2017-07-25 2020-03-05 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions
US11443218B2 (en) * 2017-12-20 2022-09-13 Arizona Board Of Regents On Behalf Of Arizona State University Model guided deep learning approach towards prediction of physical system behavior
CN109794936B (zh) * 2019-01-12 2022-09-16 长春工业大学 自动上膜机械手
CN111920446A (zh) * 2019-05-13 2020-11-13 张吉民 使用超声增强医学治疗的系统
US11607200B2 (en) * 2019-08-13 2023-03-21 GE Precision Healthcare LLC Methods and system for camera-aided ultrasound scan setup and control
JP7432340B2 (ja) * 2019-11-07 2024-02-16 川崎重工業株式会社 手術システム及び制御方法
CN110900608B (zh) * 2019-12-10 2023-02-03 哈尔滨工业大学 基于最优测量构型选择的机器人运动学标定方法
WO2021163615A1 (en) * 2020-02-12 2021-08-19 The Board Of Regents Of The University Of Texas System Microrobotic systems and methods for endovascular interventions
DE102020112149A1 (de) 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gesellschaft mit beschränkter Haftung Verfahren zur Kontrolle von Handlingsystemen
US12063745B2 (en) 2020-05-05 2024-08-13 Integrated Dynamics Engineering Gmbh Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine
DE102020112146A1 (de) 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gesellschaft mit beschränkter Haftung Verfahren zur Bearbeitung von Substraten, insbesondere von Wafern, Masken oder Flat Panel Displays, mit einer Maschine der Halbleiterindustrie
EP4267006A1 (en) 2020-12-22 2023-11-01 Ropca ApS Robotic system for performing an ultrasound scan
CN113288204B (zh) * 2021-04-21 2023-09-29 佛山纽欣肯智能科技有限公司 一种机器人半自主b超检测系统
WO2023195150A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji ロボット装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050154295A1 (en) * 2003-12-30 2005-07-14 Liposonix, Inc. Articulating arm for medical procedures
US20080010706A1 (en) * 2006-05-19 2008-01-10 Mako Surgical Corp. Method and apparatus for controlling a haptic device
CN101193603A (zh) * 2005-06-06 2008-06-04 直观外科手术公司 腹腔镜的超声机器人外科手术系统
US20090088639A1 (en) * 2007-09-28 2009-04-02 Michael Maschke Ultrasound device
CN101530338A (zh) * 2008-03-12 2009-09-16 西门子公司 使用机器人x线装置进行心脏瓣膜介入手术的方法和设备
CN104856720A (zh) * 2015-05-07 2015-08-26 东北电力大学 一种基于rgb-d传感器的机器人辅助超声扫描系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5919135A (en) * 1997-02-28 1999-07-06 Lemelson; Jerome System and method for treating cellular disorders in a living being
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US20040162637A1 (en) * 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
US7813836B2 (en) * 2003-12-09 2010-10-12 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
WO2011123669A1 (en) * 2010-03-31 2011-10-06 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems
CN103249368B (zh) * 2010-11-11 2016-01-20 约翰霍普金斯大学 人机协作机器人系统
US9449241B2 (en) * 2011-02-23 2016-09-20 The Johns Hopkins University System and method for detecting and tracking a curvilinear object in a three-dimensional space
TWI476403B (zh) * 2011-04-22 2015-03-11 Pai Chi Li 超音波自動掃描系統及其掃描方法
US9420997B2 (en) 2012-06-14 2016-08-23 Siemens Medical Solutions Usa, Inc. Motion artifact suppression in ultrasound diagnostic imaging
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9840003B2 (en) * 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
DE102015212953B4 (de) 2015-07-10 2024-08-22 Siemens Healthineers Ag Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
WO2017020081A1 (en) 2015-08-03 2017-02-09 Deakin University Apparatus, system and method for controlling motion of a robotic manipulator
CN111329554B (zh) * 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050154295A1 (en) * 2003-12-30 2005-07-14 Liposonix, Inc. Articulating arm for medical procedures
CN101193603A (zh) * 2005-06-06 2008-06-04 直观外科手术公司 腹腔镜的超声机器人外科手术系统
US20080010706A1 (en) * 2006-05-19 2008-01-10 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US20090088639A1 (en) * 2007-09-28 2009-04-02 Michael Maschke Ultrasound device
CN101530338A (zh) * 2008-03-12 2009-09-16 西门子公司 使用机器人x线装置进行心脏瓣膜介入手术的方法和设备
CN104856720A (zh) * 2015-05-07 2015-08-26 东北电力大学 一种基于rgb-d传感器的机器人辅助超声扫描系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人系统、超声扫查方法及介质
CN111477318A (zh) * 2020-04-25 2020-07-31 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN111477318B (zh) * 2020-04-25 2022-12-16 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN112998749A (zh) * 2021-02-18 2021-06-22 江苏省人民医院(南京医科大学第一附属医院) 一种基于视觉伺服的自动超声检查系统

Also Published As

Publication number Publication date
US20180344284A1 (en) 2018-12-06
EP3409230B1 (de) 2019-05-22
EP3409230A1 (de) 2018-12-05
CN109077752B (zh) 2020-07-10
US10470740B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
CN109077752A (zh) 移动机器臂
Chatelain et al. Confidence-driven control of an ultrasound probe
RU2603047C2 (ru) Система и способы для медицинского использования отображения и захвата движения
JP5437997B2 (ja) 放射性イメージングのための画像生成装置および方法
EP2717774B1 (en) Dynamic constraining with optical shape sensing
JP5397861B2 (ja) 放射線治療計画装置および放射線治療計画装置の作動方法
US7567693B2 (en) Methods for physiological monitoring training, exercise and regulation
JP2021526949A (ja) 肺気量ゲートx線撮像システム及び方法
CN108778140A (zh) 用于确定临床指征的系统和方法
CN107157512A (zh) 超声波诊断装置以及超声波诊断支援装置
KR20180099434A (ko) 환자를 모니터링하는 방법 및 장치
CN106163409A (zh) 用于超声图像采集的触觉反馈
US11564663B2 (en) Ultrasound imaging apparatus and control method thereof
JP2013540554A (ja) 移動する対象領域中への放射線の焦点を制御する治療装置、コンピューター実施方法、およびコンピュータープログラム
JP2007236760A (ja) 放射線治療装置制御装置および放射線照射方法
US20180247714A1 (en) Methods and apparatuses for monitoring condition of object in medical imaging
JP6829437B2 (ja) 生体内運動追跡装置
CN117279573A (zh) 机器人化成像系统
EP4037563B1 (en) Imaging-based reflex measurements for sedation depth monitoring
JP2021146101A (ja) 放射線照射制御装置、放射線治療システム及び放射線照射制御方法
JP2020522334A (ja) ディープラーニングネットワークを使用して解剖学的対象物を識別及びナビゲートするためのシステム及び方法
WO2023179876A1 (en) System configured to aid in training a patient's breathing in preparation for a radiotherapy treatment
Greenleaf et al. Medical applications of virtual reality technology
CN108834398A (zh) 用于检测神经系统状况的系统和方法
Jauer et al. GPU-based real-time generation of large ultrasound volumes from freehand 3D sweeps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240903

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Patentee before: Siemens Healthineers AG

Country or region before: Germany

TR01 Transfer of patent right