CN112399828A - 用于对超声图像的捕获取向的系统和方法 - Google Patents

用于对超声图像的捕获取向的系统和方法 Download PDF

Info

Publication number
CN112399828A
CN112399828A CN201980044166.4A CN201980044166A CN112399828A CN 112399828 A CN112399828 A CN 112399828A CN 201980044166 A CN201980044166 A CN 201980044166A CN 112399828 A CN112399828 A CN 112399828A
Authority
CN
China
Prior art keywords
canonical
image
images
probe
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044166.4A
Other languages
English (en)
Inventor
I·克祖里尔
Y·伊舍尔
A·卢多米尔斯基
Y·李普曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yeda Research and Development Co Ltd
New York University NYU
Original Assignee
Yeda Research and Development Co Ltd
New York University NYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=68533844&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN112399828(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Yeda Research and Development Co Ltd, New York University NYU filed Critical Yeda Research and Development Co Ltd
Publication of CN112399828A publication Critical patent/CN112399828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)

Abstract

一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的可下载导航器。所述导航器包括：经训练的取向神经网络，其用于从所述移动超声单元接收身体部分的非规范图像并且生成与所述非规范图像相关联的变换，所述变换从与规范图像相关联的位置和旋转变换到与所述非规范图像相关联的位置和旋转；以及结果转换器，其用于将所述变换转换为针对所述探头的用户的取向指令并且将所述取向指令提供并且显示给所述用户以改变所述探头的位置和旋转。

Description

用于对超声图像的捕获取向的系统和方法
相关申请的交叉引用
本申请要求享有来自于2018年5月15日递交的美国临时专利申请US62/671692的优先权，通过引用将其并入本文。
技术领域
本发明总体上涉及移动手持式超声机器并且特别地涉及用于正确使用的取向。
背景技术
医学超声(也称为诊断超声波扫描或超声波扫描术)是基于超声的应用的诊断成像技术。其被用于创建内部身体结构的图像，诸如肌腱、肌肉、关节、血管和内脏器官。
采集准确的图像以便执行有效检查和诊断要求将超声换能器放置在关于相关器官或身体部分的空间中的角位置，如现在参考的图1所图示的。图1示出了利用换能器14取得的感兴趣器官12的超声图像。将意识到，将换能器14导航到实现器官12的最佳或“规范”图像所要求的确切角位置的领域对超声检查的成功的至关重要。过程通常要求经训练和熟练的超声医师。
例如，为了执行超声心动图，超声医师必须从各种规范方向取得心脏的图像，诸如四腔和二腔视图。换能器的正确定位对接收左心室的最佳视图并且因此提取心脏的功能信息至关重要。
移动超声机器或设备在本领域中已知，诸如从Philips可商购的Lumify。这些移动超声机器是以与可下载到任何便携式手持式设备(诸如智能电话或平板电脑)的程序通信的换能器的形式可用的。
这样的设备的可用性意指超声可以现场之外(远离医院等)执行，例如，用于救护车或甚至在战场中的筛余工具、在紧急护理设施处、疗养院等处而不要求庞大的昂贵装备。
发明内容
根据本发明的优选实施例，提供了一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的可下载导航器。所述导航器包括：经训练的取向神经网络，其用于从所述移动超声单元接收身体部分的非规范图像并且生成与所述非规范图像相关联的变换，所述变换从与规范图像相关联的位置和旋转变换到与所述非规范图像相关联的位置和旋转；以及结果转换器，其用于将所述变换转换为针对所述探头的用户的取向指令并且将所述取向指令提供并显示给所述用户以改变所述探头的所述位置和旋转。
此外，根据本发明的优选实施例，所述导航器还包括训练器，所述训练器使用所述规范图像与在所述规范图像周围取得的非规范图像和从所述规范图像到与所述非规范图像相关联的空间中的位置和旋转的变换一起训练所述取向神经网络。
此外，根据本发明的优选实施例，所述训练器包括训练转换器，所述训练转换器用于：接收来自被安装在训练探头上的IMU(惯性测量单元)的训练会话期间的IMU数据，所述IMU数据提供与所述非规范图像和所述规范图像相关联的所述位置和旋转；并且将所述位置和旋转转换为从与所述规范图像相关联的所述位置和旋转到与所述非规范图像相关联的所述位置和旋转的变换。
更进一步地，根据本发明的优选实施例，所述训练器包括未训练的取向神经网络和用于训练所述未训练的取向神经网络的损失函数，所述损失函数用于减少由所述未训练的取向神经网络产生的计算的变换与用于每幅非规范图像的参考标准变换之间的距离。
此外，根据本发明的优选实施例，所述损失函数额外地包括将所述计算的变换约束到多个不同规范取向之一的概率。
此外，根据本发明的优选实施例，所述规范图像是多幅规范图像之一。
此外，根据本发明的优选实施例，所述导航器包括：诊断器，其当查看所述规范图像时根据由所述探头生成的最后图像做出诊断。
更进一步地，根据本发明的优选实施例，所述便携式计算设备是以下各项之一：智能电话、平板电脑、膝上型电脑、个人计算机和智能家电。
此外，根据本发明的优选实施例，所述导航器包括：集合创建器，其用于响应于来自所述探头的图像而从所述经训练的取向神经网络接收多个变换并且生成图像的集合和其相关联的变换；充分性检查器，其用于确定何时足够的集合已经被创建；以及经训练的周期规范视图神经网络，其用于生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
此外，根据本发明的优选实施例，所述导航器包括：周期规范视图训练器，其用于利用所述图像的集合、其相关联的变换和其相关联的在所述身体周期中的每个点处的总结周期规范图像来训练未训练的周期规范视图神经网络。
此外，根据本发明的优选实施例，所述身体部分周期是心动周期。
更进一步地，根据本发明的优选实施例，每个集合具有其中的单个元素。
根据本发明的优选实施例，提供了一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的导航器。所述导航器包括：经训练的取向神经网络，其用于提供针对在身体部分周围捕获的多幅超声图像的取向信息，所述取向信息用于相对于所述身体部分的规范视图对所述图像进行取向；以及体积重建器，其用于根据所述取向信息对所述图像进行取向，使用断层摄影重建根据取向图像来生成所述身体部分的体积表示并且根据所述体积表示来生成所述规范视图的规范图像。
此外，根据本发明的优选实施例，所述导航器包括：充分性检查器，其用于响应于来自所述探头的图像而从所述经训练的取向神经网络接收取向并且确定何时足够的图像已经被接收；以及结果转换器，其用于响应于所述充分性检查器而请求针对所述经训练的取向神经网络的另外的图像。
此外，根据本发明的优选实施例，所述导航器包括：诊断器，其根据所述身体部分的体积表示来做出诊断。
根据本发明的优选实施例，提供了一种用于在移动设备上实现的具有超声探头的移动超声单元的导航器。所述导航器包括：经训练的映射神经网络，其用于从所述探头接收身体部分的非规范图像，将所述非规范图像映射到可显示图上的非规范图点并且将与所述非规范图像相关联的多幅规范图像映射到所述可显示图上的规范图点；以及结果转换器，其用于显示利用规范图点和非规范图点标记的所述图。
此外，根据本发明的优选实施例，所述经训练的映射神经网络包括损失函数，所述损失函数用于确保所述探头的运动中的改变生成所述可显示图上的小的运动，图像之间的距离类似于图位置之间的距离并且一幅规范图像至另一幅规范图像之间的最佳路径是直线恒定速度轨迹。
此外，根据本发明的优选实施例，所述导航器还包括：诊断器，其用于当用户将所述探头移动到所述规范图点之一时根据由所述探头生成的最后图像来做出诊断。
根据本发明的优选实施例，提供了一种用于在移动设备上实现的具有超声探头的移动超声单元的可下载导航器。所述导航器包括：集合创建器，其用于随时间从所述探头接收图像并且生成图像的集合；充分性检查器，其用于确定何时足够的集合已经被生成；以及周期规范视图神经网络，其用于生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
此外，根据本发明的优选实施例，所述导航器还包括：诊断器，其用于根据由所述周期规范视图神经网络生成的最后图像来做出诊断。
根据本发明的优选实施例，提供了一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的方法。所述方法包括：使用经训练的取向神经网络从所述移动超声单元接收身体部分的非规范图像并且生成与所述非规范图像相关联的变换，所述变换从与规范图像相关联的位置和旋转变换到与所述非规范图像相关联的位置和旋转；并且将所述变换转换为针对所述探头的用户的取向指令并且将所述取向指令提供并显示给所述用户以改变所述探头的所述位置和旋转。
此外，根据本发明的优选实施例，所述方法包括：使用所述规范图像与在所述规范图像周围取得的非规范图像和从所述规范图像到与所述非规范图像相关联的空间中的位置和旋转的变换一起训练所述取向神经网络。
此外，根据本发明的优选实施例，所述训练包括：接收来自被安装在训练探头上的IMU(惯性测量单元)的训练会话期间的IMU数据，所述IMU数据提供与所述非规范图像和所述规范图像相关联的所述位置和旋转；并且将所述位置和旋转转换为从与所述规范图像相关联的所述位置和旋转到与所述非规范图像相关联的所述位置和旋转的变换。
更进一步地，根据本发明的优选实施例，所述经训练的映射神经网络包括损失函数，所述损失函数用于确保所述探头的运动中的改变生成所述可显示图上的小的运动，图像之间的距离类似于图位置之间的距离并且一幅规范图像至另一幅规范图像之间的最佳路径是直线恒定速度轨迹。
此外，根据本发明的优选实施例，所述损失函数额外地包括将所述计算变换约束到多个不同规范取向之一的概率。
此外，根据本发明的优选实施例，所述规范图像是多幅规范图像之一。
此外，根据本发明的优选实施例，所述方法包括当查看所述规范图像时根据由所述探头生成的最后图像来做出诊断。
更进一步地，根据本发明的优选实施例，所述便携式计算设备是以下各项之一：智能电话、平板电脑、膝上型电脑、个人计算机和智能家电。
此外，根据本发明的优选实施例，所述方法还包括：响应于来自所述探头的图像而从所述经训练的取向神经网络接收多个变换并且生成图像的集合和其相关联的变换；确定何时足够的集合已经被创建；并且使用经训练的周期规范视图神经网络来生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
此外，根据本发明的优选实施例，所述方法还包括利用所述图像的集合、其相关联的变换和其相关联的在所述身体周期中的每个点处的总结周期规范图像来训练未训练的周期规范视图神经网络。
此外，根据本发明的优选实施例，所述身体部分周期是心动周期。
更进一步地，根据本发明的优选实施例，每个集合具有其中的单个元素。
根据本发明的优选实施例，提供了一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的方法，所述方法包括：使用经训练的取向神经网络提供针对在身体部分周围捕获的多幅超声图像的取向信息，所述取向信息用于相对于所述身体部分的规范视图对所述图像进行取向；并且根据所述取向信息提供所述图像，使用断层摄影重建根据取向图像来生成所述身体部分的体积表示并且根据所述体积表示来生成所述规范视图的规范图像。
此外，根据本发明的优选实施例，所述方法包括响应于来自所述探头的图像而从所述经训练的取向神经网络接收取向并且确定何时足够的图像已经被接收；并且响应于所述接收取向而请求针对所述经训练的取向神经网络的另外的图像。
此外，根据本发明的优选实施例，所述方法还包括根据所述身体部分的体积表示来做出诊断。
根据本发明的优选实施例，提供了一种用于在移动设备上实现的具有超声探头的移动超声单元的方法。所述方法包括：使用经训练的映射神经网络从所述探头接收身体部分的非规范图像，将所述非规范图像映射到可显示图上的非规范图点并且将与所述非规范图像相关联的多幅规范图像映射到所述可显示图上的规范图点；并且显示利用规范图点和非规范图点标记的所述图。
此外，根据本发明的优选实施例，所述经训练的映射神经网络包括损失函数，所述损失函数用于确保所述探头的运动中的改变生成所述可显示图上的小的运动，图像之间的距离类似于直线恒定速度轨迹。
此外，根据本发明的优选实施例，所述方法还包括根据当用户将探头移动到规范图点之一时由探头生成的最后图像来做出诊断。
根据本发明的优选实施例，提供了一种用于在移动设备上实现的具有超声探头的移动超声单元的方法。所述方法包括：随时间从所述探头接收图像并且生成图像的集合；确定何时足够的集合已经被生成；并且经由周期规范视图神经网络生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
此外，根据本发明的优选实施例，所述方法包括根据由所述周期规范视图神经网络生成的最后图像来做出诊断。
附图说明
被认为是本发明的主题在说明书的结论部分中特别地指出并且不同地要求保护。然而，关于操作的组织和方法的本发明连同目标、图像和其优点一起可以通过参考当随附图阅读时的以下详细描述最好地理解，其中：
图1是超声换能器如何被放置以捕获身体部分的图像的示意性图示；
图2是根据本发明构建和操作的超声导航器的示意性图示；
图3A和3B是根据本发明构建和操作的图2的导航器可以如何帮助非超声医师对换能器的探头进行取向以便捕获身体部分的适合的图像的示意性图示；
图4是根据本发明构建和操作的针对器官的非规范图像与其相关联的规范图像的训练探头的取向之间的变换的示意性图示；
图5是根据本发明构建和操作的用于取向神经网络的训练过程的示意性图示；
图6是根据本发明构建和操作的图2的导航器的元件的示意性图示；
图7是根据本发明构建和操作的图2的导航器的备选实施例的元件的示意性图示；
图8A、8B和8C是根据本发明构建和操作的图2的导航器的备选实施例的元件和功能的示意性图示；
图9A和9B是根据本发明构建和操作的训练处和操作中的图2的导航器的备选实施例的元件的示意性图示；并且
图10A和10B是根据本发明构建和操作的训练处和操作中的图9A和9B的导航器的备选实施例的元件的示意性图示。
将意识到，为了图示的简单和清晰起见，附图中所示的元件不必按比例绘制。例如，为了清晰起见，元件中的一些的尺寸可以相对于其他元件放大。此外，在被认为适当的情况下，附图标记可以在附图间重复以指示对应或类似的元件。
具体实施方式
在以下详细描述中，阐述了许多特定细节以便提供本发明的透彻理解。然而，本领域技术人员将理解到，可以在没有这些特定细节的情况下实践本发明。在其他实例中，公知的方法、流程和部件尚未详细描述以便不使本发明难以理解。
申请人已认识到，使用远离常规地点(诸如医院)的移动超声机器的能力意指未训练的超声医师或非超声医师可能利用这些机器。然而，未训练的医生首先帮助提供者或者甚至患者自己不具有训练或知识来正确地施用这些超声。将意识到，针对不同的器官和身体部分要求不同的训练。
现有技术系统(诸如于2018年6月7日公开的题为“Guided Navigation of anUltrasound Probe”的美国专利公开号US2018/0153505和于2016年5月26日公开的题为“Ultrasound Acquisition Feedback Guidance to a Target View”的美国专利公开号US2016/0143627中描述的系统)教导用于确定供应图像与特定身体部分的优选规范图像之间的偏离以用于帮助非超声医师引导他或她的换能器到用于捕获最好适配图像的最佳取向的方法。
申请人已认识到，这些现有技术系统未提供完全解面对面旋转计算。申请人还已认识到，这些现有技术系统不是特别有用的，因为其要求额外硬件(诸如惯性测量单元，诸如磁强计、陀螺仪、加速度计等)以帮助确定非超声医师的探头的位置。申请人已认识到，不要求额外硬件并且容易可访问(诸如经由下载)以便集成为或用作与相关移动超声机器的处理软件的叠加的系统是更可用得多的。作为结果，本发明仅利用由超声单元生成的数字图像操作。
现在对图2进行参考，图2图示了根据本发明的第一实施例的超声导航器100，其可以从移动应用商店10(诸如Apple的Appstore或Google的Google Play)下载到任何便携式计算设备上，诸如智能电话、平板电脑、膝上型电脑、个人计算机、智能家电等。
将意识到，导航器100可以包括(作为下载的部分)经训练的取向神经网络15。下面在本文中更详细描述了取向神经网络15。如本文下面讨论的，导航器100可以集成为或用作与相关移动超声机器的处理软件的叠加。
因此，用户5可以使用患者9上的换能器或探头7(与移动超声单元8相关联)将相关身体部分的图像供应到导航器100，并且导航器100可以关于如何对探头7进行取向相应地供应取向指令。将意识到，过程可以利用非超声医师或用户5迭代，其做出超过一次尝试以正确取向探头7以便接收适合的图像。根据本发明的优选实施例，“取向”指令可以包括位置(二维或三维空间中的位置)和旋转信息(3D空间中的旋转)两者，即使导航器100仅接收图像。
现在对图3A和3B进行参考，图3A和3B图示了导航器100可以如何帮助非超声医师5对探头7进行取向以便捕获特定身体部分的好的图像。图3A示出了处于错误位置的探头7(标记7A)，即结果图像(标记20A)是非规范的。图3A额外地包括指导用户5改变探头7A的旋转的箭头21的集合。箭头21A指示“上仰”种类的旋转。图3B示出了更好的新斜US取向和结果图像20B中的探头7B，但是仍然未提供规范图像。箭头21B指示新“偏航”旋转可以是有用的。
如本文上面所讨论的，导航器100接收取向神经网络15，其可以利用针对特定身体部分或感兴趣器官的由熟练超声医师取得的专家数据训练。接收到的训练数据可以包括特定身体部分的规范图像以及相关联的非规范图像以及针对每幅的空间中的超声医师的探头的取向(即，位置和旋转)。将意识到，该信息可以使用与IMU(惯性测量单元，其可以包括磁强计、陀螺仪、加速度计等)相关联的探头生成。IMU可以确定当图像被捕获时探头的取向。
现在对图4进行参考，图4图示了由经训练的超声医师用于捕获规范图像的训练探头4c的取向相对于当捕获针对器官的非规范数据时的其取向之间的变换。当查看第i非规范图像时训练探头4i的取向可以被定义为空间中的“参考系”Fi，其中，参考系Fi可以具有对应于具有IMU可以测量的围绕轴的三个旋转和沿着轴的三个平移的三轴系统(Q)的六个自由度(6DoF)。
参考系Fi可以是指原点O处的参考系，其中，针对本发明，原点可以在器官处并且空间中的其坐标系可以被定义为Fo。针对每个参考系Fi，可以存在来自原点O的变换Ri，其中，变换Rc可以是到用于查看规范图像的期望取向(标记Fc)的变换，如下：
Rc＝FcFo -1
Ri＝FiFo -1 (1)
其中，Fo -1是FO的逆变换。因此，从规范姿势到第i非规范姿势的变换Ti可以是RiRc -1：
Ti＝RiRc -1＝FiF0 -1(FoFc -1)＝FiFc -1 (2)
现在对图5进行参考，图5图示了用于使用训练器30的取向神经网络15的训练过程。使用患者3上的训练探头4的熟练超声医师2可以为特定身体部分提供规范图像和相关联的非规范图像两者。将意识到，训练探头4可以与IMU 6(惯性测量单元，其可以包括磁强计、陀螺仪、加速度计等)关联，IMU 6可以确定当图像被捕获时探头的取向Fi。
训练转换器22可以接收针对每幅图像的取向数据Fi并且可以根据相关联的规范位置确定变换Ti＝RiRc -1，如本文上面关于图4所讨论的。特别地，训练转换器22可以从训练探头4取得图像X并且可以根据需要处理它们。数据库20可以将非规范图像Xi连同其取向数据Fi和其变换数据Ti一起存储。数据库20还可以存储规范图像Xc和其相关联的取向数据Fc。将意识到，可以存在用于身体部分的多幅规范图像。例如，心脏具有四腔规范图像、两腔规范图像等，并且因此，训练转换器22可以生成到每幅相关规范图像的变换Ti。将意识到，相关规范图像可以手动提供或由任何适合的算法自动确定。
将意识到，训练器30的传入训练数据可以是图像Xi和其相关联的参考标准变换Ti的组合。针对每幅非规范图像，训练器30可以学习用于探头4的定位变换以从查看每幅规范图像变换为查看每幅非规范图像。将意识到，传入数据可以包括来自许多不同患者3的数据，使得训练器30可以学习患者3的图像Xi中的改变(可能由于性别、年龄、体重等)以及可能影响非规范图像与规范图像之间的变换信息的任何其他因子。
还将意识到，训练器30可以是任何适合的神经网络训练器，诸如卷积神经网络训练器，其可以通过更新网络以使如由损失函数确定的能量“损失”最小化来训练网络，诸如由取向神经网络15产生的计算的变换S(Xi)与用于来自其相关联的规范图像的图像Xi的参考标准变换Ti之间的距离。将意识到，变换S(Xi)开始作为未训练的神经网络并且结束作为经训练的神经网络。
距离函数可以是任何适合的距离函数。如果存在超过一幅相关联的规范图像，则取向神经网络15可以利用到每幅非规范图像的参考标准变换Ti训练。损失函数“Loss”可以计算为：
Loss＝loss(S(Xi),Ti) (3)
一旦训练取向神经网络15，其可以响应于每幅传入图像Xi而生成用于用户探头7的变换T。该变换然后可以反转或转换以将用户5从用于非规范图像的取向引导到用于规范图像的取向，如本文下面更详细地描述的。
现在对图6进行参考，图6图示了导航器100的部件。导航器100可以包括经训练的取向神经网络15、结果转换器40和诊断器50。
如上文本文所讨论的，用户5可以相对于期望的身体部分随机地放置用户探头7。经训练的取向神经网络15可以提供从相关联的规范图像到特定身体部分的当前非规范图像的变换T。结果转换器40可以反转生成的变换以提供从查看非规范图像的当前位置和旋转到查看相关联的规范图像的位置和旋转的探头7的取向指令。结果转换器40可以以各种方式将这些取向指令提供并且显示给用户5。将意识到，该过程可以迭代直到用户5正确地定位探头7(在误差范围内)。
结果转换器40可以针对选定的规范图像将由经训练的取向神经网络15产生的取向数据S(X)转换为用于用户5的可解释取向。可以利用任何适合的显示器。参考图3A和3B在上文中示出了示范性显示器。将意识到，结果转换器40可以使用任何适当的接口并且可以(例如)显示有色旋转标记。此外，结果转换器40可以包括使得用户5能够当存在用于身体部分的多幅规范图像时指示哪幅规范图像当前感兴趣的元件。
诊断器50可以接收由用户5产生的最后规范图像并且可以检测其中的任何异常。诊断器50可以是任何适合的诊断器。例如，诊断50可以实现于2018年7月26日公开的PCT国际公开WO 2018/136805的诊断方法，其受让给本发明的共同受让人，并且通过引用并入本文。
申请人已认识到存在用于单个身体部分的多幅规范图像的事实和存在从一幅规范图像到另一幅的标准已知运动的事实可以被用于减少经训练的取向神经网络15的输出中的误差。
在该经改进的实施例中，取向神经网络15可以被训练到多幅规范图像。因此，针对每幅图像Xi，可以存在多个计算的变换。例如，针对一对规范图像c和c’，可以存在针对相同图像Xi的一对计算的变换Sc(Xi)和Sc’(Xi)，其可以具有相关联的参考标准变换Tc,i和Tc’,i。
此外，存在已知运动变换Tk，其被定义为：
Tk＝RcRc’ -1 (4)
其中，Rc用于规范图像c，并且Rc’用于规范图像c’。这些已知运动跨不同的对象粗略恒定，并且因此从一幅规范图像c到另一幅c’的变换Tk可以被用于将计算的变换Sc(Xi)和Sc’(Xi)约束到规范取向之一。这样做，概率量度Pk可以被用于定义添加到用于训练取向神经网络15的损失的最大似然损失项logPk(Sc(Xi)Sc’(Xi)-1)，如下：
Loss＝loss(Sc(Xi),Tc,i)+loss(Sc’(Xi),Tc’,i)–δ*logPk(Sc(Xi)Sc’(Xi)-1) (5)
概率量度Pk可以通过测量跨不同对象的规范姿势c与c’之间的参考标准变换Tk实验上确定。此外，可以存在每身体部分的多个概率量度，一个用于针对身体部分的每对规范图像，并且每个概率量度Pk可以定义用于损失函数的分离的额外项。
在备选实施例中，导航器(此处被标记100’)还可以包括充分性检查器60和体积重建器70，如现在参考的图7中所图示的。
体积重建器70可以利用经训练的取向神经网络15的输出并且可以根据由探头7产生的图像Xi产生感兴趣的身体部分的3D或4D功能和/或3D体积或3D空间-时间体积。在该实施例中，图像Xi可以被认为是感兴趣身体部分的截面。
充分性检查器60可以检查足够的截面是否已经经由经训练的取向神经网络15接收以便执行3D/4D体积重建并且因此可以引导用户5(经由结果转换器40)。例如，充分性检查器60可以确定何时已经取得预定义最小数目的图像。
在来自充分性检查器60的指示的情况下，体积重建器70可以生成3D/4D体积，在其之后，重建器70可以从生成的体积提取相关规范视图并且可以将它们提供给诊断器50。将意识到，在该实施例中的规范视图根据生成的体积产生并且可能或可能不已经在用于产生体积的图像间。
体积重建器70可以利用断层摄影重建，诸如基于逆拉东变换或其他方式，以根据图像重建3D/4D功能和/或体积。将意识到，针对成功体积断层摄影重建，知道3D空间或4D空间-时间中的截面的位置至关重要。申请人已认识到，经训练的取向神经网络15可以为取得的每幅图像提供用于探头7的建议变换S(X)，并且该变换S(X)可以被用于将图像Xi的像素从固定2D成像平面旋转到空间中的3D取向Q，其中，探头4i当其产生图像Xi时被定位。
体积重建器70可以从针对每幅图像Xi的经训练的取向神经网络15接收变换S(Xi)并且可以应用变换以将图像从成像平面(如从探头输出的)移动到由探头的变换定义的平面，从而产生身体部分的旋转截面CSi。体积重建器70然后可以使用断层摄影重建根据图像截面CS(Xi)建立感兴趣身体部分的体积。
为了应用变换S(Xi)，首先将意识到，图像Xi包括具有2D成像平面内的2D位置(xj,yj)和强度Ij的像素的集合。体积重建器70可以在空间中的3D像素位置(xj,yj,0)上应用变换S(Xi)以生成图像Xi的3D取向Q的近似，在其之后其可以应用运算符H以居中或缩放取向图像Xi，如下：
Q＝H*S(Xi)*[xj,yj,0]T(6)
体积重建器70可以将所生成的规范图像提供给诊断器50，其可以然后根据其产生诊断，如上文所描述的。
在现在参考的图8A、8B和8C所图示的又一实施例中，导航器(此处被标记100”)可以包括图像映射神经网络90。映射神经网络90可以将每幅图像Xi映射到2D平面92上(图8B)。图8B示出了映射到平面92上的三个不同位置A、B和D的三幅示范性图像XA、XB和XD。
结果转换器(此处标记42)可以将2D平面92显示给用户5，以一个颜色标记他的当前位置(例如，作为灰点(在图8C中示出为阴影点))并且针对该身体部分的规范图像的位置标记为其他颜色的点(在图8C中示出为编号圆1-5)。图8C还示出了采集的图像Xi和其图92。图点M(Xi)可以表示图92上的非规范图像Xi并且其他编号圆可以是表示期望或要求的规范视图c的规范图点。用户5可以使用探头7的试错移动以将图点M(Xi)朝向期望圆移动更近并且映射器90可以重新生成针对来自探头7的每幅新图像i的2D平面92。
申请人已认识到，探头7的运动中的小的改变应当生成2D平面92上的小的运动，并且图像Xi之间的距离应当类似于图位置之间的距离。申请人还已认识到，从一幅规范图像到另一幅的最佳路径应当是直线恒定速度轨迹。
将意识到，针对该实施例，映射神经网络90可以使用传入数据训练，该传入数据可以包括每幅图像Xi和其相关联的规范图的图像Xc。
映射神经网络90可以包含使在训练期间由神经网络90当前产生的计算的图点M(Xi)与针对每个规范视图cj的相关联的图点M(Xc)之间的距离最小化的损失函数：
Loss＝loss(M(Xi),M(Xcj)) (7)
为了将最佳路径并入到不同规范视图，可以添加概率向量pi,j，其可以定义图像Xi在路径上如何接近于第j期望规范图像c。损失函数然后可以被更新为：
Loss＝loss(M(Xi),∑pi,jM(Xcj)) (8)
为了保持距离，损失函数可以被更新为：
Loss＝loss(M(Xi),∑pi,jM(Xcj))+loss(dist(Xi,Xj),║M(Xi)-M(Xj)║2) (9)
将意识到，根据期望，平面92可以是要么2D平面要么3D体积。本文上面讨论的映射操作也操作用于映射到3D体积。
申请人已认识到，给定正确种类的训练，神经网络可以训练不仅生成变换信息而且生成规范图像。如果来自非超声医师的输入被预期为有噪声的(由于其可能不具有稳定的足够的手)和/或如果期望在规范视图处看到身体部分运转，则这可能是特别有用的。例如，超声医师规则地为心脏功能分析提供关于全心动周期(从收缩期到舒张期并且返回收缩期)的信息。
在现在参考的图9A和9B所示的又一实施例中，导航器100可以包括周期规范视图神经网络110，其可以是根据经训练的取向神经网络15的输出训练的神经网络。规范视图周期计110可以聚集重复图像以减少噪声并且提供(例如)器官周期(诸如心动周期)的较少噪声概要。
如图9A所示，针对训练周期规范视图神经网络110需要的元件可以包括经训练的取向神经网络15、创建网络110的输入的集合创建器112以及周期规范视图训练器115。
针对该实施例，熟练超声医师2可以提供随时间取得的多幅超声图像m以及在一个规范视图姿势c处随时间取得的多幅图像n。集合创建器112可以连同其相关联的变换信息S(Xm)一起接收来自经训练的取向神经网络15的图像Xm并且可以将这些与在规范视图处取得的其相关联的图像Xc,n组合。熟练超声医师2可以提供这样的关联。
集合创建器112然后可以生成三元组{[Ym,Zm],Wn}，其中，[Ym,Zm]是周期规范视图训练器115的输入，并且Wn是相关联的输出。每个Ym可以包括g图像的集合，其中，Ym＝{X1,X2,…..Xg}，并且Zm可以包括图像Ym的变换信息S(X)，使得Zm＝{S(X1),S(X2)……S(Xg)}。通常，g可以是10-100图像。
每对[Ym,Zm]可以具有在0与n之间的时间处在规范视图c处取得的相关联的规范图像Xc的集合Wn。时间n可以指示心动周期内的时间。如本文上面所提到的，熟练超声医师2可以指示心动周期信息并且可以提供将包括在集合Wn中的相关联的规范图像Xc。
在该情形下，周期规范视图训练器115可以接收一般帧Ym、如由取向神经网络15生成的其近似变换Zm、以及其相关联的心动周期定时n作为输入，并且可以训练以生成期望时间n处的规范视图中的总结图像Wn的集合。优化是：
Loss＝loss(CCn,Wn) (10)
其中，CCn是当其被训练时周期规范视图神经网络110的输出。
周期规范视图训练器115可以使用任何适当的神经网络生成用于导航器100的经训练的周期规范视图神经网络110，诸如完全卷积网络、编码器-解码器类型的网络或生成对抗网络。
如现在参考的图9B中所图示的，导航器100”’可以包括经训练的取向神经网络15、用于操作的集合创建器112’、充分性检查器60’、结果转换器40’、经训练的周期规范视图神经网络110和诊断器50。
在操作中，非超声医师5可以在一段时间内在感兴趣身体部分附近操作探头7，时间至少足够长以覆盖期望的身体部分周期(诸如心动周期)。来自探头7的图像可以被提供到经训练的取向神经网络15以生成其相关联的变换S(X)并且到集合创建器112’以生成适当的集合Ym和Zm。充分性检查器60’可以检查集合Ym和Zm足够大并且可以指导结果转换器40’以指导用户5要么以期望的方式取向探头7要么在当前取向处继续查看。将意识到，在该实施例中，非超声医师5不必将探头7确切地保持在规范视图处，并且因此，结果转换器40’可以提供的指令可以是粗略的。周期规范视图神经网络110可以根据集合创建器112’的输出生成总结周期规范视图CCn。
将意识到，该实施例也可以有用于非周期身体部分，特别地当用户5可以不稳定地保持探头7时。在该实施例中，每个集合可以仅具有其中的一幅或两幅图像。
申请人还已经认识到，神经网络也可以在没有由经训练的取向神经网络15产生的变换信息的情况下训练。这在图10A和10B中示出，图10A和10B图示了类似于图9A和9B的系统的系统，但是没有经训练的取向神经网络15。作为结果，针对训练(图10A)，集合创建器113可以根据图像Xi创建Ym并且可以根据时间n处的规范图像Xc创建Wn。周期规范视图训练器115可以使用等式(10)生成周期规范视图神经网络110。
在运行时间处(图10B)，集合创建器113’可以根据图像Xi创建Ym并且周期规范视图神经网络110可以生成总结视图CCn。
将意识到，本发明可以为非超声医师提供导航器以在没有训练和没有除超声探头之外的任何额外硬件的情况下操作移动超声机器。因此，本发明的导航器接收超声图像作为其仅有输入。还将意识到，这可以使得非超声医师能够在许多非常规情形下执行超声扫描，诸如在救护车中、在战场上、在紧急护理设施处、疗养院等。
此外，本发明可以实现在更常规的情形下，诸如使用在医院或门诊环境中的常规机器的部分，其也可以实现在小车上。
除非另外特别说明，如从前述讨论显而易见的，将意识到，贯穿说明书，利用诸如“处理”、“计算”、“估算”、“确定”等的术语的讨论指代任何类型的通用计算机的动作和/或过程，诸如客户端/服务器系统、移动计算设备、智能家电或类似电子计算设备，其将表示为计算系统的寄存器和/或存储器内的物理(诸如电子)量的数据操纵和/或变换为类似地表示为计算系统的存储器、寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
本发明的实施例可以包括用于执行本文中的操作的装置。该装置可以特别地被构建用于期望目的，或者其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机或客户端/服务器配置。结果装置当由软件指导时可以将通用计算机转换为如本文所讨论的发明元件。可执行指令可以定义利用其期望的计算机平台进行操作的发明设备。这样的计算机程序可以存储在计算机可访问存储介质中，其可以是非瞬态介质，诸如但不限于任何类型的磁盘，包括光盘、磁光盘、只读存储器(ROM)、易失性和非易失性存储器、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、磁或光卡、闪存、钥匙盘或适合于存储电子指令并且能够耦合到计算机系统总线的任何其他类型的介质。
本文所呈现的过程和显示器固有地不涉及任何特定计算机或其它装置。各种通用系统可以根据本文中的教导与程序一起使用，或者构建更多专用装置以执行期望的方法可以证明是方便的。用于各种这些系统的期望结构将从以下描述明显。另外，未参考任何特定编程语言描述本发明的实施例。将意识到，各种编程语言可以被用于实现如本文所描述的本发明的教导。
尽管在本文中已经图示并且描述了本发明的某些特征，但是本领域普通技术人员现在将想到许多修改、替代、改变和等效物。因此，应意识到，随附的权利要求旨在覆盖如落在本发明的真实精神内的所有这样的修改和改变。

Claims (40)

1.一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的可下载导航器，所述导航器包括：
经训练的取向神经网络，其用于从所述移动超声单元接收身体部分的非规范图像并且生成与所述非规范图像相关联的变换，所述变换从与规范图像相关联的位置和旋转变换到与所述非规范图像相关联的位置和旋转；以及
结果转换器，其用于将所述变换转换为针对所述探头的用户的取向指令并且将所述取向指令提供并且显示给所述用户以改变所述探头的所述位置和旋转。
2.根据权利要求1所述的导航器，并且包括训练器，所述训练器使用所述规范图像与在所述规范图像周围取得的非规范图像和从所述规范图像到与所述非规范图像相关联的空间中的位置和旋转的变换一起训练所述取向神经网络。
3.根据权利要求2所述的导航器，并且其中，所述训练器包括训练转换器，所述训练转换器用于：接收来自被安装在训练探头上的IMU(惯性测量单元)的训练会话期间的IMU数据，所述IMU数据提供与所述非规范图像和所述规范图像相关联的所述位置和旋转；并且将所述位置和旋转转换为从与所述规范图像相关联的所述位置和旋转到与所述非规范图像相关联的所述位置和旋转的变换。
4.根据权利要求2所述的导航器，并且其中，所述训练器包括未训练的取向神经网络和用于训练所述未训练的取向神经网络的损失函数，所述损失函数用于减少由所述未训练的取向神经网络产生的计算的变换与用于每幅非规范图像的参考标准变换之间的距离。
5.根据权利要求4所述的导航器，其中，所述损失函数额外地包括将所述计算的变换约束到多个不同规范取向中的一个规范取向的概率。
6.根据权利要求1所述的导航器，其中，所述规范图像是多幅规范图像中的一幅规范图像。
7.根据权利要求1所述的导航器，并且还包括诊断器，所述诊断器用于当查看所述规范图像时根据由所述探头生成的最后图像来做出诊断。
8.根据权利要求1所述的导航器，并且其中，所述便携式计算设备是以下各项中的一项：智能电话、平板电脑、膝上型电脑、个人计算机和智能家电。
9.根据权利要求1所述的导航器，并且还包括：
集合创建器，其用于响应于来自所述探头的图像而从所述经训练的取向神经网络接收多个变换并且生成图像的集合和其相关联的变换；
充分性检查器，其用于确定何时足够的集合已经被创建；以及
经训练的周期规范视图神经网络，其用于生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
10.根据权利要求9所述的导航器，并且还包括周期规范视图训练器，所述周期规范视图训练器用于利用所述图像的集合、其相关联的变换和其相关联的在所述身体周期中的每个点处的总结周期规范图像来训练未训练的周期规范视图神经网络。
11.根据权利要求9所述的导航器，其中，所述身体部分周期是心动周期。
12.根据权利要求9所述的导航器，其中，每个集合具有其中的单个元素。
13.一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的导航器，所述导航器包括：
经训练的取向神经网络，其用于提供针对在身体部分周围捕获的多幅超声图像的取向信息，所述取向信息用于相对于所述身体部分的规范视图对所述图像进行取向；以及
体积重建器，其用于根据所述取向信息对所述图像进行取向，使用断层摄影重建根据所述取向图像来生成所述身体部分的体积表示并且根据所述体积表示来生成所述规范视图的规范图像。
14.根据权利要求13所述的导航器，并且还包括：
充分性检查器，其用于响应于来自所述探头的图像而从所述经训练的取向神经网络接收取向并且确定何时足够的图像已经被接收；以及
结果转换器，其用于响应于所述充分性检查器而请求针对所述经训练的取向神经网络的另外的图像。
15.根据权利要求13所述的导航器，并且还包括诊断器，所述诊断器用于根据所述身体部分的所述体积表示来做出诊断。
16.一种用于在移动设备上实现的具有超声探头的移动超声单元的导航器，所述导航器包括：
经训练的映射神经网络，其用于从所述探头接收身体部分的非规范图像，将所述非规范图像映射到可显示图上的非规范图点并且将与所述非规范图像相关联的多幅规范图像映射到所述可显示图上的规范图点；以及
结果转换器，其用于显示利用规范图点和非规范图点标记的所述图。
17.根据权利要求16所述的导航器，并且其中，所述经训练的映射神经网络包括损失函数，所述损失函数用于确保所述探头的运动中的改变生成所述可显示图上的小的运动，图像之间的距离类似于图位置之间的距离并且一幅规范图像至另一幅规范图像之间的最佳路径是直线恒定速度轨迹。
18.根据权利要求16所述的导航器，并且还包括诊断器，所述诊断器用于当用户将所述探头移动到所述规范图点中的一个规范图点时根据由所述探头生成的最后图像来做出诊断。
19.一种用于在移动设备上实现的具有超声探头的移动超声单元的可下载导航器，所述导航器包括：
集合创建器，其用于随时间从所述探头接收图像并且生成图像的集合；
充分性检查器，其用于确定何时足够的集合已经被生成；以及
周期规范视图神经网络，其用于生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
20.根据权利要求19所述的导航器，并且还包括诊断器，所述诊断器用于根据由所述周期规范视图神经网络生成的最后图像来做出诊断。
21.一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的方法，所述方法包括：
使用经训练的取向神经网络从所述移动超声单元接收身体部分的非规范图像并且生成与所述非规范图像相关联的变换，所述变换从与规范图像相关联的位置和旋转变换到与所述非规范图像相关联的位置和旋转；并且
将所述变换转换为针对所述探头的用户的取向指令并且将所述取向指令提供并且显示给所述用户以改变所述探头的所述位置和旋转。
22.根据权利要求21所述的方法，并且包括使用所述规范图像与在所述规范图像周围取得的非规范图像和从所述规范图像到与所述非规范图像相关联的空间中的位置和旋转的变换一起训练所述取向神经网络。
23.根据权利要求22所述的方法，并且其中，所述训练包括：接收来自被安装在训练探头上的IMU(惯性测量单元)的训练会话期间的IMU数据，所述IMU数据提供与所述非规范图像和所述规范图像相关联的所述位置和旋转；并且将所述位置和旋转转换为从与所述规范图像相关联的所述位置和旋转到与所述非规范图像相关联的所述位置和旋转的变换。
24.根据权利要求22所述的方法，并且其中，所述经训练的映射神经网络包括损失函数，所述损失函数用于确保所述探头的运动中的改变生成所述可显示图上的小的运动，图像之间的距离类似于图位置之间的距离并且一幅规范图像至另一幅规范图像之间的最佳路径是直线恒定速度轨迹。
25.根据权利要求24所述的方法，其中，所述损失函数额外地包括将所述计算的变换约束到多个不同规范取向中的一个规范取向的概率。
26.根据权利要求21所述的方法，其中，所述规范图像是多幅规范图像中的一幅。
27.根据权利要求21所述的方法，并且还包括当查看所述规范图像时根据由所述探头生成的最后图像来做出诊断。
28.根据权利要求21所述的方法，并且其中，所述便携式计算设备是以下各项中的一项：智能电话、平板电脑、膝上型电脑、个人计算机和智能家电。
29.根据权利要求21所述的方法，并且还包括：
响应于来自所述探头的图像而从所述经训练的取向神经网络接收多个变换并且生成图像的集合和其相关联的变换；
确定何时足够的集合已经被创建；并且
使用经训练的周期规范视图神经网络来生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
30.根据权利要求29所述的方法，并且还包括利用所述图像的集合、其相关联的变换和其相关联的在所述身体周期中的每个点处的总结周期规范图像来训练未训练的周期规范视图神经网络。
31.根据权利要求29所述的方法，其中，所述身体部分周期是心动周期。
32.根据权利要求29所述的方法，其中，每个集合具有其中的单个元素。
33.一种用于在便携式计算设备上实现的具有超声探头的移动超声单元的方法，所述方法包括：
使用经训练的取向神经网络提供针对在身体部分周围捕获的多幅超声图像的取向信息，所述取向信息用于相对于所述身体部分的规范视图对所述图像进行取向；并且
根据所述取向信息对所述图像进行取向，使用断层摄影重建根据所述取向图像来生成所述身体部分的体积表示并且根据所述体积表示来生成所述规范视图的规范图像。
34.根据权利要求33所述的方法，并且还包括：
响应于来自所述探头的图像而从所述经训练的取向神经网络接收取向并且确定何时足够的图像已经被接收；并且
响应于所述接收取向而请求针对所述经训练的取向神经网络的另外的图像。
35.根据权利要求33所述的方法，并且还包括根据所述身体部分的所述体积表示来做出诊断。
36.一种用于在移动设备上实现的具有超声探头的移动超声单元的方法，所述方法包括：
使用经训练的映射神经网络从所述探头接收身体部分的非规范图像，将所述非规范图像映射到可显示图上的非规范图点并且将与所述非规范图像相关联的多幅规范图像映射到所述可显示图上的规范图点；并且
显示利用规范图点和非规范图点标记的所述图。
37.根据权利要求36所述的方法，并且其中，所述经训练的映射神经网络包括损失函数，所述损失函数用于确保所述探头的运动中的改变生成所述可显示图上的小的运动，图像之间的距离类似于直线恒定速度轨迹。
38.根据权利要求36所述的方法，并且还包括当用户将所述探头移动到所述规范图点中的一个规范图点时根据由所述探头生成的最后图像来做出诊断。
39.一种用于在移动设备上实现的具有超声探头的移动超声单元的方法，所述方法包括：
随时间从所述探头接收图像并且生成图像的集合；
确定何时足够的集合已经被生成；并且
经由周期规范视图神经网络生成示出身体部分周期期间的所述身体部分的改变的总结周期规范图像的集合。
40.根据权利要求39所述的方法，并且还包括根据由所述周期规范视图神经网络生成的最后图像来做出诊断。
CN201980044166.4A 2018-05-15 2019-05-15 用于对超声图像的捕获取向的系统和方法 Pending CN112399828A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862671692P 2018-05-15 2018-05-15
US62/671,692 2018-05-15
PCT/US2019/032368 WO2019222317A1 (en) 2018-05-15 2019-05-15 System and method for orientating capture of ultrasound images

Publications (1)

Publication Number Publication Date
CN112399828A true CN112399828A (zh) 2021-02-23

Family

ID=68533844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044166.4A Pending CN112399828A (zh) 2018-05-15 2019-05-15 用于对超声图像的捕获取向的系统和方法

Country Status (13)

Country Link
US (2) US11593638B2 (zh)
EP (2) EP4218596A1 (zh)
JP (2) JP7445243B2 (zh)
KR (1) KR20210011005A (zh)
CN (1) CN112399828A (zh)
AU (1) AU2019268319A1 (zh)
CA (1) CA3099568A1 (zh)
DK (1) DK3793447T3 (zh)
ES (1) ES2938515T3 (zh)
FI (1) FI3793447T3 (zh)
IL (2) IL278468B2 (zh)
PL (1) PL3793447T3 (zh)
WO (1) WO2019222317A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113274051A (zh) * 2021-04-30 2021-08-20 中国医学科学院北京协和医院 超声辅助扫查方法、装置、电子设备和存储介质
CN116152610A (zh) * 2023-04-04 2023-05-23 北京智源人工智能研究院 智能心脏超声探头位姿预估模型训练方法及位姿预估方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113116386B (zh) * 2019-12-31 2023-08-04 无锡祥生医疗科技股份有限公司 超声成像引导方法、超声设备及存储介质
KR20210099967A (ko) * 2020-02-05 2021-08-13 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
CN113496442A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图表征产生系统,图表征产生方法与其图表征智能模块
CN111643116B (zh) * 2020-07-03 2023-03-31 吉林大学 一种仿生智能超声检查体位变换装置
US20230200778A1 (en) * 2021-12-27 2023-06-29 GE Precision Healthcare LLC Medical imaging method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081709A1 (en) * 2005-09-27 2007-04-12 Vanderbilt University Method and Apparatus for Standardizing Ultrasonography Training Using Image to Physical Space Registration of Tomographic Volumes From Tracked Ultrasound
US20130116561A1 (en) * 2011-10-17 2013-05-09 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
WO2014099825A2 (en) * 2012-12-18 2014-06-26 Metritrack, Llc Three dimensional mapping display system for diagnostic ultrasound machines
US20150310581A1 (en) * 2012-12-21 2015-10-29 Koninklijke Philips N.V. Anatomically intelligent echocardiography for point-of-care
US20160038121A1 (en) * 2013-04-03 2016-02-11 Philips Gmbh 3d ultrasound imaging system
CN105939670A (zh) * 2014-01-27 2016-09-14 皇家飞利浦有限公司 超声成像系统和超声成像方法
US20170262982A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
US20180146955A1 (en) * 2015-05-07 2018-05-31 Koninklijke Philips N.V. System and method for motion compensation in medical procedures

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9025431D0 (en) 1990-11-22 1991-01-09 Advanced Tech Lab Three dimensional ultrasonic imaging
US7092749B2 (en) 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
JP4263579B2 (ja) 2003-10-22 2009-05-13 アロカ株式会社 超音波診断装置
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
DE102006008501B3 (de) 2006-02-23 2007-10-25 Albert-Ludwigs-Universität Freiburg Sonde und Verfahren zur Datenübertragung zwischen einem Gehirn und einer Datenverarbeitungsvorrichtung
WO2008001297A2 (en) 2006-06-28 2008-01-03 Koninklijke Philips Electronics N.V. Variable resolution model based image segmentation
US7565262B2 (en) 2006-10-05 2009-07-21 Siemens Corporate Research, Inc. Bayesian sensor estimation for machine condition monitoring
US20120065510A1 (en) 2010-09-09 2012-03-15 General Electric Company Ultrasound system and method for calculating quality-of-fit
US9554812B2 (en) 2011-02-18 2017-01-31 DePuy Synthes Products, Inc. Tool with integrated navigation and guidance system and related apparatus and methods
KR101286222B1 (ko) * 2011-09-19 2013-07-15 삼성메디슨 주식회사 영상을 처리하는 방법, 장치, 초음파 진단장치 및 의료영상시스템
US9208432B2 (en) 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
GB2507987A (en) 2012-11-15 2014-05-21 Imp Innovations Ltd Method of automatically processing an ultrasound image
JP6527860B2 (ja) 2013-06-28 2019-06-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ターゲットビューに対する超音波収集フィードバックガイダンス
WO2015150932A1 (en) 2014-03-31 2015-10-08 Koninklijke Philips N.V. Haptic feedback for ultrasound image acquisition
JP5939601B1 (ja) 2015-03-12 2016-06-22 学校法人早稲田大学 超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラム
US10183130B2 (en) 2015-04-29 2019-01-22 Carefusion 303, Inc. Measuring valve health by pressure monitoring
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP2017167582A (ja) 2016-03-14 2017-09-21 富士通株式会社 演算処理装置、情報処理装置、及び演算処理装置の制御方法
WO2017182417A1 (en) 2016-04-19 2017-10-26 Koninklijke Philips N.V. Ultrasound imaging probe positioning
FR3059541B1 (fr) 2016-12-07 2021-05-07 Bay Labs Inc Navigation guidee d'une sonde ultrason
IL268141B2 (en) 2017-01-19 2023-09-01 Univ New York Method, system and computer accessible medium for ultrasound analysis

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081709A1 (en) * 2005-09-27 2007-04-12 Vanderbilt University Method and Apparatus for Standardizing Ultrasonography Training Using Image to Physical Space Registration of Tomographic Volumes From Tracked Ultrasound
US20130116561A1 (en) * 2011-10-17 2013-05-09 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US20140180176A1 (en) * 2011-10-17 2014-06-26 Butterfly Network, Inc. Image-guided high intensity focused ultrasound and related apparatus and methods
WO2014099825A2 (en) * 2012-12-18 2014-06-26 Metritrack, Llc Three dimensional mapping display system for diagnostic ultrasound machines
US20150310581A1 (en) * 2012-12-21 2015-10-29 Koninklijke Philips N.V. Anatomically intelligent echocardiography for point-of-care
US20160038121A1 (en) * 2013-04-03 2016-02-11 Philips Gmbh 3d ultrasound imaging system
CN105939670A (zh) * 2014-01-27 2016-09-14 皇家飞利浦有限公司 超声成像系统和超声成像方法
US20180146955A1 (en) * 2015-05-07 2018-05-31 Koninklijke Philips N.V. System and method for motion compensation in medical procedures
US20170262982A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113274051A (zh) * 2021-04-30 2021-08-20 中国医学科学院北京协和医院 超声辅助扫查方法、装置、电子设备和存储介质
CN113274051B (zh) * 2021-04-30 2023-02-21 中国医学科学院北京协和医院 超声辅助扫查方法、装置、电子设备和存储介质
CN116152610A (zh) * 2023-04-04 2023-05-23 北京智源人工智能研究院 智能心脏超声探头位姿预估模型训练方法及位姿预估方法
CN116152610B (zh) * 2023-04-04 2023-06-23 北京智源人工智能研究院 智能心脏超声探头位姿预估模型训练方法及位姿预估方法

Also Published As

Publication number Publication date
EP3793447B1 (en) 2023-01-18
IL278468B1 (en) 2023-09-01
FI3793447T3 (fi) 2023-03-18
JP2021522956A (ja) 2021-09-02
IL278468B2 (en) 2024-01-01
KR20210011005A (ko) 2021-01-29
JP2024069213A (ja) 2024-05-21
ES2938515T3 (es) 2023-04-12
EP4218596A1 (en) 2023-08-02
EP4218596A8 (en) 2023-09-27
PL3793447T3 (pl) 2023-06-26
IL305425A (en) 2023-10-01
DK3793447T3 (da) 2023-02-27
JP7445243B2 (ja) 2024-03-07
US11593638B2 (en) 2023-02-28
IL278468A (zh) 2020-12-31
CA3099568A1 (en) 2019-11-21
EP3793447A4 (en) 2021-11-10
EP3793447A1 (en) 2021-03-24
AU2019268319A1 (en) 2020-12-24
US20230206065A1 (en) 2023-06-29
US20190354856A1 (en) 2019-11-21
WO2019222317A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7445243B2 (ja) 超音速画像のキャプチャを方向付けるシステムおよび方法
US11847781B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
US11354813B2 (en) Dilated fully convolutional network for 2D/3D medical image registration
US9554772B2 (en) Non-invasive imager for medical applications
CN113260313A (zh) 用于超声数据收集的方法和装置
US10685451B2 (en) Method and apparatus for image registration
US20230301624A1 (en) Image-Based Probe Positioning
US20200069291A1 (en) Methods and apparatuses for collection of ultrasound data
CN113662573B (zh) 乳腺病灶定位方法、装置、计算机设备和存储介质
US20230062672A1 (en) Ultrasonic diagnostic apparatus and method for operating same
CN117279573A (zh) 机器人化成像系统
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
RU2020139165A (ru) Система и способ для ориентирования захвата ультразвуковых изображений
CN116612241A (zh) 三维重建方法、装置、设备及存储介质
Kukuk An “optimal” k-needle placement strategy and its application to guiding transbronchial needle aspirations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination