CN115666397A - 允许非熟练用户采集人体内部器官的超声图像的系统和方法 - Google Patents
允许非熟练用户采集人体内部器官的超声图像的系统和方法 Download PDFInfo
- Publication number
- CN115666397A CN115666397A CN202180032117.6A CN202180032117A CN115666397A CN 115666397 A CN115666397 A CN 115666397A CN 202180032117 A CN202180032117 A CN 202180032117A CN 115666397 A CN115666397 A CN 115666397A
- Authority
- CN
- China
- Prior art keywords
- scanner
- operator
- image
- patient
- instructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 91
- 210000001835 viscera Anatomy 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims description 92
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 239000000523 sample Substances 0.000 claims description 41
- 230000006854 communication Effects 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 22
- 230000008878 coupling Effects 0.000 claims description 16
- 238000010168 coupling process Methods 0.000 claims description 16
- 238000005859 coupling reaction Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000036772 blood pressure Effects 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000002238 attenuated effect Effects 0.000 claims description 8
- 230000007175 bidirectional communication Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 4
- 239000000835 fiber Substances 0.000 claims 1
- 239000000499 gel Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 210000001015 abdomen Anatomy 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001605 fetal effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000002458 fetal heart Anatomy 0.000 description 3
- 210000003754 fetus Anatomy 0.000 description 3
- 210000001161 mammalian embryo Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 206010007559 Cardiac failure congestive Diseases 0.000 description 2
- 206010019280 Heart failures Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000004381 amniotic fluid Anatomy 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000008774 maternal effect Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 210000002445 nipple Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 201000011461 pre-eclampsia Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 206010070538 Gestational hypertension Diseases 0.000 description 1
- 240000004760 Pimpinella anisum Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
- A61B8/4281—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by sound-transmitting media or devices for coupling the transducer to the tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
- A61B8/429—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4427—Device being portable or laptop-like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
- A61B8/4455—Features of the external shape of the probe, e.g. ergonomic aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
- A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/56—Details of data transmission or power supply
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/56—Details of data transmission or power supply
- A61B8/565—Details of data transmission or power supply involving data transmission via a network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
- A61B8/585—Automatic set-up of the device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0247—Pressure sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Acoustics & Sound (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种允许非熟练用户采集人体内部器官的超声图像的系统,包括扫描仪、与其相关联的至少一个惯性测量单元(IMU)、包含软件的处理器以及用户界面,该用户界面包括显示屏和接受用户指令的部件,其中软件被配置为执行以下各项中的至少一项:产生超声图像;分析数据;决定哪些图像具有足够的质量以显示在显示屏上;丢弃低质量图像;指示操作者以预定方式握住扫描仪的壳体;计算扫描仪的地点和姿态;确定扫描仪是否被握住,使得在皮肤上施加足够的压力以产生足够质量的图像;以及有效地提供如何正确移动扫描仪以获得满意图像的指令。
Description
技术领域
本发明来自医疗设备领域。具体而言,本发明涉及一种利用惯性测量单元准确定位和移动手持超声探头的系统和方法。
背景技术
了解医疗传感器或医疗设备相对于患者解剖结构的地点以及传感器或设备正在或应该移动的速度对于高级远程控制、机器人、自主、自我反馈或其它自动医疗程序至关重要。
超声探头(在本文中也称为“扫描仪”、“超声头”或为简单起见简称为“探头”)在身体上移动的速度提供了重要信息。例如,以低于或高于某个范围的速度拍摄的图像可能被删除,或者可能经受特殊过滤和图像处理技术,以便改善模糊图像。此外,可以向操作者提供关于程序的几个方面的指令,诸如何时停止移动、如何校正扫描路径、如何改变朝向或倾斜探头等。在远程控制安装在位于患者身体上的万向节上的超声探头或传感器的情况下,知道超声探头移动的二维或三维速度对于跟踪万向节和/或探头的整体地点、姿态和速度也是重要的。
一种极其常见的程序是超声扫描,尤其几乎每个妇女在她产前看医生或去诊所期间都会经历这种超声扫描。通常,在这种情况下,超声技师(声谱仪操作员)或医师执行扫描。操作者,即技师、助产士、医生、声谱仪操作员等,根据他们的经验,知道为了对胚胎的特定结构进行成像,扫描仪头或探头必须位于的最佳位置和朝向、保持扫描仪与身体良好耦合所必需的对腹部的适当压力量、探头相对于腹部的角度,以及允许良好成像的正确扫描速度。此外,操作者在屏幕上实时查看探头生成的图像,并能够优化或校正其位置。本文中的术语“探头”或“超声探头”是指任何有用的探头、线性或凸面、相控阵、HIFU或其它传感器。
在本描述的上下文中,术语“扫描仪”应该被理解为是指必须在患者身体表面上移动以从中采集数据(例如,超声图像)的元件、壳体或设备。
许多扫描只是为了监测胚胎的活力体征,例如心跳、移动、羊水量、强健状况(tone)和呼吸而进行。这些扫描也可以由患者在其家中或其它非诊所、医院或医疗设施的地点执行,从而节省超负荷的医疗系统时间和资源,并潜在地避免不必要的急诊科就诊或产前到医生办公室、诊所或医院。但是,执行超声扫描需要一些超声操作者的技能,未经训练的人缺乏这种技能。显然,非常期望提供一种装置,使不熟练的人可以通过这种装置执行产生有用结果的“自己动手”的超声扫描。
因此,本发明的目的是提供一种设备和方法,其通过监测扫描仪头(超声探头)的运动并提供有助于将扫描仪头定位在期望地点的反馈来帮助患者执行超声扫描.
本发明的其它目的和优点将随着描述的进行而显现。
发明内容
在第一方面,本发明包括一种用于允许非熟练用户采集人体内部器官的超声图像的系统,包括扫描仪、与其相关联的至少一个惯性测量单元(IMU)、包含软件的处理器,以及用户界面,包括显示屏和接受用户指令的部件,其中软件被配置为执行以下各项中的至少一项:产生超声图像;分析数据;决定哪些图像具有足够的质量以显示在显示屏上;丢弃低质量图像;指示操作者以预定方式握住扫描仪的壳体;计算扫描仪的地点和姿态;确定扫描仪是否被握住,使得在皮肤上施加足够的压力以产生足够质量的图像;以及有效地提供如何正确移动扫描仪以便获得满意图像的指令。
在一个实施例中,该系统包括选自USB、闪电(Lightning)、光纤、Wi-Fi、UWB、蓝牙和IR中的一种或多种的电子通信组件。
在第一方面,本发明包括一种用于采集人体内部器官的超声图像的系统。该系统包括扫描仪和至少一个与其相关联的惯性测量单元(IMU)。
在系统的一些实施例中,至少一个IMU是以下之一:a)与扫描仪集成在一起;b)经由插入式连接来连接到扫描仪;c)设在与扫描仪相关联的元件中并在操作期间随其移动。
系统的一些实施例被配置为向系统的操作者发出指令,该指令允许扫描也可以由未受过超声扫描训练的人,包括患者自己来执行。
在其中扫描由未经训练的操作者执行的系统的一些实施例中,扫描被传输到远程地点以供医疗保健专业人员分析。
系统的一些实施例被配置为允许操作者与远程个体或非监控系统之间进行双向通信,其中非监控系统包括自动化的图像分析电路系统。双向通信可以选自音频、可视和视频通信,以及它们的组合。在系统的一些实施例中,当扫描由未经训练的操作者执行时,在操作者和医疗保健专业人员之间启用双向视频通信,从而使他们能够在操作者执行扫描程序时看到彼此以帮助健康护理专业人员解释图像并在必要时提供指导。在一些实施例中,该系统被配置为使得系统的输出实时地或在采集图像后不久直接发送到远程医疗保健专业人员和/或非监控系统。
系统的一些实施例被配置为将扫描仪的图像覆盖在超声扫描之上以帮助医疗保健专业人员解释图像。
系统的扫描仪的实施例包括壳体,该壳体被人体工程学地设计为由操作者握住并在人或动物的皮肤上移动。壳体的一些实施例包括或具有与其相关联的至少必须位于患者身体上以获得超声图像的系统的最小数量的组件。在壳体的一些实施例中,壳体中或与壳体相关联的最小数量的组件是:i)超声探头;ii)至少一个IMU,其包括三轴加速度计和三轴陀螺仪;iii)用于与远程终端进行有线或无线通信的电子组件;以及iv)电源。
当提及“超声探头”时,该术语应该被理解为其最广泛的含义,包括例如单个元件、1D、1.5D、2D、3D和相控阵探头,以及可以用于本发明的目的的任何其它布置。
在系统的一些实施例中,壳体包括可以以许多不同配置布置的其它组件,其中它们中的至少一些可以位于壳体内。在这些实施例中,系统的其它组件是:v)模拟前端(AFE),它借助于电子组件传输和接收超声信号;vi)包含软件的处理器;vii)用户界面,包括显示屏和接受用户指令的部件;以及viii)至少一个存储器设备,用于存储由处理器中的软件处理的数据和图像。在这些实施例中,未位于壳体内的其它组件位于靠近患者但与壳体分开的地点。在这些实施例中,未位于壳体内的其它组件与位于壳体内或与壳体相关联的组件通信。
在系统的一些实施例中,AFE的电子组件包括发送器、接收器、放大器和模数(A/D和数模(D/A)转换器)。
在系统的一些实施例中,软件被配置为操作系统并且接收和处理从AFE接收到的超声信号以产生超声图像并且接收和处理从IMU接收到的惯性测量信号。
在系统的一些实施例中,AFE、IMU、处理器、存储器设备和通信组件可以作为单独的集成电路(IC)提供或集成到包括至少一些IC的一个或多个ASIC中。
系统的一些实施例包括附加组件。附加组件包括以下至少之一:ix)远程终端;x)至少一个附加的IMU;xi)至少一个三轴磁力计;xii)至少一个压力传感器;以及xiii)用于与远程医疗保健提供者通信的扬声器和麦克风。
在系统的一些实施例中,所有其它组件v)-viii)都包含在远程终端内,该远程终端经由有线或无线通信链路连接到扫描仪。在系统的其它实施例中,一些其它组件v)-viii)包含在扫描仪内,其余的位于远程终端,该远程终端经由有线或无线通信链路连接到扫描仪。
在系统的一些实施例中,远程终端是便携式通信设备。在系统的一些实施例中,便携式通信设备是智能电话。在系统的一些实施例中,便携式通信设备包括显示器、IMU和处理器。在系统的一些实施例中,便携式通信设备装配到扫描仪壳体中的插座中。在系统的一些实施例中,便携式通信设备是壳体的组成部分。在系统的一些实施例中,便携式通信设备不是壳体的组成部分,而是在执行扫描之前装配到壳体中的插座中,在超声扫描期间与壳体一起移动,并且如果期望,在以后拆卸用于其它用途。在系统的一些实施例中,便携式通信设备经由电缆或无线连接来连接到壳体并且只有壳体被移动。
合适的有线通信链路的说明性示例包括USB、闪电(lightning)和光纤,但当然,任何附加的有线通信都是可能的。无线通信链路的说明性示例包括但不限于Wi-Fi、UWB、蓝牙和IR。
便携式通信设备可以是许多合适的设备中的任何一个,例如,移动电话、平板电脑、膝上型电脑。此外,壳体或与其连接的设备可以与位于云中的装置通信,该装置适于接收由壳体生成的或与壳体相关联的数据。
在系统的一些实施例中,一个或多个IMU、处理设备和软件、存储器设备、电源和AFE的组件的不同组合位于壳体内或智能电话中。系统的一些实施例包括智能电话中的至少一个IMU和壳体中的至少一个IMU。
在系统的一些实施例中,处理器被配置为接收由所有传感器收集的数据。
在系统的一些实施例中,软件被配置为执行以下至少一项:产生超声图像;分析数据;决定哪些图像具有足够的质量以显示在显示屏上;丢弃低质量图像;指示操作者以预定方式握住扫描仪的壳体;计算扫描仪的地点和姿态;确定扫描仪是否被握住,使得在皮肤上施加足够的压力以产生足够质量的图像;以及有效地提供如何正确移动扫描仪以便获得满意结果的指令。
术语“具有足够质量”是指整体上或从其元素中能够自动或由专业人员观察推断出解剖结构或生理状况的图像。
可以从图像中推断出的一些说明性而非详尽的示例包括胎心检测、胎心率测量、羊水测量、胎动检测、胎儿心脏和动脉中血流方向和速度的测量、甲状腺中肿块的检测、皮肤中异常细胞的检测、异常的前列腺结构、肺中的液体等。
在系统的一些实施例中,由软件生成的给操作者的指令在显示屏上可视地提供或从扬声器可听地提供。在系统的一些实施例中,由位于远程终端处的受过训练的医疗保健专业人员在显示屏上可视地或从扬声器可听地向操作者提供系统指令。
在系统的一些实施例中,计算导航的任务,包括扫描仪的地点、朝向和它们的时间导数,由包括惯性导航系统(INS)执行,该系统包括IMU和其它传感器中的一组三轴陀螺仪和三轴加速度计;处理器;软件,被配置为采集初始条件和校准数据以及来自IMU和其它传感器的输出来计算导航,其中其它传感器可以是三轴磁力计、压力传感器和相机中的至少一种。
系统的一些实施例被配置为生成皮肤上超声信号的准确扫描,并通过使用压力传感器和IMU的组合并仅选择满足扫描仪对皮肤的扫描速度和压力的最佳值的图像来确保用于诊断目的的良好值图像。
在系统的一些实施例中,INS提供以下类型的数据:
a.方位角;
b.扫描仪的速度;以及
c.超声探头相对于身体解剖结构的地点。
在系统的一些实施例中,扫描的速度是根据假设运动垂直于身体表面的角速度来计算的。
在系统的一些实施例中,对于产前检查,身体被建模为球体,其半径可以通过患者的BMI、妊娠阶段或视觉估计中的一个或多个来近似,例如,对于肥胖患者在20厘米至70厘米的范围内。
在系统的一些实施例中,扫描的典型距离在几毫米到几十厘米的范围内。在系统的一些实施例中,扫描速度在每秒1毫米和每秒几厘米之间。
在系统的一些实施例中,IMU的3轴陀螺仪和3轴加速度计由制造商针对偏移、比例因子、交叉轴灵敏度和初始朝向进行校准;并且MEMS IMU在每次扫描前由用户校准。在系统的一些实施例中,如果扫描的运动慢并且操作者将扫描仪相对于被扫描身体的朝向维持在预定起始朝向的几度内,那么需要其中仅估计陀螺仪的偏移量的一步校准,其中一步校准处理包括保持IMU静止几分钟并记录传感器的输出;其中陀螺仪的平均输出被认为是它们的偏移量,并且每个传感器的方差被认为是它的噪声。
在系统的一些实施例中,操作者执行七阶段校准处理,其中校准处理在其中正Z轴指向上方、正Y轴指向右侧并且正X轴指向前方的坐标系中的七个阶段是:
a.阶段1:保持扫描仪静止T秒;
b.阶段2:在T秒内围绕Y轴旋转扫描仪,使得完成旋转,并且扫描仪在新的朝向中静止;
c.阶段3:保持扫描仪静止T秒,然后旋转回来;
d.阶段4:在T秒内围绕X轴旋转扫描仪;
e.阶段5:保持扫描仪静止T秒,然后旋转回来;
f.阶段6:在T秒内围绕Z轴旋转扫描仪;以及
g.阶段7:保持扫描仪静止T秒,然后旋转回来。
在系统的一些实施例中,如果处理器在扫描期间确定没有足够的压力施加在皮肤上,那么在显示屏上视觉地向操作者发出增加压力的指令,例如,通过显示指向下的箭头,和/或从扬声器发出声音。在这些实施例中,处理器可以通过以下至少之一确定没有足够的压力施加在皮肤上:
a.分析图像并确定图片是平坦的;以及
b.测量图像中某些关注区域上图像亮度的方差,并确定该方差小于阈值;或者
c.通过直方图阈值,即通过测量关注区域中的每个像素值并确定需要提醒的阈值。
如本文使用的术语“平坦”是指由于对皮肤的压力不足,超声波未达到所需深度,因此所获得的图像未显示用户试图成像的内部器官或胎儿。
在系统的一些实施例中,处理器包含软件,该软件被配置为确定是否在超声探头和皮肤之间插入了不足量的水基凝胶,并在显示屏上可视地和/或从扬声器可听到地向操作者发出提醒。在这些实施例中,软件可以通过确定返回到探头的信号是否减弱或产生的超声图像是否减弱来确定在超声探头和皮肤之间插入的水基凝胶的量是否不足。
在一些实施例中,该系统包括独立于IMU的组件,该组件适于在装置和身体之间的耦合不足的情况下提醒用户。在其它实施例中,该系统包括独立于IMU的组件,该组件适于在扫描速度过快时提醒用户。
在系统的一些实施例中,系统的处理器和软件被配置为发出以下指令集来指导操作者执行扫描:
a.如有必要,通过指导操作者完成校准程序来指示操作者执行校准程序;
b.指示操作者使用血压计测量患者的血压;
c.指示操作者执行由图像的一个或多个细节提示的其它分析;
d.指示操作者如何定位患者进行扫描;
e.指示操作者将扫描仪定位在将用作患者坐标系中心的地点;
f.指示患者操作扫描仪,其中屏幕面向患者;
g.向操作者提供指令,包括在患者身体表面上移动扫描仪的方向、在每个方向上移动多远、扫描仪应该被移动的速度以及他们应该施加以将扫描仪压在身体上的力的大小;
h.当收集到足够多的足够质量的图像时,通知操作者会话结束;以及
i.如果没有自动这样做,那么建议操作者将图像转发给医疗保健专业人员进行解释。
在第二方面,本发明包括一种用于允许未受过超声扫描训练的操作者获得和处理人体内部器官的超声图像的方法。该方法包括:
a.提供由扫描仪和至少一个惯性测量单元(IMU)组成的系统;其中,扫描仪是由操作者在患者身体表面上方移动以获得超声图像的系统的组件,至少一个IMU位于扫描仪内,并且系统被配置为向系统的操作者发出允许执行扫描的指令;
b.遵循系统发出的指令。
在第二方面的方法的实施例中,该系统是本发明的第一方面的系统。
在第二方面的方法的实施例中,该系统发出的指令是本发明的第一方面的系统的处理器和软件发出的指令。
在第三方面,本发明包括一种用于采集人体内部器官的超声图像的方法。该方法包括提供扫描仪和与其相关联的至少一个惯性测量单元(IMU),以及用于未经训练的用户操作所述扫描仪的指令。
该方法的第三方面的一些实施例包括向系统的操作者发出允许扫描也可以由未受过超声扫描训练的人(包括患者自己)执行的指令。第三方面的方法的一些实施例包括将采集的超声图像传输到远程地点以供医疗保健专业人员分析。第三方面的方法的一些实施例包括提供适于在用户和远程个体或非监控系统之间进行双向通信的电路系统。在该方法的第三方面的一些实施例中,非监控系统包括自动化的图像分析电路系统,并且将自动化分析的输出提供给用户和/或医疗保健专业人员。在该方法的第三方面的一些实施例中,双向通信选自音频、可视和视频通信,以及它们的组合。
在该方法的第三方面的一些实施例中,扫描由未经训练的操作者执行,并且该系统使得能够在操作者和医疗保健专业人员之间进行双向视频通信。在该方法的第三方面的一些实施例中,系统的输出实时地或在采集图像后直接发送到远程医疗保健专业人员和/或非监控系统。
在该方法的第三方面的一些实施例中,该系统使得能够将扫描仪的图像覆盖在超声扫描之上以帮助医疗保健专业人员解释图像。
在一些实施例中,该方法包括在其中正Z轴指向上方,正Y轴指向右侧并且正X轴指向前方的坐标系中的至少一个轴上执行校准处理,它们是:
a.阶段1:保持扫描仪静止T秒,然后对于每个轴执行以下各项中的一项或多项:
b.在T秒内围绕选定的轴旋转扫描仪,使得完成旋转,并且扫描仪在新的朝向静止中;以及
c.保持扫描仪静止T秒,然后旋转回来;
在该方法的第三方面的一些实施例中,包括在其中正Z轴指向上方、正Y轴指向右侧并且正X轴指向前方的坐标系中执行由七个阶段组成的校准处理,这七个阶段是:
a.阶段1:保持扫描仪静止T秒;
b.阶段2:在T秒内围绕Y轴旋转扫描仪,使得完成旋转,并且扫描仪在新的朝向中静止;
c.阶段3:保持扫描仪静止T秒,然后旋转回来;
d.阶段4:在T秒内围绕X轴旋转扫描仪;
e.阶段5:保持扫描仪静止T秒,然后旋转回来;
f.阶段6:在T秒内围绕Z轴旋转扫描仪;以及
g.阶段7:保持扫描仪静止T秒,然后旋转回来。
在该方法的第三方面的一些实施例中,如果处理器在扫描期间确定没有足够的压力施加在皮肤上,那么在显示屏上视觉地向操作者发出增加压力的指令,例如,通过显示指向下的箭头,和/或从扬声器发出声音。在这些实施例中,可以通过以下至少一项来确定是否没有足够的压力施加在皮肤上:
a.分析图像并确定图片是平坦的;以及
b.测量图像中某些关注区域上图像亮度的方差,并确定该方差小于阈值;或者
c.通过直方图阈值,即通过测量关注区域中的每个像素值并确定需要提醒的阈值。
该方法的第三方面的一些实施例包括通过软件分析确定是否在超声探头和皮肤之间插入了不足量的水基凝胶,并且如果发现凝胶不足,那么在显示屏上可视地和/或从扬声器可听到地向操作者发出提醒。在该方法的第三方面的这些实施例中,软件可以通过确定返回到探头的信号是否减弱或产生的超声图像是否减弱来确定在超声探头和皮肤之间插入的水基凝胶的量是否不足。
该方法的第三方面的实施例包括通过发出以下指令集来指导操作者执行扫描:
a.如有必要,通过指导操作者经过校准程序来指示操作者执行校准程序;
b.指示操作者使用血压计测量患者的血压;
c.指示操作者执行由图像的一个或多个细节提示的其它分析;
d.指示操作者如何定位患者进行扫描;
e.指示操作者将扫描仪定位在将用作患者坐标系中心的地点;
f.指示操作者定位扫描仪,其中屏幕面向患者;
g.向操作者提供指令,包括在患者身体表面上移动扫描仪的方向、在每个方向上移动多远、扫描仪应该被移动的速度以及它们应该施加以针对身体压住扫描仪的力的大小;
h.当收集到足够多的足够质量的图像时,通知操作者会话结束;以及
i.如果没有自动这样做,那么建议操作者将图像转发给医疗保健专业人员进行解释。
本发明的所有上述和其它特性和优点将通过以下参考附图对本发明实施例的说明性和非限制性描述得到进一步理解。
附图说明
图1示出了四列,每列包含与校准处理相关的数据图;
图2示出了通过将扩展卡尔曼滤波器应用于校准的陀螺仪和加速度计数据来估计扫描仪朝向的结果;
图3重复与图2中所示测试类似的测试,但测量值在没有校准的情况下被馈送到EKF中;
图4示出了正在执行扫描的角速度,以及从角速度导出的切向速度;
图5示意性地示出了其中包括系统组件的智能电话被装配到系统的扫描仪的壳体中的插座中的实施例;
图6示意性地示出了在使用图5中所示系统的实施例进行扫描期间智能电话的屏幕上的典型场景;
图7A-7C是示出超声探头与患者身体之间耦合不足对图像的影响的屏幕截图;
图8是示出叠加在扫描上的血压测量结果的屏幕截图;
图9图示了扫描仪相对于患者身体的移动;以及
图10是耦合提醒处理的流程图。
具体实施方式
在本文中,本发明将被详细描述为允许患者自己执行超声扫描的系统和方法。虽然提供了妇产科的详细示例,但本领域技术人员可以容易地将其适应于其它条件和其它器官,例如心血管、肺、肾、甲状腺、肝脏、前列腺、膀胱,以及用于其它传感器。此外,虽然被设想为供个人在家庭环境中自己使用的系统,但由于其便携性,该系统也可以被未完全接受过超声扫描训练的人有效地采用,例如由家庭成员、在救护车上,或由未经训练的士兵在战场上采用。不用说,受过训练的人在操作其它对其可用的更复杂的装备之前也可以从使用本发明中作为初步近似获得好处。
上面提到的其它传感器可以包括任何类型的传感器,该传感器生成的数据可以用于改进和/或向通过超声图像采集的信息添加相关信息。例如,血压(在本发明的上下文中其重要性将在下文进一步讨论)可以被传输到本发明的设备,在该设备中它可以被耦合或覆盖到其它信息,或者可以用于提醒用户和/或任何潜在问题的健康从业者。另一个示例是接近传感器,如果没有足够的压力通过壳体施加到身体上(这可能导致有缺陷的读数),那么该传感器可以用来提醒用户。
在本发明的上下文中有用的传感器的另一个示例是图像采集元件,其可以独立于IMU组件用于向用户提醒耦合问题(例如,由于设备对身体的压力不足或凝胶不足),或者用户是否扫描速度太快而无法生成高质量的图像。上述和其它需要提醒用户的情况是经由图像处理来检测的,图像处理可以在壳体中本地执行,或者由连接的设备远程执行。
扫描可以由患者自己执行,然后传输到远程地点以供医疗保健专业人员或非监控系统进行分析,该非监控系统包括自动化的图像分析电路系统。系统的一些实施例被配置为允许使用双向视频通信,即远程医疗,从而使得患者和声谱仪操作员能够在患者执行扫描程序时看到彼此。
本发明还包括一种用于获得和处理人体内部器官的超声图像的系统。该系统由以许多不同配置布置的许多组件组成,本文将描述这些配置的示例。对于所有配置而言必不可少的系统组件在本文中称为“扫描仪”,其包括由操作者在患者身体表面上方移动以采集超声图像的系统组件。图9图示了扫描仪相对于患者身体的可能移动形式。该扫描仪包括符合人体工程学设计的壳体,其由操作者握住并在人或动物的皮肤上移动。壳体包括必须位于患者身体上以获得超声图像的系统的至少最少数量的组件。这些元件可以与壳体成一体或与其相关联。在本描述的上下文中,术语“与…相关联”应被解释为表示其所指的元件或组件不一定与壳体是一体的,但必须与其有用地协作,例如,当讨论加速度计时,它必须与壳体一起移动,以及在讨论通信组件时,它必须与位于壳体内的它必须与之交换数据或者它必须从其接收数据的任何其它组件进行通信。这些组件是:i)超声探头,即超声元件阵列;ii)用于与远程终端进行有线或无线通信的电子组件,以及iii)电源,例如系统为无线时的电池或在有线系统情况下的电源;以及在大多数实施例中iv)至少一个惯性测量单元(IMU),其包括惯性传感器,即三轴加速度计和三轴陀螺仪,以及可能的其它传感器,例如三轴磁力计和压力传感器。
但是,在本发明的一些实施例中,惯性传感器不与壳体成一体。而是,可以使用智能电话等便携式设备(稍后将讨论)的惯性传感器,或者可以在使用前将附加惯性传感器连接到壳体。在本发明的另一个实施例中,壳体可以是“对接壳体”,即仅包括用于连接功能组件(诸如各种类型的传感器)所必需的组件的壳体,并且所述传感器可以根据需要连接到对接壳体。该实施例允许为给定用途选择适当种类的传感器,其可以作为“即插即用”组件添加到壳体。
系统的其它典型组件是:v)模拟前端(AFE),它借助于电子组件传输和接收超声信号,这些电子组件尤其包括发送器(脉冲器)、接收器、放大器和模数(A/D)和数模(D/A)转换器;vi)包含软件的处理器,该软件被配置为操作系统并接收和处理从AFE接收的超声信号以产生超声图像并接收和处理从IMU接收的惯性测量信号;vii)用户界面,包括显示屏和接受用户指令的部件,例如键盘或触摸屏;以及viii)一个或多个存储器设备,用于存储处理器中软件处理的数据和图像。在不同的实施例中,这些组件中的一些或全部可以位于扫描仪的壳体内或位于靠近患者但与壳体分开的地点。有许多用于布置这些组件的选项,技术人员将容易理解这些选项。
电子组件,即AFE、IMU、处理器、存储器设备和通信组件,可以作为单独的集成电路(IC)提供,或者可以集成到一个或多个包含所有或部分IC的ASIC中。
系统的可选组件包括:ix)远程终端,例如智能电话、平板电脑、PC或位于操作者附近或远离操作者(例如在诊所或医生办公室)的类似通信和计算设备;x)一个或多个附加的IMU;x)至少一个三轴磁力计;xi)至少一个压力传感器;以及xi)用于与远程医疗保健提供者通信的扬声器和麦克风。
在系统的一些实施例中,所有组件v)-viii)都包含在扫描仪的壳体内(或在显示器的情况下包含在扫描仪的壳体上)。
在系统的一些实施例中,所有组件v)-viii)都包含在远程终端内,该远程终端经由有线或无线通信链路连接到扫描仪;其中无线链路可以使用任何已知技术形成,例如蜂窝、WIFI或蓝牙。
在系统的一些实施例中,组件v)-viii)中的一些,例如,AFE的组件中的一些或全部包含在扫描仪内,而其余组件包含在远程终端中,远程终端经由有线或无线通信链路连接到扫描仪。
图5示意性地示出了其中显示器10、IMU 12和处理器14包含在智能电话16中的实施例,智能电话16装配到壳体20中的插座18中,壳体20包含扫描仪的其它组件。智能电话16不一定是壳体20的组成部分,但可以在执行扫描之前装配到插座18中,在超声扫描期间作为壳体20的组成部分移动,并且在以后被拆下用于其它用途。智能电话16通过插座18中的连接器22电连接到壳体20,该连接器22装配到智能电话16上的标准端口中。在图5中看到的是壳体20底部的超声探头24。如本文所使用的术语“智能电话”是指任何便携式通信设备,其装配座可以在壳体中创建,诸如图5的壳体20,并且不旨在将本发明限制为任何特定类型的通信设备,无论是现有的还是待开发的。在此示例中选择智能电话只是为了说明本发明,因为它是大多数人都可用的广泛设备。
在另一个实施例中,智能电话经由电缆或无线连接来连接到壳体,并且只有壳体或探头本身被移动,即,智能电话不一定必须与超声探头一致地移动。
在其它实施例中,一个或多个IMU、处理设备和软件、存储器设备、电源和AFE的组件的不同组合位于壳体内或智能电话中。
因为IMU一方面非常嘈杂,另一方面相对便宜,因此在一些实施例中,在一个扫描仪中使用其中的几个是有利的,例如,一个IMU在智能电话中并且另一个IMU在壳体中或者两个或更多个IMU在壳体中。这将提高定位和运动测量的准确性,并提高接收到的超声信号的信噪比(S/N)。
处理器被配置为接收由所有传感器收集的数据并且包含软件,该软件被配置为尤其产生超声图像;分析数据;并且在一些实施例中,决定哪些图像具有足够的质量以显示在显示屏上;计算扫描仪的地点和姿态,丢弃低质量图像;指示操作者以预定方式握住扫描仪的壳体,例如,使得显示屏(或在显示器位于远程的实施例中壳体表面上的指定符号)始终面向她/他;确定扫描仪是否被握住,使得对皮肤施加足够的压力以产生足够质量的图像;以及借助于显示屏幕上呈现的直观图形提示有效地提供如何正确移动扫描仪以便获得令人满意的图像的指令。在其它实施例中,在显示屏和扬声器上或由位于远程终端的受过训练的医疗保健专业人员以视觉或听觉方式向操作者提供指令。
图6示意性地示出了在使用图5中所示的系统的实施例进行扫描期间智能电话16的屏幕上的典型场景。在该说明性实施例中,屏幕上的空白区域26被保留用于从系统给用户的指令。典型的指令包括,例如:
-屏幕没有面对您-请保持它与您的身体垂直;
-图像不清晰-请施加更多压力或添加更多凝胶;
-您移动太快-请减慢;以及
-请将壳体向右移动。
计算扫描仪的地点、朝向及其时间导数的任务由惯性导航系统(INS)执行。INS包括IMU,即一组三轴陀螺仪和三轴加速度计及其它传感器,例如通常是三轴磁力计和压力传感器;处理器;以及软件,该软件被配置为采集初始条件和校准数据以及IMU和其它传感器的输出以计算导航。
除了IMU、磁力计和压力传感器之外,还可以使用其它传感器以便提高准确度。例如,在移动电话中,存在指向用户的前置相机和指向房间内物体的后置相机。对于智能电话装配在包含扫描仪的其它组件的壳体中的插座中的实施例,在扫描开始时,后置相机指向房间中的特定物体。在扫描期间,后置相机与壳体一起移动,并且可以使用光流方法跟踪相对于图像中物体的移动,从而为导航算法提供可以用于纠正错误的另一条信息。
在本发明的实施例中,系统可以被配置为生成对皮肤上的超声信号的准确扫描,并通过使用压力传感器和IMU的组合并仅选择满足扫描仪对皮肤的扫描速度和压力的最佳值的图像来确保用于诊断目的的良好值图像。
惯性测量单元(IMU)或惯性导航系统(INS)的这些传感器可以使用包含所有或部分传感器的单芯片ASIC来实现,或者作为单独实现每个传感器的分立芯片或作为传感器的组合来实现。
IMU提供了几种类型的数据:
1.方位角,其用于:
a)向用户提供如何握住扫描仪以便获得最佳图像的指令,
b)在进行扫描时向医生或其它专业人员提供探头的连续朝向,以便于解释图像。该信息可以作为超声图像上的叠加层呈现。
2.扫描仪的速度,其用于:
a)向用户提供如何移动扫描仪以便获得最佳图像的指令。该信息可以提供给位于远程的医生,以便他们可以了解扫描是如何在操作者经历所有提醒的情况下执行的。
b)过滤掉不太可能包含有用信息的图像。例如,删除图像的标准可以是速度大于10厘米/秒,或者在需要慢速扫描以检测特定现象的情况下也可以是1厘米/秒—例如在充血性心力衰竭(CHF)患者的情况下,腔静脉(IVC)的自扫描。
3.超声探头相对于身体解剖结构的地点,其用于:
a)向用户提供如何扫描整个关注区域以完全覆盖关注器官的指令;
b)在进行扫描时向医生或其它专业人员提供扫描仪的连续朝向,以便于解释图像。
与其它设备一样,IMU并不完美。IMU误差在积分后会形成漂移,这是会随着时间的推移而增加的误差,因此,计算出的地点和朝向的误差会随着时间迅速传播。示例最能说明问题。假设由于测量噪声和其它缺陷,设备的朝向是已知的,其中误差为1毫弧度。考虑到例如典型智能电话的IMU的质量,这个误差被认为非常小。鉴于此误差,处理器会误解加速度计读数,并将重力的投影解释为大约1cm/sec2的水平加速度。这个小加速度误差会导致一分钟内出现18米的地点误差,明显超出可接受的误差范围。因此,处理器必须有一些附加信息,并且必须承担一些限制以提供有意义的导航。
安装在智能电话中的IMU基于微机电系统(MEMS)技术。MEMS技术提供了微型、高效、价格合理的传感器,但存在导致测量误差的固有缺陷。误差可以分为偏差和噪声。形式上,唯一的区别是偏差变化缓慢,而噪声变化迅速。但是,在与超声扫描相关的时间段内,为了说明问题,偏差可以被认为是恒定的,并且噪声可以被认为是绝对随机的。
因此,由于偏差,静止设备的IMU仍会产生测量结果,就好像设备正在旋转和加速一样。为了校准IMU并找到偏差,必须呈现校准程序。尽管如此,由于噪声,没有任何校准是完美的,并且总是存在一些残余偏差。此外,噪声虽然是随机的,但在无限次测量后才总和为零。实际上,噪声的期望值是测量次数的平方根乘以噪声的标准偏差。
如前所述,智能电话中安装的IMU都是基于MEMS的,受到成本、尺寸和能耗的严格限制,因此彼此非常相似。它们的噪声和偏差值原则上是相同的。
由于偏差和噪声,并且给定MEMS IMU的质量,导航处理必须集成更多测量,并利用一些先验假设,以便减轻IMU误差。当用扫描仪扫描时,移动的距离小,并且扫描速度相对慢,这频繁导致IMU中生成的噪声大于信号。这些扫描的典型距离在几毫米到几十厘米的范围内,并且典型的速度为每秒1毫米到每秒几厘米。因此,成功的导航依赖于系统、任务和用户允许的最佳校准,以及其它可用线索的集成。
在制造级别校准了一些偏差误差。但是,一些偏差会随着时间而变化,并且必须在使用前进行校准。在本文描述的扫描仪的情况下,校准处理限于用户可以容易执行的简单步骤。可以做出的先验假设是用户通过握住扫描仪进行协作,使得她/他面对水平桌上的显示器。
如果扫描仪放置在水平表面上,加速度轴向下应等于9.81,因此如果测量到的值与9.81不同,处理器可以校准偏移量并将偏移量添加到每次测量中。如果用户需要校准IMU,那么在扫描会话开始之前激活系统后,处理器中的软件或远程技术人员会提示用户如何校准陀螺仪和加速度计。IMU,尤其是采用MEMS技术制造的IMU,必须在每次使用前进行校准,因为校准值每天都在变化,并且每次打开时都在变化。
现在将描述包括七个阶段的校准程序。该程序是可以与扫描仪一起使用的众多程序之一,并且仅用于说明所涉及的原理。发明人已经使用了包括少于七个阶段的其它校准程序,并且预期可以设计和使用涉及例如不同顺序的阶段或多于或少于七个阶段的其它程序,并且实际校准方法的选择是不是必需的,只要它产生所需的校准结果即可。在许多情况下,尤其是当只允许慢动作并且用户将屏幕朝向她保持在几度以内时,仅估计陀螺仪偏移量的一步校准提供了极好的结果。在该协议中,IMU保持静止一段时间,并记录传感器的输出。陀螺仪的平均输出被认为是它们的偏移量,并且每个传感器的方差被认为是它的噪声。与陀螺仪偏移相比,地球大约每小时15度的旋转通常可忽略不计。
对于这个本例,选择了坐标系。在该坐标系中,正Z轴指向上方,正Y轴指向右侧,并且正X轴指向前方。字母T用于校准的持续时间,例如,它可以是1、3、5或10秒或更长,取决于IMU的类型。T的值是准确度和用户耐心之间的折衷。该程序有以下七个阶段:
阶段1:保持扫描仪静止T秒。
阶段2:在T秒内围绕Y轴旋转扫描仪,使得完成旋转,并且扫描仪在新的朝向中静止。
阶段3:保持扫描仪静止T秒,然后旋转回来。
阶段4:在T秒内围绕X轴旋转扫描仪。
阶段5:保持扫描仪静止T秒,然后旋转回来。
阶段6:在T秒内围绕Z轴旋转扫描仪。
阶段7:保持扫描仪静止T秒,然后旋转回来。
来自三个加速度计和三个陀螺仪的数据由电子器件收集,并在这七个阶段期间传送到处理器。陀螺仪数据的示例如图1中所示。
图1示出了四列,每列包含与校准处理相关的数据图。在每一列中,三行是指三个陀螺仪:x、y和z。在图1的每个图中,横轴是测量时间,并且纵轴是从陀螺仪采集的测量值或该测量值的误差。垂直线标记七个阶段之间的边界,其中阶段标记如下:第1S0、第2RY、第3SY、第4RX、第5SX、第6RZ和第7SZ。第一个字母S或R是指“静止”或“旋转”情况。第二个字母X、Y或Z是指围绕其进行旋转的轴或在静止情况之前围绕其进行旋转的轴。
参考图1,可以看到数据是如何被解释的。最左边的列包含从陀螺仪收集的数据。在第一阶段,S0,在时间0-5秒,设备静止,并且陀螺仪输出它们的偏移量和任何恒定的旋转,例如地球旋转。在第二阶段,RY,在5到10秒的时间,前2.5秒显示围绕y轴旋转180度。因此,y-陀螺仪显示大的信号。其它阶段依此类推。
下一列,左数第二列,显示测量误差。注意的是,在这种情况下,误差是已知的,因为每个陀螺仪在2.5秒时段内感测到零旋转或180度的已知角速度,或大约1.26弧度/秒。在这一列中,可以看到信号的三个特征。偏移被更好地看到,在旋转轴以外的轴上旋转时存在信号,并且旋转陀螺仪的输出与预期不同。后两种现象是由横轴测量和比例因子误差引起的。
第一阶段,S0,在这个示例中,在0到10秒之间,是静止的,因此,除了地球旋转的小贡献外,应该产生零。但是,可以看出,在这个示例中,测量值偏移大约[0.12,-0.18,0.02]弧度/秒,包括对于地球旋转小于10-4弧度/秒。在第三阶段,SY,在传感器围绕y轴旋转180度后从相同传感器采集数据,并且在这种情况下,地球旋转对x轴和z轴的贡献是相反的。因此,对S0和SY处的数据进行平均可以估计x和y陀螺仪的偏移量。类似的协议适用于使用其它旋转的其它轴。
下一列,左数第三列,显示在去除计算的偏移量后与前两列相同的数据。因此,静止状态现在显示0弧度/秒加上一些噪声。
检查第三列可以计算交叉轴效应。例如,RY阶段x陀螺仪的输出应该为零,实际上约为0.013弧度/秒。x陀螺仪的平均输出(约0.013弧度/秒)与y陀螺仪的平均输出(约0.126弧度/秒)之间的比率产生y轴和x轴之间的交叉轴效应,其约为0.01。类似地,可以计算所有九个交叉轴可能性的关系。
通过将误差与预期结果进行比较,也可以根据该列中的数据计算比例因子。例如,在相位RY的第二行看到0.125弧度/秒的误差。该误差约为信号的0.1,因此比例因子为1.1。
比例因子和交叉轴可以组合成矩阵。将原始结果乘以该矩阵的逆并减去原始数据产生最后一列上的结果,该结果仅包含噪声。该噪声可方便地用于估计扩展卡尔曼滤波器所需的检测器噪声。
注意的是,这里显示的时间常数角速度仅用于示例的清晰性。用阶段持续时间内的其平均值替换每个计算产生相同的结果。
处理器中的软件用于校准陀螺仪的偏移量的算法是:
1.O_s0=在第1阶段为三个陀螺仪中的每一个收集的数据的均值。
2.O_sy=在第3阶段为三个陀螺仪中的每一个收集的数据的均值。
3.O_sz=在第7阶段为三个陀螺仪中的每一个收集的数据的均值。
4.计算:
其中,下标x、y、z分别表示来自x、y、z陀螺仪的数据。
处理器中的软件用于校准陀螺仪的比例因子的算法是:
5.O_ry=在第2阶段为三个陀螺仪中的每一个收集的数据的均值。
6.O_rx=在第4阶段为三个陀螺仪中的每一个收集的数据的均值。
7.O_rz=在第6阶段为三个陀螺仪中的每一个收集的数据的均值。
8.计算:
处理器中的软件用于校准陀螺仪的交叉轴灵敏度的算法基于矩阵Cω。
9.其中:
处理器中的软件用于计算初始身体坐标中三个加速度计上的三个重力投影的算法是:
1.A_s0=在第1阶段为三个加速度计中的每一个收集的数据的均值。
2.A_sy=在第3阶段为三个加速度计中的每一个收集的数据的均值。
3.A_sz=在第5阶段为三个加速度计中的每一个收集的数据的均值。
4.计算:
a)x-重力投影=A_refx=(A_s0x–A_syx)/2
b)y-重力投影=A_refy=(A_s0y–A_szy)/2
c)z-重力投影=A_refz=(A_s0z–A_syz)/2
现在使用扩展卡尔曼滤波器(EKF)来估计扫描仪的朝向。
预测下一步状态向量的转移函数是:
测量向量为:
这里Ca是3x3矩阵,其对角线由加速度计三元组的比例因子组成,非对角线分量是加速度计的交叉轴灵敏度,Ba是加速度计的偏差,是由于实际加速度而施加的每单位质量的比力,是身体坐标中的重力,并且ua是噪声。作为近似值,取自在校准处理中计算的A_ref。
类似地,
预测的测量是:
Ca和Ba以及Cω和Bω是在校准处理中计算的那些。
图2示出了通过将扩展卡尔曼滤波器应用于校准的陀螺仪和加速度计数据来估计扫描仪朝向的结果。最左边的列用点线示出陀螺仪的输出,用虚线示出旋转的扩展卡尔曼滤波器(EKF)估计,用实线示出真实旋转。每行描绘一个轴:x、y和z。左列与在身体固定坐标处测量的角速度相关。例如,查看顶部的x陀螺仪,真正的旋转为零。传感器产生约-0.18弧度/秒,这是由偏移造成的。真实旋转和校准信号在零附近接近。注意的是,对于y轴,应用了0.1弧度/秒的真实旋转。所有测量都包含一些每秒几毫弧度数量级的噪声。在z陀螺仪的输出端更容易看到该噪声,因为没有大的偏移或旋转,数字的比例降低到噪声水平。最右边的列显示了EKF中用于估计朝向的四元数的四个元素。同样,实线和虚线用于实数和估计的四元数,并且它们彼此非常接近。中间列以欧拉角描绘朝向,其更容易解释。由于应用了0.1弧度/秒的角速度,因此y角以该速度前进。实线和虚线非常接近,以至于它们无法被区分。在x和z角上可以更好地看到误差的动态,当y角接近90度时,会累积一些误差。当然,正180度和负180度是指同一个角度,并不是错误。当y旋转接近90度时,误差的累积并非偶然,而是数值效应的结果。四元数到欧拉角的转换使用反三角函数,并且在90度附近非常敏感。
图3重复了与图2中所示类似的测试,但测量值在没有校准的情况下被馈送到EKF中。可以观察到信号中的误差、y轴上的偏移以及对其它轴的交叉轴效应。这些误差转换为y角的大误差,以及x和z角的可观察误差。
超声波扫描取决于握住扫描仪,使得在皮肤上施加一些压力。当压力下降时,扫描仪产生平面图像。处理器分析图像,并在断定图片平坦或使用类似标准(诸如测量图像在某些关注区域而不是整个图片上的亮度变化)时进行分析。如果亮度小于阈值,那么它向操作者发出增加压力的指令。在实施例中,作为示例,该指令可以包括在显示屏上出现指向下的箭头并带有增加对皮肤的压力的语音指令。
通常使用水基凝胶为超声波束从探头传播到身体提供平滑的介质,否则光束在通过空气时会衰减。使用得到的信号或图像,可以确定探头和身体之间的耦合是否足够。例如,这可以通过返回探头的信号的减弱或得到的超声图像的减弱来确定。图7A是显示超声探头与患者身体之间良好耦合的屏幕截图,并且图7B和图7C显示耦合不足或部分耦合的示例。该处理可以在移动设备处理器中或在AFE的控制器中、在包含超声换能器的设备组件中或在外部软件中执行。
可以从角速度计算扫描速度。处理器假设运动垂直于身体表面。对于产前检查,可以将身体建模为球体,例如R0=20、30、40甚至对于肥胖患者R0=70厘米。基于患者的BMI和妊娠阶段,可以更好地近似半径。速度可以被近似为:
图4示出了执行扫描的角速度,以及从角速度导出的空间速度。该图的第三列示出了沿着孕妇腹部的径向坐标中速度的三个分量。X轴是指从腹部中心向外的径向运动。该运动被假设为零。y轴是指从下到上穿过腹部的运动,并且z轴是指从右到左的运动。其它列示出的信息与图2中的三个列相同,并且仅示出用于参考。允许速度的范围是扫描仪的特性,通常为每秒几厘米。这种慢速运动产生的径向加速度小至每秒平方一毫米,这意味着EKF可以使用重力加速度作为向下方向加速度的良好近似值。因此,当计算出的速度不在允许的范围内时,放弃扫描并向患者发出减慢速度的指令。
结合速度和朝向,扫描仪可以确保指示用户覆盖预定的角度范围,并在允许的速度范围内进行。添加由图像处理产生的图像质量,对皮肤的适当压力也得以维持。总之,这确保了良好的检查。
由于在许多情况下,医生或其它受过训练的医疗保健专业人员将直接观察扫描结果或提供扫描以供分析,因此向他们提供理解所提供数据所需的所有信息是重要的。在产前扫描的情况下,每次产前检查都测量血压。因此在家里,也应该测量患者的血压,并将测量结果添加到超声扫描的记录中。妊娠期高血压是先兆子痫的重要诊断和指标,并且对于确定分娩前妊娠剩余时间的管理方式、分娩时间、并发症风险和长期母体结果非常重要。它还会影响声谱仪操作员与扫描相关的方式,因为如果胎儿心跳低且母亲的血压低,那么胎儿可能是健康的;但如果胎儿心跳低且母亲血压正常,那么这说明胎儿可能生病。图8是显示如何将血压测量结果作为书面消息和作为扫描上的叠加显示给医生或其它受过训练的医疗保健专业人员的实施例的屏幕截图。
就扫描仪的操作者而言,扫描仪是“黑匣子”。上面讨论的算法都只对系统的内部工作有用,系统的处理器被编程为利用它们来向患者生成指令,以指导他们完成收集质量足以提供有用信息的超声扫描的处理。在远程医疗的情况下,患者只需遵循他们从系统组件或从声谱仪操作员那里接收到的视觉或听觉指令。也可以借助于动画显示视频指令。
一般而言,系统发出的用于指导操作者执行扫描的一组典型指令将包括以下各项:
a)指示患者执行校准程序,如有必要,通过指导患者完成该程序,例如本文描述的校准程序的七个阶段或单个步骤;
b)指示患者使用血压计测量她的血压;
c)指示患者进行附加测试;
d)指示患者如何定位自己以进行扫描,例如,在产前扫描时水平仰卧;
e)指示患者将扫描仪定位在将用作患者坐标系中心的地点,例如,产前检查时位于肚脐上,在心脏扫描时位于乳头之间,肺部扫描时位于右侧或左侧距乳头三指宽;
f)指示患者将扫描仪定位成屏幕面向他们;
g)向患者提供指令,包括在其身体表面上移动扫描仪的方向、在每个方向上移动多远、扫描仪应该被移动的速度以及他们应该施加以将扫描仪压在身体上的力的大小;
h)当已经收集到足够多的足够质量的图像时,通知患者会话结束;以及
i)如果没有自动这样做,那么建议患者将图像转发给医疗保健专业人员进行解释。
在本发明的一些实施例中,扫描仪的输出可以实时地或在采集它们之后不久直接发送给医疗保健专业人员,例如患者的私人医生,并且部分或全部指令可以由医生向患者发送,特别是如果必须对解剖结构的特定区域进行比一般扫描通常可能进行的更深入的研究时。作为对医生的帮助,在系统的一些实施例中,处理器中的软件被配置为将扫描仪的图像覆盖在超声扫描之上。在其它实施例中,处理器被配置为中继在扫描期间发送给操作者的指令,使得医生可以了解关于图像在什么时间呈现了什么指令。
示例1:耦合提醒
下面举例说明根据本发明的一个特定实施例的耦合提醒程序。该程序包括以下步骤:
a.图像采集–根据从身体器官接收到的到换能器的回波构建超声图像。
b.图像预处理-在处理开始时,帧经过图像预处理,该预处理归一化来自不同扫描的帧之间的差异。
c.总黑帧(TBF)测试-在图像预处理之后,算法执行TBF测试。在TBF测试中,检查整个当前帧中绝对黑色的像素百分比,以便找到符合TBF条件的帧。
d.耦合条件分类-每帧的任意边(左/右)的耦合条件由决策树分类器做出。
e.缓冲测试-每个分类都保存在长度为16个决定的缓冲区中。如果80%的决定指示耦合不足,那么指示用户改善皮肤接触或添加更多凝胶。
f.向操作者显示提醒–在执行扫描时,用户会接收到关于耦合状况的实时反馈。如果80%的帧耦合不足,那么指示用户改善皮肤接触或添加更多凝胶。
g.将图像添加到记录-如果检测到良好的耦合,那么记录帧。
h.向操作者显示提醒(TBF)-如果未识别出耦合,那么系统指导用户将支架更紧地保持到皮肤上。
i.从记录中丢弃图像-在TBF情况下,帧不是,从而改善接收到的图像。
j.在屏幕上显示图像-所有图像都显示在屏幕上(TBF、耦合不足和耦合良好)。
该处理以流程图的形式在图10中示出。
示例2:“扫描太快”提醒
以下说明了处理用户移动壳体太快而无法产生高质量扫描的程序。
从扫描的图像中,执行以下两个步骤来采集扫描速度的值:
a.检测图像的大部分的变化;以及
b.检测光流以获得速度。
第一步旨在区分胚胎的移动和扫描仪的移动。胚胎的移动是局部的,因此它们不会改变图像的大部分。作为对照,扫描仪的移动将一次改变所有图像。为了估计变化,计算了6帧的时间标准偏差。如果在超过0.5%的总扫描像素中检测到显著变化,那么这表明已进行了移动。
为了评估图片的整体变化,评估跨整个图像的每秒像素强度变化。像素时间标准偏差用作变化的估计量。对于图像I(x,y,n),其中“n”是帧数,并且每一帧都是在时间t(n)拍摄的。以下计算用于评估更改:
这产生了每帧变化量的测量值。为了评估时间的变化,该值通过平均FPS进行归一化
在下一步中,计算发生显著变化的像素数:
其中Th是根据经验选择的阈值,用于区分噪声和运动相关的变化。为了确定所需的阈值,在一个实施例中,针对已经用本发明的超声设备进行的100次扫描计算10个连续帧之间的平均标准偏差。它应该在设备保持静止时进行,例如在没有明显胎动的孕妇腹部上。Th值被计算为计算出的值的均值和三个标准差。
现在计算C的总和以了解图像的多少百分比发生了变化。
对于移动帧,使用带有金字塔的Lucas-Kanade方法计算光流Vx,Vy。图像中心的角点用于使用Harris角点检测器进行计算。
光流给出了每帧的速度。为了及时达到速度,它应该通过FPS进行归一化。
虽然已经通过说明的方式描述了本发明的实施例,但是应该理解的是,在不超出权利要求的范围的情况下,可以通过许多变化、修改和适应来实施本发明。
Claims (27)
1.一种用于允许非熟练用户采集人体内部器官的超声图像的系统,包括扫描仪、与其相关联的至少一个惯性测量单元IMU、包含软件的处理器以及用户界面,所述用户界面包括显示屏和接受用户指令的部件,其中所述软件被配置为执行以下各项中的至少一项:产生超声图像;分析数据;决定哪些图像具有足够的质量以显示在显示屏上;丢弃低质量图像;指示操作者以预定方式握住扫描仪的壳体;计算扫描仪的地点和姿态;确定扫描仪是否被握住,使得在皮肤上施加足够的压力以产生足够质量的图像;以及有效地提供如何正确移动扫描仪以便获得满意图像的指令。
2.如权利要求1所述的系统,其中如果所述处理器在扫描期间确定没有足够的压力施加在皮肤上,那么在显示屏上可视地,例如通过显示指向下的箭头,和/或从扬声器可听到地向操作者发出增加压力的指令。
3.如权利要求2所述的系统,其中所述处理器通过以下各项中的至少一项确定没有在皮肤上施加足够的压力:
a.分析图像并确定图片是平坦的;以及
b.测量图像中某些关注区域上图像亮度的方差,并确定该方差小于阈值;或者
c.通过直方图阈值,即通过测量关注区域中的每个像素值并确定需要提醒的阈值。
4.如权利要求1所述的系统,其中所述处理器包含软件,所述软件被配置为确定是否在所述超声探头和皮肤之间插入了不足量的水基凝胶,并且在显示屏上可视地和/或从扬声器可听到地向操作者发出提醒。
5.如权利要求4所述的系统,其中所述软件通过确定返回到所述探头的信号是否减弱或所得到的超声图像是否减弱来确定在所述超声探头和皮肤之间插入的水基凝胶的量是否不足。
6.如权利要求1所述的系统,其中所述系统的处理器和软件被配置为发出以下指令集以指导操作者执行扫描:
a.如有必要,通过指导操作者完成校准程序来指示操作者执行校准程序;
b.指示操作者使用血压计测量患者的血压;
c.指示操作者执行由图像的一个或多个细节提示的其它分析;
d.指示操作者如何定位患者进行扫描;
e.指示操作者将扫描仪定位在将用作患者坐标系中心的地点;
f.指示患者操作扫描仪,其中屏幕面向患者;
g.向操作者提供指令,所述指令包括在患者身体表面上移动扫描仪的方向、在每个方向上移动多远、扫描仪应该被移动的速度以及他们应该施加以将扫描仪压在身体上的力的大小;
h.当收集到足够多的足够质量的图像时,通知操作者会话结束;以及
i.如果没有自动这样做,那么建议操作者将图像转发给医疗保健专业人员进行解释。
7.如权利要求1所述的系统,包括选自USB、闪电、光纤、Wi-Fi、UWB、蓝牙和IR中的一种或多种的电子通信组件。
8.如权利要求1所述的系统,包括适于在所述装置和身体之间的耦合不足的情况下提醒用户的独立于IMU的组件。
9.如权利要求1所述的系统,包括适于在扫描速度过快时提醒用户的独立于IMU的组件。
10.一种用于采集人体内部器官的超声图像的方法,包括提供扫描仪和与其相关联的至少一个惯性测量单元IMU,以及可选地,为未经训练的用户提供操作所述扫描仪的指令。
11.如权利要求10所述的方法,用于允许未受过超声扫描训练的操作者获得和处理人体内部器官的超声图像,包括:
a.提供由扫描仪和至少一个惯性测量单元IMU组成的系统;其中所述扫描仪是系统的由操作者在患者身体表面上移动以获得超声图像的组件,所述至少一个IMU位于所述扫描仪内,
并且所述系统被配置为向所述系统的操作者发出允许执行扫描的指令;以及
b.遵循由所述系统发出的指令。
12.如权利要求11所述的方法,其中所述系统是权利要求1所述的系统。
13.如权利要求11所述的方法,其中由所述系统发出的指令是如权利要求6所述的指令。
14.如权利要求10所述的方法,包括向所述系统的操作者发出允许扫描也可以由未受过超声扫描训练的人,包括患者自己来执行的指令。
15.如权利要求10所述的方法,包括将采集的超声图像传输到远程地点以供医疗保健专业人员分析。
16.如权利要求10所述的方法,包括提供适于在用户和远程个体或非监控系统之间进行双向通信的电路系统。
17.如权利要求16所述的方法,其中所述非监控系统包括自动化的图像分析电路系统,并且其中将自动化分析的输出提供给用户和/或医疗保健专业人员。
18.如权利要求16所述的方法,其中所述双向通信选自音频、可视和视频通信,以及它们的组合。
19.如权利要求10所述的方法,其中当扫描由操作者执行时,包括启用操作者和医疗保健专业人员之间的双向视频通信。
20.如权利要求19所述的方法,包括将所述系统的输出实时地或者在采集图像之后直接发送到远程医疗保健人员和/或非监控系统专业人员。
21.如权利要求10所述的方法,包括将所述扫描仪的图像覆盖在超声扫描之上以帮助医疗保健专业人员解释图像。
22.如权利要求10所述的方法,包括在其中正Z轴指向上方,正Y轴指向右侧,并且正X轴指向前方的坐标系中的至少一个轴上执行校准处理,其中:
a.阶段1:保持扫描仪静止T秒,然后对每个轴执行以下各项中的一项或多项:
b.在T秒内围绕所选择的轴旋转扫描仪,使得完成旋转,并且
扫描仪在新的朝向中静止;以及
c.保持扫描仪静止T秒,然后旋转回来;
23.如权利要求10所述的方法,其中如果所述处理器在扫描期间确定没有足够的压力施加在皮肤上,那么在显示屏上可视地,例如通过显示指向下的箭头,和/或从扬声器可听到地向操作者发出增加压力的指令。
24.如权利要求23所述的方法,包括通过以下各项中的至少一项来确定是否没有在皮肤上施加足够的压力:
a.分析图像并确定图片是平坦的;以及
b.测量图像中某些关注区域上图像亮度的方差,并确定该方差小于阈值;或者
c.通过直方图阈值,即通过测量关注区域中的每个像素值并确定需要提醒的阈值。
25.如权利要求10所述的方法,包括通过软件分析确定是否在所述超声探头和皮肤之间插入了不足量的水基凝胶,并且如果发现凝胶不足,那么在显示屏上可视地和/或从扬声器可听到地向操作者发出提醒。
26.如权利要求25所述的方法,其中所述软件通过确定返回到所述探头的信号是否减弱或所得到的超声图像是否减弱来确定在所述超声探头和皮肤之间插入的水基凝胶的量是否不足。
27.如权利要求10所述的方法,包括通过发出以下指令集来指导操作者执行扫描:
j.如有必要,通过指导操作者完成校准程序来指示操作者执行校准程序;
k.指示操作者使用血压计测量患者的血压;
l.指示操作者执行由图像的一个或多个细节提示的其它分析;
m.指示操作者如何定位患者以进行扫描;
n.指示操作者将扫描仪定位在将用作患者坐标系中心的地点处;
o.指示操作者将扫描仪定位成屏幕面向患者;
p.向操作者提供指令,包括在患者身体表面上移动扫描仪的方向、在每个方向上移动多远、扫描仪应该被移动的速度以及他们应该施加以将扫描仪压在身体上的力的大小;
q.当收集到足够多的足够质量的图像时,通知操作者会话结束;以及
r.如果没有自动这样做,那么建议操作者将图像转发给医疗保健专业人员进行解释。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL274382 | 2020-05-01 | ||
IL274382A IL274382A (en) | 2020-05-01 | 2020-05-01 | A system and method for assisting an unskilled patient in performing ultrasound scans himself |
PCT/IL2021/050470 WO2021220264A1 (en) | 2020-05-01 | 2021-04-25 | A system and a method for allowing a non-skilled user to acquire ultrasound images of internal organs of a human body |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115666397A true CN115666397A (zh) | 2023-01-31 |
Family
ID=78373393
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180032117.6A Pending CN115666397A (zh) | 2020-05-01 | 2021-04-25 | 允许非熟练用户采集人体内部器官的超声图像的系统和方法 |
CN202180032079.4A Pending CN115666396A (zh) | 2020-05-01 | 2021-04-25 | 内部身体器官的超声图像的采集系统 |
CN202180032113.8A Pending CN115668389A (zh) | 2020-05-01 | 2021-04-25 | 人体器官的超声图像的采集系统 |
CN202180032196.0A Pending CN115697206A (zh) | 2020-05-01 | 2021-04-26 | 超声图像采集系统 |
CN202180032195.6A Pending CN115666398A (zh) | 2020-05-01 | 2021-04-26 | 人体内部器官的超声图像的采集系统 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180032079.4A Pending CN115666396A (zh) | 2020-05-01 | 2021-04-25 | 内部身体器官的超声图像的采集系统 |
CN202180032113.8A Pending CN115668389A (zh) | 2020-05-01 | 2021-04-25 | 人体器官的超声图像的采集系统 |
CN202180032196.0A Pending CN115697206A (zh) | 2020-05-01 | 2021-04-26 | 超声图像采集系统 |
CN202180032195.6A Pending CN115666398A (zh) | 2020-05-01 | 2021-04-26 | 人体内部器官的超声图像的采集系统 |
Country Status (8)
Country | Link |
---|---|
US (5) | US20230165562A1 (zh) |
EP (5) | EP4142602A4 (zh) |
JP (5) | JP2023523317A (zh) |
CN (5) | CN115666397A (zh) |
AU (5) | AU2021265595A1 (zh) |
CA (5) | CA3180182A1 (zh) |
IL (6) | IL274382A (zh) |
WO (5) | WO2021220264A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116158851A (zh) * | 2023-03-01 | 2023-05-26 | 哈尔滨工业大学 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220133270A1 (en) * | 2020-11-04 | 2022-05-05 | Luiz Maracaja | Accessory technologies for ultrasound systems |
US20220199229A1 (en) * | 2020-12-03 | 2022-06-23 | Wavebase Inc. | Method and system for enhancing medical ultrasound imaging devices with computer vision, computer aided diagnostics, report generation and network communication in real-time and near real-time |
WO2023004133A1 (en) * | 2021-07-23 | 2023-01-26 | Bard Access Systems, Inc. | Triphalangeal ultrasound probe stabilization feature |
IL293427A (en) * | 2022-05-29 | 2023-12-01 | Pulsenmore Ltd | Apparatus and method for identifying fluid-related medical conditions in a patient |
US20230389898A1 (en) * | 2022-06-01 | 2023-12-07 | Fujifilm Sonosite, Inc. | Ultrasound system for a virtual sonography team |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6126608A (en) * | 1999-05-18 | 2000-10-03 | Pie Medical Equipment B.V. | Portable ultrasound diagnostic system with handsfree display |
US10726741B2 (en) * | 2004-11-30 | 2020-07-28 | The Regents Of The University Of California | System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems |
EP1866871A4 (en) * | 2005-03-30 | 2012-01-04 | Worcester Polytech Inst | THREE-DIMENSIONAL FREEHAND ULTRASOUND DIAGNOSIS IMAGING WITH SENSORS FOR DETERMINING THE POSITION AND ANGLE |
NZ568721A (en) * | 2005-11-07 | 2011-01-28 | Signostics Ltd | Portable ultrasound system with probe and handheld display linked by a cable to locate around a user's neck |
US9456800B2 (en) * | 2009-12-18 | 2016-10-04 | Massachusetts Institute Of Technology | Ultrasound scanning system |
US8753278B2 (en) * | 2010-09-30 | 2014-06-17 | Siemens Medical Solutions Usa, Inc. | Pressure control in medical diagnostic ultrasound imaging |
US20120179039A1 (en) * | 2011-01-07 | 2012-07-12 | Laurent Pelissier | Methods and apparatus for producing video records of use of medical ultrasound imaging systems |
US9454245B2 (en) * | 2011-11-01 | 2016-09-27 | Qualcomm Incorporated | System and method for improving orientation data |
EP4140414A1 (en) * | 2012-03-07 | 2023-03-01 | Ziteo, Inc. | Methods and systems for tracking and guiding sensors and instruments |
WO2014144964A1 (en) * | 2013-03-15 | 2014-09-18 | Eagleyemed | Multi-site video based computer aided diagnostic and analytical platform |
EP3043714A4 (en) * | 2013-09-10 | 2017-05-10 | Hera Med Ltd. | A fetal heart rate monitoring system |
US11540718B2 (en) * | 2013-12-09 | 2023-01-03 | Koninklijke Philips N.V. | Imaging view steering using model-based segmentation |
US9949715B2 (en) * | 2014-02-12 | 2018-04-24 | General Electric Company | Systems and methods for ultrasound probe guidance |
WO2015142306A1 (en) * | 2014-03-20 | 2015-09-24 | Ozyegin Universitesi | Method and system related to a portable ultrasonic imaging system |
IL236484A (en) * | 2014-12-25 | 2017-11-30 | Pulsenmore Ltd | Device and system for monitoring internal organs of man or animals |
US9877700B1 (en) * | 2015-02-24 | 2018-01-30 | Asch-Klaassen Sonics, Llc | Ultrasound imaging of anatomy |
US9763644B2 (en) * | 2015-03-27 | 2017-09-19 | Clarius Mobile Health Corp. | System and method for connecting and controlling wireless ultrasound imaging system from electronic device |
EP3302288A4 (en) * | 2015-06-08 | 2019-02-13 | The Board Of Trustees Of The Leland Stanford Junior University | 3D ULTRASONIC IMAGING, METHODS, DEVICES AND ASSOCIATED SYSTEMS |
JP6389963B2 (ja) * | 2015-08-31 | 2018-09-12 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
US20170273663A1 (en) * | 2016-03-24 | 2017-09-28 | Elwha Llc | Image processing for an ultrasonic fetal imaging device |
IL244746B (en) * | 2016-03-24 | 2021-03-25 | Pulsenmore Ltd | A complete system for linking sensors to smart devices |
US20170273664A1 (en) * | 2016-03-24 | 2017-09-28 | Elwha Llc | Wearable ultrasonic fetal imaging device |
WO2017182417A1 (en) * | 2016-04-19 | 2017-10-26 | Koninklijke Philips N.V. | Ultrasound imaging probe positioning |
EP3471623B1 (en) * | 2016-06-20 | 2023-01-25 | Butterfly Network, Inc. | Automated image acquisition for assisting a user to operate an ultrasound device |
US20180344286A1 (en) * | 2017-06-01 | 2018-12-06 | General Electric Company | System and methods for at-home ultrasound imaging |
AU2018323621A1 (en) * | 2017-08-31 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatus for collection of ultrasound data |
EP3678555A4 (en) * | 2017-09-07 | 2021-05-19 | Butterfly Network, Inc. | WRIST-ATTACHED ULTRASONIC-ON-CHIP DEVICE |
CA3084318A1 (en) * | 2017-12-08 | 2019-06-13 | Neural Analytics, Inc. | Systems and methods for gel management |
US11660069B2 (en) * | 2017-12-19 | 2023-05-30 | Koninklijke Philips N.V. | Combining image based and inertial probe tracking |
US20190190952A1 (en) * | 2017-12-20 | 2019-06-20 | Mercy Health | Systems and methods for detecting a cyberattack on a device on a computer network |
TW201928604A (zh) * | 2017-12-22 | 2019-07-16 | 美商蝴蝶網路公司 | 用於基於超音波資料來識別姿勢的方法和設備 |
EP3752049A1 (en) * | 2018-02-12 | 2020-12-23 | Massachusetts Institute of Technology | Quantitative design and manufacturing framework for a biomechanical interface contacting a biological body segment |
JP7452864B2 (ja) * | 2018-03-05 | 2024-03-19 | エコー イメージング,インク. | 親指を主に用いる超音波イメージングシステム |
WO2020028740A1 (en) * | 2018-08-03 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
CA3110077A1 (en) * | 2018-08-29 | 2020-03-05 | Butterfly Network, Inc. | Methods and apparatuses for collection of ultrasound data |
US20220000448A1 (en) * | 2019-02-04 | 2022-01-06 | Google Llc | Instrumented Ultrasound Probes For Machine-Learning Generated Real-Time Sonographer Feedback |
-
2020
- 2020-05-01 IL IL274382A patent/IL274382A/en unknown
-
2021
- 2021-04-25 JP JP2022565559A patent/JP2023523317A/ja active Pending
- 2021-04-25 IL IL297157A patent/IL297157A/en unknown
- 2021-04-25 JP JP2022565560A patent/JP2023523318A/ja active Pending
- 2021-04-25 WO PCT/IL2021/050470 patent/WO2021220264A1/en unknown
- 2021-04-25 CA CA3180182A patent/CA3180182A1/en active Pending
- 2021-04-25 US US17/920,948 patent/US20230165562A1/en active Pending
- 2021-04-25 EP EP21796951.8A patent/EP4142602A4/en active Pending
- 2021-04-25 EP EP21797312.2A patent/EP4142603A4/en active Pending
- 2021-04-25 CN CN202180032117.6A patent/CN115666397A/zh active Pending
- 2021-04-25 IL IL297156A patent/IL297156A/en unknown
- 2021-04-25 US US17/920,951 patent/US20230165565A1/en active Pending
- 2021-04-25 US US17/920,957 patent/US20230165568A1/en active Pending
- 2021-04-25 AU AU2021265595A patent/AU2021265595A1/en active Pending
- 2021-04-25 WO PCT/IL2021/050471 patent/WO2021220265A1/en unknown
- 2021-04-25 CA CA3180180A patent/CA3180180A1/en active Pending
- 2021-04-25 CN CN202180032079.4A patent/CN115666396A/zh active Pending
- 2021-04-25 CN CN202180032113.8A patent/CN115668389A/zh active Pending
- 2021-04-25 WO PCT/IL2021/050469 patent/WO2021220263A1/en unknown
- 2021-04-25 IL IL297158A patent/IL297158A/en unknown
- 2021-04-25 AU AU2021265350A patent/AU2021265350A1/en active Pending
- 2021-04-25 JP JP2022565561A patent/JP2023523955A/ja active Pending
- 2021-04-25 CA CA3180186A patent/CA3180186A1/en active Pending
- 2021-04-25 AU AU2021262613A patent/AU2021262613A1/en active Pending
- 2021-04-25 EP EP21795454.4A patent/EP4142601A4/en active Pending
- 2021-04-26 WO PCT/IL2021/050477 patent/WO2021220269A1/en unknown
- 2021-04-26 WO PCT/IL2021/050478 patent/WO2021220270A1/en unknown
- 2021-04-26 AU AU2021265597A patent/AU2021265597A1/en active Pending
- 2021-04-26 CA CA3180167A patent/CA3180167A1/en active Pending
- 2021-04-26 CN CN202180032196.0A patent/CN115697206A/zh active Pending
- 2021-04-26 JP JP2022565558A patent/JP2023523316A/ja active Pending
- 2021-04-26 CN CN202180032195.6A patent/CN115666398A/zh active Pending
- 2021-04-26 AU AU2021262615A patent/AU2021262615A1/en active Pending
- 2021-04-26 JP JP2022565562A patent/JP2023523956A/ja active Pending
- 2021-04-26 IL IL297160A patent/IL297160A/en unknown
- 2021-04-26 EP EP21795277.9A patent/EP4142600A4/en active Pending
- 2021-04-26 EP EP21795275.3A patent/EP4142599A4/en active Pending
- 2021-04-26 US US17/920,963 patent/US20230165569A1/en active Pending
- 2021-04-26 CA CA3180176A patent/CA3180176A1/en active Pending
- 2021-04-26 IL IL297159A patent/IL297159A/en unknown
- 2021-04-26 US US17/920,967 patent/US20230181157A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116158851A (zh) * | 2023-03-01 | 2023-05-26 | 哈尔滨工业大学 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
CN116158851B (zh) * | 2023-03-01 | 2024-03-01 | 哈尔滨工业大学 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115666397A (zh) | 允许非熟练用户采集人体内部器官的超声图像的系统和方法 | |
EP3288465B1 (en) | In-device fusion of optical and inertial positional tracking of ultrasound probes | |
US20230267699A1 (en) | Methods and apparatuses for tele-medicine | |
KR20190085342A (ko) | 초음파 진단 장치의 제어 방법 및 초음파 진단 장치 | |
EP4305586A1 (en) | Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |