CN105451663B - 对目标视图的超声采集反馈引导 - Google Patents

对目标视图的超声采集反馈引导 Download PDF

Info

Publication number
CN105451663B
CN105451663B CN201480042594.0A CN201480042594A CN105451663B CN 105451663 B CN105451663 B CN 105451663B CN 201480042594 A CN201480042594 A CN 201480042594A CN 105451663 B CN105451663 B CN 105451663B
Authority
CN
China
Prior art keywords
view
image
state space
target
current ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480042594.0A
Other languages
English (en)
Other versions
CN105451663A (zh
Inventor
F·G·G·M·维尼翁
V·帕塔萨拉蒂
A·阿南德
A·K·贾殷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105451663A publication Critical patent/CN105451663A/zh
Application granted granted Critical
Publication of CN105451663B publication Critical patent/CN105451663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

在采集对象的超声成像中进行引导以实现目标视图(例如标准视图)需要将超声发射到对象并且作为响应接收当前超声视图(502);将接收到的图像匹配到诸如三维参考图像(503)的已有图像;并且为了辅助用户,基于匹配来生成用于引导的反馈(514‑528)。参考图像可以是统计图谱,或者其可以被从患者特异性CT或MR扫描导出。作为替代,已有图像可以是与状态空间中的状态相对应的数据库图像。反馈可以是:从参考图像导出的图像;对目标视图的平面的图形指示(508);被融合(512)到从参考图像导出的图像的接收到的视图;或者接收到的视图和从所述参考图像导出的图像,导出的图像同时出现并且被增强以在空间上指示接收到的视图在哪里配准到参考图像。目标视图(510)可以是对象的身体器官或脉管的视图。图谱和数据库都能够特定用于对器官或脉管及其周围组织的成像。

Description

对目标视图的超声采集反馈引导
技术领域
本发明涉及用于用户引导的超声图像匹配,并且具体涉及对已有图像的这样的匹配,以实现目标视图。
背景技术
成功的超声扫描强烈地依赖于用户的训练和经验。为了避免伪影,用户必须将探头放置在正确的位置中,即找到良好的声窗,以进行成像。常规地,这仅基于显示在屏幕上的实时超声图像完成。尽管有经验的用户通常能够识别图像退化并且能够因此通过将探头移动到更好的位置来相应地改进图像质量,但是经验较少的用户可能由于差的手眼协调和对伪影的较少知悉而采集折衷的图像。对感兴趣的身体器官的标准视图的集合的采集对于具有极少或没有放射学背景的护理工作者是有挑战性的任务。
Snare,S.R.等人的“Real-Time Scan Assistant for Echocardiography”(IEEETransactions in Ultrasonics,Ferroelectrics and Frequency Control,2012年,即下文中的“Snare发表”)描述了一种图像处理方法,所述图像处理方法应用于二维(2D)四腔心心脏图像以输出对获得的视图的质量的度量。
Snare,S.R.等人的美国专利公开No.2012/0065510公开了经由图像相关性将来自超声成像探头的实况图像与目标图像进行比较。Snare还公开了计算将探头从当前探头位置重新定位到新位置所需的变化的处理器,所述新位置将导致对可以被用于生成与目标图像更紧密地匹配的图像的额外超声数据的采集。关于如何重新定位探头的指令被传达给用户。
发明内容
在本文中以下所提出的涉及解决上述问题中的一个或多个。
根据本发明的一方面,在采集对象的超声成像中进行引导以实现目标视图包括:经由成像探头将超声发射到所述对象,并且作为响应接收当前超声视图;将接收到的图像匹配到已有图像。所述匹配对所述接收到的视图在具有为图像属性的维度的状态空间中的位置进行估计。用户辅助模块被配置用于响应于所述匹配,相对于所述位置而访问被组织为所述状态空间的数据库。所述访问用来检索用于在所述引导中输出的用户反馈。
在子方面中,所述目标视图是所述对象的身体器官或脉管的视图。
在另一子方面中,动态地或连续地执行所述生成。
在不同的子方面中,所述探头具有当前放置,并且发生关于如何将所述探头从所述探头的当前放置移动以便由此实现对所述目标视图的所述实现的示出和指令中的至少一个。
在一个子方面中,检测在所述目标视图与所述接收到的视图之间的匹配。
作为另一子方面,装置自动且无需用户介入地执行以下中的一个或两者:a)响应于对所述匹配的所述检测的用户通知;以及b)响应于对所述匹配的所述检测经由所述探头来采集图像数据。
在另一子方面中,所述目标视图是标准解剖结构视图,在所述引导的时间之前所述标准解剖结构视图已经由权威医学实体设定。
在又一子方面中,呈现所述反馈。
作为其另一子方面,动态地或连续地执行所述呈现。
在又一子方面中,所述接收到的视图被配准到三维参考图像。
在子方面中,所述动态地或连续地执行所述配准。
在一个不同的子方面中,所述参考图像包括图谱、经由医学成像对所述对象采集的图像、或者所述图谱和所述图像两者。
在另一子方面中,所述图谱包括统计图谱。
作为关于视图配准的另一子方面,同时对从所述参考图像导出的图像以及所述目标视图的平面的图形指示进行可视化。
在所述视图配准的额外的或补充的子方面中,存在对以下中的一个或两者的同时的可视化:被融合到从所述参考图像导出的图像的所述接收到的视图;以及所述接收到的视图和从所述参考图像导出的图像,所导出的图像同时出现并且被增强以在空间上指示所述接收到的视图在哪里配准到所述参考图像。
在作为所述视图配准的子方面的另一变型中,提供关于如何移动所述探头以实现所述目标视图的指令。用于指令的扬声器发出可听语言指令,在显示器上发出指令,或者所述扬声器和所述显示器都被提供用于这些目的。
在以上提到的方面的具体版本中,估计所述接收到的视图在所述状态空间中的位置。
在所述版本的具体子版本中,根据在建造所述数据库中针对所述目标视图而被预设定的那些多普勒设定,以默认为自动的方式将多普勒设定初始化。
作为所述版本的子版本,基于所述当前超声视图,做出关于在所述状态空间中朝向所述目标视图的相应轨迹的选择。
作为另一子版本,所述反馈是基于所述选择的。
在一个添加的子版本中,做出对在所述状态空间中朝向所述目标视图的最优轨迹的所述选择。
在具体子版本中,被配置用于形成所述状态空间的扫描器通过包括以下的步骤来这样做:经由所述扫描器并从多个成像对象采集特定针对具体身体器官或脉管的图像,使得在全部多幅图像中描绘所述器官或脉管和/或周围组织;并且利用相应的属性来标示所述图像。
在另一子版本中,形成所述状态空间包括将相应的指令链接到诸如除了目标(即标准)图像之外的那些图像的特定图像,所述指令关于如何将所述探头从所述特定图像导航到所述图像中的另一图像。
在另一方面中,一种装置被配置用于在采集对象的超声成像中进行引导以实现目标视图。所述装置包括:成像探头(144),其用于将超声发射到所述对象,并且用于作为响应接收当前超声视图;图像匹配模块(108),其被配置用于将接收到的视图匹配到已有图像,以及用户辅助模块,其被配置用于基于所述匹配来生成用于所述引导的反馈。所述图像匹配模块被配置用于经由基于图像的样式匹配而将所述接收到的视图配准到参考图像(S240),所述参考图像包括统计图谱,所述统计图谱每体素包括反映群体中的个体成员的图像强度分布。针对每个体素的相邻信息被包括。
以下在未按比例绘制的附图的帮助下阐述了该新颖、实时、交互式视觉引导技术的细节。
附图说明
图1是根据本发明的超声临床医生交互式引导装置的示意图;
图2是根据本发明的、对图1的装置的一个实现方式的总体操作的流程图;
图3是根据本发明的图像匹配准备的范例的流程图;
图4是根据本发明的状态空间准备的流程图;并且
图5是根据本发明的用户反馈的范例的概念图和屏幕显示图;并且
图6是根据本发明的用户反馈和反馈生成的范例的概念性图示。
具体实施方式
图1以说明性且非限制性的范例描绘了超声临床医生交互式引导装置100。除了其他部件设备,装置100包括控制器104、图像匹配模块108、用户辅助模块112、存储器116、扫描器120、显示器124、扬声器128和用户控制132。图像匹配模块108包括图像配准模块136和/或状态空间处理模块140。除了其他部件设备,扫描器包括成像探头144。
操作地,如图2所示,用于超声临床医生交互式引导的总体流程200如下。作为预备步骤,诸如医生、医学部、医学标准组织或医院的权威性医学实体设定针对感兴趣的身体器官或血管的标准超声视图(步骤S204)。标准视图的集合特定用于在装置100上使用(步骤S208)。准备一个或多个图像匹配参考(步骤S212),以下参考图3更详细地对此进行解释。临床医生选择可以针对诸如心脏的具体身体器官或诸如特定动脉的脉管的扫描类型(步骤S216)。装置100抽出对应的图像匹配参考(步骤S218)。装置100确定接下来要采集来自标准视图当中的哪个目标视图。如以下结合图4讨论的,装置100现在还加载已经针对目标视图预选择的多普勒设定。简而言之,根据在建造被组织为状态空间的数据库中针对目标视图而被预设定的那些多普勒设定而已默认为自动的方式对多普勒设定进行初始化(步骤S220)。装置100基于例如教科书指南向用户指示如何将成像探头144放置在诸如动物或人类患者的成像对象的表面解剖结构上(步骤S224)。用户(即临床医生)定位探头144(步骤S228)。如果用户引导功能装置100基于状态空间而操作(步骤S232),则实施状态空间处理模块140并且做出对经由探头144采集到的当前或“实况”视图在状态空间中的位置的估计。另一方面,如果未实施状态空间处理模块140(步骤S232),但是实施了图像配准模块136,则当前视图被配准到三维(3D)参考图像中对应的位置和取向(步骤S240)。如果现在确定当前视图并不匹配或足够地表示目标视图(步骤S244),则装置100给予用户指令或示出如何向实现目标视图的目的前进的反馈(步骤S248),并且处理分支返回到用户定位步骤S228。在以下讨论中伴随图5和图6提供了对反馈的更详细的描述。作为替代,如果已经达到匹配(步骤S224)并且将执行自动采集(步骤S252),则记录当前视图以用于例如由临床医生进行的进一步分析(步骤S256)。另一方面,如果已经达到匹配(步骤S244)并且将执行用户致动的采集(步骤S252),则在探头144上或者扫描器上的其他地方(例如在容纳用户控制132的控制台上)点亮绿灯(步骤S260)。
在图3的流程图中更详细地描述了图像匹配参考准备步骤(S212)。参考图3,如果图像匹配将基于作为图像匹配参考的三维(3D)解剖结构图谱(步骤S310),并且图谱将是统计图谱(步骤S320),则准备统计图谱(步骤S330)。基于对各种对象的计算机断层摄影(CT)和/或磁共振成像(MR)扫描来建造统计图谱以覆盖解剖结构变化。其可以被存储在作为存储器116的部分的硬盘驱动器上。图谱每体素包括反映群体中的个体成员的图像强度分布。针对每个体素的相邻信息也被包括。由于统计图谱的统计性质,较快地执行用于实现配准的图像匹配。另一方面,如果图像匹配将基于不是统计图谱的解剖结构图谱(步骤S310、S320),则将解剖结构图谱准备为来自各种对象的典型地经由CT和/或MR扫描的3D图像匹配参考(步骤S340)。如果作为对图谱的替代(步骤S310),将使用对相同患者的CT和/或MR扫描来建造3D图像匹配参考(步骤S350),则准备“相同患者”参考(步骤S360)。另一方面,如果相同患者的CT/MR扫描不可用或者以其他方式将不被使用(步骤S350),并且将使用状态空间(步骤S370),则准备状态空间(步骤S380)。以下紧接着结合图4更详细地描述了对状态空间的准备。
状态空间准备过程400涉及建造对来自多个成像对象的感兴趣器官或脉管及其周围的几百个扫描的集合的统计数据库。数据库被组织为状态空间。利用诸如所查看的图像解剖结构、图像质量和在表面解剖结构上的对应探头位置和取向的属性来标示要被合并到状态空间中的图像。图像的该集合的子集是与具有良好图像质量的标准超声视图相对应的目标状态的集合。数据库的图像可以被描述为在其维度是图像属性的状态空间内的点。在状态空间内,定义超声图像之间的空间关系,并且尤其是任何超声图像与目标图像中的任何图像之间的轨迹是可能的。
要被采集以合并到状态空间中的图像是特定针对具体身体器官或脉管的,使得在每幅图像中都描绘器官或脉管和/或周围的组织。过程400被对于第一成像对象、第一目标视图、第一轨迹和第一图像初始化(步骤S404)。因此,将相应的指针或计数器调零。经由成像探头144采集当前图像(步骤S408)。记录图像的属性,并且利用其属性来标示当前图像(步骤S412)。记录可以部分自动地并且部分经由建造数据库的人的输入来完成。可以根据以下项来标示当前图像:所查看的解剖结构(例如颈动脉(左、右、共同、内部、外部、球茎、分叉、近端、中间、远端、纵向、横向、倾斜等))例如颈静脉、甲状腺、椎体、椎动脉、椎静脉、锁骨下动脉等;探头144为了获得这些图像相对于表面解剖结构的位置和取向(例如前面、前面、后面、颅内、骶骨、侧向、中间、颈部、锁骨、上颚、喉结、水平、垂直、倾斜);任选地,当前成像模式和设定(例如针对B模式,功率、焦点深度、谐波、空间混合);针对彩色流、增益、最大速度、彩盒取向、样本体积大小;以及针对谱多普勒、最大速度和多普勒角度);以及任选地,伪影的存在和图像质量的量度(例如接触伪影、良好的超声接触和平均图像对比度)。自动地完成对当前成像模式和设定的标示。由于朝向目标视图的导航通常是将B模式图像行进到B模式图像,因此诸如多普勒的模式实际上通常能够从导航过程退出。例如,如以上在步骤S220中,能够的开端处默认自动地提供这些设定。根据在数据库建立期间由数据库建造者特别针对目标视图做出的控制调节来创建设定值。如果在用户导航的过程中,用户无意地或出于无论什么原因改变这些设定,则所得的状态空间距离将在导航期间的某(一个或多个)时间点处自动地得到为用户提供用于有效地恢复这些设定的指令的反馈。备选地,目标视图多普勒设定不需要在初始化后默认提供;作为替代,在用户导航的过程中或在开端处,源于所得的状态空间距离的用户反馈将指到对设定的适当调节。
可以已经经由较不良好的超声接触采集了采集到的当前图像。这将故意地完成,使得一旦该图像在数据库中,则对该图像的匹配允许检测到不足的接触。如果接触是不足的(步骤S416),则建造数据库的人应用或者重新应用诸如凝胶的声学耦合介质,将探头144恢复到相对于经改进图像的成像对象的相同位置和取向(步骤S420)。否则,如果接触不是不足的(步骤S416),则数据库建造者经由探头移动或对成像设定的调节来为下一图像采集做准备(步骤S422)。做出移动或调节,从而向目标图像导航。
在任一事件中,即无论接触是否足够,现在处理指向该下一图像(步骤S424)。采集图像(步骤S428)。部分人工地并且部分自动地记录属性(步骤S432)。在对应的以上步骤S420、S422中做出的通常针对B模式的最近探头移动、接触调节或成像设定调节由数据库建造者或自动地被输入或选择,并且被链接到先前的图像,即仅在步骤S428之前采集到的图像(步骤S436)。关于探头位置,输入可以是“左”、“右”、“上”或“下”。这里,“上”将一般指在头到脚趾的方向上。额外地或作为替代,输入可以关于取向,即倾斜、“左”、“右”、“上”或“下”。额外地或作为替代,输入可以关于探头144的原地旋转,“顺时针”或“逆时针”。在这些选项中的每个中,都不需要记录距离或幅值,这是因为对步骤S228至S248中的反馈环路的更新实时发生。具体而言,例如根据欧几里德距离,具有到步骤S236中做出的估计的最近位置的数据库图像动态地将用户保持在向目标视图的轨迹上。即使在操作期间用户徘徊到另一轨迹中,该另一轨迹也将类似地向目标视图导航。关于探头接触,由数据库建造者做出的输入或选择可以是“向探头重新应用凝胶并返回到相同的位置和取向”。对于成像设定变化,自动选择可以是例如“增加成像深度”。
如果当前视图不是目标视图(步骤S440),则处理返回到步骤S416。否则,如果当前视图是如通过数据库建造者的适当用户控制132的致动所证明的目标视图(步骤S440),并且将针对当前成像对象的当前目标视图记录另一轨迹(步骤S444),则经由屏幕上的消息建议数据库建造者输入多普勒模式设定(步骤S446)。交互式地,根据数据库建造者做出的一系列屏幕提示和响应性致动,多普勒设定被存储为目标视图的属性(步骤S448)。轨迹指针递增(步骤S450)并且返回到步骤S408。另一方面,如果没有这样的另外的轨迹被记录(步骤S444),但是当前成像对象的另一目标视图将被用在建立数据库中(步骤S452),则视图指针递增(步骤S456)并且同样地返回到步骤S408。然而,如果对于建立数据库而言,没有当前成像对象的目标视图保留(步骤S452),但是下一成像对象将被用在建立数据库中(步骤S460),则对象指针递增(步骤S464)并且同样地返回到步骤S408。
图5提供了步骤S248的用户反馈的范例,所述用户反馈可以采取屏幕上图示或消息或可听语言的形式。
可以与从存储在硬盘驱动器上的3D参考图像503(即从图谱)或从利用患者特异性CT和/或MR扫描构建的3D图像导出的截面图像504一起显示表示诸如B模式图像的当前视图502的超声图像。这里,身体器官505(即心脏)的截面图像504已经被分割并被增强,以在空间上指示接收到的(或“实况”)视图在哪里配准到参考图像。因此,例如经着色的增强区域506在空间上与当前图像将被切成图谱的地方相对应。为了示出在导航中临床医生如何向当前目标视图行进,能够将对当前目标视图510的平面的图形指示508添加到屏幕上呈现。再者,作为对将当前视图502示为分离图像的替代,能够诸如通过逐像素替换而将超声图像融合512到截面图像504。这里,也能够添加图形指示508。
备选地或额外地,屏幕消息或可听语言指令能够引导临床医生。因此,正如基于状态空间的实施例中那样,针对探头144的位置/倾斜514,四个可能的指示516-522是“右”、“左”、“上”和“下”。同样地,如在基于状态空间的实施例中那样,原地旋转524能够是“顺时针的”526或“逆时针的”528。
步骤S240中的配准涉及当前视图502到3D参考图像的基于图像的样式匹配和关于当前视图的坐标变换,以根据匹配使其与3D图像配准。基于变换,反馈指令能够表示单个种类或多于一个种类的所建议的探头移动514、524。
对于基于状态空间的实施例,由于根据在采集步骤S408、S428中采集到的当前视图502与数据库图像之间的比较的样式识别来做出步骤S236中的估计。呈现被链接到当前数据库图像的一类或多类反馈指令(即探头移动、探头接触和成像设定)。
图6是用户反馈和反馈生成的具体范例。该范例涉及左内侧位颈总动脉601以及采集动脉的标准视图。在表示探头144的当前放置610的倾斜位置608中以及在不倾斜位置612中示出换能器阵列面图形604。换能器阵列可以是线性阵列或矩阵阵列。在图6中还示出了下颌骨图形616和锁骨图形620。当前图形624在概念上与当前视图502相对应,并且目标图形628在概念上与目标视图510相对应。此外,作为对表示当前视图502的任何其他图形或超声图像的补充或替代,可以在屏幕上显示图形624、628两者。
在状态空间实施例中,用于所匹配的数据库图像的所查看的解剖结构标示是“左内侧位颈总动脉,倾斜视图。”探头位置标示是“锁骨与下颌骨之间的中途”。锁骨和下颌骨图形616、620表示周围的组织。探头取向标示是“倾斜的”。成像模式标示是“B模式”。成像设定标示是“空间复合”。伪影标示是“无伪影的”。例如基于平均像素强度,图像质量标示是“良好的图像对比度”。在匹配到数据库图像604之后,则可以能够在显示器124上显示所有的标示。
如果所匹配的数据库图像的图像质量属性指示缺乏良好的探头接触,而不是这里借助于良好图像质量的对“良好”探头接触的实际指示,则该当前成像条件可能干扰在将轨迹朝向标准视图导航中对数据库图像的进一步匹配。因此,对接触的改进将比其他导航考虑占优。接着这将构成选择状态空间中的最优轨迹的范例,并且通过发出用户反馈消息而被证明,所述用户反馈消息如被链接到链接步骤S436中的当前数据库图像的“重新应用凝胶并且将探头恢复到相同位置和取向”。
然而,由于图像质量标示指示该接触是良好的,因此发送在步骤S436中的数据库建造期间所存储的不同的指令以在显示器124上查看。这里,指令将是用来“原地顺时针旋转”的指令526。这是通过图示箭头632指示的。如在本文中以上提到的,经由步骤S228至S248中的反馈环路,实时地监测临床医生对探头144的所得的移动。重新发送指令以重复地显示,但在当前视图502匹配到诸如与目标视图510相对应的新数据库图像的事件中,将改变指令。
在3D图像实施例的情况下,几乎能通过定义导出指令526“顺时针旋转”,这是因为仅在将当前视图502配准到3D参考图像中涉及的变换实际上是顺时针旋转。在达到目标视图510需要例如探头原地旋转并平移的较不分明的情况下,由装置100决定是旋转还是平移占优。准则能够涉及基于实证经验而选择的阈值,但是例如位置将通常比倾斜占优,直到探头位置接近目标视图510所需的位置。
在采集对象的超声成像中进行引导以实现目标视图(例如标准视图)需要将超声发射到对象并且作为响应接收当前超声视图;将接收到的图像匹配到诸如三维参考图像的已有图像;并且为了辅助用户,基于匹配来生成用于引导的反馈。参考图像可以是统计图谱,或者其可以被从患者特异性CT或MR扫描导出。作为替代,已有图像可以是与状态空间中的状态相对应的数据库图像。反馈可以是:从参考图像导出的图像;对目标视图的平面的图形指示;被融合到从参考图像导出的图像的接收到的视图;或者接收到的视图和从所述参考图像导出的图像,导出的图像同时出现并且被增强以在空间上指示接收到的视图在哪里配准到参考图像。目标视图可以是对象的身体器官或脉管的视图。图谱和数据库都能够特定用于对用户选择的器官或脉管及其周围组织的成像。
除了做出能由未特别关于超声波检查训练的护士或其他临床医生执行的诊断心脏检查,交互式视觉引导装置100还能够引导新手超声波检查员。备选地,装置100的新颖视觉反馈能够加快经训练的或有经验的超声波检查员的工作流。
尽管已经在附图和前文的描述中详细说明并描述了本发明,但这种说明和描述被视为说明性或示范性的,而非限制性的;本发明不限于所公开的实施例。
例如,探头144可以备选地或额外地使用关于朝向标准视图的适当的探头移动的触觉反馈。
本领域技术人员通过研究附图、公开内容以及权利要求书,在实践要求保护的本发明时,能够理解并实现对所公开的实施例的其他变型。在权利要求书中,词语“包括”不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。权利要求中的任何附图标记都不应被解释为对范围的限制。
计算机程序能够被暂时地、临时地或者长时间地存储在适合的计算机可读介质上,例如光学存储介质或固态介质。这样的介质是非瞬态的仅意味着不是瞬时传播信号,但包括其他形式的计算机可读介质,例如寄存器存储器,处理器缓存,RAM和其他易失性存储器。
单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。

Claims (12)

1.一种被配置用于在采集对象的超声成像中进行引导以实现目标视图的装置,所述装置包括:
成像探头(144),其用于将超声发射到所述对象,并且用于作为响应接收当前超声视图;
图像匹配模块,其被配置用于将接收到的当前超声视图匹配到被组织为状态空间的数据库中的已有图像,其中,所述状态空间内的每一点的维度对应于图像属性,并且其中,所述匹配包括对所述接收到的当前超声视图在所述状态空间中的位置进行估计;以及
用户辅助模块,其被配置用于基于所述当前超声视图及其在所述状态空间中的位置来选择在所述状态空间中朝向所述目标视图的相应轨迹。
2.根据权利要求1所述的装置,还被配置用于根据在建造所述数据库中针对所述目标视图而被预设定的那些多普勒设定,以默认为自动的方式将多普勒设定初始化(S404-S464)。
3.根据权利要求1所述的装置,其中,所述轨迹包括在所述状态空间中的相应位置之间的多个路径。
4.根据权利要求1所述的装置,还被配置用于对在所述状态空间中朝向所述目标视图的最优轨迹的所述选择。
5.根据权利要求1所述的装置,所述探头具有当前放置,所述装置被配置用于通过显示身体器官相对于所述接收到的当前超声视图和所述目标视图的轮廓而以视觉方式示出如何将所述探头从所述探头的当前放置移动以便由此实现对所述目标视图(510)的所述实现。
6.根据权利要求1所述的装置,其被配置用于自动且无需用户介入地响应于检测所述目标视图与所述接收到的当前超声视图之间的匹配(S244)来经由所述探头采集图像数据(S252)。
7.一种被配置用于在采集对象的超声成像中进行引导以实现目标视图的装置,所述装置包括:
成像探头(144),其用于将超声发射到所述对象,并且用于作为响应接收当前超声视图;以及
图像匹配模块(108),其被配置用于将接收到的当前超声视图匹配到被组织为状态空间的数据库中的已有图像,其中,所述状态空间内的每一点的维度对应于图像属性,并且其中,所述匹配包括对所述接收到的当前超声视图在所述状态空间中的位置进行估计,以及
用户辅助模块,其被配置用于基于所述当前超声视图及其在所述状态空间中的位置来选择在所述状态空间中朝向所述目标视图的相应轨迹,
其特征在于,所述图像匹配模块被配置用于经由基于图像的样式匹配而将所述接收到的当前超声视图配准到参考图像(S240),所述参考图像包括统计图谱,所述统计图谱每体素包括反映群体中的个体成员的图像强度分布,针对每个体素的相邻信息被包括。
8.根据权利要求7所述的装置,其被配置用于同时对a)从所述参考图像导出的图像;以及b)所述目标视图的平面的图形指示(508)进行可视化。
9.一种体现用于在采集对象的超声成像中进行引导以实现目标视图的程序的计算机可读介质,所述程序具有能由处理器运行以执行多个动作的指令,从所述动作中存在以下动作:
将当前超声视图匹配到被组织为状态空间的数据库中的已有图像,其中,所述状态空间内的每一点的维度对应于图像属性,并且其中,所述匹配包括对所述当前超声视图在所述状态空间中的位置进行估计;并且
基于所述当前超声视图及其在所述状态空间中的位置来选择在所述状态空间中朝向所述目标视图的相应轨迹。
10.一种被配置用于在采集对象的超声成像中进行引导以实现目标视图的装置,所述装置包括:
成像探头(144),其用于将超声发射到所述对象,并且用于作为响应接收当前超声视图;
图像匹配模块,其被配置用于将接收到的当前超声视图匹配到被组织为状态空间的数据库中的已有图像,其中,所述状态空间内的每一点的维度对应于图像属性;以及
用户辅助模块,其被配置用于基于所述当前超声视图及其在所述状态空间中的位置来选择在所述状态空间中朝向所述目标视图的相应轨迹,
其特征在于,所述图像匹配模块(108)被配置用于对所述接收到的当前超声视图在所述状态空间中的位置进行估计;并且
其特征还在于,所述装置还包括扫描器(120),所述扫描器被配置用于形成所述状态空间,所述形成包括:
经由所述扫描器并从多个成像对象采集特定针对具体身体器官或脉管的多幅图像,使得在全部多幅图像中描绘所述器官或脉管和/或周围的组织;
利用相应的属性来标示所述多幅图像;以及
将相应的指令链接(S436)到来自所述多幅图像中的特定图像,所述指令关于如何将超声探头从所述特定图像导航到所述多幅图像中的另一图像。
11.一种体现用于在采集对象的超声成像中进行引导以实现目标视图的程序的计算机可读介质,所述程序具有能由处理器运行以执行多个动作的指令,从所述多个动作中存在以下动作:
将接收到的当前超声视图匹配到被组织为状态空间的数据库中的已有图像,由此估计所述接收到的当前超声视图在所述状态空间中的位置,其中,所述状态空间内的每一点的维度对应于图像属性;以及
基于所述当前超声视图及其在所述状态空间中的位置来选择在所述状态空间中朝向所述目标视图的相应轨迹,
其特征在于,从所述多个动作中还存在形成所述状态空间的动作,所述形成包括:
从多个成像对象采集特定针对具体身体器官或脉管的多幅图像,使得在全部多幅图像中描绘所述器官或脉管和/或周围的组织;
利用相应的属性来标示所述多幅图像;以及
将相应的指令链接(S436)到来自所述多幅图像中的特定图像,所述指令关于如何将超声探头从所述特定图像导航到所述多幅图像中的另一图像。
12.一种体现用于在采集对象的超声成像中进行引导以实现目标视图的计算机程序的计算机可读介质,所述程序具有能由处理器运行以执行多个动作的指令,从所述多个动作中存在以下动作:
将当前超声视图匹配到被组织为状态空间的数据库中的已有图像,其中,所述状态空间内的每一点的维度对应于图像属性,并且其中,所述匹配包括对所述当前超声视图在所述状态空间中的位置进行估计;并且
基于所述当前超声视图及其在所述状态空间中的位置来选择在所述状态空间中朝向所述目标视图的相应轨迹。
CN201480042594.0A 2013-06-28 2014-06-23 对目标视图的超声采集反馈引导 Active CN105451663B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361840727P 2013-06-28 2013-06-28
US61/840,727 2013-06-28
PCT/IB2014/062523 WO2014207642A1 (en) 2013-06-28 2014-06-23 Ultrasound acquisition feedback guidance to a target view

Publications (2)

Publication Number Publication Date
CN105451663A CN105451663A (zh) 2016-03-30
CN105451663B true CN105451663B (zh) 2019-03-19

Family

ID=51205526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480042594.0A Active CN105451663B (zh) 2013-06-28 2014-06-23 对目标视图的超声采集反馈引导

Country Status (7)

Country Link
US (1) US10702248B2 (zh)
EP (1) EP3013242B1 (zh)
JP (1) JP6527860B2 (zh)
CN (1) CN105451663B (zh)
BR (1) BR112015032573B1 (zh)
RU (1) RU2683720C2 (zh)
WO (1) WO2014207642A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014134188A1 (en) * 2013-02-28 2014-09-04 Rivanna Medical, LLC Systems and methods for ultrasound imaging
JP6268196B2 (ja) * 2013-03-05 2018-01-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 頭蓋内モニタリングのための一貫性のある連続的な超音波取得
WO2016141449A1 (en) * 2015-03-09 2016-09-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of The Department Of National Defence Computer-assisted focused assessment with sonography in trauma
GB201509164D0 (en) * 2015-05-28 2015-07-15 Intelligent Ultrasound Ltd Imaging feedback system and method
US10682122B2 (en) * 2015-12-03 2020-06-16 Siemens Medical Solutions Usa, Inc. Image-based user interface for controlling medical imaging
CN112957074A (zh) 2016-03-09 2021-06-15 安科诺思公司 利用人工智能网络的超声图像识别系统和方法
WO2017222970A1 (en) * 2016-06-20 2017-12-28 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US10905402B2 (en) 2016-07-27 2021-02-02 Canon Medical Systems Corporation Diagnostic guidance systems and methods
FR3060966B1 (fr) * 2016-12-23 2019-05-31 Azoth Systems Dispositif de mesure du flux sanguin
AU2018323621A1 (en) * 2017-08-31 2020-02-06 Butterfly Network, Inc. Methods and apparatus for collection of ultrasound data
AU2018333123A1 (en) * 2017-09-15 2020-04-09 Elesta S.p.A. Device and method for needle sonographic guidance in minimally invasive procedures
US11464490B2 (en) 2017-11-14 2022-10-11 Verathon Inc. Real-time feedback and semantic-rich guidance on quality ultrasound image acquisition
EP3549529A1 (en) 2018-04-05 2019-10-09 Koninklijke Philips N.V. Ultrasound imaging system and method
EP3775986A4 (en) * 2018-04-09 2022-01-05 Butterfly Network, Inc. ULTRASONIC SYSTEM CONFIGURATION METHODS AND APPARATUS USING MULTIPLE IMAGING PARAMETER VALUES
AU2019268319A1 (en) 2018-05-15 2020-12-24 New York University System and method for orientating capture of ultrasound images
CN113950293A (zh) * 2019-05-31 2022-01-18 皇家飞利浦有限公司 用于引导对颅部超声数据的采集的方法和系统
US11798677B2 (en) * 2019-12-31 2023-10-24 GE Precision Healthcare LLC Method and system for providing a guided workflow through a series of ultrasound image acquisitions with reference images updated based on a determined anatomical position
CN111938700B (zh) * 2020-08-21 2021-11-09 电子科技大学 基于人体解剖结构实时匹配的超声探头引导系统及方法
CN111938699B (zh) * 2020-08-21 2022-04-01 电子科技大学 一种引导使用超声设备的系统及方法
US20220338836A1 (en) * 2021-04-21 2022-10-27 Ultrasight Ltd System and method for guiding positioning and orienting of an ultrasound probe
CN113476098B (zh) * 2021-07-26 2022-06-24 首都医科大学附属北京儿童医院 一种封堵管的监测系统
US11903760B2 (en) 2021-09-08 2024-02-20 GE Precision Healthcare LLC Systems and methods for scan plane prediction in ultrasound images
US20230148998A1 (en) * 2021-11-15 2023-05-18 GE Precision Healthcare LLC Method and system for dynamically adjusting imaging parameters during an ultrasound scan
CN117017355B (zh) * 2023-10-08 2024-01-12 合肥合滨智能机器人有限公司 一种基于多模态生成式对话的甲状腺自主扫查系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5906578A (en) * 1997-06-18 1999-05-25 Rajan; Govinda N. Method and system for probe positioning in transesophageal echocardiography
CN1973297A (zh) * 2004-05-14 2007-05-30 皇家飞利浦电子股份有限公司 信息增强图像引导介入
CN101902971A (zh) * 2007-12-21 2010-12-01 皇家飞利浦电子股份有限公司 用于追踪和引导高强度聚焦超声波束的系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088104B2 (ja) * 2002-06-12 2008-05-21 株式会社東芝 超音波診断装置
CN101669831B (zh) * 2003-05-08 2013-09-25 株式会社日立医药 基准图像显示方法
US7221972B2 (en) 2003-08-29 2007-05-22 Siemens Medical Solutions Usa, Inc. Ultrasound system with protocol-driven user interface
US20050187472A1 (en) 2004-01-30 2005-08-25 Peter Lysyansky Protocol-driven ultrasound examination
JP4699062B2 (ja) * 2005-03-29 2011-06-08 株式会社日立メディコ 超音波装置
US20070081706A1 (en) * 2005-09-28 2007-04-12 Xiang Zhou Systems and methods for computer aided diagnosis and decision support in whole-body imaging
JP2009089736A (ja) * 2007-10-03 2009-04-30 Toshiba Corp 超音波診断装置
US8172753B2 (en) 2008-07-11 2012-05-08 General Electric Company Systems and methods for visualization of an ultrasound probe relative to an object
JP5481108B2 (ja) * 2009-06-26 2014-04-23 株式会社東芝 超音波診断装置及び自動診断支援装置
JP2011110102A (ja) * 2009-11-24 2011-06-09 Toshiba Corp 超音波診断装置
US8352494B1 (en) * 2009-12-07 2013-01-08 Google Inc. Distributed image search
US20120065510A1 (en) * 2010-09-09 2012-03-15 General Electric Company Ultrasound system and method for calculating quality-of-fit
MX2013015358A (es) * 2011-07-01 2014-02-11 Koninkl Philips Nv Correccion de imagen intraoperativa para intervenciones guiadas por imagen.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5906578A (en) * 1997-06-18 1999-05-25 Rajan; Govinda N. Method and system for probe positioning in transesophageal echocardiography
CN1973297A (zh) * 2004-05-14 2007-05-30 皇家飞利浦电子股份有限公司 信息增强图像引导介入
CN101902971A (zh) * 2007-12-21 2010-12-01 皇家飞利浦电子股份有限公司 用于追踪和引导高强度聚焦超声波束的系统及方法

Also Published As

Publication number Publication date
RU2016102416A (ru) 2017-08-01
CN105451663A (zh) 2016-03-30
WO2014207642A1 (en) 2014-12-31
US10702248B2 (en) 2020-07-07
BR112015032573B1 (pt) 2022-04-19
EP3013242A1 (en) 2016-05-04
RU2683720C2 (ru) 2019-04-01
JP2016522074A (ja) 2016-07-28
US20160143627A1 (en) 2016-05-26
BR112015032573A2 (pt) 2017-07-25
EP3013242B1 (en) 2018-11-07
JP6527860B2 (ja) 2019-06-05

Similar Documents

Publication Publication Date Title
CN105451663B (zh) 对目标视图的超声采集反馈引导
US9717474B2 (en) Image processing apparatus, ultrasound diagnosis apparatus, and image processing method
Wein et al. Simulation and fully automatic multimodal registration of medical ultrasound
US11793484B2 (en) Method, device and system for intracavity probe procedure planning
US20150011886A1 (en) Automatic imaging plane selection for echocardiography
JP5580030B2 (ja) 画像処理装置、および画像位置合せ方法
CN109584350A (zh) 医学诊断成像中的测量点确定
US10755453B2 (en) Image processing apparatus, image processing method, and ultrasound imaging apparatus having image processing unit
JP6620252B2 (ja) 超音波融合撮像システムにおけるプローブ誘導変形の補正
CN104011773A (zh) 序列图像采集方法
US10991069B2 (en) Method and apparatus for registration of medical images
US20230103969A1 (en) Systems and methods for correlating regions of interest in multiple imaging modalities
US20160030008A1 (en) System and method for registering ultrasound information to an x-ray image
JP7171168B2 (ja) 医用画像診断装置及び医用画像処理装置
CN110956076B (zh) 基于容积渲染在三维超声数据中进行结构识别的方法和系统
US10667796B2 (en) Method and system for registering a medical image with a graphical model
CN106456253B (zh) 免于重建的自动多模态超声配准
JP2016067559A (ja) 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム
WO2015087191A1 (en) Personalized scan sequencing for real-time volumetric ultrasound imaging
US20230092430A1 (en) Providing result image data
US20230181165A1 (en) System and methods for image fusion
Viola et al. High-Quality 3D Visualization of In-Situ Ultrasonography.
Fakim et al. The automatic localization of the vena contracta using Intracardiac Echocardiography (ICE): a feasibility study

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant