CN112998755A - 解剖结构的自动测量方法和超声成像系统 - Google Patents

解剖结构的自动测量方法和超声成像系统 Download PDF

Info

Publication number
CN112998755A
CN112998755A CN202011506495.7A CN202011506495A CN112998755A CN 112998755 A CN112998755 A CN 112998755A CN 202011506495 A CN202011506495 A CN 202011506495A CN 112998755 A CN112998755 A CN 112998755A
Authority
CN
China
Prior art keywords
measurement
image
measured
item
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011506495.7A
Other languages
English (en)
Inventor
邹耀贤
林穆清
王泽兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Publication of CN112998755A publication Critical patent/CN112998755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请实施例提供了一种解剖结构的自动测量方法和超声成像系统。所述自动测量方法包括图像获取步骤,获取超声图像,所述超声图像与生物体组织的至少一个解剖结构相关,所述至少一个解剖结构具有至少一个测量项;测量项获取步骤,获取待测测量项;图像识别步骤,从所述超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像;自动测量步骤,测量所述识别图像中的所述测量目标。根据要测量的待测测量项,识别包含有待测测量项对应的测量目标的超声图像,并对超声图像中的测量目标进行自动测量,提高了对解剖结构进行测量的效率。

Description

解剖结构的自动测量方法和超声成像系统
技术领域
本申请涉及医疗器械领域,更具体地涉及一种解剖结构的自动测量方法和超声成像系统。
背景技术
超声测量是获取组织或病灶大小的常用手段,为了提升测量效果,已有多个超声厂家集成了自动测量算法,例如,针对产科测量,多个厂家支持了头围、双顶径、腹围、股骨长等常用测量项目的自动测量,给临床检查效率的提升作出了较大贡献。
然而,在超声检查中,往往涉及图像的对比,为了方便图像对比,多窗模式是一种常用的图像显示方式。在多窗模式中,通过一个屏幕中同时显示了多个超声图像(主要以双窗为主)可以让医生对比观察不图的解剖结构。一般情况下,多窗模式会有一个切换按键让用户激活某一个窗口(后称激活窗口),在该窗口下实时扫图,其余窗口显示之前已扫好的图。
然而,在自动测量时,多窗模式往往会带来很大的困扰,当用户启动某个测量项的自动测量时,系统并不知道哪一个窗口的图像是用户想要进行测量的,一个通用做法是多窗模式哪一个窗口是当前激活窗口,就自动测量哪一个窗口的图像,这就要求用户扫好一个图像就马上进行测量,否者自动测量的图像并不是医生想要的图像。但是,部分医生习惯于打好所有切面后再统一进行测量,这就要求用户切换窗口才能测量,反而增加操作步骤。
发明内容
为了解决上述问题中的至少一个而提出了本申请。本申请提供一种解剖结构的自动测量方法和超声成像系统,其可以根据要测量的待测测量项,获取具有待测测量项的超声图像,对超声图像中的待测测量项进行自动测量,提高了对解剖结构进行自动测量的效率。
第一方面,本申请实施例提供一种解剖结构的自动测量方法,包括:
在显示界面上显示至少两个窗口,其中,所述窗口显示有超声图像;
获取用户的待测测量项选择指令;
响应所述待测测量项选择指令,从所述至少两个窗口中确定目标窗口,其中所述目标窗口为显示有待测测量项对应的测量目标的超声图像的窗口;
在所述目标窗口显示的所述待测测量项对应的测量目标的超声图像上测量所述待测测量项。
第二方面,本申请实施例提供一种解剖结构的自动测量方法,包括:
在显示界面上显示至少两个窗口,其中,所述窗口显示有超声图像;
响应于用户的测量启动指令,识别每个所述窗口显示的超声图像中对应的测量项,确定识别出有测量项对应的超声图像的窗口为目标窗口,所有所述目标窗口显示的超声图像所包含的所有测量项均为待测测量项;
在所有所述目标窗口显示的超声图像上测量所述待测测量项。
第三方面,本申请实施例提供一种解剖结构的自动测量方法,包括:
在显示界面上显示至少两个超声图像;
获取用户的待测测量项选择指令;
响应于所述待测测量项选择指令,从所述至少两个超声图像中确定对应有所述待测测量项的超声图像为识别图像;
在所述识别图像上测量所述待测测量项。
第四方面,本申请实施例提供一种解剖结构的自动测量方法,包括:
在显示界面上显示至少两个超声图像;
响应于用户的测量启动指令,从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像,所述识别图像所对应的所有测量项均为待测测量项;
在所述识别图像上测量所述待测测量项。
第五方面,本申请实施例提供一种解剖结构的自动测量方法,包括:
图像获取步骤,获取超声图像,所述超声图像与生物体组织的至少一个解剖结构相关,所述至少一个解剖结构具有至少一个测量项;
测量项获取步骤,获取所述解剖结构的待测测量项;
图像识别步骤,从所述超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像,所述识别图像为所述超声图像中的至少一个图像;
定位步骤,在所述识别图像中对所述测量目标进行定位;
自动测量步骤,测量所述测量目标。
第六方面,本申请实施例还提供一种解剖结构的自动测量方法,包括:
图像获取步骤,获取超声图像,所述超声图像与生物体组织的至少一个解剖结构相关,所述至少一个解剖结构具有至少一个测量项;
测量项获取步骤,获取所述解剖结构的待测测量项;
图像识别步骤,从所述超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像,其中,所述识别图像为所述超声图像中的至少一个图像;
自动测量步骤,测量所述识别图像中的所述测量目标。
第七方面,本申请实施例还提供一种解剖结构的自动测量方法,包括:
图像获取步骤,获取至少两个超声图像,所述至少两个超声图像中的至少一个与生物体组织的至少一个解剖结构相关;
图像识别步骤,从所述超声图像中识别出包含有测量项对应的测量目标的识别图像,其中,所述测量项为待测测量项,所述识别图像为所述超声图像中的至少一个图像;
定位步骤,在所述识别图像中对所述测量目标进行定位。
自动测量步骤,测量所述测量目标。
第八方面,本申请实施例还提供一种解剖结构的自动测量方法,包括:
图像获取步骤,获取至少两个超声图像,所述至少两个超声图像中的至少一个与生物体组织的至少一个解剖结构相关;
图像识别步骤,从所述超声图像中识别出包含有测量项对应的测量目标的识别图像,其中,所述测量项为待测测量项,所述识别图像为所述超声图像中的至少一个图像;
自动测量步骤,测量所述识别图像中的所述测量目标。
本申请实施例还提供一种超声成像系统,包括:
超声探头,用于向生物体组织发射超声波并接收超声回波,得到超声回波信号;
处理器,用于对超声回波信号进行处理,得到所述生物体组织的超声图像;
显示器,用以显示所述超声图像;
存储器,用以存储可执行的程序指令;
以及处理器,用以执行所述可执行的程序指令,以使所述处理器执行上述第一方面至第八方面任意一方面所述的自动测量方法。
本申请实施例提供了一种解剖结构的自动测量方法、超声成像系统,根据要测量的待测测量项,识别包含有待测测量项的超声图像,并对超声图像中的待测测量项进行自动测量,提高了对解剖结构进行测量的效率。
附图说明
图1示出根据本申请一实施例的超声成像系统的示意性框图;
图2示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图3示出根据本申请一实施例的解剖结构的自动测量方法中自动测量步骤的示意性流程图;
图4示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图5示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图6示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图7示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图8示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图9示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图10示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图11示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图;
图12示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本申请更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本申请可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本申请发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本申请能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本申请的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本申请,将在下列的描述中提出详细的步骤以及详细的结构,以便阐释本申请提出的技术方案,然而除了这些详细描述外,本申请还可以具有其他实施方式。
图1示出根据本申请一实施例的超声成像系统的示意性框图。如图1所示,本实施例提供的具备超声成像系统100包括超声探头101、处理器102,存储器103以及显示器104。超声探头101用于向生物体组织发射超声波并接收超声回波,得到超声回波信号。处理器102用于对超声回波信号进行处理,得到生物体组织的解剖结构的超声图像,并基于该超声图像对生物组织的解剖结构进行自动测量。
存储器103存储有可执行的计算机程序指令,当处理器102执行所述可执行的计算机程序指令时,处理器102执行解剖结构的自动测量,得到测量结果,例如,测量目标的测量结果。显示器104用于显示超声图像,以及处理器测量的测量结果以及测量目标,待测测量项等。
参看图2对根据本申请的一个实施例的本实施例处理器进行解剖结构的自动测量方法提供在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法进行示例性介绍。在本实施例中,根据用户指定的待测测量项,从获取的解剖结构的超声图像中自动识别出具有待测测量项对应的测量目标的识别图像后直接对识别图像中的测量目标进行测量。整个过程中,仅仅需要用户指定需要测量的待测测量项,不需要用户根据待测测量项识别包含待测测量项对应的测量目标的超声图像,更不需要对超声图像中的测量目标进行手动测量,简化操作过程,提高了对解剖结构进行测量的效率。
参看图2,示出根据本申请一实施例的解剖结构的自动测量方法的示意性流程图。
本实施例提供的解剖结构的自动测量方法,用于对超声回波进行处理后对生物组织的解剖结构进行自动测量,如图2所示。该方法包括:
步骤S11:图像获取步骤,获取超声图像,所述超声图像与生物体组织的至少一个解剖结构相关,所述至少一个解剖结构具有至少一个测量项。在对生物体组织进行超声检测时,往往需要观测生物组织的解剖结构,在需要对解剖结构进行测量的情况下,解剖结构具有至少一个测量项,例如,在进行产科超声检测时,观测到孕妇体内胎儿的解剖结构,其往往对应需要测量的双顶径、头围、腹围、股骨长等测量项;在进行腹部超声检测时,观测到被检测人员腹部的肝脏、肾脏等的解剖结构,其分别对应肝脏大小、肾脏大小的测量项。在其他实施例中,对应的生物组织的解剖结构有不同的测量项。
在一个实施例中,图像获取步骤中,处理器102对超声探头101获取的超声回波进行处理,生成超声图像。在一个实施例中,处理器102对超声探头101获取的超声回波进行处理,生成超声图像以保存在存储器103中,在进行图像获取步骤时从已经存储在存储器103中的超声图像中获取关于生物体的解剖结构的超声图像,并将超声图像和处理结果显示在显示器104上。在一个实施例中,图像获取步骤中,获取至少一个关于解剖结构的超声图像。在一个实施例中,显示器104上显示关于生物体组织的解剖结构的一个或多个超声图像。例如在显示器104上同时显示关于胎儿头部的两个超声图像。在一个实施例中,显示器104上显示关于生物体组织的不同解剖结构的超声图像,例如,在显示器104上同时显示关于胎儿头部和胎儿腹部的超声图像。在一个实施例中,显示器104上具有多个显示窗口,每个显示窗口显示关于解剖结构的一个或多个超声图像,例如,在显示器104上具有两个显示窗口,其中一个显示窗口显示关于胎儿头部的超声图像,其中一个显示窗口显示关于胎儿腹部的超声图像。在一个实施例中,显示器104上显示超声图像的同时,还可以将关于所述解剖结构的测量项以及测量结果显示出来。
步骤S12:测量项获取步骤,获取待测测量项。在测量项获取步骤(S12)中,获取关于生物体组织的解剖结构需要测量的测量项。
在一个实施例中,在显示器104上显示生物体组织的至少一个解剖结构中的每一个所具有的测量项。在一个实施例中,处理器102通过接收到用户输入的待测测量项进行测量项获取步骤。在一个实施例中,处理器102连接输入设备,用户通过输入设备输入的指令从显示器104上选择待测测量项。例如,在进行产科超声检测时,在显示器104上显示出对孕妇腹部扫描过程中胎儿头部、胎儿腹部以及胎盘等各个结构所具有的测量项,包括:双顶径、枕额径、头围、腹围、股骨长、肱骨长、胎盘厚度、腹部横径、腹部厚径、颈褶等测量项。用户需要对胎儿的股骨长这一测量项进行测量,通过与处理器102通讯连接的输入设备输入测量股骨长这一指令,处理器102接收到用户需要测量股骨长的指令,从而获取到待测测量项为股骨长。
在一个实施例中,所述解剖结构具有一个测量项,在测量项获取步骤(S12)中获取该测量项作为所述待测测量项。在一个实施例中,所述解剖结构具有两个或多个测量项,在测量项获取步骤(S12)中可以单独获取所述两个或多个测量项中的至少一个作为所述待测测量项,也可以同时所述两个或多个测量项中的两个或者多个作为所述作为待测量的测量项。例如,在进行产科超声检测时,图像获取步骤中获取的关于胎儿的超声图像,胎儿具有双顶径、头围、腹围、股骨长等测量项,在测量项获取步骤(S12)中,用户通过与处理器102通讯连接的输入设备输入测量双顶径从而获得双顶径这一待测测量项,或者用户通过与处理器102通讯连接的输入同时测量双顶径、头围和股骨长这一指令,从而同时获取双顶径、头围、股骨长三项待测测量项。
步骤S13:图像识别步骤,从所述超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像,所述识别图像为所述超声图像中的至少一个图像。在图像识别步骤(S13)中,对图像获取步骤中获取的是关于解剖结构的超声图像,其中是否包含用户指定的待测测量项对应的测量目标进行识别,包含有用户指定的待测测量项对应的测量目标为识别图像,不包含有用户指定的待测测量项对应的测量目标的超声图像则舍弃,不进入下述自动测量步骤。
在超声检测中,由于对生物体组织进行超声检测时,往往需要用户通过探头先对生物体组织进行超声回波的采集,经过超声系统处理获得多个解剖结构的超声图像之后,再选择解剖结构的测量项作为待测测量项进行测量,其中,所述超声图像可以是切面图像或者三维图像。例如,在医生在对生物体组织进行二维超声成像和测量的过程中,先打好所有组织的切面之后再进行统一测量或者在检测过程中将打好的组织切面显示在不同的窗口中以进行自动测量。传统测量方法中,需要用户手动识别包含待测测量项对应的测量目标的超声图像后进行测量,例如,手动切换窗口或者选择激活窗口进行测量,这一过程增加用户操作。根据本实施例,通过图像识别步骤(S13)自动识别包含有用户指定的待测测量项对应的测量目标的识别图像,而不需要用户手动识别包含有待测测量项对应的测量目标的超声图像,对自动识别的图像进行自动测量,减少用户操作,提升测量效率。
例如,在进行产科超声检测时,在图像获取步骤中,获取的是关于胎儿的超声图像,胎儿具有双顶径、头围、股骨长三项待测测量项,其中,双顶径对应胎儿头部两侧顶骨这一测量目标,和头围对应胎儿头部枕骨到前额鼻根这一测量目标,股骨长对应胎儿股骨这一测量目标。在测量项获取步骤中,获取用户需要对胎儿的股骨长这一测量项进行测量,而关于胎儿的超声图像中包含有包括头部的超声图像和包括股骨的超声图像,在图像识别步骤中需要对包括头部的超声图像和包括股骨的超声图像进行识别,以识别出包括股骨的超声图像,对识别的包括股骨的超声图像进行后续的自动测量步骤。
在一个实施例中,所述识别图像为超声图像的一部分。例如,可以是某个超声图像的部分区域。在进行产科超声检测时,在图像获取步骤中,获取的是关于胎儿头部的超声图像,胎儿头部具有双顶径、头围两项待测测量项,其中,双顶径对应胎儿头部两侧顶骨这一测量目标和头围对应胎儿头部枕骨到前额鼻根这一测量目标,在测量项获取步骤中获取双顶径这一测量项,在图像识别步骤中,识别出来的超声图像中仅仅包括胎儿头部两侧顶骨的区域。在一个实施例中,在测量项获取步骤(S12)中获取一个或者多个待测测量项,在图像识别步骤(S13)识别多个识别图像,其中,至少两个识别图像包含有同一待测测量项对应的测量目标,则在后续的自动测量步骤中对每一个识别图像中的所述待测测量项对应的测量目标均进行测量,对每一个识别图像中的测量目标进行测量后的测量结果取平均值,该平均值为针对该待测测量项的测量结果。例如,在进行产科超声检测时,在图像获取步骤中,获取的是关于胎儿的多个超声图像,在测量项获取步骤中,获取用户需要对胎儿的股骨长这一测量项进行测量,在图像识别步骤中从多个超声图像中识别出两个均包括股骨的超声图像,这两者均包括股骨的超声图像均为识别图像,在后续对识别的包括股骨的超声图像进行自动测量的自动测量步骤中,对两个识别图像均进行测量,并对对两个识别图像进行测量后的测量结果取平均值,该平均值为针对该待测测量项的测量结果。当然,在其他实现方式中,除了求平均值外,也可以是通过加权或者求方差等方式确定最终的测量结果,此处不做具体限定。在一个实施例中,图像获取步骤(S11)中获取至少两个关于生物体组织的解剖结构的超声图像;测量项获取步骤(S12)获取前述解剖结构的一个或者多个测量项;图像识别步骤(S13)中根据所述生物体组织的所述至少一个解剖结构中的每一个所具有的测量项将超声图像进行分类,以获得包含有测量项对应的测量目标的超声图像;从经过上述分类的超声图像中选择具有所述待测测量项对应的测量目标的超声图像。
在一个实施例中,前述对超声图像进行分类的步骤包括:将所述超声图像的图像特征与预设数据库中的数据库图像的图像特征进行对比,其中,所述数据库图像包含有至少一个所述生物体组织的至少一个所述解剖结构的任意一个所具有的测量项对应的测量目标,当所述超声图像的图像特征与所述数据库图像的图像特征匹配时,所述超声图像包含有所述数据库图像包含的测量目标。
例如,在产科超声检测时,图像获取步骤(S11)中获取多个超声图像,包括胎儿头部超声图像,胎儿腹部超声图像。对胎儿头部具有的测量项包括:双顶径、头围等,胎儿腹部具有的测量项包括:腹围、腹部横径、腹部厚径等。在测量项获取步骤(S12)中获取的待测测量项为头围,在图像识别步骤(S13)中根据胎儿头部所具有的测量项和胎儿腹部所具有的测量项对图像获取步骤(S11)获取的多个超声图像进行分类,获得分别包含有双顶径对应的胎儿头部两侧顶骨区域的这一测量目标和头围对应胎儿头部枕骨到前额鼻根区域的这一测量目标,和包含有腹围、腹部横径、腹部厚径所对应的腹部这一测量目标的超声图像。具体的,将多个超声图像中的每一个与预设数据库中数据库图像的图像特征进行对比,数据库图像至少包含测量目标(如头部两侧顶骨、头部枕骨到前额鼻根和腹部)中的一项,当超声图像的图像特征与所述数据库图像的图像特征匹配时,所述超声图像对应于所述数据库图像包含的测量目标。在前述步骤中,对图像获取步骤(S11)获取的多个超声图像进行分类后,再直接根据测量项获取步骤(S12)中获取的待测测量项为头围,从分类后的超声图像中获得包含头部枕骨到前额鼻根区域的超声图像为识别图像。在一个实施例中,在显示器104上显示图像识别步骤(S13)中对图像获取步骤(S11)获取的多个超声图像进行分类后的包含有对应于不同测量项的测量目标的超声图像。
在一个实施例中,在显示器104上显示图像识别步骤(S13)中识别出来的识别图像。在一个实施例中,处理器102连接输入设备,用户通过输入设备输入的指令从显示器104上选择待测测量项,处理器102根据用户选择的待测测量项对图像获取步骤(S11)获取的多个超声图像执行图像识别步骤(S13)后,将识别出来的识别图像显示在显示器104上。在一个实施例中,显示器104上显示多个超声图像,同时,将识别图像以区别其他超声图像的方式进行显示,例如以高亮的方式显示出来。例如,在进行产科超声检测时,在显示器104上显示出在图像获取步骤(S11)的关于胎儿的两个超声图像,其中一张包含头胎儿头部枕骨到前额鼻根区域,一张包含胎儿腹部,根据用户选择对胎儿的头围这一测量项进行测量的指令,处理器102根据用户选择的测量头围进行图像识别步骤(S13)后,将识别出来的包含头部枕骨到前额鼻根区域这一测量目标的识别图像以突出区别于包含腹部的超声图像的方式显示在显示器104上。
在一个实施例中,图像识别步骤(S13)包括:将超声图像的图像特征与预设数据库中包含待测测量项的数据库图像的图像特征进行对比,判断超声图像的图像特征与数据库图像的图像特征是否匹配,当超声图像的图像特征与数据库图像的图像特征匹配时,确定这一超声图像为包含有待测测量项对应的测量目标的识别图像。预设数据库中包括的数据库图像是针对解剖结构的所具有的测量项进行标定了的图像,其包含有解剖结构具有的测量项对应的测量目标。
在一个实施例中,图像获取步骤(S11)中获取至少两个关于生物体组织的解剖结构的超声图像;测量项获取步骤(S12)获取前述解剖结构的一个测量项;图像识别步骤(S13)中将图像获取步骤中获取的每一个超声图像与预设数据库中的包含前述测量项对应的测量目标的数据库图像进行对比,判断当前对比的超声图像的图像特征与数据库图像的图像特征是否匹配,如果匹配,则确定当前对比该超声图像为识别图像,如果不匹配,则舍弃该超声图像,从而从多个超声图像中确定出包含有待测测量项对应的测量目标的识别图像。
例如,在腹部超声检测时,图像获取步骤(S11)中获取两个关于人体脏器的超声图像,人体脏器包括肝脏、肾脏等,其中肝脏具有肝脏尺寸的测量项,肾脏具有肾脏尺寸的测量项,在测量项获取步骤(S12)中获取的待测测量项为肝脏尺寸,在图像识别步骤(S13)中将图像获取步骤(S11)获取的人体脏器的两个超声图像中的每一个与预设数据库中包含肝脏的数据库图像(也是关于肝脏的超声图像)进行对比,判断超声图像的图像特征与数据库图像的图像特征是否匹配,若匹配,则将其确定为识别图像,若不匹配,则将抛弃。在一个实施例中,图像获取步骤(S11)中获取两个或者多个关于生物体组织的解剖结构的超声图像,生物体组织具有一个或者多个解剖结构,一个或多个解剖结构中的一个具有两个或者多个测量项;测量项获取步骤(S12)获取的待测测量项是前述解剖结构具有的两个或者多个测量项中的两个或者多个;图像识别步骤(S13)还包括:对识别图像进行分类,以获得包含有每一待测测量项对应的测量目标的识别图像。由于生物体组织的解剖结构往往具有多个测量项,且需要同时对多个测量项进行测量,在图像识别步骤(S13)中在将超声图像的图像特征与数据库图像的图像特征进行匹配的过程中还需要根据待测测量项对识别图像进行分类,以得到每一个待测测量项对应的测量目标的识别图像。
例如,在产科超声检测时,图像获取步骤(S11)中获取两个或者多个关于胎儿的超声图像,胎儿具有双顶径、头围、腹围、股骨长等测量项,在测量项获取步骤(S12)中获取的待测测量项为头围和腹围,在图像识别步骤(S13)中将图像获取步骤(S11)获取的胎儿的两个或多个胎儿的超声图像中的每一个分别与预设数据库中包含头部和腹部的数据库图像(也是关于胎儿的超声图像)进行对比,其中,在对比过程中还根据包含头部的数据库图像的图像特征和包含腹部的数据库图像的图像特征对识别图像进行分类,以确定对应于头围这一测量项的头部识别图像和对应于腹围这一测量项的腹部识别图像。
在一个实施例中,采用机器学习算法学习预设数据库中的数据库图像的可以区分不同测量项的图像特征,同时,采用机器学习方法提取图像获取步骤(S11)获取的超声图像的图像特征,将学习到的数据库图像的图像特征与超声图像的图像特征进行匹配,获得与学习到的图像特征相匹配的超声图像为识别图像。在具有多个待测测量项的情况下,根据学习到的可以区分不同测量项的图像特征对超声图像进行分类,实现根据解剖结构所具有的测量项对超声图像进行分类,从而将与每一待测测量项相对应的识别图像识别出来。其中,机器学习算法提取特征的方法包括但不限于主成分分析(Principle ComponentsAnalysis,PCA)方法、线性评判分析(Linear Discriminant Analysis,LDA)方法、Harr特征提取方法、纹理特征提取方法等。将机器学习算法提取到的超声图像的图像特征与预设数据库中的图像特征进行匹配,以对超声图像进行分类,采用的分类判别器包括但不限于最近邻分类(K nearest neighbor,KNN)、支持向量机(Suport vector maehine,SVM)随机森林、神经网络等判别器。
在一个实施例中,采用深度学习方法,构建堆叠卷积层和全连接层对预设数据库中的数据库图像的图像特征进行学习,学习出能够将不同测量项进行区分的图像特征,根据这些图像特征识别超声图像中的识别图像。在具有至少两个待测测量项的情况下,根据学习到的图像特征对超声图像进行分类,将超声图像中具有前述能够区分测量项的图像识别出来,识别出来的图像为识别图像。深度学习方法包括但不限于,VGG网络,ResNet残差网络,Inception模块,AlexNe t深度网络等。
步骤S14:自动测量步骤,测量所述识别图像中的测量目标。在自动测量步骤(S14)中,对识别图像中的测量目标进行测量,获得解剖结构的测量结果。在超声检测中,对不同测量项进行测量时,其测量方法是不一样的,例如在产科超声检测时,头围的测量通常用一个椭圆来包裹住胎儿的颅骨光环,腹围采用椭圆来包裹住胎儿的腹部,股骨长采用线段测量股骨两端之间的距离。在自动测量步骤(S14)中采用目标拟合方法进行自动测量。
参看图3示出了根据本申请一个实施例的自动测量步骤的流程图。如图3所示,自动测量步骤(S14)包括:
步骤S141:通过边缘检测算法提取所述待测测量项对应的测量目标的轮廓。边缘检测算法包括但不限于:采用Sobel算子、canny算子等根据超声图像的像素点、灰度加权值等检测待测测量项的轮廓。
步骤S142:对所述待测测量项对应的测量目标的轮廓进行拟合,以获得所述待测测量项对应的拟合方程。采用直线、圆、椭圆等检测算法对待测测量项的轮廓进行拟合得到拟合方程,拟合算法包括但不限于最小二乘估计、Hough变换、Randon变换、Ransac等算法。
步骤S143:通过所述拟合方程确定所述测量结果。根据上述步骤中拟合算法得到的拟合方程确定测量结果。如果上述步骤中得到的拟合方程式圆或者椭圆的方程,其为自动测量的结果。如果上述步骤中得到的拟合方程为直线,可结合待测测量项的端点的灰度变化进一步定位端点,实现自动测量。以产科超声检测中的测量股骨长为例,股骨表现为高亮的线状结构,检测到股骨所在的直线后,可在直线上检测两个股骨灰度梯度最大的点作为股骨的两个端点。
在一个实施例中,在显示器104上显示自动测量步骤(S14)中测量的测量结果。在一个实施例中,处理器102对图像识别步骤(S13)中识别出来的识别图像执行自动测量步骤(S14)后,将测量结果显示在在显示器104显示出来的识别图像之上。例如,在进行产科超声检测时,处理器102根据用户选择的测量头围进行图像识别步骤(S13)后,将识别出来的包含有头围这一测量项对应的头部枕骨到前额鼻根区域这一测量目标的识别图像以突出区别于包含双顶径这一测量项对应的胎儿头部两侧顶骨区域的这一测量目标的超声图像的方式显示在显示器104上,此后的自动测量步骤(S14)中获得头围的具体数值显示在图像识别步骤(S13)中识别的具有头围这一测量项的识别图像的右上角。
参看图4对根据本申请的一个实施例的处理器进行解剖结构的自动测量方法提供在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法进行示例性介绍。在本实施例中,提供在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法。根据用户指定的待测测量项,从获取的解剖结构的超声图像中自动识别出包含有待测测量项对应的测量目标的识别图像后直接对识别图像中的测量目标进行测量。整个过程中,仅仅需要用户指定需要测量的待测测量项,不需要用户根据待测测量项识别包含待测测量项对应的测量目标的超声图像,更不需要对超声图像中的测量目标进行手动测量,简化操作过程,提高了对解剖结构进行测量的效率。与图2中示出的实施例所不同之处在于,在本实施例中,在图像识别步骤之后增加定位步骤,消除在测量步骤中测量目标周围结构对测量结果的影响。下面参看图4,对本实施例的解剖结构的自动测量方法进行示例性说明。
参看图4,示出了根据本申请的一个实施例的解剖结构的自动测量方法的示意性流程图,其中,图像识别步骤(S21)、测量项获取步骤(S22)以及图像识别步骤(S23)与图2中示出图像识别步骤(S11)、测量项获取步骤(S12)以及图像识别步骤(S13)一致,所不同之处在于,在图像识别步骤(S23)之后增加定位步骤(S24),在自动测量步骤中测量测量目标(S25)。下面对图4中示出定位步骤(S24)和自动测量步骤中测量测量目标进行详细描述。
步骤S24:定位步骤,在所述识别图像中对所述测量目标进行定位。在上述图像识别步骤(S13)中,仅仅获得了包含有待测测量项对应的测量目标的识别图像,而不知道在实际测量中对应于上述测量目标的位置,直接对识别图像中的测量目标进行测量需要对整个图像进行检测,获得的边缘检测结果容易受到测量目标周围的结构的影响。为此,在定位步骤(S24)中,对测量目标进行定位,再在自动测量步骤中对测量目标进行目标拟合,可以减少测量项周围结构的影响,使测量结果更加准确。
在一个实施例中,在定位步骤(S24)中将所述识别图像的图像特征与预设数据库中的包含有所述待测测量项对应的测量目标的数据库图像的图像特征进行对比分析,以对所述识别图像中的测量目标进行定位获得所述测量目标,其中,所述数据库图像包含有对应于所述测量目标的标定结果,所述测量目标为与所述标定结果相一致的区域。
在一个实施例中,所述标定结果包括与所述测量目标对应的测量目标的ROI框。
在一个实施例中,所述标定结果包括与所述待测测量项对应的测量目标的ROI框。所述定位步骤包括:采用基于滑窗的方法提取滑窗内的图像特征,将所述滑窗内的图像特征与所述标定结果的图像特征进行对比,判断所述滑窗内的图像特征与所述标定结果的图像特征是否匹配,当所述滑窗内的图像特征与所述标定结果的图像特征匹配时,确定当前滑窗为所述测量目标。
在一个实施例中,在定位步骤(S24)中,采用机器学习算法学习预设数据库中数据库图像的标定结果的ROI框中的图像特征,其中,所学习的ROI框中的图像特征是将测量目标的ROI区域和非ROI区域区分开来的标定结果的图像特征。同时,采用机器学习算法提取在对图像识别步骤(S13)识别的识别图像进行滑窗遍历时得到的滑窗内的图像特征。其中,机器学习算法提取特征的方法包括但不限于主成分分析(PrincipleComponentsAnalysis,PCA)方法、线性评判分析(Linear Discriminant Analysis,LDA)方法、Harr特征提取方法、纹理特征提取方法等。
在一个实施例中,所述标定结果包括与所述待测测量项对应的测量目标的ROI框,所述定位步骤包括:根据包含有所述测量目标的所述数据库图像中的所述标定结果的图像特征,对所述识别图像进行边框回归处理以获得边框区域,所述边框区域为所述测量目标。
在一个实施例中,采用深度学习方法,构建堆叠基层卷积层和全连接层对预设数据库中的包含有所述待测测量项对应的测量目标的数据库图像的标定结果的ROI框中的图像特征进行学习和参数回归,所学习的ROI框中的图像特征是将测量目标的ROI区域和非ROI区域区分开来的标定结果的图像特征。根据所学习到的图像特征通过神经网络算法直接回归出识别图像中感兴趣的边框区域,这一边框区域即为要测量的测量目标。其中,神经网络算法包括但不限于R-CNN、Fast R-CNN、Faster-RCNN、SSD、YOLO等检测算法。
在一个实施例中,所述标定结果包括对所述测量目标进行精确分割的掩膜,所述定位步骤包括:根据包含有所述测量目标的所述数据库图像中的所述标定结果的图像特征,采用语义分割算法识别所述识别图像中与所述标定结果相一致的所述测量目标的分割掩膜。
在一个实施例中,采用深度学习方法进行端到端的语义分割对识别图像进行分割。具体的,构建堆叠基层卷积层或者采用反卷积层对预设数据库中的对应于测量项的测量目标进行精确分割的掩膜进行采样,根据采样结果从识别图像中直接得到其中包含的与待测测量项相对应的测量目标的分割掩膜。
在通过定位步骤(S24)中得到识别图像中的测量目标之后,在自动测量步骤中,测量所述测量目标(S25),实现对解剖结构的自动测量过程。自动测量步骤中测量测量目标(S25)时包括对所述测量目标进行目标拟合得到所述测量目标的拟合方程;通过所述拟合方程确定所述测量目标的测量结果。
在一个实施例中,定位步骤(S24)中的标定结果包括与待测测量项对应的测量目标的ROI框,在测量测量目标(S25)的过程中在识别图像定位出的测量目标的边框区域内对测量目标进行目标拟合,得到拟合的直线、圆或者椭圆等方程,通过对前述方程进行计算得到测量结果。在测量目标的边框区域中对测量目标进行目标拟合,可以减少边框区域以外的其他结构对目标拟合产生的干扰,提升测量结果的准确性。
在一个实施例中,定位步骤(S24)中的标定结果包括与所述测量项对应的所述测量目标进行精确分割的掩膜,在测量测量目标(S25)的过程中对识别图像中与标定结果相一致的测量目标的分割掩膜的边缘进行目标拟合,拟合成直线、圆或者椭圆等方程,通过对前述方程进行计算得到测量结果。对识别图像中与标定结果相一致的测量目标的分割掩膜的边缘进行目标拟合,可以减小目标拟合的拟合误差,提升测量结果的准确性。
本实施例提供在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法。根据用户指定的待测测量项,从获取的解剖结构的超声图像中自动识别出包含有待测测量项对应的测量目标的识别图像后直接对识别图像中的测量项进行测量。整个过程中,仅仅需要用户指定需要测量的待测测量项,不需要用户根据待测测量项识别包含待测测量项对应的测量目标的超声图像,更不需要对超声图像中的测量目标进行手动测量,简化操作过程,提高了对解剖结构进行测量的效率。
参看图7,提供本申请的一个实施例的处理器进行解剖结构的自动测量方法,在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法进行示例性介绍。在相关技术中,医生多采用多窗模式显示图像,一般情况下多个窗口中实时显示正在采集的超声图像的窗口为激活窗口,其余显示之前已经采集好的超声图像的窗口为非激活窗口,当用户需进行某个测量项的测量时,处理器会默认在激活窗口上进行测量,当医生想要测量的是非激活窗口的超声图像时,需要手动切换激活的窗口,并在新激活的窗口上手动进行测量,操作极其不便,且不符合用户习惯于采集好所有超声图像后统一进行测量的操作习惯。本实施例在图2和图4所示的实施例的基础上强调了多窗模式下的应用,与前述相类似的技术特征可以参见上文的描述,在此不再赘述。
步骤S51,图像显示步骤,在显示界面上显示至少两个超声图像;
步骤S51与步骤S11、步骤S21类似,不同的是图像获取步骤(S11/S21)获取超声图像后,不限于显示该超声图像还是仅做内部处理而不显示该超声图像,也不限于是获取几张超声图像或显示几张超声图像;在图像显示步骤(S51)中,在显示界面上显示至少两个超声图像,该至少两个超声图像可以采用平铺显示方式,但不限于平铺的显示方式,也可以为部分重叠的显示方式等。该至少两个超声图像中的至少一个可以为实时采集的超声图像,也可以为从内存中调取的超声图像,或者接收其他设备传输而来的超声图像。在医生实时进行超声扫查的过程中,该至少两个超声图像中的一个可以为实时扫查过程中用户当前冻结的一帧超声图像,该至少两个超声图像中其余的超声图像可以为该次实时扫查过程中用户之前冻结并保存的超声图像。基于图像显示步骤显示的至少两个超声图像,用户可以方便地了解该至少两个超声图像的情况,并进一步地根据临床需求选择待测测量项对该至少两个超声图像进行测量。对于图像显示步骤(S51)的相关描述可以参见上文对于步骤S11、步骤S21的描述,在此不再赘述。
步骤S52,测量项获取步骤,获取用户的待测测量项选择指令;
步骤S52与步骤S12、步骤S22类似,测量项的获取可以通过接收用户输入的待测测量项选择指令,例如,显示界面上可以显示多个测量项供用户选择,用户根据临床需求选择其中一项或几项作为待测测量项;用户也可以直接输入需要测量的测量项作为待测测量项。可以理解的,临床诊断中需要用到许许多多的测量项,其中,被医生选择需要对某一个或多个超声图像进行测量的测量项为待测测量项。
其中,待测测量项的选择指令可以为用户直接选择某一个或几个待测测量项本身;也可以为用户选择需要测量的测量目标,经处理器处理后,获取该被选择的测量目标对应的待测测量项的选择指令;还可以为用户选择需要测量的解剖结构,经处理器处理后,获取该解剖结构对应的待测测量项的选择指令;相类似的,用户还可以输入切面的类型、预设的测量项集合等,处理器将接收到的该上述输入转化为其中包含的待测测量项选择指令,以进行后续的步骤。
对于测量项获取步骤(S52)的相关描述可以参见上文对于步骤S12、步骤S22的描述,在此不再赘述。
步骤S53,图像识别步骤,响应于所述待测测量项选择指令,从所述至少两个超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像。
可以理解的,超声图像为显示生物体组织解剖结构的图像,医生根据临床需求往往需要在超声图像上对特定的解剖结构进行测量,得到测量结果以指导临床诊断,这些需要测量的解剖结构上的测量标的即为测量目标,例如当需要测量的解剖结构为胎儿颅脑时,测量目标可以为:颅脑中的头部两侧顶骨、头部枕骨到前额鼻根;需要对测量目标进行测量的项目即为测量项,例如,双顶径测量项为:头部两侧顶骨的间的长度,头围测量项为:头部枕骨到前额鼻根件的最大距离。对于一个超声图像,可以包括一个或多个解剖结构,一个解剖结构可以包括一个或多个测量目标,一个测量目标也可以包括一个或多个测量项。
从至少两个超声图像中确定识别图像可以转换为一个图像分类问题,例如对每个超声图像进行分类,选取图像特征和待测测量项对应图像的图像特征相匹配的超声图像为识别图像。示例性的,图像识别的具体方法可以采用机器学习的方法学习数据库中可以区分不同测量项的特征或规律,再采用学习到的特征对当前图像进行分类,以根据分类结果确定包含有待测测量项对应的测量目标的识别图像。
一种实施例中,图像识别步骤还包括:对所述待测测量项对应的测量目标进行定位。需要强调的是,对待测测量项对应的测量目标进行定位与识别出识别图像的执行顺序不限,两者还可以在同一步骤中完成,例如:可以在识别出识别图像之前对测量目标进行定位,定位出测量目标后再识别该测量目标的类型,从而确定该超声图像是否为待测测量项对应的识别图像;也可以在识别出识别图像之后对测量目标进行定位,即先确定识别图像,再在识别图像中对测量目标进行定位;还可以在对测量目标进行定位的同时识别出识别图像,例如通过滑窗法、边框回归处理法或语义分割算法确定测量目标区域的同时获取测量目标的类别,即在对某一超声图像中的测量目标进行定位的同时,通过测量目标的类别确定该超声图像是否为识别图像。
步骤S53与步骤S13、步骤S23类似,具体的从至少两个超声图像中识别出包含有待测测量项对应的测量目标的识别图像的方法和相关论述请参见上文对步骤S13、步骤S23的描述,在此不再赘述。
步骤S54,自动测量步骤,在所述识别图像上测量所述待测测量项。
步骤S54中在所述识别图像上测量所述待测测量项与步骤S14、步骤S25中测量识别图像中的测量目标以得到待测测量项的测量结果类似,相关论述请参见上文对步骤S14、步骤S25的描述,在此不再赘述。
一种实施例中,图像识别步骤(S53)可以包括:将所述至少两个超声图像的图像特征与预设数据库中包含所述待测测量项的数据库图像的图像特征进行对比,判断所述至少两个超声图像的图像特征与所述数据库图像的图像特征是否匹配,当超声图像的图像特征与所述数据库图像的图像特征匹配时,确定所述超声图像为所述识别图像。
一种实施例中,图像识别步骤(S53)可以包括:根据所述生物体组织的所述至少一个解剖结构所具有的测量项将所述至少两个超声图像进行分类,以获得包含有所述待测测量项对应的测量目标的所述超声图像;
从经过所述分类的所述至少两个超声图像中选择包含有所述待测测量项对应的测量目标的所述超声图像作为所述识别图像。
其中,根据所述生物体组织的所述至少一个解剖结构所具有的测量项将所述至少两个超声图像进行分类,以获得包含有所述待测测量项对应的测量目标的所述超声图像可以包括:将所述至少两个超声图像的图像特征与预设数据库中的数据库图像的图像特征进行对比,其中,所述数据库图像包含有至少一个所述生物体组织的至少一个所述解剖结构的任意一个所具有的测量项对应的测量目标,当所述超声图像的图像特征与所述数据库图像的图像特征匹配时,所述超声图像包含有所述数据库图像包含的测量目标。
一种实施例中,所述测量项获取步骤(S52)中获取至少两个待测测量项,所述图像识别步骤(S53)还可以包括:对所述识别图像进行分类,以获得包含有每一所述待测测量项对应的测量目标的所述识别图像。
一种实施例中,自动测量步骤(S54)可以包括:通过边缘检测算法提取所述测量目标对应的轮廓;对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程;通过所述拟合方程确定所述测量目标的测量结果。
一种实施例中,图像识别(S53)步骤还可以包括:对所述待测测量项对应的测量目标进行定位。
其中,对所述待测测量项对应的测量目标进行定位可以包括:将所述识别图像的图像特征与预设数据库中的包含有对应于所述待测测量项的数据库图像的图像特征进行对比分析,以对所述识别图像中的所待测述测量项进行定位获得所述测量目标,其中,所述数据库图像包含有对应于所述待测测量项的标定结果,所述测量目标为与所述标定结果相一致的区域。
当所述识别图像中包括至少两个所述待测测量项对应的所述测量目标时,所述对所述待测测量项对应的测量目标进行定位还可以包括:对所述测量目标进行分类,以使所述测量目标与所述至少两个所述待测测量项一一对应。
其中,对所述测量目标进行分类具体可以包括:将所述测量目标的图像特征与预设数据库中的包含的所述数据库图像中与所述待测测量项对应的测量目标相应的所述标定结果的图像特征进行对比,以判断所述测量目标的图像特征与所述标定结果的图像特征是否匹配,当所述测量目标的图像特征与所述标定结果的图像特征匹配时,判断所述测量目标为对应于所述待测测量项。
一种实施例中,对所述待测测量项对应的测量目标进行定位可以包括:通过滑窗法、边框回归处理法和语义分割算法中的至少一种对所述识别图像中的所述待测测量项进行定位获得所述测量目标。
一种实施例中,当图像识别步骤(S53)还包括对所述待测测量项对应的测量目标进行定位时,自动测量步骤(S54)可以包括:对所述测量目标进行目标拟合得到所述测量目标的拟合方程;通过所述拟合方程确定所述测量目标的测量结果。
通过用户输入的待测测量项选择指令,自动确定识别图像,自动测量识别图像的待测测量项,省去了用户手动切换超声图像的繁琐操作,一步操作即可精准地得到用户想要的待测测量项结果,简化了工作流程,提高了工作的效率。
参看图8,提供本申请的一个实施例的处理器进行解剖结构的自动测量方法,在多窗模式下,基于用户指定的待测测量项确定目标窗口,对目标窗口中的超声图像进行自动测量的方法进行示例性介绍。在多窗模式下,显示器上通过多个窗口显示多个图像,当医生需进行某个测量项的测量时,处理器并不知道哪一个超声图像是用户想要测量的,因此需要用户手动切换超声图像后进行手动测量,该过程费时费力。本实施例在图2、图4、图7所示的实施例的基础上强调了多窗模式下的应用,与前述相类似的技术特征可以参见上文的描述,在此不再赘述。
步骤S61,在显示界面上显示至少两个窗口,其中,所述窗口显示有超声图像;
一种实施例中,当进入多窗模式时,在显示界面上显示至少两个窗口,其中,每个窗口中显示有一个超声图像。应当理解的,不限于每个窗口中显示有一个超声图像,也可以为有的窗口中显示有超声图像,有的窗口中未显示超声图像;还可以为一个窗口中显示多个超声图像,该显示于一个窗口中的多个超声图像可以为同一解剖结构对应的超声图像。
步骤S62,获取用户的待测测量项选择指令;
步骤S63,响应所述待测测量项选择指令,从所述至少两个窗口中确定目标窗口,其中所述目标窗口为显示有待测测量项对应的测量目标的超声图像的窗口;
从显示界面上显示的至少两个窗口中确定目标窗口,可以通过从超声图像中确定识别图像的方式从至少两个窗口中确定目标窗口,显示有识别图像的窗口即为目标窗口,其中识别图像为包含待测测量项对应的测量目标的超声图像。从超声图像中识别出包含有待测测量项对应的测量目标的识别图像的步骤请参见上文的描述,在此不再赘述。通过识别出的识别图像可以确定显示有识别图像的窗口为目标窗口,目标窗口可以是后续进行待测测量项识别的窗口,该目标窗口也可以是用户后续进行其他操作所默认的激活窗口。
一种实施例中,可以将目标窗口进行相对于其他窗口的区别化显示。
步骤S64,在所述目标窗口显示的包含有待测测量项对应的测量目标的超声图像上测量所述待测测量项。
通过用户输入的待测测量项选择指令,自动确定目标窗口,省去了用户手动切换窗口的繁琐操作,且自动确定目标窗口后为用户对目标窗口的后续操作提供了便利,进一步的自动测量目标窗口内的超声图像,相比于手动测量优化了工作流程,节省了工作时间。
参看图5,对根据本申请的一个实施例进行解剖结构的自动测量方法提供在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法进行示例性介绍。本实施例提供在基于用户未指定待测测量项的情况下,对解剖结构所具有的测量项进行全部测量的方法。不需要用户指定,在获得了解剖结构的超声图像之后,直接对超声图像进行自动识别,以识别出包含测量目标的识别图像,并对识别图像中的测量目标进行自动测量,其中测量目标对应于解剖结构所具有的测量项。整个过程中,仅仅不需要用户进行任何关于测量项的操作,进一步简化操作过程,提高了对解剖结构进行测量的效率。
参看图5,示出了根据本申请一实施例的解剖结构的自动测量方法的示意性流程图。
本实施例提供的解剖结构的自动测量方法,用于对超声回波进行处理后对被测生物组织的解剖结构进行自动测量,如图5所示。该方法包括:
步骤S31:图像获取步骤,获取至少两个超声图像,所述超声图像中的至少一个与生物体组织的至少一个解剖结构相关。本实施例提供的解剖结构的自动测量方法用于从至少两个关于生物体组织的解剖结构的超声图像中识别出包含测量目标的超声图像,并对超声图像中的测量目标进行测量,其中测量目标对应于解剖结构所具有的测量项。
在超声检测中,由于对生物体组织进行超声检测时,往往需要通过探头先对生物体组织进行超声回波的采集,经过处理获得多个关于生物体组织的解剖结构的超声图像之后,再选择解剖结构的测量项作为待测测量项进行测量,传统测量方法中,往往基于用户指定的待测测量项,用户再进行手动识别包含有待测测量项对应的测量目标的超声图像后进行测量,这一过程增加需要用户指定测量项操作;由于用户想要测量的测量项往往是固定的,需要对解剖结构所具有的测量项进行全部测量,在本实施例中,不基于用户指定而对解剖结构具有的测量项全部进行测量,减少了用户的操作步骤,简化对解剖结构的测量操作。
步骤S32:图像识别步骤,从所述超声图像中识别出包含有测量项对应的测量目标的识别图像,其中所述识别图像为所述超声图像中的至少一个图像。由于本实施例对解剖结构具有的所有测量项全部进行测量,从超声图像中识别出的包含解剖结构的测量项对应的测量目标的识别图像中的测量目标均需测量,即,解剖结构的测量项均为待测测量项。
在一个实施例中,所述生物体组织的至少一个解剖结构具有至少一个特征测量项,图像识别步骤(S32)包括:将所述超声图像的图像特征与预设数据库中包含有所述至少一个特征测量项中的任意一个对应的测量目标的数据库图像的图像特征进行对比判断所述超声图像的图像特征与所述数据库图像的图像特征是否匹配,当所述超声图像的图像特征与所述数据库图像的图像特征匹配时,确定所述超声图像为所述识别图像,所述识别图像中包含的测量目标对应的所述测量项为待测测量项,所述测量目标对应于与所述识别图像的图像特征相匹配的所述数据库图像中包含的所述测量目标。
例如,在腹部超声检测时,图像获取步骤(S31)中获取两个超声图像,其中一张超声图像是关于肝脏的超声图像,另一张超声图像是医生在操作中误操作而获得的超声图像,其与任何生物体组织的解剖结构无关。肝脏具有肝脏尺寸的这一特征测量项,在图像识别步骤(S32)中将图像获取步骤(S31)获取两个超声图像中的每一个与预设数据库中包含肝脏尺寸的数据库图像(也是关于肝脏的超声图像)进行对比,判断肝脏的超声图像的图像特征与数据库图像的图像特征是否匹配,若匹配,则将其确定为识别图像,若不匹配,则将抛弃;其中匹配的识别图像中包含的肝脏是测量目标,其对应于肝脏尺寸这一特征测量项作为待测测量项。
在一个实施例中,所述生物体组织的至少一个解剖结构中的任意一个或者两个具有至少两个特征测量项,识别图像中包含至少两个待测测量项分别对应的至少两个测量目标,图像识别步骤(S32)包括:对所述识别图像中的所述至少两个测量目标进行分类,以使所述至少两个测量目标中的每一个分别对应于与所述至少两个特征测量项中一个。由于生物体组织的解剖结构往往具有多个测量项,并且多个测量项往往出现在同一超声图像中,在图像识别步骤(S32)识别出包含有多个测量目标的识别图像之后,还需要对识别图像中所包含的测量目标进行分类,即,根据解剖结构具有的至少两个测量项对识别图像中所包含的测量项进行分类,得到分别与解剖结构具有的至少两个测量项一一对应的测量目标。
例如,在产科超声检测时,在图像获取步骤(S31)中获取两个或者多个关于胎儿的超声图像,胎儿具有双顶径、头围、腹围、股骨长等测量项,将图像获取步骤(S31)获取的胎儿的两个或多个胎儿的超声图像中的每一个分别与预设数据库中包含双顶径、头围、腹围、股骨长中的至少一项对应的测量目标的数据库图像(也是关于胎儿的超声图像)进行对比,确定识别图像。由于胎儿具有双顶径、头围、腹围、股骨长这四个测量项,而双顶径、头围对应的测量目标(双顶径对应的胎儿头部两侧顶骨区域的这一测量目标和头围对应胎儿头部枕骨到前额鼻根区域的这一测量目标)往往出现在同一超声图像中,在确定了包含双顶径、头围这两项待测测量项对应的测量目标的识别图像之后,需要进一步对识别图像中这两项待测测量项对应的测量目标进行区分以确定识别图像哪一测量目标对应于头围,哪一待测量目标对应于双顶径。
在一个实施例中,采用机器学习算法学习预设数据库中的数据库图像的可以区分不同测量项的图像特征,同时,采用机器学习方法提取图像获取步骤(S31)获取的超声图像的图像特征,将学习到的数据库图像的图像特征与超声图像的图像特征进行匹配,获得与学习到的图像特征相匹配的超声图像为识别图像。在具有多个待测测量项的情况下,根据学习到的可以区分不同测量项的图像特征对测量目标进行分类,实现根据解剖结构所具有的测量项将识别图像中具有的测量目标识别出来。其中,机器学习算法提取特征的方法包括但不限于主成分分析(Principle Components Analysis,PCA)方法、线性评判分析(Linear Discriminant Analysis,LDA)方法、Harr特征提取方法、纹理特征提取方法等。根据学习到的可以区分不同测量目标的图像特征对测量目标进行分类,以对识别图像中的测量目标进行分类,采用的分类判别器包括但不限于最近邻分类(K nearest neighbor,KNN)、支持向量机(Suport vector maehine,SVM)随机森林、神经网络等判别器。
在一个实施例中,采用深度学习方法,构建堆叠卷积层和全连接层对预设数据库中的数据库图像的图像特征进行学习,学习出能够将不同测量目标进行区分的图像特征,根据这些图像特征识别超声图像中的识别图像。在解剖结构具有至少两个待测测量项的情况下,根据学习到的图像特征对识别图像中的测量目标进行分类。其中,深度学习方法包括但不限于,VGG网络,ResNet残差网络,Inception模块,AlexNe t深度网络等。
步骤S25:自动测量步骤,测量所述识别图像中的所述测量目标。在自动测量步骤(S25)中,对识别图像中的测量目标进行测量,获得解剖结构的测量结果。在图像识别步骤(S23)识别出的包含有测量目标的识别图像,以及对识别图像包含有多个测量目标时对测量目标进行分类的情况下,直接对识别图像中的测量目标进行边缘检测以进行目标拟合得到目标拟合方程的方法进行自动测量。
在一个实施例中,自动测量步骤(S25)包括:
通过边缘检测算法提取所述测量目标对应的轮廓。边缘检测算法包括但不限于:采用Sobel算子、canny算子等根据超声图像的像素点、灰度加权值等检测测量目标的轮廓。
对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程。采用直线、圆、椭圆等检测算法对待测测量项的轮廓进行拟合得到拟合方程,拟合算法包括但不限于最小二乘估计、Hough变换、Randon变换、Ransac等算法。
通过所述拟合方程确定所述测量目标的测量结果。根据上述步骤中拟合算法得到的拟合方程确定测量结果。如果上述步骤中得到的拟合方程式圆或者椭圆的方程,其为自动测量的结果。如果上述步骤中得到的拟合方程为直线,可结合测量目标的端点的灰度变化进一步定位端点,实现自动测量。以产科超声检测中的测量股骨长为例,股骨表现为高亮的线状结构,检测到股骨所在的直线后,可在直线上检测两个股骨灰度梯度最大的点作为股骨的两个端点。
参看图6对根据本申请的一个实施例的本实施例处理器进行解剖结构的自动测量方法提供在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法进行示例性介绍。本实施例提供在基于用户未指定待测测量项的情况下,对解剖结构所具有的测量性进行全部测量的方法。不需要用户指定,在获得了解剖结构的超声图像之后,直接对超声图像进行自动识别,以识别出包含有测量目标识别图像,并对识别图像中的测量目标进行自动测量,其中测量目标对应于解剖结构所具有的测量项。整个过程中,不需要用户进行任何关于测量项的操作,进一步简化操作过程,提高了对解剖结构进行测量的效率。与图5中示出的实施例所不同之处在于,在本实施例中,在图像识别步骤之后增加定位步骤,消除在测量步骤中测量目标周围结构对测量结果的影响。下面参看图6,对本实施例的解剖结构的自动测量方法进行示例性说明。
参看图6,示出了根据本申请一实施例的解剖结构的自动测量方法的示意性流程图。其中,图像识别步骤(S41)和图像识别步骤(S42)与图5中示出图像识别步骤(S31)和图像识别步骤(S32)一致,所不同之处在于,在图像识别步骤(S42)之后增加定位步骤(S43),再进行自动测量步骤(S44)。下面对图4中示出测量项定位步骤(S42)和自动测量步骤(S44)进行详细描述。
步骤S43:定位步骤,在所述识别图像中对所述测量目标进行定位。
在图像识别步骤(S42)中,仅仅获得了包含有测量目标的识别图像,而不知道在实际测量中上述测量目标的位置。直接对识别图像中的测量项进行测量需要对整个图像进行检测,获得的边缘检测结果容易受到测量项周围的结构的影响。为此,在定位步骤(S43)中,对识别图像中的测量目标进行定位,再在自动测量步骤中对测量目标进行目标拟合,可以减少测量目标周围的结构的影响,使测量结果更加准确。
在一个实施例中,在定位步骤(S43)中将所述识别图像的图像特征与预设数据库中的包含有对应于所述待测测量项的数据库图像的图像特征进行对比分析,以对所述识别图像中的所述测量目标进行定位,其中,所述数据库图像包含有对应于所述待测量目标的标定结果,所述测量目标为与所述标定结果相一致的区域。
在一个实施例中,所述标定结果包括所述测量目标的ROI框。
在一个实施例中,所述标定结果包括与所述待测测量项对应的测量目标的ROI框。所述定位步骤包括:采用基于滑窗的方法提取滑窗内的图像特征,将所述滑窗内的图像特征与所述标定结果的图像特征进行对比,判断所述滑窗内的图像特征与所述标定结果的图像特征是否匹配,当所述滑窗内的图像特征与所述标定结果的图像特征匹配时,确定当前滑窗为所述测量目标。
在一个实施例中,在定位步骤(S43)中,采用机器学习算法学习预设数据库中数据库图像的标定结果的ROI框中的图像特征,其中,所学习的ROI框中的图像特征是将测量目标的ROI区域和非ROI区域区分开来的标定结果的图像特征。同时,采用机器学习算法提取在对图像识别步骤(S13)识别的识别图像进行滑窗遍历时得到的滑窗内的图像特征。其中,机器学习算法提取特征的方法包括但不限于主成分分析(PrincipleComponentsAnalysis,PCA)方法、线性评判分析(Linear Discriminant Analysis,LDA)方法、Harr特征提取方法、纹理特征提取方法等。
在一个实施例中,所述标定结果包括与所述待测测量项对应的测量目标的ROI框,所述定位步骤包括:根据包含有对应于所述待测测量项的测量目标的所述数据库图像中的所述标定结果的图像特征,对所述识别图像进行边框回归处理以获得边框区域,所述边框区域为所述测量目标。
在一个实施例中,采用深度学习方法,构建堆叠基层卷积层和全连接层对预设数据库中的对应于待测测量项的数据库图像的标定结果的ROI框中的图像特征进行学习和参数回归,所学习的ROI框中的图像特征是将测量目标的ROI区域和非ROI区域区分开来的标定结果的图像特征。根据所学习到的图像特征通过神经网络算法直接回归出识别图像中感兴趣的边框区域,这一边框区域即为要测量的测量目标。其中,神经网络算法包括但不限于R-CNN、Fast R-CNN、Faster-RCNN、SSD、YOLO等目标检测算法。
在一个实施例中,所述标定结果包括对与所述测量项对应的所述测量目标进行精确分割的掩膜,所述定位步骤包括:根据包含有对应于所述待测测量项的测量目标的所述数据库图像中的所述标定结果的图像特征,采用语义分割算法识别所述识别图像中与所述标定结果相一致的所述测量目标的分割掩膜。
在一个实施例中,采用基于深度学习方法的端到端的语义分割网络方法对识别图像进行网络分割。具体的,构建堆叠基层卷积层或者采用反卷积层对预设数据库中的对应于测量目标的标定区域进行精确网络分割的掩膜进行采样,根据采样结果从识别图像中直接得到其中包含的与待测测量项相对应的测量目标的分割掩膜。采用的语义分割网络包括但不限于,全卷积网络(Fully convolutional networks,FCN)、U-Net卷积网络(U-Netconvolutional networks)等。
在一个实施例中,在图像识别步骤(S42)中获取的识别图像中包括至少两个所述待测测量项分别对应的测量目标,所述定位步骤(S43)还包括:对所述测量目标进行分类,以使所述测量目标与所述至少两个所述待测测量项一一对应。由于图像识别步骤(S42)中获取的识别图像中包括至少两个所述待测测量项分别对应的测量目标,在进行测量项定位的过程中不仅仅需要定位出识别图像中测量目标的位置,还对每一个位置所属的测量测量目标类别进行区分,在后续自动测量步骤中对测量目标进行自动测量后即获得测量结果所对应的测量项。
例如,在产科超声检测时,图像识别步骤(S42)中识别的胎儿的识别图像中同时包含具有头围对应的胎儿头部枕骨到前额鼻根区域这一测量目标、双顶径对应的胎儿头部两侧顶骨区域的这一测量目标这两个测量目标,在定位之后的测量过程中不知道测量的是头围还是双顶径,需要将胎儿头部枕骨到前额鼻根区域这一测量目标和胎儿头部两侧顶骨区域的这一测量目标进行区分,获得分别与头围和双顶径对应的测量目标。
在一个实施例中,将所述测量目标的图像特征与预设数据库中的包含对所述待测测量项对应的所述测量目标进行标定了的的所述数据库图像的图像特征进行对比,以判断所述测量目标的图像特征与所述标定结果的图像特征是否匹配,当所述测量目标的图像特征与所述标定结果的图像特征匹配时,判断所述测量目标为对应于所述待测测量项。
仍然以产科超声检测时在一个识别图像中同时测量头围和腹围这两项测量项为示例进行说明,在定位步骤(S43)中识别的胎儿的识别图像中确定的每一测量目标的图像特征与预设数据库中包含有头围的数据库图像的对头围进行标定后的标定结果的图像特征进行对比,当测量目标的图像特征与对头围进行标定后的标定结果的图像特征匹配时判断当前对比的测量目标为头围。
在一个实施例中,采集机器学习算法学习预设数据库中的数据库图像的区分不同标定区域的图像特征,同时,采用机器学习方法提取定位步骤(S43)中定位的识别图像中的测量目标的图像特征,将学习到的数据库图像的图像特征与测量目标的图像特征进行匹配,获得与学习到的图像特征相匹配的测量目标对应于当前标定区域的测量目标。在一个识别图像中具有多个待测测量项的情况下,根据学习到的可以区分不同标定区域的图像特征对测量目标进行分类,实现根据解剖结构所具有的测量项将识别图像中具有的测量项识别出来。其中,机器学习算法提取特征的方法包括但不限于主成分分析(PrincipleComponents Analysis,PCA)方法、线性评判分析(Linear Discriminant Analysis,LDA)方法、Harr特征提取方法、纹理特征提取方法等。根据学习到的可以区分不同测量项的图像特征对测量项进行分类,以对识别图像中的测量项进行分类,采用的分类判别器包括但不限于最近邻分类(K nearest neighbor,KNN)、支持向量机(Suport vectormaehine,SVM)随机森林、神经网络等判别器。
在通过定位步骤(S43)中得到识别图像中的测量目标之后,在自动测量步骤(S44)中,测量测量目标,实现对解剖结构的自动测量过程。自动测量步骤(S44)测量测量目标的步骤包括对所述测量目标进行目标拟合得到所述测量目标的拟合方程;通过所述拟合方程确定所述测量目标的测量结果。
在一个实施例中,定位步骤(S43)中的标定结果包括与待测测量项对应的测量目标的ROI框,在自动测量步骤自动测量步骤(S44)测量测量目标的过程中在识别图像定位出的测量目标的边框区域内对测量目标进行目标拟合,得到拟合的直线、圆或者椭圆等方程,通过对前述方程进行计算得到测量结果。在测量目标的边框区域中对测量目标进行目标拟合,可以减少边框区域以外的其他结构对目标拟合产生的干扰,提升测量结果的准确性。
在一个实施例中,定位步骤(S43)中的标定结果包括与所述测量项对应的所述测量目标进行精确分割的掩膜,在自动测量步骤自动测量步骤(S44)测量测量目标的过程中对识别图像中与标定结果相一致的测量目标的分割掩膜的边缘进行目标拟合,拟合成直线、圆或者椭圆等方程,通过对前述方程进行计算得到测量结果。对识别图像中与标定结果相一致的测量目标的分割掩膜的边缘进行目标拟合,可以减小目标拟合的拟合误差,提升测量结果的准确性。
参看图9,提供本申请的一个实施例的处理器进行解剖结构的自动测量方法。在相关技术中,医生多采用多窗模式显示图像,在显示的多个窗口中仅有一个窗口为激活窗口,当用户需进行某个测量项的测量时,处理器会默认在激活窗口上进行测量,当医生想要测量的是非激活窗口的超声图像时,需要手动切换激活的窗口。按照医生的操作习惯,医生往往会采集保存多个超声图像后,一起进行测量,这就需要用户不停地在多个窗口间切换激活窗口,并在不同的当前激活窗口上分别进行测量,过程费时费力。本实施例在图5和图6的所示实施例的基础上强调了多窗模式下的应用,与前述相类似的技术特征可以参见上文的描述,在此不再赘述。
步骤S71,图像显示步骤,在显示界面上显示至少两个超声图像。
步骤S71与步骤S31、步骤S41类似,不同的是图像获取步骤(S11/S21)获取超声图像后,不限于显示该超声图像还是仅做内部处理而不显示该超声图像,也不限于是获取几张超声图像或显示几张超声图像;在图像显示步骤(S51)中,在显示界面上显示至少两个超声图像,该至少两个超声图像可以采用平铺显示方式,但不限于平铺的显示方式,也可以为部分重叠的显示方式等。在显示界面上显示的至少两个超声图像可以是分别显示在窗口中,也可以是单独显示于显示界面上,本实施例不做限制。
步骤S72,图像识别步骤,响应于用户的测量启动指令,从所述至少两个超声图像中识别包含有至少一个测量项的超声图像为识别图像,所述识别图像所包含的所有测量项均为待测测量项。
步骤S72与步骤S32、步骤S42类似。一种实施例中,用户输入测量启动指令,即进入图像识别步骤,该测量启动指令不限于启动某一具体的测量项,而可以是启动对显示界面上所显示的所有超声图像的测量项测量,换言之,只要显示界面上显示的超声图像包含有任意测量项即对其进行测量项的测量。
一种实施例中,响应于用户的测量启动指令,从至少两个超声图像中识别包含有至少一个测量项的超声图像为识别图像,其余的一个测量项都不包含的超声图像可以在后续步骤中不予考虑。进一步地,确定识别图像所包含的所有测量项均为待测测量项,在后续步骤中对所有待测测量项进行测量。
从所述至少两个超声图像中识别包含有至少一个测量项的超声图像为识别图像,可以转换为一个图像分类问题,例如对每个超声图像进行分类,选取图像特征和任一测量项对应图像的图像特征相匹配的超声图像为识别图像。示例性的,图像识别的具体方法可以采用机器学习的方法学习数据库中可以区分不同测量项的特征或规律,再采用学习到的特征对当前图像进行分类,以根据分类结果确定包含有任一测量项的超声图像为识别图像。
一种实施例中,图像识别步骤还包括:对所述待测测量项对应的测量目标进行定位。需要强调的是,对待测测量项对应的测量目标进行定位与确定识别图像的执行顺序不限,两者还可以在同一步骤中完成,例如:可以在确定识别图像之前对测量目标进行定位,将能够定位出测量目标的超声图像识别为识别图像;也可以在识别出识别图像之后对测量目标进行定位,即先确定识别图像,再在识别图像中对测量目标进行定位;还可以在对测量目标进行定位的同时识别出识别图像,例如通过滑窗法、边框回归处理法或语义分割算法确定测量目标区域的同时获取测量目标的类别,即在对某一超声图像中的测量目标进行定位的同时,确定该超声图像是否为识别图像。
具体的测量项识别步骤相关特征的论述请参见上文对步骤S32、步骤S42的描述,在此不再赘述。
步骤S73,自动测量步骤,在所述识别图像上测量所述待测测量项。
步骤S73中在所述识别图像上测量所述待测测量项与步骤S33、步骤S43中测量所述测量目标类似,相关论述请参见上文对步骤S33、步骤S44的描述,在此不再赘述。
一种实施例中,生物体组织的至少一个解剖结构具有至少一个测量项,所述图像识别步骤(S72)可以包括:将所述至少两个超声图像的图像特征与预设数据库中包含的包含有所述至少一个测量项中的任意一个对应的测量目标的数据库图像的图像特征进行对比,判断所述超声图像的图像特征与所述数据库图像的图像特征是否匹配,当所述超声图像的图像特征与所述数据库图像的图像特征匹配时,确定所述超声图像为所述识别图像,其中,所述识别图像包含的测量目标对应于与所述识别图像的图像特征相匹配的所述数据库图像中包含的所述测量目标。
一种实施例中,所述生物体组织的至少一个解剖结构中的任意一个或者两个具有至少两个测量项,所述识别图像中包含至少两个待测测量项分别对应的测量目标,所述图像识别步骤(S72)还可以包括:对所述识别图像中的所述测量目标进行分类,以使所述识别图像中的测量目标与所述至少两个特征测量项一一对应。
一种实施例中,自动测量步骤(S73)可以包括:通过边缘检测算法提取所述测量目标对应的轮廓;对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程;通过所述拟合方程确定所述测量目标的测量结果。
一种实施例中,图像识别(S72)步骤还可以包括:对所述待测测量项对应的测量目标进行定位。
其中,对所述待测测量项对应的测量目标进行定位可以包括:将所述识别图像的图像特征与预设数据库中的包含有对应于所述待测测量项的数据库图像的图像特征进行对比分析,以对所述识别图像中的所待测述测量项进行定位获得所述测量目标,其中,所述数据库图像包含有对应于所述待测测量项的标定结果,所述测量目标为与所述标定结果相一致的区域。
当所述识别图像中包括至少两个所述待测测量项对应的所述测量目标时,所述对所述待测测量项对应的测量目标进行定位还可以包括:对所述测量目标进行分类,以使所述测量目标与所述至少两个所述待测测量项一一对应。
其中,对所述测量目标进行分类具体可以包括:将所述测量目标的图像特征与预设数据库中的包含的所述数据库图像中与所述待测测量项对应的测量目标相应的所述标定结果的图像特征进行对比,以判断所述测量目标的图像特征与所述标定结果的图像特征是否匹配,当所述测量目标的图像特征与所述标定结果的图像特征匹配时,判断所述测量目标为对应于所述待测测量项。
一种实施例中,对所述待测测量项对应的测量目标进行定位可以包括:通过滑窗法、边框回归处理法和语义分割算法中的至少一种对所述识别图像中的所述待测测量项进行定位获得所述测量目标。
一种实施例中,当图像识别步骤(72)还包括对所述待测测量项对应的测量目标进行定位时,自动测量步骤(S73)可以包括:对所述测量目标进行目标拟合得到所述测量目标的拟合方程;通过所述拟合方程确定所述测量目标的测量结果。
通过用户输入一个测量启动指令,对显示界面上显示的多个超声图像的测量项一次性进行测量,省去了用户在多个超声图像中来回切换进行测量的繁琐操作,符合用户先存图后一起测量的操作习惯,在用户保存多个超声图像后,仅需一步操作即可得到所有需测量图像的所有测量项结果,操作简便,大大提高了工作效率。
参看图10,提供本申请的一个实施例的处理器进行解剖结构的自动测量方法。在相关技术中,医生多采用多窗模式显示图像,在显示的多个窗口中仅有一个窗口为激活窗口,医生仅能在激活窗口上进行测量项的测量,要完成多个窗口中显示图像的测量需要医生在多个窗口间进行切换,并在分别在切换后的激活窗口上分别进行测量,该过程费时费力。本实施例在图5和图6的所示实施例的基础上强调了多窗模式下的应用,与前述相类似的技术特征可以参见上文的描述,在此不再赘述。
步骤S81,在显示界面上显示至少两个窗口,其中,所述窗口显示有超声图像;
一种实施例中,当进入多窗模式时,在显示界面上显示至少两个窗口,其中,每个窗口中显示有一个超声图像。应当理解的,不限于每个窗口中显示有一个超声图像,也可以为有的窗口中显示有超声图像,有的窗口中未显示超声图像;还可以为一个窗口中显示多个超声图像,该显示于一个窗口中的多个超声图像可以为同一解剖结构对应的超声图像。
步骤S82,响应于用户的测量启动指令,识别每个所述窗口显示的超声图像中对应的测量项,确定识别出有测量项对应的超声图像的窗口为目标窗口,所有所述目标窗口显示的超声图像所包含的所有测量项均为待测测量项;
识别每个所述窗口显示的超声图像中对应的测量项,确定识别出有测量项对应的超声图像的窗口为目标窗口,其中,识别超声图像中对应的测量项并确定识别出有测量项对应的超声图图像的步骤,可以参见上文对于从超声图像中确定识别图像的步骤,在此不再赘述。确定识别出有测量项对应的超声图像的窗口为目标窗口,可以理解的,当多个窗口显示的超声图像中均包含有至少一个测量项时,所述多个窗口均为目标窗口;当只有一个窗口显示的超声图像包含有至少一个测量项时,该一个窗口为目标窗口。
响应于用户的测量启动指令,对每个窗口显示的超声图像均进行识别,若确定显示的超声图像有测量项对应,则该窗口即为目标窗口;若确定显示的超声图像没有测量项对应,则该窗口为非目标窗口。所有目标窗口显示的超声图像所包含的所有测量项均为待测测量项,可以理解的,对于显示界面上显示的所有窗口中显示的超声图像,只要对应有测量项,则该测量项即为待测测量项,需进行后续的测量。
一种实施例中,可以将目标窗口进行相对于其他窗口的区别化显示。
步骤S83,在所有所述目标窗口显示的超声图像上测量所述待测测量项。
在所有目标窗口显示的超声图像上测量待测测量项,可以将显示界面上所有窗口中显示的超声图像上所有的测量项一次性全部进行测量,得到测量结构。
在多窗模式下,用户仅需输入测量启动指令,即可自动确定所有需测量的目标窗口,并对所有目标窗口一次性完成测量项的测量,优化了工作流程,节省了工作时间。
参看图11,提供本申请的一个实施例的处理器进行解剖结构的自动测量方法,在基于用户指定了待测测量项的情况下,对解剖结构进行自动测量的方法进行示例性介绍。在相关技术中,医生多采用多窗模式显示图像,一般情况下多个窗口中实时显示正在采集的超声图像的窗口为激活窗口,其余显示之前已经采集好的超声图像的窗口为非激活窗口,当用户需进行某个测量项的测量时,处理器会默认在激活窗口上进行测量,当医生想要测量的是非激活窗口的超声图像时,需要手动切换激活的窗口,并在新激活的窗口上手动进行测量,操作极其不便,且不符合用户习惯于采集好所有超声图像后统一进行测量的操作习惯。本实施例与前述相类似的技术特征可以参见上文的描述,在此不再赘述。
步骤S91,在显示界面上显示至少两个超声图像;
在显示界面上显示至少两个超声图像,该至少两个超声图像可以采用平铺显示方式,但不限于平铺的显示方式,也可以为部分重叠的显示方式等。该至少两个超声图像中的至少一个可以为实时采集的超声图像,也可以为从内存中调取的超声图像,或者接收其他设备传输而来的超声图像。在医生实时进行超声扫查的过程中,该至少两个超声图像中的一个可以为实时扫查过程中用户当前冻结的一帧超声图像,该至少两个超声图像中其余的超声图像可以为该次实时扫查过程中用户之前冻结并保存的超声图像。
步骤S92,获取用户的待测测量项选择指令;
获取用户的待测测量项选择指令可以为用户点选显示屏菜单上的任意测量项选项,也可以为用户点选控制面板上的任意测量项选项,还可以根据用户习惯调取预先存储的测量项,以确定后续需测量的待测测量项。可以理解的,待测测量项选择指令不仅限于用户选择该测量项本身,用户也可以通过选择测量目标,处理器自动获取该测量目标对应的测量项作为待测测量项;用户还可以通过选择解剖结构,处理器自动获取该解剖结构对应的测量项作为待测测量项;用户还可以通过选择预设测量项集合,处理器自动获取该预设测量项集合对应的测量项作为待测测量项等等。进一步的,用户的待测测量项选择指令可以为选择一个待测测量项,也可以为选择多个待测测量项,具体的,用户可以根据临床需求进行输入。
步骤S93,响应于所述待测测量项选择指令,从所述至少两个超声图像中确定对应有所述待测测量项的超声图像为识别图像;
获取用户的待测测量项选择指令后,处理器响应于待测测量项选择指令,从显示界面上显示的至少两个超声图像中确定对应有待测测量项的超声图像作为识别图像,以便于对识别图像进行后续的测量。超声图像为显示生物体组织解剖结构的图像,医生根据临床需求往往需要在超声图像上对特定的解剖结构进行测量,得到测量结果以指导临床诊断,这些需要进行测量的项目即为测量项,以对胎儿进行超声检查为例,需要测量的测量项包括:双顶径、头围、腹围、股骨长等测量项。用户可以选择上述测量项中的任意一项作为待测测量项,对当前显示界面上显示的至少两个超声图像进行识别,将识别到的包含待测测量项的超声图像作为识别图像。
一种实施例中,从至少两个超声图像中确定识别图像可以转换为一个图像分类问题,例如对每个超声图像进行分类,选取图像特征和待测测量项对应图像的图像特征相匹配的超声图像为识别图像。
一种实施例中,从至少两个超声图像中确定包含有待测测量项的超声图像为识别图像可以通过机器学习的方式,通过预训练的机器学习模型对所述至少两个超声图像进行分类,将输出的对应有所述待测测量项的一类超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项标定结果的多幅超声图像训练而成,所述多种测量项包括所述待测测量项。
通过机器学习的方式从至少两个超声图像中确定对应有待测测量项的超声图像作为识别图像,示例性地可以包括:1.构建数据库步骤。该构建的数据库中通常包含了多个超声图像及与该超声图像对应的测量项的标定结果。2.识别步骤。构建好数据库后,再设计机器学习算法学习数据库中可以区别不同测量项对应超声图像的特征或规律来实现对图像的分类。机器学习算法可以包括:第一种方法为传统的机器学习方法,此类方法首先对图像进行特征提取,特征提取方法可以是传统的PCA、LDA、Harr特征、纹理特征等,然后将提取到的特征和数据库进行匹配,用KNN、SVM、随机森林、神经网络等判别器进行分类。第二种方法为深度学习方法,通过堆叠卷积层和全连接层来对构建的数据库进行特征的学习,学习出能够区分不同测量项目的图像特征,常用的深度学习方法包括但不限于VGG,ResNet,Inception,AlexNet等等。
通过预训练的机器学习模型从至少两个超声图像中确定对应有待测测量项的超声图像,该预训练的机器学习模型是通过包含了多种测量项标定结果的多幅超声图像训练而成,该包含了多种测量项标定结果的多幅超声图像构建为数据库,该数据库中也包括了所述待测测量项标定结果的多幅超声图像。将至少两个超声图像输入预训练的机器学习模型后,机器学习模型输出的可以为该至少两个超声图像中每个图像对应的测量项信息,进一步地可以将对应有待测测量项的一类超声图像作为识别图像。当然,当显示界面上显示的至少两个超声图像中都不对应待测测量项时,该机器学习模型输出的结果中没有对应有待测测量项的一类超声图像,此时可以输出提示信息,以告知用户重新选择待测测量项。
上述方法对显示界面上显示的至少两个超声图像进行了分类,输出的可以是至少两个超声图像中每个图像对应的测量项信息,但并不知道测量项对应测量目标的大小和位置。因此,从显示界面上显示的至少两个超声图像中确定包含有待测测量项的超声图像为识别图像,还可以在确定识别图像的过程中对识别图像中与待测测量项对应的测量目标进行点位,其中对于测量目标的定位可以与确定识别图像同时进行,也可以在识别图像之前或之后进行。
一种实施例中,从至少两个超声图像中确定包含有待测测量项的超声图像为识别图像可以包括:从至少两个超声图像中确定包含有待测测量项的超声图像为识别图像并确定识别图像中与待测测量项对应的测量目标的位置区域。
一种实施例中,所述从所述至少两个超声图像中确定对应有所述待测测量项的超声图像为识别图像可以包括:通过预训练的机器学习模型对所述至少两个超声图像中所包括的测量项对应的测量目标进行定位及分类,将输出的定位有所述待测测量项的测量目标的位置区域的一类超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项对应的测量目标的位置区域的标定结果的多幅超声图像训练而成,所述多种测量项包括所述待测测量项。
具体的,采用机器学习方法学习数据库中可以区别图像的目标区域和非目标区域的特征或规律,再根据学习到的特征或规律对其它图像进行定位和识别的主要步骤可以包括:1.构建数据库步骤:数据库中通常包含了多幅超声图像及对应的测量目标的标定结果。其中,标定结果可以根据实际的任务需要进行设定,可以是包含测量目标的ROI(感兴趣区域)框,也可是对测量目标进行精确分割的Mask(掩膜);如果实际任务需要定位多个类别的目标,则还需要指定每个ROI框或Mask的类别。2.定位和识别步骤:构建好数据库后,再设计机器学习算法学习数据库中可以区别图像中目标区域和非目标区域的特征或规律来实现对测量目标的定位和识别。具体的方法示例如下:
第一种方法为传统的基于滑窗的方法,常见形式为:首先对滑窗内的区域进行特征提取,特征提取方法可以是传统的PCA、LDA、Harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用KNN、SVM、随机森林、神经网络等判别器进行分类,确定当前滑窗是否为感兴趣区域同时获取其相应类别。
第二种方法为基于深度学习的Bounding-Box方法检测识别,常见形式为:通过堆叠基层卷积层和全连接层来对构建的数据库进行特征的学习和参数的回归,对于一幅输入图像,可以通过网络直接回归出对应的感兴趣区域的Bounding-Box,同时获取其感兴趣区域内组织结构的类别,常见的网络有R-CNN,Fast R-CNN、Faster-RCNN、SSD、YOLO等。
第三种方法为基于深度学习的端到端的语义分割网络方法,该类方法与第二种基于深度学习的Bounding-Box的结构类似,不同点在于将全连接层去除,加入上采样或者反卷积层来使得输入与输出的尺寸相同,从而直接得到输入图像的感兴趣区域及其相应类别,常见的网络有FCN、U-Net、Mask R-CNN等。
第四种方法为只采用方法一、方法二或方法三来对目标进行定位,再根据定位结果额外设计分类器对目标进行分类判断。常见的分类判断方法为:首先对目标ROI或Mask进行特征提取,特征提取方法可以是传统的PCA、LDA、Harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用KNN、SVM、随机森林、神经网络等判别器进行分类。
上述四种方法中,感兴趣区域为测量目标所在的区域,通过上述方法确定一个超声图像感兴趣区域的位置并获得了该感兴趣区域的类别,即可以确定该超声图像中测量目标的位置并获得了该测量目标的类型,通过该测量目标的类别可以确定测量项的类别,从而可以通过上述机器学习方法,在至少两个超声图像中确定识别图像并确定识别图像中与待测测量项对应的测量目标的位置区域。
步骤S94,在所述识别图像上测量所述待测测量项。
一种实施例中,从至少两个超声图像中确定包含有待测测量项的超声图像为识别图像后,可以进一步地测量识别图像包含的待测测量项。具体的,可以通过边缘检测方法提取所述识别图像中所述待测测量项对应的测量目标的轮廓;对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程;通过所述拟合方程确定所述待测测量项的测量结果。示例性的,通过边缘检测方法(如Sobel算子、等)提取识别图像中测量目标的轮廓,再采用直线、圆、椭圆等检测算法对测量目标进行检测,常用的目标检测算法包括但不限于最小二乘估计、Hough变换、Randon变换、Ransac等算法,通过这些算法可以拟合出测量目标对应的拟合方程,如果是圆或椭圆,圆或椭圆方程即是待测测量项的测量结果。如果是直线,可结合线状目标的两个端点的灰度变化进一步定位两个端点,从而得到待测测量项的测量结果。以股骨为例,股骨表现为高亮的线状结构,检测到股骨所在的直线后,可在直线上检测两个梯度最大的点作为股骨的两个端点,并计算该两个端点间的距离作为待测测量项股骨长的测量结果。
一种实施例中,从至少两个超声图像中确定包含有待测测量项的超声图像为识别图像并确定识别图像中与待测测量项对应的测量目标的位置区域后,可以进一步地测量识别图像包含的待测测量项。具体的,由于待测测量项对应的测量目标的位置区域已经确定,可以对测量目标进行目标拟合得到所述测量目标的拟合方程,通过拟合方程确定所述测量目标的测量结果。一种实施例中,通过上文所述的确定识别图像并定位测量目标的位置区域的方法,待测测量项对应的测量目标的位置区域已经确定,可以直接对该位置区域进行目标拟合,从而减少该位置区域外的其他结果对目标拟合产生干扰。另一种实施例中,通过上文所述的确定识别图像并定位测量目标的位置区域的方法,由于待测测量项对应的测量目标已经进行了分割,可直接对分割掩膜的边缘进行目标拟合。进一步的,可以通过拟合方程确定待测测量项的测量结果。
通过用户输入的待测测量项选择指令,自动确定包含有待测测量项的识别图像,省去了用户手动切换超声图像的繁琐操作,自动测量识别图像的待测测量项,一步操作即可精准地得到用户想要的待测测量项结果,简化了工作流程,提高了工作的效率。
参看图12,提供本申请的一个实施例的处理器进行解剖结构的自动测量方法。在相关技术中,医生多采用多窗模式显示图像,在显示的多个窗口中仅有一个窗口为激活窗口,医生仅能在激活窗口上进行测量项的测量,要完成多个窗口中显示图像的测量需要医生在多个窗口间进行切换,并在分别在切换后的激活窗口上分别进行测量,一次只能在一个窗口中进行测量,该过程费时费力。本实施例与前述相类似的技术特征可以参见上文的描述,在此不再赘述。
步骤S111,在显示界面上显示至少两个超声图像;
步骤S112,响应于用户的测量启动指令,从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像,所述识别图像所对应的所有测量项均为待测测量项;
用户输入的测量启动指令不限于具体的某一测量项,而可以为对显示界面上显示的至少两个超声图像包含的测量项均进行测量的指令。响应于用户的测量启动指令,从显示界面上显示的至少两个超声图像中识别包含有至少一个测量项的超声图像为识别图像,可以为检测显示界面上显示的所有超声图像从中确定识别图像。
识别对应有至少一个测量项的超声图像为识别图像,可以为检测显示界面上的所有超声图像,当检测到超声图像中只要对应有测量项时即确定该超声图像为识别图像,当检测到超声图像中不对应任何测量项时即确定该超声图像为非识别图像,该非识别图像不再进行后续的测量步骤。可以理解的,识别图像可以为具有一个任意测量项的超声图像,也可以为具有多个任意测量项的超声图像,识别图像可以为一个,也可以为多个。
识别图像所对应的所有测量项均为待测测量项,这些待测测量项都将会在后续的测量步骤中进行测量,从而一次性完成显示界面上显示的超声图像的所有测量项的测量。
一种实施例中,可以通过机器学习从所述至少两个超声图像中识别对应有至少一个测量项的超声图像,并将该对应有至少一个测量项的超声图像作为识别图像。从所述至少两个超声图像中识别包含有至少一个测量项的超声图像为识别图像可以包括:通过预训练的机器学习模型对所述至少两个超声图像进行分类,输出的包含有至少一个测量项的超声图像为识别图像;所述预训练的机器学习模型通过包含了多种测量项标定结果的多幅超声图像训练而成。
通过机器学习的方式从至少两个超声图像中确定对应有待测测量项的超声图像作为识别图像,示例性地可以包括:1.构建数据库步骤。该构建的数据库中通常包含了多个超声图像及与该超声图像对应的测量项的标定结果。2.识别步骤。构建好数据库后,再设计机器学习算法学习数据库中可以区别不同测量项对应超声图像的特征或规律来实现对图像的分类。机器学习算法可以包括:第一种方法为传统的机器学习方法,此类方法首先对图像进行特征提取,特征提取方法可以是传统的PCA、LDA、Harr特征、纹理特征等,然后将提取到的特征和数据库进行匹配,用KNN、SVM、随机森林、神经网络等判别器进行分类。第二种方法为深度学习方法,通过堆叠卷积层和全连接层来对构建的数据库进行特征的学习,学习出能够区分不同测量项目的图像特征,常用的深度学习方法包括但不限于VGG,ResNet,Inception,AlexNet等等。
通过预训练的机器学习模型从所述至少两个超声图像中识别对应有至少一个测量项的超声图像,该预训练的机器学习模型是通过包含了多种测量项标定结果的多幅超声图像训练而成,该包含了多种测量项标定结果的多幅超声图像构建为数据库。将至少两个超声图像输入预训练的机器学习模型后,机器学习模型输出的可以为该至少两个超声图像中每个图像对应的测量项信息,进一步地可以将对应有测量项的超声图像作为识别图像,其中,只要对应有测量项的超声图像即可作为识别图像,而不论该超声图像对应的测量项的类别。该预训练的机器学习模型输出的结果也可以为超声图像是否对应有测量项,其中,当输入该预训练的机器学习模型的超声图像至少对应有一个测量项时,该预训练的机器学习模型输出的结果即为该超声图像对应有测量项,当输入该预训练的机器学习模型的超声图像没有任何对应的测量项时,该预训练的机器学习模型输出的结果为该超声图像未对应测量项,根据该预训练的机器学习模型输出的结果,进一步地可以将对应有测量项的超声图像作为识别图像。
上述方法对显示界面上显示的至少两个超声图像进行了分类,输出的可以是至少两个超声图像中每个图像对应的测量项信息,但并不知道测量项对应测量目标的大小和位置。因此,从显示界面上显示的至少两个超声图像中确定对应有至少一个测量项的超声图像为识别图像,还可以在确定识别图像的过程中对识别图像中与测量项对应的测量目标进行定位,其中对于测量目标的定位可以与确定识别图像同时进行,也可以在识别图像之前或之后进行。
一种实施例中,从至少两个超声图像中确定包含有至少一个测量项的超声图像为识别图像可以包括:从至少两个超声图像中确定包含有至少一个测量项的超声图像为识别图像并确定识别图像中所包含的测量项对应的测量目标的位置区域。
一种实施例中,从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像包括:通过预训练的机器学习模型对所述至少两个超声图像中所包括的测量项对应的测量目标进行定位及分类,将输出的定位有对应测量项的测量目标的位置区域的一类超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项对应的测量目标的位置区域的标定结果的多幅超声图像训练而成。
具体的,采用机器学习方法学习数据库中可以区别图像的目标区域和非目标区域的特征或规律,再根据学习到的特征或规律对其它图像进行定位和识别的主要步骤可以包括:1.构建数据库步骤:数据库中通常包含了多幅超声图像及对应的测量目标的标定结果。其中,标定结果可以根据实际的任务需要进行设定,可以是包含测量目标的ROI(感兴趣区域)框,也可是对测量目标进行精确分割的Mask(掩膜);如果实际任务需要定位多个类别的目标,则还需要指定每个ROI框或Mask的类别。2.定位和识别步骤:构建好数据库后,再设计机器学习算法学习数据库中可以区别图像中目标区域和非目标区域的特征或规律来实现对测量目标的定位和识别。具体的方法示例如下:
第一种方法为传统的基于滑窗的方法,常见形式为:首先对滑窗内的区域进行特征提取,特征提取方法可以是传统的PCA、LDA、Harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用KNN、SVM、随机森林、神经网络等判别器进行分类,确定当前滑窗是否为感兴趣区域同时获取其相应类别。
第二种方法为基于深度学习的Bounding-Box方法检测识别,常见形式为:通过堆叠基层卷积层和全连接层来对构建的数据库进行特征的学习和参数的回归,对于一幅输入图像,可以通过网络直接回归出对应的感兴趣区域的Bounding-Box,同时获取其感兴趣区域内组织结构的类别,常见的网络有R-CNN,Fast R-CNN、Faster-RCNN、SSD、YOLO等。
第三种方法为基于深度学习的端到端的语义分割网络方法,该类方法与第二种基于深度学习的Bounding-Box的结构类似,不同点在于将全连接层去除,加入上采样或者反卷积层来使得输入与输出的尺寸相同,从而直接得到输入图像的感兴趣区域及其相应类别,常见的网络有FCN、U-Net、Mask R-CNN等。
第四种方法为只采用方法一、方法二或方法三来对目标进行定位,再根据定位结果额外设计分类器对目标进行分类判断。常见的分类判断方法为:首先对目标ROI或Mask进行特征提取,特征提取方法可以是传统的PCA、LDA、Harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用KNN、SVM、随机森林、神经网络等判别器进行分类。
上述四种方法中,感兴趣区域可以为任意一种测量目标所在的区域,通过上述方法确定一个超声图像有感兴趣区域并确定感兴趣区域的位置,即可以确定该超声图像具有的测量目标并获得了该测量目标的位置,从而可以通过上述机器学习方法,在至少两个超声图像中确定识别图像并确定识别图像中所有测量项对应的测量目标的位置区域。
步骤S113,在所述识别图像上测量所述待测测量项。
从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像后,可以进一步地在所述识别图像上测量所述待测测量项。具体的,可以通过边缘检测方法提取所述识别图像中所述待测测量项对应的测量目标的轮廓;对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程;通过所述拟合方程确定所述待测测量项的测量结果。
一种实施例中,从至少两个超声图像中确定对应有至少一个测量项的超声图像为识别图像并确定识别图像中所有测量项对应的测量目标的位置区域,识别图像所对应的所有测量项均为待测测量项,可以进一步地测量识别图像包含的待测测量项。具体的,由于待测测量项对应的测量目标的位置区域已经确定,可以对测量目标进行目标拟合得到所述测量目标的拟合方程,通过拟合方程确定所述测量目标的测量结果。
具体的测量待测测量项的步骤可以参见上文对相关步骤的描述,在此不再赘述。
通过用户输入一个测量启动指令,对显示界面上显示的多个超声图像的测量项一次性进行测量,省去了用户在多个超声图像中来回切换进行测量的繁琐操作,符合用户先存图后一起测量的操作习惯,在用户保存多个超声图像后,仅需一步操作即可得到所有需测量图像的所有测量项结果,操作简便,大大提高了工作效率。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本申请的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(Digital SignalProcessor,DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请的具体实施方式或对具体实施方式的说明,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种解剖结构的自动测量方法,其特征在于,包括:
在显示界面上显示至少两个窗口,其中,所述窗口显示有超声图像;
获取用户的待测测量项选择指令;
响应所述待测测量项选择指令,从所述至少两个窗口中确定目标窗口,其中所述目标窗口为显示有待测测量项对应的测量目标的超声图像的窗口;
在所述目标窗口显示的所述待测测量项对应的测量目标的超声图像上测量所述待测测量项。
2.一种解剖结构的自动测量方法,其特征在于,包括:
在显示界面上显示至少两个窗口,其中,所述窗口显示有超声图像;
响应于用户的测量启动指令,识别每个所述窗口显示的超声图像中对应的测量项,确定识别出有测量项对应的超声图像的窗口为目标窗口,所有所述目标窗口显示的超声图像所包含的所有测量项均为待测测量项;
在所有所述目标窗口显示的超声图像上测量所述待测测量项。
3.一种解剖结构的自动测量方法,其特征在于,包括:
在显示界面上显示至少两个超声图像;
获取用户的待测测量项选择指令;
响应于所述待测测量项选择指令,从所述至少两个超声图像中确定对应有所述待测测量项的超声图像为识别图像;
在所述识别图像上测量所述待测测量项。
4.根据权利要求3所述的自动测量方法,其特征在于,所述从所述至少两个超声图像中确定对应有所述待测测量项的超声图像为识别图像包括:
通过预训练的机器学习模型对所述至少两个超声图像进行分类,将输出的对应有所述待测测量项的一类超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项标定结果的多幅超声图像训练而成,所述多种测量项包括所述待测测量项。
5.根据权利要求4所述的自动测量方法,其特征在于,所述在所述识别图像上测量所述待测测量项包括:
通过边缘检测方法提取所述识别图像中所述待测测量项对应的测量目标的轮廓;
对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程;
通过所述拟合方程确定所述待测测量项的测量结果。
6.根据权利要求3所述的自动测量方法,其特征在于,所述从所述至少两个超声图像中确定对应有所述待测测量项的超声图像为识别图像包括:
通过预训练的机器学习模型对所述至少两个超声图像中所包括的测量项对应的测量目标进行定位及分类,将输出的定位有所述待测测量项的测量目标的位置区域的一类超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项对应的测量目标的位置区域的标定结果的多幅超声图像训练而成,所述多种测量项包括所述待测测量项。
7.根据权利要求6所述的自动测量方法,其特征在于,所述在所述识别图像上测量所述待测测量项包括:
对所述测量目标进行目标拟合得到所述测量目标的拟合方程;
通过所述拟合方程确定所述待测测量项的测量结果。
8.一种解剖结构的自动测量方法,其特征在于,包括:
在显示界面上显示至少两个超声图像;
响应于用户的测量启动指令,从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像,所述识别图像所对应的所有测量项均为待测测量项;
在所述识别图像上测量所述待测测量项。
9.根据权利要求8所述的自动测量方法,其特征在于,所述从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像包括:
通过预训练的机器学习模型对所述至少两个超声图像进行分类,将输出的对应有至少一个测量项的超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项标定结果的多幅超声图像训练而成。
10.根据权利要求9所述的自动测量方法,其特征在于,所述在所述识别图像上测量所述待测测量项包括:
通过边缘检测方法提取所述识别图像中所述待测测量项对应的测量目标的轮廓;
对所述测量目标对应的轮廓进行拟合,以获得所述测量目标对应的拟合方程;
通过所述拟合方程确定所述待测测量项的测量结果。
11.根据权利要求8所述的自动测量方法,其特征在于,所述从所述至少两个超声图像中识别对应有至少一个测量项的超声图像为识别图像包括:
通过预训练的机器学习模型对所述至少两个超声图像中所包括的测量项对应的测量目标进行定位及分类,将输出的定位有对应测量项的测量目标的位置区域的一类超声图像作为识别图像;所述预训练的机器学习模型通过包含了多种测量项对应的测量目标的位置区域的标定结果的多幅超声图像训练而成。
12.根据权利要求11所述的自动测量方法,其特征在于,所述在所述识别图像上测量所述待测测量项包括:
对所述测量目标进行目标拟合得到所述测量目标的拟合方程;
通过所述拟合方程确定所述待测测量项的测量结果。
13.一种解剖结构的自动测量方法,其特征在于,包括:
图像获取步骤,获取超声图像,所述超声图像与生物体组织的至少一个解剖结构相关;
测量项获取步骤,获取待测测量项;
图像识别步骤,从所述超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像,所述识别图像为所述超声图像中的至少一个图像;
定位步骤,在所述识别图像中对所述测量目标进行定位;
自动测量步骤,测量所述测量目标。
14.一种解剖结构的自动测量方法,其特征在于,包括:
图像获取步骤,获取超声图像,所述超声图像与生物体组织的至少一个解剖结构相关;
测量项获取步骤,获取待测测量项;
图像识别步骤,从所述超声图像中识别出包含有所述待测测量项对应的测量目标的识别图像,其中,所述识别图像为所述超声图像中的至少一个图像;
自动测量步骤,测量所述识别图像中的所述测量目标。
15.一种解剖结构的自动测量方法,其特征在于,包括:
图像获取步骤,获取至少两个超声图像,所述至少两个超声图像与生物体组织的至少一个解剖结构相关;
图像识别步骤,从所述超声图像中识别出包含有测量项对应的测量目标的识别图像,其中,所述测量项为待测测量项,所述识别图像为所述超声图像中的至少一个图像;
定位步骤,在所述识别图像中对所述测量目标进行定位;
自动测量步骤,测量所述测量目标。
16.一种解剖结构的自动测量方法,其特征在于,包括:
图像获取步骤,获取至少两个超声图像,所述至少两个超声图像与生物体组织的至少一个解剖结构相关;
图像识别步骤,从所述超声图像中识别出包含有测量项对应的测量目标的识别图像,其中,所述测量项为待测测量项,所述识别图像为所述超声图像中的至少一个图像;
自动测量步骤,测量所述测量目标。
17.一种超声成像系统,其特征在于,包括:
超声探头,用于向生物体组织发射超声波并接收超声回波,得到超声回波信号;
处理器,用于对超声回波信号进行处理,得到所述生物体组织的超声图像;
显示器,用于显示所述超声图像;
存储器,用于存储可执行的程序指令;
所述处理器,还用于执行所述可执行的程序指令,以使所述处理器执行如权利要求1-16任意一项所述的自动测量方法。
CN202011506495.7A 2019-12-18 2020-12-18 解剖结构的自动测量方法和超声成像系统 Pending CN112998755A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/126388 2019-12-18
PCT/CN2019/126388 WO2021120065A1 (zh) 2019-12-18 2019-12-18 解剖结构的自动测量方法和超声成像系统

Publications (1)

Publication Number Publication Date
CN112998755A true CN112998755A (zh) 2021-06-22

Family

ID=76383499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011506495.7A Pending CN112998755A (zh) 2019-12-18 2020-12-18 解剖结构的自动测量方法和超声成像系统

Country Status (2)

Country Link
CN (1) CN112998755A (zh)
WO (1) WO2021120065A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113974688A (zh) * 2021-09-18 2022-01-28 深圳迈瑞生物医疗电子股份有限公司 超声成像方法和超声成像系统
CN114376614A (zh) * 2021-11-08 2022-04-22 中国医科大学附属第一医院 颈动脉超声测量的辅助方法及超声设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185724B1 (ko) * 2013-12-20 2020-12-02 삼성메디슨 주식회사 대상체의 측정에 사용될 캘리퍼 타입에 따라 위치가 교정된 포인트를 의료 영상에서 표시하기 위한 방법 및 장치
CN105555198B (zh) * 2014-03-20 2019-12-24 深圳迈瑞生物医疗电子股份有限公司 自动识别测量项的方法、装置及一种超声成像设备
CN114343715B (zh) * 2017-01-16 2024-07-16 深圳迈瑞生物医疗电子股份有限公司 超声图像中参数测量的方法和超声成像系统
CN109044398B (zh) * 2018-06-07 2021-10-19 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
CN109276275A (zh) * 2018-10-26 2019-01-29 深圳开立生物医疗科技股份有限公司 一种超声图像标准切面提取及测量方法和超声诊断设备
CN109589140B (zh) * 2018-12-26 2022-04-01 深圳开立生物医疗科技股份有限公司 一种超声测量多项目处理方法和超声诊断系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113974688A (zh) * 2021-09-18 2022-01-28 深圳迈瑞生物医疗电子股份有限公司 超声成像方法和超声成像系统
CN113974688B (zh) * 2021-09-18 2024-04-16 深圳迈瑞生物医疗电子股份有限公司 超声成像方法和超声成像系统
CN114376614A (zh) * 2021-11-08 2022-04-22 中国医科大学附属第一医院 颈动脉超声测量的辅助方法及超声设备
CN114376614B (zh) * 2021-11-08 2024-03-12 中国医科大学附属第一医院 颈动脉超声测量的辅助方法及超声设备

Also Published As

Publication number Publication date
WO2021120065A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
JP6467041B2 (ja) 超音波診断装置、及び画像処理方法
CN105555198B (zh) 自动识别测量项的方法、装置及一种超声成像设备
KR102491757B1 (ko) 초음파 시스템을 위한 에코 윈도우 아티팩트 분류 및 시각적 표시기
CN112672691B (zh) 一种超声成像方法及设备
CN111374708B (zh) 一种胎儿心率检测方法及超声成像装置、存储介质
US20210077062A1 (en) Device and method for obtaining anatomical measurements from an ultrasound image
CN112998755A (zh) 解剖结构的自动测量方法和超声成像系统
CN112568933B (zh) 超声成像方法、设备和存储介质
CN107767386B (zh) 超声图像处理方法及装置
CN113693627A (zh) 基于超声图像的病灶处理方法、超声成像设备、存储介质
US20220249060A1 (en) Method for processing 3d image data and 3d ultrasonic imaging method and system
CN113229850A (zh) 超声盆底成像方法和超声成像系统
CN115813433A (zh) 基于二维超声成像的卵泡测量方法和超声成像系统
CN111383323A (zh) 一种超声成像方法和系统以及超声图像处理方法和系统
WO2022134049A1 (zh) 胎儿颅骨的超声成像方法和超声成像系统
WO2022141085A1 (zh) 超声检测方法和超声成像系统
CN117426789A (zh) 自动匹配体位图的方法及超声成像系统
CN115778435A (zh) 胎儿颜面部的超声成像方法和超声成像系统
CN118056535A (zh) 超声图像的采集方法、装置、超声设备及介质
CN115644921A (zh) 一种自动弹性测量方法
CN114680942A (zh) 基于输卵管造影成像的评估方法和超声成像系统
CN117157013A (zh) 用于超声成像的方法
CN118056538A (zh) 超声图像的显示方法、装置、超声设备及介质
CN115399807A (zh) 胎儿目标部位的超声成像方法和超声成像系统
CN117982169A (zh) 一种子宫内膜厚度的确定方法及超声设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination