CN115708694A

CN115708694A - 超声图像处理方法及设备

Info

Publication number: CN115708694A
Application number: CN202110970389.2A
Authority: CN
Inventors: 安兴; 朱磊; 董多
Original assignee: Shenzhen Mindray Bio Medical Electronics Co Ltd
Current assignee: Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date: 2021-08-23
Filing date: 2021-08-23
Publication date: 2023-02-24

Abstract

本发明实施例提供一种超声图像处理方法及设备，该方法包括：获取被检者乳腺区域的超声图像；根据超声图像确定被检者乳腺区域中乳腺病灶的BI‑RADS特征集合对应的取值集合，以获得第一特征值集合；在显示界面上显示第一特征值集合；检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合；在显示界面上显示第二特征值集合；根据第二特征值集合确定乳腺病灶的BI‑RADS分级；在显示界面上显示乳腺病灶的BI‑RADS分级。本发明实施例的方法，在确定乳腺病灶的BI‑RADS分级时，不仅利用了乳腺区域的超声图像，而且结合了用户的反馈信息，提高了BI‑RADS分级的准确性。

Description

超声图像处理方法及设备

技术领域

本发明实施例涉及医疗影像处理技术领域，具体涉及一种超声图像处理方法及设备。

背景技术

乳腺癌是发生在乳腺腺上皮组织的恶性肿瘤，据癌症统计数据显示乳腺癌位于女性恶性肿瘤发病率的首位，因此对于乳腺癌的早期筛查显得尤为重要。乳腺超声能够清楚地显示乳腺各层软组织及其中病灶的位置、形态、内部结构及相邻组织的改变，且具有经济、便捷、无创伤、无痛苦、无放射性和重复性强等诸多优点，已成为乳腺癌早期筛查的重要方式之一。

乳腺病灶的征象复杂，目前在临床诊断过程中使用较为广泛且相对权威的诊断标准是由美国放射协会(American College of Radiology，ACR)提出的乳腺影像报告和数据系统(Breast Imaging Reporting and Data system，BI-RADS)。BI-RADS使用统一的、专业的术语对病灶进行诊断归类，但其诊断规则复杂繁多，对于低年资或基层医院医生来说难于记忆，进而影响了临床医生诊断的效率。随着人工智能技术尤其是深度学习等技术的飞速发展，计算机辅助诊断用于对乳腺超声图像进行智能化分析，为临床提供了自动化、高效的辅助诊断工具，具有巨大的临床价值。现有基于人工智能技术的乳腺超声图像分析方法和系统，虽然有助于提高临床医生诊断的效率，但是由于其通常仅以图像信息作为输入数据进行分析，辅助诊断的准确性仍有待提高。

发明内容

本发明实施例提供一种超声图像处理方法及设备，用于解决现有方法准确性低的问题。

第一方面，本发明实施例提供一种超声图像处理方法，包括：

获取被检者乳腺区域的超声图像；

根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS特征集合对应的取值集合，以获得第一特征值集合；

在显示界面上显示第一特征值集合；

检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合；

在显示界面上显示第二特征值集合；

根据第二特征值集合确定乳腺病灶的BI-RADS分级；

在显示界面上显示乳腺病灶的BI-RADS分级。

一种实施例中，BI-RADS特征集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型。

一种实施例中，根据第二特征值集合确定乳腺病灶的BI-RADS分级，包括：

对于BI-RADS特征集合中的任意一个BI-RADS特征，从超声图像中提取任意一个BI-RADS特征对应的特征向量；

当任意一个BI-RADS特征在第一特征值集合和第二特征值集合中取值相同时，增加任意一个BI-RADS特征对应的特征向量在确定乳腺病灶的BI-RADS分级时的权重；当任意一个BI-RADS特征在第一特征值集合和第二特征值集合中取值不相同时，减小任意一个BI-RADS特征对应的特征向量在确定乳腺病灶的BI-RADS分级时的权重。

对于BI-RADS特征集合中的任意一个BI-RADS特征，当任意一个BI-RADS特征的取值在第一特征值集合和第二特征值集合中取值相同时，增加任意一个BI-RADS特征在第二特征值集合中的取值在确定乳腺病灶的BI-RADS分级时的权重；当任意一个BI-RADS特征在第一特征值集合和第二特征值集合中取值不相同时，减小任意一个BI-RADS特征在第二特征值集合中的取值在确定乳腺病灶的BI-RADS分级时的权重。

一种实施例中，获取被检者乳腺区域的超声图像为多帧超声图像，根据第二特征集合确定乳腺病灶的BI-RADS分级，包括：

当多帧超声图像中任意一帧超声图像对应的BI-RADS特征集合的取值集合中任意一个BI-RADS特征的取值与第二特征集合中任意一个BI-RADS特征的取值相同时，增加任意一帧超声图像在确定BI-RADS分级中任意一个BI-RADS特征取值时的权重；当任意一个超声图像对应的BI-RADS特征集合的取值集合中任意一个BI-RADS特征的取值与第二特征集合中任意一个BI-RADS特征的取值不相同时，减小任意一帧超声图像在确定BI-RADS中任意一个BI-RADS特征取值时的权重。

第二方面，本发明实施例提供一种超声图像处理方法，包括：

获取被检者乳腺区域的超声图像；

根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合，其中BI-RADS信息集合包括BI-RADS特征集合和BI-RADS分级；

在显示界面上显示第一取值集合；

检测用户对第一取值集合修改或确认的操作，以获得第二取值集合；

在显示界面上显示第二取值集合；

根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合；

在显示界面上显示第三取值集合。

一种实施例中，获取被检者乳腺区域的超声图像为多帧超声图像，则根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合，包括：

对多帧超声图像中的任意一帧超声图像进行分析，得到任意一帧超声图像对应的BI-RADS信息集合的取值集合；

根据预设策略从多帧超声图像对应的BI-RADS信息集合的取值集合获得第一取值集合。

一种实施例中，根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合，包括：

当任意一帧超声图像对应的BI-RADS信息集合的取值集合中任意一个BI-RADS信息的取值与第二取值集合中任意一个BI-RADS信息的取值相同时，增加任意一帧超声图像在确定第三取值集合中任意一个BI-RADS信息取值时的权重；当任意一个超声图像对应的BI-RADS信息集合的取值集合中任意一个BI-RADS信息的取值与第二取值集合中任意一个BI-RADS信息的取值不相同时，减小任意一帧超声图像在确定第三取值集合中任意一个BI-RADS信息取值时的权重。

对于BI-RADS信息集合中的任意一个BI-RADS信息，从超声图像中提取任意一个BI-RADS信息对应的特征向量；

当任意一个BI-RADS信息在第一取值集合和第二取值集合中取值相同时，增加任意一个BI-RADS信息对应的特征向量在确定第三取值集合时的权重；当任意一个BI-RADS信息在第一取值集合和第二取值集合中取值不相同时，减小任意一个BI-RADS信息对应的特征向量在确定第三取值集合时的权重。

一种实施例中，所述方法还包括：

对于BI-RADS信息集合中的任意一个BI-RADS信息，当任意一个BI-RADS信息的取值在第一取值集合和第二取值集合中取值相同时，增加任意一个BI-RADS信息在第二取值集合中的取值在确定第三取值集合时的权重；当任意一个BI-RADS信息在第一取值集合和第二取值集合中取值不相同时，减小任意一个BI-RADS信息在第二取值集合中的取值在确定第三取值集合时的权重。

一种实施例中，根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，包括：

将超声图像输入预训练好的感兴趣区域检测模型，以得到超声图像的乳腺病灶感兴趣区域，感兴趣区域检测模型基于标注了乳腺病灶感兴趣区域的超声图像训练得到，或者

检测操作者对超声图像中的乳腺病灶感兴趣区域描迹的操作，以获得超声图像的乳腺病灶感兴趣区域；

将超声图像的乳腺病灶感兴趣区域输入预训练好的BI-RADS信息识别模型，以得到乳腺病灶的BI-RADS信息集合对应的取值集合，BI-RADS信息识别模型基于标注了BI-RADS信息取值的超声图像训练得到。

从超声图像中提取乳腺病灶对应的特征向量，特征向量包括直方图、灰度共生矩阵特征、SIFT特征和HOG特征中的一种或者多种；

根据特征向量确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合。

一种实施例中，检测用户对第一取值集合修改或确认的操作之前，方法还包括：

在显示界面上以可对比的方式显示超声图像和第一取值集合。

第三方面，本发明实施例提供一种超声图像处理方法，包括：

获取被检者目标组织的超声信号，超声信号包括模拟信号、数字信号、同相正交IQ信号、射频RF信号以及对数压缩和灰度转换后的信号中的至少一种信号；

根据超声信号确定目标组织中病灶的特征集合对应的取值集合，以获得第一特征值集合；

在显示界面上显示第一特征值集合；

在显示界面上显示第二特征值集合；

根据第一特征值集合、第二特征值集合和超声信号确定病灶的特征集合对应的取值集合，以获得第三特征值集合；

在显示界面上显示第三特征值集合。

一种实施例中，根据第一特征值集合、第二特征值集合和超声信号确定病灶的特征集合对应的取值集合，以获得第三特征值集合，包括：

加强第一特征值集合和第二特征值集合中取值相同的特征及对应的超声信号在确定第三特征值集合时的权重；和/或，

减弱第一特征值集合和第二特征值集合中取值不相同的特征及对应的超声信号在确定第三特征值集合时的权重。

第四方面，本发明实施例提供一种超声成像设备，包括：

超声探头，用于向被检者的目标组织发射超声波，并接收由目标组织返回的超声波的回波，基于接收到的超声波的回波输出超声回波信号，超声回波信号中携带有目标组织的组织结构信息；

发射电路，用于按照设定模式将相应的发射序列输出至超声探头，以控制超声探头发射相应的超声波；

接收电路，用于接收超声探头输出的超声回波信号，输出超声回波数据；

显示器，用于输出可视化信息；

处理器，用于执行如上述任一实施例提供的超声图像处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上述任一实施例提供的超声图像处理方法。

本发明实施例提供的超声图像处理方法及设备，通过获取被检者乳腺区域的超声图像，首先根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS特征集合对应的取值集合，以获得第一特征值集合，并在显示界面上显示第一特征值集合；然后检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合，并在显示界面上显示第二特征值集合；最后根据第二特征值集合确定乳腺病灶的BI-RADS分级，并在显示界面上显示乳腺病灶的BI-RADS分级。由于第二特征值集合不仅可以反映乳腺病灶的超声图像信息，而且可以反映出用户根据临床经验对于乳腺病灶的判断信息，因此基于第二特征值集合确定乳腺病灶的BI-RADS分级有助于提高BI-RADS分级的准确性。

附图说明

图1为本发明一实施例提供的超声成像设备的结构框图；

图2为本发明一实施例提供的超声图像处理方法；

图3A-3C为本发明一实施例提供的显示界面的示意图；

图4为本发明又一实施例提供的超声图像处理方法；

图5为本发明又一实施例提供的显示界面的示意图；

图6为本发明另一实施例提供的超声图像处理方法。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

如图1所示，本发明提供的超声成像设备可以包括：超声探头20、发射/接收电路30(即发射电路310和接收电路320)、波束合成模块40、IQ解调模块50、存储器60、处理器70和人机交互装置。处理器70可以包括控制模块710和图像处理模块720。

超声探头20包括由阵列式排布的多个阵元组成的换能器(图中未示出)，多个阵元排列成一排构成线阵，或排布成二维矩阵构成面阵，多个阵元也可以构成凸阵列。阵元用于根据激励电信号发射超声波束，或将接收的超声波束变换为电信号。因此每个阵元可用于实现电脉冲信号和超声波束的相互转换，从而实现向人体组织的目标区域(例如本实施例中的乳腺区域)发射超声波、也可用于接收经组织反射回的超声波的回波。在进行超声检测时，可通过发射电路310和接收电路320控制哪些阵元用于发射超声波束，哪些阵元用于接收超声波束，或者控制阵元分时隙用于发射超声波束或接收超声波束的回波。参与超声波发射的阵元可以同时被电信号激励，从而同时发射超声波；或者参与超声波发射的阵元也可以被具有一定时间间隔的若干电信号激励，从而持续发射具有一定时间间隔的超声波。

本实施例中，用户通过移动超声探头20选择合适的位置和角度向乳腺区域10发射超声波并接收由乳腺区域10返回的超声波的回波，获得并输出该回波的电信号，回波的电信号是按以接收阵元为通道所形成的通道模拟电信号，其携带有幅度信息、频率信息和时间信息。

发射电路310用于根据处理器70的控制模块710的控制产生发射序列，发射序列用于控制多个阵元中的部分或者全部向生物组织发射超声波，发射序列参数包括发射用的阵元位置、阵元数量和超声波束发射参数(例如幅度、频率、发射次数、发射间隔、发射角度、波型、聚焦位置等)。某些情况下，发射电路310还用于对发射的波束进行相位延迟，使不同的发射阵元按照不同的时间发射超声波，以便各发射超声波束能够在预定的感兴趣区域聚焦。不同的工作模式，例如B图像模式、C图像模式和D图像模式(多普勒模式)，发射序列参数可能不同，回波信号经接收电路320接收并经后续的模块和相应算法处理后，可生成反映组织解剖结构的B图像、反映组织解剖结构和血流信息的C图像以及反映多普勒频谱图像的D图像。

接收电路320用于从超声探头20接收超声回波的电信号，并对超声回波的电信号进行处理。接收电路320可以包括一个或多个放大器、模数转换器(ADC)等。放大器用于在适当增益补偿之后放大所接收到的超声回波的电信号，模数转换器用于对模拟回波信号按预定的时间间隔进行采样，从而转换成数字化的信号，数字化后的回波信号依然保留有幅度信息、频率信息和相位信息。接收电路320输出的数据可输出给波束合成模块40进行处理，或者，输出给存储器60进行存储。

波束合成模块40和接收电路320信号相连，用于对接收电路320输出的信号进行相应的延时和加权求和等波束合成处理，由于被测组织中的超声波接收点到接收阵元的距离不同，因此，不同接收阵元输出的同一接收点的通道数据具有延时差异，需要进行延时处理，将相位对齐，并将同一接收点的不同通道数据进行加权求和，得到波束合成后的超声图像数据，波束合成模块40输出的超声图像数据也称为射频数据(RF数据)。波束合成模块40将射频数据输出至IQ解调模块50。在有的实施例中，波束合成模块40也可以将射频数据输出至存储器60进行缓存或保存，或将射频数据直接输出至处理器70的图像处理模块720进行图像处理。

波束合成模块40可以采用硬件、固件或软件的方式执行上述功能，例如，波束合成模块40可以包括能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理芯片或其他任何电子部件，当波束合成模块40采用软件方式实现时，其可以执行存储在有形和非暂态计算机可读介质(例如，存储器60)上的指令，以使用任何适当波束合成方法进行波束合成计算。

IQ解调模块50通过IQ解调去除信号载波，提取信号中包含的组织结构信息，并进行滤波去除噪声，此时获取的信号称为基带信号(IQ数据对)。IQ解调模块50将IQ数据对输出至处理器70的图像处理模块720进行图像处理。在有的实施例中，IQ解调模块50还将IQ数据对输出至存储器60进行缓存或保存，以便图像处理模块720从存储器60中读出数据进行后续的图像处理。

处理器70用于配置成能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理器、图形控制器电路(GPU)或其他任何电子部件，其可以根据输入的指令或预定的指令对外围电子部件执行控制，或对存储器60执行数据读取和/或保存，也可以通过执行存储器60中的程序对输入数据进行处理，例如根据一个或多个工作模式对采集的超声数据执行一个或多个处理操作，处理操作包括但不限于调整或限定超声探头20发出的超声波的形式，生成各种图像帧以供后续人机交互装置的显示器80进行显示，或者调整或限定在显示器80上显示的内容和形式，或者调整在显示器80上显示的一个或多个图像显示设置(例如超声图像、界面组件、定位感兴趣区域)。本实施例提供的处理器70可以用于执行本发明任一实施例提供的超声图像处理方法。

图像处理模块720用于对波束合成模块40输出的数据或IQ解调模块50输出的数据进行处理，以生成扫描范围内的信号强弱变化的灰度图像，该灰度图像反映组织内部的解剖结构，称为B图像。图像处理模块720可以将B图像输出至人机交互装置的显示器80进行显示。

人机交互装置用于进行人机交互，即接收用户的输入和输出可视化信息；其接收用户的输入可采用键盘、操作按钮、鼠标、轨迹球等，也可以采用与显示器集成在一起的触控屏；其输出可视化信息采用显示器80。

存储器60可以是有形且非暂态的计算机可读介质，例如可为闪存卡、固态存储器、硬盘等，用于存储数据或者程序，例如，存储器60可以用于存储所采集的超声数据或处理器70所生成的暂不立即显示的图像帧，或者存储器60可以存储图形用户界面、一个或多个默认图像显示设置、用于处理器、波束合成模块或IQ解码模块的编程指令。

请参考图2，基于图1所示的超声成像设备，提供一种超声图像处理方法。如图2所示，本实施例提供的超声图像处理方法可以包括：

S201、获取被检者乳腺区域的超声图像。

本实施例中乳腺区域的超声图像既可以实时获取，也可以读取预先存储在存储介质中的超声图像。例如可以通过图1中超声成像设备的超声探头20实时向被检者乳腺区域发射超声波，接收电路320对从超声探头20接收到超声回波电信号进行处理之后，再经波束合成模块40、IQ解调模块50及图像处理模块720进行处理，可以实时获取被检者乳腺区域的超声图像。例如还可以从存储器60中获取预先采集的被检者乳腺区域的超声图像。

本实施例中既可以获取被检者乳腺区域的单张超声图像，也可以获取被检者乳腺区域的多张超声图像。本实施例中并不限定超声图像的数量。

S202、根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS特征集合对应的取值集合，以获得第一特征值集合。

本实施例在获取被检者乳腺区域的超声图像之后，可以在获取到的超声图像中检测乳腺病灶的感兴趣区域(Region of Interest，ROI)，对乳腺病灶的边界进行分割，然后对乳腺病灶的BI-RADS特征进行分析，以便确定被检者乳腺区域中乳腺病灶的BI-RADS特征集合对应的取值集合。

乳腺病灶ROI检测可以基于深度学习、机器学习或者传统图像处理方法进行提取，本实施例并不限定乳腺病灶ROI检测的具体实现方式。其中，基于深度学习的乳腺病灶ROI检测，需要先基于已收集的乳腺区域超声图像数据以及高年资医师对于超声图像中乳腺病灶ROI的标注结果，对深度学习ROI检测网络进行训练。ROI可以采用坐标信息进行标注，例如可以采用矩形框对ROI进行标注。深度学习ROI检测网络可以使用但不限于RCNN、FasterRCNN、SSD和YOLO等。在网络训练阶段，计算迭代过程中乳腺病灶ROI的检测结果和标注结果之间的误差，并以误差最小化为目的不断更新网络中的权值，然后不断重复该过程，使检测结果逐渐逼近乳腺病灶ROI的真实值，得到训练好的乳腺病灶ROI检测模型。该模型可以实现从输入的超声图像数据中对乳腺病灶ROI的自动化检测提取。传统图像处理方法或者机器学习对乳腺病灶ROI检测，通常可以分为以下几步：(a)基于图像处理方法找到待选区域，如使用Select Search算法；(b)将待选区域变换至固定大小，并使用图像处理方法提取图像的梯度、纹理等特征向量，如可以采用Sift算子、HoG算子、GLCM灰度共生矩阵等；(c)通过传统机器学习算法对待选区域的特征向量进行训练，得到待选区域的分类模型；(d)通过回归方法得到目标即乳腺病灶ROI的矩形框(bounding box)。另一种基于机器学习的乳腺病灶ROI提取实现方法，可以基于已收集的超声图像和乳腺病灶ROI标注结果训练机器学习模型，如采用SVM、Kmeans、Cmeans等机器学习模型对像素点的灰度值或纹理值进行二分类，判断每个像素点是否属于ROI区域，从而实现乳腺病灶ROI的提取。

乳腺病灶的边界分割方法包括但不仅限于：(1)对检测出的乳腺病灶ROI或超声全图基于深度学习分割网络进行边界提取，深度学习分割网络例如可以采用Unet、FCN以及在其基础上进行改进的网络。当进行深度学习分割时，输入超声图像和超声图像对应的标注区域，该标注区域可以为乳腺病灶二值化图像，也可以将乳腺病灶位置信息写入xml或json等标注文件。计算深度学习分割网络输出的分割结果与标注结果的误差，不断迭代使误差最小化，直至分割结果趋近于真实值。(2)采用同步检测、分割的多任务深度学习网络进行边界提取，常用的网络如mask-Rcnn、PolarMask、SOLO等，这类网络第一步通常先定位ROI的大致位置，再对目标区域进行精细分割。(3)采用传统图像处理算法，基于区域的分割算法，主要包括区域生长法、分水岭算法、大津阈值法等；基于梯度的分割算法，如sobel、canny算子等。(4)采用基于机器学习的乳腺病灶分割实现方法，基于已收集的超声图像和标注结果训练机器学习分割模型，可以采用SVM、Kmeans、Cmeans等机器学习模型对图像像素点的灰度值或纹理值进行二分类，判断每个像素点或代表当前像素点的纹理特征向量是否属于乳腺病灶ROI，从而实现乳腺病灶ROI边界的分割。

乳腺病灶BI-RADS特征分析的方法包括但不限于：单独基于深度学习、单独基于传统图像特征结合机器学习的方法进行各个BI-RADS特征的分析以及将上述两种方案结合的BI-RADS特征分析方法。具体可以包括：(1)基于多任务深度学习网络进行多个BI-RADS特征的预测。一种可选的实施方式中可以将提取出的乳腺病灶ROI区域作为输入，直接采用多任务深度学习网络的多个分支来预测每个BI-RADS特征。例如可以将形状类型、方向类型、回声类型、钙化类型和边缘类型视为5个预测任务，一个多任务深度学习网络的大网络包含5个分支来分别处理5个不同的预测任务。其中各部分卷积块采用的骨干网络包括但不限于典型的深度学习卷积分类网络，如AlexNet、Resnet、VGG等。在对多任务深度学习网络进行训练时既可以单独训练各个BI-RADS特征的分类子网，也可以同时训练整个网络。具体的，通过计算各分支预测结果和标定结果之间的误差，标定结果可以理解为乳腺病灶的形状类型、方向类型、回声类型、钙化类型和边缘类型的真实结果，然后通过不断迭代，使预测结果逐渐逼近标定结果，最终得到可以进行多个BI-RADS特征预测的多任务深度学习网络模型。(2)对每个BI-RADS特征分别构建一个深度学习网络，并行单独构建多个深度学习网络对多个BI-RADS特征进行分析，深度学习网络可以采用深度学习卷积分类网络，包括但不限于AlexNet、Resnet、VGG等。(3)采用特征提取算法分别针对每一个BI-RADS特征进行特征提取，根据所提特征设置合适阈值或将特征串联采用机器学习算法进行分析。一种可选的实施方式中，可以提取乳腺病灶的特征，特征包括但不限于直方图、灰度共生矩阵特征等，将其输入SVM、Kmean、KNN等机器学习模型对乳腺病灶的回声类型进行预测，以获取乳腺病灶的回声类型的分析结果。(4)将每个BI-RADS特征单独视为一个预测或分类任务，对不同的BI-RADS特征，基于不同方案设计适合该特征的算法或模型，该方案可以是基于深度学习的也可以是基于传统图像处理方法结合机器学习的。

一种可选的实施方式中，BI-RADS特征集合可以包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型。举例来说，若根据超声图像确定的被检者乳腺区域中乳腺病灶的各个BI-RADS特征的取值为：形状类型为不规则形，方向类型为平行，边缘类型为成角，回声类型为低回声，后方回声类型为无改变，钙化类型为包块内钙化，血供类型为内部血流，则第一特征值集合可以为：不规则形、平行、成角、低回声、无改变、包块内钙化和内部血流。需要说明的是，本实施例中的BI-RADS特征集合还可以包括比上述更多或者更少的BI-RADS特征。例如BI-RADS特征集合可以仅包括形状类型、方向类型和边缘类型。

本实施例中也可以根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS分级。

S203、在显示界面上显示第一特征值集合。

本实施例中在获得第一特征值集合之后，为便于用户查看以及针对第一特征值集合进行修改或确认的操作，可以在显示界面上对第一特征值集合进行显示。例如可以将BI-RADS特征名称与其对应的取值进行关联显示。

一种可选的实施方式中，为进一步便于用户针对第一特征值集合进行修改或确认的操作，可以在显示界面上以可对比的方式显示被检者乳腺区域的超声图像和第一特征值集合。例如可以在显示界面的不同区域中分别显示超声图像和第一特征值集合，以便用户一边查看超声图像，一边核对第一特征值集合中各BI-RADS特征的取值。当获取到的被检者乳腺区域的超声图像为多张时，可以采用预设频率自动地对多张超声图像进行滚动显示，也可以仅显示多张超声图像中乳腺病灶的ROI。

本实施例中还可以将根据超声图像确定的被检者乳腺区域中乳腺病灶的BI-RADS分级也显示在显示界面上。

请参考图3A，图3A为一实施例提供的在显示界面上显示第一特征值集合的示意图。

S204、检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合。

用户在查看第一特征值集合之后，若对某个BI-RADS特征的取值存疑时，可以通过输入设备例如鼠标、键盘等对该BI-RADS特征的取值进行修改；若对某个BI-RADS特征的取值认同时，可以通过输入设备例如鼠标、键盘等对该BI-RADS特征的取值进行确认。具体实现时，可以采用下拉菜单、单选框等方式展现各个BI-RADS特征的取值范围供用户修改或确认。

可以理解的是，第二特征值集合不仅可以反映乳腺病灶的超声图像信息，而且可以反映出用户根据临床经验对于乳腺病灶的判断信息。

S205、在显示界面上显示第二特征值集合。

为便于用户查看修改或确认之后各个BI-RADS特征的取值，可以在显示界面上显示第二特征值集合，例如可以在用户进行修改或确认时实时显示第二特征值集合。

举例来说，若用户认为图3A中边缘类型的取值成角不够准确，将其修改为“微分叶、毛刺”，并且对图3A中其他BI-RADS特征的取值进行了确认操作，则显示界面上将会如图3B显示第二特征值集合，图3B为一实施例提供的在显示界面上显示第二特征值集合的示意图。用户可以通过“保存”按钮保存第二特征值集合，通过“分析”按钮启动对于乳腺病灶BI-RADS分级的分析。

S206、根据第二特征值集合确定乳腺病灶的BI-RADS分级。

通过对基于超声图像得到的第一特征值集合中各个BI-RADS特征的取值进行修改或者确认之后得到的第二特征值集合，不仅能够体现超声图像中的乳腺病灶信息，而且能够体现用户对于乳腺病灶的判断信息，因此根据第二特征值集合来确定乳腺病灶的BI-RADS分级，将有助于提高BI-RADS分级的准确性。

一种可选的实施方式中，可以将第二特征值集合作为输入，输出乳腺病灶的BI-RADS分级。例如可以采用机器学习的方法，基于标注了BI-RADS分级的BI-RADS特征值集合预先训练BI-RADS分级模型。

另一种可选的实施方式中，为了充分利用超声图像的信息，还可以将乳腺区域的超声图像和第二特征值集合同时作为输入，输出乳腺病灶的BI-RADS分级。例如可以采用机器学习的方法，基于标注了BI-RADS分级的超声图像和BI-RADS特征值集合预先训练BI-RADS分级模型。

S207、在显示界面上显示乳腺病灶的BI-RADS分级。

为便于用户查看乳腺病灶的BI-RADS分级，以便用户根据BI-RADS分级进行相应的诊疗操作，本实施例中在确定乳腺病灶的BI-RADS分级之后，可以在显示界面上对乳腺病灶的BI-RADS分级进行显示。以图3B所显示的第二特征值集合为例，图3C显示了根据该第二特征值集合所确定的乳腺病灶的BI-RADS分级。可以理解的是，为方便查看，也可以同时在显示界面上显示第二特征值集合和乳腺病灶的BI-RADS分级。

本实施例提供的超声图像处理方法，通过获取被检者乳腺区域的超声图像，首先根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS特征集合对应的取值集合，以获得第一特征值集合，并在显示界面上显示第一特征值集合；然后检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合，并在显示界面上显示第二特征值集合；最后根据第二特征值集合确定乳腺病灶的BI-RADS分级，并在显示界面上显示乳腺病灶的BI-RADS分级。由于第二特征值集合不仅可以反映乳腺病灶的超声图像信息，而且可以反映出用户根据临床经验对于乳腺病灶的判断信息，因此基于第二特征值集合确定乳腺病灶的BI-RADS分级有助于提高BI-RADS分级的准确性。

在上述实施例的基础上，下面将针对如何根据第二特征值集合确定乳腺病灶的BI-RADS分级进行进一步详细说明。根据第二特征值集合，结合用户的临床反馈信息确定BI-RADS分级的方法，可以通过对BI-RADS分级算法所使用的超声图像、超声图像对应的特征向量和BI-RADS特征取值中的一种或者多种进行加权优化的方法来实现。其中，加权优化策略可以包括：(1)加强那些医生未修改(即确认)的BI-RADS特征所对应的超声图像、超声图像对应的特征向量和/或相应BI-RADS特征取值在BI-RADS分级过程中的作用，其意义在于：对于医生未修改的BI-RADS特征，其表明智能算法分析得到的BI-RADS特征取值与医生评估一致，其所对应的超声图像、超声图像对应的特征向量和BI-RADS特征取值用做BI-RADS分级分析是比较靠谱且合理的，故应加强相应的超声图像、超声图像对应的特征向量和/或BI-RADS特征取值在BI-RADS分级中的作用；(2)减弱医生修改的BI-RADS特征所对应的超声图像、超声图像对应的特征向量和/或BI-RADS特征取值在BI-RADS分级过程中的作用，其意义在于：对于医生修改的BI-RADS特征，其表明智能算法分析得到的BI-RADS特征取值与医生评估不一致，其所对应的超声图像、超声图像对应的特征向量和BI-RADS特征取值用做BI-RADS分级分析是相对不靠谱的，比如该超声图像可能由于出现模糊或者特征不明显而导致了BI-RADS特征分析结果不准确。

一种可选的实施方式中，根据第二特征值集合确定乳腺病灶的BI-RADS分级具体可以包括：对于BI-RADS特征集合中的任意一个BI-RADS特征，从超声图像中提取任意一个BI-RADS特征对应的特征向量；当任意一个BI-RADS特征在第一特征值集合和第二特征值集合中取值相同时，增加任意一个BI-RADS特征对应的特征向量在确定乳腺病灶的BI-RADS分级时的权重；当任意一个BI-RADS特征在第一特征值集合和第二特征值集合中取值不相同时，减小任意一个BI-RADS特征对应的特征向量在确定乳腺病灶的BI-RADS分级时的权重。

当BI-RADS特征在第一特征值集合和第二特征值集合中取值相同时，说明用户对该BI-RADS特征的取值未做修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果一致，应当加强该BI-RADS特征对应的特征向量在确定BI-RADS分级中的作用；当BI-RADS特征在第一特征值集合和第二特征值集合中取值不相同时，说明用户对该BI-RADS特征的取值做出了修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果不一致，应当减弱该BI-RADS特征对应的特征向量在确定BI-RADS分级中的作用。

以BI-RADS特征集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型为例，X表示基于超声图像获取的用于BI-RADS分级任务的图像信息特征向量，如X为输入BI-RADS分级模型的特征向量。

X＝w₀x₀+w₁x₁+w₂x₂+w₃x₃+w₄x₄+w₅x₅+w₆x₆；

其中，x₀为从超声图像中提取的形状类型对应的特征向量，w₀为该特征向量的权重。依次类推，x₁、x₂、x₃、x₄、x₅和x₆分别为从超声图像中提取的方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型对应的特征向量，w₁～w₆为各个特征向量的权重。本实施例对于特征向量的类型以及具体提取方式不作限制，特征向量例如可以是直方图、梯度、灰度共生矩阵、SIFT特征向量和HOG特征向量等。各个BI-RADS特征对应的特征向量可以是相同类型，也可以采用不同类型的。例如，一种可选的实施方式中，形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型对应的特征向量可以均采用灰度共生矩阵；另一种可选的实施方式中，形状类型和方向类型对应的特征向量可以采用直方图，边缘类型和回声类型对应的特征向量可以采用梯度，后方回声类型、钙化类型和血供类型对应的特征向量可以采用SIFT特征向量。

在获取第一特征值集合之后，用户通过输入设备对形状类型、边缘类型和钙化类型的取值进行了修改，对其他BI-RADS特征的取值进行了确认，那么可以通过如下方式调整权重进行加权优化：w′₀＝w₀-Δ；w′₂＝w₂-Δ；w′₅＝w₅-Δ；w′₁＝w₁+Δ；w′₃＝w₃+Δ；w′₄＝w₄+Δ；w′₆＝w₆+Δ；X′＝w′₀x₀+w′1x₁+w′₂x₂+w′₃x₃+w′₄x₄+w′₅x₅+w′₆x₆；其中，Δ为权重调整量，可以预先设置，如设置Δ为0.1。

然后根据加权优化后的图像信息特征向量X′确定BI-RADS分级，以实现加强那些用户确认的BI-RADS特征所对应的特征向量在BI-RADS分级过程中的作用，减弱那些用户修改的BI-RADS特征所对应的特征向量在BI-RADS分级过程中的作用，从而提高BI-RADS分级的准确性。

另一种可选的实施方式中，根据第二特征值集合确定乳腺病灶的BI-RADS分级具体可以包括：对于BI-RADS特征集合中的任意一个BI-RADS特征，当任意一个BI-RADS特征的取值在第一特征值集合和第二特征值集合中取值相同时，增加任意一个BI-RADS特征在第二特征值集合中的取值在确定乳腺病灶的BI-RADS分级时的权重；当任意一个BI-RADS特征在第一特征值集合和第二特征值集合中取值不相同时，减小任意一个BI-RADS特征在第二特征值集合中的取值在确定乳腺病灶的BI-RADS分级时的权重。

当BI-RADS特征在第一特征值集合和第二特征值集合中取值相同时，说明用户对该BI-RADS特征的取值未做修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果一致，可以加强该BI-RADS特征取值在确定BI-RADS分级中的作用；当BI-RADS特征在第一特征值集合和第二特征值集合中取值不相同时，说明用户对该BI-RADS特征的取值做出了修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果不一致，可以减弱该BI-RADS特征取值在确定BI-RADS分级中的作用。

仍以BI-RADS特征集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型为例，Y表示基于超声图像获取的用于BI-RADS分级任务的BI-RADS属性特征向量。

Y＝r₀y₀+r₁y₁+r₂y₂+r₃y₃+r₄y₄+r₅y₅+r₆y₆；

其中，y₀为形状类型在第二特征值集合中的取值。依次类推，y₁、y₂、y₃、y₄、y₅和y₆分别为方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型在第二特征值集合中的取值。r₀～r₆为各个BI-RADS特征取值的初始权重。假设用户通过输入设备对形状类型、边缘类型和钙化类型的取值进行了修改，对其他BI-RADS特征的取值进行了确认，那么可以通过如下方式调整权重进行加权优化：r′₀＝r₀-Δ；r′₂＝r₂-Δ；r′₅＝r₅-Δ；r′₁＝r₁+Δ；r′₃＝r₃+Δ；r′₄＝r₄+Δ；r′₆＝r₆+Δ；Y′＝r′₀y₀+r′₁y₁+r′₂y₂+r′₃y₃+r′₄y₄+r′₅y₅+r′₆y₆；其中，Δ为权重调整量，可以预先设置，如设置Δ为0.1。

然后根据加权优化后的BI-RADS属性特征向量Y′确定BI-RADS分级，以实现加强那些用户确认的BI-RADS特征取值在BI-RADS分级过程中的作用，减弱那些用户修改的BI-RADS特征取值在BI-RADS分级过程中的作用，从而提高BI-RADS分级的准确性。

上述实施例分别通过对图像信息特征向量X和BI-RADS属性特征向量Y进行加权优化，以提高BI-RADS分级的准确性。还可以同时对图像信息特征向量X和BI-RADS属性特征向量Y进行加权优化，即可以通过加权优化后的图像信息特征向量X′和加权优化后的BI-RADS属性特征向量Y′确定BI-RADS分级。例如可以将X′+Y′作为确定BI-RADS分级时的特征向量，其中“+”用于表示两种特征向量的融合，例如可以是特征向量的拼接，本实施例中对于融合方式不作限制。

当获取到的被检者乳腺区域的超声图像为多帧超声图像时，可以分别对每一帧超声图像进行分析，得到每一帧超声图像对应的BI-RADS特征集合的取值集合；则根据第二特征集合确定乳腺病灶的BI-RADS分级具体可以包括：当多帧超声图像中任意一帧超声图像对应的BI-RADS特征集合的取值集合中任意一个BI-RADS特征的取值与第二特征集合中任意一个BI-RADS特征的取值相同时，增加任意一帧超声图像在确定BI-RADS分级中任意一个BI-RADS特征取值时的权重；当任意一个超声图像对应的BI-RADS特征集合的取值集合中任意一个BI-RADS特征的取值与第二特征集合中任意一个BI-RADS特征的取值不相同时，减小任意一帧超声图像在确定BI-RADS中任意一个BI-RADS特征取值时的权重。

以上实施例详细阐述了结合用户对于BI-RADS特征取值的反馈信息与乳腺区域的超声图像确定BI-RADS分级，即通过检测用户对BI-RADS特征取值进行的确认或者修改操作，提高BI-RADS分级的准确性；下面将阐述如何结合用户对于BI-RADS信息集合的反馈信息与乳腺区域的超声图像对BI-RADS信息集合的取值进行修正，以提高BI-RADS信息的准确性，其中BI-RADS信息集合包括BI-RADS特征集合和BI-RADS分级，即用户既可以对BI-RADS特征取值进行确认或者修改操作，也可以对BI-RADS分级进行确认或者修改操作。请参考图4，图4为本发明又一实施例提供的超声图像处理方法。如图4所示，本实施例提供的超声图像处理方法可以包括：

S401、获取被检者乳腺区域的超声图像。

本实施例中获取被检者乳腺区域的超声图像的具体实现方式可以参考上述实施例中步骤S201，此处不再赘述。

S402、根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合，其中BI-RADS信息集合包括BI-RADS特征集合和BI-RADS分级。

一种可选的实施方式中，在获取被检者乳腺区域的超声图像之后，可以在获取到的超声图像中检测乳腺病灶的感兴趣区域(Region of Interest，ROI)，对乳腺病灶的边界进行分割，然后对乳腺病灶的BI-RADS信息进行分析，以便确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合。其中乳腺病灶ROI区域检测和乳腺病灶边界分割的具体实现方式可以参考上述实施例中步骤S202，此处不再赘述。对乳腺病灶的BI-RADS信息进行分析也可以参考步骤S202中对乳腺病灶的BI-RADS特征进行分析的方法，在输出中增加BI-RADS分级即可。

下面分别从基于传统图像处理方法和基于深度学习方法两个角度来具体阐述，如何根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合。当采用传统图像处理方法时，首先可以从超声图像中提取乳腺病灶对应的特征向量，特征向量包括直方图、灰度共生矩阵特征、尺度不变特征变换(Scale Invariant FeatureTransform，SIFT)特征和方向梯度直方图(Histogram of Oriented Gradient，HOG)特征中的一种或者多种；然后根据特征向量确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合。当采用深度学习方法时，首先可以自动或者手动获取乳腺病灶感兴趣区域，如将超声图像输入预训练好的感兴趣区域检测模型，以得到超声图像的乳腺病灶感兴趣区域，感兴趣区域检测模型基于标注了乳腺病灶感兴趣区域的超声图像训练得到，或者检测操作者对超声图像中的乳腺病灶感兴趣区域描迹的操作，以获得超声图像的乳腺病灶感兴趣区域；然后将超声图像的乳腺病灶感兴趣区域输入预训练好的BI-RADS信息识别模型，以得到乳腺病灶的BI-RADS信息集合对应的取值集合，BI-RADS信息识别模型基于标注了BI-RADS信息取值的超声图像训练得到。其中，BI-RADS信息识别模型可以采用多任务深度学习网络，多任务深度学习网络的每个分支用于识别一种BI-RADS信息；或者，BI-RADS信息识别模型采用多个并列的深度学习网络，每个深度学习网络用于识别一种BI-RADS信息。

本实施例中BI-RADS信息集合包括BI-RADS特征集合和BI-RADS分级，也就意味着用户既可以对BI-RADS特征进行修改或者确认操作，也可以对BI-RADS分级进行修改或者确认操作。其中，BI-RADS特征集合可以包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型。

S403、在显示界面上显示第一取值集合。

本实施例中在获得第一取值集合之后，为便于用户查看以及针对第一取值集合进行修改或确认的操作，可以在显示界面上对第一取值集合进行显示。例如可以将BI-RADS信息的名称与其对应的取值进行关联显示。

一种可选的实施方式中，为进一步便于用户针对第一取值集合进行修改或确认的操作，可以在显示界面上以可对比的方式显示被检者乳腺区域的超声图像和第一取值集合。例如可以在显示界面的不同区域中分别显示超声图像和第一取值集合，以便用户一边查看超声图像，一边核对第一取值集合中各BI-RADS信息的取值。请参考图5，图5为本发明又一实施例提供的显示界面的示意图。图5中在显示界面左侧显示了乳腺区域的超声图像，右侧显示了各个BI-RADS信息的名称及对应的取值。需要说明的是，本实施例中并不限定超声图像与第一取值集合在显示界面上的位置关系及显示方式。

S404、检测用户对第一取值集合修改或确认的操作，以获得第二取值集合。

用户在查看第一取值集合之后，若对某个BI-RADS信息的取值存疑时，可以通过输入设备例如鼠标、键盘等对该BI-RADS信息的取值进行修改；若对某个BI-RADS信息的取值认同时，可以通过输入设备例如鼠标、键盘等对该BI-RADS信息的取值进行确认。具体实现时，可以采用下拉菜单、单选框等方式展现各个BI-RADS信息的取值范围供用户修改或确认。

可以理解的是，第二取值集合不仅可以反映乳腺病灶的超声图像信息，而且可以反映出用户根据临床经验对于乳腺病灶的判断信息。

S405、在显示界面上显示第二取值集合。

为便于用户查看修改或确认之后各个BI-RADS信息的取值，可以在显示界面上显示第二取值集合，例如可以在用户进行修改或确认时实时显示第二取值集合。

S406、根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合。

通过对单纯基于超声图像得到的第一取值集合中各个BI-RADS信息的取值进行修改或者确认之后得到的第二取值集合，充分体现了用户对于乳腺病灶的判断信息，因此综合第二取值集合与超声图像来确定乳腺病灶的BI-RADS信息集合的取值，可以显著提高BI-RADS信息取值的准确性。

一种可选的实施方式中，可以将第二取值集合和超声图像作为输入，输出第三取值集合，如可以采用机器学习的方法实现。

以图5所示为例，通过对被检者乳腺区域的超声图像进行分析，得到如图5所示的各个BI-RADS信息取值，即第一取值集合。若医生认为边缘类型取值不准确，将其由“成角”修改为“微分叶、毛刺”，对其他BI-RADS信息取值进行确认，通过图5中的“分析”按钮可以启动系统进行重新分析。在重新分析时，将根据第二取值集合和超声图像对各个BI-RADS信息取值进行更新，将BI-RADS分级从4B更新为4C。

S407、在显示界面上显示第三取值集合。

为便于用户查看乳腺病灶的各个BI-RADS信息的最终取值，以便用户根据各个BI-RADS信息的最终取值进行相应的诊疗操作，本实施例中在根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的最终取值集合，即第三取值集合之后，可以在显示界面上对第三取值集合进行显示。具体的，可以将BI-RADS信息名称与BI-RADS信息取值进行关联显示。

本实施例提供的超声图像处理方法，通过获取被检者乳腺区域的超声图像，首先根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合，并在显示界面上显示第一取值集合；然后检测用户对第一取值集合修改或确认的操作，以获得第二取值集合，并在显示界面上显示第二取值集合；最后根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合，并在显示界面上显示第三取值集合。由于第二取值集合充分反映了用户根据临床经验对于乳腺病灶的判断信息，因此结合第二取值集合确定乳腺病灶的BI-RADS信息取值有助于提高准确性。

当获取到的被检者乳腺区域的超声图像为多帧超声图像时，根据超声图像确定被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合具体可以包括：对多帧超声图像中的任意一帧超声图像进行分析，得到任意一帧超声图像对应的BI-RADS信息集合的取值集合；根据预设策略从多帧超声图像对应的BI-RADS信息集合的取值集合获得第一取值集合。其中，对超声图像进行分析，以得到超声图像对应的BI-RADS信息集合的取值集合的具体实现方式可以参考上述实施例中步骤S202，此处不再赘述。本实施例中预设策略例如可以采用从重处理、投票-少数服从多数、求平均处理等。

在上述实施例的基础上，根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合具体包括：当任意一帧超声图像对应的BI-RADS信息集合的取值集合中任意一个BI-RADS信息的取值与第二取值集合中任意一个BI-RADS信息的取值相同时，增加任意一帧超声图像在确定第三取值集合中任意一个BI-RADS信息取值时的权重；当任意一个超声图像对应的BI-RADS信息集合的取值集合中任意一个BI-RADS信息的取值与第二取值集合中任意一个BI-RADS信息的取值不相同时，减小任意一帧超声图像在确定第三取值集合中任意一个BI-RADS信息取值时的权重。

一种可选的实施方式中，根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合，具体可以包括：对于BI-RADS信息集合中的任意一个BI-RADS信息，从超声图像中提取任意一个BI-RADS信息对应的特征向量；当任意一个BI-RADS信息在第一取值集合和第二取值集合中取值相同时，增加任意一个BI-RADS信息对应的特征向量在确定第三取值集合时的权重；当任意一个BI-RADS信息在第一取值集合和第二取值集合中取值不相同时，减小任意一个BI-RADS信息对应的特征向量在确定第三取值集合时的权重。

当BI-RADS信息在第一取值集合和第二取值集合中取值相同时，说明用户对该BI-RADS信息的取值未做修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果一致，应当加强该BI-RADS信息对应的特征向量在确定第三取值集合中的作用；当BI-RADS信息在第一取值集合和第二取值集合中取值不相同时，说明用户对该BI-RADS信息的取值做出了修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果不一致，应当减弱该BI-RADS信息对应的特征向量在确定第三取值集合中的作用。

以BI-RADS信息集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型、血供类型和BI-RADS分级为例，X表示在确定第三取值集合时输入的图像信息特征向量。

X＝w₀x₀+w₁x₁+w₂x₂+w₃x₃+w₄x₄+w₅x₅+w₆x₆+w₇x₇；

其中，x₀为从超声图像中提取的形状类型对应的特征向量，w₀为该特征向量的权重。依次类推，x₁、x₂、x₃、x₄、x₅、x₆和x₇分别为从超声图像中提取的方向类型、边缘类型、回声类型、后方回声类型、钙化类型、血供类型和BI-RADS分级对应的特征向量，w₁～w₇为各个特征向量的权重。本实施例对于特征向量的类型以及具体提取方式不作限制，特征向量例如可以是梯度、灰度共生矩阵等。各个BI-RADS信息对应的特征向量可以是相同类型，也可以采用不同类型的。

假设在获取第一取值集合之后，用户通过输入设备对形状类型、边缘类型和钙化类型的取值进行了修改，对其他BI-RADS信息的取值进行了确认，那么可以通过如下方式调整权重进行加权优化：w′₀＝w₀-Δ；w′₂＝w₂-Δ；w′₅＝w₅-Δ；w′₁＝w₁+Δ；w′₃＝w₃+Δ；w′₄＝w₄+Δ；w′₆＝w₆+Δ；w′₇＝w₇+Δ；X′＝w′₀x₀+w′₁x₁+w′₂x₂+w′₃x₃+w′₄x₄+w′₅x₅+w′₆x₆+w′₇x₇；其中，Δ为权重调整量，可以预先设置，如设置Δ为0.1。可选的，在加权优化之后还可以对权重进行归一化处理。

根据加权优化后的图像信息特征向量X′确定第三取值集合，通过加强那些用户确认的BI-RADS信息所对应的特征向量的作用，减弱那些用户修改的BI-RADS信息所对应的特征向量的作用，提高了第三取值集合的准确性。

在上述任一实施例的基础上，根据第二取值集合和超声图像确定乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合，还可以包括：

当BI-RADS信息在第一取值集合和第二取值集合中取值相同时，说明用户对该BI-RADS信息的取值未做修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果一致，可以加强该BI-RADS信息取值在确定BI-RADS分级中的作用；当BI-RADS信息在第一取值集合和第二取值集合中取值不相同时，说明用户对该BI-RADS信息的取值做出了修改，表明基于超声图像通过智能算法的评估结果与用户基于临床经验的评估结果不一致，可以减弱该BI-RADS信息取值在确定BI-RADS分级中的作用。

仍以BI-RADS信息集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型、血供类型和BI-RADS分级，Y表示在确定第三取值集合时输入的BI-RADS属性特征向量。

Y＝r₀y₀+r₁y₁+r₂y₂+r₃y₃+r₄y₄+r₅y₅+r₆y₆+r₇y₇；

其中，y₀为形状类型在第二取值集合中的取值。依次类推，y₁、y₂、y₃、y₄、y₅、y₆和y₇分别为方向类型、边缘类型、回声类型、后方回声类型、钙化类型、血供类型和BI-RADS分级在第二取值集合中的取值。r₀～r₇为各个BI-RADS信息取值的初始权重。假设用户通过输入设备对形状类型、边缘类型和钙化类型的取值进行了修改，对其他BI-RADS信息的取值进行了确认，那么可以通过如下方式调整权重进行加权优化：r′₀＝r₀-Δ；r′₂＝r₂-Δ；r′₅＝r₅-Δ；r′₁＝r₁+Δ；r′₃＝r₃+Δ；r′₄＝r₄+Δ；r′₆＝r₆+Δ；r′₇＝r₇+Δ；Y′＝r′₀y₀+r′₁y₁+r′₂y₂+r′₃y₃+r′₄y₄+r′₅y₅+r′₆y₆+r′₇y₇；其中，Δ为权重调整量，可以预先设置，如设置Δ为0.1。可选的，在加权优化之后还可以对权重进行归一化处理。

然后根据加权优化后的BI-RADS属性特征向量Y′确定第三取值集合，通过加强那些用户确认的BI-RADS信息取值的作用，减弱那些用户修改的BI-RADS信息取值的作用，提高了第三取值集合的准确性。

上述实施例分别通过对图像信息特征向量X和BI-RADS属性特征向量Y进行加权优化，以提高第三取值集合的准确性。还可以同时对图像信息特征向量X和BI-RADS属性特征向量Y进行加权优化，即可以通过加权优化后的图像信息特征向量X′和加权优化后的BI-RADS属性特征向量Y′确定第三取值集合。例如可以将X′+Y′作为确定第三取值集合的特征向量，其中“+”用于表示两种特征向量的融合，例如可以是特征向量的拼接，本实施例中对于融合方式不作限制。

上述实施例阐述了在乳腺病灶的辅助诊断中结合用户的反馈信息以提高辅助诊断的准确性，下面将结合具体的实施例来阐述在其他病灶中如何结合用户的反馈信息以提高辅助诊断的准确性，例如在甲状腺影像报告和数据系统的分级标准TI-RADS中。请参考图6，图6为本发明另一实施例提供的超声图像处理方法。如图6所示，本实施例提供的超声图像处理方法可以包括：

S601、获取被检者目标组织的超声信号，超声信号包括模拟信号、数字信号、同相正交IQ信号、射频RF信号以及对数压缩和灰度转换后的信号中的至少一种信号。

本实施例中既可以实时获取被检者目标组织的超声信号，也可以读取预先存储在存储介质中的目标组织的超声信号。本实施例中的超声信号可以是模拟信号、数字信号、同相正交IQ信号、射频RF信号以及对数压缩和灰度转换后的信号中的任意一种或者多种。

S602、根据超声信号确定目标组织中病灶的特征集合对应的取值集合，以获得第一特征值集合。

本实施例中可以采用现有相关技术根据超声信号确定目标组织中病灶的特征集合对应的取值集合，例如可以基于人工智能技术根据超声信号确定目标组织中病灶的特征取值，本实施例并不限定具体实现方式。

S603、在显示界面上显示第一特征值集合。

为便于用户查看以及针对第一特征值集合进行修改或确认的操作，可以在显示界面上对第一特征值集合进行显示。

S604、检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合。

用户在查看第一特征值集合之后，若对某个病灶特征的取值存疑时，可以通过输入设备例如鼠标、键盘等对该病灶特征的取值进行修改；若对某个病灶特征的取值认同时，可以通过输入设备例如鼠标、键盘等对该病灶特征的取值进行确认。具体实现时，可以采用下拉菜单、单选框等方式展现各个病灶特征的取值范围供用户修改或确认。

可以理解的是，第二特征值集合不仅可以反映出病灶的超声信号信息，而且可以反映出用户根据临床经验对于病灶的判断信息。

S605、在显示界面上显示第二特征值集合。

为便于用户查看修改或确认之后各个病灶特征的取值，可以在显示界面上显示第二特征值集合。

S606、根据第一特征值集合、第二特征值集合和超声信号确定病灶的特征集合对应的取值集合，以获得第三特征值集合。

在基于超声信号获得第一特征值集合，结合用户的反馈信息与第一特征值集合获得第二特征值集合之后，可以综合第一特征值集合、第二特征值集合和超声信号来确定病灶的特征集合对应的取值集合，以获得第三特征值集合。

S607、在显示界面上显示第三特征值集合。

为便于用户查看病灶特征的最终取值，以便用户根据病灶特征取值进行相应的诊疗操作，可以在显示界面上对病灶的第三特征值集合进行显示。

本实施例提供的超声图像处理方法，通过获取被检者目标组织的超声信号，首先根据超声信号确定目标组织中病灶的特征集合对应的取值集合，以获得第一特征值集合，并在显示界面上显示第一特征值集合；然后检测用户对第一特征值集合修改或确认的操作，以获得第二特征值集合，并在显示界面上显示第二特征值集合；最后根据第一特征值集合、第二特征值集合和超声信号确定病灶的特征集合对应的取值集合，以获得第三特征值集合，并在显示界面上显示第三特征值集合。在确定病灶特征取值时，不仅利用了目标组织的超声信号，而且利用了用户对于病灶的反馈信息，有助于提高病灶特征取值的准确性。

在上述实施例的基础上，根据第一特征值集合、第二特征值集合和超声信号确定病灶的特征集合对应的取值集合，以获得第三特征值集合具体可以包括：

减弱第一特征值集合和第二特征值集合中取值不相同的特征对应的超声信号在确定第三特征值集合时的权重。

当一个病灶特征的取值在第一特征值集合与第二特征值集合中相同时，表明基于超声信号分析得到的病灶取值与医生评估一致，说明该病灶特征的取值及其对应的超声信号是比较靠谱的，加强其在确定第三特征值集合时的权重，有助于提高第三特征值集合的准确性；当一个病灶特征的取值在第一特征值集合与第二特征值集合中不相同时，表明基于超声信号分析得到的病灶取值与医生评估不一致，说明该病灶特征对应的超声信号不靠谱，减弱该病灶特征对应的超声信号在确定第三特征值集合时的权重，有助于提高第三特征值集合的准确性。上述各加权优化的策略既可以单独实施，也可以联合实施。

本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。

另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD-ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。

前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims

1.一种超声图像处理方法，其特征在于，包括：

获取被检者乳腺区域的超声图像；

根据所述超声图像确定所述被检者乳腺区域中乳腺病灶的BI-RADS特征集合对应的取值集合，以获得第一特征值集合；

在显示界面上显示所述第一特征值集合；

检测用户对所述第一特征值集合修改或确认的操作，以获得第二特征值集合；

在显示界面上显示所述第二特征值集合；

根据所述第二特征值集合确定所述乳腺病灶的BI-RADS分级；

在显示界面上显示所述乳腺病灶的BI-RADS分级。

2.如权利要求1所述的方法，其特征在于，所述BI-RADS特征集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型。

3.如权利要求1所述的方法，其特征在于，所述根据所述第二特征值集合确定所述乳腺病灶的BI-RADS分级，包括：

对于所述BI-RADS特征集合中的任意一个BI-RADS特征，从所述超声图像中提取所述任意一个BI-RADS特征对应的特征向量；

当所述任意一个BI-RADS特征在所述第一特征值集合和所述第二特征值集合中取值相同时，增加所述任意一个BI-RADS特征对应的特征向量在确定所述乳腺病灶的BI-RADS分级时的权重；当所述任意一个BI-RADS特征在所述第一特征值集合和所述第二特征值集合中取值不相同时，减小所述任意一个BI-RADS特征对应的特征向量在确定所述乳腺病灶的BI-RADS分级时的权重。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述第二特征值集合确定所述乳腺病灶的BI-RADS分级，包括：

对于所述BI-RADS特征集合中的任意一个BI-RADS特征，当所述任意一个BI-RADS特征的取值在所述第一特征值集合和所述第二特征值集合中取值相同时，增加所述任意一个BI-RADS特征在所述第二特征值集合中的取值在确定所述乳腺病灶的BI-RADS分级时的权重；当所述任意一个BI-RADS特征在所述第一特征值集合和所述第二特征值集合中取值不相同时，减小所述任意一个BI-RADS特征在所述第二特征值集合中的取值在确定所述乳腺病灶的BI-RADS分级时的权重。

5.如权利要求1所述的方法，其特征在于，所述获取被检者乳腺区域的超声图像为多帧超声图像，所述根据所述第二特征集合确定所述乳腺病灶的BI-RADS分级，包括：

当所述多帧超声图像中任意一帧超声图像对应的BI-RADS特征集合的取值集合中任意一个BI-RADS特征的取值与所述第二特征集合中所述任意一个BI-RADS特征的取值相同时，增加所述任意一帧超声图像在确定所述BI-RADS分级中所述任意一个BI-RADS特征取值时的权重；当所述任意一个超声图像对应的BI-RADS特征集合的取值集合中任意一个BI-RADS特征的取值与所述第二特征集合中任意一个BI-RADS特征的取值不相同时，减小所述任意一帧超声图像在确定所述BI-RADS中所述任意一个BI-RADS特征取值时的权重。

6.一种超声图像处理方法，其特征在于，包括：

获取被检者乳腺区域的超声图像；

根据所述超声图像确定所述被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合，其中所述BI-RADS信息集合包括BI-RADS特征集合和BI-RADS分级；

在显示界面上显示所述第一取值集合；

检测用户对所述第一取值集合修改或确认的操作，以获得第二取值集合；

在显示界面上显示所述第二取值集合；

根据所述第二取值集合和所述超声图像确定所述乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合；

在显示界面上显示所述第三取值集合。

7.如权利要求6所述的方法，其特征在于，所述获取被检者乳腺区域的超声图像为多帧超声图像，则所述根据所述超声图像确定所述被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第一取值集合，包括：

对所述多帧超声图像中的任意一帧超声图像进行分析，得到所述任意一帧超声图像对应的BI-RADS信息集合的取值集合；

根据预设策略从所述多帧超声图像对应的BI-RADS信息集合的取值集合获得所述第一取值集合。

8.如权利要求7所述的方法，其特征在于，所述根据所述第二取值集合和所述超声图像确定所述乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合，包括：

当所述任意一帧超声图像对应的BI-RADS信息集合的取值集合中任意一个BI-RADS信息的取值与所述第二取值集合中所述任意一个BI-RADS信息的取值相同时，增加所述任意一帧超声图像在确定所述第三取值集合中所述任意一个BI-RADS信息取值时的权重；当所述任意一个超声图像对应的BI-RADS信息集合的取值集合中任意一个BI-RADS信息的取值与所述第二取值集合中任意一个BI-RADS信息的取值不相同时，减小所述任意一帧超声图像在确定所述第三取值集合中所述任意一个BI-RADS信息取值时的权重。

9.如权利要求6所述的方法，其特征在于，所述根据所述第二取值集合和所述超声图像确定所述乳腺病灶的BI-RADS信息集合对应的取值集合，以获得第三取值集合，包括：

对于所述BI-RADS信息集合中的任意一个BI-RADS信息，从所述超声图像中提取所述任意一个BI-RADS信息对应的特征向量；

当所述任意一个BI-RADS信息在所述第一取值集合和所述第二取值集合中取值相同时，增加所述任意一个BI-RADS信息对应的特征向量在确定所述第三取值集合时的权重；当所述任意一个BI-RADS信息在所述第一取值集合和所述第二取值集合中取值不相同时，减小所述任意一个BI-RADS信息对应的特征向量在确定所述第三取值集合时的权重。

10.如权利要求6-9任一项所述的方法，其特征在于，所述方法还包括：

对于所述BI-RADS信息集合中的任意一个BI-RADS信息，当所述任意一个BI-RADS信息的取值在所述第一取值集合和所述第二取值集合中取值相同时，增加所述任意一个BI-RADS信息在所述第二取值集合中的取值在确定所述第三取值集合时的权重；当所述任意一个BI-RADS信息在所述第一取值集合和所述第二取值集合中取值不相同时，减小所述任意一个BI-RADS信息在所述第二取值集合中的取值在确定所述第三取值集合时的权重。

11.如权利要求6所述的方法，其特征在于，所述根据所述超声图像确定所述被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，包括：

将所述超声图像输入预训练好的感兴趣区域检测模型，以得到所述超声图像的乳腺病灶感兴趣区域，所述感兴趣区域检测模型基于标注了乳腺病灶感兴趣区域的超声图像训练得到，或者

检测操作者对所述超声图像中的乳腺病灶感兴趣区域描迹的操作，以获得所述超声图像的乳腺病灶感兴趣区域；

将所述超声图像的乳腺病灶感兴趣区域输入预训练好的BI-RADS信息识别模型，以得到乳腺病灶的BI-RADS信息集合对应的取值集合，所述BI-RADS信息识别模型基于标注了BI-RADS信息取值的超声图像训练得到。

12.如权利要求6所述的方法，其特征在于，所述根据所述超声图像确定所述被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合，包括：

从所述超声图像中提取乳腺病灶对应的特征向量，所述特征向量包括直方图、灰度共生矩阵特征、SIFT特征和HOG特征中的一种或者多种；

根据所述特征向量确定所述被检者乳腺区域中乳腺病灶的BI-RADS信息集合对应的取值集合。

13.如权利要求6-12任一项所述的方法，其特征在于，所述BI-RADS特征集合包括形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型和血供类型。

14.如权利要求6-12任一项所述的方法，其特征在于，所述检测用户对所述第一取值集合修改或确认的操作之前，所述方法还包括：

在显示界面上以可对比的方式显示所述超声图像和所述第一取值集合。

15.一种超声图像处理方法，其特征在于，包括：

获取被检者目标组织的超声信号，所述超声信号包括模拟信号、数字信号、同相正交IQ信号、射频RF信号以及对数压缩和灰度转换后的信号中的至少一种信号；

根据所述超声信号确定所述目标组织中病灶的特征集合对应的取值集合，以获得第一特征值集合；

在显示界面上显示所述第一特征值集合；

在显示界面上显示所述第二特征值集合；

根据所述第一特征值集合、所述第二特征值集合和所述超声信号确定所述病灶的特征集合对应的取值集合，以获得第三特征值集合；

在显示界面上显示所述第三特征值集合。

16.如权利要求15所述的方法，其特征在于，所述根据所述第一特征值集合、所述第二特征值集合和所述超声信号确定所述病灶的特征集合对应的取值集合，以获得第三特征值集合，包括：

加强所述第一特征值集合和所述第二特征值集合中取值相同的特征及对应的超声信号在确定所述第三特征值集合时的权重；和/或，

减弱所述第一特征值集合和所述第二特征值集合中取值不相同的特征及对应的超声信号在确定所述第三特征值集合时的权重。

17.一种超声成像设备，其特征在于，包括：

超声探头，用于向被检者的目标组织发射超声波，并接收由所述目标组织返回的超声波的回波，基于接收到的超声波的回波输出超声回波信号，所述超声回波信号中携带有所述目标组织的组织结构信息；

发射电路，用于按照设定模式将相应的发射序列输出至所述超声探头，以控制所述超声探头发射相应的超声波；

接收电路，用于接收所述超声探头输出的超声回波信号，输出超声回波数据；

显示器，用于输出可视化信息；

处理器，用于执行如权利要求1-16任一项所述的超声图像处理方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-16任一项所述的超声图像处理方法。