CN110751179A - 病灶信息获取方法、病灶预测模型的训练方法及超声设备 - Google Patents

病灶信息获取方法、病灶预测模型的训练方法及超声设备 Download PDF

Info

Publication number
CN110751179A
CN110751179A CN201910882495.8A CN201910882495A CN110751179A CN 110751179 A CN110751179 A CN 110751179A CN 201910882495 A CN201910882495 A CN 201910882495A CN 110751179 A CN110751179 A CN 110751179A
Authority
CN
China
Prior art keywords
lesion
focus
image
sample
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910882495.8A
Other languages
English (en)
Other versions
CN110751179B (zh
Inventor
张义
赵明昌
甘从贵
过易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN201910882495.8A priority Critical patent/CN110751179B/zh
Publication of CN110751179A publication Critical patent/CN110751179A/zh
Application granted granted Critical
Publication of CN110751179B publication Critical patent/CN110751179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及病灶信息获取方法、病灶预测模型的训练方法及超声设备,其中病灶信息获取方法包括:获取超声图像;基于所述超声图像,利用病灶预测模型预测超声图像中的病灶区域及病灶类别;利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;获取预测出的病灶类别对应的第一目标病灶类别;第一目标病灶区域和第一目标病灶类别为超声图像的病灶信息。对于获取到的超声图像先利用病灶预测模型预测该超声图像中的病灶区域及病灶类别,对病灶信息的获取形成辅助引导,以减轻病灶信息获取的工作量;同时再结合对调节区域及预测出的病灶类别的调节结果(即人工辅助调节),从而可以得到精确的病灶信息。

Description

病灶信息获取方法、病灶预测模型的训练方法及超声设备
技术领域
本发明涉及图像处理技术领域,具体涉及病灶信息获取方法、病灶预测模型的训练方法及超声设备。
背景技术
在医疗诊断过程中,采用人工智能方法进行医疗辅助诊断是常用的手段之一。对于该方法而言,大量训练及病灶数据的获取是必要的前提。由于医疗数据的专业性,病灶信息的获取通常只能依赖医疗从业人员进行标注。目前常采用的标注方法为集中收集样本数据之后,由医疗从业人员集中标注。
虽然该方法能够解决病灶信息的获取问题,但是由于是人工实现标注,标注工作量较大,导致病灶信息的获取效率低;且人工标注又取决于对应人员的经验,会出现病灶信息获取错误、所获取到的病灶区域过大或过小等病灶信息不精确的问题。
发明内容
有鉴于此,本发明实施例提供了一种病灶信息获取方法、病灶预测模型的训练方法及超声设备,以解决现有病灶信息获取方法所导致的病灶信息获取效率低且不精确的问题。
根据第一方面,本发明实施例提供了一种病灶信息获取方法,包括:
获取超声图像;
基于所述超声图像,利用病灶预测模型预测所述超声图像中的病灶区域及病灶类别;
利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;
获取预测出的病灶类别对应的第一目标病灶类别;其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息。
本发明实施例提供的病灶信息获取方法,对于获取到的超声图像先利用病灶预测模型预测该超声图像中的病灶区域及病灶类别,对病灶信息的获取形成辅助引导,以减轻病灶信息获取的工作量;同时再结合对调节区域及预测出的病灶类别的调节结果(即人工辅助调节),从而可以得到精确的病灶区域及病灶类别,即精确的病灶信息。
结合第一方面,在第一方面第一实施方式中,还包括:
根据所述第一目标病灶区域及所述第一目标病灶类别,以及预测出的病灶区域及病灶类别,确定所述超声图像的样本重采样权重;其中,所述超声图像的样本重采样权重用于在其大于权重阈值时,在超声图像数据集中进行相似性匹配,得到相似超声图像,并对所述相似超声图像的病灶区域及病灶类型进行更新,以得到更新后的所述超声图像数据集;所述病灶预测模型是采用所述超声图像数据集训练得到的。
本发明实施例提供的病灶信息获取方法,由于样本重采样权重表示的是预测结果与病灶信息之间的误差,误差越大该样本重采样权重就越大,误差越小该样本重采样权重就越小;其中,在样本重采样权重大于权重阈值时,表示预测结果与病灶信息相差较大,仅在误差较大的情况下进行相近匹配,能够减少计算量,进一步提高病灶信息的获取效率。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述根据所述第一目标病灶区域及所述第一目标病灶类别,以及预测出的病灶区域及病灶类别,确定所述超声图像的样本重采样权重,包括:
计算预测出的病灶区域与第一目标病灶区域的交并比;
利用所述交并比确定所述超声图像的位置调整重采样权重;
基于所述第一目标病灶类别以及预测出的病灶类别是否相同,确定所述超声图像的类别调整重采样权重;
利用所述位置调整重采样权重以及所述类别调整重采样权重,计算所述超声图像的样本重采样权重。
本发明实施例提供的病灶信息获取方法,通过将样本重采样权重划分为位置调整重采样权重以及类别重采样权重,从区域大小以及类别两个方面确定样本重采样权重,以保证确定出的样本重采样权重的可靠性。
结合第一方面第二实施方式,在第一方面第三实施方式中,采用如下公式计算所述位置调整重采样权重:
位置调整重采样权重=(1-IOU)*C1+C2;
IOU=(S1∩S2)/(S1∪S2);
其中,C1、C2分别为第一常数以及第二常数且C1>C2;IOU为预测出的病灶区域与第一目标病灶区域的交并比;S1为预测出的病灶区域的面积,S2为第一目标病灶区域的面积。
结合第一方面第三实施方式,在第一方面第四实施方式中,所述基于所述第一目标病灶类别以及预测出的病灶类别是否相同,确定所述超声图像的类别调整重采样权重,包括:
当所述第一目标病灶类别与预测出的病灶类别相同时,所述类别调整重采样权重为所述第二常数;
当所述第一目标病灶类别与预测出的病灶类别不同时,所述类别调整重采样权重为所述第一常数与所述第二常数之和。
本发明实施例提供的病灶信息获取方法,将用于计算位置调整重采样权重中的常数,与计算类别调整重采样权重中的常数关联,使得两者为具有关联关系的调整权重,以保证重采样权重调整的可靠性。
结合第一方面,或第一方面第一实施方式至第四实施方式中任一项,在第一方面第五实施方式中,所述方法还包括:
获取超声图像数据集;其中,所述病灶预测模型是采用所述超声图像数据集训练得到的;
利用所述超声图像,在所述超声图像数据集中进行相似性匹配,以得到相似超声图像;其中,所述相似超声图像包括病灶区域及病灶类别;
确定与所述相似超声图像的病灶区域对应的第二目标病灶区域;
获取所述相似超声图像的病灶类别对应的第二目标病灶类别;其中,所述第二目标病灶区域和所述第二目标病灶类别为所述相似超声图像的病灶信息;
将带病灶信息的超声图像以及带病灶信息的相似超声图像加入所述超声图像数据集,以得到更新后的超声图像数据集。
本发明实施例提供的病灶信息获取方法,通过在超声图像数据集中与超声图像进行相似性匹配,可以得到相似超声图像,以进一步修正超声图像数据集中的以往数据,提高了病灶信息获取的精度。
根据第二方面,本发明实施例还提供了一种病灶预测模型的训练方法,包括:
获取超声样本图像;
将所述超声样本图像输入病灶预测模型中,以预测所述超声样本图像中的病灶区域及病灶类别;
利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;
获取预测出的病灶类别对应的第一目标病灶类别;其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息;
根据所述超声样本图像的病灶信息,以及预测出的病灶区域及病灶类别,确定所述超声样本图像的样本重采样权重;其中,所述样本重采样权重用于表示在病灶预测模型的训练中所述样本重采样权重对应超声样本图像的使用次数;
基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
本发明实施例提供的病灶预测模型的训练方法,在训练过程中利用所获取到的病灶信息结果与预测结果之间的误差(即,样本重采样权重),充分挖掘病灶信息的价值,对已有的病灶预测模型进行最大限度的修正,提升了病灶预测模型的预测准确性。
结合第三方面,在第三方面第一实施方式中,所述基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数,包括:
获取超声图像数据集,并将带病灶信息的超声样本图像加入所述超声图像数据集,以得到更新后的超声图像数据集;其中,所述病灶预测模型是利用所述超声图像数据集训练得到的;
利用所述超声样本图像的样本重采样权重以及更新后的超声图像数据集,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
本发明实施例提供的病灶预测模型的训练方法,将新获得的且带病灶信息的超声样本图像加入超声图像数据集中,再利用超声样本图像对应的样本重采样权重对病灶预测模型进行训练;具体地,由于样本重采样权重表示的是在训练过程中该超声样本图像被使用的次数,而样本重采样权重与误差(病灶信息与预测结果之间的误差)成正比,误差越大表示该病灶预测模型对于该超声样本图像的预测准确性越低,因此在训练过程中利用该超声样本图像对应的样本重采样权重对超声样本图像进行重采样,以保证病灶预测模型能够对于该超声样本图像进行强化学习,以提高更新后病灶预测模型的预测准确性。
结合第三方面,在第三方面第二实施方式中,所述基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数,包括:,包括:
获取超声图像数据集;其中,所述病灶预测模型是利用所述超声图像数据集训练得到的;
利用所述超声样本图像,在所述超声图像数据集中进行相似性匹配,以得到相似超声样本图像;其中,所述相似超声样本图像包括病灶区域及病灶类别;
确定与所述相似超声样本图像的病灶区域对应的第二目标病灶区域;
获取预测出的病灶类别对应的第二目标病灶类别;其中,所述第二目标病灶区域以及所述第二目标病灶类别为所述相似超声样本图像的病灶信息;
根据所述相似超声样本图像对应的第二目标病灶区域及第二目标病灶类别,以及预测出的病灶区域及病灶类别,确定所述相似超声样本图像的样本重采样权重;
将带病灶信息的超声样本图像,以及带病灶信息的相似超声样本图像加入所述超声图像数据集,以得到更新后的超声图像数据集;
利用所述超声样本图像的样本重采样权重、所述相似超声样本图像的样本重采样权重以及更新后的超声图像数据集,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
本发明实施例提供的病灶预测模型的训练方法,将带病灶信息的超声样本图像,以及带病灶信息的相似超声样本图像加入超声图像数据集中,且利用各自对应的样本重采样权重对病灶预测模型进行训练,能够实现病灶预测模型对超声图像以及相似样本图像的强化学习,从而可以提高更新后的病灶预测模型的预测准确性。
结合第三方面第二实施方式,在第三方面第三实施方式中,所述利用所述超声样本图像,在所述超声图像数据集中进行相似性匹配,以得到相似超声样本图像的步骤之前,还包括:
判断所述超声样本图像的样本重采样权重是否大于权重阈值;
当所述超声样本图像的样本重采样权重大于权重阈值时,执行所述利用所述超声样本图像,在所述超声图像数据集中进行相似性匹配的步骤。
根据第三方面,本发明实施例还提供了一种超声设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明第一方面,或第一方面任一项实施方式,或第二方面中所述的病灶信息获取方法,或本发明第一方面,或第一方面任一项实施方式中所述的病灶预测模型的训练方法。
根据第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行本发明第一方面,或第一方面任一项实施方式,或第二方面中所述的病灶信息获取方法,或本发明第一方面,或第一方面任一项实施方式中所述的病灶预测模型的训练方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的病灶信息获取方法的流程图;
图2是根据本发明实施例的病灶信息获取方法的流程图;
图3是根据本发明实施例的病灶信息获取方法的流程图;
图4是根据本发明实施例的病灶预测模型的训练方法的流程图;
图5是根据本发明实施例的病灶预测模型的训练方法的流程图;
图6是根据本发明实施例的病灶预测模型的训练方法的具体示意的流程图;
图7是根据本发明实施例的病灶信息获取装置的结构框图;
图8是根据本发明实施例的病灶预测模型的训练装置的结构框图;
图9是本发明实施例提供的超声设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例提供的病灶信息获取方法,是用于获取超声图像中的病灶信息,即病灶区域及其类别。具体地,在获得超声图像之后,将超声图像输入事先训练好的病灶预测模型中,以预测出该超声图像中的病灶区域及其病灶类别,再结合预测结果的更新,以形成病灶信息(也可以在获得病灶信息之后,标注出该超声图像的病灶区域及其病灶类别)。其中,对预测结果的更新可以是医疗从业人员手动进行的,也可以是其他算法或方式进行的,在此对预测结果的更新方式并不做任何限制,只需保证其能够实现对预测结果的更新,以获得更为精确的病灶信息。
进一步地,利用超声图像在超声图像数据集中进行相似样本的匹配,以得到相似超声图像,由于该相似超声图像之前已经形成有病灶信息(即,病灶区域及其病灶类别),再结合对病灶信息的更新,实现对相似超声图像中的病灶信息进行更新,以形成更新后的病灶信息。其中,对病灶信息的更新方式可以参见上文中对预测结果的更新的描述。
再进一步地,在进行相似样本图像的匹配之前,可以利用超声图像的病灶信息与预测结果之间的误差形成样本重采样权重,在样本重采样权重大于样本阈值时,才会进行相似样本图像的匹配,从而可以减少计算量,提高病灶信息的获取效率。
本发明实施例还提供了一种病灶预测模型的训练方法,其中关于该病灶预测模型中超声图像的病灶信息获取方法可以参见上文所述的病灶信息获取方法。具体地,采用实现训练好的模型对超声图像进行预测,输出预测结果,再医疗从业人员对预测结果进行更新。对于输出的预测结果与医疗从业人员更新后的病灶信息进行比对得到误差,根据误差大小形成对应的样本重采样权重,误差越大样本重采样权重越大。同时将带病灶信息的超声图像加入以往训练数据以形成新数据集,并利用对应的样本重采样权重对新加入数据进行重采样。对于以往数据集中的数据,根据新加入的超声图像在以往数据集进行搜索,以得到相似超声图像,并对相似超声图像的病灶信息进行二次检查,对检查后重新调节病灶信息,以得到相似超声图像的样本重采样权重,对病灶预测模型进行重采样训练。
关于上述的病灶信息获取方法以及病灶预测模型的训练方法,在下文中将进行详细描述。
根据本发明实施例,提供了一种病灶信息获取方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种病灶信息获取方法,可用于超声设备,图1是根据本发明实施例的病灶信息获取方法的流程图,如图1所示,该流程包括如下步骤:
S11,获取超声图像。
超声图像可以是超声设备采集的,也可以是之前采集并存储在本地硬盘或者云平台等存储设备上的。在此对超声图像的来源并不做任何限制,只需保证在病灶信息获取时能够获取到超声图像即可。
S12,基于超声图像,利用病灶预测模型预测超声图像中的病灶区域及病灶类别。
其中,所述的病灶预测模型是事先已经训练好的模型,该模型的输入为超声图像,输出包括该超声图像中病灶区域及对应区域的病灶类别。
可选地,病灶预测模型可以采用Faster RCNN模型,还可以是RetinaNet、SSD、YOLO、Cascade RCNN、CornerNet、CenterNet、ExtremeNet、RepPoints等等,对预测得到的病灶区域的形状不作具体限制。
具体地,超声设备利用病灶预测模型对获得的超声图像中的病灶区域及病灶类别进行预测,以得到病灶区域及相应的病灶类别。
S13,利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域。
超声设备预测出超声图像中病灶区域之后,可以形成与预测出的病灶区域对应的第一调节区域,所述的第一调节区域理解为将预测出的病灶区域替换为一个可调节的区域,例如一个可调节的矩形框;在形成第一调节区域之后,可以是医疗从业人员就对该第一调节区域进行调节,也可以采用其他算法对其进行调节等等,以得到第一目标病灶区域。例如,当医疗从业人员对其进行更新时,第一调节区域为可调节的矩形框时,医疗从业人员可以利用鼠标对该矩形框的大小或位置进行调节。即,对于超声图像而言,首先利用病灶预测模型预测出超声图像中的病灶区域,以形成辅助引导;再结合医疗从业人员对预测结果的调节,就可以得到较为准确的第一目标病灶区域。
其中,可以利用病灶区域的坐标确定与其对应的第一调节区域;也可以是在S12中直接标注出所预测的病灶区域,再提取出标注框,以形成与之对应的第一调节区域等等。在此,对第一调节区域的形成过程并不做任何限制。
超声设备预测出超声图像中病灶区域之后,也可以是在预测出的病灶区域的基础上,再结合医疗从业人员或其他算法对预测出的病灶区域进行更新,以形成与其对应的第一目标病灶区域。
S14,获取预测出的病灶类别对应的第一目标病灶类别。
其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息。
超声设备预测出超声图像中病灶区域对应的病灶类型之后,可以结合医疗从业人员或其他算法对病灶类型进行更新等等。
对预测出的病灶区域及病灶类型的更新,可以采用相同的方式,也可以采用不同的方式。例如,对预测出的病灶区域的更新是由医疗从业人员进行的,对预测出的病灶类别的更新是由其他算法进行的等等。
需要说明的是,上述S13和S14两个步骤之间并没有先后顺序关系,可以是先执行S13,再执行S14;也可以是先执行S14再执行S13;或者,S13与S14同时执行。
此外,可选地,在超声设备在获得超声图像的病灶信息之后,可以在超声图像上将病灶信息标注出来,以形成超声图像的标注信息,用于后续的展示或其他用途。
本实施例提供的病灶信息获取方法,对于获取到的超声图像先利用病灶预测模型预测该超声图像中的病灶区域及病灶类别,对病灶信息的获取形成辅助引导,以减轻病灶信息获取的工作量;同时再结合对调节区域及预测出的病灶类别的调节结果(即人工辅助调节),从而可以得到精确的病灶区域及病灶类别,即精确的病灶信息。
在本实施例中提供了一种病灶信息获取方法,可用于超声设备,图2是根据本发明实施例的病灶信息获取方法的流程图,如图2所示,该流程包括如下步骤:
S21,获取超声图像。
详细请参见图1所示实施例的S11,在此不再赘述。
S22,基于超声图像,利用病灶预测模型预测超声图像中的病灶区域及病灶类别。
详细请参见图1所示实施例的S12,在此不再赘述。
S23,利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域。
详细请参见图1所示实施例的S13,在此不再赘述。
S24,获取预测出的病灶类别对应的第一目标病灶类别。
其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息。
详细请参见图1所示实施例的S14,在此不再赘述。
S25,获取超声图像数据集。
其中,所述病灶预测模型是采用超声图像数据集训练得到的。超声图像数据集包括若干带有病灶信息的超声图像,所述的病灶信息即超声图像中的病灶区域及其病灶类别。其中,超声图像数据集可以是超声设备从外界获取到的,也可以是实现存储在存储设备中的,在此对其获取方式并不做任何限制。
S26,利用超声图像,在超声图像数据集中进行相似性匹配,以得到相似超声图像。
其中,所述相似超声图像包括病灶区域及病灶类别。
超声设备可以利用匹配算法计算两个图像的相似度,即依次从超声图像数据集中提取超声图像,采用匹配算法依次计算超声图像与提取出的超声图像之间的相似度。
例如,匹配算法可以采用Siamese Network,该算法的输入是超声图像与提取出的超声图像,以及对应的类别标签,输出为所输入的两幅图像的相似度。即,输入为(X1,X2,Y),其中,X1为超声图像,X2为超声图像数据集中的任一超声图像,Y为类别标签,当X1与X2的病灶区域属于同一病灶类别,则Y=0,否则,Y=1;输出为两幅图像的相似度。
超声设备在得到两幅图像的相似度之后,可以利用预设的相似度阈值,在超声图像数据集中查询到对应的相似超声图像。
可选地,匹配算法还可以采用分类算法,如ResNet,VGG,DenseNet等等。
S27,确定与相似超声图像的病灶区域对应的第二目标病灶区域。
其中,第二目标病灶区域的确定可以参见图1所示实施例中S13的描述。与S13不同的是,S27中的第二目标病灶区域是与相似超声图像的病灶区域对应的,而S13中的第一目标病灶区域是与超声图像的预测出的病灶区域对应的。
S28,获取相似超声图像的病灶类别对应的第二目标病灶类别。
其中,所述第二目标病灶区域和所述第二目标病灶类别为所述相似超声图像的病灶信息。
其中,第二目标病灶类别的确定可以参见图1所示实施例中S14的描述。与S14不同的是,S28中的第二目标病灶类别是与相似超声图像的病灶类别对应的,而S14中的第一目标病灶类别是与超声图像的预测出的病灶类别对应的。
S29,将带病灶信息的超声图像以及带病灶信息的相似超声图像加入超声图像数据集,以得到更新后的超声图像数据集。
超声设备对超声图像数据集进行更新,更新后的超声图像数据集中的超声图像以及相似超声图像的病灶信息较为准确,可以用于后续对病灶预测模型参数的更新,以便获得预测准确性更高的病灶预测模型。
本实施例提供的病灶信息获取方法,通过在超声图像数据集中与超声图像进行相似性匹配,可以得到相似超声图像,以进一步修正超声图像数据集中的以往数据,提高了病灶信息的精度。
在本实施例中提供了一种病灶信息获取方法,可用于超声设备,图3是根据本发明实施例的病灶信息获取方法的流程图,如图3所示,该流程包括如下步骤:
S301,获取超声图像。
详细请参见图2所示实施例的S21,在此不再赘述。
S302,基于超声图像,利用病灶预测模型预测超声图像中的病灶区域及病灶类别。
详细请参见图2所示实施例的S22,在此不再赘述。
S303,利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域。
请参见图2所示实施例的S23,在此不再赘述。
S304,获取预测出的病灶类别对应的第一目标病灶类别。
其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息。
请参见图2所示实施例的S24,在此不再赘述。
S305,获取超声图像数据集。
其中,所述病灶预测模型是采用超声图像数据集训练得到的。其余请参见图2所示实施例的S25,在此不再赘述。
S306,根据第一目标病灶区域及第一目标病灶类别,以及预测出的病灶区域及病灶类别,确定超声图像的样本重采样权重。
样本重采样权重用于反应预测结果与病灶信息之间的误差,其中误差越大,对应的样本重采样权重越大;误差越小,对应的样本重采样权重越小。
由于不论是预测结果还是病灶,均包括两部分:病灶区域以及病灶类别。因此,对应的样本重采样权重也可以包括对应于病灶区域的位置调整重采样权重,以及对应于病灶类别的类别调整重采样权重。
其中,位置调整重采样权重,用于表示预测出的病灶区域与第一目标病灶区域之间的误差;类别调整重采样权重,用于表示预测出的病灶类别与第一目标病灶类别之间的误差。
具体地,关于样本重采样权重的确定方式,即上述S306可以包括以下步骤:
S3061,计算预测出的病灶区域与第一目标病灶区域的交并比。
超声设备利用病灶预测模型预测出病灶区域,在得到预测结果之后相应的病灶区域的面积即确定;同样地,超声设备获得第一目标病灶区域之后相应的病灶区域的面积也就确定。
其中,采用S1表示预测出的病灶区域的面积,S2表示对应的第一目标病灶区域的面积,这两者的交并比可以采用如下公式表示:
IOU=(S1∩S2)/(S1∪S2)。
其中,IOU为预测出的病灶区域与第一目标病灶区域的交并比。
S3062,利用交并比确定超声图像的位置调整重采样权重。
关于位置调整重采样权重,可以直接利用交并比作为位置调整重采样权重,也可以是在交并比的基础上乘以相应的系数之后作为位置调整重采样权重,或者,也可以采用如下公式表示位置重采样权重:
位置调整重采样权重=(1-IOU)*C1+C2;
其中,C1、C2分别为第一常数以及第二常数且C1>C2。
S3063,基于第一目标病灶类别以及预测出的病灶类别是否相同,确定超声图像的类别调整重采样权重。
对于类别调整而言,只有两种情况:类别调整,以及类别不调整,相应地类别调整重采样权重可以采用两个常数中的一种表示,即,当第一目标病灶类别与预测出的病灶类别相同时,表示此时病灶类别未调整,可以将类别调整重采样权重设置为常数a;当第一目标病灶类别与预测出的病灶类别不同时,表示此时病灶类别调整,可以将类别调整重采样权重设置为常数b。
进一步可选地,可以将类别调整重采样权重的设置与位置调整重采样权重的设置进行关联。具体地,当第一目标病灶类别与预测出的病灶类别相同时,类别调整重采样权重为第二常数(即,C2);当第一目标病灶类别与预测出的病灶类别不同时,类别调整重采样权重为第一常数与所述第二常数之和(即,C1+C2)。
将用于计算位置调整重采样权重中的常数,与计算类别调整重采样权重中的常数关联,使得两者为具有关联关系的调整权重,以保证重采样权重调整的可靠性。
S3064,利用位置调整重采样权重以及类别调整重采样权重,计算超声图像的样本重采样权重。
样本重采样权重可以为位置调整重采样权重与类别调整重采样权重之和,也可以为两者的平均值,或者也可以采用其他方式计算样本重采样权重。
在此对样本重采样权重的计算方式并不做任何限制,只需保证样本重采样权重的计算结果是取决于位置调整重采样权重以及类别调整重采样权重的即可。
此处计算得到的样本重采样权重可以用于后续训练病灶预测模型,也可以用于确定是否需要从超声图像数据集中进行相似样本的匹配。
S307,判断超声图像的样本重采样权重是否大于权重阈值。
当超声图像的样本重采样权重大于权重阈值时,执行S308;否则,执行S301。
由于超声图像的样本重采样权重是用于反映获得的病灶信息与预测结果的误差,其数值越大表示误差越大。当超声图像的样本重采样权重大于权重阈值时,可以认为此时预测结果的误差较大;那么相应地,可以认为该病灶预测模型在超声图像数据集中与该超声图像相似的超声图像的预测结果同样是误差较大的,因此,当超声图像的样本重采样权重大于权重阈值时,执行S308,即在超声图像数据集中进行相似性匹配。否则,继续执行S301,再次获取到超声图像。
其中,权重阈值大于零,且可以根据实际情况进行具体设置,在此对其并不做任何限制。
S308,利用超声图像,在超声图像数据集中进行相似性匹配,以得到相似超声图像。
其中,所述相似超声图像包括病灶区域及病灶类别。
详细请参见图2所示实施例的S26,在此不再赘述。
S309,确定与相似超声图像的病灶区域对应的第二目标病灶区域。
详细请参见图2所示实施例的S27,在此不再赘述。
S310,获取相似超声图像的病灶类别对应的第二目标病灶类别。
其中,所述第二目标病灶区域和所述第二目标病灶类别为所述相似超声图像的病灶信息。
详细请参见图2所示实施例的S28,在此不再赘述。
S311,将带病灶信息的超声图像以及带病灶信息的相似超声图像加入超声图像数据集,以得到更新后的超声图像数据集。
本实施例提供的病灶信息获取方法,由于样本重采样权重表示的是预测结果与所获得的病灶信息之间的误差,误差越大该样本重采样权重就越大,误差越小该样本重采样权重就越小;其中,在样本重采样权重大于权重阈值时,表示预测结果与所获得的病灶信息相差较大,仅在误差较大的情况下进行相近匹配,能够减少计算量,进一步提高病灶信息获取的效率。
根据本发明实施例,提供了一种病灶预测模型的训练方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种病灶预测模型的训练方法,可用于超声设备,图4是根据本发明实施例的病灶预测模型的训练方法的流程图,如图4所示,该流程包括如下步骤:
S41,获取超声样本图像。
详细请参见图1所示实施例的S11,在此不再赘述。
S42,将超声样本图像输入病灶预测模型中,以预测超声样本图像中的病灶区域及病灶类别。
详细请参见图1所示实施例的S12,在此不再赘述。
S43,利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域。
详细请参见图1所示实施例的S13,在此不再赘述。
S44,获取预测出的病灶类别对应的第一目标病灶类别。
其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声样本图像的病灶信息。
详细请参见图1所示实施例的S14,在此不再赘述。
S45,根据超声样本图像的病灶信息,以及预测出的病灶区域及病灶类别,确定超声样本图像的样本重采样权重。
其中,所述样本重采样权重用于表示在病灶预测模型的训练中所述样本重采样权重对应超声样本图像的使用次数。
如上文所示,样本重采样权重反应的是病灶信息与预测结果的误差。关于样本重采样权重的确定方式请参见图3所示实施例的S306,在此不再赘述。
S46,基于超声样本图像的样本重采样权重,训练病灶预测模型,以更新病灶预测模型的参数。
由于样本重采样权重用于表示在病灶预测模型的训练中样本重采样权重对应样本图像的使用次数,就可以理解为,在病灶预测模型的训练过程中,该超声样本图像的使用次数为对应的样本重采样权重。
若仅仅考虑超声样本图像的话,可以将带病灶信息的超声样本图像加入超声图像数据集中,以更新超声图像数据集;然后,利用更新后的超声图像数据集对病灶预测模型进行训练,其中,在训练过程中对超声样本图像进行重采样,对应的次数为样本重采样权重。
若如上文所述,还需利用超声样本图像从超声图像数据集中匹配相似超声样本图像的话,那么可以将带病灶信息的超声样本图像,以及带病灶信息的相似超声样本图像一起加入超声图像数据集中,以更新超声图像数据集;然后,利用更新后的超声图像数据集对病灶预测模型进行训练,其中,在训练过程中对超声样本图像以及相似超声样本图像进行重采样,相应的次数为各自对应的样本重采样权重;即,超声图像的重采样次数为超声样本图像的样本重采样权重,相似超声样本图像的重采样次数为相似超声样本图像的样本重采样权重。
具体地,以仅考虑超声图像为例,S46包括以下步骤:
(1)获取超声图像数据集,并将带病灶信息的超声样本图像加入超声图像数据集,以得到更新后的超声图像数据集。
其中,所述病灶预测模型是利用超声图像数据集训练得到的。
超声设备首先获取到超声图像数据集,该超声图像数据集可以用于训练病灶预测模型。然后,将S44中得到的带病灶信息的超声样本图像加入到该超声图像数据集中,以更新超声图像数据集。
(2)利用超声样本图像的样本重采样权重以及更新后的超声图像数据集,训练病灶预测模型,以更新病灶预测模型的参数。
超声设备在得到更新后的超声图像数据集之后,利用该数据集对病灶预测模型进行训练,在训练过程中,对于超声样本图像的重采样次数为超声样板图像的样本重采样权重。也可以理解为,在将超声图像数据集中加入超声样本图像时,可以将超声样本图像复制以得到与样本重采样权重相同数量的超声样本图像,即,超声图像数据集中的图像除了包括原有的图像以外,还包括有与样本重采样权重相同数量的超声样本图像。
超声设备利用更新后的超声图像数据集对病灶预测模型进行训练,以更新病灶预测模型的参数。其中,具体的训练方法可以采用强化学习的方法,或者采用反向传播算法等等,在此对其具体训练方法并不做任何限定,只需保证所采用的超声图像数据集是本实施例中所示的方法得到的即可。
本实施例提供的病灶预测模型的训练方法,在训练过程中利用获得的病灶信息与预测结果之间的误差(即,样本重采样权重),充分挖掘病灶信息的价值,对已有的病灶预测模型进行最大限度的修正,提升了病灶预测模型的预测准确性。
本实施例还提供了一种病灶预测模型的训练方法,可用于超声设备,图5是根据本发明实施例的病灶预测模型的训练方法的流程图,如图5所示,该流程包括如下步骤:
S51,获取超声样本图像。
详细请参见图4所示实施例的S41,在此不再赘述。
S52,将超声样本图像输入病灶预测模型中,以预测超声样本图像中的病灶区域及病灶类别。
详细请参见图4所示实施例的S42,在此不再赘述。
S53,利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域。
详细请参见图4所示实施例的S43,在此不再赘述。
S54,获取预测出的病灶类别对应的第一目标病灶类别。
其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声样本图像的病灶信息。
详细请参见图4所示实施例的S44,在此不再赘述。
S55,根据超声样本图像的病灶信息,以及预测出的病灶区域及病灶类别,确定超声样本图像的样本重采样权重。
其中,所述样本重采样权重用于表示在病灶预测模型的训练中所述样本重采样权重对应超声样本图像的使用次数。
详细请参见图4所示实施例的S45,在此不再赘述。
S56,基于超声样本图像的样本重采样权重,训练病灶预测模型,以更新病灶预测模型的参数。
在本实施例中病灶预测模型的训练中,所涉及到的样本重采样权重包括对应于超声样本图像的样本重采样权重,以及对应于相似超声样本图像的样本重采样权重。具体地,上述S56包括以下步骤:
S561,获取超声图像数据集。
详细请参见图2所示实施例的S25,在此不再赘述。
S562,利用超声样本图像,在超声图像数据集中进行相似性匹配,以得到相似超声样本图像。
其中,所述相似超声样本图像包括病灶区域及病灶类别。
详细请参见图2所示实施例的S26,在此不再赘述。
S563,确定与相似超声样本图像的病灶区域对应的第二目标病灶区域。
详细请参见图2所示实施例的S27,在此不再赘述。
S564,获取相似超声样本图像的病灶类别对应的第二目标病灶类别。
其中,所述第二目标病灶区域和所述第二目标病灶类别为所述相似超声样本图像的病灶信息。
详细请参见图2所示实施例的S28,在此不再赘述。
S565,根据相似超声样本图像对应的第二目标病灶区域及第二目标病灶类别,以及预测出的病灶区域及病灶类别,确定相似超声样本图像的样本重采样权重。
关于相似超声样本图像的样本重采样权重的确定方式与超声样本图像的样本重采样权重的确定方式相同,不同的是,病灶信息以及预测结果对应的是相似超声图像。具体可以参见图3所示实施例的S306,在此不再赘述。
S566,将带病灶信息的超声样本图像,以及带病灶信息的相似超声样本图像加入超声图像数据集,以得到更新后的超声图像数据集。
S567,利用超声样本图像的样本重采样权重、相似超声样本图像的样本重采样权重以及更新后的超声图像数据集,训练病灶预测模型,以更新病灶预测模型的参数。
在训练过程中,对于超声样本图像的重采样次数为其对应的样本重采样权重,对于相似超声样本图像的重采样次数为其对应的样本重采样权重。那么,在利用更新后的超声图像数据集进行病灶预测模型的训练时,该数据集中除超声样本图像以及相似超声样本图像以外的图像均可以采样一次,而超声样本图像以及相似超声样本图像的采样此处如上所述。
作为本实施例的一种可选实施方式,在S562之前,还包括:判断超声样本图像的样本重采样权重是否大于权重阈值。
超声设备将超声样本图像的样本重采样权重与权重阈值进行比较,当超声样本图像的样本重采样权重大于权重阈值时,执行S562,即在这种情况下才进行相似超声样本图像的匹配;否则,可以直接利用超声样本图像以及超声图像数据集对病灶预测模型进行训练,或返回S51,继续获取超声样本图像等等。
其中,权重阈值大于零,且可以根据实际情况进行具体设置,在此对其并不做任何限制。
作为本实施例的一个具体应用实例,图6示出了病灶预测模型的训练方法,具体地,包括以下步骤:
(1)获取超声样本图像。
该图像可以是当前超声设备采集,也可以是之前采集存储于本地硬盘或者云平台等存储设备上的超声样本图像。
(2)基于所获得到的超声样本图像,采用病灶预测模型进行病灶区域预测及相关区域病灶类型分类。
病灶区域的检测分类,可以采用的模型较多,这里采用Faster RCNN模型。
该模型前期训练时,需要提供带病灶信息的数据,其中模型输入包括采集的图像数据,以及该图像的病灶区域坐标及对应病灶区域类别(例如,在一张图像上标注乳腺恶性,又例如,在一张图像上标注出多个病灶区域类别),模型输出包括矩形检测区域坐标及对应区域病灶类别。
(3)医疗从业人员对预测出的病灶区域或者类别进行调整
对于模型预测的矩形区域或者类别,有可能存在较大类别差异。为方便医疗从业人员调整,矩形框可以用鼠标随意调整位置及大小,同时预测类别信息也可以根据医疗从业人员判断进行更改。对于矩形区域位置调整,通过交并比(IOU)来确定位置调整重采样权重。
位置调整重采样权重计算公式如下:
位置调整重采样权重=(1-IOU)*9+1
其中,所述重叠度(IOU)表示模型预测出的病灶区域S1与目标病灶区域S2的相交面积S3占模型预测区域S1与调整后区域S2的比值,IOU=(S1∩S2)/(S1∪S2)。
对于类别调整重采样权重,依据是否更改类别来计算,如果预测类别错误,医疗从业人员进行更改,则类别调整重采样权重为10,如果没有调整则类别重采样权重为1。
最终样本重采样权重计算公式为:
样本重采样权重=(位置调整重采样权重+类别调整重采样权重)/2
(4)对超声图像数据集进行调整
(4-1)训练集调整判断
对于未进行类别调整,IOU大于70%的新样本(例如,当样本重采样权重小于2.35),不进行超声图像数据集中相似样本调整。当然,可以根据实际的情况确定相似样本调整处理所对应的样本重采样权重进行不同的设定。
(4-2)相似样本调整处理
对于样本重采样权重大于2.35的新样本,需要在以往训练集中进行相似性匹配,对于匹配出来的以往训练样本进行重新判断,判断其是否需要进行二次病灶信息修正。本实施例中所使用的匹配算法为Siamese Network。
该算法输入是两张样本图像及对应的类别标签,输出为输入两张图像的相似度。通过在超声图像数据集上选择部分可靠数据集作为训练样本训练该网络模型,然后在训练好的网络模型,输入需要查找相似样本的新样本数据(例如,X1为样本重采样权重大于2.35的新样本,X2为超声图像数据集中的任一超声图像),输出为图像相似度。根据预设的相似度阈值,查找到对应相似超声样本图像,然后医疗从业人员对相似超声图像的病灶信息进行校正,对于校正后的相似超声图像,其重采样权重计算方法与(3)中计算方法一致。
(5)病灶预测模型重新训练
将超声图像数据集与校正后的图像(包括校正后的超声样本图像以及校正后的相似超声样本图像)一起作为训练集,并对校正后的超声图像,依据重采样权重进行采样,对检测模型进行训练。
以上过程一直迭代,可以充分利用病灶信息,不断完善该检测模型,提升检测模型精度。
在本实施例中还提供了一种病灶信息获取装置以及病灶预测模型的训练装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种病灶信息获取装置,如图7所示,包括:
第一获取模块71,用于获取超声图像;
第一预测模块72,用于基于超声图像,利用病灶预测模型预测超声图像中的病灶区域及病灶类别;
第一确定模块73,用于利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;
第二获取模块74,用于获取预测出的病灶类别对应的第一目标病灶类别;其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息。
本实施例还提供了一种病灶预测模型的训练装置,如图8所示,包括:
第三获取模块81,用于获取超声样本图像;
第二预测模块82,用于将超声样本图像输入病灶预测模型中,以预测超声样本图像中的病灶区域及病灶类别;
第二确定模块83,用于利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;
第四获取模块84,用于获取预测出的病灶类别对应的第一目标病灶类别;其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声样本图像的病灶信息;
权重确定模块85,用于根据所述超声样本图像的病灶信息,以及预测出的病灶区域及病灶类别,确定所述超声样本图像的样本重采样权重;其中,所述样本重采样权重用于表示在病灶预测模型的训练中所述样本重采样权重对应超声样本图像的使用次数;
训练模块86,用于基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
本实施例中的病灶信息获取装置以及病灶预测模型的训练装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种超声设备具有上述图7所示的病灶信息获取装置,或图8所示的病灶预测模型的训练装置。
请参阅图9,图9是本发明可选实施例提供的一种超声设备的结构示意图,如图9所示,该超声设备可以包括:至少一个处理器91,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口93,存储器94,至少一个通信总线93。其中,通信总线93用于实现这些组件之间的连接通信。其中,通信接口93可以包括显示屏(Display)、键盘(Keyboard),可选通信接口93还可以包括标准的有线接口、无线接口。存储器94可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器94可选的还可以是至少一个位于远离前述处理器91的存储装置。其中处理器91可以结合图7或8所描述的装置,存储器94中存储应用程序,且处理器91调用存储器94中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线93可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线93可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类别的总线。
其中,存储器94可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器94还可以包括上述种类的存储器的组合。
其中,处理器91可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器91还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器94还用于存储程序指令。处理器91可以调用程序指令,实现如本申请图1-3实施例中所示的病灶信息获取方法,或图4-6实施例中所示的病灶预测模型的训练方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的病灶信息获取方法,或病灶预测模型的训练方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种病灶信息获取方法,其特征在于,包括:
获取超声图像;
基于所述超声图像,利用病灶预测模型预测所述超声图像中的病灶区域及病灶类别;
利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;
获取预测出的病灶类别对应的第一目标病灶类别;其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声图像的病灶信息。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据所述第一目标病灶区域及所述第一目标病灶类别,以及预测出的病灶区域及病灶类别,确定所述超声图像的样本重采样权重;其中,所述超声图像的样本重采样权重用于在其大于权重阈值时,在超声图像数据集中进行相似性匹配,得到相似超声图像,并对所述相似超声图像的病灶区域及病灶类型进行更新,以得到更新后的所述超声图像数据集;所述病灶预测模型是采用所述超声图像数据集训练得到的。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一目标病灶区域及所述第一目标病灶类别,以及预测出的病灶区域及病灶类别,确定所述超声图像的样本重采样权重,包括:
计算预测出的病灶区域与第一目标病灶区域的交并比;
利用所述交并比确定所述超声图像的位置调整重采样权重;
基于所述第一目标病灶类别以及预测出的病灶类别是否相同,确定所述超声图像的类别调整重采样权重;
利用所述位置调整重采样权重以及所述类别调整重采样权重,计算所述超声图像的样本重采样权重。
4.根据权利要求3所述的方法,其特征在于,采用如下公式计算所述位置调整重采样权重:
位置调整重采样权重=(1-IOU)*C1+C2;
IOU=(S1∩S2)/(S1∪S2);
其中,C1、C2分别为第一常数以及第二常数且C1>C2;IOU为预测出的病灶区域与第一目标病灶区域的交并比;S1为预测出的病灶区域的面积,S2为第一目标病灶区域的面积。
5.根据权利要求4所述的方法,其特征在于,
所述基于所述第一目标病灶类别以及预测出的病灶类别是否相同,确定所述超声图像的类别调整重采样权重,包括:
当所述第一目标病灶类别与预测出的病灶类别相同时,所述类别调整重采样权重为所述第二常数;
当所述第一目标病灶类别与预测出的病灶类别不同时,所述类别调整重采样权重为所述第一常数与所述第二常数之和。
6.根据权利要求1-5中任一项所述的方法,其特征在于,还包括:
获取超声图像数据集;其中,所述病灶预测模型是采用所述超声图像数据集训练得到的;
利用所述超声图像,在所述超声图像数据集中进行相似性匹配,以得到相似超声图像;其中,所述相似超声图像包括病灶区域及病灶类别;
确定与所述相似超声图像的病灶区域对应的第二目标病灶区域;
获取所述相似超声图像的病灶类别对应的第二目标病灶类别;其中,所述第二目标病灶区域和所述第二目标病灶类别为所述相似超声图像的病灶信息;
将带病灶信息的超声图像以及带病灶信息的相似超声图像加入所述超声图像数据集,以得到更新后的超声图像数据集。
7.一种病灶预测模型的训练方法,其特征在于,包括:
获取超声样本图像;
将所述超声样本图像输入病灶预测模型中,以预测所述超声样本图像中的病灶区域及病灶类别;
利用预测出的病灶区域,确定与预测出的病灶区域对应的第一目标病灶区域;
获取预测出的病灶类别对应的第一目标病灶类别;其中,所述第一目标病灶区域和所述第一目标病灶类别为所述超声样本图像的病灶信息;
根据所述超声样本图像的病灶信息,以及预测出的病灶区域及病灶类别,确定所述超声样本图像的样本重采样权重;其中,所述样本重采样权重用于表示在病灶预测模型的训练中所述样本重采样权重对应超声样本图像的使用次数;
基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
8.根据权利要求7所述的方法,其特征在于,所述基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数,包括:
获取超声图像数据集,并将带病灶信息的超声样本图像加入所述超声图像数据集,以得到更新后的超声图像数据集;其中,所述病灶预测模型是利用所述超声图像数据集训练得到的;
利用所述超声样本图像的样本重采样权重以及更新后的超声图像数据集,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
9.根据权利要求7所述的方法,其特征在于,所述基于所述超声样本图像的样本重采样权重,训练所述病灶预测模型,以更新所述病灶预测模型的参数,包括:包括:
获取超声图像数据集;其中,所述病灶预测模型是利用所述超声图像数据集训练得到的;
利用所述超声样本图像,在所述超声图像数据集中进行相似性匹配,以得到相似超声样本图像;其中,所述相似超声样本图像包括病灶区域及病灶类别;
确定与所述相似超声样本图像的病灶区域对应的第二目标病灶区域;
获取预测出的病灶类别对应的第二目标病灶类别;其中,所述第二目标病灶区域以及所述第二目标病灶类别为所述相似超声样本图像的病灶信息;
根据所述相似超声样本图像对应的第二目标病灶区域及第二目标病灶类别,以及预测出的病灶区域及病灶类别,确定所述相似超声样本图像的样本重采样权重;
将带病灶信息的超声样本图像,以及带病灶信息的相似超声样本图像加入所述超声图像数据集,以得到更新后的超声图像数据集;
利用所述超声样本图像的样本重采样权重、所述相似超声样本图像的样本重采样权重以及更新后的超声图像数据集,训练所述病灶预测模型,以更新所述病灶预测模型的参数。
10.根据权利要求9所述的方法,其特征在于,所述利用所述超声样本图像,在所述超声图像数据集中进行相似性匹配,以得到相似超声样本图像的步骤之前,还包括:
判断所述超声样本图像的样本重采样权重是否大于权重阈值;
当所述超声样本图像的样本重采样权重大于权重阈值时,执行所述利用所述超声样本图像,在所述超声图像数据集中进行相似性匹配的步骤。
11.一种超声设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-6中任一项,或权利要求7-10中任一项所述的病灶预测模型的训练方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-6中任一项,或权利要求7-10中任一项所述的病灶预测模型的训练方法。
CN201910882495.8A 2019-09-18 2019-09-18 超声设备 Active CN110751179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910882495.8A CN110751179B (zh) 2019-09-18 2019-09-18 超声设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882495.8A CN110751179B (zh) 2019-09-18 2019-09-18 超声设备

Publications (2)

Publication Number Publication Date
CN110751179A true CN110751179A (zh) 2020-02-04
CN110751179B CN110751179B (zh) 2022-04-12

Family

ID=69276651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882495.8A Active CN110751179B (zh) 2019-09-18 2019-09-18 超声设备

Country Status (1)

Country Link
CN (1) CN110751179B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429414A (zh) * 2020-03-18 2020-07-17 腾讯科技(深圳)有限公司 基于人工智能的病灶影像样本确定方法和相关装置
CN111820950A (zh) * 2020-06-23 2020-10-27 无锡祥生医疗科技股份有限公司 个性化信息确定装置和超声训练方法
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN113362329A (zh) * 2021-08-11 2021-09-07 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN113434718A (zh) * 2021-06-29 2021-09-24 联仁健康医疗大数据科技股份有限公司 确定关联图像的方法、装置、电子设备及存储介质
CN116580068A (zh) * 2023-06-25 2023-08-11 山东卓业医疗科技有限公司 一种基于点云配准的多模态医学配准方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037832A1 (en) * 2006-08-10 2008-02-14 Phoha Vir V Method and apparatus for choosing and evaluating sample size for biometric training process
CN104851112A (zh) * 2015-04-28 2015-08-19 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN106353722A (zh) * 2016-11-03 2017-01-25 中国科学院上海微系统与信息技术研究所 基于代价参考粒子滤波的rssi测距方法
CN107368892A (zh) * 2017-06-07 2017-11-21 无锡小天鹅股份有限公司 基于机器学习的模型训练方法和装置
CN107563305A (zh) * 2017-08-10 2018-01-09 南京信息工程大学 基于多样本扩充协同表示分类的人脸识别方法
CN109872803A (zh) * 2019-01-28 2019-06-11 透彻影像(北京)科技有限公司 一种人工智能病理标注系统
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110136153A (zh) * 2019-05-14 2019-08-16 上海商汤智能科技有限公司 一种图像处理方法、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037832A1 (en) * 2006-08-10 2008-02-14 Phoha Vir V Method and apparatus for choosing and evaluating sample size for biometric training process
CN104851112A (zh) * 2015-04-28 2015-08-19 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN106353722A (zh) * 2016-11-03 2017-01-25 中国科学院上海微系统与信息技术研究所 基于代价参考粒子滤波的rssi测距方法
CN107368892A (zh) * 2017-06-07 2017-11-21 无锡小天鹅股份有限公司 基于机器学习的模型训练方法和装置
CN107563305A (zh) * 2017-08-10 2018-01-09 南京信息工程大学 基于多样本扩充协同表示分类的人脸识别方法
CN109872803A (zh) * 2019-01-28 2019-06-11 透彻影像(北京)科技有限公司 一种人工智能病理标注系统
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110136153A (zh) * 2019-05-14 2019-08-16 上海商汤智能科技有限公司 一种图像处理方法、设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429414A (zh) * 2020-03-18 2020-07-17 腾讯科技(深圳)有限公司 基于人工智能的病灶影像样本确定方法和相关装置
CN111429414B (zh) * 2020-03-18 2023-04-07 腾讯科技(深圳)有限公司 基于人工智能的病灶影像样本确定方法和相关装置
CN111820950A (zh) * 2020-06-23 2020-10-27 无锡祥生医疗科技股份有限公司 个性化信息确定装置和超声训练方法
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
CN113434718A (zh) * 2021-06-29 2021-09-24 联仁健康医疗大数据科技股份有限公司 确定关联图像的方法、装置、电子设备及存储介质
CN113362329A (zh) * 2021-08-11 2021-09-07 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN113362329B (zh) * 2021-08-11 2021-11-19 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN116580068A (zh) * 2023-06-25 2023-08-11 山东卓业医疗科技有限公司 一种基于点云配准的多模态医学配准方法
CN116580068B (zh) * 2023-06-25 2023-11-07 山东卓业医疗科技有限公司 一种基于点云配准的多模态医学配准方法

Also Published As

Publication number Publication date
CN110751179B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110751179B (zh) 超声设备
US11961227B2 (en) Method and device for detecting and locating lesion in medical image, equipment and storage medium
CN109003260B (zh) Ct图像肺结节检测方法、装置、设备及可读存储介质
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
US20200019823A1 (en) Medical image analysis method applying machine learning and system thereof
KR20190082069A (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
CN110569703B (zh) 计算机执行的从图片中识别损伤的方法及装置
US11314989B2 (en) Training a generative model and a discriminative model
US20200357111A1 (en) Recognizing damage through image analysis
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN113076987B (zh) 骨赘识别方法、装置、电子设备及存储介质
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN111507958A (zh) 目标检测方法、检测模型的训练方法及电子设备
US10783643B1 (en) Segmentation-based damage detection
WO2021189848A1 (zh) 模型训练方法、杯盘比确定方法、装置、设备及存储介质
US20220351398A1 (en) Depth detection method, method for training depth estimation branch network, electronic device, and storage medium
CN111179247A (zh) 三维目标检测方法及其模型的训练方法及相关装置、设备
CN101310302A (zh) 用于体积配准的方法、系统和计算机程序
CN111985469B (zh) 一种图像中文字的识别方法、装置及电子设备
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN111626379B (zh) 肺炎x光图像检测方法
CN114663397A (zh) 可行驶区域的检测方法、装置、设备及存储介质
JP2012123631A (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
CN112560791B (zh) 识别模型的训练方法、识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant