CN116457779A - 相似病例检索方法、相似病例检索系统和超声成像系统 - Google Patents
相似病例检索方法、相似病例检索系统和超声成像系统 Download PDFInfo
- Publication number
- CN116457779A CN116457779A CN202080106631.5A CN202080106631A CN116457779A CN 116457779 A CN116457779 A CN 116457779A CN 202080106631 A CN202080106631 A CN 202080106631A CN 116457779 A CN116457779 A CN 116457779A
- Authority
- CN
- China
- Prior art keywords
- case
- searched
- ultrasonic
- image
- cases
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种相似病例检索方法、相似病例检索系统和超声成像系统,该方法(100)包括:获取待检索病例的输入图像(S101),输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;将输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定待检索病例和待查找病例之间的病例相似度(S102);根据病例相似度,获取检索结果(S103),其中,检索结果包括多个待查找病例中与待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表;显示检索结果(S104)。该检索方法所获得的检索结果更全,检索结果更加准确及精简,从而能够更加有效的聚焦用户关心的病灶,进而更好的辅助用户对病例数据的管理、疑难病症的诊断以及教学或科研。
Description
说明书
本申请涉及超声成像技术领域,更具体地涉及一种相似病例检索方法、相似病例检索系统和超声成像系统。
随着医学影像设备的发展,用于诊断的医学影像不断增加,这些图像在帮助医生诊断和病情分析中扮演至关重要的角色。医学图像检索通常根据用户提供的检索关键字或图像等输入,在数据库中检索图像描述或特征相匹配的图像,并返回给用户。
目前常见的相似病例检索方案多采用以下两种形式:(1)基于单模态的图像特征检索,这类方案利用相同模态图像间的图像特征进行匹配,局限在于仅考虑了同类型图像信息(例如,大多数基于电子计算机断层扫描(Computed Tomography,简称CT)图像进行检索)。(2)基于特定关键信息词的检索,该类方案需要用户将病例信息抽象成若干个关键词信息,利用关键词匹配的方法进行检索。这类方法的局限在于关键词的抽象是否准确,往往某些关键特征的抽象都是相对模糊的,多个模糊的关键词组合在一起检索,得到的检索结果与真实结果更是相去甚远。
因此,常见的相似病例检索的检索策略的差异,影响检索结果,容易出现不相关病例较多的现象;以及仅用人工搜索相似病例耗时高,不准确,且不能有效聚焦关心的病灶。
发明内容
本申请一方面提供一种基于超声图像的相似病例检索方法,所述方法包括:获取待检索病例的输入图像,所述输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定所述待检索病例和所述待查找病例之间的病例相似度;根据所述病例相似度,获取检索结果,其中,所述检索结果包括所述多个待查找病例中与所述待检索病例的病例相似度满足预设阈值的至少一个相似病例的列 表;显示所述检索结果。
本申请再一方面提供一种相似病例检索系统,所述相似病例检索系统包括:
存储器,用于存储可执行的程序指令;
一个或多个处理器,用于执行所述存储器中存储的所述程序指令,使得所述处理器执行前述的基于超声图像的相似病例检索方法;
显示器,至少用于显示所述检索结果。
本申请又一方面提供一种超声成像系统,所述超声成像系统包括:
超声探头;
发射电路,用于激励所述超声探头向被测对象发射超声波;
接收电路,用于控制所述超声探头接收所述超声波的回波,以获得超声回波信号;
处理器,用于:
对所述超声回波信号进行信号处理,获得超声图像;
获取待检索病例的输入图像,所述输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;
将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定所述待检索病例和所述待查找病例之间的病例相似度;
根据所述病例相似度,获取检索结果,其中,所述检索结果包括所述多个待查找病例中与所述待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表;
显示器,用于显示可视化信息,所述可视化信息包括所述检索结果。
根据本申请的相似病例检索方法、系统及超声成像系统,通过将多模态超声图像和/或多切面超声图像作为待检索病例的输入图像在病例数据库的多个待查找病例的对应超声图像进行匹配,从而确定所述待检索病例和所述待查找病例之间的病例相似度,并根据病例相似度获取检索结果,最后显示检索结果,相比单模态超声或单切面超声图像作为输入图像进行检索的方法,本申请的检索方法所获得的检索结果更全,且不相关病例的数量明显减少,使得检索结果更加准确及精简,从而能够更加有效的聚焦用户关心的病灶,进而更好的辅助用户对病例数据的管理、疑难病症的诊断以及教学或科研。
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例的相似病例检索方法的流程图;
图2示出了本申请一个实施例的检索结果的显示界面的示意图;
图3示出了本申请一个实施例的相似病例详情信息的显示界面的示意图;
图4示出了本申请一个实施例的详细对比的显示界面的示意图;
图5示出了本申请一个实施例的相病例相似度计算过程的示意图;
图6示出了本申请一个实施例的相似病例检索系统的示意性框图;
图7示出了本申请一个实施例的超声成像系统的示意性框图。
为了使得本申请的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本申请更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本申请可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本申请发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本申请能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本申请的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本申请,将在下列的描述中提出详细的结构,以便阐释本申请提出的技术方案。本申请的可选实施例详细描述如下,然而除了这些详细描述外,本申请还可以具有其他实施方式。
常见的相似病例检索的检索策略的差异,影响检索结果,容易出现不相关病例较多的现象;以及仅用人工搜索相似病例耗时高,不准确,且不能有效聚焦关心的病灶。鉴于上述问题,本申请实施例提出一种相似病例检索方法,该方法包括:获取待检索病例的输入图像,所述输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定所述待检索病例和所述待查找病例之间的病例相似度;根据所述病例相似度,获取检索结果,其中,所述检索结果包括所述多个待查找病例中与所述待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表;显示所述检索结果。本申请的检索方法所获得的检索结果更全,且不相关病例的数量明显减少,使得检索结果更加准确及精简,从而能够更加有效的聚焦用户关心的病灶,进而更好的辅助用户对病例数据的管理、疑难病症的诊断以及教学或科研。
本申请提供的相似病例检索方法、相似病例检索系统和超声成像系统可以应用于人体,也可以应用于各种动物。
具体地,下面结合图1至图7,对本申请的相似病例检索方法、相似病例检索系统和超声成像系统进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
参考图1,本申请提供一种相似病例检索方法100,该方法100包括以下步骤S101至步骤S104:
首先,在步骤S101中:获取待检索病例的输入图像,所述输入图像包括待检索病例的多模态超声图像和/或多切面超声图像。
待检索病例的多模态超声图像和/或多切面超声图像可以包括待检索病例检查过程中任意的多种模态、多种切面的超声图像。示例性地,所获取待检索病例的多模态超声图像包括但不限于B模式超声图像、C模式超声图像、血流图像(诸如多普勒血流图像)以及其他可用于病例检索的医用图像。所获取待检索病例的多切面超声图像包括但不限于横切、纵切、恶性表征切面等多个切面。值得一提的是,可以一个模态的超声图像还可以具有多个切面超声图像。
例如,输入图像可以包括多模态超声图像,其中,每个模态对应一张超声图 像,或者,输入图像可以包括一个模态下的多切面超声图像,或者,输入图像还可以包括多模态超声图像,其中,多模态超声图像中的至少一个模态还可以包括多个切面超声图像。
待检索病例的多模态超声图像和/或切面超声图像可以是存储在本地系统中的图像数据,还可以是存储在远程设备中的图像数据。其中,多模态超声图像和/或切面超声图像可以为待检索病例的具有病灶的目标组织的超声图像。目标组织可以是需要通过超声成像系统检测的任意的组织,例如甲状腺,乳腺,血管、肌骨、子宫、前列腺等。该目标组织可以是任何人或者兽类动物的组织,其中,兽类动物可以是猫,狗,兔子等,此处不做具体限定。
例如,在相似病例检索系统的显示界面显示检索界面,在检索界面可以具有第一显示区域,可以基于用户指令(例如通过检测用户通过点击鼠标、鼠标拖拽等操作而输入的用户指令),将待检索病例的输入图像导入相似病例检索系统,并且还可以在第一显示区域显示,以及在检索界面还用于显示各种功能按钮,例如用于接收用户的检索指令的检索按钮,例如以文字和/或图标显示检索按钮,当获取到用户通过功能按钮输入的检索指令时,触发在病例数据库中检索相似病例。
接着,在步骤S102中,将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定所述待检索病例和所述待查找病例之间的病例相似度。
病例数据库用于存放不同类型的病例特征、图像等,例如用于存放不同类型的病例的各种超声图像,病例数据库中的多个待查找病例可以是病例数据库中的任意的病例,其中,病例数据库可以是存储在本地系统中的数据库,也可以是存储于远程设备例如服务器、云端设备等中的数据库。
输入图像和病例数据库中的多个待查找病例的对应超声图像,例如为对应模式超声图像、对应切面超声图像。
可以基于任意适合的方法确定该待检索病例和该待查找病例之间的病例相似度,在一个示例中,将该输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,获取该待检索病例和该待查找病例之间的病例相似度,包括以下步骤S1和步骤S2:在步骤S1中,将该输入图像和病例数据库中的多个待查找病例的对应模式超声图像或对应切面超声图像分别进行匹配,获取该对应模式图像和/或对应切面图像之间的多个特征相似度(也可以称为图像相似度),该特 征相似度包括特征距离,例如哈希特征可以采用汉明距离,其他特征可以采用余弦距离或L2距离等;在步骤S2中,基于该多个特征相似度,获取该待检索病例和该待查找病例之间的病例相似度,通过超声图像之间的多个特征相似度可以获取该待检索病例和该待查找病例之间的病例相似度,由于综合了多个超声图像的特征相似度获得最终的病例间的病例相似度,因此基于该病例相似度进行的检索,所获得的检索结果更加准确。
基于该多个特征相似度,获取该待检索病例和该待查找病例之间的病例相似度,包括:对不同模态或不同切面对应的特征相似度分别赋予权重,以获得病例相似度。各个特征相似度的权重可以根据先验经验合理设定,或者,可以通过检索结果选择最佳权重,在此不对其进行具体限定。利用多模态图像、多切面图像相似度衡量病例间相似度,从而提升检索的准确性和精简性。
在一个示例中,该特征相似度包括特征距离,对不同模态或不同切面对应的特征相似度分别赋予权重,以获得该病例相似度,包括:对不同模态或不同切面对应的特征距离分别赋予权重,以获取该待检索病例和该待查找病例之间的距离作为该病例相似度。可选地,病例相似度可以为距离值,其中,距离值越小表征病例相似度越高;或者,病例相似度为百分比数值,其中,该百分比数值越高表征病例相似度越高,或者,病例相似度还可以为区间[0,1]内的任意的数值,且该数值越高病例相似度越高。
在一个示例中,当输入图像包括待检索病例的多模态超声图像和/或多切面超声图像时,将该多张超声图像分别和待查找病例的对应模式超声图像和/或对应切面的超声图像进行匹配,从而获取多个特征相似度,多个特征相似度和输入图像的多张超声图像一一对应。
例如,当输入图像包括横切面超声图像、纵切面超声图像和血流图像时,则对应的将待检索病例的横切面超声图像和待查找病例的横切面超声图像进行匹配获得一个特征相似度,对应的将待检索病例的纵切面超声图像和待查找病例的纵切面超声图像进行匹配获得一个特征相似度,对应的将待检索病例的血流图像和待查找病例的血流图像进行匹配获得一个特征相似度,也即总共获得3个特征相似度。
可以基于本领域技术人员熟知的任意适合的方法获取超声图像之间的特征相似度,在一个示例中,将该输入图像和病例数据库中的多个待查找病例的对应模式超声图像或对应切面超声图像分别进行匹配,获取该对应模式超声图像或对 应切面超声图像之间的多个特征相似度,包括:获取该输入图像中的各个超声图像的病灶区域;将该待检索病例的各个超声图像的病灶区域和该待查找病例的对应超声图像进行特征相似度计算,以获取对应模式超声图像或对应切面超声图像之间的多个特征相似度。
进一步的,将该待检索病例的各个超声图像的病灶区域和该待查找病例的对应超声图像进行特征相似度计算可包括:将该待检索病例的各个超声图像的病灶区域的特征信息和该待查找病例的对应超声图像的病灶区域的特征信息进行特征相似度计算。
可以基于任意适合的方法获取该输入图像中的各个超声图像的病灶区域,在本申请的实施例中,各个超声图像的病灶区域的获取可以包括以下方式中的任意一种:基于预训练的检测模型检测并提取该超声图像中的病灶区域;基于预训练的多任务模型检测并提取该超声图像中的病灶区域,该多任务模型还用于对该病灶区域进行特征提取;或者,基于用户输入获取该超声图像中的病灶区域。
示例性地,预训练的检测模型可以基于深度学习、机器学习、传统方法或其组合进行病灶区域的提取,下面对基于深度学习进行病灶区域的提取进行示例性描述。
对于基于深度学习进行病灶区域的提取的方式,可以基于已收集多模态超声图像和/或多切面图像以及高年资医师的病灶区域标注结果(ROI区域的边界框(boundingbox),即坐标信息),对深度学习网络进行训练,深度学习检测分割网络可使用但不限于R-CNN(Region-Convolutional Neural Networks)、Faster R-CNN、SSD Single Shot MultiBox Detector)网络、YOLO(You Only Look Once)网络等。网络训练阶段计算迭代过程中病灶区域的检测结果和标注结果之间的误差,并以误差最小化为目的不断更新网络中的权值,不断重复该过程,使检测结果逐渐逼近病灶区域的真实值,得到训练好的检测模型。该模型可以实现对于输入到已训练好的检测模型中的超声图像的病灶区域自动化检测提取。
在一个示例中,以乳腺超声图像为例,提取病灶区域的方法可以包括:获取包含多张乳腺超声图像的训练数据以及对应的标注信息,标注信息至少包含乳腺超声图像中病灶感兴趣(Region Of Interest,简称为ROI)区域的左上角及右下角坐标,将该训练数据及标注信息放入深度学习目标检测网络中进行训练,典型的目标检测网络包括但不限于SSD(Single Shot MultiBox Detector)网络、 YOLO(You Only Look Once)网络,Faster R-CNN(Convolutional Neural Networks)网络等,然后经过回归后得到超声图像中病灶区域的ROI区域坐标和检测结果的置信度,将置信度大于预定阈值(比如0.7)的结果保留作为筛选后的病灶区域,从而得到训练好的检测模型。
各个超声图像的病灶区域的特征信息包括但不限于病灶的特征表达、特征关键词中的至少一种。其中,病灶的特征表达包括:基于一种或多种图像特征提取算子从病灶的超声图像中提取的图像特征。所述图像特征提取算子包括但不限于尺度不变特征变换(Scale-invariant feature transform,简称为SIFT),局部二值模式(Local Binary Pattern,简称LBP),哈希算子,预训练的深度卷积网络模型等。特征信息还可以包括一些非病灶区域的特征描述,例如患者的基本信息,包括但限于身高体重、病史、年龄等患者的基本信息。通过将例如患者的基本信息等非病灶区域的特征描述也同时作为检索条件,可以获得更加准确的检索结果,且还可以便于用户做统计分析,例如统计分析患者的基本信息和病灶的形成是否有相关性等。
在一个示例中,病灶的特征表达的提取方法包括:基于病灶区域的超声图像,利用图像特征提取算子,如SIFT,LBP,哈希算子,预训练的深度卷积网络模型提取高维图像特征,并将多种算子得到的特征做特征拼接,得到一个高维特征作为病灶的特征表达。
在本申请实施例中,特征关键词包括用于对特定病灶进行诊断的医学指标特征,通过将医学指标特征作为关键词,可以提高检索结果的准确性的同时,还能够更加有效的聚焦用户关心的病灶,为病例的诊断等提供更好的辅助。其中,不同的特定病灶该医学指标特征可能不同,例如,当该特定病灶包括乳腺内的病灶时,该医学指标特征包括与乳腺影像报告和数据系统(Breast Imaging Reporting And Data System,简称为BI-RADS)相关联的指标特征,与BI-RADS相关联的指标特征包括以下指标特征中的至少一种:病灶的形状、病灶的方向、边缘特征是否清晰、BI-RADS分级、病灶的回声类型、病灶是否钙化、病灶后方是否有回声、病灶内是否有血流,或者还可以包括其他的指标特征。再例如,当特定病灶包括甲状腺内的病灶例如结节时,则医学指标特征包括与甲状腺影像报告和数据系统(Thyroid Imaging Reporting And Data System,简称为TI-RADS)相关联的指标特征,与TI-RADS相关联的指标特征包括以下指标特征中的至少一种: TI-RADS分级、成分、回声、形状、边缘和局灶性强回声,或者还可以包括其他的指标特征。
在本申请实施例中,可以基于以下方法中的一个或多个提取特征关键词,例如根据该输入图像自动提取获得所述特征关键词;或者,基于用户输入的关键词,获取该特征关键词。
可以通过任意适合的方法自动提取获得该特征关键词,在一个示例中,根据该输入图像自动提取获得该特征关键词,包括:将该输入图像输入到已训练的一个或多个关键词分类模型中进行处理,以获得输出结果,可选地,该输出结果包括每个关键词分类模型输出的对应关键词的分类概率;基于该输出结果,获取该特征关键词,例如,将每个关键词分类模型输出的对应关键词的分类概率中概率最大的关键词,作为该特征关键词。
示例性地,已训练的分类模型可以基于深度学习、机器学习、传统方法或其组合进行关键词的提取,下面对基于深度学习进行关键词的提取进行示例性描述。
基于深度学习进行关键词的提取包括:建立深度学习分类模型,将医生已经标定过病灶良恶性、BI-RADS等具有普遍认可的带关键词标签病例图像作为模型输入,将关键词标签作为分类模型输出。深度学习分类网络包括但不限于Alexnet、Resnet、VGG等网络。训练过程中通过计算预测值和标定之间的误差,不断迭代,逐渐逼近,最终得到各个关键词分类模型及分类概率。该模型可以实现对于输入到已训练好的各个关键词分类模型中的超声图像的特征关键词的提取。
具体的,以BI-RADS边缘特征关键词(清晰/不清晰)为例,构建边缘清晰或不清晰的二分类网络模型,输入乳腺ROI病灶区域,如使用VGG16网络进行训练,通过前端的卷积及池化操作对ROI区域进行特征提取,后端网络(如全连接层或Softmax)将高维特征映射为输入数据属于某一类别的概率值,并在不断迭代的过程中基于患者的实际BI-RADS边缘结果对概率值进行修正,直至该模型达到预定的准确率,能够正确提取病灶关键词特征。
对于待检索病例的进行特征关键词提取时,则将病例图像输入到各个关键词分类模型,经过模型的运算得到关键词分类概率,选择最大概率对应的关键词类别,即可实现关键词自动提取。比如BI-RADS边缘特征关键词其分清晰和不清晰 两类,将超声图像输入到边缘特征关键词对应的已训练的分类模型中,则模型输出两个概率值如清晰对应概率值0.7和不清晰对应概率值0.3,则选择概率大的0.7对应的清晰作为特征关键词。
值得一提的是,待查找病例的特征信息和病灶区域可以是存储在病例数据库中的预设的信息,当需要时直接在病例数据库中调取即可,或者,待查找病例的特征信息的提取、病灶区域的提取等方法可以参考待检索病例的提取方法,当进行匹配时,自动提取出待查找病例的相应信息后,与待检索病例进行匹配。
通过将待检索病例的特征关键词作为特征信息和待查找病例进行匹配,能够增加检索结果的准确度,从而能够更加有效的聚焦用户关心的病灶。
继续参考图1,在步骤103中,根据所述病例相似度,获取检索结果,其中,所述检索结果包括所述多个待查找病例中与所述待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表。
可以各个待查找病例对应的病例相似度和预设阈值进行比较,将满足预设阈值的至少一个相似病例作为检索结果输出,例如当病例相似度为距离值时,则距离值越小表征越相似时,则将距离值小于或等于预设阈值的所述待检索病例作为相似病例输出,该预设阈值可以根据实际需要合理设定,在此不对其进行具体限定;再例如,当病例相似度为百分比数值,百分比数值越高表征病例相似度越高,则将百分比数值大于或等于预设阈值的所述待检索病例作为相似病例输出。
在一个示例中,根据该病例相似度,获取检索结果,还包括:将病例相似度按照病例相似度从高到低的顺序进行排序,并将排名在预设位数和预设位数之前的一个或多个相似病例作为检索结果输出,其中,预设位置可以根据实际需要任意设定,例如可以是5-30之间的任意位置,例如预设位数可以是5、10、15、20、25、30等,上述数值仅作为示例,并不构成限制。
在一个具体示例中,如图5所示,待检索病例的输入图像包括3张超声图像,病例数据库(对应图5中病例库)存放有n个病例,将这3张超声图像和病例1到病例n的每个病例的对应超声图像进行匹配,获得图像间的特征相似度,例如待检索病例的3张超声图像和病例n的对应超声图像之间的特征相似度分别为0.6、0.8、0.4,则基于0.6、0.8、0.4这3个特征相似度赋予权重,以获得待检索病例和病例n之间的病例相似度,例如0.8。其中,该权重可以根据实际情况合理设定,例如图2中,可以给最大特征相似度赋予1的权重,而其他的特征相似度的权重则为零。然后n个病例分别对应一个病例相似度,然后可以根据病例相 似度由高到低的顺序进行排序,取预定位数和预定位数前的病例作为和待检索病例的相似病例,进而输出检索结果。
继续参考图1,在步骤104中,显示所述检索结果。
可以通过病例检索系统的显示器等显示该检索结果。本申请实施例中,检索结果包括该多个待查找病例中与该待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表,列表中可以包括以下信息中的一种或多种:该相似病例的病名、该相似病例的至少一张超声图像、该相似病例的至少一张超声图像的缩略图、被选中的相似病例的特征信息、每个相似病例与该待检索病例之间特征相似度最高(例如特征距离最小)的超声图像的缩略图,或者还可以包括其他的需要输出的信息。
可选地,该被选中的相似病例的特征信息包括以下信息中的一种或多种:病灶的形状、病灶的方向、边缘是否清晰、回声类型、病灶后方是否有回声、病灶是否钙化、病灶内是否有血流、病灶分级信息,或者还可以包括其他的特征信息。
在本申请中,被选中的相似病例可以是基于用户的选择指令,而选中的列表中的相似病例的一个,或者,还可以是系统自动选中的列表中的相似病例的一个,例如图2中左侧的第一个病例的缩略图。在一个示例中,被选中的相似病例的缩略图被选中框包围。
较佳地,列表中包括每个相似病例与该待检索病例之间特征相似度最高(例如特征距离最小或相似度数值最高)的超声图像的缩略图,通过以缩略图的形式显示,可以让用户快速直观的判断检索到的相似病例和待检索病例的相关性,节省用户的浏览时间。
在一个示例中,在第一显示界面的第一显示区域显示该检索结果例如如图3所示的右侧区域,在该第一显示界面的第二显示区域显示该待检索病例的输入图像中的部分超声图像,例如图2所示的左侧区域。
在一个示例中,各个相似病例按照病例相似度从高到低的顺序,依次从第一显示区域的第一侧向第二侧排序显示,例如如图2所示,在第一显示区域的检索结果的列表中以缩略图的形式显示各个相似病例,且根据病例相似度排序结果由高到低展示了排名靠前的N个病例,并以每个病例中具有最小特征距离的图像作为缩略图进行显示。
在一个示例中,该第一显示区域还用于显示当前被选中的相似病例的特征信息例如特征关键词,该特征信息包括以下信息中的一种或多种:病灶的形状、病 灶的方向、边缘是否清晰、回声类型、病灶后方是否有回声、病灶是否钙化、病灶内是否有血流、病灶分级信息,比如,如图2所示,在第一显示区域还显示了BI-RADS关键词特征描述(例如形状,方向,边缘类型,回声类型,后方回声,钙化,血流,BI-RADS分级等)。
该第二显示区域用于显示该待检索病例的输入图像中的部分超声图像,该部分超声图像例如为一个切面超声图像或者一个模态超声图像,如图2的左上侧所示。进一步,第一显示界面还包括第三显示区域,该第三显示区域用于显示该输入图像的缩略图,例如输入图像的各个模态、切面的超声图像的缩略图,如图2所示。该第三显示区域内还设置有切换按钮,该切换按钮用于获取用户输入的切换指令,该方法还包括:获取用户通过该切换按钮输入的切换指令;基于该切换指令,将在该第二显示区域显示的输入图像的一个图像切换为该输入图像中的另一个图像,例如当基于用户指令,选中第三显示区域的左侧第一张超声图像时,则在第二显示区域对应显示该第一张超声图像,当切换到左侧第二张超声图像时,则在第二显示区域对应显示该第二张超声图像。
在一个示例中,当该第二显示区域显示的该输入图像切换后,控制在该第一显示区域中对应显示该相似病例与切换后图像对应的超声图像(例如对应模式的超声图像或者对应切面的超声图像),例如第二区域显示的图像切换为横切面超声图像,则对应控制控制在该第一显示区域中对应显示该相似病例与切换后横切面超声图像对应的横切面超声图像。
在一个示例中,当多个该相似病例占用的显示面积大于该第一显示区域的面积时,该第一显示区域用于显示该相似病例中的部分相似病例,在该第一显示区域的周边区域还设置有控件(例如图2所示的滚动条),该方法还包括:获取用户通过控件输入的显示指令;根据该显示指令,控制该相似病例中的部分相似病例在该第一显示区域中显示。
在一个示例中,当在第一显示界面中显示检索结果的列表时,该方法还包括:基于用户指令,控制在第二显示界面中显示当前被选中的相似病例的详细信息,如图3所示,其中,该详细信息包括以下信息中的一种或多种:当前被选中的相似病例的多模式超声图像、当前被选中的相似病例的多切面超声图像、当前被选中的相似病例的诊断报告、当前被选中的相似病例和待检索病例的对应模式超声图像之间的特征相似度、当前被选中的相似病例和待检索病例的对应切面超声图像之间的特征相似度。
诊断报告可以包括和相似病例的病灶相关的信息,例如,如图3所示,以乳腺的病灶为例,诊断报告包括以下信息:病灶位置、病灶大小、病灶形状、病灶后方回声、回声状态、BI-RADS分级等。
在一个示例中,检索结果的列表中显示的相似病例(例如特征相似度最高的超声图像的缩略图)均可以对应一个链接,用户可以通过点击该链接,而进入被选中的相似病例的详情显示界面例如第二显示界面,如图3所示。在其他示例中,第二显示界面还可以用于显示各种功能按钮,例如用于接收用户输入的用户指令的详情功能按钮,所述方法还包括:获取用户通过详情功能按钮输入的用户指令,基于用户指令,控制在第二显示界面中显示当前被选中的相似病例的详细信息。
在一个示例中,如图3所示,该第二显示界面包括病情详情显示区和待查找病例显示区,其中,该病情详情显示区用于显示被选中的相似病例的详细信息,该待查找病例显示区用于以预设显示方式显示该待查找病例的输入图像,例如该预设显示方式包括:缩略显示至少部分该输入图像,或者其他适合的显示方式。
在一个示例中,如图3所示,第二显示界面还可以用于显示第二功能按钮(例如如图3所示的“退出”按钮),该方法还包括:获取用户通过第二功能按钮输入的用户指令,基于该用户指令,控制显示第一显示界面,例如控制关闭第二显示界面的同时,显示第一显示界面,又例如,可以将第二显示界面缩放显示例如最小化显示,而放大显示第一显示界面。
进一步,如图2所示,当第一显示界面显示第一功能按钮(例如图2中示出的“详细对比”按钮)时,或,当第二显示界面显示第一功能按钮(例如图3中示出的“详细对比”按钮)时,该第一功能按钮用于接收用户输入的用户指令,其中,该第一显示界面至少用于显示检索结果的列表,第二显示界面用于显示该相似病例中的被选中的相似病例(也即在列表中被选中的相似病例)的详细信息,该方法还包括:获取用户通过该第一功能按钮输入的该用户指令;基于该用户指令,将该待检索病例和被选中的相似病例的对应模式的超声图像和/或对应切面的超声图像进行对比,以获得对比结果;如图4所示,控制在第三显示界面中显示以下信息中的至少一种:该待检索病例用于对比的超声图像和该被选中的相似病例用于对比的超声图像、特征关键词、该对比结果、该待检索病例用于对比的超声图像中包围病灶区域的框、该被选中的相似病例用于对比的超声图像中包围病灶区域的框,或者其他相关的信息。通过该详细对比的过程,自动对待检索病例的超声图像和被选中的相似病例的对应超声图像进行详细对比,并显示对比结 果等信息,以便用户能够更加直观快速判断待检索病例和被选中的相似病例的相似性,从而确定被选中的相似病例的诊断等信息是否适用于待检索病例。
该对比结果包括以下信息中的至少一种:该待检索病例用于对比的超声图像和该被选中的相似病例用于对比的超声图像之间的特征相似度、该待检索病例用于对比的超声图像和该被选中的相似病例用于对比的超声图像之间的相似特征。
对比结果可以包括用户感兴趣的任意适合的信息,例如,该对比结果包括以下信息中的至少一种:该待检索病例用于对比的超声图像和该被选中的相似病例用于对比的超声图像之间的特征相似度、该待检索病例用于对比的超声图像和该被选中的相似病例用于对比的超声图像之间的相似特征、待检索病例的病灶区域的特征描述、被选中的相似病例的病灶区域的特征描述等。其中,特征描述包括但不限于病灶区域的形状、方向、回声等。
本申请实施例中,各个显示界面(例如第一显示界面、第二显示界面、第三显示界面)可以悬浮于显示器的整个显示界面上,或者,各个显示界面可以全屏显示,或者还可以仅覆盖显示器的整个显示界面的部分区域,或者,还可以是各个显示界面中的至少两个同时在显示器的整个显示界面的不同区域显示,或者,当一个显示界面触发显示后,之前显示的显示界面会自动关闭等。
在一个示例中,该第三显示界面中显示有第三功能按钮(例如如图4所示的“确定”按钮),该处理器还用于:获取用户通过该第三功能按钮输入的用户指令;基于该用户指令,控制显示该第一显示界面或该第二显示界面,例如控制关闭第三显示界面的同时,显示第一显示界面或该第二显示界面,又例如,可以将第三显示界面缩放显示例如最小化显示,而放大显示第一显示界面或该第二显示界面。
在一个示例中,如图2所示,第一显示界面上还显示有修改病灶按钮,本申请的方法还包括:基于用户通过该修改病灶按钮输入的修改指令,自动识别修改该第一显示界面的第二显示区域中显示的该输入图像中的一个超声图像的病灶区域,例如如图2左侧所示的大图,之后,基于修改后的病灶区域,重新获取检索结果。在另一个示例中,本申请的方法还包括:获取用户通过该修改病灶按钮输入的修改指令;获取用户输入的选择指令,并基于该选择指令,修改该第一显示界面的第二显示区域中显示的该输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果。通过这样的设置,当用户确定病灶区域的位置错误或者不准确时,可以修改病灶区域,并重新获取检索结果,从而提高 检索结果的准确性。
在一个示例中,本申请的相似病例检索方法还包括:获取用户在该列表中被选中的相似病例的信息;基于被选中的相似病例的信息,在多个该相似病例中进行检索,以按照与该被选中的相似病例的病例相似度由高到低的顺序将该列表中除该被选中的相似病例以外的其他相似病例进行排序,通过该方法可以有利于用户快速查看到与被选中的相似病例相近的其他相似病例,提高用户对列表中的相似病例的浏览效率,以便与用户快速获取到感兴趣的病例的信息。
至此完成了对本申请的相似病例检索方法的描述,但可以理解的是,上述方法的步骤在不矛盾的前提下,步骤之间的顺序可以进行调换、还可以穿插进行等。
综上所述,根据本申请的相似病例检索方法,通过将多模态超声图像和/或多切面超声图像作为待检索病例的输入图像在病例数据库的多个待查找病例的对应超声图像进行匹配,从而确定所述待检索病例和所述待查找病例之间的病例相似度,并根据病例相似度获取检索结果,最后显示检索结果,相比单模态超声或单切面超声图像作为输入图像进行检索的方法,本申请的检索方法所获得的检索结果更全,且不相关病例的数量明显减少,使得检索结果更加准确及精简,从而能够更加有效的聚焦用户关心的病灶,进而更好的辅助用户对病例数据的管理、疑难病症的诊断以及教学或科研等。
下面,参考图6对本申请的相似病例检索系统进行描述,其中,图6示出了本申请一个实施例的相似病例检索系统的示意性框图。
如图6所示,本申请的相似病例检索系统600包括存储器602、一个或多个处理器601和显示器等,存储器602用于存储可执行的程序指令;一个或多个处理器601用于执行所述存储器602中存储的所述程序指令,使得所述处理器601执行前文所述的基于超声图像的相似病例检索方法;显示器至少用于显示所述检索结果。一个或多个处理器601共同地或单独地工作。可选地,相似病例检索系统600还可以包括输入装置(未示出)、输出装置(未示出)、通信接口等,这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。
存储器602用于存储处理器601可执行的程序指令,例如用于存储用于实现根据本申请实施例的相似病例检索方法的相应步骤和程序指令。可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包 括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
所述输入装置可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个,用于检索结果、对比结果、详情信息等输出为图像进行显示。
通信接口(未示出)用于相似病例检索系统和其他设备之间(例如病例数据库等)进行通信,包括有线或者无线方式的通信。相似病例检索系统可以接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中,通信接口经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信接口还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
处理器601可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元。所述处理器601能够执行所述存储器602中存储的指令,以执行本文描述的本申请实施例的相似病例检索方法。例如,处理器601能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。
存储器602用于存储程序指令,所述处理器601用于执行所述存储器602存储的程序指令,当所述程序指令被执行时,所述处理器601用于实现根据本申请实施例的相似病例检索方法,本领域技术人员可以参照前文相似病例检索方法的描述理解处理器601的具体操作以及显示器的显示细节等,为了简洁,此处不再赘述。
综上所述,基于本申请实施例的相似病例检索系统进行相似病例的检索,所获得的检索结果更全,且不相关病例的数量明显减少,使得检索结果更加准确及精简,从而能够更加有效的聚焦用户关心的病灶,进而更好的辅助用户对病例数据的管理、疑难病症的诊断以及教学或科研。
本申请实施例还提供一种超声成像系统,图7示出了本申请一个实施例中的超声成像系统的示意性框图。如图7所示,该超声成像系统通常包括:超声探头 1、发射电路2、发射/接收选择开关3、接收电路4、波束合成电路5、处理器6、显示器7等。这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。
超声探头1通常包括多个阵元的阵列。在每次发射超声波时,超声探头1的所有阵元或者所有阵元中的一部分参与超声波的发射。此时,这些参与超声波发射的阵元中的每个阵元或者每部分阵元分别受到发射脉冲的激励并分别发射超声波,这些阵元分别发射的超声波在传播过程中发生叠加,形成被发射到扫描目标的合成超声波束,该合成超声波束的方向即为超声传播方向。
在超声成像过程中,发射电路2用于激励所述超声探头向被测对象发射超声波;发射电路2将经过延迟聚焦的具有一定幅度和极性的发射脉冲通过发射/接收选择开关3发送到超声探头1。超声探头1受发射脉冲的激励,向扫描目标(例如,人体或者动物体内的器官、组织、血管等,图中未示出)发射超声波,经一定延时后接收从目标区域反射和/或散射回来的带有扫描目标的信息的超声回波,并将此超声回波重新转换为电信号。接收电路2控制所述超声探头接收所述超声波的回波,以获得超声回波信号,以及将这些超声回波信号送入波束合成电路5。波束合成电路5对超声回波信号进行聚焦延时、加权和通道求和等处理,然后将超声回波信号送入处理器6进行相关的处理,处理器6用于对所述超声回波信号进行信号处理,获得超声图像。其中,处理器6用于根据用户所需成像模式的不同,对超声回波信号进行不同的处理,获得不同模式的图像数据,然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像,如B图像,C图像等等。
处理器6获得的超声图像可以存储于存储器中,这些超声图像可以在例如显示器7的输出装置上显示。
本申请实施例中,超声成像系统的显示器可为触摸显示屏、液晶显示屏等,也可以是独立于超声成像系统之外的液晶显示器、电视机等独立显示装置,也可为手机、平板电脑等电子装置上的显示屏。显示器7用于显示可视化信息,例如显示器可以用于显示由用户输入的信息或提供给用户的信息以及超声成像设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成,还可以用于显示检索结果、超声图像、对比结果等等可视化信息。
在一个示例中,超声成像系统的处理器6可以通过软件、硬件、固件或者其组合实现,可以使用电路、单个或多个专用集成电路(application specific integrated circuits,ASIC)、单个或多个通用集成电路、单个或多个微处理器、单个或多个可编程逻辑器件、或者前述电路或器件的组合、或者其他适合的电路或器件,从而使得该处理器6可以执行需要由其实现的功能以及/或者其它期望的功能。
在一个示例中,超声成像系统还可以包括输入装置(未示出)可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
在本申请的一个实施例中,处理器6还用于执行前文描述的基于超声图像的相似病例检索方法,包括:获取待检索病例的输入图像,该输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;将该输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定该待检索病例和该待查找病例之间的病例相似度;根据该病例相似度,获取检索结果,其中,该检索结果包括该多个待查找病例中与该待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表。
在一个示例中,该列表中包括以下信息中的一种或多种:该相似病例的病名、该相似病例的至少一张超声图像、该相似病例的至少一张超声图像的缩略图、被选中的相似病例的特征信息、每个相似病例与该待检索病例之间特征相似度最高的超声图像的缩略图。
在一个示例中,该被选中的相似病例的特征信息包括以下信息中的一种或多种:病灶的形状、病灶的方向、边缘是否清晰、回声类型、病灶后方是否有回声、病灶是否钙化、病灶内是否有血流、病灶分级信息。
在一个示例中,该显示器具有第一显示界面,在第一显示界面的第一显示区域显示该检索结果,在该第一显示界面的第二显示区域显示该待检索病例的输入图像中的部分超声图像,例如,各个相似病例按照病例相似度从高到低的顺序,依次从第一显示区域的第一侧向第二侧排序显示。
在一个示例中,当该第二显示区域显示的该输入图像切换后,该处理器6还用于:控制在该第一显示区域中对应显示该相似病例与切换后超声图像对应的超声图像。
在一个示例中,当在该显示器的第一显示界面中显示该列表时,该处理器6还用于:基于用户指令,控制在第二显示界面中显示当前被选中的相似病例的详细信息,其中,该详细信息包括以下信息中的一种或多种:当前被选中的相似病 例的多模式超声图像、当前被选中的相似病例的多切面超声图像、当前被选中的相似病例的诊断报告、当前被选中的相似病例和待检索病例的对应模式超声图像之间的特征相似度、当前被选中的相似病例和待检索病例的对应切面超声图像之间的特征相似度。
在一个示例中,当第一显示界面显示第一功能按钮时或当第二显示界面显示第一功能按钮时,该第一功能按钮用于接收用户输入的用户指令,其中,该第一显示界面用于显示该列表,该第二显示界面用于显示该相似病例中的被选中的相似病例的详细信息,该处理器6还用于:获取用户通过该第一功能按钮输入的该用户指令;基于该用户指令,将该待检索病例和被选中的相似病例的对应模式的超声图像和/或对应切面的超声图像进行对比,以获得对比结果;控制在该显示器的第三显示界面中显示以下信息中的至少一种:该待检索病例用于对比的超声图像和该被选中的相似病例用于对比的超声图像、特征关键词、该对比结果、该待检索病例用于对比的超声图像中包围病灶区域的框、该被选中的相似病例用于对比的超声图像中包围病灶区域的框。
在一个示例中,将该输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,获取该待检索病例和该待查找病例之间的病例相似度,包括:将该输入图像和病例数据库中的多个待查找病例的对应模式超声图像或对应切面图像分别进行匹配,获取对应模式超声图像和/或对应切面超声图像之间的多个特征相似度;基于该多个特征相似度,获取该待检索病例和该待查找病例之间的病例相似度。
在一个示例中,将该输入图像和病例数据库中的多个待查找病例的对应模式超声图像和/或对应切面超声图像分别进行匹配,获取该对应模式超声图像和/或对应切面超声图像之间的多个特征相似度,包括:获取该输入图像中的各个超声图像的病灶区域;将该待检索病例的各个超声图像的病灶区域和该待查找病例的对应超声图像进行特征相似度计算,以获取对应模式超声图像和/或对应切面超声图像之间的多个特征相似度。
在一个示例中,该第一显示界面上还显示有修改病灶按钮,该处理器6还用于:基于用户通过该修改病灶按钮输入的修改指令,自动识别修改该第一显示界面中的第二显示区域中显示的该输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果;
在另一个示例中,在第一显示界面上还显示有修改病灶按钮,该处理器6 还用于:获取用户通过该修改病灶按钮输入的修改指令;获取用户输入的选择指令,并基于该选择指令,修改该第一显示界面的第二显示区域中显示的该输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果。
在一个示例中,该处理器6还用于:获取用户在该列表中被选中的相似病例的信息;基于被选中的相似病例的信息,在多个该相似病例中进行检索,以按照与该被选中的相似病例的病例相似度由高到低的顺序将该列表中除该被选中的相似病例以外的其他相似病例进行排序。
本领域技术人员可以参照前文相似病例检索方法的描述理解处理器6的具体操作以及显示器的显示细节等,为了简洁,此处不再赘述。
由于本申请的超声成像系统能够实现基于超声图像的相似病例检索方法,因此具有和前述方法相同的优点。
另外,本申请实施例还提供了一种计算机存储介质,其上存储有计算机程序。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行存储装置存储的所述程序指令,以实现本文所述的本申请实施例中(由处理器实现)的功能以及/或者其它期望的功能,例如以执行根据本申请实施例的基于超声图像的相似病例检索方法100的相应步骤,在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
例如,所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本申请的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个 信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (25)
- 一种基于超声图像的相似病例检索方法,其特征在于,所述方法包括:获取待检索病例的输入图像,所述输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定所述待检索病例和所述待查找病例之间的病例相似度;根据所述病例相似度,获取检索结果,其中,所述检索结果包括所述多个待查找病例中与所述待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表;显示所述检索结果。
- 如权利要求1所述的方法,其特征在于,所述列表中包括以下信息中的一种或多种:所述相似病例的病名、所述相似病例的至少一张超声图像、所述相似病例的至少一张超声图像的缩略图、被选中的相似病例的特征信息、每个所述相似病例与所述待检索病例之间特征相似度最高的超声图像的缩略图。
- 如权利要求2所述的方法,其特征在于,所述被选中的相似病例的特征信息包括以下信息中的一种或多种:病灶的形状、病灶的方向、边缘是否清晰、回声类型、病灶后方是否有回声、病灶是否钙化、病灶内是否有血流、病灶分级信息。
- 如权利要求1所述的方法,其特征在于,在第一显示界面的第一显示区域显示所述检索结果,在第一显示界面的第二显示区域显示所述待检索病例的输入图像中的部分超声图像。
- 如权利要求4所述的方法,其特征在于,各个所述相似病例按照病例相似度从高到低的顺序,依次从第一显示区域的第一侧向第二侧排序显示。
- 如权利要求4所述的方法,其特征在于,当所述第二显示区域显示的所述输入图像切换后,所述方法还包括:控制在所述第一显示区域中对应显示所述相似病例与切换后超声图像对应的超声图像。
- 如权利要求1所述的方法,其特征在于,当在第一显示界面中显示所述列表时,所述方法还包括:基于用户指令,控制在第二显示界面中显示当前被选中的相似病例的详细信息,其中,所述详细信息包括以下信息中的一种或多种:当前被选中的相似病例的多模式超声图像、当前被选中的相似病例的多切面超声图像、当前被选中的相 似病例的诊断报告、当前被选中的相似病例和待检索病例的对应模式超声图像之间的特征相似度、当前被选中的相似病例和待检索病例的对应切面超声图像之间的特征相似度。
- 如权利要求1所述的方法,其特征在于,当第一显示界面显示第一功能按钮时或当第二显示界面显示第一功能按钮时,所述第一功能按钮用于接收用户输入的用户指令,其中,所述第一显示界面用于显示所述列表,所述第二显示界面用于显示所述相似病例中的被选中的相似病例的详细信息,所述方法还包括:获取用户通过所述第一功能按钮输入的所述用户指令;基于所述用户指令,将所述待检索病例和被选中的相似病例的对应模式的超声图像和/或对应切面的超声图像进行对比,以获得对比结果;控制在第三显示界面中显示以下信息中的至少一种:所述待检索病例用于对比的超声图像和所述被选中的相似病例用于对比的超声图像、特征关键词、所述对比结果、所述待检索病例用于对比的超声图像中包围病灶区域的框、所述被选中的相似病例用于对比的超声图像中包围病灶区域的框。
- 如权利要求1所述的方法,其特征在于,将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,获取所述待检索病例和所述待查找病例之间的病例相似度,包括:将所述输入图像和病例数据库中的多个待查找病例的对应模式超声图像或对应切面图像分别进行匹配,获取对应模式超声图像和/或对应切面超声图像之间的多个特征相似度;基于所述多个特征相似度,获取所述待检索病例和所述待查找病例之间的病例相似度。
- 如权利要求9所述的方法,其特征在于,将所述输入图像和病例数据库中的多个待查找病例的对应模式超声图像和/或对应切面超声图像分别进行匹配,获取所述对应模式超声图像和/或对应切面超声图像之间的多个特征相似度,包括:获取所述输入图像中的各个超声图像的病灶区域;将所述待检索病例的各个超声图像的病灶区域和所述待查找病例的对应超声图像进行特征相似度计算,以获取对应模式超声图像和/或对应切面超声图像之间的多个特征相似度。
- 如权利要求10所述的方法,其特征在于,第一显示界面上还显示有修 改病灶按钮,所述方法还包括:基于用户通过所述修改病灶按钮输入的修改指令,自动识别修改所述第一显示界面的第二显示区域中显示的所述输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果;或者获取用户通过所述修改病灶按钮输入的修改指令;获取用户输入的选择指令,并基于所述选择指令,修改所述第一显示界面的第二显示区域中显示的所述输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果。
- 如权利要求1所述的方法,其特征在于,所述方法还包括:获取用户在所述列表中被选中的相似病例的信息;基于被选中的相似病例的信息,在多个所述相似病例中进行检索,以按照与所述被选中的相似病例的病例相似度由高到低的顺序将所述列表中除所述被选中的相似病例以外的其他相似病例进行排序。
- 一种超声成像系统,其特征在于,所述超声成像系统包括:超声探头;发射电路,用于激励所述超声探头向被测对象发射超声波;接收电路,用于控制所述超声探头接收所述超声波的回波,以获得超声回波信号;处理器,用于:对所述超声回波信号进行信号处理,获得超声图像;获取待检索病例的输入图像,所述输入图像包括待检索病例的多模态超声图像和/或多切面超声图像;将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,以确定所述待检索病例和所述待查找病例之间的病例相似度;根据所述病例相似度,获取检索结果,其中,所述检索结果包括所述多个待查找病例中与所述待检索病例的病例相似度满足预设阈值的至少一个相似病例的列表;显示器,用于显示可视化信息,所述可视化信息包括所述检索结果。
- 如权利要求13所述的系统,其特征在于,所述列表中包括以下信息中的一种或多种:所述相似病例的病名、所述相似病例的至少一张超声图像、所述相似病例的至少一张超声图像的缩略图、被选中的相似病例的特征信息、每个所 述相似病例与所述待检索病例之间特征相似度最高的超声图像的缩略图。
- 如权利要求14所述的系统,其特征在于,所述被选中的相似病例的特征信息包括以下信息中的一种或多种:病灶的形状、病灶的方向、边缘是否清晰、回声类型、病灶后方是否有回声、病灶是否钙化、病灶内是否有血流、病灶分级信息。
- 如权利要求13所述的系统,其特征在于,所述显示器具有第一显示界面,在第一显示界面的第一显示区域显示所述检索结果,在所述第一显示界面的第二显示区域显示所述待检索病例的输入图像中的部分超声图像。
- 如权利要求16所述的系统,其特征在于,各个所述相似病例按照病例相似度从高到低的顺序,依次从所述第一显示区域的第一侧向第二侧排序显示。
- 如权利要求16所述的系统,其特征在于,当所述第二显示区域显示的所述输入图像切换后,所述处理器还用于:控制在所述第一显示区域中对应显示所述相似病例与切换后超声图像对应的超声图像。
- 如权利要求13所述的系统,其特征在于,当在所述显示器的第一显示界面中显示所述列表时,所述处理器还用于:基于用户指令,控制在所述显示器的第二显示界面中显示当前被选中的相似病例的详细信息,其中,所述详细信息包括以下信息中的一种或多种:当前被选中的相似病例的多模式超声图像、当前被选中的相似病例的多切面超声图像、当前被选中的相似病例的诊断报告、当前被选中的相似病例和待检索病例的对应模式超声图像之间的特征相似度、当前被选中的相似病例和待检索病例的对应切面超声图像之间的特征相似度。
- 如权利要求13所述的系统,其特征在于,当第一显示界面显示第一功能按钮时或当第二显示界面显示第一功能按钮时,所述第一功能按钮用于接收用户输入的用户指令,其中,所述第一显示界面用于显示所述列表,所述第二显示界面用于显示所述相似病例中的被选中的相似病例的详细信息,所述处理器还用于:获取用户通过所述第一功能按钮输入的所述用户指令;基于所述用户指令,将所述待检索病例和被选中的相似病例的对应模式的超声图像和/或对应切面的超声图像进行对比,以获得对比结果;控制在第三显示界面中显示以下信息中的至少一种:所述待检索病例用于对比的超声图像和所述被选中的相似病例用于对比的超声图像、特征关键词、所述对比结果、所述待检索病例用于对比的超声图像中包围病灶区域的框、所述被选 中的相似病例用于对比的超声图像中包围病灶区域的框。
- 如权利要求13所述的系统,其特征在于,将所述输入图像和病例数据库中的多个待查找病例的对应超声图像进行匹配,获取所述待检索病例和所述待查找病例之间的病例相似度,包括:将所述输入图像和病例数据库中的多个待查找病例的对应模式超声图像或对应切面图像分别进行匹配,获取对应模式超声图像和/或对应切面超声图像之间的多个特征相似度;基于所述多个特征相似度,获取所述待检索病例和所述待查找病例之间的病例相似度。
- 如权利要求21所述的系统,其特征在于,将所述输入图像和病例数据库中的多个待查找病例的对应模式超声图像和/或对应切面超声图像分别进行匹配,获取所述对应模式超声图像和/或对应切面超声图像之间的多个特征相似度,包括:获取所述输入图像中的各个超声图像的病灶区域;将所述待检索病例的各个超声图像的病灶区域和所述待查找病例的对应超声图像进行特征相似度计算,以获取对应模式超声图像和/或对应切面超声图像之间的多个特征相似度。
- 如权利要求22所述的系统,其特征在于,所述显示器的第一显示界面上还显示有修改病灶按钮,所述处理器还用于:基于用户通过所述修改病灶按钮输入的修改指令,自动识别修改所述第一显示界面的第二显示区域中显示的所述输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果;或者获取用户通过所述修改病灶按钮输入的修改指令;获取用户输入的选择指令,并基于所述选择指令,修改所述第一显示界面的第二显示区域中显示的所述输入图像中的一个超声图像的病灶区域;基于修改后的病灶区域,重新获取检索结果。
- 如权利要求13所述的系统,其特征在于,所述处理器还用于:获取用户在所述列表中被选中的相似病例的信息;基于被选中的相似病例的信息,在多个所述相似病例中进行检索,以按照与所述被选中的相似病例的病例相似度由高到低的顺序将所述列表中除所述被选 中的相似病例以外的其他相似病例进行排序。
- 一种相似病例检索系统,其特征在于,所述相似病例检索系统包括:存储器,用于存储可执行的程序指令;一个或多个处理器,用于执行所述存储器中存储的所述程序指令,使得所述处理器执行如权利要求1-12任一项所述的基于超声图像的相似病例检索方法;显示器,至少用于显示所述检索结果。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/139513 WO2022134028A1 (zh) | 2020-12-25 | 2020-12-25 | 相似病例检索方法、相似病例检索系统和超声成像系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116457779A true CN116457779A (zh) | 2023-07-18 |
Family
ID=82157248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080106631.5A Pending CN116457779A (zh) | 2020-12-25 | 2020-12-25 | 相似病例检索方法、相似病例检索系统和超声成像系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116457779A (zh) |
WO (1) | WO2022134028A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009083841A1 (en) * | 2007-12-27 | 2009-07-09 | Koninklijke Philips Electronics, N.V. | Method and apparatus for refining similar case search |
CN102184334B (zh) * | 2011-05-19 | 2013-11-06 | 南京航空航天大学 | 一种基于检索的放射治疗计划系统及检索方法 |
CN104036109A (zh) * | 2014-03-14 | 2014-09-10 | 上海大图医疗科技有限公司 | 基于图像的病例检索、勾画及治疗计划系统和方法 |
CN105893597B (zh) * | 2016-04-20 | 2022-05-31 | 上海家好科技有限公司 | 一种相似病历检索方法及系统 |
-
2020
- 2020-12-25 WO PCT/CN2020/139513 patent/WO2022134028A1/zh active Application Filing
- 2020-12-25 CN CN202080106631.5A patent/CN116457779A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022134028A1 (zh) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111374703B (zh) | 用于医疗分级系统的方法和系统 | |
US7244230B2 (en) | Computer aided diagnostic assistance for medical imaging | |
KR102289277B1 (ko) | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 | |
US20040193036A1 (en) | System and method for performing probabilistic classification and decision support using multidimensional medical image databases | |
US20210093301A1 (en) | Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient | |
CN111768366A (zh) | 超声成像系统、bi-rads分级方法及模型训练方法 | |
US10825178B1 (en) | Apparatus for quality management of medical image interpretation using machine learning, and method thereof | |
CN101084511A (zh) | 自动开发在医学诊断成像中产生医学有意义的描述符的高性能分类器的方法和装置 | |
US20180161012A1 (en) | Medical image display apparatus and method therefor | |
US20210090254A1 (en) | Image analysis method based on ultrasound imaging device, and ultrasound imaging device | |
CN106062782A (zh) | 针对基于图集的配准的无监督的训练 | |
KR20160054303A (ko) | 초음파 진단 장치 및 초음파 진단 방법 | |
WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
CN116058864A (zh) | 超声数据的分类显示方法和超声成像系统 | |
JPWO2020027228A1 (ja) | 診断支援システム及び診断支援方法 | |
US11830607B2 (en) | Systems and methods for facilitating image finding analysis | |
CN115206478A (zh) | 医学报告生成方法以及装置、电子设备、可读存储介质 | |
US11191526B2 (en) | Ultrasound diagnosis apparatus and method of controlling the same | |
KR101656582B1 (ko) | 갑상선암 자동 판별 방법 및 시스템 | |
CN116457779A (zh) | 相似病例检索方法、相似病例检索系统和超声成像系统 | |
JP7380668B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
CN113693625B (zh) | 超声成像方法和超声成像设备 | |
US20210219943A1 (en) | Ultrasound diagnosis apparatus and operating method for the same | |
US20230238151A1 (en) | Determining a medical professional having experience relevant to a medical procedure | |
CN111768367B (zh) | 数据处理方法、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |