CN114255219A - 征象识别方法、装置、电子设备和存储介质 - Google Patents

征象识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114255219A
CN114255219A CN202111568050.6A CN202111568050A CN114255219A CN 114255219 A CN114255219 A CN 114255219A CN 202111568050 A CN202111568050 A CN 202111568050A CN 114255219 A CN114255219 A CN 114255219A
Authority
CN
China
Prior art keywords
symptom
detected
information
preset
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111568050.6A
Other languages
English (en)
Other versions
CN114255219B (zh
Inventor
肖月庭
阳光
郑超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shukun Beijing Network Technology Co Ltd
Original Assignee
Shukun Beijing Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shukun Beijing Network Technology Co Ltd filed Critical Shukun Beijing Network Technology Co Ltd
Priority to CN202111568050.6A priority Critical patent/CN114255219B/zh
Publication of CN114255219A publication Critical patent/CN114255219A/zh
Application granted granted Critical
Publication of CN114255219B publication Critical patent/CN114255219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种征象识别方法、装置、电子设备和存储介质,其中方法包括:获取待检测的分析图像序列;提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息;对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息;根据所述第一征象信息和所述第二征象信息,确定所述待检测病灶区域对应的目标病灶区域;本申请实施例提取用户、工作人员基于图像序列输入的待检测病灶区域和待检测病灶区域对应的第一征象信息,对待检测病灶区域和待检测病灶区域对应的第一征象信息进行再次征象识别,查找待检测病灶区域中漏检或缺少的征象信息,弥补AI分析时的漏检问题。

Description

征象识别方法、装置、电子设备和存储介质
技术领域
本发明涉及医疗信息领域,具体涉及一种征象识别方法、装置、电子设备和存储介质。
背景技术
随着信息技术的发展和医疗信息化的建设,目前已经有很多医疗机构影像科室已经部署了医学影像结构化报告系统和医学影像AI(人工智能)分析系统,例如肿瘤AI分析系统、肺结节AI分析系统等,通过AI分析系统的初步识别结果,达到协助用户、工作人员起到初步病灶信息分析的作用。
通常在利用AI分析系统分析时,需要先确定病灶区域,再对病灶区域内的征象(特征现象)信息进行识别。但是,由于病灶复杂程度越来越高,AI辅助分析过程中,容易出现病灶区域漏检的问题,导致无法在图像中识别出病灶征象信息,影响用户、工作人员对患者病情的分析。
发明内容
本发明实施例提供一种征象识别方法、装置、电子设备和存储介质,以解决现有AI辅助分析过程征象信息漏检问题。
一方面,本申请实施例提供一种征象识别方法,所述方法包括:
获取待检测的分析图像序列;
提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息;
对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息;
根据所述第一征象信息和所述第二征象信息,确定所述待检测病灶区域对应的目标病灶区域。
在本申请一些实施例中,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息包括:
获取预设征象库中所述第一征象信息对应的至少一个候选病灶类型,以及获取各所述候选病灶类型对应的预设检测模型;
通过各所述预设检测模型对所述待检测病灶区域进行征象识别,得到所述待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,所述获取预设征象库中所述第一征象信息对应的至少一个候选病灶类型,以及获取各所述候选病灶类型对应的预设检测模型包括:
遍历所述预设征象库,获取所述预设征象库中所有包含所述第一征象信息的候选病灶类型;
根据预设的类型与模型之间的映射关系,获取各所述候选病灶类型对应的预设检测模型。
在本申请一些实施例中,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息包括:
将所述待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到所述待检测病灶区域对应的目标样本病灶区域;
获取所述目标样本病灶区域对应的目标样本征象信息组;
根据所述目标样本征象信息组中各目标样本征象信息与所述第一征象信息之间的相似度,得到所述待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,所述将所述待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到所述待检测病灶区域对应的目标样本病灶区域包括:
通过预设步长的滑动窗口分别对所述待检测病灶区域和预设样本库中各样本病灶区域进行像素提取,得到所述待检测病灶区域的第一像素集合和各所述样本病灶区域的第二像素集合;
通过预设的相似度评价函数计算所述第一像素集合和各所述第二像素集合之间的区域相似度;
若所述区域相似度达到预设区域相似度阈值,则将所述第二像素集合对应的所述样本病灶区域作为所述待检测病灶区域对应的目标样本病灶区域。
在本申请一些实施例中,所述将所述待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到所述待检测病灶区域对应的目标样本病灶区域步骤之前,所述方法包括:
获取多个样本图像序列,对各所述样本图像序列进行病灶区域识别和标记,得到多个样本病灶区域;
获取各所述样本病灶区域对应的至少一个样本征象信息,得到各所述样本病灶区域对应的样本征象信息组;
将各所述样本征象信息组与对应的所述样本病灶区域关联保存至预设样本库。
在本申请一些实施例中,所述方法还包括:通过已训练的检测模型对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息。
在本申请一些实施例中,所述检测模型的训练过程包括:
获取训练数据集,其中所述训练数据集包括训练样本图像、所述训练样本图像的已有征象信息和所述训练样本图像对应的真实征象信息;
调用所述检测模型根据所述训练样本图像和所述训练样本图像的已有征象信息进行预测,得到所述训练样本图像的预测剩余征象信息;
根据预设的损失函数、所述预测剩余征象信息、所述已有征象信息和所述真实征象信息,确定所述检测模型的训练损失值;
根据所述训练损失值对所述检测模型进行调整,直至所述检测模型满足预设的训练条件,得到已训练的检测模型。
在本申请一些实施例中,所述提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息包括:
输出分析页面,在所述分析页面上展示所述分析图像序列;
响应用户、工作人员基于所述分析页面输入的点击操作,获取所述点击操作对应的待检测病灶区域;
通过预设征象识别模型对所述待检测病灶区域进行征象识别,得到所述待检测病灶区域对应的第一征象信息。
在本申请一些实施例中,所述方法还包括:
输出所述分析图像序列,获取用户、工作人员基于所述图像序列选择的目标分析图像以及获取所述目标分析图像对应的征象信息;
对所述征象信息和所述目标分析图像进行征象识别,得到所述目标分析图像对应的遗漏征象信息。
在本申请一些实施例中,所述获取待检测的分析图像序列包括:
获取原图像序列,所述原图像序列包括多张CT、MR图像;
将所述原图像序列输入已训练的病灶识别模型,得到分析图像序列,所述分析图像序列包括至少一张分析图像、以及所述分析图像对应的病灶区域。
在本申请一些实施例中,所述将所述待检测病灶区域和所述第一征象信息输入至预设检测模型,得到第二征象信息步骤之前,所述方法包括:
查询预设征象库中是否存在与所述第一征象信息匹配的预设征象信息;
若所述预设征象库中存在与所述第一征象信息匹配的预设征象信息,则获取所述预设征象信息对应的目标病灶类型,根据所述目标病灶类型和所述第一征象信息,得到第二征象信息;
若所述预设征象库中不存在与所述第一征象信息匹配的预设征象信息,则对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息。
在本申请一些实施例中,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息之后,所述方法包括:
根据所述第二征象信息和所述第一征象信息,确定所述待检测病灶区域的病灶类型;
根据所述病灶类型、所述第二征象信息和所述第一征象信息,建立所述病灶类型对应的目标识别模型;
将目标识别模型存储至所述预设征象库,对所述预设征象库进行更新。
另一方面,本申请实施例提供一种征象识别装置,所述装置包括:
分析模块,用于获取待检测的分析图像序列;
交互模块,用于提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息;
征象匹配模块,用于对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息;
识别模块,用于根据所述第一征象信息和所述第二征象信息,确定所述待检测病灶区域对应的目标病灶区域。
另一方面,本申请实施例提供一种电子设备,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行所述的征象识别方法中的操作。
另一方面,本申请实施例提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行所述的征象识别方法中的步骤。
本发明实施例获取待检测的分析图像序列;提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息;对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息;根据所述第一征象信息和所述第二征象信息,确定所述待检测病灶区域对应的目标病灶区域;本申请实施例提取用户、工作人员基于图像序列输入的待检测病灶区域和待检测病灶区域对应的第一征象信息,对待检测病灶区域和待检测病灶区域对应的第一征象信息进行再次征象识别,查找待检测病灶区域中漏检或缺少的征象信息,弥补AI分析时的漏检问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的征象识别方法的一个实施例流程示意图;
图2是本申请实施例提供的预设征象库的一个实施例示意图;
图3是本申请实施例提供的征象识别方法中获取第二征象信息的一个实施例流程示意图;
图4是本申请一些实施例提供的征象识别方法中获取第二征象信息的另一个实施例流程示意图;
图5是本申请实施例提供的征象识别方法中训练检测模型的一个实施例流程示意图;
图6是本申请实施例提供的征象识别方法中获取第二征象信息的另一种实施例流程示意图;
图7是本申请实施例提供的征象识别装置的一个实施例结构示意图;
图8是本申请实施例提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种征象识别方法、装置、电子设备和存储介质。根据本申请实施例提供的征象识别方法的实施例,需要说明的是,附图的流程示意图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且虽然在流程示意图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的执行顺序执行所描述或所示的步骤。
在本申请一些实施例中,征象识别方法可应用于电子设备。其中,电子设备可以是计算机设备和终端设备中至少一种;其中计算机设备可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。其中,终端设备包括但不限于智能手机、电视、平板电脑和PC端。在本申请一些实施例中,征象识别方法应用于计算机设备和终端设备时,终端设备和计算机设备之间可以通过任何通信方法实现通信,其中通信方式包括但不限于基于第三代合作伙伴计划(3rd Generation Partnership Project 3GPP)、长期演进Long TermEvolution LTE)、全球互通微波访问(Worldwide Interoperability for MicrowaveAccess WiMAX)的移动通信,或基于TCP/IP协议族(TCP/IPProtocol Suite TCP/IP)、用户数据报协议(User Datagram Protocol UDP)的计算机网络通信等。
如图1所示,图1是本申请实施例提供的征象识别方法的一个实施例流程示意图,所示的征象识别方法包括步骤101~104:
步骤101,获取待检测的分析图像序列。
其中,分析图像序列指的经过已训练的病灶识别模型分析处理的图像序列。在本申请一些实施例中,分析图像序列包括至少一张分析图像,分析图像上标记有病灶区域和各病灶区域对应的征象信息;在本申请一些实施例中,病灶识别模型可以是基于深度学习神经网络模型构建的,其中深度学习神经网络包括但不限于深度卷积网络、深度残差网络、生成对抗网络、图神经网络、胶囊网络。
在本申请一些实施例中,分析图像序列中每一张分析图像都标记有图像序列号,其中图像序列号可以是数字;分析图像中的各病灶区域都标记有病灶序列号,其中病灶序列号可以将图像序列号作为前缀,例如病灶序列号11-2表示分析图像序列中图像序列号为11的分析图像上病灶序列号为1的病灶区域;在展示各病灶区域对应的征象信息时,根据将病灶序列号与病灶序列号对应病灶区域的征象信息进行关联,例如11-2表示分析图像序列中图像序列号为11的分析图像上病灶序列号为1的病灶区域的征象信息。
在本申请一些实施例中,步骤101包括:获取原图像序列,将原图像序列输入已训练的病灶识别模型,得到分析图像序列。其中,原图像序列包括多张CT、MR图像。
在本申请一些实施例中,为了增加待检测的分析图像序列中征象信息,在获取原图像序列之后,对原图像进行图像融合,将融合后图像输入已训练的病灶识别模型,得到分析图像序列。其中,对原图像进行图像融合指的是,将相同患者的同一部位的不同类型的图像进行融合,例如将CT与MR图像进行融合。
在本申请一些实施例中,在获取相同患者的同一部位的原图像序列之后,获取原图像的类型;如果原图像序列中各原图像的类型相同,即原图像序列是单一类型的图像,则将原图像序列输入已训练的病灶识别模型,得到分析图像序列;如果原图像序列中各原图像的类型不相同,即原图像序列是多种类型的图像,则将原图像序列进行图像融合,将融合后图像输入已训练的病灶识别模型,得到分析图像序列。其中,多种类型包括两种类型和两种以上类型。
步骤102,提取分析图像序列对应的待检测病灶区域,以及待检测病灶区域对应的第一征象信息。
待检测病灶区域指的是用户、工作人员根据分析图像序列手动选择的病灶区域,在本申请一些实施例中,待检测病灶区域可以是分析图像序列中已分析出的病灶区域,也可以是分析图像序列中未分析出的图像区域。
在本申请一些实施例中,可以获取待检测病灶区域的病灶序列号,提取病灶序列号关联的待检测病灶区域对应的第一征象信息;在本申请一些实施例中,可以通过预设征象识别模型对待检测病灶区域进行征象识别,得到待检测病灶区域对应的第一征象信息。
在本申请一些实施例中,步骤102包括:输出分析页面,在分析页面上展示分析图像序列,响应用户、工作人员基于分析页面输入的点击操作,获取点击操作对应的待检测病灶区域,通过预设征象识别模型对待检测病灶区域进行征象识别,得到待检测病灶区域对应的第一征象信息。其中,点击操作可以是点击病灶序列号,点击操作也可以是点击分析图像上的区域,点击操作还可以是在分析图像上绘制线图,则响应用户、工作人员基于分析页面输入的点击操作,获取点击操作对应的待检测病灶区域理解为:响应用户、工作人员基于分析页面输入的病灶序列号,获取病灶序列号对应的待检测病灶区域;响应用户、工作人员基于分析页面输入的分析图像点击操作,以分析图像中点击操作的接触点为窗口的中点,按照预设尺寸提取分析图像中窗口内的待检测病灶区域,其中窗口可以是方形窗口,也可以是圆形窗口;响应用户、工作人员基于分析页面的分析图像上绘制的线图,提取线图内的图像区域作为分析图像序列对应的待检测病灶区域,在本申请一些实施例中,绘制的线图还支持拖拽功能。
在本申请一些实施例中,预设征象识别模型可以是基于深度学习神经网络模型构建的,其中深度学习神经网络包括但不限于深度卷积网络、深度残差网络、生成对抗网络、图神经网络、胶囊网络;在本申请一些实施例中,预设征象识别模型可以是基于机器学习模型构建的,其中机器学习模型包括但不限于字典学习、SVM。
在本申请一些实施例中,步骤102还包括:输出分析页面,在分析页面上展示分析图像序列,响应用户、工作人员基于分析页面输入的点击操作,获取点击操作对应的待检测病灶区域,获取待检测病灶区域对应的目标病灶序列号,获取目标病灶序列号关联的征象信息,作为待检测病灶区域对应的第一征象信息。
步骤103,对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息。
在本申请一些实施例中,第二征象信息可以是待检测病灶区域中除第一征象信息之外的其他征象信息,用于指示待检测病灶区域是否存在征象信息漏检,当第二征象信息为空时,待检测病灶区域不存在征象信息漏检;当第二征象信息不为空时,待检测病灶区域存在征象信息漏检。
在本申请一些实施例中,可以通过预设检测模型对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息。其中预设检测模型可以是数据计算模型,例如相似度计算模型,预设检测模型也可以是神经网络模型,预设检测模型还可以是映射关系。
在本申请一些实施例中,还可以选择分析图像的图像序列号,对图像序列号对应的目前分析图像进行征象识别,得到遗漏征象信息,具体地包括:输出分析图像序列,获取用户、工作人员基于图像序列选择的目标分析图像以及获取目标分析图像对应的征象信息;对征象信息和目标分析图像进行征象识别,得到目标分析图像对应的遗漏征象信息。其中,获取用户、工作人员输入的目标图像序列号,根据目标图像序列号获取基于图像序列选择的目标分析图像;获取目标分析图像对应的征象信息可以是提取目标分析图像上所有病灶区域对应的征象信息,获取目标分析图像对应的征象信息也可以是调用预设征象识别模型对目标分析图像进行征象识别,得到目标分析图像对应的征象信息。在本申请一些实施例中,可以通过预设检测模型对征象信息和目标分析图像进行征象识别,得到目标分析图像对应的遗漏征象信息。
在本申请一些实施例中,为了提高分析的准确度,在第二征象信息为空时,可以通过预设检测模型,对待检测病灶区域所在的分析图像的其他病灶区域进行检测,得到第二征象信息;也可以扩大待检测病灶区域,得到新的待检测病灶区域,通过预设检测模型,对新的待检测病灶区域进行检测,得到第二征象信息;还可以通过预设检测模型,对待检测病灶区域所在的分析图像进行检测,得到第二征象信息;如果第二征象信息仍然为空,则待检测病灶区域不存在征象信息漏检。
步骤104,根据第一征象信息和第二征象信息,确定待检测病灶区域对应的目标病灶区域。
在本申请一些实施例中,步骤104包括:根据第一征象信息和第二征象信息中各征象信息中的信息数量、病灶范围信息、病灶尺寸信息,确定待检测病灶区域对应的目标病灶区域。在本申请一些实施例中,可以输出第一征象信息和第二征象信息中各征象信息中的信息数量、病灶范围信息、病灶尺寸信息,以使用户、工作人员根据信息数量、病灶范围信息、病灶尺寸信息确定待检测病灶区域对应的目标病灶区域;也可以是根据第一征象信息和第二征象信息中各征象信息中的信息数量、病灶范围信息、病灶尺寸信息,将信息数量、病灶范围信息、病灶尺寸信息输入预设病灶分析模型进行目标识别,得到待检测病灶区域对应的目标病灶区域。其中,预设病灶分析模型可以是基于深度学习神经网络或机械学习模型,例如,卷积神经网络(Convolutional Neural Networks,CNN)、反卷积神经网络(De-Convolutional Networks,DN)、深度神经网络(Deep Neural Networks,DNN)、深度卷积逆向图网络(Deep Convolutional Inverse Graphics Networks,DCIGN)、基于区域的卷积网络(Region-based Convolutional Networks,RCNN)、基于区域的快速卷积网络(FasterRegion-based Convolutional Networks,Faster RCNN)和双向编解码(BidirectionalEncoder Representations from Transformers,BERT)模型。
本申请实施例提取用户、工作人员基于图像序列输入的待检测病灶区域和待检测病灶区域对应的第一征象信息,对待检测病灶区域和待检测病灶区域对应的第一征象信息进行再次征象识别,查找待检测病灶区域中漏检或缺少的征象信息,弥补AI分析时的漏检问题。
在本申请一些实施例中,在步骤103中,可以查询预设征象库,获取第一征象信息对应的候选病灶类型,以及获取候选病灶类型对应的预设检测模型,并通过候选病灶类型对应的预设检测模型对待检测病灶区域进行征象再识别,得到第二征象信息。其中,预设征象库中包括多个预设病灶区域的预设征象信息对应的病灶类型以及各病灶类型对应的预设检测模型,示例性的,预设征象库如图2所示,图2是本申请实施例提供的预设征象库的一个示意,所示的预设征象库中包括多个病灶类型,每个病灶类型包括对应的预设征象信息以及对应的预设检测模型,例如病灶Z1对应的预设征象信息为征象A和征象B,病灶Z1对应的预设检测模型为检测模型Z1;候选病灶类型指的是预设征象库中包含第一征象信息的预设征象信息对应的病灶类型,例如当第一征象信息为征象A,查询预设征象库可知,病灶Z1和病灶Z2都包括征象A,则病灶Z1和病灶Z2作为候选病灶类型。具体地,查询预设征象库得到第二征象信息的方法如图3所示,图3是本申请实施例提供的征象识别方法中获取第二征象信息的一个实施例流程示意图,所示的获取第二征象信息的方法包括步骤301~302:
步骤301,获取预设征象库中第一征象信息对应的至少一个候选病灶类型,以及获取各候选病灶类型对应的预设检测模型。
在本申请一些实施例中,可以遍历预设征象库,获取包含第一征象信息的候选病灶类型,通过预设征象库中的预设的类型与模型之间的映射关系得到候选病灶类型对应的预设检测模型,具体地,包括步骤a1~a2:
步骤a1,遍历预设征象库,获取预设征象库中所有包含第一征象信息的候选病灶类型。
步骤a2,根据预设的类型与模型之间的映射关系,获取各候选病灶类型对应的预设检测模型。
其中,预设的类型与模型之间的映射关系用于指示病灶类型与对应的预设检测模型之间的映射关系,例如,病灶类型为病灶Z1时对应的预设检测模型为检测模型Z1,病灶类型为病灶Z2时对应的预设检测模型为检测模型Z2。
在本申请一些实施例中,也可以遍历预设征象库,获取包含第一征象信息的候选病灶类型,从预设征象库中提取与各候选病灶类型关联的预设检测模型。
步骤302,通过各预设检测模型对待检测病灶区域进行征象识别,得到待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,步骤302包括:分别调用各候选病灶类型对应的预设检测模型对待检测病灶区域进行征象识别,得到各预设检测模型的输出结果,选择所有输出结果中结果不为空的目标输出结果,将目标输出结果作为待检测病灶区域对应的第二征象信息,并将输出目标输出结果的预设检测模型对应的候选病灶类型作为目标病灶类型。
在本申请一些实施例中,步骤302还包括:通过各预设检测模型对第一征象信息进行征象匹配,确定第一征象信息对应的目标病灶类型以及目标病灶类型对应的目标预设检测模型;调用目标预设检测模型对待检测病灶区域进行征象识别,得到待检测病灶区域对应的第二征象信息。
本申请实施例通过查询预设征象库,获取第一征象信息对应的候选病灶类型,以及获取候选病灶类型对应的预设检测模型,并通过候选病灶类型对应的预设检测模型对待检测病灶区域进行征象再识别,得到第二征象信息,对手选的待检测病灶区域内的征象信息进行补全。
在本申请一些实施例中,在步骤103中,可以获取待检测病灶区域的目标样本病灶区域,以及获取目标样本病灶区域对应的目标征象信息,计算目标征象信息与第一征象信息之间的相似度,得到待检测病灶区域对应的第二征象信息。其中,样本病灶区域是预先建立的预设样本库中样本病灶区域。在本申请一些实施例中,建立预设样本库的方法包括步骤b1~b3:
步骤b1,获取多个样本图像序列,对各样本图像序列进行病灶区域识别和标记,得到多个样本病灶区域。
其中,样本图像序列可以是已有病灶目标病灶区域的图像序列。
在本申请一些实施例中,可以通过预设专家模型对各样本图像序列进行识别和标记,也可以通过人工对各样本图像序列进行病灶区域识别和标记。其中,通过人工对各样本图像序列进行病灶区域识别和标记指的是选择用户、工作人员对各样本图像序列进行病灶区域识别和标记;预设专家模型可以是基于卷积神经网络(Convolutional NeuralNetworks,CNN)、反卷积神经网络(De-Convolutional Networks,DN)、深度神经网络(DeepNeural Networks,DNN)、深度卷积逆向图网络(Deep Convolutional Inverse GraphicsNetworks,DCIGN)、基于区域的卷积网络(Region-based Convolutional Networks,RCNN)、基于区域的快速卷积网络(Faster Region-based Convolutional Networks,FasterRCNN)和双向编解码(Bidirectional Encoder Representations from Transformers,BERT)模型等建立的专家模型。
步骤b2,获取各样本病灶区域对应的至少一个样本征象信息,得到各样本病灶区域对应的样本征象信息组。
步骤b3,将各样本征象信息组与对应的样本病灶区域关联保存至预设样本库。
本申请实施例,收集多个样本图像序列,通过预设专家模型或人工标注,在每个图像序列中选择样本病灶区域,并形成样本病灶区域的样本征象信息组,将样本征象信息组与对应的样本病灶区域关联存储至预设样本库中,以使后续第二征象信息获取中可以将目标病灶信息的第一征象信息与样本病灶区域的样本征象信息组进行相似度计算,根据相似度确定第二征象信息。
具体地,根据样本病灶区域的样本征象信息组得到第二征象信息的方法如图4所示,图4是本申请一些实施例提供的征象识别方法中获取第二征象信息的另一个实施例流程示意图,所示的获取第二征象信息的方法包括步骤401~403:
步骤401,将待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到待检测病灶区域对应的目标样本病灶区域。
在本申请一些实施例中,匹配指的是通过计算待检测病灶区域与预设样本库中样本病灶区域之间的区域相似度,通过区域相似度确定与待检测病灶区域相似的目标样本病灶区域。具体地,匹配待检测病灶区域与预设样本库中样本病灶区域的方法包括步骤c1~c3:
步骤c1,通过预设步长的滑动窗口分别对待检测病灶区域和预设样本库中各样本病灶区域进行像素提取,得到待检测病灶区域的第一像素集合和各样本病灶区域的第二像素集合。
步骤c2,通过预设的相似度评价函数计算第一像素集合和各第二像素集合之间的区域相似度。
在本申请一些实施例中,预设的相似度评价函数可以是相关系数计算函数、互信息计算函数、结构相似度指数、均方误差、峰值信噪比中的至少一种。
步骤c3,若区域相似度达到预设区域相似度阈值,则将第二像素集合对应的样本病灶区域作为待检测病灶区域对应的目标样本病灶区域。
步骤402,获取目标样本病灶区域对应的目标样本征象信息组。
目标样本征象信息组指的是待检测病灶区域的期望征象信息,在本申请一些实施例中,目标样本征象信息组中存在与待检测病灶区域的第一征象信息相似的目标样本征象信息。
步骤403,根据目标样本征象信息组中各目标样本征象信息与第一征象信息之间的相似度,得到待检测病灶区域对应的第二征象信息。
本申请实施例为了判断待检测病灶区域是否存在征象信息的漏检,可以检测目标样本征象信息组中是否存在与第一征象信息不相似的目标样本征象信息;如果存在与第一征象信息不相似的目标样本征象信息,则将该目标样本征象信息作为第二征象信息;如果不存在与第一征象信息不相似的目标样本征象信息,即第一征象信息与目标样本征象信息组都相似,则可以将待检测病灶区域所在的分析图像与预设样本库中样本病灶区域进行匹配,得到新的目标样本病灶区域。在本申请一些实施例中,如果不存在与第一征象信息不相似的目标样本征象信息,即第一征象信息与目标样本征象信息组都相似,则可以降低预设区域相似度阈值,获取新的目标样本病灶区域。
在本申请一些实施例中,计算第一征象信息与目标样本征象信息组中各目标样本征象信息之间的相似度,将各相似度与预设相似度阈值进行比较;将相似度小于或等于预设相似度阈值对应的目标样本征象信息作为第二征象信息。
在本申请一些实施例中,还可以获取用户、工作人员基于图像序列选择的目标分析图像以及获取目标分析图像对应的征象信息,按照步骤401至步骤403将目标分析图像与预设样本库中各样本病灶区域进行匹配,确定目标分析图像中包含的至少一个目标样本病灶区域,获取各目标样本病灶区域对应的目标样本征象信息组,根据各目标样本征象信息组对征象信息进行征象再识别,得到目标分析图像对应的遗漏征象信息。
本申请实施例将样本病灶区域和各样本病灶区域对应的样本征象信息组作为模板,以像素为单位或者步长为单位对待检测病灶区域进行扫描,并利用预设的相似度评价函数来评价扫描过程中,待检测病灶区域与样本病灶区域之间的区域相似度,根据区域相似度确定第二征象信息,提供一种便捷的第二征象信息获取方式。
在本申请一些实施例中,可以通过已训练的检测模型对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息。具体地,将第一征象信息和待检测病灶区域输入至已训练的检测模型进行征象识别,得到第二征象信息。其中,检测模型可以是基于卷积神经网络(Convolutional Neural Networks,CNN)、反卷积神经网络(De-ConvolutionalNetworks,DN)、深度神经网络(Deep Neural Networks,DNN)、深度卷积逆向图网络(DeepConvolutional Inverse Graphics Networks,DCIGN)、基于区域的卷积网络(Region-based Convolutional Networks,RCNN)、基于区域的快速卷积网络(Faster Region-basedConvolutional Networks,Faster RCNN)构建的,在本申请实施例中,对检测模型网络结构不作限定,可以根据征象识别方法实际应用场景调用对应的已训练的检测模型。
在本申请一些实施例中,检测模型包括特征提取子模型、多个子检测模型和识别子模型,特征提取子模型与各多个子检测模型串联,各多个子检测模型并联后与识别子模型串联,其中子检测模型包括边缘检测模型、亮度检测模型、纹理检测模型和特征点检测模型;特征提取子模型用于提取边缘、亮度、纹理、特征点等特征信息。在步骤103中,将待检测病灶区域和第一征象信息输入特征提取子模型,得到待检测病灶区域的边缘、亮度、纹理、特征点,分别将边缘、亮度、纹理、特征点输入各自对应的边缘检测模型、亮度检测模型、纹理检测模型和特征点检测模型,得到边缘特征值、亮度特征值、纹理特征值、特征点特征值,将边缘特征值、亮度特征值、纹理特征值、特征点特征值输入识别子模型,得到待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,检测模型包括多个子检测模型和识别子模型,各多个子检测模型并联后与识别子模型串联,其中子检测模型包括边缘检测模型、亮度检测模型、纹理检测模型和特征点检测模型。在步骤103中,将待检测病灶区域和第一征象信息分别输入边缘检测模型、亮度检测模型、纹理检测模型和特征点检测模型,得到边缘特征、亮度特征、纹理特征、特征点,将边缘特征、亮度特征、纹理特征、特征点输入识别子模型,得到待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,检测模型的训练过程如图5所示,图5是本申请实施例提供的征象识别方法中训练检测模型的一个实施例流程示意图,所示的检测模型训练过程包括步骤501~504:
步骤501,获取训练数据集。
其中,训练数据集包括训练样本图像、训练样本图像的已有征象信息和训练样本图像对应的真实征象信息。
在本申请一些实施例中,为了提高检测模型的泛化能力,通过旋转变化、平移变换、镜像变换、缩放变换、裁剪变换、对比度调整、亮度调整中任意一种或多种方式对采集的初始训练样本图像进行样本扩充,得到训练样本图像,对训练样本图像进行人工识别和标注,得到训练样本图像对应的真实征象信息。
步骤502,调用检测模型根据训练样本图像和训练样本图像的已有征象信息进行预测,得到训练样本图像的预测剩余征象信息。
步骤503,根据预设的损失函数、预测剩余征象信息、已有征象信息和真实征象信息,确定检测模型的训练损失值。
损失函数可以是均方误差损失函数,即将预测剩余征象信息和已有征象信息的集合作为预测征象信息,计算预测征象信息与真实征象信息之间的均方误差,作为训练损失值;预设的损失函数还可以是平均绝对误差损失函数,即将预测剩余征象信息和已有征象信息的集合作为预测征象信息,计算预测征象信息与真实征象信息之间的平均误差作为训练损失值。
步骤504,根据训练损失值对检测模型进行调整,直至检测模型满足预设的训练条件,得到已训练的检测模型。
在本申请一些实施例中,预设的训练条件可以是训练损失值小于或等于预设训练损失阈值;预设的训练条件检测模型的迭代次数达到预设迭代次数。
在本申请一些实施例中,可以对训练损失值使用基于梯度损失的优化算法更新检测模型的网络参数,根据更新后的网络参数调整检测模型,直至检测模型满足预设的训练条件,得到已训练的检测模型。
在本申请一些实施例中,为了提高征象识别方法的灵活性,还可以查询预设征象库是否存在与第一征象信息匹配的预设征象信息;在预设征象库存在与第一征象信息匹配的预设征象信息时,通过预设征象库获取第二征象信息;在预设征象库不存在与第一征象信息匹配的预设征象信息时,通过预设检测模型对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息。具体地,如图6所示,图6是本申请实施例提供的征象识别方法中获取第二征象信息的另一种实施例流程示意图,所示的获取第二征象信息的方法包括步骤601~603:
步骤601,查询预设征象库中是否存在与第一征象信息匹配的预设征象信息。
步骤602,若预设征象库中存在与第一征象信息匹配的预设征象信息,则获取预设征象信息对应的候选病灶类型,根据候选病灶类型和待检测病灶区域,得到第二征象信息。
在本申请一些实施例中,步骤602包括:若预设征象库中存在与第一征象信息匹配的预设征象信息,则获取预设征象信息对应的候选病灶类型,获取候选病灶类型对应的预设检测模型,根据预设检测模型对待检测病灶区域进行征象识别,得到第二征象信息,其中,步骤602中得到第二征象信息的方法与步骤301~302描述的获取第二征象信息的方法相似,此处不再赘述。
步骤603,若预设征象库中不存在与第一征象信息匹配的预设征象信息,则对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息。
在本申请一些实施例中,若预设征象库中不存在与第一征象信息匹配的预设征象信息,则按照步骤401至步骤403描述的方法,将样本病灶区域和各样本病灶区域对应的样本征象信息组作为模板,以像素为单位或者步长为单位对待检测病灶区域进行扫描,并利用预设的相似度评价函数来评价扫描过程中,待检测病灶区域与样本病灶区域之间的区域相似度,根据区域相似度确定第二征象信息。
在本申请一些实施例中,若预设征象库中不存在与第一征象信息匹配的预设征象信息,则将第一征象信息和待检测病灶区域输入至已训练的检测模型进行征象识别,得到第二征象信息。
在本申请一些实施例中,为了提高预设征象库的完备率,在步骤603之后,将第一征象信息、第二征象信息和待检测病灶区域写入预设征象库,对预设征象库进行更新。具体地,根据第二征象信息和第一征象信息,确定待检测病灶区域的病灶类型,根据病灶类型、第二征象信息和第一征象信息,建立病灶类型对应的目标识别模型,将目标识别模型存储至预设征象库,对预设征象库进行更新。
本申请实施例查询预设征象库是否存在与第一征象信息匹配的预设征象信息;在预设征象库存在与第一征象信息匹配的预设征象信息时,通过预设征象库获取第二征象信息;在预设征象库不存在与第一征象信息匹配的预设征象信息时,通过预设检测模型对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息,提高征象识别方法的灵活性。
为了更好实施本申请实施例提供的征象识别方法,在征象识别方法基础上,提供一种征象识别装置,如图7所示,图7是本申请实施例提供的征象识别装置的一个实施例结构示意图,所示的征象识别装置包括:
分析模块701,用于获取待检测的分析图像序列;
交互模块702,用于提取分析图像序列对应的待检测病灶区域,以及待检测病灶区域对应的第一征象信息;
征象匹配模块703,用于对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息;
识别模块704,用于根据第一征象信息和第二征象信息,确定待检测病灶区域对应的目标病灶区域。
在本申请一些实施例中,征象匹配模块703包括:
识别模型匹配单元,用于获取预设征象库中第一征象信息对应的至少一个候选病灶类型,以及获取各候选病灶类型对应的预设检测模型;
征象再识别单元,用于通过各预设检测模型对待检测病灶区域进行征象识别,得到待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,识别模型匹配单元还用于遍历预设征象库,获取预设征象库中所有包含第一征象信息的候选病灶类型;根据预设的类型与模型之间的映射关系,获取各候选病灶类型对应的预设检测模型。
在本申请一些实施例中,征象匹配模块703包括:
样本匹配单元,用于将待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到待检测病灶区域对应的目标样本病灶区域;
样本征象信息获取单元,用于获取目标样本病灶区域对应的目标样本征象信息组;
征象匹配单元,用于根据目标样本征象信息组中各目标样本征象信息与第一征象信息之间的相似度,得到待检测病灶区域对应的第二征象信息。
在本申请一些实施例中,样本匹配单元还用于通过预设步长的滑动窗口分别对待检测病灶区域和预设样本库中各样本病灶区域进行像素提取,得到待检测病灶区域的第一像素集合和各样本病灶区域的第二像素集合;通过预设的相似度评价函数计算第一像素集合和各第二像素集合之间的区域相似度;若区域相似度达到预设区域相似度阈值,则将第二像素集合对应的样本病灶区域作为待检测病灶区域对应的目标样本病灶区域。
在本申请一些实施例中,征象匹配模块703还包括:
样本建立单元,用于获取多个样本图像序列,对各样本图像序列进行病灶区域识别和标记,得到多个样本病灶区域;获取各样本病灶区域对应的至少一个样本征象信息,得到各样本病灶区域对应的样本征象信息组;将各样本征象信息组与对应的样本病灶区域关联保存至预设样本库。
在本申请一些实施例中,征象匹配模块703还包括:
检测单元,用于通过已训练的检测模型对待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息。
在本申请一些实施例中,征象识别装置还包括:
训练模块705,用于获取训练数据集,其中训练数据集包括训练样本图像、训练样本图像的已有征象信息和训练样本图像对应的真实征象信息;调用检测模型根据训练样本图像和训练样本图像的已有征象信息进行预测,得到训练样本图像的预测剩余征象信息;根据预设的损失函数、预测剩余征象信息、已有征象信息和真实征象信息,确定检测模型的训练损失值;根据训练损失值对检测模型进行调整,直至检测模型满足预设的训练条件,得到已训练的检测模型。
在本申请一些实施例中,交互模块702还用于输出分析页面,在分析页面上展示分析图像序列;响应用户、工作人员基于分析页面输入的点击操作,获取点击操作对应的待检测病灶区域;通过预设征象识别模型对待检测病灶区域进行征象识别,得到待检测病灶区域对应的第一征象信息。
在本申请一些实施例中,交互模块702还用于输出分析图像序列,获取用户、工作人员基于图像序列选择的目标分析图像以及获取目标分析图像对应的征象信息;
征象匹配模块703还用于对征象信息和目标分析图像进行征象识别,得到目标分析图像对应的遗漏征象信息。
在本申请一些实施例中,分析模块701,还用于获取原图像序列,原图像序列包括多张CT、MR图像;将原图像序列输入已训练的病灶识别模型,得到分析图像序列,分析图像序列包括至少一张分析图像、以及分析图像对应的病灶区域。
在本申请一些实施例中,征象识别装置还包括:
查询模块706,用于查询预设征象库中是否存在与第一征象信息匹配的预设征象信息;
征象检测模块707,用于若预设征象库中存在与第一征象信息匹配的预设征象信息,则获取预设征象信息对应的目标病灶类型,根据目标病灶类型和第一征象信息,得到第二征象信息;
征象匹配模块703,用于若预设征象库中不存在与第一征象信息匹配的预设征象信息,则对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息。
在本申请一些实施例中,征象识别装置还包括:
更新模块,用于根据第二征象信息和第一征象信息,确定待检测病灶区域的病灶类型;根据病灶类型、第二征象信息和第一征象信息,建立病灶类型对应的目标识别模型;将目标识别模型存储至预设征象库,对预设征象库进行更新。
本申请实施例提取用户、工作人员基于图像序列输入的待检测病灶区域和待检测病灶区域对应的第一征象信息,对待检测病灶区域和待检测病灶区域对应的第一征象信息进行再次征象识别,查找待检测病灶区域中漏检或缺少的征象信息,弥补AI分析时的漏检问题。
本发明实施例还提供一种电子设备,如图8所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器801是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器801可包括一个或多个处理核心;优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
电子设备还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器801会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现各种功能,如下:
获取待检测的分析图像序列;
提取分析图像序列对应的待检测病灶区域,以及待检测病灶区域对应的第一征象信息;
对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息;
根据第一征象信息和第二征象信息,确定待检测病灶区域对应的目标病灶区域。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种征象识别方法中的步骤。例如,该指令可以执行如下步骤:
获取待检测的分析图像序列;
提取分析图像序列对应的待检测病灶区域,以及待检测病灶区域对应的第一征象信息;
对待检测病灶区域和第一征象信息进行征象识别,得到第二征象信息;
根据第一征象信息和第二征象信息,确定待检测病灶区域对应的目标病灶区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种征象识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种征象识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种征象识别方法、装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种征象识别方法,其特征在于,所述方法包括:
获取待检测的分析图像序列;
提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息;
对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息;
根据所述第一征象信息和所述第二征象信息,确定所述待检测病灶区域对应的目标病灶区域。
2.如权利要求1所述的征象识别方法,其特征在于,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息包括:
获取预设征象库中所述第一征象信息对应的至少一个候选病灶类型,以及获取各所述候选病灶类型对应的预设检测模型;
通过各所述预设检测模型对所述待检测病灶区域进行征象识别,得到所述待检测病灶区域对应的第二征象信息。
3.如权利要求2所述的征象识别方法,其特征在于,所述获取预设征象库中所述第一征象信息对应的至少一个候选病灶类型,以及获取各所述候选病灶类型对应的预设检测模型包括:
遍历所述预设征象库,获取所述预设征象库中所有包含所述第一征象信息的候选病灶类型;
根据预设的类型与模型之间的映射关系,获取各所述候选病灶类型对应的预设检测模型。
4.如权利要求1所述的征象识别方法,其特征在于,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息包括:
将所述待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到所述待检测病灶区域对应的目标样本病灶区域;
获取所述目标样本病灶区域对应的目标样本征象信息组;
根据所述目标样本征象信息组中各目标样本征象信息与所述第一征象信息之间的相似度,得到所述待检测病灶区域对应的第二征象信息。
5.如权利要求4所述的征象识别方法,其特征在于,所述将所述待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到所述待检测病灶区域对应的目标样本病灶区域包括:
通过预设步长的滑动窗口分别对所述待检测病灶区域和预设样本库中各样本病灶区域进行像素提取,得到所述待检测病灶区域的第一像素集合和各所述样本病灶区域的第二像素集合;
通过预设的相似度评价函数计算所述第一像素集合和各所述第二像素集合之间的区域相似度;
若所述区域相似度达到预设区域相似度阈值,则将所述第二像素集合对应的所述样本病灶区域作为所述待检测病灶区域对应的目标样本病灶区域。
6.如权利要求4所述的征象识别方法,其特征在于,所述将所述待检测病灶区域与预设样本库中样本病灶区域进行匹配,得到所述待检测病灶区域对应的目标样本病灶区域步骤之前,所述方法包括:
获取多个样本图像序列,对各所述样本图像序列进行病灶区域识别和标记,得到多个样本病灶区域;
获取各所述样本病灶区域对应的至少一个样本征象信息,得到各所述样本病灶区域对应的样本征象信息组;
将各所述样本征象信息组与对应的所述样本病灶区域关联保存至预设样本库。
7.如权利要求1所述征象识别方法,其特征在于,所述方法还包括:通过已训练的检测模型对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息。
8.如权利要求7所述的征象识别方法,其特征在于,所述检测模型的训练过程包括:
获取训练数据集,其中所述训练数据集包括训练样本图像、所述训练样本图像的已有征象信息和所述训练样本图像对应的真实征象信息;
调用所述检测模型根据所述训练样本图像和所述训练样本图像的已有征象信息进行预测,得到所述训练样本图像的预测剩余征象信息;
根据预设的损失函数、所述预测剩余征象信息、所述已有征象信息和所述真实征象信息,确定所述检测模型的训练损失值;
根据所述训练损失值对所述检测模型进行调整,直至所述检测模型满足预设的训练条件,得到已训练的检测模型。
9.如权利要求1所述的征象识别方法,其特征在于,所述提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息包括:
输出分析页面,在所述分析页面上展示所述分析图像序列;
响应用户、工作人员基于所述分析页面输入的点击操作,获取所述点击操作对应的待检测病灶区域;
通过预设征象识别模型对所述待检测病灶区域进行征象识别,得到所述待检测病灶区域对应的第一征象信息。
10.如权利要求1所述的征象识别方法,其特征在于,所述方法还包括:
输出所述分析图像序列,获取用户、工作人员基于所述图像序列选择的目标分析图像以及获取所述目标分析图像对应的征象信息;
对所述征象信息和所述目标分析图像进行征象识别,得到所述目标分析图像对应的遗漏征象信息。
11.如权利要求1至10任一项所述的征象识别方法,其特征在于,所述获取待检测的分析图像序列包括:
获取原图像序列,所述原图像序列包括多张CT、MR图像;
将所述原图像序列输入已训练的病灶识别模型,得到分析图像序列,所述分析图像序列包括至少一张分析图像、以及所述分析图像对应的病灶区域。
12.如权利要求1所述的征象识别方法,其特征在于,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息步骤之前,所述方法包括:
查询预设征象库中是否存在与所述第一征象信息匹配的预设征象信息;
若所述预设征象库中存在与所述第一征象信息匹配的预设征象信息,则获取所述预设征象信息对应的目标病灶类型,根据所述目标病灶类型和所述第一征象信息,得到第二征象信息;
若所述预设征象库中不存在与所述第一征象信息匹配的预设征象信息,则对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息。
13.如权利要求12所述的征象识别方法,其特征在于,所述对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息之后,所述方法包括:
根据所述第二征象信息和所述第一征象信息,确定所述待检测病灶区域的病灶类型;
根据所述病灶类型、所述第二征象信息和所述第一征象信息,建立所述病灶类型对应的目标识别模型;
将目标识别模型存储至所述预设征象库,对所述预设征象库进行更新。
14.一种征象识别装置,其特征在于,所述装置包括:
分析模块,用于获取待检测的分析图像序列;
交互模块,用于提取所述分析图像序列对应的待检测病灶区域,以及所述待检测病灶区域对应的第一征象信息;
征象匹配模块,用于对所述待检测病灶区域和所述第一征象信息进行征象识别,得到第二征象信息;
识别模块,用于根据所述第一征象信息和所述第二征象信息,确定所述待检测病灶区域对应的目标病灶区域。
15.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至13任一项所述的征象识别方法中的操作。
16.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至13任一项所述的征象识别方法中的步骤。
CN202111568050.6A 2021-12-21 2021-12-21 征象识别方法、装置、电子设备和存储介质 Active CN114255219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111568050.6A CN114255219B (zh) 2021-12-21 2021-12-21 征象识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111568050.6A CN114255219B (zh) 2021-12-21 2021-12-21 征象识别方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114255219A true CN114255219A (zh) 2022-03-29
CN114255219B CN114255219B (zh) 2022-08-16

Family

ID=80793480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111568050.6A Active CN114255219B (zh) 2021-12-21 2021-12-21 征象识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114255219B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999118A (zh) * 2011-11-06 2014-08-20 羽田野政治 信息处理装置、信息处理方法、程序和数据库系统
CN111047610A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 病灶区域呈现方法和装置
CN111325743A (zh) * 2020-03-05 2020-06-23 北京深睿博联科技有限责任公司 基于联合征象的乳腺x射线影像分析方法和装置
CN113177479A (zh) * 2021-04-29 2021-07-27 联仁健康医疗大数据科技股份有限公司 图像分类方法、装置、电子设备及存储介质
CN113658175A (zh) * 2021-09-02 2021-11-16 数坤(北京)网络科技股份有限公司 一种征象数据的确定方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999118A (zh) * 2011-11-06 2014-08-20 羽田野政治 信息处理装置、信息处理方法、程序和数据库系统
US20140324470A1 (en) * 2011-11-06 2014-10-30 Masaharu Hatano Information processing device, information processing method, and non-temporary computer-readable recording medium with program recorded thereon
CN111325743A (zh) * 2020-03-05 2020-06-23 北京深睿博联科技有限责任公司 基于联合征象的乳腺x射线影像分析方法和装置
CN111047610A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 病灶区域呈现方法和装置
CN113177479A (zh) * 2021-04-29 2021-07-27 联仁健康医疗大数据科技股份有限公司 图像分类方法、装置、电子设备及存储介质
CN113658175A (zh) * 2021-09-02 2021-11-16 数坤(北京)网络科技股份有限公司 一种征象数据的确定方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置

Also Published As

Publication number Publication date
CN114255219B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
WO2022068196A1 (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
Lang et al. Saliency detection by multitask sparsity pursuit
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN111008643B (zh) 基于半监督学习的图片分类方法、装置和计算机设备
CN111445440A (zh) 一种医学图像分析方法、设备和存储介质
Geng et al. An improved helmet detection method for YOLOv3 on an unbalanced dataset
CN115151952A (zh) 一种变电设备高精度识别方法及系统
CN113222149A (zh) 模型训练方法、装置、设备和存储介质
CN114255219B (zh) 征象识别方法、装置、电子设备和存储介质
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN113688261B (zh) 图像数据清理方法、装置、电子设备及可读存储介质
CN113705650B (zh) 一种人脸图片集的处理方法、装置、介质和计算设备
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
CN109919214A (zh) 一种神经网络模型的训练方法及训练装置
CN113822144A (zh) 一种目标检测方法、装置、计算机设备和存储介质
CN111127432B (zh) 一种医学图像检测方法、装置、设备及存储介质
CN117173223A (zh) 电表断码屏的标准模板生成方法、装置、设备及介质
CN112668365A (zh) 一种物料入库识别方法、装置、设备及存储介质
CN115620095A (zh) 一种手部信息的标注方法、装置、设备及存储介质
CN115984588A (zh) 图像背景相似度分析方法、装置、电子设备及存储介质
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
CN111124862B (zh) 智能设备性能测试方法、装置及智能设备
CN114092484A (zh) 交互式图像分割方法、系统、设备及存储介质
CN113298087B (zh) 图片分类模型冷启动的方法、系统、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant