CN117011664A - 重构模型训练方法、异常信息检测方法、装置及存储介质 - Google Patents
重构模型训练方法、异常信息检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117011664A CN117011664A CN202211042612.8A CN202211042612A CN117011664A CN 117011664 A CN117011664 A CN 117011664A CN 202211042612 A CN202211042612 A CN 202211042612A CN 117011664 A CN117011664 A CN 117011664A
- Authority
- CN
- China
- Prior art keywords
- initial
- information
- image
- unit
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000012549 training Methods 0.000 title claims abstract description 90
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000005856 abnormality Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 20
- 230000007423 decrease Effects 0.000 abstract description 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 210000000416 exudates and transudate Anatomy 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
提供一种重构模型训练方法、异常信息检测方法、装置及存储介质,可应用于图像处理、医疗图像分析、智慧交通、云技术等各种场景。方法包括:通过初始重构模型中的多个初始卷积单元与多个初始下采样单元对样本图像进行编码得到多层特征信息,通过初始重构模型中的初始下采样单元、多个初始卷积单元、多个初始上采样单元以及多个特征融合单元对多层特征信息进行解码得到第一重构图像,特征融合单元用于将权重为预设权重的特征信息以及与特征信息对应的待拼接特征信息进行融合;对初始重构模型进行训练得到目标重构模型,预设权重在训练过程中递减,依据该目标重构模型可提高对图像进行异常检测的准确度。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种重构模型训练方法、异常信息检测方法、装置及存储介质。
背景技术
相关技术中,通常依赖生成对抗网络对图像进行异常检测,生成对抗网络的训练过程较复杂,训练速度较慢,导致对图像进行异常检测的效率较低,并且依赖生成对抗网络对图像进行异常检测时,对图像的特征信息的分析侧重于图像的全局特征,对图像中的异常区域的敏感度比较低,对图像进行异常检测的准确度较低。
发明内容
本申请实施例提供一种重构模型训练方法、异常信息检测方法、装置、存储介质、计算机设备及计算机程序产品,可以弱化对图像的全局特征的注意力,侧重对图像的高维度特征信息的分析,提高了对图像进行异常检测的准确度。
一方面,本申请实施例提供一种重构模型训练方法,所述方法包括:
获取样本图像;
通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果。
另一方面,本申请实施例提供一种异常信息检测方法,包括:
获取待分析图像信息;
将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息;
其中,所述目标重构模型为上述的重构模型训练方法确定出的目标重构模型。
另一方面,本申请实施例提供一种重构模型训练装置,包括:
获取模块,用于获取样本图像;
编码模块,用于通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
解码模块,用于通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
训练模块,用于基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果。
另一方面,本申请实施例提供一种异常信息检测装置,包括:
获取单元,用于获取待分析图像信息;
输入单元,用于将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
确定单元,用于基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息;
其中,所述目标重构模型为上述的重构模型训练方法确定出的目标重构模型。
另一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的重构模型训练方法或异常信息检测方法。
另一方面,提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上任一实施例所述的重构模型训练方法或异常信息检测方法。
另一方面,本申请实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上任一实施例所述的重构模型训练方法或异常信息检测方法。
本申请实施例通过获取样本图像;通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果的方案,可通过卷积与下采样提取样本图像的高维的特征信息,并进一步通过对样本图像的多层特征信息的融合,重构出样本图像对应的第一重构图像,在训练得出目标重构模型过程中逐步递减样本图像的较全局的特征信息的融合权重,以提高针对样本图像的高维的特征信息,即较全局的特征信息对应的待拼接特征信息的权重,进而提高了对样本图像中的异常区域的敏感度,提高了对图像进行异常检测的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的数据处理系统的结构示意图。
图1b为本申请实施例提供的另一数据处理系统的结构示意图。
图2a为本申请实施例提供的重构模型训练方法的流程示意图。
图2b为本申请实施例提供的重构模型训练方法的场景示意图。
图2c为本申请实施例提供的样本图像、初始重构模型,以及第一重构图像的关系示意图。
图2d为本申请实施例提供的测试图像、与经过目标重构模型确定出的测试图像对应的第二重构图像与异常判别单元的关系示意图。
图2e为本申请实施例提供的一种效果比较示意图。
图3为本申请实施例提供的异常信息检测方法的流程示意图。
图4为本申请实施例提供的重构模型训练装置的结构示意图。
图5为本申请实施例提供的异常信息检测装置的结构示意图。
图6为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例可应用于可应用于图像处理、医疗图像分析、智慧交通、云技术等各种场景。
本申请实施例提供一种重构模型训练方法、异常信息检测方法、装置及存储介质。具体地,本申请实施例的重构模型训练方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、穿戴式智能设备、飞行器、智能车载终端等设备,终端还可以包括客户端,该客户端可以是视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
例如,当该方法运行于终端时,终端可下载安装重构模型训练方法或异常信息检测方法的应用程序,终端在实际运行前述方法时,用于显示图形用户界面并通过图形用户界面与用户进行交互。
首先,在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
区块链系统可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,TransmissionControl Protocol)协议之上的应用层协议,在分布式系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。
深度学习(Deep Learning,DL):是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是学习训练样本数据的内在规律和表示层次,这些学习过程中获得的信息对文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
神经网络(Neural Network,NN):在机器学习和认知科学领域的一种模仿生物神经网络结构和功能的深度学习模型。
智慧交通是在整个交通运输领域充分利用物联网、空间感知、云计算、移动互联网等新一代信息技术,综合运用交通科学、系统方法、人工智能、知识挖掘等理论与工具,以全面感知、深度融合、主动服务、科学决策为目标,通过建设实时的动态信息服务体系,深度挖掘交通运输相关数据,形成问题分析模型,实现行业资源配置优化能力、公共决策能力、行业管理能力、公众服务能力的提升,推动交通运输更安全、更高效、更便捷、更经济、更环保、更舒适的运行和发展,带动交通运输相关产业转型、升级。
智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
跳跃连接:在一个神经网络中,从一层开始跳跃网络中的某些层,并将跳跃后一层的输出作为下一层的输入。
HOG:Histogram of Oriented Gradient,方向梯度直方图特征:是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。
自编码器:由编码器和解码器构成的端到端网络结构。
U形网络(U-Net):在一个自编码器中,在编码器和解码器之间使用多个跳跃连接结构的网络。
正常样本和异常样本:正常样本指在一个数据集合中符合多数样本分布的数据;反之即为异常样本。
异常检测:在一个数据集合中检测与正常样本预期分布差异较大的样本的过程。
MemAE:memory Auto Encoder内存增强自编码器;
AnoGAN,anomaly detection Generative Adversarial Network基于生成对抗网络的异常检测方法;
f-AnoGAN,fast anomaly detection Generative Adversarial Network基于生成对抗网络的快速异常检测方法;
SparseGAN:基于稀疏约束的生成对抗网络;
Proxyano:Proxy anomaly detection,基于代理任务的异常检测;
GANomaly:Semi-Supervised Anomaly Detection via Adversarial Training基于对抗训练的半监督异常检测。
请参考图1a,图1a为本申请实施例提供的数据处理系统的结构示意图。请该数据处理系统包括终端10和服务器20等;终端10和服务器20之间通过网络连接,比如,通过有线或无线网络连接等。
其中,终端10,可以用于显示图形用户界面。其中,该终端10用于通过图形用户界面与用户进行交互,例如终端10通过下载安装相应的客户端并运行,例如通过调用相应的小程序并运行,例如通过登录网站呈现相应的图像用户界面等。
在本申请实施例中,该服务器20用于确定目标重构模型。其中,在确定目标重构模型时,相关人员可通过所使用的终端设备上传多个样本图像至服务器20,服务器20基于该多个样本图像确定目标重构模型。服务器20确定出目标重构模型后,还可自终端10获取待分析图像信息;将所述待分析图像信息输入目标重构模型,得到待分析图像信息对应的目标重构图像;并基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息。
服务器20确定出待分析图像信息对应的异常检测结果后,还用于将待分析图像信息对应的异常检测结果发送至终端10,供终端10进行显示。
在本申请的一些可选的实施例中,参见图1b所示,数据处理系统中还包括:终端30;服务器20确定出待分析图像信息对应的异常检测结果后,还用于将待分析图像信息对应的异常检测结果发送至终端30,供终端30进行显示。
该服务器20还可将目标重构模型发送至终端10,使终端10获取待分析图像信息;将所述待分析图像信息输入目标重构模型,得到待分析图像信息对应的目标重构图像;并基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息,并展示待分析图像信息对应的异常检测结果。
可选地,服务器20用于:
获取样本图像;
通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果。
其中,在本申请实施例中,在进行异常信息检测时,终端10可以具体用于:
获取待分析图像信息;
将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息。
以下分别进行详细说明,需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
本申请各实施例提供了一种重构模型训练方法,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行;本申请实施例以重构模型训练方法由服务器执行为例来进行说明。
图2a为本申请实施例提供的重构模型训练方法的流程示意图,该方法包括以下S201-S204:
S201、获取样本图像;
其中,该样本图像的个数为多个,具体可以为相关人员预存的不存在异常的正常样本的图像。
可选地,样本图像可以为医疗领域的图像,例如用户的身体检查图像。
S202、通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
可选地,前述第一初始卷积单元的卷积核可以为3*3的卷积核。
在本申请的一些可选的实施例中,所述多层特征信息包括顶层特征信息与多层非顶层特征信息,所述多个第一初始卷积单元包括顶层第一初始卷积单元,与多个非顶层第一初始卷积单元,所述多个第一初始下采样单元与所述多个非顶层第一初始卷积单元一一对应,所述多个非顶层第一初始卷积单元与所述多层非顶层特征信息一一对应;
具体地,第一初始下采样单元的输出为与其对应的非顶层第一初始卷积单元的输入。
各非顶层特征信息由与其对应的非顶层第一初始卷积单元输出。
可选地,前述202中,通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,包括以下S2021-S2024:
S2021、通过初始重构模型中的初始编码单元中的所述顶层第一初始卷积单元对所述样本图像进行卷积处理,得到所述顶层特征信息;
可选地,样本图像的初始通道数可以为第一通道数;
在通过顶层第一初始卷积单元对所述样本图像进行卷积处理时,可通过顶层第一初始卷积单元对所述样本图像进行第一次卷积处理,得到通道数为第二通道数的中间结果;并通过顶层第一初始卷积单元再次对所述中间结果进行卷积处理,得到通道数为所述第二通道数的顶层特征信息;
其中,第二通道数大于第一通道数,可选地,第一通道数可以为1,第二通道数可以为64。
本申请还提供了一种重构模型训练方法的场景示意图,如图2b所示,图2b中的“x”可以指样本图像,E1为顶层特征信息。
S2022、将所述顶层特征信息作为第一待处理特征信息;
S2023、通过所述多个第一初始下采样单元中的一第一初始下采样单元与所述一第一初始下采样单元对应的非顶层第一初始卷积单元对所述第一待处理特征信息进行处理,得到所述一第一初始下采样单元对应的非顶层第一初始卷积单元对应的非顶层特征信息;
其中,第一初始下采样单元可以为最大池化单元,用于对第一待处理特征信息进行最大池化处理,得到池化处理结果,并通过第一初始下采样单元对应的非顶层第一初始卷积单元对所述池化处理结果做卷积处理,得到所述一第一初始下采样单元对应的非顶层第一初始卷积单元对应的非顶层特征信息,其中,图2b中的E2为一第一初始下采样单元对应的非顶层第一初始卷积单元对应的非顶层特征信息。
S2024、判断是否确定出所述多个非顶层第一初始卷积单元中各非顶层第一初始卷积单元对应的非顶层特征信息,若是,则将所述顶层特征信息与所述多个非顶层第一初始卷积单元对应的多个非顶层特征信息作为所述多层特征信息,若否,则将最近一次确定出的非顶层特征信息作为新的第一待处理特征信息,返回执行通过所述多个第一初始下采样单元中的一第一初始下采样单元与所述一第一初始下采样单元对应的非顶层第一初始卷积单元对所述第一待处理特征信息进行处理,直至确定出所述多个非顶层第一初始卷积单元中各非顶层第一初始卷积单元对应的非顶层特征信息,将所述顶层特征信息与所述多个非顶层第一初始卷积单元对应的多个非顶层特征信息作为所述多层特征信息。
在本申请的一些可选的实施例中,第一初始下采样单元的个数为3个,非顶层特征信息的个数也为3个。
具体地,可参见图2b所示,图2b中的E3、E4都为非顶层特征信息,图2b中的“64”、“128”、“256”、“512”为通道数。
前述多层特征信息由顶层至底层,特征信息中各通道中的特征信息的尺寸逐渐变小。
可选地,前述多层特征信息的个数为4时,又由顶层至底层,特征信息的通道数依次为64、128、256、512,其中,底层特征信息的通道数为512。
S203、通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
可选地,所述多层特征信息中包括底层特征信息,具体地,图2b中的E4为底层特征信息,前述S203中,通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,包括以下S2031-S2032:
S2031、通过所述初始重构模型中的初始解码单元中的所述第二初始下采样单元对所述底层特征信息进行处理,得到所述底层特征信息对应的中间特征信息;
具体地,第二初始下采样单元为最大池化单元,用于对底层特征信息进行最大池化处理,得到所述底层特征信息对应的中间特征信息。
S2032、通过所述初始重构模型中的初始解码单元中的所述多个第二初始卷积单元、所述多个初始上采样单元,以及多个特征融合单元,对所述中间特征信息与所述多层特征信息进行处理,得到所述样本图像的第一重构图像。
可选地,所述多个第二初始卷积单元包括顶层第二初始卷积单元与多个非顶层第二初始卷积单元,所述多个非顶层第二初始卷积单元与所述多个初始上采样单元一一对应,所述多个初始上采样单元与所述多层特征信息一一对应;
其中,非顶层第二初始卷积单元的输出为与非顶层第二初始卷积单元对应的初始上采样单元的输入。
前述S2032中,通过所述初始重构模型中的初始解码单元中的所述多个第二初始卷积单元、所述多个初始上采样单元,以及多个特征融合单元,对所述中间特征信息与所述多层特征信息进行处理,得到所述样本图像的第一重构图像,包括以下S0321-S0324:
S0321、将所述中间特征信息作为第二待处理特征信息;
S0322、通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,得到所述第二待处理特征信息对应的待融合特征信息;
其中,第二待处理特征信息对应的待融合特征信息,为输出所述第二待处理特征信息的初始上采样单元对应的待融合特征信息。
其中,所述非顶层第二初始卷积单元的卷积核可以为3*3的卷积核。
可选地,S0322中,前述通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,得到所述第二待处理特征信息对应的待融合特征信息,包括:
通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元对所述第二待处理特征信息做卷积处理,得到卷积结果,通过与所述非顶层第二初始卷积单元对应的初始上采样单元对所述卷积结果进行处理,得到所述第二待处理特征信息对应的待融合特征信息。
具体地,如图2b所示,z为卷积结果,D4为第二待处理特征信息对应的待融合特征信息。
S0323、通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元,将权重为预设权重的与所述特征融合单元对应的特征信息与所述待融合特征信息进行融合,得到所述特征融合单元对应的融合结果;
其中,所述初始上采样单元与所述特征融合单元一一对应,初始上采样单元的输出,为与初始上采样单元对应的特征融合单元的其中一个输入,特征融合单元的另一个输入为特征融合单元对应的特征信息。
具体地,特征融合单元的输入包括与该特征融合单元对应的特征信息,与最近一次确定出的待融合特征信息,特征融合单元的输出,为该特征融合单元对应的融合结果。
在本申请的一些可选的实施例中,每一所述特征融合单元包括求和单元与拼接单元,前述S0323中,通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元,将权重为预设权重的与所述特征融合单元对应的特征信息与所述待融合特征信息进行融合,得到所述特征融合单元对应的融合结果,包括以下S0323-S0324:
S0323、通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元中的求和单元,根据所述预设权重确定所述待融合特征信息的目标权重;将权重为预设权重的所述特征融合单元对应的特征信息与权重为所述目标权重的所述待融合特征信息进行加权求和,得到求和结果;
S0324、通过所述一特征融合单元中的拼接单元,拼接所述求和结果与所述待融合特征信息,得到所述特征融合单元对应的融合结果。
具体可参见图2b所示,α为预设权重,根据所述预设权重确定所述待融合特征信息的目标权重包括:将1与预设权重的差作为目标权重。
可选地,将权重为预设权重的所述特征融合单元对应的特征信息与权重为所述目标权重的所述待融合特征信息进行加权求和,得到求和结果,可通过以下公式进行实现:
其中,Mi为求和结果,α为预设权重,Ei为特征融合单元对应的特征信息,Di为待融合特征信息,α∈[0,1]。
其中,输入同一特征融合单元的特征信息与待融合特征信息各通道的特征尺寸相同,且通道数相同。
可选地,预设权重的初始值可以为1,确定出所述目标重构模型时,预设权重可以为0。
可选地,前述通过所述一特征融合单元中的拼接单元,拼接所述求和结果与所述待融合特征信息,得到所述特征融合单元对应的融合结果,可通过以下公式实现:
D=Concat(Mi,Di)
其中,Mi为求和结果,Di为待融合特征信息,Concat(·)为用于拼接Mi与Di的拼接函数,D为融合结果。
S0324、判断是否已确定出所述多个特征融合单元中的各特征融合单元对应的融合结果,若是,则通过所述顶层第二初始卷积单元对最近一次确定出的融合结果进行处理,得到所述样本图像的第一重构图像;若否,则将最近一次确定出的融合结果作为新的第二待处理特征信息,并返回执行通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,直至确定出多个特征融合单元中的各特征融合单元对应的融合结果后,通过所述顶层第二初始卷积单元对最近一次确定出的融合结果进行处理,得到所述样本图像的第一重构图像。
具体可参见图2b所示,D3、D2、D1为多个待融合特征信息,其确定时间由前至后。
S204、基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果;
可选地,样本图像、初始重构模型,第一重构图像的关系图可参见图2c所示。
可选地,S204中,基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,包括:
S041、获取预设的第二损失函数;
S042、将所样本图像、所述第一重构图像输入所述第二损失函数,得到第二损失信息;
S043、确定所述第二损失信息是否符合第二预设条件,若是,则将所述初始重构模型作为目标重构模型,若否,则利用所述第二损失信息确定所述初始重构模型的第二待更新模型参数;将所述第二待更新模型参数作为所述初始重构模型的模型参数,返回执行通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,直至所述第二损失信息符合第二预设条件,将所述初始重构模型作为目标重构模型,所述第二待更新模型参数包括:所述初始编码单元中的待更新参数与所述初始解码单元中的待更新参数。
可选地,当所述第二损失信息小于预设阈值时,确定所述第二损失信息符合第二预设条件,当所述第二损失信息不小于所述预设阈值时,确定所述第二损失信息不符合所述第二预设条件。
在所述预设权重按照预设步长递减至0后,无需执行前述S043,直接启动前述将所述初始重构模型作为目标重构模型。
可选地,上述方法还包括:根据所述目标重构模型确定异常信息检测模型。
可选地,根据所述目标重构模型确定异常信息检测模型,包括:
创建所述目标重构模型与预设的异常判别单元之间的连接,得到所述异常信息检测模型,其中,所述目标重构模型用于根据获取到的待分析图像信息输出所述待分析图像信息对应的目标重构图像,所述异常判别单元用于根据所述待分析图像信息与所述目标重构图像确定异常检测结果。
其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息。
可选地,第一指示信息还可以包括评分信息,该评分信息越高表示待分析图像信息与所述目标重构图像的相似度值越高。
在本申请的一些可选的实施例中,前述异常判别单元用于根据所述待分析图像信息与所述目标重构图像确定异常检测结果时,具体用于:
确定所述待分析图像信息与所述目标重构图像的相似度值,若所述相似度值小于预设相似度值,则确定所述待分析图像信息为异常图像,并输出用于指示待分析图像信息为异常图像的第一指示信息。
可选地,第一指示信息可以为文字信息。
在本申请的另一些可选的实施例中,前述异常判别单元用于根据所述待分析图像信息与所述目标重构图像确定异常检测结果时,具体用于:
计算所述待分析图像信息与所述目标重构图像的差值(或差值的绝对值),得到求差结果,所述求差结果包括所述待分析图像信息中各像素对应的像素值差值;其中,待分析图像信息中像素对应的像素值差值越大,代表该像素属于异常区域的可能性越大;
将所述求差结果中,像素值差值小于预设阈值的像素的像素值差值置0,得到处理后的求差结果;
根据所述处理后的求差结果生成异常检测结果,其中,异常检测结果具体可以为图像,该图像则为用于指示所述待分析图像信息中的异常区域的第二指示信息。
在本申请的一些可选的实施例中,计算所述待分析图像信息与所述目标重构图像的差值的绝对值,得到求差结果,可通过以下公式进行实现:
其中,xt为待分析图像信息,为目标重构图像,F1为求差结果。
在本申请的一些可选的实施例中,上述方法还包括:
获取测试图像,其中,所述测试图像为异常图像(异常样本);
将所述测试图像输入前述异常信息检测模型,得到检测结果,其中,所述检测结果包括:用于指示所述测试图像是否为异常图像的第一指示信息,和/或用于指示所述测试图像中的异常区域的第二指示信息。
其中,若检测结果指示测试图像为正常图像时,上述方法还包括:
调整所述异常信息检测模型中的目标重构模型中的模型参数,将目标重构模型作为初始重构模型,重新根据初始重构模型训练得到新的目标重构模型。
可选地,测试图像、与经过目标重构模型确定出的测试图像对应的第二重构图像,与异常判别单元的关系图可参见图2d所示。
可选地,可根据相关人员的调整指令,调整所述初始重构模型中的模型参数。
在本申请的一些可选的实施例中,所述方法包括以下步骤S01-S02:
S01、获取预设特征提取算子;
S02、根据所述预设特征提取算子与所述样本图像确定所述样本图像对应的第一方向梯度直方图特征;
其中,预设特征提取算子可以指用于确定所述样本图像对应的第一方向梯度直方图特征的细胞单元。
所述方法还包括:
根据所述预设特征提取算子与所述第一重构图像确定所述第一重构图像对应的第二方向梯度直方图特征;
前述S204中,基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,包括:基于所述样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型。
可选地,前述基于所述样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,可包括以下步骤S2041-S2043:
S2041、获取预设的第一损失函数;
S2042、将所样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征输入所述第一损失函数,得到第一损失信息;
在本申请的一些可选的实施例中,第一损失函数可以为均方损失函数,将所样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征输入所述第一损失函数,得到第一损失信息,可通过一以下公式实现:
其中,x为样本图像,为第一重构图像,xh为第一方向梯度直方图特征,为第二方向梯度直方图特征,F2为第一损失信息。
S2043、确定所述第一损失信息是否符合第一预设条件,若是,则将所述初始重构模型作为目标重构模型,若否,则利用所述第一损失信息确定所述初始重构模型的第一待更新模型参数;将所述第一待更新模型参数作为所述初始重构模型的模型参数,返回执行通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,直至所述第一损失信息符合第一预设条件,将所述初始重构模型作为目标重构模型,所述待更新参数包括:所述初始编码单元中的待更新参数与所述初始解码单元中的待更新参数。
可选地,上述方法还包括:在所述预设权重按照预设步长递减至0后,无需执行前述S2043,直接启动前述将所述初始重构模型作为目标重构模型。
可选地,利用所述第一损失信息确定所述初始重构模型的第一待更新模型参数可按照最小化第一损失信息的原则确定,具体利用所述第一损失信息确定所述初始重构模型的第一待更新模型参数的方式,可参见相关技术,本申请不做限定。
可选地,当所述第一损失信息小于预设阈值时,确定所述第一损失信息符合第一预设条件,当所述第一损失信息不小于所述预设阈值时,确定所述第一损失信息不符合所述第一预设条件。
在本申请的一些可选的实施例中,S01中,获取预设特征提取算子,可包括:获取多个备选特征提取算子,其中,所述多个备选特征提取算子中不同的备选特征提取算子的大小不同;从所述多个备选特征提取算子中任选一个备选特征提取算子作为所述预设特征提取算子。
可选地,备选特征提取算子可以指用于确定所述样本图像对应的第一方向梯度直方图特征的细胞单元,多个备选特征提取算子的尺寸可包括:4*4,8*8,16*16,对于备选特征提取算子的尺寸本申请不做限定。
可选地,可在每返回执行通过初始重构模型中的初始编码单元对所述样本图像进行编码一次,获取一次预设特征提取算子。
在本申请的一些可选的实施例中,若前述样本图像的尺寸大于预设尺寸,上述方法还包括:
对所述样本图像进行拆分,得到多个样本子图;
将所述多个样本子图作为新的多个样本图像。
可选地,可在每返回执行通过初始重构模型中的初始编码单元对所述样本图像进行编码一次,按照预设的步长控制减少一次预设权重。
在本申请的一些可选的实施例中,图2b中的Xh(即“(a)”)为依据多个备选特征提取算子分别确定出的多个第一方向梯度直方图特征,xh为依据确定出的所述样本图像对应的第一方向梯度直方图特征。
通过本申请的方案,在训练得出目标重构模型过程中,通过改变预设特征提取算子的大小,可对样本图像的不同粒度的内部结构进行分析,可以提高样本图像重构的准确度。
在本申请的一些可选的实施例中,前述初始重构模型的网络结构可以为U-net结构,具体地,可以为图2b中的基于跳跃连接的U-net结构。
在由初始重构模型训练得出目标重构模型的过程中,预设权重可由1逐渐衰减为0,初始重构模型的训练重点逐渐从初始解码单元的跳跃连接的水平方向变为从上往下的垂直方向。因此,早期学习到的图像的全局特征信息,逐渐聚合至高维特征信息。最后,当预设权重为0时,初始重构模型的网络结构为没有跳越连接的编码器-解码器网络。
可选地,本申请中的目标重构模型可以表示为:
其中,Dec(·)与Enc(·)分别表示目标重构模型的目标编码单元与目标解码单元。其中,目标编码单元为训练好的初始重构模型中的初始编码单元,目标解码单元为训练好的初始重构模型中的初始编码单元。
本申请的方案在融合特征信息,以及所述特征信息对应的第一待拼接特征信息时,随着目标重构模型的训练进度,特征信息的预设权重逐渐减小,可以使得对特征信息进行过下采样处理,得到的第一待拼接特征信息的权重逐渐增大,引入了对样本图像的高维信息的分析,提高了样本图像重构的准确度。本申请通过在U-Net中引入跳跃连接的权值衰减训练方法,避免初始重构模型通过跳跃连接传递信息而忽略图像的高维特征,可增强初始重构模型在训练过程中的特征聚合能力,减轻初始重构模型中恒等映射的现象的发生,学习更多正常图像的有效特征,进一步提升了其用于图像的异常检测的性能。
在本申请的一些可选的实施例中,除了前述提到的方向梯度直方图特征的引入,还可以基于其他信息的引入训练前述目标重构模型,例如:
上述方法还包括:对所述样本图像做离散小波变换处理,得到第一辅助特征;所述方法还包括:对所述第一重构图像做离散小波变换处理,得到第一参考特征,基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,包括:基于所述样本图像、所述第一重构图像、所述第一辅助特征、所述第一参考特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型。
在本申请的一些可选的实施例中,上述方法还包括:对所述样本图像做尺度不变特征变换处理,得到第二辅助特征;所述方法还包括:对所述第一重构图像做尺度不变特征变换处理,得到第二参考特征,基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,包括:基于所述样本图像、所述第一重构图像、所述第二辅助特征、所述第二参考特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型。
本申请实施例通过获取样本图像;通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果的方案,可通过卷积与下采样提取样本图像的高维的特征信息,并进一步通过对样本图像的多层特征信息的融合,重构出样本图像对应的第一重构图像,在训练得出目标重构模型过程中逐步递减样本图像的较全局的特征信息的融合权重,以提高针对样本图像的高维的特征信息,即较全局的特征信息对应的待拼接特征信息的权重,进而提高了对样本图像中的异常区域的敏感度,提高了对图像进行异常检测的准确度。
图3为本申请实施例提供的异常信息检测方法的流程示意图,该方法包括以下S301-S303:
S301、获取待分析图像信息;
其中,待分析图像信息可以为医疗领域的图像,例如用户的医疗检查图像。
S302、将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
S303、基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息;
可选地,基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,可包括:
确定所述待分析图像信息与所述目标重构图像的相似度值,若所述相似度值小于预设相似度值,则确定所述待分析图像信息为异常图像,并输出用于指示待分析图像信息为异常图像的第一指示信息。
可选地,S303可以基于前述的异常判别单元实现。
其中,所述目标重构模型为前述的重构模型训练方法确定出的目标重构模型。
本申请的方案可应用于医疗技术领域,具体地,可根据用户的医疗检查图像,确定用户的相应身体部位是否有异常,以及相应的异常区域。
本申请的方案依据DRiD(Diabetic Retinopathy Image Dataset,糖尿病视网膜病变图像数据集)评估异常检测的效果。前述样本图像获取自DRiD,前述测试图像也获取自DRiD。
可选地,可从DRiD中获取134张正常类别的图像作为样本图像,以及获取81张具有病灶区域的图像(异常图像)作为测试图像。其中,具有病灶区域的图像的像素级标签可包含四种不同的病灶,包括:出血(Haemorrhages)、微动脉瘤(Microaneurysms)、硬渗出物(Hard exudates)和软渗出物(Soft exudates)。
当样本图像的尺寸大于预设尺寸时,可将每张样本图像分割成9个互不重叠的子图作为多个样本图像,并对每张子图提取3种依据不同尺度的细胞单元确定出的方向梯度直方图特征(细胞单元大小分别为4×4,8×8,16×16)。
可选地,前述在训练得出目标重构模型过程中,可依据Adam优化器依据第一损失信息或第二损失信息确定初始重构模型的新的模型参数,具体地,训练得出目标重构模型过程中,学习率可以为1×10-4,Adam优化器权重衰减步长为5×10-5,Batch大小为32。预设权重初始化为1,并在每个训练周期(epoch)衰减Δ,Δ默认值为0.05,当α达到0时停止衰减。
本申请利用AUC(Area Under Curve,评价指标接收机工作特性曲线下面积),ACC(Accuracy,平衡精度)和F1值(F1-score)衡量依据本方案的异常信息检测方法对图像进行异常检测的准确度与依据其他方案对图像进行异常检测准确度的对比情况。
本申请的技术方案涉及三个关键功能点:跳跃连接结构、权值衰减功能,以及方向梯度直方图特征的引入,为了验证各关键功能的有效性,本申请对比了在引入不同的关键功能后,相应的异常检测的准确度,由表1可见,仅使用跳跃连接结构无法提升网络的异常检测性能(即异常检测的准确度),而引入权值衰减功能可以有效提高模型的异常检测性能;同时,引入方向梯度直方图特征后,可以进一步提高异常检测性能,这证明了本申请的有效性。其中,表1中的数据为异常检测的准确度值。
表1本方案依据DRiD对三个关键功能的不同组合的引入,异常检测准确度的对比结果
图2e为依据本申请实施例提供的目标重构模型对正常图像的重构结果与正常图像的重构误差,以及依据本申请实施例提供的异常信息检测方法确定出的针对该正常图像的异常区域,即病灶的标注,与依据本申请实施例提供的目标重构模型对异常图像的重构结果与异常图像的重构误差,以及依据本申请实施例提供的异常信息检测方法输出的重构误差,以及依据本申请实施例提供的异常信息检测方法确定出的针对该异常图像的异常区域,即病灶的标注的对比情况示意图,由图2e可知,针对正常图像的重构结果具有较小的重构误差,而针对异常图像的重构结果具有较大的重构误差,并且依据本申请实施例提供的方法确定出的重构误差和对应的病灶的标注的匹配度较好,这也验证了本申请的有效性。
本方案中还将通过本申请的方案与其他方案在AUC,ACC和F1-score这三项评价指标上的异常检测性能(异常检测的准确度)进行了对比,由表2可见,在DRiD数据集上,本方案的异常检测性能均超过了相关技术中基于自编码器的学习方法和基于生成对抗网络的学习方法,从而验证了本申请的有效性。其中,表2中的数据为异常检测的准确度值。
表2通过本申请的方案与其他方案在AUC,ACC和F1-score这三项评价指标上的异常检测性能对比
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
为便于更好的实施本申请实施例的重构模型训练方法,本申请实施例还提供一种重构模型训练装置。请参阅图4,图4为本申请实施例提供的重构模型训练装置的结构示意图。其中,该重构模型训练装置40可以包括:
获取模块41,用于获取样本图像;
编码模块42,用于通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
解码模块43,用于通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
训练模块44,用于基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果。
可选的,该重构模型训练装置40还可以用于:
获取预设特征提取算子;
根据所述预设特征提取算子与所述样本图像确定所述样本图像对应的第一方向梯度直方图特征;
该重构模型训练装置40还用于:
根据所述预设特征提取算子与所述第一重构图像确定所述第一重构图像对应的第二方向梯度直方图特征;
当所述训练模块44用于基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型时,具体用于:基于所述样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型。
可选地,当所述训练模块44用于基于所述样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型时,具体用于:
获取预设的第一损失函数;
将所样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征输入所述第一损失函数,得到第一损失信息;
确定所述第一损失信息是否符合第一预设条件,若是,则将所述初始重构模型作为目标重构模型,若否,则利用所述第一损失信息确定所述初始重构模型的第一待更新模型参数;将所述第一待更新模型参数作为所述初始重构模型的模型参数,返回执行通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,直至所述第一损失信息符合第一预设条件,将所述初始重构模型作为目标重构模型,所述待更新参数包括:所述初始编码单元中的待更新参数与所述初始解码单元中的待更新参数。
可选地,所述装置还用于:当所述第一损失信息小于预设阈值时,确定所述第一损失信息符合第一预设条件,当所述第一损失信息不小于所述预设阈值时,确定所述第一损失信息不符合所述第一预设条件。
可选地,当所述装置用于获取预设特征提取算子时,具体用于:
获取多个备选特征提取算子,其中,所述多个备选特征提取算子中不同的备选特征提取算子的大小不同;
从所述多个备选特征提取算子中任选一个备选特征提取算子作为所述预设特征提取算子。
可选地,所述多层特征信息包括顶层特征信息与多层非顶层特征信息,所述多个第一初始卷积单元包括顶层第一初始卷积单元,与多个非顶层第一初始卷积单元,所述多个第一初始下采样单元与所述多个非顶层第一初始卷积单元一一对应,所述多个非顶层第一初始卷积单元与所述多层非顶层特征信息一一对应;
前述装置在用于通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息时,具体用于:
通过初始重构模型中的初始编码单元中的所述顶层第一初始卷积单元对所述样本图像进行卷积处理,得到所述顶层特征信息;
将所述顶层特征信息作为第一待处理特征信息;
通过所述多个第一初始下采样单元中的一第一初始下采样单元与所述一第一初始下采样单元对应的非顶层第一初始卷积单元对所述第一待处理特征信息进行处理,得到所述一第一初始下采样单元对应的非顶层第一初始卷积单元对应的非顶层特征信息;
判断是否确定出所述多个非顶层第一初始卷积单元中各非顶层第一初始卷积单元对应的非顶层特征信息,若是,则将所述顶层特征信息与所述多个非顶层第一初始卷积单元对应的多个非顶层特征信息作为所述多层特征信息,若否,则将最近一次确定出的非顶层特征信息作为新的第一待处理特征信息,返回执行通过所述多个第一初始下采样单元中的一第一初始下采样单元与所述一第一初始下采样单元对应的非顶层第一初始卷积单元对所述第一待处理特征信息进行处理,直至确定出所述多个非顶层第一初始卷积单元中各非顶层第一初始卷积单元对应的非顶层特征信息,将所述顶层特征信息与所述多个非顶层第一初始卷积单元对应的多个非顶层特征信息作为所述多层特征信息。
可选地,所述多层特征信息中包括底层特征信息,前述装置在用于:通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像时,具体用于:
通过所述初始重构模型中的初始解码单元中的所述第二初始下采样单元对所述底层特征信息进行处理,得到所述底层特征信息对应的中间特征信息;
通过所述初始重构模型中的初始解码单元中的所述多个第二初始卷积单元、所述多个初始上采样单元,以及多个特征融合单元,对所述中间特征信息与所述多层特征信息进行处理,得到所述样本图像的第一重构图像。
可选地,所述多个第二初始卷积单元包括顶层第二初始卷积单元与多个非顶层第二初始卷积单元,所述多个非顶层第二初始卷积单元与所述多个初始上采样单元一一对应,前述装置用于通过所述初始重构模型中的初始解码单元中的所述多个第二初始卷积单元、所述多个初始上采样单元,以及多个特征融合单元,对所述中间特征信息与所述多层特征信息进行处理,得到所述样本图像的第一重构图像时,具体用于:
将所述中间特征信息作为第二待处理特征信息;
通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,得到所述第二待处理特征信息对应的待融合特征信息;
通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元,将权重为预设权重的与所述特征融合单元对应的特征信息与所述待融合特征信息进行融合,得到所述特征融合单元对应的融合结果;
判断是否已确定出所述多个特征融合单元中的各特征融合单元对应的融合结果,若是,则通过所述顶层第二初始卷积单元对最近一次确定出的融合结果进行处理,得到所述样本图像的第一重构图像;若否,则将最近一次确定出的融合结果作为新的第二待处理特征信息,并返回执行通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,直至确定出多个特征融合单元中的各特征融合单元对应的融合结果后,通过所述顶层第二初始卷积单元对最近一次确定出的融合结果进行处理,得到所述样本图像的第一重构图像。
可选地,每一所述特征融合单元包括求和单元与拼接单元,前述装置在用于通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元,将权重为预设权重的与所述特征融合单元对应的特征信息与所述待融合特征信息进行融合,得到所述特征融合单元对应的融合结果时,具体用于:
通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元中的求和单元,根据所述预设权重确定所述待融合特征信息的目标权重;将权重为预设权重的所述特征融合单元对应的特征信息与权重为所述目标权重的所述待融合特征信息进行加权求和,得到求和结果;
通过所述一特征融合单元中的拼接单元,拼接所述求和结果与所述待融合特征信息,得到所述特征融合单元对应的融合结果。
为便于更好的实施本申请实施例的异常信息检测方法,本申请实施例还提供一种异常信息检测装置。请参阅图5,图5为本申请实施例提供的异常信息检测装置的结构示意图。其中,该异常信息检测装置50可以包括:
获取单元51,用于获取待分析图像信息;
输入单元52,将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
确定单元53,用于基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息;
其中,所述目标重构模型为前述的重构模型训练方法确定出的目标重构模型。
上述重构模型训练装置和异常信息检测装置的各个单元或模块可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行上述各个单元对应的操作。
可选的,本申请还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
图6为本申请实施例提供的计算机设备的结构示意图,该计算机设备可以是图1a所示的终端10或服务器20。如图6所示,该计算机设备600可以包括:通信接口601,存储器602,处理器603和通信总线604。通信接口601,存储器602,处理器603通过通信总线604实现相互间的通信。通信接口601用于计算机设备600与外部设备进行数据通信。存储器602可用于存储软件程序以及模块,处理器603通过运行存储在存储器602的软件程序以及模块,例如前述方法实施例中的相应操作的软件程序。
可选地,该处理器603可以调用存储在存储器602的软件程序以及模块执行上述重构模型训练方法或异常信息检测方法。
本申请还提供了一种计算机可读存储介质,用于存储计算机程序。该计算机可读存储介质可应用于计算机设备,并且该计算机程序使得计算机设备执行本申请实施例中的各方法中的相应流程,为了简洁,在此不再赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行本申请实施例中的各方法中的相应流程,为了简洁,在此不再赘述。
本申请还提供了一种计算机程序,该计算机程序包括计算机指令,计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行本申请实施例中的各方法中的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述存储器为示例性但不是限制性说明,例如,本申请实施例中的存储器还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种重构模型训练方法,其特征在于,所述方法包括:
获取样本图像;
通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:
获取预设特征提取算子;
根据所述预设特征提取算子与所述样本图像确定所述样本图像对应的第一方向梯度直方图特征;
所述方法还包括:
根据所述预设特征提取算子与所述第一重构图像确定所述第一重构图像对应的第二方向梯度直方图特征;
基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,包括:基于所述样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型。
3.根据权利要求2所述的方法,其特征在于,所述方法包括:基于所述样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,包括:
获取预设的第一损失函数;
将所样本图像、所述第一重构图像、所述第一方向梯度直方图特征、所述第二方向梯度直方图特征输入所述第一损失函数,得到第一损失信息;
确定所述第一损失信息是否符合第一预设条件,若是,则将所述初始重构模型作为目标重构模型,若否,则利用所述第一损失信息确定所述初始重构模型的第一待更新模型参数;将所述第一待更新模型参数作为所述初始重构模型的模型参数,返回执行通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,直至所述第一损失信息符合第一预设条件,将所述初始重构模型作为目标重构模型,所述待更新参数包括:所述初始编码单元中的待更新参数与所述初始解码单元中的待更新参数。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:当所述第一损失信息小于预设阈值时,确定所述第一损失信息符合第一预设条件,当所述第一损失信息不小于所述预设阈值时,确定所述第一损失信息不符合所述第一预设条件。
5.根据权利要求3所述的方法,其特征在于,获取预设特征提取算子,包括:
获取多个备选特征提取算子,其中,所述多个备选特征提取算子中不同的备选特征提取算子的大小不同;
从所述多个备选特征提取算子中任选一个备选特征提取算子作为所述预设特征提取算子。
6.根据权利要求1所述的方法,其特征在于,所述多层特征信息包括顶层特征信息与多层非顶层特征信息,所述多个第一初始卷积单元包括顶层第一初始卷积单元,与多个非顶层第一初始卷积单元,所述多个第一初始下采样单元与所述多个非顶层第一初始卷积单元一一对应,所述多个非顶层第一初始卷积单元与所述多层非顶层特征信息一一对应;
通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,包括:
通过初始重构模型中的初始编码单元中的所述顶层第一初始卷积单元对所述样本图像进行卷积处理,得到所述顶层特征信息;
将所述顶层特征信息作为第一待处理特征信息;
通过所述多个第一初始下采样单元中的一第一初始下采样单元与所述一第一初始下采样单元对应的非顶层第一初始卷积单元对所述第一待处理特征信息进行处理,得到所述一第一初始下采样单元对应的非顶层第一初始卷积单元对应的非顶层特征信息;
判断是否确定出所述多个非顶层第一初始卷积单元中各非顶层第一初始卷积单元对应的非顶层特征信息,若是,则将所述顶层特征信息与所述多个非顶层第一初始卷积单元对应的多个非顶层特征信息作为所述多层特征信息,若否,则将最近一次确定出的非顶层特征信息作为新的第一待处理特征信息,返回执行通过所述多个第一初始下采样单元中的一第一初始下采样单元与所述一第一初始下采样单元对应的非顶层第一初始卷积单元对所述第一待处理特征信息进行处理,直至确定出所述多个非顶层第一初始卷积单元中各非顶层第一初始卷积单元对应的非顶层特征信息,将所述顶层特征信息与所述多个非顶层第一初始卷积单元对应的多个非顶层特征信息作为所述多层特征信息。
7.根据权利要求1所述的方法,其特征在于,所述多层特征信息中包括底层特征信息,通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,包括:
通过所述初始重构模型中的初始解码单元中的所述第二初始下采样单元对所述底层特征信息进行处理,得到所述底层特征信息对应的中间特征信息;
通过所述初始重构模型中的初始解码单元中的所述多个第二初始卷积单元、所述多个初始上采样单元,以及多个特征融合单元,对所述中间特征信息与所述多层特征信息进行处理,得到所述样本图像的第一重构图像。
8.根据权利要求7所述的方法,其特征在于,所述多个第二初始卷积单元包括顶层第二初始卷积单元与多个非顶层第二初始卷积单元,所述多个非顶层第二初始卷积单元与所述多个初始上采样单元一一对应,通过所述初始重构模型中的初始解码单元中的所述多个第二初始卷积单元、所述多个初始上采样单元,以及多个特征融合单元,对所述中间特征信息与所述多层特征信息进行处理,得到所述样本图像的第一重构图像,包括:
将所述中间特征信息作为第二待处理特征信息;
通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,得到所述第二待处理特征信息对应的待融合特征信息;
通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元,将权重为预设权重的与所述特征融合单元对应的特征信息与所述待融合特征信息进行融合,得到所述特征融合单元对应的融合结果;
判断是否已确定出所述多个特征融合单元中的各特征融合单元对应的融合结果,若是,则通过所述顶层第二初始卷积单元对最近一次确定出的融合结果进行处理,得到所述样本图像的第一重构图像;若否,则将最近一次确定出的融合结果作为新的第二待处理特征信息,并返回执行通过所述多个非顶层第二初始卷积单元中的一非顶层第二初始卷积单元,与所述非顶层第二初始卷积单元对应的初始上采样单元对所述第二待处理特征信息进行处理,直至确定出多个特征融合单元中的各特征融合单元对应的融合结果后,通过所述顶层第二初始卷积单元对最近一次确定出的融合结果进行处理,得到所述样本图像的第一重构图像。
9.根据权利要求8所述的方法,其特征在于,每一所述特征融合单元包括求和单元与拼接单元,通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元,将权重为预设权重的与所述特征融合单元对应的特征信息与所述待融合特征信息进行融合,得到所述特征融合单元对应的融合结果,包括:
通过所述初始重构模型中的所述多个特征融合单元中的一特征融合单元中的求和单元,根据所述预设权重确定所述待融合特征信息的目标权重;将权重为预设权重的所述特征融合单元对应的特征信息与权重为所述目标权重的所述待融合特征信息进行加权求和,得到求和结果;
通过所述一特征融合单元中的拼接单元,拼接所述求和结果与所述待融合特征信息,得到所述特征融合单元对应的融合结果。
10.一种异常信息检测方法,其特征在于,包括:
获取待分析图像信息;
将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息;
其中,所述目标重构模型为权利要求1-9中任一项所述的重构模型训练方法确定出的目标重构模型。
11.一种重构模型训练装置,其特征在于,所述装置包括:
获取模块,用于获取样本图像;
编码模块,用于通过初始重构模型中的初始编码单元对所述样本图像进行编码,得到所述样本图像对应的多层特征信息,其中,所述初始编码单元包括多个第一初始卷积单元与多个第一初始下采样单元,所述第一初始卷积单元与所述特征信息一一对应;
解码模块,用于通过所述初始重构模型中的初始解码单元对所述多层特征信息进行解码,得到所述样本图像的第一重构图像,所述初始解码单元中包括第二初始下采样单元、多个第二初始卷积单元、多个初始上采样单元,以及多个特征融合单元,所述多个特征融合单元与所述多层特征信息一一对应,所述多个特征融合单元用于将权重为预设权重的所述多层特征信息,以及所述多个初始上采样单元输出的与所述多层特征信息对应的多个第一待拼接特征信息进行融合;
训练模块,用于基于所述样本图像、所述第一重构图像,以及所述预设权重,对所述初始重构模型进行训练得到目标重构模型,其中,所述目标重构模型包括:目标编码单元与目标解码单元,其中,所述预设权重在对所述初始重构模型进行训练得到目标重构模型过程中递减,其中,所述目标重构模型用于重构待分析图像信息对应的目标重构图像,以根据待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果。
12.一种异常信息检测装置,其特征在于,所述装置包括:
获取单元,用于获取待分析图像信息;
输入单元,用于将所述待分析图像信息输入预设的目标重构模型,得到待分析图像信息对应的目标重构图像;
确定单元,用于基于所述待分析图像信息与所述目标重构图像确定所述待分析图像信息对应的异常检测结果,其中,所述异常检测结果包括用于指示所述待分析图像信息是否为异常图像的第一指示信息,和/或用于指示所述待分析图像信息中的异常区域的第二指示信息;
其中,所述目标重构模型为权利要求1-10中任一项所述的重构模型训练方法确定出的目标重构模型。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-10任一项所述的方法。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1-10任一项所述方法。
15.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1-10任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211042612.8A CN117011664A (zh) | 2022-08-29 | 2022-08-29 | 重构模型训练方法、异常信息检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211042612.8A CN117011664A (zh) | 2022-08-29 | 2022-08-29 | 重构模型训练方法、异常信息检测方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117011664A true CN117011664A (zh) | 2023-11-07 |
Family
ID=88567833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211042612.8A Pending CN117011664A (zh) | 2022-08-29 | 2022-08-29 | 重构模型训练方法、异常信息检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011664A (zh) |
-
2022
- 2022-08-29 CN CN202211042612.8A patent/CN117011664A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107767408B (zh) | 图像处理方法、处理装置和处理设备 | |
CN109726794B (zh) | 基于关注的图像生成神经网络 | |
CN110084734B (zh) | 一种基于物体局部生成对抗网络的大数据权属保护方法 | |
US10783395B2 (en) | Method and apparatus for detecting abnormal traffic based on convolutional autoencoder | |
CN108171663B (zh) | 基于特征图最近邻替换的卷积神经网络的图像填充系统 | |
CN111062493B (zh) | 基于公共数据的纵向联邦方法、装置、设备及介质 | |
CN114693624B (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
CN113657318B (zh) | 基于人工智能的宠物分类方法、装置、设备及存储介质 | |
CN111833360A (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
CN114626503A (zh) | 模型的训练方法、目标检测方法、装置、电子设备及介质 | |
CN114936377A (zh) | 模型训练和身份匿名化方法、装置、设备及存储介质 | |
WO2021042895A1 (zh) | 基于神经网络的验证码识别方法、系统及计算机设备 | |
US12106555B2 (en) | Method and device for retrieving image | |
CN112446462B (zh) | 目标神经网络模型的生成方法和装置 | |
CN117095019A (zh) | 一种图像分割方法及相关装置 | |
CN111709415A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN117011664A (zh) | 重构模型训练方法、异常信息检测方法、装置及存储介质 | |
CN112614199A (zh) | 语义分割图像转换方法、装置、计算机设备和存储介质 | |
CN117218712A (zh) | 行为识别方法、模型训练方法、设备及计算机介质 | |
CN117974833B (zh) | 图像生成方法、装置、设备、可读存储介质及程序产品 | |
CN117520637A (zh) | 数据处理方法、推送方法、装置及设备 | |
CN117436482A (zh) | 神经网络剪枝方法、装置、芯片、设备、存储介质及产品 | |
CN118429486A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
CN116977462A (zh) | 图像重构模型的训练方法、装置、设备、介质及程序产品 | |
CN117033998A (zh) | 数据处理方法、识别方法、装置、设备及计算机介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |