CN114359225B - 图像检测方法、装置、计算机设备及存储介质 - Google Patents
图像检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114359225B CN114359225B CN202210006953.3A CN202210006953A CN114359225B CN 114359225 B CN114359225 B CN 114359225B CN 202210006953 A CN202210006953 A CN 202210006953A CN 114359225 B CN114359225 B CN 114359225B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- feature
- impurity
- reconstruction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 239000012535 impurity Substances 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 18
- 238000013473 artificial intelligence Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000000137 annealing Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种图像检测方法、装置、计算机设备及存储介质,属于人工智能技术领域。方法包括:基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像;基于第一图像和第二图像,确定第一重建信息;基于杂质检测模型中的编码器,分别对第一图像和第二图像进行编码,得到第一编码特征和第二编码特征;基于第一编码特征和第二编码特征,确定第二重建信息;基于杂质检测模型中的判别器,分别对第一图像和第二图像进行判别,得到第一判别特征和第二判别特征;基于第一判别特征和第二判别特征,确定第三重建信息;基于第一重建信息、第二重建信息以及第三重建信息,确定第一图像是否属于杂质图像。上述方案能够检测出杂质图像。
Description
技术领域
本申请涉及人工智能技术领域,特别涉及一种图像检测方法、装置、计算机设备及存储介质。
背景技术
随着人工智能技术的发展,基于人工智能技术训练得到的图像检测模型,能够对图像进行检测,得到异常图像。以输入图像检测模型的图像为细胞图像为例,异常图像为异常细胞图像,该异常细胞图像包括有问题的细胞或者细胞团等。
然而,由于染色玻片的制片质量、取材条件、染色试剂影响以及扫描失焦等问题,会导致输入图像检测模型的图像存在杂质,如黑斑、阴影等非细胞杂质。由于杂质的形态与异常细胞较为类似,从而图像检测模型会将不属于异常细胞图像的杂质图像误检测为异常细胞图像,因此,如何从异常细胞图像中检测出杂质图像是需要解决的问题。
发明内容
本申请实施例提供了一种图像检测方法、装置、计算机设备及存储介质,能够较为准确地检测出杂质图像。所述技术方案如下:
一方面,提供了一种图像检测方法,所述方法包括:
基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,所述杂质检测模型用于确定杂质图像,所述第一图像为异常图像;
基于所述第一图像和所述第二图像,确定第一重建信息,所述第一重建信息用于表示所述第一图像和所述第二图像之间的差异;
基于所述杂质检测模型中的编码器,分别对所述第一图像和所述第二图像进行编码,得到第一编码特征和第二编码特征;
基于所述第一编码特征和所述第二编码特征,确定第二重建信息,所述第二重建信息用于表示所述第一编码特征和所述第二编码特征之间的差异;
基于所述杂质检测模型中的判别器,分别对所述第一图像和所述第二图像进行判别,得到第一判别特征和第二判别特征;
基于所述第一判别特征和所述第二判别特征,确定第三重建信息,所述第三重建信息用于表示所述第一判别特征和所述第二判别特征之间的差异;
基于所述第一重建信息、所述第二重建信息以及所述第三重建信息,确定所述第一图像是否属于杂质图像。
另一方面,提供了一种图像检测装置,所述装置包括:
重建模块,用于基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,所述杂质检测模型用于确定杂质图像,所述第一图像为异常图像;
第一确定模块,用于基于所述第一图像和所述第二图像,确定第一重建信息,所述第一重建信息用于表示所述第一图像和所述第二图像之间的差异;
编码模块,用于基于所述杂质检测模型中的编码器,分别对所述第一图像和所述第二图像进行编码,得到第一编码特征和第二编码特征,所述杂质检测模型用于确定杂质图像;
所述第一确定模块,还用于基于所述第一编码特征和所述第二编码特征,确定第二重建信息,所述第二重建信息用于表示所述第一编码特征和所述第二编码特征之间的差异;
判别模块,用于基于所述杂质检测模型中的判别器,分别对所述第一图像和所述第二图像进行判别,得到第一判别特征和第二判别特征;
所述第一确定模块,还用于基于所述第一判别特征和所述第二判别特征,确定第三重建信息,所述第三重建信息用于表示所述第一判别特征和所述第二判别特征之间的差异;
所述第一确定模块,还用于基于所述第一重建信息、所述第二重建信息以及所述第三重建信息,确定所述第一图像是否属于杂质图像。
在一些实施例中,所述重建模块,用于基于所述杂质检测模型中的编码器对所述第一图像进行编码,得到所述第一编码特征;基于所述杂质检测模型中的生成器对所述第一编码特征进行处理,得到所述第二图像。
在一些实施例中,所述第一确定模块,用于对所述第一重建信息、所述第二重建信息以及所述第三重建信息进行加权求和,得到所述第一图像的杂质参考信息;在所述杂质参考信息大于参考阈值的情况下,确定所述第一图像属于杂质图像。
在一些实施例中,所述装置还包括:
图像检测模块,用于基于图像检测模型对多个图像进行检测,得到至少一个异常图像,所述图像检测模型用于检测输入的图像是否为异常图像。
在一些实施例中,所述装置还包括:
第一训练模块,用于基于多个第一样本图像和多个样本隐层特征,采用逐渐增加生成器的层数和判别器的层数的方式,训练得到所述杂质检测模型中的生成器和判别器,所述第一样本图像为异常图像,所述样本隐层特征为随机生成的特征;
第二训练模块,用于基于多个第二样本图像、所述生成器以及所述判别器,训练得到所述杂质检测模型中的编码器,所述第二样本图像为异常图像。
在一些实施例中,所述第二训练模块,用于对于第i轮迭代,基于所述杂质检测模型中第i轮迭代的编码器,对第i轮迭代输入的第二样本图像进行编码,得到第一样本编码特征,i为正整数;基于所述判别器对所述第二样本图像进行判别,得到第一样本判别特征;基于所述第二样本图像、所述第一样本编码特征以及所述第一样本判别特征,调整所述第i轮迭代的编码器的参数;在迭代的轮数达到轮数阈值的情况下,得到所述杂质检测模型中的所述编码器。
在一些实施例中,所述第二训练模块,用于对所述第二样本图像进行重建,得到样本重建图像;基于所述第二样本图像和所述样本重建图像,确定第一损失,所述第一损失用于表示所述第二样本图像和所述样本重建图像之间的差异;基于所述第i轮迭代的编码器对所述样本重建图像进行编码,得到第二样本编码特征;基于所述第一样本编码特征和所述第二样本编码特征,确定第二损失,所述第二损失用于表示所述第一样本编码特征和所述第二样本编码特征之间的差异;基于所述判别器对所述样本重建图像进行判别,得到第二样本判别特征;基于所述第一样本判别特征和所述第二样本判别特征,确定第三损失,所述第三损失用于表示所述第一样本判别特征和所述第二样本判别特征之间的差异;基于所述第一损失、所述第二损失以及所述第三损失,调整所述第i轮迭代的编码器的参数。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器用于存储至少一段计算机程序,所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的图像检测方法所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一段计算机程序,所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中图像检测方法所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述各个方面的各种可选实现方式中提供的图像检测方法。
在本申请实施例提供了一种图像检测方案,由于杂质图像不能被有效的重建,因此通过对第一图像进行重建,得到重建后的第二图像,能够基于上述两个图像在图像上的差异、在编码特征上的差异以及在判别特征上的差异,得到三类重建信息,从而能够基于三类重建信息来确定该第一图像是否为杂质图像,从而能够较为准确地检测出杂质图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的一种图像检测方法的实施环境示意图;
图2是根据本申请实施例提供的一种图像检测方法的流程图;
图3是根据本申请实施例提供的另一种图像检测方法的流程图;
图4是根据本申请实施例提供的一种生成式对抗网络的结构示意图;
图5是根据本申请实施例提供的一种训练框架的示意图;
图6是根据本申请实施例提供的一种生成器的结构示意图;
图7是根据本申请实施例提供的一种退火机制的示意图;
图8是根据本申请实施例提供的一种编码器的结构示意图;
图9是根据本申请实施例提供的一种训练编码器的框架示意图;
图10是根据本申请实施例提供的一种图像检测装置的框图;
图11是根据本申请实施例提供的另一种图像检测装置的框图;
图12是根据本申请实施例提供的一种终端的结构框图;
图13是根据本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上。
需要说明的是,在本申请的具体实施方式中,涉及到细胞图像等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以下,对本申请涉及的术语进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimension,三维)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中的(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
WGAN(Wasserstein GAN)是一种改进了的GAN,主要改进在于以下四点:
1.判别器最后一层去掉sigmoid(激活函数);
2.生成器和判别器的损失不取对数;
3.每次更新判别器的参数之后,将参数的绝对值截断为不超过固定常数;
4.不使用基于动量的优化算法,以解决原始模型中训练不稳,模型坍塌的问题。
以下,对本申请实施例的实施环境进行介绍。
本申请实施例提供的图像检测方法,能够由计算机设备执行。在一些实施例中,该计算机设备为终端或服务器。下面以计算机设备为服务器为例,介绍一下本申请实施例提供的图像检测方法的实施环境,图1是根据本申请实施例提供的一种图像检测方法的实施环境示意图。参见图1,该实施环境包括终端101和服务器102。
终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一些实施例中,终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端等,但并不局限于此。终端101安装和运行有应用程序,基于该应用程序能够实现上传图像和显示图像。本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
在一些实施例中,服务器102是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式系统,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为终端101安装的应用程序提供后台服务。在一些实施例中,服务器102承担主要计算工作,终端101承担次要计算工作;或者,服务器102承担次要计算工作,终端101承担主要计算工作;或者,服务器102和终端101二者之间采用分布式计算架构进行协同计算。
在该实施环境中,该应用程序是安保类程序、医疗类程序以及工业检测类应用程序等。本申请实施例以该应用程序为医疗类程序为例进行说明。
例如,终端101获取基于高分辨率扫描仪对染色玻片进行扫描得到的高分辨率图像,然后将该高分辨率图像划分为多个细胞图像。终端101将该多个细胞图像上传至服务器102。服务器102从该多个细胞图像中检测出至少一个异常细胞图像,然后采用本申请实施例提供的图像检测方法,确定每个异常细胞图像是否为杂质图像,然后将确定不是杂质图像的异常细胞图像返回至终端101,由终端101进行显示。
图2是根据本申请实施例提供的一种图像检测方法的流程图,如图2所示,在本申请实施例中以由计算机设备执行为例进行说明。该图像检测方法包括以下步骤:
201、基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像。
在本申请实施例中,该杂质检测模型用于确定输入的图像是否为杂质图像。该杂质检测模型包括编码器、生成器和判别器,该编码器用于将输入图像编码为编码特征;该生成器用于基于编码器输出的编码特征,生成重建图像,从而实现对输入图像的重建;该判别器用于判别图像是真实的图像还是生成的图像。该第一图像为异常图像,也即包含异常数据的图像。如第一图像为异常细胞图像,包括有问题的细胞或者细胞团;或者,第一图像为异常产品图像,包括有裂纹的产品或者有瑕疵的产品。
其中,该杂质检测模型通过不包含杂质图像的异常图像训练得到,使得该杂质检测模型中的生成器能够基于异常图像生成出与该异常图像一致的重建图像,且判别器无法判别该重建图像是否是生成的图像;而对于基于杂质图像生成的图像,判别器能够判别出是生成图像。
202、基于第一图像和第二图像,确定第一重建信息,该第一重建信息用于表示第一图像和第二图像之间的差异。
在本申请实施例中,由于杂质细胞不能有效的重建,而第二图像是由编码器和生成器重建得到的图像,因此若第一图像为杂质图像,则该第二图像与第一图像之间存在差异,该差异越大表示该第一图像是杂质图像的可能性也就越大。
203、基于杂质检测模型中的编码器,分别对第一图像和第二图像进行编码,得到第一编码特征和第二编码特征。
在本申请实施例中,基于该杂质检测模型中的编码器对第一图像进行编码,能够得到第一编码特征,而该第一编码特征能够用于生成该第二图像。基于该杂质检测模型中的编码器对该第二图像进行编码,能够得到第二编码特征。
204、基于第一编码特征和第二编码特征,确定第二重建信息,该第二重建信息用于表示第一编码特征和第二编码特征之间的差异。
在本申请实施例中,由于该第二图像基于第一编码特征生成,若第一图像为杂质图像,则该第二图像对应的第二编码特征与该第一编码特征之间存在差异,该差异越大表示该第一图像是杂质图像的可能性也就越大。
205、基于杂质检测模型中的判别器,分别对第一图像和第二图像进行判别,得到第一判别特征和第二判别特征。
在本申请实施例中,基于该杂质检测模型中的判别器对该第一图像进行判别,能够得到第一判别特征。基于该杂质检测模型中的判别器对该第二图像进行判别,能够得到第二判别特征。其中,判别器用于判别输入的图像是否是生成的图像,该第一判别特征用于指示第一图像是真实的图像的可能性,该第二判别特征用于指示该第二图像是真实的图像的可能性。
206、基于第一判别特征和第二判别特征,确定第三重建信息,该第三重建信息用于表示第一判别特征和第二判别特征之间的差异。
在本申请实施例中,若第一图像是杂质图像,则判别器能够判别出对该第一图像进行重建得到的第二图像是生成的图像,也即第一判别特征和第二判别特征之间存在差异,该差异越大表示该第一图像是杂质图像的可能性也就越大。
207、基于第一重建信息、第二重建信息以及第三重建信息,确定第一图像是否属于杂质图像。
在本申请实施例中,通过综合第一图像重建前后的差异、编码器输出的编码特征之间的差异以及判别器输出的判别特征之间的差异,能够确定该第一图像是否为杂质图像。
本申请实施例提供的方案,由于杂质图像不能被有效的重建,因此通过对第一图像进行重建,得到重建后的第二图像,能够基于上述两个图像在图像上的差异、在编码特征上的差异以及在判别特征上的差异,得到三类重建信息,从而能够基于三类重建信息来确定该第一图像是否为杂质图像,从而能够较为准确地检测出杂质图像。
图2示例性示出了本申请实施例提供的图像检测方法的主要流程,下面基于一种应用场景,对该图像检测方法进行进一步的说明,图3是根据本申请实施例提供的另一种图像检测方法的流程图,如图3所示,在本申请实施例中以由服务器执行为例进行说明。该图像检测方法包括以下步骤:
301、服务器基于多个第一样本图像和多个样本隐层特征,采用逐渐增加生成器的层数和判别器的层数的方式,训练得到杂质检测模型中的生成器和判别器。
在本申请实施例中,该服务器为图1所示的服务器102,该服务器102能够基于训练集训练得到杂质检测模型,该训练集包括多个真实的第一样本图像,也即该第一样本图像不是模型生成的图像,而是拍摄得到的图像。该第一样本图像为异常图像,本申请实施例以该异常图像为异常细胞图像为例进行说明。该样本隐层特征为随机生成的特征,用于生成图像。
其中,该杂质检测模型用于确定输入的图像是否为杂质图像,该杂质检测模型包括生成器、判别器以及编码器,在训练杂质检测模型的过程中,先训练生成器和判别器,再基于训练得到的生成器和判别器,来训练杂质检测模型中的编码器。换而言之,通过两个阶段来训练杂质检测模型,第一阶段训练生成器和判别器,第二阶段训练编码器,本步骤为第一阶段,步骤302为第二阶段。
在一些实施例中,服务器能够使用生成式对抗网络的训练框架,训练得到上述生成器和判别器。生成器的训练目标是通过异常图像对应的向量进行训练之后,在给定输入向量时,该生成器都能输出一个逼真的异常图像。判别器的训练目标是能够正确的区分真实的图像和生成的图像。
例如,服务器采用wgan来训练杂质检测模型,训练时采用progressive-gan(渐进式gan)训练框架,训练样本包括从训练集中随机采样得到的M个真实样本,也即M个第一样本图像,该第一样本图像为异常细胞图像,该异常细胞图像为拍摄得到的图像,而不是生成的图像,M为正整数。该训练样本还包括从正态分布的噪声中采样得到的N个噪声特征,也即N个样本隐层特征,N为正整数。图4是根据本申请实施例提供的一种生成式对抗网络的结构示意图,如图4所示,在训练过程中,将样本隐层特征输入生成器,由生成器输出生成样本,然后由判别器对真实样本和生成样本进行判别,通过不断的迭代训练,使得生成器生成的生成样本与真实的图像一致,也即判别器无法判别该生成样本是真实样本还是生成样本。
下面介绍训练的过程。图5是根据本申请实施例提供的一种训练框架的示意图,该训练框架为上述progressive-gan训练框架。如图5所示,从小尺度(如4×4)开始训练,待当前尺度训练收敛后,再训练更大尺度的图像,以此类推,直到训练达到需要的尺度(如1024×1024)。
例如,在训练过程中,将长度为1024的样本隐层特征输入一个由若干卷积层组成的初始模块,得到一个1024×4×4的特征,然后再输入若干结构相同的卷积模块,经过卷积后输出新的特征向量,每经过一个卷积模块的处理,输出的向量的尺度扩大为原来的两倍。每层的卷积模块均会输出一个生成样本,生成样本的尺度分别为8×8、16×16,直到1024×1024。在每轮迭代训练时只增加一个新的卷积模块,之前的参数继承自上一轮迭代训练的结果,最终输出的生成样本即为生成器输出的结果,而最终输出的输出特征为判别器的输入。
下面介绍生成器的结构。图6是根据本申请实施例提供的一种生成器的结构示意图。如图6所示,该生成器的输入为样本隐层特征,该生成器在迭代训练开始时包括一个初始模块,该初始模块用于对输入的样本隐层特征进行扩展、卷积、激活以及归一化等处理,输出一个1024×4×4的特征。然后随着迭代训练的进行,该生成器逐渐增加多个结构相同的卷积模块,该卷积模块用于对输入的特征进行卷积、激活以及归一化等处理,输出对应尺寸的生成样本和输出特征,该输出特征为下一个卷积模块的输入。
需要说明的是,在训练生成器和判别器的过程中,还采用了退火机制,也即每次尺度增大后,除了继承之前的参数外,还逐渐增大当前尺度生成的图像与之前尺度生成的图像之间的比例,从而使得尺度提升的过程更加稳定。图7是根据本申请实施例提供的一种退火机制的示意图。如图7所示,在逐渐增加图6所示的卷积模块的过程中,每增加一个新的卷积模块时,将上一层输出的图像上采样后与本层输出的图像进行线性组合,作为生成器的输出。
例如,设定本轮迭代需要训练1000次,第一次完全采用上层训练完成时输出的图像,即α=0,α表示当前尺度生成的图像与之前尺度生成的图像之间的比例,取值范围为0-1。随着训练次数的增加,等到本轮迭代在训练第500次时,α=1,此时完全采用当前卷积模块输出的图像作为生成器的输出。之后固定α的值,直到本轮迭代的1000次训练完成。
302、服务器基于多个第二样本图像、该生成器以及该判别器,训练得到该杂质检测模型中的编码器。
在本申请实施例中,服务器在训练得到生成器和判别器之后,开始训练编码器,该编码器由若干个卷积层组成,该编码器能够将输入图像经过神经网络进行特征提取,生成一个与生成器的输入相同尺度的特征向量,该特征向量用于抽象的表示该输入图像。该多个第二样本图像为异常图像,本申请实施例以该第二样本图像为异常细胞图像为例进行说明。
例如,图8是根据本申请实施例提供的一种编码器的结构示意图。如图8所示,第二样本图像的尺度为3×128×128,经过卷积处理和激活处理后,尺度变为16×64×64,再次经过卷积处理和激活处理后,尺度变为32×32×32,在此经过卷积处理和激活处理后,尺度变为64×16×16,最后经过线性变换,输出一个大小为1024×1的向量。
在一些实施例中,服务器通过多轮迭代得到编码器。以第i轮迭代为例,服务器基于多个第二样本图像、生成器以及判别器,训练得到杂质检测模型中的编码器的步骤,包括:对于第i轮迭代,服务器基于杂质检测模型中第i轮迭代的编码器,对第i轮迭代输入的第二样本图像进行编码,得到第一样本编码特征,i为正整数。然后服务器基于判别器对第二样本图像进行判别,得到第一样本判别特征。最后基于第二样本图像、第一样本编码特征以及第一样本判别特征,调整第i轮迭代的编码器的参数。服务器在迭代的轮数达到轮数阈值的情况下,即可得到杂质检测模型中的编码器。通过采用已训练完毕的生成器和判别器来训练编码器,使得训练得到的编码器能够具有较高的编码能力。
在一些实施例中,服务器能够通过约束原图和生成的图像之间的差异、编码器输出的编码器特征,也即隐层向量之间的差异以及判别器输出的判别特征之间的差异,来进行编码器的训练。图9是根据本申请实施例提供的一种训练编码器的框架示意图。如图9所示,服务器基于第二样本图像、第一样本编码特征以及第一样本判别特征,调整第i轮迭代的编码器的参数的步骤,包括:服务器对第二样本图像进行重建,得到样本重建图像,然后基于第二样本图像和样本重建图像,确定第一损失,该第一损失用于表示第二样本图像和样本重建图像之间的差异。然后服务器基于第i轮迭代的编码器对样本重建图像进行编码,得到第二样本编码特征,基于第一样本编码特征和第二样本编码特征,确定第二损失,该第二损失用于表示第一样本编码特征和第二样本编码特征之间的差异。然后服务器基于判别器对样本重建图像进行判别,得到第二样本判别特征,基于第一样本判别特征和第二样本判别特征,确定第三损失,该第三损失用于表示第一样本判别特征和第二样本判别特征之间的差异。最后服务器基于第一损失、第二损失以及第三损失,调整第i轮迭代的编码器的参数。通过使用三类损失来约束编码器,使得输入图像经过编码器处理后得到的编码特征,能够在输入生成器后,得到一个逼真的图像,且该图像与输入图像相同。
303、服务器基于图像检测模型对多个图像进行检测,得到至少一个异常图像。
在本申请实施例中,该图像检测模型用于检测输入的图像是否为异常图像,本申请实施例对该图像检测模型不进行限制。
例如,以图像检测模型用于检测输入的细胞图像是否为异常细胞图像为例,服务器将对染色玻片进行全片扫描得到的高清图像划分为多个细胞图像,然后将该多个细胞图像输入图像检测模型,通过图像检测模型确定至少一个异常细胞图像。
需要说明的是,该异常图像还可以由对应领域的技术人员从多个图像中筛选得到,本申请实施例对此不进行限制。
304、服务器基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,该第一图像为异常图像。
在本申请实施例中,以该第一图像为异常细胞图像,第二图像为重建细胞图像为例进行说明,该异常细胞图像为从多个细胞图像中筛选出的任一异常细胞图像。该异常细胞图像可以由领域的专业人员人工筛选得到,也可以由上述图像检测模型检测得到。其中,异常细胞图像是指包括有问题的细胞或者细胞团等的细胞图像。服务器能够基于杂质检测模型中的编码器和生成器对该异常细胞图像进行重建。其中,服务器基于编码器对异常细胞图像进行编码,得到第一编码特征,然后服务器基于杂质检测模型中的生成器对第一编码特征进行处理,得到重建细胞图像。由于杂质图像不能有效的被重建,通过对第一图像进行重建,能够基于重建得到的第二图像判断第一图像是否为杂质图像。
305、服务器基于第一图像和第二图像,确定第一重建信息,该第一重建信息用于表示该第一图像和第二图像之间的差异。
在本申请实施例中,服务器能够采用求取欧式距离、余弦距离以及皮尔逊相关系数等方式,来确定该异常细胞图像和重建细胞图像之间的相似度,然后基于该相似度来表示图像之间的差异,得到第一重建信息。
306、服务器基于杂质检测模型中的编码器,分别对第一图像和第二图像进行编码,得到第一编码特征和第二编码特征。
在本申请实施例中,服务器能够直接获取在生成重建细胞图像时得到的第一编码特征,然后基于编码器对重建细胞图像进行编码,得到第二编码特征。
307、服务器基于第一编码特征和第二编码特征,确定第二重建信息,该第二重建信息用于表示第一编码特征和第二编码特征之间的差异。
在本申请实施例中,服务器能够采用求取两个编码特征之间的欧式距离、余弦距离等方式,来确定两个编码特征之间的差异,得到第二重建信息。
308、服务器基于杂质检测模型中的判别器,分别对第一图像和第二图像进行判别,得到第一判别特征和第二判别特征。
在本申请实施例中,服务器能够基于判别器对异常细胞图像进行判别,得到第一判别特征,基于判别器对重建细胞图像进行判别,得到第二判别特征。
309、服务器基于第一判别特征和第二判别特征,确定第三重建信息,该第三重建信息用于表示第一判别特征和第二判别特征之间的差异。
在本申请实施例中,服务器能够采用求取两个判别特征之间的差值的方式,来确定两个判别特征之间的差异,得到第三重建信息。
310、服务器基于该第一重建信息、该第二重建信息以及该第三重建信息,确定该第一图像是否属于杂质图像。
在本申请实施例中,服务器能够对第一重建信息、第二重建信息以及第三重建信息进行加权求和,得到异常细胞图像的杂质参考信息,在杂质参考信息大于参考阈值的情况下,确定该异常细胞图像属于杂质图像;在杂质参考信息不大于参考阈值的情况下,确定该异常细胞图像不属于杂质图像。
在一些实施例中,服务器能够基于下述公式,来对上述第一重建信息、第二重建信息以及第三重建信息进行加权求和,得到杂质参考信息。
score=L(d)+αL(e)+βL(g)
其中,score表示杂质参考信息,L(d)表示第一重建信息,L(e)表示第二重建信息,L(g)表示第三重建信息,α和β表示权重系数。
本申请实施例提供了一种图像检测的方案,由于杂质图像不能被有效的重建,因此通过对第一图像进行重建,得到重建后的第二图像,能够基于上述两个图像在图像上的差异、在编码特征上的差异以及在判别特征上的差异,得到三类重建信息,从而能够基于三类重建信息来确定该第一图像是否为杂质图像,从而能够较为准确地检测出杂质图像。
需要说明的是,上述实施例以应用于医疗领域,检测异常细胞图像是否为杂质图像为例进行说明,而本申请实施例提供的图像检测模型,不仅适合于医疗领域中对细胞图像的检测,还适用于各类图像异常检测场景,如工业残次品检测、X光安全检测等,在此不再一一举例说明。
图10是根据本申请实施例提供的一种图像检测装置的框图。该装置用于执行上述图像检测方法执行时的步骤,参见图10,装置包括:重建模块1001、第一确定模块1002、编码模块1003以及判别模块1004。
重建模块1001,用于基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,该杂质检测模型用于确定杂质图像,该第一图像为异常图像;
第一确定模块1002,用于基于该第一图像和该第二图像,确定第一重建信息,该第一重建信息用于表示该第一图像和该第二图像之间的差异;
编码模块1003,用于基于该杂质检测模型中的编码器,分别对该第一图像和该第二图像进行编码,得到第一编码特征和第二编码特征,该杂质检测模型用于确定杂质图像;
该第一确定模块1002,还用于基于该第一编码特征和该第二编码特征,确定第二重建信息,该第二重建信息用于表示该第一编码特征和该第二编码特征之间的差异;
判别模块1004,用于基于该杂质检测模型中的判别器,分别对该第一图像和该第二图像进行判别,得到第一判别特征和第二判别特征;
该第一确定模块1002,还用于基于该第一判别特征和该第二判别特征,确定第三重建信息,该第三重建信息用于表示该第一判别特征和该第二判别特征之间的差异;
该第一确定模块1002,还用于基于该第一重建信息、该第二重建信息以及该第三重建信息,确定该第一图像是否属于杂质图像。
在一些实施例中,该重建模块,用于基于该杂质检测模型中的编码器对该第一图像进行编码,得到该第一编码特征;基于该杂质检测模型中的生成器对该第一编码特征进行处理,得到该第二图像。
在一些实施例中,该第一确定模块1002,用于对该第一重建信息、该第二重建信息以及该第三重建信息进行加权求和,得到该第一图像的杂质参考信息;在该杂质参考信息大于参考阈值的情况下,确定该第一图像属于杂质图像。
在一些实施例中,图11是根据本申请实施例提供的另一种图像检测装置的框图,如图11所示,该装置还包括:
图像检测模块1101,用于基于图像检测模型对多个图像进行检测,得到至少一个异常图像,该图像检测模型用于检测输入的图像是否为异常图像。
在一些实施例中,如图11所示,该装置还包括:
第一训练模块1102,用于基于多个第一样本图像和多个样本隐层特征,采用逐渐增加生成器的层数和判别器的层数的方式,训练得到该杂质检测模型中的生成器和判别器,该第一样本图像为异常图像,该样本隐层特征为随机生成的特征;
第二训练模块1103,用于基于多个第二样本图像、该生成器以及该判别器,训练得到该杂质检测模型中的编码器,该第二样本图像为异常图像。
在一些实施例中,该第二训练模块1103,用于对于第i轮迭代,基于该杂质检测模型中第i轮迭代的编码器,对第i轮迭代输入的第二样本图像进行编码,得到第一样本编码特征,i为正整数;基于该判别器对该第二样本图像进行判别,得到第一样本判别特征;基于该第二样本图像、该第一样本编码特征以及该第一样本判别特征,调整该第i轮迭代的编码器的参数;在迭代的轮数达到轮数阈值的情况下,得到该杂质检测模型中的该编码器。
在一些实施例中,该第二训练模块1103,用于对该第二样本图像进行重建,得到样本重建图像;基于该第二样本图像和该样本重建图像,确定第一损失,该第一损失用于表示该第二样本图像和该样本重建图像之间的差异;基于该第i轮迭代的编码器对该样本重建图像进行编码,得到第二样本编码特征;基于该第一样本编码特征和该第二样本编码特征,确定第二损失,该第二损失用于表示该第一样本编码特征和该第二样本编码特征之间的差异;基于该判别器对该样本重建图像进行判别,得到第二样本判别特征;基于该第一样本判别特征和该第二样本判别特征,确定第三损失,该第三损失用于表示该第一样本判别特征和该第二样本判别特征之间的差异;基于该第一损失、该第二损失以及该第三损失,调整该第i轮迭代的编码器的参数。
在本申请实施例中,由于杂质图像不能被有效的重建,因此通过对第一图像进行重建,得到重建后的第二图像,能够基于上述两个图像在图像上的差异、在编码特征上的差异以及在判别特征上的差异,得到三类重建信息,从而能够基于三类重建信息来确定该第一图像是否为杂质图像,从而能够较为准确地检测出杂质图像。
需要说明的是:上述实施例提供的图像检测装置在进行图像检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像检测装置与图像检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在本申请实施例中,计算机设备能够被配置为终端或者服务器,当计算机设备被配置为终端时,可以由终端作为执行主体来实施本申请实施例提供的技术方案,当计算机设备被配置为服务器时,可以由服务器作为执行主体来实施本申请实施例提供的技术方案,也可以通过终端和服务器之间的交互来实施本申请提供的技术方案,本申请实施例对此不作限定。
计算机设备被配置为终端时,图12是根据本申请实施例提供的一种终端1200的结构框图。该终端1200可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1200包括有:处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一个计算机程序,该至少一个计算机程序用于被处理器1201所执行以实现本申请中方法实施例提供的图像检测方法。
在一些实施例中,终端1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:射频电路1204、显示屏1205、摄像头组件1206、音频电路1207和电源1208中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。在一些实施例中,射频电路1204包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1205用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置在终端1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在终端1200的不同表面或呈折叠设计;在另一些实施例中,显示屏1205可以是柔性显示屏,设置在终端1200的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。在一些实施例中,摄像头组件1206包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。
电源1208用于为终端1200中的各个组件进行供电。电源1208可以是交流电、直流电、一次性电池或可充电电池。当电源1208包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1200还包括有一个或多个传感器1209。该一个或多个传感器1209包括但不限于:加速度传感器1210、陀螺仪传感器1211、压力传感器1212、光学传感器1213以及接近传感器1214。
加速度传感器1210可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1210可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1210采集的重力加速度信号,控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1210还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1211可以检测终端1200的机体方向及转动角度,陀螺仪传感器1211可以与加速度传感器1210协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1211采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1212可以设置在终端1200的侧边框和/或显示屏1205的下层。当压力传感器1212设置在终端1200的侧边框时,可以检测用户对终端1200的握持信号,由处理器1201根据压力传感器1212采集的握持信号进行左右手识别或快捷操作。当压力传感器1212设置在显示屏1205的下层时,由处理器1201根据用户对显示屏1205的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1213用于采集环境光强度。在一个实施例中,处理器1201可以根据光学传感器1213采集的环境光强度,控制显示屏1205的显示亮度。具体地,当环境光强度较高时,调高显示屏1205的显示亮度;当环境光强度较低时,调低显示屏1205的显示亮度。在另一个实施例中,处理器1201还可以根据光学传感器1213采集的环境光强度,动态调整摄像头组件1206的拍摄参数。
接近传感器1214,也称距离传感器,通常设置在终端1200的前面板。接近传感器1214用于采集用户与终端1200的正面之间的距离。在一个实施例中,当接近传感器1214检测到用户与终端1200的正面之间的距离逐渐变小时,由处理器1201控制显示屏1205从亮屏状态切换为息屏状态;当接近传感器1214检测到用户与终端1200的正面之间的距离逐渐变大时,由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图12中示出的结构并不构成对终端1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
计算机设备被配置为服务器时,图13是根据本申请实施例提供的一种服务器的结构示意图,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1301和一个或一个以上的存储器1302,其中,该存储器1302中存储有至少一条计算机程序,该至少一条计算机程序由该处理器1301加载并执行以实现上述各个方法实施例提供的图像检测方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一段计算机程序,该至少一段计算机程序由计算机设备的处理器加载并执行以实现上述实施例的图像检测方法中计算机设备所执行的操作。例如,所述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在一些实施例中,本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述各种可选实现方式中提供的图像检测方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像检测方法,其特征在于,所述方法包括:
基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,所述杂质检测模型用于确定杂质图像,所述第一图像为异常图像;
基于所述第一图像和所述第二图像,确定第一重建信息,所述第一重建信息用于表示所述第一图像和所述第二图像之间的差异;
基于所述杂质检测模型中的编码器,分别对所述第一图像和所述第二图像进行编码,得到第一编码特征和第二编码特征;
基于所述第一编码特征和所述第二编码特征,确定第二重建信息,所述第二重建信息用于表示所述第一编码特征和所述第二编码特征之间的差异;
基于所述杂质检测模型中的判别器,分别对所述第一图像和所述第二图像进行判别,得到第一判别特征和第二判别特征;
基于所述第一判别特征和所述第二判别特征,确定第三重建信息,所述第三重建信息用于表示所述第一判别特征和所述第二判别特征之间的差异;
基于所述第一重建信息、所述第二重建信息以及所述第三重建信息,确定所述第一图像是否属于杂质图像。
2.根据权利要求1所述的方法,其特征在于,所述基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,包括:
基于所述杂质检测模型中的编码器对所述第一图像进行编码,得到所述第一编码特征;
基于所述杂质检测模型中的生成器对所述第一编码特征进行处理,得到所述第二图像。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一重建信息、所述第二重建信息以及所述第三重建信息,确定所述第一图像是否属于杂质图像,包括:
对所述第一重建信息、所述第二重建信息以及所述第三重建信息进行加权求和,得到所述第一图像的杂质参考信息;
在所述杂质参考信息大于参考阈值的情况下,确定所述第一图像属于杂质图像。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
基于图像检测模型对多个图像进行检测,得到至少一个异常图像,所述图像检测模型用于检测输入的图像是否为异常图像。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
基于多个第一样本图像和多个样本隐层特征,采用逐渐增加生成器的层数和判别器的层数的方式,训练得到所述杂质检测模型中的生成器和判别器,所述第一样本图像为异常图像,所述样本隐层特征为随机生成的特征;
基于多个第二样本图像、所述生成器以及所述判别器,训练得到所述杂质检测模型中的编码器,所述第二样本图像为异常图像。
6.根据权利要求5所述的方法,其特征在于,所述基于多个第二样本图像、所述生成器以及所述判别器,训练得到所述杂质检测模型中的编码器,包括:
对于第i轮迭代,基于所述杂质检测模型中第i轮迭代的编码器,对第i轮迭代输入的第二样本图像进行编码,得到第一样本编码特征,i为正整数;
基于所述判别器对所述第二样本图像进行判别,得到第一样本判别特征;
基于所述第二样本图像、所述第一样本编码特征以及所述第一样本判别特征,调整所述第i轮迭代的编码器的参数;
在迭代的轮数达到轮数阈值的情况下,得到所述杂质检测模型中的所述编码器。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二样本图像、所述第一样本编码特征以及所述第一样本判别特征,调整所述第i轮迭代的编码器的参数,包括:
对所述第二样本图像进行重建,得到样本重建图像;
基于所述第二样本图像和所述样本重建图像,确定第一损失,所述第一损失用于表示所述第二样本图像和所述样本重建图像之间的差异;
基于所述第i轮迭代的编码器对所述样本重建图像进行编码,得到第二样本编码特征;
基于所述第一样本编码特征和所述第二样本编码特征,确定第二损失,所述第二损失用于表示所述第一样本编码特征和所述第二样本编码特征之间的差异;
基于所述判别器对所述样本重建图像进行判别,得到第二样本判别特征;
基于所述第一样本判别特征和所述第二样本判别特征,确定第三损失,所述第三损失用于表示所述第一样本判别特征和所述第二样本判别特征之间的差异;
基于所述第一损失、所述第二损失以及所述第三损失,调整所述第i轮迭代的编码器的参数。
8.一种图像检测装置,其特征在于,所述装置包括:
重建模块,用于基于杂质检测模型中的编码器和生成器,对第一图像进行重建,得到第二图像,所述杂质检测模型用于确定杂质图像,所述第一图像为异常图像;
第一确定模块,用于基于所述第一图像和所述第二图像,确定第一重建信息,所述第一重建信息用于表示所述第一图像和所述第二图像之间的差异;
编码模块,用于基于所述杂质检测模型中的编码器,分别对所述第一图像和所述第二图像进行编码,得到第一编码特征和第二编码特征,所述杂质检测模型用于确定杂质图像;
所述第一确定模块,还用于基于所述第一编码特征和所述第二编码特征,确定第二重建信息,所述第二重建信息用于表示所述第一编码特征和所述第二编码特征之间的差异;
判别模块,用于基于所述杂质检测模型中的判别器,分别对所述第一图像和所述第二图像进行判别,得到第一判别特征和第二判别特征;
所述第一确定模块,还用于基于所述第一判别特征和所述第二判别特征,确定第三重建信息,所述第三重建信息用于表示所述第一判别特征和所述第二判别特征之间的差异;
所述第一确定模块,还用于基于所述第一重建信息、所述第二重建信息以及所述第三重建信息,确定所述第一图像是否属于杂质图像。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器用于存储至少一段计算机程序,所述至少一段计算机程序由所述处理器加载并执行权利要求1至7任一项所述的图像检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储至少一段计算机程序,所述至少一段计算机程序用于执行权利要求1至7任一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210006953.3A CN114359225B (zh) | 2022-01-05 | 2022-01-05 | 图像检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210006953.3A CN114359225B (zh) | 2022-01-05 | 2022-01-05 | 图像检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114359225A CN114359225A (zh) | 2022-04-15 |
CN114359225B true CN114359225B (zh) | 2024-08-02 |
Family
ID=81107000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210006953.3A Active CN114359225B (zh) | 2022-01-05 | 2022-01-05 | 图像检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114359225B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742807A (zh) * | 2022-04-24 | 2022-07-12 | 北京医准智能科技有限公司 | 基于x光图像的胸片识别方法、装置、电子设备和介质 |
CN115447853A (zh) * | 2022-09-28 | 2022-12-09 | 厦门烟草工业有限责任公司 | 缺陷烟包识别装置及识别方法、剔除装置及香烟加工系统 |
CN116883407B (zh) * | 2023-09-08 | 2023-11-24 | 山东省永星食品饮料有限公司 | 基于人工智能的瓶装水杂质检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435221A (zh) * | 2020-11-10 | 2021-03-02 | 东南大学 | 一种基于生成式对抗网络模型的图像异常检测方法 |
CN113592769A (zh) * | 2021-06-23 | 2021-11-02 | 腾讯医疗健康(深圳)有限公司 | 异常图像的检测、模型的训练方法、装置、设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI760657B (zh) * | 2019-11-14 | 2022-04-11 | 和碩聯合科技股份有限公司 | 異常偵測模型的訓練方法及使用此方法的電子裝置 |
KR20210141060A (ko) * | 2020-05-15 | 2021-11-23 | 에스케이하이닉스 주식회사 | 머신러닝 기반의 이미지 이상 탐지 시스템 |
CN113822790B (zh) * | 2021-06-03 | 2023-04-21 | 腾讯云计算(北京)有限责任公司 | 一种图像处理方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-01-05 CN CN202210006953.3A patent/CN114359225B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435221A (zh) * | 2020-11-10 | 2021-03-02 | 东南大学 | 一种基于生成式对抗网络模型的图像异常检测方法 |
CN113592769A (zh) * | 2021-06-23 | 2021-11-02 | 腾讯医疗健康(深圳)有限公司 | 异常图像的检测、模型的训练方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114359225A (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110110145B (zh) | 描述文本生成方法及装置 | |
CN114359225B (zh) | 图像检测方法、装置、计算机设备及存储介质 | |
CN111476783B (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN113610750B (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
CN111860485B (zh) | 图像识别模型的训练方法、图像的识别方法、装置、设备 | |
CN110147533B (zh) | 编码方法、装置、设备及存储介质 | |
CN110147532B (zh) | 编码方法、装置、设备及存储介质 | |
CN110162604B (zh) | 语句生成方法、装置、设备及存储介质 | |
CN111680123B (zh) | 对话模型的训练方法、装置、计算机设备及存储介质 | |
CN113516143B (zh) | 文本图像匹配方法、装置、计算机设备及存储介质 | |
CN110503160B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN111598896B (zh) | 图像检测方法、装置、设备及存储介质 | |
CN111507094B (zh) | 基于深度学习的文本处理模型训练方法、装置及设备 | |
CN113516665A (zh) | 图像分割模型的训练方法、图像分割方法、装置、设备 | |
CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
CN115131199A (zh) | 图像生成模型的训练方法、图像生成方法、装置及设备 | |
CN113763931B (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
CN112287070B (zh) | 词语的上下位关系确定方法、装置、计算机设备及介质 | |
CN114328815A (zh) | 文本映射模型的处理方法、装置、计算机设备及存储介质 | |
CN117579859A (zh) | 视频处理的方法、装置、设备及可读存储介质 | |
CN114511082B (zh) | 特征提取模型的训练方法、图像处理方法、装置及设备 | |
CN115116437B (zh) | 语音识别方法、装置、计算机设备、存储介质及产品 | |
CN115131635A (zh) | 图像生成模型的训练方法、图像生成方法、装置及设备 | |
CN116109531A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114328948A (zh) | 文本标准化模型的训练方法、文本标准化方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40071561 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |