CN111595850B - 切片缺陷检测方法、电子装置及可读存储介质 - Google Patents

切片缺陷检测方法、电子装置及可读存储介质 Download PDF

Info

Publication number
CN111595850B
CN111595850B CN202010343021.9A CN202010343021A CN111595850B CN 111595850 B CN111595850 B CN 111595850B CN 202010343021 A CN202010343021 A CN 202010343021A CN 111595850 B CN111595850 B CN 111595850B
Authority
CN
China
Prior art keywords
defect
slice
detection model
detected
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010343021.9A
Other languages
English (en)
Other versions
CN111595850A (zh
Inventor
王佳平
南洋
李风仪
谢春梅
侯晓帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010343021.9A priority Critical patent/CN111595850B/zh
Priority to PCT/CN2020/098983 priority patent/WO2021217857A1/zh
Publication of CN111595850A publication Critical patent/CN111595850A/zh
Application granted granted Critical
Publication of CN111595850B publication Critical patent/CN111595850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能中的智能决策技术领域，揭露一种切片缺陷检测方法，包括：将待检测切片集输入切片缺陷检测模型的特征提取分支，得到每张切片的特征集，将特征集输入切片缺陷检测模型的上采样分支，得到每张切片的缺陷区域及缺陷区域对应的预测缺陷类别，将特征集输入切片缺陷检测模型的分类分支，得到第二缺陷类别分布表，当各个缺陷区域对应的预测缺陷类别在第二缺陷类别分布表中的第二概率值大于预设阈值时，将各个缺陷区域对应的预测缺陷类别作为各个缺陷区域对应的目标缺陷类别。本发明提高了切片缺陷区域、缺陷类别检测的准确度。另外，本发明还涉及区块链技术，同时本发明可应用于智慧医疗领域中，从而推动智慧城市的建设。

Description

切片缺陷检测方法、电子装置及可读存储介质
技术领域
本发明涉及智能决策技术领域，尤其涉及一种切片缺陷检测方法、电子装置及可读存储介质。
背景技术
医学图像切片对三维定位、三维可视化、手术规划和计算机辅助诊断等具有重要的意义，切片的质量直接影响到诊断效率和诊断质量，高质量的切片是正确的病理诊断至关重要的基础和保证，为提升切片质量，通常需要对缺陷类切片进行缺陷区域检测、分类，用以针对性的进行改善。
目前通常使用u-net网络对缺陷类切片进行缺陷检测，然而由于u-net网络只用到了卷积层、池化层，随着网络的加深，信息会逐渐损失，容易出现梯度消失或梯度爆炸的情况，导致无法精确的识别到缺陷区域；并且u-net网络主要是针对单个像素进行分类，缺少对全图的类别检测，而使得缺陷分类准确度不高。因此，亟需一种切片缺陷检测方法，以提高缺陷区域、缺陷类别检测准确度。
发明内容
鉴于以上内容，有必要提供一种切片缺陷检测方法，旨在提高切片缺陷区域、缺陷类别检测准确度。
本发明提供的切片缺陷检测方法，包括：
特征提取步骤：接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集；
第一检测步骤：将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别；
第二检测步骤：将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表；
缺陷确定步骤：获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
可选的，所述切片缺陷检测模型的构建过程包括：
用残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，所述残差模块包括两个卷积层、一个激活层及一个跳跃式连线；
在u-net模型的特征提取分支的输出处增加分类分支，使得所述切片缺陷检测模型为Y型结构，所述分类分支包括一个残差模块和两个全连接层。
可选的，所述切片缺陷检测模型的训练过程包括：
将第一训练集中的切片样本输入所述切片缺陷检测模型，训练所述切片缺陷检测模型的特征提取分支和上采样分支，通过最小化第一损失函数确定所述切片缺陷检测模型的特征提取分支和上采样分支对应的权重参数，得到初级切片缺陷检测模型；
将第二训练集中的切片样本输入所述初级切片缺陷检测模型，训练所述初级切片缺陷检测模型的分类分支，通过最小化第二损失函数确定所述切片缺陷检测模型的分类分支对应的权重参数，得到训练好的切片缺陷检测模型。
可选的，所述第一损失函数的公式为：
Figure GDA0003686817470000021
其中，IOUt-i为第一训练集中第t张切片样本的第i类缺陷的交并比值，At-i为第一训练集中第t张切片样本的第i类缺陷对应的预测缺陷区域，Bt-i为第一训练集中第t张切片样本的第i类缺陷对应的真实缺陷区域；
所述第二损失函数的公式为：
FL(qr-i)＝-αi(1-qr-i)γlog(qr-i)
Figure GDA0003686817470000022
其中，FL(qr-i)为第二训练集中第r张切片样本的第i类缺陷的平衡交叉熵损失值，αi为第i类缺陷的类别权重参数，γ为聚焦因子，pr-i为第二训练集中第r张切片样本的第i类缺陷的预测概率值，yr-i为第二训练集中第r张切片样本的第i类缺陷的真实概率值，qr-i为第二训练集中第r张切片样本的第i类缺陷的概率调整参数。
可选的，所述方法还包括：
若所述第二概率值小于预设阈值，则从对应的切片中删除所述预测缺陷类别对应的缺陷区域。
可选的，所述方法还包括：
将所述待检测切片存储于区块链节点中。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中存储有可在所述处理器上运行的切片缺陷检测程序，所述切片缺陷检测程序被所述处理器执行时实现如下步骤：
特征提取步骤：接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集；
第一检测步骤：将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别；
第二检测步骤：将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表；
缺陷确定步骤：获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
可选的，所述切片缺陷检测模型的构建过程包括：
用残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，所述残差模块包括两个卷积层、一个激活层及一个跳跃式连线；
在u-net模型的特征提取分支的输出处增加分类分支，使得所述切片缺陷检测模型为Y型结构，所述分类分支包括一个残差模块和两个全连接层。
可选的，所述切片缺陷检测模型的训练过程包括：
将第一训练集中的切片样本输入所述切片缺陷检测模型，训练所述切片缺陷检测模型的特征提取分支和上采样分支，通过最小化第一损失函数确定所述切片缺陷检测模型的特征提取分支和上采样分支对应的权重参数，得到初级切片缺陷检测模型；
将第二训练集中的切片样本输入所述初级切片缺陷检测模型，训练所述初级切片缺陷检测模型的分类分支，通过最小化第二损失函数确定所述切片缺陷检测模型的分类分支对应的权重参数，得到训练好的切片缺陷检测模型。
可选的，所述第一损失函数的公式为：
Figure GDA0003686817470000041
其中，IOUt-i为第一训练集中第t张切片样本的第i类缺陷的交并比值，At-i为第一训练集中第t张切片样本的第i类缺陷对应的预测缺陷区域，Bt-i为第一训练集中第t张切片样本的第i类缺陷对应的真实缺陷区域；
所述第二损失函数的公式为：
FL(qr-i)＝-αi(1-qr-i)γlog(qr-i)
Figure GDA0003686817470000042
其中，FL(qr-i)为第二训练集中第r张切片样本的第i类缺陷的平衡交叉熵损失值，αi为第i类缺陷的类别权重参数，γ为聚焦因子，pr-i为第二训练集中第r张切片样本的第i类缺陷的预测概率值，yr-i为第二训练集中第r张切片样本的第i类缺陷的真实概率值，qr-i为第二训练集中第r张切片样本的第i类缺陷的概率调整参数。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有切片缺陷检测程序，所述切片缺陷检测程序可被一个或者多个处理器执行，以实现上述切片缺陷检测方法的步骤。
相较现有技术，本发明首先通过将待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到待检测切片集中每张切片的特征集；接着，将特征集输入切片缺陷检测模型的上采样分支，得到每张切片的各个缺陷区域及各个缺陷区域对应的预测缺陷类别；然后，将特征集输入切片缺陷检测模型的分类分支，得到每张切片对应的第二缺陷类别分布表；最后，获取每张切片的各个缺陷区域对应的预测缺陷类别在第二缺陷类别分布表中的第二概率值，当第二概率值大于预设阈值时，将各个缺陷区域对应的预测缺陷类别作为各个缺陷区域对应的目标缺陷类别，本发明中的切片缺陷检测模型是通过对u-net模型改进而生成的，通过将残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，保证了信息的完整性，使得特征提取分支提取的特征更加完整，上采样分支还原的缺陷区域更加精准，同时在u-net模型的特征提取分支的输出处增加分类分支，减少了上采样分支输出假阳性的可能性，使得分类准确度更高，因此，本发明提高了切片缺陷区域、缺陷类别检测的准确度。
附图说明
图1为本发明电子装置一实施例的示意图；
图2为本发明切片缺陷检测模型一实施例的结构示意图；
图3为本发明残差模块一实施例的结构示意图；
图4为图1中的切片缺陷检测程序一实施例的程序模块图；
图5为本发明切片缺陷检测方法一实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，为本发明电子装置1一实施例的示意图。电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子装置1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有切片缺陷检测程序10，所述切片缺陷检测程序10可被所述处理器12执行。图1仅示出了具有组件11-13以及切片缺陷检测程序10的电子装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对电子装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的操作系统和各类应用软件，例如存储本发明一实施例中的切片缺陷检测程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行切片缺陷检测程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子装置1与客户端(图中未画出)之间建立通信连接。
可选的，所述电子装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
在本发明的一实施例中，本发明主要基于人工智能技术中的图像处理、检测模型等技术进行设计实现，所述切片缺陷检测程序10被所述处理器12执行时实现如下特征提取步骤、第一检测步骤、第二检测步骤及缺陷确定步骤。
特征提取步骤：接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集。
本实施例中，所述待检测切片为扫描仪扫描病理切片得到的数字图像，切片的缺陷类别包括褶皱、刀痕、杂质、气泡等。
所述对所述待检测切片进行切分处理，得到待检测切片集包括：
A1、采用滑窗的方式将所述待检测切片切分为多个预设尺寸的小切片；
病理切片有多层，第0层最清晰，像素大概为100000*100000，后面层清晰度会依次减半，综合考虑图像清晰度和存储容量的因素，本实施例选择第三层病理切片(像素为20000*20000)作为待检测切片。因待检测切片太大，无法直接输入至检测模型，故需将待检测切片切分为小切片，每个小切片的像素大概在512*512～1024*1024。
本实施例中，切图是按照滑窗的方式进行的，若切分后得到的最后一张小切片的像素不足，需要对这张小切片进行补全，以小切片的预设尺寸为512*512为例，对最后一张小切片的边缘不足512的部分，需使用0值进行补齐，即补充黑色背景。
A2、采用gamma校正对所述多个预设尺寸的小切片进行校正处理，得到待检测切片集。
由于扫描设备、成像条件等因素的影响，会导致切片的亮度不均匀或者生物目标过亮或过暗，从而使得切片的对比度不高，提高对比度，可以极大的保留生物目标本身特性。
本实施例采用gamma校正来提升切片的对比度，其计算公式为：
Vout-i＝A×B×Vin-i
其中，Vout-i为待检测切片集中第i张切片gamma校正后的像素值，A为明亮度参数，B为对比度参数，Vin为待检测切片集中第i张切片的原始像素值。
如图2所示，为本发明切片缺陷检测模型一实施例的结构示意图。本实施例中，所述切片缺陷检测模型为改进后的u-net模型。
原u-net模型为U型结构，包括特征提取分支和上采样分支，特征提取分支用于提取图片的特征，上采样分支用来还原图像精度。
特征提取分支位于U型结构的左侧，是一种重复的卷积网络架构，每次重复中有2个卷积核为3*3的卷积层，接着是一个激活层，一个2*2的步长为2的max pooling层，用于下采样，每一次下采样后我们都把特征通道的数量加倍。
上采样分支位于U型结构的右侧，包括一个2*2的反卷积(即转置卷积，卷积的一种)，每次使用反卷积都将特征通道数量减半，特征图大小加倍。反卷积过后，将反卷积的结果与特征提取分支中对应的特征图拼接起来。特征提取分支中的特征图尺寸稍大，需将其修剪后进行拼接，对拼接后的map进行2次3*3的卷积，每个卷积后跟一个RELU，最后一层为卷积核为1*1的卷积层，用来将64通道的特征图映射到一个类标签，整个u-net网络共23个卷积层。
本实施例中，所述切片缺陷检测模型的构建过程包括：
B1、用残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，所述残差模块包括两个卷积层、一个激活层及一个跳跃式连线；
原u-net网络只用到了卷积层、池化层，在传递信息时，随着网络的加深，存在信息丢失、损耗等问题，容易出现梯度消失或梯度爆炸的情况，如何在网络加深的情况下保证信息不退化是本发明要解决的问题。
如图3所示，为本发明残差模块一实施例的结构示意图。残差模块包括2个3*3的卷积层、一个激活层、一个跳跃式连线，跳跃式连接直接将输入信息绕道传到输出，整个网络只需要学习输入、输出差别的那一部分，不仅简化了学习目标和难度，还保证了信息的完整性，使得特征提取分支提取的特征更加完整，上采样分支还原的图像更为精准。
B2、在u-net模型的特征提取分支的输出处增加分类分支，使得所述切片缺陷检测模型为Y型结构，所述分类分支包括一个残差模块和两个全连接层。
原u-net模型通过上采样分支的最后一层卷积层来实现对切片缺陷区域和缺陷类别的识别，是针对待检测切片集中每张切片的单个像素进行分类的，缺少对每张切片全图的类别检测。
而本发明切片缺陷检测模型的分类分支的输入为特征提取分支的输出，分类分支是针对待检测切片集中每张切片的全部特征来做分类检测的，更为关注每张切片的全局特征。
本实施例中，所述切片缺陷检测模型的训练过程包括：
C1、将第一训练集中的切片样本输入所述切片缺陷检测模型，训练所述切片缺陷检测模型的特征提取分支和上采样分支，通过最小化第一损失函数确定所述切片缺陷检测模型的特征提取分支和上采样分支对应的权重参数，得到初级切片缺陷检测模型；
C2、将第二训练集中的切片样本输入所述初级切片缺陷检测模型，训练所述初级切片缺陷检测模型的分类分支，通过最小化第二损失函数确定所述切片缺陷检测模型的分类分支对应的权重参数，得到训练好的切片缺陷检测模型。
所述第一训练集及第二训练集中的切片样本携带有标注信息，所述标注信息包括切片样本的各个真实缺陷区域及各个真实缺陷区域对应的真实缺陷类型概率值(0或1)。
所述第一损失函数的公式为：
Figure GDA0003686817470000091
其中，IOUt-i为第一训练集中第t张切片样本的第i类缺陷的交并比值，At-i为第一训练集中第t张切片样本的第i类缺陷对应的预测缺陷区域，Bt-i为第一训练集中第t张切片样本的第i类缺陷对应的真实缺陷区域；
所述第二损失函数的公式为：
FL(qr-i)＝-αi(1-qr-i)γlog(qr-i)
Figure GDA0003686817470000092
其中，FL(qr-i)为第二训练集中第r张切片样本的第i类缺陷的平衡交叉熵损失值，αi为第i类缺陷的类别权重参数，γ为聚焦因子，pr-i为第二训练集中第r张切片样本的第i类缺陷的预测概率值，yr-i为第二训练集中第r张切片样本的第i类缺陷的真实概率值，qr-i为第二训练集中第r张切片样本的第i类缺陷的概率调整参数。
第一检测步骤：将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别。
本实施例中，切片缺陷检测模型的上采样分支输出的是，待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述第一缺陷类别分布表中第一概率值最大的缺陷类别作为预测缺陷类别。
例如，检测到待检测切片集中的切片1有缺陷区域1和缺陷区域2，缺陷区域1对应的第一缺陷类别分布表为：褶皱0.1、刀痕0.2、杂质0.1、气泡0.6，缺陷区域2对应的第一缺陷类别分布表为：褶皱0.2、刀痕0.2、杂质0.5、气泡0.1，则切片1的缺陷区域1的预测缺陷类别为气泡，缺陷区域2的预测缺陷类别为杂质。
第二检测步骤：将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表。
缺陷确定步骤：获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
在本发明的另一个实施例中，本申请所提供的切片缺陷检测方法还包括：
将待检测切片存储于区块链节点中。也可将本方案过程中的其他数据存储在区块链中。区块链系统在存储上跟传统信息项目的存储方式不同，区块链项目的存储是参与记账的节点维护同样的账本内容，每个记账节点都能查看到链上数据，因此，待检测切片存储于区块链上进行存储，查看更加方便，同时，进一步保证待检测切片等其他数据的私密和安全性。
需知，本方案可应用于智慧医疗领域中，从而推动智慧城市的建设。在本发明的另一个实施例中，所述切片缺陷检测程序10被所述处理器12执行时还实现如下步骤：
若所述第二概率值小于预设阈值，则从对应的切片中删除所述预测缺陷类别对应的缺陷区域。
例如，切片1对应的第二缺陷类别分布表为：褶皱0.1、刀痕0.3、杂质0.4、气泡0.2，则切片1的缺陷区域1对应的气泡缺陷，在第二缺陷类别分布表中的概率为0.2；缺陷区域2对应的杂质缺陷，在第二缺陷类别分别图中的概率为0.4。假设预设阈值为0.3，则将杂质作为缺陷区域2的目标缺陷类别，而缺陷区域1对应的气泡在第二缺陷类别分布表中的概率仅为0.2，小于预设阈值，则认为缺陷区域1对应的气泡缺陷为假阳性，删除缺陷区域1及其预测缺陷类别。
由上述实施例可知，本发明提出的电子装置1，首先，通过将待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到待检测切片集中每张切片的特征集；接着，将特征集输入切片缺陷检测模型的上采样分支，得到每张切片的各个缺陷区域及各个缺陷区域对应的预测缺陷类别；然后，将特征集输入切片缺陷检测模型的分类分支，得到每张切片对应的第二缺陷类别分布表；最后，获取每张切片的各个缺陷区域对应的预测缺陷类别在第二缺陷类别分布表中的第二概率值，当第二概率值大于预设阈值时，将各个缺陷区域对应的预测缺陷类别作为各个缺陷区域对应的目标缺陷类别，本发明中的切片缺陷检测模型是通过对u-net模型改进而生成的，通过将残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，保证了信息的完整性，使得特征提取分支提取的特征更加完整，上采样分支还原的缺陷区域更加精准，同时在u-net模型的特征提取分支的输出处增加分类分支，减少了上采样分支输出假阳性的可能性，使得分类准确度更高，因此，本发明提高了切片缺陷区域、缺陷类别检测的准确度。
在其他实施例中，切片缺陷检测程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述切片缺陷检测程序10在电子装置1中的执行过程。
如图4所示，为图1中的切片缺陷检测程序10一实施例的程序模块图。
在本发明的一个实施例中，切片缺陷检测程序10包括特征提取模块110、第一检测模块120、第二检测模块130及缺陷确定模块140，示例性地：
所述特征提取模块110，用于接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集；
所述第一检测模块120，用于将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别；
所述第二检测模块130，用于将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表；
所述缺陷确定模块140，用于获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
上述特征提取模块110、第一检测模块120、第二检测模块130及缺陷确定模块140等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
如图5所示，为本发明切片缺陷检测方法一实施例的流程图，该切片缺陷检测方法包括步骤S1-S4。
S1、接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集。
本实施例中，所述待检测切片为扫描仪扫描病理切片得到的数字图像，切片的缺陷类别包括褶皱、刀痕、杂质、气泡等。
所述对所述待检测切片进行切分处理，得到待检测切片集包括：
A1、采用滑窗的方式将所述待检测切片切分为多个预设尺寸的小切片；
病理切片有多层，第0层最清晰，像素大概为100000*100000，后面层清晰度会依次减半，综合考虑图像清晰度和存储容量的因素，本实施例选择第三层病理切片(像素为20000*20000)作为待检测切片。因待检测切片太大，无法直接输入至检测模型，故需将待检测切片切分为小切片，每个小切片的像素大概在512*512～1024*1024。
本实施例中，切图是按照滑窗的方式进行的，若切分后得到的最后一张小切片的像素不足，需要对这张小切片进行补全，以小切片的预设尺寸为512*512为例，对最后一张小切片的边缘不足512的部分，需使用0值进行补齐，即补充黑色背景。
A2、采用gamma校正对所述多个预设尺寸的小切片进行校正处理，得到待检测切片集。
由于扫描设备、成像条件等因素的影响，会导致切片的亮度不均匀或者生物目标过亮或过暗，从而使得切片的对比度不高，提高对比度，可以极大的保留生物目标本身特性。
本实施例采用gamma校正来提升切片的对比度，其计算公式为：
Vout-i＝A×B×Vin-i
其中，Vout-i为待检测切片集中第i张切片gamma校正后的像素值，A为明亮度参数，B为对比度参数，Vin为待检测切片集中第i张切片的原始像素值。
本实施例中，所述切片缺陷检测模型为改进后的u-net模型。
原u-net模型为U型结构，包括特征提取分支和上采样分支，特征提取分支用于提取图片的特征，上采样分支用来还原图像精度。
特征提取分支位于U型结构的左侧，是一种重复的卷积网络架构，每次重复中有2个卷积核为3*3的卷积层，接着是一个激活层，一个2*2的步长为2的max pooling层，用于下采样，每一次下采样后我们都把特征通道的数量加倍。
上采样分支位于U型结构的右侧，包括一个2*2的反卷积(即转置卷积，卷积的一种)，每次使用反卷积都将特征通道数量减半，特征图大小加倍。反卷积过后，将反卷积的结果与特征提取分支中对应的特征图拼接起来。特征提取分支中的特征图尺寸稍大，需将其修剪后进行拼接，对拼接后的map进行2次3*3的卷积，每个卷积后跟一个RELU，最后一层为卷积核为1*1的卷积层，用来将64通道的特征图映射到一个类标签，整个u-net网络共23个卷积层。
本实施例中，所述切片缺陷检测模型的构建过程包括：
B1、用残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，所述残差模块包括两个卷积层、一个激活层及一个跳跃式连线；
原u-net网络只用到了卷积层、池化层，在传递信息时，随着网络的加深，存在信息丢失、损耗等问题，容易出现梯度消失或梯度爆炸的情况，如何在网络加深的情况下保证信息不退化是本发明要解决的问题。
残差模块包括2个3*3的卷积层、一个激活层、一个跳跃式连线，跳跃式连接直接将输入信息绕道传到输出，整个网络只需要学习输入、输出差别的那一部分，不仅简化了学习目标和难度，还保证了信息的完整性，使得特征提取分支提取的特征更加完整，上采样分支还原的图像更为精准。
B2、在u-net模型的特征提取分支的输出处增加分类分支，使得所述切片缺陷检测模型为Y型结构，所述分类分支包括一个残差模块和两个全连接层。
原u-net模型通过上采样分支的最后一层卷积层来实现对切片缺陷区域和缺陷类别的识别，是针对待检测切片集中每张切片的单个像素进行分类的，缺少对每张切片全图的类别检测。
而本发明切片缺陷检测模型的分类分支的输入为特征提取分支的输出，分类分支是针对待检测切片集中每张切片的全部特征来做分类检测的，更为关注每张切片的全局特征。
本实施例中，所述切片缺陷检测模型的训练过程包括：
C1、将第一训练集中的切片样本输入所述切片缺陷检测模型，训练所述切片缺陷检测模型的特征提取分支和上采样分支，通过最小化第一损失函数确定所述切片缺陷检测模型的特征提取分支和上采样分支对应的权重参数，得到初级切片缺陷检测模型；
C2、将第二训练集中的切片样本输入所述初级切片缺陷检测模型，训练所述初级切片缺陷检测模型的分类分支，通过最小化第二损失函数确定所述切片缺陷检测模型的分类分支对应的权重参数，得到训练好的切片缺陷检测模型。
所述第一训练集及第二训练集中的切片样本携带有标注信息，所述标注信息包括切片样本的各个真实缺陷区域及各个真实缺陷区域对应的真实缺陷类型概率值(0或1)。
所述第一损失函数的公式为：
Figure GDA0003686817470000141
其中，IOUt-i为第一训练集中第t张切片样本的第i类缺陷的交并比值，At-i为第一训练集中第t张切片样本的第i类缺陷对应的预测缺陷区域，Bt-i为第一训练集中第t张切片样本的第i类缺陷对应的真实缺陷区域；
所述第二损失函数的公式为：
FL(qr-i)＝-αi(1-qr-i)γlog(qr-i)
Figure GDA0003686817470000151
其中，FL(qr-i)为第二训练集中第r张切片样本的第i类缺陷的平衡交叉熵损失值，αi为第i类缺陷的类别权重参数，γ为聚焦因子，pr-i为第二训练集中第r张切片样本的第i类缺陷的预测概率值，yr-i为第二训练集中第r张切片样本的第i类缺陷的真实概率值，qr-i为第二训练集中第r张切片样本的第i类缺陷的概率调整参数。
S2、将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别。
本实施例中，切片缺陷检测模型的上采样分支输出的是，待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述第一缺陷类别分布表中第一概率值最大的缺陷类别作为预测缺陷类别。
例如，检测到待检测切片集中的切片1有缺陷区域1和缺陷区域2，缺陷区域1对应的第一缺陷类别分布表为：褶皱0.1、刀痕0.2、杂质0.1、气泡0.6，缺陷区域2对应的第一缺陷类别分布表为：褶皱0.2、刀痕0.2、杂质0.5、气泡0.1，则切片1的缺陷区域1的预测缺陷类别为气泡，缺陷区域2的预测缺陷类别为杂质。
S3、将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表。
S4、获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
在本发明的另一个实施例中，所述方法还包括：
若所述第二概率值小于预设阈值，则从对应的切片中删除所述预测缺陷类别对应的缺陷区域。
例如，切片1对应的第二缺陷类别分布表为：褶皱0.1、刀痕0.3、杂质0.4、气泡0.2，则切片1的缺陷区域1对应的气泡缺陷，在第二缺陷类别分布表中的概率为0.2；缺陷区域2对应的杂质缺陷，在第二缺陷类别分别图中的概率为0.4。假设预设阈值为0.3，则将杂质作为缺陷区域2的目标缺陷类别，而缺陷区域1对应的气泡在第二缺陷类别分布表中的概率仅为0.2，小于预设阈值，则认为缺陷区域1对应的气泡缺陷为假阳性，删除缺陷区域1及其预测缺陷类别。
由上述实施例可知，本发明提出的切片缺陷检测方法，首先，通过将待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到待检测切片集中每张切片的特征集；接着，将特征集输入切片缺陷检测模型的上采样分支，得到每张切片的各个缺陷区域及各个缺陷区域对应的预测缺陷类别；然后，将特征集输入切片缺陷检测模型的分类分支，得到每张切片对应的第二缺陷类别分布表；最后，获取每张切片的各个缺陷区域对应的预测缺陷类别在第二缺陷类别分布表中的第二概率值，当第二概率值大于预设阈值时，将各个缺陷区域对应的预测缺陷类别作为各个缺陷区域对应的目标缺陷类别，本发明中的切片缺陷检测模型是通过对u-net模型改进而生成的，通过将残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，保证了信息的完整性，使得特征提取分支提取的特征更加完整，上采样分支还原的缺陷区域更加精准，同时在u-net模型的特征提取分支的输出处增加分类分支，减少了上采样分支输出假阳性的可能性，使得分类准确度更高，因此，本发明提高了切片缺陷区域、缺陷类别检测的准确度。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括切片缺陷检测程序10，所述切片缺陷检测程序10被处理器执行时实现如下操作：
接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集；
将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别；
将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表；
获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
本发明之计算机可读存储介质的具体实施方式与上述切片缺陷检测方法以及电子装置1的具体实施方式大致相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种切片缺陷检测方法，应用于电子装置，其特征在于，所述方法包括：
特征提取步骤：接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集；
第一检测步骤：将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别；
第二检测步骤：将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表；
缺陷确定步骤：获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
2.如权利要求1所述的切片缺陷检测方法，其特征在于，所述切片缺陷检测模型的构建过程包括：
用残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，所述残差模块包括两个卷积层、一个激活层及一个跳跃式连线；
在u-net模型的特征提取分支的输出处增加分类分支，使得所述切片缺陷检测模型为Y型结构，所述分类分支包括一个残差模块和两个全连接层。
3.如权利要求2所述的切片缺陷检测方法，其特征在于，所述切片缺陷检测模型的训练过程包括：
将第一训练集中的切片样本输入所述切片缺陷检测模型，训练所述切片缺陷检测模型的特征提取分支和上采样分支，通过最小化第一损失函数确定所述切片缺陷检测模型的特征提取分支和上采样分支对应的权重参数，得到初级切片缺陷检测模型；
将第二训练集中的切片样本输入所述初级切片缺陷检测模型，训练所述初级切片缺陷检测模型的分类分支，通过最小化第二损失函数确定所述切片缺陷检测模型的分类分支对应的权重参数，得到训练好的切片缺陷检测模型。
4.如权利要求3所述的切片缺陷检测方法，其特征在于，所述第一损失函数的公式为：
Figure FDA0003686817460000021
其中，IOUt-i为第一训练集中第t张切片样本的第i类缺陷的交并比值，At-i为第一训练集中第t张切片样本的第i类缺陷对应的预测缺陷区域，Bt-i为第一训练集中第t张切片样本的第i类缺陷对应的真实缺陷区域；
所述第二损失函数的公式为：
FL(qr-i)＝-αi(1-qr-i)γlog(qr-i)
Figure FDA0003686817460000022
其中，FL(qr-i)为第二训练集中第r张切片样本的第i类缺陷的平衡交叉熵损失值，αi为第i类缺陷的类别权重参数，γ为聚焦因子，pr-i为第二训练集中第r张切片样本的第i类缺陷的预测概率值，yr-i为第二训练集中第r张切片样本的第i类缺陷的真实概率值，qr-i为第二训练集中第r张切片样本的第i类缺陷的概率调整参数。
5.如权利要求1-4任一项所述的切片缺陷检测方法，其特征在于，所述方法还包括：
若所述第二概率值小于预设阈值，则从对应的切片中删除所述预测缺陷类别对应的缺陷区域。
6.一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的切片缺陷检测程序，所述切片缺陷检测程序被所述处理器执行时实现如下步骤：
特征提取步骤：接收用户提交的待检测切片，对所述待检测切片进行切分处理，得到待检测切片集，将所述待检测切片集输入训练好的切片缺陷检测模型的特征提取分支，得到所述待检测切片集中每张切片的特征集；
第一检测步骤：将所述特征集输入所述切片缺陷检测模型的上采样分支，得到所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的第一缺陷类别分布表，将所述各个缺陷区域对应的第一缺陷类别分布表中第一概率值最大的缺陷类别作为所述各个缺陷区域对应的预测缺陷类别；
第二检测步骤：将所述特征集输入所述切片缺陷检测模型的分类分支，得到所述待检测切片集中每张切片对应的第二缺陷类别分布表；
缺陷确定步骤：获取所述待检测切片集中每张切片的各个缺陷区域对应的预测缺陷类别在所述第二缺陷类别分布表中的第二概率值，当所述第二概率值大于预设阈值时，将所述各个缺陷区域对应的预测缺陷类别作为所述各个缺陷区域对应的目标缺陷类别，对所述待检测切片集中每张切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别进行汇总，得到所述待检测切片的各个缺陷区域及各个缺陷区域对应的目标缺陷类别。
7.如权利要求6所述的电子装置，其特征在于，所述切片缺陷检测模型的构建过程包括：
用残差模块替换u-net模型的特征提取分支及上采样分支中的卷积层，所述残差模块包括两个卷积层、一个激活层及一个跳跃式连线；
在u-net模型的特征提取分支的输出处增加分类分支，使得所述切片缺陷检测模型为Y型结构，所述分类分支包括一个残差模块和两个全连接层。
8.如权利要求7所述的电子装置，其特征在于，所述切片缺陷检测模型的训练过程包括：
将第一训练集中的切片样本输入所述切片缺陷检测模型，训练所述切片缺陷检测模型的特征提取分支和上采样分支，通过最小化第一损失函数确定所述切片缺陷检测模型的特征提取分支和上采样分支对应的权重参数，得到初级切片缺陷检测模型；
将第二训练集中的切片样本输入所述初级切片缺陷检测模型，训练所述初级切片缺陷检测模型的分类分支，通过最小化第二损失函数确定所述切片缺陷检测模型的分类分支对应的权重参数，得到训练好的切片缺陷检测模型。
9.如权利要求8所述的电子装置，其特征在于，所述第一损失函数的公式为：
Figure FDA0003686817460000031
其中，IOUt-i为第一训练集中第t张切片样本的第i类缺陷的交并比值，At-i为第一训练集中第t张切片样本的第i类缺陷对应的预测缺陷区域，Bt-i为第一训练集中第t张切片样本的第i类缺陷对应的真实缺陷区域；
所述第二损失函数的公式为：
FL(qr-i)＝-αi(1-qr-i)γlog(qr-i)
Figure FDA0003686817460000041
其中，FL(qr-i)为第二训练集中第r张切片样本的第i类缺陷的平衡交叉熵损失值，αi为第i类缺陷的类别权重参数，γ为聚焦因子，pr-i为第二训练集中第r张切片样本的第i类缺陷的预测概率值，yr-i为第二训练集中第r张切片样本的第i类缺陷的真实概率值，qr-i为第二训练集中第r张切片样本的第i类缺陷的概率调整参数。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有切片缺陷检测程序，所述切片缺陷检测程序可被一个或者多个处理器执行，以实现如权利要求1至5任一项所述的切片缺陷检测方法的步骤。
CN202010343021.9A 2020-04-27 2020-04-27 切片缺陷检测方法、电子装置及可读存储介质 Active CN111595850B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010343021.9A CN111595850B (zh) 2020-04-27 2020-04-27 切片缺陷检测方法、电子装置及可读存储介质
PCT/CN2020/098983 WO2021217857A1 (zh) 2020-04-27 2020-06-29 切片缺陷检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010343021.9A CN111595850B (zh) 2020-04-27 2020-04-27 切片缺陷检测方法、电子装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111595850A CN111595850A (zh) 2020-08-28
CN111595850B true CN111595850B (zh) 2022-07-15

Family

ID=72182375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010343021.9A Active CN111595850B (zh) 2020-04-27 2020-04-27 切片缺陷检测方法、电子装置及可读存储介质

Country Status (2)

Country Link
CN (1) CN111595850B (zh)
WO (1) WO2021217857A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915609B (zh) * 2020-09-22 2023-07-14 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质
CN112184665A (zh) * 2020-09-27 2021-01-05 苏州嘉展科技有限公司 一种应用于纸塑行业的人工智能缺陷侦测系统
CN114627089A (zh) * 2022-03-21 2022-06-14 成都数之联科技股份有限公司 缺陷识别方法、装置、计算机设备及计算机可读存储介质
CN115272310B (zh) * 2022-09-26 2023-01-03 江苏智云天工科技有限公司 工件的缺陷检测方法及装置
CN116046790B (zh) * 2023-01-31 2023-10-27 北京百度网讯科技有限公司 缺陷检测方法、装置、系统、电子设备以及存储介质
CN115984268B (zh) * 2023-03-20 2023-06-30 杭州百子尖科技股份有限公司 基于机器视觉的目标检测方法、装置、电子设备以及介质
CN116452791B (zh) * 2023-03-27 2024-03-22 广州市斯睿特智能科技有限公司 多相机点位的缺陷区域定位方法、系统、装置及存储介质
CN116433664B (zh) * 2023-06-13 2023-09-01 成都数之联科技股份有限公司 面板缺陷检测方法、装置、存储介质、设备及程序产品
CN117765533B (zh) * 2024-02-22 2024-04-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379175B1 (en) * 2002-10-15 2008-05-27 Kla-Tencor Technologies Corp. Methods and systems for reticle inspection and defect review using aerial imaging
WO2011139362A1 (en) * 2010-05-03 2011-11-10 Sti Medical Systems, Llc Image analysis for cervical neoplasia detection and diagnosis
KR20170022346A (ko) * 2015-08-20 2017-03-02 충북대학교 산학협력단 Ｐｃｂ 결함 및 결함종류 분류 시스템 및 방법
DE102016224467A1 (de) * 2015-12-11 2017-06-14 Soitec Verfahren zur Erkennung von Defekten und dazugehörige Vorrichtung
CN108802051A (zh) * 2018-07-10 2018-11-13 华南理工大学 一种柔性ic基板直线线路气泡及折痕缺陷检测系统及方法
CN109523521A (zh) * 2018-10-26 2019-03-26 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
WO2019057944A1 (en) * 2017-09-22 2019-03-28 F. Hoffmann-La Roche Ag ELIMINATION OF ARTIFACTS FROM IMAGES OF FABRIC
KR20190111644A (ko) * 2018-03-23 2019-10-02 (주)브릭 반복 패턴 영상의 결함 유형 분류 장치 및 방법
EP3553740A1 (en) * 2018-04-13 2019-10-16 Koninklijke Philips N.V. Automatic slice selection in medical imaging
CN111008953A (zh) * 2019-10-29 2020-04-14 平安科技（深圳）有限公司 一种数字病理图像质控的方法及装置
CN111044525A (zh) * 2019-12-30 2020-04-21 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5081590B2 (ja) * 2007-11-14 2012-11-28 株式会社日立ハイテクノロジーズ 欠陥観察分類方法及びその装置
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技（深圳）有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379175B1 (en) * 2002-10-15 2008-05-27 Kla-Tencor Technologies Corp. Methods and systems for reticle inspection and defect review using aerial imaging
WO2011139362A1 (en) * 2010-05-03 2011-11-10 Sti Medical Systems, Llc Image analysis for cervical neoplasia detection and diagnosis
KR20170022346A (ko) * 2015-08-20 2017-03-02 충북대학교 산학협력단 Ｐｃｂ 결함 및 결함종류 분류 시스템 및 방법
DE102016224467A1 (de) * 2015-12-11 2017-06-14 Soitec Verfahren zur Erkennung von Defekten und dazugehörige Vorrichtung
WO2019057944A1 (en) * 2017-09-22 2019-03-28 F. Hoffmann-La Roche Ag ELIMINATION OF ARTIFACTS FROM IMAGES OF FABRIC
KR20190111644A (ko) * 2018-03-23 2019-10-02 (주)브릭 반복 패턴 영상의 결함 유형 분류 장치 및 방법
EP3553740A1 (en) * 2018-04-13 2019-10-16 Koninklijke Philips N.V. Automatic slice selection in medical imaging
CN108802051A (zh) * 2018-07-10 2018-11-13 华南理工大学 一种柔性ic基板直线线路气泡及折痕缺陷检测系统及方法
CN109523521A (zh) * 2018-10-26 2019-03-26 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN111008953A (zh) * 2019-10-29 2020-04-14 平安科技（深圳）有限公司 一种数字病理图像质控的方法及装置
CN111044525A (zh) * 2019-12-30 2020-04-21 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Application of supervised machine learning for defect detection during metallic powder bed fusion additive manufacturing using high resolution imaging;Christian Gobert 等;《Additive Manufacturing》;20180407;第21卷;第517-528页 *
Automated defect recognition method based on neighbor layer slice images of ICT;Fang Liyong 等;《High Power Laser and Particle Beams》;20090731;第21卷(第7期);第1097-1100页 *
Faster R-CNN在工业CT图像缺陷检测中的应用;常海涛 等;《中国图象图形学报》;20180731;第23卷(第7期);第1061-1071页 *
Supervised dictionary learning supported classifier with feature fusion scheme to noninvasively detect TRISO-particle defects;Man-shan Guo 等;《Journal of Nuclear Materials》;20190527;第523卷;第43-50页 *
基于神经网络的磁瓦表面缺陷检测识别;刘畅 等;《表面技术》;20190831;第48卷(第8期);第330-339页 *
基于锥束CT序列图像的三维缺陷检测方法;黄魁东 等;《光学技术》;20081130;第34卷(第6期);第914-917+923页 *

Also Published As

Publication number Publication date
CN111595850A (zh) 2020-08-28
WO2021217857A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
CN111595850B (zh) 切片缺陷检测方法、电子装置及可读存储介质
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN113837151B (zh) 表格图像处理方法、装置、计算机设备及可读存储介质
CN111192678B (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
CN113065609B (zh) 图像分类方法、装置、电子设备及可读存储介质
WO2019136922A1 (zh) 肺结节探测方法、应用服务器及计算机可读存储介质
CN111415364A (zh) 一种计算机视觉中图像分割样本的转换方法、系统及存储介质
CN113505781A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111768405A (zh) 处理标注图像的方法、装置、设备和存储介质
CN113592720B (zh) 图像的缩放处理方法、装置、设备、存储介质
CN113158856B (zh) 一种提取遥感图像中目标区域的处理方法和装置
CN113177957B (zh) 一种细胞图像的分割方法、装置、电子设备及存储介质
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN115631205B (zh) 图像分割及模型训练的方法、装置及设备
CN111985471A (zh) 一种车牌定位方法、装置及存储介质
CN113255756B (zh) 图像融合方法、装置、电子设备及存储介质
CN113642642B (zh) 控件识别方法及装置
CN112233194B (zh) 医学图片优化方法、装置、设备及计算机可读存储介质
CN114494751A (zh) 证照信息识别方法、装置、设备及介质
CN114511862A (zh) 表格识别方法、装置及电子设备
CN112966757A (zh) 训练样本的扩展方法、装置、存储介质及设备
CN113012132A (zh) 一种图像相似度确定方法、装置及计算设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant