CN109949286A - 用于输出信息的方法和装置 - Google Patents

用于输出信息的方法和装置 Download PDF

Info

Publication number
CN109949286A
CN109949286A CN201910184208.6A CN201910184208A CN109949286A CN 109949286 A CN109949286 A CN 109949286A CN 201910184208 A CN201910184208 A CN 201910184208A CN 109949286 A CN109949286 A CN 109949286A
Authority
CN
China
Prior art keywords
subgraph
image
defect
defect classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910184208.6A
Other languages
English (en)
Inventor
文亚伟
冷家冰
王铖成
苏业
刘明浩
徐玉林
郭江亮
李旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910184208.6A priority Critical patent/CN109949286A/zh
Publication of CN109949286A publication Critical patent/CN109949286A/zh
Priority to US16/665,857 priority patent/US11341626B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30161Wood; Lumber
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开的实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括:获取待检测的物体的图像;将图像切割成至少一个子图像;对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;根据各子图像对应的缺陷类别输出物体的缺陷信息。该实施方式提高了物体外表质量检测的效率和准确性。

Description

用于输出信息的方法和装置
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于输出信息的方法和装置。
背景技术
现有的生产线产品(特别是木制物品)的外表质量检测过程中,主要依靠纯人工检查或基于特征工程的检测系统。在人工质检的情况下,需要工作人员用肉眼对产品进行检查。或者,使用基于特征工程的计算机辅助检查系统,但是这类系统准确率低,系统性能差。这种方法不仅效率低,容易漏判误判,数据很难进行二次利用挖掘。产品的生产车间生成环境,相对办公室环境来说,比较恶劣,利用人工质检,对工作人员的健康和安全会造成不利影响。在基于传统专家系统或特征工程的质检系统中,特征和判定规则都是基于经验固化到机器中的,难以随业务的发展迭代,导致随着生产工艺的发展、原材料的改变,系统的检测精度越来越低,甚至降低到完全不可用的状态。此外,传统质检系统的特征都由第三方供应商预先固化在硬件中,升级时不仅需要对生产线进行重大改造,而且价格昂贵。传统质检系统在安全性、规范化、可扩展性等方面都存在着明显不足,不利于产品生产线的优化升级。
发明内容
本公开的实施例提出了用于输出信息的方法和装置。
第一方面,本公开的实施例提供了一种用于输出信息的方法,包括:获取待检测的物体的图像;将图像切割成至少一个子图像;对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;根据各子图像对应的缺陷类别输出物体的缺陷信息。
在一些实施例中,获取待检测的物体的图像,包括:根据摄像头的以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。
在一些实施例中,将图像切割成至少一个子图像,包括:按照预定的切割位置将图像切割成至少一个子图像,以及确定各子图像的位置。
在一些实施例中,根据各子图像对应的缺陷类别输出物体的缺陷信息,包括:根据各子图像对应的缺陷类别和各子图像的位置输出物体的缺陷的位置和类别。
在一些实施例中,物体为木制物体,以及缺陷类别包括以下至少一项:虫洞、开裂、崩缺、结痂。
在一些实施例中,缺陷分类模型通过如下步骤训练得到:获取训练样本集,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型;将训练样本集中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型作为输出,训练得到缺陷分类模型。
在一些实施例中,缺陷分类模型采用深度卷积神经网络结构,包括:卷积层、池化层、全连接层。
第二方面,本公开的实施例提供了一种用于输出信息的装置,包括:获取单元,被配置成获取待检测的物体的图像;切割单元,被配置成将图像切割成至少一个子图像;检测单元,被配置成对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;输出单元,被配置成根据各子图像对应的缺陷类别输出物体的缺陷信息。
在一些实施例中,获取单元进一步被配置成:根据摄像头的以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。
在一些实施例中,切割单元进一步被配置成:按照预定的切割位置将图像切割成至少一个子图像,以及确定各子图像的位置。
在一些实施例中,物体为木制物体,以及缺陷类别包括以下至少一项:虫洞、开裂、崩缺、结痂。
在一些实施例中,该装置还包括训练单元,被配置成:获取训练样本集,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型;将训练样本集中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型作为输出,训练得到缺陷分类模型。
在一些实施例中,缺陷分类模型采用深度卷积神经网络结构,包括:卷积层、池化层、全连接层。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一的方法。
本公开的实施例提供的用于输出信息的方法和装置,通过利用图像采集设备在产品生产线上实时采集的图像,实时对产品的表面质量进行检测判断,如果检测到当前经过图像采集设备的产品存在质量问题,则判断该质量问题的种类。提高了物体外表质量检测的效率和准确性。并且便于统计缺陷信息从而方便后续的质量管理控制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本申请实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的用于输出信息的方法的一个实施例的流程图;
图3是根据本申请的用于输出信息的方法的又一个实施例的流程图;
图4是根据本申请的缺陷分类模型训练方法的一个实施例的流程图;
图5是根据本申请的用于输出信息的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括待检测的物体101、摄像头1021、1022、1023,1024、服务器103。网络用以在摄像头1021、1022、1023,1024、服务器103之间提供通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
待检测的物体101可以是生产线上需要进行外表检测的产品。尤其是木制的产品,例如,木制玩具等。这些玩具的外表受限于使用的木材,可能会出现一些由木材导致的缺陷,比如虫洞,开裂,崩缺,结痂等缺陷,因此需要对木质玩具进行表面质量检测。
服务器103可包括:图像采集系统、控制台、缺陷分类模型、训练引擎、控制模块、训练数据库、生产数据库、业务响应系统等几个个主要模块。
图像采集系统,利用高精度图像采集摄像头,调整角度、光线、滤镜、倍镜、聚焦,采集多张图像用于后续处理。
控制台将生产线上图像采集系统实时产生的图片转化为分类请求,并将检测请求发送至缺陷分类模型中。该缺陷分类模型已经由训练引擎训练完成。缺陷分类模型对于到来的监测请求中的图像数据进行预设的预处理后,进行分类计算,并给出代表缺陷类别的预测结果,并将结果传送至控制模块。控制模块与业务场景结合设计,能够根据业务需求,对模型给出的预测结果做出符合生产环境场景要求的响应,如报警、存储日志、控制机械臂等。控制模块会将预测结果及响应的处理行为作为线上生产日志存储到生产数据库中。系统的核心-缺陷分类模型是由训练引擎根据历史标注数据训练得到的。
缺陷分类模型采用深度卷积神经网络结构(Deep CNNs)。其将生产线上的原始图片作为模型的输入,而模型的输出则是代表缺陷类别的标签,例如0-n代表n+1类缺陷。网络的结构主要是由卷积层、池化层、全连层接等组成。其中卷积操作利用权值不同的卷积核对原始图像或特征图(feature map)进行扫描卷积,从中提取各种意义的特征,并输出至特征图中。池化操作则对特征图进行降维操作,保留特征图中的主要特征。利用这种具有卷积、池化操作的深度神经网络模型,可以对生产线上照片的变形、模糊、光照变化等具有较高的鲁棒性,对于分类任务具有更高的可泛化性。对于不同的生产场景和数据的特点,可设计不同深度、不同数量神经元、不同的卷积池化组织方式构成的深度神经网络模型,然后采用标注好的历史数据,采用信号前向传播、误差反向传播的方式对模型进行训练。当模型的输出与标签之间的误差值小于预先设定的符合业务要求的阈值时,停止训练。
对于每一次训练好的模型可通过小流量上线的方式逐步取代正在线上运行的旧模型,以达到模型随业务动态扩展泛化的目的。
需要说明的是,本公开的实施例所提供的用于输出信息的方法一般由服务器103执行,相应地,用于输出信息的装置一般设置于服务器103中。
应该理解,图1中的待检测的物体、摄像头、服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的待检测的物体、摄像头、服务器。
继续参考图2,示出了根据本公开的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法,包括以下步骤:
步骤201,获取待检测的物体的图像。
在本实施例中,用于输出信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从拍摄待检测物体的摄像头获取图像。可对摄像头采集的图像进行预处理,去除背景图像后得到待检测的物体的图像。例如,通过边缘检测算法检测出物体的位置从而从摄像头拍摄的图像中抠出待检测的物体的图像。可控制摄像头调整角度,或者通过不同位置的摄像头获取物体不同的角度的图像。可选地,还可通过调整摄像头的以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。例如,可获取开闪光灯和不开闪光灯的图像。
步骤202,将图像切割成至少一个子图像。
在本实施例中,将待检测的物体的图像切割成至少一个子图像。这些子图像可以拼回待检测的物体的图像。这些子图像之间可以有重叠区域。如果在步骤201中获取了多个图像,则可将每个图像进行切割。可以切割成相同大小的子图像。也可根据物体的特点采用不同的精度进行切割,例如,容易有缺陷的边缘的图像可以切分的细一些。
步骤203,对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别。
在本实施例中,将步骤202切割出的每个子图像输入到预先训练的缺陷分类模型。该缺陷分类模型可根据输入的图像判断出是否存在缺陷以及缺陷的类别。如果物体为木制的,则缺陷类别可包括以下至少一项:虫洞、开裂、崩缺、结痂。没有缺陷也是缺陷类别中的一种。
作为示例,上述缺陷分类模型可以包括特征提取部分和对应关系表。其中,特征提取部分可以用于从待检测的物体的图像中提取特征生成特征向量,例如,特征提取部分可以为卷积神经网络、深度神经网络等等。对应关系表可以是技术人员基于对大量的特征向量和缺陷信息的统计而预先制定的、存储有多个特征向量与缺陷信息的对应关系的对应关系表。这样,上述缺陷分类模型可以首先使用特征提取部分提取待检测的物体的图像的特征,从而生成目标特征向量。之后,将该目标特征向量与对应关系表中的多个特征向量依次进行比较,若对应关系表中的某一个特征向量与目标特征向量相同或相似,则将对应关系表中的该特征向量对应的缺陷信息作为物体的图像所指示的缺陷信息。
步骤204,根据各子图像对应的缺陷类别输出物体的缺陷信息。
在本实施例中,经过步骤203后,每个子图像都可得到至少一个缺陷类别。将各子图像对应的缺陷类别组合进行分析后,可得到该物体的缺陷信息。缺陷信息可包括缺陷类别,还可包括缺陷数量。一个子图像上出现一种类别的缺陷可计为一次。统计出现的某种类型的缺陷的子图像的数量即为该类别的缺陷数量。为了更加准确的确定缺陷数量,可重新切割图像后再通过缺陷分类模型来确定缺陷类别。特别是在上一次切割时相邻子图像都同现相同的缺陷的情况下,可在再一次切割时把这几个子图像合并在一起。
这里的输出可以输出到与服务器相连接的显示器中,也可通过语音提示工作人员存在有缺陷的产品。或者直接向机械手臂等用于筛选次品的装置发送缺陷信息。机械手臂可将有缺陷的物体捡出来,甚至可根据缺陷类型放入不同的回收区域。
本公开的上述实施例提供的方法通过将待检测的物体的图像切割后输入预先训练的缺陷分类模型,得到的缺陷信息。提高了物体外表质量检测的效率和准确性。并且缺陷信息可进行二次利用挖掘,提高产品的质量并降低生产成本。
进一步参考图3,其示出了根据本申请的用于输出信息的方法的又一个实施例的流程300。该用于输出信息的方法的流程300,包括以下步骤:
步骤301,获取待检测的物体的图像。
步骤301与步骤201基本相同,因此不再赘述。
步骤302,按照预定的切割位置将图像切割成至少一个子图像,以及确定各子图像的位置。
在本实施例中,可根据产品的特点设计切割位置。例如,对于边缘容易破损的物体,在切割时用较小的粒度切割出边缘的图像。切割出来的图像都要记录其在原图中的位置。
步骤303,对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别。
步骤303与步骤203基本相同,因此不再赘述。
步骤304,根据各子图像对应的缺陷类别和各子图像的位置输出物体的缺陷的位置和类别。
在本实施例中,步骤304中确定缺陷的类别的方法与步骤204基本相,因此不再赘述。此外,还可利用步骤303得到的各子图像的位置将模型识别出来的缺陷的类别与其在原图中的位置对应起来。例如,可识别出距离顶部1cm、距离左边0.5cm处有虫洞。
从图3中可以看出,与图2对应的实施例相比,本实施例中的用于输出信息的方法的流程300突出了确定缺陷产品的位置。由此,本实施例描述的方案能够方便定位缺陷位置,并提供相应的缺陷统计数据,从而使得生产者能根据缺陷统计数据分析原因,并改善生产工艺。
进一步参考图4,其示出了根据本申请的缺陷分类模型训练方法的一个实施例的流程400。该缺陷分类模型训练方法的流程400,包括以下步骤:
步骤401,获取训练样本集。
在本实施例中,缺陷分类模型训练方法运行于其上的电子设备(例如图1所示的服务)可以获取训练样本集,其中,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型。训练样本中的缺陷类型可以是手工标注的。
步骤402,将训练样本集中的每个训练样本的样本图像依次输入至初始化缺陷分类模型,得到每个样本图像所对应的预测缺陷类型。
在本实施例中,基于步骤401所获取的待检测的物体的样本图像,电子设备可以将训练样本集中的每个训练样本的样本图像依次输入至初始化缺陷分类模型,从而得到每个样本图像所对应的预测缺陷类型。这里,电子设备可以将每个样本视频从初始化缺陷分类模型的输入侧输入,依次经过初始化缺陷分类模型中的各层的参数的处理,并从初始化缺陷分类模型的输出侧输出,输出侧输出的信息即为该样本图像所对应的预测缺陷类型。其中,初始缺陷分类模型可以是未经训练的缺陷分类模型或未训练完成的缺陷分类模型,其各层设置有初始化参数,初始化参数在缺陷分类模型的训练过程中可以被不断地调整。初始化缺陷分类模型可以采用VGG、resnet等深度卷积神经网络结构。
步骤403,将训练样本集中的每个训练样本中的样本图像所对应的缺陷类型与该样本图像的预测缺陷类型进行比较,得到初始化缺陷分类模型的预测准确率。
在本实施例中,基于步骤402所得到的样本图像的预测缺陷类型,电子设备可以将训练样本中样本图像所对应的缺陷类型与样本图像的预测缺陷类型进行比较,从而得到初始化缺陷分类模型的预测准确率。具体地,若一个训练样本中样本图像所对应的缺陷类型与该样本图像的预测缺陷类型相同或相近,则初始化缺陷分类模型预测正确;若一个训练样本中样本图像所对应的缺陷类型与该样本图像的预测缺陷类型不同或不相近,则初始化缺陷分类模型预测错误。这里,电子设备可以计算预测正确的数目与样本总数的比值,并作为初始化缺陷分类模型的预测准确率。
步骤404,确定预测准确率是否大于预设准确率阈值。
在本实施例中,基于步骤403所得到的初始化缺陷分类模型的预测准确率,电子设备可以将初始化缺陷分类模型的预测准确率与预设准确率阈值进行比较,若大于预设准确度阈值,则执行步骤405。若大于预设准确度阈值,则执行步骤406。
步骤405,将初始化缺陷分类模型作为训练完成的缺陷分类模型。
在本实施例中,在初始化缺陷分类模型的预测准确度大于预设准确度阈值的情况下,说明该缺陷分类模型训练完成,此时,电子设备可以将初始化缺陷分类模型作为训练完成的缺陷分类模型。
步骤406,调整初始化缺陷分类模型的参数。
在本实施例中,在初始化缺陷分类模型的预测准确度不大于预设准确度阈值的情况下,电子设备可以调整初始化缺陷分类模型的参数,并返回执行步骤402,直至训练出能够表征待检测的物体的样本图像和与样本图像对应的缺陷类型之间的对应关系的缺陷分类模型为止。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于输出信息的装置500包括:获取单元501、切割单元502、检测单元503和输出单元504。其中,获取单元501,被配置成获取待检测的物体的图像;切割单元502,被配置成将图像切割成至少一个子图像;检测单元503,被配置成对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;输出单元504,被配置成根据各子图像对应的缺陷类别输出物体的缺陷信息。
在本实施例中,用于输出信息的装置500的获取单元501、切割单元502、检测单元503和输出单元504的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204。
在本实施例的一些可选的实现方式中,获取单元501进一步被配置成:根据摄像头的以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。
在本实施例的一些可选的实现方式中,切割单元502进一步被配置成:按照预定的切割位置将图像切割成至少一个子图像,以及确定各子图像的位置。
在本实施例的一些可选的实现方式中,输出单元504进一步被配置成:根据各子图像对应的缺陷类别和各子图像的位置输出物体的缺陷的位置和类别。
在本实施例的一些可选的实现方式中,物体为木制物体,以及缺陷类别包括以下至少一项:虫洞、开裂、崩缺、结痂。
在本实施例的一些可选的实现方式中,装置500还包括训练单元(附图中未示出),被配置成:获取训练样本集,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型;将训练样本集中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型作为输出,训练得到缺陷分类模型。
在本实施例的一些可选的实现方式中,缺陷分类模型采用深度卷积神经网络结构,包括:卷积层、池化层、全连接层。
下面参考图6,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取待检测的物体的图像;将图像切割成至少一个子图像;对于至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;根据各子图像对应的缺陷类别输出物体的缺陷信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、切割单元、检测单元和输出单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,输出单元还可以被描述为“获取待检测的物体的图像的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于输出信息的方法,包括:
获取待检测的物体的图像;
将所述图像切割成至少一个子图像;
对于所述至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;
根据各子图像对应的缺陷类别输出所述物体的缺陷信息。
2.根据权利要求1所述的方法,其中,所述获取待检测的物体的图像,包括:
根据摄像头的以下至少一项参数获取待检测的物体的至少一个图像:
角度、光线、滤镜、倍镜、聚焦。
3.根据权利要求1所述的方法,其中,所述将所述图像切割成至少一个子图像,包括:
按照预定的切割位置将所述图像切割成至少一个子图像,以及确定各子图像的位置。
4.根据权利要求3所述的方法,其中,所述根据各子图像对应的缺陷类别输出所述物体的缺陷信息,包括:
根据各子图像对应的缺陷类别和各子图像的位置输出所述物体的缺陷的位置和类别。
5.根据权利要求1所述的方法,其中,所述物体为木制物体,以及所述缺陷类别包括以下至少一项:
虫洞、开裂、崩缺、结痂。
6.根据权利要求1-5之一所述的方法,其中,所述缺陷分类模型通过如下步骤训练得到:
获取训练样本集,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型;
将所述训练样本集中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型作为输出,训练得到所述缺陷分类模型。
7.根据权利要求6所述的方法,其中,所述缺陷分类模型采用深度卷积神经网络结构,包括:卷积层、池化层、全连接层。
8.一种用于输出信息的装置,包括:
获取单元,被配置成获取待检测的物体的图像;
切割单元,被配置成将所述图像切割成至少一个子图像;
检测单元,被配置成对于所述至少一个子图像中的子图像,将该子图像输入预先训练的缺陷分类模型,得到该子图像对应的缺陷类别;
输出单元,被配置成根据各子图像对应的缺陷类别输出所述物体的缺陷信息。
9.根据权利要求8所述的装置,其中,所述获取单元进一步被配置成:
根据摄像头的以下至少一项参数获取待检测的物体的至少一个图像:
角度、光线、滤镜、倍镜、聚焦。
10.根据权利要求8所述的装置,其中,所述切割单元进一步被配置成:
按照预定的切割位置将所述图像切割成至少一个子图像,以及确定各子图像的位置。
11.根据权利要求10所述的装置,其中,所述输出单元进一步被配置成:
根据各子图像对应的缺陷类别和各子图像的位置输出所述物体的缺陷的位置和类别。
12.根据权利要求8所述的装置,其中,所述物体为木制物体,以及所述缺陷类别包括以下至少一项:
虫洞、开裂、崩缺、结痂。
13.根据权利要求8-12之一所述的装置,其中,所述装置还包括训练单元,被配置成:
获取训练样本集,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型;
将所述训练样本集中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型作为输出,训练得到所述缺陷分类模型。
14.根据权利要求13所述的装置,其中,所述缺陷分类模型采用深度卷积神经网络结构,包括:卷积层、池化层、全连接层。
15.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201910184208.6A 2019-03-12 2019-03-12 用于输出信息的方法和装置 Pending CN109949286A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910184208.6A CN109949286A (zh) 2019-03-12 2019-03-12 用于输出信息的方法和装置
US16/665,857 US11341626B2 (en) 2019-03-12 2019-10-28 Method and apparatus for outputting information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184208.6A CN109949286A (zh) 2019-03-12 2019-03-12 用于输出信息的方法和装置

Publications (1)

Publication Number Publication Date
CN109949286A true CN109949286A (zh) 2019-06-28

Family

ID=67009578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184208.6A Pending CN109949286A (zh) 2019-03-12 2019-03-12 用于输出信息的方法和装置

Country Status (2)

Country Link
US (1) US11341626B2 (zh)
CN (1) CN109949286A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111402220A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN111768381A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 零部件缺陷检测方法、装置及电子设备
CN111784667A (zh) * 2020-06-30 2020-10-16 北京海益同展信息科技有限公司 一种裂纹识别方法及装置
CN112164042A (zh) * 2020-09-22 2021-01-01 华中科技大学 三维砂型打印铺砂过程中缺陷自动识别方法及系统
CN112241753A (zh) * 2019-07-19 2021-01-19 北京京东振世信息技术有限公司 判断物品成新率的方法和装置
CN112836724A (zh) * 2021-01-08 2021-05-25 重庆创通联智物联网有限公司 物体缺陷识别模型训练方法、装置、电子设备和存储介质
CN114718587A (zh) * 2021-01-02 2022-07-08 杨立鹏 一种软弱围岩隧道挖掘机斗齿
WO2022147966A1 (zh) * 2021-01-08 2022-07-14 长鑫存储技术有限公司 晶圆检测方法、装置、设备及存储介质
US11928808B2 (en) 2021-01-08 2024-03-12 Changxin Memory Technologies, Inc. Wafer detection method, device, apparatus, and storage medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481584B2 (en) * 2020-01-15 2022-10-25 Vmware, Inc. Efficient machine learning (ML) model for classification
US11526785B2 (en) 2020-06-22 2022-12-13 Vmware, Inc. Predictability-driven compression of training data sets
CN113947560A (zh) * 2020-07-17 2022-01-18 京东方科技集团股份有限公司 产品检测方法、装置、系统和计算机存储介质
CN112967225A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的自动检测系统、方法、设备及介质
CN116309554B (zh) * 2023-05-12 2023-08-22 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761743A (zh) * 2014-01-29 2014-04-30 东北林业大学 一种基于图像融合分割的实木地板表面缺陷检测方法
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统
CN108460761A (zh) * 2018-03-12 2018-08-28 北京百度网讯科技有限公司 用于生成信息的方法和装置
US20180268538A1 (en) * 2016-07-25 2018-09-20 PT Papertech Inc. Facilitating anomaly detection for a product having a pattern
CN109085179A (zh) * 2018-09-17 2018-12-25 周口师范学院 一种木板表面缺陷检测装置及检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6622135B1 (en) * 1998-12-29 2003-09-16 International Business Machines Corporation Method for detecting and classifying anomalies using artificial neural networks
CN1940540A (zh) * 2005-09-30 2007-04-04 Hoya株式会社 缺陷检查装置和缺陷检查方法
US9702695B2 (en) * 2010-05-27 2017-07-11 Hitachi High-Technologies Corporation Image processing device, charged particle beam device, charged particle beam device adjustment sample, and manufacturing method thereof
US8559698B2 (en) * 2012-03-09 2013-10-15 National Applied Research Laboratories Method of inspecting chip defects
KR20130109838A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 병변 진단 지원 장치와 방법
JP6332937B2 (ja) * 2013-10-23 2018-05-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR101909022B1 (ko) * 2017-09-12 2018-10-17 만도헬라일렉트로닉스(주) 카메라 자동 초점 조절장치 및 방법
WO2019129569A1 (en) * 2017-12-31 2019-07-04 Asml Netherlands B.V. Methods and systems for defect inspection and review
JP6979900B2 (ja) * 2018-02-13 2021-12-15 株式会社荏原製作所 基板保持部材、基板処理装置、基板処理装置の制御方法、プログラムを格納した記憶媒体
WO2019212011A1 (ja) * 2018-05-01 2019-11-07 株式会社ナノシステムソリューションズ 検査装置
CN108776808A (zh) * 2018-05-25 2018-11-09 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
AU2019203933B2 (en) * 2018-06-05 2021-03-25 Tata Consultancy Services Limited Systems and methods for data acquisition and asset inspection in presence of magnetic interference
US11610390B2 (en) * 2019-05-15 2023-03-21 Getac Technology Corporation System for detecting surface type of object and artificial neural network-based method for detecting surface type of object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761743A (zh) * 2014-01-29 2014-04-30 东北林业大学 一种基于图像融合分割的实木地板表面缺陷检测方法
US20180268538A1 (en) * 2016-07-25 2018-09-20 PT Papertech Inc. Facilitating anomaly detection for a product having a pattern
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统
CN108460761A (zh) * 2018-03-12 2018-08-28 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN109085179A (zh) * 2018-09-17 2018-12-25 周口师范学院 一种木板表面缺陷检测装置及检测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241753A (zh) * 2019-07-19 2021-01-19 北京京东振世信息技术有限公司 判断物品成新率的方法和装置
US11836967B2 (en) 2019-12-03 2023-12-05 Goertek, Inc. Method and device for small sample defect classification and computing equipment
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111127571B (zh) * 2019-12-03 2023-12-29 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111402220A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN111627015B (zh) * 2020-05-29 2024-04-26 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN111768381A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 零部件缺陷检测方法、装置及电子设备
CN111784667B (zh) * 2020-06-30 2023-09-26 京东科技信息技术有限公司 一种裂纹识别方法及装置
CN111784667A (zh) * 2020-06-30 2020-10-16 北京海益同展信息科技有限公司 一种裂纹识别方法及装置
CN112164042A (zh) * 2020-09-22 2021-01-01 华中科技大学 三维砂型打印铺砂过程中缺陷自动识别方法及系统
CN114718587A (zh) * 2021-01-02 2022-07-08 杨立鹏 一种软弱围岩隧道挖掘机斗齿
WO2022147966A1 (zh) * 2021-01-08 2022-07-14 长鑫存储技术有限公司 晶圆检测方法、装置、设备及存储介质
CN112836724A (zh) * 2021-01-08 2021-05-25 重庆创通联智物联网有限公司 物体缺陷识别模型训练方法、装置、电子设备和存储介质
US11928808B2 (en) 2021-01-08 2024-03-12 Changxin Memory Technologies, Inc. Wafer detection method, device, apparatus, and storage medium

Also Published As

Publication number Publication date
US20200294222A1 (en) 2020-09-17
US11341626B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
CN109949286A (zh) 用于输出信息的方法和装置
CN110009614A (zh) 用于输出信息的方法和装置
CN109993734A (zh) 用于输出信息的方法和装置
CN108776808A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
CN109978870A (zh) 用于输出信息的方法和装置
CN108846841A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
CN109615116A (zh) 一种电信诈骗事件检测方法和检测系统
CN107358157A (zh) 一种人脸活体检测方法、装置以及电子设备
CN109344908A (zh) 用于生成模型的方法和装置
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
CN109816624A (zh) 外观检查装置
WO2021120186A1 (zh) 分布式产品缺陷分析系统、方法及计算机可读存储介质
CN107133628A (zh) 一种建立数据识别模型的方法及装置
CN108564104A (zh) 产品缺陷检测方法、装置、系统、服务器及存储介质
CN108830837A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
CN110517259A (zh) 一种产品表面状态的检测方法、装置、设备及介质
US20200320381A1 (en) Method to explain factors influencing ai predictions with deep neural networks
CN109447156A (zh) 用于生成模型的方法和装置
CN109544548A (zh) 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
CN109145828A (zh) 用于生成视频类别检测模型的方法和装置
CN108229485A (zh) 用于测试用户界面的方法和装置
CN109086780A (zh) 用于检测电极片毛刺的方法和装置
CN110335313A (zh) 音频采集设备定位方法及装置、说话人识别方法及系统
CN108197634A (zh) 自动抄表方法、系统、计算机设备和可读存储介质
CN106537423A (zh) 作为服务的自适应特征化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination