CN114705685A - 基于深度学习的ai视觉检测方法、系统及可读存储介质 - Google Patents

基于深度学习的ai视觉检测方法、系统及可读存储介质 Download PDF

Info

Publication number
CN114705685A
CN114705685A CN202210247441.6A CN202210247441A CN114705685A CN 114705685 A CN114705685 A CN 114705685A CN 202210247441 A CN202210247441 A CN 202210247441A CN 114705685 A CN114705685 A CN 114705685A
Authority
CN
China
Prior art keywords
appearance
shell structure
visual
image
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210247441.6A
Other languages
English (en)
Other versions
CN114705685B (zh
Inventor
杜海潇
肖刚
袁卫顺
何勃
徐满俊
赵日来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yu Hai Precision Manufacturing Co ltd
Citic Cloud Network Co ltd
Original Assignee
Chongqing Yu Hai Precision Manufacturing Co ltd
Citic Cloud Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Yu Hai Precision Manufacturing Co ltd, Citic Cloud Network Co ltd filed Critical Chongqing Yu Hai Precision Manufacturing Co ltd
Publication of CN114705685A publication Critical patent/CN114705685A/zh
Application granted granted Critical
Publication of CN114705685B publication Critical patent/CN114705685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13Moving of cuvettes or solid samples to or from the investigating station
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • G01N21/8903Optical details; Scanning details using a multiple detector array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明提供一种基于深度学习的AI视觉检测方法及系统,方法包括步骤:通过AI视觉检测设备的外观面视觉检测装置、第一侧面视觉检测装置和第二侧面视觉检测装置获取壳体结构的外观面图像,通过AI视觉设备的结构面视觉检测装置获取壳体结构的结构面图像;根据外观面图像和外观缺陷检测模型,确定壳体结构的外观缺陷检测结果,根据结构面图像和结构缺陷检测模型,确定壳体结构的结构缺陷检测结果;根据外观缺陷检测结果和结构缺陷检测结果,确定壳体结构的质量检测结果;其中,外观面图像至少包括壳体结构的顶面和壳体结构的多个侧面的外观面图像。本发明提供的AI视觉检测方法,实现了对产品全方位的检测,提高了产品的出厂质量。

Description

基于深度学习的AI视觉检测方法、系统及可读存储介质
技术领域
本发明涉及视觉检测领域,具体涉及一种基于深度学习的AI视觉检测方法、装置及系统。
背景技术
视觉检测是指通过机器代替人眼来做测量和判断,在实际运用中,通过视觉检测可以实现生产壳体结构的表面缺陷检测,并且随着多年的发展,该项技术已经非常成熟。
在智能制造的过程中,通过相机在镜头、光源的辅助下将客观事物的图像进行拍照,然后通过采集卡将图像采集后存放在计算机或服务器硬盘中,图像处理软件利用算法和规则将图像切分、计算后得出一定的结果,并将结果用于对壳体结构或设备的检测、测量、控制等。
而现有技术中的检测方法或检测设备往往存在以下缺陷:
1)自动化成本高,现有检测设备中用于旋转产品的旋转结构较为复杂(如包括多个用于旋转的旋转轴),相应地增加了检测设备的生产成本和运行成本,并且这类检测设备在实际运行过程中存在稳定性和精度不佳的问题,而如果要对检测设备提出更高的稳定性和精度要求,将会进一步增加设备的自动化成本;
2)产线节拍慢,由于需要对单个产品进行旋转操作,因此对单个产品的拍摄检测时间较长,并且单个工位需要进行的操作更多(例如,通过单个相机拍摄多张照片),难以满足产线节拍要求,另外,专利公告号为CN113670923A的发明专利主要是针对笔记本整机进行的壳体结构的缺陷检测,而现在的实际应用场景中,对笔记本整机检测的产线节拍要求相对较低,例如,笔记本整机的单个检测耗时在十几秒或二十几秒即可,相应地检测设备的单个工位时间较长,但是,对笔记本外壳(非整机结构)的检测的产线节拍要求较高,因此,现有的检测设备往往不能满足实际工作中对笔记本壳体结构的产线节拍要求;
3)兼容性差,原料厂家生产的壳体结构通常缺陷类型较多,对于某些特殊类型的缺陷,或位于特定位置的缺陷,仅获取壳体结构的侧边图像或外观面图像可能无法清晰识别出相应的缺陷。例如,仅仅获取壳体的侧边图像或外观面图像,可能无法识别出壳体的边角(即壳体相邻两个侧边的相交处)位置处的缺陷,因此需要针对壳体的边角进行单独拍摄,由此涉及到对旋转机构/模块的旋转角度进行调节,这将进一步增加旋转机构/模块的结构复杂性,并影响设备工作的稳定性;也即说检测设备功能单一,兼容性差(泛化能力差),只能针对当前型号的壳体结构进行检测,如果需要不同材质、种类、颜色、特点的壳体结构进行检测时,就会需要对光源、镜头、相机、采集卡、图像处理软件、控制器、通讯单元等进行更换或者修改,换模时间长;
4)对工人参与的需求相对较高,工人检测的效率有限,且当工人长期进行重复性工作容易疲劳,此时误检率也会增加。
发明内容
为了部分地解决或部分缓解上述技术问题,本发明提供另了一种用于AI视觉检测设备的基于深度学习的AI视觉检测方法,用于执行所述AI视觉检测方法的AI视觉检测设备包括:
传输结构,所述传输结构的一端为上料位,所述传输结构的另一端为下料位,所述传输结构具有供壳体结构移动的传输位,所述传输位包括第一传输段和第二传输段,所述第一传输段与所述第二传输段的传输方向不同;
至少两个第一侧面视觉检测装置,所述至少两个第一侧面视觉检测装置分别设于所述第一传输段两侧;至少两个第二侧面视觉检测装置,所述至少两个第二侧面视觉检测装置分别设于所述第二传输段的两侧;至少一个结构面视觉检测装置,所述结构面视觉检测装置设于所述传输位的下方;至少一个外观面视觉检测装置,所述外观面视觉检测装置设于所述传输位的上方;
相应地,所述方法包括步骤:
通过所述外观面视觉检测装置、所述第一侧面视觉检测装置和所述第二侧面视觉检测装置获取所述壳体结构的外观面图像,通过所述结构面视觉检测装置获取所述壳体结构的结构面图像;
根据所述外观面图像和外观缺陷检测模型,确定所述壳体结构的外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定所述壳体结构的结构缺陷检测结果;
根据所述外观缺陷检测结果和所述结构缺陷检测结果,确定所述壳体结构的质量检测结果;其中,所述外观面图像至少包括所述壳体结构的顶面和所述壳体结构的多个侧面的外观面图像。
在一些实施例中,所述通过所述外观面视觉检测装置、所述第一侧面视觉检测装置和所述第二侧面视觉检测装置获取所述壳体结构的外观面图像,通过所述结构面视觉检测装置获取所述壳体结构的结构面图像的步骤之前,还包括步骤:
获取所述壳体结构的产品配置信息;
根据所述产品配置信息选取与所述壳体结构对应的所述外观缺陷检测模型和所述结构缺陷检测模型。
在一些实施例中,所述根据所述外观面图像和外观缺陷检测模型,确定所述壳体结构的外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定所述壳体结构的结构缺陷检测结果的步骤之前,还包括步骤:
对所述外观面图像和所述结构面图像进行图像预处理;其中,所述图像预处理的方法包括:图像压缩、和/或图像增强预处理,和/或图像拆分。
在一些实施例中,还包括:
获取所述壳体结构的产品标记;
将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及所述结构缺陷检测结果相关联并存储。
在一些实施例中,所述将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及所述结构缺陷检测结果相关联并存储的步骤之后,还包括步骤:
获取多个所述外观面图像的外观标记样本;
根据所述外观标记样本更新所述外观缺陷检测模型。
在一些实施例中,所述将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及所述结构缺陷检测结果相关联并存储的步骤之后,还包括步骤:
获取多个所述结构面图像的结构标记样本;
根据所述结构标记样本更新所述结构缺陷检测模型。
在一些实施例中,所述方法还包括步骤:
所述AI视觉检测设备基于所述质量检测结果对所述壳体结构进行区分。
在一些实施例中,所述AI视觉检测设备基于所述质量检测结果对所述壳体结构进行区分的步骤包括:
当所述壳体结构的所述质量检测结果为良品时,所述AI视觉检测设备将所述壳体结构沿第一方向放置于所述下料位;
当所述壳体结构的所述质量检测结果为待判品时,所述AI视觉检测设备将所述壳体结构沿第二方向放置于所述下料位。其中,所述第一方向和所述第二方向的方向不同。
在一些实施例中,所述AI视觉检测设备基于所述质量检测结果对所述壳体结构进行区分的步骤包括:
当所述壳体结构的所述质量检测结果为不良品时,所述AI视觉检测设备将所述壳体结构放置于不良品区。
在一些实施例中,所述壳体结构为笔记本外壳。
本发明第二方面在于,还提供了一种基于深度学习的AI视觉检测系统,包括:
AI视觉检测设备,所述AI视觉检测设备包括:传输结构,所述传输结构的一端为上料位,所述传输结构的另一端为下料位,所述传输结构具有供壳体结构移动的传输位,所述传输位包括第一传输段和第二传输段,所述第一传输段与所述第二传输段的传输方向不同;至少两个第一侧面视觉检测装置,所述至少两个第一侧面视觉检测装置分别设于所述第一传输段两侧;至少两个第二侧面视觉检测装置,所述至少两个第二侧面视觉检测装置分别设于所述第二传输段的两侧;至少一个结构面视觉检测装置,所述结构面视觉检测装置设于所述传输位的下方;至少一个外观面视觉检测装置,所述外观面视觉检测装置设于所述传输位的上方,其中,所述外观面视觉检测装置、所述第一侧面视觉检测装置和所述第二侧面视觉检测装置用于获取所述壳体结构的外观面图像,所述结构面视觉检测装置用于获取所述壳体结构的结构面图像;
缺陷检测模块,用于根据所述外观面图像和外观缺陷检测模型,确定所述壳体结构的外观缺陷检测结果,并根据所述结构面图像和结构缺陷检测模型,确定所述壳体结构的结构缺陷检测结果;
质检服务器,用于根据所述外观缺陷检测结果和所述结构缺陷检测结果,确定所述壳体结构的质量检测结果;其中,所述外观面图像至少包括所述壳体结构的顶面和所述壳体结构的多个侧面的外观面图像。
在一些实施例中,还包括:
产品配置信息获取模块,用于获取所述壳体结构的产品配置信息;
缺陷模型选取模块,用于根据所述产品配置信息选取与所述壳体结构对应的外观缺陷检测模型和结构缺陷检测模型。
在一些实施例中,还包括:
图像预处理模块,用于对所述外观面图像和所述结构面图像进行图像预处理,其中,所述图像预处理的方法包括:图像压缩、和/或图像增强预处理,和/或图像拆分。
在一些实施例中,还包括:
产品标记获取模块,用于获取所述壳体结构的产品标记;
信息存储模块,用于将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储。
在一些实施例中,还包括:
外观标记样本获取模块,用于获取多个所述外观面图像的外观标记样本;
外观缺陷模型更新模块,用于根据所述外观标记样本更新所述外观缺陷检测模型。
在一些实施例中,还包括:
结构标记样本获取模块,用于获取多个所述结构面图像的结构标记样本;
结构缺陷检测模型,用于根据所述结构标记样本更新所述结构缺陷检测模型。
在一些实施例中,还包括:
与所述AI视觉检测装置通信连接的数据管理云平台,所述数据管理云平台用于存储所述AI视觉检测装置在运行过程中获取的数据信息,所述数据信息包括:所述壳体结构的外观面图像、结构面图像和质量检测结果。
本发明还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时基于如上述任一实施例中的视觉检测设备实现基于深度学习的AI视觉检测方法的步骤。
本发明提供了一种用于壳体结构的结构缺陷检测的AI视觉检测设备及系统,通过呈不同方向设置的第一、二传输段为壳体结构的移动提供了两个不同的传输方向,从而使得壳体结构在传输结构上能够更简单地实现移动方向的改变,获取到壳体结构的不同侧边的图像,由此至少能实现以下技术效果:
1)设备的结构简单,在对壳体结构的各个面进行视觉检测时,无需旋转壳体结构,因此也避免了布置相应的旋转机构/模块(壳体结构在进行视觉检测时,只需要沿第一传输段或第二传输段进行直线运动),因此,本发明的检测设备结构相对简单,能够在自动化运行过程实现良好的稳定性和较高的检测精度(例如,避免了旋转角度不到位导致的检测误差),另一方面,由于检测设备结构简单,工艺生产难度小,因此生产成本相对较低;
2)产线节拍快,本发明中的检测设备采用多个视觉检测装置的流水线设计,可以同时进行壳体结构的传输和检测,使得壳体结构可以快速通过传输位并完成缺陷检测(可以在8s以内甚至5s或6s以内完成单个壳体结构的视觉检测),相较于现有技术中的旋转壳体结构的操作方法,本发明通过布置沿不同传输方向设置的第一、二传输段,可以简单快捷地实现产品的传输方向改变,操作简便,且在此过程中,产品的传输和检测同时进行,极大地提高了视觉检测的效率,避免了单个工位操作工序多(如旋转机构对产品进行旋转)从而延长检测时间,导致产线节拍慢的问题;
3)实现了对壳体结构的全方位检测,通过沿不同方向设置的第一传输段和第二传输段改变了壳体结构在传输位上的传输方向,使得壳体结构在传输位上的移动过程中,壳体结构的每个面都能无遮挡地呈现给相应的视觉检测装置,且视觉检测装置中的相机模组可以进行位置和角度的灵活调节,从而实现对壳体结构的全方位检测。
基于上述的检测设备本发明提供了相应的AI视觉检测方法,本方法除了包括上述有益效果外,还至少具有以下技术效果:
可以通过选取或更换不同的外观缺陷检测模型和结构缺陷检测模型将该方法灵活应用于不同类型的壳体结构产品,只需要配合更换AI视觉检测设备中的治具,就能快速实现产线切换。
进一步地,本发明所提供的方法还能对检测过程中获取到的检测信息或数据信息(如壳体结构对应的图像、检测结果等)进行存储(如将其上传到管理云平台),并基于检测信息对缺陷检测模型进行优化更新,也即是说本发明所提供的检测方法具有自主学习的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明提供的基于深度学习的AI视觉检测方法的流程示意图;
图2是本发明提供的基于深度学习的AI视觉检测系统的结构示意图;
图3是本发明提供的基于深度学习的AI视觉检测设备的结构示意图;
图4是本发明提供的AI视觉检测设备的结构面视觉检测装置的结构示意图;
图5是本发明提供的AI视觉检测设备的第一侧面视觉检测装置的结构示意图;
图6是本发明提供的AI视觉检测设备的外观视觉检测装置的结构示意图;
图7是本发明一示例性实施例中的AI视觉检测设备的外框的结构示意图;
图8是本发明一示例性实施例中AI视觉检测设备的第一视角的结构示意图;
图9是本发明一示例性实施例中AI视觉检测设备的第二视角的结构示意图;
图10是本发明一示例性实施例中AI视觉检测设备的第三视角的结构示意图;
图11是本发明一示例性实施例中AI视觉检测设备的第四视角的结构示意图;
图12是本发明提供的电子设备的结构示意图;
图13是本发明提供了又一示例性实施例中的AI视觉检测方法的流程示意图;
图14是本发明提供了又一示例性实施例中的AI视觉检测设备的结构示意图。
附图标记:11:上料位;12:上料移载机械手;121:上料导轨;122:上料升降结构;123:上料吸盘;13:检测治具滑台;131:滑台导轨;132:滑台;14:下料移载机械手;15:下料位;151:次品区;20:第一侧面视觉检测装置;21:第一侧面相机模组;22:第一侧面光源模组;30:第二侧面视觉检测装置;40:结构面视觉检测装置;41:结构面相机模组;42:结构面光源模组;43:结构面激光传感器;50:外观面视觉检测装置;51:外观面相机模组;52:外观面光源模组;521:第一光源;522:第二光源;523:第三光源;60:扫码枪;70:外框。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本文中,术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本文中,除非另有明确的规定和限定,术语“安装”、“设置有”、“连接”、“相连”等,应做广义理解,例如“相连”,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是无线连接,也可以是无线通信连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明主要用于各类产品的壳体结构的质量检测与评价,所述壳体结构可以为各类产品(如电子产品或其他具有壳体的产品)的外壳,或安装盖等,该壳体结构通常为四边形的外壳结构(相应地包括两个主要结构面,即顶部外观面和底部结构面,以及两个主要结构面之间的四个侧面),例如笔记本的外壳结构,平板电脑或手机的外壳结构,当然,还可以应用于其他类型产品的内部或外部的壳体结构。本发明可以用于精准高效地检测外壳结构的六个面的缺陷类型,同时也可以根据生产需求仅检测其中的一个或几个面(可以相应地减少视觉检测装置),因此也可以应用于平面结构产品的检测。本文中,术语“壳体结构”,也称“壳体结构产品”或“产品”。
本文中,除非另有明确的规定和限定,术语“传输位”指的是在设备或系统中供给壳体结构进行移动的空间路径,或移动路径,或者说指的是壳体结构在通过传输结构移动时的轨迹,相应地,术语“第一传输段”为提供给壳体结构在上料移载机械手抓取移载过程中的移动路径,“第二传输段”为提供给壳体结构在下料移载机械手的抓取移载过程中的移动路径。可以理解的是,“传输位”、“第一传输段”、“第二传输段”为虚指结构,将其引用出来仅为便于描述。
本文中,“第一侧边”和“第二侧边”分别指的是壳体结构的两组相对布置的侧边,也可称为“第一侧面”和“第二侧面”。
本文中,“垂直或近似垂直”指的是两个结构/方向之间的夹角为90°或接近90度,例如,本文中“第一传输段和第二传输段相互垂直或近似垂直”指的是第一传输段的传输方向和第二传输段的传输方向的夹角为90°或接近90°(例如,可以为89°、91°等),从而使得壳体结构产品在第一传输段到第二传输段的过程中实现移动方向的改变。
AI视觉检测是通过相机扫描各个壳体结构,生产图像样本,将检测信息传输至系统,系统首先对图像进行图像增强、拆分等预处理,根据壳体结构类型、检测任务选择合适的模型对图像进行分析识别,最后再针对具有面积、长度等物理量化标准的缺陷进行计算和判定,最终得到良品或次品的判定结果,然后进行反馈,从而获得质检结果。本实施例中,是用来检测笔记本外壳的外壳结构的,该外壳结构包括四个侧面、顶部的外观面以及底部的结构面。当然,在其他实施例中,该检测设备也可用于检测其他产品,如手机、平板等结构,不作赘述。
在工业生产中,对笔记本外壳等电子设备的壳体结构的生产要求通常较高,一方面,由于笔记本外壳需要与笔记本其他主体部分相连接,对笔记本的内部结构起到保护作用,因此需要保证笔记本外壳与笔记本其他主体部分连接关系稳定,或者说需要笔记本外壳具有良好的耐用性,也就是对笔记本外壳的细微结构(如笔记本外壳上用于与笔记本主体部分相配合的卡扣结构、笔记本外壳的边角处结构等)的生产标准要求较高,另一方面,为了追求产品的美观性和优化用户体验,通常要求笔记本外壳的表面结构光滑、无倒刺。因此为了获取符合标准的笔记本外壳产品,需要对笔记本外壳进行全方位、高精度的检测。
实施例一
本发明第一方面提供了一种AI视觉检测设备,请结合参阅图3-图11,该AI视觉检测设备包括:
传输结构,所述传输结构的一端为上料位11,所述传输结构的另一端为下料位15,所述传输结构具有供壳体结构移动的传输位,所述传输位包括:第一传输段和第二传输段,第一传输段和第二传输段的传输方向不同,优选地,在一些实施例中,当壳体结构为笔记本外壳时,第一传输段和第二传输段相互垂直或近似垂直;
两第一侧面视觉检测装置20,两所述第一侧面视觉检测装置20分别设于所述传输位的第一传输段的两侧;
两第二侧面视觉检测装置30,两所述第二侧面视觉检测装置30分别设于所述传输位的第二传输段的两侧;
结构面视觉检测装置40,所述结构面视觉检测装置40设于所述传输位的下方;
外观面视觉检测装置50,所述外观面视觉检测装置50设于所述传输位的上方。
上述结构描述中,传输位即壳体结构在通过传输结构移动时的轨迹,其为虚指结构,将其引用出来仅为便于描述,传输结构的上料位11即取料的位置,传输结构可将壳体结构自上料位11取出,然后壳体结构沿传输位运输,从下料位15移出至其他位置。本实施例中,下料时,将不同检测结果的壳体结构沿不同方向放置,以便于对不同检测结果的壳体结构进行区分。
例如,在一些实施例中,横向放置的为良品,纵向放置的为待判品,并且,下料位15可以为良品区和次品区151,在检测完后,质量合格或待判的壳体结构移出至良品区,质量不合格的壳体结构则移出至次品区151。
进一步地,在一些实施例中,复判人员将对或待判品进行复判,具体地,复判人员通过扫码查询壳体结构缺陷位置即相关信息。
优选地,在一些实施例中,上料位11与产线(或流水线)相连,当壳体结构生产工艺结束时,可以直接通过上料位11进入到检测设备,并完成壳体结构的缺陷识别与检测,当然,上料位上的壳体结构也可以通过其他方式如人工上料获得。
当然,在另一些实施例中,可以将上料位布置为壳体结构产品的流水线或流水线一部分,例如,上料位即为壳体结构生产流水线的末端区域,也即是说检测设备可以直接与壳体结构的产线对接。
检测设备通过与壳体结构的实时产线直接或间接地相连,使得壳体结构能够在生产结束后迅速进入到质检阶段(也即是说,本实施例中的检测设备便于与壳体结构生产的主流水线做集成),实现了壳体结构生产与检测的一体化,极大地提高了工业生产的效率。
另外,两第一侧面视觉检测装置20可用作检测壳体结构的相对的第一侧边(如壳体结构相对的两条短边或相对的两条长边),两第二侧面视觉检测装置30可用作检测壳体结构的相对的第二侧边(如相对的两条长边或相对的两条短边),外观面视觉检测装置50可用作检测壳体结构的顶面,从而可检测壳体结构四边和顶面是否有缺损(划伤、碰伤、滚伤)、砂纸印、毛边、毛丝、印刷不良、应力痕、发白、发黑、烧焦、削伤、异色、卷边、颗粒、积漆、喷漆不均、掉漆、氧化、脏污、残胶、破膜、按键偏单边(C件)、脚垫翘起、歪斜、镜片脏污、外观面BOSS印等瑕疵。结构面视觉检测装置40可用作检测壳体结构的底面,从而可以检测壳体结构的底面是否出现铜钉漏钉/倒埋/横埋/重埋/断裂/浮高/下陷、卡勾断裂变形、漏件、贴附不良等缺陷。
本实施例中,通过传输结构将壳体结构产品沿传输位移动,具体地,通过两个沿不同传输方向设置的第一传输段和第二传输段实现壳体结构产品在传输过程中的方向转换,从而使得壳体结构产品分别在第一、二传输段上的移动过程将壳体结构产品的第一侧边和第二侧边无遮挡地展现给相对应的第一、二侧面视觉检测装置,也即实现对壳体结构产品的第一侧边和第二侧边的视觉检测,最终结合外观面检测装置和结构面检测装置实现对壳体结构产品的全方位检测,并且,由于是壳体结构移动和视觉检测是同时进行的,采取了多个工位流水线设计,因此本实施例中的检测设备检测效率高,检测周期短。相较于现有的检测设备而言,本发明提供的AI视觉检测设备,实现了对壳体结构产品全方位的快速视觉检测,因而提高了壳体结构产品的质检和生产效率,减少了对人工参与的需求,降低了人工劳动强度,保证了检测的效率和准确性,相应地,提高了壳体结构产品的出厂质量。
请结合参阅图3、图8,本发明一示例性实施例中,沿所述上料位11至下料位15的传输方向,所述传输结构包括依序对接的上料移载机械手12、检测治具滑台13以及下料移载机械手14,所述上料移载机械手抓取所述壳体结构移动时沿所述第一传输段的方向移动,所述下料移载机械手抓取所述壳体结构时沿所述第二传输段的方向移动,(例如,第一传输段的传输方向沿图3中X轴方向布置,第二的传输方向沿图3中Y轴方向布置)。
此处所说的依序对接,即,上料移载机械手12将壳体结构自上料位11取出,并在其末端将壳体结构放入至检测治具滑台13,检测治具滑台13然后带动壳体结构移动,下料移载机械手14在检测治具滑台13的末端将壳体结构取出,并移动至下料位15放下,这样,实现了壳体结构的传输移动,这个过程移动与检测同时进行,提高了检测效率。第一侧面视觉检测装置20可设于第一传输段或第二传输段的两侧,对应的,第二侧面视觉检测装置30也是可设于第一传输段或第二传输段的两侧。
承接上述的传输结构,参见图8,所述上料移载机械手12包括上料导轨121、上料升降结构122以及上料吸盘123,所述上料升降结构122可移动地设于所述上料导轨121上,所述上料升降结构122具有可升降的升降部,所述升降部连接于所述上料吸盘123,所述上料吸盘123具有朝下开口的真空吸嘴,其中,上料导轨121沿第一传输段的方向布置(也即上料升降结构122沿所述上料导轨121移动的方向与第一传输段的方向相同)。
真空吸嘴的数量可以为多个,且阵列布置以稳定抓取壳体结构。该升降结构122可为升降气缸,在从上料位11取料时,上料升降结构移动至上料位11上方,将升降部降下,上料吸盘的真空吸嘴对接于壳体结构的上表面,开启真空吸嘴,将壳体结构吸住,然后升降部上升,并沿上料导轨移动,壳体结构即沿第一传输段移动,且壳体结构的上升与移动过程中,对壳体结构的结构面的第二侧面进行视觉检测,在移动至上料导轨末端后,升降部下降,关闭真空吸嘴,壳体结构即可移动至其他对接的位置,本实施例中,也即检测治具滑台13。
在一些实施例中,检测治具滑台13包括:用于运输壳体结构的传输带。
当然,在另一些实施例中,参见图8,为了进一步提高检测装置的通用性(即使得该检测装置能够灵活应用于不同类型或不同型号的壳体结构),所述检测治具滑台13包括滑台导轨131和滑台132,所述滑台132可移动地设于所述滑台导轨上,所述滑台132上设有可拆的治具,所述治具具有朝上开口的放置腔,可以理解的是,为了简化检测装置的结构,并增强检测装置内各工位或各个结构之间的相互配合,提高壳体结构在检测装置内的运输效率,滑台132在滑台导轨131上的移动方向与第一传输段的传输方向相同,即滑台导轨131沿X轴方向进行布置,滑台的移动也沿X轴方向进行。
治具上的放置腔可稳定安放壳体结构,使得壳体结构的顶面露出,本实施例中,治具是可拆的设于滑台上的,这样,可根据需要快速更换不同治具,以减少换检壳体结构时的换模时间,提高该检测设备的通用性。具体的,治具可通过螺钉固定于滑台上。
在壳体结构安放于放置腔后,滑台沿滑台导轨移动,在移动至滑台导轨末端时,可供其他对接位置取出壳体结构,本实施例中,即下料移载机械手14。
在一些实施例中,外观面视觉检测装置50对应于检测治具滑台13布置,在壳体结构在检测治具滑台的移动过程中,实现对壳体结构的外观面检测。
下料移载机械手14与前述上料移载机械手12的结构相同,本实施例中,不作赘述。进一步的,可在下料移载机械手14的下料升降结构的升降部连接转动电机,转动电机连接下料吸盘,以根据检测结果将壳体结构沿不同方向放置,例如,在一些实施例中,将不同检测结果的壳体结构沿横向放置或纵向放置,作为良品和待判品的区分。
本实施例中,为了快速直观地区分各个壳体结构的检测结果,分别将不同检测结果呈不同方向放置,可以理解的是,此处的不同方向仅为了对不同检测结果的壳体结构进行区分,因此,本实施例中的转动模块(如用于转动壳体结构的转动电机)不需要实现对壳体结构进行精确地旋转,或者说,对壳体结构的转动角度的误差接受度相对较高,相应地,由于无需对转动模块提出较高的精度要求,因此本实施例中选用相对简单的转动模块即能实现预期的效果。
请结合参阅图5,在一些实施例中,两所述第一侧面视觉检测装置20分别设于所述第一传输段的两侧,两所述第一侧面视觉检测装置20相对布置,所述第一侧面视觉检测装置20包括至少一个第一侧面相机模组21和至少一个第一侧面光源模组22。
进一步地,在一些实施例中,所述第一侧面相机模组21和第一侧面光源模组22均朝向所述第一传输段布置,具体地,至少两个第一侧面视觉检测装置中的两个或多个第一侧面光源模组22沿垂直或近似垂直于所述第一传输段的传输方向延伸布置(即布置在第一传输段的两侧)。
具体地,在一些实施例中,还可以在第一传输段的一侧或两侧沿第一传输段的方向布置两个或多个第一侧面光源模组,以保证壳体结构在移动过程中第一侧边(也即第一侧面)一直能够接受充足的光源,成像清晰。
具体地,在一些实施例中,可以在第一传输段的一侧或两侧从上到下布置(也即沿不同的高度布置)两个或多个第一侧面光源模组,为第一侧面提供不同角度的光源,以保证第一侧面的不同类型缺陷均能清晰成像。
可以理解的是,第一侧面光源模组的布置角度(也即是光源角度)均可以调节,从而为第一侧面提供不同角度的光源,以保证第一侧面的不同类型缺陷均能清晰成像。
优选地,本实施例中,一个第一侧面视觉检测装置中的所述第一侧面光源模组22的数量为两个,两所述第一侧面光源模组22分别位于所述第一传输段的上下两侧(也即沿不同高度布置),或者,所述两个第一侧面光源模组沿所述第一传输段的一侧延伸布置。
在壳体结构沿第一传输段移动的过程中,通过两第一侧面视觉检测装置20分别对壳体结构的两侧面实现检测,检测时间短效率高。具体的,在检测第一侧边(如长侧边)时,上下两侧的第一侧面光源模组22为第一侧边提供充足的光源照射,再通过第一侧面相机模组21即可清晰扫描壳体结构的第一侧面图像,实现AI视觉检测。优选地,在一些实施例中,在检测的壳体结构为笔记本时,一个第一侧面视觉检测装置共设三个第一侧面相机模组21,三个第一侧面相机模组21分别朝向壳体结构的正侧面、第一倾斜侧面、第二倾斜侧面布置(具体地,参见图5,三个第一侧面相机模组分别布置有第一相机21a、第二相机21b、第三相机21c,第一、二、三相机沿与水平面的不同倾角布置),从而对多个壳体结构的第一侧边实现多个角度无死角的检测,使得最终质检的质量更高。当然,在其他实施例中,根据不同的壳体结构,所布置的第一侧面相机模组21的数量和布置位置也可根据需要进行变换,不作赘述。并且,第一侧面相机模组21可移动地设于检测设备的平台上,朝向或背离第一传输段移动(沿第一传输段往返运动),以便根据需要对不同壳体结构检测。
可以理解的是,本实施例中的第二侧面视觉检测装置、外观面视觉检测装置、结构面视觉检测装置中的相应光源模组和相机模组的布置方式可以参见第一侧面视觉检测装置的布置方式。
在一些实施例中,第二侧面视觉检测装置30相对布置在所述第一传输段的两侧,所述第二侧面视觉检测装置30包括至少一个第二侧面相机模组和至少一个第二侧面光源模组,所述第二侧面相机模组和第二侧面光源模组均朝向所述第二传输段布置,具体地,至少两个第二侧面视觉检测装置中的两个或多个第二侧面光源模组沿垂直或近似垂直于所述第二传输段的传输方向延伸布置,且当第二侧面视觉检测装置包括至少两个第二侧面光源模组时,至少两个第二侧面光源模组布置在第二传输段的上下两侧(即沿不同高度布置),或者,至少两个第二侧面光源模组沿第二传输段的传输方向上延伸布置(即沿Y轴方向布置),同样地,当第二侧面视觉检测装置包括至少两个第二侧面相机模组时,也可参见第二侧面光源模组的布置方式。当然,可参见上述实施例中第一侧面光源模组的布置方式,此处不再赘述。
优选地,在一些实施例中,一个第二侧面视觉检测装置中的所述第二侧面光源模组的数量为两个,两所述第二侧面光源分别位于所述第二传输段的上下两侧,或者,所述两个第二侧面光源模组沿所述第二传输段的一侧延伸布置。
同样的,在壳体结构沿第二传输段移动的过程中,通过两第二侧面视觉检测装置30分别对壳体结构的两侧壳体结构实现检测,检测时间短效率高。在检测每一短侧边时,上下两侧的第二侧面光源模组为第二侧边(如短边)提供充足的光源照射,再通过第二侧面相机模组即可清晰扫描壳体结构的第二侧面图像,实现AI视觉检测。优选地,在一些实施例中,在检测的壳体结构为笔记本时,第二视觉检测装置共设三个第二侧面相机模组,三个第二侧面相机模组分别朝向壳体结构的正侧边、第一倾斜侧面、第二倾斜侧面布置(参见第一侧面相机模组的布置方式),从而对多个壳体结构的第二实现多个角度无死角的检测,使得最终质检的质量更高。当然,在其他实施例中,根据不同的壳体结构,所布置的第二侧面相机模组的数量和布置位置也可根据需要进行变换,不作赘述。并且,第二侧面相机模组可移动地设于检测设备的平台上,沿第二传输段的传输方向进行往复运动,以便根据需要对不同壳体结构检测。
本实施例中,第一、二侧面相机模组的安装位置、安装角度可以灵活设置,从而清楚地获取到壳体结构的正侧边、斜侧边或壳体结构的边角处图像等,由此实现对壳体结构的全方位的缺陷检测。
请结合参阅图4,此外,所述结构面视觉检测装置40设于所述第一传输段的下方,所述结构面视觉检测装置包括至少一个结构面相机模组41和至少一个结构面光源模组42,所述结构面相机模组41和结构面光源模组42均朝向所述第一传输段布置,且当包括至少两个结构面光源模组时,所述至少两个结构面光源模组42沿垂直或近似垂直于所述第一传输段的传输方向延伸布置(即布置在所述第一传输段的两侧),或者,沿第一传输段的传输方向延伸布置(即沿X轴方向设置)。当然,不同结构面光源模组还可以沿不同高度设置。
在一些实施例中,结构面相机模组和结构面光源模组均可以布置两个或多个,具体布置方式可以参见上述实施例的第二侧面视觉检测装置。
在壳体结构沿第一传输段移动的过程中,通过结构面视觉检测工可对壳体结构的底面检测,检测时间短效率高。在检测壳体结构的底面时,下方的结构面光源模组42可为底面提供充足的光源照射,再通过结构面相机模组41即可清晰扫描壳体结构的底面图像,实现AI视觉检测。优选地,本实施例中,结构面相机模组41正对于第一传输段布置,以清晰得到底面图像,实现结构检测。
进一步的,所述结构面视觉检测装置还包括结构面激光传感器43,所述结构面激光传感器43朝向所述第一传输段布置。
具体地,激光传感器是朝向壳体结构底面的螺孔位布置的,可检测底面螺钉等结构是否安装好,以进一步提高结构面的检测质量。本实施例中,共设两激光传感器,两激光传感器分别扫描壳体结构底面的两侧,并且,两激光传感器位于结构面相机模组41的后侧。
请结合参阅图6,再者,所述检测治具滑台13具有中间传输位,所述外观面视觉检测装置50设于所述中间传输位的上方(或斜上方),所述外观面视觉检测装置50包括至少一个外观面相机模组51和至少一个外观面光源模组52,所述外观面相机模组51和所述外观面光源模组52均朝向所述中间传输位布置,且当包括至少两个外观面光源模组52时,所述至少两个外观面光源模组52沿垂直或近似垂直于所述中间传输位的传输方向延伸布置,或者,至少两个外观面光源模组沿所述中间传输位的传输方向延伸布置,或者,至少两个外观面光源模组沿不同高度布置。
在壳体结构沿中间传输位移动的过程中,通过外观面视觉检测装置可对壳体结构的顶面检测,检测时间短效率高,顶面为壳体结构最直观的外观面。在检测壳体结构的顶面时,位于治具上方的外观面光源模组可为顶面提供充足的光源照射,再通过外观面相机模组即可清晰扫描壳体结构的顶面图像,实现AI视觉检测。
由前述可知,检测治具滑台13位于外观面视觉检测装置下方,这样,设于上方的外观面视觉检测装置50不会增加检测设备原有的竖向空间,从而减少检测设备整体所占用的体积。
现有技术中,用于旋转移动壳体结构的旋转模块/机构的结构复杂,所占空间也较大,同时旋转模块为了能够控制壳体结构的位置,通常布置在传输带的上方,因此,一些视觉检测装置(如外观面视觉检测装置)通常需要布置在其他位置,如传输带(如中间传输位)的两侧,从而进一步增加了设备整体的占地空间。本实施例中,由于中间传输位上方的结构简单,因此能够预留出容纳视觉检测装置的安装空间,从而使得检测设备的结构更为紧凑。
由于壳体结构结构上的缺陷种类繁多,不同种类的缺陷在同一角度光源的照射下,在图像上的成像效果不相同(或者说,同一类型的缺陷在不同角度的光源照射下,在图像上的成像效果不相同),为了提高检测结果的准确性,避免缺陷的漏检或误检,优选地,本实施例中布置有多个沿不同倾角布置的外观面光源模组,多个沿不同倾角布置的外光源模组可以提供多种光源类型(即不同角度或光强的光源),基于多种光源可以对壳体结构的外观面拍摄得出多张图像,从而保证大多数缺陷能够在至少一张图像上清晰成像,当然,可以理解的是,外观面光源模组的数量和角度均可以基于所检测的壳体结构进行灵活调整。具体的,所述外观面光源模组的数量有多个,多个所述外观面光源模组分别沿不同的倾角朝向所述中间传输位布置。
通过多个外观面光源模组可为壳体结构提供不同方向的光源,这样,在通过外观面相机模组51扫描时,可更加全方位的实现检测,避免因单元光源的光影效果导致某些部位检测不到的情况。本实施例中,共设三个光源,包括第一光源521、第二光源522以及第三光源523,三个光源倾斜布置且沿传输方向环设于检测位布置,且沿传输方向,第二光源522、第三光源523以及第一光源521依序布置,第一光源521、第三光源523以及第二光源522的角度依序增加,具体的,可设第一光源521的倾斜角度为17±2°,第二光源522的倾斜角度为47.5±1°,第三光源523的倾斜角度为32±1°,外观面相机模组51倾斜朝向检测位布置,具体可设倾斜角度为49±1°,在进行外观视觉检测时,第一光源521保持亮起,第二光源522亮起,第三光源523关闭,第一次图像扫描,第二光源522关闭,第三光源523亮起,第二次图像扫描,第二光源522和第三光源523均关闭,第三次图像扫描,这样实现了三个不同光源下的图像扫描和视觉检测,无需更换光源,检测效率高且检测更全面。本实施例中,外观面光源模组和外观面相机模组51的角度均是可调的,以便提高其泛用性。
本实施例中,在三种不同光源组合下分别实现对壳体结构的图像扫描和视觉检测,也即是壳体结构在经过第一传输段或第二传输段一次之后,能够扫描得到出三张不同光源的图像(或者说实现三次视觉检测),多个不同组合(或类型)光源能够保证大多数缺陷在至少一种光源组合(或光源类型)对应的图像上进行清晰成像(或者说,保证大多数缺陷在至少一次的视觉检测中被检测到)。
当然,在另一些实施例中,为了使得装置能够适应于不同的壳体结构产品,光源模组的光源强度可以调节(如通过工作人员手动调节,或通过相应的控制模块自动调节),例如,当壳体结构的颜色较浅时,可以适当减少光源模组的数量或降低光源模组的光源强度,当壳体结构颜色较深时,可以适当增加光源模组的数量或增加光源模组的光源强度。
请结合参阅图3,另外,为了方便得知所检测的壳体结构,并将视觉检测结果与各个被检测的壳体结构(如壳体结构对应的编号、二维码等)相对应,该AI视觉检测设备还包括扫码枪60,所述扫码枪60靠近于所述上料位11,所述扫码枪60位于所述传输位的下方,且所述扫码枪60朝向所述传输位布置。
在上料时,首先通过扫码枪60扫描壳体结构底面的二维码,以将检测结果和实际壳体结构绑定,并且,在后续将检测信息储存后,方便查阅。
请结合参阅图3,本实施例中,前述第一传输段和中间传输位的传输方向相同,这样,方便壳体结构移动,且扫码枪60、结构面视觉检测装置以及第一侧面视觉检测装置20依序设于第一传输段上,可以进一步的提高检测效率。当然,在其他实施例中,结构面视觉检测装置40和第一侧面视觉检测装置20也可设于第二传输段,不作赘述。
上述各相机为高清点阵或线阵相机,以在壳体结构移动时,能清晰成像。
优选地,在一些实施例中,外观面相机模组51和结构面相机模组选用线阵相机,结构面的线阵相机在扫描移动速度500mm/s时可实现清晰成像,外观面线阵相机在扫描移动速度200mm/s时可实现清晰成像,第一、二侧面相机模组选用面阵相机,面阵相机支持在壳体结构移动过程中进行清晰拍照,壳体结构移动速度500mm/s。
参见图3、图8-图10,本实施例中,装置的第一传输段和第二传输段呈不同方向设置(具体地,呈相互垂直或近似垂直的设置),在空间结构上不会相互影响,具有各自的工作活动空间,并且壳体结构在第一传输段和第二传输段上的移动分别通过上料移载机械手、下料移载机械手实现,使得壳体结构能够悬空一定距离,从而为相应的视觉检测装置的安装提供了相对开阔的安装空间(具体地,视觉检测装置可以相对自由地安装在壳体结构移动路径的下方,或移动路径的两侧)。由此有利于工作人员基于不同类型壳体结构产品的特点,灵活地调整相应视觉检测装置中的相机模组和光源模组的数量和安装方式(具体地,可以自由地调整安装位置、安装角度),例如,当待检测的壳体结构产品上缺陷类型较多时,为了提高保证不同类型的缺陷均能够清晰成像(即提高缺陷检测的覆盖率),可以设置多个(如三个、四个甚至更多)不同角度的光源模组,使得缺陷能够在至少一个角度的光源照射下清晰成像;而当待检测的壳体结构产品上缺陷类型相对较少时,为了节约耗能,可以在相应的视觉检测装置上仅设置一个或两个光源模组。同样地,相机模组的数量和安装位置也可以进行灵活调节。通过对视觉检测装置的灵活调节可以进一步地提高装置的兼容性,也即提高装置对不同类型壳体结构产品的适应性。
同时,由于本实施例中选用上料移载机械手、下料移载机械手实现壳体结构的移动运输,使得壳体结构在上料、下料移载机械手的控制下处于悬空状态,此时壳体结构的侧边不与外部结构直接接触,且侧边的周围没有设置遮挡物,因此可以清晰地获取到壳体结构的侧边图像,进一步提高缺陷检测的准确性。
进一步地,在一些实施例中,为了避免检测设备在工作过程中受到外部干扰(如外部光源等),检测设备还包括一个外框70,如图7所示,具体地,该外框70上还开设有至少一个观察窗,该观察窗可用于观察检测设备的运行状态,或为检修人员提供检修设备的检修空间。
实施例二
基于上述实施例中AI视觉检测设备,本发明还提供一种AI视觉检测系统,包括工控机、质检服务器以及如前所述的AI视觉检测设备;
所述工控机与所述AI视觉检测设备连接,以对所述AI视觉检测设备进行控制并接收检测信息,所述工控机与所述质检服务器有线或无线连接,以传输检测信息并获取识别结果。
工控机负责调度各工位实现图片拍摄,以将图片上传至质检服务器中,调用部署在质检服务器上的算法模型和规则处理程序对缺陷进行识别和判定,最终根据服务返回的识别结果发送给工控机,以控制传输机构对应的控制信号,实现良品、待判品或次品(或不良品)的区分。本实施例中,检测结果会相应的储存至质检服务器内。
上述传输结构的各个结构/模组的移动可通过与工控机连接的伺服电机实现驱动,并且各工位的相机和光源均与工控机连接,以实现壳体结构在移动过程中的扫描检测。
另外,用户可通过显示设备选择不同的壳体结构进行配置,并将信息同步至工控机和质检服务器,以更换不同的检测模型和管理模式,实现一键切换检测,提高该检测设备的泛用性。
此外,该质检服务器还可与前端可视化模块有线或无线连接,前端可视化模块采用B/S架构,质检人员在对待判壳体结构进行复判时,可在浏览器界面通过壳体结构ID等信息查询识别结果、缺陷位置图片、产线缺陷统计数据。通过前端可视化工具可以对模型和采集的图片进行管理,对壳体结构模板和判定规则进行配置,同时还可以在浏览器上对新采集的样本图片进行标注,用于模型的优化迭代和更新,提高检测质量。
基于上述实施例对本发明的设备/系统的工作流程进行进一步地说明,上料移载机械手12从上料位抓取产品,并沿第一传输段的传输方向(移动产品具体地,沿其上料导轨移动),在此过程中,检测设备的扫码枪、结构面视觉检测装置、第一侧面视觉检测装置分别获取到产品的产品信息(如二维码信息)、结构面图像、第一侧面图像;当上料移载机械手12移动至其上料导轨的末端时(靠近检测治具滑台的一端)时,将产品下放到检测治具的滑台上,产品随着滑台移动到外观面视觉检测装置,外观面视觉检测装置获取到产品的外观面图像;然后,下料移载机械手抓取产品并沿第二传输段方向进行移动,在此过程中,第二侧面视觉检测装置获取到产品的第二侧面图像。其中,各个视觉检测装置将获取到的图像通过工控机实时上传到质检服务器,质检服务器基于接收到的图像(即检测信息)进行识别处理,获取到识别结果(检测结果),并及时将识别结果反馈到工控机,工控机基于接收到的识别结果控制检测设备将不同识别结果的产品沿不同方向放置,以便于后续的分类。
具体地,在一些实施例中,所述工控机包括:
控制界面,用于用户自定义所述AI视觉检测设备的工作参数,例如,在一些实施例中,可以用户可以通过控制界面(如HMI界面)调节上料移载机械手、下料移载机械手、检测治具滑台的移动速率,从而调整产线节拍,或者基于壳体结构的缺陷类型或壳体结构的颜色控制各个光源模组的开关状态,例如,当壳体结构的颜色较浅时,减少光源模组的数量或降低光源模组的光源强度,当壳体结构颜色较深时,增加光源模组的数量或增加光源模组的光源强度;
第一通信模块,用于从所述AI视觉检测设备接收到相应的检测信息(如各个视觉检测装置中拍摄采集到的壳体结构图像),并将所述检测信息发送到质检服务器;
第二通信模块,用于从所述质检服务器接收所述识别结果,例如,在一些实施例中,识别结果包括:良品、待判定、次品;
控制模块,用于基于所述工作参数和所述识别结果控制所述AI视觉检测设备。
本实施例中,上料移载机械手、下料移载机械手以及检测治具滑台的移动速率均可以调节,不同相机模组、光源模组的位置和角度也可以自动化调节,具体地可以通过工控机(如HMI界面)进行可视化配置。从而使得本实施例中的检测系统可以适应不同工艺类型、不同颜色、不同尺寸产品壳体结构检测任务。
这样,通过上述结构,使得本发明具有如下有益效果:设备兼容性强,可以对不同材质、种类、颜色、特点的壳体结构进行检测;集成度高,可以对壳体结构进行360度图像采集;检测周期短,能在短时间内进行360度图像采集并反馈结果;换模时间短,并能实现一键切换,更换检测壳体结构时,能提供敏捷的数据标注、模型训练、模型更新及下发管理模式;提高壳体结构产量、质量、生产效率,从而提高壳体结构出厂质量;降低工人劳动强度。
实施例三
基于上述实施例中的AI视觉检测设备或系统,本发明还提供了一种应用于上述AI视觉检测设备或系统的基于深度学习的AI视觉检测方法,其中,用于执行AI视觉检测方法的AI视觉检测设备包括:
传输结构,传输结构的一端为上料位,传输结构的另一端为下料位,传输结构具有供壳体结构移动的传输位,传输位包括第一传输段和第二传输段,第一传输段和第二传输段的传输方向不同(当壳体结构为笔记本外壳时,优选地,第一传输段与第二传输段呈相互垂直或近似垂直设置);至少两个第一侧面视觉检测装置,至少两个第一侧面视觉检测装置分别设于第一传输段两侧;至少两个第二侧面视觉检测装置,至少两个第二侧面视觉检测装置分别设于第二传输段的两侧;至少一个结构面视觉检测装置,结构面视觉检测装置设于传输位的下方;至少一个外观面视觉检测装置,外观面视觉检测装置设于传输位的上方;参见图1,相应地,该方法包括步骤:
S110:通过外观面视觉检测装置、第一侧面视觉检测装置和第二侧面视觉检测装置获取壳体结构的外观面图像,通过结构面视觉检测装置获取壳体结构的结构面图像;
例如,在一些实施例中,AI视觉检测设备会通过光源模组给相应的位置提供光源,并通过相机模组扫描壳体结构的图像,即可得到外观面图像和结构面图像,其中,外观面图像为壳体结构易于看到的外表面,而结构面图像则为产品的安装结构的一面。此处,外观面图像至少包括顶面和多个侧面的外观面图像,这样,所采集到的图像即为产品全方位的图像,本实施例中,用作检测笔记本产品的壳体结构结构时,采集的外观面图像包括顶面和四个侧面,结构面图像则为产品的底面。进一步的,为了使得后续检测的更为全面,所采集的顶面的外观面图像包括多个光源下拍摄的外观面图像。
S130:根据外观面图像和外观缺陷检测模型,确定壳体结构的外观缺陷检测结果,根据结构面图像和结构缺陷检测模型,确定壳体结构的结构缺陷检测结果;通过对外观面图像的检测,可检测产品的表面或侧面是否有生产流程问题造成的点状、线状或面状等外观瑕疵或印刷不良、按键偏移等缺陷;而通过对结构面图像的检测,则可出检测产品的结构面是否出现铜钉埋钉异常、结构件断裂变形、漏件、贴附不良等缺陷。
S150:根据外观缺陷检测结果和结构缺陷检测结果,确定壳体结构的质量检测结果;在获得外观缺陷检测结果和结构缺陷检测结果后,还需根据工作人员预先基于工作经验设定的判定标准或行业常用的判定标准,来确定壳体结构的质量,此处的判断标准的规则参数可基于生产要求灵活调整。
其中,外观面图像至少包括壳体结构的顶面和壳体结构的多个侧面的外观面图像。
进一步地,在一些实施例中,通过外观面视觉检测装置、第一侧面视觉检测装置和第二侧面视觉检测装置获取壳体结构的外观面图像,通过结构面视觉检测装置获取壳体结构的结构面图像的步骤之前,还包括步骤:
获取壳体结构的产品配置信息(如产品的型号等);
根据产品配置信息选取与壳体结构对应的外观缺陷检测模型和结构缺陷检测模型。
本实施例中,通过AI视觉检测设备可以快速高效地对壳体结构的外观面图像和结构面图像进行视觉检测,以此得到相应的外观缺陷检测结果和结构缺陷检测结果,并综合判定得到产品的质量检测结果,从而便于后续对壳体结构的质量加以区分。相较于现有的视觉检测方法而言,本发明给出的基于深度学习的AI视觉检测方法,实现了对壳体结构全方位进行快速检测,且结果准确度高(基于AI检测设备获取的外观面图像和结构面图像更准确),并结合外观和结构综合判断产品的质量,提高了产品的质检和生产效率,降低了人工劳动强度,降低了误检率,提高了产品的出厂质量。
当然,在另一些实施例中,还需要结合获取到的外观面图像和结构面图像共同判断是否存在缺陷,例如,通过外观面图像和结构面图像一起判断壳体结构的凹凸程度、粘贴的锡箔纸/标签/辅料是否翘起,或通过外观面图像和结构面图像判断垂直结构(如卡扣等)是否有缺陷。
在一些实施例中,根据外观面图像和外观缺陷检测模型,确定壳体结构的外观缺陷检测结果,根据结构面图像和结构缺陷检测模型,确定壳体结构的结构缺陷检测结果的步骤之前,还包括步骤:
对外观面图像和结构面图像进行图像预处理;其中,图像预处理的方法包括:图像压缩、和/或图像增强预处理,和/或图像拆分。本实施例中,通过图像预处理可提高后续模型的检测速度,保证质检的准确性。
进一步地,在一些实施例中,该方法还包括步骤:
获取壳体结构的产品标记;壳体结构可通过检测设备100的生成器或扫码器,生成或识别条形码标签等产品标记,对壳体结构进行编号,以便后续将实物与质量检测结果进行绑定。
将产品标记与壳体结构对应的外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储。
进一步地,在一些实施例中,将产品标记与壳体结构对应的外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储的步骤之后,还包括步骤:
获取多个外观面图像的外观标记样本(即获取多个外观面图像以及相对应图像的产品标记,产品标记用于确定相对应图像的外观缺陷检测结果,或者说,外观标记样本包括:相应的图像的外观缺陷检测结果);
根据外观标记样本更新外观缺陷检测模型。
进一步地,在一些实施例中,将产品标记与壳体结构对应的外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储的步骤之后,还包括步骤:
获取多个结构面图像的结构标记样本,即获取多个结构面图像以及相对应图像的产品标记,产品标记用于确定相对应图像的结构缺陷检测结果,或者说,结构标记样本包括:相应的图像的结构缺陷检测结果;
根据结构标记样本更新结构缺陷检测模型。
进一步地,在一些实施例中,方法还包括步骤:
AI视觉检测设备基于质量检测结果对壳体结构进行区分。
具体地,在一些实施例中,AI视觉检测设备基于质量检测结果对壳体结构进行区分的步骤包括:
当壳体结构的质量检测结果为良品时,AI视觉检测设备将壳体结构沿第一方向放置于下料位;
当壳体结构的质量检测结果为待判品时,AI视觉检测设备将壳体结构沿第二方向放置于下料位;其中,第一方向和第二方向的方向不同。
例如,在一些实施例中,将检测结果为良品的壳体结构横向放置(即将壳体结构的第一侧边沿图3中的X轴放置),将检测结果为待判品的壳体结构纵向放置(即将壳体结构的第一侧边沿图3中的Y轴放置)。
进一步地,在一些实施例中,AI视觉检测设备基于质量检测结果对壳体结构进行区分的步骤包括:
当壳体结构的质量检测结果为不良品时,AI视觉检测设备将壳体结构放置于不良品区。
优选地,在一些实施例中,基于yolov5的目标检测模型可对常见结构件进行检测定位,判断是否存在缺漏件、偏移等缺陷;基于图像分割的Unet、Deeplab等模型可对结构外观面进行检测,识别出常见缺陷并获得其长度、宽度、面积等信息。
实施例四
请结合参阅图2,本发明还提供了一种基于深度学习的AI视觉检测系统,该系统与基于深度学习的AI视觉检测方法可相互对应参照,该装置200包括:
AI视觉检测设备201,AI视觉检测设备包括:传输结构,传输结构的一端为上料位,传输结构的另一端为下料位,传输结构具有供壳体结构移动的传输位,传输位包括第一传输段和第二传输段,第一传输段和第二传输段的传输方向不同(优选地,当壳体结构为笔记本外壳时,第一传输段与第二传输段相互垂直或近似垂直);至少两个第一侧面视觉检测装置,至少两个第一侧面视觉检测装置分别设于第一传输段两侧;至少两个第二侧面视觉检测装置,至少两个第二侧面视觉检测装置分别设于第二传输段的两侧;至少一个结构面视觉检测装置,结构面视觉检测装置设于传输位的下方;至少一个外观面视觉检测装置,外观面视觉检测装置设于传输位的上方,其中,外观面视觉检测装置、第一侧面视觉检测装置和第二侧面视觉检测装置用于获取壳体结构的外观面图像,结构面视觉检测装置用于获取壳体结构的结构面图像;
缺陷检测模块202,用于根据外观面图像和外观缺陷检测模型,确定壳体结构的外观缺陷检测结果,并根据结构面图像和结构缺陷检测模型,确定壳体结构的结构缺陷检测结果;
质检服务器203,用于根据外观缺陷检测结果和结构缺陷检测结果,确定壳体结构的质量检测结果;
其中,外观面图像至少包括壳体结构的顶面和壳体结构的多个侧面的外观面图像。
进一步地,在一些实施例中,该系统还包括:
产品配置信息获取模块,用于获取壳体结构的产品配置信息;
缺陷模型选取模块,用于根据产品配置信息选取与壳体结构对应的外观缺陷检测模型和结构缺陷检测模型。
进一步地,在一些实施例中,还包括:
图像预处理模块,用于对外观面图像和结构面图像进行图像预处理,其中,图像预处理的方法包括:图像压缩、和/或图像增强预处理,和/或图像拆分。
进一步地,在一些实施例中,还包括:
产品标记获取模块,用于获取壳体结构的产品标记(如二维码、条形码等);
信息存储模块,用于将产品标记与壳体结构对应的外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储。
进一步地,在一些实施例中,还包括:
外观标记样本获取模块,用于获取多个外观面图像的外观标记样本;
外观缺陷模型更新模块,用于根据外观标记样本更新外观缺陷检测模型。
进一步地,在一些实施例中,还包括:
结构标记样本获取模块,用于获取多个结构面图像的结构标记样本;
结构缺陷检测模型,用于根据结构标记样本更新结构缺陷检测模型。
可以理解的是,上述实施例中的产品配置信息获取模块、图像预处理模块等均可以通过工控机实现。
进一步地,在一些实施例中,还包括:与所述AI视觉检测装置通信连接的数据管理云平台,所述数据管理云平台用于存储所述AI视觉检测装置在运行过程中获取的数据信息(如壳体结构的外观面图像、结构面图像、缺陷检测结果、质量检测结果等信息)。本实施例中,通过数据管理云平台可以对视觉检测装置在运行过程中产生的各种数据信息进行存储,并基于该数据信息进行模型的优化训练/更新,进一步提高检测装置或系统的检测准确性和灵活适应性。
实施例五
基于上述实施例,本发明还提供一种计算机程序产品,计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于深度学习的AI视觉检测方法,该方法包括:通过外观面视觉检测装置、第一侧面视觉检测装置和第二侧面视觉检测装置获取壳体结构的外观面图像,通过结构面视觉检测装置获取壳体结构的结构面图像;根据外观面图像和外观缺陷检测模型,确定壳体结构的外观缺陷检测结果,根据结构面图像和结构缺陷检测模型,确定壳体结构的结构缺陷检测结果;根据外观缺陷检测结果和结构缺陷检测结果,确定壳体结构的质量检测结果;其中,外观面图像至少包括壳体结构的顶面和壳体结构的多个侧面的外观面图像。
例如,本发明还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的基于深度学习的AI视觉检测方法,该方法包括:通过外观面视觉检测装置、第一侧面视觉检测装置和第二侧面视觉检测装置获取壳体结构的外观面图像,通过结构面视觉检测装置获取壳体结构的结构面图像;根据外观面图像和外观缺陷检测模型,确定壳体结构的外观缺陷检测结果,根据结构面图像和结构缺陷检测模型,确定壳体结构的结构缺陷检测结果;根据外观缺陷检测结果和结构缺陷检测结果,确定壳体结构的质量检测结果;其中,外观面图像至少包括壳体结构的顶面和壳体结构的多个侧面的外观面图像。
为了使本发明的目的、技术方案及优点更加清楚明白,在后续实施例(实施例六-实施例八)中采用不同的附图和表述方式对本发明的技术方案作进一步的解释与说明。
实施例六
下面结合图13-图14描述本发明的基于深度学习的AI视觉检测方法、装置以及系统。
请结合参阅图13,本发明实施例中,基于深度学习的AI视觉检测方法,包括:
S100,获取产品的外观面图像和结构面图像;检测设备100会通过光源模组给相应的位置提供光源,并通过相机模组扫描产品的图像,即可得到外观面图像和结构面图像,其中,外观面图像为产品易于看到的外表面,而结构面图像则为产品的安装结构的一面。检测设备100采集完毕后会传输至工控机200,工控机200可对各图像进行简单预处理,然后传输至检测装置中,实现检测。此处,所述外观面图像至少包括顶面和多个侧面的外观面图像,这样,所采集到的图像即为产品全方位的图像,本实施例中,用作检测笔记本产品的外壳结构时,采集的外观面图像包括顶面和四个侧面,结构面图像则为产品的底面。进一步的,为了使得后续检测的更为全面,所采集的顶面的外观面图像包括多个光源下拍摄的外观面图像。
S200,根据所述外观面图像和外观缺陷检测模型,确定外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定结构缺陷检测结果;通过对外观面图像的检测,可检测产品的表面或侧面是否有生产流程问题造成的点状、线状或面状等外观瑕疵或印刷不良、按键偏移等缺陷;而通过对结构面图像的检测,则可出检测产品的结构面是否出现铜钉埋钉异常、结构件断裂变形、漏件、贴附不良等缺陷。
S300,根据所述外观缺陷检测结果和所述结构缺陷检测结果,确定质量检测结果;在获得外观缺陷检测结果和结构缺陷检测结果后,还需根据专门的判定标准,来确定产品的质量,此处的判断标准的规则参数可灵活调整。
S400,将所述质量检测结果发送至工控机200,以通过所述工控机200基于所述质量检测结果将产品进行区分;在得到质量检测结果后,即可将该信息传输至工控机200,工控机200从而根据质量检测结果来控制检测设备100,以对产品加以区分,本实施例中,可将产品划分为良品、待判品以及不良品。
本实施例中,通过对产品的外观面图像和结构面图像进行视觉检测,以此得到相应的外观缺陷检测结果和结构缺陷检测结果,并综合判定得到产品的质量检测结果,从而对产品加以区分。相较于现有的视觉检测方法而言,本发明给出的基于深度学习的AI视觉检测方法,实现了对产品全方位的检测,并结合外观和结构综合判断产品的质量,提高了产品的质检和生产效率,降低了人工劳动强度,提高了产品的出厂质量。
请结合参阅图13,本发明一实施例中,根据本发明提供的一种基于深度学习的AI视觉检测方法,所述获取产品的外观面图像和结构面图像的步骤之前,包括:
获取工控机200设置的产品配置信息;
根据所述产品配置信息调取对应的外观缺陷检测模型和结构缺陷检测模型。
在换线时,用户可根据需要选择所需检测的产品,在对应的检测设备100内更换模具后,可通过与工控机200连接的终端显示设备选择不同的产品进行配置,工控机200会内置不同产品对应的运动参数,并且该产品配置信息会同步到检测装置中,检测装置即可调取对应的模型,以实现检测。并且,后续还可新增产品类型及对应类型的光学、运动、规则等配置信息。这样,可快速针对不同的产品实现检测,在更换检测产品时,实现一键切换,换线时间短,兼容性好。
请结合参阅图13,另外,根据本发明提供的一种基于深度学习的AI视觉检测方法,所述根据所述外观面图像和外观缺陷检测模型,确定外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定结构缺陷检测结果的步骤之前,包括:
对外观面图像进行图像预处理,并输出预处理后的外观面图像;对结构面图像进行图像预处理,并输出预处理后的结构面图像;其中,所述图像预处理至少包括图像压缩、图像增强预处理以及图像拆分中的一种或几种的组合。本实施例中通过图像预处理可提高后续模型的检测速度,保证质检的准确性。
请结合参阅图13,本发明一实施例中,根据本发明提供的一种基于深度学习的AI视觉检测方法,还包括:
获取产品的产品标记;产品可通过检测设备100的生成器或扫码器,生成或识别条形码标签,对产品进行编号,以便后续将实物与质量检测结果进行绑定。
将所述产品标记与所述外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储。
在质检的同时,各图片和检测信息存储在检测装置中,这样,以便在前端可视化模块按条形码、日期、产线等条件查询检测信息,本实施例中,支持对原图片、检测信息的读取和显示,同时支持对原图片的批量导出,导出后的图片集的格式与标记工具兼容,可作为模型训练样本,以便后续实现缺陷检测模型的更新迭代。原则上要求存储所有图像数据,包括正常产品和瑕疵产品所有图像都保存到大数据文件系统中,可在能保证产品追溯要求和正负样本收集的情况下压缩图像,定期清理历史图像以便节省空间。
具体的,所述将所述产品标记与所述外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储的步骤之后,包括:
获取多个所述外观面图像的外观标记样本;
根据所述外观标记样本更新所述外观缺陷检测模型。
和/或,获取多个所述结构面图像的结构标记样本;
根据所述结构标记样本更新所述结构缺陷检测模型。
用户可在前端可视化模块对产品样本的缺陷进行标注,并直接生成与模型平台兼容的训练样本图片及标签文件,即此处所说的外观标记样本和结构标记样本,在多个样本导出后,即可通过小样本训练和微调对现有模型进行增量学习迭代和迁移。另外,检测装置中内置高质量图像分割及目标检测算法预训练模型,可对新出现的通过图像呈现的缺陷具有一定的拓展能力,这样,通过模型训练即更新外观缺陷检测模型和结构缺陷检测模型,以实现深度学习,提高缺陷检测的准确性。在训练完后,可通过模型验证模块进行验证,验证通过后,可进行保存,以便后续调用。
用户可对模型进行版本管理、发布及一键部署,并显示模型详情及功能信息,直接发布外观缺陷训练模型或结构缺陷训练模型,即可更新检测装置中现有的外观缺陷检测模型和结构缺陷检测模型,这样,在长时间的检测过程中,即可实现深度学习,提高检测的准确性,以提高产品的质量。
本发明一实施例中,除了上述外观面检测模型和结构面检测模型之外,根据需要还可对算法模型进行拓展。如缺陷物理量测量,可通过外观分隔模型对于需要计算长度、面积等物理量的缺陷准确分割出大小,对模型输出的图像分割结果进行常见的物理量测量,如缺陷长度、缺陷宽度、缺陷面积、缺陷区域图像梯度、缺陷区域对比度、缺陷区域亮度等。并且,根据需要,这些测量的物理量最终也会显示在外观检测结果中。此外,根据产线需求、硬件设备条件和项目成本还可增加印刷品质检测、各类铜钉不良的检测以及尺寸及装配件装配精度检测等拓展算法模型。
请结合参阅图13,本发明一实施例中,所述将所述质量检测结果发送至工控机200,以通过所述工控机200基于所述质量检测结果将产品进行区分的步骤,包括:
将所述质量检测结果发送至工控机200,在所述质量检测结果为良品的情况下,通过工控机200将产品横向放置于下料位15;
将所述质量检测结果发送至工控机200,在所述质量检测结果为待判品的情况下,通过工控机200将产品纵向放置于下料位15;
将所述质量检测结果发送至工控机200,在质量检测结果为不良品的情况下,通过工控机200将产品放置于不良品区(或次品区)151。
这样,工控机200控制检测设备100通过不同的方式对不同质量的产品加以区分,以便于用户快速识别,提高生产效率。具体的运行方式可参考后述的检测设备100的传输结构。
请结合参阅图14,下面对本发明提供的基于深度学习的AI视觉检测装置进行描述,下文描述的基于深度学习的AI视觉检测装置与上文描述的基于深度学习的AI视觉检测方法可相互对应参照。
实施例七
本发明还提供一种基于深度学习的AI视觉检测装置,包括:
图像获取模块301,所述图像获取模块301用于获取产品的外观面图像和结构面图像;
视觉模型检测模块302,所述视觉模型检测模块302用于根据所述外观面图像和外观缺陷检测模型,确定外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定结构缺陷检测结果;
判定模块303,所述判定模块303用于根据所述外观缺陷检测结果和所述结构缺陷检测结果,确定质量检测结果;
结果反馈模块304,结果反馈模块304用于将所述质量检测结果发送至工控机200,以通过所述工控机200基于所述质量检测结果将产品进行区分;
其中,所述外观面图像至少包括顶面和多个侧面的外观面图像。
此外,该基于深度学习的AI视觉检测装置还包括:
存储模块305,存储模块305用于存储产品的图像和检测数据;
训练模块306,训练模块306用于对外观缺陷检测模型和结构缺陷检测模型进行训练更新,以实现深度学习对新增产品、缺陷类型的泛化能力,提高质检的效果。
实施例八
基于上述检测装置,本发明还提供一种基于深度学习的AI视觉检测系统,包括检测设备100、工控机200以及如上述所述的基于深度学习的AI视觉检测装置;
所述检测设备100与工控机200连接,所述工控机200与所述基于深度学习的AI视觉检测装置有线或无线连接,其中,上述AI视觉检测设备参见上述实施例所述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于深度学习的AI视觉检测方法,其特征在于,用于执行所述AI视觉检测方法的AI视觉检测设备包括:
传输结构,所述传输结构的一端为上料位,所述传输结构的另一端为下料位,所述传输结构具有供壳体结构移动的传输位,所述传输位包括第一传输段和第二传输段,所述第一传输段与所述第二传输段的传输方向不同;
至少两个第一侧面视觉检测装置,所述至少两个第一侧面视觉检测装置分别设于所述第一传输段两侧;至少两个第二侧面视觉检测装置,所述至少两个第二侧面视觉检测装置分别设于所述第二传输段的两侧;至少一个结构面视觉检测装置,所述结构面视觉检测装置设于所述传输位的下方;至少一个外观面视觉检测装置,所述外观面视觉检测装置设于所述传输位的上方;
相应地,所述方法包括步骤:
通过所述外观面视觉检测装置、所述第一侧面视觉检测装置和所述第二侧面视觉检测装置获取所述壳体结构的外观面图像,通过所述结构面视觉检测装置获取所述壳体结构的结构面图像;
根据所述外观面图像和外观缺陷检测模型,确定所述壳体结构的外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定所述壳体结构的结构缺陷检测结果;
根据所述外观缺陷检测结果和所述结构缺陷检测结果,确定所述壳体结构的质量检测结果;
其中,所述外观面图像至少包括所述壳体结构的顶面和所述壳体结构的多个侧面的外观面图像。
2.根据权利要求1所述的基于深度学习的AI视觉检测方法,其特征在于,所述通过所述外观面视觉检测装置、所述第一侧面视觉检测装置和所述第二侧面视觉检测装置获取所述壳体结构的外观面图像,通过所述结构面视觉检测装置获取所述壳体结构的结构面图像的步骤之前,还包括步骤:
获取所述壳体结构的产品配置信息;
根据所述产品配置信息选取与所述壳体结构对应的所述外观缺陷检测模型和所述结构缺陷检测模型;
和/或,
所述根据所述外观面图像和外观缺陷检测模型,确定所述壳体结构的外观缺陷检测结果,根据所述结构面图像和结构缺陷检测模型,确定所述壳体结构的结构缺陷检测结果的步骤之前,还包括步骤:
对所述外观面图像和所述结构面图像进行图像预处理;
其中,所述图像预处理的方法包括:图像压缩、和/或图像增强预处理,和/或图像拆分;和/或,
所述方法还包括步骤所述AI视觉检测设备基于所述质量检测结果对所述壳体结构进行区分;
和/或,
所述壳体结构为笔记本外壳。
3.根据权利要求1至2任一所述的基于深度学习的AI视觉检测方法,其特征在于,还包括:
获取所述壳体结构的产品标记;
将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及所述结构缺陷检测结果相关联并存储。
4.根据权利要求3所述的基于深度学习的AI视觉检测方法,其特征在于,所述将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及所述结构缺陷检测结果相关联并存储的步骤之后,还包括步骤:
获取多个所述外观面图像的外观标记样本;
根据所述外观标记样本更新所述外观缺陷检测模型;
和/或,
所述将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及所述结构缺陷检测结果相关联并存储的步骤之后,还包括步骤:
获取多个所述结构面图像的结构标记样本;
根据所述结构标记样本更新所述结构缺陷检测模型。
5.根据权利要求2所述的基于深度学习的AI视觉检测方法,其特征在于,所述AI视觉检测设备基于所述质量检测结果对所述壳体结构进行区分的步骤包括:
当所述壳体结构的所述质量检测结果为良品时,所述AI视觉检测设备将所述壳体结构沿第一方向放置于所述下料位;当所述壳体结构的所述质量检测结果为待判品时,所述AI视觉检测设备将所述壳体结构沿第二方向放置于所述下料位;
其中,所述第一方向和所述第二方向的方向不同;
和/或,
所述AI视觉检测设备基于所述质量检测结果对所述壳体结构进行区分的步骤包括:当所述壳体结构的所述质量检测结果为不良品时,所述AI视觉检测设备将所述壳体结构放置于不良品区。
6.一种基于深度学习的AI视觉检测系统,其特征在于,包括:
AI视觉检测设备,所述AI视觉检测设备包括:传输结构,所述传输结构的一端为上料位,所述传输结构的另一端为下料位,所述传输结构具有供壳体结构移动的传输位,所述传输位包括第一传输段和第二传输段,所述第一传输段与所述第二传输段的传输方向不同;至少两个第一侧面视觉检测装置,所述至少两个第一侧面视觉检测装置分别设于所述第一传输段两侧;至少两个第二侧面视觉检测装置,所述至少两个第二侧面视觉检测装置分别设于所述第二传输段的两侧;至少一个结构面视觉检测装置,所述结构面视觉检测装置设于所述传输位的下方;至少一个外观面视觉检测装置,所述外观面视觉检测装置设于所述传输位的上方,其中,所述外观面视觉检测装置、所述第一侧面视觉检测装置和所述第二侧面视觉检测装置用于获取所述壳体结构的外观面图像,所述结构面视觉检测装置用于获取所述壳体结构的结构面图像;
缺陷检测模块,用于根据所述外观面图像和外观缺陷检测模型,确定所述壳体结构的外观缺陷检测结果,并根据所述结构面图像和结构缺陷检测模型,确定所述壳体结构的结构缺陷检测结果;
质检服务器,用于根据所述外观缺陷检测结果和所述结构缺陷检测结果,确定所述壳体结构的质量检测结果;
其中,所述外观面图像至少包括所述壳体结构的顶面和所述壳体结构的多个侧面的外观面图像。
7.根据权利要求6所述的一种基于深度学习的AI视觉检测系统,其特征在于,还包括:
产品配置信息获取模块,用于获取所述壳体结构的产品配置信息;
缺陷模型选取模块,用于根据所述产品配置信息选取与所述壳体结构对应的外观缺陷检测模型和结构缺陷检测模型;
和/或,还包括:
图像预处理模块,用于对所述外观面图像和所述结构面图像进行图像预处理,其中,所述图像预处理的方法包括:图像压缩、和/或图像增强预处理,和/或图像拆分;
和/或,还包括:
产品标记获取模块,用于获取所述壳体结构的产品标记;
信息存储模块,用于将所述产品标记与所述壳体结构对应的所述外观面图像、结构面图像、外观缺陷检测结果及结构缺陷检测结果相关联并存储。
8.根据权利要求7所述的一种基于深度学习的AI视觉检测系统,其特征在于,还包括:
外观标记样本获取模块,用于获取多个所述外观面图像的外观标记样本;
外观缺陷模型更新模块,用于根据所述外观标记样本更新所述外观缺陷检测模型。
和/或,还包括:
结构标记样本获取模块,用于获取多个所述结构面图像的结构标记样本;
结构缺陷检测模型,用于根据所述结构标记样本更新所述结构缺陷检测模型。
9.根据权利要求8所述的一种基于深度学习的AI视觉检测系统,其特征在于,还包括:
与所述AI视觉检测装置通信连接的数据管理云平台,所述数据管理云平台用于存储所述AI视觉检测装置在运行过程中获取的数据信息,所述数据信息包括:所述壳体结构的外观面图像、结构面图像和质量检测结果。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于深度学习的AI视觉检测方法的步骤。
CN202210247441.6A 2022-01-30 2022-03-14 基于深度学习的ai视觉检测方法、系统及可读存储介质 Active CN114705685B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2022101146842 2022-01-30
CN202210114684 2022-01-30
CN202210114682 2022-01-30
CN2022101146823 2022-01-30

Publications (2)

Publication Number Publication Date
CN114705685A true CN114705685A (zh) 2022-07-05
CN114705685B CN114705685B (zh) 2023-04-07

Family

ID=82168140

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210246773.2A Active CN114705693B (zh) 2022-01-30 2022-03-14 用于壳体结构缺陷检测的ai视觉检测设备和系统
CN202210247441.6A Active CN114705685B (zh) 2022-01-30 2022-03-14 基于深度学习的ai视觉检测方法、系统及可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210246773.2A Active CN114705693B (zh) 2022-01-30 2022-03-14 用于壳体结构缺陷检测的ai视觉检测设备和系统

Country Status (1)

Country Link
CN (2) CN114705693B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071348A (zh) * 2023-03-02 2023-05-05 深圳市捷牛智能装备有限公司 基于视觉检测的工件表面检测方法及相关装置
CN116091506A (zh) * 2023-04-12 2023-05-09 湖北工业大学 一种基于yolov5的机器视觉缺陷质检方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116174330B (zh) * 2022-09-06 2023-12-12 南京晟迅信息科技有限公司 一种通信基带测试系统及测试方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206382253U (zh) * 2016-11-24 2017-08-08 惠州汉视博自动化设备有限公司 用于箱体六面检测的自动化视觉检测设备
CN107402219A (zh) * 2017-08-21 2017-11-28 苏州巨智能装备有限公司 电芯外观视觉检测设备及其检测方法
CN108672318A (zh) * 2018-04-17 2018-10-19 江苏理工学院 一种基于机器视觉的外观检测装置
CN211247425U (zh) * 2019-11-12 2020-08-14 东声(苏州)智能科技有限公司 手机外壳表面缺陷机器视觉检测设备
CN111929308A (zh) * 2020-08-28 2020-11-13 雷澳视觉科技(东莞)有限公司 手机铁框外观缺陷检测系统
US20210398267A1 (en) * 2018-11-29 2021-12-23 Inspekto A.M.V. Ltd. Centralized analytics of multiple visual inspection appliances

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206862915U (zh) * 2017-02-28 2018-01-09 武汉易视维科技有限公司 一种塑料瓶质量视觉检测系统
CN110369337A (zh) * 2019-08-22 2019-10-25 深圳中天云创科技有限公司 导光板缺陷视觉自动检测设备及检测方法
CN111693546A (zh) * 2020-06-16 2020-09-22 湖南大学 缺陷检测系统、方法及图像采集系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206382253U (zh) * 2016-11-24 2017-08-08 惠州汉视博自动化设备有限公司 用于箱体六面检测的自动化视觉检测设备
CN107402219A (zh) * 2017-08-21 2017-11-28 苏州巨智能装备有限公司 电芯外观视觉检测设备及其检测方法
CN108672318A (zh) * 2018-04-17 2018-10-19 江苏理工学院 一种基于机器视觉的外观检测装置
US20210398267A1 (en) * 2018-11-29 2021-12-23 Inspekto A.M.V. Ltd. Centralized analytics of multiple visual inspection appliances
CN211247425U (zh) * 2019-11-12 2020-08-14 东声(苏州)智能科技有限公司 手机外壳表面缺陷机器视觉检测设备
CN111929308A (zh) * 2020-08-28 2020-11-13 雷澳视觉科技(东莞)有限公司 手机铁框外观缺陷检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071348A (zh) * 2023-03-02 2023-05-05 深圳市捷牛智能装备有限公司 基于视觉检测的工件表面检测方法及相关装置
CN116091506A (zh) * 2023-04-12 2023-05-09 湖北工业大学 一种基于yolov5的机器视觉缺陷质检方法

Also Published As

Publication number Publication date
CN114705693B (zh) 2023-03-28
CN114705693A (zh) 2022-07-05
CN114705685B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114705685B (zh) 基于深度学习的ai视觉检测方法、系统及可读存储介质
CN106546173B (zh) 用于检测元器件的设备及其检测方法
CN106091926A (zh) 多点光源异步曝光的小型工件内槽尺寸的检测装置与方法
CN113196337B (zh) 图像处理装置、作业机器人、基板检查装置及检体检查装置
CN107884702A (zh) 一种fpc功能自动测试机
CN106000903B (zh) 一种用于检测织布机布铗刀口缝隙的非接触式检测系统及方法
CN115060736A (zh) 基于立体空间视觉扫描的来料元件质量检测一体化设备
CN206420785U (zh) 一种基于cell屏的全自动检测系统
US11378520B2 (en) Auto focus function for vision inspection system
CN109677922A (zh) 扫码摆盘机
CN116030449B (zh) 一种激光切割件的自动分拣方法及自动分拣系统
CN114529510B (zh) 一种阴极铜在线质量自动检测分类方法
CN113953208B (zh) 一种电子元件全自动分拣装置及其分拣方法
JP2017100242A (ja) 検査ロボットシステム
CN211856380U (zh) 一种移液枪枪头的视觉检测装置
KR102123099B1 (ko) 콘택트렌즈 자동화 비젼 검사장치
CN209935295U (zh) 一种音量键外观aoi检测设备
JP2018167357A (ja) 良品収集システム並びにそのシステムの制御用のコントローラおよびプログラム
CN114544655A (zh) 用于格架缺陷的自动检测装置
CN206161548U (zh) 一种晶片质量检测装置
CN216115862U (zh) 玻璃检测设备
CN112025112B (zh) 壳状牙齿矫治器的切割系统
CN214475231U (zh) 一种硬币检测设备
CN217276005U (zh) 一种检测铁路货车中间体几何尺寸的装置
CN117102864B (zh) 用于智能手机组装的智能组装设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant