CN117289626A - 一种用于工业化的虚拟仿真方法及系统 - Google Patents
一种用于工业化的虚拟仿真方法及系统 Download PDFInfo
- Publication number
- CN117289626A CN117289626A CN202311585068.6A CN202311585068A CN117289626A CN 117289626 A CN117289626 A CN 117289626A CN 202311585068 A CN202311585068 A CN 202311585068A CN 117289626 A CN117289626 A CN 117289626A
- Authority
- CN
- China
- Prior art keywords
- virtual
- real
- recognition
- tested
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 146
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 230000007547 defect Effects 0.000 claims description 134
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 13
- 238000004519 manufacturing process Methods 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000012994 industrial processing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种用于工业化的虚拟仿真方法及系统,涉及虚拟仿真技术领域,所述方法包括获取合格产品表面照片和不合格产品表面照片;将合格产品表面照片和不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件;将待测虚拟零件的顺序打乱,随机投放至虚拟的输送带上;控制输送带以预设速度运输;当待测虚拟零件输送至多个视觉识别设备的识别区域时,拍摄待测虚拟零件的实时表面照片;控制多个识别模型分析待测虚拟零件的实时表面照片,输出识别结果;根据视觉识别设备输出的识别结果,对输送带上的待测虚拟零件进行分拣。通过虚拟仿真得到优化后的参数,减少实际流水线设备的测试时间,提高测试效率和降低人工成本。
Description
技术领域
本发明涉及虚拟仿真技术领域,具体而言,涉及一种用于工业化的虚拟仿真方法及系统。
背景技术
在对工业化加工流程的各个环节进行搭建和设计的时候,现有的方法是将所有环节的机器和设备均在工厂内搭建完成,然后对整个加工流水线进行调试、分析和优化,该过程需要不断对各环节的设备进行一一调节,甚至涉及设备的反复拆装和移动,工作效率较低,花费大量的人力和时间。
发明内容
本发明所要解决的问题是现有工业化加工流水线先搭建完成,然后对搭建的流水线进行调试、分析和优化,工作效率交底。
为解决上述问题,一方面,本发明提供了一种用于工业化的虚拟仿真方法,包括:
获取合格产品表面照片和不合格产品表面照片;
将所述合格产品表面照片和所述不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,其中,所述待测虚拟零件包括合格零件和不合格零件;
将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟的输送带上;
控制所述输送带以预设速度运输所述待测虚拟零件;
当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片;
控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果;
根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣。
可选地,所述将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上包括:
将所述待测虚拟零件的顺序打乱,并将所述待测虚拟零件随机旋转;
将所述打乱旋转之后的所述待测虚拟零件按照预设间距投放至所述输送带上。
可选地,所述当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片之前,还包括:
以所述输送带长度方向的中心线为中心轴,将多个所述视觉识别设备沿所述中心轴的圆周方向均匀分布。
可选地,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果包括:
识别同一个所述待测虚拟零件的多张所述实时表面照片中的疑似缺陷区域和所述疑似缺陷区域位于所述实时表面照片中的位置信息;
当所述疑似缺陷区域位于一张所述实时表面照片的边缘时,将一张所述实时表面照片与所述疑似缺陷区域所在一侧相邻的另一张所述实时表面照片拼合,得到拼合图片;
识别所述拼合图片中的拼合疑似缺陷区域,并从所述拼合图片中分割所述拼合疑似缺陷区域;
将所述拼合疑似缺陷区域输入至两张所述实时表面照片对应的所述视觉识别设备的所述识别模型中,输出所述识别结果。
可选地,所述将所述拼合疑似缺陷区域输入至两张所述实时表面照片对应的所述视觉识别设备的所述识别模型中,输出所述识别结果之后,还包括:
对比两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果是否相同;
当两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果不相同时,标记将所述拼合疑似缺陷区域识别为缺陷的所述视觉识别设备;
根据所述拼合疑似缺陷区域的拼合缺陷面积和所述疑似缺陷区域的缺陷面积,确定所述缺陷面积与所述拼合缺陷面积的面积比;
当所述面积比超出预设面积比时,判断所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备是否相同;
当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备相同时,统计进行图片拼合的所有所述面积比超出所述预设面积比的所述疑似缺陷区域的平均面积。
可选地,所述当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备相同时,统计进行图片拼合的所有所述面积比超出所述预设面积比的所述疑似缺陷区域的平均面积之后,还包括:
当再次获得所述待测虚拟零件的所述实时表面照片时,初步识别所述疑似缺陷区域的面积和所述疑似缺陷区域的位置;
当所述疑似缺陷区域位于一张所述实时表面照片的边缘时,判断所述疑似缺陷区域的面积是否小于所述平均面积;
当所述疑似缺陷区域的面积大于或等于所述平均面积时,将所述拼合图片直接输入至所述疑似缺陷区域对应的所述视觉识别设备中的所述识别模型中;
当所述疑似缺陷区域的面积小于所述平均面积时,将所述拼合图片直接输入至所述拼合图片对应的另一个所述视觉识别设备中的所述识别模型中。
可选地,所述识别同一个所述待测虚拟零件的多张所述实时表面照片中的疑似缺陷区域和所述疑似缺陷区域位于所述实时表面照片中的位置信息之后,还包括:
将每一个所述视觉识别设备对应的所有所述疑似缺陷区域的位置信息统计到一张所述实时表面照片上;
分析所有所述位置信息的缺陷中心位置是否与所述实时表面照片的图片中心位置重合;
当所述缺陷中心位置与所述图片中心位置不重合时,确定所述缺陷中心位置与所述图片中心位置的距离差;
调节所述视觉识别设备向所述缺陷中心位置移动所述距离差。
可选地,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果之后,还包括:
当输出的所述识别结果与所述待测虚拟零件贴图的照片对应的实际结果不相同时,将该所述待测虚拟零件标记为误判虚拟零件;
将所有所述误判虚拟零件对应的所述实时表面照片输入至对应的所述视觉识别设备的所述识别模型中进行模型训练;
将训练后的所述识别模型更新至所述视觉识别设备。
可选地,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果之后,还包括:
调节所述输送带的所述预设速度;
比较每个所述预设速度对应的所述识别结果的不合格率和所述待测虚拟零件的实际不合格率;
当所述识别结果的不合格率相对于所述实际不合格率的偏离率小于预设偏离率时,将所述预设速度记为储备预设速度;
分析所有所述储备预设速度,将所述储备预设速度中的最大预设速度记为实际执行速度。
另外一方面,本发明还提供了一种用于工业化的虚拟仿真系统,包括:
实际图片获取模块,用于获取合格产品表面照片和不合格产品表面照片;
贴图模块,用于将所述合格产品表面照片和所述不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,其中,所述待测虚拟零件包括合格零件和不合格零件;
虚拟投放模块,用于将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上;
虚拟运输模块,用于控制所述输送带以预设速度运输所述待测虚拟零件;
检测拍摄模块,用于当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片;
虚拟识别模块,用于控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果;
虚拟分拣模块,用于根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣。
与现有技术相比,本发明具有如下有益效果:
本发明提供的一种用于工业化的虚拟仿真方法及系统,将在实际生产过程中收集的合格产品表面照片和不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,然后将待测虚拟零件的顺序打乱,随机投放至虚拟输送带上,并控制输送带以预设速度运输所述待测虚拟零件,开始实际的生产流水线测试,并且在流水线运输零件的过程中,增设检测环节,当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片,控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果,当识别结果与实际获取的表面照片的分布占比出入较大时,可以在虚拟系统中调整预设速度、视觉识别设备的位置或识别模型的参数等,以便于不断调试和优化各个流水线环节上的设备参数;根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣,直至分拣结果与贴图的实际生产照片相符,通过虚拟仿真得到优化后的参数,减少实际流水线设备的测试时间,提高测试效率和降低人工成本。
附图说明
图1示出了本发明实施例中一种用于工业化的虚拟仿真方法的流程示意图;
图2示出了本发明实施例中一种图片拼合识别的流程示意图;
图3示出了本发明实施例中一种图片拼合识别的分析流程示意图;
图4示出了本发明实施例中另一种图片拼合识别的流程示意图;
图5示出了本发明实施例中一种视觉识别设备的位置调节流程示意图;
图6示出了本发明实施例中一种用于工业化的虚拟仿真系统的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
在本说明书的描述中,参考术语“实施例”、“一个实施例”和“一个实施方式”等的描述意指结合该实施例或实施方式描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示实施方式中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实施方式。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或实施方式以合适的方式结合。
图1示出了本发明实施例中一种用于工业化的虚拟仿真方法的流程示意图,所述用于工业化的虚拟仿真方法,包括:
S1:获取合格产品表面照片和不合格产品表面照片。
具体地,在实际生产过程中,收集合格产品表面照片和不合格产品表面照片,其中可以控制不合格产品照片控制在总产品表面照片总数的5%至20%之间,这样比较符合实际生产;但是也可以适当增加不合格产品表面照片的占比,将比重提高至30%至50%,能够增加视觉识别设备中识别模型的测试和调试。
S2:将所述合格产品表面照片和所述不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,其中,所述待测虚拟零件包括合格零件和不合格零件。
具体地,将提前获取的实际照片以贴图的方式附在虚拟零件的表面,得到待测虚拟零件。
S3:将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上。
S4:控制所述输送带以预设速度运输所述待测虚拟零件。
具体地,其中预设速度的数值可以依据经验值设置一个相对合理和相对保险的速度,例如实际输送带的输送速度为2m/s时,可以将预设速度先设定为1.5m/s,这样能够保证视觉识别设备能够拍摄到清晰的照片。
S5:当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片。
具体地,在输送带的周围设置多个视觉识别设备,多个视觉识别设备可以均布,也可以大概布设,具体的布设位置可以根据经验设置在大概的位置即可。
S6:控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果。
具体地,所述实时表面照片中有缺陷时,输出的识别结果为有缺陷,不合格产品;当实时表面照片中没有缺陷时,输出的识别结果为无缺陷,合格产品。
S7:根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣。
具体地,将识别的合格产品和不合格产品分拣到不同的位置,除此之外,当识别结果与贴图照片的实际结果不一样时,说明该待测虚拟零件被误判了,此时可以将这种误判的待测虚拟零件单独分拣出。
在本实施例中,将在实际生产过程中收集的合格产品表面照片和不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,然后将待测虚拟零件的顺序打乱,随机投放至虚拟输送带上,并控制输送带以预设速度运输所述待测虚拟零件,开始实际的生产流水线测试,并且在流水线运输零件的过程中,增设检测环节,当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片,控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果,当识别结果与实际获取的表面照片的分布占比出入较大时,可以在虚拟系统中调整预设速度、视觉识别设备的位置或识别模型的参数等,以便于不断调试和优化各个流水线环节上的设备参数;根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣,直至分拣结果与贴图的实际生产照片相符,通过虚拟仿真得到优化后的参数,减少实际流水线设备的测试时间,提高测试效率和降低人工成本。
在本发明的一种实施例中,所述将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上包括:
将所述待测虚拟零件的顺序打乱,并将所述待测虚拟零件随机旋转。
将所述打乱旋转之后的所述待测虚拟零件按照预设间距投放至所述输送带上。
在本实施例中,将待测虚拟零件不仅打乱顺序,还将待测虚拟零件旋转一定角度,但是由于待测虚拟零件具有一定的形状,重心固定,因此虽然待测虚拟零件旋转了一些角度,但是当待测虚拟零件放在输送带上之后,待测虚拟零件也会因为重力的原因,自动调节至稳定状态,但是旋转和打乱顺序能够尽可能的模拟真实生产过程。
在本发明的一种实施例中,所述当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片之前,还包括:
以所述输送带长度方向的中心线为中心轴,将多个所述视觉识别设备沿所述中心轴的圆周方向均匀分布。
在本实施例中,可以先将多个视觉识别设备均匀地分布在输送带上方一定角度范围内,这样既能够保证全覆盖待测虚拟零件的可见表面,又能够减少多个视觉识别设备的重叠识别区域,使得多个视觉识别设备的作用发挥到最大。
在本发明的一种实施例中,如图2,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果包括:
S60:识别同一个所述待测虚拟零件的多张所述实时表面照片中的疑似缺陷区域和所述疑似缺陷区域位于所述实时表面照片中的位置信息。
具体地,多个视觉识别设备对同一个待测虚拟零件进行拍摄,获得多张实时表面照片,然后对多张实时表面照片进行初步识别,识别出其中疑似缺陷区域。
S61:当所述疑似缺陷区域位于一张所述实时表面照片的边缘时,将一张所述实时表面照片与所述疑似缺陷区域所在一侧相邻的另一张所述实时表面照片拼合,得到拼合图片。
具体地,例如当疑似缺陷区域位于实时表面照片的右侧边缘时,可能存在该疑似缺陷区域没有被该视觉识别设备拍全,说明该疑似缺陷可能跨了两个视觉识别设备的视觉识别区域,此时为了更准确的识别缺陷,可以将两张实时表面照片拼合,即将该实时表面照片与该照片对应的视觉识别设备右侧的视觉识别设备拍摄的另一张实时表面照片拼合,拼合的边缘为该实时表面照片的右边缘与另一张实时表面照片的左边缘。
S62:识别所述拼合图片中的拼合疑似缺陷区域,并从所述拼合图片中分割所述拼合疑似缺陷区域。
具体地,对拼合照片再次进行初步识别,识别出拼合疑似缺陷区域,为了减小输入识别模型的图片大小,可以将拼合疑似缺陷区域从拼合图片中分割分离出来,单独将拼合疑似缺陷区域输入至识别模型。
S63:将所述拼合疑似缺陷区域输入至两张所述实时表面照片对应的所述视觉识别设备的所述识别模型中,输出所述识别结果。
在本实施例中,当缺陷区域可能跨越两个视觉识别区域时,将两个视觉识别区域中的实时表面照片拼合,以将可能存在缺陷的区域整合在一起,避免原本能够识别出的面积适合的缺陷被拆分成两个小的缺陷之后,两个小的缺陷面积较少,不易识别,导致识别结果与真实结果不符,造成误判。
在本发明的一种实施例中,如图3,所述将所述拼合疑似缺陷区域输入至两张所述实时表面照片对应的所述视觉识别设备的所述识别模型中,输出所述识别结果之后,还包括:
S630:对比两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果是否相同。
S631:当两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果不相同时,标记将所述拼合疑似缺陷区域识别为缺陷的所述视觉识别设备。
具体地,将同一张拼合照片重复输入至两个识别模型中,会导致识别模型处理能力的浪费,为了节省识别模型的计算能力,需要分析拼合图片在识别模型中的识别准确性,以便于将拼合照片分配至识别准确率较高的识别模型中。当两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果不相同时,不进行标记。
S632:根据所述拼合疑似缺陷区域的拼合缺陷面积和所述疑似缺陷区域的缺陷面积,确定所述缺陷面积与所述拼合缺陷面积的面积比。
S633:当所述面积比超出预设面积比时,判断所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备是否相同。另外,当所述面积比未超出预设面积比时,说明组成拼合照片的另一张实时表面照片的面积比超过预设面积比,因此可以在分析另一张实时表面照片时再进行分析。
S634:当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备相同时,统计进行图片拼合的所有所述面积比超出所述预设面积比的所述疑似缺陷区域的平均面积。
在本实施例中,例如面积比超过50%之后,说明拼合疑似缺陷区域在某一个识别区域的占比大,在另一个识别区域的占比小,而且将拼合疑似缺陷区域输入至占比大的识别区域对应的视觉识别设备的识别模型中,识别的结果与该待测虚拟零件的真实情况相符时,说明将拼合疑似缺陷区域输入至占比大的视觉识别设备的识别模型中,输出的识别结果准确性高。分析在拼合之前,占比大的所述疑似缺陷区域的平均面积,得到平均面积之后,下次再次识别到疑似缺陷区域位于图片边缘时,直接对比疑似缺陷区域的面积与平均面积的大小,然后将拼合图片发送至其中一个视觉识别设备的识别模型中,不必将拼合图片输入至两个识别模型中,从而释放更多的视觉识别设备的计算能力。另外,当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备不相同时,说明面积占比大的视觉识别区域不一定识别的就准确,此时可以从其他方面再进一步分析,例如图片清晰度、图片亮度或者图片中缺陷的形状等。
在本发明的一种实施例中,如图4,所述当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备相同时,统计进行图片拼合的所有所述面积比超出所述预设面积比的所述疑似缺陷区域的平均面积之后,还包括:
S640:当再次获得所述待测虚拟零件的所述实时表面照片时,初步识别所述疑似缺陷区域的面积和所述疑似缺陷区域的位置。
S641:当所述疑似缺陷区域位于一张所述实时表面照片的边缘时,判断所述疑似缺陷区域的面积是否小于所述平均面积。
S642:当所述疑似缺陷区域的面积大于或等于所述平均面积时,将所述拼合图片直接输入至所述疑似缺陷区域对应的所述视觉识别设备中的所述识别模型中。
具体地,将找到的平均面积作为基准值,当再次遇到疑似曲线区域处于实时表面照片的边缘时,直接计算疑似缺陷区域的面积,当疑似缺陷区域的面积大于或者等于所述平均面积时,所述疑似缺陷区域能够大概率被准确识别出来,此时可以直接将拼合图片输入至该实时表面照片对应的视觉识别设备的识别模型中进行准确的识别分析,这样可以节省另一个视觉识别设备的算力。
S643:当所述疑似缺陷区域的面积小于所述平均面积时,将所述拼合图片直接输入至所述拼合图片对应的另一个所述视觉识别设备中的所述识别模型中。
具体地,当疑似缺陷区域的面积小于所述平均面积时,说明将该拼合照片输入至该实时表面照片对应的视觉识别设备的识别模型中,会大概率发生误判的情况,此时可以直接将拼合照片输入至组成拼合照片的另一张实时表面照片对应的视觉识别设备的识别模型中。
在本发明的一种实施例中,如图5,所述识别同一个所述待测虚拟零件的多张所述实时表面照片中的疑似缺陷区域和所述疑似缺陷区域位于所述实时表面照片中的位置信息之后,还包括:
S601:将每一个所述视觉识别设备对应的所有所述疑似缺陷区域的位置信息统计到一张所述实时表面照片上。
S602:分析所有所述位置信息的缺陷中心位置是否与所述实时表面照片的图片中心位置重合。
S603:当所述缺陷中心位置与所述图片中心位置不重合时,确定所述缺陷中心位置与所述图片中心位置的距离差。
S604:调节所述视觉识别设备向所述缺陷中心位置移动所述距离差。
在本实施例中,可以对疑似缺陷区域的位置都集成到一张实时表面照片的尺寸范围内,然后分析这些位置的分布,找出中心位置,看这个中心位置是不是处于实时表面照片的中心,如果两个中心不重合,说明容易出现缺陷的位置不处于视觉识别区域的中心,容易造成缺陷跨区的情况,为了避免缺陷跨区的问题,减少不必要的分析和处理步骤,可以调整视觉识别设备的安装位置,从而使得视觉识别区域的位置改变,相对的,让容易出现缺陷的位置处于视觉识别区域的中间位置,这样后续再进行调试或者实际生产检测的时候,检测结果更加准确。
在本发明的一种实施例中,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果之后,还包括:
当输出的所述识别结果与所述待测虚拟零件贴图的照片对应的实际结果不相同时,将该所述待测虚拟零件标记为误判虚拟零件。
将所有所述误判虚拟零件对应的所述实时表面照片输入至对应的所述视觉识别设备的所述识别模型中进行模型训练。
将训练后的所述识别模型更新至所述视觉识别设备。
在本实施例中,将误判的虚拟零件单独分拣,然后用这些误判的零件对多个视觉识别设备的识别模型进行训练,训练的同时,虚拟仿真可以继续进行,可能不断增加新的误判虚拟零件,装置训练后的识别模型能够将误判的虚拟零件正确识别出来之后,将训练后的识别模型更新至视觉识别设备中,另外,由于训练与虚拟仿真调试同时进行,可以有不同的工作人员进行,也可以自动进行,使得工作效率进一步提高,并且还能够持续优化识别模型,提高识别精准度。
在本发明的一种实施例中,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果之后,还包括:
调节所述输送带的所述预设速度。
比较每个所述预设速度对应的所述识别结果的不合格率和所述待测虚拟零件的实际不合格率。
当所述识别结果的不合格率相对于所述实际不合格率的偏离率小于预设偏离率时,将所述预设速度记为储备预设速度。
分析所有所述储备预设速度,将所述储备预设速度中的最大预设速度记为实际执行速度。
在本实施例中,由于预设速度的快慢关系到视觉识别设备的识别准确性,速度过快影响拍摄照片的清晰度,降低识别准确率,但是速度过慢,输送带的输送效率比较低,生产线的产量下降,不利于生产。因此需要逐步调节预设速度的大小,并且调节预设速度之后,识别模型输出的识别结果的准确率与实际结果的偏离率小于预设偏离率,例如输出的识别结果的不合格率为8%,实际不合格率为10%,偏离率为20%,预设偏离率为10%,此时设置的预设速度不可取。将可用的预设速度保存起来,直至找到最大的可行预设速度,将该最大预设速度作为实际执行速度,用于实际生产中,在实际生产调试时,只需要在该实际执行速度的附近微调即可,大大减少调试时间,提高调试和分析效率。
图6示出了本发明实施例中一种用于工业化的虚拟仿真系统的结构示意图,所述用于工业化的虚拟仿真系统包括:
实际图片获取模块10,用于获取合格产品表面照片和不合格产品表面照片。
贴图模块20,用于将所述合格产品表面照片和所述不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,其中,所述待测虚拟零件包括合格零件和不合格零件。
虚拟投放模块30,用于将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上。
虚拟运输模块40,用于控制所述输送带以预设速度运输所述待测虚拟零件。
检测拍摄模块50,用于当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片。
虚拟识别模块60,用于控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果。
虚拟分拣模块70,用于根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣。
在本实施例中,贴图模块20将在实际生产过程中收集的合格产品表面照片和不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,然后虚拟投放模块30将待测虚拟零件的顺序打乱,随机投放至虚拟输送带上,虚拟运输模块40控制输送带以预设速度运输所述待测虚拟零件,开始实际的生产流水线测试,并且在流水线运输零件的过程中,增设检测环节,当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,检测拍摄模块50控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片,虚拟识别模块60控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果,当识别结果与实际获取的表面照片的分布占比出入较大时,可以在虚拟系统中调整预设速度、视觉识别设备的位置或识别模型的参数等,以便于不断调试和优化各个流水线环节上的设备参数;虚拟分拣模块70根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣,直至分拣结果与贴图的实际生产照片相符,通过虚拟仿真得到优化后的参数,减少实际流水线设备的测试时间,提高测试效率和降低人工成本。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种用于工业化的虚拟仿真方法,其特征在于,包括:
获取合格产品表面照片和不合格产品表面照片;
将所述合格产品表面照片和所述不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,其中,所述待测虚拟零件包括合格零件和不合格零件;
将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟的输送带上;
控制所述输送带以预设速度运输所述待测虚拟零件;
当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片;
控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果;
根据所述视觉识别设备输出的所述识别结果,对所述输送带上的所述待测虚拟零件进行分拣。
2.根据权利要求1所述的用于工业化的虚拟仿真方法,其特征在于,所述将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上包括:
将所述待测虚拟零件的顺序打乱,并将所述待测虚拟零件随机旋转;
将所述打乱旋转之后的所述待测虚拟零件按照预设间距投放至所述输送带上。
3.根据权利要求1所述的用于工业化的虚拟仿真方法,其特征在于,所述当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片之前,还包括:
以所述输送带长度方向的中心线为中心轴,将多个所述视觉识别设备沿所述中心轴的圆周方向均匀分布。
4.根据权利要求1所述的用于工业化的虚拟仿真方法,其特征在于,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果包括:
识别同一个所述待测虚拟零件的多张所述实时表面照片中的疑似缺陷区域和所述疑似缺陷区域位于所述实时表面照片中的位置信息;
当所述疑似缺陷区域位于一张所述实时表面照片的边缘时,将一张所述实时表面照片与所述疑似缺陷区域所在一侧相邻的另一张所述实时表面照片拼合,得到拼合图片;
识别所述拼合图片中的拼合疑似缺陷区域,并从所述拼合图片中分割所述拼合疑似缺陷区域;
将所述拼合疑似缺陷区域输入至两张所述实时表面照片对应的所述视觉识别设备的所述识别模型中,输出所述识别结果。
5.根据权利要求4所述的用于工业化的虚拟仿真方法,其特征在于,所述将所述拼合疑似缺陷区域输入至两张所述实时表面照片对应的所述视觉识别设备的所述识别模型中,输出所述识别结果之后,还包括:
对比两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果是否相同;
当两张所述实时表面照片对应的所述视觉识别设备的所述识别模型输出的所述识别结果不相同时,标记将所述拼合疑似缺陷区域识别为缺陷的所述视觉识别设备;
根据所述拼合疑似缺陷区域的拼合缺陷面积和所述疑似缺陷区域的缺陷面积,确定所述缺陷面积与所述拼合缺陷面积的面积比;
当所述面积比超出预设面积比时,判断所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备是否相同;
当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备相同时,统计进行图片拼合的所有所述面积比超出所述预设面积比的所述疑似缺陷区域的平均面积。
6.根据权利要求5所述的用于工业化的虚拟仿真方法,其特征在于,所述当所述疑似缺陷区域对应的所述视觉识别设备与标记的所述视觉识别设备相同时,统计进行图片拼合的所有所述面积比超出所述预设面积比的所述疑似缺陷区域的平均面积之后,还包括:
当再次获得所述待测虚拟零件的所述实时表面照片时,初步识别所述疑似缺陷区域的面积和所述疑似缺陷区域的位置;
当所述疑似缺陷区域位于一张所述实时表面照片的边缘时,判断所述疑似缺陷区域的面积是否小于所述平均面积;
当所述疑似缺陷区域的面积大于或等于所述平均面积时,将所述拼合图片直接输入至所述疑似缺陷区域对应的所述视觉识别设备中的所述识别模型中;
当所述疑似缺陷区域的面积小于所述平均面积时,将所述拼合图片直接输入至所述拼合图片对应的另一个所述视觉识别设备中的所述识别模型中。
7.根据权利要求4所述的用于工业化的虚拟仿真方法,其特征在于,所述识别同一个所述待测虚拟零件的多张所述实时表面照片中的疑似缺陷区域和所述疑似缺陷区域位于所述实时表面照片中的位置信息之后,还包括:
将每一个所述视觉识别设备对应的所有所述疑似缺陷区域的位置信息统计到一张所述实时表面照片上;
分析所有所述位置信息的缺陷中心位置是否与所述实时表面照片的图片中心位置重合;
当所述缺陷中心位置与所述图片中心位置不重合时,确定所述缺陷中心位置与所述图片中心位置的距离差;
调节所述视觉识别设备向所述缺陷中心位置移动所述距离差。
8.根据权利要求1所述的用于工业化的虚拟仿真方法,其特征在于,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果之后,还包括:
当输出的所述识别结果与所述待测虚拟零件贴图的照片对应的实际结果不相同时,将该所述待测虚拟零件标记为误判虚拟零件;
将所有所述误判虚拟零件对应的所述实时表面照片输入至对应的所述视觉识别设备的所述识别模型中进行模型训练;
将训练后的所述识别模型更新至所述视觉识别设备。
9.根据权利要求1所述的用于工业化的虚拟仿真方法,其特征在于,所述控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果之后,还包括:
调节所述输送带的所述预设速度;
比较每个所述预设速度对应的所述识别结果的不合格率和所述待测虚拟零件的实际不合格率;
当所述识别结果的不合格率相对于所述实际不合格率的偏离率小于预设偏离率时,将所述预设速度记为储备预设速度;
分析所有所述储备预设速度,将所述储备预设速度中的最大预设速度记为实际执行速度。
10.一种用于工业化的虚拟仿真系统,其特征在于,包括:
实际图片获取模块,用于获取合格产品表面照片和不合格产品表面照片;
贴图模块,用于将所述合格产品表面照片和所述不合格产品表面照片贴图在虚拟零件的表面,构建待测虚拟零件,其中,所述待测虚拟零件包括合格零件和不合格零件;
虚拟投放模块,用于将所述合格零件和不合格零件的顺序打乱,随机投放至虚拟输送带上;
虚拟运输模块,用于控制所述输送带以预设速度运输所述待测虚拟零件;
检测拍摄模块,用于当所述输送带上的所述待测虚拟零件输送至多个视觉识别设备的识别区域时,控制多个所述视觉识别设备拍摄所述待测虚拟零件的实时表面照片;
虚拟识别模块,用于控制多个所述视觉识别设备中的识别模型分析所述待测虚拟零件的所述实时表面照片,输出识别结果;
虚拟分拣模块,用于根据所述视觉识别设备输出的识别结果,对所述输送带上的所述待测虚拟零件进行分拣。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311585068.6A CN117289626B (zh) | 2023-11-27 | 2023-11-27 | 一种用于工业化的虚拟仿真方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311585068.6A CN117289626B (zh) | 2023-11-27 | 2023-11-27 | 一种用于工业化的虚拟仿真方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117289626A true CN117289626A (zh) | 2023-12-26 |
CN117289626B CN117289626B (zh) | 2024-02-02 |
Family
ID=89244779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311585068.6A Active CN117289626B (zh) | 2023-11-27 | 2023-11-27 | 一种用于工业化的虚拟仿真方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117289626B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908232A (zh) * | 2010-07-30 | 2010-12-08 | 重庆埃默科技有限责任公司 | 一种交互式场景仿真系统及场景虚拟仿真方法 |
CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导系统的诱导方法 |
CN106770331A (zh) * | 2017-02-10 | 2017-05-31 | 南京航空航天大学 | 一种基于机器视觉的工件缺陷检测系统 |
CN109188377A (zh) * | 2018-08-30 | 2019-01-11 | 安徽江淮汽车集团股份有限公司 | 雷达功能仿真测试系统 |
CN111537517A (zh) * | 2020-05-18 | 2020-08-14 | 江汉大学 | 一种无人智能化冲压缺陷识别方法 |
CN112488207A (zh) * | 2020-12-02 | 2021-03-12 | 江苏科技大学 | 一种基于仿真图像的高相似度零件视觉识别方法及系统 |
WO2021237443A1 (zh) * | 2020-05-26 | 2021-12-02 | 蜂图志科技控股有限公司 | 一种视觉定位方法、装置、设备及可读存储介质 |
CN116342502A (zh) * | 2023-03-07 | 2023-06-27 | 北京理工大学珠海学院 | 一种基于深度学习的工业视觉检测方法 |
US11727673B1 (en) * | 2022-06-09 | 2023-08-15 | Soochow University | Visual analysis method for cable element identification |
-
2023
- 2023-11-27 CN CN202311585068.6A patent/CN117289626B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908232A (zh) * | 2010-07-30 | 2010-12-08 | 重庆埃默科技有限责任公司 | 一种交互式场景仿真系统及场景虚拟仿真方法 |
CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导系统的诱导方法 |
CN106770331A (zh) * | 2017-02-10 | 2017-05-31 | 南京航空航天大学 | 一种基于机器视觉的工件缺陷检测系统 |
CN109188377A (zh) * | 2018-08-30 | 2019-01-11 | 安徽江淮汽车集团股份有限公司 | 雷达功能仿真测试系统 |
CN111537517A (zh) * | 2020-05-18 | 2020-08-14 | 江汉大学 | 一种无人智能化冲压缺陷识别方法 |
WO2021237443A1 (zh) * | 2020-05-26 | 2021-12-02 | 蜂图志科技控股有限公司 | 一种视觉定位方法、装置、设备及可读存储介质 |
CN112488207A (zh) * | 2020-12-02 | 2021-03-12 | 江苏科技大学 | 一种基于仿真图像的高相似度零件视觉识别方法及系统 |
US11727673B1 (en) * | 2022-06-09 | 2023-08-15 | Soochow University | Visual analysis method for cable element identification |
CN116342502A (zh) * | 2023-03-07 | 2023-06-27 | 北京理工大学珠海学院 | 一种基于深度学习的工业视觉检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117289626B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105817430B (zh) | 基于机器视觉的产品检测方法 | |
CN104198157B (zh) | 一种镜片检测和自动分拣装置 | |
CN104483320B (zh) | 工业脱硝催化剂的数字化缺陷检测装置与检测方法 | |
CN103090804B (zh) | 成品磁环图像自动检测系统及检测方法 | |
CN102495069A (zh) | 一种基于数字图像处理的拉链链带缺陷检测方法 | |
CN106238342A (zh) | 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法 | |
CN107470170A (zh) | 基于机器视觉的pcb检测分拣系统及方法 | |
CN104634790A (zh) | 一种胶囊检测方法及高速全自动检测装置 | |
CN105396801B (zh) | 一种金属应变计自动检测、裁切、分选、包装系统 | |
US7777871B2 (en) | Apparatus for measuring physical properties of golf balls and cores | |
CN104315977B (zh) | 橡胶塞质量检测装置及检测方法 | |
CN110118777A (zh) | 一种控制系统系统集成智能检验台 | |
CN111515146A (zh) | 一种基于机器视觉的螺钉全参数检测机 | |
CN104256882A (zh) | 基于计算机视觉的烟丝中再造烟叶比例测定方法 | |
CN106248680A (zh) | 一种基于机器视觉的电机换向器质量检测系统及检测方法 | |
CN111151461A (zh) | 一种在线查验系统 | |
CN212301356U (zh) | 一种轮毂焊缝视觉检测装置 | |
CN103292993A (zh) | 一种齿轮检测装置 | |
CN117289626B (zh) | 一种用于工业化的虚拟仿真方法及系统 | |
CN111929239A (zh) | 一种pcb板零件缺陷的aoi检测装置及检测方法 | |
CN208928634U (zh) | 一种卷烟分拣设备 | |
CN113916127A (zh) | 一种气门导管成品外观视觉检测系统及检测方法 | |
CN108875845B (zh) | 一种药品分类装置 | |
CN107271446A (zh) | 一种发动机正时齿轮室胶线的视觉检测方法 | |
CN115218790A (zh) | 棒材检测方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |