CN112560891A - 一种特征检测方法及设备 - Google Patents
一种特征检测方法及设备 Download PDFInfo
- Publication number
- CN112560891A CN112560891A CN202011238328.9A CN202011238328A CN112560891A CN 112560891 A CN112560891 A CN 112560891A CN 202011238328 A CN202011238328 A CN 202011238328A CN 112560891 A CN112560891 A CN 112560891A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- detection
- product
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种特征检测方法及设备,所述方法包括:当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射所述指定产品;其中,所述第一指定角度为不垂直于所述指定产品的角度;通过影像采集装置对所述指定产品进行影像采集,获得检测影像;通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述指定产品存在浮高现象,具有通过二维相机检测三维特征的效果。
Description
技术领域
本发明涉及智能制造技术领域,尤其涉及一种特征检测方法及设备。
背景技术
在设备进行装配时,需要在设备表面使用各种零件进行固定,这些零件在完成固定后通常与设备表面平齐,当零件在设备表面装配不符合规定的时候,这些零件会相对设备表面形成浮高现象。目前,设备表面零件的浮高现象通常需要通过3D相机进行检测,以确定零件相对设备表面的高度,然而3D相机的成本过高。
发明内容
本发明实施例提供了一种特征检测方法及设备,具有通过二维相机检测三维特征的效果。
本发明实施例一方面提供了一种特征检测方法,所述方法包括:当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射所述指定产品;其中,所述第一指定角度为不垂直于所述指定产品的角度;通过影像采集装置对所述指定产品进行影像采集,获得检测影像;通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述指定产品存在浮高现象。
在一可实施方式中,所述通过影像采集装置对所述指定产品进行影像采集,获得检测影像,包括:通过所述影像采集装置采集所述指定产品,获得第一采集影像;其中,所述指定产品和所述光源装置沿第一指定角度进行相对转动;根据预设频率对所述第一检测影像进行截图处理,获得检测影像。
在一可实施方式中,所述通过影像采集装置对所述指定产品进行影像采集,获得检测影像,包括:控制所述影像采集装置相对所述指定产品沿预设路径进行移动,在所述影像采集装置移动过程中,对所述指定产品进行影像采集,获得多个第二采集影像;根据预设阴影指标对所述多个第二采集影像进行筛选,将满足预设阴影指标的第二采集影像确定为检测影像。
在一可实施方式中,所述指定产品包含目标特征;相应的,所述通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述待指定产品存在浮高现象,包括:根据所述目标特征确定所述检测影像上的检测区域;通过所述阴影分类器对所述检测区域进行阴影分类,当分类为所述检测区域存在阴影特征的情况下,根据所述阴影特征确定所述目标特征存在浮高现象。
在一可实施方式中,所述方法还包括:当分类为所述检测影像存在阴影特征的情况下,根据所述阴影特征确定所述目标特征的高度特征。
在一可实施方式中,所述检测影像包含多张方向不同的检测图像;相应的,所述方法还包括:获得每一张检测图像中目标特征的高度特征;对所有高度特征进行整合,确定与所述目标特征对应的高度信息和偏移度信息。
在一可实施方式中,所述方法还包括:通过影像采集装置对检测样本进行影像采集,获得多个检测影像样本;所述检测影像样本包含存在阴影的影像样本和不存在阴影的影像样本;通过影像样本对神经网络进行训练,获得阴影分类器,所述阴影分类器用于对检测影像进行阴影分类。
在一可实施方式中,所述通过影像样本对神经网络进行训练,获得阴影分类器,包括:对所述影像样本进行特征标注,获得标注特征样本;通过所述标注特征样本对神经网络进行训练,获得阴影分类器;其中,所述标注特征包括如下特征至少之一:阴影信息、检测区域、阴影长度和目标特征。
本发明实施例另一方面提供一种特征检测设备,所述设备包括:照射模块,用于当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射所述指定产品;其中,所述第一指定角度为不垂直于所述指定产品的角度;采集模块,用于通过影像采集装置对所述指定产品进行影像采集,获得检测影像;分类模块,用于通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述指定产品存在浮高现象。
在一可实施方式中,所述采集模块,包括:采集子模块,用于通过所述影像采集装置采集所述指定产品,获得第一采集影像;其中,所述指定产品和所述光源装置沿第一指定角度进行相对转动;截图子模块,用于根据预设频率对所述第一检测影像进行截图处理,获得检测影像。
在一可实施方式中,所述采集模块,包括:移动子模块,用于控制所述影像采集装置相对所述指定产品沿预设路径进行移动,在所述影像采集装置移动过程中,对所述指定产品进行影像采集,获得多个第二采集影像;筛选子模块,用于根据预设阴影指标对所述多个第二采集影像进行筛选,将满足预设阴影指标的第二采集影像确定为检测影像。
在一可实施方式中,所述指定产品包含目标特征;相应的,所述分类模块,包括:确定子模块,用于根据所述目标特征确定所述检测影像上的检测区域;分类子模块,用于通过所述阴影分类器对所述检测区域进行阴影分类,当分类为所述检测区域存在阴影特征的情况下,根据所述阴影特征确定所述目标特征存在浮高现象。
在一可实施方式中,所述设备还包括:确定模块,用于当分类为所述检测影像存在阴影特征的情况下,根据所述阴影特征确定所述目标特征的高度特征。
在一可实施方式中,所述检测影像包含多张方向不同的检测图像;相应的,所述设备还包括:获得模块,用于获得每一张检测图像中目标特征的高度特征;整合模块,用于对所有高度特征进行整合,确定与所述目标特征对应的高度信息和偏移度信息。
在一可实施方式中,所述采集模块,还用于通过影像采集装置对检测样本进行影像采集,获得多个检测影像样本;所述检测影像样本包含存在阴影的影像样本和不存在阴影的影像样本;所述设备还包括:训练模块,用于通过影像样本对神经网络进行训练,获得阴影分类器,所述阴影分类器用于对检测影像进行阴影分类。
在一可实施方式中,所述训练模块,包括:标注子模块,用于对所述影像样本进行特征标注,获得标注特征样本;训练子模块,用于通过所述标注特征样本对神经网络进行训练,获得阴影分类器;其中,所述标注特征包括如下特征至少之一:阴影信息、检测区域、阴影长度和目标特征。
本方法实施例提供的特征检测方法通过光源装置照射指定产品使相对指定产品表面突起的部分在指定产品表面形成阴影,通过影像采集装置对指定产品表面进行影像采集,然后通过阴影分类器对影像采集获得的检测影像进行分类,判断检测影像上是否具有阴影特征,当分类结果为检测影像存在阴影特征的情况下,可以认为指定产品上存在相对指定产品表面突起的部分,即可以确定指定产品存在浮高现象。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1为本发明实施例一种特征检测方法的实现流程示意图;
图2为本发明实施例一种特征检测方法的具体场景示意图;
图3为本发明实施例一种特征检测方法影像采集的实现流程示意图;
图4为本发明另一实施例一种特征检测方法影像采集的实现流程示意图;
图5为本发明实施例一种特征检测方法阴影分类的实现流程示意图;
图6为本发明实施例一种特征检测方法分类器训练的实现流程示意图;
图7为本发明实施例一种特征检测设备的实现流程示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一种特征检测方法的实现流程示意图。
参见图1,本发明实施例一方面提供一种特征检测方法,方法包括:操作101,当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射指定产品;其中,第一指定角度为不垂直于指定产品的角度;操作102,通过影像采集装置对指定产品进行影像采集,获得检测影像;操作103,通过阴影分类器对检测影像进行阴影分类,当分类为检测影像存在阴影特征的情况下,确定指定产品存在浮高现象。
本方法实施例提供的特征检测方法应用于智能制造技术领域,应用本方法能够利用简单的低成本设备,如二维相机检测出制造出来的指定产品的三维特征,具体的,可以用于检测制造出来的指定产品是否存在浮高现象。本方法通过光源装置照射指定产品使相对指定产品表面突起的部分在指定产品表面形成阴影,通过影像采集装置对指定产品表面进行影像采集,然后通过阴影分类器对影像采集获得的检测影像进行分类,判断检测影像上是否具有阴影特征,当分类结果为检测影像存在阴影特征的情况下,可以认为指定产品上存在相对指定产品表面突起的部分,即可以确定指定产品存在浮高现象。
其中,指定产品可以为任意需要检测表面是否具有浮高现象的产品,如笔记本电脑、显示屏、手机、键盘、音箱、电脑主机、家居产品等其他产品。相对指定产品表面形成突起的零件可以是螺栓、螺钉、卡钩、卡扣、焊缝、注塑件表面缺陷等在指定产品装配或制作过程中可能形成的突起,根据指定产品的实际生产情况,该突起可以与指定产品一体成形,也可以为固定在指定产品上的零配件或组合件。进一步的,该突起造成的原因可以是因为工艺或装配缺陷所导致的,也可以是指定产品在设计中需要形成该突起,即突起可以是缺陷也可以是与设计对应的结构。
在本方法操作101中,指定产品可以通过流水线运输、人工搬运或其他方式设置在指定位置上,指定位置可以为载物台。当本方法应用于流水线其中一环节上,可以通过检测装置检测指定产品是否位于指定位置。也可以人工或通过机械臂将指定产品转移至指定位置,根据实际需要,指定产品可以精确设置在指定位置上,如在指定位置设置夹具,通过夹具夹持指定产品实现对指定产品的精准定位;指定产品也可以非精确设置在指定位置上,如指定位置为一大于指定产品占地面积的区域,指定产品在该区域内任意位置均可以判定为属于指定产品位于指定位置的情况。当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射指定产品。其中,根据需要,光源装置可以是一个或多个。当光源装置为多个的情况下,对应每个光源装置的第一指定角度可以不同。第一指定角度用于指代光源装置与指定产品上待检测特征与光源装置的连线和指定产品表面之间形成的角度。其中,为了通过光源装置在指定产品表面形成阴影,第一指定角度为不垂直于指定产品的角度。进一步优选为小角度,如60°以下、45°以下、30°以下、15°以下等。以下不做赘述,可以理解的是,第一指定角度也可以大于等于60°。进一步的,光源装置可以是固定的,也可以是可移动的。
在本方法操作102中,在通过光源装置沿第一指定角度照射指定产品的情况下,通过影像采集装置对指定产品进行影像采集,采集到在光照状态下的检测影像。影像采集装置可以为相机,进一步的,可以选为2D相机。可以理解的是,当指定产品表面具有突起时,检测影像中指定产品表面可以形成与突起对应的阴影。影像采集装置可以是固定的,也可以是移动的。检测影像可以是采集图片,也可以是采集录像,影像采集装置可以只采集一张图片或一段录像,也可以采集多张图片或多段录像。
在本方法操作103中,通过阴影分类器对检测影像进行阴影分类,阴影分类器为通过对应的训练样本训练获得,用于对检测影像进行分类,以确定检测影像上是否具有阴影。当分类为检测影像存在阴影特征的情况下,确定指定产品存在浮高现象。即与检测影像对应的指定产品表面存在相对表面突起的特征。
图2为本发明实施例一种特征检测方法的具体场景示意图。
如图2所示,以下提供一种具体实施场景进行说明,在该实施场景中,在该场景中,指定产品为手机203,应用本方法检测手机表面上的螺钉204是否存在浮高现象。本方法包括载物台,在载物台的上方装设有照相机201,载物台的侧边装设有光源装置202。将手机203需要检查浮高现象的一表面朝上放置在载物台上,且使手机203位于照相机201的正下方,在光源装置202照射手机203的情况下,通过照相机201拍摄手机203,获得检测图像。然后通过阴影分类器对检测图像进行分类,确定检测图像上是否具有阴影,当分类为检测图像上具有阴影的情况下,确定手机203上的螺钉204存在浮高现象。
图3为本发明实施例一种特征检测方法影像采集的实现流程示意图。
参见图3,在本发明实施例中,操作102,通过影像采集装置对指定产品进行影像采集,获得检测影像,包括:操作1021,通过影像采集装置采集指定产品,获得第一采集影像;其中,指定产品和光源装置沿第一指定角度进行相对转动;操作1022,根据预设频率对第一检测影像进行截图处理,获得检测影像。
本方法可以采集不同光照条件的多张检测图像,以对指定产品上突起特征的进一步识别。
具体的,本方法使指定产品和光源装置沿第一指定角度进行相对转动,可以是使指定产品固定,由光源装置相对指定产品进行转动,也可以是使光源装置固定,由指定产品相对光源装置进行转动。当第一指定角度为不可改变角度的情况下,光源装置可以以指定产品的中心为轴线进行绕行转动,或通过载物台进行自转,以使指定产品以指定产品的中心为轴线进行转动。当第一指定角度为可改变角度的情况下,可以使光源装置按照特定轨迹进行移动,如螺旋式绕行等。在指定产品和光源装置沿第一指定角度进行相对转动的情况下,通过影像采集装置采集指定产品,获得第一采集影像。第一采集影像可以为录像,以在指定产品表面存在浮高现象的情况下,了解到阴影的连续变化情况下。该第一采集影像可以直接作为检测影像通过阴影分类器进行分类,在该情况下,阴影分类器可以通过与第一采集影像对应的录像样本作为训练数据进行训练。在另一种情况下,可以根据预设频率对第一检测影像进行截图处理,以获得多角度、多位置的多张检测影像,即多张检测图像。在该情况下,阴影分类器可以通过图像样本作为训练数据进行训练。其中,预设频率可以预设角度频率、预设位置频率、预设时间频率等其他变量的频率。如预设频率为预设时间频率的情况下,当第一采集影像有10s,可以预设时间频率为1s,以第0s作为第一张截图时间,后面每增加1s进行再次截图,对应第一采集影像所获得的截图影像共11张。
图4为本发明实施例另一种特征检测方法影像采集的实现流程示意图。
参见图4,在本发明实施例中,操作102,通过影像采集装置对指定产品进行影像采集,获得检测影像,包括:操作1023,控制影像采集装置相对指定产品沿预设路径进行移动,在影像采集装置移动过程中,对指定产品进行影像采集,获得多个第二采集影像;操作1024,根据预设阴影指标对多个第二采集影像进行筛选,将满足预设阴影指标的第二采集影像确定为检测影像。
需要说明的是,本方法的各操作均只是用于进行步骤区分,不存在实质的先后关系。如操作1021-操作1022和操作1023-操作1024属于两个不同的实施场景,在操作102中,可以只执行操作1021-操作1022,或只执行操作1023-操作1024,也可以将操作1021-操作1022和操作1023-操作1024结合后执行,但可以理解的是,将操作1021-操作1022和操作1023-操作1024结合后执行的情况下,操作1023的执行顺序并不一定跟在操作1022之后,可以在其之前或同步执行。
具体的,影像采集装置也可以是固定安装或可移动安装。在一种是实施场景中,当影像采集装置为可移动安装的情况下,本方法可以控制影像采集装置相对指定产品沿预设路径进行移动。其中,预设路径可以是改变影像采集装置和指定产品之间角度的路径,也可以是其他路径,具体的移动路径可以以目标需求进行调整预设。在影像采集装置移动过程中,通过影像采集装置对指定产品进行影像采集,影像采集可以是图像采集,也可以是图片采集,以获得多个第二采集影像,当为图片采集的情况下,可以使每一张图片中影像采集装置和指定产品之间的夹角都不同,以采集到不同阴影姿态和特征姿态的第二采集图像。然后通过根据预设阴影指标对多个第二采集影像进行筛选,其中,预设阴影指标可以是图片中阴影姿态不被其他特征或阴影干涉、图片中特征姿态不被其他特征或阴影干涉或其他根据实际需求所预设的指标。预设阴影指标还可以通过阴影匹配模型进行匹配以确定第二采集图像是否满足指标。阴影匹配模型可以为神经网络模型,通过与预设阴影指标对应的样本进行训练获得。将满足预设阴影指标的第二采集影像确定为检测影像。此处检测影像同样可以为多张。
图5为本发明实施例一种特征检测方法阴影分类的实现流程示意图。
参见图5,在本发明实施例中,指定产品包含目标特征;相应的,操作103,通过阴影分类器对检测影像进行阴影分类,当分类为检测影像存在阴影特征的情况下,确定待指定产品存在浮高现象,包括:操作1031,根据目标特征确定检测影像上的检测区域;操作1032,通过阴影分类器对检测区域进行阴影分类,当分类为检测区域存在阴影特征的情况下,根据阴影特征确定目标特征存在浮高现象。
指定产品包含的目标特征即为待检测是否具有浮高现象的特征,目标特征可以为一个或多个。由于在生产过程中,指定产品上的目标特征位置信息及其他相关信息均是相同的,为了能够在检测影像中确定实际要检测的位置,本方法可以根据目标特征确定检测影像上的检测区域。具体的,可以预设与目标特征对应的预设模板,通过预设模板对检测图像进行模板映射,以确定检测图像上的检测区域,也可以通过与检测区域对应的模型对检测图像进行分割,以确定检测图像上的检测区域。其中,与检测区域对应的模型可以为神经网络模型,通过与检测区域对应的训练数据训练获得,本方法还可以通过对目标特征进行位置标注,根据位置标注信息在检测图像确定检测区域。本方法还可以采用其他方式在检测图像上确定检测方法,以下不做赘述。由于目标特征可以为一个或多个,确定的检测区域也可以为一个或多个。每个检测区域可以预设尺寸大小,检测区域的尺寸以在尺寸内能够包含与目标特征对应的全部图案和与阴影特征对应的图案为宜。在确定检测区域后,通过阴影分类器对每一个检测区域分别进行阴影分类,以确定每一个检测区域中是否存在阴影特征。当该检测区域确定为存在阴影特征的情况下,可以确定该检测区域对应的目标特征存在浮高现象。如此操作,在能够确定指定产品存在浮高现象的情况下,还能够确定指定对象上存在浮高现象的目标特征的位置信息,分别对浮高信息进行定位和进一步处理。例如,当对手机的螺钉进行浮高检测的情况下,对检测影像中每一个螺钉所对应的检测区域进行阴影分类,当某一检测区域确定为存在阴影特征的情况下,即可将该检测区域对应的螺钉判定为存在浮高现象。
在本发明实施例中,在本方法操作103中,还包括:当分类为检测影像存在阴影特征的情况下,根据阴影特征确定目标特征的高度特征。
进一步的,在确定检测影像存在阴影特征的情况下,还可以根据光源装置的照射角度、阴影的长度等其他可获得参数作为依据确定目标特征的高度特征。例如在手机的螺钉进行浮高检测的过程中,在已知光源装置预设照射角度、影像采集装置预设角度的情况下,通过测量阴影特征的长度,可以确定该阴影特征对应的目标特征的高度特征。如已知光源装置相对目标特征的夹角为45,影像采集装置位于目标特征的正上方,即阴影长度与目标特征的浮高量一致,即当阴影为1单位的情况下,目标特征的高度特征同样为1单位。具体的,本方法确定目标特征的高度特征可以通过阴影分类器进行确定,阴影分类器为神经网络模型,其可以通过具有影像采集装置角度标注、光源装置角度标注、阴影特征长度标注、目标特征的高度特征标注的训练样本训练获得。
在本发明实施例中,检测影像包含多张方向不同的检测图像;相应的,在本方法操作103中,方法还包括:首先,获得每一张检测图像中目标特征的高度特征;然后,对所有高度特征进行整合,确定与目标特征对应的高度信息和偏移度信息。
在本方法中,多张方向不同的检测图像指代相对于目标特征其所在方向不同,如当目标特征为一长方体时,检测图像可以为分别采集到其四个面和四条边的检测图像。可以理解的是,多张方向不同的检测图像与目标特征之间的夹角可以相同或不同,在本实施例中,多张方向不同的检测图像与目标特征之间的夹角相同。本方法首先获得每一张检测图像中目标特征的高度特征,高度特征可以通过本发明上述实施例中根据阴影特征确定目标特征的高度特征获得。然后对每一张检测图像中的高度特征进行整合,该高度特征的整合包括但不限于是求取平均数、求取最大高度和最小高度之间的差值、根据最大高度和最小高度求取目标特征与指定产品之间的夹角等其他整合操作,具体的整合操作可以根据实际需求进行设定。在整合操作为根据最大高度和最小高度求取目标特征与指定产品之间的夹角的情况下,可以确定与目标特征对应的高度信息和偏移度信息。其中,高度信息可以是平均高度信息、最大高度信息、最小高度信息等其他高度信息、偏移度信息可以通过目标特征相对与产品设计对应的规定中线之间的偏移度进行表征,也可以是目标特征与指定产品之间的夹角进行表征。
图6为本发明实施例一种特征检测方法分类器训练的实现流程示意图。
参见图6,在本发明实施例中,方法还包括:操作601,通过影像采集装置对检测样本进行影像采集,获得多个检测影像样本;检测影像样本包含存在阴影的影像样本和不存在阴影的影像样本;操作602,通过影像样本对神经网络进行训练,获得阴影分类器,阴影分类器用于对检测影像进行阴影分类。
本方法在进行阴影分类之前,需要先对神经网络进行训练以获得阴影分类器,本方法的神经网络可以选用已知的多种用于进行图像识别、特征分类的神经网络。
本方法在操作601中,通过影像采集装置对检测样本进行影像采集。检测样本可以为与指定产品相同的产品样本,产品样本可以为多个,包括具有不同浮高现象和/或不同偏移度现象以及无浮高现象和偏移度现象的产品样本。通过影像采集装置和光源装置对产品样本进行影像采集,在采集过程中,可以根据需要采集多个产品样本的录像和/或图片,采集光源装置不同光照角度和光照位置情况下的录像和/或图片,采集影像采集装置不同位置和不同角度下的影录像和/或图片,上述影像和/或图片均可以作为影像样本进行使用,可以理解的是,当产品样本具有浮高现象和/或不同偏移度现象的情况下,其所对应的影像样本存在阴影。当产品样本无浮高现象和偏移度现象的情况下,其所对应的影像样本不存在阴影。
本方法操作602中,通过操作601获得的带标注和/或不带标注的影像样本对神经网络进行训练,获得阴影分类器,阴影分类器用于对检测影像进行阴影分类。
在本发明实施例中,操作602,通过影像样本对神经网络进行训练,获得阴影分类器,包括:首先,对影像样本进行特征标注,获得标注特征样本;然后,通过标注特征样本对神经网络进行训练,获得阴影分类器;其中,标注特征包括如下特征至少之一:阴影信息、检测区域、阴影长度和目标特征。
进一步的,本方法可以在影像样本上进行标注后作为标注特征样本对神经网络进行训练,标注特征包括但不限于如下特征至少之一:阴影信息、检测区域、阴影长度和目标特征。具体的,标注特征可以包括但不限于光源装置角度标注、光源位置标注、影像采集装置角度标注、影像采集装置位置标注、阴影特征角度标注、阴影特征位置标注、阴影特征长度标注、目标特征形状标注、目标特征位置标注、目标特征偏移度标注等中的一项或几项。然后,通过标注特征样本对神经网络进行训练,获得阴影分类器,可以理解的是,当通过带标注的标注特征样本对神经网络进行训练的情况下,通过阴影分类器对检测影像进行阴影分类,还可以确定该阴影特征对应的目标特征的高度特征、偏移度信息等其他所需信息。
图7为本发明实施例一种特征检测设备的实现流程示意图。
参见图7,本发明实施例另一方面提供一种特征检测设备,设备包括:照射模块701,用于当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射指定产品;其中,第一指定角度为不垂直于指定产品的角度;采集模块702,用于通过影像采集装置对指定产品进行影像采集,获得检测影像;分类模块703,用于通过阴影分类器对检测影像进行阴影分类,当分类为检测影像存在阴影特征的情况下,确定指定产品存在浮高现象。
在本发明实施例中,采集模块702,包括:采集子模块7021,用于通过影像采集装置采集指定产品,获得第一采集影像;其中,指定产品和光源装置沿第一指定角度进行相对转动;截图子模块7022,用于根据预设频率对第一检测影像进行截图处理,获得检测影像。
在本发明实施例中,采集模块702,包括:移动子模块7023,用于控制影像采集装置相对指定产品沿预设路径进行移动,在影像采集装置移动过程中,对指定产品进行影像采集,获得多个第二采集影像;筛选子模块7024,用于根据预设阴影指标对多个第二采集影像进行筛选,将满足预设阴影指标的第二采集影像确定为检测影像。
在本发明实施例中,指定产品包含目标特征;相应的,分类模块703,包括:确定子模块7031,用于根据目标特征确定检测影像上的检测区域;分类子模块7032,用于通过阴影分类器对检测区域进行阴影分类,当分类为检测区域存在阴影特征的情况下,根据阴影特征确定目标特征存在浮高现象。
在本发明实施例中,设备还包括:确定模块704,用于当分类为检测影像存在阴影特征的情况下,根据阴影特征确定目标特征的高度特征。
在本发明实施例中,检测影像包含多张方向不同的检测图像;相应的,设备还包括:获得模块705,用于获得每一张检测图像中目标特征的高度特征;整合模块706,用于对所有高度特征进行整合,确定与目标特征对应的高度信息和偏移度信息。
在本发明实施例中,采集模块702,还用于通过影像采集装置对检测样本进行影像采集,获得多个检测影像样本;检测影像样本包含存在阴影的影像样本和不存在阴影的影像样本;设备还包括:训练模块707,用于通过影像样本对神经网络进行训练,获得阴影分类器,阴影分类器用于对检测影像进行阴影分类。
在本发明实施例中,训练模块707,包括:标注子模块7071,用于对影像样本进行特征标注,获得标注特征样本;训练子模块7072,用于通过标注特征样本对神经网络进行训练,获得阴影分类器;其中,标注特征包括如下特征至少之一:阴影信息、检测区域、阴影长度和目标特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种特征检测方法,其特征在于,所述方法包括:
当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射所述指定产品;其中,所述第一指定角度为不垂直于所述指定产品的角度;
通过影像采集装置对所述指定产品进行影像采集,获得检测影像;
通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述指定产品存在浮高现象。
2.根据权利要求1所述的方法,其特征在于,所述通过影像采集装置对所述指定产品进行影像采集,获得检测影像,包括:
通过所述影像采集装置采集所述指定产品,获得第一采集影像;其中,所述指定产品和所述光源装置沿第一指定角度进行相对转动;
根据预设频率对所述第一检测影像进行截图处理,获得检测影像。
3.根据权利要求1或2所述的方法,其特征在于,所述通过影像采集装置对所述指定产品进行影像采集,获得检测影像,包括:
控制所述影像采集装置相对所述指定产品沿预设路径进行移动,在所述影像采集装置移动过程中,对所述指定产品进行影像采集,获得多个第二采集影像;
根据预设阴影指标对所述多个第二采集影像进行筛选,将满足预设阴影指标的第二采集影像确定为检测影像。
4.根据权利要求1所述的方法,其特征在于,所述指定产品包含目标特征;
相应的,所述通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述待指定产品存在浮高现象,包括:
根据所述目标特征确定所述检测影像上的检测区域;
通过所述阴影分类器对所述检测区域进行阴影分类,当分类为所述检测区域存在阴影特征的情况下,根据所述阴影特征确定所述目标特征存在浮高现象。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当分类为所述检测影像存在阴影特征的情况下,根据所述阴影特征确定所述目标特征的高度特征。
6.根据权利要求5所述的方法,其特征在于,所述检测影像包含多张方向不同的检测图像;
相应的,所述方法还包括:
获得每一张检测图像中目标特征的高度特征;
对所有高度特征进行整合,确定与所述目标特征对应的高度信息和偏移度信息。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过影像采集装置对检测样本进行影像采集,获得多个检测影像样本;所述检测影像样本包含存在阴影的影像样本和不存在阴影的影像样本;
通过影像样本对神经网络进行训练,获得阴影分类器,所述阴影分类器用于对检测影像进行阴影分类。
8.根据权利要求7所述的方法,其特征在于,所述通过影像样本对神经网络进行训练,获得阴影分类器,包括:
对所述影像样本进行特征标注,获得标注特征样本;
通过所述标注特征样本对神经网络进行训练,获得阴影分类器;
其中,所述标注特征包括如下特征至少之一:阴影信息、检测区域、阴影长度和目标特征。
9.一种特征检测设备,其特征在于,所述设备包括:
照射模块,用于当指定产品位于指定位置的情况下,通过光源装置沿第一指定角度照射所述指定产品;其中,所述第一指定角度为不垂直于所述指定产品的角度;
采集模块,用于通过影像采集装置对所述指定产品进行影像采集,获得检测影像;
分类模块,用于通过阴影分类器对所述检测影像进行阴影分类,当分类为所述检测影像存在阴影特征的情况下,确定所述指定产品存在浮高现象。
10.根据权利要求9所述的设备,其特征在于,所述采集模块,包括:
采集子模块,用于通过所述影像采集装置采集所述指定产品,获得第一采集影像;其中,所述指定产品和所述光源装置沿第一指定角度进行相对转动;
截图子模块,用于根据预设频率对所述第一检测影像进行截图处理,获得检测影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011238328.9A CN112560891A (zh) | 2020-11-09 | 2020-11-09 | 一种特征检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011238328.9A CN112560891A (zh) | 2020-11-09 | 2020-11-09 | 一种特征检测方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112560891A true CN112560891A (zh) | 2021-03-26 |
Family
ID=75041684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011238328.9A Pending CN112560891A (zh) | 2020-11-09 | 2020-11-09 | 一种特征检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112560891A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824282A (zh) * | 2013-12-11 | 2014-05-28 | 香港应用科技研究院有限公司 | 使用表面映射图、物体阴影和一个相机的触摸及运动检测 |
CN106296744A (zh) * | 2016-11-07 | 2017-01-04 | 湖南源信光电科技有限公司 | 一种结合自适应模型和多阴影属性的运动目标检测方法 |
CN106681143A (zh) * | 2016-12-26 | 2017-05-17 | 武汉大音科技有限责任公司 | 一种基于云平台的自动化设备的模糊自优化调试方法 |
CN107992856A (zh) * | 2017-12-25 | 2018-05-04 | 南京信息工程大学 | 城市场景下的高分遥感建筑物阴影检测方法 |
-
2020
- 2020-11-09 CN CN202011238328.9A patent/CN112560891A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824282A (zh) * | 2013-12-11 | 2014-05-28 | 香港应用科技研究院有限公司 | 使用表面映射图、物体阴影和一个相机的触摸及运动检测 |
CN106296744A (zh) * | 2016-11-07 | 2017-01-04 | 湖南源信光电科技有限公司 | 一种结合自适应模型和多阴影属性的运动目标检测方法 |
CN106681143A (zh) * | 2016-12-26 | 2017-05-17 | 武汉大音科技有限责任公司 | 一种基于云平台的自动化设备的模糊自优化调试方法 |
CN107992856A (zh) * | 2017-12-25 | 2018-05-04 | 南京信息工程大学 | 城市场景下的高分遥感建筑物阴影检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11774735B2 (en) | System and method for performing automated analysis of air samples | |
CN112053318B (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
US10976262B2 (en) | Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle | |
US20080055591A1 (en) | Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece | |
JP2020502490A (ja) | 空気試料の自動分析を実行するためのシステム及び方法 | |
KR20030074823A (ko) | 웹 검사 방법 및 장치 | |
CN113758932B (zh) | 一种基于深度学习的锂电池膈膜缺陷视觉检测方法 | |
JP6781432B2 (ja) | 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム | |
Said et al. | Automated detection and classification of non-wet solder joints | |
CN115601359A (zh) | 一种焊缝检测方法及装置 | |
CN110567963A (zh) | 合金分析视觉定位方法、装置及合金分析系统 | |
US20240087105A1 (en) | Systems and Methods for Paint Defect Detection Using Machine Learning | |
CN115375610A (zh) | 检测方法及装置、检测设备和存储介质 | |
CN112560891A (zh) | 一种特征检测方法及设备 | |
US20230152781A1 (en) | Manufacturing intelligence service system connected to mes in smart factory | |
CN112798608B (zh) | 手机摄像头支架内腔侧壁的光学检测装置及光学检测方法 | |
CN112601007B (zh) | 一种特征区域的图像采集方法及设备 | |
CN114529493A (zh) | 基于双目视觉的电缆外观缺陷检测与定位方法 | |
CN1459628A (zh) | 电路板板材表面瑕疵检测即时汇报装置 | |
KR102022494B1 (ko) | 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 | |
CN113640303A (zh) | 一种用于笔记本电脑的表面瑕疵检验设备及其检测方法 | |
KR102618194B1 (ko) | Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템 | |
US20240104715A1 (en) | Production-speed component inspection system and method | |
JP7440975B2 (ja) | 撮像装置と識別方法 | |
CN116818891A (zh) | 使用机器学习的超声缺陷检测和分类系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |