CN111553358B - 包含图案标识的产品功能耐久性测试自学习方法 - Google Patents
包含图案标识的产品功能耐久性测试自学习方法 Download PDFInfo
- Publication number
- CN111553358B CN111553358B CN202010528104.5A CN202010528104A CN111553358B CN 111553358 B CN111553358 B CN 111553358B CN 202010528104 A CN202010528104 A CN 202010528104A CN 111553358 B CN111553358 B CN 111553358B
- Authority
- CN
- China
- Prior art keywords
- identifier
- mark
- pattern
- identification
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 28
- 239000010410 layer Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000006002 Pepper Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007306 turnover Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请是申请号为201911274628.X的分案申请。本发明公开了包含图案标识的产品功能耐久性测试自学习方法，所述方法包括：将特征标识集扩展为规模性特征标识集；获取待测产品的ROI图像，匹配并定位ROI图像中的特征标识；依次触控待测产品对应的特征标识，在检测到状态反馈后，标记被触控的特征标识为功能标识，并标记状态反馈的对应特征标识为待定标识；当触控对应的待定标识且检测到状态反馈时，标记对应的待定标识为功能标识；当触控对应的待定标识且未检测到状态反馈时，标记对应的待定标识为指示标识；对所述功能标识进行耐久性测试。本发明具有较高的检测效率和可靠性。
Description
本申请是分案申请，原申请的申请号为201911274628.X，申请日为2019年12月12日，发明名称为“基于机器视觉的产品功能耐久性测试自学习方法及系统”。
技术领域
本发明涉及自动化检测装置领域，尤其涉及包含图案标识的产品功能耐久性测试自学习方法。
背景技术
目前现有的产品耐久性测试通常采用人工锁定按键位置，而后由测试机器对按键进行耐久性测试。这种方式具有准确率高的优点。然而，由于不同产品的按键位置不同，需要测试人员预先熟悉产品操作，而后在每个按键的测试过程中，调整测试机器测试触头的位置，较为浪费时间，影响了测试效率。
发明内容
为克服现有的测试机器测试效率低下的问题，本发明实施例一方面提供了一种包含图案标识的产品功能耐久性测试自学习方法，包括：
根据预设方法将特征标识集扩展为规模性特征标识集，特征标识包括图案标识、字符标识或组合标识；
获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识；
根据预设优先级依次触控待测产品对应的特征标识，在检测到状态反馈后，标记被触控的所述特征标识为功能标识，并标记状态反馈的对应特征标识为待定标识，所述状态反馈包括光源的点亮/熄灭；
当触控对应的待定标识且检测到状态反馈时，标记对应的待定标识为功能标识；
当触控对应的待定标识且未检测到状态反馈时，标记对应的待定标识为指示标识；
对所述功能标识进行耐久性测试；
当待测产品包含图案标识时，所述获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识的步骤，包括：
在待测产品的测试面板图像中确定ROI图像；
选取ROI图像中的非字符标识；
筛选预设尺寸内的非字符标识为待定图案标识；
利用卷积神经网络和规模性特征标识集中的图案标识集确定待定图案标识的第二匹配系数，确定第二匹配系数大于第二关联度阈值的待定图案标识为图案标识；
获取所有图案标识在规模性特征标识集中的批注，并根据所述批注将所有图案标识划分为点触图案标识或滑动图案标识；
将点触图案标识单一网格化，获取单一网格化中心坐标作为对应点触图案标识的定位目标；
确定滑动图案标识的刻度，并获取刻度中轴线作为对应滑动图案标识的定位目标。
本发明实施例通过预先采集与产品关联的特征标识集，并将特征标识集扩展为规模性特征标识集，通过获取待测产品的ROI图像，匹配待测产品中与规模性特征标识集关联的特征标识，而后提取规模性特征标识集中的相关内容，并根据匹配内容对所有特征标识按优先级依次触控，确定与按键对应的功能标识，以及仅起到状态显示的指示标识，实现了测试装置对不同产品按键标识的自学习和按键位置的锁定功能；使得在耐久性测试过程中尽量减少人力参与，提升了自动化水平，提高了效率；同时，本实施例可以根据待测产品的状态反馈自动的区分功能标识和指示标识，避免了将产品图案检测为功能按键的情况，进一步提高了检测效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例的产品功能耐久性测试自学习方法的流程图；
图2是本发明第一实施例的印刷字体集获取方法的流程图；
图3是本发明第一实施例的现实字体集和图案标识集的获取方法的流程图；
图4是本发明第一实施例的字符标识的匹配和定位方法的流程图；
图5是本发明第一实施例的字符标识的匹配和定位方法的示意图；
图6是本发明第一实施例的卷积神经网络的模型图；
图7是本发明第一实施例的图案标识的匹配和定位方法的流程图；
图8是本发明第一实施例的组合标识的匹配和定位方法的流程图；
图9是本发明第一实施例的含外围框的第一组合标识匹配和定位方法的示意图；
图10是本发明第一实施例的不含外围框的第一组合标识匹配和定位方法的示意图；
图11是本发明第一实施例的第三组合标识匹配和定位方法的示意图；
图12是本发明第一实施例的S14的详细流程图；
图13是发明第二实施例的产品功能耐久性测试自学习系统的立体图；
图14是发明第二实施例的测试组件的立体图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
当本发明实施例提及“第一”、“第二”(若存在)等序数词时，除非根据上下文其确实表达顺序之意，应当理解为仅仅是起区分之用。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”(若存在)应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
第一实施例：
请参照图1所示，本发明实施例公开了一种包含图案标识的产品功能耐久性测试自学习方法，包括S11-S16，其中：
S11，根据预设方法将特征标识集扩展为规模性特征标识集，特征标识包括图案标识、字符标识或组合标识。
本发明实施例为保障机器视觉对不同场景下的特征标识具有极强的适应能力，本发明实施例通过字体库、网络下载、实物拍照的方式获取特征标识集，而后将特征标识集扩展为规模性特征标识集，在本实施例中，规模性特征标识集包括与字体库对应的印刷字体集、与网络下载、实物拍照对应的现实字体集和图案标识集；所述预设方法包括印刷字体集的获取方法、现实字体集和图案标识集的获取方法，其中。
请参照图2，印刷字体集的获取方法包括：
S1111,对预选印刷字体库中的原字体进行灰度翻转，得到第一集合，所述第一集合包含原字体和灰度翻转后的印刷字体。
作为一种示例而非限定，本实施例通过在开源的中文印刷字体库选取了常用的四种字体，包括微软雅黑细型(msyhl)、微软雅黑中型(msyh)、等线体(Arial)和华文隶书(STLITI)，每一种字体覆盖了3503个不同的文字，为了扩大数据集，通过灰度翻转使得第一集合扩展为28024个文字。
S1112,对第一集合进行预设角度的旋转变换，得到第二集合，所述第二集合包含第一集合、顺时针旋转和逆时针旋转变换后的字体。
为了模拟实际拍照场景中画面无法正对文字的情况，本步骤对第一集合的文字进行角度变换，本实施例的预设角度选取5°，经过旋转变换，第二集合的文字数量为84072个。
S1113,对第二集合添加椒盐噪声、并进行均值滤波处理，得到第三集合，所述第三集合包含第二集合和对应处理后的字体。
为了模拟实际拍照场景中存在噪声噪点的情况，本步骤对第二集合的文字添加椒盐噪声、并进行均值滤波处理，得到包含168144个文字的第三集合。
S1114,对第三集合进行gamma变换，得到所述印刷字体集，所述印刷字体集包含第三集合、高gamma值变换和低gamma值变换后的字体。
为了模拟实际拍照场景中环境偏亮或偏暗的情况，本步骤对第三集合的文字添加椒盐噪声、并进行均值滤波处理，最终得到包含504432个文字的印刷字体集。
需要说明的是，字体库的选取可以根据需要进行，不仅限于上述四种字体库，印刷字体集的数量也不仅限于504432个。
请参照图3，现实字体集和图案标识集的获取方法包括：
S1121，通过下载网络图片和拍摄实物照片的方式获取现实字体和图案标识。
作为一种具体方案而非限定，在本实施例中，通过下载210类与家用电器相关的现实字体和图案标识，现实字体的数量为10500个，图案标识的数量为3100个，其中，现实字体中作为状态反馈的数码管的字体数量为1710个，这些挑选出来的现实字体和图案标识存在不同的畸变、倾斜、失真和过曝等，特征具有针对性且真实可靠，多样的特征形态可以增强机器学习算法的泛化能力，很好减轻了过拟合现象。
S1122，对现实字体和图案标识进行灰度翻转，得到第四集合，所述第四集合包括所述现实字体和灰度翻转后的现实字体，还包括图案标识和灰度翻转后的图案标识。
经过灰度翻转后，第四集合中现实字体的数量为21000个，图案标识的数量为6200个，其中，现实字体中作为状态反馈的数码管的字体数量为3420个。
S1123，将所述第四集合转换为单通道和8bit的灰度图像。
为了便于数据的存储，本步骤对第四集合进行单通道额8bit的降维处理，降维处理后的灰度图像更加容易存储，而且可以提高后续CNN(卷积神经网络)的运算速度。
S1124，将所述灰度图像的尺寸调整为预设大小，得到现实字体集和图案标识集。
本步骤通过将灰度图像的尺寸调整为预设大小，使得现实字体集和图案标识集可以输入到单元个数固定的网格中，作为示例而非限定，本实施例的预设大小为32*32像素。
在本实施例的规模性特征标识集中，训练集占比70％，测试集占比30％。
在本实施例在，所述组合标识包括第一组合标识、第二组合标识和第三组合标识，第一组合标识为间隔小于预设距离的字符标识和点触图案标识，第二组合标识为间隔小于预设距离的字符标识和滑动图案标识，第三组合标识为间隔小于预设距离的点触图案标识和滑动图案标识。
S12，获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识。
在本实施例中，ROI图像可以是待测产品测试面板的整体图像，也可以通过自学习对测试面板进行功能区划分，而后对每个功能区获取对应的ROI图像。本步骤主要实现将测试面板中的特征标识与规模性特征标识集配对和定位的功能。配对过程中，测试面板中的特征标识的含义也可以被机器视觉获取，便于后续根据优先级进行排序。
请参照图4和图5，当待测产品包含字符标识时，S12包括：
S1211，在待测产品的测试面板图像中确定ROI图像。
本步骤中，ROI图像通常包括多个与字符标识对应的功能按键。
S1212，输入ROI图像中对应的字符标识的组成字符和ROI图像中的字符标识数量K。
本发明实施例可完成对字符的自动识别，为了提高识别准确率并提升识别效率，本步骤由测试人员预先输入ROI图像中包含的字符，以及ROI图像中的字符标识数量K。
S1213，网格化所述ROI图像，得到若干网格图像，利用卷积神经网络对所有网格图像进行分析，确定各网格图像内容与所述组成字符的第一匹配系数，当第一匹配系数大于第一关联度阈值时，获取一组对应网格图像的中心点。
当ROI图像被网格化后，各网格内的图像均通过卷积神经网络与规模性特征标识集中用户输入的组成字符进行匹配，当第一匹配系数大于第一关联度阈值时，判断对应网格内的图像包含组成字符的概率较高，获取并存储对应网格图像的中心点。
请参照图6，本实施例的卷积神经网络采用一个输出层、两个卷积层、两个池化层和三个全连接层的结构，卷积层采用大小为5×5、步长为1的卷积核，2×2大小、步长为2的过滤器，卷积层和池化层均采用ReLU激活函数(g(Z)＝max(0,Z))，g(Z)为在0和输入之间取最大值的函数。而在输出层中，则采用Softmax回归，通过最后的Softmax层，即可获得输入数据所属字符种类的概率分布。
目前，已经完成了卷积神经网络的前向传播过程中的卷积核中的权值参数是通过卷积神经网络的反向传播不断迭代更新的，针对图像分类问题，通过采用对数代价函数，对数代价函数通过惩罚错误的分类，实现对分类器的准确度的量化。最小化对数代价基本即等价于最大化分类器的准确度。在反向传播中，通过计算代价函数，不断调整层间连接的权值参数，使代价函数最小化，得到最佳参数。权值的更新用到了梯度下降原理，在机器学习当中，学习率相当于梯度下降的步长，学习率越大，意味着搜索最优值得步长越大，虽然学习速度快，但不容易收敛到最优值；相反，学习率越小，参数得迭代更新速度慢，增加时间成本。因此在训练神经网络时需要不断调整训练的学习率，经过调试，最终学习率α＝0.001。
通过卷积神经网络的前向和反向传播，优化每一层的权值和偏置，所有参数训练到最佳，最终得到最优的图片分类效果，即可以实现对3503个字符地准确分类。
S1214，缩小网格尺寸并至少重复上一步骤一次，获取至少另一组对应网格图像的中心点。
通过反复重复步骤S1213，使得ROI图像中的字符被多次选取中心点，本实施例中S1214的重复操作为两次。
S1215，采用K-means聚类算法对获取的所有中心点进行分割，得到K类区域，选取每类区域的中心坐标作为对应字符标识的定位目标。
本步骤采用K-means聚类算法对各中心坐标点进行聚类，实现了对不同按键的分割，同时输出规定数量按键K的字符标识的中心坐标。
S1211-S1215实现了基于CNN的字符标识的快速匹配和定位，由于采用用户预先输入组成字符和ROI图像多次网格化的方法，极大的提高了机器视觉的准确率，提升了识别效率，增加了字符标识的定位精准度。
请参照图7，当待测产品包含图案标识时，S12包括：
S1221，在待测产品的测试面板图像中确定ROI图像。
本步骤中，ROI图像通常包括多个与图案标识对应的功能按键。
S1222，选取ROI图像中的非字符标识。
S1223，筛选预设尺寸内的非字符标识为待定图案标识。
经过本步骤筛选后的非字符标识包括花纹、图案、纹理和图案标识，统称为待定图案标识。
S1224，利用卷积神经网络和规模性特征标识集中的图案标识集确定待定图案标识的第二匹配系数，确定第二匹配系数大于第二关联度阈值的待定图案标识为图案标识。
本步骤同样利用卷积神经网络，将待定图案标识与规模性特征标识集中的图案标识进行匹配，当第二匹配系数大于第二关联度阈值时，得到图案标识。
S1225，获取所有图案标识在规模性特征标识集中的批注，并根据所述批注将所有图案标识划分为点触图案标识或滑动图案标识。
在本实施例中，图案标识通过批注区分点触图案标识和滑动图案标识，批注通常在S11中实现。点触图案标识通常通过点触的方式触发，滑动图案标识通常通过在刻度中轴线处滑动触发。
S1226，将点触图案标识单一网格化，获取单一网格化中心坐标作为对应点触图案标识的定位目标。
本步骤单一网格化的方式为取x方向点触图案标识的两个端点，另外取y方向点触图案标识的另外两个端点，通过连接四个端点求几何中心的方式获取单一网格化中心坐标，其中x向和y向互相垂直。
S1227，确定滑动图案标识的刻度，并获取刻度中轴线作为对应滑动图案标识的定位目标。
在本发明实施例中，所有的刻度指的是最小单位刻度。刻度中轴线的两个端点为滑动图案标识中两端刻度的对应中点位置。
S1221-S1227实现了基于CNN的图案标识的快速分类、匹配和定位，通过采集成规模的滑动图案标识，生成规模性特征标识，并采用根据刻度确定中轴线的方案，使得本实施例对于不同类型的滑动图案标识，均具有较高的识别率和定位精度。
请参照图8至图11所示，当待测产品同时包含第一组合标识、第二组合标识和第三组合标识时，所述获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识的步骤，包括：
S1231，在待测产品的测试面板图像中确定ROI图像。
本步骤中，ROI图像通常包括多个与组合标识对应的功能按键。
S1232，确定ROI图像中第一组合标识中的字符标识或点触图案标识是否包含外围框。
通常情况下，组合标识的定位具有较大难度，定位目标可能在字符标识处，也可能在图案标识处，还有可能位于字符标识和图案标识的中部，为了实现机器对组合标识的定位，本实施例采用先判断字符标识或点触图案标识是否单独为功能按键的情况，在这种情况下，产品制造商通常会采用识别度较高的外围框进行框选。
S1233，若是，获取包含外围框的字符标识或点触图案标识的定位目标，作为第一组合标识的定位目标。
当单独框选字符标识或点触图案标识时，判断该被框选的字符标识或点触图案标识为组合标识的定位目标。本步骤定位目标的确定方式与S1212-S1215或S1226的对应方式相同，这里不再赘述。
S1234，若否，分别获取对应字符标识和点触图案标识的定位目标，确定字符标识和图案标识的定位目标的连线中心点作为第一组合标识的定位目标。
当未单独框选字符标识或点触图案标识时，判断字符标识和图案标识的定位目标的连线中心点为组合标识的定位目标。本步骤分别采用S1212-S1215和S1226的方式，分别获取字符标识和图案标识的定位目标，而后取两定位目标的连线中心点作为第一组合标识的定位目标。
S1235，确定第二组合标识的定位目标为所述滑动图案标识的定位目标。
本实施例取滑动图案标识的定位目标作为第二组合标识的定位目标。
S1236，确定第三组合标识的定位目标为所述滑动图案标识的定位目标和点触图案标识的定位目标。
当组合标识中既存在点触图案标识，又存在滑动图案标识时，将滑动图案标识的定位目标和点触图案标识的定位目标均作为第三组合标识的定位目标，在后续耐久性测试中，需要分别完成滑动图案标识和点触图案标识的测试。
本实施例通过对组合标识进行分类，并分别提供了各类组合标识定位目标的获取方式，不仅提高了定位目标的准确性，同时极大的提高了耐久性测试方法的效率。
S13，根据预设优先级依次触控待测产品对应的特征标识，在检测到状态反馈后，标记被触控的所述特征标识为功能标识，并标记状态反馈的对应特征标识为待定标识，所述状态反馈包括光源的点亮/熄灭。
本实施例的光源包括上述所述的数码管、还包括LED灯和显示屏等。当数码管、LED灯和显示屏的量灭状态/显示状态改变时，判断检测到状态反馈。
S14，当触控对应的待定标识且检测到状态反馈时，标记对应的待定标识为功能标识。
请参照图12，相对于上述滑动图案标识的方案，S14进一步包括：
S141，控制测试触头自刻度中轴线一端向另一端滑动。
在本步骤中，测试触头用于测试产品功能的耐久性，测试触头通常采用缓慢的移动方式向中轴线另一端滑动。
S142，获取测试触头在各刻度时对应的状态反馈。
在滑动过程中，获取并记录各刻度对应的状态反馈，作为状态反馈，状态反馈通常以代数的形式记录和区分。
S143，建立所述各刻度与所述状态反馈的配对关系库。
在配对关系库在，存储各刻度以及与各刻度对应的状态反馈的配对关系。
S15，当触控对应的待定标识且未检测到状态反馈时，标记对应的待定标识为指示标识。
在本步骤中，当测试触头触控到的待定标识未触发任何状态反馈时，判断待定标识仅起到指示作用，标记该待定标识为指示标识。
S16，对所述功能标识进行耐久性测试。
相对于上述滑动图案标识的方案，S16进一步包括：
S161、根据公式
控制测试触头以速度V在刻度中轴线一端开始滑动，其中，Vo为测试触头的初始最小移动速度，rand()为0至1的随机数，当
时，rand()重新刷新，d为测试触头移动的实时距离，s为刻度中轴线长度，
为
取整数部分，n为自然数。
在本实施例中，测试触头在滑动到刻度中轴线的中点处随机变速，由于测试触头在滑动过程中处于随机的变速状态，便于检测滑动图案标识的灵敏度，通过测试触头在刻度中轴线往复滑动，实现对滑动图案标识连续的耐久性和可靠性测试。
S162、记录M组测试触头在各刻度时对应的即时速度Vi和实际状态反馈，生成测试数据集。
即时速度为当前rand()根据S161中公式对应确定的速度的绝对值。本步骤通过即时跟踪测试触头位置，在各对应刻度时记录测试触头的即时速度和对应刻度的实际状态反馈，生成测试数据集。
S163、根据所述配对关系库比较效验测试数据集，生成测试结果，所述测试结果包括按键良率、NG刻度及NG刻度未触发状态反馈时的即时速度Vi。
本步骤根据比对各刻度的实际状态反馈和配对关系库中对应的状态反馈是否一致，可以判断该刻度是否为NG刻度，示例性的，滑动图案标识中包括第一刻度和第二刻度，配对关系库中第一刻度和第二刻度对应的状态反馈分别为100℃和120℃，即当测试触头由第一刻度滑向第二刻度时，被测产品中数码管或显示屏的数值应当由100℃变换为120℃。若当某一次测试触头的该正向滑动(自第一刻度向第二刻度的滑动)过程中，测试触头滑动到第二刻度数码管的数值依然是100℃(与配对关系库中第二刻度对应的状态反馈不一致)，则说明第二刻度此时为NG刻度。
需要说明的是，同一刻度成为NG刻度的概率并非是100％，受测试触头的滑动速度、滑动方向、温湿度、触控面板质量影响，从而存在按键良率的问题，作为一种示例而非限定，本实施例在恒温恒湿状态下测试，根据NG刻度次数占刻度测试总次数(测试总次数＝M·L，L为滑动图案标识的刻度总数)的比例可以确定按键良率，当出现NG刻度后，获取NG刻度时滑动触头的即时速度，即可便于测试人员推演正常无NG滑动时的临界速度，为其调校提供重要依据。本实施例可以对滑动图案标识的灵敏性，触发响应的临界速度进行测试，同时可以准确识别NG率高的刻度，便于后续维修，提高了本发明实施例的耐久性测试自学习方法的可靠性，拓展了其实用性。
本发明实施例通过预先采集与产品关联的特征标识集，并将特征标识集扩展为规模性特征标识集，通过获取待测产品的ROI图像，匹配待测产品中与规模性特征标识集关联的特征标识，而后提取规模性特征标识集中的相关内容，并根据匹配内容对所有特征标识按优先级依次触控，确定与按键对应的功能标识，以及仅起到状态显示的指示标识，实现了测试装置对不同产品按键标识的自学习和按键位置的锁定功能；使得在耐久性测试过程中尽量减少人力参与，提升了自动化水平，提高了效率；同时，本实施例可以根据待测产品的状态反馈自动的区分功能标识和指示标识，避免了将产品图案检测为功能按键的情况，进一步提高了检测效率。
第二实施例：
请参照图13至图14所示，本发明实施例公开了一种包含图案标识的产品功能耐久性测试自学习系统，包括：
定位测试台，包括台面1以及安装于台面1上用于固定待测产品2的定位座3；
摄像组件4，包括设于定位测试台上的可沿x向滑动的支架41、设于支架41上并可沿支架z向滑动的吊臂42、以及设于吊臂42上并可沿吊臂y向滑动的摄像头43；
测试组件5，包括设于定位测试台上的机械臂51，以及连接于所述机械臂51末端的测试触头52，所述机械臂51用于控制所述测试触头52在三维空间内移动；
显示组件6，设于所述台面1上，用于显示待测产品的测试面板的ROI图像、测试触头的位置信息和测试触头的移动速度。
在本实施例中，定位座表面形成有若干螺孔，用于固定待测产品或待测产品的显示面板，定位座的一侧还形成有卡合装置31，用于固定待测产品的上表面，防止待测产品在触控过程中活动，可有效提升本发明耐久性测试自学习系统的可靠性。
本实施例的测试组件5还包括座体53，所述座体包括一水平转动机构，所述机械臂51通过所述水平转动机构设置在台面1上并可相对所述台面1水平转动，所述机械臂51包括与水平转动机构连接的后臂511，以及与后臂511连接并可相对所述后臂转动的前臂512，所述测试触头52设置在所述前臂512上，所述机械臂51至少控制所述测试触头52沿所述水平转动机构做径向和z向运动。
作为一种优选实施方案，所述定位座3包括固定定位座和转动定位座，所述固定定位座和转动定位座择一的安装在所述台面上。转动定位座以枢接的方式安装在台面的枢轴内，转动定位座用于夹持异形面的待测产品，通过台面1的枢轴的转动，带动待测产品转动，使测试触头52可以触控异形面的待测产品的不同位置。
作为一种改进而非限定，所述测试触头52包括触控端521和驱动端522，所述驱动端522设有音圈电机，所述定位测试台通过改变所述音圈电机的供电电流控制所述触控端的触控力度和伸出行程，本实施例的测试触头52通过安装带有音圈电机的驱动端522，使得触控端521具有行程可调、高速、高加速响应快等特性，通过改变音圈电机的供电电流可以实现触控端在点触/滑触之间的切换，同时也为触控端521带来快速、平滑、无嵌齿、无滞后响应等优点。
本发明实施例的耐久性测试自学习系统通过将测试组件和摄像组件分体设置，使得测试组件和摄像组件可以独立运动，提升了测试效率，摄像组件通过支架和吊臂的配合可实现在三维空间内活动，使得其对不同产品的测试面板具有更优良的兼容性的同时不会影响测试组件的工作，提升了本发明实施例的耐久性测试自学习系统的效率和可靠性。
以上仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.包含图案标识的产品功能耐久性测试自学习方法，其特征在于，包括：
根据预设方法将特征标识集扩展为规模性特征标识集，特征标识包括图案标识、字符标识或组合标识；
获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识；
根据预设优先级依次触控待测产品对应的特征标识，在检测到状态反馈后，标记被触控的所述特征标识为功能标识，并标记状态反馈的对应特征标识为待定标识，所述状态反馈包括光源的点亮/熄灭；
当触控对应的待定标识且检测到状态反馈时，标记对应的待定标识为功能标识；
当触控对应的待定标识且未检测到状态反馈时，标记对应的待定标识为指示标识；
对所述功能标识进行耐久性测试；
当待测产品包含图案标识时，所述获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识的步骤，包括：
在待测产品的测试面板图像中确定ROI图像；
选取ROI图像中的非字符标识；
筛选预设尺寸内的非字符标识为待定图案标识；
利用卷积神经网络和规模性特征标识集中的图案标识集确定待定图案标识的第二匹配系数，确定第二匹配系数大于第二关联度阈值的待定图案标识为图案标识；
获取所有图案标识在规模性特征标识集中的批注，并根据所述批注将所有图案标识划分为点触图案标识或滑动图案标识；
将点触图案标识单一网格化，获取单一网格化中心坐标作为对应点触图案标识的定位目标；
确定滑动图案标识的刻度，并获取刻度中轴线作为对应滑动图案标识的定位目标。
2.如权利要求1所述的包含图案标识的产品功能耐久性测试自学习方法，其特征在于，所述组合标识包括第一组合标识、第二组合标识和第三组合标识，第一组合标识为间隔小于预设距离的字符标识和点触图案标识，第二组合标识为间隔小于预设距离的字符标识和滑动图案标识，第三组合标识为间隔小于预设距离的点触图案标识和滑动图案标识；
当待测产品同时包含第一组合标识、第二组合标识和第三组合标识时，所述获取待测产品的ROI图像，根据所述规模性特征标识集匹配并定位ROI图像中的特征标识的步骤，包括：
在待测产品的测试面板图像中确定ROI图像；
确定ROI图像中第一组合标识中的字符标识或点触图案标识是否包含外围框；
若是，获取包含外围框的字符标识或点触图案标识的定位目标，作为第一组合标识的定位目标；
若否，分别获取对应字符标识和点触图案标识的定位目标，确定字符标识和图案标识的定位目标的连线中心点作为第一组合标识的定位目标；
确定第二组合标识的定位目标为所述滑动图案标识的定位目标；
确定第三组合标识的定位目标为所述滑动图案标识的定位目标和点触图案标识的定位目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528104.5A CN111553358B (zh) | 2019-12-12 | 2019-12-12 | 包含图案标识的产品功能耐久性测试自学习方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528104.5A CN111553358B (zh) | 2019-12-12 | 2019-12-12 | 包含图案标识的产品功能耐久性测试自学习方法 |
| CN201911274628.XA CN111046873B (zh) | 2019-12-12 | 2019-12-12 | 基于机器视觉的产品功能耐久性测试自学习方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911274628.XA Division CN111046873B (zh) | 2019-12-12 | 2019-12-12 | 基于机器视觉的产品功能耐久性测试自学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553358A CN111553358A (zh) | 2020-08-18 |
| CN111553358B true CN111553358B (zh) | 2020-11-13 |
Family
ID=70236613
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528079.0A Active CN111553357B (zh) | 2019-12-12 | 2019-12-12 | 包含滑动图案标识的产品功能耐久性测试自学习方法 |
| CN202010528104.5A Active CN111553358B (zh) | 2019-12-12 | 2019-12-12 | 包含图案标识的产品功能耐久性测试自学习方法 |
| CN202010528400.5A Active CN111553359B (zh) | 2019-12-12 | 2019-12-12 | 产品功能耐久性测试自学习方法 |
| CN201911274628.XA Active CN111046873B (zh) | 2019-12-12 | 2019-12-12 | 基于机器视觉的产品功能耐久性测试自学习方法 |
| CN202010559863.8A Active CN111553360B (zh) | 2019-12-12 | 2019-12-12 | 触控滑动图案标识的产品功能耐久性测试自学习方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528079.0A Active CN111553357B (zh) | 2019-12-12 | 2019-12-12 | 包含滑动图案标识的产品功能耐久性测试自学习方法 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528400.5A Active CN111553359B (zh) | 2019-12-12 | 2019-12-12 | 产品功能耐久性测试自学习方法 |
| CN201911274628.XA Active CN111046873B (zh) | 2019-12-12 | 2019-12-12 | 基于机器视觉的产品功能耐久性测试自学习方法 |
| CN202010559863.8A Active CN111553360B (zh) | 2019-12-12 | 2019-12-12 | 触控滑动图案标识的产品功能耐久性测试自学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (5) | CN111553357B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112051733B (zh) * | 2020-08-14 | 2021-08-10 | 华南理工大学 | 一种基于图像分类的刚性机械臂复合学习控制方法 |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08285736A (ja) * | 1995-04-13 | 1996-11-01 | Yokohama Rubber Co Ltd:The | タイヤの側面損傷試験装置 |
| JP3606498B2 (ja) * | 1996-04-26 | 2005-01-05 | 三菱電機株式会社 | 携帯情報端末装置 |
| US20080313282A1 (en) * | 2002-09-10 | 2008-12-18 | Warila Bruce W | User interface, operating system and architecture |
| CN100383540C (zh) * | 2002-12-28 | 2008-04-23 | 鸿富锦精密工业（深圳）有限公司 | 按键测试装置及方法 |
| FI20060331A0 (fi) * | 2006-04-05 | 2006-04-05 | Kari Seppaelae | Menetelmä ja laitteisto muodon mittauksen/tunnistukseen |
| US7878054B2 (en) * | 2007-02-28 | 2011-02-01 | The Boeing Company | Barrier coatings for polymeric substrates |
| US8073805B2 (en) * | 2007-09-26 | 2011-12-06 | Nike, Inc. | Sensory testing data analysis by categories |
| US9267396B2 (en) * | 2010-03-19 | 2016-02-23 | Eaton Corporation | Rocker arm assembly and components therefor |
| CN202075209U (zh) * | 2011-05-13 | 2011-12-14 | 常州天华新能源科技有限公司 | 一种标识耐久性测试机 |
| CA2897675C (en) * | 2012-02-09 | 2017-07-18 | Brandbumps, Llc | Decorative detectable warning panel having improved grip |
| CN203455160U (zh) * | 2013-08-29 | 2014-02-26 | 惠州市德赛西威汽车电子有限公司 | 一种按键耐久性测试系统 |
| CN104461318B (zh) * | 2013-12-10 | 2018-07-20 | 苏州梦想人软件科技有限公司 | 基于增强现实技术的点读方法及系统 |
| CN106462291A (zh) * | 2014-06-25 | 2017-02-22 | T移动美国公司 | 具有向尖端提供导电性部件的触屏测试平台 |
| CN104258569B (zh) * | 2014-09-17 | 2016-05-04 | 电子科技大学 | 电机驱动的三自由度可拆装的动感赛车游戏运动模拟器 |
| KR20160037023A (ko) * | 2014-09-26 | 2016-04-05 | 삼성전자주식회사 | 컴퓨터 보조 진단 지원 장치 및 방법 |
| TW201823015A (zh) * | 2015-03-31 | 2018-07-01 | 日商住友化學股份有限公司 | 光學積層體、液晶顯示裝置、黏著劑組成物及光學膜 |
| CN105182101B (zh) * | 2015-07-06 | 2018-07-27 | 京东方科技集团股份有限公司 | 在触摸屏按压测试中检测不良的方法和装置 |
| US10869608B2 (en) * | 2015-11-29 | 2020-12-22 | Arterys Inc. | Medical imaging and efficient sharing of medical imaging information |
| CN105784342A (zh) * | 2016-03-09 | 2016-07-20 | 杭州奥腾电子股份有限公司 | 用于广泛温度范围内的按键耐久性测试装置 |
| CN109476014B (zh) * | 2016-07-12 | 2022-04-29 | T移动美国公司 | 用于接合动态定位的目标特征的触摸屏测试平台 |
| CN106097724B (zh) * | 2016-07-18 | 2018-07-13 | 中国科学院地理科学与资源研究所 | 户外便携式交通信息视频检测与采集系统及其检测方法 |
| CN106570511B (zh) * | 2016-11-02 | 2021-04-09 | 上海大学 | 基于计算机视觉的键盘字符缺陷在线检测系统和方法 |
| CN106778955B (zh) * | 2016-12-01 | 2019-10-29 | 东风电子科技股份有限公司 | 基于二维码识别实现车载终端自动测试的系统及方法 |
| CN108664364B (zh) * | 2017-03-31 | 2023-05-09 | 腾讯科技（深圳）有限公司 | 一种终端测试方法及装置 |
| US11249240B2 (en) * | 2017-06-22 | 2022-02-15 | Xerox Corporation | System and method for image specific illumination of image printed on optical waveguide |
| CN107608214B (zh) * | 2017-10-16 | 2020-08-14 | 浙江工业大学之江学院 | 三自由度直升机显式模型预测控制中的多级网格点定位方法 |
| CN108225748A (zh) * | 2017-11-17 | 2018-06-29 | 力帆实业(集团)股份有限公司 | 一种按键耐久测试装置 |
| CN108594109B (zh) * | 2018-04-17 | 2024-03-12 | 广汽乘用车有限公司 | 一种按键耐久测试设备 |
| EP3579008A1 (en) * | 2018-06-05 | 2019-12-11 | Proventia Oy | Arrangement for testing electric car components |
| CN109489988A (zh) * | 2018-09-27 | 2019-03-19 | 惠州市德赛西威汽车电子股份有限公司 | 一种模拟实车钥匙启动视觉耐久性仪表测试系统 |
| US10423403B1 (en) * | 2018-11-29 | 2019-09-24 | Capital One Services, Llc | Utilizing a machine learning model to predict metrics for an application development process |
| CN109800151A (zh) * | 2018-12-14 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 屏幕适配性自动测试方法、装置、计算机设备和存储介质 |
| CN209416674U (zh) * | 2018-12-25 | 2019-09-20 | 江苏省优联检测技术服务有限公司 | 汽车按键寿命耐久测试装置 |
| CN109633433A (zh) * | 2019-01-16 | 2019-04-16 | 广州广日电梯工业有限公司 | 一种电梯按钮耐久性测试方法及系统 |
| CN110160806A (zh) * | 2019-06-17 | 2019-08-23 | 北京艾尔动力科技有限公司 | 用于汽车耐久测试的自动驾驶系统及测试方法 |
| CN110320023A (zh) * | 2019-08-20 | 2019-10-11 | 麦克拉链（嘉兴）有限公司 | 一种新型拉链耐久度测试装置 |
-
2019
- 2019-12-12 CN CN202010528079.0A patent/CN111553357B/zh active Active
- 2019-12-12 CN CN202010528104.5A patent/CN111553358B/zh active Active
- 2019-12-12 CN CN202010528400.5A patent/CN111553359B/zh active Active
- 2019-12-12 CN CN201911274628.XA patent/CN111046873B/zh active Active
- 2019-12-12 CN CN202010559863.8A patent/CN111553360B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553360B (zh) | 2020-12-18 |
| CN111553358A (zh) | 2020-08-18 |
| CN111553359A (zh) | 2020-08-18 |
| CN111553357B (zh) | 2020-11-24 |
| CN111046873A (zh) | 2020-04-21 |
| CN111553357A (zh) | 2020-08-18 |
| CN111553360A (zh) | 2020-08-18 |
| CN111046873B (zh) | 2020-07-28 |
| CN111553359B (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101523412B (zh) | 基于人脸的图像聚类 | |
| CN109643399B (zh) | 多类别分类器的交互式性能可视化 | |
| Gazda et al. | Multiple-fine-tuned convolutional neural networks for Parkinson’s disease diagnosis from offline handwriting | |
| CN109409398B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
| JP6063756B2 (ja) | 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 | |
| CN106033535B (zh) | 电子阅卷方法 | |
| US20070014467A1 (en) | System and method for fast template matching by adaptive template decomposition | |
| CN109919037B (zh) | 一种文本定位方法及装置、文本识别方法及装置 | |
| CN113034495B (zh) | 一种脊柱影像分割方法、介质及电子设备 | |
| CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| CN107169485A (zh) | 一种数学公式识别方法和装置 | |
| CN108509925B (zh) | 一种基于视觉词袋模型的行人重识别方法 | |
| CN109033978A (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
| CN115841488B (zh) | 一种基于计算机视觉的pcb板的检孔方法 | |
| CN110930414A (zh) | 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质 | |
| CN111553358B (zh) | 包含图案标识的产品功能耐久性测试自学习方法 | |
| US20230049798A1 (en) | Individual object identification system, individual object identification program, and recording medium | |
| CN110717385A (zh) | 一种动态手势识别方法 | |
| Dong et al. | Locally directional and extremal pattern for texture classification | |
| Xiao et al. | Recognition for woven fabric pattern based on gradient histogram | |
| CN116883698B (zh) | 一种图像对比方法及相关装置 | |
| WO2021146005A1 (en) | Stroke attribute matrices | |
| CN111832401A (zh) | 一种电子阅卷识别方法 | |
| Smilek et al. | What influences visual search efficiency? Disentangling contributions of preattentive and postattentive processes | |
| Iannizzotto et al. | A multimodal perceptual user interface for video-surveillance environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240204 Address after: 510000 No. 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province Patentee after: Guangzhou dinghang Information Technology Service Co.,Ltd. Country or region after: China Address before: 528400, Xueyuan Road, 1, Shiqi District, Guangdong, Zhongshan Patentee before: University OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA, ZHONGSHAN INSTITUTE Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240315 Address after: Room 617, 6th Floor, Zhiyuan Building, No. 58 Tianyuan East Road, Gaoxin Park, Jiangning District, Nanjing City, Jiangsu Province, 211100 Patentee after: NANJING TAIYIHENG NETWORK TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 510000 No. 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province Patentee before: Guangzhou dinghang Information Technology Service Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |