CN111862057B - 图片标注方法、装置、传感器质量检测方法和电子设备 - Google Patents

Abstract

本发明的实施例提供了一种图片标注方法、装置、传感器质量检测方法和电子设备，涉及传感器质量检测技术领域。在获取待标注的传感器图像后，将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素，并根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像，在确定得到贴片的匹配像素和焊点的焊点区域图像后，根据贴片的匹配像素，判断贴片是否合格，以及根据焊点的焊点区域图像，判断焊点是否合格，若贴片和焊点均合格，将传感器图像标注为合格，若贴片和焊点至少存在一个不合格，则将传感器图像标注为不合格，如此，实现了传感器图像的自动标注，成本低，且精确度高。

Description

图片标注方法、装置、传感器质量检测方法和电子设备

技术领域

本发明涉及传感器质量检测技术领域，具体而言，涉及一种图片标注方法、装置、传感器质量检测方法和电子设备。

背景技术

传感器作为一种检测装置，在检测技术领域中起着巨大的作用，因此，其质量问题越来越得到重视。

目前，传感器的质量检测大多采用深度学习的质量检测方案，但是，采用这种方案，需要大量带标注的数据进行训练，而大量带标注的数据需要消耗大量人力进行人工标注，成本高且精确度低。

发明内容

基于上述研究，本发明提供了一种图片标注方法、装置、传感器质量检测方法和电子设备，以改善上述问题。

本发明的实施例可以这样实现：

第一方面，本发明实施例提供一种图片标注方法，应用于电子设备，所述方法包括：

获取待标注的传感器图像；

将所述传感器图像与预先设置的模板图像进行匹配，确定所述传感器图像中的贴片的匹配像素；

根据所述传感器图像中的贴片的匹配像素以及所述模板图像，确定所述传感器图像中的焊点的焊点区域图像；

根据所述贴片的匹配像素，判断所述贴片是否合格，以及根据所述焊点的焊点区域图像，判断所述焊点是否合格；

若所述贴片和所述焊点均合格，将所述传感器图像标注为合格；若所述贴片和所述焊点至少存在一个不合格，将所述传感器图像标注为不合格。

在可选的实施方式中，所述将所述传感器图像与预先设置的模板图像进行匹配，确定所述传感器图像中的贴片的匹配像素的步骤包括：

根据所述模板图像中贴片的位置，确定所述传感器图像中贴片的初始位置；

以所述初始位置为中心，以设定长度为边长，确定贴片目标区域；

遍历所述贴片目标区域中的每个目标像素，计算每个所述目标像素的适应值；

将最小适应值对应的目标像素作为所述传感器图像中贴片的匹配像素。

在可选的实施方式中，所述遍历所述贴片目标区域中的每个目标像素，计算每个所述目标像素的适应值的步骤包括：

根据所述模板图像中贴片的位置，对所述模板图像中贴片的区域进行剪裁，得到贴片模板；

遍历所述贴片目标区域中的每个目标像素，针对每个所述目标像素，将所述贴片模板移动到该目标像素的位置，并根据设定的角度以及缩放倍数对所述贴片模板进行调整，得到调整后的贴片模板以及所述贴片目标区域中与调整后的贴片模板对应的匹配区域；

计算所述匹配区域中与调整后的贴片模板对应的所有像素的差值，根据所有像素的差值之和，得到该目标像素的适应值。

在可选的实施方式中，所述根据所述贴片的匹配像素，判断所述贴片是否合格的步骤包括：

判断所述贴片的匹配像素的适应值是否小于预设阈值；

若小于或等于，则判定所述贴片合格，若大于，则判定所述贴片不合格。

在可选的实施方式中，所述根据所述传感器图像中的贴片的匹配像素以及所述模板图像，确定所述传感器图像中的焊点的焊点区域图像的步骤包括：

根据所述传感器图像中贴片的匹配像素的位置，确定所述传感器图像中贴片的位置；

根据所述模板图像中贴片与焊点的位置关系、所述传感器图像中贴片的位置，确定所述传感器图像中焊点的位置；

根据所述焊点的位置，对所述传感器图像进行裁剪，得到所述焊点的焊点区域图像。

在可选的实施方式中，所述根据所述焊点的焊点区域图像，判断所述焊点是否合格的步骤包括：

计算所述焊点区域图像与预先设置的焊点完整图像的误差，以及计算所述焊点区域图像与预先设置的焊点缺陷图像的误差；

若所述焊点区域图像与所述焊点完整图像的误差大于所述焊点区域图像与焊点缺陷图像的误差，判定所述焊点不合格；

若所述焊点区域图像与所述焊点完整图像的误差不大于所述焊点区域图像与焊点缺陷图像的误差，判定所述焊点合格。

第二方面，本发明实施例提供一种图片标注装置，应用于电子设备，所述装置包括图像获取模块、图像匹配模块以及图像标注模块；

所述图像获取模块用于获取待标注的传感器图像；

所述图像匹配模块用于将所述传感器图像与预先设置的模板图像进行匹配，确定所述传感器图像中的贴片的匹配像素，根据所述传感器图像中的贴片的匹配像素以及所述模板图像，确定所述传感器图像中的焊点的焊点区域图像；

所述图像标注模块用于根据所述贴片的匹配像素，判断所述贴片是否合格，以及根据所述焊点的焊点区域图像，判断所述焊点是否合格，若所述贴片和所述焊点均合格，将所述传感器图像标注为合格，若所述贴片和所述焊点至少存在一个不合格，将所述传感器图像标注为不合格。

第三方面，本发明实施例提供一种传感器质量检测方法，应用于电子设备，所述方法包括：

获取待检测传感器的图像；

根据预先训练得到质量检测模型对所述待检测传感器的图像进行质量检测，得到所述待检测传感器的质量检测结果；其中，所述质量检测模型是根据前述实施方式任一项所述的图片标注方法得到的标注图片训练得到。

在可选的实施方式中，所述方法还包括：

将所述标注图片分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本；

将所述候选样本、所述同类样本以及所述异类样本输入至三元组神经网络进行训练，得到所述候选样本、所述同类样本以及所述异类样本的特征向量；

通过预设损失函数，计算所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值、所述候选样本的特征向量与所述异类样本的特征向量的欧式距离，并比较所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值是否大于所述候选样本的特征向量与所述异类样本的特征向量的欧式距离；

若所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值不大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，通过反向传播，调整所述三元组神经网络的参数，直至所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，得到所述质量检测模型；

若所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，所述三元组神经网络训练完成，得到所述质量检测模型。

第四方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施方式任一项所述的图片标注方法。

第五方面，本发明实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任意一项所述的图片标注方法。

本发明实施例提供的图片标注方法、装置、传感器质量检测方法和电子设备，在获取待标注的传感器图像后，将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素，并根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像，在确定得到贴片的匹配像素和焊点的焊点区域图像后，根据贴片的匹配像素，判断贴片是否合格，以及根据焊点的焊点区域图像，判断焊点是否合格，若贴片和焊点均合格，将传感器图像标注为合格，若贴片和焊点至少存在一个不合格，则将传感器图像标注为不合格，如此，实现了传感器图像的自动标注，成本低，且精确度高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的电子设备的一种方框示意图。

图2为本发明实施例所提供的图片标注方法的一种流程示意图。

图3为本发明实施例所提供的图片标注方法中的一种场景示意图。

图4为本发明实施例所提供的图片标注方法的一种子步骤流程示意图。

图5为本发明实施例所提供的图片标注方法中的一种图像匹配示意图。

图6为本发明实施例所提供的传感器质量检测的一种流程示意图。

图7为本发明实施例所提供的图片标注装置的一种方框示意图。

图标：100-电子设备；10-图片标注装置；11-图像获取模块；12-图像匹配模块；13-图像标注模块；20-存储器；30-处理器；40-通信单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

如背景技术所述，传感器作为一种检测装置，在检测技术领域中起着巨大的作用，因此，其质量问题越来越得到重视。目前，对传感器的产品缺陷检测方法有两种，一种是基于人工设计特征的传感器贴片与焊点的质量检测方案，根据人工经验，设计特征描述，进而对贴片与焊点进行检测，根据检测结果进行传感器质量的判断。另一种是基于深度学习的传感器贴片与焊点的质量检测方案，通过训练深度网络实现传感器贴片与焊点的检测。

其中，基于人工设计特征的传感器贴片与焊点的质量检测方案存在检测精度低，误检率、漏检率高的问题。而基于深度学习的传感器贴片与焊点的质量检测方案需要大量带标注的数据进行训练，而大量带标注的数据需要消耗大量人力进行人工标注，成本高且精确度低。

基于上述问题，本实施例提供一种图片标注方法、装置、传感器质量检测方法和电子设备，以改善上述问题。

本实施例所提供的图片标注方法，通过将待标注的传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素和焊点的焊点区域图像，基于传感器图像中的贴片的匹配像素和焊点的焊点区域图像，确定传感器是否合格，进而对传感器图像进行标注，不仅实现了传感器图像的自动标注，且精确度高。

本实施例所提供的传感器质量检测方法，将自动标注的传感器图像分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本，基于候选样本、同类样本以及异类样本对三元组神经网络进行训练，保证了训练样本的准确性，使得在根据训练得到质量检测模型对传感器质量进行检测时，不仅保证了检测的精确度，且降低了误检率、漏检率以及人工成本。

请参考图1，本实施例所提供的图片标注方法应用于图1所示的电子设备100，由图1所示的电子设备100执行本实施例所提供的图片标注方法。如图1所示，本实施例所提供的电子设备100包括图片标注装置10、存储器20、处理器30和通信单元40。

所述存储器20、处理器30及通信单元40各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图片标注装置10包括至少一个可以软件或固件(firmware)的形式存储于所述存储器20中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器30用于执行所述存储器20中存储的可执行模块，例如所述图片标注装置10所包括的软件功能模块及计算机程序等。

其中，所述存储器20可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器20用于存储程序或者数据。

所述处理器30可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述通信单元40用于通过网络建立所述电子设备100与其他电子设备之间的通信连接，并用于通过所述网络收发数据。

可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

基于图1所示的实现架构，请结合参阅图2，图2为本实施例所提供的图片标注方法的流程示意图，由本实施例所提供的电子设备执行。下面对图2所示的流程示意图进行详细阐述。

步骤S10：获取待标注的传感器图像。

步骤S20：将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素。

步骤S30：根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像。

步骤S40：根据贴片的匹配像素，判断贴片是否合格，以及根据焊点的焊点区域图像，判断焊点是否合格。

若贴片和焊点均合格，执行步骤S50，若贴片和焊点至少存在一个不合格，执行步骤S60。

步骤S50：将传感器图像标注为合格。

步骤S60：将传感器图像标注为不合格。

本实施例所提供的图片标注方法，在获取待标注的传感器图像后，将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素，并根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像，在确定得到贴片的匹配像素和焊点的焊点区域图像后，根据贴片的匹配像素，判断贴片是否合格，以及根据焊点的焊点区域图像，判断焊点是否合格，若贴片和焊点均合格，将传感器图像标注为合格，若贴片和焊点至少存在一个不合格，则将传感器图像标注为不合格，如此，实现了传感器图像的自动标注，成本低，且标注的精确度高、检测的准确性高。

作为一种可选的实施方式，为了便于将模板图像与传感器图像进行匹配，在将传感器图像与预先设备的模板图像进行匹配之前，还可以对传感器图像进行标准化处理。

其中，对传感器图像进行标准化处理的方式有多种，例如，按照预设比例对传感器图像进行缩放，又例如，按照设定的角度对传感器图像进行旋转。

作为一种可选的实施方式，在本实施例中，对传感器图像进行标准化处理的方式可以为：将传感器图像的较长边旋转至设定的方向(例如水平方向)，然后按照预设比例将较长边缩放至l像素，如图3所示。

在将传感器图像进行标准化处理后，将标准化处理后的传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素。

在可选的实施方式中，请结合参阅图4，将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素的步骤S20包括步骤S21至步骤S24。

步骤S21：根据模板图像中贴片的位置，确定传感器图像中贴片的初始位置。

步骤S22：以初始位置为中心，以设定长度为边长，确定贴片目标区域。

步骤S23：遍历贴片目标区域中的每个目标像素，计算每个目标像素的适应值。

步骤S24：将最小适应值对应的目标像素作为传感器图像中贴片的匹配像素。

在实际应用时，传感器是基于给定的模板制作而成的，其中，模板图像中给出了传感器贴片的位置，因此，通过将传感器图像以及模板图像进行比较，即可根据模板图像中的贴片的位置，初步确定传感器图像中贴片的初始位置。

在确定初始位置后，则根据设定长度为边长，确定贴片目标区域。

可选的，在本实施例中，可将初始位置作为中心，以标准化处理后的较长边l*04为边长的正方形区域为贴片目标区域。

可以理解地，贴片目标区域的确定可根据实际需求而设定，本实施例所举例子仅为其中一种实施方式。

在确定贴片目标区域后，则遍历贴片目标区域中的每个目标像素，计算每个目标像素的适应值。

作为一种可选的实施方式，本实施例采用回型遍历的方式遍历贴片目标区域中的每个目标像素。

可选的，遍历贴片目标区域中的每个目标像素，计算每个目标像素的适应值的步骤可以包括：

首先，根据模板图像中贴片的位置，对模板图像中贴片的区域进行剪裁，得到贴片模板。

然后，针对每个目标像素，将贴片模板移动到该目标像素的位置，并根据设定的角度以及缩放倍数对贴片模板进行调整，得到调整后的贴片模板以及贴片目标区域中与调整后的贴片模板对应的匹配区域。

最后，计算匹配区域中与调整后的贴片模板对应的所有像素的差值，根据所有像素的差值之和，得到该目标像素的适应值。

其中，模板图像中给出了传感器贴片的位置，因此，可根据传感器贴片的位置，从模板图像中剪裁出贴片的区域，从而得到贴片模板。在得到贴片模板后，即可遍历贴片目标区域中的每个目标像素，计算每个目标像素的适应值。

如图5所示，假设遍历到贴片目标区域中的a目标像素(x，y)，则将贴片模板的中心点移动到a目标像素，使中心点与a目标像素对齐，然后将贴片模板以设定的角度θ进行旋转，并以倍数s对贴片模板进行缩放，得到调整后的贴片模板。其中，贴片目标区域中与调整后的贴片模板对应的区域记为匹配区域，即图中阴影部分。

在得到调整后的贴片模板以及匹配区域后，计算匹配区域中与调整后的贴片模板对应的所有像素的差值，然后将所有像素的差值进行求和，即可得到a目标像素的适应值。

进一步的，贴片目标区域中的每个目标像素的适应值的计算公式可以为：

其中，J表示调整后的贴片模板，I表示匹配区域，Ω表示J落在贴片目标区域中的像素所构成的集合，即匹配区域中与调整后的贴片模板对应的所有像素构成的集合，(x₁，y₁)为集合中的像素，(x，y)为目标像素，s为缩放倍数，θ为旋转角度，f(x，y，s，θ)表示以θ为旋转角度、s为缩放倍数的目标像素(x，y)的适应值。

在计算得到每个目标像素的适应值之后，取最小适应值对应的目标像素作为传感器图像中贴片的匹配像素。

可以理解地，在本实施例中，贴片的匹配像素的适应值表示传感器图像中的贴片与模板图像中的贴片的匹配误差。

为了提高计算的准确性，可多次以不同的角度θ和缩放倍数s对贴片模板进行调整，然后基于不同的贴片模板重复计算目标像素的适应值的过程，得到每个目标像素不同的适应值，最后在多次计算得到的所有的适应值中，取适应值最小的目标像素作为匹配像素。

在得到贴片的匹配像素后，即可基于匹配像素，判断贴片是否合格。

在可选的实施方式中，根据贴片的匹配像素，判断贴片是否合格的步骤包括：

判断贴片的匹配像素的适应值是否小于预设阈值。

若小于或等于预设阈值，则判定贴片合格，若大于预设阈值，则判定贴片不合格。

由于在实际应用中，若传感器的贴片存在缺陷，例如贴片丢失时，计算得到的适应值最小的位置可能并不是贴片的位置(贴片不存在)，在这种情况下最小的适应值依然很大，因此，本实施例可通过判断最小的适应值是否小于预设阈值，即通过判断贴片的匹配像素的适应值是否小于预设阈值来判定贴片是否合格。

当匹配像素的适应值小于或等于预设阈值时，判定贴片合格，当匹配像素的适应值大于预设阈值时，判定贴片不合格。

可选的，在本实施例中，预设阈值可根据实际经验而设定，例如，实际应用中，可选取多个合格传感器的图像中的贴片与模板图像中的贴片进行匹配，计算多个合格传感器的图像中的贴片与模板图像中的贴片的匹配误差(适应值)，然后选取多个匹配误差的平均值作为预设阈值。

作为一种可选的实施方式，在判定传感器贴片是否合格，可基于判定得到的结果，对传感器图像中的贴片进行标注，如此，可根据贴片的标注判断传感器是否合格。

由于在实际应用中，若是只根据传感器的贴片是否合格来检测传感器的质量，则可能检测的准确性不高，因此，在本实施例中，在检测传感器的贴片是否合格后，还需要检测传感器的焊点是否合格。

进一步的，在得到传感器图像中的贴片的匹配像素之后，即可根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像。

可选的，根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像的步骤可以包括：

首先，根据传感器图像中贴片的匹配像素的位置，确定传感器图像中贴片的位置。

然后，根据模板图像中贴片与焊点的位置关系、传感器图像中贴片的位置，确定传感器图像中焊点的位置。

最后，根据焊点的位置，对传感器图像进行裁剪，得到焊点的焊点区域图像。

其中，模板图像中给出了传感器贴片和焊点的位置关系，因此，在确定传感器图像中贴片的位置后，可利用该位置关系，在传感器图像中确定焊点的位置。在得到焊点的位置后，则可以基于焊点的位置对传感器图像进行裁剪，得到焊点的焊点区域图像。

可选的，在基于焊点的位置对传感器图像进行裁剪时，可以以焊点的位置为中心，然后以设定长度为边长，确定焊点区域，对确定的焊点区域进行剪裁，即可得到焊点区域图像。

在得到焊点区域图像后，即可根据焊点区域图像，判断焊点是否合格。

可选的，根据焊点的焊点区域图像，判断焊点是否合格的步骤可以包括：

计算焊点区域图像与预先设置的焊点完整图像的误差，以及计算焊点区域图像与预先设置的焊点缺陷图像的误差。

若焊点区域图像与焊点完整图像的误差大于焊点区域图像与焊点缺陷图像的误差，判定焊点不合格。

若焊点区域图像与焊点完整图像的误差不大于焊点区域图像与焊点缺陷图像的误差，判定焊点合格。

可选的，在计算焊点区域图像与焊点完整图像的误差时，针对焊点区域图像中的每个像素，将焊点完整图像的中心移动到该像素的位置，并根据设定的角度以及缩放倍数对焊点完整图像进行调整，得到调整后的焊点完整图像以及焊点区域图像中与调整后的焊点完整图像对应的匹配区域，通过计算匹配区域中与调整后的焊点完整图像对应的所有像素的差值，根据所有像素的差值之和，得到该像素的适应值。

在计算得到每个像素的适应值后，最小的适应值为焊点区域图像与焊点完整图像的误差。

相应地，在计算焊点区域图像与焊点缺陷图像的误差时，也可通过焊点缺陷图像计算焊点区域图像中的每个像素的适应值，然后将最小的适应值作为焊点区域图像与焊点缺陷图像的误差。

在计算得到焊点区域图像与焊点完整图像的误差，以及焊点区域图像与焊点缺陷图像的误差后，通过比较计算得到的误差，即可判定传感器的焊点是否合格。

具体地，当焊点区域图像与焊点完整图像的误差大于焊点区域图像与焊点缺陷图像的误差时，判定焊点不合格，当焊点区域图像与焊点完整图像的误差不大于焊点区域图像与焊点缺陷图像的误差时，判定焊点合格。

作为一种可选的实施方式，在判定得到传感器焊点是否合格后，可基于判定得到的结果，对传感器图像中的焊点进行标注，如此，可根据焊点的标注判断传感器是否合格。

在本实施例中，只有当贴片和焊点均合格后，才能判定传感器合格，若至少存在一个不合格，则判定传感器不合格。

可选的，在本实施例中，判定传感器是否合格的步骤可以包括：

检测传感器图像中的贴片以及焊点的标注标识，当贴片和焊点的标注标识均为合格标识时，判定传感器合格，并将传感器图像标注为合格。当贴片和焊点的标注标识至少存在一个不合格时，判定传感器不合格，并将传感器图像标注为不合格。

本实施例所提供的图片标注方法，通过判断焊点与贴片是否合格，进而对传感器图像进行标注，不仅实现了传感器图像的自动标注，并且基于图像识别，其准确性高。

同时，本实施例提供的图片标注方法基于图像识别，对传感器图像中的焊点与贴片进行检测，在焊点与贴片均合格的情况，判定传感器合格，大大提高了检测的准确性。

为了进一步提高检测的准确性以及工作效率，请结合参阅图6，本实施例还提供一种传感器质量检测方法，应用于电子设备，由电子设备执行本实施例所提供的传感器质量检测方法。下面对图6所示的流程示意图进行详细阐述。

步骤S1：获取待检测传感器的图像。

步骤S2：根据预先训练得到质量检测模型对待检测传感器的图像进行质量检测，得到待检测传感器的质量检测结果。

其中，质量检测模型是根据前述所述的图片标注方法得到的标注图片训练得到。

在可选的实施方式中，质量检测模型可通过以下步骤训练得到。

首先，将标注图片分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本。

然后，将候选样本、同类样本以及异类样本输入至三元组神经网络进行训练，得到候选样本、同类样本以及异类样本的特征向量。

之后，通过预设损失函数，计算候选样本的特征向量与同类样本的特征向量的欧式距离值、候选样本的特征向量与异类样本的特征向量的欧式距离，并比较候选样本的特征向量与同类样本的特征向量的欧式距离值是否大于候选样本的特征向量与异类样本的特征向量的欧式距离；

若候选样本的特征向量与同类样本的特征向量的欧式距离值不大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，通过反向传播，调整三元组神经网络的参数，直至候选样本的特征向量与同类样本的特征向量的欧式距离值大于候选样本的特征向量与异类样本的特征向量的欧式距离，得到质量检测模型。

若候选样本的特征向量与同类样本的特征向量的欧式距离值大于候选样本的特征向量与异类样本的特征向量的欧式距离，三元组神经网络训练完成，得到质量检测模型。

其中，通过上述所述的图片标注方法，对多张传感器图像进行标注，从而得到多张标注图片。在得到多张标注图片后，将多张标注图片分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本。例如，候选样本为标注为不合格的标注图片，则同类样本也为标注为不合格的标注图片，异类样本则为标注为合格的标注图片。又例如，候选样本为标注为合格的标注图片，则同类样本也为标注为合格的标注图片，而异类样本则为标注为不合格的标注图片。

在得到候选样本、同类样本以及异类样本后，即可将候选样本、同类样本以及异类样本输入至三元组神经网络进行训练。

可选的，在本实施例中，可采用共享权值的ResNet-50骨干网络作为三元组神经网络的前馈网络，然后采用triplet loss作为预设损失函数，使得候选样本的特征向量与同类样本的特征向量的欧式距离值大于候选样本的特征向量与异类样本的特征向量的欧式距离。

本实施例所提供的传感器质量检测方法，基于图像识别，对传感器图像进行自动标注，通过将自动标注的传感器图像分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本对三元组神经网络进行训练，保证了训练样本的准确性，并且使得在根据训练得到质量检测模型对传感器质量进行自动检测时，不仅保证了检测的精确度，且提高了工作效率、降低了误检率、漏检率以及人工成本。

在上述基础上，请结合参阅图7，本实施例还提供一种图片标注装置10，应用于电子设备，所述装置包括图像获取模块11、图像匹配模块12以及图像标注模块13。

图像获取模块11用于获取待标注的传感器图像。

图像匹配模块12用于将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素，根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像。

图像标注模块13用于根据贴片的匹配像素，判断贴片是否合格，以及根据焊点的焊点区域图像，判断焊点是否合格，若贴片和焊点均合格，将传感器图像标注为合格，若贴片和焊点至少存在一个不合格，将传感器图像标注为不合格。

在上述基础上，本实施例还提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施方式任一所述的图片标注方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和存储介质的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本实施例提供的图片标注方法、装置、传感器质量检测方法和电子设备，在获取待标注的传感器图像后，将传感器图像与预先设置的模板图像进行匹配，确定传感器图像中的贴片的匹配像素，并根据传感器图像中的贴片的匹配像素以及模板图像，确定传感器图像中的焊点的焊点区域图像，在确定得到贴片的匹配像素和焊点的焊点区域图像后，根据贴片的匹配像素，判断贴片是否合格，以及根据焊点的焊点区域图像，判断焊点是否合格，若贴片和焊点均合格，将传感器图像标注为合格，若贴片和焊点至少存在一个不合格，则将传感器图像标注为不合格，如此，实现了传感器图像的自动标注，成本低，且标注的精确度高、检测的准确性较高。

除此之外，本实施例所提供的传感器质量检测方法，将自动标注的传感器图像分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本，基于候选样本、同类样本以及异类样本对三元组神经网络进行训练，保证了训练样本的准确性，使得在根据训练得到质量检测模型对传感器质量进行自动检测时，不仅保证了检测的精确度，且提高了工作效率、降低了误检率、漏检率以及人工成本。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图片标注方法，其特征在于，应用于电子设备，所述方法包括：

获取待标注的传感器图像；

将所述传感器图像与预先设置的模板图像进行匹配，确定所述传感器图像中的贴片的匹配像素，其具体步骤包括：根据所述模板图像中贴片的位置，确定所述传感器图像中贴片的初始位置；以所述初始位置为中心，以设定长度为边长，确定贴片目标区域；遍历所述贴片目标区域中的每个目标像素，计算每个所述目标像素的适应值；将最小适应值对应的目标像素作为所述传感器图像中贴片的匹配像素；

根据所述传感器图像中的贴片的匹配像素以及所述模板图像，确定所述传感器图像中焊点的焊点区域图像；

根据所述贴片的匹配像素，判断所述贴片是否合格，以及根据所述焊点的焊点区域图像，判断所述焊点是否合格；

若所述贴片和所述焊点均合格，将所述传感器图像标注为合格；若所述贴片和所述焊点至少存在一个不合格，将所述传感器图像标注为不合格。

2.根据权利要求1所述的图片标注方法，其特征在于，所述遍历所述贴片目标区域中的每个目标像素，计算每个所述目标像素的适应值的步骤包括：

根据所述模板图像中贴片的位置，对所述模板图像中贴片的区域进行剪裁，得到贴片模板；

遍历所述贴片目标区域中的每个目标像素，针对每个所述目标像素，将所述贴片模板移动到该目标像素的位置，并根据设定的角度以及缩放倍数对所述贴片模板进行调整，得到调整后的贴片模板以及所述贴片目标区域中与调整后的贴片模板对应的匹配区域；

计算所述匹配区域中与调整后的贴片模板对应的所有像素的差值，根据所有像素的差值之和，得到该目标像素的适应值。

3.根据权利要求2所述的图片标注方法，其特征在于，所述根据所述贴片的匹配像素，判断所述贴片是否合格的步骤包括：

判断所述贴片的匹配像素的适应值是否小于预设阈值；

若小于或等于，则判定所述贴片合格，若大于，则判定所述贴片不合格。

4.根据权利要求1所述的图片标注方法，其特征在于，所述根据所述传感器图像中的贴片的匹配像素以及所述模板图像，确定所述传感器图像中焊点的焊点区域图像的步骤包括：

根据所述传感器图像中贴片的匹配像素的位置，确定所述传感器图像中贴片的位置；

根据所述模板图像中贴片与焊点的位置关系、所述传感器图像中贴片的位置，确定所述传感器图像中焊点的位置；

根据所述焊点的位置，对所述传感器图像进行裁剪，得到所述焊点的焊点区域图像。

5.根据权利要求4所述的图片标注方法，其特征在于，所述根据所述焊点的焊点区域图像，判断所述焊点是否合格的步骤包括：

计算所述焊点区域图像与预先设置的焊点完整图像的误差，以及计算所述焊点区域图像与预先设置的焊点缺陷图像的误差；

若所述焊点区域图像与所述焊点完整图像的误差大于所述焊点区域图像与焊点缺陷图像的误差，判定所述焊点不合格；

若所述焊点区域图像与所述焊点完整图像的误差不大于所述焊点区域图像与焊点缺陷图像的误差，判定所述焊点合格。

6.一种图片标注装置，其特征在于，应用于电子设备，所述装置包括图像获取模块、图像匹配模块以及图像标注模块；

所述图像获取模块用于获取待标注的传感器图像；

所述图像匹配模块用于将所述传感器图像与预先设置的模板图像进行匹配，确定所述传感器图像中的贴片的匹配像素，其具体步骤包括：首先根据所述模板图像中贴片的位置，确定所述传感器图像中贴片的初始位置；然后以所述初始位置为中心，以设定长度为边长，确定贴片目标区域；然后遍历所述贴片目标区域中的每个目标像素，计算每个所述目标像素的适应值；然后将最小适应值对应的目标像素作为所述传感器图像中贴片的匹配像素；最后根据所述传感器图像中的贴片的匹配像素以及所述模板图像，确定所述传感器图像中焊点的焊点区域图像；

所述图像标注模块用于根据所述贴片的匹配像素，判断所述贴片是否合格，以及根据所述焊点的焊点区域图像，判断所述焊点是否合格，若所述贴片和所述焊点均合格，将所述传感器图像标注为合格，若所述贴片和所述焊点至少存在一个不合格，将所述传感器图像标注为不合格。

7.一种传感器质量检测方法，其特征在于，应用于电子设备，所述方法包括：

获取待检测传感器的图像；

根据预先训练得到质量检测模型对所述待检测传感器的图像进行质量检测，得到所述待检测传感器的质量检测结果；其中，所述质量检测模型是根据权利要求1-5任一项所述的图片标注方法得到的标注图片训练得到。

8.根据权利要求7所述的传感器质量检测方法，其特征在于，所述方法还包括：

将所述标注图片分为候选样本、与候选样本同类的同类样本以及与候选样本异类的异类样本；

将所述候选样本、所述同类样本以及所述异类样本输入至三元组神经网络进行训练，得到所述候选样本、所述同类样本以及所述异类样本的特征向量；

通过预设损失函数，计算所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值、所述候选样本的特征向量与所述异类样本的特征向量的欧式距离，并比较所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值是否大于所述候选样本的特征向量与所述异类样本的特征向量的欧式距离；

若所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值不大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，通过反向传播，调整所述三元组神经网络的参数，直至所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，得到所述质量检测模型；

若所述候选样本的特征向量与所述同类样本的特征向量的欧式距离值大于候选样本的特征向量与所述异类样本的特征向量的欧式距离，所述三元组神经网络训练完成，得到所述质量检测模型。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的图片标注方法。

Images