CN116343100B - 一种基于自监督学习的目标识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于自监督学习的目标识别方法及系统，属于目标识别领域，涉及自监督学习技术，用于解决现有技术识别过程中训练数据的采集需要浪费人力以及时间的问题；包括：目标采集模块、处理模块、目标分析模块以及数据存储模块；将目标采集模块获取的确定含有的指定目标的第一记录视频中的数据作为分析样本，进行平均值以及允差值的获取，获取分析值的判定范围；而后对第二记录视频进行同样的预处理操作，任意选取像素点并获取临近像素点计算该像素点的分析值，判定是否为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别，无需进行样本的采集进而避免人力以及时间的浪费。

Description

一种基于自监督学习的目标识别方法及系统

技术领域

本发明属于目标识别领域，涉及自监督学习技术，具体是一种基于自监督学习的目标识别方法及系统。

背景技术

目标识别是指一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中被区分出来的过程。它既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。

现有技术中的目标识别一般都是通过训练模型进行识别，首选需要进行目标技术特征的提取，并建立训练模型，将训练模型输入神经网络模块或其他模型中，在将需要进行识别的信息通过神经网络识别的方式进行识别。

以上的识别方式需要依靠大量的训练数据，训练数据的获取过程需要浪费大量的人力和时间。

为此，本发明提出一种基于自监督学习的目标识别方法及系统。

发明内容

本申请的目的是提供一种基于自监督学习的目标识别方法及系统，用于解决现有技术识别过程中训练数据的采集需要浪费人力以及时间的问题，本发明将目标采集模块获取的确定含有的指定目标的第一记录视频中的数据作为分析样本，分析样本完全来源于待识别的数据样本中，通过对自身样本的预处理，对第一记录视频逐帧分解成灰度图像，获取处理帧集合，且对处理帧集合中的目标像素点进行分析值的计算，并结合处理帧集合中的所有图像帧进行平均值以及允差值的获取，获取分析值的判定范围；

而后对第二记录视频进行同样的预处理操作，将第二记录视频逐帧分解成灰度图像，目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值，任意选取像素点并获取临近像素点计算该像素点的分析值，且与平均值、允差值构成的区间进行比较判定是否为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别，无需进行样本的采集进而避免人力以及时间的浪费。

为实现上述目的，本申请的一个提供了一种基于自监督学习的目标识别系统，包括：目标采集模块、处理模块、目标分析模块以及数据存储模块；

所述目标采集模块用于获取第一记录视频以及第二记录视频；并将获取的第一记录视频和第二记录视频发送至处理模块；

所述处理模块用于对第一记录视频进行处理，包括：

将第一记录视频逐帧分解成灰度图像，处理图像分辨率；

判定当前帧是否为首帧图像或尾帧图像，并将首帧图像、中间帧图像……中间帧图像、尾帧图像标记为处理帧集合；将处理帧集合发送至目标分析模块；

所述处理模块还用于对第二记录视频进行处理，包括：

将第二记录视频逐帧分解成灰度图像，处理图像分辨率，并将灰度图像发送至目标分析模块；

所述目标分析模块用于对处理帧集合进行分析，过程包括：

目标分析模块获取处理帧集合内任意帧图像中像素点的像素灰度值，并将像素点的灰度值标记为HDj(x,y)，其中的j表示处理帧集合内单帧图像的编号，j=1,2……m；(x,y)表示像素点的坐标值；

目标分析模块获取指定目标的轮廓，并将目标的轮廓边缘像素点标记为目标像素点；目标分析模块获取目标像素点的临近像素点；

目标分析模块利用计算公式计算目标像素点的分析值FXj(x,y)，其中，目标像素点的分析值FXj(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数， 表示影响因子；；

目标分析模块获取单帧图像内所有目标像素点的分析值FXj(x,y)计算平均值标记为FXj，并获取处理帧集合对应的分析值集合F（FX1、FX2……FXm）;目标分析模块获取分析值集合F内FXj的数值大小，并分别获取最大值、最小值以及平均值；

并取最大值与平均值 的差值和最小值与平均值/>的差值的中间值作为允差值；将平均值以及允差值发送至数据存储模块；

所述目标分析模块还用于对处理后的灰度图像进行像素化，并获取对应像素点的灰度值；

选取任意像素点，并获取该像素点对应的临近像素点；目标分析模块利用计算公式计算该像素点的分析值FXz(x,y)；

当分析值FXz(x,y)∈（平均值-允差值，允差值+平均值）时，将该像素点标记为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

优选地，所述目标采集模块内包含多个视频采集设备，所述视频采集设备包括高清摄像头和动作云台。

优选地，所述第一记录视频内包含需要进行识别的指定目标，且第一记录视频为由RGB相机获取的三通道场景视频。

优选地，首帧图像为指定目标首次出现的图像帧，尾帧图像为指定目标首先消失的图像帧。

优选地，临近像素点的选取方式包括：

以目标像素点为中心，获取与目标像素点直接接触的像素点并标记为临近像素点。

优选地，分析值FXz(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数，表示影响因子；；z表示图像帧的编号。

优选地，图像分辨率处理为128*416。

本申请的另一个提供了一种基于自监督学习的目标识别方法，包括以下步骤：

目标采集模块获取第一记录视频以及第二记录视频；并将获取的第一记录视频和第二记录视频发送至处理模块；

处理模块将第一记录视频逐帧分解成灰度图像，处理图像分辨率；并对每一帧图像进行判断识别，判定当前帧是否为首帧图像或尾帧图像，并将首帧图像、中间帧图像……中间帧图像、尾帧图像标记为处理帧集合；且将处理帧集合发送至目标分析模块；

目标分析模块获取处理帧集合内任意帧图像中像素点的像素灰度值，并将像素点的灰度值标记为HDj(x,y)，其中的j表示处理帧集合内单帧图像的编号，j=1,2……m；(x,y)表示像素点的坐标值；目标分析模块获取指定目标的轮廓，并将目标的轮廓边缘像素点标记为目标像素点；目标分析模块并获取目标像素点的临近像素点；

目标分析模块利用计算公式计算目标像素点的分析值FXj(x,y)；

目标分析模块获取单帧图像内所有目标像素点的分析值FXj(x,y)计算平均值标记为FXj，并获取处理帧集合对应的分析值集合F（FX1、FX2……FXm）;

目标分析模块获取分析值集合F内FXj的数值大小，并分别获取最大值、最小值以及平均值；

并取最大值与平均值的差值和最小值与平均值/>的差值的中间值作为允差值；将平均值以及允差值发送至数据存储模块；

所述处理模块还对第二记录视频进行预处理，逐帧分解成灰度图像；

目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值；

目标分析模块选取任意像素点，并获取该像素点对应的临近像素点；

目标分析模块利用计算公式计算该像素点的分析值FXz(x,y)；

当分析值FXz(x,y)∈（平均值-允差值，允差值+平均值）时，将该像素点标记为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

其中，临近像素点的选取方式包括：

以目标像素点为中心，获取与目标像素点直接接触的像素点并标记为临近像素点。

与现有技术相比，本发明的有益效果是：

本发明无需事先建立训练样本，将目标采集模块获取的确定含有的指定目标的第一记录视频中的数据作为分析样本，分析样本完全来源于待识别的数据样本中，通过对自身样本的预处理，对第一记录视频逐帧分解成灰度图像，获取处理帧集合，且对处理帧集合中的目标像素点进行分析值的计算，并结合处理帧集合中的所有图像帧进行平均值以及允差值的获取，获取分析值的判定范围；

而后对第二记录视频进行同样的预处理操作，将第二记录视频逐帧分解成灰度图像，目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值，任意选取像素点并获取临近像素点计算该像素点的分析值，且与平均值、允差值构成的区间进行比较判定是否为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于自监督学习的目标识别系统的结构框图；

图2为本发明一种基于自监督学习的目标识别方法的流程框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

具体请参照图1，一种基于自监督学习的目标识别系统，包括目标采集模块、数据存储模块，所述目标采集模块内包含多个视频采集设备，所述视频采集设备包括高清摄像头和动作云台；

所述目标采集模块还连接有处理模块、目标分析模块;；

其中，所述目标采集模块与处理模块通信连接，处理模块与目标分析模块通信连接；

其中，所述目标采集模块将视频采集设备分别进行标记，标记为i，i=1,2……n；所述目标采集模块将视频采集设备i的位置信息发送至数据存储模块中进行存储；

所述目标采集模块用于获取第一记录视频以及第二记录视频；并将获取的第一记录视频和第二记录视频发送至处理模块；

需要进行说明的是，所述第一记录视频内包含需要进行识别的指定目标，且第一记录视频为由RGB相机获取的三通道场景视频；

所述处理模块用于对接收到的第一记录视频进行预处理，其中的预处理包括逐帧分解成灰度图像，处理图像分辨率。在一个实施例中，图像分辨率处理为128*416；

处理模块并对每一帧图像进行判断识别，判定当前帧是否为首帧图像或尾帧图像，并将首帧图像、中间帧图像……中间帧图像、尾帧图像标记为处理帧集合；

其中首帧图像为指定目标首次出现的图像帧，尾帧图像为指定目标首先消失的图像帧；

处理模块将获取的处理帧集合发送至目标分析模块；

所述目标分析模块用于对处理帧集合中的指定目标进行分析，其中，对指定目标进行分析的过程包括以下步骤：

目标分析模块获取处理帧集合内任意帧图像中像素点的像素灰度值，并将像素点的灰度值标记为HDj(x,y)，其中的j表示处理帧集合内单帧图像的编号，j=1,2……m；(x,y)表示像素点的坐标值；

目标分析模块获取指定目标的轮廓，并将目标的轮廓边缘像素点标记为目标像素点；

目标分析模块获取目标像素点的临近像素点，其中临近像素点的选取方式包括：

以目标像素点为中心，获取与目标像素点直接接触的像素点并标记为临近像素点；

在一个具体的实施例中，以目标像素点为中心，与目标像素点相邻的八个像素点即为临近像素点；

目标分析模块利用计算公式计算目标像素点的分析值FXj(x,y)，其中，目标像素点的分析值FXj(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数， 表示影响因子；；

目标分析模块获取单帧图像内所有目标像素点的分析值FXj(x,y)计算平均值标记为FXj，并获取处理帧集合对应的分析值集合F（FX1、FX2……FXm）;

目标分析模块获取分析值集合F内FXj的数值大小，并分别获取最大值、最小值以及平均值；

并取最大值与平均值的差值和最小值与平均值/>的差值的中间值作为允差值；将平均值以及允差值发送至数据存储模块；

在本申请中，所述第二记录视频为待识别的记录视频，不确定第二记录视频中是否有指定目标；

所述处理模块还用于对第二记录视频进行预处理，其中预处理的方式与处理模块对第一记录视频进行预处理的方式一致，都包括逐帧分解成灰度图像；

其次，所述目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值；

目标分析模块选取任意像素点，并获取该像素点对应的临近像素点；

目标分析模块利用计算公式计算该像素点的分析值FXz(x,y)，其中，分析值FXz(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数，表示影响因子；；z表示图像帧的编号；

当分析值FXz(x,y)∈（平均值-允差值，允差值+平均值）时，将该像素点标记为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

本实施例提出的基于自监督学习的目标识别系统，无需事先建立训练样本，将目标采集模块获取的确定含有的指定目标的第一记录视频中的数据作为分析样本，分析样本完全来源于待识别的数据样本中，通过对自身样本的预处理，对第一记录视频逐帧分解成灰度图像，获取处理帧集合，且对处理帧集合中的目标像素点进行分析值的计算，并结合处理帧集合中的所有图像帧进行平均值以及允差值的获取，获取分析值的判定范围；

而后对第二记录视频进行同样的预处理操作，将第二记录视频逐帧分解成灰度图像，目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值，任意选取像素点并获取临近像素点计算该像素点的分析值，且与平均值、允差值构成的区间进行比较判定是否为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

实施例2

具体请参照图2，一种基于自监督学习的目标识别方法，该目标识别方法包括以下步骤：

目标采集模块获取第一记录视频以及第二记录视频；并将获取的第一记录视频和第二记录视频发送至处理模块；

其中，所述第一记录视频内包含需要进行识别的指定目标，且第一记录视频为由RGB相机获取的三通道场景视频；

处理模块将第一记录视频逐帧分解成灰度图像，处理图像分辨率；并对每一帧图像进行判断识别，判定当前帧是否为首帧图像或尾帧图像，并将首帧图像、中间帧图像……中间帧图像、尾帧图像标记为处理帧集合；且将处理帧集合发送至目标分析模块；

目标分析模块获取处理帧集合内任意帧图像中像素点的像素灰度值，并将像素点的灰度值标记为HDj(x,y)，其中的j表示处理帧集合内单帧图像的编号，j=1,2……m；(x,y)表示像素点的坐标值；目标分析模块获取指定目标的轮廓，并将目标的轮廓边缘像素点标记为目标像素点；目标分析模块并获取目标像素点的临近像素点；

其中，临近像素点的选取方式包括：

以目标像素点为中心，获取与目标像素点直接接触的像素点并标记为临近像素点；

目标分析模块利用计算公式计算目标像素点的分析值FXj(x,y)，其中，目标像素点的分析值FXj(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数，表示影响因子；；

目标分析模块获取单帧图像内所有目标像素点的分析值FXj(x,y)计算平均值标记为FXj，并获取处理帧集合对应的分析值集合F（FX1、FX2……FXm）;

目标分析模块获取分析值集合F内FXj的数值大小，并分别获取最大值、最小值以及平均值；

并取最大值与平均值的差值和最小值与平均值/>的差值的中间值作为允差值；将平均值以及允差值发送至数据存储模块；

所述处理模块还对第二记录视频进行预处理，逐帧分解成灰度图像；

目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值；

目标分析模块选取任意像素点，并获取该像素点对应的临近像素点；

目标分析模块利用计算公式计算该像素点的分析值FXz(x,y)；

当分析值FXz(x,y)∈（平均值-允差值，允差值+平均值）时，将该像素点标记为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

本实施例提出的基于自监督学习的目标识别方法，无需事先建立训练样本，将目标采集模块获取的确定含有的指定目标的第一记录视频中的数据作为分析样本，分析样本完全来源于待识别的数据样本中，通过对自身样本的预处理，对第一记录视频逐帧分解成灰度图像，获取处理帧集合，且对处理帧集合中的目标像素点进行分析值的计算，并结合处理帧集合中的所有图像帧进行平均值以及允差值的获取，获取分析值的判定范围；

而后对第二记录视频进行同样的预处理操作，将第二记录视频逐帧分解成灰度图像，目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值，任意选取像素点并获取临近像素点计算该像素点的分析值，且与平均值、允差值构成的区间进行比较判定是否为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

工作原理：本发明通过对自身样本的预处理，对第一记录视频逐帧分解成灰度图像，获取处理帧集合，且对处理帧集合中的目标像素点进行分析值的计算，并结合处理帧集合中的所有图像帧进行平均值以及允差值的获取，获取分析值的判定范围；

而后对第二记录视频进行同样的预处理操作，将第二记录视频逐帧分解成灰度图像，目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值，任意选取像素点并获取临近像素点计算该像素点的分析值，且与平均值、允差值构成的区间进行比较判定是否为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于自监督学习的目标识别系统，其特征在于，包括：目标采集模块、处理模块、目标分析模块以及数据存储模块；

所述目标采集模块用于获取第一记录视频以及第二记录视频；并将获取的第一记录视频和第二记录视频发送至处理模块；

所述处理模块用于对第一记录视频进行处理，包括：

将第一记录视频逐帧分解成灰度图像，处理图像分辨率；

判定当前帧是否为首帧图像或尾帧图像，并将首帧图像、中间帧图像……中间帧图像、尾帧图像标记为处理帧集合；将处理帧集合发送至目标分析模块；

所述处理模块还用于对第二记录视频进行处理，包括：

将第二记录视频逐帧分解成灰度图像，处理图像分辨率，并将灰度图像发送至目标分析模块；

所述目标分析模块用于对处理帧集合进行分析，过程包括：

目标分析模块获取处理帧集合内任意帧图像中像素点的像素灰度值，并将像素点的灰度值标记为HDj(x,y)，其中的j表示处理帧集合内单帧图像的编号，j=1,2……m；(x,y)表示像素点的坐标值；

目标分析模块获取指定目标的轮廓，并将目标的轮廓边缘像素点标记为目标像素点；目标分析模块获取目标像素点的临近像素点；

目标分析模块利用计算公式计算目标像素点的分析值FXj(x,y)，其中，目标像素点的分析值FXj(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数，表示影响因子；；

目标分析模块获取单帧图像内所有目标像素点的分析值FXj(x,y)计算平均值标记为FXj，并获取处理帧集合对应的分析值集合F（FX1、FX2……FXm）;目标分析模块获取分析值集合F内FXj的数值大小，并分别获取最大值、最小值以及平均值；

并取最大值与平均值的差值和最小值与平均值/>的差值的中间值作为允差值；将平均值以及允差值发送至数据存储模块；

所述目标分析模块还用于对处理后的灰度图像进行像素化，并获取对应像素点的灰度值；

选取任意像素点，并获取该像素点对应的临近像素点；目标分析模块利用计算公式计算该像素点的分析值FXz(x,y)；

当分析值FXz(x,y)∈（平均值-允差值，允差值+平均值）时，将该像素点标记为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别；

分析值FXz(x,y)的计算方式为：

，

式中，s表示临近像素点的编号，S表示临近像素点的总数，表示影响因子；∈(0,1)；z表示图像帧的编号。

2.如权利要求1所述的一种基于自监督学习的目标识别系统，其特征在于，所述目标采集模块内包含多个视频采集设备，所述视频采集设备包括高清摄像头和动作云台。

3.如权利要求1所述的一种基于自监督学习的目标识别系统，其特征在于，所述第一记录视频内包含需要进行识别的指定目标，且第一记录视频为由RGB相机获取的三通道场景视频。

4.如权利要求1所述的一种基于自监督学习的目标识别系统，其特征在于，首帧图像为指定目标首次出现的图像帧，尾帧图像为指定目标首先消失的图像帧。

5.如权利要求1所述的一种基于自监督学习的目标识别系统，其特征在于，临近像素点的选取方式包括：

以目标像素点为中心，获取与目标像素点直接接触的像素点并标记为临近像素点。

6.如权利要求1所述的一种基于自监督学习的目标识别系统，其特征在于，图像分辨率处理为128*416。

7.一种基于自监督学习的目标识别方法，基于权利要求1-6任意一项的一种基于自监督学习的目标识别系统实现，其特征在于，包括以下步骤：

目标采集模块获取第一记录视频以及第二记录视频；并将获取的第一记录视频和第二记录视频发送至处理模块；

处理模块将第一记录视频逐帧分解成灰度图像，处理图像分辨率；并对每一帧图像进行判断识别，判定当前帧是否为首帧图像或尾帧图像，并将首帧图像、中间帧图像……中间帧图像、尾帧图像标记为处理帧集合；且将处理帧集合发送至目标分析模块；

目标分析模块获取处理帧集合内任意帧图像中像素点的像素灰度值，并将像素点的灰度值标记为HDj(x,y)，其中的j表示处理帧集合内单帧图像的编号，j=1,2……m；(x,y)表示像素点的坐标值；目标分析模块获取指定目标的轮廓，并将目标的轮廓边缘像素点标记为目标像素点；目标分析模块并获取目标像素点的临近像素点；

目标分析模块利用计算公式计算目标像素点的分析值FXj(x,y)；

目标分析模块获取单帧图像内所有目标像素点的分析值FXj(x,y)计算平均值标记为FXj，并获取处理帧集合对应的分析值集合F（FX1、FX2……FXm）;

目标分析模块获取分析值集合F内FXj的数值大小，并分别获取最大值、最小值以及平均值；

并取最大值与平均值的差值和最小值与平均值/>的差值的中间值作为允差值；将平均值以及允差值发送至数据存储模块；

所述处理模块还对第二记录视频进行预处理，逐帧分解成灰度图像；

目标分析模块对处理后的灰度图像进行像素化，并获取对应像素点的灰度值；

目标分析模块选取任意像素点，并获取该像素点对应的临近像素点；

目标分析模块利用计算公式计算该像素点的分析值FXz(x,y)；

当分析值FXz(x,y)∈（平均值-允差值，允差值+平均值）时，将该像素点标记为特征像素点，获取特征像素点对应的封闭曲线标记为指定目标轮廓，完成对指定目标的识别。

8.如权利要求7所述的一种基于自监督学习的目标识别方法，其特征在于，临近像素点的选取方式包括：

以目标像素点为中心，获取与目标像素点直接接触的像素点并标记为临近像素点。