CN111866376A - 特征识别方法、装置、云台相机及存储介质 - Google Patents

Abstract

本发明提供了一种特征识别方法、装置、云台相机及存储介质，涉及相机技术领域，该方法包括：利用主摄像头和副摄像头同步采集图像；其中，主摄像头的分辨率大于副摄像头的分辨率；获取副摄像头采集的目标图像，对目标图像进行特征识别，得到目标图像的特征关键词；从主摄像头采集的图像中获取与目标图像相对应的高清图像，将特征关键词作为高清图像的特征标签；其中，目标图像与高清图像为同时采集得到的图像。本发明能够提升云台相机的运算处理效率及图像特征识别的稳定性。

Description

特征识别方法、装置、云台相机及存储介质

技术领域

本发明涉及相机技术领域，尤其是涉及一种特征识别方法、装置、云台相机及存储介质。

背景技术

随着视觉处理技术和人工智能技术的发展，手持智能相机的拍摄功能也越来越强大，诸如可以在拍摄过程中识别图像中的各个物体特征，以便于用户对拍摄的照片或视频进行分类管理。然而，现有的智能相机的拍摄的图像通常为高清图像，相机在进行特征识别时，需要对高清图像进行压缩处理后才能发送到处理器中进行特征识别，处理效率较低，且占用资源较大无法保证稳定的特征识别处理效果。因此，现有的利用相机进行特征识别的技术还存在图像处理效率较低，且图像处理稳定性较低的问题。

发明内容

有鉴于此，本发明的目的在于提供一种特征识别方法、装置、云台相机及存储介质，能够提升运算处理效率及对图像进行特征识别的稳定性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种特征识别方法，应用于目标相机，所述目标相机包括主摄像头和副摄像头，所述主摄像头的分辨率大于所述副摄像头的分辨率，所述方法包括：利用所述主摄像头和所述副摄像头同步采集图像；获取所述副摄像头采集的目标图像，对所述目标图像进行特征识别，得到所述目标图像的特征关键词；从所述主摄像头采集的图像中获取与所述目标图像相对应的高清图像，将所述特征关键词作为所述高清图像的特征标签；其中，所述目标图像与所述高清图像为同时采集得到的图像。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对所述目标图像进行特征识别，得到所述目标图像的特征关键词的步骤，包括：利用预先训练得到的神经网络模型对所述目标图像进行识别，得到所述目标图像中各个物体所属的特征类别；基于各个物体所属的特征类别确定所述目标图像的特征关键词。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述特征关键词包括一个或多个；所述基于各个物体所属的特征类别确定所述目标图像的特征关键词的步骤，包括：确定各个所述物体类别在所述目标图像中的显示次数或频率；将各个所述物体类别的显示次数或频率按照由高到低的次序进行排序，得到排序结果；从所述排序结果中由高到低获取预设个数的物体类别，得到所述目标图像的特征关键词。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述对所述目标图像进行特征识别，得到所述目标图像的特征关键词的步骤，包括：基于预先训练好的第一神经网络模型对所述目标图像进行特征识别，得到第一识别结果；基于预先训练好的第二神经网络模型对所述高清图像进行特征识别，得到第二识别结果；基于所述第一识别结果和所述第二识别结果得到所述目标图像的特征关键词。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：将所述副摄像头采集的图像依次作为新的目标图像，将所述新的目标图像的特征关键词作为所述新的目标图像相对应高清图像的特征标签，直至得到所述主摄像头采集的各高清图像的特征标签。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：基于所述特征标签从所述主摄像头采集的图像中检索所述特征标签相对应的高清图像，得到图像检索结果。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：基于所述特征标签对所述高清图像进行标注，得到标注后的样本图像。

第二方面，本发明实施例还提供了一种特征识别装置，应用于目标相机的控制器，所述目标相机包括主摄像头和副摄像头，所述主摄像头的分辨率大于所述副摄像头的分辨率，所述装置包括：图像采集模块，用于利用所述主摄像头和所述副摄像头同步采集图像；特征识别模块，用于获取所述副摄像头采集的目标图像，对所述目标图像进行特征识别，得到所述目标图像的特征关键词；特征匹配模块，用于从所述主摄像头采集的图像中获取与所述目标图像相对应的高清图像，将所述特征关键词作为所述高清图像的特征；其中，所述目标图像与所述高清图像为同时采集得到的图像。

第三方面，本发明实施例提供了一种云台相机，包括：主摄像头、副摄像头、处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种特征识别方法、装置、云台相机及存储介质，该方法包括：利用主摄像头和副摄像头同步采集图像；获取副摄像头采集的目标图像，对目标图像进行特征识别，得到目标图像的特征关键词；从主摄像头采集的图像中获取与目标图像相对应的高清图像(目标图像与高清图像为同时采集得到的图像)，将特征关键词作为高清图像的特征标签。通过对副摄像头采集的目标图像进行特征识别，确定目标图像的特征关键词，进而可以确定相对应的高清图像的特征标签，由于副摄像头采集的目标图像的分辨率较低，无需进行压缩处理，提升了运算处理效率，且该图像占用资源较小，提升了对图像进行特征识别的稳定性。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种特征识别方法流程图；

图2示出了本发明实施例所提供的一种特征识别装置结构示意图；

图3示出了本发明实施例所提供的一种云台相机结构示意图。

图标：

31-主摄像头；32-副摄像头；33-处理器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

目前，考虑到现有的利用相机进行特征识别的技术还存在图像处理效率较低，且图像处理稳定性较低的问题，为改善此问题，本发明实施例提供的一种特征识别方法、装置、云台相机及存储介质，该技术可应用于提升运算处理效率及对图像进行特征识别的稳定性。以下对本发明实施例进行详细介绍。

实施例一：

本发明提供了一种特征识别方法，可以应用于目标相机，该目标相机包括主摄像头和副摄像头，主摄像头的分辨率大于副摄像头的分辨率，参见图1所示的特征识别方法流程图，该方法主要包括以下步骤S102～步骤S106执行：

步骤S102，利用主摄像头和副摄像头同步采集图像。

控制上述目标相机的主摄像头和副摄像头进行同步采集图像，由于上述主摄像头和副摄像头的相对位置是固定的(诸如，主摄像头和副摄像头为横向分布或纵向分布)，为了使上述主摄像头和副摄像头采集图像中的目标物体尽可能相同，上述主摄像头和副摄像头之间的距离可以尽可能地小。为了提升上述目标相机拍摄的稳定性，上述目标相机还可以包括增稳结构，上述主摄像头和副摄像头设置于增稳结构上，使主摄像头和副摄像头可以在增稳结构的驱动下同步移动。

步骤S104，获取副摄像头采集的目标图像，对目标图像进行特征识别，得到目标图像的特征关键词。

通过目标相机的处理器或控制器获取副摄像头采集到的目标图像，识别该目标图像中的物体特征(该物体特征诸如可以是动物、植物、成人、儿童、男生、女生、蓝天、白云等物体特征)，根据识别得到的目标图像中的物体特征，可以对目标图像进行特征关键词标记。上述副摄像头的分辨率小于主摄像头的分辨率，因此副摄像头采集的目标图像的分辨率小于主摄像头采集的高清图像的分辨率，通过对分辨率较小的目标图像进行特征识别，可以减小图像处理的计算复杂度。

步骤S106，从主摄像头采集的图像中获取与目标图像相对应的高清图像，将特征关键词作为高清图像的特征标签。

上述目标图像与高清图像为同时采集得到的图像。为了便于对主摄像头采集的高清图像的管理，对主摄像头采集的高清图像进行特征标记，由于主摄像头与副摄像头同步采集图像中的物体相同，通过从主摄像头采集的图像中获取与目标图像相对应的高清图像，即从主摄像头采集的图像中获取与目标图像拍摄时刻相同的高清图像，可以将特征关键词作为高清图像的特征标签。

本实施例提供的上述特征识别方法，通过对副摄像头采集的目标图像进行特征识别，确定目标图像的特征关键词，进而可以确定相对应的高清图像的特征标签，由于副摄像头采集的目标图像的分辨率较低，无需进行压缩处理，提升了运算处理效率，且该图像占用资源较小，提升了对图像进行特征识别的稳定性。

为了提升图像特征识别的稳定性，本实施例提供了对目标图像进行特征识别，得到目标图像的特征关键词的两种实施方式，具体可参照如下方式一和方式二执行：

方式一：在该实施方式中，通过对副摄像头拍摄的目标图像进行特征识别，得到目标图像中各个物体所属的特征类别，具体可参照如下步骤(1)～步骤(2)执行：

步骤(1)：利用预先训练得到的神经网络模型对目标图像进行识别，得到目标图像中各个物体所属的特征类别。

上述神经网络模型可以是基于预先标注好的样本图像训练得到的，该样本图像可以是标注有各个物体的特征类别的图像，上述神经网络模型可以是卷积神经网络。将目标图像输入训练后的神经网络模型，可以得到目标图像中各个物体所属的特征类别。在实际应用中，还可以通过特征识别算法识别目标图像中各个物体所属的特征类别。

步骤(2)：基于各个物体所属的特征类别确定目标图像的特征关键词。

上述特征关键词可以包括一个或多个，具体的，可以确定各个物体类别在目标图像中的显示次数或频率；将各个物体类别的显示次数或频率按照由高到低的次序进行排序，得到排序结果；从排序结果中由高到低获取预设个数的物体类别，得到目标图像的特征关键词。将目标图像中各个类别物体按照出现频率或次数由高到低进行排序，从排位最高的第一位开始，获取预设个数的物体类别，将该预设个数的物体类别作为目标图像的特征关键词。诸如，上述预设个数为2，目标图像中的出现频率最高的前两位为儿童和植物，则将儿童和植物作为目标图像的特征关键词。

方式二：在该实施方式中，为了进一步提升特征识别的准确率，可以基于预先训练好的第一神经网络模型对目标图像进行特征识别，得到第一识别结果；基于预先训练好的第二神经网络模型对高清图像进行特征识别，得到第二识别结果；基于第一识别结果和第二识别结果得到目标图像的特征关键词。上述第一神经网络模型与第二神经网络模型相同或不同，上述第一神经网络模型和第二神经网络模型可以是基于预先标注好的样本图像训练得到的，该样本图像包括图像中各物体的样本标签。为了使得到的识别结果更加准确，比较上述第一识别结果与第二识别结果是否相同，如果相同，从第一识别结果或第二识别结果中获取预设个数(按照物体类别的出现频率，由高到低获取)的物体类别；如果不同，从第一识别结果和第二识别结果中获取识别结果相同的物体类别，将第一识别结果和第二识别结果中相同的识别结果作为目标图像的特征关键词。

为了方便对拍摄得到的高清图像的管理，实施例提供的方法还包括：将副摄像头采集的图像依次作为新的目标图像，将新的目标图像的特征关键词作为新的目标图像相对应高清图像的特征标签，直至得到主摄像头采集的各高清图像的特征标签。将副摄像头采集的图像依次作为新的目标图像，获取各新的目标图像，对新的目标图像进行特征识别，得到新的目标图像的特征关键词，从主摄像头采集的图像中获取与新的目标图像相对应的高清图像，将特征关键词作为新的高清图像的特征标签，从而可以得到主摄像头拍摄得到的所有高清图像的特征标签。

在一种具体的实施方式中，还可以基于特征标签，从主摄像头采集的图像中检索特征标签相对应的高清图像，得到图像检索结果。由于主摄像头采集的高清图像都标注有特征标签，通过基于特征标签进行图像检索，可以从图库中检索出标注有该特征标签的高清图像。诸如，上述特征标签为儿童和植物，通过从主摄像头采集的图像中检索儿童和植物，可以得到标注有儿童和植物的特征标签的图像检索结果。

在一种具体的实施方式中，还可以基于特征标签对高清图像进行标注，得到标注后的样本图像。在对神经网络模型进行训练时，为了提升神经网络模型的识别准确率，需要使用大量的样本图像进行训练，由于每个样本图像均需要进行人工标注，为了提升标注效率，还可以使用上述特征识别方法采集样本图像，并基于上述得到的特征标签对样本图像进行标注(即将特征标签作为标注的标签)，可以直接得到携带有标签的样本图像，提升了样本图像的标注效率。

本实施例提供的上述特征识别方法，通过同时使用主摄像头和副摄像头(高清摄像头和常规分辨率摄像头)采集图像，可以将主摄像头采集到高清图像及对应的特征标签展示给用户，使目标相机在图像拍摄过程中，既能进行特征识别，又能输出高清图像数据，提升了用户体验。

实施例二：

对于实施例一中所提供的特征识别方法，本发明实施例提供了一种特征识别装置，该装置可以应用于目标相机的控制器，目标相机包括主摄像头和副摄像头，主摄像头的分辨率大于副摄像头的分辨率，参见图2所示的一种特征识别装置结构示意图，该装置包括以下模块：

图像采集模块21，用于利用主摄像头和副摄像头同步采集图像。

特征识别模块22，用于获取副摄像头采集的目标图像，对目标图像进行特征识别，得到目标图像的特征关键词。

特征匹配模块23，用于从主摄像头采集的图像中获取与目标图像相对应的高清图像，将特征关键词作为高清图像的特征；其中，目标图像与高清图像为同时采集得到的图像。

本实施例提供的上述特征识别装置，通过对副摄像头采集的目标图像进行特征识别，确定目标图像的特征关键词，进而可以确定相对应的高清图像的特征标签，由于副摄像头采集的目标图像的分辨率较低，无需进行压缩处理，提升了运算处理效率，且该图像占用资源较小，提升了对图像进行特征识别的稳定性。

在一种实施方式中，上述特征识别模块22，进一步用于利用预先训练得到的神经网络模型对目标图像进行识别，得到目标图像中各个物体所属的特征类别；基于各个物体所属的特征类别确定目标图像的特征关键词。

在一种实施方式中，上述特征关键词包括一个或多个；上述特征识别模块22，进一步用于确定各个物体类别在目标图像中的显示次数或频率；将各个物体类别的显示次数或频率按照由高到低的次序进行排序，得到排序结果；从排序结果中由高到低获取预设个数的物体类别，得到目标图像的特征关键词。

在一种实施方式中，上述特征识别模块22，进一步用于基于预先训练好的第一神经网络模型对目标图像进行特征识别，得到第一识别结果；基于预先训练好的第二神经网络模型对高清图像进行特征识别，得到第二识别结果；基于第一识别结果和第二识别结果得到目标图像的特征关键词。

在一种实施方式中，上述装置还包括：

循环执行模块，用于将副摄像头采集的图像依次作为新的目标图像，将新的目标图像的特征关键词作为新的目标图像相对应高清图像的特征标签，直至得到主摄像头采集的各高清图像的特征标签。

图像检索模块，用于基于特征标签从主摄像头采集的图像中检索特征标签相对应的高清图像，得到图像检索结果。

样本标注模块，用于基于特征标签对高清图像进行标注，得到标注后的样本图像。

本实施例提供的上述特征识别装置，通过同时使用主摄像头和副摄像头(高清摄像头和常规分辨率摄像头)采集图像，可以将主摄像头采集到高清图像及对应的特征标签展示给用户，使目标相机在图像拍摄过程中，既能进行特征识别，又能输出高清图像数据，提升了用户体验。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例三：

对应于前述实施例所提供的方法和装置，参见图3所示的一种云台相机的结构示意图，本发明实施例还提供了一种云台相机，该云台相机包括：主摄像头31、副摄像头32、处理器33和存储装置(图中未示出)。所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。

实施例四：

本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的特征识别方法、装置、云台相机及存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种特征识别方法，其特征在于，应用于目标相机，所述目标相机包括主摄像头和副摄像头，所述主摄像头的分辨率大于所述副摄像头的分辨率，所述方法包括：

利用所述主摄像头和所述副摄像头同步采集图像；

获取所述副摄像头采集的目标图像，对所述目标图像进行特征识别，得到所述目标图像的特征关键词；

从所述主摄像头采集的图像中获取与所述目标图像相对应的高清图像，将所述特征关键词作为所述高清图像的特征标签；其中，所述目标图像与所述高清图像为同时采集得到的图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行特征识别，得到所述目标图像的特征关键词的步骤，包括：

利用预先训练得到的神经网络模型对所述目标图像进行识别，得到所述目标图像中各个物体所属的特征类别；

基于各个物体所属的特征类别确定所述目标图像的特征关键词。

3.根据权利要求2所述的方法，其特征在于，所述特征关键词包括一个或多个；所述基于各个物体所属的特征类别确定所述目标图像的特征关键词的步骤，包括：

确定各个所述物体类别在所述目标图像中的显示次数或频率；

将各个所述物体类别的显示次数或频率按照由高到低的次序进行排序，得到排序结果；

从所述排序结果中由高到低获取预设个数的物体类别，得到所述目标图像的特征关键词。

4.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行特征识别，得到所述目标图像的特征关键词的步骤，包括：

基于预先训练好的第一神经网络模型对所述目标图像进行特征识别，得到第一识别结果；

基于预先训练好的第二神经网络模型对所述高清图像进行特征识别，得到第二识别结果；

基于所述第一识别结果和所述第二识别结果得到所述目标图像的特征关键词。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述副摄像头采集的图像依次作为新的目标图像，将所述新的目标图像的特征关键词作为所述新的目标图像相对应高清图像的特征标签，直至得到所述主摄像头采集的各高清图像的特征标签。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于所述特征标签从所述主摄像头采集的图像中检索所述特征标签相对应的高清图像，得到图像检索结果。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

基于所述特征标签对所述高清图像进行标注，得到标注后的样本图像。

8.一种特征识别装置，其特征在于，应用于目标相机的控制器，所述目标相机包括主摄像头和副摄像头，所述主摄像头的分辨率大于所述副摄像头的分辨率，所述装置包括：

图像采集模块，用于利用所述主摄像头和所述副摄像头同步采集图像；

特征识别模块，用于获取所述副摄像头采集的目标图像，对所述目标图像进行特征识别，得到所述目标图像的特征关键词；

特征匹配模块，用于从所述主摄像头采集的图像中获取与所述目标图像相对应的高清图像，将所述特征关键词作为所述高清图像的特征；其中，所述目标图像与所述高清图像为同时采集得到的图像。

9.一种云台相机，其特征在于，包括：主摄像头、副摄像头、处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。

Images