CN112235514A

CN112235514A - 一种基于人工智能的相机快门速度调节方法及装置

Info

Publication number: CN112235514A
Application number: CN202011092655.8A
Authority: CN
Inventors: 余波; 夏彬
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-10-13
Filing date: 2020-10-13
Publication date: 2021-01-15

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的相机快门速度调节方法及装置。所述方法包括：获取人体的初始图像数据；对初始图像数据进行人体姿态估计得到人体的人体姿态信息；基于人体姿态信息构建人体的最小外接矩形以切割初始图像，得到每个人的图像集合；根据每个人体的关键点对图像集合进行帧间人体的匹配，得到每个人体所对应的关键点的帧间距离，进而获取人体的平均移动速度；基于平均移动速度进行快门速度的评估，得到快门速度序列，对快门速度序列进行时序预测得到未来时间的快门速度预测值序列，进而对相机快门速度进行调节以采集视频数据。本申请的实施例能够根据行人移动状况自动调节相机快门的速度，提高图像的保真度。

Description

一种基于人工智能的相机快门速度调节方法及装置

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的相机快门速度调节方法及装置。

背景技术

城市建设应抓住技术带来的便利，依托BIM等信息化技术，构建城市专属CIM模型，不断整合资源，找准定位，探索智慧城市建设新路径，提升城市服务水平和服务质量。新型基础设施建设作为新时代城市建设的发展目标，指建设以5G、人工智能、工业互联网、物联网为代表的新型基础设施，本质上是信息数字化的基础设施。

目前城市摄像头往往并不会依据道路的行人移动状况自动调整摄像头的快门速度，导致功耗较高，视频的细节信息采集不完整，采集的视频图像不够准确，因而图像的保真程度很低。

发明内容

为了解决上述问题，本发明提出了一种基于人工智能的相机快门速度调节方法，具体方案如下：

第一方面，本发明一个实施例提供了一种基于人工智能的相机快门速度调节方法包含以下步骤：

获取人体的初始图像数据；

对所述初始图像数据进行人体姿态估计，得到人体的人体姿态信息，所述人体姿态信息包括人体的关键点；

基于所述人体姿态信息构建每个人体的最小外接矩形，以切割所述初始图像，得到每个人体的图像集合；

对所述图像集合进行REID实现帧间行人的匹配，以至少一个关键点和REID信息进行城市信息模型的地面投影，对投影点进行帧间距离计算，得到所述帧间的行人的平均移动速度；

基于所述平均移动速度进行快门速度的评估，得到快门速度序列，对所述快门速度序列进行时序预测，得到未来时间的相机快门速度预测值序列；

根据所述相机快门速度预测值序列对所述相机快门速度进行调节，以采集视频数据。

优选的，所述平均移动速度根据连续帧的所述关键点的帧间距离进行计算。

优选的，所述投影点是以人体的双脚关键点之间的连线的中心点。

优选的，所述帧间行人的匹配方法采用基于度量学习的REID方法。

优选的，所述对所述快门速度进行时序预测的步骤还包括：

根据时序预测网络预测未来时间的所述相机快门速度预测值序列。

第二方面，本发明另一实施例还包括了一种基于人工智能的相机快门速度调节装置，该装置包含以下模块：

图像采集模块，用于获取人体的初始图像数据；

人体姿态估计模块，用于对所述初始图像数据进行人体姿态估计，得到人体的人体姿态信息，所述人体姿态信息包括人体的关键点；

图像分割模块，用于基于所述人体姿态信息构建每个人体的最小外接矩形，以切割所述初始图像，得到每个人体的图像集合；

速度计算模块，对图像集合进行REID实现帧间行人的匹配，以至少一个关键点和REID信息进行城市信息模型的地面投影，对投影点进行帧间距离计算，得到帧间的行人的平均移动速度；

速度预测模块，用于基于所述平均移动速度进行快门速度的评估，得到快门速度序列，对所述快门速度序列进行时序预测，得到未来时间的相机快门速度预测值序列；

速度调节模块，用于根据所述相机快门速度预测值序列对所述相机快门速度进行调节，以采集视频数据。

优选的，所述速度计算模块还包括：

距离计算单元，用于根据连续帧的所述关键点的帧间距离进行计算；

关键点确定单元，用于以人体的双脚关键点之间的连线的中心点为依据计算帧间距离。

优选的，所述速度预测模块还包括：

时序预测单元，用于根据时序预测网络预测未来时间的所述相机快门速度预测值序列。

本发明的有益效果为：

本发明实施例提供了一种基于人工智能的相机快门速度调节方法，通过人体姿态估计的方法获取人体的关键点，构建每个人体的最小外接矩形，根据人体的至少一个关键点对图像进行帧间人体的匹配，得到每个人体所对应的关键点的帧间距离进而获取人体的平均移动速度。基于平均移动速度进行快门速度的评估，得到快门速度序列，对快门速度序列进行时序预测，得到未来时间的相机快门速度预测值序列进而对相机快门速度进行调节，采集视频数据。解决了原有的相机采集视频时图像保真度低，不能智能调节快门速度的问题，本发明实施例可以自动调节快门速度，保留视频中更多的细节信息，提高信息的丰富程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一实施例所提供的一种一种基于人工智能的相机快门速度调节方法的整体流程图；

图2为本发明一实施例所提供的一种一种基于人工智能的相机快门速度调节方法的流程图；

图3为本发明一实施例所提供的一种一种基于人工智能的相机快门速度调节装置的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的相机快门速度调节方法，其具体实施方式、结构、特征及其功效，详细说明如下，在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

请参阅图1和图2，图1示出了本发明一实施例所提供的一种基于人工智能的相机快门速度调节方法的系统整体流程图。图2示出了本发明一实施例所提供的一种基于人工智能的相机快门速度调节方法的流程图，该方法包括以下步骤：

步骤S1：获取人体的初始图像数据。

具体的，构建城市信息模型及信息交换模块内部关系，城市信息模型以城市信息数据为基础，城市信息数据主要以城市的GIS数据与BIM数据构成，建立起三维城市空间模型和建筑信息的有机综合体，信息交换模块主要包含所述三维城市空间模型和城市信息。

本实施例采用CIM(城市信息模型)技术，可以更好的实现对城市各个摄像头的优化调节，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型。通过WebGIS(网络地理信息系统)技术将CIM(城市信息模型)展现在网络中，并可调用信息交换模块以展现最新的城市三维建筑模型，还可以获取城市信息、相机感知信息等，对城市的场景进行可视化。

在本实施例中通过广角高清相机采集图像，得到大量城市道路行人的高清图像数据。

步骤S2：对初始图像数据进行人体姿态估计，得到人体的人体姿态信息，人体姿态信息包括人体的关键点。

具体的，首先需要制作行人的标签，为了减少人力的开支，本实施例采取的方法包含以下步骤：

S101，利用多人姿态估计模型对高清采集图像进行姿态估计并将处理后的姿态关节点显示在原图像中，得到姿态估计图像；

S102，对姿态估计图像进行人为检错，更改错误的和有较大误差的姿态坐标；

S103，通过高斯核对姿态估计图像中各个类别关节点的姿态坐标进行卷积，得到行人姿态的热力图；

S104，用Associative embedding(关联嵌入)技术区分姿态热力图中的不同人，使得同一个人的所有关键点tag值相近，不同人之间的tag值疏远，相近的概念通过欧式距离实现，其公式如下:

n表示第n个人，k表示第k个关键点，X表示真实关键点所在的像素位置，h_k表示第k个人关键点的标签热力图。

具体的，多人姿态估计模型可采用开源的HRNet、HigherHRNet等。

具体的，热力图的像素值符合高斯分布，值域在[0,1]之间。

具体的，人体姿态网络的训练过程还包括以下几个步骤：

S201，将摄像头采集的图像进行归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，标签同样的要经过归一化处理；

S202,利用归一化处理后的图像和标注的标签数据训练人体姿态估计编码器和人体姿态解码器。

S203,通过人体姿态估计编码器对图像进行特征提取，输入为归一化处理的图像数据，输出为Feature map(特征图)。人体姿态解码器对特征图进行采样并最终生成人体姿态热力图和关联嵌入图，从而得到人体姿态的信息。

具体的，损失函数采用Loss函数，采用Heatmaps Loss+Grouping Loss的加权和，其数学公式为：

其中，P_cij代表类别C的人关键点在位置(i，j)处的得分，得分越高就越可能是人的关键点。y_cij表示groundtruth(标注的真实数据)的Heatmap(热力图)。N代表groundtruth(标注的真实数据)中的关键点数量。α、β为超参数，需要人为设定。

具体到本实施例中，α为0.5，β为2。

N代表groundtruth(标注的真实数据)中的人的数量，K表示每个人标注数据中的关键点数量，n表示第n个人，k表示第k个关键点，X表示真实关键点所在的像素位置，

表示groundtruth(标注的真实数据)的tag值，n′为除第n个人外的其他人，δ为人为设定的值。

具体到本实施例中，δ为1。

具体的，公式中前半段把输入同一个人的关键点的tag值尽量拉近，而公式的后半段就是把不同的人个体相互拉开。

Total Loss＝γ*Grouping Loss+φ*Heatmaps Loss

γ,φ为相应损失函数的权重值，γ>φ且γ+φ＝1。

具体到本实施例中，γ为0.9，φ为0.1。

步骤S3,基于人体姿态信息构建每个人体的最小外接矩形，以切割初始图像，得到每个人体的图像集合。

具体的，由人体姿态可以得到每个人的关节信息，寻找四个端点为：

(Xmin,y0)、(Xmax,y1)、(x0,Ymin)、(x1,Ymax)。

基于四个端点构建最小外接矩形，最小外接矩形属性为：

中心点：

长：(Xmax-Xmin)

宽：(Ymax-Ymin)

具体的，对原图中每个人进行最小矩形的切割，得到每个人的高清图像，得到图像集合，称为图像集合A。

步骤S4:对所述图像集合进行REID实现帧间行人的匹配，以至少一个关键点和REID信息进行城市信息模型的地面投影，对投影点进行帧间距离计算，得到所述帧间的行人的平均移动速度。

具体的，REID(行人重识别技术)通常采用度量学习，通过度量该帧与下一帧图像集合A中每个图像的相似程度实现帧间行人的匹配。

具体的，经过REID(行人重识别技术)与人体姿态检测后，每个人都会有一个姿态信息与一个标号，可以实现帧间实例匹配。本实施例选择人体姿态信息中行人脚面连线的中心点进行CIM地面投影，其中，行人脚面连线中心点为人体姿态中的左脚关键点与右脚关键点的连线中心点。

具体的，引入单应性矩阵H，具体操作可以基于图像地面贴标和CIM中相应位置进行四点法估计。

具体的，对平均移动速度的计算步骤如下：

第一步，平均移动速度根据连续帧的所述关键点的帧间距离进行计算，具体的计算第N帧与第N+1帧的该人帧间移动距离，公式如下：

X、Y为第N帧的人投影点坐标。X₀、Y₀为第N+1帧的该人的投影点坐标，T为相机采样率。

第二步，对于帧间行人平均移动速度V计算如下：

n代表行人的个数。

至此，计算出第N帧与第N+1帧的帧间行人平均移动速度V，单位为m/s。

具体的，在其他实施例中，对于帧间行人平均移动速度V，可以不用基于连续帧来计算，也可以基于第N帧与第N+5帧来计算，具体的可依据计算资源与相机采样率来定。

步骤S5：基于平均移动速度进行快门速度的评估，得到快门速度序列，对快门速度序列进行时序预测，得到未来时间的相机快门速度预测值序列。

具体的，快门速度的单位是“秒”，常见的快门速度有：4秒、2秒、1秒、1/2秒、1/4秒、1/8秒、1/15秒、1/30秒、1/60秒、1/125秒、1/250秒、1/500秒等。分母越大表示快门速度越快，曝光时间越短。分母越小表示快门速度越慢，曝光时间越长。

具体的，对于不同行走状态的人，需要以下不同的快门速度：

拍人体动作：1/60秒以上；

拍步行的人：1/125秒以上；

拍快速行走的人：1/500秒以上；

拍跑步的人：1/1000秒以上。

具体的，对于帧间行人平均移动速度V，进行区间快门速度M阈值划分：

V∈[0,1]，M＝1/60秒；

V∈(1,2.5]，M＝1/125秒；

V∈(2.5,4]，M＝1/500秒；

V∈(4,10]，M＝1/1000秒。

具体的，以上区间为人为设定，实施时并不局限于上述值域区间。

步骤S6：根据相机快门速度预测值序列对相机快门速度进行调节，采集视频数据。

本实施例通过历史快门速度序列来预测未来时间的相机快门速度，例如，可以基于历史长度为10的快门速度序列，来预测未来5帧的相机快门速度。

具体的，通过时序预测网络，得到相机的快门速度预测值序列X，在本实施例中可以依据LSTM、GRU、TCN等神经网络来实施，根据相机快门速度预测值序列X对相机快门速度进行调节。

综上所述，本发明实施例通过人体姿态估计的方法获取人体的关键点，构建每个人体的最小外接矩形，根据人体的至少一个关键点对图像进行帧间人体的匹配，得到每个人体所对应的关键点的帧间距离进而获取人体的平均移动速度。基于平均移动速度进行快门速度的评估，得到快门速度序列，对快门速度序列进行时序预测，得到未来时间的相机快门速度预测值序列进而对相机快门速度进行调节，采集视频数据，从而可以自动调节快门速度，保留视频中更多的细节信息，提高信息的准确程度。

基于与上述方法实施例相同的发明构思，本发明的另一个实施例还提供了一种基于人工智能的相机快门速度调节装置。

请参阅图3，其示出了一种基于人工智能的相机快门速度调节装置的结构框图，该装置包括图像采集模块101、人体姿态估计模块102、图像分割模块103、速度计算模块104、速度预测模块105和速度调节模块106。

图像采集模块101用于获取人体的初始图像数据。人体姿态估计模块102用于对初始图像数据进行人体姿态估计，得到人体的人体姿态信息，人体姿态信息包括人体的关键点。图像分割模块103用于基于人体姿态信息构建每个人体的最小外接矩形，以切割初始图像，得到每个人体的图像集合。速度计算模块104用于对图像集合进行REID实现帧间行人的匹配，以至少一个关键点和REID信息进行城市信息模型的地面投影，对投影点进行帧间距离计算，得到帧间的行人的平均移动速度。速度预测模块105用于基于平均移动速度进行快门速度的评估，得到快门速度序列，对快门速度序列进行时序预测，得到未来时间的相机快门速度预测值序列。速度调节模块106用于根据相机快门速度预测值序列对所述相机快门速度进行调节，以采集视频数据。

优选的，所述速度计算模块104还包括距离计算单元，用于根据连续帧的所述关键点的帧间距离进行计算。

优选的，所述速度计算模块104还包括关键点确定单元，用于以人体的双脚关键点之间的连线的中心点为依据计算帧间距离。

优选的，所述速度预测模块105还包括时序预测单元，用于根据时序预测网络预测未来时间的所述相机快门速度预测值序列。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于人工智能的的相机快门速度调节方法，其特征在于，该方法还包括以下几个步骤：

获取人体的初始图像数据；

2.根据权利要求1所述的一种基于人工智能的相机快门速度调节方法，其特征在于，所述平均移动速度根据连续帧的所述关键点的帧间距离进行计算。

3.根据权利要求1所述的一种基于人工智能的相机快门速度调节方法，其特征在于，所述投影点采用的是人体的双脚关键点之间的连线的中心点。

4.根据权利要求1所述的一种基于人工智能的相机快门速度调节方法，其特征在于，所述帧间行人的匹配方法采用基于度量学习的REID方法。

5.根据权利要求1所述的一种基于人工智能的相机快门速度调节方法，其特征在于，所述对所述快门速度进行时序预测的步骤还包括：

6.一种基于人工智能的的相机快门速度调节装置，其特征在于，该装置还包括以下模块：

图像采集模块，用于获取人体的初始图像数据；

速度计算模块，用于对所述图像集合进行REID实现帧间行人的匹配，以至少一个关键点和REID信息进行城市信息模型的地面投影，对投影点进行帧间距离计算，得到所述帧间的行人的平均移动速度；

7.根据权利要求6所述的一种基于人工智能的相机快门速度调节装置，其特征在于，所述速度计算模块还包括：

距离计算单元，用于根据连续帧的所述关键点的帧间距离进行计算。

8.根据权利要求6所述的一种基于人工智能的相机快门速度调节装置，其特征在于，所述速度计算模块还包括：

9.根据权利要求6所述的一种基于人工智能的相机快门速度调节装置，其特征在于，所述速度预测模块还包括：