CN109344715A

CN109344715A - 智能构图控制方法、装置、电子设备及存储介质

Info

Publication number: CN109344715A
Application number: CN201811012460.0A
Authority: CN
Inventors: 任家锐
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2018-08-31
Filing date: 2018-08-31
Publication date: 2019-02-15

Abstract

本申请是关于一种智能构图控制方法、装置、电子设备及存储介质，包括：获取待拍摄的画面图像的参考信息，其中，参考信息包括画面图像的标准参考线和实际参考线；计算画面图像中实际参考线与标准参考线之间的偏移量；将表征偏移量的可视图标添加至画面图像中，以引导消除偏移量。本申请提出了一种智能构图控制方法，通过卷积神经网络搭建可以识别画面图像的图像场景以及目标图像的模型，以及根据所识别出的图像信息，确定适合待拍摄的图像场景的标准参考线，同时根据获取的当前状态下的实际参考线，确定当前拍摄状态下的偏移量，并通过表征该偏移量的可视图标以引导用户消除偏移量，拍出满意的图片。

Description

智能构图控制方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机软件应用领域，尤其是一种智能构图控制方法、装置、电子设备及存储介质。

背景技术

随着人们生活水平的提高，越来越多的人注重生活品质和精神追求，很多人会在空闲的时候外出游玩，享受难得的轻松时刻，此时，大家都会用相机记录美好的风景或者欢乐的时刻。

由于拍照更为大众化，且每个人的拍照水平不一样，为了让不同拍摄水平的人也能拍摄出高质量的照片，相机中会设置有智能拍摄模式，但是目前在相关技术中智能拍照模式只是通过检测当前拍摄的环境参数，针对该环境参数进行自动调节，以协助非专业人士拍摄出专业的照片，这种自动调节的参数通常只限于光圈、快门速度等，智能化程度较低。

发明内容

本申请的发明在研究过程中发现仅仅通过调整拍摄参数来提高图片质量的方式有限，能够决定图片拍摄质量的主要因素还在于拍摄该图片的构图比例和拍摄角度，决定构图比例以及拍摄角度的因素在于拍摄装置的拍摄位置和拍摄姿态，因此，为克服相关技术中存在的问题，本申请公开一种能够根据不同的场景的图像提供构图引导的智能构图控制方法、装置、电子设备及存储介质。

根据本申请实施例的第一方面，提供一种智能构图控制方法，包括：

获取待拍摄的画面图像的参考信息，其中，所述参考信息包括所述画面图像的标准参考线和实际参考线；

计算所述画面图像中所述实际参考线与标准参考线之间的偏移量；

将表征所述偏移量的可视图标添加至所述画面图像中，以引导消除所述偏移量。

可选的，所述标准参考线包括表征所述待拍摄的画面图像位于目标位置时的构图线；所述实际参考线包括表征待拍摄的画面图像当前位置的构图线。

可选的，所述标准参考线包括沿地平线方向延伸的构图线，所述实际参考线包括识别出的所述画面图像中的地平线延伸方向。

可选的，所述标准参考线的获取方法包括：

将所述画面图像输入到预设的第一神经网络模型中，其中，所述第一神经网络模型为训练至收敛的用于判断所述标准参考线的神经网络模型；

获取所述第一神经网络模型输出的标准参考线。

可选的，所述第一神经网络模型还被训练判断所述画面图像的图像场景；所述获取所述第一神经网络模型响应于所述画面图像的输入而输出的标准参考线还包括：

获取所述第一神经网络模型输出的图像场景的第一分类信息；所述第一分类信息为表征所述图像场景类别的标签信息；

将所述第一分类信息与所述第一神经网络模型中存储的与所述第一分类信息相同标签信息所映射的图像进行匹配，选取匹配度最高的图像所映射的参考线作为标准参考线。

可选的，所述画面图像中包括至少一个物体图像；在执行所述获取待拍摄的画面图像的参考信息之前还包括：

将所述画面图像输入到预设的第二神经网络模型中，其中，所述第二神经网络模型为训练至收敛的用于判断所述物体图像的类别的神经网络模型；

获取所述第二神经网络模型响应于所述画面图像的输入而输出的所述物体图像的第二分类信息；所述第二分类信息为表征所述物体类别的标签信息；

根据所述第二分类信息确定至少一个所述物体图像为目标图像。

可选的，所述根据所述第二分类信息确定至少一个所述物体图像为目标图像包括：

获取所述物体图像的属性参数，其中，所述属性参数包括：物体图像的优先级、图像数量和图像大小中的任意一种或者多种的组合；

将所述参数属性输入到预设的目标筛选模型中；

根据所述目标筛选模型输出的结果确定所述目标图像。

可选的，所述标准参考线包括所述目标图像在所述画面图像中的预设位置的轮廓线，所述实际参考线包括所述目标图像在所述画面图像中的当前位置的轮廓线；

所述获取待拍摄的画面图像的参考信息包括：

获取所述目标图像在所述画面图像中的当前位置的轮廓线和预设位置的轮廓线；

所述计算所述画面图像中所述实际参考线与标准参考线之间的偏移量包括：

计算所述当前位置的轮廓线和预设位置的轮廓线之间的位置偏移量；

所述将表征所述偏移量的可视图标添加至所述画面图像中，以引导消除所述偏移量包括：

当所述位置偏移量大于预设的偏移阈值时，在所述画面图像上显示所述预设位置，以引导消除所述位置偏移量。

可选的，所述获取待拍摄的画面图像的参考信息包括：

在预设的时间段内获取多张画面图像；

判断多张所述画面图像中所述目标图像的实际参考线的位置是否一致；

当多张所述画面图像中所述目标图像的实际参考线位置不一致时，预测所述目标图像的运动轨迹，并确定所述目标图像在所述运动轨迹上的标准参考线的位置。

可选的，所述方法还包括：当识别出所述目标图像移动至所述标准参考线的位置时自动拍摄。

根据本申请实施例的第二方面，提供一种智能构图控制装置，包括：

第一获取单元，被配置为执行获取待拍摄的画面图像的参考信息，其中，所述参考信息包括所述画面图像的标准参考线和实际参考线；

第一处理单元，被配置为执行计算所述画面图像中所述实际参考线与标准参考线之间的偏移量；

第一执行单元，被配置为执行将表征所述偏移量的可视图标添加至所述画面图像中，以引导消除所述偏移量。

可选的，还包括：第一模型单元，被配置为执行将所述画面图像输入到预设的第一神经网络模型中，其中，所述第一神经网络模型为训练至收敛的用于判断所述标准参考线的神经网络模型；

第二执行单元，被配置为执行获取所述第一神经网络模型输出的标准参考线。

可选的，所述第一神经网络模型还被训练判断所述画面图像的图像场景；还包括：

第一输入单元：被配置为执行获取所述第一神经网络模型输出的图像场景的第一分类信息；所述第一分类信息为表征所述图像场景类别的标签信息；

第二获取单元：被配置为执行将所述第一分类信息与所述第一神经网络模型中存储的与所述第一分类信息相同标签信息所映射的图像进行匹配，选取匹配度最高的图像所映射的参考线作为标准参考线；

可选的，所述画面图像中包括至少一个物体图像；还包括：

第二模型单元：被配置为执行将所述画面图像输入到预设的第二神经网络模型中，其中，所述第二神经网络模型为训练至收敛的用于判断所述物体图像的类别的神经网络模型；

第三获取单元：被配置为执行获取所述第二神经网络模型输出的所述物体图像的第二分类信息；所述第二分类信息为表征所述物体类别的标签信息；

第三执行单元：被配置为执行根据所述第二分类信息确定至少一个所述物体图像为目标图像。

可选的，根据所述第二分类信息确定所述至少一个所示物体图像为目标图像，还包括：

第四获取单元：被配置为执行获取所示物体图像的属性参数，其中，所示属性参数包括：物体图像的优先级、图像数量和图像大小中的任意一种或者多种的组合；

第二输入单元：被配置为执行将所述参数属性输入到预设的目标筛选模型中；

第四执行单元：备配置为执行根据所述目标筛选模型输出的结果确定所述目标图像。

所述获取待拍摄的画面图像的参考信息包括：

可选的，还包括：

第五获取单元：被配置为执行在在预设的时间段内获取多张画面图像；

第一判断单元：被配置为执行判断多张所述画面图像中所述目标图像的实际参考线的位置是否一致；

第三处理单元：被配置为执行当多张所述画面图像中所述目标图像的实际参考线位置不一致时，预测所述目标图像的运动轨迹，并确定所述目标图像在所述运动轨迹上的标准参考线的位置。

可选的，还包括第五执行单元：被配置为执行当识别出所述目标图像移动至所述标准参考线的位置时自动拍摄。

根据本申请实施例的第三方面，本申请公开一种电子设备，括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一项所述的智能构图控制方法的步骤。

第四方面，本申请公开一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种智能构图控制方法，所述方法包括上述任意一项所述的智能构图控制方法。

第五方面，提供计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述智能构图控制方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

1)本申请提出了一种智能构图控制方法，获取待拍摄画面图像的标准参考线和实际参考线，标准参考线为通过计算得到的拍摄装置推荐的最佳位置和最佳拍摄姿态换算得到的可见参考线，实际参考线为所述拍摄装置当前拍摄状态下的实际拍摄位置和拍摄姿态换算得到的可见参考线，计算出实际参考线和标准参考线之间的偏移量，所述偏移量为拍摄装置当前拍摄位置与最佳拍摄位置之间的距离差值，通过可视图标引导用户移动拍摄装置使标准参考线与实际参考线趋于重合以消除偏移量的过程就是引导用户将拍摄装置前往最佳拍摄位置和最佳拍摄角度的过程；

2)通过自动识别待拍摄图像画面，并分析得到基于该图像画面的图像场景来识别标准参考线，不同的图像场景具备不同的标准参考线，从而能够更加准确地引导用户拍摄出满意的图片；

3)通过目标识别和跟踪，可以识别出目标图像的运动轨迹，并根据运动轨迹识别最佳拍摄位置，并进行抓拍实现自动拍摄的目的，更利于非专业人士拍摄出满意的图片。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种智能构图控制方法的流程图；

图2是根据一示例性实施例示出的显示界面上智能构图显示方式第一示意图；

图3是根据一示例性实施例示出的显示界面上智能构图显示方式第二示意图；

图4是根据一示例性实施例示出的构图线为轮廓线时的示意图；

图5是根据一示例性实施例示出的标准参考线与实际参考线重合的示例图；

图6是根据一示例性实施例示出的构图线在终端显示界面显示的第一示意图；

图7是根据一示例性实施例示出的构图线在终端显示界面显示的第二示意图；

图8是根据一示例性实施例示出的构图线在终端显示界面显示的第三示意图；

图9是根据一示例性实施例示出的获取标准参考线方法的流程图；

图10是根据一示例性实施例示出的卷积神经网络模型的训练方法流程图；

图11是根据一示例性实施例示出的根据图像场景获取标准参考线的方法流程图；

图12是根据一示例性实施例示出的目标图像的第一获取方法流程图；

图13是根据一示例性实施例示出的SSD算法模型架构图；

图14是根据一示例性实施例示出的目标图像的第二获取方法流程图；

图15是根据一示例性实施例示出的移动目标图像中引导消除偏移量自动拍摄的控制方法流程图；

图16是根据一示例性实施例示出的智能构图控制装置框图；

图17是根据一示例性实施例示出的一种执行智能构图控制方法的电子设备装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种智能构图控制方法，包括：

S100、获取待拍摄的画面图像的参考信息，其中，所述参考信息包括所述画面图像的标准参考线和实际参考线；

本申请中，通过拍摄装置对物体进行取景，在显示装置上会显示待拍摄的画面图像，同时获取该画面图像的参考信息。所述参考信息包括所述画面图像的标准参考线和实际参考线。

实际参考线表征拍摄装置上的重力感应设备感应的当前拍摄装置的位置信息。所述重力感应设备可以为陀螺仪，在一般的智能化拍摄装置中，都会设置有陀螺仪，比如手机、平板等设备，其内部都会设置有感知所述设备重力方向及其相对位置的陀螺仪。通过陀螺仪，可实时感知所述拍摄装置当前拍摄的位置信息，在拍摄过程中，将感知拍摄装置的陀螺仪联系起来，可以通过调整所述拍摄装置，确保所述拍摄装置拍摄的角度最佳。

标准参考线是以大量的被认定为优秀摄影作品的图像布局而分析得到的当前画面图像最佳布局的推荐参考线，其可以通过卷积神经网络分析训练得到。

在一些选择性实施例中，拍摄装置为任意带有摄像功能的设备，比如手机、平板、摄像机、照相机或者其他设备，拍摄的可以是平面化的图像，也可以是3D图像或者其他类型的图像信息。拍摄装置在最后按下拍摄按键的时候，可以通过显示界面查看预拍摄画面，以方便用户查看成像效果，拍摄装置的显示设备上除了显示预拍摄画面，可能还会显示摄像装置的拍摄参数，比如光圈大小、当前快门速度、ISO参数等信息。

S200、计算所述画面图像中所述实际参考线与标准参考线之间的偏移量；

通过上述获得的标准参考线与实际参考线的相对位置，可判断出二者的偏移角度。通过移动拍摄装置，使实际参考线与标准参考线靠近或者重合则可达到最优的图像拍摄方案。

S300、将表征所述偏移量的可视图标添加至所述画面图像中，以引导消除所述偏移量。

实际参考线与标准参考线是为了方便计算二者之间的偏移量获取的其中两个参数，这两个参数可以是隐藏的参数，也可以是通过实体线条或者可视图标的方式指示出来，以协助用户进行拍摄角度的调整。

在一实施例中，所述标准参考线包括表征所述待拍摄的画面图像位于目标位置时的构图线；所述实际参考线包括表征待拍摄的画面图像当前位置的构图线。为了协助用户能够快速准确地将摄像装置移动至最佳位置，在一实施例中，在显示界面上以嵌入的方式在画面图像上同步显示所述可视图标，以引导消除所述实际参考线与标准参考线之间的偏移量。

请参阅图2-图3，图2是一实施例中示出的显示界面上智能构图显示方式的第一示意图，图3是一实施例中示出的显示界面上智能构图显示方式的第二示意图，用标号A表示标准参考线，用标号B表示实际参考线，标号C为构图提示标识，标号C出现或者完全显示表示当前状态是构图提示状态，当标号C表示的图标不出现或者在标号C的提示标标识上有类似于斜杆或者“×”等标识时，表示当前为构图提示不可用状态。从附图2和附图3中可以看出来，在构图提示状态下，标准参考线包括表征所述待拍摄的画面图像位于目标位置时的构图线，实际参考线包括表征待拍摄的画面图像当前位置的构图线，通过旋转摄像装置，当标准参考线A与实际参考线B重合时为最佳的拍摄位置。在一些实施例中，标准参考线A与实际参考线B相互平行也可拍摄出最佳位置的图片。

标准参考线与实际参考线的展现形式不局限于以线段的形式进行展现。根据具体应用场景的不同，在一些实施方式中，标准参考线与实际参考线构图线的表现形式还可以是框体的结构，参考附图2和附图3中的标号D指示的位置，通过框体的结构来限定物体的最佳位置，达到引导用户拍摄的目的。框体结构限定物体的最佳拍摄位置的表现方式有多种，比如以四边形框体、三角形框体、圆形框体、正方体框体或者球形框体等轮廓线结构来对物体的大致区域进行限定。但是需要说明的是，采用框体的结构若单独使用时只能大致确定物体的位置，为提高辅助构图的精确性，在另一实施例中将这种构图线结合上述线段形式的构图线用来辅助画面图像中某个特定物体的位置。在附图2和附图3中同时采用了框体的结构以及线段形式的构图线，线段形式的构图线引导用户将“长城”位于画面图像的最佳位置，对于“飞机”的画面图像中的位置，采用框体的结构进行限制，当“飞机”飞过“长城”，系统监测“飞机”与“长城”的位置关系，并计算得到当“飞机”位于标号D的框体位置时拍摄的照片构图最佳，故在显示界面根据“飞机”的体积，显示框体D，以便于“飞机”运动到D所处的框体位置时进行拍摄。

进一步的，为了提高构图线的构图精度，还可以将构图线设置成识别出的物体的轮廓线的方式，比如，请参阅图4，为构图线为轮廓线时的示意图，本实施例中，实际参考线B与画面图像中的主要图像的轮廓重合，而标准参考线A显示在当前画面图像拍摄的最佳位置，通过识别出目标物体的轮廓，按照最佳的位置和最佳的大小显示目标物体的轮廓，请参阅图5，为标准参考线A与实际参考线B重合的示例图，当通过移动拍摄装置，将标准参考线A的轮廓线与实际参考线B的轮廓线重合时，表示当前拍摄的图像最佳。

在本申请中，构图线的表现形式有多种，且多种构图线的形式可相互组合，为了更好地实现位置偏移的消除，标准参考线与实际参考线至少有一种构图线的表现形式是一样的，如图2和图3中所示，标号A和标号B都为线段结构构成的构图线，作为与之结合起来使用的标号D所示的框体能够协助锁定画面图像中的某个目标物体的相对位置，使该目标物体位于最佳拍摄位置。

在一些实施方式中，对于一些风景照片，特别是海景、沙漠、草原等之类的风光照，照片的好坏在于地平线的位置关系，地平线影响了整个画面图像的布局，因此，所述标准参考线还可进一步包括沿地平线方向延伸的构图线，所述实际参考线也可进一步包括识别出的所述画面图像中的地平线延伸方向。请参阅图6，为应用于本申请的另外一种构图线的表现形式，其中标号A的位置为通过识别预拍摄画面图像给出的标准参考线的位置，标号B的位置为当前预拍摄画面图像的位置，标号C为构图提示标识，在本实施例中，标号A的标准参考线和标号B指示的实际参考线均采用圆圈来进行，移动拍摄装置，标号B也会跟着移动，当标号B移动至标号A内重合时，表示当前的拍摄位置为最佳构图拍摄位置，但是，通过上述的结构，标号A的标准参考线与标号B的标准参考线为圆形结构的框体结构，其不能完全保证拍摄的目标物体在水平方向和重力方向的位置都是最佳的，故还可进一步识别出画面图像中实际的地平线的位置和最佳拍摄位置地平线的位置，通过移动拍摄装置，引导消除两个地平线位置的偏移量。

在附图6中，标号A1表征拍摄的目标位置的地平线的标准参考线，标号B1表征待拍摄的图像场景的当前地平线延伸方向，标号B1为指针形式，当移动拍摄装置，标号B1的指针的箭头方向也会随之旋转移动，只有当标号B1的指针方向与标号A1表征目标位置的地平线的标准参考线平行或者重合是，才表示当前的拍摄位置为最佳的拍摄位置，无论图像的布局还是构图、位置都位于最佳位置。

值得说明的是，本实施例中示出的的实际参考线B与标准参考线A为一组图像指示，实际参考线B1与标准参考线A1为一组图像指示。本申请中每组图像指示可以独立，也可以同时进行示出。

请进一步参阅图7-图8，为本实施例中在拍摄状态下给出的具体的图像指示示意图，待拍摄的画面图像为“大海与天空”的照片，“大海”与“天空”连接位置的地平线E有所倾斜，示意图中提示将标号B移动至标号A位置，即提示用户向上移动拍摄装置，让实际参考线B与标准参考线A重合，同时表征地平线的实际参考线B1相对于表征最佳目标位置的地平线的标准参考线A1也是倾斜的，导致整个图像都是倾斜的，故通过旋转拍摄装置使实际参考线B1与标准参考线A1重合，从而确保拍摄的画面图像无论在构图上还是在位置上都是最佳状态。

进一步的，为了进一步协助用户构图，还可以添加一些辅助线，比如附图6-附图8中标号F所示，采用九宫格辅助线协助用户拍摄，在另一实施例中，辅助线还可是较为常用的黄金分割线、三分法辅助线等。

在一些选择性实施例中，标准参考线可以通过卷积神经网络获得，卷积神经网络(CNN)中卷积的目的在于将某些特征从图像中提取出来。卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于卷积神经网络的特征检测层通过训练数据进行学习，所以在使用卷积神经网络时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。

一幅彩色图像在计算机中的存储形式为一个三维的矩阵，三个维度分别是图像的宽、高和RGB(红绿蓝色彩值)值，而一幅灰度图像在计算机中的存储形式为一个二维矩阵，两个维度分别是图像的宽、高。无论是彩色图片的三维矩阵还是灰度图像的二维矩阵，矩阵中的每个元素取值范围为【0,255】，但是含义不同，彩色图像的三维矩阵可以拆分成R、G、B三个二维矩阵，矩阵中的元素分别代表图像相应位置的R、G、B亮度。灰度图像的二维矩阵中，元素则代表图像相应位置的灰度值。而二值图像可视为灰度图像的一个简化，它将灰度图像中所有高于某个阈值的原始转化为1，否则为0，故二值图像矩阵中的元素非0则1，二值图像足以描述图像的轮廓，二卷积操作的一个重要作用就是找到图像的边缘轮廓。

通过将图像转换成二值图像，再通过卷积核的过滤得到图像物体的边缘特征，再经过池化实现图像的降维以便于得到，明显的图像特征。通过模型训练，以识别出所述图像中图像特征。

本申请中，标准参考线作为待拍摄的画面图像的一个特征，可通过卷积神经网络训练得到的第一神经网络模型获得，但是，还可以是其他的神经网络，比如DNN(深层神经网络)、RNN(循环神经网络)等网络模型训练而成。无论何种神经网络进行训练，采用这种机器学习的模式来获取标准参考线的方法的原理基本一致，请参阅图9，为一示例性实施例示出的获取标准参考线的获取方法的流程图，包括：

S110、将所述画面图像输入到预设的第一神经网络模型中，其中，所述第一神经网络模型为训练至收敛的用于判断所述标准参考线的神经网络模型；

以卷积神经网络模型的训练方法为例，请参阅图10，卷积神经网络模型的训练方法如下：

S111、获取标记有分类判断信息的训练样本数据；

训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。训练样本数据是由多种不同物体的数据以及对各种不同物体进行标记的分类判断信息组成的。分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该图像信息数据中的物体与预存储的图像信息中的物体为同一个，则标定该物体分类判断信息为与预存储的目标物体图像相同。

S112、将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息是卷积神经网络模型根据输入的物体图像而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。

S113、通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

止损函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

S114、当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束。

当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

这里的训练样本是挑选出的被认定为具有最佳拍摄物体架构和比例的图片信息。通过最佳拍摄架构以及比例的图片信息，学习训练出在不同的图像信息中的图像布局的参考线，并将这些参考线定义为标准参考线。通过上述训练方法，定义能够获得标准参考线的模型为第一神经网络模型。

S120、获取所述第一神经网络模型输出的标准参考线。

通过将预拍摄的画面图像输入到第一神经网络模型，第一神经网络模型响应所述预拍摄的画面图像输入的图像信息，从而匹配并输出针对该待拍摄的画面图像的标准参考线。

在本申请中，第一神经网络模型还被训练判断所述画面图像的图像场景。通过识别出不同的图像场景，根据图像场景的第一分类信息得到针对待拍摄的画面图像的标准参考线。请参阅图11，获取所述第一神经网络模型输出的标准参考线之前还包括：

S121、获取所述第一神经网络模型输出的图像场景的第一分类信息；所述第一分类信息为表征所述图像场景类别的标签信息；

图像场景包括图像拍摄主题以及光照强度，图像拍摄主题包括风景或者物体，光照强度用于识别是室内还是室外，光照强度是怎样。图像场景的分类结果只是一个针对画面图像类型的大致的分类，每个类别中还包含有各种不同类型，比如在风景类图像中，有以建筑物为主体的图像，有以山水为主体的图像，也有以大海和蓝天为主体的图像；在物体类图像中，有以单个人为主体的图像，有以多个人为主体的图像，也有以某个静止或者动态的物体为主体的图像，有在室内的图像，也有在室外的图像等。

要获得所述图像场景的第一分类信息，首先还需要识别出画面图像中的物体图像以及所述的类别，比如识别是这个物体是蓝天、是大海、是人像还是静止的杯子等等。在一个画面图像中包括至少一个物体图像，通过这些物体图像，识别出需要重点拍摄的目标图像后，方可根据该目标图像的位置，以及与其他的物体图像的相对位置关系而判断出标准参考线。请参阅图12,在执行所述获取待拍摄的画面图像的参考信息之前还包括：

S1211、将所述画面图像输入到预设的第二神经网络模型中，其中，所述第二神经网络模型为训练至收敛的用于判断所述物体图像的类别的神经网络模型；

第二神经网络模型用于识别物体图像类别，其训练方法与上述的第一神经网络模型的方法一样。

S1212、获取所述第二神经网络模型输出的所述物体图像的第二分类信息；所述第二分类信息为表征所述物体类别的标签信息；

本申请以SSD算法模型为例介绍其中一种识别物体图像的类别以及物体图像之间的相对位置关系的方法：

SSD(Single Shot MultiboxDetector)算法模型是一种目标检测模型，SSD算法模型使用单个神经网络来预测边框的位置并判断类别，其利用了神经网络中不同层的特征图来预测边框和类别，这样可以利用不同尺度的特征图，在更广的范围上检测物体。请参阅图13，具体做法为：输入图像后，使用VGG截去分类层作为基础网络，如图中的Con4_3、Con6、Con7；并在基础网络之后添加额外的若干卷积层组成附加特征网络层，如图中的Con8_2、Con9、Con10、Con11分别表征特征网络层,通过多级卷积以得到预检测类，再进行非极大值抑制。这些卷积层的尺寸递减，以允许不同尺度范围的预测，SSD在特征图的每个网格上分配一系列固定大小的边框，并称为默认边框，不同层特征图的尺寸不同，如8*8,4*4等。对于每个默认边框，需要预测其边框形状及坐标，还有其归属于每个类的置信度。

使用一组卷积核作用在每一个额外增加的卷积层和部分基础网络的输出特征图上，产生一系列固定大小的预测结果。这组预测结果中要么是归属于某一类的概率，要不是默认边框的偏移。如一个m*n特征图有P个通道，一个3*3*P的小卷积核会产生归属于某类的一个分数，或者默认边框的一个形状偏移量。对于每张特征图，预测每个位置上默认边框的偏移和属于每个类的置信度。对于每张特征图，预测每个位置上默认边框的偏移和属于每个类的置信度。对于每个位置的默认边框，需要计算C个类置信度和4个相对于原始默认边框的偏置。如果每个位置产生K个默认边框，则每个位置都需要(C+4)K个滤波器，对于一张m*n的特征图，会产生(C+4)mnK个输出。在训练阶段，特征图上的默认边框会与原图中的目标边框进行匹配，匹配中的作为正样本，其余的作为负样本。

通过上述算法模型，可得到每一个物体图像中物体的类别，并对该物体匹配对应的标签信息。

S1213、根据所述第二分类信息确定至少一个所述物体图像为目标图像。

通过上述物体图像的识别，根据物体的大小以及距离，判断各个物体在画面图像中的位置占比，以确定哪一个物体作为目标图像。在一些选择性实施例中，由于画面图像中可能存在多个物体图像，需要在多个物体图像中识别出需要作为拍摄主体的目标图像。其中，请参阅图14，所述根据所述第二分类信息确定至少一个所述物体图像为目标图像包括：

S1214、获取所述物体图像的属性参数，其中，所述属性参数包括：物体图像的优先级、图像数量和图像大小中的任意一种或者多种的组合；

物体图像的优先级为当识别出物体图像为多个不同类别的物体时，可预设物体作为目标图像的优先级别，比如当检测到有人、建筑物和天空时，预设的优先级别从高到底依次为人、建筑物和天空，此时人为目标图像，对所检测到的人定义进行聚焦，使其显示更为清晰，其余的作为背景。

图像数量是指根据检测到物体图像类别的数量来判断目标图像，比如当检测到有人、建筑物和天空时，人有三个，建筑物只有一个，则依旧以人为目标图像作为拍摄的主体进行聚焦。

图像大小是指根据所识别的物体图像在画面图像中所占的面积比例来判断，比如当识别出画面图像中有人、建筑物与天空时，当人所占的图像的面积比例最大时，表示人体距离镜头最近，则将人作为目标图像进行聚焦。

以上只是其中的几种确定目标图像的方法，但是本申请中并不局限于以上几种，还可以上述几种参数的组合。

S1215、将所述参数属性输入到预设的目标筛选模型中；

当根据上述的方法获得物体图像的属性参数后，将所述属性参数自动输入至预设的目标筛选模型中，所述目标筛选模型为配置目标筛选规则的模型，结合步骤S1214可得，该规则可以是确定目标图像是通过物体图像的种类的优先级别，或者是图像大小，或者是其他的任意一种规则。

S1216、根据所述目标筛选模型输出的结果确定所述目标图像。

结合步骤S1214和步骤S1215即可得到目标图像。根据目标图像对画面图像进行构图以及标准参考线的确认。

S122、将所述第一分类信息与所述第一神经网络模型中存储的与所述第一分类信息相同标签信息所映射的图像进行匹配，选取匹配度最高的图像所映射的参考线作为标准参考线。

根据上述步骤S121获得图像场景的分类结果，在获得分类结果的同时，还获得了物体图像及其相对位置关系，以及确定了目标图像，则相当于确定了图像的主题以及拍摄主体，获得这些参数信息后，则可在第一神经网络模型中将这些参数信息与预存的图像进行匹配，因为分类结果只是大致的图像类别，并不精确到具体的图像，且由于不同的地方，不同的人，不同的思维模式下其拍摄的图像会不一样，通过神经网络方式可以在数据库中匹配待拍摄的画面图像，找出其主题以及拍摄主体最为接近的进行匹配，并生成一个匹配度，当匹配度达到预设的分类阈值时，则判断预拍摄的画面图像与第一神经网络中存储的图像相似度很高，待拍摄画面图像可以根据与之匹配的图像中的参考线和布局架构生成标准参考线。

当获得了标准参考线后，则可结合实际参考线生成可视化图标辅助用户进行拍摄，引导其消除偏移量，从上文中可知，若是标准参考线与实际参考线均是物体的轮廓线时，当两种轮廓线完全重合，则能快速获取最佳拍摄位置和拍摄状态，当所述标准参考线为所述目标图像在所述画面图像中的预设位置的轮廓线，所述实际参考线为所述目标图像在所述画面图像中的当前位置的轮廓线时，结合附图4，附图5可知，所述获取待拍摄的画面图像的参考信息包括：

获取所述目标图像在所述画面图像中的当前位置的轮廓线和预设位置的轮廓线；当通过步骤获取待拍摄画面图像的目标图像时，会对目标图像进行轮廓特征提取，将提取的轮廓特征保留，在显示界面中显示作为当前位置的轮廓线，在另一实施例中，由于该轮廓线与物体本身重合，且在显示界面也会显示物体的图像，故可将实际参考线透明化，不显示。进一步的，对实际参考线结合计算出的最佳构图方式和拍摄位置，将实际线进行处理，比如虚线化等移动和缩放至待拍摄图像的认为的最佳位置，并显示轮廓作为可视化的标准参考线，比如图4中标号A所示样式。

所述计算所述画面图像中所述实际参考线与标准参考线之间的偏移量包括：计算所述当前位置的轮廓线和预设位置的轮廓线之间的位置偏移量；

所述将表征所述偏移量的可视图标添加至所述画面图像中，以引导消除所述偏移量包括：当所述位置偏移量大于预设的偏移阈值时，在所述画面图像上显示所述预设位置，以引导消除所述位置偏移量。

在一些选择性实施例中，当目标拍摄物体为移动状态时，手动拍摄的模式容易出现操作的延迟性，导致拍摄时错过最佳构图位置，为了能够进行精准位置拍摄，本申请还包括一种引导消除偏移量并自动拍摄的控制方法，其流程图请参阅图15，包括：

S310、在预设的时间段内获取多张画面图像；

当检测到画面图像中存在移动的物体时，由于拍摄的滞后性容易造成目标图像的偏移，为了能够实时跟踪这种移动的物体并进行拍摄，本申请中，可通过在预设的时间段内，获取多张画面图像的方式来监测移动物体的实时位置。

S320、判断多张所述画面图像中所述目标图像的实际参考线的位置是否一致；

移动的物体有快有慢，当目标物体移动过快，容易在拍摄时错过最佳拍摄位置，本申请中，需要对比多张画面图像，判断前后两张图像中的实际参考线的位置是否一致，当多个而不同的实际参考线的位置一致，则表示目标物体没有移动，当不一致时，则表示物体发生了移动，且可以从中计算得到目标图像移动的方向和移动的相对速度。

S330、当多张所述画面图像中所述目标图像的实际参考线位置不一致时，预测所述目标图像的运动轨迹，并确定所述目标图像在所述运动轨迹上的标准参考线的位置；

当判断得到目标物体发生了移动，根据所拍摄的多张画面图像的先后顺序以及目标物体在画面图像中的具体位置，可判断出目标物体的运动轨迹以及相邻两张画面图像目标物体移动的相对距离，结合相邻两张画面图像拍摄的时间间隔，则可计算得到移动物体的相对移动速度。依据移动速度，结合通过神经网络匹配的标准参考线，可确定所述移动状态下的目标图像在所述运动轨迹上的最佳参考位置，并选择合适的标准参考线图标进行指示，如附图2和附图3中的标号D所示图标，采用矩形框体的构图线形式进行位置提示。

在一选择性实施例中，还包括当识别出所述目标图像移动至所述标准参考线的位置时自动拍摄。

当获取了标准参考线，确定了目标图像的最佳位置后，则可计算出目标物体的当前位置与最佳位置的距离差，结合获取的快门速度，则可在目标物体移动到最佳位置的标准参考线指示的位置时自动拍摄和保存，以便于快速获取最佳构图状态的图像。

本申请还公开一种智能构图控制装置，请参阅图16，为一示例性实施例示出的智能构图控制装置框图，包括：

第一获取单元100，被配置为执行获取待拍摄的画面图像的参考信息，其中，参考信息包括画面图像的标准参考线和实际参考线；

第一处理单元200，被配置为执行计算画面图像中实际参考线与标准参考线之间的偏移量；

第一执行单元300，被配置为执行将表征偏移量的可视图标添加至画面图像中，以引导消除偏移量。

本申请中的第一获取单元100通过卷积神经网络所搭建的图像识别模型获取待拍摄的画面图像的参考信息，再通过第一处理单元200来确定实际参考线与标准参考线之间的偏移量，通过第一执行单元300以可视图标的方式引导用户消除上述偏移量，以协助非专业摄影人员拍摄出符合大众审美较为专业的图片，操作简单。

在一些实施例中，所述标准参考线包括表征所述待拍摄的画面图像位于目标位置时的构图线；所述实际参考线包括表征待拍摄的画面图像当前位置的构图线。

在一些实施例中，所述标准参考线包括沿地平线方向延伸的构图线，所述实际参考线包括识别出的所述画面图像中的地平线延伸方向。

在一些实施例中，本申请的智能构图控制装置还包括：第一模型单元，被配置为执行将所述画面图像输入到预设的第一神经网络模型中，其中，所述第一神经网络模型为训练至收敛的用于判断所述标准参考线的神经网络模型；第二执行单元，被配置为执行获取所述第一神经网络模型输出的标准参考线。

在一些实施例中，所述第一神经网络模型还被训练判断所述画面图像的图像场景；还包括：第一输入单元：被配置为执行获取所述第一神经网络模型响输出的图像场景的第一分类信息；所述第一分类信息为表征所述图像场景类别的标签信息；第二获取单元：被配置为执行将所述第一分类信息与所述第一神经网络模型中存储的与所述第一分类信息相同标签信息所映射的图像进行匹配，选取匹配度最高的图像所映射的参考线作为标准参考线。

在一些实施例中，所述画面图像中包括至少一个物体图像；还包括：第二模型单元：被配置为执行将所述画面图像输入到预设的第二神经网络模型中，其中，所述第二神经网络模型为训练至收敛的用于判断所述物体图像的类别的神经网络模型；第三获取单元：被配置为执行获取所述第二神经网络模型输出的所述物体图像的第二分类信息；所述第二分类信息为表征所述物体类别的标签信息；第三执行单元：被配置为执行根据所述第二分类信息确定至少一个所述物体图像为目标图像。

在一些实施例中，根据所述第二分类信息确定所述至少一个所示物体图像为目标图像，还包括：第四获取单元：被配置为执行获取所示物体图像的属性参数，其中，所示属性参数包括：物体图像的优先级、图像数量和图像大小中的任意一种或者多种的组合；第二输入单元：被配置为执行将所述参数属性输入到预设的目标筛选模型中；第四执行单元：备配置为执行根据所述目标筛选模型输出的结果确定所述目标图像。

在一些实施例中，所述标准参考线包括所述目标图像在所述画面图像中的预设位置的轮廓线，所述实际参考线包括所述目标图像在所述画面图像中的当前位置的轮廓线；

所述获取待拍摄的画面图像的参考信息包括：获取所述目标图像在所述画面图像中的当前位置的轮廓线和预设位置的轮廓线；

在一些实施例中，还包括：第五获取单元：被配置为执行在在预设的时间段内获取多张画面图像；第一判断单元：被配置为执行判断多张所述画面图像中所述目标图像的实际参考线的位置是否一致；第三处理单元：被配置为执行当多张所述画面图像中所述目标图像的实际参考线位置不一致时，预测所述目标图像的运动轨迹，并确定所述目标图像在所述运动轨迹上的标准参考线的位置。

在一些实施例中，还包括第五执行单元：被配置为执行当识别出所述目标图像移动至所述标准参考线的位置时自动拍摄。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在本实施方式中，数据配置装置能够是：PC端或者智能移动端。当数据配置装置是：PC端或智能移动端请参阅图17。

图17是根据一示例性实施例示出的一种具备智能构图控制方法的电子设备1700的框图。例如，电子设备1700可以是移动电话，小型计算机，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图17，电子设备1700可以包括以下一个或多个组件：处理组件1702，存储器1704，电源组件1706，多媒体组件1708，音频组件1710，输入/输出(I/O)的接口1712，传感器组件1714，以及通信组件1716。

处理组件1702通常控制装置1700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1702可以包括一个或多个处理器1720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1702可以包括一个或多个模块，便于处理组件1702和其他组件之间的交互。例如，处理组件1702可以包括多媒体模块，以方便多媒体组件1708和处理组件1702之间的交互。

存储器1704被配置为存储各种类型的数据以支持在设备1700的操作。这些数据的示例包括用于在装置1700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1706为电子设备1700的各种组件提供电力。电源组件1706可以包括电源管理系统，一个或多个电源，及其他与为电子设备1700生成、管理和分配电力相关联的组件。

多媒体组件1708包括在所述电子设备1700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1708包括一个前置摄像头和/或后置摄像头。当电子设备1700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1710被配置为输出和/或输入音频信号。例如，音频组件1710包括一个麦克风(MIC)，当电子设备1700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1704或经由通信组件1716发送。在一些实施例中，音频组件1710还包括一个扬声器，用于输出音频信号。

I/O接口1712为处理组件1702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1714包括一个或多个传感器，用于为电子设备1700提供各个方面的状态评估。例如，传感器组件1714可以检测到电子设备1700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1700的显示器和小键盘，传感器组件1714还可以检测电子设备11700或电子设备1700的其中一个组件的位置改变，用户与电子设备1700接触的存在或不存在，电子设备1700方位或加速/减速和电子设备1700的温度变化。传感器组件1714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1716被配置为便于电子设备1700和其他设备之间有线或无线方式的通信。电子设备1700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1704，上述指令可由电子设备1700的处理器1720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请还提供计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述智能构图控制方法的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种智能构图控制方法，其特征在于，包括：

2.根据权利要求1所述的智能构图控制方法，其特征在于，所述标准参考线包括表征所述待拍摄的画面图像位于目标位置时的构图线；所述实际参考线包括表征待拍摄的画面图像当前位置的构图线。

3.根据权利要求1或2所述的智能构图控制方法，其特征在于，所述标准参考线包括沿地平线方向延伸的构图线，所述实际参考线包括识别出的所述画面图像中的地平线延伸方向。

4.根据权利要求1所述的智能构图控制方法，其特征在于，所述标准参考线的获取方法包括：

获取所述第一神经网络模型输出的标准参考线。

5.根据权利要求4所述的智能构图控制方法，其特征在于，所述第一神经网络模型还被训练判断所述画面图像的图像场景；所述获取所述第一神经网络模型输出的标准参考线还包括：

6.根据权利要求1所述的智能构图控制方法，其特征在于，所述画面图像中包括至少一个物体图像；在执行所述获取待拍摄的画面图像的参考信息之前还包括：

获取所述第二神经网络模型响输出的所述物体图像的第二分类信息；所述第二分类信息为表征所述物体类别的标签信息；

7.根据权利要求6所述的智能构图控制方法，其特征在于，所述根据所述第二分类信息确定至少一个所述物体图像为目标图像包括：

将所述参数属性输入到预设的目标筛选模型中；

根据所述目标筛选模型输出的结果确定所述目标图像。

8.一种智能构图控制装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1-7任意一项所述的智能构图控制方法的步骤。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种智能构图控制方法，所述方法包括上述权利要求1-7任意一项所述的智能构图控制方法。