CN107705307B - 一种基于深度学习的拍摄构图方法和系统 - Google Patents

一种基于深度学习的拍摄构图方法和系统 Download PDF

Info

Publication number
CN107705307B
CN107705307B CN201711097542.5A CN201711097542A CN107705307B CN 107705307 B CN107705307 B CN 107705307B CN 201711097542 A CN201711097542 A CN 201711097542A CN 107705307 B CN107705307 B CN 107705307B
Authority
CN
China
Prior art keywords
composition
target object
shooting
optimal
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711097542.5A
Other languages
English (en)
Other versions
CN107705307A (zh
Inventor
张明
于佳弘
刘博�
杨星彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruimo Intelligent Technology Shenzhen Co ltd
Original Assignee
Dongguan Songshan Lake International Robot Research Institute Co ltd
Remo Intelligent Technology Dongguan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Songshan Lake International Robot Research Institute Co ltd, Remo Intelligent Technology Dongguan Co ltd filed Critical Dongguan Songshan Lake International Robot Research Institute Co ltd
Priority to CN201711097542.5A priority Critical patent/CN107705307B/zh
Publication of CN107705307A publication Critical patent/CN107705307A/zh
Application granted granted Critical
Publication of CN107705307B publication Critical patent/CN107705307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种基于深度学习的拍摄构图方法和系统，包括以下步骤：对拍摄镜头中的目标对象进行实时感知；建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和缩放信息。本发明能够自动检测拍摄对象，生成最优构图方案，节省人力成本。

Description

一种基于深度学习的拍摄构图方法和系统
技术领域
本发明属于拍摄领域，具体地说是一种基于深度学习的拍摄构图方法和系统。
背景技术
在传统摄影中，如何确定当前画面的构图是一个非常重要的问题，构图的好坏直接影响拍摄的效果。构图一般由摄影师根据对象需求，结合自身经验，运用九宫格、对角线、X型、三角等构图技巧完成。该过程依赖摄影师的专业知识，对摄影师自身的技能要求较高，人力成本高。没有经过专业训练和学习的人，难以拍摄出较佳效果的画面。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的拍摄构图方法和系统，能够自动检测拍摄对象，生成最优构图方案，节省人力成本，适用范围广。
为了解决上述技术问题，本发明采取以下技术方案：
一种基于深度学习的拍摄构图方法，包括以下步骤：
对拍摄镜头中的目标对象进行实时感知；
建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；
将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和放缩信息。
所述建立构图训练集具体为：
计算当前画面的放缩倍数z，将目标对象进行放缩z倍处理；
根据构图原则，设定若干条相互交叉的参考线，将所有参考线的所有交点集合定义为Vp＝{vp}；
对目标对象建立完整的骨架模型，标记骨架模型上所有节点vo的集为Vo＝{vo}，节点的坐标(x,y)以拍摄的图像的左上角(0,0)为参考点，骨架模型上的相邻节点之间形成的线段eo的集合标记为Eo＝{eo}，骨架模型上的各节点设定相应的权重wo，该权重集为Wo＝{wo}；
标记骨架模型上某一节点vo到相邻最近的参考线交点的距离为
Figure BDA0001462545170000021
标记骨架模型上某一对相邻节点所形成的线段eo与水平方向的夹角为θ∥(eo)、以及与垂直方向的夹角为θ⊥(eo)，并且该线段eo的参考偏移角度被定义为Θ(eo)＝min{θ∥(eo),θ⊥)eo)}；
在当前拍摄画面中，当目标对象的完整骨架模型节点距参考线交点越近，相邻节点形成的线段与水平方向或垂直方向的角度偏移越小时，构图评分越高，构图方案越优，直到得到最优构图方案。
所述最优的构图方案具体为，在目标对象经过z倍放缩满足成像大小的前提下，寻找获取目标对象的平面位置信息(x,y)，使得
Figure BDA0001462545170000022
最小，其中cost＝f(·)为关于自变量的正相关函数，当cost值最小时
目标对象所在的平面位置信息(x,y)为最优位置，构图水平的评分
rate＝g(cost)，其中rate＝g(·)为关于自变量的负相关函数。
所述放缩倍数z，以目标对象的眉心到锁骨中心的连线为放缩参考依据。
所述对目标对象放缩z倍处理时，目标对象在画面中成半身像或全身像状态。
所述构图原则为三分线构图法和中心线构图法，或者对角线构图法和三角构图法，或者九宫构图方法和三角构图法。
一种基于深度学习的拍摄构图系统，所述系统包括感知单元，用于实时感知拍摄画面当中的目标对象；
构建单元，用于建立构图训练集，并且用该构图训练集对深度神经网络进行训练；
输出单元，利用训练后的深度神经网络针对当前画面，输出最优构图方案。
所述系统还包括
计算单元，用于计算当前画面的放缩倍数z；
寻找获取单元，用于寻找使得
Figure BDA0001462545170000031
最小时的目标对象所在的平面位置信息(x,y)，其中cost＝f(·)为关于自变量的正相关函数。
本发明能够自动检测拍摄对象，生成最优构图方案，节省人力成本。根据最优构图方案，可实现一般非专业人士的较佳拍摄。
附图说明
附图1为本发明流程示意图；
附图2为本发明构图原则示意图；
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1所示，本发明揭示了一种基于深度学习的拍摄构图方法，包括以下步骤：
对拍摄镜头中的目标对象进行实时感知，感知目标对象的姿态和位置等。
建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标，从而形成构图的尝试神经网络。
将感知到的当前的目标对象输入训练好的深度神经网络中，对目标对象的位置和大小进行评价，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和缩放信息。再与其他控制系统匹配，将最优构图方案传送给控制系统，控制拍摄设备自动调整拍摄角度和位置，实现自动调整，即使非专业人士也能够拍摄得到效果较佳的画面。
所述建立构图训练集具体为：
目标对象在画面中具有一个平面位置信息(x,y)，该平面位置信息(x,y)决定了目标对象在拍摄镜头中的具体位置。计算当前画面的缩放倍数z，将目标对象进行放缩z倍处理，以目标对象的眉心到锁骨中心的连线为放缩参考依据，该连线不会因为目标对象的姿态产生明显变化，具有更好的稳定性。另外，对目标对象进行放缩处理改变其大小后，目标对象在画面中成半身像或全身像状态。
根据构图原则，设定若干条相互交叉的参考线，将所有参考线的所有交点集合定义为Vp＝{vp}。本实施例中，采用三分线构图法和中心线构图法原则，给定三条水平参考线和三条垂直参考线。记六条参考线的所有交点所成集合为Vp＝{vp}。当然，构图原则并非只能是三分线构图法和中心线构图法，还可以是对角线构图法和三角构图法，或者是九宫构图方法和三角构图法，或者是其他构图法，在此并无具体限制。
对目标对象建立完整的骨架模型，标记骨架模型上所有节点vo的集为Vo＝{vo}，节点的坐标(x,y)以图像的左上角(0,0)为参考点，骨架模型上的相邻节点之间形成的线段eo的集合标记为Eo＝{eo}，骨架模型上的各节点设定相应的权重wo，表示各节点对整体构图水平不同的影响程度，该权重集为Wo＝{wo}。
标记骨架模型上某一节点vo到相邻最近的参考线交点的距离为
Figure BDA0001462545170000041
标记骨架模型上某一对相邻节点所形成的线段eo与水平方向的夹角为θ∥(eo)、以及与垂直方向的夹角为θ⊥(eo)，并且该线段eo的参考偏移角度被定义为Θ(eo)＝min{θ∥(eo),θ⊥(eo)}。
在当前拍摄画面中，当目标对象的完整骨架模型节点距参考线交点越近，相邻节点形成的线段与水平方向或垂直方向的角度偏移越小时，构图评分越高，构图方案越优，当角度偏移最小时，得到最优构图方案。
所述最优的构图方案具体为，在目标对象经过z倍放缩满足成像大小的前提下，寻找获取目标对象的平面位置信息(x,y)，使得
Figure BDA0001462545170000051
最小，其中cost＝f(·)为关于自变量的正相关函数，当cost值最小时目标对象所在的平面位置信息(x,y)为最优位置，构图水平的评分rate＝g(cost)，其中rate＝g(·)为关于自变量的负相关函数。通过各个节点vo和线段eo的遍历，从而找寻得到cost最小值时目标对象的平面位置信息，从而完成最优构图，确定目标对象在当前画面中的具体位置。
另外，本发明还揭示了一种基于深度学习的拍摄构图系统，包括感知单元，用于实时感知拍摄画面当中的目标对象；构建单元，用于建立构图训练集，并且用该构图训练集对深度神经网络进行训练；输出单元，利用训练后的深度神经网络针对当前画面，输出最优构图方案，计算单元，用于计算当前画面的放缩倍数z；
寻找获取单元，用于寻找使得
Figure BDA0001462545170000052
最小时的目标对象所在的平面位置信息(x,y)，其中cost＝f(·)为关于自变量的正相关函数。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的拍摄构图方法，包括以下步骤：
对拍摄镜头中的目标对象进行实时感知；
建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；
将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和放缩信息。
2.根据权利要求1所述的基于深度学习的拍摄构图方法，其特征在于，所述建立构图训练集具体为：
计算当前画面的放缩倍数z，将目标对象进行放缩z倍处理；
根据构图原则，设定若干条相互交叉的参考线，将所有参考线的所有交点集合定义为Vp＝{vp}；
对目标对象建立完整的骨架模型，标记骨架模型上所有节点vo的集为Vo＝{vo}，节点的坐标(x,y)以拍摄的图像的左上角(0,0)为参考点，骨架模型上的相邻节点之间形成的线段eo的集合标记为Eo＝{eo}，骨架模型上的各节点设定相应的权重wo，该权重集为Wo＝{wo}；
标记骨架模型上某一节点vo到相邻最近的参考线交点的距离为
Figure FDA0001462545160000011
标记骨架模型上某一对相邻节点所形成的线段eo与水平方向的夹角为θ∥(eo)、以及与垂直方向的夹角为θ⊥(eo)，并且该线段eo的参考偏移角度被定义为Θ(eo)＝min{θ∥(eo),θ⊥(eo)}；
在当前拍摄画面中，当目标对象的完整骨架模型节点距参考线交点越近，相邻节点形成的线段与水平方向或垂直方向的角度偏移越小时，构图评分越高，构图方案越优，直到得到最优构图方案。
3.根据权利要求2所述的基于深度学习的拍摄构图方法，其特征在于，所述最优的构图方案具体为，在目标对象经过z倍放缩满足成像大小的前提下，寻找获取目标对象的平面位置信息(x,y)，使得
Figure FDA0001462545160000021
最小，其中cost＝f(·)为关于自变量的正相关函数，当cost值最小时目标对象所在的平面位置信息(x,y)为最优位置，构图水平的评分rate＝g(cost)，其中rate＝g(·)为关于自变量的负相关函数。
4.根据权利要求3所述的基于深度学习的拍摄构图方法，其特征在于，所述放缩倍数z，以目标对象的眉心到锁骨中心的连线为放缩参考依据。
5.根据权利要求4所述的基于深度学习的拍摄构图方法，其特征在于，所述对目标对象放缩z倍处理时，目标对象在画面中成半身像或全身像状态。
6.根据权利要求5所述的基于深度学习的拍摄构图方法，其特征在于，所述构图原则为三分线构图法和中心线构图法，或者对角线构图法和三角构图法，或者九宫构图方法和三角构图法。
7.一种基于深度学习的拍摄构图系统，其特征在于，所述系统包括感知单元，用于实时感知拍摄画面当中的目标对象；
构建单元，用于建立构图训练集，并且用该构图训练集对深度神经网络进行训练；
输出单元，利用训练后的深度神经网络针对当前画面，输出最优构图方案。
8.根据权利要求7所述的基于深度学习的拍摄构图系统，其特征在于，所述系统还包括
计算单元，用于计算当前画面的放缩倍数z；
寻找获取单元，用于寻找使得
Figure FDA0001462545160000022
最小时的目标对象所在的平面位置信息(x,y)，其中cost＝f(·)为关于自变量的正相关函数。
CN201711097542.5A 2017-11-09 2017-11-09 一种基于深度学习的拍摄构图方法和系统 Active CN107705307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711097542.5A CN107705307B (zh) 2017-11-09 2017-11-09 一种基于深度学习的拍摄构图方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711097542.5A CN107705307B (zh) 2017-11-09 2017-11-09 一种基于深度学习的拍摄构图方法和系统

Publications (2)

Publication Number Publication Date
CN107705307A CN107705307A (zh) 2018-02-16
CN107705307B true CN107705307B (zh) 2021-01-01

Family

ID=61178975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711097542.5A Active CN107705307B (zh) 2017-11-09 2017-11-09 一种基于深度学习的拍摄构图方法和系统

Country Status (1)

Country Link
CN (1) CN107705307B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344715A (zh) * 2018-08-31 2019-02-15 北京达佳互联信息技术有限公司 智能构图控制方法、装置、电子设备及存储介质
CN112243581A (zh) * 2019-11-26 2021-01-19 深圳市大疆创新科技有限公司 云台、云台的控制设备、云台的控制方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131411A (zh) * 2016-07-14 2016-11-16 纳恩博（北京）科技有限公司 一种拍摄图像的方法和装置
CN106534669A (zh) * 2016-10-25 2017-03-22 华为机器有限公司 一种拍摄构图方法及移动终端
CN107018330A (zh) * 2017-04-19 2017-08-04 中国电子科技集团公司电子科学研究院 一种实时拍照指导方法及装置
CN107025437A (zh) * 2017-03-16 2017-08-08 南京邮电大学 基于智能构图及微表情分析的智能拍照方法及装置
CN107229930A (zh) * 2017-04-28 2017-10-03 北京化工大学 一种指针式仪表数值智能识别方法及装置
CN107317962A (zh) * 2017-05-12 2017-11-03 广东网金控股股份有限公司 一种智能拍照裁剪构图系统及使用方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131411A (zh) * 2016-07-14 2016-11-16 纳恩博（北京）科技有限公司 一种拍摄图像的方法和装置
CN106534669A (zh) * 2016-10-25 2017-03-22 华为机器有限公司 一种拍摄构图方法及移动终端
CN107025437A (zh) * 2017-03-16 2017-08-08 南京邮电大学 基于智能构图及微表情分析的智能拍照方法及装置
CN107018330A (zh) * 2017-04-19 2017-08-04 中国电子科技集团公司电子科学研究院 一种实时拍照指导方法及装置
CN107229930A (zh) * 2017-04-28 2017-10-03 北京化工大学 一种指针式仪表数值智能识别方法及装置
CN107317962A (zh) * 2017-05-12 2017-11-03 广东网金控股股份有限公司 一种智能拍照裁剪构图系统及使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Intelligent Portrait Composition Assistance— Integrating Deep-learned Models and Photography Idea Retrieval";Farshid Farhat,;《Thematic workshops of ACM Multimedia》;20171031;摘要、第1节、第3.1-3.2节、图2 *

Also Published As

Publication number Publication date
CN107705307A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
CN106797456B (zh) 投影图像校正方法、校正装置及机器人
Mueggler et al. Event-based, 6-DOF pose tracking for high-speed maneuvers
CN105678809A (zh) 手持式自动跟拍装置及其目标跟踪方法
WO2017215295A1 (zh) 一种摄像机参数调整方法、导播摄像机及系统
CN105374019A (zh) 一种多深度图融合方法及装置
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN107204010A (zh) 一种单目图像深度估计方法与系统
CN108846867A (zh) 一种基于多目全景惯导的slam系统
CN105654476B (zh) 基于混沌粒子群优化算法的双目标定方法
US11443639B2 (en) Methods of generating a unmanned aerial vehicle migration trajectory, electronic devices and storage mediums
CN108665541B (zh) 一种基于激光传感器的地图生成方法及装置和机器人
CN104299245B (zh) 基于神经网络的增强现实跟踪方法
CN106973221B (zh) 基于美学评价的无人机摄像方法和系统
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
WO2020248395A1 (zh) 跟拍方法、装置、设备及存储介质
CN107192375B (zh) 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
WO2021128747A1 (zh) 监控方法、装置、系统、电子设备及存储介质
CN110989639A (zh) 一种基于应力矩阵的水下航行器编队控制方法
CN110276768A (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN104182970A (zh) 一种基于摄影构图规则的留念照人像站位推荐方法
CN109765936A (zh) 移动终端的定位和控制方法、装置及无人机
CN108470356A (zh) 一种基于双目视觉的目标对象快速测距方法
CN107705307B (zh) 一种基于深度学习的拍摄构图方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 408, area a, 4 / F, unit 1, building 17, XinZhuYuan, No.4, Xinzhu Road, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province, 523000

Patentee after: Ruimo innovation technology (Shenzhen) Co.,Ltd.

Patentee after: DONGGUAN SONGSHAN LAKE TECHXINSTITUTE Co.,Ltd.

Address before: Room 408, area a, 4 / F, unit 1, building 17, XinZhuYuan, No.4, Xinzhu Road, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province, 523000

Patentee before: Remo Intelligent Technology (Dongguan) Co.,Ltd.

Patentee before: DONGGUAN SONGSHAN LAKE TECHXINSTITUTE Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211105

Address after: 518057 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Patentee after: RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: Room 408, area a, 4 / F, unit 1, building 17, XinZhuYuan, No.4, Xinzhu Road, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province, 523000

Patentee before: Ruimo innovation technology (Shenzhen) Co.,Ltd.

Patentee before: DONGGUAN SONGSHAN LAKE TECHXINSTITUTE Co.,Ltd.