CN107749952B - 一种基于深度学习的智能无人摄影方法和系统 - Google Patents

一种基于深度学习的智能无人摄影方法和系统 Download PDF

Info

Publication number
CN107749952B
CN107749952B CN201711098877.9A CN201711098877A CN107749952B CN 107749952 B CN107749952 B CN 107749952B CN 201711098877 A CN201711098877 A CN 201711098877A CN 107749952 B CN107749952 B CN 107749952B
Authority
CN
China
Prior art keywords
target object
composition
camera
intelligent
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711098877.9A
Other languages
English (en)
Other versions
CN107749952A (zh
Inventor
张明
于佳弘
刘博�
杨星彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.
Original Assignee
Hangzhou Lingfan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingfan Technology Co ltd filed Critical Hangzhou Lingfan Technology Co ltd
Priority to CN201711098877.9A priority Critical patent/CN107749952B/zh
Publication of CN107749952A publication Critical patent/CN107749952A/zh
Application granted granted Critical
Publication of CN107749952B publication Critical patent/CN107749952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的智能无人摄影方法和系统，包括以下步骤：将摄影机架设在控制云台上，开启摄影机对目标对象进行视频拍摄；对目标对象进行感知，获取目标对象的特征要素；构图，对目标对象的特征要素进行基于深度神经网络的深度学习，完成当前画面的构图；根据构图情况，向云台和摄影机发送控制指令，使云台运动至指定方向，以及使摄影机自动变焦，使得目标对象始终位于拍摄画面中的合适位置。本发明自动跟踪拍摄，保持目标对象在当前画面当中的最优位置，提升拍摄效果，满足用户的个性化需求。

Description

一种基于深度学习的智能无人摄影方法和系统
技术领域
本发明涉及一种基于深度学习的智能无人摄影方法和系统。
背景技术
生活中经常会有需要单人完成视频拍摄的场景，例如讲课视频录制、网络直播、舞蹈展示等等，通常我们将录像设备放在固定位置，然后在摄像头前的某个固定区域内进行讲课、直播或者舞蹈等活动。此种视频拍摄方法，相机往往是固定不动，镜头固定的情况下，人的活动范围受到限制的同时，人对拍摄画面也缺乏感知，导致人自己在画面中的位置、远近都不符合预期，拍摄效果比较差。如果请专业的摄影师来拍摄，人力成本又很高。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的智能无人摄影方法和系统，自动跟踪拍摄，保持目标对象在当前画面当中的最优位置，提升拍摄效果，满足用户的个性化需求。
为了解决上述技术问题，本发明采取以下技术方案：
一种基于深度学习的智能无人摄影方法，包括以下步骤：
将摄影机架设在控制云台上，开启摄影机对目标对象进行视频拍摄；
对目标对象进行感知，获取目标对象的特征要素；
构图，对目标对象的特征要素进行基于深度神经网络的深度学习，完成当前画面的构图；
根据构图情况，向云台和摄影机发送控制指令，使云台运动至指定方向，以及使摄影机自动变焦，使得目标对象始终位于拍摄画面中的合适位置。
所述构图时，建立智能构图深度神经网络的训练数据集，根据拍摄得到的二维图像和视频，从该二维图像和视频中提取目标对象的骨架模型；
根据三分线构图法得到当前画面中固定的参考线，根据中心构图法得到当前画面中固定的参考点，获取骨架模型中关键点和参考点的距离和以及骨架模型中关键线段和参考线的夹角和的加权和，使该加权和的值最小，从而将骨架模型置于当前画面中的最优位置，该二维图像、视频以及骨架模型最优位置标签信息构成了构图智能深度神经网络的训练数据集；
用该训练集对初始的深度神经网络进行训练，得到了智能构图深度神经网络。
将包含目标对象或者目标对象一部分的图像输入得到的智能构图深度神经网络，即得到人体下一步移动到的最优位置及对变焦控制的输出，向云台和摄影机输出下一步运动的控制指令，使目标对象始终保持在摄影画面中。
所述将骨架模型置于当前画面中的最优位置之前，还按照预设比例值优化目标对象在当前画面中的比例。
所述目标对象的特征要素包括所在场景、位置、大小、距离、行为和姿态。
一种基于深度学习的智能无人摄影系统，包括感知单元，用于感知目标对象的特征要素；
学习单元，用于对目标对象的特征要素基于深度神经网络的深度学习；
构图单元，用于建立构图智能神经网络，对目标对象进行实时构图，获取目标对象在当前画面中的最优位置；
控制单元，控制云台调整角度和摄影机自动变焦。
所述系统还包括优化单元，用于优化目标对象在当前画面中所占的比例。
本发明自动跟踪拍摄，能够准确地识别人物所在的场景、位置、距离、行为、姿态等等要素，为拍摄控制系统提供准确的指导信息，不需要专业人士即可拍出较佳的视频，使得拍摄效果更加专业。多种模式针对不同场景，获得最好的拍摄效果，满足用户的个性化需求。
附图说明
附图1为本发明调整拍摄示意图；
附图2为利用本发明方法进行拍摄的整体流程示意图；
附图3为本发明目标对象上的关键点和关键线段的示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
一种基于深度学习的智能无人摄影方法，包括以下步骤：
S1，将摄影机架设在控制云台上，开启摄影机对目标对象进行视频拍摄。云台为现有的公知云台，能够带动摄影机进行各个方向上的转动，实现角度的全方位调整。而摄影机具备自动变焦功能，此为公知常识，在此不再详细赘述。
S2，对目标对象进行感知，获取目标对象的特征要素。该特征要素包括场景、位置、大小、距离、行为和姿态。场景即指目标对象当前所在的环境。位置和大小为目标对象相对于当前画面而言。行为和姿态则是目标对象当前的具体动作，从而便于进行姿态估计，推测下一步的姿态趋向。
S3，构图，对目标对象的特征要素进行基于深度神经网络的深度学习，完成当前画面的构图。
S4，根据构图情况，向云台和摄影机发送控制指令，使云台运动至指定方向，以及使摄影机自动变焦，使得目标对象始终位于拍摄画面中的合适位置。利用云台带动摄影机的角度调整，实现自动跟踪拍摄，不需要人为额外操作，提升拍摄效果。
所述构图时，建立智能构图深度神经网络的训练数据集，根据拍摄得到的二维图像和视频，从该二维图像和视频中提取目标对象的骨架模型。二维图像为在拍摄过程中拍摄视频过程中拍摄得到。单独的将目标对象的骨架模型提取出来，便于构图。
根据三分线构图法得到当前画面中固定的参考线，根据中心构图法得到当前画面中固定的参考点，利用优化算法，获取骨架模型中关键点和参考点的距离和以及骨架模型中关键线段和参考线的夹角和的加权和，使该加权和的值最小，按照预设比例值优化目标对象在当前画面中的比例，从而将骨架模型置于当前画面中的最优位置，该二维图像、视频以及骨架模型最优位置标签信息构成了构图智能深度神经网络的训练数据集。用该训练集对初始的深度神经网络进行训练，得到了智能构图深度神经网络。三分线构图法和中心构图法为摄影领域的技术人员所采用的常规技术手段。
将包含目标对象或者目标对象一部分的图像输入得到的智能构图深度神经网络，即得到人体下一步移动到的最优位置及对变焦控制的输出，向云台和摄影机输出下一步运动的控制指令，使目标对象始终保持在摄影画面中。
如附图1所示，开始时人体处于画面左上角，且人体很大一部分在画面外的情况。根据构图后，则得到云台转动的角度，操控云台带动摄影机向左上方转动一定角度，从而使得人体完全位于当前画面中，这样可以实现完全自主的无人化拍摄。
如附图2所示，进行拍摄时，利用摄影机对目标对象开启拍摄，然后进行实时构图，当目标对象偏离出摄影机镜头范围时，即发送控制指令使云台带动摄影机调整角度，确保跟踪拍摄，直到拍摄结束。
本系统运行过程中，可由用户针对不同的场景，选择单人、多人、半身、局部等模式，满足例如多人运动时的广角拍摄，讲课一般只关注脸和手在内的上半身拍摄，竞技游戏直播时大家比较关注手部操作等等场景的个性化需求。
对于目标对象的骨架模型中的关键点和关键线段，如附图3所示，关键点可进行灵活设置，比如可为：鼻子，左／右眼，左/右耳，左/右肩，左/右腕，左/右肘，脖子，左/右臀，左/右膝，左/右踝，或者是其他的位置。关键线段则是将各个关键点连接起来得到的线段。
在对目标对象进行比例优化时，该优化比例可进行灵活的设置和调整。
如下表一所示。
表一
分镜 定义 上留白占比 分镜占比 下留白占比
全身镜 头部到脚部 20% 70% 10%
七分镜 头部到膝部 18% 82% 0%
五分镜 头部到胯部 15% 85% 0%
三分镜 头部到肩部 13% 87% 0%
特写镜 头部 10% 90% 0%
另外，本发明还揭示了一种基于深度学习的智能无人摄影系统，包括感知单元，用于感知目标对象的特征要素；学习单元，用于对目标对象的特征要素基于深度神经网络的深度学习；构图单元，用于建立构图智能神经网络，对目标对象进行实时构图，获取目标对象在当前画面中的最优位置；控制单元，控制云台调整角度和摄影机自动变焦。所述系统还包括优化单元，用于优化目标对象在当前画面中所占的比例。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的智能无人摄影方法，包括以下步骤：
将摄影机架设在控制云台上，开启摄影机对目标对象进行视频拍摄；
对目标对象进行感知，获取目标对象的特征要素；
构图，利用目标对象的特征要素基于智能构图深度神经网络，完成当前画面的构图；
根据构图情况，向云台和摄影机发送控制指令，使云台运动至指定方向，以及使摄影机自动变焦，使得目标对象始终位于拍摄画面中的合适位置；
所述构图时，建立智能构图深度神经网络的训练数据集，根据拍摄得到的二维图像和视频，从该二维图像和视频中提取目标对象的骨架模型；
根据三分线构图法得到当前画面中固定的参考线，根据中心构图法得到当前画面中固定的参考点，获取骨架模型中关键点和参考点的距离和以及骨架模型中关键线段和参考线的夹角和的加权和，使该加权和的值最小，从而将骨架模型置于当前画面中的最优位置，该二维图像、视频以及骨架模型最优位置标签信息构成了构图智能深度神经网络的训练数据集；
用该训练集对初始的深度神经网络进行训练，得到了智能构图深度神经网络。
2.根据权利要求1所述的基于深度学习的智能无人摄影方法，其特征在于，将包含目标对象或者目标对象一部分的图像输入得到的智能构图深度神经网络，即得到人体下一步移动到的最优位置及对变焦控制的输出，向云台和摄影机输出下一步运动的控制指令，使目标对象始终保持在摄影画面中。
3.根据权利要求2所述的基于深度学习的智能无人摄影方法，其特征在于，所述将骨架模型置于当前画面中的最优位置之前，还按照预设比例值优化目标对象在当前画面中的比例。
4.根据权利要求3所述的基于深度学习的智能无人摄影方法，其特征在于，所述目标对象的特征要素包括所在场景、位置、大小、距离、行为和姿态。
CN201711098877.9A 2017-11-09 2017-11-09 一种基于深度学习的智能无人摄影方法和系统 Active CN107749952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711098877.9A CN107749952B (zh) 2017-11-09 2017-11-09 一种基于深度学习的智能无人摄影方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711098877.9A CN107749952B (zh) 2017-11-09 2017-11-09 一种基于深度学习的智能无人摄影方法和系统

Publications (2)

Publication Number Publication Date
CN107749952A CN107749952A (zh) 2018-03-02
CN107749952B true CN107749952B (zh) 2020-04-10

Family

ID=61250928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711098877.9A Active CN107749952B (zh) 2017-11-09 2017-11-09 一种基于深度学习的智能无人摄影方法和系统

Country Status (1)

Country Link
CN (1) CN107749952B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737717A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 拍摄方法、装置、智能设备及存储介质
CN109905593B (zh) * 2018-11-06 2021-10-15 华为技术有限公司 一种图像处理方法和装置
GB2584986B (en) * 2019-03-19 2023-07-26 Sony Interactive Entertainment Inc System and camera device for capturing images
CN110232706B (zh) * 2019-06-12 2022-07-29 睿魔智能科技（深圳）有限公司 多人跟拍方法、装置、设备及存储介质
CN110072064B (zh) 2019-06-12 2020-07-03 睿魔智能科技（深圳）有限公司 一种图像拍摄方法、装置、设备以及存储介质
CN110276768B (zh) * 2019-06-28 2022-04-05 京东方科技集团股份有限公司 图像分割方法、图像分割装置、图像分割设备及介质
CN111416952A (zh) * 2020-03-05 2020-07-14 深圳市多亲科技有限公司 一种移动视频直播方法、装置和移动终端
WO2022141271A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 云台系统的控制方法、控制设备、云台系统和存储介质
US11570367B2 (en) 2021-01-06 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for intelligent camera zoom
CN115314630A (zh) * 2022-01-24 2022-11-08 李宁 一种基于图像识别分析技术的婚庆摄影摄像智能化调控管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493453B2 (en) * 2009-06-05 2013-07-23 Apple Inc. Image capturing devices using orientation detectors to implement automatic exposure mechanisms
CN104835182A (zh) * 2015-06-03 2015-08-12 上海建炜信息技术有限公司 摄像机上实现动态目标实时跟踪的方法
CN105141828A (zh) * 2015-07-08 2015-12-09 成都西可科技有限公司 一种运动相机锁定场景后自动调整视角进行录制的方法
CN105915801A (zh) * 2016-06-12 2016-08-31 北京光年无限科技有限公司 改善抓拍效果的自学习方法及装置
CN106650827A (zh) * 2016-12-30 2017-05-10 南京大学 基于结构指导深度学习的人体姿态估计方法和系统
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6267502B2 (ja) * 2013-12-10 2018-01-24 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
CN105894016B (zh) * 2016-03-29 2020-02-21 联想(北京)有限公司 图像处理方法和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493453B2 (en) * 2009-06-05 2013-07-23 Apple Inc. Image capturing devices using orientation detectors to implement automatic exposure mechanisms
CN104835182A (zh) * 2015-06-03 2015-08-12 上海建炜信息技术有限公司 摄像机上实现动态目标实时跟踪的方法
CN105141828A (zh) * 2015-07-08 2015-12-09 成都西可科技有限公司 一种运动相机锁定场景后自动调整视角进行录制的方法
CN105915801A (zh) * 2016-06-12 2016-08-31 北京光年无限科技有限公司 改善抓拍效果的自学习方法及装置
CN106650827A (zh) * 2016-12-30 2017-05-10 南京大学 基于结构指导深度学习的人体姿态估计方法和系统
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法

Also Published As

Publication number Publication date
CN107749952A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN107749952B (zh) 一种基于深度学习的智能无人摄影方法和系统
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
JP6250819B2 (ja) 画像キャプチャフィードバック
CN105264436B (zh) 用于控制与图像捕捉有关的设备的系统和方法
CN103428461B (zh) 一种授课影像录制的系统和方法
CN108614638B (zh) Ar成像方法和装置
CN106131413B (zh) 一种拍摄设备的控制方法及拍摄设备
CN107462992B (zh) 一种头戴显示设备的调节方法、装置及头戴显示设备
CN107027014A (zh) 一种动向智能投影系统及其方法
WO2020248395A1 (zh) 跟拍方法、装置、设备及存储介质
JP2020174345A (ja) 画像を取り込むシステムおよびカメラ機器
CN106973221B (zh) 基于美学评价的无人机摄像方法和系统
US10129503B1 (en) Image-capturing watch
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
CN103971547B (zh) 基于移动终端的摄影仿真教学方法及系统
CN206575538U (zh) 一种动向智能投影显示系统
CN108989765B (zh) 动态跟踪自拍的三角架系统
CN109495626A (zh) 一种用于便携式移动通讯设备的拍摄辅助装置及系统
WO2020248396A1 (zh) 图像拍摄方法、装置、设备以及存储介质
CN110830712A (zh) 一种自主摄影系统和方法
CN108416800A (zh) 目标跟踪方法及装置、终端、计算机可读存储介质
JP7498459B2 (ja) 映像伝送システム、映像伝送装置、および、映像伝送プログラム
JP2014033265A (ja) 撮像装置、撮像方法およびプログラム
US20220210318A1 (en) Composition method and system of photographing device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200409

Address after: 518057 building 220, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Province

Patentee after: RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: Hsinchu Songshan Lake high tech Industrial Development Zone of Dongguan City, Guangdong province 523000 new No. 4 unit 1 building 17 Guangdong A area 4 Building Room 408

Co-patentee before: HANGZHOU LINGFAN TECHNOLOGY Co.,Ltd.

Patentee before: HANGZHOU LINGFAN TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right