CN107463180A - 电子设备及其操作方法 - Google Patents

电子设备及其操作方法 Download PDF

Info

Publication number
CN107463180A
CN107463180A CN201710407624.9A CN201710407624A CN107463180A CN 107463180 A CN107463180 A CN 107463180A CN 201710407624 A CN201710407624 A CN 201710407624A CN 107463180 A CN107463180 A CN 107463180A
Authority
CN
China
Prior art keywords
unmanned
image
filming apparatus
information
electronic installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710407624.9A
Other languages
English (en)
Inventor
李雨城
金时弘
金泰均
申荣澈
李政宰
韩宗熙
金胜年
尹炳郁
李昭英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107463180A publication Critical patent/CN107463180A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种电子设备及其操作方法。提供了一种无人拍摄装置及其方法，所述方法包括：使用通信装置与外部电子装置建立无线连接；通过无线连接在第一三维(3D)位置处从外部电子装置接收第一信号，其中，第一信号包括与包括第一对象的第一图像相关的数据；基于所述数据中的至少一部分数据以及第一3D位置来确定第二3D位置；控制无人拍摄装置飞行到第二3D位置或第二3D位置附近；使用相机跟踪与第一对象相应的第二对象；以及在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像使得第二图像与第一图像相应。

Description

电子设备及其操作方法
技术领域
本公开总体上涉及一种电子设备，更具体地，涉及一种用于无人拍摄的电子设备和方法。
背景技术
无人电子装置可被无线连接到遥控器(RC)并被RC远程控制。为了使用无人电子装置拍摄图片，可通过RC控制无人电子装置来拍摄图片。
由于用户需要直接控制无人拍摄装置拍摄图片，所以难以控制无人拍摄装置。此外，为了获得预期的由无人拍摄装置捕获的图像的构图(composition)，应该同时控制无人拍摄装置和照相机。
发明内容
本公开的一方面提供了一种用于在电子装置中使用无人拍摄装置设置预期图像和构图并将其发送到无人拍摄装置的设备和方法。
本公开的另一方面提供了一种用于在无人拍摄装置中根据从电子装置接收的构图信息来确定被摄体的对象、自动移动无人拍摄装置并捕获设置的构图的图像的设备或方法。
本公开的另一方面提供了一种用于在无人拍摄装置中与移动通信装置相关联地使无人拍摄装置自动飞行以捕获具有由用户设置的构图的图像，并且当识别了设置的构图时自动捕获图像的设备和方法。
根据本公开的一方面，提供了一种无人拍摄装置，包括：壳体；导航装置，附接到壳体或与壳体集成,并被配置为使电子装置飞行到三维(3D)位置；至少一个无线通信装置；相机，附接到壳体或与壳体集成；处理器，与导航装置、所述至少一个无线通信装置和相机电连接；存储器，与处理器电连接并存储指令，其中，当所述指令被执行时，所述指令使处理器执行以下操作：使用通信装置与外部电子装置建立无线连接，通过无线连接在第一3D位置处从所述外部电子装置接收第一信号，其中，第一信号包括与包括第一对象的第一图像相关的数据，基于所述数据中的至少一部分数据以及第一3D位置确定第二3D位置，控制导航装置使电子装置飞行到第二3D位置或第二3D位置附近，使用相机跟踪与第一对象相应的第二对象，在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像使得第二图像与第一图像相应，通过无线连接将第二图像发送到外部电子装置。
根据本公开的另一方面，提供了一种电子装置，包括：壳体；至少一个无线通信装置；相机，附接到壳体或与壳体集成；显示器；处理器，与通信装置和相机电连接；存储器，与处理器电连接并存储指令，其中，当所述指令被执行时，所述指令使处理器执行以下操作：使用所述至少一个无线通信装置与无人拍摄装置建立无线连接，通过无线连接将第一信号发送到无人拍摄装置，第一信号包括与包括第一对象的第一图像相关的数据，通过无线连接从无人拍摄装置接收第二图像。
根据本公开的另一方面，提供了一种用于操作无人拍摄装置的方法，包括：使用通信装置与外部电子装置建立无线连接；通过无线连接在第一3D位置处从外部电子装置接收第一信号，其中，第一信号包括与包括第一对象的第一图像相关的数据；基于所述数据中的至少一部分数据以及第一3D位置来确定第二3D位置；控制无人拍摄装置飞行到第二3D位置或第二3D位置附近；使用相机跟踪与第一对象相应的第二对象；在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像使得第二图像与第一图像相应；通过无线连接将第二图像发送到外部电子装置。
根据本公开的另一方面，提供了一种操作电子装置的方法，包括：使用通信装置与无人拍摄装置建立无线连接；通过无线连接将目标构图数据发送到无人拍摄装置，其中，目标构图数据包括包含对象的第一图像的数据；通过无线连接从无人拍摄装置接收第二图像。
附图说明
从结合附图进行的以下描述中，本公开的特定实施例的上述和其它方面、特征和优点将更加清楚，其中：
图1是根据本公开的实施例的网络环境系统的框图；
图2是根据本公开的实施例的电子装置的框图；
图3是根据本公开的实施例的程序模块的框图；
图4是根据本公开的另一实施例的电子装置的框图；
图5是根据本公开的实施例的无人拍摄装置的框图；
图6是根据本公开的实施例的无人拍摄装置的自动拍摄的示图；
图7是根据本公开的另一实施例的无人拍摄装置的框图；
图8A和图8B是根据本公开的实施例的无人拍摄装置的平台结构的示图；
图9A、图9B、图9C和图9D是根据本公开的实施例的无人拍摄装置的结构和驱动操作的示图；
图10A、图10B和图10C是根据本公开的实施例的使用电子装置对无人拍摄装置进行移动控制的示图；
图11是根据本公开的实施例的无人拍摄装置的拍摄操作的流程图；
图12是根据本公开的实施例的用于在电子装置中产生图像的拍摄信息的方法的流程图；
图13A和图13B是根据本公开的实施例的通过提取图像构图信息来产生拍摄信息的电子装置的示图；
图14是根据本公开的实施例的用于通过分析电子装置中的选择的图像来产生拍摄信息的方法的流程图；
图15A至图15H是根据本公开的实施例的提取图像中的对象的信息的电子装置的示图；
图16A至图16E是根据本公开的实施例的选择电子装置中的图像的屏幕截图；
图17A至图17E是根据本公开的实施例的向无人拍摄装置发送拍摄信息的电子装置的示图；
图18是根据本公开的实施例的用于使用无人拍摄装置进行自动拍摄的方法的流程图；
图19A至图19B是根据本公开的实施例的无人拍摄装置自主(autonomously)飞行到获得目标构图的位置的示图；
图20是根据本公开的实施例的自主飞行并设置构图的电子装置的示图；
图21是根据本公开的实施例的无人拍摄装置的对象位置校正的示图；
图22是根据本公开的实施例的对无人拍摄装置的移动控制的示图；
图23是根据本公开的实施例的用于在无人拍摄装置中终止拍摄的方法的流程图；
图24A和图24B是根据本公开的实施例的通过无人拍摄装置进行视频捕获的示图；
图25是根据本公开的实施例的通过电子装置和无人拍摄装置进行视频捕获的示图；
图26是根据本公开的实施例的用于在电子装置中控制由无人拍摄装置进行视频捕获的方法的流程图；
图27是根据本公开的实施例的用于使用无人拍摄装置捕获视频的方法的流程图；
图28是根据本公开的实施例的通过电子装置和无人拍摄装置进行视频捕获的方法的流程图；
图29A、29B和29C是根据本公开的实施例的通过无人拍摄装置进行视频捕获的示图；
图30是根据本公开的实施例的包括深度相机的无人拍摄装置的框图；
图31是根据本公开的实施例的在基于电子装置和无人拍摄装置中三维(3D)位置信息进行视频捕获的示图；
图32是根据本公开的实施例的用于通过无人拍摄装置捕获视频的方法的流程图。
具体实施方式
下面，将参照附图对本公开的特定实施例进行描述。然而，应理解，本公开对这里公开的特定形式没有限制；相反，本公开应被理解为覆盖本公开的实施例的各种修改、等同物和/或替代物。在描述附图时，可使用相同的标号来指定相同的组成元件。
如这里所使用的，表述“具有”、“可具有”、“包括”或“可包括”是指存在相应的特征(例如数字、功能、操作或诸如组件的构成元件)，并且不排除一个或更多个附加功能。
在本公开中，表述“A或B”、“A或/和B中的至少一个”、或“A或/和B中的一个或更多个”可包括所列项的全部可能的组合。表述“A或B”、“A和B中的至少一个”或“A或B中的至少一个”指的是以下所有表述：(1)包括至少一个A、(2)包括至少一个B、或(3)包括至少一个A和至少一个B的全部。
被用于本公开的实施例中的“第一”、“第二”、“所述第一”或“所述第二”的表述可修饰各种组件，而不管顺序和/或重要性，但不限制相应的组件。尽管第一用户装置和第二用户装置都是用户装置，但是第一用户装置和第二用户装置表示不同的用户装置。在不脱离本公开的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。
应理解，当元件(例如，第一元件)被称为与另一个元件(例如，第二元件)(可操作地或通信地)“连接”或“耦接”时，所述元件可与所述另一个元件直接连接或直接耦接，或者任何其他元件(例如，第三元件)可被插于它们之间。相反地，当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“直接地连接”或“直接地耦接”时，没有元件(例如，第三元件)插于它们之间。
在本公开中使的表述“被配置为”可与例如“适合于”、“具有…的能力”、“被设计用于”、“适合”、“用作”或“能够”互换使用。术语“被配置为”可不需要表明在硬件上“被专门设计为”。可选地，在一些情况中，表述“装置被配置为”可指所述装置与其他装置或组件“能够…”的情况。语句“处理器适合于(或被配置为)执行A、B和C”可指，例如，仅用于执行相应的操作的专用处理器(例如，嵌入式处理器)或可通过执行一个或更多个存储在存储器中的软件程序来执行相应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
在本公开中使用的术语仅用于描述具体实施例，并不旨于限制本公开。如这里使用的，单数形式也可包括复数形式，除非上下文另有明确指出。除非另有定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通常使用的词典中定义的术语可以被解释为具有与在相关领域中的上下文含义相同的含义，并且不被解释为具有理想或过度形式的含义，除非在本公开中明确定义。在某些情况下，即使在本公开中定义了术语，也不应将其解释为排除本公开的实施例。
根据本公开的实施例的电子装置可包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、笔记本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗装置、相机和可穿戴装置等中的至少一个，但不限于此。可穿戴装置可包括附件类型(例如手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装集成型(例如，电子服装)、身体安装型(例如皮肤垫或纹身)和生物可植入型(例如，可植入电路)等中的至少一种，但不限于此。
根据本公开的实施例，电子装置可以是家用电器。家用电器可包括例如电视机、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像机和电子相框等中的至少一个，但不限于此。
根据本公开的实施例，电子装置可包括各种医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层拍摄(CT)机器和超声波机器)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、用于船舶的电子装置(例如，用于船舶的导航装置和陀螺罗盘)、航空电子装置、安全装置、汽车头单元、家庭或工业机器人、自动取款机(ATM)、销售点(POS)终端或物联网(IoT)装置(例如，灯泡、各种传感器、电表或燃气表、洒水装置、火灾报警器、恒温器、路灯、烤箱、运动用品、热水箱、加热器、锅炉等)等中的至少一种，但不限于此。
根据本公开的实施例，电子装置可包括家具或建筑物/结构的部分、电子板、电子签名接收装置、投影仪和各种测量仪器(例如，水表、电表、燃气表和无线电波表)等中的至少一个，但不限于此。电子装置可以是上述各种装置中的一种或更多种的组合。电子装置可以是柔性装置。此外，电子装置不限于上述装置，并且可包括根据新技术的研发的新电子装置。
下面，将参照附图描述根据本公开的实施例的电子装置。如这里所使用的，术语“用户”可指使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
图1示出了根据本公开的实施例的包括电子装置的网络环境。
将参照图1对根据本公开的实施例的网络环境100中的电子装置101进行描述。电子装置101包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。电子装置101可省略上述组件中的至少一个或者还可包括其他组件。
例如，总线110可包括将组件110至170互连并在组件110至170之间传递通信(例如，控制消息和/或数据)的电路。
处理器120可包括中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或更多个。例如，处理器120可执行与电子装置101的至少一个其他组件的控制和/或通信相关的计算或数据处理。下面将参照附图详细描述处理(或控制)处理器120的操作。
存储器130可包括易失性存储器和/或非易失性存储器。存储器130可存储例如与电子装置101的至少一个其他组件相关的命令或数据。根据本公开的实施例，存储器130存储软件和/或程序140。例如，程序140包括内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143和API 145中的至少一些可被称为操作系统(OS)。存储器130可包括计算机可读记录介质，其中，所述计算机可读记录介质上记录有用于在处理器120中执行所述方法的程序。
内核141可控制或管理用于执行在其他程序(例如，中间件143、API 145或应用147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。此外，内核141可提供接口，其中，中间件143、API 145或应用147可通过该接口来访问电子装置101的各个组件以控制或管理系统资源。
例如，中间件143可用作用于允许API 145或应用147与内核141通信以交换数据的中介。
中间件143可根据任务请求的优先级来处理从应用147接收的一个或更多个任务请求。中间件143可向应用147中的至少一个分配用于使用电子装置101的系统资源(例如，总线110、处理器120、存储器130等)的优先级。中间件143可通过根据分配给所述一个或更多个任务请求的优先级处理所述一个或更多个任务请求来对所述一个或更多个任务请求执行调度或加载平衡。
API 145是这样的接口：应用147通过该接口控制从内核141或中间件143提供的功能，并且API 145可包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。
例如，输入/输出接口150可用作可将从用户或另一外部装置输入的命令或数据传送到电子装置101的其他元件的接口。此外，输入/输出接口150可将从电子装置101的其他元件接收的命令或数据输出到用户或另一外部装置。
显示器160的示例可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器和电子纸显示器等，但不限于此。例如，显示器160可向用户显示各种类型的内容(例如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏，并且可接收例如使用电子笔或用户的身体部位输入的触摸、手势、邻近或悬停。
例如，通信接口170可在电子装置101和第一外部电子装置102、第二外部电子装置104或服务器106之间建立通信。通信接口170可通过无线或有线通信连接到网络162，并且可与第二外部电子装置104或服务器106通信。
无线通信可将例如长期演进(LTE)、先进LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)中的至少一个用作蜂窝通信协议。此外，无线通信可包括例如短距离通信164。短距离通信164可包括例如Wi-Fi、BluetoothTM(BT)、近场通信(NFC)和全球导航卫星系统(GNSS)中的至少一个。GNSS可基于位置、带宽等包括例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(北斗)或伽利略(即，欧洲基于全球卫星的导航系统)中的至少一种。下面，在本公开中，术语“GPS”可与术语“GNSS”互换使用。有线通信可包括例如通用串行总线(USB)、高分辨率多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话服务(POTS)中的至少一种。
网络162可包括诸如计算机网络(例如，LAN或WAN)的电信网络、互联网和电话网络中的至少一个。
第一外部电子装置102和第二外部电子装置104中的每一个可以是与电子装置101的类型相同或不同的类型。根据本公开的实施例，服务器106可包括一个或更多个服务器的群组。在电子装置101中执行的所有或一些操作可在电子装置102和电子装置104或服务器106中执行。当电子装置101必需自动执行某些功能或服务或者响应于请求而执行某些功能或服务时，电子装置101可请求电子装置102或电子装置104或服务器106执行与之相关的至少一些功能，而不是自主地执行功能或服务，或者，电子装置101除了自主地执行功能或服务外，还可请求电子装置102或电子装置104或服务器106执行与之相关的至少一些功能。电子装置102或电子装置104或服务器106可执行所请求的功能或附加功能，并且可将执行的结果传递给电子装置101。电子装置101可原样地或另外地处理接收的结果，并且可提供所请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。
服务器106可包括认证服务器、集成服务器、提供商服务器(或移动网络运营商服务器)、内容服务器、互联网服务器或云服务器中的至少一个。
图2是根据本公开的实施例的电子装置的框图。
电子装置201可包括例如图1所示的电子装置101的全部或部分。电子装置201包括一个或更多个处理器210(例如，应用处理器(AP))、通信模块220、用户识别模块(SIM)卡224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可通过驱动操作系统或应用程序来控制连接到处理器210的多个硬件或软件组件，并执行各种数据和计算的处理。处理器210可被实现为例如片上系统(SoC)。根据本公开的实施例，处理器210可还包括图形处理单元(GPU)和/或图像信号处理器。处理器210可包括图2所示的组件中的至少一些(例如，蜂窝模块221)。处理器210可将从其他组件中的至少一个(例如，非易失性存储器)接收的命令或数据加载到易失性存储器中，并且可处理加载的命令或数据，并且可将各种数据存储在非易失性存储器中。
通信模块220可具有与图1的通信接口170相同或相似的配置。通信模块220包括例如蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227(例如，GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块228和射频(RF)模块229。
例如，蜂窝模块221可通过通信网络提供语音呼叫、视频呼叫、文本消息服务或互联网服务。根据本公开的实施例，蜂窝模块221可使用SIM卡224来区分和认证通信网络中的电子装置201。蜂窝模块221可执行AP 210提供的功能中的至少一些功能。蜂窝模块221可包括通信处理器(CP)。
例如，Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的每一个可包括用于处理通过相应模块发送/接收的数据的处理器。根据本公开的实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一些(例如，两个或更多个)可被包括在一个集成芯片(IC)或IC封装中。
例如，RF模块229可发送/接收通信信号(例如，RF信号)。RF模块229可包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)和天线。根据本公开的实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一个可通过单个RF模块发送/接收RF信号。
SIM卡224可包括用户识别模块和/或嵌入式SIM，并且可包含独特的标识信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户标识(IMSI))。
例如，存储器230(例如，存储器130)包括内部存储器232和/或外部存储器234。内部存储器232可包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)和非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器、固态驱动器(SSD)等)中的至少一种。
外部存储器234还可包括闪存驱动器，例如，紧凑闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极端数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器234可通过各种接口与电子装置201功能地和/或物理地连接。
例如，传感器模块240可测量物理量或检测电子装置201的操作状态，并且可将测量或检测到的信息转换为电信号。传感器模块240包括例如手势传感器240A、陀螺仪传感器240B、大气压力传感器(气压计)240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红色、绿色和蓝色(RGB)传感器)、生物识别传感器(医疗传感器)240I、温度/湿度传感器240J、照度(例如，光)传感器240K和紫外线(UV)传感器240M中的至少一个。此外或可选地，传感器模块240可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜扫描传感器和/或手指扫描传感器。传感器模块240还可包括用于控制包括在传感器模块240中的一个或更多个传感器的控制电路。根据本公开的实施例，电子装置201可还包括是处理器210的部分或与处理器210分开的被配置为控制传感器模块240的处理器，并且可在处理器210处于睡眠状态时控制传感器模块240。
输入装置250包括例如触摸面板252、(数字)笔传感器254、键256或超声波输入装置258，但不限于此。触摸面板252可使用例如电容类型、电阻类型、红外类型和超声类型中的至少一个。触摸面板252还可包括控制电路。触摸面板252还可包括触觉层，并且向用户提供触觉反应。
(数字)笔传感器254可包括例如作为触摸面板的部分的识别片或与触摸面板分离的识别片。键256可包括例如物理按钮、光学键或键盘。超声波输入装置258可通过麦克风288检测由输入工具产生的超声波，并且识别与检测到的超声波相应的数据。
显示器260(例如，显示器160)包括面板262、全息图装置264或投影仪266。
面板262可包括与图1所示的显示器160相同或相似的配置。例如，面板262可被实现为柔性的、透明的或可穿戴的。面板262可与触摸面板252被实现为单个模块。全息图装置264可通过使用光的干涉在空中显示三维(3D)图像。投影仪266可将光投射到屏幕上以显示图像。屏幕可位于例如电子装置201的内部或外部。根据本公开的实施例，显示器260还可包括用于控制面板262、全息图装置264或投影仪266的控制电路。
接口270包括例如高分辨率多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D-超小型(D-sub)接口278，但不限于此。例如，接口270可被包括在图1所示的通信接口170中。另外地或可选地，接口270可包括例如移动高清链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
例如，音频模块280可双向转换声音和电信号。音频模块280的至少一些组件可被包括在例如图1所示的输入/输出接口150中。音频模块280可处理通过例如扬声器282、接收器284、耳机286或麦克风288输入或输出的语音消息。
例如，相机模块291是可拍摄静止图像和视频的装置。根据本公开的实施例，相机模块291可包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。
电源管理模块295可管理例如电子装置201的电源。根据本公开的实施例，电源管理模块295可包括电源管理集成电路(PMIC)、充电器集成电路(IC)或电池量表。PMIC可使用有线和/或无线充电方法。无线充电方法的示例可包括例如磁共振法、磁感应法、电磁波法等。用于无线充电的附加电路(例如，线圈、谐振电路、整流器等)可被进一步包括。电池量表可测量例如电池296的剩余电量以及充电时的电压、电流或温度。电池296可包括例如可充电电池和/或太阳能电池。
指示器297可显示电子装置201或电子装置201的部分(例如，处理器210)的特定状态(例如，启动状态、消息状态、充电状态等)。电机298可将电信号转换为机械振动，并且可产生振动、触觉效果等。电子装置201可包括用于支持移动TV的处理装置(例如，GPU)。用于支持移动TV的处理装置可根据特定标准(诸如数字多媒体广播(DMB)、数字视频广播(DVB)或MediaFloTM)处理例如媒体数据。
根据本公开的上述硬件的组成元件中的每一个可配置有一个或更多个组件，并且相应组成元件的名称可基于电子装置的类型而变化。在本公开的实施例中，电子装置可包括上述元件中的至少一个。上述元件中的一些可从电子装置中省略，或者电子装置还可包括附加元件。此外，硬件组件中的一些可组合成一个实体，所述实体可执行与相关组件在组合之前的功能相同的功能。
图3是根据本公开的实施例的程序模块的框图。
根据本公开的实施例，程序模块310(例如，程序140)可包括用于控制与电子装置101相关资源的操作系统(OS)和/或在操作系统中执行的各种应用(例如，应用程序147)。操作系统可以是例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM、BadaTM等。
程序模块310包括内核320、中间件330、API 360和/或应用370。程序模块310中的至少一些可预先加载到电子装置上，或者可从电子装置102或104或服务器106下载。
内核320(例如，内核141)包括例如系统资源管理器321和/或装置驱动器323。系统资源管理器321可控制、分配或收集系统资源。根据本公开的实施例，系统资源管理器321可包括进程管理单元、存储器管理单元、文件系统管理单元等。装置驱动器323可包括例如显示器驱动器、相机驱动器、BluetoothTM驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或者进程间通信(IPC)驱动器。
中间件330可提供由应用370公共所需的功能，或者可通过API 360向应用370提供各种功能，使得应用370能够有效地使用电子装置中的有限系统资源。根据本公开的实施例，中间件330(例如，中间件143)包括运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。
运行时库335可包括库模块，其中，编译器使用库模块以便在应用370正被执行时通过编程语言添加新功能。运行时库335可执行输入/输出管理、存储器管理、用于算术功能的功能等。
应用管理器341可管理例如应用370中的至少一个的生命周期。窗口管理器342可管理屏幕使用的图形用户界面(GUI)资源。多媒体管理器343可识别各种媒体文件再现所需的格式，并且可通过使用适合于相应格式的编解码器来执行媒体文件的编码或解码。资源管理器344可管理应用370中的至少一个的源代码、存储器和存储空间的资源。
电源管理器345可与例如基本输入/输出系统(BIOS)等一起操作来管理电池或电源，并且可提供电子装置的操作所需的电源信息等。数据库管理器346可产生、搜索和/或改变由应用370中的至少一个应用使用的数据库。包管理器347可管理以包文件的形式分布的应用的安装或更新。
连接管理器348可管理诸如Wi-Fi或BluetoothTM的无线连接。通知管理器349可以以不干扰用户的方式显示或通知事件，诸如到达的消息、约会、接近通知等。位置管理器350可管理电子装置的位置信息。图形管理器351可管理将提供给用户的图形效果或与图形效果相关的用户界面。安全管理器352可提供系统安全、用户认证等所需的所有安全功能。根据本公开的实施例，当电子装置101具有电话呼叫功能时，中间件330还可包括用于管理电话装置的语音呼叫功能或视频呼叫功能的电话管理器。
中间件330可包括形成上述组件的各种功能的组合的中间件模块。中间件330可提供专用于每种类型的OS的模块，以便提供差异化的功能。此外，中间件330可动态地去除一些现有组件或添加新的组件。
例如，API 360(例如，API 145)是API编程函数集，并且可根据OS被设置有不同的配置。在AndroidTM或iOSTM的情况下，可为每个平台提供一个API集。在TizenTM的情况下，可为每个平台提供两个或更多个API集。
应用370(例如，应用程序147)包括例如一个或更多个应用，其中，所述一个或更多个应用可提供诸如主页371、拨号器372、SMS/MMS 373、即时消息(IM)374、浏览器375、相机376、报警器377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、时钟384等功能。根据本公开的实施例，应用370可包括用于提供医疗保健(例如，用于测量运动量或血糖水平等)或环境信息(例如，提供大气压力、湿度或温度信息)的应用、用于认证电子装置的认证应用等。
根据本公开的实施例，应用370可包括支持在电子装置101和电子装置102或104之间交换信息的信息交换应用。信息交换应用可包括例如用于将特定信息传送到外部电子装置的通知转发应用或者用于管理外部电子装置的装置管理应用。
通知转发应用可包括向电子装置102或104传送从电子装置101的其他应用(例如，SMS/MMS应用、电子邮件应用、健康管理应用或环境信息应用)产生的通知信息。此外，通知转发应用可从例如外部电子装置接收通知信息，并将接收的通知信息提供给用户。
例如，装置管理应用可管理(例如，安装、删除或更新)与电子装置通信的电子装置102或104的至少一个功能(例如，用于打开/关闭外部电子装置本身(或一些组件)的功能或用于调节显示器的亮度(或分辨率)的功能)、在外部电子装置中操作的应用以及由外部电子装置提供的服务(例如，呼叫服务或消息服务)。
根据本公开的实施例，应用370可包括根据电子装置102或104的属性而指定的应用(例如，移动医疗设备的医疗保健应用等)。应用370可包括从服务器106或电子装置102或104接收的应用。应用370可包括预加载的应用或可从服务器下载的第三方应用。本公开所示实施例的程序模块310的组件的名称可根据操作系统的类型而改变。
根据本公开的实施例，程序模块310的至少一部分可以以软件、固件、硬件或它们中的两个或更多个的组合来实现。程序模块310中的至少一些可由例如处理器120来实现(例如，执行)。程序模块310中的至少一些可包括例如模块、程序、例程、指令集和/或用于执行一个或更多个功能的处理。
例如，这里所使用的术语“模块”可指包括硬件、软件和固件之一或者它们中的两个或更多个的组合的单元。术语“模块”可与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是用于执行一个或更多个功能或其部分的最小单位。“模块”可被机械地或电子地实现。“模块”可包括已知或将要以后开发的专用处理器、CPU、专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行操作的可编程逻辑装置中的至少一个。
根据本公开的实施例，装置(例如，装置的模块或功能)或方法(例如，操作)中的至少部分可通过以编程模块形式存储在计算机可读存储介质中的命令来实现。所述指令在被处理器120执行时可使一个或更多个处理器执行与该指令相应的功能。例如，计算机可读存储介质可以是存储器130。
计算机可读存储介质可包括硬盘、软盘、磁介质(例如磁带)、光学介质(例如，致密盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(例如，软光盘)、硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。此外，程序指令可包括可在计算机中通过使用解释器执行的高级语言代码以及由编译器创建的机器代码。上述硬件装置可被配置为作为一个或更多个软件模块操作，以便执行本公开的操作，反之亦然。
根据本公开的实施例的任何模块或编程模块可包括上述元件中的至少一个，排除一些元件，或者还包括其他附加元件。由模块、编程模块或其他元件执行的操作可以以顺序、并行、重复或启发式的方式执行。此外，一些操作可根据另一种顺序执行或者可被省略，或者可添加其他操作。
在本公开的实施例中，将以硬件方式作为示例来进行描述。然而，由于本公开的实施例包括使用硬件和软件两者的技术，所以本公开不排除基于软件的方式。
根据本公开，电子装置可产生和发送与应用相关的拍摄信息，并且无人拍摄装置可基于接收的拍摄信息自主地移动到拍摄位置并捕获被摄体的图像。电子装置可从图像中提取被摄体的构图信息，并且基于所提取的构图信息产生拍摄信息。无人拍摄装置可分析从电子装置接收的拍摄信息，基于被摄体和拍摄信息中的构图信息自主地移动到被摄体构图信息的拍摄位置，并且在该拍摄位置处自动地捕获被摄体的图像。
在本公开中，术语“无人拍摄装置”可指示包括相机的无人移动装置。无人拍摄装置可包括无人机(UAV)、无人驾驶车辆、机器人等。术语“自动拍摄”可指示无人拍摄装置通过在拍摄模式下基于被摄体自动地移动到目标拍摄位置进行拍摄。
在本公开中，术语“自主飞行”可指无人拍摄装置基于被摄体和/或从电子装置接收的构图信息飞行到拍摄位置。
在本公开中，术语“第一信号”可指与包括第一对象的第一图像有关的数据，并且可从电子装置被发送。第一信号可包括拍摄信息。术语“第一图像”可指电子装置中的用于提取将由无人拍摄装置自动拍摄的图像的被摄体信息和/或构图信息的参考图像。术语“第一对象”可指包括在第一图像中的被摄体，并且可以是用于在无人拍摄装置中捕获图像的参考对象。
在本公开中，术语“第一三维(3D)位置”可以是用于识别用于自动拍摄的被摄体的位置。术语“第二3D位置”可以是在基于第一信号进行自主飞行之后无人拍摄装置到达的拍摄位置。术语“第二对象”可以是指在由无人拍摄装置预览或拍摄的图像中的对象，并且可以是由无人拍摄装置拍摄的第一对象。术语“构图”可以是指图像的结构、布局或布置，并且包括关于图像中的对象的位置、大小和方向的信息。
图4是根据本公开的另一实施例的电子装置的框图。
参照图4，根据本公开的实施例的电子装置包括处理器400、存储单元410、相机单元430、通信单元420、输入单元440和显示器450。
处理器400可创建用于无人拍摄装置进行自动拍摄的拍摄信息。拍摄信息可以是第一信号。拍摄信息可包括在选择的图像(例如，第一图像)中的对象(例如，第一对象)信息。
拍摄信息可以是无人拍摄装置的移动控制命令。拍摄信息可包括被摄体的类型、位置、尺寸和/或构图中的至少一个信息。拍摄信息可包括图像中的对象位置信息(例如，对象的坐标、或者基于图像的宽高比的对象比率)和对象尺寸信息。
位置信息可与被摄体的中心点和/或边缘相关。根据本公开的实施例，拍摄信息可包括两个或更多个对象的位置信息和尺寸信息。当对象是人时，拍摄信息可包括身体部位的(在图像中的)位置信息和尺寸信息。身体部位可以是人的面部。身体部位可包括面部和/或包括包含人的面部的部分或整个身体。
存储单元410可存储由无人拍摄装置拍摄的图像信息。存储单元410可存储通过网络通信接收的图像。存储器单元410可存储由处理器400产生的拍摄信息。存储单元410可包括构图数据库。构图数据库可存储构图信息的多个实例。构图信息可包括关于对象类型、图像分辨率或尺寸(XY比率)、对象位置、对象尺寸、对象方向和构图区域的信息。
通信单元420可与无人拍摄装置建立无线连接。通信单元420可接收根据无人拍摄装置的移动的路径信息。通信单元420可通过无线连接将由电子装置产生的拍摄信息发送到无人拍摄装置。通信单元420可通过无线连接接收由无人拍摄装置捕获的图像及其拍摄信息。
相机单元430可包括镜头、图像传感器、图像信号处理器和相机控制器。图像传感器可包括行驱动器、像素阵列和列驱动器。图像信号处理器可包括图像预处理器、图像后处理器、静止图像编解码器和视频编解码器。图像信号处理器可被包括在处理器400中。相机控制器可控制聚焦和跟踪。
输入单元440可包括图1的输入/输出接口150的全部或部分和图2的输入装置250。输入单元440可接收用于控制电子装置的操作的输入和数据。输入单元440可包括触摸面板。输入单元440还可包括(数字)笔传感器。输入单元440还可包括键按钮。
显示器450可包括液晶显示器(LCD)或发光二极管(LED)显示器。LED显示器可包括有机LED(OLED)和有源矩阵OLED(AMOLED)。
输入单元440和显示器450可构成整个触摸屏。触摸屏可在处理器400的控制下显示屏幕，并检测使用数字笔或用户的身体部位输入的触摸、手势、接近或悬停。
图5是根据本公开的实施例的无人拍摄装置的框图。
参照图5，无人拍摄装置包括处理器500、移动控制模块510、移动模块520、传感器模块530、存储器模块540、通信模块550和相机模块560。根据本公开的实施例的无人拍摄装置可包括与电子装置的输入单元440和/或显示器450相应的结构。
处理器500可对操作或数据进行处理以控制无人拍摄装置的一个或更多个其他组件和/或应用执行。处理器500可通过分析从电子装置接收的拍摄信息来设置确定拍摄位置的图像构图信息。接下来，处理器500可自动执行拍摄应用。拍摄应用可控制移动控制模块510自动移动(例如，UAV自主飞行)，当移动到设置的构图的位置时自动捕获被摄体的图像，并且当拍摄完成时控制无人拍摄装置返回到原始的位置。处理器500可将包括捕获的图像和图像拍摄信息的拍摄信息发送到电子装置。
移动控制模块510可使用无人拍摄装置的位置和姿态信息来控制无人拍摄装置的移动。移动控制模块510可控制无人拍摄装置的飞行和姿态。移动控制模块510可通过通信模块550的GPS模块和传感器模块530获得无人拍摄装置的姿态信息和/或位置信息。
当无人拍摄装置是UAV时，移动控制模块510可根据位置和姿态信息来控制UAV的滚转、俯仰、偏转和油门。移动控制模块510可控制悬停操作，并且基于提供给处理器500的拍摄位置信息使无人拍摄装置自动地飞行到目标点。
移动模块520可在移动控制模块510的控制下使无人拍摄装置移动。当无人拍摄装置是无人机时，移动模块520可包括螺旋桨和控制螺旋桨的电机。
根据本公开的实施例，移动控制模块510和移动模块520可以是导航装置。
传感器模块530可测量物理量或检测无人拍摄装置的操作状态，并将测量或检测到的信息转换为电信号。传感器模块530可包括加速度传感器、陀螺仪传感器、气压计、地磁传感器(或罗盘传感器)、超声波传感器、用于使用图像检测移动的光流传感器、温度湿度传感器、照度传感器、UV传感器和姿态传感器中的全部或一部分。
根据本公开的实施例的传感器模块530可包括用于控制(或计算)无人拍摄装置的姿态的传感器。用于控制(或计算)无人拍摄装置的姿态的传感器可包括陀螺仪传感器和加速度传感器。为了计算方位角并防止陀螺仪传感器的漂移，传感器模块530可组合地磁传感器/罗盘传感器的输出。
存储器模块540可包括易失性存储器和/或非易失性存储器。存储器模块540可存储无人拍摄装置的至少一个其他组件的命令或数据。存储器模块540可存储软件和/或程序。程序可包括内核、中间件、API和/或应用程序(或应用)。内核、中间件或API中的至少一部分可被称为操作系统(OS)。
根据本公开的实施例的存储器模块540可包括构图数据库。构图数据库可存储构图信息的多个实例。构图信息可包括被摄体类型信息、图像分辨率或尺寸(XY比率)信息、与被摄体位置、尺寸、方向有关的构图信息以及构图区域信息。存储器模块540可存储从电子装置接收的拍摄信息。拍摄信息可包括自动拍摄的相机控制信息和/或目标构图信息。目标构图信息可包括图像中的对象尺寸和位置信息。
根据本公开的实施例，存储器模块540可存储用于在处理器500上执行的指令。指令可基于处理器500的至少部分数据(例如，拍摄信息)来改变相机模块560的方向。
通信模块550可包括无线通信模块和有线通信模块中的至少一个。无线通信模块可包括蜂窝通信模块和短距离通信模块。通信模块550可包括GPS模块。
蜂窝通信模块可使用LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro和GSM中的至少一个。
短距离通信模块可包括Wi-Fi、BluetoothTM、NFC和GNSS或GPS中的至少一个。GNSS根据其使用区域或带宽可包括例如GPS、全球导航卫星系统(GLONASS)、北斗导航卫星系统(北斗)或伽利略(欧洲基于全球卫星的导航系统)中的至少一个。下面，通信模块550的术语GNSS可与术语GPS互换使用。
有线通信模块可包括例如USB、HDMI和RS-232中的至少一个。
根据本公开的实施例的GPS模块可在无人拍摄装置的移动期间输出诸如UAV的经度、纬度、高度、GPS速度和GPS向航信息的位置信息。位置信息可通过使用GPS模块测量准确的时间和距离来计算位置。GPS模块不仅可获取经度、纬度和高度，还可获取三维速度信息和准确的时间。
通信模块550可发送用于检查无人拍摄装置的实时移动的信息。通信模块550可从电子装置接收拍摄信息。通信模块550可将由无人拍摄装置拍摄的图像和拍摄信息发送到电子装置。
相机模块560可在拍摄模式下捕获被摄体的图像。相机模块560可包括镜头、图像传感器、图像信号处理器和相机控制器。图像信号处理器可被包括在应用处理器中。
镜头可使用光线的平直度和折射进行聚焦，并放大/缩小被摄体。
图像传感器可具有互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的结构。图像传感器可包括像素阵列和用于控制(例如，行控制)和读出像素阵列的元件。像素阵列可包括微镜头阵列、滤色器阵列和光敏元件阵列。例如，滤色器阵列中的滤色器可以以贝尔图案布置。可使用全局快门或卷帘快门来控制图像传感器。从图像传感器的像素阵列读出的模拟像素信号可通过模数转换器(ADC)转换成数字数据。转换的数字数据可通过诸如移动工业处理器接口(MIPI)的外部接口经由图像传感器的数字模块被输出到外部(例如，图像信号处理器)。
图像信号处理器可包括图像预处理器和图像后处理器。图像预处理器可对子帧图像进行自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF)提取和处理、镜头阴影校正、死像素校正和拐点校正。图像后处理器可包括颜色内插器、图像处理电路(IPC)和颜色转换器。颜色内插器可对经图像预处理的子帧图像的颜色进行内插。IPC可消除噪声并校正颜色内插图像的颜色。颜色转换器可将红绿蓝(RGB)数据转换为亮度(Y)、蓝色亮度(U)、红色亮度(V)(YUV))数据。
图像信号处理器可包括用于对处理的图像进行编码的编码器和用于对编码的图像进行解码的解码器。编码器和解码器可包括用于对静止图像进行编码和解码的静止图像编解码器和/或用于对运动图像(视频)进行编码和解码的运动图像编解码器。
图像信号处理器可将处理的高分辨率图像缩放(例如，调整大小)为足够的分辨率(例如，显示分辨率)并将图像输出到显示器上。使用图像处理结果，图像信号处理器可控制相机模块和/或包括图像传感器的图像信号处理器(例如，控制相机模块和/或包括图像传感器的图像信号处理器的AF、AE、AWB、IPC、面部检测、对象跟踪等)。
相机控制器可包括用于控制镜头的镜头控制器和用于控制相机方向(上、下、左和/或右方向)的方向控制器。镜头控制器可通过控制镜头来缩放、聚焦和控制光圈。方向控制器可控制相机的垂直和水平方向的角度以面向被摄体。
相机模块560可以是万向相机。万向相机可包括万向节和相机。万向节可稳定无人拍摄装置，而没有无人拍摄装置的振动和抖动。在到达目标位置时，相机可在处理器500的控制下以拍摄模式自动拍摄图片。基于在拍摄模式下从处理器500输出的相机控制信息，相机可调节相机角度，使得相机镜头面向被摄体。
处理器500可使用通信模块550与包括显示器的外部电子装置建立无线连接。通过无线连接，处理器550可在第一3D位置从外部电子装置接收第一信号(例如，拍摄信息)。第一信号可包括关于包括第一对象的第一图像的数据。
处理器500可基于第一信号的数据中的至少一部分数据和第一3D位置来确定第二3D位置，并且控制导航装置使无人拍摄装置飞行到第二3D位置处或第二3D位置附近。在飞行期间，处理器500可使用相机模块560跟踪与第一对象相应的第二对象，并且在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像，使得由无人拍摄装置拍摄的第二图像与第一图像相应。处理器500可通过无线连接将捕获的第二图像发送到外部电子装置。
图6是根据本公开的实施例的无人拍摄装置的自动拍摄的示图。
参照图6，无人拍摄装置690可在没有用户的直接控制的情况下自主拍摄图像。无人拍摄装置690可以是UAV。当从电子装置接收包括目标构图的拍摄信息时，无人拍摄装置690可基于接收的拍摄信息和通过相机模块560接收的图像对象信息(例如，预览图像)来产生移动控制信号，并且基于移动控制信号自主飞行。无人拍摄装置690可基于拍摄信息移动到用来捕获目标构图的图像的合适的构图位置，然后自动拍摄图片。从电子装置接收的拍摄信息可包括图像的对象构图信息。在本公开中，被摄体和对象可以以相同的含义被使用。构图信息可包括图像中的主要对象和/或至少一个背景对象的位置信息、对象之间的相对位置和对象尺寸信息。主要对象可以是人和/或物。当主要对象是人时，构图信息可包括关于身体部位(例如，面部)的信息或图像中的指数(index)(例如，身体部位的位置和尺寸)。
从电子装置接收到拍摄信息的无人拍摄装置690可进入拍摄模式。拍摄模式可通过电子装置或无人拍摄装置690设置。例如，在接收到拍摄信息时，无人拍摄装置690可进入拍摄模式，并基于接收的拍摄信息和通过相机模块获取的图像的构图信息自主飞行来进行拍照。
在拍摄模式中，在步骤610，无人拍摄装置690可起飞(例如，垂直上升)以捕获被摄体600的图像。当在起飞之后到达用于识别被摄体600的位置时，在步骤620，无人拍摄装置690可悬停并识别被摄体600。在起飞之后最初识别的被摄体600的位置和尺寸可与拍摄信息中的被摄体的位置信息和尺寸信息不同。根据本公开的实施例，在识别被摄体600之后，无人拍摄装置690可基于从电子装置接收的拍摄信息和通过相机模块获取的图像的构图信息自主飞行到用于捕获目标构图的图像的位置。
在步骤631至635中，无人拍摄装置690可通过考虑视角来调整拍摄构图以改变其高度和距离，并且基于视觉产生针对每个捕获的图像帧飞行控制信号。步骤631至635可提供基于视觉的姿态控制点。无人拍摄装置690可计算由相机模块560获取的图像(例如，预览图像)的被摄体(例如，主要被摄体和/或背景被摄体)构图信息。无人拍摄装置690可对计算的构图信息和从电子装置接收的目标构图信息进行比较和分析，并且自主地飞行到确定的拍摄位置(目标构图的位置)。
当自主飞行到与拍摄信息的目标构图相匹配的位置时，在步骤640，无人拍摄装置690可捕获包括被摄体600的拍摄构图的图像。当识别出与拍摄信息的被摄体尺寸和位置的构图相同的构图(即，通过相机模块560获得的被摄体尺寸/位置)时，在步骤640，无人拍摄装置690可使用被摄体尺寸/位置确定视角并自动拍摄图片。在步骤650中，无人拍摄装置690可移动(自主地飞行)到其原始位置(例如，其起飞点)并着陆。无人拍摄装置690可通过通信模块550将捕获的图像发送到电子装置。
根据本公开的实施例，电子装置可将无人拍摄装置690配置为自动地捕获被摄体600的图像，并将拍摄信息发送到无人拍摄装置690。电子装置可发送拍摄信息，并且无人拍摄装置690可基于接收的拍摄信息进入拍摄模式。当接收到包括目标构图信息的拍摄信息时，无人拍摄装置690可悬停，识别被摄体600，并自主地飞行到目标构图的拍摄位置。当移动到目标构图的拍摄位置时，无人拍摄装置690可拍摄确定的包括被摄体的构图的图片。接下来，无人拍摄装置690可将捕获的图像发送到电子装置。
无人拍摄装置690可以是UAV、无人驾驶车辆和/或机器人。下面，通过举例的方式说明UAV。
UAV可通过地面控制而不需要飞行员驾驶，或者根据预先输入的程序或通过识别周围环境(例如障碍物、路径等)自主飞行。UAV可包括移动控制模块，并且移动控制模块可执行UAV的自主飞行控制和UAV的姿态控制。
根据本公开的实施例，无人拍摄装置690可包括显示器或按钮，并且通过无人拍摄装置690的显示器而不是电子装置来接收包括目标构图的拍摄信息。无人拍摄装置690可通过显示器获得拍摄信息并存储拍摄信息，并且通过基于存储的拍摄信息自主地飞行到拍摄位置来捕获被摄体的图像。
根据本公开的实施例，当从用户获得拍摄信息时，无人拍摄装置690可基于接收的拍摄信息和通过相机模块接收的图像的对象信息(例如，预览图像)来产生移动控制信号，并根据移动控制信号自主飞行。无人拍摄装置690可基于拍摄信息移动到用于捕获目标构图的图像的合适的构图位置，然后自动地拍摄图片。拍摄信息可包括图像的对象构图信息。构图信息可包括图像中的主要对象和/或至少一个背景对象的位置信息、对象的相对位置和对象尺寸信息。
从用户接收拍摄信息的无人拍摄装置690可进入拍摄模式。拍摄模式可通过电子装置或无人拍摄装置690设置。例如，当接收到拍摄信息时，无人拍摄装置690可进入拍摄模式，并通过基于接收的拍摄信息和通过相机模块获取的图像构图信息自主飞行来拍摄图片。
在拍摄模式中，无人拍摄装置690可起飞(例如，垂直升高)来捕获被摄体600的图像。当在起飞之后到达用于识别被摄体600的位置时，无人拍摄装置690可悬停并识别被摄体600。在起飞后最初识别的被摄体600的位置和尺寸可与拍摄信息中的被摄体位置信息和尺寸信息不同。根据本公开的实施例，在识别被摄体600之后，无人拍摄装置690可基于拍摄信息和获取的图像构图信息自主地飞行到用于捕获目标构图的图像的位置。
当自主飞行到与拍摄信息的目标构图相匹配的位置时，无人拍摄装置690可捕获包括被摄体600的拍摄构图的图像。当识别出与拍摄信息的被摄体尺寸和位置的构图相同的构图(即，通过相机模块560获得的被摄体尺寸/位置)时，无人拍摄装置690可通过使用被摄体尺寸/位置来确定视角以自动拍摄图片。接下来，无人拍摄装置690可移动(自主地飞行)到其原始位置(例如，其起飞点)并着陆。无人拍摄装置690可通过通信模块550将捕获的图像发送到电子装置。
图7是根据本公开的实施例的无人拍摄装置的框图。在图7中，无人拍摄装置可以是四旋翼机(quadcopter)。
处理器700可基于接收的拍摄信息来自动地捕获被摄体的图像。拍摄信息可包括对象位置和尺寸信息。当对象是人时，拍摄信息可包括身体指数信息(例如，面部尺寸和坐标信息)。在图像拍摄中，拍摄信息(图像)的被摄体和拍摄目标(预览图像)的被摄体可以是相同的或不同的。不管相同的被摄体图形如何，图形的位置和尺寸信息可由相对位置和尺寸来确定。
处理器700可对通过相机获取的对象构图信息和基于拍摄信息的对象构图信息进行比较和分析。根据比较结果，处理器700可通过计算拍摄装置与被摄体之间的相对距离来产生距离移动命令，使用被摄体的垂直坐标产生无人拍摄装置的姿态移动命令，并使用被摄体的水平命令产生无人拍摄装置的水平和方位角命令。
移动控制模块710可使用无人拍摄装置的位置和姿态信息来控制无人拍摄装置的移动。当无人摄像装置是UAV时，移动控制模块710可根据获取的位置和姿态信息来控制UAV的滚转、俯仰、偏转和油门。移动控制模块710可控制悬停，并且基于从处理器700接收的自主飞行命令(距离移动、高度移动和方位角命令)来产生用于使无人拍摄装置自主飞行到目标点的移动控制命令。
移动模块720可以是图5的移动模块520。在四旋翼机中，移动模块720包括微处理器单元(MPU)721a至721d、电机驱动器722a至722d、电机723a至723d以及螺旋桨724a至742d。MPU 721a至721d可基于从移动控制模块710输出的拍摄位置信息来输出用于旋转对应的螺旋桨724a至742d的控制数据。电机驱动器722a至722d可将从MPU 721a至721d输出的电机控制数据转换为电机驱动信号。电机723a至723d可基于电机驱动器722a至722d的电机驱动信号来控制对应的螺旋桨724a至742d旋转。
根据本公开的实施例，拍摄模式下的移动模块720可基于移动控制模块710的控制使无人拍摄装置自主地飞行到拍摄位置。
传感器模块730包括以下传感器中的全部或部分传感器：用于检测被摄体的运动和/或姿势的姿势传感器731、用于测量飞行中的无人拍摄装置的角速度的陀螺仪传感器732、用于测量压力变化和/或空气的大气压力的气压计733、用于测量地磁的地磁传感器(或罗盘传感器)734、用于测量飞行中的无人拍摄装置的加速度的加速度传感器735、用于通过输出超声波并检测由对象反射的信号来测量距离的超声波传感器736、用于通过使用相机模块760检测地面上的地理特征或图案来计算位置的光流传感器737、用于测量温度和湿度的温度-湿度传感器738、用于测量照度的照度传感器739a、以及用于测量紫外线的UV传感器739b。
传感器模块730可计算无人拍摄装置的姿态。用于计算无人拍摄装置的姿态的传感器可以是陀螺仪传感器732和加速度传感器735。为了计算方位角并且防止陀螺仪传感器732的漂移，地磁传感器/罗盘传感器734的输出可被组合。
存储器模块740可包括内部存储器和外部存储器。存储器模块740可存储无人拍摄装置的至少一个其他组件的命令或数据。存储器模块740可存储软件和/或程序。程序可包括内核、中间件、API和/或应用程序(或应用)。
存储器模块740可存储包括将在拍摄模式下捕获的被摄体的尺寸和位置信息的拍摄信息。
通信模块750可包括无线通信模块和有线通信模块中的至少一个。通信模块750包括RF模块751、蜂窝模块752、Wi-Fi模块753、BT模块754和GPS模块755。
通信模块750可从电子装置接收拍摄信息。通信模块750可将由无人拍摄装置捕获的图像和拍摄信息发送到电子装置。
GPS模块755可在无人拍摄装置的移动期间输出诸如UAV的经度、纬度、高度、GPS速度和GPS航向信息的位置信息。位置信息可通过使用GPS模块755测量精确的时间和距离来计算位置。GPS模块755不仅可获取经度、纬度和高度，而且可获取三维速度信息和准确的时间。
根据本公开的实施例，无人拍摄装置可通过通信模块750将用于检查无人拍摄装置的实时移动的信息发送到电子装置。
相机模块760包括相机769和万向节768。万向节768可包括万向节控制器762、传感器761、电机驱动器763和764以及电机765和766。
相机769可在拍摄模式下拍摄图片。相机模块760可包括镜头、图像传感器、图像信号处理器和相机控制器。相机控制器可通过基于从处理器700输出的构图信息和/或相机控制信息调节相机镜头的垂直和水平角度来控制被摄体的构图和/或相机角度(拍摄角度)。
相机769可受无人拍摄装置的移动影响。万向节768可按照相机769的固定角度拍摄稳定的图像，而不管无人拍摄装置的移动。
在万向节768的操作中，传感器761可包括陀螺仪传感器和加速度传感器。万向节控制器762可通过分析包括陀螺仪传感器和加速度传感器的传感器761的测量值来识别无人拍摄装置的移动。万向节控制器762可根据无人拍摄装置的移动来产生补偿数据。补偿数据可控制相机模块760的至少一部分俯仰和滚动。万向节768可将滚转补偿数据发送到电机驱动器763，并且电机驱动器763可将滚转补偿数据转换为电机驱动信号，并将电机驱动信号发送到辊道电机765。万向节768可将俯仰补偿数据发送到电机驱动器764，并且电机驱动器764可将俯仰补偿数据转换为电机驱动信号，并将电机驱动信号发送到俯仰电机766。辊道电机765和俯仰电机766可根据无人拍摄装置的移动来校正相机模块760的滚转和俯仰。相机769可通过万向节768的方式平衡无人拍摄装置(例如，多旋翼机)的旋转(例如，俯仰和滚动)并稳定相机769。
图8A和图8B是根据本公开的实施例的无人拍摄装置的平台结构。无人拍摄装置可以是无人机。
无人拍摄装置可使用多个螺旋桨飞行。螺旋桨可通过电机的力来转动以产生推力。根据转子的数量(螺旋桨的数量)，具有四个转子的无人机可被称为四旋翼机，具有六个转子的无人机可被称为六旋翼机，并且具有八个转子的无人机可被称为八旋翼机。
参照图8A，无人机可包括应用平台800和飞行平台810。应用平台800可与电子装置交互工作，与电子装置连接通信，并根据用户应用来改变操作。应用平台800可被处理器500和处理器700执行。飞行平台810可执行飞行控制和航空算法。飞行平台810可被移动控制模块510和710执行。无人拍摄装置可包括应用平台和飞行平台中的至少一个，其中，应用平台用于通过使用与电子装置的无线链路接收控制信号来提供服务并驱动UAV，飞行平台用于根据航空算法控制飞行。
参照图8B，在拍摄模式下的无人拍摄装置可分析由相机模块850拍摄的图像(例如，预览图像)，并且自主飞行到目标拍摄位置。当相机模块850拍摄包括被摄体的图像时，处理器860可分析获取的图像并产生用于控制无人拍摄装置的命令。通过分析对象尺寸信息，处理器860可通过计算无人拍摄装置与被摄体之间的相对距离来产生距离移动命令，使用被摄体的垂直坐标产生无人拍摄装置的高度移动命令，并使用被摄体的水平坐标产生无人拍摄装置的水平和方位角命令。这样的命令可以是用于控制无人拍摄装置的控制信号。
移动控制模块870可分析从处理器860反馈的控制信号，并通过基于分析的控制信号控制移动模块720来使无人拍摄装置自主地飞行(控制无人拍摄装置的姿态)。
无人拍摄装置可以是UAV，并且UAV可包括移动控制模块870和GPS模块755。移动控制模块870可通过传感器模块730来测量无人拍摄装置的飞行姿态、角速度和加速度。GPS模块可测量无人拍摄装置的位置。传感器模块和GPS模块的这样的输出信息可用作无人摄像装置的航空/自动控制的基本信息。
移动控制模块870可以是用于计算无人拍摄装置的姿态(诸如滚动和俯仰)的传感器，并且可使用传感器模块的陀螺仪传感器732和加速度传感器735。可通过使用陀螺仪传感器测量无人拍摄装置的角速度并对测量的角速度进行积分来计算无人拍摄装置的姿态。这样做时，陀螺仪传感器的输出中的小误差分量会在积分中增加姿态误差。移动控制模块870可使用加速度传感器来校正无人拍摄装置的姿态计算。此外，可使用地磁传感器/罗盘传感器的输出来校正无人拍摄装置的偏转角。在平稳状态下，运动控制模块870可使用加速度传感器的输出来计算滚转角和俯仰角。为了计算方位角并防止陀螺传感器的漂移，可组合地磁传感器/罗盘传感器734的输出。
传感器模块可包括用于使用基于无人拍摄装置的飞行的压力差来测量高度的气压计733和用于精细测量低空高度的超声波传感器736。
无人机(多旋翼机)可拍摄被摄体的图片/视频。无人机可利用升力和扭矩的原理进行飞行。直升机使用尾桨来抵消主翼的旋转，而无人机可顺时针(CW)旋转多个螺旋桨中的一半，并且逆时针旋转(CCW)多个螺旋桨中的另一半。可使用俯仰(Y)，滚转(X)和偏转(Z)来定义无人机飞行的3D坐标。
无人机可通过向后倾斜、向前倾斜和水平倾斜来飞行。当无人机倾斜时，可改变进入转子的空气流动方向。当无人机向前倾斜时，空气会在无人机上面和下面流动并沿向后的方向流出。因此，当空气被向后推时，无人机可根据作用/反作用的原理向前飞行。无人机可通过降低相应方向的前方的速度且增加后方的速度而倾斜。由于这个方法适用于任何方向，所以无人机可仅通过控制转子速度来倾斜和移动。
在拍摄模式中，相机角度可根据无人拍摄装置的位置(高度、海拔)进行调节。视平线可以是在水平方向上沿着用户视线捕获被摄体的角度。由于视平线类似于日常生活的视角，所以可自然地被识别出，并且不会表现出特定的扭曲或改变(manipulation)。可使用高角度来显示整个环境。高角度可以是从上向下观看被摄体的相机角度。与高角度相反，可从被摄物体的下方(仰角拍摄)获取低角度。
根据本公开的实施例，无人拍摄装置可根据被摄体的构图或位置来控制相机面向被摄体。
图9A、9B、9C和9D是根据本公开的实施例的无人机的结构和驱动操作的示图。
在图9A中，无人机是四旋翼机。图9A中的无人机包括如图7所示构造的主板900、万向相机960和螺旋桨910至940。如图9A所示，无人机可将相机960安装在其下方，并在飞行期间使用相机拍摄图片。
图9B描述了无人机的操作。在无人机中，相对的螺旋桨可沿相同的方向旋转，相邻的螺旋桨可沿相反的方向旋转。在四旋翼机中，四个螺旋桨910至940中的两个螺旋桨910和930可沿顺时针915和935旋转，并且两个螺旋桨920和940可沿逆时针925和945旋转。螺旋桨可沿不同的方向旋转以动量守恒。当四个螺旋桨沿相同方向旋转时，无人拍摄装置可根据动量守恒原理保持一个方向转动。通过控制无人机的螺旋桨的旋转速度而进行的方向改变也可利用动量守恒的原理。
根据本公开的实施例，移动控制模块710可控制无人机的姿态和飞行。移动控制模块可分析由传感器模块730收集的信息，并识别无人机的当前状态。移动控制模块可使用以下项中的全部或一些：用于测量无人机的角动量的陀螺仪传感器、用于测量无人机的角速度动量的加速度传感器、用于测量地球的地磁的地磁传感器(或罗盘传感器)、用于测量海拔的气压计以及用于输出无人机的3D位置信息的GPS模块755。基于从传感器模块和GPS模块输出的测量信息，移动控制模块可控制螺旋桨910至940的旋转，使得无人机可平衡地飞行。
移动控制模块可分析传感器模块和GPS模块的测量结果，并且可稳定地控制无人机的飞行。无人机可通过增加在预期方向的相对侧上的螺旋桨的旋转速度来沿任何方向移动，这与通过降低预期方向的螺旋桨旋转速度所实现的效果相同。为了转动无人机，运动控制模块可调节两个相对的螺旋桨(即，沿相同的方向旋转的两个螺旋桨)的旋转速度。当沿任何一个方向旋转的螺旋桨的动量占主导地位时，平衡被破坏，无人机会沿相反的方向转动。当运动控制模块增加顺时针旋转的螺旋桨910和930的旋转速度时，无人机可逆时针转动。此外，当移动控制模块降低所有螺旋桨的旋转速度时，无人机会下降。通过提高旋转速度，无人机可上升。
无人机可改变方向并且在多维(例如3D)空间中垂直和水平地移动。通过控制螺旋桨910至940的旋转，四旋翼机可控制上升、下降、向左改变方向、向右改变方向、向前移动、向后移动、向左移动和向右移动的操作。也就是说，无人机可通过控制螺旋桨910至940的旋转来控制油门、偏转、俯仰和滚转。无人机可使用如表1所示的四个命令来控制其移动。
表1
上升、下降 油门
向左改变方向、向右改变方向 偏转
向前移动、向后移动 俯仰
向左移动、向右移动 滚转
图9C和图9D描述了无人机的运动控制的示例。无人机可以是四旋翼机。四旋翼机可通过组合四个螺旋桨910至940的旋转强度来控制四旋翼机的飞行方向和移动。如图9C所示，当四个螺旋桨910至940的每分钟转数(RPM)同时增加时，无人机可上升。当RPM同时减小时，无人机可下降。类似地，无人机可通过增加螺旋桨910和920的RPM而向前移动，通过增加螺旋桨930和940的RPM而向后移动，通过增加螺旋桨910和940的RPM而向左移动，通过增加螺旋桨920和930的RPM而向右移动。当相对的螺旋桨910和930或螺旋桨920和940比另外两个螺旋桨旋转地更快时，如图9D所示，无人机会向左或向右改变方向。
图10A、10B和10C示出了根据本公开的实施例的使用电子装置的无人拍摄装置的移动控制。无人拍摄装置可以是无人机。
参照图10A，无人拍摄装置1090可包括用于控制姿态和飞行的移动控制模块710和移动模块720、以及用于控制无人拍摄装置1090的应用的应用处理模块。作为无人拍摄装置1090的平台枢纽的移动控制模块可连接到无人拍摄装置1090的各种硬件和传感器以实现自主飞行。作为应用核心的应用处理模块可包括OS，并通过提供API来提供用于驱动硬件和软件的应用。应用处理模块和移动控制模块可包括图8A的平台，并且如图8B所示在拍摄模式下控制飞行。
为了将无人拍摄装置1090移动到特定位置(例如，具有由相机模块760拍摄的图像的构图的位置、拍摄位置)，移动控制模块可通过应用处理模块来获得信息，并基于获得的信息来控制无人拍摄装置1090移动到相应的目的地。
无人拍摄装置1090可被电子装置1000(例如，智能手机)远程控制。
如图10A、10B和10C所示，电子装置1000可在屏幕上显示用于控制无人拍摄装置1090的移动的第一点动按钮1010和第二点动按钮1020。第一点动按钮1010和第二点动按钮1020可通过用户触摸来激活，并且电子装置1000可根据触摸-拖动方向向无人拍摄装置1090发送用于控制无人拍摄装置1090的移动的命令。无人拍摄装置1090的应用处理模块可将命令从电子装置1000转发到移动控制模块，并且移动控制模块可通过控制移动模块来控制无人拍摄装置1090的移动。电子装置1000的第一点动按钮1010可发出油门和偏转命令，并且第二点动按钮1020可发出俯仰和滚转命令。
图10A描述了无人拍摄装置1090的俯仰和滚转控制。俯仰可指示无人拍摄装置1090的前后移动，滚转可指示无人拍摄装置1090的左右移动。当用户沿方向1041拖动第二点动按钮1020时，电子装置1000可分析拖动方向和拖动距离，并将关于向前移动和移动速度的信息发送到无人拍摄装置1090。接下来，无人拍摄装置的移动控制模块1090可根据速度信息控制螺旋桨910和920以比螺旋桨930和940更大的RPM旋转。无人拍摄装置1090可沿方向1051向前移动。当用户触摸第二点动按钮1020并沿方向1045拖动第二点动按钮1020时，无人拍摄装置1090可使螺旋桨930和940比螺旋桨910和920更快地旋转，并且沿方向1053向后移动。
当用户触摸第二点动按钮1020并沿方向1043拖动第二点动按钮1020时，无人拍摄装置1090可使螺旋桨910和940比螺旋桨920和930更快地旋转，并沿方向1055向左滚转。当用户触摸第二点动按钮1020并沿方向1047拖动第二点动按钮1020时，无人拍摄装置1090可通过使螺旋桨920和930比螺旋桨910和940更快地旋转而沿着方向1057向右滚动。
图10B描述了无人拍摄装置1090的垂直移动(油门)控制。当用户沿方向1061拖动第一点动按钮1010时，电子装置1000可分析拖动方向和拖动距离，并将关于向上移动和移动速度的信息发送到无人拍摄装置1090。接下来，根据无人拍摄装置1090的速度信息，无人拍摄装置1090可通过同时增加螺旋桨910至940的RPM而上升。当用户触摸第一点动按钮1010并沿方向1063拖动第一点动按钮1010时，无人拍摄装置1090可通过降低螺旋桨910至940的RPM而下降。
图10C描述了偏转控制。如图9B所示，偏转可指示无人拍摄装置1090的方向改变。无人拍摄装置1090可不同地控制螺旋桨910和930的旋转方向以及螺旋桨920和940的旋转方向。当用户沿方向1071拖动第一点动按钮1010时，无人拍摄装置1090可通过控制使螺旋桨910和930按照比逆时针旋转的螺旋桨920和940快的RPM来顺时针旋转而向右转。当用户沿方向1073拖动第一点动按钮1010时，无人拍摄装置1090可通过控制使螺旋桨920和940按照比顺时针旋转的螺旋桨910和930快的RMP来逆时针旋转而向左转。
无人拍摄装置1090的飞行可由用户使用电子装置1000的第一点动按钮1010或第二点动按钮1020来控制。
根据本公开的实施例，无人拍摄装置1090可自主地飞行。无人拍摄装置1090可进入自动拍摄模式。在自动拍摄模式中，无人拍摄装置1090可基于从如图6所示的电子装置1000接收的拍摄信息自主地飞行。无人拍摄装置1090可通过控制如图10A、10B、10C所示的油门、俯仰、滚动和/或偏转来自主地飞行到目标拍摄位置。
根据本公开的实施例的电子装置1000可使用包括无人拍摄装置1090的至少部分拍摄信息(例如，构图、位置、高度、距离等)的图像来产生拍摄信息，然后将产生的信息发送到无人拍摄装置1090。无人拍摄装置1090可基于从电子装置1000接收的拍摄信息通过自主飞行来获得预览图像的构图，并且在基本预览图像的与接收的拍摄信息匹配的位置处自动拍摄图片。
根据本公开的实施例的电子装置1000可将存储在其中的或从另一装置接收的图像发送到无人拍摄装置1090。无人拍摄装置1090可识别接收的图像中的被摄体，并且在自动飞行期间识别出设置的构图的图像的位置处自动拍摄图片。当电子装置1000发送图像时，已发送的信息可根据图像分辨率而增加，因此，电子装置1000可向无人拍摄装置1090发送至少部分已处理的图像(例如，分辨率、尺寸等)。无人拍摄装置1090可通过分析接收的图像来确定被摄体的位置和尺寸，并且确定用于捕获与接收的图像基本匹配的图像的构图。
根据本公开的实施例，电子装置1000可通过分析由用户选择的图像来识别对象，通过提取识别的对象的信息来产生图像构图信息，产生包括构图信息的拍摄信息，并且将拍摄信息发送到无人拍摄装置1090。对象信息可包括图像中的对象尺寸和位置信息。图像构图信息可包括图像的对象信息和宽高比率信息。接收拍摄信息的无人拍摄装置1090可识别对象，自主地飞行到识别的对象与图像构图信息相匹配的位置，并且在识别的位置处自动拍摄图片。电子装置1000可产生少量的拍摄信息并将其发送到无人拍摄装置1090，并且无人拍摄装置1090可基于拍摄信息自主地飞行到与设置的图像构图相应的位置并自动拍摄照片。
根据本公开的实施例的无人拍摄设备可包括壳体、附接到壳体或与壳体集成并使电子装置飞行到3D位置的导航装置、至少一个无线通信装置、附接到壳体或与壳体集成的相机、与导航装置电连接的处理器、通信装置、以及与处理器电连接并存储使处理器执行的指令的存储器。处理器可使用通信装置与包括显示器的外部电子装置建立无线连接，通过无线连接在第一3D位置处从外部电子装置接收第一信号(第一信号包括与包括第一对象的第一图像相关的数据)，基于所述数据中的至少一部分数据和第一3D位置来确定第二3D位置，控制导航装置使无人拍摄装置飞行到第二3D位置处或第二3D位置附近，使用相机跟踪与第一对象对应的第二对象，在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像使得第二图像与第一图像对应，并且通过无线连接将第二图像发送到外部电子装置。
无人拍摄装置的导航装置可包括至少一个螺旋桨和用于控制螺旋桨的控制器。所述数据可包括第一图像的构图。所述数据可包括第一图像中的第一对象的相对位置。第一对象可包括人的面部。所述指令可使处理器基于所述数据中的至少一部分数据改变相机的方向。
根据本公开的实施例的电子装置可包括壳体、至少一个无线通信装置、附接到壳体或与壳体集成的相机、显示器、与通信装置和相机电连接的处理器、以及与处理器电连接并存储使处理器执行的指令的存储器。处理器可使用通信装置与无人拍摄装置建立无线连接，通过无线连接将第一信号发送到无人拍摄装置，以及通过无线连接从无人拍摄装置接收第二图像，其中，第一信号包括与包括第一对象的第一图像相关的数据。
所述数据可包括第一图像的构图。所述数据可包括第一图像中的第一对象的相对位置。第一对象可包括人的面部。
图11是根据本公开的实施例的电子装置和无人拍摄装置的拍摄操作的流程图。
参照图11，电子装置可在步骤1111设置用于产生拍摄信息的图像。可通过以下操作来设置图像：通过选择存储在电子装置(例如，画库、相册等)中的照片、通过由相机单元430直接拍摄和选择图片、通过浏览互联网并下载照片、或通过直接输入构图信息。电子装置可提取选择的图像的构图信息，并产生用于无人拍摄装置拍摄图片的拍摄信息。
在步骤1113，电子装置提取选择的图像的特征点。图像特征点可包括图像中的被摄体(对象)的尺寸和位置(例如，图像中的被摄体的中心坐标)。特征点可包括图像比率(例如，宽高比或像素数)和视角。当被摄体是人时，特征点可包括身体部位的尺寸和位置。当图像包括诸如地平线特征时，特征点可包括图像中的地平线位置信息。
在步骤1115，电子装置基于提取的特征点设置目标构图。确定的目标构图可被包括在拍摄信息中。
在步骤1117，电子装置通过通信单元420将产生的拍摄信息发送到无人拍摄装置。在步骤1117，电子装置还可发送无人拍摄装置的拍摄命令。
在步骤1117，无人拍摄装置接收拍摄信息。接收拍摄信息的无人拍摄装置可进入拍摄模式。无人拍摄装置可在步骤1117一起接收拍摄信息和拍摄命令。无人拍摄装置可根据从电子装置接收的拍摄命令进入拍摄模式。拍摄信息可包括包含被摄体尺寸和位置信息的图像构图信息。
在拍摄模式中，无人拍摄装置可在步骤1121基于拍摄信息开始移动来捕获被摄体的图像。当无人拍摄装置是无人机时，无人拍摄装置可起飞。当在起飞之后到达用于识别被摄体的位置时，无人拍摄装置可悬停并通过相机模块560识别被摄体图像。
无人拍摄装置在步骤1123保持姿态，并在步骤1125通过相机模块560拍摄图像。在这样做时，捕获的图像可以是预览图像。根据本公开的实施例，在步骤1127，无人拍摄装置将捕获的图像的视频流发送到电子装置。
在步骤1141，无人拍摄装置提取捕获的图像的特征点(例如，照片比率、身体指数、地平线和/或视角)。在步骤1143，无人拍摄装置将从捕获的图像的特征点分析出的图像构图与拍摄信息的构图进行比较，并且在步骤1145基于两个图像的差异来控制移动(自主飞行)。
在步骤1147，无人拍摄装置将捕获的图像的构图与拍摄信息的图像的构图进行比较，并且移动到两幅图像的构图相匹配(即，直到获得目标构图为止)的位置。
在步骤1149，当移动到目标构图时，无人拍摄装置在对应的位置处自动地捕获被摄体。在步骤1151，无人拍摄装置将捕获的图像发送到电子装置，并且在步骤1171自动飞行到其原始位置(起飞位置)并降落在所述原始位置(起飞位置)。
在步骤1151，电子装置接收由无人拍摄装置在目标构图位置处拍摄的图像，并在步骤1161，将接收的图像存储在存储单元410中。
在步骤1163，电子装置将从无人拍摄装置接收的图像发送到互联网或云网络。根据本公开的实施例，无人拍摄装置可将捕获的图像直接发送到互联网或云网络。无人拍摄装置可与电子装置或外部网络(例如，互联网或云网络)无线连接并传送数据和/或图像。无人拍摄装置可包括通信模块750。无人拍摄装置可通过蜂窝模块(例如，LTE、3G)与电子装置或外部网络无线连接。无人拍摄装置可通过BT模块或Wi-Fi模块与电子装置或外部网络无线连接。无人拍摄装置可与电子装置或外部网络无线连接以接收拍摄信息并将捕获的图像发送到电子装置或外部网络。
图12是根据本公开的实施例的用在在电子装置中产生图像的拍摄信息的方法的流程图。
根据本公开的实施例，电子装置(例如，图4的处理器400)可通过分析选择的图像的构图来产生拍摄信息。可从电子装置中存储的图像、由相机单元430拍摄的图像或通过互联网或云网络选择的图像中选择图像。
参照图12，当在步骤1211选择了图像时，电子装置在步骤1213通过分析选择的图像来识别图像中的对象。对象可以是人或者物。根据本公开的实施例，可从图像中提取一个对象，或者可提取两个或更多个对象。对象可以是人或物(例如，地平线)。对象可以是被摄体或被摄体的部分。对象可以是整个人或人的部位(例如，包括面部的头部)。
在步骤1215，电子装置提取识别的对象的信息。电子装置可提取头、手、脚、和/或身体部位的位置和尺寸信息。
在步骤1217，电子装置产生包括对象的图像的构图信息。构图信息可以是包括对象的图像的构图信息。人的构图信息可包括对象在图像中的位置和尺寸，还可包括除了对象之外的特征点(例如，地平线、太阳等)。基于构图信息，电子装置可产生拍摄信息。
在步骤1219，电子装置通过通信单元420将拍摄信息发送到无人拍摄装置。
在基于从电子装置接收的拍摄信息捕获图像之后，无人拍摄装置可将捕获的图像发送到电子装置。在步骤1221，电子装置从无人拍摄装置接收捕获的图像。在步骤1223，电子装置将图像显示在显示器450上并将图像存储在存储单元410中。根据本公开的实施例，电子装置可将捕获的图像发送到互联网或云网络。
图13A和图13B是根据本公开的实施例的通过提取图像构图信息以产生拍摄信息的电子装置的示图。
参照图13A，图像1310包括人1320。图像1310的宽高比可以是M：N(宽：高)。宽高比可包括3:2、4:3、16:9等。当图像1310的分辨率为M*N时，分辨率(例如，标准清晰度(SD)、高清晰度(HD)、全HD、超HD(UHD))可被用作宽高比信息。人的特定身体部位可被设置为用于产生拍摄信息的对象。当特定身体部位是面部时，电子装置的处理器400和无人拍摄装置的处理器500(例如，应用处理模块)可运行面部识别算法或程序。当产生拍摄信息时，电子装置可识别图像中人的面部区域1330并提取面部区域1330的中心点信息1340。在识别面部区域1330之后，电子装置可设置面部区域1330的尺寸a*b并且将面部区域1330的中心点1340确定为图像上的坐标(x，y)。当图像的宽高比为M(宽度)：N(高度)时，电子装置可识别面部区域1330，确定面部区域1330的尺寸(a：图像中的面部区域1330的宽度，b：图像中面部区域1330的高度)，并且确定面部区域1330的中心点位置(图像中的水平位置x和垂直位置y)。
当选择人物的图像时，电子装置可识别如图13A所示的宽高比和面部区域，提取面部区域的尺寸和中心点信息，产生包括面部区域的宽高比和尺寸和中心点信息(例如面部区域的中心点信息)的构图信息，并使用产生的构图信息来产生拍摄信息。
参照图13B，人的拍摄信息可包括图像中被摄体构图信息。在照片中，主被摄体可以是人。用户可在拍摄图片之前设置背景，然后使人站位。人可按照三分法进行站位。人可被置于照片的左1/3或右1/3处。
在图像中，无人拍摄装置可首先识别人的面部，基于拍摄构图信息自主地飞行到位置，并且当人被置于目标构图位置处时捕获人的图像。
在包括人的图像中，电子装置可识别面部区域1350并提取面部区域1350的位置信息(例如，面部区域的中心坐标)。在提取面部区域1350的信息之后，电子装置可基于面部区域1350的信息计算人的身体指数1360。身体指数1360可以是根据人的身高和性别的身体部位的尺寸。在设置面部区域1350的信息和身体指数1360之后，电子装置可设置图像的目标构图1370，其中，目标构图1370包括面部区域1350的信息和身体指数1360，并且电子装置可产生具有目标构图信息1370的拍摄信息。无人拍摄装置可在根据从电子装置接收的拍摄信息产生移动控制命令的同时自主地飞行。当自主飞行之后到达用于捕获目标构图1370的图像的位置(目标拍摄位置)时，无人拍摄装置可自动地捕获图像。
根据本公开的实施例，电子装置可从图像提取面部区域1350的信息，基于面部区域1350的信息至少一部分来计算身体指数1360，并确定包括面部区域1350的信息和身体指数1360的目标构图1370。
当选择了人的照片时(或当选择了捕获的图像时)，电子装置可基于在如图13B所示的选择的图像中的被摄体的身体信息(例如，面部的尺寸、坐标、身体指数)来产生无人拍摄装置移动所需的拍摄信息。无人拍摄装置可通过基于经由相机模块560获取的对象尺寸信息(例如，身体尺寸信息、面部尺寸信息)计算无人拍摄装置和被摄体之间的相对距离来产生距离移动命令，基于身体的垂直坐标来产生无人拍摄装置的高度移动命令，并且使用身体的水平坐标产生无人拍摄装置的水平和方位角控制命令。被摄体的身体指数可使用身体的任何部位(例如，面部或轮廓)来确定，并且可包括关于人的衣服或对象的特征点。本公开的实施例通过示例的方式基于图像中的人的面部说明了身体指标信息的提取。
图14是根据本公开的实施例的用于在电子装置中通过分析选择的图像来产生拍摄信息的方法的流程图。
参照图14，电子装置可通过分析选择的图像的构图来产生拍摄信息。
在步骤1411，电子装置识别用户进行的图像选择。在步骤1413，电子装置识别选择的图像中的对象。对象可以是图像中的人、物或者两者。可从图像中提取一个对象或者两个或更多个对象。对象可包括两个人、或者人和物(例如，地平线、太阳等)。
在步骤1415，电子装置通过分析识别的对象来确定识别的对象是否是多个对象。对于单个对象，在步骤1431，电子装置可提取对象信息。对象信息可包括对象的尺寸和位置信息。接下来，电子装置进行到步骤1423。
对于在步骤1415识别的多个对象，电子装置在步骤1417提取第一对象的信息。提取的对象信息可包括图像中的对象尺寸信息和对象位置信息。在步骤1419，电子装置确定是否存在下一个对象。当确定存在下一个对象时，电子装置在步骤1419识别下一个对象并且在步骤1421选择下一个对象。接下来，电子装置在步骤1417提取选择的对象的信息。当提取最后一个对象的信息时，电子装置在步骤1419识别出最后一个对象信息的提取并进行到步骤1423。
在步骤1423中，电子装置产生包括对象信息的图像的构图信息。构图信息可以是包括对象的图像的构图信息。人的构图信息可包括图像中的对象位置和尺寸。电子装置可基于构图信息产生拍摄信息。接下来，电子装置在步骤1425通过通信单元420与无人拍摄装置无线连接并且通过无线连接发送拍摄信息。
在基于拍摄信息捕获图像之后，无人拍摄装置可将捕获的图像发送到电子装置。电子装置在步骤1427从无人拍摄装置接收图像。在步骤1429，电子装置将接收的图像显示在显示器450上或将接收的图像存储在存储单元410中。根据本公开的实施例，电子装置可将图像发送到互联网或云网络。
图15A至15B是根据本公开的实施例的提取图像中的对象的信息的电子装置的示图。
参照图15A，选择的图像中的对象包括人对象1510和物对象1515。电子装置可提取关于人对象1510的信息(例如，人对象信息、第一对象信息)。人对象1510可包括整个人或人的部位(例如，面部)。人对象信息可包括图像中的人的尺寸信息和位置信息。
电子装置提取关于物对象1515的信息(例如，物对象信息、第二对象信息)。物对象信息可以以与人对象信息的提取方式相同的方式被提取。物对象信息可包括图像中的物对象1515的尺寸信息和位置信息。位置信息可包括基于图像的宽高比的对象的中心点坐标。物对象1515不包括尺寸信息(例如，地平线)和中心点坐标(例如，河流、道路)。当物对象不能用尺寸和/或位置信息来表示时，电子装置可提取物对象的边缘信息作为对象信息。
在包括多个对象的图像中，如图15A所示，第一对象(例如，人对象1510)和第二对象(例如，物对象1515)可在特定区域重叠，如图15B所示，第一对象(例如，人对象1510)和第二对象(例如，物对象1515)可被置于不重叠的区域。当如图15A所示的对象在特定区域重叠时，无人拍摄装置可基于对象的尺寸和位置信息来识别对象的重叠。
包括多个对象的图像可包括主要对象和背景对象。主要对象可以是人(或动物)和/或物。背景对象可以是静止对象，诸如地平线、山、太阳、云、海面、桥、建筑物或树。当使用无人拍摄装置捕获图像时，电子装置可产生包括背景对象的位置的构图信息。
图15C示出了包括作为主要对象的人对象1530和两个背景对象1532和1534的图像的示例。背景对象可包括地平线1532、海和沙滩的边界1534。
图15D示出了拍摄风景图像的示例。电子装置可使用包括图15D的图像中的地平线1542以及海和陆地的边界1544的构图信息来设置目标构图。
在图15E中，捕获了另一个风景图像。电子装置可使用包括图15E的图像中的地平线1552和建筑物1554的构图信息来设置目标构图。
图15F示出了包括一个背景对象1562和作为主要对象的人对象1560的图像的示例。背景对象1562可以是建筑物。
图15G示出了包括两个背景对象1572和1574和作为主要对象的人对象1570的图像的示例。背景对象可包括地平线1572和建筑物1574。
图15H示出了包括两个背景对象1582和1584和作为主要对象的人对象1580的图像。背景对象可包括地平线1582和树1584。
当使用无人拍摄装置捕获图15A至15H的图像时，电子装置可产生包括宽高比、屏幕中的主要对象和至少一个背景对象的位置(坐标)信息、以及对象的尺寸的构图信息。无人拍摄装置可基于主要对象的位置和尺寸以及主要对象和背景对象的构图来设置构图。当从电子装置接收的主要对象的构图信息以及主要对象和背景对象的构图信息与捕获的对象的构图信息相匹配时，无人拍摄装置可在相应的位置捕获图像。
图16A至16E是根据本公开的实施例的在电子装置中选择图像的屏幕截图。
参照16A，在使用无人拍摄装置的自动拍摄模式中，电子装置可在显示器450上显示开始屏幕1610。开始屏幕1610包括默认构图1611、直接拍摄1613、互联网1615和绘图输入1617的项目。
当选择了默认构图1611时，电子装置可显示存储在存储单元410中的图像。图像可存储在相册和/或图库中。在肖像模式1620中，电子装置显示图像1621、1622和1623。在风景模式1630中，电子装置显示图像1631至1636。当在肖像模式1620或风景模式1630中选择了所显示的图像之一时，电子装置可基于选择的图像产生拍摄信息。电子装置可提取选择的图像的特征点(例如，照片比率、身体指数、地平线、视角等)，并且基于提取的特征点产生包括目标构图的拍摄信息。
参照图16B，当在开始屏幕1610中选择直接拍摄1613时，电子装置可根据肖像模式1620或风景模式1630拍摄照片。如果在肖像模式1620下执行拍摄模式，则电子装置可在显示器上显示捕获的照片1641。这样做时，显示器可显示捕获的照片1641和存储图像的类别文件夹1642、1643和1644。捕获的照片可被显示为缩略图像1645，并且电子装置可基于从缩略图像1645选择(例如，触摸、拖放)的图像1646来产生拍摄信息。
参照图16C，在风景模式1630中，电子装置可以以风景模式1630在显示器上显示由相机单元430拍摄的图像1641。当用户选择缩略图像按钮1647时，电子装置可显示缩略图像1645。在缩略图像1645中，数字1至8可指示缩略图像，并且缩略图像1645的数字8可指示更多个缩略图像。当选择更多个缩略图像时，电子装置可显示下一个缩略图像。用户可在缩略图像1645中选择用于产生拍摄信息的缩略图像1648。电子装置可基于由用户选择的缩略图像1648的图像产生拍摄信息。
参照图16D，当在开始屏幕1610中选择互联网1615时，电子装置可连接到互联网并根据模式(例如，肖像模式1620、风景模式1630)选择图像。当在肖像模式1620下选择互联网1615时，电子装置可显示在互联网中浏览的图像的缩略图像1651。电子装置可在显示器上显示用于存储下载的图片的文件夹1653、1654和1655。缩略图像1651中的数字1至8可指示显示各个缩略图像的区域。当在缩略图像1651中选择了数字8的区域时，电子装置可显示下一个缩略图像。用户可从缩略图像1651中选择用于产生拍摄信息的缩略图像1652。电子装置可将由用户选择的缩略图像1652显示为选择的屏幕1656，并且基于选择的缩略图像1652的图像产生拍摄信息。
当在风景模式1630下选择互联网1615时，电子装置可显示由用户在互联网上浏览的图像的缩略图像1651。用户可从缩略图像1651选择用于产生拍摄信息的缩略图像1657。电子装置将由用户选择的缩略图像1657显示为选择的屏幕1658，并且基于所选缩略图像1657的图像产生拍摄信息。
参照图16E，当在开始屏幕1610中选择绘图输入1617时，电子装置可根据模式(例如，肖像模式1620或风景模式1630)将绘图区域1661显示在显示器450上。当绘图输入1617被选择时，电子装置可显示绘图区域1661、人添加按钮1665和相机按钮1664。在绘图区域1661中显示的对象可包括人1663和用于调整地平线的地平线1662。
当捕获单个人时，电子装置可在绘图区域1661中显示人1663。电子装置可显示与捕获单个人相关的单个人拍摄屏幕1660。当用户拖动人1663的显示区域时，电子装置可调整人1663的显示区域的尺寸和/或位置。当用户拖动绘图区域1661中的地平线1662时，显示的地平线1662位置可被调整。当绘图输入结束时，电子装置可基于绘图屏幕产生拍摄信息。
当显示绘图输入的屏幕时，电子装置可显示人添加按钮1665。当用户选择人添加按钮1665时，电子装置可显示双人拍摄屏幕1670。
当选择了人添加按钮1665时，电子装置可显示双人拍摄屏幕1670，其中，双人拍摄屏幕1670在单人拍摄屏幕1660上显示添加的人1671。双人拍摄屏幕1670在绘图区域1661中的人1663的右侧显示添加的人1671。当检测到在人1663或人1671的显示区域上或在地平线1662的显示区域上的拖动时，电子装置可根据拖动方向改变显示区域或位置。显示区域的变化可扩大或缩小该区域。当在双人拍摄屏幕1670中再次选择了添加按钮1665时，电子装置可添加人并显示三人拍摄屏幕。当绘图输入结束时，电子装置可基于绘图屏幕产生拍摄信息。
用户可在绘图区域1661中直接绘制他/她想要的图片的被摄体和构图。在直接输入屏幕1680中，用户可在绘图区域1661中直接绘出被摄体1683和1685以设置拍摄构图。用户可在绘图区域1661中直接绘出主要被摄体1685(例如，人)的尺寸和位置，并且直接绘出引导线1683(例如，地平线)。当绘图输入结束时，电子装置可基于绘图区域1661中的绘图信息来产生拍摄信息。
如图16A至16E所示，根据本公开的实施例的电子装置可基于照片图像来产生拍摄信息。电子装置可从存储的照片中选择照片以产生拍摄信息。电子装置可通过相机单元430拍摄照片以产生拍摄信息。电子装置可通过浏览互联网来选择照片以产生拍摄信息。电子装置可使用由用户直接绘出的图像来产生拍摄信息。
当确定了照片图像或绘图图像时，电子装置可产生针对无人拍照装置的拍摄信息来拍摄照片。电子装置可提取图像的特征点。提取的特征点可包括图像中的被摄体(对象)的尺寸和位置(例如，图像中的被摄体的中心点坐标)。特征点可包括图像比率(例如，宽高比)和/或视角。当被摄体是人时，特征点可包括身体的尺寸和位置。当图像包括诸如地平线的特征时，特征点可包括图像中的地平线的位置信息。在提取图像的特征点之后，电子装置可基于提取的特征点来设置目标构图。确定的目标构图可被包括在拍摄信息中。
图17A至图17E是根据本公开的实施例的将拍摄信息发送到无人拍摄装置的电子装置的示图。
参照图17A，电子装置1700可以是智能电话。电子装置1700可通过从选择的图像提取对象信息来产生拍摄信息。电子装置1700可与无人拍摄装置无线连接并且将拍摄信息作为目标拍摄构图发送到无人拍摄装置1710。无人拍摄装置1710可基于接收到的拍摄信息自主飞行到目标拍摄位置的位置处并且在构图位置处拍摄图片。
参照图17B，电子装置1730可以是可穿戴装置(例如，手表电话)。电子装置1730可通过从选择的图像提取对象信息来产生拍摄信息，并将拍摄信息作为目标拍摄构图发送到无人拍摄装置1710。无人拍摄装置1710可基于接收的拍摄信息自主飞行到目标拍摄位置的位置处并在构图位置处拍摄图片。
参照图17C，可穿戴装置1730可包括蜂窝通信模块和BT通信模块中的至少一个。可穿戴装置1730可经由诸如智能电话的电子装置1700与外部电子装置连接。可穿戴装置1730可具有比诸如智能电话的电子装置1700更小的显示器，并且具有更小的电池容量。当可穿戴装置1730远离无人拍摄装置1710时，它们不能彼此通信。当可穿戴装置1730与无人拍摄装置1710之间的数据通信活动增加(例如，拍摄信息的发送、捕获的图像的接收)时，它们的功耗会增加。
可穿戴装置1730可通过从选择的图像提取对象信息来产生拍摄信息，并将拍摄信息发送到为智能电话的电子装置1700。作为智能电话的电子装置1700可将接收的拍摄信息作为目标拍摄构图发送到无人拍摄装置1710。无人拍摄装置1710可基于接收的拍摄信息自主地飞行到目标拍摄位置的位置处并在构图位置处拍摄图片。
参照图17D，无人拍摄装置1710可自主地飞行到其自己的目标构图位置并拍摄图片。当设置了拍摄构图a、b和c时，无人拍摄装置1710可基于存储的拍摄信息自主地飞行到目标构图的位置并在构图位置处拍摄图片。
参照图17E，电子装置1700可通过云/互联网1750来选择期望的构图的图像。云/互联网1750可连接多个外部电子装置(例如，第一用户的电子装置1740、第二用户的电子装置1745)，并且外部电子装置1740和1745可将各种构图的图片上传到云/互联网1750。电子装置1700可通过访问云/互联网1750来选择期望的构图的图像。接下来，电子装置1700可通过从选择的图像提取对象信息来产生拍摄信息，与电子装置1710无线连接，并且将拍摄信息作为拍摄目标构图进行发送。无人拍摄装置1710可基于接收的拍摄信息自主地飞行到拍摄目标构图的位置处，并且在构图位置处拍摄图片。
图18是根据本公开的实施例的使用无人拍摄装置自动拍摄的方法的流程图。
根据本公开的实施例，无人拍摄装置可基于拍摄信息来拍摄图片。拍摄信息可包括图像中的对象信息。对象信息可包括图像中的整个或部分被摄体。当从电子装置接收到拍摄信息时，无人拍摄装置可进入拍摄模式。当进入拍摄模式时，无人拍摄装置可基于存储的拍摄信息来拍摄图片。在拍摄模式中，无人拍摄装置可基于存储的拍摄信息自动地拍摄照片。可通过无人拍摄装置的外部按钮在电子装置的控制下设置拍摄模式。
参照图18，在拍摄模式中，无人拍摄装置在步骤1811通过分析拍摄信息来设置图像的目标构图以进行捕获。在步骤1813，无人拍摄装置移动。当无人拍摄装置是UAV时，无人拍摄装置可在步骤1813起飞并悬停以检测对象。无人拍摄装置可悬停并识别对象以自动拍摄。当自动拍摄人时，对象可以是人的面部。无人拍摄装置可确认将要捕获的图像的目标构图，自动起飞(例如，垂直起飞)并搜索对象。在识别对象后，无人拍摄装置可悬停并确认构图。当识别出对象时，无人拍摄装置在步骤1815移动。无人拍摄装置可获得拍摄信息，对对象进行定位并移动到目标拍摄位置。
在步骤1817，无人拍摄装置检查目标构图。当在步骤1817确定由相机模块560拍摄的图像的构图不与目标构图匹配时，无人拍摄装置在步骤1819对由相机模块560拍摄的图像和拍摄信息的目标构图进行比较和分析。无人拍摄装置对由相机模块560拍摄的图像的对象和拍摄信息的目标构图的对象进行比较和分析，并在步骤1821根据所述分析来产生移动控制信号。在步骤1823，无人拍摄装置基于移动控制信号自主飞行。当在步骤1817确定由相机模块560拍摄的图像的构图不与目标构图匹配时，无人拍摄装置重复步骤1819至1823。
无人拍摄装置可自主地飞行到使由相机模块560拍摄的图像与设置的目标构图的图像相同或相似的位置处。当在步骤1817，由相机模块560拍摄的图像构图与目标构图匹配时，无人拍摄装置在步骤1831自动捕获图像。
图19A和图19B是根据本公开的实施例的无人拍摄装置自主飞行到用于获得目标构图的位置的示图。
参照图19A，拍摄模式下的无人拍摄装置1910可基于从电子装置接收的拍摄信息来设置图像构图。图像构图的信息可包括至少一个对象信息，并且对象信息可包括整个或部分被摄体的位置和尺寸信息。当被摄体1900是人时，对象可以是面部。
拍摄模式下的无人拍摄装置1910可从由相机模块560拍摄的图像中提取对象信息。如帧图像1920所示，可使用针对每个捕获的图像帧的命令来产生对象信息，并且可基于预设的时间单位来拍摄帧图像。帧图像1920可包括被摄体1900的面部，无人拍摄装置可提取作为对象的面部的位置和尺寸。位置信息可包括整个图像区域中的面部的中心点位置，并且尺寸可以是面部区域。无人拍摄装置可在每次拍摄帧图像1920时提取面部区域，并且通过对面部区域的位置和尺寸与拍摄信息的对象的位置和尺寸进行比较和分析来确定对象是否是在设置的位置处的确定的尺寸。当由相机模块560拍摄的图像的对象的位置和尺寸与设置的对象的尺寸和位置不同时，无人拍摄装置可根据两个对象的位置和尺寸的差异来产生移动控制信号，以自主地飞行到目标构图的位置处。
参照图19B，无人拍摄装置可执行如图9A至图9D和图10A至图10C所示的前/后移动(例如，俯仰1941)、左/右移动(例如，滚转1943)、上升/下降(例如，油门1945)和左/右旋转(例如，偏转1947)。
在步骤1817，无人拍摄装置可对由相机模块560拍摄的图像的对象信息和从电子装置接收的拍摄构图的对象信息进行比较和分析，当目标构图未被确认时，在步骤1821产生移动控制信号，并在步骤1823基于产生的移动控制信号自主地飞行到目标构图处。
在步骤1821，无人拍摄装置基于分析的对象信息来产生移动控制信号。无人拍摄装置可通过基于获取的对象尺寸信息来计算无人拍摄装置和被摄体之间的相对距离以产生距离移动命令(例如，俯仰移动)。当获取的对象尺寸小于目标构图的对象尺寸时，无人拍摄装置可产生用于向着被摄体移动的移动控制信号。
无人拍摄装置可根据对象的尺寸变化来控制移动速度。无人拍摄装置可基于对象的垂直坐标来产生高度移动(例如，油门)命令。无人拍摄装置可垂直移动以将对象置于期望的视角内。无人拍摄装置可使用对象的水平坐标来产生水平移动(例如，滚转)命令和方位角控制(例如，偏转)命令。无人拍摄装置可分析对象的水平坐标并产生用于水平移动和方位角旋转的控制信号，以便将对象置于视角内。
图20是根据本公开的实施例的自主飞行并设置构图的无人拍摄装置的示图。
参照图20，电子装置可从第一图像2000提取作为对象的面部的尺寸和位置信息(例如，图像中的对象的中心点坐标(x，y))。可通过电子装置使用第一图像2000来提取对象信息并产生目标构图的拍摄信息。第一图像2000中的被摄体可以是人，并且对象可以是人的面部。电子装置可通过无线连接将包括对象尺寸和位置信息的拍摄信息发送到无人拍摄装置。
无人拍摄装置可从电子装置接收从第一图像2000提取的目标构图数据(第一信号)。接收到目标构图数据的无人拍摄装置可垂直上升，识别对象，并通过相机模块560捕获被摄体的图像2010。无人拍摄装置可在捕获的图像与目标构图的图像之间对对象信息进行比较和分析，并自主地飞行到目标构图的位置处。无人拍摄装置可固定对象的位置并且自主地从固定的目标位置飞行到捕获的图像的对象与目标构图的图像的对象尺寸相匹配的位置。
根据本公开的实施例，对于自主飞行，无人拍摄装置可起飞、悬停、识别对象、在对象尺寸与目标构图的尺寸相匹配之前自主地飞行，并且自主飞行使对象置于原始目标构图位置处。
根据本公开的实施例，对于自主飞行，无人拍摄装置可起飞、悬停、识别对象，在对象位置与目标构图的位置相匹配之前自主地飞行，并且在对象尺寸与目标构图的尺寸相匹配之前自主地飞行。
根据本公开的实施例，对于自主飞行，无人拍摄装置可起飞、悬停、识别对象，对对象的尺寸和位置与目标构图的尺寸和位置进行比较，并且在对象与目标构图的尺寸和位置相匹配之前自主地飞行。
在图20中，当识别被摄体时，无人拍摄装置对对象进行定位，在设置的位置上自主地飞行直到对象尺寸与目标构图的对象尺寸相匹配，然后自主飞行到目标构图的对象位置。根据本公开的实施例，无人拍摄装置可将对象位置(例如，中心点坐标)置于图像的中心。当对象位置被置于图像的中心时，在自主飞行期间由无人拍摄装置拍摄的图像对象不会离开视角。
当无人拍摄装置自主飞行时，相机模块560可拍摄图20中的图像2010至2050(例如，第二图像)。当在拍摄模式下的无人拍摄装置垂直起飞时，相机模块560可拍摄图像2010。图像2010中的对象可以是中心点被置于第一坐标(x1，y1)处的面部。无人拍摄装置可分析捕获的图像中的面部的尺寸和坐标。当捕获的图像的面部尺寸与目标构图的面部尺寸不同时(例如，当捕获的图像中的面部尺寸大于目标构图的面部尺寸时)，无人拍摄装置可产生向后移动的控制信号以远离被摄体。
当向后移动时，无人拍摄装置可通过相机模块560捕获图像2020。在图像2020中，面部尺寸减小，并且面部位置移动到第二坐标(x2，y2)。当捕获的图像的面部尺寸与目标构图的面部尺寸不同时，无人拍摄装置可自主地飞行使面部位置(例如，中心点坐标)从第二坐标(x2，y2)移动到第一坐标(x1，y1)。通过自主飞行，面部尺寸可减小到目标构图的面部尺寸，然后面部位置可被移动。在图像2030中，面部尺寸减小，并且面部位置移动到第三坐标(x3，y3)。无人拍摄装置可自主地飞行以使面部位置(例如，中心点坐标)从第二坐标(x2，y2)移动到第一坐标(x1，y1)。
当自主飞行时，无人拍摄装置可通过相机模块560捕获图像，分析捕获的图像，并继续自主飞行直到面部尺寸与目标构图的面部尺寸相同或相似。面部尺寸可在图像2040中的某个位置处与目标构图的面部尺寸匹配。在图像2040中，在第四坐标(x4，y4)处拍摄的图像的面部尺寸与目标构图的面部尺寸相匹配。
当捕获的图像中的面部尺寸与目标构图的面部尺寸匹配时，无人拍摄装置可移动以将面部置于目标构图的拍摄位置处，如图像2050所示。当在第四坐标(x4，y4)处捕获的面部尺寸与图像2040中的目标构图的面部尺寸相匹配时，无人拍摄装置可移动(自主飞行)以使面部(例如，图像2040的第四坐标)置于目标构图的位置(例如，拍摄坐标(x，y))处。
当面部的尺寸和位置与目标构图的面部的尺寸和位置相匹配时，无人拍摄装置可悬停在相应位置上并捕获图像2060。
根据本公开的实施例，无人拍摄装置可从电子装置接收包括如图像2000中所示的对象尺寸和位置信息的目标构图信息。当接收到目标构图信息时，无人拍摄装置可进入拍摄模式，激活相机模块560，并通过垂直上升并分析由相机模块560拍摄的图像来识别被摄体。接下来，无人拍摄装置可识别被摄体或对象(即，被摄体的一部分)，并且确定用于识别如图像2020中所示的对象的位置(例如，第一坐标)。当自主地飞行并识别出对象时，无人拍摄装置可确定用于识别如图像1020中所示的屏幕中心处或附近的对象的位置，以便不使对象置于屏幕外部。在自主飞行期间拍摄的图像中的对象尺寸可接近如图像2020和2030中所示的目标构图的对象尺寸，并且对象位置可根据对象尺寸变化和移动而改变。
无人拍摄装置可控制自主飞行以将由相机模块560捕获的对象图像置于确定的位置(例如，从第二坐标移动到第一坐标、从第三坐标移动到第一坐标)。当在自主飞行期间拍摄的对象尺寸与目标构图的对象尺寸匹配时，无人拍摄装置可移动以使对象位置处于目标构图的对象位置处，然后在目标构图的拍摄位置处自动捕获被摄体的图像。
如图20所示，当对象(例如，人的图像中的面部)到达目标构图的坐标处时，无人拍摄装置可固定其垂直和水平位置，然后仅通过改变距离(例如，向前或向后移动)来获得目标构图。根据本公开的实施例，当目标构图的面部处于角落时，对象(整个或部分被摄体)会离开视角。相应地，在达到目标构图的拍摄位置之前，无人拍摄装置可移动以使对象置于屏幕的中心。在用于以目标构图信息的尺寸来捕获对象的距离处，无人拍摄装置可垂直和水平移动并使对象置于目标构图中。
图21是根据本公开的实施例的无人拍摄装置的对象校正的示图。
参照图21，被摄体可以是移动的(例如，人、动物或者移动的或可被风移动的被摄体)。由电子装置拍摄的图像和由无人拍摄装置拍摄的图像可在拍摄角度(例如，高度)上不同。根据本公开的实施例，无人拍摄装置可校正错误识别的对象，以便准确地提取无人拍摄装置和对象之间的相对距离。
可通过考虑面部面积和长度来校正面部。目标构图的面部可以是图21的尺寸2100。根据面部的移动，面部尺寸可被不同地识别。当低头、头部转动或倾斜时，面部可移动。当面部尺寸与目标面部尺寸2100不匹配时，无人拍摄装置可自主地飞行，直到目标构图的面部尺寸被识别为止。这样做时，当与作为被摄体的人之间的距离位于目标构图的位置处并且人使他/她的头部低下或转动时，作为对象的面部的尺寸可被识别为小于目标构图的面部的尺寸。当被摄体倾斜他/她的头部时，无人拍摄装置可识别目标构图位置处的尺寸2113的面部2100。当被摄体低头时，无人拍摄装置可识别尺寸2123。当被摄体转动头部时，无人拍摄装置可识别尺寸2133。
如图21所示，当被摄体使他/她的头部低下时，由无人拍摄装置识别的面部尺寸可减小到尺寸2123。当根据低下的头部来识别面部尺寸时，无人拍摄装置可通过将区域2125添加到区域2123，使用俯仰轴来校正面部尺寸。
当被摄体转动他/她的头部时，由无人拍摄装置识别的面部尺寸可减小到尺寸2133。当根据转动的头部来识别面部尺寸时，无人拍摄装置可通过将区域2135添加到区域2133，使用偏航轴来校正脸部尺寸。
当被摄体倾斜他/她的头部时，由无人拍摄装置识别的面部尺寸可与目标构图的面部尺寸2113匹配。因此，无人拍摄装置可使用滚动轴来校正面部尺寸2115，而不会扩大面部面积。如图21所示，对象可被校正,并且所述校正可以以相同的方式被应用到除了面部以外的被摄体。
图22是根据本公开的实施例的无人拍摄装置的移动控制的示图。
参照图22，无人拍摄装置可从电子装置接收包括目标构图信息的拍摄信息。目标构图信息可包括图像尺寸(例如，图片区域)2210、对象尺寸(例如，面部区域)2220、和对象位置(例如，面部的中心点坐标)2225。
当进入拍摄模式时，无人拍摄装置可分析目标构图信息并计算直到目标位置的移动指数2230。移动指数可包括距离移动指数、高度移动指数和水平移动指数。距离移动指数可通过照片图像中的照片区域AS和面部区域aS的比率来确定。高度移动指数可通过Y轴长度YS(例如，照片图像的高度)和照片图像中主要被摄体的中心坐标的Y坐标值yS来确定。水平移动指数可通过X轴长度XS(例如，照片图像的宽度)与照片图像中主要被摄体的中心坐标的X坐标值xS的比率来确定。
拍摄模式下的无人拍摄装置可通过驱动相机模块560来捕获图像。由相机模块560拍摄的图像的尺寸2240可不同于图像2210的尺寸。用于在电子装置中产生拍摄信息的图像的宽高比和/或分辨率可不同于由无人摄像装置的相机模块560拍摄的图像的宽高比和/或分辨率。
为了捕获与目标构图信息相同的图像，无人拍摄装置可对图像的宽高比进行匹配。无人拍摄装置可通过分析由相机模块560拍摄的图像的对象来计算相应图像帧2260的距离移动指数、高度移动指数和水平移动指数。距离移动指数可通过由无人拍摄装置拍摄的图像中的照片区域AP和面部区域aP的比率来确定。高度移动指数可由Y轴长度YP(例如，照片图像的高度)与由无人拍摄装置拍摄的图像中的主要被摄体的中心坐标的Y坐标值yP的比率来确定。水平移动指数可由X轴长度XP(例如，照片图像的宽度)与由无人拍摄装置拍摄的图像中的主要被摄体的中心坐标的X坐标值xP的比率来确定。
在计算相应帧的移动指数之后，无人拍摄装置可将相应帧的移动指数与目标移动指数2270进行比较，并且基于所述比较来产生相应帧的移动控制信号2280。移动控制可以是无人拍摄装置的自主飞行。无人拍摄装置的移动控制可包括距离控制、高度控制和水平/方位角控制。距离控制可根据两个距离移动指数的差异向后移动、向前移动或保持距离。高度控制可根据两个高度运动指数的差异上升、下降或保持高度。水平/方位角控制可根据两个水平移动指数的差异向左移动或逆时针转动、向右移动或顺时针转动、保持水平或保持方位角。
图23是根据本公开的实施例的在无人拍摄装置中终止拍摄的方法的流程图。
参照图23，无人拍摄装置可在拍摄模式下自主飞行。当到达目标构图位置时，无人拍摄装置可在步骤2311停止自主飞行、悬停并拍摄被摄体的图像。无人拍摄装置可将捕获的图像存储在存储器模块540中，并通过通信模块550将图像发送到电子装置。在终止拍摄后，无人拍摄装置在步骤2313确定要返回的移动点。返回的移动点可以是出发点。当无人拍摄装置是UAV时，移动点可以是无人拍摄装置的起飞点。
当终止拍摄模式并确定向原始位置移动时，无人拍摄装置在步骤2315通过分析在移动期间由相机模块560拍摄的图像来识别对象(例如，在拍摄图片之后，当无人拍摄装置自动飞行并在原始位置着陆时)。
基于对象识别，无人拍摄装置可分析(确定)原始位置。当对象尺寸是原始点的尺寸时，无人拍摄装置可在步骤2317识别原始位置，并在步骤2319停止其操作(例如，着陆)。
当确定不是原始点时，无人拍摄装置在步骤2321通过分析捕获的图像来产生移动控制信号，并在步骤2323根据移动控制信号进行移动。在步骤2325，移动的无人拍摄装置通过相机模块560拍摄图像，并通过分析捕获的图像来分析原始位置。当确定原始位置时，无人拍摄装置在步骤2327识别原始位置，并在步骤2329停止其移动(例如，着陆)。
在终止拍摄之后，无人拍摄装置可设置将要返回的移动点。将要返回的移动点可以是针对自动拍摄的起飞点。当确定移动点(例如起飞点)时，无人拍摄装置可通过分析由相机模块560拍摄的图像来识别起飞点，然后自动着陆。
图24A和图24B是根据本公开的实施例的使用无人拍摄装置进行视频捕获的示图。图24A和图24B的无人拍摄装置可如图7中所示被构造。
参照图24A，当使用无人拍摄装置2450创建视频时，电子装置2400可使用与正被创建的视频类似的视频2410来计算视频目标构图。电子装置2400可通过相机捕获期望的构图的视频，并且通过通信模块接收期望的构图的视频。电子装置2400可通过按照间隔从视频的图像中选择图像来计算目标构图。电子装置2400可按照帧间隔(例如，30fps、60fps)或时间间隔(例如，1/30秒、1/10秒、1/5秒、1秒)来选择图像。
电子装置2400可通过分析从视频选择的图像中的对象的构图来计算目标构图。对象可包括至少一个主要被摄体和/或背景(例如，地平线、太阳、山等)。构图信息可包括图像中被摄体的相对位置和尺寸信息。当被摄体是人时，构图信息可包括图像中的身体部位(例如，面部)的位置和尺寸信息。电子装置2400可计算图像(图片)的包括主要被摄体和/或背景的尺寸以及位置的目标构图。电子装置2400可通过通信模块420将包括计算的目标构图信息的拍摄信息发送到无人拍摄装置2450。
在没有用户的直接控制的情况下，无人拍摄设备2450可基于从电子装置2400接收的目标构图信息来捕获视频。当从电子装置2400接收到拍摄信息时，无人拍摄装置2450可基于接收的拍摄信息中的视频图像的目标构图信息和通过相机模块接收的图像(例如，预览图像)来自主飞行并捕获视频。
当从电子装置2400接收到拍摄信息时，无人拍摄装置2450可进入拍摄模式。拍摄模式可由电子装置2400或无人拍摄装置2450来设置。接收拍摄信息的无人拍摄装置2450可自动进入拍摄模式，并通过基于接收的拍摄信息自主飞行而拍摄图片。
在拍摄模式中，无人拍摄装置2450可起飞(例如，垂直上升、悬停)来拍摄被摄体2460的图像。当在起飞之后到达用于识别被摄体2460的位置时，无人拍摄装置2450可检查与视频2410的第一图像相应的目标构图，并且基于第一图像的目标构图自主地飞行。无人拍摄装置2450可通过考虑视角来调整拍摄构图并控制其高度和距离，并且针对每个捕获的图像帧产生基于视觉的飞行控制信号。无人拍摄装置2450可分析在姿态控制点由相机模块(例如，图5的相机模块560)拍摄的图像(例如，预览图像)，分析视角内的被摄体构图，并且自主地飞行到设置的拍摄位置。
当自主飞行到与拍摄信息的构图匹配的位置时，无人拍摄装置2450可捕获包括被摄体2460的拍摄构图的图像。接下来，无人拍摄装置2450确认下一图像的目标构图并移动。当识别出与拍摄信息的主要被摄体的尺寸和位置和/或背景的构图相同的构图(由相机模块捕获的被摄体的尺寸/位置)时，无人拍摄装置2450可拍摄视频。接下来，当获得最后一个图像的目标构图时，无人拍摄装置2450可移动并拍摄视频2410的最后一个图像(例如，在包括帧1至N的视频中的帧N的图像)。接下来，无人拍摄装置2450可终止视频捕获。
参照图24B，许多用户可在许多人访问的区域2420(诸如旅游区域)中创建各种视频2430。视频2430可在区域2420中被创建并可通过互联网被下载。可使用区域2420中的无人拍摄设备2450来创建视频，视频2430可包括针对每个捕获的图像帧的目标构图信息。用户可下载在区域2420中拍摄的视频和针对每个捕获的图像帧的目标构图信息，并将它们存储在电子装置2400中。
在携带电子装置2400进入区域2420之后，用户可使用电子装置2400选择拍摄位置以及在区域2420中的相应位置处创建的视频2430。视频2430可使用无人拍摄装置2450来创建，并且电子装置2400可使用视频2430中的目标构图信息。当视频2430不包括目标构图信息时，电子装置2400可基于视频2430的图像帧或拍摄时间来计算视频的图像的目标构图。
电子装置2400可通过通信模块420将包括视频的目标构图信息的拍摄信息发送给无人拍摄装置2450。基于视频2430的目标构图信息，无人拍摄装置2450可自主飞行并捕获包括被摄体2460的视频。
图25是根据本公开的实施例的使用电子装置和无人拍摄装置进行视频捕获的示图。
参照图25，电子装置2500可使用参考视频2510来计算目标构图信息2515。参考视频2510可由电子装置2500创建，或者使用社交网络服务(SNS)或互联网来下载。电子装置2500可计算参考视频2510中的间隔处的图像的目标构图2515。该间隔可以是每一个帧或多个帧。该间隔可以是每一个帧。电子装置2500可计算针对视频的每个帧图像的目标构图，并且通过通信单元420将计算的针对每个捕获的图像帧的目标构图信息2515发送到无人拍摄装置2550。
无人拍摄装置2550可通过通信模块550从电子装置2500接收针对每个捕获的图像帧的目标构图信息2563。接收用户输入、电子装置2500的命令、或所述针对每个捕获的图像帧的目标构图信息2563的无人拍摄装置2550可进入视频捕获模式。
在视频捕获模式中，无人拍摄装置2550可通过相机模块560捕获视频2561。无人拍摄装置2550可通过对创建的视频2561与所述针对每个捕获的图像帧的目标构图信息2563进行比较来计算创建的视频的目标构图信息2565。基于创建的视频的目标构图信息2565，无人拍摄装置2550可产生其移动控制信号2567。移动控制信号2567可被反馈到移动控制模块510以产生用于实时控制无人拍摄装置2550的飞行的信号。
图26是根据本公开的实施例的在电子装置中使用无人拍摄装置来控制视频捕获的方法的流程图。
根据本公开的实施例，电子装置400可通过分析视频的帧图像的构图来产生拍摄信息。
参照图26，在步骤2611，电子装置选择视频的第一图像(例如，视频的第一帧图像)。在步骤2613，电子装置识别第一图像中的对象。对象可以是图像中的人、物或者人和物两者。
当提取对象时，电子装置在步骤2615提取图像中的对象信息。可从图像中提取一个对象或者两个或更多个对象。对象可包括两个人或一个人和一个物(例如，地平线、太阳等)。图像中的对象可包括作为主要被摄体的人和作为次要被摄体的背景。当识别多个对象时，电子装置可提取每个对象的信息。至少一个提取的对象信息可包括图像中的相应对象的尺寸信息和对象位置信息。
在步骤2617，电子装置产生包括对象信息的图像的构图信息。构图信息可以是包括对象的图像的构图信息。例如，人的构图信息可包括图像中的对象位置尺寸，并且还可包括除了对象之外的背景指数(例如，地平线、太阳等)。
在步骤2619，电子装置确定图像是否是视频的最后一个帧图像。当确定不是最后一个图像时，电子装置在步骤2621选择下一个图像，并且在步骤2613至2619计算选择的下一个图像的构图信息。
在步骤2619产生视频的最后一个帧图像的构图信息之后，电子装置基于构图信息产生拍摄信息。在步骤2623，电子装置通过通信单元与无人拍摄装置无线连接，并通过无线连接发送拍摄信息。
在基于拍摄信息捕获图像之后，无人拍摄装置可将捕获的图像发送到电子装置。在步骤2625，电子装置接收捕获的图像(例如，视频)。在步骤2627，电子装置在显示器450上显示接收的图像，或将接收的图像存储在存储单元410中。根据本公开的实施例，电子装置可将捕获的图像发送到互联网或云网络。
图27是根据本公开的实施例的用于使用无人拍摄装置捕获视频的方法的流程图。
参照图27，无人拍摄装置可基于拍摄信息捕获视频。拍摄信息可包括视频的帧图像中的对象信息。对象信息可包括图像中的整个或部分被摄体。根据本公开的实施例，当从电子装置接收到视频拍摄信息时，无人拍摄装置可进入拍摄模式。在拍摄模式中，无人拍摄装置可基于接收的拍摄信息来捕获视频。在拍摄模式中，无人拍摄装置可基于接收到的拍摄信息来自动地捕获视频。可在电子装置的控制下或通过无人拍摄装置的外部按钮进入拍摄模式。
在视频捕获模式中，无人拍摄装置在步骤2711分析视频拍摄信息的第一图像的目标构图信息。当无人拍摄装置是UAV时，无人拍摄装置在步骤2713起飞并悬停来发现对象。悬停的无人拍摄装置可识别对象以自动捕获。无人拍摄装置可确认将要创建的视频的第一图像的构图，自动起飞(例如，垂直起飞)并搜索对象。当识别到对象时，无人拍摄装置可悬停并检查构图。在步骤2715，无人拍摄装置移动。
在步骤2717，无人拍摄装置通过相机模块560捕获图像，并通过检查捕获的图像中的对象来计算拍摄构图。在步骤2719，无人拍摄装置分析拍摄构图是否与目标构图相匹配。当在步骤2719，由相机模块560拍摄的图像的拍摄构图与目标构图不匹配时，无人拍摄装置在步骤2721根据分析来产生移动控制信号，并且在步骤2715基于移动控制信号自主飞行。
当在步骤2719当拍摄构图与目标构图匹配时，无人拍摄装置在步骤2725捕获图像。在步骤2727，无人拍摄装置确定捕获的图像是否是视频的最后一个帧图像。当确定不是最后一个图像时，无人拍摄装置在步骤2729设置下一个图像的目标构图，并在步骤2715移动。
当捕获视频时，无人拍摄装置可将从电子装置接收的针对视频的每个捕获的图像帧的目标构图信息与由相机模块拍摄的视频的图像进行比较和分析，当由相机模块拍摄的视频的帧图像与目标构图信息匹配时，捕获和存储相应的图像，并移动来捕获下一个帧图像。通过重复这样的操作，无人拍摄装置可基于针对每个捕获的图像帧的目标构图信息来捕获图像。
当在步骤2727捕获了视频的最后一个帧图像时，无人拍摄装置在步骤2731移动到原始位置(例如，针对视频捕获的起飞位置)并在步骤2733在原始位置着陆。
图28是根据本公开的实施例的用于使用电子装置和无拍摄装置进行视频捕获的方法的流程图。
参考图28，电子装置2800在步骤2811输入将通过无人拍摄装置2850(无人机)捕获的视频。视频可被存储在电子装置2800中、由相机单元捕获、通过互联网下载或直接从用户输入。
在选择视频之后，电子装置2800在步骤2813向无人拍摄装置2850发出起飞命令。在步骤2815，电子装置2800提取视频的帧图像的构图信息(特征点)。构图信息可包括图像比率、对象指数(例如，人的身体指数、背景对象的背景指数)、视角和拍摄时间。
电子装置2800在步骤2817计算针对每个拍摄时间的图像(例如，每个捕获的图像帧)的目标构图，并且在步骤2821将目标构图信息发送到无人拍摄装置2850。当在步骤2813不发送起飞命令时，电子装置2800在步骤2821还发送视频捕获命令(例如，起飞命令)。
当在步骤2821从电子装置2800接收到目标构图信息和起飞命令时，无人拍摄装置2850在步骤2861起飞并在步骤2863保持其移动姿态。无人拍摄装置2850可悬停并识别对象。在步骤2865，无人拍摄装置2850移动到视频的第一图像的拍摄构图位置，并通过相机模块捕获图像。在步骤2881，无人拍摄装置2850将捕获的图像发送到电子装置2800。作为流媒体图像的被发送的图像可以是预览图像。
在步骤2867，无人拍摄装置2850获得在移动中拍摄的图像的构图信息。从由无人拍摄装置2850拍摄的图像获得的构图信息可包括图像比率、对象指数(例如，身体指数、背景指数)和视角。
在步骤2869，无人拍摄装置2850对获得的构图信息和从电子装置2800接收的针对每个捕获的图像帧的图像构图信息进行比较并分析。无人拍摄装置2850在步骤2871基于构图信息的比较来产生用于移动到目标构图的移动控制信号，并且在步骤2873基于移动控制信号进行移动。
当移动到目标构图位置时，无人拍摄装置2850在步骤2875捕获(记录)图像。在步骤2875，无人拍摄装置2850移动到第一图像的目标构图位置，并基于第一图像的目标构图来捕获视频的第一图像。接下来，无人拍摄装置2850在步骤2877基于每个捕获的图像帧的下一个图像的目标构图来捕获图像，并且移动到与该目标构图信息相应的位置。
当移动到视频的第一图像位置时，无人拍摄装置2850捕获第一图像。当针对每个捕获的图像帧的目标构图相匹配时，无人拍摄装置2850可捕获图像。当捕获了视频的最后一个图像时，无人拍摄装置2850在步骤2883终止视频捕获，并将捕获的视频发送到电子装置2800。在步骤2879，无人拍摄装置2850在原始位置着陆。
当在步骤2883从无人拍摄装置2850接收视频时，电子装置2800在步骤2825存储和/或显示接收的视频。在步骤2831，电子装置2800根据用户请求将接收的视频发送到互联网和/或云网络。
电子装置2800和无人拍摄装置2850可使用先前捕获的视频来捕获具有相同构图的视频。不是专业飞行员的普通用户可能会遇到使用无人拍摄装置2850捕获具有高质量构图的视频的困难。根据本公开的实施例，不熟悉该控制的普通用户可使用无人拍摄装置2850捕获具有专业飞行员的构图的视频。
用户可将他/她的期望的构图的视频输入到电子装置2800。电子装置2800可计算输入视频的每个捕获的图像帧的构图或者可计算输入视频中的按照时间间隔(例如，1/30秒、1/10秒、1/5秒、1秒)选择的图像帧的构图，并将计算的目标构图和拍摄时间发送到无人拍摄装置2850。无人拍摄装置2850可通过对输入的目标构图与其自身拍摄的视频的构图信息进行比较而自主地飞行，并且当在自主飞行期间目标构图与捕获的图像的构图相匹配时，无人拍摄装置2850捕获相应的图像。当捕获了输入视频的最后一个图像(例如，视频的目标时间)时，无人拍摄装置2850可终止视频捕获，将捕获的视频发送到电子装置2800并着陆。
图29A、29B和29C是根据本公开的实施例的使用无人拍摄装置进行视频捕获的示图。
在图29A中，无人机拍摄装置是无人机，无人机是四旋翼机。如图29A所示，无人机包括如图7所示构成的主板2900、螺旋桨2910至2940，主相机2960和深度相机(例如，第一深度相机2970、第二深度相机2975)。主相机2960可设置在无人拍摄装置的下方，并且第一深度相机2970和第二深度相机2975可设置在主相机2960的两侧。第一深度相机2970和第二深度相机2975可包括立体深度相机。
参照图29B，主相机2960可捕获对象，并且第一深度相机2970和第二深度相机2975可从对象获取3D坐标(位置)信息。无人拍摄装置可基于由深度相机2970和2975获取的对象的3D坐标(位置)信息来产生拍摄构图的移动控制信号，并且通过主相机2960在目标构图位置处捕获图像。
参照图29C，主相机2960可捕获被摄体图像2980，并且深度相机2970和2975可获取被摄体的深度图像2985(或深度信息)。无人拍摄装置可基于主相机2960拍摄的被摄体图像2980来计算远距离的背景构图。远距离的背景构图可包括图像中的诸如地平线的地理特征、结构或树。无人拍摄装置可基于由深度相机2970和2975获取的被摄体深度信息2985来计算主被摄体的特定的近距离构图。特定的近距离构图可包括被摄体的尺寸、位置、距离和高度。
无人拍摄装置可基于对象尺寸来控制距离移动，基于对象的尺寸变化来控制移动速度，基于对象的垂直坐标来控制高度移动，并基于对象的水平坐标来控制水平和方位角移动。对于背景对象，无人拍摄装置可基于水平背景(例如，地平线)来控制高度移动，并且根据背景对象的垂直和水平位置来控制水平和方位角移动。
图30是根据本公开的实施例的包括深度相机的无人拍摄装置的框图。
参照图30，根据本公开的实施例，无人拍摄装置包括处理器3000、移动控制模块3010、移动模块3020、传感器模块3030、存储器模块3040、通信模块3050、主相机3060、第一相机3070和第二相机3075。
处理器3000可处理用于控制无人拍摄装置的一个或更多个其他组件和/或应用执行的操作或数据。处理器3000可通过对从电子装置接收的包括3D构图坐标信息的拍摄信息与捕获的3D图像进行比较和分析来控制视频捕获。当设置了3D构图信息时，处理器3000可通过控制移动控制模块3010来移动无人拍摄装置(例如，自主地飞行UAV)。当无人拍摄装置移动到由针对每个捕获的图像帧确定的3D位置时，处理器3000可捕获图像。当拍摄结束时，处理器3000可控制无人拍摄装置返回其原始位置。处理器3000可将包括捕获的图像的拍摄信息和图像拍摄信息发送到电子装置。
移动控制模块3010可使用无人拍摄装置的位置和姿势信息来控制无人拍摄装置的移动。移动控制模块3010可控制无人拍摄装置的飞行和姿态。移动控制模块3010可通过通信模块3050的GPS模块和传感器模块3030获得无人拍摄装置的姿态信息和/或位置信息。
移动模块3020可在移动控制模块3010的控制下使无人拍摄装置移动。当无人拍摄装置是无人机时，移动模块3020可包括分别与螺旋桨相应的电机。
传感器模块3030可包括用于控制无人拍摄装置的姿态的传感器。用于计算无人拍摄装置的姿态的传感器可包括陀螺仪传感器和加速度传感器。为了计算方位角并防止陀螺传感器的漂移，传感器模块3030可组合地磁传感器/罗盘传感器的输出。
存储器模块3040可存储构图信息的多个实例。构图信息可包括被摄体类型信息、图像分辨率或尺寸(XY比)信息、关于被摄体位置、尺寸和方向的构图信息以及构图区域信息。存储器模块3040可存储从电子装置接收的拍摄信息。拍摄信息可包括用于自动拍摄的目标构图信息和/或相机控制信息。目标构图信息可包括图像中的对象尺寸和位置信息。
通信模块3050可从电子装置接收包括视频的目标构图信息的拍摄信息。根据本公开的实施例，通信模块3050可将由无人拍摄装置拍摄的图像和拍摄信息发送到电子装置。
主相机3060可基于处理器3000的控制来捕获与针对每个捕获的图像帧的拍摄构图位置相应的帧图像。
第一相机3070和第二相机3075可用作立体深度相机，并且可置于主相机3060的两侧，如图29A所示。第一相机3070和第二相机3075可获取对象的深度信息，并且处理器3000可基于由第一相机3070和第二相机3075获取的深度信息来计算捕获的图像的构图信息。
处理器3000可包括构图计算器3003、控制信号产生器3005和图像信号处理器3007。存储器模块3040可包括用于基于第一相机3070和第二相机3075的信息来捕获视频图像的指令。处理器3000可基于指令来计算用于视频捕获的构图信息，并且在目标构图位置处捕获图像。
构图计算器3003可基于由第一相机3070和第二相机3075获取的深度信息来计算由主相机3060拍摄的图像的3D位置信息。
控制信号产生器3005可通过对从电子装置接收的目标构图的3D构图信息与计算的3D位置信息进行比较和分析来产生无人拍摄装置的移动控制信号。移动控制模块3010可通过根据由处理器3000产生的移动控制信号来控制移动模块3020以移动无人拍摄装置。当捕获的图像的拍摄构图与目标构图匹配时，处理器3000可使用主相机3060来捕获图像。
根据本公开的实施例，当基于视频产生目标构图信息时，电子装置可基于图像来产生包括被摄体的远距离背景构图和近距离详细构图信息的目标构图信息。无人拍摄装置可使用主相机3060和第一相机3070和第二相机3075来产生被摄体的远距离背景构图和近距离详细构图信息。
在无人拍摄装置的操作中，处理器3000可基于由主相机3060拍摄的图像和由作为深度相机的第一相机3070和第二相机3075拍摄的图像来计算目标构图。主相机3060可产生被摄体的图像(例如，2D图像)。第一相机3070和第二相机3075可获得被摄体的深度信息。构图计算器3003可基于由主相机3060拍摄的被摄体图像来计算远距离背景构图，并且基于由第一相机3070和第二相机3075获取的被摄体深度信息来计算主对象的近距离详细构图。控制信号产生器3005可通过对从电子装置接收的目标构图信息与计算的被摄体的远距离背景构图和近距离详细构图信息进行比较和分析来产生无人拍摄装置的移动控制信号。
移动控制模块3010可通过根据移动控制信号控制移动模块3020来移动无人拍摄装置。当拍摄构图与目标构图相匹配时，处理器3000可捕获由主相机3060拍摄的图像。
图31是根据本公开的实施例的基于电子装置和无人拍摄装置中的3D位置信息进行视频捕获的示图。
参照图31，电子装置3100可获得视频中的帧图像110的目标构图信息3115。帧图像3110可以是3D图像。帧图像3110可包括位于第一平面(例如，X平面)3111、第二平面(例如，Y平面)3112和第三平面(例如，Z平面)3113上的对象3115。对象3115可由3D坐标表示。
当产生帧图像3110的构图信息时，电子装置3100可包括对象3115的3D坐标值以及关于对象3115、第一平面3111、第二平面3112和第三平面3113的信息。关于第一平面3111、第二平面3112和第三平面3113的信息可包括背景对象信息。当主要对象是对象3115并且背景是地平线时，电子装置3100可包括关于对象3115的身体指数的3D位置信息和地平面(例如，第一平面和/或第二平面)的位置信息。
电子装置3100可计算视频中的在间隔处的帧图像的包括对象和背景(例如，平面信息)的3D位置信息的目标构图信息3120。该间隔可以是每个帧。电子装置3100可计算视频的全部帧图像的3D目标构图，并且通过通信单元420将计算的针对每个捕获的图像帧的目标构图信息3120发送到无人拍摄装置3150。
无人拍摄装置3150可通过通信单元550从电子装置3100接收针对每个捕获的图像帧的目标构图信息3120。当接收到用户输入、电子装置3100的命令、针对每个捕获的图像帧的目标构图信息3165时，无人拍摄装置3150可进入视频拍摄模式。在视频拍摄模式中，无人拍摄装置3150的主相机可捕获包括对象的图像3161，并且第一相机和第二相机可获取对象的深度信息3163。无人拍摄装置3150可从深度信息3163计算图像的3D构图信息3167，并通过将计算的3D构图信息3167与由电子装置3100计算的目标构图信息3165进行比较和分析来产生无人拍摄装置3150的移动控制信号。当计算的3D构图信息3167与由电子装置3100计算的目标构图信息3165相匹配时，无人拍摄装置3150可捕获并存储由主相机拍摄的图像3161。
图32是根据本公开的实施例的用于在无人拍摄装置中捕获视频的方法的流程图。
根据本公开的实施例，无人拍摄装置可基于包括3D目标构图信息的拍摄信息来捕获视频。拍摄信息可包括视频的帧图像中的对象信息。对象信息可包括图像中的全部或部分被摄体。对象信息可包括主要对象和/或至少一个背景对象信息。主要对象可包括人(或动物)或物(例如，结构、树、车辆等)。背景对象可包括山、河、地平线、建筑物、太阳等。背景对象可包括特定平面。背景对象可包括X平面、Y平面和Z平面的至少一个平面信息。
当从电子装置接收视频拍摄信息时，无人拍摄装置可基于接收的视频拍摄信息来自动执行视频拍摄操作。视频可由用户通过电子装置或通过无人拍摄装置来创建。
参照图32，在视频拍摄模式中，无人拍摄装置在步骤3211通过检查视频拍摄信息的第一图像的目标构图信息来确定将要移动到的位置。目标构图信息可以是3D信息，并且包括主要对象和/或背景对象的位置和构图信息。在视频捕获模式中，无人拍摄装置可自主地从当前位置飞行到第一图像的目标构图的位置。
在检查了第一图像的目标构图信息之后，无人拍摄装置可开始移动。当无人拍摄装置是UAV时，在步骤3213，无人拍摄装置起飞并悬停以发现对象。悬停的无人拍摄装置可识别由相机模块拍摄的图像中的对象。无人拍摄装置可确认将要创建的视频的第一图像的构图，自动起飞(例如，垂直起飞)并搜索对象。当识别出对象时，无人拍摄装置可悬停并检查构图。在步骤3215，无人拍摄装置移动。
在步骤3217，正在移动的无人拍摄装置基于由深度相机拍摄的图像的深度信息来计算对象的3D构图信息(例如，拍摄构图)。在步骤3219，无人拍摄装置将计算的构图信息与目标构图进行比较和分析。可从电子装置接收目标构图信息。
当在步骤3219由相机模块560拍摄的图像不是目标构图时，无人拍摄装置在步骤3221根据所述分析产生用于移动到目标构图信息的位置处的移动控制信号。接下来，无人拍摄装置在步骤3215基于移动控制信号自主地飞行。
当在步骤3219当前视频的帧图像的构图信息与目标构图信息(或满足预设条件的相似构图)匹配时，在步骤3225，无人拍摄装置捕获由主相机3060拍摄的图像。在步骤3227，无人拍摄装置确定捕获的图像是否是视频的最后一个帧图像。当确定不是最后一个图像时，无人拍摄装置在步骤3229设置下一个图像的目标构图，并返回到步骤3215。
当捕获视频时，正在移动的无人拍摄装置可基于深度相机的深度信息来计算拍摄的图像(例如，图像中的主要对象和/或背景对象)的3D构图信息。无人拍摄装置可对计算的3D构图信息和从电子装置接收的目标构图信息进行比较并分析，产生用于向目标构图的位置移动的移动控制信号，并根据产生的移动控制信号移动。当计算出与目标构图的图像匹配的构图信息时，无人拍摄装置可捕获并存储由主相机拍摄的图像。当目标构图信息按照帧间隔被设置时，无人拍摄装置可重复上述操作并通过捕获和存储与目标构图相匹配的帧图像来创建视频。
通过重复这样的操作，无人拍摄装置可基于针对每个捕获的图像帧的目标构图信息来捕获图像。当在步骤3227识别到视频的最后一个帧图像时，无人拍摄装置在步骤3231移动到其原始位置(例如，视频捕获的起飞位置)，并且在步骤3233在原始位置着陆。
根据本公开的实施例，无人拍摄装置可基于图像和图像深度信息来计算捕获的图像的构图。当在步骤3215移动时，无人拍摄装置可通过主相机3060捕获图像，并且通过第一相机3070和第二相机3075获得图像中的被摄体的深度信息。无人拍摄装置可在步骤3217基于通过主相机3260拍摄的图像来计算远距离背景构图，并基于由第一相机3070和第二相机3075获得的被摄体深度信息计算被摄体的近距离详细构图。
在步骤3219，无人拍摄装置将计算的构图信息与目标构图信息进行比较和分析。当计算的构图信息与目标构图信息不匹配时，无人拍摄装置在步骤3221产生用于移动到目标构图信息的位置的移动控制信号，并且在步骤3215基于移动控制信号自主飞行。
当在步骤3219，获得的图像构图信息与目标构图信息(或满足预设条件的相似构图)匹配时，在步骤3225，无人拍摄装置捕获由主相机拍摄的图像。当在步骤3227，捕获的图像不是最后一个帧图像时，无人拍摄装置在步骤3229设置下一个图像的目标构图，并返回到步骤3217。当在步骤3227识别出捕获的图像是最后一个图像时，无人拍摄装置完成视频捕获。
根据本公开的实施例的用于操作无人拍摄装置的方法包括：使用通信装置与包括显示器的外部电子装置建立无线连接；通过无线连接在第一3D位置处从外部电子装置接收第一信号，其中，第一信号包括与包括第一对象的第一图像相关的数据；基于所述数据中的至少一部分以及第一3D位置来确定第二3D位置；控制无人拍摄装置飞行到第二3D位置处或附近；使用相机跟踪与第一对象相应的第二对象；在第二3D位置处或附近捕获包括第二对象的第二图像，使得第二图像与第一图像相应；并通过无线连接将第二图像发送到外部电子装置。
通过对第一3D位置信息和第二3D位置信息进行比较而计算出的控制命令来执行控制无人拍摄装置的飞行的操作。所述数据包括第一图像的构图。所述数据包括第一图像中的第一对象的相对位置。第一对象包括人的面部。由处理器执行的指令使得无人拍摄装置基于所述数据中的至少一部分数据来改变相机的方向。
外部电子装置使用通信装置与无人拍摄装置建立无线连接，通过无线连接将目标构图数据发送到无人拍摄装置，并通过无线连接从无人拍摄装置接收第二图像，其中，目标构图数据包括包含对象的第一图像的数据。
发送目标构图数据的步骤包括：识别第一图像的选择，基于选择的第一图像的分析来识别对象，提取识别的对象的对象信息，以及基于对象信息产生目标构图数据。
目标构图数据包括第一图像中的对象的位置和尺寸。目标构图数据还包括特征点。
如上所述，根据本公开的实施例，为了使用UAV拍摄图片，无人拍摄装置与移动通信装置的应用相关联地自动捕获期望构图的图像。为了使用UAV拍摄图片，当用户通过电子装置来设置并发送将要捕获的图像或构图而不直接控制UAV时，UAV设置拍摄构图，自主飞行，按照设置的构图自动拍摄图片，然后返回到UAV的原始位置。无人拍摄装置提供直观和容易的拍摄功能。
虽然已经参照本公开的特定示例性实施例来展示和描述了本公开，但是本领域技术人员将理解，在不脱离通过权利要求及其等同物所定义的本公开的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (15)

1.一种无人拍摄装置包括：
壳体；
导航装置，附接到壳体或与壳体集成，并被配置为使电子装置飞行到三维(3D)位置；
至少一个无线通信装置；
相机，附接到壳体或与壳体集成；
处理器，与导航装置、所述至少一个无线通信装置和相机电连接；
存储器，与处理器电连接并存储指令，其中，当所述指令被执行时，所述指令使处理器执行以下操作：
使用所述至少一个无线通信装置与外部电子装置建立无线连接，
通过无线连接在第一3D位置处从所述外部电子装置接收第一信号，其中，第一信号包括与包括第一对象的第一图像相关的数据，
基于所述数据中的至少一部分数据以及第一3D位置确定第二3D位置，
控制导航装置使电子装置飞行到第二3D位置或第二3D位置附近，
使用相机跟踪与第一对象相应的第二对象，
在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像使得第二图像与第一图像相应，
通过无线连接将第二图像发送到所述外部电子装置。
2.如权利要求1所述的无人拍摄装置，其中，导航装置包括：
至少一个螺旋桨；
控制器,用于控制所述至少一个螺旋桨。
3.如权利要求1所述的无人拍摄装置，其中，所述数据包括：第一图像的构图。
4.如权利要求3所述的无人拍摄装置，其中，所述数据还包括：第一图像中的第一对象的相对位置，并且其中，第一对象包括人的面部。
5.如权利要求1所述的无人拍摄装置，其中，所述指令使处理器基于所述数据的至少一部分数据来改变相机的方向。
6.一种电子装置包括：
壳体；
至少一个无线通信装置；
相机,附接到壳体或与壳体集成；
显示器；
处理器,与所述至少一个通信装置和相机电连接；
存储器,与处理器电连接并存储指令，其中，当所述指令被执行时，所述指令使处理器执行以下操作：
使用所述至少一个无线通信装置与无人拍摄装置建立无线连接，
通过无线连接将第一信号发送到无人拍摄装置，其中，第一信号包括与包括第一对象的第一图像相关的数据，
通过无线连接从无人拍摄装置接收第二图像。
7.如权利要求6所述的电子装置，其中，所述数据包括第一图像的构图。
8.如权利要求7所述的电子装置，其中，所述数据还包括第一图像中的第一对象的相对位置，并且其中，第一对象包括人的面部。
9.一种用于操作无人拍摄装置的方法，包括：
使用通信装置与外部电子装置建立无线连接；
通过无线连接在第一三维(3D)位置处从所述外部电子装置接收第一信号，其中，第一信号包括与包括第一对象的第一图像相关的数据；
基于所述数据中的至少一部分数据以及第一3D位置来确定第二3D位置；
控制无人拍摄装置飞行到第二3D位置或第二3D位置附近；
使用相机跟踪与第一对象相应的第二对象；
在第二3D位置处或第二3D位置附近捕获包括第二对象的第二图像使得第二图像与第一图像相应；
通过无线连接将第二图像发送到外部电子装置。
10.如权利要求9所述的方法，其中，控制无人拍摄装置飞行的操作是通过基于对第一3D位置信息和第二3D位置信息进行比较而计算出的控制指令来执行的。
11.如权利要求9所述的方法，其中，所述数据包括第一图像的构图，并且其中，所述数据还包括第一图像中第一对象的相对位置。
12.如权利要求9所述的方法，还包括：基于所述数据中的至少一部分数据来改变相机的方向。
13.如权利要求9所述的方法，还包括：
通过无线连接将目标构图数据发送到无人拍摄装置，其中，所述目标构图数据包括包含对象的第一图像的数据；
通过无线连接从无人拍摄装置接收第二图像。
14.如权利要求13所述的方法，其中，发送目标构图数据的步骤包括：
识别第一图像的选择；
基于选择的第一图像识别对象；
提取识别的对象的对象信息；
基于对象信息产生目标构图数据。
15.如权利要求14所述的方法，其中，目标构图数据包括第一图像中的对象的位置和尺寸，并且其中，目标构图数据还包括特征点。
CN201710407624.9A 2016-06-02 2017-06-02 电子设备及其操作方法 Pending CN107463180A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160068647A KR20170136750A (ko) 2016-06-02 2016-06-02 전자 장치 및 그의 동작 방법
KR10-2016-0068647 2016-06-02

Publications (1)

Publication Number Publication Date
CN107463180A true CN107463180A (zh) 2017-12-12

Family

ID=60483750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710407624.9A Pending CN107463180A (zh) 2016-06-02 2017-06-02 电子设备及其操作方法

Country Status (3)

Country Link
US (1) US10635902B2 (zh)
KR (1) KR20170136750A (zh)
CN (1) CN107463180A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225238A (zh) * 2018-03-01 2019-09-10 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒体
WO2020042980A1 (zh) * 2018-08-29 2020-03-05 深圳市大疆创新科技有限公司 信息处理装置、拍摄控制方法、程序以及记录介质
CN112567201A (zh) * 2018-08-21 2021-03-26 深圳市大疆创新科技有限公司 距离测量方法以及设备
CN113014796A (zh) * 2019-12-20 2021-06-22 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
US11445121B2 (en) 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
CN115244592A (zh) * 2020-03-09 2022-10-25 三菱电机大楼技术服务株式会社 水表抄表装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209972B2 (en) * 2015-09-02 2021-12-28 D&M Holdings, Inc. Combined tablet screen drag-and-drop interface
US11113022B2 (en) 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
DE102016206982B4 (de) * 2016-04-25 2022-02-10 Siemens Aktiengesellschaft Flugmobil zum Scannen eines Objekts und System zur Schadensanalyse des Objekts
WO2017210547A1 (en) * 2016-06-03 2017-12-07 Wal-Mart Stores, Inc. Unmanned aerial vehicle apparatus and method
WO2018006376A1 (en) * 2016-07-07 2018-01-11 SZ DJI Technology Co., Ltd. Method and system for controlling a movable object using machine-readable code
CN106328059B (zh) * 2016-09-07 2017-10-27 京东方科技集团股份有限公司 用于电学补偿的存储器中数据更新的方法和装置
CN209803578U (zh) * 2016-10-18 2019-12-17 智动航科有限公司 地面站、无人驾驶飞行器系统和片上系统电路
CN106331508B (zh) * 2016-10-19 2020-04-03 深圳市道通智能航空技术有限公司 拍摄构图的方法及装置
KR101765235B1 (ko) * 2016-11-28 2017-08-04 한국건설기술연구원 사물인터넷 기반 센서와 무인비행체를 이용한 시설물 유지관리 시스템 및 그 방법
US10586465B2 (en) * 2016-12-14 2020-03-10 International Business Machines Corporation Determination of a change in atmospheric pressure based on radio frequency return signal
US10067504B1 (en) * 2017-02-14 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd. Aerial device and method for controlling the aerial device
JP6841938B2 (ja) * 2017-06-23 2021-03-10 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． ディスプレイでのプライバシー制御
US11765315B2 (en) * 2017-08-08 2023-09-19 Nec Corporation Flying body control apparatus, flying body control method, and flying body control program
US10491824B2 (en) * 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
US20190041856A1 (en) * 2017-11-07 2019-02-07 Intel IP Corporation Methods and apparatus to capture tomograms of structures using unmanned aerial vehicles
WO2019119434A1 (zh) * 2017-12-22 2019-06-27 深圳市大疆创新科技有限公司 信息处理方法、无人机、遥控设备以及非易失性存储介质
EP3531375B1 (en) * 2017-12-25 2021-08-18 Autel Robotics Co., Ltd. Method and apparatus for measuring distance, and unmanned aerial vehicle
US11048257B2 (en) * 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
US10475306B1 (en) * 2018-04-24 2019-11-12 International Business Machines Corporation Preventing anonymous theft by drones
US11017585B1 (en) * 2018-06-11 2021-05-25 Facebook, Inc. Systems and methods for capturing image data for recreation in a virtual environment
US11583997B2 (en) * 2018-09-20 2023-02-21 Sony Group Corporation Autonomous robot
CN110659376A (zh) * 2019-08-14 2020-01-07 浙江大华技术股份有限公司 图片查找方法、装置、计算机设备和存储介质
JP2021100238A (ja) * 2019-12-20 2021-07-01 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
KR102416330B1 (ko) * 2020-04-22 2022-07-04 주식회사 공간정보 드론시스템을 이용한 원격 좌표측정 시스템
WO2022195342A1 (en) * 2021-03-19 2022-09-22 Lui Ying Lun Imaging device and system, method of capturing images and computer readable storage medium
KR102598880B1 (ko) * 2022-11-16 2023-11-06 한화시스템 주식회사 무인항공기체계 지상안테나 점검장치 및 점검방법
JP7341565B1 (ja) 2022-12-20 2023-09-11 株式会社amuse oneself 飛行体及び制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731599A (zh) * 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 拍照方法及相机
US20140316616A1 (en) * 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
CN105391939A (zh) * 2015-11-04 2016-03-09 腾讯科技（深圳）有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机
CN105438488A (zh) * 2014-09-30 2016-03-30 深圳市大疆创新科技有限公司 飞行器及其控制方法以及飞行器系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
KR101469246B1 (ko) 2007-08-07 2014-12-12 삼성전자주식회사 로봇에서 사진 촬영하는 장치 및 방법
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
TW201249713A (en) 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
KR20150097274A (ko) 2014-02-18 2015-08-26 홍익대학교 산학협력단 자주식 공간이동 카메라를 이용한 피사체 추종 촬영 시스템 및 방법
CN107168352B (zh) 2014-07-30 2020-07-14 深圳市大疆创新科技有限公司 目标追踪系统及方法
US10489407B2 (en) * 2014-09-19 2019-11-26 Ebay Inc. Dynamic modifications of results for search interfaces
WO2016108220A1 (en) * 2014-12-29 2016-07-07 Klein Hagay Improved visual monitoring on smartphone screen
TWI557526B (zh) * 2015-12-18 2016-11-11 林其禹 自拍無人飛機系統及其執行方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731599A (zh) * 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 拍照方法及相机
US20140316616A1 (en) * 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
CN105438488A (zh) * 2014-09-30 2016-03-30 深圳市大疆创新科技有限公司 飞行器及其控制方法以及飞行器系统
CN105391939A (zh) * 2015-11-04 2016-03-09 腾讯科技（深圳）有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225238A (zh) * 2018-03-01 2019-09-10 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒体
US10915781B2 (en) 2018-03-01 2021-02-09 Htc Corporation Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
CN110225238B (zh) * 2018-03-01 2021-06-01 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒介质
CN112567201A (zh) * 2018-08-21 2021-03-26 深圳市大疆创新科技有限公司 距离测量方法以及设备
CN112567201B (zh) * 2018-08-21 2024-04-16 深圳市大疆创新科技有限公司 距离测量方法以及设备
WO2020042980A1 (zh) * 2018-08-29 2020-03-05 深圳市大疆创新科技有限公司 信息处理装置、拍摄控制方法、程序以及记录介质
CN111213107A (zh) * 2018-08-29 2020-05-29 深圳市大疆创新科技有限公司 信息处理装置、拍摄控制方法、程序以及记录介质
CN111213107B (zh) * 2018-08-29 2022-08-16 深圳市大疆创新科技有限公司 信息处理装置、拍摄控制方法、程序以及记录介质
CN113014796A (zh) * 2019-12-20 2021-06-22 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN113014796B (zh) * 2019-12-20 2023-11-03 佳能株式会社 图像处理设备、摄像设备、图像处理方法和存储介质
CN115244592A (zh) * 2020-03-09 2022-10-25 三菱电机大楼技术服务株式会社 水表抄表装置
US11445121B2 (en) 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method

Also Published As

Publication number Publication date
US20170351900A1 (en) 2017-12-07
KR20170136750A (ko) 2017-12-12
US10635902B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
CN107463180A (zh) 电子设备及其操作方法
US20170293297A1 (en) Electronic apparatus and operating method thereof
CN107105130B (zh) 电子设备及其操作方法
US10917552B2 (en) Photographing method using external electronic device and electronic device supporting the same
KR102423184B1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
CN110476189B (zh) 用于在电子装置中提供增强现实功能的方法和设备
CN108279694B (zh) 电子设备及其控制方法
US10809710B2 (en) Method for controlling unmanned aerial vehicle and electronic device for controlling unmanned aerial vehicle
CN107040698A (zh) 无人图像捕获装置的图像捕获方法和支持其的电子装置
EP3330178B1 (en) Control device and method for unmanned arial photography vehicle
KR20170085317A (ko) 디스플레이 제어 방법 및 이를 사용하는 전자 장치
KR20160144851A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN108292311A (zh) 用于处理元数据的设备和方法
KR20170055213A (ko) 비행이 가능한 전자 장치를 이용한 촬영 방법 및 장치
CN110326033A (zh) 用于控制无人驾驶飞行器的电子装置及操作该电子装置的方法
KR102508663B1 (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法
CN108351743B (zh) 内容显示方法和用于实现该方法的电子设备
CN108293108A (zh) 用于显示并生成全景图像的电子装置和方法
KR102653336B1 (ko) 전자 장치 및 그 제어 방법
CN108628340A (zh) 基于外部对象的移动确定移动位置的方法及电子设备
US20230260127A1 (en) Interactively defining an object segmentation
US20230351627A1 (en) Automatically cropping of landscape videos
US20230350431A1 (en) Fully autonomous drone flights
US20230350427A1 (en) Landing an autonomous drone with gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171212

WD01 Invention patent application deemed withdrawn after publication