CN106550182B - 共享式无人机观景系统 - Google Patents

共享式无人机观景系统 Download PDF

Info

Publication number
CN106550182B
CN106550182B CN201710018345.3A CN201710018345A CN106550182B CN 106550182 B CN106550182 B CN 106550182B CN 201710018345 A CN201710018345 A CN 201710018345A CN 106550182 B CN106550182 B CN 106550182B
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710018345.3A
Other languages
English (en)
Other versions
CN106550182A (zh
Inventor
朱磊
韩琦
李建英
杨晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yispace Technology Co ltd
Original Assignee
Qingdao Yispace Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yispace Technology Co ltd filed Critical Qingdao Yispace Technology Co ltd
Priority to CN201710018345.3A priority Critical patent/CN106550182B/zh
Publication of CN106550182A publication Critical patent/CN106550182A/zh
Application granted granted Critical
Publication of CN106550182B publication Critical patent/CN106550182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Abstract

本发明提供了一种共享式无人机观景系统，支持多用户自主选择观景角度。该系统包括无人机端、基站端和用户端，无人机端包括无人机和设置在无人机上的图像/视频采集设备和第一无线传输模块，基站端包括存储模块和第二无线传输模块，用户端包括一个或多个用户设备，且一个或多个用户设备中的每个用户设备包括第三无线传输模块、用户交互模块和显示模块；无人机端采集图像/视频数据发送给基站端；基站端存储以上数据，并接收来自一个或多个用户设备的传输指令，从存储模块中获取与该传输指令包含的发送姿态相匹配的图像帧序列来发送给发出该传输指令的用户设备用以显示。本发明能够为用户提供一种面向游览现场的自由视角观景体验。

Description

共享式无人机观景系统
技术领域
本发明涉及信息处理技术，尤其涉及一种共享式无人机观景系统。
背景技术
随着旅游经济日益发达，旅游观光产业蓬勃发展，其中自然风景观光是最重要的一部分。自然风景的美感往往取决于观景的角度和时间，很多绝美的风景需要在极其特殊的位置和角度才能看到，正所谓“无限风光在险峰”，遗憾的是出于成本和安全的考虑，绝大多数景区的观景模式都是遵循既定路线，用户没有机会从最佳的观赏角度领略自然风景，这不失为一大遗憾。另一方面，如果能够解决用户在任意位置、视角欣赏景点风光的问题，必将大大提升用户观光的体验。
目前已有的拓展观光视角/视野的手段主要有望远镜、缆车、热气球、图片、纪录片(包括3D纪录片)、虚拟现实(VR)等，还没有一种手段能够让观光者以极低的成本达到面向游览现场的自由视角观景体验。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，本发明提供了一种共享式无人机观景系统，以至少解决现有技术无法实现景点任意视角观景的低成本、实时观看、多用户共享的问题。
根据本发明的一个方面，提供了一种共享式无人机观景系统，所述共享式无人机观景系统包括无人机端、基站端和用户端，其中，所述无人机端和所述用户端位于游览现场，所述无人机端包括无人机和设置在所述无人机上的图像/视频采集设备和第一无线传输模块，所述基站端包括存储模块和第二无线传输模块，所述用户端包括一个或多个用户设备，且所述一个或多个用户设备中的每个用户设备包括第三无线传输模块、用户交互模块和显示模块；所述无人机端用于在识别到采集指令后，通过所述图像/视频采集设备开始采集其视野内图像/视频数据，并通过所述第一无线传输模块将采集到的所述图像/视频数据实时地发送给所述基站端；其中，所述图像/视频数据包括由一个或多个广视角图像构成的广视角图像序列；所述基站端用于通过所述第二无线传输模块接收所述无人机端发来的所述图像/视频数据存储于所述存储模块中，接收来自所述一个或多个用户设备的至少一个传输指令，并针对该至少一个传输指令中的每一个，从所述存储模块中获取与该传输指令包含的发送姿态相匹配的图像帧序列来发送给发出该传输指令的用户设备；所述多个用户设备中的每个用户设备用于通过所述用户交互模块设置所需图像帧序列的发送姿态，并通过所述第三无线传输模块将包含该发送姿态的传输指令发给所述基站端，以及通过所述第三无线传输模块接收来自所述基站端的图像帧序列，并通过所述显示模块将接收到的图像帧序列显示出来。
进一步地，所述共享式无人机观景系统还包括姿态传感器和方向校正单元；所述姿态传感器设于所述无人机上，其用于在所述无人机识别到所述采集指令后采集所述无人机的姿态数据；其中，所述无人机的姿态数据包含有与所述广视角图像序列对应的取景方向信息序列；所述方向校正单元设于所述无人机端或所述基站端，其用于利用所述无人机的姿态数据对所述图像/视频数据进行方向校正，以使得所述图像/视频数据中的每个广视角图像中各像素位置的方向信息从相对方向校正为绝对方向。
进一步地，所述基站端通过如下方式从所述存储模块中获取与该传输指令包含的发送姿态相匹配的图像帧序列：判断接收的传输指令中是否包含发送时间：在该传输指令中包含发送时间的情况下，在所述存储模块存储的图像/视频数据中选择采集时间在该发送时间及该发送时间以后的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止，在该传输指令中不包含发送时间的情况下，在所述存储模块存储的图像/视频数据中选择当前存储的最后一帧广视角图像及之后将要存储的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止；针对已选择的所有候选图像中的每一帧广视角图像，利用该广视角图像各像素位置对应的方向信息，在该广视角图像中截取方向与该发送姿态对应的截图，其中，该截图的尺寸为预设值；利用所截取的所有截图按照时间顺序形成图像帧序列，作为与该传输指令包含的发送姿态相匹配的图像帧序列。
进一步地，每个用户设备的用户交互模块(3-2)包括姿态传感子模块，所述姿态传感子模块用于获取其所属用户设备的当前姿态来作为所述发送姿态。
进一步地，所述基站端还包括用户管理模块，而所述一个或多个用户设备中的每个用户设备还包括用户接入模块；其中，所述用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；所述每个用户设备的用户接入模块用于向所述基站端发送身份认证请求，并在接收到来自所述基站端的认证成功信息后与所述基站端建立数据连接。
进一步地，所述发送姿态包括：对应的用户设备中显示模块的屏幕法线方向或屏幕背面法线方向。
进一步地，所述每个用户设备的用户交互模块还用于接收用户的拍照指令，并响应于该拍照指令而将当前显示于该用户设备显示模块上的图像存储于该用户设备的本地相册中；和/或所述每个用户设备的用户交互模块还用于接收用户的录像指令，并响应于该录像指令而将当前及后续显示于该用户设备显示模块上的图像连续地存储于该用户设备的本地相册中，直至接收到用户的停止录像指令为止，以利用响应于该录像指令所存储的所有图像形成对应的录像视频。
进一步地，所述第二无线传输模块在接收到来自所述第三无线传输模块的传输指令时，判定该传输指令中是否包含已支付信息，并在该传输指令中包含已支付信息的情况下建立与该第三无线传输模块之间的数据连接。
进一步地，所述已支付信息是通过在线支付方式获得的。
进一步地，所述用户设备例如为以下之一：智能手机、平板电脑和头戴式VR系统。
本发明的共享式无人机观景系统，其提供了一种基于多媒体无线通讯和无人机平台的观景方案，该系统利用无人机平台的自由视角特点和航拍能力，实现了低成本、低风险的自由视角观景以及多用户共享，为普通用户在游览现场进行任意视角的观景提供了可行的技术方案，具有以下有益效果：
1)通过无人机上携带的诸如摄像机等图像/视频采集设备，用户可以在其用户设备上观看到用户无法到达的位置及视角的独特风景；
2)用户可以借助无人机拍摄独特位置、视角的风景或自拍照片及视频；
3)多名用户可以同时共享本系统进行观景或拍摄视频和图像；
4)本系统能够支持多用户自主选择观景角度，且支持用户设备的屏幕显示图像的取景方向匹配用户设备的屏幕朝向；
在该系统中，用户通过改变发送姿态(如改变用户设备的姿态，或通过触屏操作等设置不同的发送姿态等)能够从基站获取不同取景角度的图像帧序列(因为发送姿态不同，所以得到的与发送姿态匹配的图像帧序列也不同)，由此实现了自主选择观景角度；这样，对于多个用户的情况，基站回传给各个用户的图像帧序列也由于各用户设备的发送姿态的不同而不同，由此显示在各个用户设备上的图像也就不同，从而能够实现多个用户自主选择观景角度；
此外，通过方向校正单元进行方向校正后，能够使得显示在用户设备的显示模块屏幕上的图像帧序列中的每一帧对应的取景方向与发出该传输指令的用户设备显示模块的屏幕背面法线方向(或屏幕法线方向)一致。而且，用户还可以在屏幕背面法线方向与屏幕法线方向之间切换选择，以此实现拍摄外景和自拍两种功能之间的快速切换。
5)用户可以通过诸如手机等移动终端以电子支付的形式支付租用费、取景费；
6)景区或相关运营商等可以通过无人机和基站向更多的用户分享景点最好的观景体验。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：
图1是示意性地示出本发明的共享式无人机观景系统的一个示例的结构框图；
图2是示意性地示出本发明的共享式无人机观景系统的另一个示例的结构框图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明的实施例提供了一种共享式无人机观景系统，所述共享式无人机观景系统包括无人机端、基站端和用户端，其中，所述无人机端和所述用户端位于游览现场，所述无人机端包括无人机和设置在所述无人机上的图像/视频采集设备和第一无线传输模块，所述基站端包括存储模块和第二无线传输模块，所述用户端包括一个或多个用户设备，且所述一个或多个用户设备中的每个用户设备包括第三无线传输模块、用户交互模块和显示模块；所述无人机端用于在识别到采集指令后，通过所述图像/视频采集设备开始采集其视野内图像/视频数据，并通过所述第一无线传输模块将采集到的所述图像/视频数据实时地发送给所述基站端；其中，所述图像/视频数据包括由一个或多个广视角图像构成的广视角图像序列；所述基站端用于通过所述第二无线传输模块接收所述无人机端发来的所述图像/视频数据存储于所述存储模块中，接收来自所述一个或多个用户设备的至少一个传输指令，并针对该至少一个传输指令中的每一个，从所述存储模块中获取与该传输指令包含的发送姿态相匹配的图像帧序列来发送给发出该传输指令的用户设备；所述多个用户设备中的每个用户设备用于通过所述用户交互模块设置所需图像帧序列的发送姿态，并通过所述第三无线传输模块将包含该发送姿态的传输指令发给所述基站端，以及通过所述第三无线传输模块接收来自所述基站端的图像帧序列，并通过所述显示模块将接收到的图像帧序列显示出来。
下面，结合图1来描述本发明的共享式无人机观景系统的一个示例。
如图1所示，共享式无人机观景系统包括无人机端1、基站端2和用户端3。其中，无人机端1例如位于游览现场，用户端3也位于该游览现场。
其中，无人机端1包括无人机1-1和设置在无人机1-1上的图像/视频采集设备1-2和第一无线传输模块1-4。
基站端2包括存储模块2-1和第二无线传输模块2-2。
用户端3包括一个或多个用户设备，其中，每个用户设备包括第三无线传输模块3-1、用户交互模块3-2和显示模块3-3。其中，用户设备例如可以是智能手机、平板电脑或头戴式VR系统等终端设备。如图1所示，用户端3包括N个用户设备，N例如为1、2、3、5、10等正整数。
需要说明的是，基站端2可以是单独设置，与无人机端1和用户端3分离的，在这种情况下，基站端2例如设置在地面平台。或者，基站端2也可以是与无人机端1设置在一起的，在这种情况下，第二无线传输模块2-2和第一无线传输模块1-4例如可以采用同一个无线传输模块实现。或者，基站端2也可以是与用户端3的每个用户设备设置在一起的，在这种情况下，第二无线传输模块2-2和第三无线传输模块3-1例如可以采用同一个无线传输模块实现。
图像/视频采集设备1-2例如采用广视角摄像模块实现。图像/视频采集设备1-2识别到采集指令后开始采集其视野内在无人机1-1飞行期间的图像/视频数据。其中，图像/视频数据例如是视频数据，或是图像集数据，等等。此外，图像/视频采集设备1-2所采集的图像/视频数据包括由一个或多个广视角图像构成的广视角图像序列，广视角图像序列中的每帧广视角图像均具有该图像的采集时间。此外，在每帧广视角图像中的每个像素位置例如也可以含有该像素位置对应的方向信息(如相对方向)。其中，广视角图像各像素位置对应的相对方向是指相对于图像/视频采集设备1-2的整体朝向而言的方向，是个相对量；而图像/视频采集设备1-2是设置在无人机1-1上的，其朝向在无人机1-1飞行期间会随着无人机1-1朝向的改变而改变，但广视角图像各像素位置对应的相对方向(即，相对于图像/视频采集设备1-2的方向)是不变的。其中，广视角图像各像素位置对应的相对方向是可以利用现有技术获得的，比如，根据图像/视频采集设备1-2的朝向、其包含的各个镜头分别的朝向等计算而得。当无人机端1接收到来自诸如遥控设备的停止采集指令时，图像/视频采集设备1-2停止采集。
在一个例子中，上述采集指令可以来自诸如遥控器、控制按键等控制设备，图像/视频采集设备1-2可以通过第一无线传输模块1-4接收上述采集指令，而控制设备例如可由景区工作人员操作。
在另一个例子中，基站端2在接收到来自用户设备的传输指令后，在与该用户设备建立数据连接关系的情况下，生成一个采集指令，无人机端1接收该采集指令，然后图像/视频采集设备1-2根据该采集指令来采集上述图像/视频数据。
在一种实现方式(以下称为第一实现方式)中，图像/视频采集设备1-2将采集到的图像/视频数据通过第一无线传输模块1-4发送给基站端2，并存储在存储模块2-1中。在该实现方式中，存储模块2-1中存储的图像/视频数据中，每一个广视角图像中各像素位置对应的方向信息为相对方向。
在另一种实现方式(以下称为第二实现方式)中，共享式无人机观景系统还包括姿态传感器1-3(如图2所示)和方向校正单元(图中未示出)，其中，姿态传感器和方向校正单元均设置在无人机端1。这样，在无人机端1识别到上述采集指令后，姿态传感器实时地采集无人机1-1的姿态数据(由于图像/视频采集设备1-2是设置在无人机1-1上的，所以无人机1-1的姿态数据相当于图像/视频采集设备1-2的姿态数据)。
其中，无人机1-1的姿态数据包含有与图像/视频采集设备1-2所采集的广视角图像序列对应的取景方向信息序列。也就是说，图像/视频采集设备1-2采集的每一帧广视角图像在上述取景方向信息序列中都有一个取景方向信息与之对应。取景方向信息序列包括的每一个取景方向信息是用来描述图像/视频采集设备1-2整体朝向的。图像/视频采集设备1-2设于无人机上，并假设图像/视频采集设备1-2的整体朝向与无人机正前方是一致的，这样，无人机朝正南方向飞行时，假设此时图像/视频采集设备1-2采集了一帧广视角图像(并存入广视角图像序列中)，那么该帧广视角图像对应的取景方向信息(由姿态传感器采集并存入取景方向信息序列中)则是正南方向，依此类推。
举例来说，假设图像/视频采集设备1-2所采集的广视角图像序列可以用{I1，I2，I3，……，IM}表示，M表示该广视角图像序列中所包含的广视角图像数量，其为正整数；并且，假设姿态传感器所采集的取景方向信息序列(与上述广视角图像序列对应)可以用{D1，D2，D3，……，DM}表示。在该例子中，广视角图像I1与取景方向信息D1对应(即取景方向信息D1表示图像/视频采集设备1-2在采集广视角图像I1时的整体朝向)，广视角图像I2与取景方向信息D2对应(即取景方向信息D2表示图像/视频采集设备1-2在采集广视角图像I2时的整体朝向)，依此类推。
这样，方向校正单元可以利用无人机1-1的姿态数据对图像/视频采集设备1-2采集到的图像/视频数据进行方向校正，以使得上述图像/视频数据中的每个广视角图像中各像素位置的方向信息从相对方向校正为绝对方向。
以上述例子中的广视角图像I1为例，在方向校正之前，广视角图像I1中各像素位置对应的方向信息为相对方向。根据其对应的取景方向信息D1，可知图像/视频采集设备1-2在采集广视角图像I1时的整体朝向，进而可以计算出广视角图像I1中各像素位置对应的绝对方向。利用广视角图像I1中各像素位置对应的绝对方向代替对应像素位置的相对方向，即完成方向校正。其他广视角图像的处理与此类似，不再详述。
这样，无人机端1将校正后的图像/视频数据通过第一无线传输模块1-4将发送给基站端2，并保存在存储模块2-1。也就是说，在该实现方式(即第三实现方式)中，存储模块2-1中存储的图像/视频数据中，每一个广视角图像中各像素位置对应的方向信息为绝对方向。
在又一种实现方式(以下称为第三实现方式)中，共享式无人机观景系统仍包括姿态传感器1-3(如图2所示)和方向校正单元，其中，姿态传感器设置在无人机端1，而方向校正单元则设置在基站端2。这样，在无人机端1识别到上述采集指令后，姿态传感器实时地采集无人机1-1的姿态数据，并连同图像/视频采集设备1-2采集到的图像/视频数据一起通过第一无线传输模块1-4发送给基站端2。
这样，基站端2的方向校正单元利用无人机1-1的姿态数据对图像/视频采集设备1-2采集到的图像/视频数据进行方向校正，以使得上述图像/视频数据中的每个广视角图像中各像素位置的方向信息从相对方向校正为绝对方向。校正的过程与上述第二实现方式中的处理过程类似，这里不再详述。然后，基站端2将经过方向校正单元校正后的图像/视频数据保存在存储模块2-1。也就是说，在该实现方式(即第三实现方式)中，存储模块2-1中存储的图像/视频数据中，每一个广视角图像中各像素位置对应的方向信息为绝对方向。
需要说明的是，各像素位置的绝对方向是指相对于地球绝对坐标系而言的方向，而地球绝对坐标系各坐标轴向是不变的；而各像素位置的相对方向如上所述，是相对于图像/视频采集设备1-2的朝向而言的方向，而图像/视频采集设备1-2的朝向是变化的。
基站端2还通过第二无线传输模块2-2接收来自用户端3一个或多个用户设备的至少一个传输指令。用户设备发来的传输指令中包含用户设备的发送姿态。其中，用户设备的发送姿态是指用户设备在发送该传输指令时的姿态，例如可以是用户设备中显示模块的屏幕法线方向或其屏幕背面法线方向。
针对从用户端3一个或多个用户设备所接收的至少一个传输指令中的每一个，基站端2从存储模块2-1存储的图像/视频数据中获取与该传输指令匹配包含的发送姿态相匹配的图像帧序列，以发送给发出该传输指令的那个用户设备；此外，发出该传输指令的那个用户设备接收从基站端2返回的图像帧序列，并通过其显示模块3-3显示出来。
此外，每个用户设备通过用户交互模块3-2来设置所需图像帧序列的发送姿态，并通过第三无线传输模块3-1将包含有该发送姿态的传输指令发送给基站端2。例如，用户交互模块3-2例如可以由用户通过触屏操作的方式来设置发送姿态，在这种情况下，如可以通过触屏模块同时实现用户交互模块3-2和显示模块3-3的功能。此外，也可以在用户交互模块3-2中集成陀螺仪等姿态传感子模块，以此来获取用户设备的当前姿态来作为上述发送姿态。
基站端2例如可以通过如下将要描述的步骤101～103从存储模块中获取与该传输指令包含的发送姿态相匹配的图像帧序列。
首先执行步骤101。在步骤101中，判断接收的传输指令中是否包含发送时间：1)在该传输指令中包含发送时间的情况下，在存储模块2-1存储的图像/视频数据中选择采集时间在该发送时间及该发送时间以后的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止；2)在该传输指令中不包含发送时间的情况下，在存储模块2-1存储的图像/视频数据中选择当前存储的最后一帧广视角图像及之后将要存储的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止。其中，发送时间是指用户设备在发送传输指令时的时间。
需要说明的是，在上述“在存储模块2-1存储的图像/视频数据中选择采集时间在该发送时间及该发送时间以后的多帧广视角图像”中提到的“多帧广视角图像”可能是一帧或多帧广视角图像，也可能是0帧(例如在存储模块2-1存储的图像/视频数据中选择出一帧采集时间为该发送时间的广视角图像后，立即收到上述新传输指令的情况下)。此外，在上述“在存储模块2-1存储的图像/视频数据中选择当前存储的最后一帧广视角图像及之后将要存储的多帧广视角图像”中提到的“之后将要存储的多帧广视角图像”可能是一帧或多帧广视角图像，有可能是0帧(例如在存储模块2-1存储的图像/视频数据中选择出当前存储的最后一帧广视角图像后，立即收到上述新传输指令的情况下)。
接着，在步骤102中，针对步骤101中已选择的所有候选图像中的每一帧广视角图像，利用该广视角图像各像素位置对应的方向信息，在该广视角图像中截取方向与该传输指令中的发送姿态对应的截图，其中，该截图的尺寸为预设值，该预设值例如可以根据经验值设定，或者可以根据用户设备发来的传输指令中包含的屏幕尺寸参数来设定，等等。
然后，在步骤103中，利用步骤102中所截取的所有截图按照时间顺序形成图像帧序列，作为与该传输指令包含的发送姿态相匹配的图像帧序列。
需要说明的是，在第一实现方式中，存储模块2-1中存储的图像/视频数据中，每一个广视角图像中各像素位置对应的方向信息为相对方向。在这种情况下，针对某个广视角图像，通过步骤102所截取的“方向与该传输指令中的发送姿态对应的截图”实际是“相对方向与该传输指令中的发送姿态对应的截图”。在这种情况下，最终通过用户设备所看到的图像或视频就像是用户坐在无人机上看到的一样，即使保持用户设备朝着一个方向不变，其显示的图像或视频也会随着无人机飞行方向的改变而改变。
此外，在第二或第三实现方式中，存储模块2-1中存储的图像/视频数据中，每一个广视角图像中各像素位置对应的方向信息为绝对方向。在这种情况下，针对某个广视角图像，通过步骤102所截取的“方向与该传输指令中的发送姿态对应的截图”实际是“绝对方向与该传输指令中的发送姿态对应的截图”。由此，最终通过用户设备所看到的图像或视频就是用户设备的屏幕背面法线方向(或屏幕法线方向)所指的绝对方向，如果保持用户设备朝着一个方向不变，其显示的图像或视频则不会随着无人机飞行方向的改变而改变。换句话说，通过第二或第三实现方式中的方向校正单元进行方向校正后，显示在用户设备的显示模块屏幕上的图像帧序列中的每一帧对应的取景方向与发出该传输指令的用户设备显示模块的屏幕背面法线方向(或屏幕法线方向)一致。其中，用户例如可以在屏幕背面法线方向与屏幕法线方向之间切换选择，以此实现拍摄外景和自拍两种功能之间的快速切换。此外，需要说明的是，对于一帧图像而言，取景方向可以指该图像中心位置的取景方向，也就是说，该中心位置是朝向哪个方向拍摄的。
根据其他实现方式，基站端还可以包括用户管理模块，而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中，用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；每个用户设备的用户接入模块用于向基站端发送身份认证请求，并在接收到来自基站端的认证成功信息后与基站端建立数据连接。
此外，根据一种实现方式，每个用户设备的用户交互模块3-2还可以接收用户的拍照指令，并响应于该拍照指令而将当前显示于该用户设备显示模块3-3上的图像存储于该用户设备的本地相册中；和/或每个用户设备的用户交互模块3-2还可以接收用户的录像指令，并响应于该录像指令而将当前及后续显示于该用户设备显示模块上的图像连续地存储于该用户设备的本地相册中，直至接收到用户的停止录像指令为止，以利用响应于该录像指令所存储的所有图像形成对应的录像视频。由此，用户可以利用无人机来实现高空景点拍照、自拍、录影等功能。
此外，第二无线传输模块2-2在接收到来自第三无线传输模块3-1(即用户端某个用户设备)的传输指令时，判定该传输指令中是否包含已支付信息，并在该传输指令中包含已支付信息的情况下建立与该第三无线传输模块3-1之间的数据连接；当其中不包含已支付信息时，则拒绝用户设备的连接请求。其中，已支付信息例如是通过诸如扫码支付等在线支付方式获得的，也可以是通过其他支付手段获得的。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.共享式无人机观景系统，其特征在于，所述共享式无人机观景系统包括无人机端、基站端和用户端，其中，所述无人机端和所述用户端位于游览现场，所述无人机端包括无人机和设置在所述无人机上的图像/视频采集设备和第一无线传输模块，所述基站端包括存储模块和第二无线传输模块，所述用户端包括一个或多个用户设备，且所述一个或多个用户设备中的每个用户设备包括第三无线传输模块、用户交互模块和显示模块；
所述无人机端用于在识别到采集指令后，通过所述图像/视频采集设备开始采集其视野内图像/视频数据，并通过所述第一无线传输模块将采集到的所述图像/视频数据实时地发送给所述基站端；其中，所述图像/视频数据包括由一个或多个广视角图像构成的广视角图像序列；
所述基站端用于通过所述第二无线传输模块接收所述无人机端发来的所述图像/视频数据存储于所述存储模块中，接收来自所述一个或多个用户设备的至少一个传输指令，并针对该至少一个传输指令中的每一个，从所述存储模块中获取与该传输指令包含的发送姿态相匹配的图像帧序列来发送给发出该传输指令的用户设备，具体过程包括：判断接收的传输指令中是否包含发送时间：在该传输指令中包含发送时间的情况下，在所述存储模块存储的图像/视频数据中选择采集时间在该发送时间及该发送时间以后的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止；在该传输指令中不包含发送时间的情况下，在所述存储模块存储的图像/视频数据中选择当前存储的最后一帧广视角图像及之后将要存储的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止；针对已选择的所有候选图像中的每一帧广视角图像，利用该广视角图像各像素位置对应的方向信息，在该广视角图像中截取方向与该发送姿态对应的截图，其中，该截图的尺寸为预设值；利用所截取的所有截图按照时间顺序形成图像帧序列，作为与该传输指令包含的发送姿态相匹配的图像帧序列；
所述多个用户设备中的每个用户设备用于通过所述用户交互模块设置所需图像帧序列的发送姿态，所述发送姿态包括对应的用户设备中显示模块的屏幕法线方向或屏幕背面法线方向；并通过所述第三无线传输模块将包含该发送姿态的传输指令发给所述基站端，以及通过所述第三无线传输模块接收来自所述基站端的图像帧序列，并通过所述显示模块将接收到的图像帧序列显示出来；
所述共享式无人机观景系统还包括姿态传感器和方向校正单元；所述姿态传感器设于所述无人机上，其用于在所述无人机识别到所述采集指令后采集所述无人机的姿态数据；其中，所述无人机的姿态数据包含有与所述广视角图像序列对应的取景方向信息序列；所述方向校正单元设于所述无人机端或所述基站端，其用于利用所述无人机的姿态数据对所述图像/视频数据进行方向校正，以使得所述图像/视频数据中的每个广视角图像中各像素位置的方向信息从相对方向校正为绝对方向。
2.根据权利要求1所述的共享式无人机观景系统，其特征在于，每个用户设备的用户交互模块(3-2)包括姿态传感子模块，所述姿态传感子模块用于获取其所属用户设备的当前姿态来作为所述发送姿态。
3.根据权利要求2所述的共享式无人机观景系统，其特征在于，所述基站端还包括用户管理模块，而所述一个或多个用户设备中的每个用户设备还包括用户接入模块；
其中，所述用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；所述每个用户设备的用户接入模块用于向所述基站端发送身份认证请求，并在接收到来自所述基站端的认证成功信息后与所述基站端建立数据连接。
4.根据权利要求3所述的共享式无人机观景系统，其特征在于，所述每个用户设备的用户交互模块还用于接收用户的拍照指令，并响应于该拍照指令而将当前显示于该用户设备显示模块上的图像存储于该用户设备的本地相册中；和/或
所述每个用户设备的用户交互模块还用于接收用户的录像指令，并响应于该录像指令而将当前及后续显示于该用户设备显示模块上的图像连续地存储于该用户设备的本地相册中，直至接收到用户的停止录像指令为止，以利用响应于该录像指令所存储的所有图像形成对应的录像视频。
5.根据权利要求4所述的共享式无人机观景系统，其特征在于，所述第二无线传输模块在接收到来自所述第三无线传输模块的传输指令时，判定该传输指令中是否包含已支付信息，并在该传输指令中包含已支付信息的情况下建立与该第三无线传输模块之间的数据连接。
6.根据权利要求5所述的共享式无人机观景系统，其特征在于，所述已支付信息是通过在线支付方式获得的。
7.根据权利要求1-6中任一项所述的共享式无人机观景系统，其特征在于，所述用户设备为：智能手机、平板电脑或头戴式VR系统。
CN201710018345.3A 2017-01-10 2017-01-10 共享式无人机观景系统 Active CN106550182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018345.3A CN106550182B (zh) 2017-01-10 2017-01-10 共享式无人机观景系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018345.3A CN106550182B (zh) 2017-01-10 2017-01-10 共享式无人机观景系统

Publications (2)

Publication Number Publication Date
CN106550182A CN106550182A (zh) 2017-03-29
CN106550182B true CN106550182B (zh) 2022-07-05

Family

ID=58396545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018345.3A Active CN106550182B (zh) 2017-01-10 2017-01-10 共享式无人机观景系统

Country Status (1)

Country Link
CN (1) CN106550182B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881706B (zh) * 2017-05-16 2023-10-10 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
CN107105168A (zh) * 2017-06-02 2017-08-29 哈尔滨市舍科技有限公司 可虚拟拍照的共享观景系统
CN107341754A (zh) * 2017-07-13 2017-11-10 哈尔滨市舍科技有限公司 无人机观景景区用管理系统
CN107241613A (zh) * 2017-07-24 2017-10-10 哈尔滨市舍科技有限公司 体育场馆赛况多角度直播系统
CN107371043A (zh) * 2017-07-24 2017-11-21 哈尔滨市舍科技有限公司 无人机观景收费系统
CN107197165A (zh) * 2017-07-28 2017-09-22 哈尔滨市舍科技有限公司 无人机自拍系统与方法
CN107205122A (zh) * 2017-08-03 2017-09-26 哈尔滨市舍科技有限公司 多分辨率全景视频直播拍照系统与方法
CN109451238A (zh) * 2017-11-23 2019-03-08 北京臻迪科技股份有限公司 一种通信方法、通信系统及无人机
CN108259921B (zh) * 2018-02-08 2020-06-16 青岛一舍科技有限公司 一种基于场景切换的多角度直播系统及切换方法
CN110290307A (zh) * 2018-03-19 2019-09-27 东斓视觉科技发展（北京）有限公司 机器人、摄像系统及其拍摄方法
CN108766314A (zh) * 2018-04-11 2018-11-06 广州亿航智能技术有限公司 基于vr技术的无人机观景系统
CN108806104B (zh) * 2018-05-25 2021-06-01 深圳春沐源控股有限公司 一种景点拍摄器材租借方法及系统
CN108750131A (zh) * 2018-05-26 2018-11-06 滨州学院 一种共享式无人机观景装置
CN108650522B (zh) * 2018-05-29 2020-10-27 青岛一舍科技有限公司 基于自动控制的可即时获取高清照片的直播系统
EP3836574A4 (en) * 2018-08-07 2021-08-04 Beijing Xiaomi Mobile Software Co., Ltd. INFORMATION TRANSFER METHOD AND DEVICE
CN109102433A (zh) * 2018-08-12 2018-12-28 安徽大学 一种景区用景区用共享无人机管理平台和服务方法
CN108898905A (zh) * 2018-08-29 2018-11-27 华南理工大学 一种无人机互动教学直播平台
CN110971629B (zh) * 2018-09-29 2021-07-20 比亚迪股份有限公司 无人机共享方法、装置、可读存储介质及电子设备
CN110062162A (zh) * 2019-04-17 2019-07-26 桂林旅游学院 一种基于增强现实的旅游导览系统
CN110764535B (zh) * 2019-11-29 2020-09-18 东海县腾翔航空科技有限公司 基于无人机的旅游观光系统
CN115442510A (zh) * 2021-06-02 2022-12-06 影石创新科技股份有限公司 无人机视角的视频显示方法及显示系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205345350U (zh) * 2016-01-26 2016-06-29 高士雅 一种飞机客舱外观景系统
CN105744222A (zh) * 2016-02-03 2016-07-06 普宙飞行器科技（深圳）有限公司 一种无人机无线图像/视频传输、共享及存储系统
CN106125751A (zh) * 2016-07-21 2016-11-16 天津津宇凯创航空科技发展有限公司 一种巡查飞行器安全控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4770924B2 (ja) * 2008-12-17 2011-09-14 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN103543831A (zh) * 2013-10-25 2014-01-29 梁权富 头戴式全景播放装置
US20160071419A1 (en) * 2014-09-10 2016-03-10 Appareo Systems, Llc Aerial information request system for unmanned aerial vehicles
CN105704432A (zh) * 2014-11-27 2016-06-22 优利科技有限公司 超视距空中观光系统
CN204761600U (zh) * 2015-06-30 2015-11-11 江苏首控制造技术有限公司 无人机手持终端远程直播监控系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205345350U (zh) * 2016-01-26 2016-06-29 高士雅 一种飞机客舱外观景系统
CN105744222A (zh) * 2016-02-03 2016-07-06 普宙飞行器科技（深圳）有限公司 一种无人机无线图像/视频传输、共享及存储系统
CN106125751A (zh) * 2016-07-21 2016-11-16 天津津宇凯创航空科技发展有限公司 一种巡查飞行器安全控制系统

Also Published As

Publication number Publication date
CN106550182A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106550182B (zh) 共享式无人机观景系统
CN106657923B (zh) 基于位置的场景切换式共享观景系统
CN106657792B (zh) 共享式观景装置
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
CN108924590B (zh) 视频播放及拍照系统
CN107197165A (zh) 无人机自拍系统与方法
CN108108698A (zh) 基于人脸识别和全景视频的目标跟踪方法和系统
CN108650522B (zh) 基于自动控制的可即时获取高清照片的直播系统
CN106657922B (zh) 基于位置的场景切换式共享图像处理系统
CN115103166A (zh) 视频处理方法及终端设备
JP2011233005A (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
CN107925740A (zh) 图像管理系统、图像管理方法及程序
CN108696724B (zh) 可即时获取高清照片的直播系统
CN107241613A (zh) 体育场馆赛况多角度直播系统
CN113450254B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110650284B (zh) 图像拍摄控制方法、装置、设备及存储介质
CN111061123B (zh) 一种旅游景观展示的旋转全景成像系统及使用方法
JP7225016B2 (ja) Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备
CN109842791A (zh) 一种图像处理方法及装置
KR20190061165A (ko) 광고를 포함하는 360°비디오 생성 시스템 및 방법
JP2014120815A (ja) 情報処理装置、撮像装置、情報処理方法、プログラムならびに記憶媒体
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 150016 Heilongjiang Province, Harbin Economic Development Zone haping Road District Dalian road and Xingkai road junction

Applicant after: HARBIN YISHE TECHNOLOGY CO., LTD.

Address before: 150016 Heilongjiang City, Harbin province Daoli District, quiet street, unit 54, unit 2, layer 4, No. 3

Applicant before: HARBIN YISHE TECHNOLOGY CO., LTD.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266100 Block C 200-43, Chuangke Street, Qingdao, 306 Ningxia Road, Laoshan District, Qingdao City, Shandong Province

Applicant after: QINGDAO YISPACE TECHNOLOGY Co.,Ltd.

Address before: 150016 Heilongjiang Province, Harbin Economic Development Zone haping Road District Dalian road and Xingkai road junction

Applicant before: HARBIN YISHE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant