CN116389783B - 基于无人机的直播联动控制方法、系统、终端及介质 - Google Patents
基于无人机的直播联动控制方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN116389783B CN116389783B CN202310657336.4A CN202310657336A CN116389783B CN 116389783 B CN116389783 B CN 116389783B CN 202310657336 A CN202310657336 A CN 202310657336A CN 116389783 B CN116389783 B CN 116389783B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- video stream
- control
- stream data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000001276 controlling effect Effects 0.000 claims description 19
- 230000001105 regulatory effect Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000007667 floating Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/18502—Airborne stations
- H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42224—Touch pad or touch panel provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43078—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen for seamlessly watching content streams when changing device, e.g. when watching the same program sequentially on a TV and then on a tablet
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了基于无人机的直播联动控制方法、系统、终端及介质，其技术方案要点是：将无人机航线发送至无人机终端；接收移动终端采集的第一视频流数据，接收无人机终端采集的第二视频流数据；将第一视频流数据或第二视频流数据标定为播放视频流；在第二视频流数据标定为播放视频流后触发反向控制组件；将播放视频流和直播交互信息以不同的窗口进行同屏显示。本发明并将第一视频流数据、第二视频流数据中标定为播放视频流的数据进行网络直播，实现了网络直播过程互动窗口的灵活切换，无需其他工作人员进行协助控制，直播人员通过移动终端所配置的反向控制组件即可实现无人机终端的反向控制，提高了网络直播的灵活性。
Description
技术领域
本发明涉及视频处理技术领域和智能控制技术领域，更具体地说，它涉及基于无人机的直播联动控制方法、系统、终端及介质。
背景技术
随着互联网技术的快速发展，网络直播成为新媒体环境下一种新的信息传递和共享途径。而无人机直播是个将视频录制设备安装到无人机身上，然后无人机飞到人所不能轻易到达的现场进行拍摄，播放设备会采集到无人机拍摄的视频数据，然后通过网络进行直播的技术，广泛应用于景区、校园、果园等大场景、大区域的直播。
传统的无人机直播方法是通过遥控器来实现无人机的飞行控制，在此过程中直播人员难以一边通过移动终端与观看人员之间互动，同时又通过遥控器来实现无人机的飞行控制，所以通常情况下需要额外增加工作人员进行协助。为此，现有技术中记载有通过对无人机设定固定的航线来实现对无人机的飞行控制，其缺陷是无法依据直播需求对无人机进行灵活控制；此外，现有的无人机直播过程主要是将无人机所采集的视频数据进行直播，相比于传统网络直播而言，缺少了直播人员在可视情况下的互动，且在无人机所采集的视频质量较差的情况下，会降低观看人员的用户体验，降低了网络直播效果。
因此，如何研究一种能够克服上述缺陷的基于无人机的直播联动控制方法、系统、终端及介质是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足，本发明的目的是提供基于无人机的直播联动控制方法、系统、终端及介质，并将第一视频流数据、第二视频流数据中标定为播放视频流的数据进行网络直播，实现了网络直播过程互动窗口的灵活切换，无需其他工作人员进行协助控制，直播人员通过移动终端所配置的反向控制组件即可实现无人机终端的反向控制，提高了网络直播的灵活性。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，提供了基于无人机的直播联动控制方法，包括以下步骤：
基于地理信息系统生成无人机航线，并将无人机航线发送至无人机终端；
通过移动终端所配置的第一端口接收移动终端采集的第一视频流数据，和/或通过移动终端所配置的第二端口接收无人机终端采集的第二视频流数据；
将第一视频流数据或第二视频流数据标定为播放视频流，同时将第一视频流数据和第二视频流数据上传至云服务器进行数据存储；
在第二视频流数据标定为播放视频流后触发反向控制组件，并将反向控制组件输出的无人机摄像控制参数传输至无人机终端；
将播放视频流和直播交互信息以不同的窗口进行同屏显示。
进一步的，所述反向控制组件输出无人机摄像控制参数时，依据无人机终端的实时飞行数据和控制边界调整反向控制组件的灵敏度，具体过程为：
获取无人机终端飞行过程中所有的实时控制参数；
依据各个控制参数的控制边界值与实时控制参数之差确定对应控制参数的控制区间；
依据控制区间与相应控制参数所对应控制键的键动宽度之比确定控制键在单位宽度内所调控的控制量。
进一步的，所述控制参数包括无人机终端飞行过程中的飞行俯角、飞行仰角、左方位角、右方位角、加速飞行速度以及减速飞行速度。
进一步的，所述反向控制组件为触摸控制窗口，触摸控制窗口在触发后以浮动方式嵌入播放视频流或直播交互信息所对应的窗口中；
所述触摸控制窗口配置有：
以滑动方式调控飞行俯角的下控制键；
以滑动方式调控飞行仰角的上控制键；
以滑动方式调控左方位角的左控制键；
以滑动方式调控右方位角的右控制键；
以及，以单击方式调控加速飞行速度和以双击方式调控减速飞行速度的中控制键。
进一步的，所述无人机终端偏离无人机航线飞行时，通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点。
进一步的，所述通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点的过程具体为：
在无人机航线上标定复位点，并确定无人机航线上复位点的复位飞行方位和复位位置信息；
获取无人机终端的实时飞行方位、实时位置信息和实时飞行速度；
以实时位置信息与复位位置信息之间的空间距离作为复位距离，并以实时飞行方位与对应的复位飞行方位之差确定方位总偏量；
以复位距离与实时飞行速度之比确定复位时间，并以方位总偏量与复位时间之比确定单元时间内的调整偏量；
以固定周期与调整偏量之积确定每一个固定周期内的方位调控偏量，并在无人机终端复位飞行一个固定周期后重新确定方位调控偏量，直至无人机终端飞行至复位点。
进一步的，所述将第一视频流数据和第二视频流数据上传至云服务器进行数据存储的过程具体为：
将第一视频流数据、第二视频流数据分别与同一识别链的两侧关联，且第一视频流数据和第二视频流数据以同一时间轴对齐；
当第一视频流数据标定为播放视频流时，在识别链中对应时间轴节点嵌入第一识别符；
当第二视频流数据标定为播放视频流时，在识别链中对应时间轴节点嵌入第二识别符；
其中，第一识别符和第二识别符均可在识别链上沿时间轴方向移动调整，且第一识别符还作为第二视频流数据标定为播放视频流的终止符，以及第二识别符还作为第一视频流数据标定为播放视频流的终止符。
第二方面，提供了基于无人机的直播联动控制系统，包括：
航线生成模块，用于基于地理信息系统生成无人机航线，并将无人机航线发送至无人机终端；
视频采集模块，用于通过移动终端所配置的第一端口接收移动终端采集的第一视频流数据，和/或通过移动终端所配置的第二端口接收无人机终端采集的第二视频流数据；
视频标定模块，用于将第一视频流数据或第二视频流数据标定为播放视频流，同时将第一视频流数据和第二视频流数据上传至云服务器进行数据存储；
反向控制模块，用于在第二视频流数据标定为播放视频流后触发反向控制组件，并将反向控制组件输出的无人机摄像控制参数传输至无人机终端；
直播显示模块，用于将播放视频流和直播交互信息以不同的窗口进行同屏显示。
第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于无人机的直播联动控制方法。
第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于无人机的直播联动控制方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明提供的基于无人机的直播联动控制方法，直播过程中同时开启移动终端和无人机终端的摄像头装置对直播区域和直播人员进行视频数据采集，并将第一视频流数据、第二视频流数据中标定为播放视频流的数据进行网络直播，实现了网络直播过程互动窗口的灵活切换；此外，无人机终端在正常情况下按照无人机航线进行飞行，无需其他工作人员进行协助控制；且在对无人机终端所采集的视频数据直播过程中，若需要对无人机终端进行灵活控制时，直播人员通过移动终端所配置的反向控制组件即可实现无人机终端的反向控制，提高了网络直播的灵活性；
2、本发明在通过反向控制组对无人机终端进行反向控制时，依据无人机终端的实时飞行数据和控制边界调整反向控制组件的灵敏度，可以避免出现对无人机终端的误操作而导致坠机的情况发生，增强了无人机终端反向控制的安全性；
3、本发明在通过反向控制组对无人机终端进行反向控制后使得无人机终端偏离无人机航线飞行时，可以通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点，即可以使得无人机终端快速返回无人机航线，又不降低无人机终端的飞行进度，且使得无人机终端以相对平缓的调控状态进行复位飞行；
4、本发明通过识别链将同一时间轴对齐的第一视频流数据、第二视频流数据关联，在对直播视频进行后期剪辑时，只需要移动第一识别符和/或第二识别符即可完成播放视频流的切换，使得直播视频的后续处理可选择性强，且操作简单。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明实施例1中的流程图；
图2是本发明实施例2中的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：基于无人机的直播联动控制方法，如图1所示，具体由以下步骤实现。
步骤一：基于地理信息系统生成无人机航线，并将无人机航线发送至无人机终端。
在本实施例中，电子地图采用NASA提供的DEM（Digital Enhanced Model，数字高程模型），在Arcgis平台上进行格式转换、截取和合成，在飞行区域构建对应三维地理信息模型，通过设计地图处理控件，对电子地图的放大、缩小、平移、测距和图层进行管理，并利用GPS定位信息获取无人机经纬度和高程信息。
航线规划在电子地图基础上，首先进行航路点（经纬度、飞行高度、速度）规划，再通过航路点连接形成飞行航线；飞行航线生成后，进行航路信息校验，通过对规划航线模拟飞行，检验航线的闭合完整性、飞行畅通性和机动合理性；最后，将无人机实际飞行数据进行保存，以提供历史航迹显示。
步骤二：通过移动终端所配置的第一端口接收移动终端采集的第一视频流数据，和/或通过移动终端所配置的第二端口接收无人机终端采集的第二视频流数据。
移动终端可以是直播人员的手机、ipad等设备，第一端口和第二端口均配置在同一个移动终端上。其中，第一视频流数据可以是移动终端前置摄像头所采集的视频数据，也可以是移动终端后置摄像头所采集的视频数据。
步骤三：将第一视频流数据或第二视频流数据标定为播放视频流，同时将第一视频流数据和第二视频流数据上传至云服务器进行数据存储。
在本实施例中，网络直播可以分为无人机直播和移动终端直播两种方式。第一视频流数据标定为播放视频流时，即为移动终端直播；第二视频流数据标定为播放视频流时，即为移动终端直播。
需要说明的是，云服务器也可以替换成移动终端的内置存储器，可以实现直播数据的直接导出。
将第一视频流数据和第二视频流数据上传至云服务器进行数据存储的过程具体为：将第一视频流数据、第二视频流数据分别与同一识别链的两侧关联，且第一视频流数据和第二视频流数据以同一时间轴对齐；当第一视频流数据标定为播放视频流时，在识别链中对应时间轴节点嵌入第一识别符；当第二视频流数据标定为播放视频流时，在识别链中对应时间轴节点嵌入第二识别符。
其中，第一识别符和第二识别符均可在识别链上沿时间轴方向移动调整，且第一识别符还作为第二视频流数据标定为播放视频流的终止符，以及第二识别符还作为第一视频流数据标定为播放视频流的终止符。
第一识别符和第二识别符可以采用二进制的字符串进行表示，也可以采用指向箭头进行表示。例如，第一视频流数据关联在识别链的上侧，那么第一识别符可以采用向上箭头；而第二视频流数据关联在识别链的下侧，那么第二识别符可以采用向下箭头。
本发明通过识别链将同一时间轴对齐的第一视频流数据、第二视频流数据关联，在对直播视频进行后期剪辑时，只需要移动第一识别符和/或第二识别符即可完成播放视频流的切换，使得直播视频的后续处理可选择性强，且操作简单。
步骤四：在第二视频流数据标定为播放视频流后触发反向控制组件，并将反向控制组件输出的无人机摄像控制参数传输至无人机终端。
摄像控制过程具体为：在航路点信息中载入摄像头方向和焦距参数，当无人机飞行到各航路点时，根据反向控制的无人机摄像控制参数，实时通过云台摄像头控制接口传送相应参数，控制云台和摄像头动态拍摄不同角度和不同距离的视频，以便配合直播者讲解，为观看者提供不同角度方向和距离远近的直播画面。
反向控制组件输出无人机摄像控制参数时，依据无人机终端的实时飞行数据和控制边界调整反向控制组件的灵敏度，具体过程为：获取无人机终端飞行过程中所有的实时控制参数；依据各个控制参数的控制边界值与实时控制参数之差确定对应控制参数的控制区间；依据控制区间与相应控制参数所对应控制键的键动宽度之比确定控制键在单位宽度内所调控的控制量。本发明在通过反向控制组对无人机终端进行反向控制时，依据无人机终端的实时飞行数据和控制边界调整反向控制组件的灵敏度，可以避免出现对无人机终端的误操作而导致坠机的情况发生，增强了无人机终端反向控制的安全性。
需要说明的是，控制参数包括但不限于无人机终端飞行过程中的飞行俯角、飞行仰角、左方位角、右方位角、加速飞行速度以及减速飞行速度。
作为一种可选的实施方式，反向控制组件为触摸控制窗口，触摸控制窗口在触发后以浮动方式嵌入播放视频流或直播交互信息所对应的窗口中。
具体的，触摸控制窗口配置有：以滑动方式调控飞行俯角的下控制键；以滑动方式调控飞行仰角的上控制键；以滑动方式调控左方位角的左控制键；以滑动方式调控右方位角的右控制键；以及，以单击方式调控加速飞行速度和以双击方式调控减速飞行速度的中控制键。
作为另一种可选的实施方式，反向控制组件可以采用在移动终端配置姿态传感器实现无人机终端在个上下、左右以及前后等方向的控制。
步骤五：将播放视频流和直播交互信息以不同的窗口进行同屏显示。
此外，无人机终端偏离无人机航线飞行时，通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点。
通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点的过程具体为：在无人机航线上标定复位点，并确定无人机航线上复位点的复位飞行方位和复位位置信息；获取无人机终端的实时飞行方位、实时位置信息和实时飞行速度；以实时位置信息与复位位置信息之间的空间距离作为复位距离，并以实时飞行方位与对应的复位飞行方位之差确定方位总偏量；以复位距离与实时飞行速度之比确定复位时间，并以方位总偏量与复位时间之比确定单元时间内的调整偏量；以固定周期与调整偏量之积确定每一个固定周期内的方位调控偏量，并在无人机终端复位飞行一个固定周期后重新确定方位调控偏量，直至无人机终端飞行至复位点。
需要说明的是，飞行方位包括但不限于俯仰角和方位角。
本发明在通过反向控制组对无人机终端进行反向控制后使得无人机终端偏离无人机航线飞行时，可以通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点，即可以使得无人机终端快速返回无人机航线，又不降低无人机终端的飞行进度，且使得无人机终端以相对平缓的调控状态进行复位飞行。
实施例2：基于无人机的直播联动控制系统，该系统用于实现实施例1中所记载的基于无人机的直播联动控制方法，如图2所示，包括航线生成模块、视频采集模块、视频标定模块、反向控制模块和直播显示模块。
其中，航线生成模块，用于基于地理信息系统生成无人机航线，并将无人机航线发送至无人机终端；视频采集模块，用于通过移动终端所配置的第一端口接收移动终端采集的第一视频流数据，和/或通过移动终端所配置的第二端口接收无人机终端采集的第二视频流数据；视频标定模块，用于将第一视频流数据或第二视频流数据标定为播放视频流，同时将第一视频流数据和第二视频流数据上传至云服务器进行数据存储；反向控制模块，用于在第二视频流数据标定为播放视频流后触发反向控制组件，并将反向控制组件输出的无人机摄像控制参数传输至无人机终端；直播显示模块，用于将播放视频流和直播交互信息以不同的窗口进行同屏显示。
工作原理：本发明在直播过程中同时开启移动终端和无人机终端的摄像头装置对直播区域和直播人员进行视频数据采集，并将第一视频流数据、第二视频流数据中标定为播放视频流的数据进行网络直播，实现了网络直播过程互动窗口的灵活切换；此外，无人机终端在正常情况下按照无人机航线进行飞行，无需其他工作人员进行协助控制；且在对无人机终端所采集的视频数据直播过程中，若需要对无人机终端进行灵活控制时，直播人员通过移动终端所配置的反向控制组件即可实现无人机终端的反向控制，提高了网络直播的灵活性。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于无人机的直播联动控制方法，其特征是，包括以下步骤：
基于地理信息系统生成无人机航线，并将无人机航线发送至无人机终端；
通过移动终端所配置的第一端口接收移动终端采集的第一视频流数据，和/或通过移动终端所配置的第二端口接收无人机终端采集的第二视频流数据；
将第一视频流数据或第二视频流数据标定为播放视频流，同时将第一视频流数据和第二视频流数据上传至云服务器进行数据存储；
在第二视频流数据标定为播放视频流后触发反向控制组件，并将反向控制组件输出的无人机摄像控制参数传输至无人机终端；
将播放视频流和直播交互信息以不同的窗口进行同屏显示；
所述反向控制组件输出无人机摄像控制参数时，依据无人机终端的实时飞行数据和控制边界调整反向控制组件的灵敏度，具体过程为：
获取无人机终端飞行过程中所有的实时控制参数；
依据各个控制参数的控制边界值与实时控制参数之差确定对应控制参数的控制区间；
依据控制区间与相应控制参数所对应控制键的键动宽度之比确定控制键在单位宽度内所调控的控制量。
2.根据权利要求1所述的基于无人机的直播联动控制方法，其特征是，所述控制参数包括无人机终端飞行过程中的飞行俯角、飞行仰角、左方位角、右方位角、加速飞行速度以及减速飞行速度。
3.根据权利要求1所述的基于无人机的直播联动控制方法，其特征是，所述反向控制组件为触摸控制窗口，触摸控制窗口在触发后以浮动方式嵌入播放视频流或直播交互信息所对应的窗口中；
所述触摸控制窗口配置有：
以滑动方式调控飞行俯角的下控制键；
以滑动方式调控飞行仰角的上控制键；
以滑动方式调控左方位角的左控制键；
以滑动方式调控右方位角的右控制键；
以及，以单击方式调控加速飞行速度和以双击方式调控减速飞行速度的中控制键。
4.根据权利要求1所述的基于无人机的直播联动控制方法，其特征是，所述无人机终端偏离无人机航线飞行时，通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点。
5.根据权利要求4所述的基于无人机的直播联动控制方法，其特征是，所述通过在无人机航线上标定复位点来调控无人机终端自动飞行至复位点的过程具体为：
在无人机航线上标定复位点，并确定无人机航线上复位点的复位飞行方位和复位位置信息；
获取无人机终端的实时飞行方位、实时位置信息和实时飞行速度；
以实时位置信息与复位位置信息之间的空间距离作为复位距离，并以实时飞行方位与对应的复位飞行方位之差确定方位总偏量；
以复位距离与实时飞行速度之比确定复位时间，并以方位总偏量与复位时间之比确定单元时间内的调整偏量；
以固定周期与调整偏量之积确定每一个固定周期内的方位调控偏量，并在无人机终端复位飞行一个固定周期后重新确定方位调控偏量，直至无人机终端飞行至复位点。
6.根据权利要求1所述的基于无人机的直播联动控制方法，其特征是，所述将第一视频流数据和第二视频流数据上传至云服务器进行数据存储的过程具体为：
将第一视频流数据、第二视频流数据分别与同一识别链的两侧关联，且第一视频流数据和第二视频流数据以同一时间轴对齐；
当第一视频流数据标定为播放视频流时，在识别链中对应时间轴节点嵌入第一识别符；
当第二视频流数据标定为播放视频流时，在识别链中对应时间轴节点嵌入第二识别符；
其中，第一识别符和第二识别符均可在识别链上沿时间轴方向移动调整，且第一识别符还作为第二视频流数据标定为播放视频流的终止符，以及第二识别符还作为第一视频流数据标定为播放视频流的终止符。
7.基于无人机的直播联动控制系统，其特征是，包括：
航线生成模块，用于基于地理信息系统生成无人机航线，并将无人机航线发送至无人机终端；
视频采集模块，用于通过移动终端所配置的第一端口接收移动终端采集的第一视频流数据，和/或通过移动终端所配置的第二端口接收无人机终端采集的第二视频流数据；
视频标定模块，用于将第一视频流数据或第二视频流数据标定为播放视频流，同时将第一视频流数据和第二视频流数据上传至云服务器进行数据存储；
反向控制模块，用于在第二视频流数据标定为播放视频流后触发反向控制组件，并将反向控制组件输出的无人机摄像控制参数传输至无人机终端；
直播显示模块，用于将播放视频流和直播交互信息以不同的窗口进行同屏显示；
所述反向控制组件输出无人机摄像控制参数时，依据无人机终端的实时飞行数据和控制边界调整反向控制组件的灵敏度，具体过程为：
获取无人机终端飞行过程中所有的实时控制参数；
依据各个控制参数的控制边界值与实时控制参数之差确定对应控制参数的控制区间；
依据控制区间与相应控制参数所对应控制键的键动宽度之比确定控制键在单位宽度内所调控的控制量。
8.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-6中任意一项所述的基于无人机的直播联动控制方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如权利要求1-6中任意一项所述的基于无人机的直播联动控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310657336.4A CN116389783B (zh) | 2023-06-05 | 2023-06-05 | 基于无人机的直播联动控制方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310657336.4A CN116389783B (zh) | 2023-06-05 | 2023-06-05 | 基于无人机的直播联动控制方法、系统、终端及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116389783A CN116389783A (zh) | 2023-07-04 |
| CN116389783B true CN116389783B (zh) | 2023-08-11 |
Family
ID=86971675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310657336.4A Active CN116389783B (zh) | 2023-06-05 | 2023-06-05 | 基于无人机的直播联动控制方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116389783B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090012450A (ko) * | 2007-07-30 | 2009-02-04 | 엘지전자 주식회사 | 디지털 기기에서의 터치키 감도 조절장치 및 방법 |
| CN105549603A (zh) * | 2015-12-07 | 2016-05-04 | 北京航空航天大学 | 一种多旋翼无人机的智能道路巡检控制方法 |
| CN107111436A (zh) * | 2014-12-31 | 2017-08-29 | 华为技术有限公司 | 一种用于控制多媒体文件播放进度的方法及终端 |
| CN108476288A (zh) * | 2017-05-24 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 拍摄控制方法及装置 |
| CN110490155A (zh) * | 2019-08-23 | 2019-11-22 | 电子科技大学 | 一种禁飞空域无人机检测方法 |
| CN111650967A (zh) * | 2020-06-03 | 2020-09-11 | 南昌航空大学 | 一种用于影视拍摄的无人机及云台操控系统 |
| CN113099169A (zh) * | 2020-01-08 | 2021-07-09 | 浙江省公众信息产业有限公司 | 无人机、低空遥感使能平台及其构建和数据传输方法 |
| CN113158116A (zh) * | 2021-04-20 | 2021-07-23 | 联通(广东)产业互联网有限公司 | 基于移动互联网的无人机控制平台 |
| CN114556256A (zh) * | 2020-12-31 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 飞行控制方法、视频编辑方法、装置、无人机及存储介质 |
| CN114866787A (zh) * | 2022-07-04 | 2022-08-05 | 深圳市必提教育科技有限公司 | 一种直播实现方法及系统 |
| CN116208389A (zh) * | 2023-01-19 | 2023-06-02 | 北京远度互联科技有限公司 | 无人机通信控制方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2391125A1 (en) * | 2010-05-26 | 2011-11-30 | Nagra France Sas | Security method for preventing the unauthorized use of multimedia contents |
-
2023
- 2023-06-05 CN CN202310657336.4A patent/CN116389783B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090012450A (ko) * | 2007-07-30 | 2009-02-04 | 엘지전자 주식회사 | 디지털 기기에서의 터치키 감도 조절장치 및 방법 |
| CN107111436A (zh) * | 2014-12-31 | 2017-08-29 | 华为技术有限公司 | 一种用于控制多媒体文件播放进度的方法及终端 |
| CN105549603A (zh) * | 2015-12-07 | 2016-05-04 | 北京航空航天大学 | 一种多旋翼无人机的智能道路巡检控制方法 |
| CN108476288A (zh) * | 2017-05-24 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 拍摄控制方法及装置 |
| CN110490155A (zh) * | 2019-08-23 | 2019-11-22 | 电子科技大学 | 一种禁飞空域无人机检测方法 |
| CN113099169A (zh) * | 2020-01-08 | 2021-07-09 | 浙江省公众信息产业有限公司 | 无人机、低空遥感使能平台及其构建和数据传输方法 |
| CN111650967A (zh) * | 2020-06-03 | 2020-09-11 | 南昌航空大学 | 一种用于影视拍摄的无人机及云台操控系统 |
| CN114556256A (zh) * | 2020-12-31 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 飞行控制方法、视频编辑方法、装置、无人机及存储介质 |
| CN113158116A (zh) * | 2021-04-20 | 2021-07-23 | 联通(广东)产业互联网有限公司 | 基于移动互联网的无人机控制平台 |
| CN114866787A (zh) * | 2022-07-04 | 2022-08-05 | 深圳市必提教育科技有限公司 | 一种直播实现方法及系统 |
| CN116208389A (zh) * | 2023-01-19 | 2023-06-02 | 北京远度互联科技有限公司 | 无人机通信控制方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视频的人机交互中动作在线发现与时域分割;沈晴;班晓娟;常征;郭靖;;计算机学报(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116389783A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11573562B2 (en) | Magic wand interface and other user interaction paradigms for a flying digital assistant | |
| US11656635B2 (en) | Heading generation method and system of unmanned aerial vehicle | |
| US11347217B2 (en) | User interaction paradigms for a flying digital assistant | |
| US11490054B2 (en) | System and method for adjusting an image for a vehicle mounted camera | |
| CN106662793B (zh) | 使用稳定用常平架的常平架系统 | |
| CN105120146B (zh) | 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法 | |
| WO2018214078A1 (zh) | 拍摄控制方法及装置 | |
| CN106370184A (zh) | 无人机自动跟踪拍摄的方法、无人机和移动终端设备 | |
| US10322819B2 (en) | Autonomous system for taking moving images from a drone, with target tracking and improved target location | |
| US20200366873A1 (en) | System and method for interactive aerial imaging | |
| CN105704501A (zh) | 一种基于无人机全景视频的虚拟现实直播系统 | |
| WO2016168722A1 (en) | Magic wand interface and other user interaction paradigms for a flying digital assistant | |
| CN105676864A (zh) | 一种无人机航拍规划仿真系统 | |
| CN110414686A (zh) | 一种控制无人机采集图像视频信息量子软件 | |
| WO2022141956A1 (zh) | 飞行控制方法、视频编辑方法、装置、无人机及存储介质 | |
| CN105676862B (zh) | 一种飞行装置控制系统及控制方法 | |
| AU2019271924B2 (en) | System and method for adjusting an image for a vehicle mounted camera | |
| CN116389783B (zh) | 基于无人机的直播联动控制方法、系统、终端及介质 | |
| US12007763B2 (en) | Magic wand interface and other user interaction paradigms for a flying digital assistant | |
| CN108419052A (zh) | 一种多台无人机全景成像方法 | |
| CN108475410B (zh) | 三维立体水印添加方法、装置及终端 | |
| CN108052114A (zh) | 一种无人机的图像采集及跟踪控制系统 | |
| US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2021153221A (ja) | ドローン撮影映像提供システム、ドローン撮影映像提供システムのプログラム、移動体撮影映像提供システム、移動体撮影映像提供システムのプログラム | |
| WO2018214075A1 (zh) | 视频画面生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |