CN106878651A - 一种基于无人机的三维视频通信方法、通信设备和无人机 - Google Patents
一种基于无人机的三维视频通信方法、通信设备和无人机 Download PDFInfo
- Publication number
- CN106878651A CN106878651A CN201611266714.2A CN201611266714A CN106878651A CN 106878651 A CN106878651 A CN 106878651A CN 201611266714 A CN201611266714 A CN 201611266714A CN 106878651 A CN106878651 A CN 106878651A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- communication equipment
- sent
- control instruction
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明公开了一种基于无人机的三维视频通信方法、通信设备和无人机。该方法包括:第一通信设备接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;控制指令用于控制无人机飞至指定区域,采集指定区域范围内的至少一个预选目标的图像信息;接收无人机发送的至少一个预选目标的图像信息并显示,从至少一个预选目标中选取跟踪目标,将跟踪目标发送给无人机;向无人机发送三维视频采集指令;三维视频采集指令用于指示无人机采集跟踪目标的三维视频图像;接收无人机发送的跟踪目标的三维视频图像,将三维视频图像发送给第二通信设备。本发明提供的技术方案能够解决现有的视频通信方法存不能提供三维立体感的缺陷。
Description
技术领域
本发明涉及三维视频通信技术领域,特别是涉及一种基于无人机的三维视频通信方法、通信设备和无人机。
背景技术
现在视频通话方式只传输二维图像,这会使视频通话时没有立体感,互动性差。通话设备若为移动设备,则需要通话者调整自身与移动设备之间的相对位置,长时间通话会使身体劳累;若使用固定安装的图像采集设备,因为图像采集的范围有限这会使使通话者局限在一个小区域内。
综上所述,现有的视频通信方法存在不能提供三维立体感的缺陷。
发明内容
本发明提供了一种基于无人机的三维视频通信方法、通信设备和无人机。本发明提供的技术方案能够解决现有的视频通信方法不能提供三维立体感的缺陷。
本发明公开了一种基于无人机的三维视频通信方法,包括:
第一通信设备接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;
接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标,将所述跟踪目标发送给无人机;
向无人机发送三维视频采集指令;所述三维视频采集指令用于指示无人机采集所述跟踪目标的三维视频图像;
接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
在上述方法中,所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息包括:
第一通信设备发送起飞控制指令控制无人机完成自主起飞之后,向无人机发送跟随控制指令;所述跟随控制指令用于控制所述无人机飞至与所述第一通信设备相距在预设范围内之后,进入自主悬停状态;
第一通信设备向无人机发送采集控制指令,所述采集控制指令用于控制无人机在自主悬停状态下,采集无人机所在区域内的至少一个预选目标的图像信息。
在上述方法中,所述接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标,将所述跟踪目标发送给无人机包括:
第一通信设备接收无人机发送的至少一个预选目标的图像信息,将所述至少一个预选目标的图像信息显示在第一通信设备的显示屏幕上供用户选取;
接收用户输入的选取指令,从所述至少一个预选目标中选取跟踪目标
将选取的跟踪目标发送给无人机。
在上述方法中,所述向无人机发送三维视频采集指令包括:
第一通信设备与第二通信设备建立视频通话之后,向无人机发送三维视频采集指令;所述三维视频采集指令控制无人机采集所述跟踪目标的三维视频图像;
在所述跟踪目标的位置发生变动时,该方法进一步包括:
第一通信设备向无人机发送跟随控制指令,所述跟随控制指令用于控制无人机跟随所述跟踪目标移动。
在上述方法中,所述将所述三维视频图像发送给第二通信设备包括:
第一通信设备采集视频通话过程中的语音通话信号,对所述语音通话信号进行语音识别后生成对应的文字内容;
在所述三维视频图像的预设区段中添加所述文字内容;将所述添加了文字内容的三维视频图像发送给第二通信设备。
在上述方法中,所述第一通信设备与第二通信设备建立视频通话之后,该方法进一步包括:
第一通信设备接收用户输入的飞行控制指令,将所述飞行控制指令发送给无人机;所述飞行控制指令用于控制所述无人机根据所述飞行控制指令进行相应的飞行动作;
或者,
第一通信设备接收第二通信设备发送的飞行控制指令,将所述飞行控制指令发送给无人机;所述飞行控制指令用于控制所述无人机根据所述飞行控制指令进行相应的飞行动作;
其中,所述飞行控制指令通过对用户输入的语音控制指令进行解析得到;
和/或,飞行控制指令通过对用户输入的按键控制指令进行解析得到;
和/或,飞行控制指令通过对检测到的用户手势进行解析得到。
在上述方法中,该方法进一步包括:
第一通信设备向无人机发送三维模型采集指令;所述三维模型采集指令用于指示无人机环绕所述跟踪目标飞行,采集所述跟踪目标的三维模型图像。
接收无人机发送的所述跟踪目标的三维模型图像,将所述三维模型图像发送给第二通信设备。
本发明还公开了一种通信设备,包括:
指令发送模块,用于在接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;用于在与第二通信设备建立视频通话连接时,向无人机发送三维视频采集指令;所述三维视频采集指令用于指示无人机采集所述跟踪目标的三维视频图像;
交互显示模块,用于接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标;将所述跟踪目标发送给无人机;
视频收发模块,用于接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
在上述通信设备,所述指令发送模块,用于发送起飞控制指令控制无人机完成自主起飞之后,根据与所述无人机之间的无线通信信号的强弱值,计算第一通信设备与所述无人机之间的相对位置关系;
所述指令发送模块,用于根据所述相对位置关系,向无人机发送跟随控制指令;所述跟随控制指令用于控制所述无人机飞至与所述第一通信设备相距在预设范围内之后,进入自主悬停状态;
所述指令发送模块,用于向无人机发送采集控制指令,所述采集控制指令用于控制无人机在自主悬停状态下,采集无人机所在区域内的至少一个预选目标的图像信息。
本发明还公开了一种无人机,包括:指令接收处理单元、无线通信单元,以及至少一个三维视频采集单元;
无线通信单元,用于建立与通信设备的无线连接;
指令接收处理单元,用于接收所述通信设备发送的控制指令,根据所述控制指令飞至指定区域,控制三维视频采集单元采集所述指定区域范围内的至少一个预选目标的图像信息;接收所述通信设备发送的三维视频采集指令,控制三维视频采集单元采集所述跟踪目标的三维视频图像;将采集的跟踪目标的三维视频图像过无线通信单元发送给通信设备。
综上所述,本发明所公开的技术方案,通过在接收到视频通话建立请求时,向无人机发送控制指令;控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;再从所述至少一个预选目标中选取跟踪目标。在视频通话建立之后,向无人机发送三维视频采集指令;控制无人机采集所述跟踪目标的三维视频图像;将所述三维视频图像发送给第二通信设备。从而实现在视频通信的过程中,通话双方能够根据无人机采集的三维视频图像实现三维视频通话,解决了现有技术中只能传输二维图像所存在的缺陷。
附图说明
图1是本发明中一种基于无人机的三维视频通信方法的流程图;
图2是本发明中一个基于无人机的三维视频通信方法的详细流程图;
图3是本发明中一种通信设备之间交互的示意图;
图4是为本发明中一种通过手势解析飞控制命令的示意图;
图5是本发明中一种通信设备之间交互的详细示意图;
图6是本发明中一种基于无人机的三维视频通信系统的示意图;
图7是本发明中一种通信设备的结构示意图;
图8是本发明中一种无人机的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作还地详细描述。
图1是本发明中一种基于无人机的三维视频通信方法的流程图。参见图1所示,该方法包括如下步骤:
步骤S110,第一通信设备接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;
步骤S120,第一通信设备接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标;将所述跟踪目标发送给无人机;
步骤S130,第一通信设备向无人机发送三维视频采集指令;所述三维视频采集指令用于指示无人机采集所述跟踪目标的三维视频图像;
步骤S140,第一通信设备接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
可见,在本发明中,通过在接收到视频通话建立请求时,向无人机发送控制指令;控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;再从所述至少一个预选目标中选取跟踪目标。在视频通话建立之后,向无人机发送三维视频采集指令;控制无人机采集所述跟踪目标的三维视频图像;将所述三维视频图像发送给第二通信设备。从而实现在视频通信的过程中,通话双方能够根据无人机采集的三维视频图像实现立体通话的体验,解决了现有技术中只能传输二维图像所存在的缺陷。
图2是本发明中一个基于无人机的三维视频通信方法的详细流程图。参见图2所述,该方法包括如下步骤:
步骤S210,第一通信设备接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令。
在本发明的一种实施例中,第一通信设备与无人机之间建立有无线连接。为了便于实现无人机的自动三维视频图像的采集,在第一通信设备接收到视频通话建立请求时,向无人机发送控制指令,使得无人机能够及时进入最佳的三维视频图像采集的状态。
在本发明的其他实施例中,为了实现无人机的单机使用,或者是为了测试三维视频通信的效果。还可以是第一通信设备直接向无人机发送控制指令。
步骤S220,无人机根据控制指令飞至指定区域,进入等待视频通话开启状态。采集所述指定区域范围内的至少一个预选目标的图像信息,将采集的至少一个预选目标的图像信息发送给第一通信设备。
在步骤S220中,无人机根据控制指令,完成自主起飞动作,飞至指定区域之后自主悬停,等待视频通话开启。并完成对跟踪目标的预选操作。
在本发明的一种具体实施例中,控制指令包括多个控制子指令。具体为包括:
步骤S221,第一通信设备向无人机发送起飞控制指令;无人机根据起飞控制指令完成自主起飞。
步骤S222,第一通信设备向无人机发送跟随控制指令;无人机根据跟随控制指令飞至与所述第一通信设备相距在预设范围内之后,进入自主悬停状态。
在步骤S222中,无人机在接收到跟随控制指令之后,根据无人机板载的无线通信单元检测与第一通信设备之间的无线通信信号的强弱值,根据无线通信信号的强弱值,完成对第一通信设备的定位。无人机无线通信信号的强弱值计算出与第一通信设备的相对位置关系之后,然后根据与第一通信设备的相对位置关系,调整无人机的飞行方向,直至飞至指定区域。
在本步骤的一种具体实施例中,指定区域为第一通信设备为圆心,距离地面高度为H,半径为R的空间范围内。其中,H、R的具体数据可以根据实际情况进行设置。
在本发明的一种较佳实施例中,为了防止无人机在飞行过程中碰到障碍物,导致无人机坠落等问题。较佳的,在无人机上挂载自主避障模块;该自主避障模块,用于对飞行途中的障碍物进行检测,根据检测结果发送飞行控制指令,无人机根据该飞行控制指令完成对障碍物的规避飞行动作。
所述自主避障模块包括以下的一种或多种:雷达模块、超声波模块、图像采集模块。以超声波模块为例,当超声波模块检测到正前方存在障碍物时,向无人机上的飞行控制单元发送检测结果,飞行控制单元根据该检测结果发送飞行控制指令,无人机根据该飞行控制指令,向上、下、左、右飞行,避开前方的障碍物。
步骤S223,第一通信设备向无人机发送采集控制指令,无人机根据采集控制指令在悬停状态下,采集无人机所在区域内的至少一个预选目标的图像信息。
在步骤S223中,无人机在等待视频通话开始的状态下,通过挂载的三维视频采集单元,采集该区域内的人脸的图像信息,进行人脸识别操作。并将识别出的至少一个人脸的图像信息发送给第一通信设备,便于用户在第一通信设备上选取需要进行三维视频图像采集的跟踪目标。
在本发明的其他实施例中,无人机上挂载有多个三维视频采集单元;以便在当前的三维视频采集单元不能工作的情况下,使用其他的三维视频采集单元完成三维视频图像的采集。进一步的,还可以进一步挂载其他图像采集单元,如人脸识别单元,避免在视频通话过程中对三维视频采集单元的占用。
步骤S230,第一通信设备接收无人机发送的至少一个预选目标的图像信息并显示;从所述至少一个预选目标中选取跟踪目标;将所述跟踪目标发送给无人机;
在步骤S230中,第一通信设备接收无人机发送的至少一个人脸的图像信息,将所述至少一个人脸的图像信息显示在第一通信设备的显示屏幕上供用户选取。其中,第一通信设备的显示屏幕可以为触摸屏,则用户在触摸屏上点击,第一通信设备接收用户输入的选取指令,该选取指令中包含跟踪目标,完成跟踪目标的选取操作。实现从至少一个预选目标中选取跟踪目标。
在第一通信设备上完成跟踪目标的选取操作之后,将选取的跟踪目标发送给无人机。
步骤S240,第一通信设备建立与第二通信设备之间的视频通话连接之后,向无人机发送三维视频采集指令。
在步骤S240中,第一通信设备与第二通信设备建立视频通话之后,向无人机发送三维视频采集指令;无人机根据三维视频采集指令,采集跟踪目标的三维视频图像。
在本发明的一种具体实施例中,无人机上挂载的三维视频采集单元将采集的跟踪目标的图像信息利用视差算法进行计算,得到与该采集到的图像相对应的三维场景的几何信息,根据该三维场景的几何信息重建跟踪目标所在场景的三维轮廓,得到跟踪目标的三维视频图像。
由于在进行视频通话的过程中,用户并不会一直不动的。因此,在本发明的一种较佳实施例中,在所述跟踪目标的位置发生变动时,该方法进一步包括:
第一通信设备向无人机发送跟随控制指令,所述跟随控制指令用于控制无人机跟随所述跟踪目标移动。
在本发明的一种实施例中,第一通信设备向无人机发送跟随控制指令,无人机启动跟随所述跟踪目标的操作,能够随着跟踪目标的移动而移动。具体为:无人机根据预设的机器视觉识别模块,识别跟踪目标;根据所述跟踪目标在采集画面中的的位置和大小计算与跟踪目标之间的相对位置关系,定位跟踪目标。然后根据与跟踪目标之间的相对位置关系,调整无人机的飞行方向,直至飞至指定区域,实现无人机对跟踪目标的跟随。
步骤S250,无人机根据三维视频采集指令,采集跟踪目标的三维视频图像;将采集的三维视频图像发送给第一通信设备。
步骤S260,第一通信设备接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
在步骤S260中,第一通信设备将无人机发送的三维视频图像发送给对通信对端的第二通信设备。当视频通信连接为一对多的直播场景时,第一通信设备可以同时发送给多个第二通信设备。
同样的,为了能够同时得到针对多个跟踪目标的三维视频图像,第一通信设备同时与多个无人机相连接,接收多个无人机发送的针对不同跟踪目标的三维视频图像;然后将该三维视频图像发送给一个或多个第二通信终端。
在本发明的一种较佳实施例中,为了便于在视频通话过程中,更加清晰的了解对方所要表达的信息。在步骤S260中,还可以包括:第一通信设备采集视频通话过程中的语音通话信号,对所述语音通话信号进行语音识别后生成对应的文字内容;第一通信设备在所述三维视频图像的预设区段中添加所述文字内容;将所述添加了文字内容的三维视频图像发送给第二通信设备。则通信对端的第二通信设备能够直接在三维视频图像中显示对应的文字内容。
步骤S270,第二通信设备接收三维视频图像,将该三维视频图像发送给在与第二通信设备相连接的虚拟体验装置。
在本步骤中,第二通信设备与虚拟体验装置可以通过以下连接方式中的一种或多种进行连接;
蓝牙模块、WIFI模块、4G模块、5G通信模块和USB数据线。
步骤S280,虚拟体验装置,根据接收的三维视频图像重建所述跟踪目标所在的通话场景的三维轮廓。
在本步骤中,虚拟体验装置可以为头戴显示头盔、VR眼镜,或者为其他可以体验三维的设备。
本发明的一种具体实施例中,当步骤S260中发送的三维视频图像中包含文字内容时,则虚拟体验装置在重建的跟踪目标所在的通话场景的三维轮廓中显示该文字内容。
较佳的,在步骤S280中,将文字内容通过屏幕菜单式调节显示(OSD on-screendisplay)的方式显示。即以字幕的形式显示文字内容。
步骤S290,第一通信设备向无人机发送飞行控制指令,控制无人机根据所述飞行控制指令进行相应的飞行动作。
在步骤S290中,为了增强视频通话的双方之间的互动性。视频通话的双方可以通过发送飞行控制指令给对端,实现对对端的无人机的飞行控制。即第二通信设备向第一通信设备发送飞行控制指令,第一通信设备再将该飞行控制指令发送给无人机。在本发明的其他实施例中,还可以是第一通信设备直接向无人机发送飞行控制指令。
其中,飞行控制指令可以为对无人机飞行方向的控制,以及对无人机的机头的转向控制。
图3是本发明中一种通信设备之间交互的示意图。参见图3所示,
在一种使用场景中,第一通信设备接收用户输入的飞行控制指令,将所述飞行控制指令发送给无人机;无人机根据飞行控制指令进行相应的飞行动作。
在另一种使用场景中,第二通信设备接收用户输入的飞行控制指令,将所述飞行控制指令发送给第一通信设备;
第一通信设备接收第二通信设备发送的飞行控制指令,将所述飞行控制指令发送给无人机;无人机根据所述飞行控制指令进行相应的飞行动作。
在本发明的一种具体实施例中,所述飞行控制指令通过对用户输入的语音控制指令进行解析得到。
具体为,第一通信设备检测到用户输入的语音指令为“向上飞”时,通过解析生成对应的控制无人机向上飞的飞行控制指令,将该飞行控制指令发送给无人机,无人机则可以根据该向上飞的飞行控制指令,向更高处飞行。
在本发明的一种具体实施例中,飞行控制指令通过对用户输入的按键控制指令进行解析得到。
在本发明的一种具体实施例中,飞行控制指令通过对检测到的用户手势进行解析得到。
图4是为本发明中一种通过手势解析飞控制命令的示意图。参见图4所述,
无人机上挂载的三维视频采集单元,对用户的手势动作进行采集;将采集的手势动作发送给手势识别单元,手势识别单元根据该手势动作识别出对应的飞行控制指令。
具体为,三维视频采集单元采集到的用户手势为“向上抬”的动作,将采集的手势动作发送给手势识别单元;手势识别单元根据“向上抬”的动作识别出对应的飞行控制指令为“向上飞”。
因此,第二通信设备再将解析得到的飞行控制指令发送给第一通信设备,由第一通信设备发送给无人机,实现对无人机的飞行控制。
图5是本发明中一种通信设备之间交互的详细示意图;参见图5所述,第二通信设备对用户的语音控制指令、手势进行识别之后,得到对应的飞行控制指令,将飞行控制指令发送给第一通信设备;
第一通信设备接收到用户的许可指令之后,再将第二通信设备发送的飞行控制指令发送给无人机,无人机根据飞行控制指令进行相应的飞行动作。
在本实施例中,由于第二通信设备所发送的飞行控制指令都是经过第一通信设备的持有用户所确认的,能够提高视频通话的安全性。
此外,当第二通信设备与第一通信设备结束三维视频通话之后,则断开第二通信设备对无人机的控制,无人机根据跟随控制指令飞至预设位置。
在本发明的一种具体实施例中,第一通信设向无人机发送三维模型采集指令;所述三维模型采集指令用于指示无人机环绕所述跟踪目标飞行,采集所述跟踪目标的三维模型图像。具体为:无人机环绕跟踪目标飞行,三维视频采集单元始终对准该跟踪目标,从而能够给你采集的三维视频图像创建该跟踪目标的三维立体模型。
图6是本发明中一种基于无人机的三维视频通信系统的示意图。参见图6所示。在本发明的一种具体实施例中,第一通信设备601与第二通信设备602之间通过互联网或者移动互联网相连接。
第一无人机603通过无线通信模块与第一通信设备601相连接,第一虚拟体验设备604通过无线通信模块或有线通信模块与第一通信设备601相连接。
第二无人机605通过无线通信模块与第二通信设备602相连接,第二虚拟体验设备606通过无线通信模块或有线通信模块与第二通信设备602相连接。
在本发明中,还公开了一种通信设备,图7是本发明中一种通信设备的结构示意图,参见图7所述,包括
指令发送模块701,用于在接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;用于在与第二通信设备建立视频通话连接时,向无人机发送三维视频采集指令;所述三维视频采集指令用于指示无人机采集所述跟踪目标的三维视频图像;
交互显示模块702,用于接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标;将所述跟踪目标发送给无人机;
视频收发模块703,用于接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
在本发明的一种具体实施例中,指令发送模块701,用于发送起飞控制指令控制无人机完成自主起飞之后,向无人机发送跟随控制指令;所述跟随控制指令用于控制所述无人机飞至与所述第一通信设备相距在预设范围内之后,进入自主悬停状态;
所述指令发送模块701,用于向无人机发送采集控制指令,所述采集控制指令用于控制无人机在自主悬停状态下,采集无人机所在区域内的至少一个预选目标的图像信息。
在本发明的一种具体实施例中,交互显示模块702,用于接收无人机发送的至少一个预选目标的图像信息,将所述至少一个预选目标的图像信息显示在第一通信设备的显示屏幕上供用户选取;接收用户输入的选取指令,从所述至少一个预选目标中选取跟踪目标;将选取的跟踪目标发送给无人机。
在本发明的一种具体实施例中,指令发送模块701,用于在与第二通信设备建立视频通话之后,向无人机发送三维视频采集指令;所述三维视频采集指令控制无人机采集所述跟踪目标的三维视频图像。
在本发明的一种具体实施例中,指令发送模块701,还用于向无人机发送跟随控制指令,所述跟随控制指令用于控制无人机跟随所述跟踪目标移动。
在本发明的一种具体实施例中,视频收发模块703,还用于采集视频通话过程中的语音通话信号,对所述语音通话信号进行语音识别后生成对应的文字内容;
在所述三维视频图像的预设区段中添加所述文字内容;将所述添加了文字内容的三维视频图像发送给第二通信设备。
在本发明的一种具体实施例中,指令发送模块701,用于接收用户输入的飞行控制指令,将所述飞行控制指令发送给无人机;所述飞行控制指令用于控制所述无人机根据所述飞行控制指令进行相应的飞行动作
或者,
指令发送模块701,用于接收第二通信设备发送的飞行控制指令,将所述飞行控制指令发送给无人机;所述飞行控制指令用于控制所述无人机根据所述飞行控制指令进行相应的飞行动作;
其中,所述飞行控制指令通过对用户输入的语音控制指令进行解析得到;
和/或,飞行控制指令通过对用户输入的按键控制指令进行解析得到;
和/或,飞行控制指令通过对检测到的用户手势进行解析得到。
在本发明的一种具体实施例中,指令发送模块701,用于向无人机发送三维模型采集指令;所述三维模型采集指令用于指示无人机环绕所述跟踪目标飞行,采集所述跟踪目标的三维模型图像。
在本发明的一种具体实施例中,视频收发模块703,用于接收无人机发送的所述跟踪目标的三维模型图像,将所述三维模型图像发送给第二通信设备。
图8是本发明中一种无人机的结构示意图。参见图8所示,该无人机包括:指令接收处理单元802、无线通信单元803,以及至少一个三维视频采集单元801。其中,
无线通信单元803,用于建立与通信设备的无线连接;
指令接收处理单元802,用于接收所述通信设备发送的控制指令,根据所述控制指令飞至指定区域,控制三维视频采集单元801采集所述指定区域范围内的至少一个预选目标的图像信息;接收所述通信设备发送的三维视频采集指令,控制三维视频采集单元801采集所述跟踪目标的三维视频图像;将采集的跟踪目标的三维视频图像过无线通信单元发送给通信设备。
综上所述,本发明所公开的基于无人机的三维视频通信方法,通过在接收到视频通话建立请求时,向无人机发送控制指令;控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;再从所述至少一个预选目标中选取跟踪目标。在视频通话建立之后,向无人机发送三维视频采集指令;控制无人机采集所述跟踪目标的三维视频图像;将所述三维视频图像发送给第二通信设备。从而实现在视频通信的过程中,通话双方能够根据无人机采集的三维视频图像实现立体通话的体验,解决了现有技术中只能传输二维图像所存在的缺陷。
并且,在视频通话的过程中,能够控制无人机跟随跟踪目标的移动而移动,解决了现有的视频通话中,固定的图像采集单元将通话使用者限制在一个小区域内的问题。还避免了因使用手机等移动设备进行视频通话存在姿势受限,长时间通话导致身体疲劳的问题。
并且,在视频通话的过程中,双方能够相互发送飞行控制指令控制对端的无人机,增加了视频通话的互动性。
为了便于清楚描述本发明实施例的技术方案,在发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种基于无人机的三维视频通信方法,其特征在于,包括:
第一通信设备接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;
接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标,将所述跟踪目标发送给无人机;
向无人机发送三维视频采集指令;所述三维视频采集指令用于指示无人机采集所述跟踪目标的三维视频图像;
接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
2.根据权利要求1所述的方法,其特征在于,所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息包括:
第一通信设备发送起飞控制指令控制无人机完成自主起飞之后,向无人机发送跟随控制指令;所述跟随控制指令用于控制所述无人机飞至与所述第一通信设备相距在预设范围内之后,进入自主悬停状态;
第一通信设备向无人机发送采集控制指令,所述采集控制指令用于控制无人机在自主悬停状态下,采集无人机所在区域内的至少一个预选目标的图像信息。
3.根据权利要求1所述的方法,其特征在于,所述接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标,将所述跟踪目标发送给无人机包括:
第一通信设备接收无人机发送的至少一个预选目标的图像信息,将所述至少一个预选目标的图像信息显示在第一通信设备的显示屏幕上供用户选取;
接收用户输入的选取指令,从所述至少一个预选目标中选取跟踪目标;
将选取的跟踪目标发送给无人机。
4.根据权利要求1所述的方法,其特征在于,所述向无人机发送三维视频采集指令包括:
第一通信设备与第二通信设备建立视频通话之后,向无人机发送三维视频采集指令;所述三维视频采集指令控制无人机采集所述跟踪目标的三维视频图像;
在所述跟踪目标的位置发生变动时,该方法进一步包括:
第一通信设备向无人机发送跟随控制指令,所述跟随控制指令用于控制无人机跟随所述跟踪目标移动。
5.根据权利要求1所述的方法,其特征在于,所述将所述三维视频图像发送给第二通信设备包括:
第一通信设备采集视频通话过程中的语音通话信号,对所述语音通话信号进行语音识别后生成对应的文字内容;
在所述三维视频图像的预设区段中添加所述文字内容;将所述添加了文字内容的三维视频图像发送给第二通信设备。
6.根据权利要求4所述的方法,其特征在于,所述第一通信设备与第二通信设备建立视频通话之后,该方法进一步包括:
第一通信设备接收用户输入的飞行控制指令,将所述飞行控制指令发送给无人机;所述飞行控制指令用于控制所述无人机根据所述飞行控制指令进行相应的飞行动作;
或者,
第一通信设备接收第二通信设备发送的飞行控制指令,将所述飞行控制指令发送给无人机;所述飞行控制指令用于控制所述无人机根据所述飞行控制指令进行相应的飞行动作;
其中,所述飞行控制指令通过对用户输入的语音控制指令进行解析得到;
和/或,飞行控制指令通过对用户输入的按键控制指令进行解析得到;
和/或,飞行控制指令通过对检测到的用户手势进行解析得到。
7.根据权利要求1所述的方法,其特征在于,该方法进一步包括:
第一通信设备向无人机发送三维模型采集指令;所述三维模型采集指令用于指示无人机环绕所述跟踪目标飞行,采集所述跟踪目标的三维模型图像;
接收无人机发送的所述跟踪目标的三维模型图像,将所述三维模型图像发送给第二通信设备。
8.一种通信设备,其特征在于,包括:
指令发送模块,用于在接收到第二通信设备发送的视频通话建立请求时,向无人机发送控制指令;所述控制指令用于控制无人机飞至指定区域,采集所述指定区域范围内的至少一个预选目标的图像信息;用于在与第二通信设备建立视频通话连接时,向无人机发送三维视频采集指令;所述三维视频采集指令用于指示无人机采集所述跟踪目标的三维视频图像;
交互显示模块,用于接收无人机发送的至少一个预选目标的图像信息并显示,从所述至少一个预选目标中选取跟踪目标;将所述跟踪目标发送给无人机;
视频收发模块,用于接收无人机发送的所述跟踪目标的三维视频图像,将所述三维视频图像发送给第二通信设备。
9.根据权利要求8所述的通信设备,其特征在于,
所述指令发送模块,用于发送起飞控制指令控制无人机完成自主起飞之后,根据与所述无人机之间的无线通信信号的强弱值,计算第一通信设备与所述无人机之间的相对位置关系;
所述指令发送模块,用于根据所述相对位置关系,向无人机发送跟随控制指令;所述跟随控制指令用于控制所述无人机飞至与所述第一通信设备相距在预设范围内之后,进入自主悬停状态;
所述指令发送模块,用于向无人机发送采集控制指令,所述采集控制指令用于控制无人机在自主悬停状态下,采集无人机所在区域内的至少一个预选目标的图像信息。
10.一种无人机,其特征在于,包括:指令接收处理单元、无线通信单元,以及至少一个三维视频采集单元;
无线通信单元,用于建立与通信设备的无线连接;
指令接收处理单元,用于接收所述通信设备发送的控制指令,根据所述控制指令飞至指定区域,控制三维视频采集单元采集所述指定区域范围内的至少一个预选目标的图像信息;接收所述通信设备发送的三维视频采集指令,控制三维视频采集单元采集所述跟踪目标的三维视频图像;将采集的跟踪目标的三维视频图像过无线通信单元发送给通信设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611266714.2A CN106878651B (zh) | 2016-12-31 | 2016-12-31 | 一种基于无人机的三维视频通信方法、通信设备和无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611266714.2A CN106878651B (zh) | 2016-12-31 | 2016-12-31 | 一种基于无人机的三维视频通信方法、通信设备和无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106878651A true CN106878651A (zh) | 2017-06-20 |
CN106878651B CN106878651B (zh) | 2020-10-27 |
Family
ID=59165424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611266714.2A Active CN106878651B (zh) | 2016-12-31 | 2016-12-31 | 一种基于无人机的三维视频通信方法、通信设备和无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106878651B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110800290A (zh) * | 2017-06-23 | 2020-02-14 | T移动美国公司 | 通过通信网络的设备间的视频通话连续性 |
CN111638723A (zh) * | 2019-03-01 | 2020-09-08 | 北京京东尚科信息技术有限公司 | 无人机的飞行控制方法和装置 |
CN112040146A (zh) * | 2020-09-08 | 2020-12-04 | 北京字跳网络技术有限公司 | 视频生成方法、装置、电子设备及计算机可读介质 |
CN112532508A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种视频通信方法及视频通信装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050021202A1 (en) * | 2003-04-25 | 2005-01-27 | Lockheed Martin Corporation | Method and apparatus for video on demand |
CN104902212A (zh) * | 2015-04-30 | 2015-09-09 | 努比亚技术有限公司 | 一种视频通信方法及装置 |
CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控(北京)智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
CN105812708A (zh) * | 2016-03-18 | 2016-07-27 | 严俊涛 | 视频通话方法及系统 |
CN105847913A (zh) * | 2016-05-20 | 2016-08-10 | 腾讯科技(深圳)有限公司 | 一种控制视频直播的方法、移动终端及系统 |
CN106161953A (zh) * | 2016-08-12 | 2016-11-23 | 零度智控(北京)智能科技有限公司 | 一种跟踪拍摄方法和装置 |
CN106227231A (zh) * | 2016-07-15 | 2016-12-14 | 深圳奥比中光科技有限公司 | 无人机的控制方法、体感交互装置以及无人机 |
-
2016
- 2016-12-31 CN CN201611266714.2A patent/CN106878651B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050021202A1 (en) * | 2003-04-25 | 2005-01-27 | Lockheed Martin Corporation | Method and apparatus for video on demand |
CN104902212A (zh) * | 2015-04-30 | 2015-09-09 | 努比亚技术有限公司 | 一种视频通信方法及装置 |
CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控(北京)智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
CN105812708A (zh) * | 2016-03-18 | 2016-07-27 | 严俊涛 | 视频通话方法及系统 |
CN105847913A (zh) * | 2016-05-20 | 2016-08-10 | 腾讯科技(深圳)有限公司 | 一种控制视频直播的方法、移动终端及系统 |
CN106227231A (zh) * | 2016-07-15 | 2016-12-14 | 深圳奥比中光科技有限公司 | 无人机的控制方法、体感交互装置以及无人机 |
CN106161953A (zh) * | 2016-08-12 | 2016-11-23 | 零度智控(北京)智能科技有限公司 | 一种跟踪拍摄方法和装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110800290A (zh) * | 2017-06-23 | 2020-02-14 | T移动美国公司 | 通过通信网络的设备间的视频通话连续性 |
US10958872B2 (en) | 2017-06-23 | 2021-03-23 | T-Mobile Usa, Inc. | Video call continuity between devices via a telecommunications network |
US11412179B2 (en) | 2017-06-23 | 2022-08-09 | T-Mobile Usa, Inc. | Video call continuity between devices via a telecommunications network |
US11950018B2 (en) | 2017-06-23 | 2024-04-02 | T-Mobile Usa, Inc. | Video connection continuity between devices |
CN111638723A (zh) * | 2019-03-01 | 2020-09-08 | 北京京东尚科信息技术有限公司 | 无人机的飞行控制方法和装置 |
CN112532508A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种视频通信方法及视频通信装置 |
WO2021052388A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 一种视频通信方法及视频通信装置 |
CN112532508B (zh) * | 2019-09-18 | 2022-06-14 | 华为技术有限公司 | 一种视频通信方法及视频通信装置 |
CN112040146A (zh) * | 2020-09-08 | 2020-12-04 | 北京字跳网络技术有限公司 | 视频生成方法、装置、电子设备及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106878651B (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106878651A (zh) | 一种基于无人机的三维视频通信方法、通信设备和无人机 | |
CN113439486B (zh) | 用于显示用于使用ma pdu会话的信息的方法和终端 | |
US11250869B2 (en) | Audio zoom based on speaker detection using lip reading | |
CN107450573B (zh) | 飞行拍摄控制系统和方法、智能移动通信终端、飞行器 | |
CN112994997B (zh) | 处理方法、处理设备及存储介质 | |
CN105058389A (zh) | 一种机器人系统、机器人控制方法及机器人 | |
CN205787905U (zh) | 无人飞行器、无人飞行器控制端及系统 | |
CN102694980A (zh) | 移动终端、移动终端摄像头的远程控制系统及方法 | |
CN107071389A (zh) | 航拍方法、装置和无人机 | |
CN105682158A (zh) | 一种无人飞行器的通信控制方法及装置 | |
CN204741528U (zh) | 立体沉浸式体感智能控制器 | |
CN112468655A (zh) | 智能电子装置 | |
CN107765709A (zh) | 基于飞行器实现自拍的方法及装置 | |
CN105163061A (zh) | 远端视频交互系统 | |
CN205121351U (zh) | 一种用于控制无人机的智能眼镜及系统 | |
CN104811615A (zh) | 一种体感控制摄像系统及方法 | |
CN105194877A (zh) | 一种第一视角遥控的玩具坦克 | |
CN107343165A (zh) | 一种监控方法、设备及系统 | |
WO2021088684A1 (zh) | 全向避障方法及无人飞行器 | |
WO2021078003A1 (zh) | 无人载具的避障方法、避障装置及无人载具 | |
CN105635776A (zh) | 虚拟操作界面遥控控制方法及系统 | |
CN114245267B (zh) | 多设备协同工作的方法、系统及电子设备 | |
WO2019127478A1 (zh) | 无人机的控制方法、飞行控制器及无人机 | |
CN105013191A (zh) | 一种基于智能终端的玩具飞机遥控系统及其遥控方法 | |
US10691405B2 (en) | Sound control apparatus, sound control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |