CN112689091B - 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质 - Google Patents

水下全景拍摄方法、全景拍摄设备和直播系统及存储介质 Download PDF

Info

Publication number
CN112689091B
CN112689091B CN202011532446.0A CN202011532446A CN112689091B CN 112689091 B CN112689091 B CN 112689091B CN 202011532446 A CN202011532446 A CN 202011532446A CN 112689091 B CN112689091 B CN 112689091B
Authority
CN
China
Prior art keywords
panoramic
shooting
overwater
control terminal
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011532446.0A
Other languages
English (en)
Other versions
CN112689091A (zh
Inventor
黄琴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth New World Technology Co ltd
Original Assignee
Shenzhen Skyworth New World Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth New World Technology Co ltd filed Critical Shenzhen Skyworth New World Technology Co ltd
Priority to CN202011532446.0A priority Critical patent/CN112689091B/zh
Publication of CN112689091A publication Critical patent/CN112689091A/zh
Application granted granted Critical
Publication of CN112689091B publication Critical patent/CN112689091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Studio Devices (AREA)

Abstract

本发明公开了一种水下全景拍摄方法,包括:接收水上转发装置转发的拍摄信号,所述拍摄信号由陆地显控终端发送至水上转发装置转发;响应于所述拍摄信号,拍摄可见光全景图像和红外全景图像;将所述可见光全景图像和所述红外全景图像经由水上转发装置转发至陆地显控终端,以供陆地显控终端将所述可见光全景图像发送至与所述陆地显控终端连接的直播设备进行直播,并根据所述红外全景图像规划全景拍摄装置的航行轨迹。本发明还公开了一种全景拍摄设备、直播系统及计算机可读存储介质。通过直播可见光全景图像,可将水下全景逼真的展示给用户,且可根据红外全景图像提前规划轨迹,避免错失美景导致拍摄效果不佳,提高了水下全景拍摄的拍摄效果。

Description

水下全景拍摄方法、全景拍摄设备和直播系统及存储介质
技术领域
本发明涉及全景拍摄技术领域,尤其涉及一种水下全景拍摄方法、全景拍摄设备、全景直播系统及计算机可读存储介质。
背景技术
水下摄影是摄影者携带有防护罩的摄影机和潜水装备,潜入水中直接拍摄,在科研、军事技术、体育、教学等方面应用较广。
然而,潜水者下潜时,海水会对其肺部造成很大压力,有些人甚至会经历所谓的“浅水昏厥”,在上浮过程中接近水面的时候失去意识。如果不需要潜水就能观看到精彩绝伦的海底风光,那无疑是游客们的最佳选择。传统的水下拍摄设备受限于单镜头视角,且承载摄像机的遥控设备水下转向速度较慢,不能给用户身临其境的视觉感受。而设备转向灵敏度差,则会使得设备无法及时转向,以至于错失很多的水下景致,导致水下全景拍摄效果不佳。
发明内容
本发明主要目的在于提供一种水下全景拍摄方法、全景拍摄设备、全景直播系统及计算机可读存储介质,旨在解决现有技术中水下拍摄设备转向灵敏度差,导致全景拍摄效果不佳的问题。
为实现上述目的,本发明提供一种水下全景拍摄方法,应用于全景拍摄设备,所述全景拍摄设备包括全景拍摄装置和与所述全景拍摄装置连接的水上转发装置,且所述水上转发装置与陆地显控终端连接,所述方法包括以下步骤:
接收水上转发装置转发的拍摄信号,所述拍摄信号由陆地显控终端发送至水上转发装置转发;
响应于所述拍摄信号,拍摄可见光全景图像和红外全景图像;
将所述可见光全景图像和所述红外全景图像经由水上转发装置转发至陆地显控终端,以供陆地显控终端将所述可见光全景图像发送至与所述陆地显控终端连接的直播设备进行直播,并根据所述红外全景图像规划全景拍摄装置的航行轨迹。
可选地,所述全景拍摄装置包括:导航定位组件和第一动力组件,所述将所述可见光全景图像和所述红外全景图像经由水上转发装置转发至陆地显控终端的步骤之后,还包括:
接收水上转发装置转发的航行轨迹,所述航行轨迹由陆地显控终端发送至水上转发装置转发;
获取导航定位组件根据所述航行轨迹计算的第一动力参数;
控制所述第一动力组件按照所述第一动力参数运行,以推动所述全景拍摄装置按照所述航行轨迹行进。
可选地,所述水上转发装置包括第二动力组件,所述控制所述第一动力组件按照所述第一动力参数运行的步骤之后,还包括:
获取第一距离信息和第二距离信息,所述第一距离信息为水上转发装置与全景拍摄装置之间的距离信息,所述第二距离信息为水上转发装置与陆地显控终端之间的距离信息;
根据所述第一距离信息和所述第二距离信息确定水上转发装置是否在第一通信范围与第二通信范围内,所述第一通信范围为全景拍摄设备的通信组件的通信范围,所述第二通信范围为陆地显控终端的通信范围;
若水上转发装置在第一通信范围内且在第二通信范围内,则根据所述第一距离信息、所述第二距离信息和所述第一动力参数确定第二动力参数;
控制第二动力组件按照所述第二动力参数运行,以使水上转发装置在第一通信范围与第二通信范围的交集内跟随所述全景拍摄装置行进。
可选地,所述根据所述第一距离信息和所述第二距离信息确定水上转发装置是否在第一通信范围与第二通信范围内的步骤包括:
判断所述第一距离信息是否小于第一距离阈值且所述第二距离信息是否小于第二距离阈值,所述第一距离阈值小于全景拍摄设备的通信组件的通信范围阈值,所述第二距离阈值小于陆地显控终端的通信范围阈值;
若所述第一距离信息小于第一距离阈值且所述第二距离信息小于所述第二距离阈值,则确定水上转发装置在第一通信范围内且在第二通信范围内。
可选地,所述全景拍摄装置包括第一定位组件,所述水上转发装置包括第二定位组件,所述获取第一距离信息和第二距离信息的步骤包括:
获取所述第一定位组件采集的第一位置信息、所述第二定位组件采集的第二位置信息和所述水上转发装置转发的第三位置信息,所述第三位置信息为陆地显控终端的位置信息;
根据所述第一位置信息和所述第二位置信息确定所述第一距离信息,并获取;
根据所述第二位置信息和所述第三位置信息确定所述第二距离信息,并获取。
此外,为实现上述目的,本发明还提供一种全景拍摄设备,所述全景拍摄设备包括全景拍摄装置和水上转发装置,所述全景拍摄装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水下全景拍摄程序,所述水下全景拍摄程序被所述处理器执行时实现如上所述的水下全景拍摄方法的步骤,且所述水上转发装置与所述处理器连接。
可选地,所述全景拍摄装置包括:多个摄像头和摄像处理模组,其中:
所述多个摄像头,用于采集红外图像和可见光图像,且所述多个摄像头的拍摄光轴共轴心;
所述摄像处理模组,用于将所述多个摄像头采集的可见光图像进行拼接融合并压缩,得到可见光全景图像,并将所述多个摄像头采集的红外图像进行拼接融合并压缩,得到红外全景图像。
可选地,所述全景拍摄装置还包括:
透明球形防护罩,所述透明球形防护罩的球心与所述多个摄像头的轴心重合,用于抵抗水压并阻止水进入全景摄像头。
此外,为实现上述目的,本发明还提供一种全景直播系统,所述全景直播系统包括如上所述的全景拍摄设备、陆地显控终端和直播设备;其中,全景拍摄设备用于全景拍摄设备用于拍摄并向陆地显控终端转发可见光全景图像和红外全景图像;陆地显控终端用于接收全景拍摄设备发送的可见光全景图像和红外全景图像,以将可见光全景图像用于直播,并根据红外全景图像为所述全景拍摄装置规划行进轨迹;直播设备,用于接收陆地显控终端发送的可见光全景图像,并对接收到的可见光全景图像进行直播。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有水下全景拍摄程序,所述水下全景拍摄程序被处理器执行时实现如上所述的水下全景拍摄方法的步骤。
本发明实施例通过将可见光全景图像和红外全景图像经由水上转发装置转发至陆地显控终端,以使陆地显控终端将可见光全景图像发送至与陆地显控终端连接的直播设备进行直播,并根据红外全景图像规划全景拍摄装置的航行轨迹。也即,既可以将水下景观实时逼真的进行直播,也可以由陆地显控终端根据红外全景图提前为全景拍摄装置规划航行轨迹,避免因全景拍摄装置在水下的转动灵敏度差导致无法及时转向而错失美景,提高了水下全景拍摄的拍摄效果。
附图说明
图1是本发明水下全景拍摄方法第一实施例的流程示意图;
图2为本发明水下全景拍摄方法第二实施例的流程示意图;
图3为本发明一实施例中的全景拍摄设备的组成结构示意图;
图4为本发明一实施例中全景拍摄装置的组成结构示意图;
中多个摄像头的分布示意图;
图5为本发明一实施例中全景拍摄装置的多个摄像头的分布示意图;
图6为本发明一实施例中全景拍摄装置的多个摄像头的分布的左视图示意图;
图7为本发明一实施例中的全景直播系统的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明水下全景拍摄方法的第一实施例流程图,本实施例中,所述水下全景拍摄方法包括以下步骤:
步骤S10:接收水上转发装置转发的拍摄信号,所述拍摄信号由陆地显控终端发送至水上转发装置转发;
本实施例中,所述水下全景拍摄方法应用于全景拍摄设备,所述全景拍摄设备包括全景拍摄装置和与全景拍摄装置连接的水上转发装置,且所述水上转发装置与陆地显控终端连接。其中,全景拍摄装置可用于对水下景观进行全景拍摄,所拍摄的全景图像可同时包括可见光全景图像和红外全景图像,可见光全景图像尤指获取物体可见光的强度而成的图像,红外全景图像尤指获取物体红外光的强度而成的图像;所述水上转发装置位于水面上,可用于将全景拍摄装置拍摄的全景视频或全景图像转发给陆地显控终端,且可用于将陆地显控终端发送的控制指令(如拍摄指令,导航指令等)转发给全景拍摄装置;所述陆地显控终端为脱离水面的终端,可以是手机、电脑或VR/AR显示设备(如AR手表,AR眼镜)等具有显示功能的终端,可用于对水上转发装置转发的可见光全景图像和红外全景图像进行显示,且可将接收到的全景图像发送至与所述陆地显控终端连接的直播设备进行直播。另外,全景拍摄装置与水上转发装置可通过声波等无线方式连接,陆地显控终端与水上转发装置可通过电磁波,如WIFI或蓝牙等无线方式连接。
于是,在陆地显控终端接收到用户触发的拍摄操作时,可将拍摄信号以无线电方式发送给水上转发装置,然后由水上转发装置将所述拍摄信号转换以声波等形式传输给全景拍摄装置。
步骤S20:响应于所述拍摄信号,拍摄可见光全景图像和红外全景图像;
全景拍摄装置在接收到水上转发装置转发的拍摄信号后,可响应于所述拍摄信号,进行全景拍摄。由于全景拍摄装置的摄像头既可对红外光成像也可对可见光成像,所拍摄的全景图像包括可见光全景图像和红外全景图像。
在一实施例中,该全景拍摄装置包括多个摄像头和摄像处理模组。其中,多个摄像头以其中一个为轴心,其他摄像头在水平方向上环绕该轴心均匀分布,以便于获取360°范围内的全景图像,且多个摄像头对红外光和可见光均可成像。在多个摄像头采集到水下图像后,摄像处理模组可将每个个摄像头采集的可见光全景图像进行拼接融合并压缩,以及将每个摄像头采集的红外全景图像进行拼接融合并压缩,得到清晰完整的可见光全景图像和红外全景图像。
在另一实施例中,为抵抗水下压力并阻止水进入全景摄像头,以对全景摄像头形成保护,该全景拍摄装置还包括透明球形防护罩。该透明球形防护罩的球心与全景拍摄装置的多个摄像头的轴心重合,如此,当全景拍摄装置在水下时,水和球形防护罩相对于全景摄像头构成了一个对光具有折射作用的透镜,将会对全景摄像头上的每一个摄像头的最终成像结果产生影响。然而,当球形防护罩的球心和全景摄像头的轴心重合时,水和球形防护罩构成的具有透镜作用的入射介质对每一个摄像头的成像影响是一致的,因此全景摄像头所包括的多个摄像头可以是一样的摄像头,在摄像头的设计制作过程中,便不需要考虑非共心球形防护罩对每一摄像头的成像的影响,可以简化摄像头的制作,降低制作成本。
步骤S30:将所述可见光全景图像和所述红外全景图像经由水上转发装置转发至陆地显控终端,以供陆地显控终端将所述可见光全景图像发送至与所述陆地显控终端连接的直播设备进行直播,并根据所述红外全景图像规划全景拍摄装置的航行轨迹;
在全景拍摄装置拍摄到可见光全景图像和红外全景图像后,可将所拍摄的可见光全景图像和红外全景图像以水声通信信号的形式发送给水上转发装置,再由水上转发装置将所接收到的可见光全景图像和红外全景图像以无线电形式转发给陆地显控终端。
于是,陆地显控终端在接收到水上转发装置转发的可见光全景图像和红外全景图像后,一方面,由于陆地显控终端包括直播组件,可以将可见光全景图像和/或红外全景图像发送至与该直播组件可通信连接的直播设备,在这些直播设备上对水下景观进行直播。所述直播设备为可与直播平台连接的终端,可以是手机、电脑或VR/AR显示设备(如AR手表,AR眼镜)等具有显示功能的终端。为了将水下景观实时逼真的展现给用户,以达到较好的显示效果,优选将可见光全景图像发送至与陆地显控终端连接的直播设备进行直播;当然,也可以选择将可见光全景图像和红外全景图像同时发送至直播设备,以便直播设备端的用户根据红外全景图像指定需要拍摄的目标物体(如珊瑚),目标方向(如朝向珊瑚密集位置的方向)等拍摄需求。此时,可由陆地显控终端对直播设备端的拍摄需求数据进行统计,选取统计数量最高或最集中的拍摄需求生成控制指令,并将所生成的控制指令和拍摄信号发送给水上转发装置,再由水上转发装置将控制指令和拍摄信号发送给全景拍摄装置,全景拍摄装置便可以对所接收到的控制指令和拍摄信号做出响应,按照接收到的控制指令执行拍摄操作。由于红外光在水中的穿透力强,使得全景拍摄装置能够拍摄到更大范围的水下全景图像,如此,在水上转发装置将全景拍摄装置拍摄的全景图像转发至陆地显控终端之后,陆地显控终端便可通过红外全景图像提前规划全景拍摄装置的航行轨迹,使得水下的全景拍摄装置按照所规划的航行轨迹行进并拍摄全景图像,更加有利于陆地显控终端对全景拍摄装置的航行轨迹进行遥控,避免全景拍摄装置转动灵敏度较差无法及时规划航行轨迹,导致错失水下美景,错失想要拍摄的目标观测物。所规划的航行轨迹可以是拍摄水下景致的拍摄轨迹,也可以是在遇到障碍物时的避障轨迹,或是两者的结合等。
另一方面,也可以由用户根据陆地显控终端显示的红外全景图像来指定想要观测的目标观测物或目标方位等。然后,陆地显控终端可根据所指定的目标观测物或目标方位为全景拍摄装置规划航行轨迹。如,用户可根据陆地显控终端所显示的红外全景图像确定是否需要更改全景拍摄装置的航行轨迹,若陆地显控终端侧用户确定需要更改全景拍摄装置的航行轨迹,可在陆地显控终端上对触发更改航行轨迹的轨迹更改指令,该轨迹更改指令可包括向指定的目标观测物航行的轨迹指令,或向目标方向航行的轨迹指令等。于是,陆地显控终端在接收到轨迹更改指令时,可根据所接收到的轨迹更改指令规划航行轨迹。如,可基于轨迹更改指令对应的目标观测物与全景拍摄装置的距离,相对方位,移动状态等规划航行轨迹;或是基于目标观测方向上的观测物的分布,尺寸,移动速度等规划航行轨迹。在陆地显控终端规划航行轨迹后,可将所规划的航行轨迹由水上转发装置转发至全景拍摄装置,如此,全景拍摄装置便可按照所规划的航行轨迹向目标观测物行进或向目标方向行进。
一具体的实施例中,陆地显控终端可先根据红外全景图像中观测物的分布情况确定是否需要更改全景拍摄装置的航行轨迹,如,在当前航行轨迹上无观测物或观测物甚少或提前指定的目标观测物时,确定需要更改全景拍摄装置的航行轨迹。在需要更改全景拍摄装置的航行轨迹时,可根据红外全景图像自主确定全景拍摄装置的航行方向、航行距离和航行速度,然后以所确定的航行方向、航行距离和航行速度规划全景拍摄装置的航行轨迹。如,若红外全景图像中确定西北方向的观测物数量较多或观测物分布比较集中,则可将西北方向确定为航行方向;然后,可根据西北方向的观测物与全景拍摄装置的距离确定航行距离,该距离可以以距离全景拍摄装置距离最近的观测物进行界定,也可以以全景拍摄装置所需转动角度最小的观测物进行界定,也即可以将全景拍摄装置距离最近的观测物的距离作为航行距离,或是将全景拍摄装置与转动最小角度就可以观测到的观测物之间的距离作为航行距离,亦或是将两者结合起来考量等。同时,可根据观测物的尺寸、移动速度或加速度以及全景拍摄装置距离观测物的距离等参数确定全景拍摄装置的移动速度,如,为避免与观测物发生碰撞,在观测物为非移动状态时,若观测物较大且距离观测物较远,航行速度可以是先加速后减速,若观测物较大且距离观测物较近,航行速度应以较小的速度保持匀速移动;在观测物为移动状态时,需考虑到观测物移动方向和移动速度或加速度等移动参数,如观测物与全景拍摄装置相向而行时,应减小航行速度,而在观测物与全景拍摄装置背向而行时,在距离相差无几时可以以观测物相同的移动速度行进,在距离较远时可以加速,在距离较近时,可以减速。在具体的应用环境中,可结合上述多方面的参数进行多维度的考量,以在提前规划拍摄轨迹,避免直接根据可见光规划航行轨迹时由于转动灵敏度差导致及时转向而错失美景的同时,也可以提前规划避障路线,避免因转动灵敏度较差与障碍物发生碰撞对全景拍摄装置造成损坏。当然,在一些其他的实施例中,也可由全景拍摄装置根据所拍摄的红外全景图像自主规划航行轨迹。
值得注意的是,在其他的一些实施例中,水上转发装置也可以是独立于全景拍摄设备与全景拍摄设备连接,直接与全景拍摄设备交互,而并非包括于全景拍摄设备中。
本实施例中全景拍摄装置通过所拍摄的将可见光全景图像和红外全景图像经由水上转发装置转发至陆地显控终端,使得陆地显控终端可将可见光全景图像发送至与陆地显控终端连接的直播设备进行直播,且可根据红外全景图像规划全景拍摄装置的航行轨迹,避免因转动灵敏度较差,无法及时转向导致错失美景。即,不仅能够将彩色的可见光全景图像以直播形式实时逼真的呈现给用户,而且能够根据红外全景图像提前规划航行轨迹,使全景拍摄装置按照所规划的航行轨迹行进,以拍摄到更多更好看的美景,从而提高全景拍摄装置的拍摄效果。
参照图2,图2为本发明水下全景拍摄方法的第二实施例流程图。本实施例中,所述水下全景拍摄方法包括以下步骤:
步骤S11:接收水上转发装置转发的拍摄信号,所述拍摄信号由陆地显控终端发送至水上转发装置转发;
步骤S12:响应于所述拍摄信号,拍摄可见光全景图像和红外全景图像;
步骤S13:将所述可见光全景图像和所述红外全景图像经由水上转发装置转发至陆地显控终端,以供陆地显控终端将所述可见光全景图像发送至与所述陆地显控终端连接的直播设备进行直播,并根据所述红外全景图像规划全景拍摄装置的航行轨迹;
步骤S14:接收水上转发装置转发的航行轨迹,所述航行轨迹由陆地显控终端发送至水上转发装置转发;
步骤S15:获取导航定位组件根据所述航行轨迹计算的第一动力参数;
步骤S16:控制所述第一动力组件按照所述第一动力参数运行,以推动所述全景拍摄装置按照所述航行轨迹行进。
本实施例中,全景拍摄设备还包括位于所述全景拍摄装置的导航定位组件和第一动力组件,其中导航定位组件可用于计算第一动力组件的第一动力参数,第一动力组件用于按照导航定位组件计算的动力参数推动全景拍摄装置行进。于是,在将可见光全景图像和红外全景图像经由水上转发装置转发至陆地显控终端之后,若接收到水上转发装置转发的来自于陆地显控终端的航行轨迹时,可由导航定位组件根据接收到的航行轨迹计算的第一动力组件的第一动力参数,所计算的第一动力参数可包括电机转速、转动频率和振幅等参数,具体可根据航行轨迹对应的轨迹线路,航行距离和航行速度等计算。如在轨迹线路曲折,或航行距离较远,或航行速度较快时,可调大电机转速、转动频率和振幅等动力参数,以按照所规划的航行轨迹快速安全的行驶至目标区域或目标位置;在轨迹线路较直,或航行距离较近,或航行速度较慢时,可调小电机转速、转动频率和振幅等动力参数,以按照所规划的航行轨迹更加安全节能的行驶至目标区域或目标位置。然后,在确定第一动力组件的动力参数后,全景拍摄装置可控制第一动力组件按照所计算的动力参数运行,以推动全景拍摄装置按照航行轨迹行进。
另一实施例中,全景拍摄设备还包括位于水上转发装置的第二动力组件,该第二动力组件可用于推动水上转发装置跟随全景拍摄装置行进。而在推动水上转发装置跟随全景拍摄装置行进的过程中,需要保证水上转发装置同时在全景拍摄装置和陆地显控装置的通信范围内,水上转发装置才能正常的转发信号,从而保证直播的顺利进行。具体地,可先获取水上转发装置与全景拍摄装置之间的第一距离信息,以及水上转发装置与陆地显控终端之间的第二距离信息,然后根据第一距离信息和第二距离信息确定水上转发装置是否在第一通信范围与第二通信范围内,以在水上转发装置在第一通信范围内且在第二通信范围内时,根据所获取的第一距离信息、第二距离信息和第一动力参数确定第二动力组件的第二动力参数,从而控制第二动力组件按照第二动力参数运行,以保证水上转发装置能够在第一通信范围与第二通信范围的交集范围内跟随全景拍摄装置行进。
其中,根据第一距离信息、第二距离信息和第一动力参数确定第二动力组件的第二动力参数的过程可以是:先根据第二距离信息确定水上转发装置的可移动区域,再在水上转发装置的可移动区域根据第一距离信息和第一动力组件的第一动力参数来确定第二动力组件的第二动力参数。如,若在可移动距离内检测到第一距离信息超过预设距离信息,则为了避免全景拍摄装置速度较快导致容易很快与水上转发装置拉开很大的距离,使得水上转发装置无法追上,水上转发装置可以通过提高第二动力组件的电机转速、转动频率和振幅等第二动力参数,以一定的速度跟随全景拍摄装置移动,或是以一定的时间间隔跟随全景拍摄装置移动等。具体可以预先划分多个连续的距离区间,不同的距离区间可对应不同的第二动力参数或不同数量的第二动力参数,如预先划分第一距离区间,第二距离区间和第三距离这三个距离从小到大的连续距离区间,若第一距离信息在第一距离区间内,则可以将提高转速;若第一距离信息在第二距离区间内,则可以先提高转速,再提高频率;若第一距离信息在第三距离区间内,则可以先提高转速与频率,再提高振幅。如此,可以在可移动区域内,使水上转发装置以一定的速度跟随全景拍摄装置移动。另外,在可移动区域内,若第一距离信息不超过预设距离信息,出于节能的目的,水上转发装置可以暂时保持不动;当然,为了避免全景拍摄装置速度较快容易很快与水上转发装置拉开很大的距离,使得水上转发装置无法追上,水上转发装置可以以较慢的速度匀速跟随全景拍摄装置移动,或是以一定的时间间隔跟随全景拍摄装置移动等。考虑到障碍物的影响,还可结合航行轨迹实时调整第二动力组件的第二动力参数,以调整水上转发装置的行进速度与方向等,避免对水上转发装置造成损坏。
一实施例中,根据第一距离信息和第二距离信息确定水上转发装置是否在第一通信范围与第二通信范围内的方式可以是:先判断第一距离信息是否小于第一距离阈值且第二距离信息是否小于第二距离阈值,若第一距离信息小于第一距离阈值且第二距离信息小于第二距离阈值,则确定水上转发装置在第一通信范围内且在第二通信范围内,也即认为水上转发装置可与全景拍摄装置和陆地显控终端正常通信,此时,在全景拍摄装置按照所接收的航行轨迹行进时,为保证水上转发装置与全景拍摄装置的正常通信,需要使水上转发装置以一定的速度跟随全景拍摄装置行进,同时在行进的过程中还需继续保持水上转发装置与全景拍摄装置和陆地显控终端的正常通信。若第一距离信息大于第一距离阈值,则此时水上转发装置与全景拍摄装置无法正常通信;若第二距离信息大于第二距离阈值,则水上转发装置与陆地显控终端无法正常通信。当然由于水上转发装置与全景拍摄装置无法正常通信或水上转发装置与陆地显控终端无法正常通信,无法正常获取到第一距离信息和第二距离信息,因而,也可以以无法接收到第二位置信息和第三位置信息为依据判断水上转发装置是否在第一通信范围内且在第二通信范围内。当然,保险起见,第一距离阈值应小于全景拍摄装置的通信组件的通信范围阈值,第二距离阈值应小于陆地显控终端的通信范围阈值,如此,避免水上转发装置与全景拍摄装置的第一距离信息接近第一通信范围或水上转发装置与陆地显控终端的第二距离信息接近第二通信范围时,由于误差、灵敏度和边缘信号差等因素,使水上转发装置无法及时跟随全景拍摄装置移动或者脱离第二通信范围,导致水上转发装置与全景拍摄装置和/或陆地显控终端断开通信连接。
另一实施例中,全景拍摄设备还包括位于全景拍摄装置的第一定位组件和位于水上转发装置的第二定位组件,第一定位组件可用于采集全景拍摄装置的位置信息,第二定位组件用于采集水上转发装置的位置信息。因而,为了获取水上转发装置与全景拍摄装置之间的第一位距离信息和水上转发装置与陆地显控终端之间的第二距离信息,可以获取所述第一定位组件采集的第一位置信息,第二定位组件采集的第二位置信息和水上转发装置转发的第三位置信息,所述第三位置信息由位于陆地显控终端的第三定位组件采集后,由陆地显控终端发送至水上转发装置转发的位置信息;当然,在一些特定的应用场景中,第三位置信息也可以是由位于水上转发装置的第四定位组件采集。其中,第一位置信息为全景拍摄装置的位置信息,第二位置信息为水上转发装置的位置信息,第三位置信息为陆地显控终端的位置信息;第一定位组件、第二定位组件和第三定位组件可以是GPS定位组件等;第四定位组件可以是激光雷达等定位组件。然后,根据第一位置信息和第二位置信息可以确定水上转发装置与全景拍摄装置之间的第一位距离信息,根据第二位置信息和第三位置信息可以确定水上转发装置与陆地显控终端之间的第二距离信息。当然,在陆地显控终端终端的位置固定时,也可以是提前将陆地显控终端终端的第三位置信息存储到全景拍摄装置的存储单元或数据库中。
本实施例通过接收水上转发装置转发的航行轨迹,并获取导航定位组件根据所述航行轨迹计算的第一动力参数,然后控制所述第一动力组件按照所述第一动力参数运行,以推动所述全景拍摄装置按照所述航行轨迹行进。也即,通过第一动力组件推动全景拍摄装置按照提前规划的航行轨迹行进,可以有效避免因全景拍摄装置在水下的转动灵敏度差导致无法及时转向而错失美景或与障碍物相撞,提高了水下全景拍摄的有效性和可靠性。
参照图3,图3为本发明一实施例中的全景拍摄设备。本实施例中,所述全景拍摄设备包括:全景拍摄装置和水上转发装置,所述全景拍摄装置用于拍摄可见光全景图像和红外全景图像,所述水上转发装置用于向所述全景拍摄装置转发信号或是用于转发所述全景拍摄装置需要转发的信号。具体地,所述全景拍摄装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水下全景拍摄程序,所述水下全景拍摄程序被所述处理器执行时实现如上述实施例中所述的水下全景拍摄方法的步骤,且所述水上转发装置与所述处理器连接。
在一具体的实施例中,如图4所述,全景拍摄装置10包括透明球形防护罩101,全景摄像头102,以及水下通信设备、光源模组、航向控制组件、导航定位组件、动力推进组件,供电组件。其中:
全景摄像头102,用于拍摄水下环境中360度范围内的全景图像,可包括多个摄像头和摄像处理模组。所述多个摄像头对红外光和可见光均可成像,并将其中一个摄像头设置于轴心,将除轴心以外的摄像头环绕所述轴心在水平方向上均匀分布,使得所述多个摄像头的拍摄光轴共轴心;摄像处理模组可将多个摄像头拍摄的可见光视频图像进行拼接融合处理及图像压缩,得到压缩后的可见光全景图像,并可对多个摄像头拍摄的红外图像进行拼接融合处理及红外图像压缩,得到压缩后的红外全景图像。
一较优的实施例中,如图5所示的全景拍摄装置10具有5个广角摄像头,C1、C2、C3、C4和C5,水平一圈均匀分布4个广角摄像头,上方设置1个广角摄像头,广角摄像头的拍摄视场角为130*100度,为了增大在水中的拍摄清晰度,摄像头优选为一种大光圈对可见和红外均进行成像的摄像头。且该5个摄像头的拍摄光轴共轴心,有利于后续的多镜头拍摄图像的融合拼接为全景图像。为了便于理解,该全景拍摄装置10的左视图如图6所示。
透明球形防护罩101,是一种全透明高压防护罩,用于抵抗水下压力并阻止水进入全景摄像头,以保护全景摄像头。透明球形防护罩101的头部为球形防护罩,球形防护罩的球心和多个摄像头的轴心重合,如此当全景拍摄装置10在水下时,水和球形防护罩相对于全景摄像头构成了一个具有对光折射作用的透镜,将会影响全景摄像头上的每一个摄像头的最终成像结果。当球形防护罩的球心和全景摄像头的轴心重合时,水和球形防护罩构成的具有透镜作用的入射介质对每一个摄像头的成像影响是一致的,若该多个摄像头也为同样的摄像头,则在摄像头的设计制作过程中无需考虑非共心球形防护罩对每一摄像头的成像的影响,可简化摄像头的制作工艺,降低制作成本。
光源模组,包括至少两个可见红外光源组,可见红外光源组通常为可见光光源和红外光源的集成组,且光源模组用于照明全景拍摄装置10一定距离范围内的水下环境。其中,可见光光源为广角摄像头拍摄水下彩色图像提供光源,具体可以是白光光源;由于红外线穿透力强,可以照射到更远距离范围的水下环境,使得可以拍摄获取到更远距离的水下环境的红外图像,为全景拍摄装置10的航行轨迹提供参考。可见红外光源组可以设置在非球形防护罩的内侧壁,和/或设置在全景摄像头上,例如当可见红外光源组为2个时,可见红外光源组S1和S2对称设置在非球形防护罩的内侧壁,如图4所示。可见红外光源组也可以设置在全景摄像头,此时可以为每一个摄像头配置一个可见红外光源组。
航向控制组件,包括导航定位组件,可根据航向轨迹路线计算动力推进组件的动力参数。
导航定位组件,通常为多传感器的组合导航定位系统,例如由惯性导航系统和多普勒测速融合的导航定位系统。用于定位全景拍摄装置10在水中的坐标位置。
动力推进组件,可根据航行控制组件提供的动力参数控制动力推进组件中的电机运转,使得全景拍摄装置10可按照航行轨迹路线航行。
供电组件,用于为全景摄像头102,水下通信设备,光源模组、航向控制组件、导航定位组件和动力推进组件供电。
水下通信设备,用于全景拍摄装置10和水上转发装置20之间的通信。
当然,上述列举的组成结构并不构成对全景拍摄设备的限定,全景拍摄设备可包括上述更多或更少的结构,或组合某些结构或者不同的部件布置。
在一具体的实施例中,水上转发装置20包括:水声通信组件、无线通信组件、信号转换组件、导航定位组件和动力推进组件,用于接收全景拍摄装置10经由水声通信传输的信息,并将该信息转换为无线电信号以无线电通信方式传输给陆地显控终端;以及,接收陆地显控终端发送的指令(如拍摄指令,航行轨迹指令),将其转换为水声通信信号后发送给全景拍摄装置10,从而控制全景拍摄装置10在水中进行全景拍摄。导航定位组件,用于定位水上转发装置20当前的坐标位置,并依据当前坐标位置和全景拍摄装置10的坐标位置,判断水上转发装置20是否在全景拍摄装置10的水声通信的距离范围内,若不在距离范围内,则控制动力推进组件将水上转发装置20推进到上述距离范围内,以保证全景拍摄装置10和水上转发装置之间的正常通信功能。
此外,参照图7,本发明实施例还提供一种全景直播系统,所述全景直播系统包括如上所述的全景拍摄设备、陆地显控终端和直播设备。
其中,全景拍摄设备包括全景拍摄装置和水上转发装置,全景拍摄装置用于拍摄可见光全景图像和红外全景图像,水上转发装置用于实现全景拍摄装置与陆地显控终端之间的数据通信;陆地显控终端,可包括无线通信组件、显示组件和直播控制组件,无线通信组件用于与水上转发装置进行无线通信,显示组件用于显示接收到的可见光全景图像和红外全景图像,以根据红外全景图像为全景拍摄装置规划航行轨迹,直播控制组件用于与直播系统进行通信连接,以向直播系统发送可见光全景图像;直播系统用于对陆地显控终端发送的可见光全景图像进行直播。由于全景拍摄装置和水上转发装置的位置、体积和形状等参数有所不同,一实施例中,所规划的航行轨迹可包括全景拍摄装置的第一航行轨迹以及根据水上转发装置与全景拍摄装置的位置信息和所述第一航行轨迹等规划的水上转发装置跟随全景拍摄装置行进的第二航行轨迹,以最大程度的保证水上转发装置和全景拍摄装置行进过程中的安全性,避免通信终端以及与障碍物发生碰撞等。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有水下全景拍摄程序,所述水下全景拍摄程序被处理器执行时实现如上所述的水下全景拍摄方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,电视,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种水下全景拍摄方法,其特征在于,应用于全景拍摄设备,所述全景拍摄设备包括全景拍摄装置和与所述全景拍摄装置连接的水上转发装置,且所述水上转发装置与陆地显控终端连接,所述全景拍摄装置包括导航定位组件和第一动力组件,所述水上转发装置包括第二动力组件,所述水下全景拍摄方法包括以下步骤:
接收水上转发装置转发的拍摄信号,所述拍摄信号由陆地显控终端发送至水上转发装置转发;
响应于所述拍摄信号,拍摄可见光全景图像和红外全景图像;
将所述可见光全景图像和所述红外全景图像经由水上转发装置转发至陆地显控终端,以供陆地显控终端将所述可见光全景图像发送至与所述陆地显控终端连接的直播设备进行直播,并根据所述红外全景图像规划全景拍摄装置的航行轨迹;
接收水上转发装置转发的航行轨迹,所述航行轨迹由陆地显控终端发送至水上转发装置转发;
获取导航定位组件根据所述航行轨迹计算的第一动力参数;
控制所述第一动力组件按照所述第一动力参数运行,以推动所述全景拍摄装置按照所述航行轨迹行进;
确定水上转发装置是否在第一通信范围与第二通信范围内,所述第一通信范围为全景拍摄设备的通信组件的通信范围,所述第二通信范围为陆地显控终端的通信范围;
若水上转发装置在第一通信范围内且在第二通信范围内,则根据所述第一动力参数确定第二动力参数;
控制第二动力组件按照所述第二动力参数运行,以使水上转发装置在第一通信范围与第二通信范围的交集内跟随所述全景拍摄装置行进。
2.如权利要求1所述的水下全景拍摄方法,其特征在于,所述确定水上转发装置是否在第一通信范围与第二通信范围内的步骤包括:
获取第一距离信息和第二距离信息,所述第一距离信息为水上转发装置与全景拍摄装置之间的距离信息,所述第二距离信息为水上转发装置与陆地显控终端之间的距离信息;
根据所述第一距离信息和所述第二距离信息确定水上转发装置是否在第一通信范围与第二通信范围内。
3.如权利要求2所述的水下全景拍摄方法,其特征在于,所述根据所述第一动力参数确定第二动力参数的步骤包括:
根据所述第一距离信息、所述第二距离信息和所述第一动力参数确定第二动力参数。
4.如权利要求2所述的水下全景拍摄方法,其特征在于,所述根据所述第一距离信息和所述第二距离信息确定水上转发装置是否在第一通信范围与第二通信范围内的步骤包括:
判断所述第一距离信息是否小于第一距离阈值且所述第二距离信息是否小于第二距离阈值,所述第一距离阈值小于全景拍摄设备的通信组件的通信范围阈值,所述第二距离阈值小于陆地显控终端的通信范围阈值;
若所述第一距离信息小于第一距离阈值且所述第二距离信息小于所述第二距离阈值,则确定水上转发装置在第一通信范围内且在第二通信范围内。
5.如权利要求2所述的水下全景拍摄方法,其特征在于,所述全景拍摄装置包括第一定位组件,所述水上转发装置包括第二定位组件,所述获取第一距离信息和第二距离信息的步骤包括:
获取所述第一定位组件采集的第一位置信息、所述第二定位组件采集的第二位置信息和所述水上转发装置转发的第三位置信息,所述第三位置信息为陆地显控终端的位置信息;
根据所述第一位置信息和所述第二位置信息确定所述第一距离信息,并获取;
根据所述第二位置信息和所述第三位置信息确定所述第二距离信息,并获取。
6.一种全景拍摄设备,其特征在于,所述全景拍摄设备包括全景拍摄装置和水上转发装置,所述全景拍摄装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水下全景拍摄程序,所述水下全景拍摄程序被所述处理器执行时实现如权利要求1至5中任一项所述的水下全景拍摄方法的步骤;所述水上转发装置与所述处理器连接。
7.如权利要求6所述的全景拍摄设备,其特征在于,所述全景拍摄装置包括多个摄像头和摄像处理模组,其中:
所述多个摄像头,用于采集红外图像和可见光图像,且所述多个摄像头的拍摄光轴共轴心;
所述摄像处理模组,用于将所述多个摄像头采集的可见光图像进行拼接融合并压缩,得到可见光全景图像,并将所述多个摄像头采集的红外图像进行拼接融合并压缩,得到红外全景图像。
8.如权利要求7所述的全景拍摄设备,其特征在于,所述全景拍摄装置还包括:
透明球形防护罩,所述透明球形防护罩的球心与所述多个摄像头的轴心重合,用于抵抗水压并阻止水进入全景摄像头。
9.一种全景直播系统,其特征在于,所述全景直播系统包括:
如权利要求8所述的全景拍摄设备,所述全景拍摄设备用于拍摄并转发可见光全景图像和红外全景图像;
陆地显控终端,用于接收所述全景拍摄设备发送的可见光全景图像和红外全景图像,以将可见光全景图像用于直播,并根据红外全景图像为所述全景拍摄装置规划行进轨迹;
直播设备,用于接收所述陆地显控终端发送的可见光全景图像,并对接收到的可见光全景图像进行直播。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有水下全景拍摄程序,所述水下全景拍摄程序被处理器执行时实现如权利要求1-5中任一项所述的水下全景拍摄方法的步骤。
CN202011532446.0A 2020-12-22 2020-12-22 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质 Active CN112689091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011532446.0A CN112689091B (zh) 2020-12-22 2020-12-22 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011532446.0A CN112689091B (zh) 2020-12-22 2020-12-22 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质

Publications (2)

Publication Number Publication Date
CN112689091A CN112689091A (zh) 2021-04-20
CN112689091B true CN112689091B (zh) 2022-07-12

Family

ID=75450808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011532446.0A Active CN112689091B (zh) 2020-12-22 2020-12-22 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质

Country Status (1)

Country Link
CN (1) CN112689091B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114993315A (zh) * 2022-05-19 2022-09-02 中国人民解放军海军航空大学 一种无人潜航器军事应用复杂环境航路规划方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106240774A (zh) * 2016-06-21 2016-12-21 北京臻迪机器人有限公司 一种无人船及系统
CN106454038A (zh) * 2016-10-18 2017-02-22 广州杰赛科技股份有限公司 智能拍摄装置
CN206251255U (zh) * 2016-12-06 2017-06-13 北京臻迪科技股份有限公司 一种无人船
CN109212469A (zh) * 2018-09-15 2019-01-15 孙建军 一种水下故障设备的定位方法及其系统
CN109931507A (zh) * 2019-04-19 2019-06-25 美钻深海能源科技研发(上海)有限公司 基于水下巡检系统的巡检装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570406B2 (en) * 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106240774A (zh) * 2016-06-21 2016-12-21 北京臻迪机器人有限公司 一种无人船及系统
CN106454038A (zh) * 2016-10-18 2017-02-22 广州杰赛科技股份有限公司 智能拍摄装置
CN206251255U (zh) * 2016-12-06 2017-06-13 北京臻迪科技股份有限公司 一种无人船
CN109212469A (zh) * 2018-09-15 2019-01-15 孙建军 一种水下故障设备的定位方法及其系统
CN109931507A (zh) * 2019-04-19 2019-06-25 美钻深海能源科技研发(上海)有限公司 基于水下巡检系统的巡检装置及方法

Also Published As

Publication number Publication date
CN112689091A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
US11797009B2 (en) Unmanned aerial image capture platform
US11573562B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US11347217B2 (en) User interaction paradigms for a flying digital assistant
US11106203B2 (en) Systems and methods for augmented stereoscopic display
US11365014B2 (en) System and method for automated tracking and navigation
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
US20170300051A1 (en) Amphibious vertical take off and landing unmanned device with AI data processing apparatus
CN111226154B (zh) 自动对焦相机和系统
CN111338382B (zh) 一种安全态势引导的无人机路径规划方法
WO2000060870A1 (en) Remote controlled platform for camera
WO2016168722A1 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
WO2023102911A1 (zh) 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质
CN112689091B (zh) 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质
CN114240769A (zh) 一种图像处理方法以及装置
Bhanu et al. A system for obstacle detection during rotorcraft low altitude flight
US12007763B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
KR20210099684A (ko) 무인항공기를 이용한 동물 퇴치 방법
CN111736622A (zh) 基于双目视觉与imu相结合的无人机避障方法及系统
CN118819444A (zh) 一种基于真实地形数据库的混合显示系统
KR20240126735A (ko) 드론 영상의 ar글래스를 이용한 뷰어 시스템 동작 방법
CN115903561A (zh) 一种机器人定向驱离系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant