CN117745980A - 图像传输方法、图像显示方法、装置和计算机设备 - Google Patents

图像传输方法、图像显示方法、装置和计算机设备 Download PDF

Info

Publication number
CN117745980A
CN117745980A CN202211108814.8A CN202211108814A CN117745980A CN 117745980 A CN117745980 A CN 117745980A CN 202211108814 A CN202211108814 A CN 202211108814A CN 117745980 A CN117745980 A CN 117745980A
Authority
CN
China
Prior art keywords
image
angle
downsampled
wide
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211108814.8A
Other languages
English (en)
Inventor
林达浩
田晓深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202211108814.8A priority Critical patent/CN117745980A/zh
Priority to PCT/CN2023/117974 priority patent/WO2024055925A1/zh
Publication of CN117745980A publication Critical patent/CN117745980A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请为图像传输方法、图像显示方法、装置和计算机设备，涉及一种图像传输方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：根据采集目标环境所得的广角图像，得到球形全景图像；基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；将所述拼接图像传输至所述虚拟现实设备。采用本方法能够降低传输带宽。

Description

图像传输方法、图像显示方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像传输方法、图像显示方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，虚拟现实技术的应用越来越广泛。在虚拟现实模式下，要使用户观看到高清图像，需要向虚拟现实设备传输数据量很大的全景资源，从而需要较高的传输带宽。怎样在保证图像质量的情况下，降低传输全景资源所需的带宽成为亟待解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低传输带宽的图像传输方法、图像显示方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像传输方法。所述方法包括：
根据采集目标环境所得的广角图像，得到球形全景图像；
基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
将所述拼接图像传输至所述虚拟现实设备。
第二方面，本申请还提供了一种图像传输装置。所述装置包括：
获取模块，用于根据采集目标环境所得的广角图像，得到球形全景图像；
裁剪模块，用于基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
拼接模块，用于对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
传输模块，用于将所述拼接图像传输至所述虚拟现实设备。
在一个实施例中，所述获取模块，还用于：
获取采集目标环境所得的广角图像；
基于所述广角图像生成全景图像；
根据球面模型对所述全景图像进行渲染，得到球形全景图像。
在一个实施例中，所述下采样广角图像包括第一图像与第二图像；所述拼接模块，还用于：
对所述第一图像与所述第二图像在上下方向进行拼接；
对通过在所述上下方向进行拼接所得的图像与所述感兴趣图像在左右方向进行拼接，得到拼接图像。
在一个实施例中，所述裁剪模块，还用于：
以所述球面模型的球心为观察点，基于预设的视场角确定感兴趣区域；
根据目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，对所述感兴趣区域进行旋转；
基于旋转后的所述感兴趣区域，从所述球形全景图像中裁剪出感兴趣图像。
在一个实施例中，所述拼接模块，还用于：
基于所述感兴趣图像的图像分辨率确定所述广角图像对应的采样率；
根据所述采样率对所述广角图像进行下采样，得到下采样广角图像；
根据预设的图像排列方式，对所述感兴趣图像以及所述下采样广角图像进行拼接，得到拼接图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据采集目标环境所得的广角图像，得到球形全景图像；
基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
将所述拼接图像传输至所述虚拟现实设备。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
根据采集目标环境所得的广角图像，得到球形全景图像；
基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
将所述拼接图像传输至所述虚拟现实设备。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
根据采集目标环境所得的广角图像，得到球形全景图像；
基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
将所述拼接图像传输至所述虚拟现实设备。
上述图像传输方法、装置、计算机设备、存储介质和计算机程序产品，根据采集目标环境所得的广角图像，得到球形全景图像，基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从球形全景图像中裁剪出感兴趣图像。从而可以将目标对象感兴趣区域的高清图像传输至虚拟现实设备，使虚拟现实设备在目标对象的感兴趣区域显示高清图像，保证了虚拟现实设备的图像显示效果。然后对感兴趣图像与下采样广角图像进行拼接，得到拼接图像；下采样广角图像为对广角图像下采样所得的；将拼接图像传输至虚拟现实设备。由于对广角图像进行了下采样，降低了所得的下采样广角图像的数据量，从而降低了传输带宽，在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
第六方面，本申请提供了一种图像显示方法。所述方法包括：
接收图像采集设备发送拼接图像以及所述拼接图像对应的欧拉角；
从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
基于所述下采样广角图像生成下采样全景图像；
根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
基于预设的视场角以及所述欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
第七方面，本申请还提供了一种图像显示装置。所述装置包括：
接收模块，用于接收图像采集设备发送拼接图像；
裁剪模块，用于从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
生成模块，用于基于所述下采样广角图像生成下采样全景图像；
渲染模块，用于根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
展示模块，用于基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
在一个实施例中，所述展示模块，还用于：
以所述球面模型的球心为观察点，基于预设的视场角生成平面模型；
将所述感兴趣图像渲染在所述平面模型上，得到平面图像；
根据所述拼接图像对应的欧拉角对所述平面图像进行旋转，并将旋转后的所述平面图像与所述下采样球形全景图像进行叠加。
在一个实施例中，所述展示模块，还用于：
将旋转后的所述平面图像作为平面前景，并将所述下采样球形全景图像作为球面后景；
将所述平面前景与所述球面后景进行叠加。
第八方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收图像采集设备发送拼接图像；
从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
基于所述下采样广角图像生成下采样全景图像；
根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
第九方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收图像采集设备发送的拼接图像；
从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
基于所述下采样广角图像生成下采样全景图像；
根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
第十方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
接收图像采集设备发送的拼接图像；
从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
基于所述下采样广角图像生成下采样全景图像；
根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
上述图像显示方法、装置、计算机设备、存储介质和计算机程序产品，接收图像采集设备发送拼接图像。从拼接图像中裁剪出感兴趣图像以及下采样广角图像；基于下采样广角图像生成下采样全景图像。根据球面模型对下采样全景图像进行渲染，得到下采样球形全景图像，基于预设的视场角以及拼接图像对应的欧拉角，对下采样球形全景图像以及感兴趣图像进行合成，并在屏幕上展示合成的图像。由于虚拟现实设备在屏幕上展示的是由感兴趣图像与下采样球形全景图像合成的图像，也即在目标对象感兴趣区域可以展示高清的感兴趣图像，保证了虚拟现实设备的图像显示效果。而由于下采样广角图像经过了下采样，数据量较小，从而降低了传输带宽，在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
附图说明
图1为一个实施例中图像传输方法的应用环境图；
图2为一个实施例中图像传输方法的流程示意图；
图3为一个实施例中图像排列方式的示意图；
图4为一个实施例中图像传输路径的示意图；
图5为一个实施例中裁剪感兴趣图像方法的流程示意图；
图6为一个实施例中球面模型的示意图；
图7为一个实施例中图像排列方式的示意图；
图8为一个实施例中图像显示方法的流程示意图；
图9为一个实施例中平面模型边长的示意图；
图10为一个实施例中传输及显示图像的时序图；
图11为一个实施例中图像传输装置的结构框图；
图12为一个实施例中图像显示装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像传输方法，可以应用于如图1所示的应用环境中。其中，图像采集设备102根据采集目标环境所得的广角图像，得到球形全景图像；基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从球形全景图像中裁剪出感兴趣图像；对感兴趣图像与下采样广角图像进行拼接，得到拼接图像；下采样广角图像为对广角图像下采样所得的；基于拼接图像生成图像数据包，并将图像数据包传输至虚拟现实设备104。其中，图像采集设备102可以是各种具有图像采集功能的设备，例如普通相机、摄像头、全景相机、运动相机等。图像采集设备102可以搭载在无人机、机器人、自动驾驶工具等运动物体上，或者也可以安装在固定位置。虚拟现实(VR，Virtual Reality)设备104是能够以三维动态形式全真模拟出真实场景的计算机设备，包括VR一体机和可以装入手机的VR盒子等VR设备，用于进行多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户可以沉浸在系统仿真环境中。
在一个实施例中，如图2所示，提供了一种图像传输方法，以该方法应用于图1中的图像采集设备为例进行说明，包括以下步骤：
S202，根据采集目标环境所得的广角图像，得到球形全景图像。其中，目标环境为图像采集设备进行图像采集的环境。例如，目标环境可以为无人机的航拍环境，或者目标环境可以是自动驾驶工具的行驶环境，或者目标环境也可以为监控环境等。广角图像为通过广角镜头、超广角镜头或者鱼眼镜头拍摄的图像。鱼眼镜头是焦距小于或等于16毫米，并且视角大于或等于180°的镜头。全景图像是可视角度大于人眼正常有效视角的图像，包括黑白图像或者彩色图像等。例如，全景图像可以是在水平方向上的视角范围大于90度，垂直方向上的视角范围大于70度的图像。
其中，球形全景图像是能够展现水平方向360度全景以及垂直方向180全景的图像。在具体实施中，球形全景图像可以在水平方向小于360度，或者在垂直方向小于180度。图像采集设备可以通过3D渲染引擎对全景图像进行渲染，得到球形全景图像。
在一个实施例中，全景图像是宽高比为2:1的图像，可以是多张图像拼接而成。例如，全景图像是由2张视角大于180度的图像拼接而成。根据经纬展开法可以对球形全景图像进行展开，用纬度表示展开所得图像的宽度，纬度范围为0-2π，用经度表示展开所得图像的高度，高度范围为0-π。所以球形全景图像可以记录水平360度，垂直180度的全部信息。其中，球面0°经线对应等距矩形的左右两边。
在一个实施例中，S202具体包括如下步骤：获取采集目标环境所得的广角图像；基于广角图像生成全景图像；根据球面模型对全景图像进行渲染，得到球形全景图像。
在一个实施例中，通过搭载在无人机上的两个鱼眼镜头，对无人机的航拍环境进行拍摄，得到两幅广角图像；对广角图像进行拼接，得到全景图像。
在一个实施例中，通过图像采集设备上的两个广角镜头对目标环境进行视频采集。按照帧序号，分别从采集的各视频中顺序提取视频帧作为广角图像。对帧序号相同的视频帧进行拼接，得到全景图像。
S204，基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从球形全景图像中裁剪出感兴趣图像。
其中，视场角是用于表示视场覆盖范围的角度，可以包括水平视场角或者垂直视场角。例如，水平视场角可以为90度，垂直视场角可以为70度。目标对象为使用虚拟现实设备进行沉浸式场景体验的对象，包括真实对象或者虚拟对象。旋转姿态为目标对象的特定部位进行旋转的姿态。例如，旋转姿态可以是目标对象头部进行旋转的姿态，或者旋转姿态可以目标对象身体摆动的姿态等。感兴趣图像是目标对象使用虚拟现实设备观看全景图像时的感兴趣区域中图像。例如，感兴趣图像可以是目标对象有效视野范围内的图像。又例如，感兴趣图像为目标对象正前方水平方向120度视角范围，垂直方向60度视角范围内图像。
当目标对象旋转时，目标对象使用虚拟现实设备观看球形全景图像的视野随着目标对象的旋转而移动，也即目标对象观看图像的感兴趣区域随着目标对象的旋转而移动。例如，当目标对象头部向后旋转时，感兴趣区域向上移动；当目标对象头部向前旋转时，感兴趣区域向下移动。视场角确定了目标对象感兴趣区域的大小，欧拉角确定了目标对象感兴趣区域在球形全景图像中的位置。根据视场角与欧拉角可以从球形全景图像中裁剪出目标对象的感兴趣图像。
在一个实施例中，虚拟现实设备通过USB接口与图传地面端连接，并通过AOA(Android Open Accessory Protocol，安卓开放辅助协议)将欧拉角发送至图传地面端，图传地面端通过射频链路将欧拉角传输至图传天空端，图传天空端通过Uart(UniversalAsynchronous Receiver/Transmitter，通用异步收发器接口)协议将欧拉角传输至图像采集设备。图传天空端和图传地面端是搭载图传射频天线的图传设备，图传天空端搭载在安装了图像采集设备的无人机上，图传地面端安装在本地的虚拟现实设备上。
S206，对感兴趣图像与下采样广角图像进行拼接，得到拼接图像；下采样广角图像为对广角图像下采样所得的。
其中，拼接图像是由感兴趣图像与下采样广角图像拼成的图像。图像采集设备可以按照预设的图像排列方式对感兴趣图像与下采样广角图像进行拼接。例如，如图3所示，拼接图像由左边的感兴趣图像与右边的下采样广角图像拼接而成。感兴趣图像的分辨率为1080×1080，下采样广角图像的分辨率为540×540，拼接图像的分辨率为1620×1080。
图像采集设备对广角图像进行下采样，然后向虚拟现实设备传输下采样广角图像与感兴趣图像拼接而成的拼接图像，并使虚拟现实设备根据拼接图像进行显示，相比于向虚拟现实设备传输广角图像，降低了传输的数据量，从而降低了所需的传输带宽。
S208，将拼接图像传输至虚拟现实设备。
图像采集设备将拼接图像传输至虚拟现实设备，使虚拟现实设备根据拼接图像屏幕上显示三维全景图像，为用户提供沉浸式视觉体验。在一个实施例中，图像采集设备将拼接图像和欧拉角传输至虚拟现实设备，使虚拟现实设备根据拼接图像以及欧拉角在图像屏幕上显示三维全景图像。
在一个实施例中，如图4所示，S208具体包括：图像采集设备通过HDMI(HighDefinition Multimedia Interface，高清多媒体接口)将拼接图像传输至图传天空端。通过USB(Universal Serial Bus，通用串行总线)的Uart协议将欧拉角以及拼接图像对应的帧序号传输至图传天空端。图传天空端对接收的拼接图像以及其他数据进行H.264或者H.265编码，以进一步降低传输的数据量，然后将编码后的数据打包为图像数据包，通过射频链路将图像数据包发送至图传地面端。图传地面端可以通过Wi-Fi(无线通信)、Socket(套接字接口)或者Uart协议，将图像数据包传输至虚拟现实设备。
上述实施例中，获取采集目标环境所得的广角图像，并基于广角图像生成全景图像。根据球面模型对全景图像进行渲染，得到球形全景图像，基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从球形全景图像中裁剪出感兴趣图像。从而可以将目标对象感兴趣区域的高清图像传输至虚拟现实设备，使虚拟现实设备在目标对象的感兴趣区域显示高清图像，保证了虚拟现实设备的图像显示效果。然后对感兴趣图像与下采样广角图像进行拼接，得到拼接图像；下采样广角图像为对广角图像下采样所得的；将拼接图像、欧拉角传输至虚拟现实设备。由于对广角图像进行了下采样，降低了所得的下采样广角图像的数据量，从而降低了传输带宽，在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
在一个实施例中，如图5所示，S204具体包括以下步骤：
S502，以球面模型的球心为观察点，基于预设的视场角确定感兴趣区域。
具体地，如图6所示，图像采集设备以球面模型的球心为观察点，通过在观察点放置虚拟摄像机模拟目标对象的眼睛进行观察，摄像机的拍摄区域即为目标对象的可视区域。根据视场角确定摄像机的拍摄区域，然后将拍摄区域投影在球面模型上，投影的区域即为目标对象的感兴趣区域。例如，假设视场角为60度，图6中A、B、C、D点组成的区域即为感兴趣区域。
S504，根据目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，对感兴趣区域进行旋转。
由于目标对象可以各种姿态使用虚拟现实设备，图像采集设备根据欧拉角对感兴趣区域进行旋转，以使感兴趣区域根据目标对象的姿态进行旋转，使旋转后的感兴趣区域在目标对象的可视区域内。例如，当目标对象的头部向后旋转时，使感兴趣区域根据目标对象头部旋转的欧拉角向上移动。当目标对象头部向左旋转时，使感兴趣区域根据目标对象头部旋转的欧拉角向左移动。
S506，基于旋转后的感兴趣区域，从球形全景图像中裁剪出感兴趣图像。
图像采集设备从球形全景图像中裁剪出感兴趣图像。由于球形全景图像是由未进行下采样的广角图像生成的，因此球形全景图像的分辨率高，从球形全景图像中裁剪出的感兴趣图像也是高清图像，从而使虚拟现实设备可以在目标对象重点观看的感兴趣区域中显示高清图像，保证了虚拟现实设备的图像显示效果。
上述实施例中，以球面模型的球心为观察点，基于预设的视场角确定感兴趣区域。根据目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，对感兴趣区域进行旋转。基于旋转后的感兴趣区域，从球形全景图像中裁剪出感兴趣图像。由于球形全景图像是由尚未进行下采样的广角图像生成的高清图像，因此，裁剪所得的感兴趣图像也是高清图像，从而可以保证目标对象在可视区域内观看到高清图像。
在一个实施例中，下采样广角图像包括第一图像与第二图像；S206具体包括：对第一图像与第二图像在上下方向进行拼接；对通过在上下方向进行拼接所得的图像与感兴趣图像在左右方向进行拼接，得到拼接图像。
其中，第一图像为左眼视角的广角图像，是对由鱼眼镜头的左眼镜头拍摄的广角图像下采样所得。第二图像为右眼视角的广角图像，是对由鱼眼镜头的右眼镜头拍摄的广角图像下采样所得。图像采集设备在上下方向对第一图像与第二图像进行拼接，例如，将第一图像拼接在第二图像上方或者将第二图像拼接在第二图像下方。图像采集设备对通过在上下方向进行拼接所得的图像与感兴趣图像在左右方向进行拼接，得到拼接图像。例如，将第一图像与第二图像在上下方向拼接后，将所得的图像拼接在感兴趣图像的左侧，或者将所得的图像拼接在感兴趣图像的右侧，得到拼接图像。
在一个实施例中，S206具体包括：基于感兴趣图像的图像分辨率确定广角图像对应的采样率；根据采样率对广角图像进行下采样，得到下采样广角图像；根据预设的图像排列方式，对感兴趣图像以及下采样广角图像进行拼接，得到拼接图像。
其中，图像排列方式为组成拼接图像的各图像间的排列方式。例如，图像排列方式可以为横向排列方式、纵向排列方式等。如图7所示，图像排列方式为拼接图像左边排列感兴趣图像，右边在垂直方向从上到下依次放置两幅下采样广角图像。图像采集设备按照图像排列方式对感兴趣图像与下采样广角图像进行拼接，使拼接图像中的感兴趣图像与下采样广角图像无重叠。
图像采集设备基于感兴趣图像的图像分辨率确定广角图像对应的采样率，使下采样广角图像的分辨率小于感兴趣图像。例如下采样广角图像的分辨率可以为感兴趣图像的一半或者三分之一等。例如，如图3所示，感兴趣图像的分辨率为1080×1080，下采样广角图像的分辨率为540×540，拼接图像的分辨率为1620×1080。
上述实施例中，基于感兴趣图像的图像分辨率确定广角图像对应的采样率；根据采样率对广角图像进行下采样，并对感兴趣图像以及下采样广角图像进行拼接，得到拼接图像。从而可以降低向虚拟现实设备传输的数据量，在低传输带宽的情况下，依然可以保证虚拟现实设备有较高的图像显示效果。
在一个实施例中，如图8所示，提供了一种图像显示方法，以该方法应用于图1中的虚拟现实设备为例进行说明，包括以下步骤：
S802，接收图像采集设备发送的拼接图像。
其中，拼接图像是由感兴趣图像与下采样广角图像拼成的图像。例如，如图3所示，拼接图像由左边的感兴趣图像与右边的下采样广角图像拼接而成。欧拉角是用于表示目标对象使用虚拟现实设备时旋转姿态的角度。
在一个实施例中，虚拟现实设备从图传地面端接收图像数据包，图像数据包中包括图像采集设备发送的拼接图像以及欧拉角。各帧拼接图像的用户数据(sei数据)中记录了帧序号。每个帧序号与裁剪拼接图像中的感兴趣图像时的欧拉角相对应。
在一个实施例中，虚拟现实设备通过USB接口与图传地面端连接，并通过AOA(Android Open Accessory Protocol，安卓开放辅助协议)从图传地面端接收图像数据包。图像数据包为包含拼接图像以及拼接图像对应的欧拉角的压缩数据包，可以是根据H.264或者H.265协议对拼接图像进行编码后所得的数据包。
S804，从拼接图像中裁剪出感兴趣图像以及下采样广角图像。
其中，感兴趣图像是目标对象使用虚拟现实设备观看全景图像时的感兴趣区域中图像。例如，感兴趣图像为目标对象的可视区域中图像。又例如，感兴趣图像为目标对象正前方水平方向120度视角范围，垂直方向60度视角范围内图像。下采样广角图像是对图像采集设备所采集的广角图像进行下采样所得的图像。由于拼接图像中感兴趣图像和下采样广角图像是按照预设的图像排列方式排列的，根据图像排列方式可以从拼接图像中裁剪出感兴趣图像以及下采样广角图像。
S806，基于下采样广角图像生成下采样全景图像。
其中，全景图像为可视角度大于人眼正常有效视角的图像，包括黑白图像或者彩色图像等。例如，全景图像可以是在水平方向上的视角范围大于90度，垂直方向上的视角范围大于70度的图像。例如，全景图像是在水平方向上的视角为360，在垂直方向上的视角为180度的图像。下采样全景图像为由下采样广角图像拼接所得的全景图像，分辨率低于根据广角图像生成的全景图像。
S808，根据球面模型对下采样全景图像进行渲染，得到下采样球形全景图像。
其中，球形全景图像是能够实现水平方向360度全景以及垂直方向180全景的图像。在具体实施中，球形全景图像可以在水平方向小于360度，或者在垂直方向小于180度。下采样球形全景图像是由下采样全景图像渲染所得的，分辨率低于由全景图像渲染所得的球形全景图像。
S810，基于预设的视场角以及拼接图像对应的欧拉角，对下采样球形全景图像以及感兴趣图像进行合成，并在屏幕上展示合成的图像。
虚拟现实设备对下采样球形全景图像以及感兴趣图像进行合成，并在屏幕上展示合成的图像。从而可以在目标对象的感兴趣区域显示高清的感兴趣图像，并在其他区域显示分辨率较低的球形全景图像，即保证了显示效果，又降低了传输数据量。
上述实施例中，接收图像采集设备发送拼接图像以及拼接图像对应的欧拉角。从拼接图像中裁剪出感兴趣图像以及下采样广角图像；基于下采样广角图像生成下采样全景图像。根据球面模型对下采样全景图像进行渲染，得到下采样球形全景图像，基于预设的视场角以及欧拉角，对下采样球形全景图像以及感兴趣图像进行合成，并在屏幕上展示合成的图像。由于虚拟现实设备在屏幕上展示的是由感兴趣图像与下采样球形全景图像合成的图像，也即在目标对象感兴趣区域可以展示高清的感兴趣图像，保证了虚拟现实设备的图像显示效果。而由于下采样广角图像经过了下采样，数据量较小，从而降低了传输带宽，在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
在一个实施例中，如图9所示，S710具体包括如下步骤：
S902，以球面模型的球心为观察点，基于预设的视场角生成平面模型。
虚拟现实设备以球面模型的球心为观察点，基于预设的视场角在球面模型中渲染一个平面模型。虚拟现实设备计算视场角的二分之一的正弦值，将正弦值的两倍与球面模型的半径相乘，得到平面模型的边长，基于平面模型的边长生成平面模型。具体地，如图8所示，假设球面模型的半径为R，视场角为FOV，平面模型的边长H＝sin(FOV/2)×R×2。
S904，将感兴趣图像渲染在平面模型上，得到平面图像。
虚拟现实设备将感兴趣图像渲染在平面模型上，得到平面图像。例如，假设感兴趣图像为1080×1080的图像，渲染得到1080×1080的平面图像。由于平面模型是根据视场角的大小生成的，因此渲染在平面模型上的平面图像的大小与目标对象的视场角范围相同。
S906，根据欧拉角对平面图像进行旋转，并将旋转后的平面图像与下采样球形全景图像进行叠加。
当目标对象旋转时，目标对象使用虚拟现实设备观看球形全景图像的视野随着目标对象的旋转而移动，虚拟现实设备根据欧拉角对平面图像进行旋转，使旋转后的平面图像跟随目标对象的姿态而移动，时刻保持在目标对象的有效可视范围内。
在一个实施例中，S906具体包括：将旋转后的平面图像作为平面前景，并将下采样球形全景图像作为球面后景；将平面前景与球面后景进行叠加。
虚拟现实设备将旋转后的平面图像作为平面前景，使目标对象可以观看到高清的平面前景，保证了目标对象的观看效果。将下采样球形全景图像作为球面后景，虽然下采样球形全景图像的分辨率较低，但是作为后景并不影响目标对象观看。
上述实施例中，以球面模型的球心为观察点，基于预设的视场角生成平面模型；将感兴趣图像渲染在平面模型上，得到平面图像；根据欧拉角对平面图像进行旋转，并将旋转后的平面图像与下采样球形全景图像进行叠加。从而在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
在一个实施例中，如图10所示，图像采集设备分别通过两个鱼眼镜头对目标环境进行视频采集。然后依次将各视频中帧序号相同的视频帧拼接为全景图像。根据球面模型对全景图像进行渲染，得到球形全景图像。以球面模型的球心为观察点，基于预设的视场角确定感兴趣区域；根据目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，对感兴趣区域进行旋转；基于旋转后的感兴趣区域，从球形全景图像中裁剪出感兴趣图像。基于感兴趣图像的图像分辨率确定广角图像对应的采样率；根据采样率对广角图像进行下采样，得到下采样广角图像；根据预设的图像排列方式，对感兴趣图像以及下采样广角图像进行拼接，得到拼接图像。将拼接图像、欧拉角以及拼接图像对应的帧序号传输至图传天空端。图传天空端将拼接图像、欧拉角以及帧序号打包为数据包并通过射频链路发送至图传地面端，图传地面端将数据包传输至虚拟现实设备。虚拟现实设备接收图像采集设备发送的图像数据包，并从图像数据包中解码得到拼接图像、拼接图像对应的欧拉角以及拼接图像对应的帧序号。从拼接图像中裁剪出感兴趣图像以及下采样广角图像；基于下采样广角图像生成下采样全景图像；根据球面模型对下采样全景图像进行渲染，得到下采样球形全景图像；以球面模型的球心为观察点，基于预设的视场角生成平面模型；将感兴趣图像渲染在平面模型上，得到平面图像；根据拼接图像对应的帧序号获取对应的欧拉角，然后根据欧拉角对平面图像进行旋转，将旋转后的平面图像作为平面前景，并将下采样球形全景图像作为球面后景。将平面前景与球面后景进行叠加，并在屏幕上展示叠加的图像。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像传输方法的图像传输装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像传输装置实施例中的具体限定可以参见上文中对于图像传输方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种图像传输装置，包括：获取模块1102、裁剪模块1104、拼接模块1106和传输模块1108，其中：
获取模块1102，用于根据采集目标环境所得的广角图像，得到球形全景图像；
裁剪模块1104，用于基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从球形全景图像中裁剪出感兴趣图像；
拼接模块1106，用于对感兴趣图像与下采样广角图像进行拼接，得到拼接图像；下采样广角图像为对广角图像下采样所得的；
传输模块1108，用于将拼接图像、欧拉角传输至虚拟现实设备。
上述实施例中，获取采集目标环境所得的广角图像，并基于广角图像生成全景图像。根据球面模型对全景图像进行渲染，得到球形全景图像，基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从球形全景图像中裁剪出感兴趣图像。从而可以将目标对象感兴趣区域的高清图像传输至虚拟现实设备，使虚拟现实设备在目标对象的感兴趣区域显示高清图像，保证了虚拟现实设备的图像显示效果。然后对感兴趣图像与下采样广角图像进行拼接，得到拼接图像；下采样广角图像为对广角图像下采样所得的；将拼接图像、欧拉角传输至虚拟现实设备。由于对广角图像进行了下采样，降低了所得的下采样广角图像的数据量，从而降低了传输带宽，在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
在一个实施例中，获取模块1102，还用于：
获取采集目标环境所得的广角图像；
基于广角图像生成全景图像；
根据球面模型对全景图像进行渲染，得到球形全景图像。
在一个实施例中，下采样广角图像包括第一图像与第二图像；拼接模块1106，还用于：
对第一图像与第二图像在上下方向进行拼接；
对通过在上下方向进行拼接所得的图像与感兴趣图像在左右方向进行拼接，得到拼接图像。
在一个实施例中，裁剪模块1104，还用于：
以球面模型的球心为观察点，基于预设的视场角确定感兴趣区域；
根据目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，对感兴趣区域进行旋转；
基于旋转后的感兴趣区域，从球形全景图像中裁剪出感兴趣图像。
在一个实施例中，拼接模块1106，还用于：
基于感兴趣图像的图像分辨率确定广角图像对应的采样率；
根据采样率对广角图像进行下采样，得到下采样广角图像；
根据预设的图像排列方式，对感兴趣图像以及下采样广角图像进行拼接，得到拼接图像。
在一个实施例中，如图12所示，提供了一种图像显示装置，包括：接收模块1202、裁剪模块1204、生成模块1206、渲染模块1208和展示模块1210，其中：
接收模块1202，用于接收图像采集设备发送拼接图像；
裁剪模块1204，用于从拼接图像中裁剪出感兴趣图像以及下采样广角图像；
生成模块1206，用于基于下采样广角图像生成下采样全景图像；
渲染模块1208，用于根据球面模型对下采样全景图像进行渲染，得到下采样球形全景图像；
展示模块1210，用于基于预设的视场角以及拼接图像对应的欧拉角，对下采样球形全景图像以及感兴趣图像进行合成，并在屏幕上展示合成的图像。
上述实施例中，接收图像采集设备发送拼接图像。从拼接图像中裁剪出感兴趣图像以及下采样广角图像；基于下采样广角图像生成下采样全景图像。根据球面模型对下采样全景图像进行渲染，得到下采样球形全景图像，基于预设的视场角以及拼接图像对应的欧拉角，对下采样球形全景图像以及感兴趣图像进行合成，并在屏幕上展示合成的图像。由于虚拟现实设备在屏幕上展示的是由感兴趣图像与下采样球形全景图像合成的图像，也即在目标对象感兴趣区域可以展示高清的感兴趣图像，保证了虚拟现实设备的图像显示效果。而由于下采样广角图像经过了下采样，数据量较小，从而降低了传输带宽，在低传输带宽的情况下也可以保证虚拟现实设备提供高清的图像显示效果。
在一个实施例中，展示模块1210，还用于：
以球面模型的球心为观察点，基于预设的视场角生成平面模型；
将感兴趣图像渲染在平面模型上，得到平面图像；
根据欧拉角对平面图像进行旋转，并将旋转后的平面图像与下采样球形全景图像进行叠加。
在一个实施例中，展示模块1210，还用于：
将旋转后的平面图像作为平面前景，并将下采样球形全景图像作为球面后景；
将平面前景与球面后景进行叠加。
上述图像传输装置、图像显示装置中的各个模块可全部或部分通过软件、硬件及其拼接来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是图像采集设备或者虚拟现实设备，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像传输方法或者图像显示方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者拼接某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的拼接，为使描述简洁，未对上述实施例中的各个技术特征所有可能的拼接都进行描述，然而，只要这些技术特征的拼接不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像传输方法，其特征在于，所述方法应用于图像采集设备，所述方法包括：
根据采集目标环境所得的广角图像，得到球形全景图像；
基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
将所述拼接图像传输至所述虚拟现实设备。
2.根据权利要求1所述的方法，其特征在于，所述根据采集目标环境所得的广角图像，得到球形全景图像包括：
获取采集目标环境所得的广角图像；
基于所述广角图像生成全景图像；
根据球面模型对所述全景图像进行渲染，得到球形全景图像。
3.根据权利要求1所述的方法，其特征在于，所述下采样广角图像包括第一图像与第二图像；所述对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像包括：
对所述第一图像与所述第二图像在上下方向进行拼接；
对通过在所述上下方向进行拼接所得的图像与所述感兴趣图像在左右方向进行拼接，得到拼接图像。
4.根据权利要求1所述的方法，其特征在于，所述基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像包括：
以所述球面模型的球心为观察点，基于预设的视场角确定感兴趣区域；
根据目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，对所述感兴趣区域进行旋转；
基于旋转后的所述感兴趣区域，从所述球形全景图像中裁剪出感兴趣图像。
5.根据权利要求1所述的方法，其特征在于，所述对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像包括：
基于所述感兴趣图像的图像分辨率确定所述广角图像对应的采样率；
根据所述采样率对所述广角图像进行下采样，得到下采样广角图像；
根据预设的图像排列方式，对所述感兴趣图像以及所述下采样广角图像进行拼接，得到拼接图像。
6.一种图像显示方法，其特征在于，所述方法应用于虚拟现实设备，所述方法包括：
接收图像采集设备发送的拼接图像；
从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
基于所述下采样广角图像生成下采样全景图像；
根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
7.根据权利要求6所述的方法，其特征在于，所述基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成包括：
以所述球面模型的球心为观察点，基于预设的视场角生成平面模型；
将所述感兴趣图像渲染在所述平面模型上，得到平面图像；
根据所述拼接图像对应的欧拉角对所述平面图像进行旋转，并将旋转后的所述平面图像与所述下采样球形全景图像进行叠加。
8.根据权利要求7所述的方法，其特征在于，所述将旋转后的所述平面图像与所述下采样球形全景图像进行叠加包括：
将旋转后的所述平面图像作为平面前景，并将所述下采样球形全景图像作为球面后景；
将所述平面前景与所述球面后景进行叠加。
9.一种图像传输装置，其特征在于，所述装置包括：
获取模块，用于根据采集目标环境所得的广角图像，得到球形全景图像；
裁剪模块，用于基于预设的视场角以及目标对象使用虚拟现实设备时的旋转姿态对应的欧拉角，从所述球形全景图像中裁剪出感兴趣图像；
拼接模块，用于对所述感兴趣图像与下采样广角图像进行拼接，得到拼接图像；所述下采样广角图像为对所述广角图像下采样所得的；
传输模块，用于将所述拼接图像传输至所述虚拟现实设备。
10.一种图像显示装置，其特征在于，所述装置包括：
接收模块，用于接收图像采集设备发送拼接图像；
裁剪模块，用于从所述拼接图像中裁剪出感兴趣图像以及下采样广角图像；
生成模块，用于基于所述下采样广角图像生成下采样全景图像；
渲染模块，用于根据球面模型对所述下采样全景图像进行渲染，得到下采样球形全景图像；
展示模块，用于基于预设的视场角以及所述拼接图像对应的欧拉角，对所述下采样球形全景图像以及所述感兴趣图像进行合成，并在屏幕上展示合成的图像。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202211108814.8A 2022-09-13 2022-09-13 图像传输方法、图像显示方法、装置和计算机设备 Pending CN117745980A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211108814.8A CN117745980A (zh) 2022-09-13 2022-09-13 图像传输方法、图像显示方法、装置和计算机设备
PCT/CN2023/117974 WO2024055925A1 (zh) 2022-09-13 2023-09-11 图像传输方法、图像显示方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211108814.8A CN117745980A (zh) 2022-09-13 2022-09-13 图像传输方法、图像显示方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN117745980A true CN117745980A (zh) 2024-03-22

Family

ID=90251308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211108814.8A Pending CN117745980A (zh) 2022-09-13 2022-09-13 图像传输方法、图像显示方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN117745980A (zh)
WO (1) WO2024055925A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017009145A1 (de) * 2016-10-14 2018-04-19 Avago Technologies General Ip (Singapore) Pte. Ltd. Erfassung und Wiedergabe von 360-Grad-Videos
CN107105218B (zh) * 2017-05-05 2019-05-17 珠海全志科技股份有限公司 一种视场画面图像生成方法及装置
CN108322727A (zh) * 2018-02-28 2018-07-24 北京搜狐新媒体信息技术有限公司 一种全景视频传输方法及装置
CN110853073A (zh) * 2018-07-25 2020-02-28 北京三星通信技术研究有限公司 确定关注点的方法、装置、设备、系统及信息处理方法

Also Published As

Publication number Publication date
WO2024055925A1 (zh) 2024-03-21

Similar Documents

Publication Publication Date Title
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
EP3249922A1 (en) Method, apparatus and stream for immersive video format
CN101689292B (zh) Banana多媒体数字信号编解码器
CN107169924B (zh) 三维全景图像的建立方法和系统
US20180165830A1 (en) Method and device for determining points of interest in an immersive content
CN106296589B (zh) 全景图像的处理方法及装置
KR102157656B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
EP3249928A1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN110073662A (zh) 全景视频的建议视口指示
CN106688231A (zh) 立体图像记录和回放
US20190251735A1 (en) Method, apparatus and stream for immersive video format
EP3340619A1 (en) Geometric warping of a stereograph by positional constraints
US11044398B2 (en) Panoramic light field capture, processing, and display
US10390007B1 (en) Method and system for panoramic 3D video capture and display
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
JP2019514313A (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN114004927A (zh) 3d视频模型重建方法、装置、电子设备及存储介质
WO2023003803A1 (en) Virtual reality systems and methods
NL2012462B1 (en) Encoding and decoding of three-dimensional image data.
WO2024055925A1 (zh) 图像传输方法、图像显示方法、装置和计算机设备
Maesen et al. Omnidirectional free viewpoint video using panoramic light fields
CN113112610B (zh) 一种信息处理方法、装置和电子设备
CN114007017A (zh) 一种视频生成方法、装置及存储介质
Audu et al. Computation of virtual environment from stereo-panoramic view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination