CN113542799A - Vr图像的压缩传输方法、系统 - Google Patents

Vr图像的压缩传输方法、系统 Download PDF

Info

Publication number
CN113542799A
CN113542799A CN202110692510.XA CN202110692510A CN113542799A CN 113542799 A CN113542799 A CN 113542799A CN 202110692510 A CN202110692510 A CN 202110692510A CN 113542799 A CN113542799 A CN 113542799A
Authority
CN
China
Prior art keywords
image
video image
compressed
video
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110692510.XA
Other languages
English (en)
Inventor
于东壮
崔新宇
吴健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110692510.XA priority Critical patent/CN113542799A/zh
Priority to EP21946739.6A priority patent/EP4325866A1/en
Priority to PCT/CN2021/121005 priority patent/WO2022267256A1/zh
Publication of CN113542799A publication Critical patent/CN113542799A/zh
Priority to US17/886,063 priority patent/US11748915B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种VR图像的压缩传输方法、系统，首先获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像，而后对第一压缩视频图像进行视频编码处理以形成传输视频图像，再将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高VR直播、VR串流的稳定性。

Description

VR图像的压缩传输方法、系统
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种VR图像的压缩传输方法、系统。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
VR串流、VR直播的核心都是将异地获取的VR图像经过编码传输发送到本地，进行拆包重组和解码后重新显示，因此在降低发送流量的同时保证图像的清晰度具有重要意义。目前视频多使用h264，h265编码压缩，虽然也具有不错的效果，但是由于图像体积过大，分辨率过高，仍然存在着传输效率低的问题，以至于影响VR直播或VR串流的操作体验。
因此，亟需一种减少图像、视频传输体积、提高视频传输速率的VR图像的压缩传输方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种VR图像的压缩传输方法、系统，以解决现有目前视频多使用h264，h265编码压缩，虽然也具有不错的效果，但是由于图像体积过大，分辨率过高，仍然存在着传输效率低的问题，以至于影响VR直播或VR串流的操作体验的问题。
本发明提供的一种VR图像的压缩传输方法，其中，包括：
获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像；所述压缩范围通过传输样本图像确定；
对所述第一压缩视频图像进行视频编码处理以形成传输视频图像；
将所述传输视频传输至客户端，并对所述传输视频图像进行视频解码处理以将所述传输视频图像还原为第二压缩视频图像；
对所述第二压缩视频图像进行解压缩处理以形成展示视频图像。
优选地，通过所述传输样本确定所述压缩范围的过程，包括：
通过引导程序使用户的双眼与VR头戴的左镜筒、右镜筒相对应；
通过所述左镜筒、右镜筒捕捉由所述服务器发送的标记有盲区范围区域的样本图像；
调节所述样本图像的大小使所述盲区范围区域退出所述用户的视野。
优选地，根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像的过程，包括：
按照所述压缩范围对所述视频图像进行区域锁定以将所述视频图像划分为边缘区域和中心区域；
通过第一图像着色程序对所述边缘区域进行预设倍数压缩采样形成压缩边缘区域；对所述中心区域进行真实采样以形成中心还原区域；
将所述压缩边缘区域与所述中心还原区域作为第一压缩视频图像。
优选地，所述预设倍数为2倍。
优选地，对所述第一压缩视频图像进行视频编码处理以形成传输视频图像的同时，还包括：
保存所述视频图像，并将所述第一压缩视频图像的压缩范围和压缩比例记录在所述视频图像的自定义信息帧内。
优选地，所述视频编码采用h264或h265视频。
优选地，所述第二压缩视频与所述第一压缩视频的分辨率相同。
优选地，对所述第二压缩视频图像进行解压缩处理以形成展示视频图像的过程，包括：
获取所述第二压缩视频图像的压缩部分与原始部分；其中，所述压缩部分与所述压缩边缘区域相一致；所述原始部分与所述中心还原区域相一致；
通过第二图像着色程序对所述压缩部分进行差值采样以将所述压缩部分还原为真实边缘区域，对所述原始部分进行点对点采样已形成真实中心区域；
将所述真实边缘区域与所述真实中心区域进行拟合处理以形成展示视频图像。
本发明还提供一种VR图像的压缩传输系统，实现前述的VR图像的压缩传输方法，其中，包括：
边缘压缩模块，用于获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像；所述压缩范围通过传输样本图像确定；
视频编码模块，用于对所述第一压缩视频图像进行视频编码处理以形成传输视频图像；
视频解码模块，用于将所述传输视频传输至客户端，并对所述传输视频图像进行视频解码处理以将所述传输视频图像还原为第二压缩视频图像；
视频还原模块，用于对所述第二压缩视频图像进行解压缩处理以形成展示视频图像。
优选地，所述边缘压缩模块包括图像着色器，其中，
在所述图像着色器中设置有第一图像着色程序，所述第一图像着色程序用于对根据所述压缩范围划分的边缘区域进行预设倍数压缩采样以形成压缩边缘区域。
从上面的技术方案可知，本发明提供的VR图像的压缩传输方法、系统，首先获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像，而后对第一压缩视频图像进行视频编码处理以形成传输视频图像，再将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高VR直播、VR串流的稳定性。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的VR图像的压缩传输方法的流程图；
图2为根据本发明实施例的VR图像的压缩传输方法中涉及的压缩范围示意图；
图3为根据本发明实施例的VR图像的压缩传输系统的示意图。
具体实施方式
目前视频多使用h264，h265编码压缩，虽然也具有不错的效果，但是由于图像体积过大，分辨率过高，仍然存在着传输效率低的问题，以至于影响VR直播或VR串流的操作体验。
针对上述问题，本发明提供一种VR图像的压缩传输方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的VR图像的压缩传输方法、系统，图1对本发明实施例的VR图像的压缩传输方法进行了示例性标示；图2对本发明实施例的VR图像的压缩传输系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的VR图像的压缩传输方法，包括：
S1：获取服务器待发送的视频图像，并根据压缩范围对该视频图像进行定域压缩以形成第一压缩视频图像；该压缩范围通过传输样本图像确定；
S2：对该第一压缩视频图像进行视频编码处理以形成传输视频图像；
S3：将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像；
S4：对该第二压缩视频图像进行解压缩处理以形成展示视频图像。
如图1所示，步骤S1为获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像；该压缩范围通过传输样本图像确定；其中，S0：通过该传输样本确定压缩范围的过程，包括：
S01：通过引导程序使用户的双眼与VR头戴的左镜筒、右镜筒相对应；
S02：通过该左镜筒、右镜筒捕捉由该服务器发送的标记有盲区范围区域的样本图像；
S04：调节该样本图像的大小使该盲区范围区域退出该用户的视野。
根据压缩范围对该视频图像进行定域压缩以形成第一压缩视频图像的过程，包括：
S11：按照该压缩范围对该视频图像进行区域锁定以将该视频图像划分为边缘区域和中心区域；
S12：通过第一图像着色程序对该边缘区域进行预设倍数压缩采样形成压缩边缘区域；对该中心区域进行真实采样以形成中心还原区域；
S13：将该压缩边缘区域与该中心还原区域作为第一压缩视频图像。
具体的，如图2所示，由于VR头戴是通过两个近似圆形的左镜筒、右镜筒看一个长方形的屏幕，正常佩戴时长方形屏幕的边缘是看不到的(图中的黑色部分)，仅仅在视线尽力偏移或头戴急速朝一侧运动时才能看到边缘部分的图像(黑色部分)，此时由于视线异常或由于急速运动，对该部分图像的显示效果很难正常感受，因此可以通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，故首先通过步骤S0确定压缩范围，在本实施例中，视频产生发送方为服务器，VR头戴为客户端，服务器端与客户端连通后，使用户正常佩戴VR头戴，客户端的引导程序提示用户：确定佩戴正常，观察正常后点击VR头戴的确认按钮，确定边缘左右侧；而后服务器首先预设一个左右侧的位置，比如视频图像为1920的分辨率，预设在480和1440(1920-480＝1440)的位置，0-480和1440-1920分别渲染成纯红色，视频图像的其他部分不变，并将该图像传输到客户端显示，记录原始图像分辨率；此时客户端提示用户点击按钮“+”或按钮“-”以增加或减小红色区域，直至红色区域仅仅看见少许或看不到且不影响图像整体观感时点击确认。并且客户端发送“+”或“-”的指令到服务器端，服务器根据该指令调节红色部分的起始边界，直至用户点击确认，记录左右压缩边界，即上下边界重复该过程，进行确认，从而获取压缩范围，也就是说在本实施例中最终确认的红色区域即为压缩范围，从而根据该压缩范围对服务器待发送的视频图像进行定域压缩以形成第一压缩视频图像。
并且，在本实施例中，步骤S1中所述的预设倍数为2倍，具体的，在本实施例中，确定压缩范围后，编写图像着色器的第一图像着色程序，在本实施例中，该第一图像着色程序为shader程序，该shader程序利用采样重建图片，以1920*1920分辨率的视频图像为例，假设左右上下压缩边界都是480，采用2倍压缩，则横向0-480部分为边缘区域，对该区域每2个像素采样一次，其中奇数行采样基数点，偶数行采样偶数点；480-1440部分为中心区域，对该区域进行一比一真实采样；经过压缩后形成的第一压缩视频图像被重构为1440*1440大小，此时压缩后部分分别是左右上下的边缘区域各为240，中间未压缩部分的中心区域为960。经过处理，该第一压缩视频图像变为原来的视频图像的0.5625倍，体积缩小明显。
在图1所示的实施例中，步骤S2为对第一压缩视频图像进行视频编码处理以形成传输视频图像，在对第一压缩视频图像进行视频编码处理以形成传输视频图像的同时，还包括：
保存视频图像，并将第一压缩视频图像的压缩范围和压缩范围记录在视频图像的自定义信息帧内。
具体的，在将步骤S1形成的第一压缩视频图像传输至客户端的过程中，需对该第一压缩视频图像进行视频编码，在本实施例中该视频编码采用h264或h265视频编码，如果对第一压缩视频图像进行视频编码，比如h264或h265视频，则同时将边界信息(压缩范围)和压缩比例记录在SEI(自定义信息)帧内，以便于后期还原视频图像。同时，若保存原始图像，可以将边界信息和压缩比例记录在同一文件夹下或在bitmap命名时按原分辨率_左右边界_左右压缩比例_上下边界_上下压缩比例的开头进行命名。例如1920#1920_480_2_480_2_自定义名称.bmp。
如图1所示，步骤S3为将传输视频传输至客户端，并对传输视频图像进行视频解码处理以将传输视频图像还原为第二压缩视频图像，即在对压缩了边缘区域的第一压缩视频图像进行视频编码后，传输到客户端后需进行视频解码以获取解码后的第二压缩视频图像，并且在本实施例中，解码后的第二压缩视频图像与视频编码前的第一压缩视频图像是完全相同的，即该第二压缩视频与该第一压缩视频的分辨率相同，以防止视频失真。
如图1所示，步骤S4为对第二压缩视频图像进行解压缩处理以形成展示视频图像，其中，对该第二压缩视频图像进行解压缩处理以形成展示视频图像的过程，包括：
S41：获取该第二压缩视频图像的压缩部分与原始部分；其中，该压缩部分与该压缩边缘区域相一致；该原始部分与该中心还原区域相一致；
S42：通过第二图像着色程序对该压缩部分进行差值采样以将该压缩部分还原为真实边缘区域，对该原始部分进行点对点采样已形成真实中心区域；
S43：将该真实边缘区域与该真实中心区域进行拟合处理以形成展示视频图像；
步骤S4即对进行边缘压缩了的第二压缩视频图像(等同于第一压缩视频图像)进行解压缩，具体的，在实时串流或实时直播时，已经记录了边界信息(压缩范围)和原始图像分辨率，如果是解压缩存储的文件可以从视频流SEI帧内提取或从图片命名中提取，解压缩需要编写图像着色器中的第二图像着色程序，在本实施例中该第二图像着色程序为shader程序，该程序利用采样重建图片，即对于压缩部分利用差值采样将两个点的色素从原图进行扩展，也就是说设置采样器为差值采样，将压缩过的部分恢复到原始大小。对原始部分(图像未压缩部分)，设置采样器为点对点采样；其中，无论是起到压缩作用的第一图像着色程序还是起到解压缩作用的第二图像着色程序均采用opengl或d3d技术为调用shader程序的媒介，从而确保运行速度。
并且，需要说明的是，在实时串流或直播过程中，用户可以随时调节压缩范围(边界信息)的大小，而后根据该压缩范围进行步骤S1-步骤S4的定域压缩和针对该定域压缩的解压缩操作，如此使传输视频以小分辨率进行传输，提高传输速率且不影响视频图像的画质和清晰度，保证实时串流或实时直播的质量和稳定性。
如上所述，本发明提供的VR图像的压缩传输方法，首先获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像，而后对第一压缩视频图像进行视频编码处理以形成传输视频图像，再将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高VR直播、VR串流的稳定性。
如图3所示，本发明还提供一种VR图像的压缩传输系统100，实现前述的VR图像的压缩传输方法，其中，包括：
边缘压缩模块101，用于获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像；该压缩范围通过传输样本图像确定；
视频编码模块102，用于对第一压缩视频图像进行视频编码处理以形成传输视频图像；
视频解码模块103，用于将传输视频传输至客户端，并对传输视频图像进行视频解码处理以将传输视频图像还原为第二压缩视频图像；
视频还原模块104，用于对第二压缩视频图像进行解压缩处理以形成展示视频图像。
其中，该边缘压缩模块101包括图像着色器，其中，
在该图像着色器中设置有第一图像着色程序，该第一图像着色程序用于对根据该压缩范围划分的边缘区域进行预设倍数压缩采样以形成压缩边缘区域；
该图像着色器也包括在视频还原模块104中，即在该视频还原模块中也包括图像着色器，在该图像着色器还包括第二图像着色程序，该第二图像着色程序用于对第二压缩视频图像中的压缩部分进行差值采样以将该压缩部分还原为真实边缘区域，对第二压缩视频图像中的原始部分进行点对点采样已形成真实中心区域，从而形成展示视频图像，如此对该服务器发送的视频图像进行完全还原展示，提高传输速率且不影响视频图像的稳定性。
通过上述实施方式可以看出，本发明提供的VR图像的压缩传输系统，首先通过边缘压缩模块101获取服务器待发送的视频图像，并根据压缩范围对视频图像进行定域压缩以形成第一压缩视频图像，而后通过视频编码模块102对第一压缩视频图像进行视频编码处理以形成传输视频图像，再通过视频解码模块103将该传输视频传输至客户端，并对该传输视频图像进行视频解码处理以将该传输视频图像还原为第二压缩视频图像，再通过视频还原模块104对该第二压缩视频图像进行解压缩处理以形成展示视频图像，即使用d3d或opengl计算为介质，利用图像着色程序对边缘的压缩范围内的图像数据进行压缩，从而通过压缩边缘图像的分辨率来减小整体图像的分辨率，从而减小图像体积，提高传输速率，进而提高VR直播、VR串流的稳定性。
如上参照附图以示例的方式描述了根据本发明提出的VR图像的压缩传输方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的VR图像的压缩传输方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种VR图像的压缩传输方法，其特征在于，包括：
获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像；所述压缩范围通过传输样本图像确定；
对所述第一压缩视频图像进行视频编码处理以形成传输视频图像；
将所述传输视频传输至客户端，并对所述传输视频图像进行视频解码处理以将所述传输视频图像还原为第二压缩视频图像；
对所述第二压缩视频图像进行解压缩处理以形成展示视频图像。
2.如权利要求1所述的VR图像的压缩传输方法，其特征在于，通过所述传输样本确定所述压缩范围的过程，包括：
通过引导程序使用户的双眼与VR头戴的左镜筒、右镜筒相对应；
通过所述左镜筒、右镜筒捕捉由所述服务器发送的标记有盲区范围区域的样本图像；
调节所述样本图像的大小使所述盲区范围区域退出所述用户的视野。
3.如权利要求2所述的VR图像的压缩传输方法，其特征在于，根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像的过程，包括：
按照所述压缩范围对所述视频图像进行区域锁定以将所述视频图像划分为边缘区域和中心区域；
通过第一图像着色程序对所述边缘区域进行预设倍数压缩采样形成压缩边缘区域；对所述中心区域进行真实采样以形成中心还原区域；
将所述压缩边缘区域与所述中心还原区域作为第一压缩视频图像。
4.如权利要求3所述的VR图像的压缩传输方法，其特征在于，
所述预设倍数为2倍。
5.如权利要求3所述的VR图像的压缩传输方法，其特征在于，对所述第一压缩视频图像进行视频编码处理以形成传输视频图像的同时，还包括：
保存所述视频图像，并将所述第一压缩视频图像的压缩范围和压缩比例记录在所述视频图像的自定义信息帧内。
6.如权利要求5所述的VR图像的压缩传输方法，其特征在于，
所述视频编码采用h264或h265视频。
7.如权利要求3所述的VR图像的压缩传输方法，其特征在于，
所述第二压缩视频与所述第一压缩视频的分辨率相同。
8.如权利要求7所述的VR图像的压缩传输方法，其特征在于，对所述第二压缩视频图像进行解压缩处理以形成展示视频图像的过程，包括：
获取所述第二压缩视频图像的压缩部分与原始部分；其中，所述压缩部分与所述压缩边缘区域相一致；所述原始部分与所述中心还原区域相一致；
通过第二图像着色程序对所述压缩部分进行差值采样以将所述压缩部分还原为真实边缘区域，对所述原始部分进行点对点采样已形成真实中心区域；
将所述真实边缘区域与所述真实中心区域进行拟合处理以形成展示视频图像。
9.一种VR图像的压缩传输系统，实现如权利要求1-8任一所述的VR图像的压缩传输方法，其特征在于，包括：
边缘压缩模块，用于获取服务器待发送的视频图像，并根据压缩范围对所述视频图像进行定域压缩以形成第一压缩视频图像；所述压缩范围通过传输样本图像确定；
视频编码模块，用于对所述第一压缩视频图像进行视频编码处理以形成传输视频图像；
视频解码模块，用于将所述传输视频传输至客户端，并对所述传输视频图像进行视频解码处理以将所述传输视频图像还原为第二压缩视频图像；
视频还原模块，用于对所述第二压缩视频图像进行解压缩处理以形成展示视频图像。
10.如权利要求9所述的VR图像的压缩传输系统，其特征在于，所述边缘压缩模块包括图像着色器，其中，
在所述图像着色器中设置有第一图像着色程序，所述第一图像着色程序用于对根据所述压缩范围划分的边缘区域进行预设倍数压缩采样以形成压缩边缘区域。
CN202110692510.XA 2021-06-22 2021-06-22 Vr图像的压缩传输方法、系统 Pending CN113542799A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110692510.XA CN113542799A (zh) 2021-06-22 2021-06-22 Vr图像的压缩传输方法、系统
EP21946739.6A EP4325866A1 (en) 2021-06-22 2021-09-27 Method and system for vr image compression and transmission
PCT/CN2021/121005 WO2022267256A1 (zh) 2021-06-22 2021-09-27 Vr图像的压缩传输方法、系统
US17/886,063 US11748915B2 (en) 2021-06-22 2022-08-11 VR image compression transmission method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110692510.XA CN113542799A (zh) 2021-06-22 2021-06-22 Vr图像的压缩传输方法、系统

Publications (1)

Publication Number Publication Date
CN113542799A true CN113542799A (zh) 2021-10-22

Family

ID=78125627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110692510.XA Pending CN113542799A (zh) 2021-06-22 2021-06-22 Vr图像的压缩传输方法、系统

Country Status (2)

Country Link
CN (1) CN113542799A (zh)
WO (1) WO2022267256A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114786037A (zh) * 2022-03-17 2022-07-22 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
US20190391641A1 (en) * 2018-06-21 2019-12-26 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data
CN112263214A (zh) * 2020-11-12 2021-01-26 中国人民解放军空军特色医学中心 一种载人离心机视觉功能障碍检测装置及检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4162398B2 (ja) * 2001-11-19 2008-10-08 株式会社日立製作所 映像表示システムおよびその方法
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN108337497B (zh) * 2018-02-07 2020-10-16 刘智勇 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置
CN108322727A (zh) * 2018-02-28 2018-07-24 北京搜狐新媒体信息技术有限公司 一种全景视频传输方法及装置
CN110572656B (zh) * 2019-09-19 2021-11-19 江苏视博云信息技术有限公司 一种编码方法、图像处理方法、装置、系统、存储介质及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
US20190391641A1 (en) * 2018-06-21 2019-12-26 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data
CN112263214A (zh) * 2020-11-12 2021-01-26 中国人民解放军空军特色医学中心 一种载人离心机视觉功能障碍检测装置及检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114786037A (zh) * 2022-03-17 2022-07-22 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法
CN114786037B (zh) * 2022-03-17 2024-04-12 青岛虚拟现实研究院有限公司 一种面向vr投影的自适应编码压缩方法

Also Published As

Publication number Publication date
WO2022267256A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
US11381801B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
CN110351592B (zh) 动画呈现方法、装置、计算机设备和存储介质
CN107771395B (zh) 生成和发送用于虚拟现实的元数据的方法和装置
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
US10561932B2 (en) Positioning a camera video overlay on gameplay video
US10497180B1 (en) System and method for display of augmented reality
EP3920131A1 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US11290345B2 (en) Method for enhancing quality of media
DE102018130085A1 (de) Erzeugen eines 2d-videos aus einem 360-video
CN113542799A (zh) Vr图像的压缩传输方法、系统
US11494870B2 (en) Method and apparatus for reducing artifacts in projection-based frame
CN108040260B (zh) C/s架构下高清全景视频的观看方法、系统及服务器
US11962820B2 (en) Image generation apparatus, image generation method, and program indicating game play status
EP4325866A1 (en) Method and system for vr image compression and transmission
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
CN110798715A (zh) 基于图像串的视频播放方法及系统
US11792380B2 (en) Video transmission method, video processing device, and video generating system for virtual reality
US12003386B2 (en) Method for enhancing quality of media
US20220014447A1 (en) Method for enhancing quality of media
US20230319347A1 (en) Method, apparatus, and program product for authoring video content using stream embedded indicators
CN113676774A (zh) 图像处理方法、图像处理装置、显示装置和存储介质
CN112243134A (zh) 虚拟现实视频编码方法及传输方法
CN115665461A (zh) 一种视频录制方法及虚拟现实设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination