CN106162140A - 一种全景视频的压缩方法及装置 - Google Patents

一种全景视频的压缩方法及装置 Download PDF

Info

Publication number
CN106162140A
CN106162140A CN201610765058.4A CN201610765058A CN106162140A CN 106162140 A CN106162140 A CN 106162140A CN 201610765058 A CN201610765058 A CN 201610765058A CN 106162140 A CN106162140 A CN 106162140A
Authority
CN
China
Prior art keywords
picture
triangle
height
split
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610765058.4A
Other languages
English (en)
Other versions
CN106162140B (zh
Inventor
王涛
诸加丹
杜瑶
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610765058.4A priority Critical patent/CN106162140B/zh
Publication of CN106162140A publication Critical patent/CN106162140A/zh
Priority to EP17845162.1A priority patent/EP3509300A1/en
Priority to US16/320,409 priority patent/US10834399B2/en
Priority to MYPI2019000153A priority patent/MY193893A/en
Priority to SG11201900337UA priority patent/SG11201900337UA/en
Priority to JP2019510298A priority patent/JP6735908B2/ja
Priority to PCT/CN2017/096432 priority patent/WO2018040860A1/zh
Priority to CA3030258A priority patent/CA3030258C/en
Priority to AU2017317839A priority patent/AU2017317839B2/en
Priority to KR1020197004697A priority patent/KR102287773B1/ko
Priority to TW106128998A priority patent/TWI683569B/zh
Application granted granted Critical
Publication of CN106162140B publication Critical patent/CN106162140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种全景视频的压缩方法及装置，所述方法包括：针对目标全景视频，生成所述目标全景视频的每一帧图片；分别针对每一帧图片，压缩所述帧图片；对压缩后的所述帧图片进行划分；对划分得到的图片进行拼合；根据拼合得到的所有图片，生成新的全景视频。利用本发明实施例，减少了网络带宽的浪费。

Description

一种全景视频的压缩方法及装置
技术领域
本发明涉及视频技术领域，特别涉及一种全景视频的压缩方法及装置。
背景技术
全景视频，是指360度全景视频，它是在360度全景技术之上发展延伸而来。它将连续多张的静态全景图片转化为动态的视频图像，全景视频可以在拍摄角度左右上下360度任意观看动态视频。全景视频它不在是单一的静态全景图片形式，是由很多张全景图片串联起来组成了流畅清楚的动态视频图像。
目前全景视频的播放方法是：服务器将全景视频发送给客户端；客户端将全景视频源进行解码成全景图片，根据观看者的当前角度对全景图片进行抽取，播放由抽取后的全景图片组成的视频。其中，全景视频的抽取是基于把图片贴到球体上进行。传统的球面全景图是以球体的球面纹理坐标展开的一张矩形图像，但是其实际的有用像素范围可以用一个椭圆表示，椭圆最宽处的宽度为矩形的长度，上下两边逐渐变短，最短处的宽度为一个像素点宽度，因此矩形球面全景图存在冗余的像素信息。
可见，在实际应用中，用户看到的全景视频仅为服务器发送的全景视频的一部分。但是服务器会将全部全景视频发送给客户端，导致不必要数据的传输，进而造成网络带宽的浪费。
发明内容
本发明实施例的目的在于提供一种全景视频的压缩方法及装置，以减少网络带宽的浪费。
为达到上述目的，本发明实施例公开了一种全景视频的压缩方法，方法包括：
针对目标全景视频，生成所述目标全景视频的每一帧图片；
分别针对每一帧图片，压缩所述帧图片；
对压缩后的所述帧图片进行划分；
对划分得到的图片进行拼合；
根据拼合得到的所有图片，生成新的全景视频。
较佳的，所述分别针对每一帧图片，压缩所述帧图片，包括：
分别针对每一帧图片，利用插值技术，将所述帧图片压缩成菱形图片，其中，所述菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
较佳的，所述对压缩后的所述帧图片进行划分，包括：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
将两个三角形图片中的一个三角形图片等分为两个直角三角形图片；
所述对划分得到的图片进行拼合，包括：
将两个三角形图片中未进行等分的三角形图片、所述两个直角三角形图片拼合为一个矩形图片。
较佳的，所述对压缩后的所述帧图片进行划分，包括：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
所述对划分得到的图片进行拼合，包括：
将所述两个三角形图片分别变换为与所述两个三角形图片的高相同、且面积相等的两个直角三角形图片；
将所述两个直角三角形图片拼合为一个矩形图片。
较佳的，在根据拼合得到的所有图片，生成新的全景视频之前，所述方法还包括：
对拼合得到的图片的拼合边缘进行预设处理。
为达到上述目的，本发明实施例公开了一种全景视频的压缩装置，装置包括：
第一生成模块，用于针对目标全景视频，生成所述目标全景视频的每一帧图片；
压缩模块，用于分别针对每一帧图片，压缩所述帧图片；
划分模块，用于对压缩后的所述帧图片进行划分；
拼合模块，用于对划分得到的图片进行拼合；
第二生成模块，用于根据拼合得到的所有图片，生成新的全景视频。
较佳的，所述压缩模块，具体用于：
用于分别针对每一帧图片，利用插值技术，将所述帧图片压缩成菱形图片，其中，所述菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
较佳的，所述划分模块，具体用于：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
将两个三角形图片中的一个三角形图片等分为两个直角三角形图片；
所述拼合模块，具体用于：
将两个三角形图片中未进行等分的三角形图片、所述两个直角三角形图片拼合为一个矩形图片。
较佳的，所述划分模块，具体用于：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
所述拼合模块，具体用于：
将所述两个三角形图片分别变换为与所述两个三角形图片的高相同、且面积相等的两个直角三角形图片；
将所述两个直角三角形图片拼合为一个矩形图片。
较佳的，在第二生成模块之前，所述装置还包括：
处理模块，用于对拼合得到的图片的拼合边缘进行预设处理。
由上述的技术方案可见，本发明实施例提供的一种全景视频的压缩方法及装置，针对目标全景视频，生成所述目标全景视频的每一帧图片；分别针对每一帧图片，压缩所述帧图片；对压缩后的所述帧图片进行划分；对划分得到的图片进行拼合；根据拼合得到的所有图片，生成新的全景视频。
可见，对全景视频进行压缩，服务器将压缩后的新的全景视频发送给客户端，没有将不必要数据进行传输，进而减少了网络带宽的浪费。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种全景视频的压缩方法的流程示意图；
图2为本发明实施例提供的另一种全景视频的压缩方法的流程示意图；
图3为本发明实施例提供的一种全景视频的压缩装置的结构示意图；
图4为本发明实施例提供的另一种全景视频的压缩装置的结构示意图；
图5为本发明实施例提供的一种拼合后的矩形图片的生成示意图；
图6为本发明实施例提供的另一种拼合后的矩形图片的生成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先对本发明实施例提供的一种全景视频的压缩方法进行详细说明。
参见图1，图1为本发明实施例提供的一种全景视频的压缩方法的流程示意图，可以包括如下步骤：
S101，针对目标全景视频，生成所述目标全景视频的每一帧图片；
具体的，生成的目标全景视频的每一帧图片可以为球面全景图，是按球面纹理坐标展开的一张矩形图片。其中，针对目标全景视频，可以采用视频解码等现有技术，生成该目标全景视频的每一帧图片，本发明实施例在此不对其进行赘述。
S102，分别针对每一帧图片，压缩所述帧图片；
具体的，可以分别针对每一帧图片，利用插值技术，将所述帧图片压缩成菱形图片，其中，所述菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
示例性的，分别针对每一帧图片，可以利用最近邻插值技术、线性插值技术、三次样条插值技术等插值技术对原有帧图片进行变换拉伸，从而将该帧图片压缩成菱形图片，其中，菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。其中，最近邻插值技术、线性插值技术、三次样条插值技术等插值技术均为现有技术，本发明实施例在此对其不进行赘述。
具体的，还可以针对每一帧图片，确定该帧图片的每一行的像素数量的压缩比，例如该帧图片的最中间行的压缩比为1:1(表示不压缩最中间行的像素数量)，该帧图片的边缘行即第一行和最后一行的压缩比为行的像素点个数：1(表示将图片边缘行的像素个数压缩为1)，除第一行和最后一行外，将自最中间行到第一行或最后一行的行像素点的数量压缩为(xy-2nx)/y，其中x为该帧图片的行像素点的数量，y该帧图片的列像素点的数量(例如，该帧图片的分辨率尺寸为200*100，则x为200，y为100)，n为自最中间行到第一行或最后一行的序号；根据确定的各个行的压缩比，对压缩比对应的行的像素点的数量进行压缩，将该帧图片压缩成菱形图片，其中，菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
S103，对压缩后的所述帧图片进行划分；
具体的，在实际应用中，可以将所述菱形图片等分为上、下(或左、右)两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；将两个三角形图片中的一个三角形图片等分为两个直角三角形图片。
具体的，在实际应用中，可以将所述菱形图片等分为上、下(或左、右)两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半。
示例性的，分别针对每一帧图片，可以以菱形图片的其中一条对角线(例如该条对角线的长度为该帧图片的宽度)为划分边界，将菱形图片等分为两个三角形图片，其中，两个三角形图片的高均为该帧图片高度的一半；进一步地，可以将两个三角形图片中的任一个三角形图片等分为两个直角三角形图片，也可以不对其进行等分。在实际应用中，还可以以菱形图片的另一条对角线(例如该条对角线的长度为该帧图片的高度)为划分边界，将菱形图片等分为两个三角形图片，其中，两个三角形图片的高为所述帧图片宽度的一半；进一步地，可以将两个三角形图片中的任一个三角形图片等分为两个直角三角形图片，也可以不对其进行等分。
S104，对划分得到的图片进行拼合；
具体的，在实际应用中，可以将两个三角形图片中未进行等分的三角形图片、所述两个直角三角形图片拼合为一个矩形图片。
示例性的，对于在将两个三角形图片中的一个三角形图片等分为两个直角三角形图片的情况下，可以将两个直角三角形图片分别平移到上述两个三角形图片中未进行等分的三角形图片的左侧和右侧(或者上侧和下侧，具体以实现拼合为一个矩形图片为准)，从而将上述两个三角形图片中未进行等分的三角形图片和两个直角三角形图片拼合为一个矩形图片，使得该矩形图片的宽度为原有的图片宽度，该矩形图片的高度变为原有的图片高度的一半，或者使得该矩形图片的高度为原有的图片高度，该矩形图片的宽度变为原有的图片宽度的一半，从而拼合后的矩形图片分辨率尺寸减少为原有矩形图片尺寸的一半。
具体的，在实际应用中，可以将所述两个三角形图片分别变换为与所述两个三角形图片的高相同、且面积相等的两个直角三角形图片；将所述两个直角三角形图片拼合为一个矩形图片。
示例性的，对于在没有将两个三角形图片中的一个三角形图片等分为两个直角三角形图片的情况下，可以利用图像变换技术，将上述两个三角形图片分别进行变换，得到与这两个三角形图片的高相同、且面积相等的两个直角三角形图片；将得到的两个直角三角形图片拼合为一个矩形图片，使得该矩形图片的宽度为原有的图片宽度，该矩形图片的高度变为原有的图片高度的一半，或者使得该矩形图片的高度为原有的图片高度，该矩形图片的宽度变为原有的图片宽度的一半，从而拼合后的矩形图片分辨率尺寸减少为原有矩形图片尺寸的一半。其中，图像变换技术为现有技术，本发明实施例在此对其不进行赘述。
示例性的，如图5所示，图5为本发明实施例提供的一种拼合后的矩形图片的生成示意图。在实际应用中，可以将原有矩形图片等分为上下两个矩形图片M和N，对矩形图片M进行拉伸，将矩形图片M压缩为三角形A；对矩形图片N进行拉伸，将矩形图片N压缩为与三角形A同底等高、并与三角形A对称的三角形，将该三角形等分为直角三角形B和直角三角形C；将三角形B平移拷贝到三角形A的右侧，得到三角形B1，将三角形C平移拷贝到三角形A的左侧，得到三角形C1；将三角形A、三角形B1和三角形C1拼合为一张矩形图片，拼合后的该矩形图片分辨率尺寸减少为原有矩形图片尺寸的一半。
示例性的，如图6所示，图6为本发明实施例提供的另一种拼合后的矩形图片的生成示意图。在实际应用中，还可以将原有矩形图片等分为上下两个矩形图片M和N，对矩形图片M(与上述矩形图片M相同)进行拉伸，将矩形图片M压缩为三角形A(与上述三角形A相同)；对矩形图片N(与上述矩形图片N相同)进行拉伸，将矩形图片N压缩为与三角形A同底等高、并与三角形A对称的三角形E；将三角形A在水平方向上进行变换，得到直角三角形A1，将三角形E在水平方向上进行变换，得到直角三角形E1；将直角三角形A1和直角三角形E1拼合为一张矩形图片，拼合后的该矩形图片分辨率尺寸减少为原有矩形图片尺寸的一半。
S105，根据拼合得到的所有图片，生成新的全景视频。
具体的，根据拼合得到的所有矩形图片，可以采用现有技术例如对所有矩形图片进行编码等技术，生成新的压缩后的全景视频，本发明实施例在此对其不进行赘述。
具体的，在实际应用中，拼合得到的矩形图片可以称之为钻石全景图。在播放新的压缩后的全景视频过程中，可以按照钻石全景图的生成逆过程对钻石全景图进行反变换处理，得到球面全景图，可以利用开放图形库(Open Graphics Library，简称OpenGL)着色器的像素反采样技术或者开放图形库的三角面片纹理绘制技术，对球面全景图进行渲染，由球面全景图渲染出全景画面。其中，开放图形库着色器的像素反采样技术和开放图形库的三角面片纹理绘制技术均为现有技术，本发明实施例在此对其不进行赘述。
具体的，在实际应用中，还可以利用OpenGl shader(开放图形库着色器)的像素反采样方法，由全景视频播放器的显示视口对应的球面全景图的纹理坐标，计算出对应的钻石全景图的纹理坐标，从而不必按照钻石全景图的生成逆过程对钻石全景图进行反变换处理，不必得到球面全景图，直接可以由钻石全景图渲染出全景画面。
可见，对全景视频进行压缩，服务器将压缩后的新的全景视频发送给客户端，没有将不必要数据进行传输，进而减少了网络带宽的浪费。
参见图2，图2为本发明实施例提供的另一种全景视频的压缩方法的流程示意图，本发明图2所示实施例在图1所示实施例的基础上，增加S106：对拼合得到的图片的拼合边缘进行预设处理。
具体的，在对拼合得到的全景图渲染时，为了避免反采样操作的子线性插值时，相邻三角形边界处的像素越界导致出现拼缝，可以对拼合得到的图片的拼合边缘进行处理。可以在每个三角形水平扫描线段的边界点处，重复绘制1个或2个或3个像素，该像素与所属三角形的相邻像素具有相同颜色，从而形成重复像素的边缘来隔离。具体的，在实际应用中，所形成的边缘可以是双边界边缘，也可以是单边界边缘。其中，双边界为具有两种颜色的边界，单边界为具有单一颜色的边界。
可见，对全景视频进行压缩，服务器将压缩后的新的全景视频发送给客户端，没有将不必要数据进行传输，进而减少了网络带宽的浪费，避免了边界处的像素越界导致拼缝现象的出现。
参见图3，图3为本发明实施例提供的一种全景视频的压缩装置的结构示意图，与图1所示的流程相对应，该压缩装置可以包括：第一生成模块201、压缩模块202、划分模块203、拼合模块204和第二生成模块205。
第一生成模块201，用于针对目标全景视频，生成所述目标全景视频的每一帧图片；
压缩模块202，用于分别针对每一帧图片，压缩所述帧图片；
具体的，压缩模块202，具体可以用于：
分别针对每一帧图片，利用插值技术，将所述帧图片压缩成菱形图片，其中，所述菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
划分模块203，用于对压缩后的所述帧图片进行划分；
拼合模块204，用于对划分得到的图片进行拼合；
具体的，划分模块203，具体可以用于：将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；将两个三角形图片中的一个三角形图片等分为两个直角三角形图片。拼合模块204，具体可以用于：将两个三角形图片中未进行等分的三角形图片、所述两个直角三角形图片拼合为一个矩形图片。
具体的，划分模块203，具体可以用于：将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半。拼合模块204，具体可以用于：将所述两个三角形图片分别变换为与所述两个三角形图片的高相同、且面积相等的两个直角三角形图片；将所述两个直角三角形图片拼合为一个矩形图片。
第二生成模块205，用于根据拼合得到的所有图片，生成新的全景视频。
可见，对全景视频进行压缩，服务器将压缩后的新的全景视频发送给客户端，没有将不必要数据进行传输，进而减少了网络带宽的浪费。
参见图4，图4为本发明实施例提供的另一种全景视频的压缩装置的结构示意图，本发明图4所示实施例在图3所示实施例的基础上，增加处理模块206，用于对拼合得到的图片的拼合边缘进行预设处理。
可见，对全景视频进行压缩，服务器将压缩后的新的全景视频发送给客户端，没有将不必要数据进行传输，进而减少了网络带宽的浪费，避免了边界处的像素越界导致拼缝现象的出现。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种全景视频的压缩方法，其特征在于，所述方法包括：
针对目标全景视频，生成所述目标全景视频的每一帧图片；
分别针对每一帧图片，压缩所述帧图片；
对压缩后的所述帧图片进行划分；
对划分得到的图片进行拼合；
根据拼合得到的所有图片，生成新的全景视频。
2.根据权利要求1所述的方法，其特征在于，所述分别针对每一帧图片，压缩所述帧图片，包括：
分别针对每一帧图片，利用插值技术，将所述帧图片压缩成菱形图片，其中，所述菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
3.根据权利要求2所述的方法，其特征在于，所述对压缩后的所述帧图片进行划分，包括：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
将两个三角形图片中的一个三角形图片等分为两个直角三角形图片；
所述对划分得到的图片进行拼合，包括：
将两个三角形图片中未进行等分的三角形图片、所述两个直角三角形图片拼合为一个矩形图片。
4.根据权利要求2所述的方法，其特征在于，所述对压缩后的所述帧图片进行划分，包括：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
所述对划分得到的图片进行拼合，包括：
将所述两个三角形图片分别变换为与所述两个三角形图片的高相同、且面积相等的两个直角三角形图片；
将所述两个直角三角形图片拼合为一个矩形图片。
5.根据权利要求1所述的方法，其特征在于，在根据拼合得到的所有图片，生成新的全景视频之前，所述方法还包括：
对拼合得到的图片的拼合边缘进行预设处理。
6.一种全景视频的压缩装置，其特征在于，所述装置包括：
第一生成模块，用于针对目标全景视频，生成所述目标全景视频的每一帧图片；
压缩模块，用于分别针对每一帧图片，压缩所述帧图片；
划分模块，用于对压缩后的所述帧图片进行划分；
拼合模块，用于对划分得到的图片进行拼合；
第二生成模块，用于根据拼合得到的所有图片，生成新的全景视频。
7.根据权利要求6所述的装置，其特征在于，所述压缩模块，具体用于：
分别针对每一帧图片，利用插值技术，将所述帧图片压缩成菱形图片，其中，所述菱形图片的两条对角线长度分别为所述帧图片的宽度和高度。
8.根据权利要求7所述的装置，其特征在于，所述划分模块，具体用于：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
将两个三角形图片中的一个三角形图片等分为两个直角三角形图片；
所述拼合模块，具体用于：
将两个三角形图片中未进行等分的三角形图片、所述两个直角三角形图片拼合为一个矩形图片。
9.根据权利要求7所述的装置，其特征在于，所述划分模块，具体用于：
将所述菱形图片等分为两个三角形图片，其中，所述两个三角形图片的高均为所述帧图片高度的一半或所述两个三角形图片的高为所述帧图片宽度的一半；
所述拼合模块，具体用于：
将所述两个三角形图片分别变换为与所述两个三角形图片的高相同、且面积相等的两个直角三角形图片；
将所述两个直角三角形图片拼合为一个矩形图片。
10.根据权利要求6所述的装置，其特征在于，在第二生成模块之前，所述装置还包括：
处理模块，用于对拼合得到的图片的拼合边缘进行预设处理。
CN201610765058.4A 2016-08-30 2016-08-30 一种全景视频的压缩方法及装置 Active CN106162140B (zh)

Priority Applications (11)

Application Number Priority Date Filing Date Title
CN201610765058.4A CN106162140B (zh) 2016-08-30 2016-08-30 一种全景视频的压缩方法及装置
PCT/CN2017/096432 WO2018040860A1 (zh) 2016-08-30 2017-08-08 一种全景视频的压缩方法及装置
AU2017317839A AU2017317839B2 (en) 2016-08-30 2017-08-08 Panoramic video compression method and device
MYPI2019000153A MY193893A (en) 2016-08-30 2017-08-08 Panoramic video compression method and device
SG11201900337UA SG11201900337UA (en) 2016-08-30 2017-08-08 Panoramic video compression method and device
JP2019510298A JP6735908B2 (ja) 2016-08-30 2017-08-08 パノラマビデオ圧縮方法および装置
EP17845162.1A EP3509300A1 (en) 2016-08-30 2017-08-08 Panoramic video compression method and device
CA3030258A CA3030258C (en) 2016-08-30 2017-08-08 Panoramic video compression method and device
US16/320,409 US10834399B2 (en) 2016-08-30 2017-08-08 Panoramic video compression method and device
KR1020197004697A KR102287773B1 (ko) 2016-08-30 2017-08-08 파노라마 비디오 압축 방법 및 장치
TW106128998A TWI683569B (zh) 2016-08-30 2017-08-25 全景視頻的壓縮方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610765058.4A CN106162140B (zh) 2016-08-30 2016-08-30 一种全景视频的压缩方法及装置

Publications (2)

Publication Number Publication Date
CN106162140A true CN106162140A (zh) 2016-11-23
CN106162140B CN106162140B (zh) 2019-03-15

Family

ID=57343946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610765058.4A Active CN106162140B (zh) 2016-08-30 2016-08-30 一种全景视频的压缩方法及装置

Country Status (11)

Country Link
US (1) US10834399B2 (zh)
EP (1) EP3509300A1 (zh)
JP (1) JP6735908B2 (zh)
KR (1) KR102287773B1 (zh)
CN (1) CN106162140B (zh)
AU (1) AU2017317839B2 (zh)
CA (1) CA3030258C (zh)
MY (1) MY193893A (zh)
SG (1) SG11201900337UA (zh)
TW (1) TWI683569B (zh)
WO (1) WO2018040860A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040860A1 (zh) * 2016-08-30 2018-03-08 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN107871304A (zh) * 2017-11-29 2018-04-03 中国科学技术大学 基于球面环切和仿射变换的全景视频帧矩形映射方法
CN109792490A (zh) * 2018-06-07 2019-05-21 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2019232811A1 (en) * 2018-06-07 2019-12-12 Hong Kong Applied Science and Technology Research Institute Company Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
WO2022199584A1 (zh) * 2021-03-26 2022-09-29 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
CN113362438A (zh) * 2021-06-30 2021-09-07 北京百度网讯科技有限公司 全景渲染的方法、装置、电子设备、介质及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242550B1 (ko) * 2011-05-30 2013-03-20 (주)포스트미디어 동영상 파노라마 기반의 스토리텔링형 지역 정보 제공방법 및 시스템
CN105872546A (zh) * 2016-06-13 2016-08-17 上海杰图软件技术有限公司 一种实现全景图像压缩存储的方法和系统
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6934420B1 (en) 1999-12-22 2005-08-23 Trident Systems Incorporated Wave image compression
JP5005080B2 (ja) 2010-09-06 2012-08-22 キヤノン株式会社 パノラマ画像の生成方法
CN105898344A (zh) 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
CN106162140B (zh) 2016-08-30 2019-03-15 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242550B1 (ko) * 2011-05-30 2013-03-20 (주)포스트미디어 동영상 파노라마 기반의 스토리텔링형 지역 정보 제공방법 및 시스템
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置
CN105872546A (zh) * 2016-06-13 2016-08-17 上海杰图软件技术有限公司 一种实现全景图像压缩存储的方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040860A1 (zh) * 2016-08-30 2018-03-08 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
US10834399B2 (en) 2016-08-30 2020-11-10 Beijing Qiyi Century Science & Technology Co. Ltd. Panoramic video compression method and device
CN107871304A (zh) * 2017-11-29 2018-04-03 中国科学技术大学 基于球面环切和仿射变换的全景视频帧矩形映射方法
CN107871304B (zh) * 2017-11-29 2020-05-12 中国科学技术大学 基于球面环切和仿射变换的全景视频帧矩形映射方法
CN109792490A (zh) * 2018-06-07 2019-05-21 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2019232811A1 (en) * 2018-06-07 2019-12-12 Hong Kong Applied Science and Technology Research Institute Company Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
US10735765B2 (en) 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images
CN109792490B (zh) * 2018-06-07 2021-01-15 香港应用科技研究院有限公司 用于流图像压缩的球面视频的改进的伪圆柱映射
WO2022199584A1 (zh) * 2021-03-26 2022-09-29 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CA3030258A1 (en) 2018-03-08
US10834399B2 (en) 2020-11-10
EP3509300A4 (en) 2019-07-10
MY193893A (en) 2022-10-31
SG11201900337UA (en) 2019-03-28
CA3030258C (en) 2022-09-13
JP6735908B2 (ja) 2020-08-05
CN106162140B (zh) 2019-03-15
TW201822534A (zh) 2018-06-16
US20190268595A1 (en) 2019-08-29
EP3509300A1 (en) 2019-07-10
AU2017317839A1 (en) 2019-01-31
TWI683569B (zh) 2020-01-21
KR20190031283A (ko) 2019-03-25
AU2017317839B2 (en) 2019-10-10
KR102287773B1 (ko) 2021-08-09
WO2018040860A1 (zh) 2018-03-08
JP2019528627A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN106162140A (zh) 一种全景视频的压缩方法及装置
CN100380403C (zh) 非平面图像的图像处理装置及图像处理方法
CN101610411B (zh) 一种视频序列混合编解码的方法和系统
RU2216781C2 (ru) Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
US10339701B2 (en) Method, system and apparatus for generation and playback of virtual reality multimedia
Schreer et al. Capture and 3D video processing of volumetric video
CN100458850C (zh) 编辑图像的结构及方法
US11057643B2 (en) Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
TWI297569B (en) Apparatus for compressing data in a bit stream or bit pattern
TWI451358B (zh) 香蕉編碼解碼器
US7542047B2 (en) Multi-dimensional texture drawing apparatus, compressing apparatus, drawing system, drawing method, and drawing program
CN107924556B (zh) 图像生成装置和图像显示控制装置
CN105574931B (zh) 一种电子地图道路绘制方法及装置
RU2001118221A (ru) Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
CN114051734A (zh) 一种解码三维场景的方法和装置
CN107871304B (zh) 基于球面环切和仿射变换的全景视频帧矩形映射方法
US11494870B2 (en) Method and apparatus for reducing artifacts in projection-based frame
CN110458960A (zh) 一种基于偏振的彩色物体三维重建方法
Zou et al. Super-Resolution Reconstruction of Images Based on Microarray Camera.
JP2004302524A (ja) ３次元モデリング・プログラム、３次元モデリング制御プログラム、３次元モデリング・データ伝送プログラム、記録媒体および３次元モデリング方法
CN106897964B (zh) 保持相邻像素相关性的全景视频帧矩形映射方法
CN104463784A (zh) 一种2.5d模型的缩放方法
CN109792490A (zh) 用于流图像压缩的球面视频的改进的伪圆柱映射
CN110619669B (zh) 一种支持多种图形样式的鱼眼图像渲染系统及方法
JP2004227095A (ja) テクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant