CN113905186B - 自由视点视频画面拼接方法、终端及可读存储介质 - Google Patents
自由视点视频画面拼接方法、终端及可读存储介质 Download PDFInfo
- Publication number
- CN113905186B CN113905186B CN202111041026.7A CN202111041026A CN113905186B CN 113905186 B CN113905186 B CN 113905186B CN 202111041026 A CN202111041026 A CN 202111041026A CN 113905186 B CN113905186 B CN 113905186B
- Authority
- CN
- China
- Prior art keywords
- video
- viewpoint
- target
- video frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种自由视点视频画面拼接方法、终端及可读存储介质，所述自由视点视频画面拼接方法包括以下步骤：接收显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；接收视频码流，通过解码器解码所述视频码流，获取视频序列；获取所述视频序列中所述目标时间戳对应的视频帧组；根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；将所述目标图像发送至显示端。本发明通过将同一时刻不同视点对应的视频画面拼接生成多个视频帧并发送至解码端，解码端接收视频帧并从所述视频帧中截取显示当前视点对应的图像，从而减少一个视频帧拼接的视频画面，以达到提高分辨率的目的。
Description
技术领域
本发明涉及自由视点领域，尤其涉及一种自由视点视频画面拼接方法、终端及可读存储介质。
背景技术
自由视点应用允许观看者在一定范围内以连续视点的形式观看视频。观看者可以设定视点的位置、角度，而不再局限于一个固定的摄像机视角。该应用往往需要多个摄像机同时拍摄，同时生成多个视点的视频，一些自由视点应用中，还需要生成多个视点的视频对应的深度图。
传统自由视点应用往往使用空域拼接的方式。对于空域拼接的方式，由于编码以及终端解码播放设备支持的编解码计算能力有限，最大编解码分辨率受到限制，因此单路视频的分辨率以及支持传输的视点数之间面临严重的冲突，导致单路视频的分辨率低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种自由视点视频画面拼接方法，旨在通过将同一时刻不同视点对应的视频画面拼接生成多个视频帧并发送至解码端，解码端接收视频帧并从所述视频帧中截取显示当前视点对应的图像，以减少每个视频帧拼接的画面，从而提高分辨率，解决视频分辨率低的问题。
为了实现上述目的，本发明提供一种自由视点视频画面拼接方法，所述自由视点视频画面拼接方法包括以下步骤：
接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；
接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；
获取所述视频序列中所述的目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张视频帧；
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；
将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。
进一步地，所述根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像的步骤包括：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识，确定所述目标视点对应的目标图像所在的目标视频帧以及所述目标视频帧中所述目标图像的位置信息；
根据所述位置信息在所述目标视频帧中截取所述目标视点对应的目标图像。
进一步地，当显示端请求发送深度图像时，所述获取所述视频序列中所述目标时间戳对应的视频帧组的步骤之后，还包括：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像与对应的深度图像；
将所述目标图像与对应的深度图像发送至显示端，以供所述显示端根据所述目标图像与对应的深度图像生成显示画面。
进一步地，所述获取所述视频序列中所述目标时间戳对应的视频帧组的步骤包括：
根据所述视频序列确定所述目标时间戳对应的视频帧组，并确定序列头或者图像头中的排布信息。
此外，为了实现上述目的，本发明还提供一种自由视点视频画面拼接方法，应用于编码端，所述自由视点视频的传输方法包括：
获取各个视点对应的图像以及预设排布信息；
根据所述预设排布信息将时间戳相同的图像拼接成至少两个视频帧，其中，相同时间戳对应不同视频帧中的图像对应的视点不同；
根据时间戳相同的视频帧生成视频帧组，其中，所述视频帧组至少包括两张视频帧；
根据播放顺序将不同时间戳对应的所述视频帧组生成视频序列，并将所述视频序列以及所述预设排布信息输入编码器，生成目标视频码流；
将所述目标视频码流发送至解码端，以供所述解码端解码所述目标视频码流获取对应的视频序列。
进一步地，当获取到各个视点对应的图像以及对应的深度图像时，所述根据所述预设排布信息将时间戳相同的图像拼接成至少两个视频帧的步骤包括：
根据所述预设排布信息将时间戳相同的图像以及对应的深度图像拼接成至少两个视频帧，其中，所述图像以及对应的深度图像拼接在同一视频帧中。
进一步地，所述将所述视频序列以及所述排布信息输入编码器，生成目标视频码流的步骤包括：
将所述视频序列输入编码器生成原始视频码流；
根据所述预设排布信息生成视频帧的排布信息，其中，所述视频帧的排布信息包含所述视频帧中每一图像的视点标识和位置信息，当所述视频帧中包括深度图像时，所述视频帧的排布信息还包含每一深度图像对应的视点标识和位置信息；
将所述视频帧的排布信息添加至所述原始视频码流的序列头或者所述视频帧的图像头中，生成目标视频码流。
为了实现上述目的，本发明还提供一种终端，所述终端为解密端，所述解码端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被所述处理器执行时，实现如上所述的自由视点视频画面拼接方法的步骤。
为了实现上述目的，本发明还提供一种终端，所述终端为编码端，所述编码端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被所述处理器执行时，实现如上所述的自由视点视频画面拼接方法的步骤。
为了实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被处理器执行时实现如上所述任一项所述的自由视点画面拼接方法的步骤。
本发明的技术方案中，接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张的视频帧；根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。如此，本发明通过将同一时刻不同视点对应的视频画面拼接生成多个视频帧，并将生成的视频帧发送至解码端，解码端接收视频帧，并根据视频帧的排布信息以及当前视点对应的视点标识从所述视频帧中截取显示当前视点对应的图像，从而减少一个视频帧拼接的视频画面，以达到提高分辨率的目的。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2是本发明自由视点视频画面拼接方法一实施例的流程示意图；
图3是本发明自由视点视频画面拼接方法一实施例的流程示意图；
图4是本发明自由视点视频画面拼接方法一实施例的拼接图像的第一实例图；
图5是本发明自由视点视频画面拼接方法一实施例的拼接图像的第二实例图；
图6是本发明自由视点视频画面拼接方法一实施例的拼接图像的第三实例图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的主要技术方案是：
接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；
接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；
获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张视频帧；
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；
将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。
在相关技术中，由于编码以及终端解码播放设备支持的编解码计算能力有限，最大编解码分辨率受到限制，因此单路视频的分辨率以及支持传输的视点数之间面临严重的冲突，导致单路视频的分辨率低。
本发明的技术方案中，接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张视频帧；根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。如此，本发明通过将同一时刻不同视点对应的视频画面拼接生成多个视频帧，并将生成的视频帧发送至解码端，解码端接收视频帧，并根据视频帧的排布信息以及当前视点对应的视点标识从所述视频帧中截取显示当前视点对应的图像，从而减少一个视频帧拼接的视频画面，以达到提高分辨率的目的。
如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自由视点视频画面拼接程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的解码端的控制程序，并执行以下操作：
接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；
接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；
获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张视频帧；
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；
将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。
进一步地，处理器1001可以调用存储器1005中存储的解码端的控制程序，还执行以下操作：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识，确定所述目标视点对应的目标图像所在的目标视频帧以及所述目标视频帧中所述目标图像的位置信息；
根据所述位置信息在所述目标视频帧中截取所述目标视点对应的目标图像。
进一步地，处理器1001可以调用存储器1005中存储的解码端的控制程序，还执行以下操作：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像与对应的深度图像；
将所述目标图像与对应的深度图像发送至显示端，以供所述显示端根据所述目标图像与对应的深度图像生成显示画面。
进一步地，处理器1001可以调用存储器1005中存储的解码端的控制程序，还执行以下操作：
根据所述视频序列确定所述目标时间戳对应的视频帧组，并确定序列头中或者图像头中的排布信息。
进一步地，处理器1001可以调用存储器1005中存储的编码端的控制程序，还执行以下操作：
获取各个视点对应的图像以及预设排布信息；
根据所述预设排布信息将时间戳相同的图像拼接成至少两个视频帧，其中，相同时间戳对应不同视频帧中的图像对应的视点不同；
根据时间戳相同的视频帧生成视频帧组，其中，所述视频帧组至少包括两张视频帧；
根据播放顺序将不同时间戳对应的所述视频帧组生成视频序列，并将所述视频序列以及所述预设排布信息输入编码器，生成目标视频码流；
将所述目标视频码流发送至解码端，以供所述解码端解码所述目标视频码流获取对应的视频序列。
进一步地，处理器1001可以调用存储器1005中存储的编码端的控制程序，还执行以下操作：
根据所述预设排布信息将时间戳相同的图像以及对应的深度图像拼接成至少两个视频帧，其中，所述图像以及对应的深度图像拼接在同一视频帧中。
进一步地，处理器1001可以调用存储器1005中存储的编码端的控制程序，还执行以下操作：
将所述视频序列输入编码器生成原始视频码流；
根据所述预设排布信息生成视频帧的排布信息，其中，所述视频帧的排布信息包含所述视频帧中每一图像的视点标识和位置信息，当所述视频帧中包括深度图像时，所述视频帧的排布信息还包含每一深度图像对应的视点标识和位置信息；
将所述视频帧的排布信息添加至所述原始视频码流的序列头或者所述视频帧的图像头中，生成目标视频码流。
如图2所示，本发明一实施例中，所述自由视点视频画面拼接方法应用在解码端，包括以下步骤：
步骤S11，接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；
在本实施例中，当显示端有显示需求的时候，会发送显示请求，根据所述显示请求可获取显示端需要的画面对应的时间点以及对应视点的视点标识。当显示端需要显示真实视点的画面时，根据所述显示请求可获取画面对应的目标时间戳以及真实视点对应的视点标识；当显示端需要显示虚拟视点的画面时，可根据所述显示请求获取画面对应的目标时间戳以及虚拟视点的相邻视点对应的视点标识，其中，至少确定两个相邻视点对应的视点标识。
步骤S12，接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；
在本实施例中，接收编码端发送的视频码流，通过解码器对接收到的视频码流进行解码，获取视频序列以及排布信息。所述视频序列是由不同时间戳对应的视频帧组组成，所述排布信息在所述视频序列的序列头中或者在视频帧的图像头中。
步骤S13，获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张视频帧；
在本实施例中，所述视频序列是由不同时间戳对应的视频帧组组成，根据显示请求可获取显示端需要显示的画面对应的目标时间戳，根据所述目标时间戳在视频序列中查找时间戳与所述目标时间戳相同的视频帧组。时间戳与所述目标时间戳相同的所述视频帧组中的视频帧由各个视点的摄像机在目标时间戳对应的时刻点拍摄的视频画面拼接而成。每个视频帧组中包括时间戳相同的至少两张视频帧，所述视频帧可以是多个视点对应的画面拼接而成，而可以仅有一个视点对应的画面。
步骤S14，根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；
在本实施例中，所述视频帧组的排布信息包括所述视频帧组中的每一视频帧的排布信息，所述视频帧组的排布信息包括视点标识、视点图像于视频帧的坐标以及视点图像对应的宽高。根据目标视点对应的视点标识在所述视频帧组的排布信息中查找匹配的视点标识，并根据所述视点标识确定所述目标视点对应的目标图像所在的目标视频帧，并根据排布信息中视点图像于视频帧的坐标以及视点图像对应的宽高确定在目标视频帧中目标图像所在的位置以及目标图像的大小，截取所述目标图像。
步骤S15，将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。
在本实施例中，将从目标视频帧中截取的目标图像发送至显示端，所述显示端接收到所述目标图像后，根据所述目标图像生成显示画面，并在显示屏中显示所述显示画面。
综上所述，在本发明中，接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列；获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张的视频帧；根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面。如此，本发明通过将同一时刻不同视点对应的视频画面拼接生成多个视频帧，并将生成的视频帧发送至解码端，解码端接收视频帧，并根据视频帧的排布信息以及当前视点对应的视点标识从所述视频帧中截取显示当前视点对应的图像，从而减少一个视频帧拼接的视频画面，以达到提高分辨率的目的。
在本发明一实施例中，所述步骤S14包括：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识，确定所述目标视点对应的目标图像所在的目标视频帧以及所述目标视频帧中所述目标图像的位置信息；
根据所述位置信息在所述目标视频帧中截取所述目标视点对应的目标图像。
在本实施例中，所述视频帧组的排布信息包括各个视点对应的视点标识、视点对应图像在视频帧中的坐标以及视点对应图像的宽高。根据目标视点对应的视点标识在所述视频帧组的排布信息中查找与所述目标视点对应的视点标识匹配的视点标识，并确定所述目标视点对应的目标图像所在的目标视频帧以及在所述目标视频帧中所述目标图像的位置信息，即所述目标图像在目标视频帧中的坐标以及所述目标图像对应的宽高。根据所述位置信息截取所述目标图像，例如：在获取目标视点对应的目标图像的位置信息后，根据所述位置信息中的坐标找到所述目标图像左上角像素在目标视频帧中的坐标；在确定所述目标图像在视频帧中坐标后，根据所述目标图像对应的宽高确定所述目标图像在目标视频帧中的拼接区域，从而截取所述拼接区域中的图像，所述拼接区域中的图像为目标图像。如此，通过目标视点对应的视点标识以及视频帧组的排布信息确定所述目标视点对应的目标图像所在的视频帧以及在视频帧中的拼接区域，从而准确、快速的截取目标图像并发送至显示端。
在本发明一实施例中，当显示端请求发送深度图像时，所述步骤S13之后，还包括：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像与对应的深度图像；
将所述目标图像与对应的深度图像发送至显示端，以供所述显示端根据所述目标图像与对应的深度图像生成显示画面。
在本实施例中，当显示端请求发送深度图像时，需要编码端截取并发送所述显示请求中目标视点对应的视频画面以及深度图像，以供显示端根据所述目标视点对应的视频画面以及深度图像生成显示画面并在显示屏中显示。例如，当显示端需要显示一个虚拟视点对应的画面时，需要所述虚拟视点左右两侧相邻视点对应的图像以及深度图像，根据相邻视点的图像以及深度图像合成所述虚拟视点的图像画面，此时，所述显示端需要确定相邻视点对应的视点标识并向解码端发送显示请求；所述解码端根据接收到的显示请求获取相邻视点的视点标识，并根据所述相邻视点的视点标识以及视频帧组的排布信息确定各个所述相邻视点对应的目标图像所在的目标视频帧，由于各个视点对应的图像以及深度图像拼接在同一视频帧中，故可在所述目标视频帧中截取对应的相邻视点的目标图像以及对应的深度图像；将截取到的所述相邻视点对应的目标图像以及对应的深度图像发送至显示端，以供显示端根据各个相邻视点对应的图像以及深度图像生成显示图像。
在本发明一实施例中，所述步骤S13包括：
根据所述视频序列确定所述目标时间戳对应的视频帧组，并确定序列头中或者图像头中的排布信息。
在本实施例中，解码编码端发送的视频码流得到对应的视频序列后，查找时间戳与显示请求对应的时间戳相同的视频帧组，并获取存储于序列头或者图像头中的排布信息，通过所述排布信息以及目标视点对应的视点标识，可定位目标视点对应的目标图像所在的视频帧并确定所述目标图像在视频帧中的拼接区域，即所述拼接区域中的图像为目标视点对应的目标图像。当视频序列中多个视频帧的排布信息相同时，可将所述排布信息编号并插入序列头中，以所述排布信息拼接图像的视频帧可引用对应的编号，以根据所述编号找到视频帧对应的排布信息。如此，通过将多个视频帧相同的排布信息存储于视频序列的序列头中，降低解码端需要接收的数据量。
如图3所示，在本发明一实施例中，所述自由视点视频的传输方法应用于编码端，包括以下步骤：
步骤S21，获取各个视点对应的图像以及预设排布信息；
在本实施例中，多个相机拍摄得到多个视点对应的图像，其中，一个相机可拍摄得到一个视点对应的图像，或一个相机可拍摄得到一个视点对应的图像以及对应的深度图像。多个相机将同一时刻拍摄到的图像发送至编码端。编码端根据预先设定的排布方式生成预设排布信息，所述预设排布信息中的一条信息描述一个视点图像或深度图像的相关信息，所述相关信息的具体格式为{x,y,w,h,view_id}，其中，x、y为图像左上角像素在视频帧中的坐标，w、h为图像的宽高，view_id为视点标识。
步骤S22，根据所述预设排布信息将时间戳相同的图像拼接成至少两个视频帧，其中，相同时间戳对应不同视频帧中的图像对应的视点不同；
在本实施例中，根据预设排布信息将接收到的相机发送的图像拼接成为视频帧，即根据预设排布信息中图像的宽和高调整对应的所述视点图像或者所述深度图像的大小，将调整后的图像根据坐标拼接至对应视频帧中。拼接至同一个视频帧中的图像对应的时间戳相同，一个视频帧组中至少包括两个视频帧。例如，部署了27台摄像机进行拍摄，若将九个摄像机拍摄的图像拼接成为一个视频帧，则时间戳相同的视频帧就有三个，其中，每个视频帧拼接九个视点对应的图像，如图4所示，其中P1、P2...P9为九个摄像头拍摄的图像。
步骤S23，根据时间戳相同的视频帧生成视频帧组，其中，所述视频帧组至少包括两张视频帧；
在本实施例中，在获取各个相机拍摄的图像后，将各个相机拍摄的图像拼接成为视频帧，将时间戳相同的视频帧拼接生成视频帧组，其中，所述视频帧组至少包括时间戳相同的两张视频帧。
步骤S24，根据播放顺序将不同时间戳对应的所述视频帧组生成视频序列，并将所述视频序列以及所述预设排布信息输入编码器，生成目标视频码流。
在本实施例中，根据播放的先后顺序将不同时间戳对应的视频帧组进行排序，根据排序后的多个所述视频帧组生成视频序列，并将所述视频序列以及对应的排布信息输入编码器，生成目标视频码流。
步骤S525，将所述目标视频码流发送至解码端，以供所述解码端解码所述目标视频码流获取对应的视频序列。
在本实施例中，在编码器生成目标视频码流后，将所述视频码流发送至解码端，以供解码端通过解码器解码所述视频码流，获取对应的视频序列，并根据显示端发送的显示请求在所述视频序列中查找并截取所述显示请求需要的目标视点的图像画面。
综上所述，本发明获取各个视点对应的图像以及排布信息；根据所述排布信息将时间戳相同的图像拼接成至少两个视频帧，相同时间戳对应不同视频帧中的图像对应的视点不同；根据时间戳相同的视频帧生成视频帧组，其中，所述视频帧组至少包括两张视频帧；根据播放顺序将不同时间戳对应的所述视频帧组生成视频序列，并将所述视频序列以及所述排布信息输入编码器，生成目标视频码流。将所述目标视频码流发送至解码端，以供所述解码端解码所述目标视频码流获取对应的视频序列。如此，通过将同一时刻的多个视点对应的图像拼接成多个视频帧，以减少一个视频帧中拼接的图像数量，达到提高分辨率的目的。
在本发明一实施例中，当获取到各个视点对应的图像以及对应的深度图像时，所述步骤S22包括：
根据所述预设排布信息将时间戳相同的图像以及对应的深度图像拼接成至少两个视频帧，其中，所述图像以及对应的深度图像拼接在同一视频帧中。
在本实施例中，当相机将当前时刻拍摄的图像以及深度图像发送至编码端后，编码端根据预设排布信息将时间戳相同的图像以及对应的深度图像进行拼接，其中，所述预设排布信息包括图像或深度图像左上角像素在视频帧中的坐标、图像或深度图像在视频帧中的宽高、对应的视点标识以及是否为深度图像。将时间戳相同的图像或深度图像拼接成至少两个视频帧且将图像与对应的深度图像拼接在同一视频帧中，如图5以及图6所示，其中，P1、P2、P3...P10为视点对应的图像，D1、D2、D3....D9及D21、D22、D23...D30为各视点对应的图像的深度图像，以便查找虚拟视点的相邻视点对应的图像与深度图像，从而生成虚拟视点对应的图像。
在本发明一实施例中，所述将所述视频序列以及所述预设排布信息输入编码器，生成目标视频码流的步骤包括：
将所述视频序列输入编码器生成原始视频码流；
根据所述预设排布信息生成视频帧的排布信息，其中，所述视频帧的排布信息包含所述视频帧中每一图像的视点标识和位置信息，当所述视频帧中包括深度图像时，所述视频帧的排布信息还包含每一深度图像对应的视点标识和位置信息；
将所述视频帧的排布信息添加至所述原始视频码流的序列头或者所述视频帧的图像头中，生成目标视频码流。
在本实施例中，将相同时间戳的视频帧组合成视频帧组，并根据所述视频帧组对应的时间戳的先后顺序，对各个视频帧组进行排序，最后生成视频序列。将所述视频序列输入编码器生成原始视频码流，并根据预设排布信息生成各个视频帧的排布信息，其中，每个所述视频帧的排布信息包含所述视频帧中每一图像对应的视点标识以及位置信息，以供解码端根据视点标识查找到对应图像的拼接区域，从而截取图像。当视频帧中拼接深度图像时，所述排布信息中也包含每一深度图像对应的视点标识以及位置信息。所述视频帧的排布信息可添加至原视频码流的序列头或者各个视频帧的图像头中。当视频序列中有多个视频帧的排布信息相同时，可将相同的排布信息编号并添加至序列头中，并在对应的视频帧中添加对应的编号，以供解码端识别所述视频帧的排布信息。如此，在视频序列中多个视频帧排布信息相同时，将所述排布信息添加至视频帧，解码端在接收到所述视频序列时可根据读取所述视频序列中的排布信息以及各个视频帧中包含的排布信息对应的编号，降低解码端需要接收的数据量。
为了实现上述目的，本发明还提供一种终端，所述终端为解密端，，所述解码端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被所述处理器执行时，实现如上所述的自由视点视频画面拼接方法的步骤。
为了实现上述目的，本发明还提供一种终端，所述终端为编码端，所述编码端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被所述处理器执行时，实现如上所述的自由视点视频画面拼接方法的步骤。
为了实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被处理器执行时实现如上所述任一项所述的自由视点画面拼接方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种自由视点视频画面拼接方法，其特征在于，应用于解码端，所述自由视点视频的传输方法包括：
接收显示端发送的显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；
接收编码端发送的视频码流，通过解码器解码所述视频码流，获取视频序列，所述视频序列包括不同时间戳对应的视频帧组，所述编码端生成所述视频码流的方式为将同一时间戳不同视点对应的图像拼接生成至少两张视频帧，以减少一个视频帧拼接的视频画面，将时间戳相同的视频帧拼接生成视频帧组，根据各个视频帧组的播放顺序生成所述视频码流；
获取所述视频序列中所述目标时间戳对应的视频帧组，其中，每个所述视频帧组中包括时间戳相同的至少两张视频帧，相同时间戳对应不同视频帧中的图像对应的视点不同，所述视频帧由至少一个视点对应的画面拼接而成，所述目标时间戳对应的视频帧组的时间戳与所述目标时间戳相同；
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像，所述排布信息包括每一视频帧的排布信息，每一视频帧的排布信息包含所述视频帧中每一视点图像的视点标识和视点图像于视频帧的坐标以及视点图像对应的宽高，所述根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像的方式包括根据目标视点对应的视点标识在所述视频帧组的排布信息中查找匹配的视点标识，并根据所述视点标识确定所述目标视点对应的目标图像所在的目标视频帧，并根据排布信息中视点图像于视频帧的坐标以及视点图像对应的宽高确定在目标视频帧中目标图像所在的位置以及目标图像的大小，截取所述目标图像；
将所述目标图像发送至显示端，以供所述显示端根据所述目标图像生成显示画面；
其中，当显示端请求发送深度图像时，所述获取所述视频序列中所述目标时间戳对应的视频帧组的步骤之后，还包括：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像与对应的深度图像，其中，相同的视点对应的图像以及深度图像拼接在同一视频帧中，根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像与对应的深度图像的方式包括获取所述目标视点对应的相邻视点的视点标识，并根据所述相邻视点的视点标识以及视频帧组的排布信息确定各个所述相邻视点对应的目标图像所在的目标视频帧，在所述目标视频帧中截取对应的相邻视点的目标图像以及对应的深度图像；
将所述目标图像与对应的深度图像发送至显示端，以供所述显示端根据所述目标图像与对应的深度图像生成显示画面。
2.如权利要求1所述的自由视点视频画面拼接方法，其特征在于，所述根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像的步骤包括：
根据所述视频帧组的排布信息以及所述目标视点对应的视点标识，确定所述目标视点对应的目标图像所在的目标视频帧以及所述目标视频帧中所述目标图像的位置信息；
根据所述位置信息在所述目标视频帧中截取所述目标视点对应的目标图像。
3.如权利要求1所述的自由视点视频画面拼接方法，其特征在于，所述获取所述视频序列中所述目标时间戳对应的视频帧组的步骤包括：
根据所述视频序列确定所述目标时间戳对应的视频帧组，并确定序列头中或者图像头中的排布信息。
4.一种自由视点视频画面拼接方法，其特征在于，应用于编码端，所述自由视点视频的传输方法包括：
获取各个视点对应的图像以及预设排布信息；
根据所述预设排布信息将时间戳相同的图像拼接成至少两个视频帧，以减少一个视频帧拼接的视频画面，其中，相同时间戳对应不同视频帧中的图像对应的视点不同；
根据时间戳相同的视频帧生成视频帧组，其中，所述视频帧组至少包括两张视频帧；
根据播放顺序将不同时间戳对应的所述视频帧组生成视频序列，并将所述视频序列以及所述预设排布信息输入编码器，生成目标视频码流；
将所述目标视频码流发送至解码端，以供所述解码端解码所述目标视频码流获取对应的视频序列；
其中，当获取到各个视点对应的图像以及对应的深度图像时，所述根据所述预设排布信息将时间戳相同的图像拼接成至少两个视频帧的步骤包括：
根据所述预设排布信息将时间戳相同的图像以及对应的深度图像拼接成至少两个视频帧，其中，所述图像以及对应的深度图像拼接在同一视频帧中。
5.如权利要求4所述的自由视点视频画面拼接方法，其特征在于，所述将所述视频序列以及所述预设排布信息输入编码器，生成目标视频码流的步骤包括：
将所述视频序列输入编码器生成原始视频码流；
根据所述预设排布信息生成视频帧的排布信息，其中，所述视频帧的排布信息包含所述视频帧中每一图像的视点标识和位置信息，当所述视频帧中包括深度图像时，所述视频帧的排布信息还包含每一深度图像对应的视点标识和位置信息；
将所述视频帧的排布信息添加至所述原始视频码流的序列头或者所述视频帧的图像头中，生成目标视频码流。
6.一种解码端，其特征在于，所述解码端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被所述处理器执行时，实现如权利要求1至3中任一项所述的自由视点视频画面拼接方法的步骤。
7.一种编码端，其特征在于，所述编码端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被所述处理器执行时，实现如权利要求4至5中任一项所述的自由视点视频画面拼接方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储有自由视点视频画面拼接程序，所述自由视点视频画面拼接程序被处理器执行时实现如权利要求1至5中任一项所述的自由视点画面拼接方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111041026.7A CN113905186B (zh) | 2021-09-02 | 2021-09-02 | 自由视点视频画面拼接方法、终端及可读存储介质 |
| PCT/CN2021/129039 WO2023029204A1 (zh) | 2021-09-02 | 2021-11-05 | 自由视点视频画面拼接方法、终端及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111041026.7A CN113905186B (zh) | 2021-09-02 | 2021-09-02 | 自由视点视频画面拼接方法、终端及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113905186A CN113905186A (zh) | 2022-01-07 |
| CN113905186B true CN113905186B (zh) | 2023-03-10 |
Family
ID=79188896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111041026.7A Active CN113905186B (zh) | 2021-09-02 | 2021-09-02 | 自由视点视频画面拼接方法、终端及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113905186B (zh) |
| WO (1) | WO2023029204A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117579843B (zh) * | 2024-01-17 | 2024-04-02 | 淘宝（中国）软件有限公司 | 视频编码处理方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147868A (zh) * | 2018-11-02 | 2020-05-12 | 广州灵派科技有限公司 | 一种自由视点视频导播系统 |
| CN111669567A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 多角度自由视角视频数据生成方法及装置、介质、服务器 |
| CN111866525A (zh) * | 2020-09-23 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 多视点视频的播放控制方法及装置、电子设备、存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9047688B2 (en) * | 2011-10-21 | 2015-06-02 | Here Global B.V. | Depth cursor and depth measurement in images |
| CN110012310B (zh) * | 2019-03-28 | 2020-09-25 | 北京大学深圳研究生院 | 一种基于自由视点的编解码方法及装置 |
-
2021
- 2021-09-02 CN CN202111041026.7A patent/CN113905186B/zh active Active
- 2021-11-05 WO PCT/CN2021/129039 patent/WO2023029204A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147868A (zh) * | 2018-11-02 | 2020-05-12 | 广州灵派科技有限公司 | 一种自由视点视频导播系统 |
| CN111669567A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 多角度自由视角视频数据生成方法及装置、介质、服务器 |
| CN111866525A (zh) * | 2020-09-23 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 多视点视频的播放控制方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023029204A1 (zh) | 2023-03-09 |
| CN113905186A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190246162A1 (en) | Method and apparatus for presenting and controlling panoramic image, and storage medium | |
| CN109040792B (zh) | 一种视频重定向的处理方法、云终端和云桌面服务器 | |
| US9485493B2 (en) | Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof | |
| CN111937397B (zh) | 媒体数据处理方法及装置 | |
| CN107040794A (zh) | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 | |
| EP2420955A2 (en) | Terminal device and method for augmented reality | |
| CN111711859A (zh) | 一种视频图像处理方法、系统及终端设备 | |
| WO2010028559A1 (zh) | 图像拼接方法及装置 | |
| CN107040808B (zh) | 用于视频播放中弹幕图片的处理方法和装置 | |
| US11290752B2 (en) | Method and apparatus for providing free viewpoint video | |
| CN107592549B (zh) | 基于双向通信的全景视频播放拍照系统 | |
| EP2572504A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
| CN113905186B (zh) | 自由视点视频画面拼接方法、终端及可读存储介质 | |
| KR20190038134A (ko) | 360 영상 라이브 스트리밍 서비스 방법 및 서버장치 | |
| CN112752085A (zh) | 基于人眼跟踪的裸眼3d视频播放系统及方法 | |
| CN110928509B (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
| CN107707830B (zh) | 基于单向通信的全景视频播放拍照系统 | |
| KR20120054746A (ko) | 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법 | |
| CN111510643A (zh) | 全景图和特写图的拼接系统及方法 | |
| WO2023029252A1 (zh) | 多视点视频数据处理方法、设备及存储介质 | |
| CN104618733A (zh) | 图像远程投射方法和相关装置 | |
| CN116962743A (zh) | 视频图像编码、抠图方法和装置及直播系统 | |
| CN107483876A (zh) | 视频数据处理方法、存储设备、直录播互动终端 | |
| CN112153412B (zh) | 视频图像切换的控制方法、装置、计算机设备和存储介质 | |
| JP7225016B2 (ja) | Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |