CN115209181B - 一种基于环绕视角的视频合成方法、控制器及存储介质 - Google Patents
一种基于环绕视角的视频合成方法、控制器及存储介质 Download PDFInfo
- Publication number
- CN115209181B CN115209181B CN202210651322.7A CN202210651322A CN115209181B CN 115209181 B CN115209181 B CN 115209181B CN 202210651322 A CN202210651322 A CN 202210651322A CN 115209181 B CN115209181 B CN 115209181B
- Authority
- CN
- China
- Prior art keywords
- angle range
- image
- visual angle
- video data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 239000000203 mixture Substances 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 206010053615 Thermal burn Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种基于环绕视角的视频合成方法、控制器及存储介质,其中,应用于客户端的方法,包括:在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。客户端在根据视频数据呈现图像时仅确定的视角范围进行解析并呈现,而将其他数据作为冗余数据,同时仅对确定的视角范围内的图像进行插帧处理,减少了计算量,提高了图像呈现的流畅度,有利于实现自由视角功能在超高清领域的普遍适用和应用。
Description
技术领域
本申请涉及视频合成技术领域,特别涉及一种基于环绕视角的视频合成方法、控制器及存储介质。
背景技术
目前环绕拍摄的视频合成大部分采用容差拼接方式,合成完毕的视频数据经推流服务器、视频编解码处理,传输到播出端进行全量解码,再呈现给用户。但现有的环绕拍摄合成处理时间较长,需传输的合成数据量较大,部分中低档终端设备在使用自由视角时容易出现发烫或处理器发烫等问题,不利于自由视角功能在超高清领域的普适和应用。
发明内容
本申请实施例要达到的技术目的是提供一种基于环绕视角的视频合成方法、控制器及存储介质,用以解决当前终端设备在使用自由视角时容易出现发烫或处理器发烫等问题,以及无法满足自由视角功能在超高清领域普适和应用的问题。
为解决上述技术问题,本申请实施例提供了一种基于环绕视角的视频合成方法,应用于客户端,包括:
在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
具体地,如上所述的视频合成方法,当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围,包括:
当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
优选地,如上所述的视频合成方法,根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,包括:
根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
对相邻帧的图像进行预设插帧处理,得到自适应图像。
进一步的,如上所述的视频合成方法,对相邻帧的图像进行预设插帧处理,得到自适应图像,包括:
根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
提取图像在柱面或球面上的投影特征点;
根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内每一帧的图像的步骤。
优选地,如上所述的视频合成方法,在根据自适应图像进行呈现的步骤之后,方法还包括:
将第二视角范围记为第一视角范围;
当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
可选地,如上所述的视频合成方法,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
可选地,如上所述的视频合成方法,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
本申请的另一实施例还提供了一种基于环绕视角的视频合成方法,应用于服务端,包括:
在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
当接收到一视频请求时,将视频数据推送至对应的客户端。
优选地,如上所述的视频合成方法,在接收到拍摄端通过信号传输的数据包后,对数据包进行解压,得到视频数据,包括:
对数据包进行解压得到视频数据;
对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
本申请的再一实施例还提供了一种控制器,应用于客户端,包括:
第一处理模块,用于在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
第二处理模块,用于当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
第三处理模块,用于根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
具体地,如上所述的控制器,第二处理模块,包括:
第一子处理模块,用于当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
第二子处理模块,用于根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
第三子处理模块,用于当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
优选地,如上所述的控制器,第三处理模块,包括:
第四子处理模块,用于根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
第五子处理模块,用于从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
第六子处理模块,用于对相邻帧的图像进行预设插帧处理,得到自适应图像。
进一步的,如上所述的控制器,第六子处理模块,包括:
第一处理单元,用于根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
第二处理单元,用于提取图像在柱面或球面上的投影特征点;
第三处理单元,用于根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
第四处理单元,用于当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
第五处理单元,用于当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内每一帧的图像的步骤。
优选地,如上所述的控制器,还包括:
第七处理模块,用于将第二视角范围记为第一视角范围;
第八处理模块,用于当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
可选地,如上所述的控制器,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
可选地,如上所述的控制器,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
本申请的又一实施例还提供了一种控制器,应用于服务端,包括:
第四处理模块,用于在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
第五处理模块,用于根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
第六处理模块,用于当接收到一视频请求时,将视频数据推送至对应的客户端。
优选地,如上所述的控制器,第四处理模块,包括:
第七子处理模块,用于对数据包进行解压得到视频数据;
第八子处理模块,用于对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,第九子处理模块,用于对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
本申请的另一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上的应用于客户端的基于环绕视角的视频合成方法的步骤,或者,实现如上的应用于服务端的基于环绕视角的视频合成方法的步骤。
与现有技术相比,本申请实施例提供的一种基于环绕视角的视频合成方法、控制器及存储介质,至少具有以下有益效果:
客户端根据视频数据呈现图像时会仅根据视频数据中预先确定的第一视角范围进行解析并呈现,而将其他数据作为冗余数据,通过减少计算量,有利于在呈现视频或序列图像时,减少计算量,进而提高了流畅度,并避免终端设备或处理器发烫的情况出现。当用户调整视角时,根据视角调整输入,确定用户进行调整后想要得到的第二视角范围,进而仅对第二视角范围内的图像进行自适应插帧处理,以得到满足第二视角范围的自适应图像,从而进行呈现,同样有利于减少计算量,有利于避免两帧图像间的间隔过长而出现的卡顿等情况,保证图像呈现的流畅度,有利于实现自由视角功能在超高清领域的普遍适用和应用。
附图说明
图1为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之一;
图2为一视角范围变化示意图;
图3为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之二;
图4为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之三;
图5为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之四;
图6为本申请应用于客户端的视角拨盘示意图之一;
图7为本申请应用于客户端的视角拨盘示意图之二;
图8为本申请应用于服务端的基于环绕视角的视频合成方法的流程示意图之一;
图9为本申请应用于客户端的控制器的结构示意图;
图10为本申请应用于服务端的控制器的结构示意图。
具体实施方式
为使本申请要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
参见图1,本申请的一优选实施例提供了一种基于环绕视角的视频合成方法,应用于客户端,包括:
步骤S101,在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
步骤S102,当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
步骤S103,根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
在本申请的一实施例中,提供了一种应用于客户端的关于环绕视角的视频合成方法,其中,客户端在接收到服务端推送的所需要的视频数据后,会根据视频数据中预先确定的第一视角范围进行解析并呈现图像,而除第一视角范围外的其他视角的视频数据不进行解析,而是先作为冗余数据,通过减少计算量,有利于在呈现视频或序列图像时,减少计算量,进而提高了流畅度,并避免终端设备或处理器发烫的情况出现。
在客户端使用第一视角范围呈现图像时,若接收到用户的视角调整输入,则确定用户在使用客户端的自由视角功能,此时,为向用户呈现对应视角的图像,先根据该视角调整输入,确定用户进行调整后想要得到的第二视角范围,进而根据该第二视角范围,对第二视角范围内的图像进行自适应插帧处理,以得到满足第二视角范围的自适应图像,从而进行呈现,其中仅需对第二视角范围内的图像进行处理,而其他视角的视频数据作为冗余数据,有利于减少计算量;且通过自适应插帧处理,有利于避免两帧图像间的间隔过长而出现的卡顿等情况,保证图像呈现的流畅度,有利于实现自由视角功能在超高清领域的普遍适用和应用。
参见图2,在一实施例中,第一视角范围的视角为2θ,θ为正值,具体可以为30度、60度或其他正值,第一视角范围的正中心为0度,以视角仅沿一个方向偏移进行说明,此时第一视角范围可表示为[-θ,θ],当第二视角范围为在第一视角范围的基础上沿第一方向转动了时,第二视角范围为/> 其中,第一视角范围和第二视角范围均已包括终端设备的播放视角。
需要说明的是,当用户进行视角调整输入的时间较长时,可分次执行后续确定用户调整后的第二视角范围以及根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现的步骤。且每一次的时间不超过一预设单位时间。
参见图3,具体地,如上所述的视频合成方法,当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围,包括:
步骤S301,当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
步骤S302,根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
步骤S303,当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
在本申请的一具体实施例中,接收到用对当播放框的第一输入时,可确定用户具有调整视角的需求,此时在播放框内弹出至少一个视角拨盘,以便于用户通过该视角拨盘进行视角调整,可选地,此时的第一输入包括但不限于,对播放框上的第一预设位置进行点击、连续点击或长按等操作,或者对播放框上任意位置进行连续点击或长按等操作。该视角拨盘上可设置一定的角度标识,以便用户根据需求选择合适的偏移角度。
进一步的,根据用户对视角拨盘的第二输入,可以调整图像的视角范围,调整方式包括但不限于视角范围的左右转动和/或上下转动,第二输出包括但不限于对视角拨盘进行转动或点击等操作。
当接收到用户的第三输入时,则确定当前用户选择的播放视角范围为第二视角范围,其中第三输入包括但不限于用户在预设时间内无操作,或者用户对播放框上或播放框内的第二预设位置进行点击、连续点击或长按等操作,该第二预设位置可与第一预设位置相同,或,位于视角拨盘上。
参见图4,优选地,如上所述的视频合成方法,根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,包括:
步骤S401,根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
步骤S402,从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
步骤S403,对相邻帧的图像进行预设插帧处理,得到自适应图像。
在本申请的再一实施例中,其中,根据第二视角范围,进行自适应插帧处理时,优选根据调整后的第二视角范围和调整前的第一视角范围,确定视角变化的旋转角度和旋转方向。进而从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;即从当前未呈现的数据中,获取需要增加的角度范围内每一帧的图像(未进行呈现的图像)。也可以理解为,当前有一帧图像,其可呈现的图像对应360度,当前呈现的图像为以0度为中心的60度图像即[-30°,30°]的图像,此时,因视角向左转动了30°,使得该[-60°,-30°)内的图像需要增加至现有图像内进行呈现,因此需要先从冗余数据中获取该[-60°,-30°)内的图像,作为每一帧中的图像。进而再通过对相邻帧的图像进行预设插帧处理,得到所需要呈现的自适应图像。
参见图5,进一步的,如上所述的视频合成方法,对相邻帧的图像进行预设插帧处理,得到自适应图像,包括:
步骤S501,根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
步骤S502,提取图像在柱面或球面上的投影特征点;
步骤S503,根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
步骤S504,当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
步骤S505,当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内的每一帧的图像的步骤。
在本申请的另一实施例中,具体公开了对相邻帧的图像进行预设插帧处理,得到所需要呈现的自适应图像的步骤,其中,首先根据预设的第一算法(优选为形变算法warp,使用变换矩阵做图像的映射),将上述得到的图像映射至柱面或球面,其中,当仅需要在一个方向上转动视角时,可映射至柱面或球面上,当需要在两个互相垂直的方向上转动视角时,则仅能映射至球面。
进而,提取每一帧的图像在柱面或球面上的投影特征点,该投影特征点的数量可以为多个,且将每一个投影特征点记为:其中,i代表第i帧图像,Ni表示第i帧图像上的投影特征点数;由于,每一帧的图像或相邻帧的图像上的特征点数可能在小范围内波动,因此每一帧的投影特征点数,并不一定等于对应的特征点总数;其中投影特征点可通过尺度不变特征变换(Scale-invariant feature transform,简称SIFT)实现,其中SIFT时用于图像处理领域的一种描述,其具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。
进一步的,计算前后两帧柱面或球面上投影特征点的对应关系,并计算得到对应特征点的距离差值N为投影特征点总数。
当距离差值小于一阈值时,则表明前后两帧的图像之间很接近,在播放时可平滑过渡,此时即可根据投影特征点求解单应性(即将映射在柱面或球面上的图像还原),并与现有的图像进行拼接处理,得到对应的自适应图像。
当距离差值大于或等于该阈值时,则确定前后两帧的图像之间相距较远,若不进行插帧处理,会导致图像呈现时出现卡顿或不流畅等问题,影响观感,因此,在两者之间进行插帧,并返回重新获取图像,以便使最终得到的图像之间流畅呈现。
需要说明的是,该阈值可人为设定或根据设备终端等对流畅度等的要求计算得到,通过改变该阈值,尤其是降低阈值,可以时间更加清晰、流畅的观影效果。
优选地,如上所述的视频合成方法,在根据自适应图像进行呈现的步骤之后,方法还包括:
将第二视角范围记为第一视角范围;
当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
在本申请的另一实施例中,还提供了一种进一步的视频合成方法,即在用户调整过一次视角后,将此时的第二视角范围记为第一视角范围,当用户需要再次调整视角时,可在此基础上进行调整。避免重新从原始的第一视角范围进行调整导致出现重复计算等情况。
可选地,如上所述的视频合成方法,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
参见图6和图7,可选地,如上所述的视频合成方法,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
当视角拨盘为至少两个,第二视角拨盘(如图6中横向拨盘所示)可以为第一视角拨盘(如图6中纵向拨盘所示)的精细补充,以便于用户进行更精细的视角调整;也可以与第一视角拨盘的转动方向垂直,以便于实现球面360度转动(如图7中横向拨盘所示)。
参见图8,本申请的另一实施例还提供了一种基于环绕视角的视频合成方法,应用于服务端,包括:
步骤S801,在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
步骤S802,根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
步骤S803,当接收到一视频请求时,将视频数据推送至对应的客户端。
在本申请的另一实施例中,还提供了一种应用于服务端的视频合成方法,其中,服务端,在接收到拍摄端通过信号传输的数据包后,会对数据包进行解析,得到完整序列图像或视频,作为视频数据,并基于拍摄方法,预先确定视频数据进行呈现的第一视角范围,以便于客户端在请求并接收到该视频数据时,能优先一第一视角范围进行解析并呈现,而除第一视角范围外的其他视角的视频数据不进行解析,而是先作为冗余数据,通过减少计算量,有利于在呈现视频或序列图像时,减少计算量,进而提高了流畅度,并避免终端设备或处理器发烫的情况出现。
优选地,如上所述的视频合成方法,在接收到拍摄端通过信号传输的数据包后,对数据包进行解压,得到视频数据,包括:
对数据包进行解压得到视频数据;
对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
在本申请的另一实施例中,在接收到数据包后,会对该数据包进行解压,得到该视频数据,进而可通过对图像中的色彩进行检测和修正,对序列中单帧色彩过曝的图像进行自动下调曝光度,部分消除或减轻“现场拍摄”和“信号传输”两个环节中,由于环境灯光、快门阵列、信号丢包等客观因素对“播出展现”环节造成的视频画面抖动或闪烁等不良影响,降低原始数据对后续步骤计算的干扰。还可通过对环绕帧序列原始图像的环绕角度预加载分析,计算相临两帧之间的画面差值,若插值过大,则自动生成一帧过渡图像插入,使原始角度顺滑流畅。对原始视频数据的上述处理,有助于后续客户端在呈现时能够快速读取到最优的原始数据,以及其他生产系统之间在处理环绕视频时的“收录、剪辑、回看”的效率。
参见图9,本申请的再一实施例还提供了一种控制器,应用于客户端,包括:
第一处理模块901,用于在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
第二处理模块902,用于当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
第三处理模块903,用于根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
具体地,如上所述的控制器,第二处理模块,包括:
第一子处理模块,用于当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
第二子处理模块,用于根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
第三子处理模块,用于当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
优选地,如上所述的控制器,第三处理模块,包括:
第四子处理模块,用于根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
第五子处理模块,用于从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
第六子处理模块,用于对相邻帧的图像进行预设插帧处理,得到自适应图像。
进一步的,如上所述的控制器,第六子处理模块,包括:
第一处理单元,用于根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
第二处理单元,用于提取图像在柱面或球面上的投影特征点;
第三处理单元,用于根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
第四处理单元,用于当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
第五处理单元,用于当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内的每一帧的图像的步骤。
优选地,如上所述的控制器,还包括:
第七处理模块,用于将第二视角范围记为第一视角范围;
第八处理模块,用于当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
可选地,如上所述的控制器,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
可选地,如上所述的控制器,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
本申请的应用于客户端的控制器器的实施例是与上述应用于客户端的基于环绕视角的视频合成方法的实施例对应的装置,上述方法实施例中的所有实现手段均适用于该控制器的实施例中,也能达到相同的技术效果。
参见图10,本申请的又一实施例还提供了一种控制器,应用于服务端,包括:
第四处理模块1001,用于在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
第五处理模块1002,用于根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
第六处理模块1003,用于当接收到一视频请求时,将视频数据推送至对应的客户端。
优选地,如上所述的控制器,第四处理模块,包括:
第七子处理模块,用于对数据包进行解压得到视频数据;
第八子处理模块,用于对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,第九子处理模块,用于对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
本申请的应用于服务端的控制器器的实施例是与上述应用于服务端的基于环绕视角的视频合成方法的实施例对应的装置,上述方法实施例中的所有实现手段均适用于该控制器的实施例中,也能达到相同的技术效果。
本申请的另一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上的应用于客户端的基于环绕视角的视频合成方法的步骤,或者,实现如上的应用于服务端的基于环绕视角的视频合成方法的步骤。
此外,本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
以上所述是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种基于环绕视角的视频合成方法,应用于客户端,其特征在于,包括:
在接收到服务端推送的视频数据后,根据所述视频数据中预先确定的第一视角范围进行解析并呈现图像;
当接收到用户的视角调整输入后,根据所述视角调整输入,确定所述用户调整后的第二视角范围;
根据所述第二视角范围,进行自适应插帧处理,得到满足所述第二视角范围的自适应图像,并根据所述自适应图像进行呈现;
其中,所述当接收到用户的视角调整输入后,根据所述视角调整输入,确定所述用户调整后的第二视角范围,包括:
当接收到所述用户对播放框的第一输入时,在所述播放框内弹出至少一个视角拨盘;
根据所述用户对所述视角拨盘的第二输入,调整图像的播放视角范围;
当接收到所述用户的第三输入时,确定当前的所述播放视角范围为所述第二视角范围。
2.根据权利要求1所述的视频合成方法,其特征在于,所述根据所述第二视角范围,进行自适应插帧处理,得到满足所述第二视角范围的自适应图像,包括:
根据所述第二视角范围和所述第一视角范围,确定视角变化的旋转角度和旋转方向;
从对应所述旋转方向的边界开始,根据所述旋转方向,遍历所述旋转角度范围内的每一帧的图像;
对相邻帧的所述图像进行预设插帧处理,得到所述自适应图像。
3.根据权利要求2所述的视频合成方法,其特征在于,所述对相邻帧的所述图像进行预设插帧处理,得到所述自适应图像,包括:
根据预设的第一算法,将每一帧的所述图像映射至一柱面或球面;
提取所述图像在所述柱面或所述球面上的投影特征点;
根据相邻两帧所述投影特征点的对应关系,获取所述投影特征点的距离差值;
当所述距离差值小于一阈值时,根据所述投影特征点求解单应性,并进行拼接处理,得到所述自适应图像;
当所述距离差值大于或等于所述阈值时,进行插帧,并返回执行所述遍历所述旋转方向从对应的边界角度开始旋转角度范围内每一帧的图像的步骤。
4.根据权利要求1所述的视频合成方法,其特征在于,在所述根据所述自适应图像进行呈现的步骤之后,所述方法还包括:
将所述第二视角范围记为所述第一视角范围;
当再次接收到所述用户的视角调整输入时,再次执行所述根据所述视角调整输入,捕获所述用户调整后的第二视角范围的步骤。
5.一种基于环绕视角的视频合成方法,应用于服务端,其特征在于,包括:
在接收到拍摄端通过信号传输的数据包后,对所述数据包进行解析,得到视频数据;
根据拍摄方法预先确定所述视频数据进行呈现的第一视角范围;
当接收到一视频请求时,将所述视频数据推送至对应的客户端。
6.根据权利要求5所述的视频合成方法,其特征在于,所述在接收到拍摄端通过信号传输的数据包后,对所述数据包进行解压,得到视频数据,包括:
对所述数据包进行解压得到所述视频数据;
对所述视频数据中图像的色彩曲线进行自动检测,当相邻两帧的所述图像中色差大于第一差值的部分进行调色修正;
和/或,对所述视频数据的环绕角度进行预加载分析,当相邻两帧的所述图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入所述视频数据中。
7.一种控制器,应用于客户端,其特征在于,包括:
第一处理模块,用于在接收到服务端推送的视频数据后,根据所述视频数据中预先确定的第一视角范围进行解析并呈现图像;
第二处理模块,用于当接收到用户的视角调整输入后,根据所述视角调整输入,确定所述用户调整后的第二视角范围;
第三处理模块,用于根据所述第二视角范围,进行自适应插帧处理,得到满足所述第二视角范围的自适应图像,并根据所述自适应图像进行呈现;
其中,第二处理模块,包括:
第一子处理模块,用于当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
第二子处理模块,用于根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
第三子处理模块,用于当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
8.一种控制器,应用于服务端,其特征在于,包括:
第四处理模块,用于在接收到拍摄端通过信号传输的数据包后,对所述数据包进行解析,得到视频数据;
第五处理模块,用于根据拍摄方法预先确定所述视频数据进行呈现的第一视角范围;
第六处理模块,用于当接收到一视频请求时,将所述视频数据推送至对应的客户端。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的应用于客户端的基于环绕视角的视频合成方法的步骤,或者,实现如权利要求5或6所述的应用于服务端的基于环绕视角的视频合成方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210651322.7A CN115209181B (zh) | 2022-06-09 | 2022-06-09 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
PCT/CN2023/099344 WO2023237095A1 (zh) | 2022-06-09 | 2023-06-09 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210651322.7A CN115209181B (zh) | 2022-06-09 | 2022-06-09 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115209181A CN115209181A (zh) | 2022-10-18 |
CN115209181B true CN115209181B (zh) | 2024-03-22 |
Family
ID=83576712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210651322.7A Active CN115209181B (zh) | 2022-06-09 | 2022-06-09 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115209181B (zh) |
WO (1) | WO2023237095A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115209181B (zh) * | 2022-06-09 | 2024-03-22 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010072065A1 (zh) * | 2008-12-25 | 2010-07-01 | 深圳市泛彩溢实业有限公司 | 全息三维图像信息采集装置、方法及还原装置、方法 |
CN205430421U (zh) * | 2016-03-25 | 2016-08-03 | 北京电影学院 | 用于电影虚拟化制作的可控俯仰角全景摄影系统 |
CN106385536A (zh) * | 2016-09-19 | 2017-02-08 | 清华大学 | 用于视觉假体的双目图像采集方法及系统 |
CN109076200A (zh) * | 2016-01-12 | 2018-12-21 | 上海科技大学 | 全景立体视频系统的校准方法和装置 |
JP2019009700A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社メディアタージ | 多視点映像出力装置、および、多視点映像システム |
EP3515082A1 (en) * | 2018-01-19 | 2019-07-24 | Nokia Technologies Oy | Server device for streaming video content and client device for receiving and rendering video content |
CN110505375A (zh) * | 2018-05-17 | 2019-11-26 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和计算机可读介质 |
CN110519644A (zh) * | 2019-09-05 | 2019-11-29 | 青岛一舍科技有限公司 | 结合推荐视角的全景视频视角调整方法和装置 |
CN110691187A (zh) * | 2018-07-05 | 2020-01-14 | 佳能株式会社 | 电子装置、电子装置的控制方法和计算机可读介质 |
CN111163333A (zh) * | 2020-01-09 | 2020-05-15 | 未来新视界教育科技(北京)有限公司 | 实现私人实时订制视觉内容的方法和装置 |
CN111355904A (zh) * | 2020-03-26 | 2020-06-30 | 朱小林 | 一种矿井内部全景信息采集系统与展示方法 |
CN111447462A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
CN112584196A (zh) * | 2019-09-30 | 2021-03-30 | 北京金山云网络技术有限公司 | 视频插帧方法、装置及服务器 |
JP2021057766A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、動画配信サーバ、画像処理装置、および動画配信方法 |
CN112770051A (zh) * | 2021-01-04 | 2021-05-07 | 聚好看科技股份有限公司 | 一种基于视场角的显示方法及显示设备 |
CN113992911A (zh) * | 2021-09-26 | 2022-01-28 | 南京莱斯电子设备有限公司 | 全景视频h264编码的帧内预测模式确定方法和设备 |
CN114040119A (zh) * | 2021-12-27 | 2022-02-11 | 未来电视有限公司 | 全景视频显示方法、装置和计算机设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016025640A (ja) * | 2014-07-24 | 2016-02-08 | エイオーエフ イメージング テクノロジー リミテッド | 情報処理装置、情報処理方法およびプログラム |
KR102360412B1 (ko) * | 2017-08-25 | 2022-02-09 | 엘지디스플레이 주식회사 | 영상 생성 방법과 이를 이용한 표시장치 |
EP3720136A4 (en) * | 2017-11-30 | 2020-10-07 | Sony Corporation | TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEPTION DEVICE AND RECEPTION PROCESS |
US11212438B2 (en) * | 2018-02-14 | 2021-12-28 | Qualcomm Incorporated | Loop filter padding for 360-degree video coding |
CN109146833A (zh) * | 2018-08-02 | 2019-01-04 | 广州市鑫广飞信息科技有限公司 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
CN111131865A (zh) * | 2018-10-30 | 2020-05-08 | 中国电信股份有限公司 | 提高vr视频播放流畅度的方法、装置、系统和机顶盒 |
CN114584769A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | 一种视角切换方法及装置 |
CN115209181B (zh) * | 2022-06-09 | 2024-03-22 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
-
2022
- 2022-06-09 CN CN202210651322.7A patent/CN115209181B/zh active Active
-
2023
- 2023-06-09 WO PCT/CN2023/099344 patent/WO2023237095A1/zh unknown
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010072065A1 (zh) * | 2008-12-25 | 2010-07-01 | 深圳市泛彩溢实业有限公司 | 全息三维图像信息采集装置、方法及还原装置、方法 |
CN109076200A (zh) * | 2016-01-12 | 2018-12-21 | 上海科技大学 | 全景立体视频系统的校准方法和装置 |
CN205430421U (zh) * | 2016-03-25 | 2016-08-03 | 北京电影学院 | 用于电影虚拟化制作的可控俯仰角全景摄影系统 |
CN106385536A (zh) * | 2016-09-19 | 2017-02-08 | 清华大学 | 用于视觉假体的双目图像采集方法及系统 |
JP2019009700A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社メディアタージ | 多視点映像出力装置、および、多視点映像システム |
EP3515082A1 (en) * | 2018-01-19 | 2019-07-24 | Nokia Technologies Oy | Server device for streaming video content and client device for receiving and rendering video content |
CN110505375A (zh) * | 2018-05-17 | 2019-11-26 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和计算机可读介质 |
CN110691187A (zh) * | 2018-07-05 | 2020-01-14 | 佳能株式会社 | 电子装置、电子装置的控制方法和计算机可读介质 |
CN110519644A (zh) * | 2019-09-05 | 2019-11-29 | 青岛一舍科技有限公司 | 结合推荐视角的全景视频视角调整方法和装置 |
CN112584196A (zh) * | 2019-09-30 | 2021-03-30 | 北京金山云网络技术有限公司 | 视频插帧方法、装置及服务器 |
JP2021057766A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、動画配信サーバ、画像処理装置、および動画配信方法 |
CN111163333A (zh) * | 2020-01-09 | 2020-05-15 | 未来新视界教育科技(北京)有限公司 | 实现私人实时订制视觉内容的方法和装置 |
CN111355904A (zh) * | 2020-03-26 | 2020-06-30 | 朱小林 | 一种矿井内部全景信息采集系统与展示方法 |
CN111447462A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
CN112770051A (zh) * | 2021-01-04 | 2021-05-07 | 聚好看科技股份有限公司 | 一种基于视场角的显示方法及显示设备 |
CN113992911A (zh) * | 2021-09-26 | 2022-01-28 | 南京莱斯电子设备有限公司 | 全景视频h264编码的帧内预测模式确定方法和设备 |
CN114040119A (zh) * | 2021-12-27 | 2022-02-11 | 未来电视有限公司 | 全景视频显示方法、装置和计算机设备 |
Non-Patent Citations (3)
Title |
---|
《Efficient Coding of 360-Degree Pseudo-Cylindrical panoramic Video for Virtual Reality Applications》;Ramin Ghaznavi Youvalari;《2016 IEEE International Symposium on Multimedia》;全文 * |
《用于外接式HMD的全景视频播放器软件的设计与实现》;李永亮,黄滔;《电子技术与软件工程》;全文 * |
《统筹图像变换与缝合线生成的无参数影像拼接》;高炯笠;《中国图象图形学报》;第25卷(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115209181A (zh) | 2022-10-18 |
WO2023237095A1 (zh) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11683540B2 (en) | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback | |
WO2020108082A1 (zh) | 视频处理方法、装置、电子设备和计算机可读介质 | |
US9578240B2 (en) | Generic platform video image stabilization | |
CA2721481C (en) | Preprocessing video to insert visual elements and applications thereof | |
US10242462B2 (en) | Rate control bit allocation for video streaming based on an attention area of a gamer | |
US20100321539A1 (en) | Image processing apparatus and image processing method | |
US20160277772A1 (en) | Reduced bit rate immersive video | |
EP1785941A1 (en) | Virtual view specification and synthesis in free viewpoint television | |
US20130033612A1 (en) | Reduced latency video stabilization | |
CN102256061B (zh) | 一种二维三维混合的视频稳定方法 | |
CN115209181B (zh) | 一种基于环绕视角的视频合成方法、控制器及存储介质 | |
CN109191506B (zh) | 深度图的处理方法、系统及计算机可读存储介质 | |
CN110493638B (zh) | 视频帧对齐方法、装置、电子设备及可读存储介质 | |
US20030202780A1 (en) | Method and system for enhancing the playback of video frames | |
CN110602506B (zh) | 视频处理方法、网络设备及计算机可读存储介质 | |
CN111225271A (zh) | 一种基于安卓机顶盒平台的多引擎抓图录屏方法 | |
CN108307248B (zh) | 视频播放方法、装置、计算设备及存储介质 | |
WO2018148076A1 (en) | System and method for automated positioning of augmented reality content | |
US20220382053A1 (en) | Image processing method and apparatus for head-mounted display device as well as electronic device | |
US11533469B2 (en) | Panoramic video picture quality display method and device | |
US7983454B2 (en) | Image processing apparatus and image processing method for processing a flesh-colored area | |
WO2024032494A1 (zh) | 图像处理方法、装置、计算机、可读存储介质及程序产品 | |
CN110035320A (zh) | 视频的广告加载渲染方法及装置 | |
CN117278731A (zh) | 多视频与三维场景融合方法、装置、设备及存储介质 | |
JP6134267B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |