CN115209181B - 一种基于环绕视角的视频合成方法、控制器及存储介质 - Google Patents

一种基于环绕视角的视频合成方法、控制器及存储介质 Download PDF

Info

Publication number
CN115209181B
CN115209181B CN202210651322.7A CN202210651322A CN115209181B CN 115209181 B CN115209181 B CN 115209181B CN 202210651322 A CN202210651322 A CN 202210651322A CN 115209181 B CN115209181 B CN 115209181B
Authority
CN
China
Prior art keywords
angle range
image
visual angle
video data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210651322.7A
Other languages
English (en)
Other versions
CN115209181A (zh
Inventor
陈笑怡
李怀德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210651322.7A priority Critical patent/CN115209181B/zh
Publication of CN115209181A publication Critical patent/CN115209181A/zh
Priority to PCT/CN2023/099344 priority patent/WO2023237095A1/zh
Application granted granted Critical
Publication of CN115209181B publication Critical patent/CN115209181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种基于环绕视角的视频合成方法、控制器及存储介质,其中,应用于客户端的方法,包括:在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。客户端在根据视频数据呈现图像时仅确定的视角范围进行解析并呈现,而将其他数据作为冗余数据,同时仅对确定的视角范围内的图像进行插帧处理,减少了计算量,提高了图像呈现的流畅度,有利于实现自由视角功能在超高清领域的普遍适用和应用。

Description

一种基于环绕视角的视频合成方法、控制器及存储介质
技术领域
本申请涉及视频合成技术领域,特别涉及一种基于环绕视角的视频合成方法、控制器及存储介质。
背景技术
目前环绕拍摄的视频合成大部分采用容差拼接方式,合成完毕的视频数据经推流服务器、视频编解码处理,传输到播出端进行全量解码,再呈现给用户。但现有的环绕拍摄合成处理时间较长,需传输的合成数据量较大,部分中低档终端设备在使用自由视角时容易出现发烫或处理器发烫等问题,不利于自由视角功能在超高清领域的普适和应用。
发明内容
本申请实施例要达到的技术目的是提供一种基于环绕视角的视频合成方法、控制器及存储介质,用以解决当前终端设备在使用自由视角时容易出现发烫或处理器发烫等问题,以及无法满足自由视角功能在超高清领域普适和应用的问题。
为解决上述技术问题,本申请实施例提供了一种基于环绕视角的视频合成方法,应用于客户端,包括:
在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
具体地,如上所述的视频合成方法,当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围,包括:
当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
优选地,如上所述的视频合成方法,根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,包括:
根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
对相邻帧的图像进行预设插帧处理,得到自适应图像。
进一步的,如上所述的视频合成方法,对相邻帧的图像进行预设插帧处理,得到自适应图像,包括:
根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
提取图像在柱面或球面上的投影特征点;
根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内每一帧的图像的步骤。
优选地,如上所述的视频合成方法,在根据自适应图像进行呈现的步骤之后,方法还包括:
将第二视角范围记为第一视角范围;
当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
可选地,如上所述的视频合成方法,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
可选地,如上所述的视频合成方法,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
本申请的另一实施例还提供了一种基于环绕视角的视频合成方法,应用于服务端,包括:
在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
当接收到一视频请求时,将视频数据推送至对应的客户端。
优选地,如上所述的视频合成方法,在接收到拍摄端通过信号传输的数据包后,对数据包进行解压,得到视频数据,包括:
对数据包进行解压得到视频数据;
对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
本申请的再一实施例还提供了一种控制器,应用于客户端,包括:
第一处理模块,用于在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
第二处理模块,用于当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
第三处理模块,用于根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
具体地,如上所述的控制器,第二处理模块,包括:
第一子处理模块,用于当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
第二子处理模块,用于根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
第三子处理模块,用于当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
优选地,如上所述的控制器,第三处理模块,包括:
第四子处理模块,用于根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
第五子处理模块,用于从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
第六子处理模块,用于对相邻帧的图像进行预设插帧处理,得到自适应图像。
进一步的,如上所述的控制器,第六子处理模块,包括:
第一处理单元,用于根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
第二处理单元,用于提取图像在柱面或球面上的投影特征点;
第三处理单元,用于根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
第四处理单元,用于当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
第五处理单元,用于当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内每一帧的图像的步骤。
优选地,如上所述的控制器,还包括:
第七处理模块,用于将第二视角范围记为第一视角范围;
第八处理模块,用于当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
可选地,如上所述的控制器,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
可选地,如上所述的控制器,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
本申请的又一实施例还提供了一种控制器,应用于服务端,包括:
第四处理模块,用于在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
第五处理模块,用于根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
第六处理模块,用于当接收到一视频请求时,将视频数据推送至对应的客户端。
优选地,如上所述的控制器,第四处理模块,包括:
第七子处理模块,用于对数据包进行解压得到视频数据;
第八子处理模块,用于对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,第九子处理模块,用于对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
本申请的另一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上的应用于客户端的基于环绕视角的视频合成方法的步骤,或者,实现如上的应用于服务端的基于环绕视角的视频合成方法的步骤。
与现有技术相比,本申请实施例提供的一种基于环绕视角的视频合成方法、控制器及存储介质,至少具有以下有益效果:
客户端根据视频数据呈现图像时会仅根据视频数据中预先确定的第一视角范围进行解析并呈现,而将其他数据作为冗余数据,通过减少计算量,有利于在呈现视频或序列图像时,减少计算量,进而提高了流畅度,并避免终端设备或处理器发烫的情况出现。当用户调整视角时,根据视角调整输入,确定用户进行调整后想要得到的第二视角范围,进而仅对第二视角范围内的图像进行自适应插帧处理,以得到满足第二视角范围的自适应图像,从而进行呈现,同样有利于减少计算量,有利于避免两帧图像间的间隔过长而出现的卡顿等情况,保证图像呈现的流畅度,有利于实现自由视角功能在超高清领域的普遍适用和应用。
附图说明
图1为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之一;
图2为一视角范围变化示意图;
图3为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之二;
图4为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之三;
图5为本申请应用于客户端的基于环绕视角的视频合成方法的流程示意图之四;
图6为本申请应用于客户端的视角拨盘示意图之一;
图7为本申请应用于客户端的视角拨盘示意图之二;
图8为本申请应用于服务端的基于环绕视角的视频合成方法的流程示意图之一;
图9为本申请应用于客户端的控制器的结构示意图;
图10为本申请应用于服务端的控制器的结构示意图。
具体实施方式
为使本申请要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
参见图1,本申请的一优选实施例提供了一种基于环绕视角的视频合成方法,应用于客户端,包括:
步骤S101,在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
步骤S102,当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
步骤S103,根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
在本申请的一实施例中,提供了一种应用于客户端的关于环绕视角的视频合成方法,其中,客户端在接收到服务端推送的所需要的视频数据后,会根据视频数据中预先确定的第一视角范围进行解析并呈现图像,而除第一视角范围外的其他视角的视频数据不进行解析,而是先作为冗余数据,通过减少计算量,有利于在呈现视频或序列图像时,减少计算量,进而提高了流畅度,并避免终端设备或处理器发烫的情况出现。
在客户端使用第一视角范围呈现图像时,若接收到用户的视角调整输入,则确定用户在使用客户端的自由视角功能,此时,为向用户呈现对应视角的图像,先根据该视角调整输入,确定用户进行调整后想要得到的第二视角范围,进而根据该第二视角范围,对第二视角范围内的图像进行自适应插帧处理,以得到满足第二视角范围的自适应图像,从而进行呈现,其中仅需对第二视角范围内的图像进行处理,而其他视角的视频数据作为冗余数据,有利于减少计算量;且通过自适应插帧处理,有利于避免两帧图像间的间隔过长而出现的卡顿等情况,保证图像呈现的流畅度,有利于实现自由视角功能在超高清领域的普遍适用和应用。
参见图2,在一实施例中,第一视角范围的视角为2θ,θ为正值,具体可以为30度、60度或其他正值,第一视角范围的正中心为0度,以视角仅沿一个方向偏移进行说明,此时第一视角范围可表示为[-θ,θ],当第二视角范围为在第一视角范围的基础上沿第一方向转动了时,第二视角范围为/> 其中,第一视角范围和第二视角范围均已包括终端设备的播放视角。
需要说明的是,当用户进行视角调整输入的时间较长时,可分次执行后续确定用户调整后的第二视角范围以及根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现的步骤。且每一次的时间不超过一预设单位时间。
参见图3,具体地,如上所述的视频合成方法,当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围,包括:
步骤S301,当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
步骤S302,根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
步骤S303,当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
在本申请的一具体实施例中,接收到用对当播放框的第一输入时,可确定用户具有调整视角的需求,此时在播放框内弹出至少一个视角拨盘,以便于用户通过该视角拨盘进行视角调整,可选地,此时的第一输入包括但不限于,对播放框上的第一预设位置进行点击、连续点击或长按等操作,或者对播放框上任意位置进行连续点击或长按等操作。该视角拨盘上可设置一定的角度标识,以便用户根据需求选择合适的偏移角度。
进一步的,根据用户对视角拨盘的第二输入,可以调整图像的视角范围,调整方式包括但不限于视角范围的左右转动和/或上下转动,第二输出包括但不限于对视角拨盘进行转动或点击等操作。
当接收到用户的第三输入时,则确定当前用户选择的播放视角范围为第二视角范围,其中第三输入包括但不限于用户在预设时间内无操作,或者用户对播放框上或播放框内的第二预设位置进行点击、连续点击或长按等操作,该第二预设位置可与第一预设位置相同,或,位于视角拨盘上。
参见图4,优选地,如上所述的视频合成方法,根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,包括:
步骤S401,根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
步骤S402,从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
步骤S403,对相邻帧的图像进行预设插帧处理,得到自适应图像。
在本申请的再一实施例中,其中,根据第二视角范围,进行自适应插帧处理时,优选根据调整后的第二视角范围和调整前的第一视角范围,确定视角变化的旋转角度和旋转方向。进而从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;即从当前未呈现的数据中,获取需要增加的角度范围内每一帧的图像(未进行呈现的图像)。也可以理解为,当前有一帧图像,其可呈现的图像对应360度,当前呈现的图像为以0度为中心的60度图像即[-30°,30°]的图像,此时,因视角向左转动了30°,使得该[-60°,-30°)内的图像需要增加至现有图像内进行呈现,因此需要先从冗余数据中获取该[-60°,-30°)内的图像,作为每一帧中的图像。进而再通过对相邻帧的图像进行预设插帧处理,得到所需要呈现的自适应图像。
参见图5,进一步的,如上所述的视频合成方法,对相邻帧的图像进行预设插帧处理,得到自适应图像,包括:
步骤S501,根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
步骤S502,提取图像在柱面或球面上的投影特征点;
步骤S503,根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
步骤S504,当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
步骤S505,当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内的每一帧的图像的步骤。
在本申请的另一实施例中,具体公开了对相邻帧的图像进行预设插帧处理,得到所需要呈现的自适应图像的步骤,其中,首先根据预设的第一算法(优选为形变算法warp,使用变换矩阵做图像的映射),将上述得到的图像映射至柱面或球面,其中,当仅需要在一个方向上转动视角时,可映射至柱面或球面上,当需要在两个互相垂直的方向上转动视角时,则仅能映射至球面。
进而,提取每一帧的图像在柱面或球面上的投影特征点,该投影特征点的数量可以为多个,且将每一个投影特征点记为:其中,i代表第i帧图像,Ni表示第i帧图像上的投影特征点数;由于,每一帧的图像或相邻帧的图像上的特征点数可能在小范围内波动,因此每一帧的投影特征点数,并不一定等于对应的特征点总数;其中投影特征点可通过尺度不变特征变换(Scale-invariant feature transform,简称SIFT)实现,其中SIFT时用于图像处理领域的一种描述,其具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。
进一步的,计算前后两帧柱面或球面上投影特征点的对应关系,并计算得到对应特征点的距离差值N为投影特征点总数。
当距离差值小于一阈值时,则表明前后两帧的图像之间很接近,在播放时可平滑过渡,此时即可根据投影特征点求解单应性(即将映射在柱面或球面上的图像还原),并与现有的图像进行拼接处理,得到对应的自适应图像。
当距离差值大于或等于该阈值时,则确定前后两帧的图像之间相距较远,若不进行插帧处理,会导致图像呈现时出现卡顿或不流畅等问题,影响观感,因此,在两者之间进行插帧,并返回重新获取图像,以便使最终得到的图像之间流畅呈现。
需要说明的是,该阈值可人为设定或根据设备终端等对流畅度等的要求计算得到,通过改变该阈值,尤其是降低阈值,可以时间更加清晰、流畅的观影效果。
优选地,如上所述的视频合成方法,在根据自适应图像进行呈现的步骤之后,方法还包括:
将第二视角范围记为第一视角范围;
当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
在本申请的另一实施例中,还提供了一种进一步的视频合成方法,即在用户调整过一次视角后,将此时的第二视角范围记为第一视角范围,当用户需要再次调整视角时,可在此基础上进行调整。避免重新从原始的第一视角范围进行调整导致出现重复计算等情况。
可选地,如上所述的视频合成方法,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
参见图6和图7,可选地,如上所述的视频合成方法,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
当视角拨盘为至少两个,第二视角拨盘(如图6中横向拨盘所示)可以为第一视角拨盘(如图6中纵向拨盘所示)的精细补充,以便于用户进行更精细的视角调整;也可以与第一视角拨盘的转动方向垂直,以便于实现球面360度转动(如图7中横向拨盘所示)。
参见图8,本申请的另一实施例还提供了一种基于环绕视角的视频合成方法,应用于服务端,包括:
步骤S801,在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
步骤S802,根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
步骤S803,当接收到一视频请求时,将视频数据推送至对应的客户端。
在本申请的另一实施例中,还提供了一种应用于服务端的视频合成方法,其中,服务端,在接收到拍摄端通过信号传输的数据包后,会对数据包进行解析,得到完整序列图像或视频,作为视频数据,并基于拍摄方法,预先确定视频数据进行呈现的第一视角范围,以便于客户端在请求并接收到该视频数据时,能优先一第一视角范围进行解析并呈现,而除第一视角范围外的其他视角的视频数据不进行解析,而是先作为冗余数据,通过减少计算量,有利于在呈现视频或序列图像时,减少计算量,进而提高了流畅度,并避免终端设备或处理器发烫的情况出现。
优选地,如上所述的视频合成方法,在接收到拍摄端通过信号传输的数据包后,对数据包进行解压,得到视频数据,包括:
对数据包进行解压得到视频数据;
对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
在本申请的另一实施例中,在接收到数据包后,会对该数据包进行解压,得到该视频数据,进而可通过对图像中的色彩进行检测和修正,对序列中单帧色彩过曝的图像进行自动下调曝光度,部分消除或减轻“现场拍摄”和“信号传输”两个环节中,由于环境灯光、快门阵列、信号丢包等客观因素对“播出展现”环节造成的视频画面抖动或闪烁等不良影响,降低原始数据对后续步骤计算的干扰。还可通过对环绕帧序列原始图像的环绕角度预加载分析,计算相临两帧之间的画面差值,若插值过大,则自动生成一帧过渡图像插入,使原始角度顺滑流畅。对原始视频数据的上述处理,有助于后续客户端在呈现时能够快速读取到最优的原始数据,以及其他生产系统之间在处理环绕视频时的“收录、剪辑、回看”的效率。
参见图9,本申请的再一实施例还提供了一种控制器,应用于客户端,包括:
第一处理模块901,用于在接收到服务端推送的视频数据后,根据视频数据中预先确定的第一视角范围进行解析并呈现图像;
第二处理模块902,用于当接收到用户的视角调整输入后,根据视角调整输入,确定用户调整后的第二视角范围;
第三处理模块903,用于根据第二视角范围,进行自适应插帧处理,得到满足第二视角范围的自适应图像,并根据自适应图像进行呈现。
具体地,如上所述的控制器,第二处理模块,包括:
第一子处理模块,用于当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
第二子处理模块,用于根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
第三子处理模块,用于当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
优选地,如上所述的控制器,第三处理模块,包括:
第四子处理模块,用于根据第二视角范围和第一视角范围,确定视角变化的旋转角度和旋转方向;
第五子处理模块,用于从对应旋转方向的边界开始,根据旋转方向,遍历旋转角度范围内每一帧的图像;
第六子处理模块,用于对相邻帧的图像进行预设插帧处理,得到自适应图像。
进一步的,如上所述的控制器,第六子处理模块,包括:
第一处理单元,用于根据预设的第一算法,将每一帧的图像映射至一柱面或球面;
第二处理单元,用于提取图像在柱面或球面上的投影特征点;
第三处理单元,用于根据相邻两帧投影特点的对应关系,获取投影特征点的距离差值;
第四处理单元,用于当距离差值小于一阈值时,根据投影特征点求解单应性,并进行拼接处理,得到自适应图像;
第五处理单元,用于当距离差值大于或等于阈值时,返回执行遍历旋转方向从对应的边界角度开始旋转角度范围内的每一帧的图像的步骤。
优选地,如上所述的控制器,还包括:
第七处理模块,用于将第二视角范围记为第一视角范围;
第八处理模块,用于当再次接收到用户的视角调整输入时,再次执行根据视角调整输入,捕获用户调整后的第二视角范围的步骤。
可选地,如上所述的控制器,视角拨盘为一个;
其中,视角拨盘的第一旋转方向与一预设的第一视角旋转方向对应,视角拨盘上的第一单位旋转角度与一第一预设单位视角旋转角度对应。
可选地,如上所述的控制器,视角拨盘为至少两个;
其中,第一视角拨盘的第二旋转方向与一预设的第二视角旋转方向对应,第一视角拨盘上的第二单位旋转角度与一第二预设单位视角旋转角度对应;
第二视角拨盘的第三旋转方向与第二旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三预设单位视角旋转角度小于第二预设单位视角旋转角度;
或者,第二视角拨盘的第三旋转方向与一预设的第三视角旋转方向对应,第二视角拨盘上的第三单位旋转角度与一第三预设单位视角旋转角度对应,其中,第三视角旋转方向与第二视角旋转方向垂直。
本申请的应用于客户端的控制器器的实施例是与上述应用于客户端的基于环绕视角的视频合成方法的实施例对应的装置,上述方法实施例中的所有实现手段均适用于该控制器的实施例中,也能达到相同的技术效果。
参见图10,本申请的又一实施例还提供了一种控制器,应用于服务端,包括:
第四处理模块1001,用于在接收到拍摄端通过信号传输的数据包后,对数据包进行解析,得到视频数据;
第五处理模块1002,用于根据拍摄方法预先确定视频数据进行呈现的第一视角范围;
第六处理模块1003,用于当接收到一视频请求时,将视频数据推送至对应的客户端。
优选地,如上所述的控制器,第四处理模块,包括:
第七子处理模块,用于对数据包进行解压得到视频数据;
第八子处理模块,用于对视频数据中图像的色彩曲线进行自动检测,当相邻两帧的图像中色差大于第一差值的部分进行调色修正;
和/或,第九子处理模块,用于对视频数据的环绕角度进行预加载分析,当相邻两帧的图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入视频数据中。
本申请的应用于服务端的控制器器的实施例是与上述应用于服务端的基于环绕视角的视频合成方法的实施例对应的装置,上述方法实施例中的所有实现手段均适用于该控制器的实施例中,也能达到相同的技术效果。
本申请的另一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上的应用于客户端的基于环绕视角的视频合成方法的步骤,或者,实现如上的应用于服务端的基于环绕视角的视频合成方法的步骤。
此外,本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
以上所述是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种基于环绕视角的视频合成方法,应用于客户端,其特征在于,包括:
在接收到服务端推送的视频数据后,根据所述视频数据中预先确定的第一视角范围进行解析并呈现图像;
当接收到用户的视角调整输入后,根据所述视角调整输入,确定所述用户调整后的第二视角范围;
根据所述第二视角范围,进行自适应插帧处理,得到满足所述第二视角范围的自适应图像,并根据所述自适应图像进行呈现;
其中,所述当接收到用户的视角调整输入后,根据所述视角调整输入,确定所述用户调整后的第二视角范围,包括:
当接收到所述用户对播放框的第一输入时,在所述播放框内弹出至少一个视角拨盘;
根据所述用户对所述视角拨盘的第二输入,调整图像的播放视角范围;
当接收到所述用户的第三输入时,确定当前的所述播放视角范围为所述第二视角范围。
2.根据权利要求1所述的视频合成方法,其特征在于,所述根据所述第二视角范围,进行自适应插帧处理,得到满足所述第二视角范围的自适应图像,包括:
根据所述第二视角范围和所述第一视角范围,确定视角变化的旋转角度和旋转方向;
从对应所述旋转方向的边界开始,根据所述旋转方向,遍历所述旋转角度范围内的每一帧的图像;
对相邻帧的所述图像进行预设插帧处理,得到所述自适应图像。
3.根据权利要求2所述的视频合成方法,其特征在于,所述对相邻帧的所述图像进行预设插帧处理,得到所述自适应图像,包括:
根据预设的第一算法,将每一帧的所述图像映射至一柱面或球面;
提取所述图像在所述柱面或所述球面上的投影特征点;
根据相邻两帧所述投影特征点的对应关系,获取所述投影特征点的距离差值;
当所述距离差值小于一阈值时,根据所述投影特征点求解单应性,并进行拼接处理,得到所述自适应图像;
当所述距离差值大于或等于所述阈值时,进行插帧,并返回执行所述遍历所述旋转方向从对应的边界角度开始旋转角度范围内每一帧的图像的步骤。
4.根据权利要求1所述的视频合成方法,其特征在于,在所述根据所述自适应图像进行呈现的步骤之后,所述方法还包括:
将所述第二视角范围记为所述第一视角范围;
当再次接收到所述用户的视角调整输入时,再次执行所述根据所述视角调整输入,捕获所述用户调整后的第二视角范围的步骤。
5.一种基于环绕视角的视频合成方法,应用于服务端,其特征在于,包括:
在接收到拍摄端通过信号传输的数据包后,对所述数据包进行解析,得到视频数据;
根据拍摄方法预先确定所述视频数据进行呈现的第一视角范围;
当接收到一视频请求时,将所述视频数据推送至对应的客户端。
6.根据权利要求5所述的视频合成方法,其特征在于,所述在接收到拍摄端通过信号传输的数据包后,对所述数据包进行解压,得到视频数据,包括:
对所述数据包进行解压得到所述视频数据;
对所述视频数据中图像的色彩曲线进行自动检测,当相邻两帧的所述图像中色差大于第一差值的部分进行调色修正;
和/或,对所述视频数据的环绕角度进行预加载分析,当相邻两帧的所述图像之间的画面差值大于第二差值时,生成一帧过渡图像并插入所述视频数据中。
7.一种控制器,应用于客户端,其特征在于,包括:
第一处理模块,用于在接收到服务端推送的视频数据后,根据所述视频数据中预先确定的第一视角范围进行解析并呈现图像;
第二处理模块,用于当接收到用户的视角调整输入后,根据所述视角调整输入,确定所述用户调整后的第二视角范围;
第三处理模块,用于根据所述第二视角范围,进行自适应插帧处理,得到满足所述第二视角范围的自适应图像,并根据所述自适应图像进行呈现;
其中,第二处理模块,包括:
第一子处理模块,用于当接收到用户对播放框的第一输入时,在播放框内弹出至少一个视角拨盘;
第二子处理模块,用于根据用户对视角拨盘的第二输入,调整图像的播放视角范围;
第三子处理模块,用于当接收到用户的第三输入时,确定当前的播放视角范围为第二视角范围。
8.一种控制器,应用于服务端,其特征在于,包括:
第四处理模块,用于在接收到拍摄端通过信号传输的数据包后,对所述数据包进行解析,得到视频数据;
第五处理模块,用于根据拍摄方法预先确定所述视频数据进行呈现的第一视角范围;
第六处理模块,用于当接收到一视频请求时,将所述视频数据推送至对应的客户端。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的应用于客户端的基于环绕视角的视频合成方法的步骤,或者,实现如权利要求5或6所述的应用于服务端的基于环绕视角的视频合成方法的步骤。
CN202210651322.7A 2022-06-09 2022-06-09 一种基于环绕视角的视频合成方法、控制器及存储介质 Active CN115209181B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210651322.7A CN115209181B (zh) 2022-06-09 2022-06-09 一种基于环绕视角的视频合成方法、控制器及存储介质
PCT/CN2023/099344 WO2023237095A1 (zh) 2022-06-09 2023-06-09 一种基于环绕视角的视频合成方法、控制器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210651322.7A CN115209181B (zh) 2022-06-09 2022-06-09 一种基于环绕视角的视频合成方法、控制器及存储介质

Publications (2)

Publication Number Publication Date
CN115209181A CN115209181A (zh) 2022-10-18
CN115209181B true CN115209181B (zh) 2024-03-22

Family

ID=83576712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210651322.7A Active CN115209181B (zh) 2022-06-09 2022-06-09 一种基于环绕视角的视频合成方法、控制器及存储介质

Country Status (2)

Country Link
CN (1) CN115209181B (zh)
WO (1) WO2023237095A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
CN205430421U (zh) * 2016-03-25 2016-08-03 北京电影学院 用于电影虚拟化制作的可控俯仰角全景摄影系统
CN106385536A (zh) * 2016-09-19 2017-02-08 清华大学 用于视觉假体的双目图像采集方法及系统
CN109076200A (zh) * 2016-01-12 2018-12-21 上海科技大学 全景立体视频系统的校准方法和装置
JP2019009700A (ja) * 2017-06-27 2019-01-17 株式会社メディアタージ 多視点映像出力装置、および、多視点映像システム
EP3515082A1 (en) * 2018-01-19 2019-07-24 Nokia Technologies Oy Server device for streaming video content and client device for receiving and rendering video content
CN110505375A (zh) * 2018-05-17 2019-11-26 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质
CN110519644A (zh) * 2019-09-05 2019-11-29 青岛一舍科技有限公司 结合推荐视角的全景视频视角调整方法和装置
CN110691187A (zh) * 2018-07-05 2020-01-14 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质
CN111163333A (zh) * 2020-01-09 2020-05-15 未来新视界教育科技(北京)有限公司 实现私人实时订制视觉内容的方法和装置
CN111355904A (zh) * 2020-03-26 2020-06-30 朱小林 一种矿井内部全景信息采集系统与展示方法
CN111447462A (zh) * 2020-05-20 2020-07-24 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN112584196A (zh) * 2019-09-30 2021-03-30 北京金山云网络技术有限公司 视频插帧方法、装置及服务器
JP2021057766A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、動画配信サーバ、画像処理装置、および動画配信方法
CN112770051A (zh) * 2021-01-04 2021-05-07 聚好看科技股份有限公司 一种基于视场角的显示方法及显示设备
CN113992911A (zh) * 2021-09-26 2022-01-28 南京莱斯电子设备有限公司 全景视频h264编码的帧内预测模式确定方法和设备
CN114040119A (zh) * 2021-12-27 2022-02-11 未来电视有限公司 全景视频显示方法、装置和计算机设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016025640A (ja) * 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 情報処理装置、情報処理方法およびプログラム
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
EP3720136A4 (en) * 2017-11-30 2020-10-07 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEPTION DEVICE AND RECEPTION PROCESS
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
CN109146833A (zh) * 2018-08-02 2019-01-04 广州市鑫广飞信息科技有限公司 一种视频图像的拼接方法、装置、终端设备及存储介质
CN111131865A (zh) * 2018-10-30 2020-05-08 中国电信股份有限公司 提高vr视频播放流畅度的方法、装置、系统和机顶盒
CN114584769A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种视角切换方法及装置
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
CN109076200A (zh) * 2016-01-12 2018-12-21 上海科技大学 全景立体视频系统的校准方法和装置
CN205430421U (zh) * 2016-03-25 2016-08-03 北京电影学院 用于电影虚拟化制作的可控俯仰角全景摄影系统
CN106385536A (zh) * 2016-09-19 2017-02-08 清华大学 用于视觉假体的双目图像采集方法及系统
JP2019009700A (ja) * 2017-06-27 2019-01-17 株式会社メディアタージ 多視点映像出力装置、および、多視点映像システム
EP3515082A1 (en) * 2018-01-19 2019-07-24 Nokia Technologies Oy Server device for streaming video content and client device for receiving and rendering video content
CN110505375A (zh) * 2018-05-17 2019-11-26 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质
CN110691187A (zh) * 2018-07-05 2020-01-14 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质
CN110519644A (zh) * 2019-09-05 2019-11-29 青岛一舍科技有限公司 结合推荐视角的全景视频视角调整方法和装置
CN112584196A (zh) * 2019-09-30 2021-03-30 北京金山云网络技术有限公司 视频插帧方法、装置及服务器
JP2021057766A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、動画配信サーバ、画像処理装置、および動画配信方法
CN111163333A (zh) * 2020-01-09 2020-05-15 未来新视界教育科技(北京)有限公司 实现私人实时订制视觉内容的方法和装置
CN111355904A (zh) * 2020-03-26 2020-06-30 朱小林 一种矿井内部全景信息采集系统与展示方法
CN111447462A (zh) * 2020-05-20 2020-07-24 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN112770051A (zh) * 2021-01-04 2021-05-07 聚好看科技股份有限公司 一种基于视场角的显示方法及显示设备
CN113992911A (zh) * 2021-09-26 2022-01-28 南京莱斯电子设备有限公司 全景视频h264编码的帧内预测模式确定方法和设备
CN114040119A (zh) * 2021-12-27 2022-02-11 未来电视有限公司 全景视频显示方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Efficient Coding of 360-Degree Pseudo-Cylindrical panoramic Video for Virtual Reality Applications》;Ramin Ghaznavi Youvalari;《2016 IEEE International Symposium on Multimedia》;全文 *
《用于外接式HMD的全景视频播放器软件的设计与实现》;李永亮,黄滔;《电子技术与软件工程》;全文 *
《统筹图像变换与缝合线生成的无参数影像拼接》;高炯笠;《中国图象图形学报》;第25卷(第5期);全文 *

Also Published As

Publication number Publication date
CN115209181A (zh) 2022-10-18
WO2023237095A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
WO2020108082A1 (zh) 视频处理方法、装置、电子设备和计算机可读介质
US9578240B2 (en) Generic platform video image stabilization
CA2721481C (en) Preprocessing video to insert visual elements and applications thereof
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
US20100321539A1 (en) Image processing apparatus and image processing method
US20160277772A1 (en) Reduced bit rate immersive video
EP1785941A1 (en) Virtual view specification and synthesis in free viewpoint television
US20130033612A1 (en) Reduced latency video stabilization
CN102256061B (zh) 一种二维三维混合的视频稳定方法
CN115209181B (zh) 一种基于环绕视角的视频合成方法、控制器及存储介质
CN109191506B (zh) 深度图的处理方法、系统及计算机可读存储介质
CN110493638B (zh) 视频帧对齐方法、装置、电子设备及可读存储介质
US20030202780A1 (en) Method and system for enhancing the playback of video frames
CN110602506B (zh) 视频处理方法、网络设备及计算机可读存储介质
CN111225271A (zh) 一种基于安卓机顶盒平台的多引擎抓图录屏方法
CN108307248B (zh) 视频播放方法、装置、计算设备及存储介质
WO2018148076A1 (en) System and method for automated positioning of augmented reality content
US20220382053A1 (en) Image processing method and apparatus for head-mounted display device as well as electronic device
US11533469B2 (en) Panoramic video picture quality display method and device
US7983454B2 (en) Image processing apparatus and image processing method for processing a flesh-colored area
WO2024032494A1 (zh) 图像处理方法、装置、计算机、可读存储介质及程序产品
CN110035320A (zh) 视频的广告加载渲染方法及装置
CN117278731A (zh) 多视频与三维场景融合方法、装置、设备及存储介质
JP6134267B2 (ja) 画像処理装置、画像処理方法、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant