CN117793477A - 视频处理方法、装置及电子设备 - Google Patents
视频处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117793477A CN117793477A CN202211157100.6A CN202211157100A CN117793477A CN 117793477 A CN117793477 A CN 117793477A CN 202211157100 A CN202211157100 A CN 202211157100A CN 117793477 A CN117793477 A CN 117793477A
- Authority
- CN
- China
- Prior art keywords
- view
- image slice
- image
- video
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000033001 locomotion Effects 0.000 claims description 34
- 239000012634 fragment Substances 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 20
- 230000000007 visual effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供一种视频处理方法、装置及电子设备,该方法包括:获取用户的历史预测视角和所述历史预测视角对应的历史真实视角;基于所述历史真实视角,预测所述用户在未来时段内的视角信息;基于所述历史预测视角和所述历史真实视角,确定所述历史预测视角的预测准确度;基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,并播放所述目标图像分片,所述自由视角视频的视频帧包括多个图像分片。提高视频播放的准确度。
Description
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种视频处理方法、装置及电子设备。
背景技术
电子设备可以播放自由视角视频。例如,电子设备可以接收服务器发送的全景视频、虚拟现实(Virtual Reality,VR)视频等,并放上述视频。
目前,在自由视角视频的视角较宽时(如,全景视频),自由视角视频的数据量较大,因此,在传输自由视角视频时,服务器可以将自由视角视频的视频帧划分为多个图像分片,并对用户的视角进行预测,基于预测的视角,向电子设备发送用户关注的图像分片,进而节约传输带宽。但是,用户的视角移动的随机性较大,使得视角预测的准确度较低,进而导致视频播放的准确度较低。
发明内容
本公开提供一种视频处理方法、装置及电子设备,用于解决现有技术中视角预测的准确度较低,导致视频播放的准确度较低的技术问题。
第一方面,本公开提供一种视频处理方法,该方法包括:
获取用户的历史预测视角和所述历史预测视角对应的历史真实视角;
基于所述历史真实视角,预测所述用户在未来时段内的视角信息;
基于所述历史预测视角和所述历史真实视角,确定所述历史预测视角的预测准确度;
基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,并播放所述目标图像分片,所述自由视角视频的视频帧包括多个图像分片。
第二方面,本公开提供一种视频处理装置,该视频处理装置包括第一获取模块、预测模块、确定模块、第二获取模块和播放模块,其中:
所述第一获取模块用于,获取用户的历史预测视角和所述历史预测视角对应的历史真实视角;
所述预测模块用于,基于所述历史真实视角,预测所述用户在未来时段内的视角信息;
所述确定模块用于,基于所述历史预测视角和所述历史真实视角,确定所述历史预测视角的预测准确度;
所述第二获取模块用于,基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,所述自由视角视频的视频帧包括多个图像分片;
所述播放模块用于,播放所述目标图像分片。
第三方面,本公开实施例提供一种电子设备,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能涉及的所述视频处理方法。
第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能涉及的所述视频处理方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能涉及的所述视频处理方法。
本公开提供一种视频处理方法、装置及电子设备,获取用户的历史预测视角和历史预测视角对应的历史真实视角,基于历史真实视角,预测用户在未来时段内的视角信息,基于历史预测视角和历史真实视角,确定历史预测视角的预测准确度,基于视角信息和预测准确度,在自由视角视频中获取目标图像分片,并播放目标图像分片,其中,自由视角视频的视频帧包括多个图像分片。在上述方法中,由于预测准确度可以指示历史时段内用户的视角预测是否准确,因此,电子设备可以基于视角信息和预测准确度,灵活的在自由视角视频中获取目标图像分片,提高目标图像分片获取的灵活度,进而使得电子设备可以播放用户关注的内容,提高视频播放的准确度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种图像分片示意图;
图2A为本公开实施例提供的一种应用场景示意图;
图2B为本公开实施例提供的另一种应用场景示意图;
图3为本公开实施例提供的一种视频处理方法的流程示意图;
图4为本公开实施例提供的一种历史视角示意图;
图5为本公开实施例提供的一种视角移动方向的示意图;
图6为本公开实施例提供的一种获取目标图像分片的方法示意图;
图7为本公开实施例提供的一种确定第一图像分片的过程示意;
图8A为本公开实施例提供的另一种获取第一图像分片的过程示意图;
图8B为本公开实施例提供的另一种获取第一图像分片的过程示意图;
图8C为本公开实施例提供的另一种获取第一图像分片的过程示意图;
图9为本公开实施例提供的一种获取第一位置的过程示意图;
图10为本公开实施例提供的一种视频处理方法的过程示意图;
图11为本公开实施例提供的一种视频处理装置的结构示意图;以及,
图12为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了便于理解,下面,对本公开实施例涉及的概念进行说明。
电子设备:是一种具有无线收发功能的设备。电子设备可以部署在陆地上,包括室内或室外、手持、穿戴或车载;也可以部署在水面上(如轮船等)。所述电子设备可以是手机(mobile phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)电子设备、增强现实(augmented reality,AR)电子设备、工业控制(industrialcontrol)中的无线终端、车载电子设备、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线电子设备、智能电网(smart grid)中的无线电子设备、运输安全(transportation safety)中的无线电子设备、智慧城市(smart city)中的无线电子设备、智慧家庭(smart home)中的无线电子设备、可穿戴电子设备等。本公开实施例所涉及的电子设备还可以称为终端、用户设备(user equipment,UE)、接入电子设备、车载终端、工业控制终端、UE单元、UE站、移动站、移动台、远方站、远程电子设备、移动设备、UE电子设备、无线通信设备、UE代理或UE装置等。电子设备也可以是固定的或者移动的。
视角:视角可以为视场角FOV。例如,用户的视角可以为用户的视线所能覆盖的最大范围,若对象在用户视角的最大范围内,则用户可以看到该对象,若对象未在用户视角的最大范围内,则用户无法看到该对象。例如,全景视频为360度的视频,用户的视角范围小于360度,因此,用户观看全景视频时,只能看到全景视频中的部分内容。
图像分片:图像分片可以为自由视角视频的视频帧中的部分图像。例如,自由视角视频的每个视频帧都可以根据预设的拆分策略,拆分为多个图像分片tile。例如,若预设的策略为将每个视频帧平均拆分为100个图像分片,则服务器获取到全景视频时,可以将全景视频拆分为100个视频分片,每个视频分片的播放画面为全景视频播放画面中的一部分。
下面,结合图1,对图像分片进行说明。
图1为本公开实施例提供的一种图像分片示意图。请参见图1,包括全画幅图像和电子设备。其中,全画幅图像为全景视频中的任意一个视频帧。服务器或电子设备(图中未示出)可以对全画幅图像进行拆分处理,得到图像分片A、图像分片B、图像分片C和图像分片D,每个图像分片的尺寸相同,并且每个图像分片都可以独立存储。例如,图像分片A、图像分片B、图像分片C和图像分片D的存储位置都不同,电子设备获取全画幅图像时,可以只获取全画幅图像中的图像分片A、图像分片B。
需要说明的是,全景视频中的全画幅图像可以包括全景视频的视频帧内的所有内容。例如,若全景视频映射在球面模型中播放,则全画幅图像可以包括球面显示的所有图像,若全景视频映射在立方体模型中播放,则全画幅图像可以包括立方体模型的六个面显示的图像。
需要说明的是,一个全景视频中所有的视频帧的拆分策略相同,因此,在对全景视频的每一帧视频帧进行拆分之后,通过多个视频帧在相同位置的图像分片可以得到视频分片。例如,将全景视频的视频帧都拆分为4个图像分片,电子设备可以获取每个视频帧中的第一个图像分片(顺序为自上到下,自左到右),进而得到视频分片,该视频分片播放的画面为全景视频播放画面的左上部分的画面。
在相关技术中,在自由视角视频的视角较宽时,电子设备可以只获取用户视角范围内的视频分片,以降低传输的码率。为了保证用户观看视频的体验,电子设备可以预测用户在未来时段内的视角范围,并提前获取视角范围内的视频分片,进而降低视频播放的延迟,提高用户的体验。但是,用户视角移动的随机性较大,用户的视角范围预测的准确度较低,使得获取的视频分片的准确度较低,进而导致视频播放的准确度较低,用户的体验较差。
为了解决相关技术中的问题,本公开实施例提供一种视频处理方法,获取用户的历史预测视角和历史预测视角对应的历史真实视角,基于历史真实视角,通过线性回归的方式,预测用户在未来时段内的视角范围、视角移动方向和视角移动速度,基于历史预测视角和历史真实视角,可以得到历史时段内用户的视角预测的预测准确度,若预测准确度较高,可以获取用户视角范围内的图像分片,并播放图像分片,若预测准确度较低,可以基于用户视角范围、视角移动方向和视角移动速度,获取更多的图像分片,并播放获取的图像分片。这样,若用户视角的预测准确度较高,则播放用户视角范围内的图像分片,降低自由视角视频的传输码率,若用户视角的预测准确度较低,则基于用户视角范围、视角移动方向和视角移动速度,播放更多的图像分片,保证用户的观看体验,进而提高视频播放的灵活度和视频播放的准确度。
为了便于理解,下面,结合图2A-图2B,对本公开的应用场景进行说明。
图2A为本公开实施例提供的一种应用场景示意图。请参见图2A,包括:全景视频和电子设备。其中,全景视频中的每个视频帧都平均拆分为4个图像分片,全景视频中包括视频分片A、视频分片B、视频分片C和视频分片D,每个视频分片的码率都是高清。若预测到未来时段内用户关注视频分片A和视频分片B,则电子设备可以获取高清的视频分片A和高清的视频分片B,并播放视频分片A和视频分片B。
图2B为本公开实施例提供的另一种应用场景示意图。请参见图2B,包括:全景视频A、全景视频B和电子设备。其中,全景视频A和全景视频B中的每个视频帧都平均拆分为4个图像分片。全景视频A中包括高清的视频分片A、高清的视频分片B、高清的视频分片C、高清的视频分片D,全景视频B中包括超清的视频分片E、超清的视频分片F、超清的视频分片G、超清的视频分片H。全景视频A的内容和全景视频B的内容相同,仅为码率不同。
请参见图2B,若电子设备预测用户关注全景视频的左上角,且当前网络带宽可以播放超清的视频,则电子设备可以获取全景视频A和全景视频B中的视频分片E。电子设备通过视频分片E覆盖全景视频A中的视频分片A,并播放覆盖后的全景视频,其中,电子设备播放超清的视频分片E、高清的视频分片B,高清的视频分片C和高清的视频分片D。这样,用户可以看到超清的全景视频(用户视角只能观看到全景视频左上角的区域),并且,在用户随机移动视角时,其它区域也包括码率较低的内容,降低视频传输的码率(比全画幅超清的全景视频的传输码率低),提高视频播放的效果和视频播放的准确度。
需要说明的是,图2A-图2B只是示例的说明本公开实施例的应用场景,并非对本公开实施例的应用场景的限定。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
图3为本公开实施例提供的一种视频处理方法的流程示意图。请参见图3,该方法可以包括:
S301、获取用户的历史预测视角和历史预测视角对应的历史真实视角。
本公开实施例的执行主体可以为电子设备,也可以为设置在电子设备中的视频处理装置。其中,视频处理装置可以通过软件实现,视频处理装置也可以通过软件和硬件的结合实现。
可选的,历史预测视角为历史时段内电子设备预测的用户的视角范围。例如,电子设备可以在过去10分钟内对用户的视角范围进行预测,进而得到过去10分钟内的历史预测视角。
可选的,历史真实视角为历史预测视角相关联的时段内,用户的真实视角。例如,电子设备在历史时刻B预测历史时刻A的用户视角范围为视角A,其中,历史时刻B的时间戳小于历史时刻A的时间戳(历史时刻A比历史时刻B更接近当前时刻),若电子设备在历史时刻A获取用户的真实视角范围为视角B,则视角A对应历史真实视角为视角B。
下面,结合图4,对历史预测视角和历史真实视角进行说明。
图4为本公开实施例提供的一种历史视角示意图。请参见图4,包括:时间轴。其中,时间轴的最右侧为当前时刻,时间轴上包括历史时刻B和历史时刻A,历史时刻A与当前时刻的距离小于历史时刻B与当前时刻的距离。电子设备可以在历史时刻B预测历史时刻A的用户视角,得到全画幅图像A,其中,全画幅图像A中包括历史时刻A的预测视角A。在历史时刻A时,电子设备可以获取该时刻的用户的真实视角,得到全画幅图像B,其中,全画幅图像B中包括历史时刻A的真实视角。在历史时刻A,预测视角A对应的真实视角为真实视角B。
可选的,电子设备可以采集历史时段内用户的历史预测视角和历史真实视角。例如,电子设备在历史时段内可以实时的对用户的视角进行预测,得到预测视角,并且在历史时段内可以实时的获取用户的真实视角,电子设备可以将历史时段内获取的预测视角和真实视角存储在数据库中,进而可以通过数据库获取历史预测视角和历史真实视角。
需要说明的是,电子设备在采集预测视角和真实视角时,电子设备可以确定历史预测视角与历史真实视角的映射关系,进而可以快速的获取历史视角和历史视角对应的历史真实视角,电子设备也可以通过时间戳,确定历史预测视角对应的历史真实视角,本公开实施例对此不作限定。
S302、基于历史真实视角,预测用户在未来时段内的视角信息。
可选的,视角信息可以包括用户在未来时段内的视角范围和视角运动信息。可选的,视角运动信息可以包括视角移动方向和视角移动速度。其中,视角移动方向可以为用户的视角在未来时段内的偏移方向。例如,若用户在当前时刻的视角范围为区域A,电子设备预测用户在未来时段内的视角范围为区域B,则视角移动方向为区域A到区域B的方向。可选的,视角移动速度可以为用户的视角在未来时段内的移动速度。例如,用户的视角在未来时段内的移动速度可以为5米/秒。
下面,结合图5,对视角移动方向进行说明。
图5为本公开实施例提供的一种视角移动方向的示意图。请参见图5,包括:全画幅图像。其中,全画幅图像中包括用户的当前视角,当前视角位于全画幅图像的左侧,电子设备可以预测用户未来时段内的预测视角,预测视角位于全画幅图像的右侧。通过用户的当前视角和用户的预测视角,可以确定用户的视角移动方向为水平向右移动。
可选的,电子设备可以通过线性回归的方式,基于历史真实视角,预测用户在未来时段内的视角信息。例如,可以对历史真实视角进行线性回归处理,进而预测用户在未来时段内的视角范围,回归线的斜率可以为用户在未来时段内的视角移动方向,根据视角范围之间的距离和时差,可以确定用户在未来时段内的视角移动速度。
可选的,电子设备可以通过预测算法,预测用户在未来时段内的视角信息。例如,电子设备可以通过视角预测算法,对历史真实视角进行处理,进而得到用户在未来时段内的视角中心,进而基于视角中心,确定视角范围、视角移动方向和视角移动速度。
可选的,电子设备可以通过视角预测模型,预测用户在未来时段内的视角信息。例如,电子设备可以向视角预测模型中输入用户的历史真实视角图像(历史真实视角中包括时序关系),视角预测模型可以输出未来一段时长内的用户的预测视角图像,其中,预测视角图像中包括用户的视角范围、视角移动方向和视角移动速度。
可选的,视角预测模型可以通过多组样本学习得到,多组样本中包括样本历史真实视角图像、样本预测视角图像。例如,获取样本真实视角图像A,并获取样本真实视角图像A的下一时段内的样本真实视角图像B,进而得到一组样本,该组样本中包括样本真实视角图像A和样本真实视角图像B,其中,样本真实视角图像A对应的样本真实视角图像B可以为视角热力图,样本真实视角图像B中用户视角范围内的区域的颜色为红色。
需要说明的是,视角预测模型在训练时的输入也可以为多张样本真实视角图像,通过多张样本真实视角图像学习历史时段内的视角信息变化趋势,进而预测下一时段内的用户的视角信息。
需要说明的是,预测视角模型输出的下一时段内的用户视角信息也可以包括视角概率矩阵(训练样本包括视角概率矩阵),矩阵中的每个元素都对应全画幅图像中的每个像素在用户视角范围内的概率,矩阵中元素的取值为0-1,通过视角概率矩阵和全画幅图像,可以预测下一时段内的用户的视角信息。
S303、基于历史预测视角和历史真实视角,确定历史预测视角的预测准确度。
可选的,可以根据如下可行的实现方式,确定历史预测视角的预测准确度:获取历史时段内,多个历史时刻相关联的视角预测准确度,得到多个视角预测准确度。
可选的,针对于任意一个历史时刻,可以根据如下可行的实现方式,获取历史时刻相关联的视角预测准确度:获取电子设备在历史时刻采集的用户的目标历史真实视角,以及电子设备预测该历史时刻用户的目标历史预测视角,基于目标历史真实视角和目标历史预测视角,确定该历史时刻的预测准确度。例如,可以根据目标历史真实视角的范围和位置,以及目标历史预测视角的范围和位置(在全景视频播放画面中的位置),确定历史时刻的预测准确度。例如,若目标历史预测视角的范围和位置与目标历史真实视角的范围和位置相同,则确定该历史时刻的预测准确度较高,若目标历史预测视角的范围和位置与目标历史真实视角的范围和位置不同,则确定历史时刻的预测准确度较低。
可选的,电子设备可以将目标历史预测视角与目标历史真实视角的重叠率,确定为该历史时刻的预测准确度。例如,若目标历史预测视角与目标历史真实视角的重叠率为20%,则电子设备确定该历史时刻的预测准确度为20%;若目标历史预测视角与目标历史真实视角的重叠率为80%,则电子设备确定该历史时刻的预测准确度为80%。
可选的,根据多个视角预测准确度,确定历史时段内的历史预测视角的准确度。例如,电子设备可以将多个视角预测准确度的平均值,确定为历史预测视角的准确度,电子设备也可以将多个视角预测准确度的方差,确定为历史预测视角的准确度,电子设备也可以对多个视角预测准确度进行其它的处理,得到历史预测视角的准确度,本公开实施例对此不作限定。
S304、基于视角信息和预测准确度,在自由视角视频中获取目标图像分片。
可选的,自由视角视频的视频帧包括多个图像分片。例如,全景视频中的每张全画幅图像都可以拆分为多个图像分片。电子设备可以根据如下可行的实现方式,在自由视角视频中获取目标图像分片:基于视角信息和预测准确度,在多个图像分片中确定第一图像分片。可选的,第一图像分片为用户可能会关注的图像分片。例如,全景视频可以包括多个码率(标清、高清等)的视频流,每个视频流的拆分策略相同,因此,多个视频流相同位置的图像分片的内容相同,码率不同,基于视角信息和预测准确度,可以确定用户关注的内容。
获取第一图像分片相关联的第一码率。可选的,第一码率为电子设备预测的用户关注内容的播放码率。例如,电子设备预测的用户关注的内容为第一图像分片对应的内容,由于全景视频相关联不同码率的视频流,因此,电子设备可以预测用户关注的内容,在播放时的清晰度。
基于第一图像分片和第一码率,在自由视角视频中获取目标图像分片。例如,电子设备根据第一图像分片,确定用户关注的自由视角视频中的视频帧对应的图像分片,根据第一码率,确定该图像分片的显示码率,进而在显示码率对应的视频流中获取该图像分片。例如,若用户关注全景视频中的第一个图像分片,且第一码率为超清,则电子设备可以在超清的自由视角视频中,获取第一个图像分片,并将该图像分片确定为目标图像分片。
S305、播放目标图像分片。
可选的,电子设备获取目标图像分片之后,可以播放目标图像分片。例如,电子设备可以逐帧获取目标图像分片,并在每次得到目标图像分片时,播放该目标图像分片;电子设备可以获取多个目标图像分片,基于多个目标图像分片得到视频分片,并播放视频分片,电子设备也可以通过其它的方式播放目标图像分片,本公开实施例对此不作限定。
本公开实施例提供一种视频处理方法,获取用户的历史预测视角和历史预测视角对应的历史真实视角,基于历史真实视角,通过线性回归的方式,预测用户在未来时段内的视角信息,基于历史预测视角和历史真实视角,得到历史时段内用户的视角预测的预测准确度,基于视角信息和预测准确度,在多个图像分片中确定第一图像分片,并获取第一图像分片相关联的第一码率,基于第一图像分片和第一码率,在自由视角视频中获取目标图像分片,并播放目标图像分片。这样,由于电子设备可以基于预测准确度,灵活的调整预测的视角信息,并且可以准确的获取用户关注的视频内容,因此,可以提高视频播放的灵活度和视频播放的准确度。
在图2所示的实施例的基础上,下面,结合图6,对上述视频处理方法中的基于视角信息和预测准确度,在自由视角视频中获取目标图像分片的方法进行详细的说明。
图6为本公开实施例提供的一种获取目标图像分片的方法示意图。请参见图6,该方法流程包括:
S601、基于视角信息和预测准确度,在多个图像分片中确定第一图像分片。
可选的,多个图像分片为自由视角视频中的视频帧包括的多个图像分片。电子设备可以基于如下可行的实现方式,在多个图像分片中确定第一图像分片:基于视角信息,确定用户在未来时段内的视角范围、视角移动方向和视角移动速度,基于视角范围、视角移动方向、视角移动速度和预测准确度,在多个图像分片中确定第一图像分片。
可选的,基于视角范围、视角移动方向、视角移动速度和预测准确度,在多个图像分片中确定第一图像分片,有如下两种情况:
情况1:预测准确度大于或等于第一阈值。
若预测准确度大于或等于第一阈值,则在多个图像分片中,将视角覆盖范围的图像分片,确定为第一图像分片。例如,若预测准确度大于或等于第一阈值,则说明过去一段时长内,电子设备对用户的视角信息的预测准确度较高,用户未进行大范围的视角转移,因此,电子设备可以将预测的视角范围覆盖的图像分片,确定为第一图像分片。
下面,结合图7,对该种情况中,确定第一图像分片的过程进行说明。
图7为本公开实施例提供的一种确定第一图像分片的过程示意。请参见图7,包括:全画幅图像。其中,全画幅图像中包括图像分片A、图像分片B、图像分片C和图像分片D。若电子设备得到的预测视角范围覆盖图像分片A和图像分片B,且预测准确度大于第一阈值,则电子设备将图像分片A和图像分片B,确定为第一图像分片。需要说明的是,本公开实施例中电子设备在自由视角视频中获取的最小单位为图像分片,例如,图7中预测视角范围覆盖部分图像分片A和部分图像分片B,电子设备可以在全景视频中获取图像分片A和图像分片B。
情况2:预测准确度小于第一阈值。
若预测准确度小于第一阈值,则基于视角范围,在多个图像分片中确定第二图像分片,并基于第二图像分片、视角运动信息,确定第一图像分片。可选的,第二图像分片为视角范围覆盖的图像分片。例如,若预测的视角范围覆盖部分图像分片A和部分图像分片B,则电子设备将图像分片A和图像分片B确定为第二图像分片。
可选的,视角运动信息包括视角移动方向和视角移动速度,基于第二图像分片、视角运动信息,确定第一图像分片,具体为:基于视角移动方向、视角移动速度,确定第一距离。可选的,第一距离用于指示图像分片的数量,第一距离包括上侧距离、下侧距离、左侧距离和右侧距离。例如,在实际应用过程中,每个图像分片的尺寸相同,若第一距离中的右侧距离与2个图像分片的长度相同,则第一距离在横向右侧指示的图像分片的数量为2,若第一距离中的下侧距离与3个图像分片的宽度相同,则第一距离在下侧指示的图像分片的数量为2。
基于第二图像分片和第一距离,获取第三图像分片。例如,若第一距离的右侧距离指示2个图像分片,则在第二图像分片中获取预测的视角范围右边缘的第二图像分片,并将右边缘的第二图像分片的右侧的2个图像分片,确定为第三图像分片;若第一距离的上侧距离指示3个图像分片,则在第二图像分片中获取预测的视角范围上边缘的第二图像分片,并将上边缘的第二图像分片的上侧的2个图像分片,确定为第三图像分片。
将第二图像分片和第三图像分片,确定为第一图像分片。
下面,结合图8A-图8C,对该种情况中,获取第一图像分片的过程进行说明。
图8A为本公开实施例提供的另一种获取第一图像分片的过程示意图。请参见图8A,包括:全画幅图像。其中,全画幅图像中包括图像分片A、图像分片B、图像分片C和图像分片D。若电子设备得到的预测视角范围覆盖图像分片A(第二图像分片),且预测准确度小于第一阈值,则电子设备确定视角移动方向为向右移动,视角移动速度较低,电子设备向右扩大部分视角范围,其中,由于视角移动速度较低,扩大后的预测视角范围覆盖的图像分片为图像分片A,因此,电子设备将图像分片A确定为第一图像分片。
图8B为本公开实施例提供的另一种获取第一图像分片的过程示意图。请参见图8B,包括:全画幅图像。其中,全画幅图像中包括图像分片A、图像分片B、图像分片C和图像分片D。若电子设备得到的预测视角范围覆盖图像分片A(第二图像分片),且预测准确度小于第一阈值,则电子设备确定视角移动方向为向右移动,视角移动速度较快,电子设备向右侧扩大视角范围,其中,由于视角移动速度较快,扩大的预测视角范围覆盖的图像分片为图像分片A(第二图像分片)和图像分片B(第三图像分片),因此,电子设备将图像分片A和图像分片B确定为第一图像分片。
图8C为本公开实施例提供的另一种获取第一图像分片的过程示意图。请参见图8C,包括:全画幅图像。其中,全画幅图像中包括图像分片A、图像分片B、图像分片C和图像分片D。若电子设备得到的预测视角范围覆盖图像分片A(第二图像分片),且预测准确度小于第一阈值,则电子设备确定视角移动方向为向右下侧移动,视角移动速度较快,电子设备向右下侧扩大视角范围,其中,由于视角移动速度较快,扩大的预测视角范围覆盖的图像分片为图像分片A(第二图像分片)和图像分片B(第三图像分片)、图像分片C(第三图像分片)和图像分片D(第三图像分片),因此,电子设备将图像分片A、图像分片B、图像分片C和图像分片D,确定为第一图像分片。
需要说明的是,电子设备根据视角移动方向,在不同的方向上扩大预测视角范围。例如,若视角移动方向为向右,则电子设备不会向左侧、上侧和下侧扩大视角范围,若视角移动方向为右下侧,则电子设备不会向左侧和上侧扩大视角范围。
需要说明的是,电子设备可以基于视角移动速度和扩大的图像分片的数量之间的第一对应关系,确定每个方向上扩大的图像分片。例如,基于视角移动方向对视角移动速度进行分解,视角在得到上侧、下侧、左侧和右侧4个方向上的视角移动速度,进而根据视角移动速度,确定扩大的图像分片数量。例如,若视角移动方向为向右,则说明视角在上侧、下侧和左侧的移动速度为0,在右侧的移动速度与预测的视角移动速度相同,进而可以基于4个移动速度和第一对应关系,确定每个方向扩大的图像分片(如,移动速度为0对应的图像分片数量为0,移动速度为1对应的图像分片数量为1等)。
S602、获取第一图像分片相关联的第一码率。
可选的,电子设备可以基于如下可行的实现方式,获取第一图像分片相关联的第一码率:获取第一图像分片的第一位置。其中,第一位置可以为第一图像分片映射至球面模型的位置。例如,若第一图像分片映射至球面模型的位置为球面的赤道位置,则确定第一位置为赤道位置,若第一图像分片映射至球面模型的位置为南极位置,则确定第一位置为南极位置。
下面,结合图9,对获取第一图像分片的第一位置的过程进行说明。
图9为本公开实施例提供的一种获取第一位置的过程示意图。请参见图9,包括:全画幅图像和球面模型。其中,全画幅图像中每个图像分片都在球面模型中有对应的位置。例如,在图9所示的实施例中,若第一图像分片为全画幅图像中的深灰色图像分片,则该第一图像分片的第一位置为球面模型的北极,若第一图像分片为全画幅图像中的浅灰色图像分片,则该第一图像分片的第一位置为球面模型的赤道。
基于第一位置,确定第一码率。可选的,可以根据如下可行的实现方式,确定第一码率:获取网络带宽,根据网络带宽,确定第二码率。例如,网络带宽可以为电子设备当前的带宽。例如,电子设备可以获取网络带宽与码率之间的第二对应关系,其中,第二对应关系中包括多个网络带宽和每个网络带宽对应的码率,根据网络带宽和第二对应关系,确定第二码率。例如,第二对应关系可以如表1所示:
表1
网络带宽 | 码率 |
带宽1 | 码率1 |
带宽2 | 码率2 |
带宽3 | 码率3 |
…… | …… |
需要说明的是,表1只是以示例的形式示意第二对应关系,并非对第二对应关系的限定。
例如,若电子设备当前的网络带宽为带宽1,则电子设备确定第一图像分片的第二码率为码率1;若电子设备当前的网络带宽为带宽2,则电子设备确定第一图像分片的第二码率为码率2;若电子设备当前的网络带宽为带宽3,则电子设备确定第一图像分片的第二码率为码率3。
可选的,电子设备可以通过带宽预测算法,对获取的网络带宽进行处理,得到第二码率,电子设备也可以向训练好的带宽预测模型输入获取的网络带宽,进而得到第二码率,本公开实施例对此不作限定。
基于第一位置,确定码率调整系数。可选的,可以获取球面模型中的位置与码率调整系数之间的第三对应关系。其中,第三对应关系包括至少一个位置和每个位置对应的码率调整系数。例如,第三对应关系可以如表2所示:
表2
位置 | 码率调整系数 |
位置1 | 系数1 |
位置2 | 系数2 |
位置3 | 系数3 |
…… | …… |
需要说明的是,表2只是以示例的形式示意第三对应关系,并非对第三对应关系的限定。
例如,若第一图像分片在球面模型中的位置为位置1,则第一图像分片对应的码率调整系数为系数1;若第一图像分片在球面模型中的位置为位置2,则第一图像分片对应的码率调整系数为系数2;若第一图像分片在球面模型中的位置为位置3,则第一图像分片对应的码率调整系数为系数3。
基于码率调整系数和第二码率,确定第一图像分片的第一码率。例如,可以将码率调整系数和第二码率的乘积,确定为第一图像分片的第一码率。这样,在第一图像分片位于两极时,两极对应的码率调整系数小于1,因此,通过码率调整系数可以降低第一图像分片的码率(两极的区域较小,码率低也可以清晰显示),在第一图像分片位于赤道时,两极对应的码率调整系数大于1,因此,通过码率调整系数可以提高第一图像分片的码率(赤道的区域较大,因此,需要提高码率以提高第一图像分片的显示清晰度),这样,电子设备可以灵活的调整第一图像分片的码率,提高视频获取的灵活度和视频播放的准确度。
S603、基于第一图像分片和第一码率,在自由视角视频中获取目标图像分片。
可选的,电子设备可以通过如下可行的实现方式,在自由视角视频中获取目标图像分片:向服务器发送第一图像分片的标识和第一码率。例如,若电子设备确定第一图像分片为全景视频的视频帧中的第一个图像分片,并且第一码率为超清,则电子设备向服务器发送第一个图像分片的标识和超清的码率。
电子设备接收服务发送的目标图像分片。可选的,目标图像分片的图像内容与第一图像分片的图像内容相同,目标图像分片的码率为第一码率。例如,服务器接收到第一个图像分片的标识和超清码率时,可以获取超清的全景视频,并在超清的全景视频中获取第一个图像分片,进而向电子设备发送该超清的第一个图像分片。这样,电子设备只需在服务器中获取图像分片,无需对图像分片进行解码,提高视频获取的效率。
本公开实施例提供一种种获取目标图像分片的方法,基于视角信息和预测准确度,在多个图像分片中确定第一图像分片,获取第一图像分片相关联的第一码率,基于第一图像分片和第一码率,在自由视角视频中获取目标图像分片。这样,若用户视角的预测准确度较高,则播放用户视角范围内的图像分片,降低自由视角视频的传输码率,若用户视角的预测准确度较低,则基于用户视角范围、视角移动方向和视角移动速度,播放更多的图像分片,并且可以结合图像分片在球面模型中的位置,对图像分片的码率进行调整,保证用户的观看体验,提高视频播放的灵活度和视频播放的准确度。
在上述任意一个实施例的基础上,下面,结合图10,对上述视频处理方法的过程进行说明。
图10为本公开实施例提供的一种视频处理方法的过程示意图。请参见图10,包括:全画幅图像A、全画幅图像B、全画幅图像C和电子设备。其中,全画幅图像A中包括电子设备预测的历史时刻A的用户的预测视角A,全画幅图像B中包括电子设备在历史时刻A采集的用户的真实视角A,全画幅图像C中包括图像分片A、图像分片B、图像分片C和图像分片D。
请参见图10,由于历史时刻A的预测视角A与历史时刻A的真实视角A之间的重叠率较低,因此,电子设备在未来一段时长内预测的用户视角信息的预测准确度小于第一阈值。电子设备预测未来一段时长内用户的预测视角范围覆盖图像分片A,由于电子设备预测的视角移动方向为向右移动,且视角移动速度较快,因此,电子设备向右扩大视角范围。
请参见图10,电子设备向右扩大1个图像分片的视角范围,得到新的视角范围。其中,新的视角范围覆盖图像分片A和图像分片B。电子设备确定当前带宽可以播放超清视频,并确定图像分片A和图像分片B在映射至球面模型中时,图像分片A和图像分片B位置球面模型的两极,因此,电子设备确定码率调整系数为0.5,并通过码率调整系数和超清码率,确定第一码率为高清。
请参见图10,电子设备可以获取高清的图像分片A和高清的图像分片B(可以在服务器中获取,也可以在数据库中获取),并播放高清的图像分片A和高清的图像分片B。这样,若用户视角的预测准确度较低,则基于用户视角范围、视角移动方向和视角移动速度,播放更多的图像分片,并且可以结合图像分片在球面模型中的位置,对图像分片的码率进行调整,保证用户的观看体验,提高视频播放的灵活度和视频播放的准确度。
图11为本公开实施例提供的一种视频处理装置的结构示意图。请参见图11,该视频处理装置110包括第一获取模块111、预测模块112、确定模块113、第二获取模块114和播放模块115,其中:
所述第一获取模块111用于,获取用户的历史预测视角和所述历史预测视角对应的历史真实视角;
所述预测模块112用于,基于所述历史真实视角,预测所述用户在未来时段内的视角信息;
所述确定模块113用于,基于所述历史预测视角和所述历史真实视角,确定所述历史预测视角的预测准确度;
所述第二获取模块114用于,基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,所述自由视角视频的视频帧包括多个图像分片;
所述播放模块115用于,播放所述目标图像分片。
在一种可能的实施方式中,所述第二获取模块114具体用于:
基于所述视角信息和所述预测准确度,在所述多个图像分片中确定第一图像分片;
获取所述第一图像分片相关联的第一码率;
基于所述第一图像分片和所述第一码率,在所述自由视角视频中获取目标图像分片。
在一种可能的实施方式中,所述第二获取模块114具体用于:
基于所述视角信息,确定所述用户在未来时段内的视角范围和视角运动信息;
基于所述视角范围、所述视角运动信息和所述预测准确度,在所述多个图像分片中确定所述第一图像分片。
在一种可能的实施方式中,所述第二获取模块114具体用于:
若所述预测准确度大于或等于第一阈值,则在所述多个图像分片中,将所述视角范围覆盖的图像分片,确定为所述第一图像分片;
若所述预测准确度小于所述第一阈值,则基于所述视角范围,在所述多个图像分片中确定第二图像分片,基于所述第二图像分片、所述视角运动信息,确定所述第一图像分片。
在一种可能的实施方式中,所述第二获取模块114具体用于:
基于所述视角移动方向、所述视角移动速度,确定第一距离;
基于所述第二图像分片和所述第一距离,获取第三图像分片;
将所述第二图像分片和所述第三图像分片,确定为所述第一图像分片。
在一种可能的实施方式中,所述第二获取模块114具体用于:
获取所述第一图像分片的第一位置,所述第一位置为所述第一图像分片映射至球面模型的位置;
基于所述第一位置,确定所述第一码率。
在一种可能的实施方式中,所述第二获取模块114具体用于:
获取网络带宽,并根据所述网络带宽,确定第二码率;
基于所述第一位置,确定码率调整系数;
基于所述码率调整系数和所述第二码率,确定所述第一图像分片的所述第一码率。
在一种可能的实施方式中,所述第二获取模块114具体用于:
向服务器发送所述第一图像分片的标识和所述第一码率;
接收所述服务器发送的所述目标图像分片,所述目标图像分片的图像内容与所述第一图像分片的图像内容相同,所述目标图像分片的码率为所述第一码率。
本公开实施例提供的视频处理装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
图12为本公开实施例提供的一种电子设备的结构示意图。请参见图12,其示出了适于用来实现本公开实施例的电子设备1200的结构示意图,该电子设备1200可以为终端设备或电子设备。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(PortableAndroid Device,简称PAD)、便携式多媒体播放器(Portable Media Player,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示,电子设备1200可以包括处理装置(例如中央处理器、图形处理器等)1201,其可以根据存储在只读存储器(Read Only Memory,简称ROM)1202中的程序或者从存储装置1208加载到随机访问存储器(Random Access Memory,简称RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中,还存储有电子设备1200操作所需的各种程序和数据。处理装置1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
通常,以下装置可以连接至I/O接口1205:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1206;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置1207;包括例如磁带、硬盘等的存储装置1208;以及通信装置1209。通信装置1209可以允许电子设备1200与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备1200,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1209从网络上被下载和安装,或者从存储装置1208被安装,或者从ROM 1202被安装。在该计算机程序被处理装置1201执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。数据可以包括信息、参数和消息等,如切流指示信息。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (12)
1.一种视频处理方法,其特征在于,包括:
获取用户的历史预测视角和所述历史预测视角对应的历史真实视角;
基于所述历史真实视角,预测所述用户在未来时段内的视角信息;
基于所述历史预测视角和所述历史真实视角,确定所述历史预测视角的预测准确度;
基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,并播放所述目标图像分片,所述自由视角视频的视频帧包括多个图像分片。
2.根据权利要求1所述的方法,其特征在于,所述基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,包括:
基于所述视角信息和所述预测准确度,在所述多个图像分片中确定第一图像分片;
获取所述第一图像分片相关联的第一码率;
基于所述第一图像分片和所述第一码率,在所述自由视角视频中获取目标图像分片。
3.根据权利要求2所述的方法,其特征在于,所述基于所述视角信息和所述预测准确度,在所述多个图像分片中确定第一图像分片,包括:
基于所述视角信息,确定所述用户在未来时段内的视角范围和视角运动信息;
基于所述视角范围、所述视角运动信息和所述预测准确度,在所述多个图像分片中确定所述第一图像分片。
4.根据权利要求3所述的方法,其特征在于,基于所述视角范围、所述视角运动信息和所述预测准确度,在所述多个图像分片中确定所述第一图像分片,包括:
若所述预测准确度大于或等于第一阈值,则在所述多个图像分片中,将所述视角范围覆盖的图像分片,确定为所述第一图像分片;
若所述预测准确度小于所述第一阈值,则基于所述视角范围,在所述多个图像分片中确定第二图像分片,基于所述第二图像分片、所述视角运动信息,确定所述第一图像分片。
5.根据权利要求4所述的方法,其特征在于,所述视角运动信息包括视角移动方向和视角移动速度;基于所述第二图像分片、所述视角运动信息,确定所述第一图像分片,包括:
基于所述视角移动方向、所述视角移动速度,确定第一距离;
基于所述第二图像分片和所述第一距离,获取第三图像分片;
将所述第二图像分片和所述第三图像分片,确定为所述第一图像分片。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述获取所述第一图像分片相关联的第一码率,包括:
获取所述第一图像分片的第一位置,所述第一位置为所述第一图像分片映射至球面模型的位置;
基于所述第一位置,确定所述第一码率。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一位置,确定所述第一码率,包括:
获取网络带宽,并根据所述网络带宽,确定第二码率;
基于所述第一位置,确定码率调整系数;
基于所述码率调整系数和所述第二码率,确定所述第一图像分片的所述第一码率。
8.根据权利要求2-5任一项所述的方法,其特征在于,所述基于所述第一图像分片和所述第一码率,在所述自由视角视频中获取目标图像分片,包括:
向服务器发送所述第一图像分片的标识和所述第一码率;
接收所述服务器发送的所述目标图像分片,所述目标图像分片的图像内容与所述第一图像分片的图像内容相同,所述目标图像分片的码率为所述第一码率。
9.一种视频处理装置,其特征在于,包括第一获取模块、预测模块、确定模块、第二获取模块和播放模块,其中:
所述第一获取模块用于,获取用户的历史预测视角和所述历史预测视角对应的历史真实视角;
所述预测模块用于,基于所述历史真实视角,预测所述用户在未来时段内的视角信息;
所述确定模块用于,基于所述历史预测视角和所述历史真实视角,确定所述历史预测视角的预测准确度;
所述第二获取模块用于,基于所述视角信息和所述预测准确度,在自由视角视频中获取目标图像分片,所述自由视角视频的视频帧包括多个图像分片;
所述播放模块用于,播放所述目标图像分片。
10.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如权利要求1-8任一项所述的视频处理方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-8任一项所述的视频处理方法。
12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的视频处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211157100.6A CN117793477A (zh) | 2022-09-21 | 2022-09-21 | 视频处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211157100.6A CN117793477A (zh) | 2022-09-21 | 2022-09-21 | 视频处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117793477A true CN117793477A (zh) | 2024-03-29 |
Family
ID=90378790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211157100.6A Pending CN117793477A (zh) | 2022-09-21 | 2022-09-21 | 视频处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117793477A (zh) |
-
2022
- 2022-09-21 CN CN202211157100.6A patent/CN117793477A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220277481A1 (en) | Panoramic video processing method and apparatus, and storage medium | |
EP4231650A1 (en) | Picture display method and apparatus, and electronic device | |
CN110728622B (zh) | 鱼眼图像处理方法、装置、电子设备及计算机可读介质 | |
US11785195B2 (en) | Method and apparatus for processing three-dimensional video, readable storage medium and electronic device | |
CN114629882A (zh) | 信息展示方法、装置、电子设备、存储介质和程序产品 | |
CN111258519B (zh) | 屏幕分屏实现方法、装置、终端和介质 | |
CN113989173A (zh) | 视频融合方法、装置、电子设备及存储介质 | |
CN116017018A (zh) | 直播特效渲染方法、装置、设备、可读存储介质及产品 | |
CN115861514A (zh) | 虚拟全景图的渲染方法、装置、设备及存储介质 | |
CN114979652A (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
CN114742934A (zh) | 图像渲染方法、装置、可读介质及电子设备 | |
CN110956128A (zh) | 生成车道线图像的方法、装置、电子设备和介质 | |
CN112802206B (zh) | 漫游视图的生成方法、装置、设备和存储介质 | |
CN113673446A (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
CN111862342A (zh) | 增强现实的纹理处理方法、装置、电子设备及存储介质 | |
CN114979762B (zh) | 视频下载、传输方法、装置、终端设备、服务器及介质 | |
CN117793477A (zh) | 视频处理方法、装置及电子设备 | |
CN114827750B (zh) | 视角的预测方法、装置、设备及存储介质 | |
CN116248889A (zh) | 图像编码及解码方法、装置和电子设备 | |
CN114630081B (zh) | 视频播放顺序确定方法、装置、设备及介质 | |
CN110796144A (zh) | 车牌检测方法、装置、设备及存储介质 | |
CN117793453A (zh) | 视频处理方法、装置及终端设备 | |
CN117812406A (zh) | 视频处理方法、装置及电子设备 | |
CN113068006B (zh) | 图像呈现方法和装置 | |
CN110570502A (zh) | 显示图像帧的方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |