CN118433467A - 视频显示方法、装置、电子设备和存储介质 - Google Patents
视频显示方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN118433467A CN118433467A CN202310119264.8A CN202310119264A CN118433467A CN 118433467 A CN118433467 A CN 118433467A CN 202310119264 A CN202310119264 A CN 202310119264A CN 118433467 A CN118433467 A CN 118433467A
- Authority
- CN
- China
- Prior art keywords
- image
- video frame
- local area
- video
- target local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
提供了一种视频显示方法、装置、电子设备及存储介质,通过确定视频帧的目标局部区域,采用清晰度相对较高的第二图像呈现目标局部区域的内容,采用清晰度相对较低的第一图像呈现目标局部区域以外的内容,并连续显示第一图像和第二图像以向用户呈现视频帧的完整图像内容,从而可以能够在不占用额外资源的情况下更高清地呈现目标局部区域。
Description
技术领域
本公开涉及计算机技术领域,具体涉及一种视频显示方法、装置、电子设备和存储介质。
背景技术
随着技术的发展,视频的分辨率越来越高,例如分辨率可以达到7680*4320的8K视频等超高清视频已屡见不鲜。8K视频的清晰程度是4K视频的4倍,它拥有更高的分辨率,可以展现更丰富的画面细节。然而,对于一些诸如虚拟现实设备等图像显示设备而言,可能难以负担或无法支持播放超高清视频。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,根据本公开的一个或多个实施例,提供了一种视频显示方法,包括:
获取具有第一分辨率的目标视频的第一视频帧;
确定所述第一视频帧的目标局部区域;
基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;
从所述第一视频帧截取所述目标局部区域以得到第二图像;
连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
第二方面,根据本公开的一个或多个实施例,提供了一种视频显示装置,包括:
视频帧获取单元,用于获取具有第一分辨率的目标视频的第一视频帧;
局部区域确定单元,用于确定所述第一视频帧的目标局部区域;
第一图像生成单元,用于基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;
第二图像生成单元,从所述第一视频帧截取所述目标局部区域以得到第二图像;
显示单元,用于连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个存储器和至少一个处理器;其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行根据本公开的一个或多个实施例提供的视频显示方法。
第四方面,根据本公开的一个或多个实施例,提供了一种非暂态计算机存储介质,所述非暂态计算机存储介质存储有程序代码,所述程序代码被计算机设备执行时,使得所述计算机设备执行根据本公开的一个或多个实施例提供的视频显示方法。
根据本公开的一个或多个实施例,通过确定视频帧的目标局部区域,采用清晰度相对较高的第二图像呈现目标局部区域的内容,采用清晰度相对较低的第一图像呈现目标局部区域以外的内容,并连续显示第一图像和第二图像以向用户呈现视频帧的完整图像内容,从而可以能够在不占用额外资源的情况下更高清地呈现目标局部区域。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开一实施例提供的视频显示方法的流程图;
图2为根据本公开一实施例提供的虚拟现实设备的虚拟视场的一个可选的示意图;
图3为根据本公开一实施例提供的第一图像和第二图像的示意图;
图4根据本公开一实施例提供的视频显示装置的结构示意图。
图5为根据本公开一实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的实施方式中记载的步骤可以按照不同的顺序执行,和/或并行执行。此外,实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。术语“响应于”以及有关的术语是指一个信号或事件被另一个信号或事件影响到某个程度,但不一定是完全地或直接地受到影响。如果事件x“响应于”事件y而发生,则x可以直接或间接地响应于y。例如,y的出现最终可能导致x的出现,但可能存在其它中间事件和/或条件。在其它情形中,y可能不一定导致x的出现,并且即使y尚未发生,x也可能发生。此外,术语“响应于”还可以意味着“至少部分地响应于”。
术语“确定”广泛涵盖各种各样的动作,可包括获取、演算、计算、处理、推导、调研、查找(例如,在表、数据库或其他数据结构中查找)、探明、和类似动作,还可包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)和类似动作,以及解析、选择、选取、建立和类似动作等等。其他术语的相关定义将在下文描述中给出。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
为了本公开的目的,短语“A和/或B”意为(A)、(B)或(A和B)。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在一些实施例中,本公开实施例提供的视频显示方法的执行主体可以为注入虚拟现实设备的图像显示设备。虚拟现实设备通过计算机技术将真实与虚拟相结合,为用户提供可人机交互的虚拟现实空间。
其中,虚拟现实空间可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟场景,还可以是纯虚构的虚拟场景。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本公开实施例对虚拟场景的维度不加以限定。例如,虚拟场景可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素,用户可以控制虚拟对象在该虚拟场景中进行移动。用户可以通过例如头戴式VR眼镜等虚拟现实设备进入虚拟现实空间,并在虚拟现实空间中控制自己的虚拟形象(Avatar)与其他用户控制的虚拟形象进行社交互动、娱乐、学习、远程办公等。
本公开实施例记载的虚拟现实设备可以包括但不限于如下几个类型:
电脑端虚拟现实(PCVR)设备,利用PC端进行虚拟现实功能的相关计算以及数据输出,外接的电脑端虚拟现实设备利用PC端输出的数据实现虚拟现实的效果。
移动虚拟现实设备,支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机),通过与移动终端有线或无线方式的连接,由移动终端进行虚拟现实功能的相关计算,并输出数据至移动虚拟现实设备,例如通过移动终端的APP观看虚拟现实视频。
一体机虚拟现实设备,具备用于进行虚拟功能的相关计算的处理器,因而具备独立的虚拟现实输入和输出的功能,不需要与PC端或移动终端连接,使用自由度高。
当然虚拟现实设备实现的形态不限于此,可以根据需要可以进一步小型化或大型化。
虚拟现实设备中设置有姿态检测的传感器(如九轴传感器),用于实时检测虚拟现实设备的姿态变化,如果用户佩戴了虚拟现实设备,那么当用户头部姿态发生变化时,会将头部的实时姿态传给处理器,以此计算用户的视线在虚拟环境中的注视点,根据注视点计算虚拟环境的三维模型中处于用户注视范围(即虚拟视场)的图像,并在显示屏上显示,使人仿佛在置身于现实环境中观看一样的沉浸式体验。
图2示出了本公开一实施例提供的虚拟现实设备的虚拟视场的一个可选的示意图,使用水平视场角和垂直视场角来描述虚拟视场在虚拟环境中的分布范围,垂直方向的分布范围使用垂直视场角BOC表示,水平方向的分布范围使用水平视场角AOB表示,人眼通过透镜总是能够感知到虚拟环境中位于虚拟视场的影像,可以理解,视场角越大,虚拟视场的尺寸也就越大,用户能够感知的虚拟环境的区域也就越大。其中,视场角,表示通过透镜感知到环境时所具有的视角的分布范围。例如,虚拟现实设备的视场角,表示通过虚拟现实设备的透镜感知到虚拟环境时,人眼所具有的视角的分布范围;再例如,对于设置有摄像头的移动终端来说,摄像头的视场角为摄像头感知真实环境进行拍摄时,所具有的视角的分布范围。
虚拟现实设备,例如HMD集成有若干的相机(例如深度相机、RGB相机等),相机的目的不仅仅限于提供直通视图。相机图像和集成的惯性测量单元(IMU)提供可通过计算机视觉方法处理以自动分析和理解环境的数据。还有,HMD被设计成不仅支持无源计算机视觉分析,而且还支持有源计算机视觉分析。无源计算机视觉方法分析从环境中捕获的图像信息。这些方法可为单视场的(来自单个相机的图像)或体视的(来自两个相机的图像)。它们包括但不限于特征跟踪、对象识别和深度估计。有源计算机视觉方法通过投影对于相机可见但不一定对人视觉系统可见的图案来将信息添加到环境。此类技术包括飞行时间(ToF)相机、激光扫描或结构光,以简化立体匹配问题。有源计算机视觉用于实现场景深度重构。
图1示出了本公开一实施例提供的视频显示方法100的流程图,方法100包括步骤S110-步骤S160。
步骤S110:获取具有第一分辨率的目标视频的第一视频帧。
示例性地,可以利用视频播放器对目标视频进行解码得到视频帧序列,第一视频帧可以为视频帧序列中任意视频帧。在一些实施例中,目标视频可以为例如8K分辨率的超高清视频,但本公开不限于此。
步骤S120:确定所述第一视频帧的目标局部区域。
较第一视频帧的其他区域,目标局部区域为本公开拟进行高清呈现的区域,其是用户在观看视频时主要观看的区域。在一个具体实施方式中,可以将视频图像帧的预设区域(例如中心区域)作为目标局部区域。在另一个具体实施方式中,可以基于用户当前的注视点确定所述第一视频帧的目标局部区域,其中,获取用户当前的注视点可由图像显示设备通过相应的硬件或软件提供的基于视线追踪技术实现,本公开在此不再赘述。
步骤S130:基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率。
示例性地,可以对较高分辨率的第一视频帧进行降采样,以得到较低分辨率的第一图像。
在一些实施例中,所述目标局部区域在所述第一图像中的对应区域为透明区域。示例性地,在生成第一图像之前,可以将第一视频帧的目标局部区域设置为透明,例如将Alpha通道值设置为0,再生成第一图像,从而使第一图像中目标局部区域的对应区域为透明区域。
步骤S140:从所述第一视频帧截取所述目标局部区域以得到第二图像。
在本步骤中,可以将目标局部区域的图像从第一视频帧中抠出以作为第二图像,因抠出的第二图像源自于原图像(即第一视频帧),因此其可以维持原图像的清晰度。
步骤S150:连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
示例性地,当目标视频播放到第一视频帧时,图像显示设备第一次刷新时可以显示基于第一图像,第二次刷新时可以显示第二图像。
在本步骤中,通过进一步基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像,从而使第一视频帧的目标局部区域的图像在视频播放时,能够以正确的位置和比例进行显示。另外,因第二图像截取自原图像的局部区域,没有经过诸如降采样等手段降低清晰度,且相较于原图像所占资源较少,因此能够在不占用额外资源的情况下清晰地呈现目标局部区域,最终通过连续显示第一图像和第二图像,既能够通过视觉暂留效应向用户呈现第一视频帧的完整内容,又能够更高清地呈现目标局部区域。
可以理解,目标视频的其他视频帧亦可采取前述步骤做相同处理,以最终向用户呈现完整的视频内容。
示例性地,参考图3,图像显示设备在播放目标视频时,将根据刷新频率依次刷新并显示基于目标视频的第一视频帧生成的第一图像11和第二图像12、基于目标视频的第二视频帧生成的第一图像21和第二图像22,以此类推。其中,第一图像11的目标局部区域111为透明区域,第二图像12基于所述目标局部区域与第一视频帧之间原本的大小比例关系和位置关系进行显示,例如第一图像11和第二图像12可以拼合成完整的第一视频帧。
发明人研究发现,用户在使用例如虚拟现实设备观看视频时,人眼往往只对注视点处图像的清晰度敏感,离注视点的越远的区域会感觉越模糊,因此,对于显示超高清视频而言,若用户注视点以外的区域依然采用超高清的分辨率,将导致计算资源不必要地浪费,且加重设备负担。
对此,根据本公开的一个或多个实施例,通过视频帧的目标局部区域,采用清晰度相对较高的第二图像呈现目标局部区域的内容,采用清晰度相对较低的第一图像呈现目标局部区域以外的内容,并连续显示第一图像和第二图像以向用户呈现视频帧的完整图像内容,从而可以能够在不占用额外资源的情况下更高清地呈现目标局部区域。
需要说明的是,在连续显示所述第一图像和所述第二图像时,可以先显示第一图像再显示第二图像,或者先显示第二图像再显示第一图像,本公开在此不做限制。
在一些实施例中,目标视频的帧率不超过所述图像显示设备的显示频率的二分之一。在本实施例中,通过使本公开的视频显示方法适用于帧率不超过图像显示设备的刷新率的二分之一的目标视频,从而可以在连续显示第一图像和第二图像时不被用户所察觉,进而能够维持用户观看目标视频的流畅体验。
在一些实施例中,所述基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像,包括:基于所述目标局部区域在所述第一视频帧中对应的视场角和所述第一视频帧对应的视场角,确定所述第二图像的缩放参数。示例性地,可以基于下述等式(1)确定第二图像的缩放参数:
Scale=tan(fov1)/tan(fov0)………(1)
其中,Scale为第二图像的缩放参数,fov1为目标局部区域在所述第一视频帧中对应的视场角,fov2为第一视频帧对应的视场角,tan为正切函数。
在本实施例中,通过基于目标局部区域的视场角和第一视频帧的视场角确定第二图像的缩放参数,可以更准确地确定第二图像的缩放参数,尤其适用于虚拟现实设备的呈像。
下面以支持4K分辨率的虚拟现实设备播放超高清8K视频的应用场景为例进行示例性说明。
首先,播放器可以对8K分辨率的目标视频进行视频解码得到多个视频帧。
其次,可以确定目标局部区域在第一视频帧中的大小和位置。若目标视频的原始分辨率为W*H(例如8K为7680x4320),虚拟现实设备的眼部缓冲区(eyebuffer)支持的分辨率为w*h(例如4K为3840x2160),则可以确定第一视频帧的目标局部区域在在第一视频帧的左下角的坐标为((W–w)/2,(H–h)/2),且目标局部区域高为w,宽为h,即与眼部缓冲区支持的分辨率相同。
再次,可以通过眼部缓冲区渲染第一图像和第二图像。可以将该目标局域区域设置为透明,图像处理器可以通过例如降采样等方式,将目标局部区域设置为透明后的8K分辨率的第一视频帧渲染到支持4K分辨率(即第二分辨率)的眼部缓冲区中。接着,将未设置透明的第一视频帧的目标局部区域从第一视频帧抠出,并渲染到支持该分辨率的眼部缓冲区中,因而没有降低该局部区域的分辨率,从而可以维持其原本的清晰度。可以重复上面步骤,直至通过眼部缓冲区渲染完全部的视频帧。眼部缓冲区传送给渲染引擎的纹理(texture)均为4K(即第二分辨率)的分辨率。
再次,渲染引擎可以根据接收到的图像是第一图像还是第二图像对应地做渲染。对于第一图像,因其是根据8K分辨率的第一视频帧通过降采样得到的完整4K图像,可以按照常规地图像渲染方式对其进行渲染(包括畸变处理)并最终通过4K分辨率进行呈现,在此不再赘述。对于第二图像,因其是通过4K分辨率显示的局部图像,则可以根据前述等式(1)确定所述第二图像的缩放参数Scale,并根据缩放参数Scale确定偏移量Offset,其中偏移量Offset为((1.0–scale)/2.0),接着根据缩放参数Scale和偏移量Offset计算局部画面所使用的畸变网格以及顶点坐标,在渲染局部画面时基于该畸变网格和顶点坐标对其进行处理,使第二图像呈现的目标局部画面产生对应的畸变并显示在正确的位置上。可以重复上述步骤直至所有的第一图像和第二图像渲染完毕。
此外,因第二图像在支持其分辨率的眼部缓冲区渲染,保证了其分辨率没有被额外降低,从而能够在传给渲染引擎时保留更多的画面细节,渲染引擎可以使用例如超采样的方法,使画面更加清晰。
根据本公开的一个或多个实施例,可以将视频画面分为以高清晰度呈现的部分和以普通清晰度呈现的部分,并通过分别传送、渲染这两部分的数据,从而能够在不需要额外内存空间的条件下可以实现超高清画面的传输与显示,保证局部区域的画面的清晰度。
相应地,参考图4,根据本公开一实施例提供了一种视频显示装置600,包括:
视频帧获取单元601,用于获取具有第一分辨率的目标视频的第一视频帧;
局部区域确定单元602,用于确定所述第一视频帧的目标局部区域;
第一图像生成单元603,用于基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;
第二图像生成单元604,从所述第一视频帧截取所述目标局部区域以得到第二图像;
显示单元605,用于连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
在一些实施例中,所述视频显示方法应用于图像显示设备,所述目标视频的帧率不超过所述图像显示设备的显示频率的二分之一。
在一些实施例中,所述目标局部区域在所述第一图像中的对应区域为透明区域。
在一些实施例中,所述局部区域确定单元用于将所述第一视频图像帧内的预设区域作为所述目标局部区域,或者,用于基于用户当前的注视点确定所述第一视频帧的目标局部区域。
在一些实施例中,所述预设区域为第一视频图像帧的中心区域。
在一些实施例中,所述第二分辨率为用于绘制图像的缓冲区所支持的分辨率。
在一些实施例中,所述目标局部区域的大小不超过用于绘制图像的缓冲区所支持的分辨率。
在一些实施例中,所述显示单元包括:
缩放单元,用于基于所述目标局部区域在所述第一视频帧中对应的视场角和所述第一视频帧对应视场角,确定所述第二图像的缩放参数。
在一些实施例中,视频显示装置还包括:
畸变处理单元,用于对所述第一图像和所述第二图像进行畸变处理;其中,对所述第二图像进行畸变处理,包括:基于所述第二图像的缩放参数确定畸变网格和顶点坐标;基于所述畸变网格和所述顶点坐标对所述第二图像进行处理。
对于装置的实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离模块说明的模块可以是或者也可以不是分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应地,根据本公开的一个或多个实施例,提供了一种电子设备,包括:
至少一个存储器和至少一个处理器;
其中,存储器用于存储程序代码,处理器用于调用存储器所存储的程序代码以使所述电子设备执行根据本公开一个或多个实施例提供的视频显示方法。
相应地,根据本公开的一个或多个实施例,提供了一种非暂态计算机存储介质,非暂态计算机存储介质存储有程序代码,程序代码可被计算机设备执行来使得所述计算机设备执行根据本公开一个或多个实施例提供的视频显示方法。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中,还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常,以下装置可以连接至I/O接口805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807;包括例如磁带、硬盘等的存储装置808;以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备800,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置809从网络上被下载和安装,或者从存储装置808被安装,或者从ROM 802被安装。在该计算机程序被处理装置801执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述的本公开的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,提供了一种视频显示方法,包括:获取具有第一分辨率的目标视频的第一视频帧;确定所述第一视频帧的目标局部区域;基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;从所述第一视频帧截取所述目标局部区域以得到第二图像;连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
根据本公开的一个或多个实施例,所述视频显示方法应用于图像显示设备,所述目标视频的帧率不超过所述图像显示设备的显示频率的二分之一。
根据本公开的一个或多个实施例,所述目标局部区域在所述第一图像中的对应区域为透明区域。
根据本公开的一个或多个实施例,所述确定所述第一视频帧的目标局部区域,包括:将所述第一视频图像帧内的预设区域作为所述目标局部区域;或者,基于用户当前的注视点确定所述第一视频帧的目标局部区域。
根据本公开的一个或多个实施例,所述预设区域为第一视频图像帧的中心区域。
根据本公开的一个或多个实施例,所述第二分辨率为用于绘制图像的缓冲区所支持的分辨率。
根据本公开的一个或多个实施例,所述目标局部区域的大小不超过用于绘制图像的缓冲区所支持的分辨率。
根据本公开的一个或多个实施例,所述基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像,包括:基于所述目标局部区域在所述第一视频帧中对应的视场角和所述第一视频帧对应视场角,确定所述第二图像的缩放参数。
根据本公开的一个或多个实施例,在所述连续显示所述第一图像和所述第二图像之前,还包括:对所述第一图像和所述第二图像进行畸变处理;其中,对所述第二图像进行畸变处理,包括:基于所述第二图像的缩放参数确定畸变网格和顶点坐标;基于所述畸变网格和所述顶点坐标对所述第二图像进行处理。
根据本公开的一个或多个实施例,提供了一种视频显示装置,包括:视频帧获取单元,用于获取具有第一分辨率的目标视频的第一视频帧;局部区域确定单元,用于确定所述第一视频帧的目标局部区域;第一图像生成单元,用于基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;第二图像生成单元,从所述第一视频帧截取所述目标局部区域以得到第二图像;显示单元,用于连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
根据本公开的一个或多个实施例,提供了一种非暂态计算机存储介质,所述非暂态计算机存储介质存储有程序代码,所述程序代码被计算机设备执行时,使得所述计算机设备执行根据本公开的一个或多个实施例提供的视频显示方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (12)
1.一种视频显示方法,其特征在于,包括:
获取具有第一分辨率的目标视频的第一视频帧;
确定所述第一视频帧的目标局部区域;
基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;
从所述第一视频帧截取所述目标局部区域以得到第二图像;
连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
2.根据权利要求1所述的方法,其特征在于,所述视频显示方法应用于图像显示设备,所述目标视频的帧率不超过所述图像显示设备的显示频率的二分之一。
3.根据权利要求1所述的方法,其特征在于,所述目标局部区域在所述第一图像中的对应区域为透明区域。
4.根据权利要求1所述的方法,其特征在于,所述确定所述第一视频帧的目标局部区域,包括:
将所述第一视频图像帧内的预设区域作为所述目标局部区域;或者,
基于用户当前的注视点确定所述第一视频帧的目标局部区域。
5.根据权利要求4所述的方法,其特征在于,所述预设区域为第一视频图像帧的中心区域。
6.根据权利要求1所述的方法,其特征在于,所述第二分辨率为用于绘制图像的缓冲区所支持的分辨率。
7.根据权利要求1所述的方法,其特征在于,所述目标局部区域的大小不超过用于绘制图像的缓冲区所支持的分辨率。
8.根据权利要求1所述的方法,其特征在于,所述基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像,包括:
基于所述目标局部区域在所述第一视频帧中对应的视场角和所述第一视频帧对应视场角,确定所述第二图像的缩放参数。
9.根据权利要求8所述的方法,其特征在于,在所述连续显示所述第一图像和所述第二图像之前,还包括:
对所述第一图像和所述第二图像进行畸变处理;
其中,对所述第二图像进行畸变处理,包括:基于所述第二图像的缩放参数确定畸变网格和顶点坐标;基于所述畸变网格和所述顶点坐标对所述第二图像进行处理。
10.一种视频显示装置,其特征在于,包括:
视频帧获取单元,用于获取具有第一分辨率的目标视频的第一视频帧;
局部区域确定单元,用于确定所述第一视频帧的目标局部区域;
第一图像生成单元,用于基于所述第一视频帧生成具有第二分辨率的第一图像,所述第一图像用于呈现所述第一视频帧中目标局部区域以外的内容;所述第一分辨率大于所述第二分辨率;
第二图像生成单元,从所述第一视频帧截取所述目标局部区域以得到第二图像;
显示单元,用于连续显示所述第一图像和所述第二图像,以向用户呈现所述第一视频帧的完整图像内容;其中,显示所述第二图像包括:基于所述目标局部区域与所述第一视频帧之间原本的大小比例关系和位置关系,显示所述第二图像。
11.一种电子设备,其特征在于,包括:
至少一个存储器和至少一个处理器;
其中,所述存储器用于存储程序代码,所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行权利要求1至9中任一项所述的方法。
12.一种非暂态计算机存储介质,其特征在于,
所述非暂态计算机存储介质存储有程序代码,所述程序代码被计算机设备执行时,使得所述计算机设备执行权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310119264.8A CN118433467A (zh) | 2023-02-01 | 2023-02-01 | 视频显示方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310119264.8A CN118433467A (zh) | 2023-02-01 | 2023-02-01 | 视频显示方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118433467A true CN118433467A (zh) | 2024-08-02 |
Family
ID=92323643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310119264.8A Pending CN118433467A (zh) | 2023-02-01 | 2023-02-01 | 视频显示方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118433467A (zh) |
-
2023
- 2023-02-01 CN CN202310119264.8A patent/CN118433467A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
US20200241731A1 (en) | Virtual reality vr interface generation method and apparatus | |
CN114531553B (zh) | 生成特效视频的方法、装置、电子设备及存储介质 | |
CN114900625A (zh) | 虚拟现实空间的字幕渲染方法、装置、设备及介质 | |
CN111818265B (zh) | 基于增强现实模型的交互方法、装置、电子设备及介质 | |
CN111833459B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN117608396A (zh) | 基于混合现实的处理方法、装置、终端和存储介质 | |
CN116563740A (zh) | 基于扩展现实的控制方法、装置、电子设备和存储介质 | |
CN111489428B (zh) | 图像生成方法、装置、电子设备及计算机可读存储介质 | |
CN118433467A (zh) | 视频显示方法、装置、电子设备和存储介质 | |
US20240078734A1 (en) | Information interaction method and apparatus, electronic device and storage medium | |
CN117641040A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN117435041A (zh) | 信息交互方法、装置、电子设备和存储介质 | |
CN117459745A (zh) | 信息交互方法、装置、电子设备和存储介质 | |
CN116193246A (zh) | 用于拍摄视频的提示方法、装置、电子设备和存储介质 | |
US20240269553A1 (en) | Method, apparatus, electronic device and storage medium for extending reality display | |
CN117389502A (zh) | 空间数据传输方法、装置、电子设备和存储介质 | |
CN118413745A (zh) | 一种播放全景视频的方法、装置、设备及存储介质 | |
CN117519457A (zh) | 信息交互方法、装置、电子设备和存储介质 | |
CN117768599A (zh) | 处理图像的方法、装置、系统、电子设备和存储介质 | |
CN117934769A (zh) | 图像显示方法、装置、电子设备和存储介质 | |
CN118229921A (zh) | 图像显示方法、装置、电子设备和存储介质 | |
CN117714769A (zh) | 图像显示方法、装置、电子设备以及存储介质 | |
CN117994403A (zh) | 场景加载方法、装置、电子设备和存储介质 | |
CN117631904A (zh) | 信息交互方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |