CN117640967A - 图像显示方法、图像处理方法、装置、设备及介质 - Google Patents

图像显示方法、图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN117640967A
CN117640967A CN202210999321.1A CN202210999321A CN117640967A CN 117640967 A CN117640967 A CN 117640967A CN 202210999321 A CN202210999321 A CN 202210999321A CN 117640967 A CN117640967 A CN 117640967A
Authority
CN
China
Prior art keywords
dimensional
target
image
encoded data
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210999321.1A
Other languages
English (en)
Inventor
彭浩翔
高国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210999321.1A priority Critical patent/CN117640967A/zh
Priority to PCT/CN2023/113854 priority patent/WO2024037643A1/zh
Publication of CN117640967A publication Critical patent/CN117640967A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof

Abstract

本公开提供了一种图像显示方法、图像处理方法、装置、设备及介质,该方法包括:接收服务器发送的二维图像集合,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与目标视角对应的二维目标图像;显示二维目标图像。通过上述过程,客户端能够从二维图像集合中直接确定出目标视角的二维目标图像进行显示,并且二维目标图像的复杂度与占用内存较小,因此客户端显示图像的过程不会占用过多的网络资源和内存,从而避免图像显示过程出现卡顿,最终提升了用户的观看体验。

Description

图像显示方法、图像处理方法、装置、设备及介质
技术领域
本公开涉及三维物体展示及处理技术领域,尤其涉及一种图像显示方法、图像处理方法、装置、设备及介质。
背景技术
随着计算机技术的不断发展,越来越多的客户端可以显示三维对象模型。为了提高三维对象模型的显示效果以及提升用户的交互体验,客户端需要对三维对象模型在多个视角下的二维图像进行显示。
为了在客户端上显示三维对象模型的多个视角对应的二维图像,现有技术一般直接下载并处理三维对象模型,然后将三维对象模型在各视角下的二维图像进行显示。但是,三维对象模型的空间信息比较复杂且占用内存较大,直接处理三维对象模型需要很长时间,导致三维对象模型的显示过程的实时性较差,最终降低了用户的观看体验。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种图像显示方法、图像处理方法、装置、设备及介质。
第一方面,本公开提供了一种图像显示方法,应用于客户端,该方法包括:
接收服务器发送的二维图像集合,所述二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;
响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与所述目标视角对应的二维目标图像;
显示所述二维目标图像。
第二方面,本公开提供了一种图像处理方法,应用于服务器,该方法包括:
获取三维对象模型在多个视角生成的二维图像集合,其中,所述二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;
将所述二维图像集合发送给客户端,以使所述客户端解析与目标视角对应的二维目标图像并显示。
第三方面,本公开提供了一种图像显示装置,该装置配置于客户端,该装置包括:
接收模块,用于接收服务器发送的二维图像集合,所述二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;
解析模块,用于响应于对所述三维对象模型在目标视角下的显示指令,从所述二维图像集合中,解析与所述目标视角对应的二维目标图像;
图像显示模块,用于显示所述二维目标图像。
第四方面,本公开提供了一种图像处理装置,该装置配置于服务器,该装置包括:
获取模块,用于获取三维对象模型在多个视角生成的二维图像集合,其中,所述二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;
发送模块,用于将所述二维图像集合发送给客户端,以使所述客户端解析与目标视角对应的二维目标图像并显示。
第五方面,本公开提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在终端设备上运行时,使得终端设备实现上述的方法。
第六方面,本公开提供了一种设备,包括:存储器,处理器,及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现上述的方法。
第七方面,本公开提供了一种计算机程序产品,计算机程序产品包括计算机程序/指令,计算机程序/指令被处理器执行时实现上述的方法。
本公开实施例提供的技术方案与现有技术相比至少具有如下优点:
本公开实施例提供了一种图像显示方法、图像处理方法、装置、设备及介质,接收服务器发送的二维图像集合,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与目标视角对应的二维目标图像;显示二维目标图像。通过上述过程,客户端能够从二维图像集合中直接确定出目标视角的二维目标图像进行显示,并且二维目标图像的复杂度与占用内存较小,因此客户端显示图像的过程不会占用过多的网络资源和内存,从而避免图像显示过程出现卡顿,最终提升了用户的观看体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种图像显示方法的流程示意图;
图2为本公开实施例提供的一种图像显示方法的逻辑示意图;
图3为本公开实施例提供的一种图像处理方法的流程示意图;
图4为本公开实施例提供的一种二维图像的获取示意图;
图5为本公开实施例提供的一种图像处理及显示方法的逻辑示意图;
图6为本公开实施例提供的一种图像显示装置的结构示意图;
图7为本公开实施例提供的一种图像处理装置的结构示意图;
图8为本公开实施例提供的一种客户端或服务器的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
目前,很多三维对象模型的清晰度以及纹理复杂度很高,按照现有方案的方式进行图像显示时,三维对象模型的下载以及处理过程对网速以及内存的要求较高,很难满足实时进行图像显示的需求。
为了解决上述问题,本公开实施例提供了一种图像显示方法、装置、设备及介质。其中,该图像显示方法可以应用于客户端。其中,客户端可以包括但不限于手机、平板、笔记本电脑、台式电脑、智能家居、可穿戴设备以及车载设备等。
图1示出了本公开实施例提供的一种图像显示方法的流程示意图。如图1所示,该图像显示方法包括如下步骤。
S110、接收服务器发送的二维图像集合,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像。
实际应用时,当需要进行图像显示时,客户端从服务器下载并存储二维图像集合,由于二维图像集合记录有三维对象模型在多个不同视角下的二维图像,则二维图像集合可以提供任意视角下的二维图像。
在本公开实施例中,三维对象模型可以是待显示对象的三维模型。
可选地,三维对象模型可以具有颜色特征,也可以具有透明度特征,也可以同时具有颜色特征和透明度特征。
在本公开实施例中,视角可以理解为屏幕视角。具体的,视角的形式可以是经纬度。其中,纬度范围可以是[-90,90],经度范围[0,360]。
在本公开实施例中,二维图像是指三维对象模型在任一视角下的图像。
S120、响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与目标视角对应的二维目标图像。
实际应用时,客户端获取外部输入携带目标视角的显示指令,然后基于二维图像集合中确定目标视角对应的二维目标图像。具体的,若二维图像集合包括多个不同视角对应的二维图像,则可以直接从二维图像集合中查找目标视角对应的二维目标图像;若二维图像集合包括多个不同视角对应的二维图像的编码数据,则对目标视角对应的编码数据进行解码,得到目标视角对应的二维目标图像。
在本公开实施例中,显示指令是用于触发客户端进行图像显示的请求。可选地,显示指令可以由用户触发生成,也可以是在发生应用跳转时由客户端自动生成。
需要说明的是,三维对象模型的几何特征精细程度较高、会经过各种反射与折射,并且三维对象模型的材质丰富且复杂度极高,预先通过服务器生成三维对象模型的多个视角的二维图像,并生成记录在多个不同视角下的二维图像的二维图像集合,再将二维图像集合下载到客户端的过程,无需依赖客户端直接下载以及处理三维对象模型,因此可以很快的获取到目标视角对应的二维目标图像。
S130、显示二维目标图像。
实际应用时,客户端确定出目标视角对应的二维目标图像之后,可以直接显示该二维目标图像。
例如,用户想要在短视频的播放界面上不断切换三维对象模型的二维图像,客户端获取每次切换操作对应的目标视角,并在短视频的播放界面上显示每次切换操作对应的目标视角的二维目标图像。
本公开实施例提供了一种图像显示方法,接收服务器发送的二维图像集合,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与目标视角对应的二维目标图像;显示二维目标图像。通过上述过程,客户端能够从二维图像集合中直接确定出目标视角的二维目标图像进行显示,并且二维目标图像的复杂度与占用内存较小,因此客户端显示图像的过程不会占用过多的网络资源和内存,从而避免图像显示过程出现卡顿,最终提升了用户的观看体验。
在本公开另一种实施方式中,客户端可以从二维图像集合中获取目标视角下的二维目标图像对应的编码数据,并解析编码数据,确定二维目标图像。
在本公开实施例中,可选地,S120具体可以包括如下步骤:
S1201、从二维图像集合中获取在目标视角下的二维目标图像对应的编码数据;
S1202、解析编码数据,获取与目标视角对应的二维目标图像。
具体的,由于二维图像集合包括三维对象模型在多个不同视角下的二维图像对应的编码数据,则客户端首先根据目标视角,从二维图像集合中获取目标视角下的二维目标图像对应的编码数据,然后利用诸如h265解码器解析所述编码数据,得到目标视角对应的二维目标图像。
其中,编码数据可以是每个视角对应的二进制格式的压缩编码产物。具体的,多个不同视角下的二维图像对应的编码数据预先由服务器对不同视角下的二维图像进行压缩编码得到。
由此,客户端只需要从服务器接收的二维图像集合中获取目标视角下的二维目标图像对应的编码数据并解析编码数据,就可以获取目标视角对应的二维目标图像并显示。因此,图像显示过程只用到了客户端的解码能力,兼容性较好,对客户端的要求较低,并且解码过程简单,易于实现且可以批量生产,因此得到的产物较小,使得客户端下载编码数据的速度较快。
在本公开又一种实施方式中,编码数据中包括不同的属性信息,不同的属性信息用于标记不同信息,使得客户端基于不同的属性信息,显示对应的二维目标图像。
为了保证编码数据的解析准确性以及图像显示准确性。在一些实施例中,编码数据包括所述二维图像的第一属性信息,其中,第一属性信息中的尺寸信息用于标记二维图像的显示尺寸,并根据第一属性信息中的视角信息确定目标视角。
具体的,客户端从第一属性信息中解析到尺寸信息时,可以根据尺寸信息确定二维图像的显示尺寸。其中,显示尺寸是指二维图像的显示大小。可选的,显示尺寸可以包括长(length)、宽(width)、高(height)等。
其中,视角信息能够用于标记二维图像对应的视角。具体的,客户端从第一属性信息中解析到视角信息时,可以根据视角信息确定目标视角。
由此,在本公开实施例中,客户端通过解析编码数据包括的第一属性信息中的视角信息准确的确定二维目标图像,以及基于第一属性信息中的尺寸信息来显示对应尺寸的二维目标图像,保证了编码数据的解析准确性以及图像显示准确性。
为了提高图像显示的可视化效果,可以融合颜色数据和透明数据来生成二维目标图像,以满足用户查看颜色和透明度的需求。在一些实施例中,编码数据包括二维图像的第二属性信息,其中,第二属性信息用于标记二维图像的不同通道在编码数据中的位置信息。
相应的,S1202具体可以包括如下步骤:
S12021、从第二属性信息中,获取二维目标图像的颜色通道在编码数据中的位置信息以及二维目标图像的透明度通道在所述编码数据中的位置信息;
S12022、基于二维目标图像的颜色通道在编码数据中的位置信息,从编码数据中获取与目标视角对应的颜色通道编码;
S12023、基于二维目标图像的透明度通道在编码数据中的位置信息,从编码数据中获取与目标视角对应的透明度通道编码;
S12024、融合颜色通道编码和透明度通道编码,生成目标视角对应的二维目标图像。
其中,位置信息可以是二维图像的不同通道在编码数据的字节偏移量以及字节长度。也就是说,每个视角对应的二维图像均存在对应的字节偏移量以及字节长度,并且,每个视角对应的二维图像的编码数据包括不同通道的编码数据。由此可知,基于二维目标图像的不同通道在编码数据中的位置信息,可以从编码数据中获取与目标视角对应的不同通道的编码。
其中,颜色通道可以是YUV通道,该颜色通道对应的数据是YUV格式的数据。颜色通道编码是指二维图像的颜色通道对应的编码数据。
具体的,在服务器对多个视角对应的二维图像进行压缩编码的过程中,服务器可以首先获取多张RGB格式的图像,作为多个视角对应的二维图像,然后从RGB格式的图像的YUV通道提取图像数据,得到多个视角对应的二维图像在YUV通道的图像数据,再对多个视角对应的二维图像在YUV通道的图像数据进行压缩编码,得到多个视角对应的二维图像的YUV通道的编码数据,并且每个二维图像的YUV通道在编码数据中均对应位置信息。这样,在客户端到多个视角对应的编码数据之后,可以根据二维目标图像的颜色通道在编码数据中的位置信息,从编码数据中直接获取目标视角对应的颜色通道编码。
其中,透明度通道可以是Alpha通道,该透明度通道对应的数据是灰度数据。透明度通道编码是指二维图像的透明度通道对应的编码数据。
具体的,在服务器对多个视角对应的二维图像进行压缩编码的过程中,服务器可以首先获取多张RGB格式的图像,作为多个视角对应的二维图像,然后从RGB格式的图像的Alpha通道提取图像数据,得到多个视角对应的二维图像在Alpha通道的图像数据,再对多个视角对应的二维图像在Alpha通道的图像数据进行压缩编码,得到多个视角对应的二维图像的Alpha通道的编码数据,并且每个二维图像的Alpha通道在编码数据中均对应位置信息。这样,在客户端到多个视角对应的编码数据之后,可以根据二维目标图像的透明度通道在编码数据中的位置信息,从编码数据中直接获取目标视角对应的透明度通道编码。
进一步的,客户端在获取到颜色通道编码和透明度通道编码之后,可以基于像素点的位置,融合颜色通道编码和透明度通道编码,生成二维目标图像并显示。由此,客户端能够显示融合有颜色数据和透明数据的二维目标图像,以满足用户查看颜色和透明度的需求。
在其他实施例中,客户端也可以只基于颜色通道编码,生成二维目标图像并显示,或者,客户端还可以只基于透明度通道编码,生成二维目标图像并显示。由此,客户端可以向用户显示单一通道的二维目标图像。
需要说明的是,不同视角的二维图像对应的图像帧类型不同,使得编码数据包括不同的数据帧类型,并且,不同帧类型对应的编码数据的获取方式不同。因此,为了保证查找到所有数据帧类型的编码数据,在一些实施例中,编码数据还包括二维图像的第三属性信息,其中,第三属性信息用于标记二维图像的不同通道在编码数据中的数据帧类型;
相应的,S12022具体可以包括如下步骤:
S10、根据第三属性信息,从编码数据中获取与目标视角对应的颜色通道的数据帧类型;
S11、如果与目标视角对应的颜色通道的数据帧类型是非关键帧类型,则根据目标视角对应的颜色通道的位置信息,从编码数据中获取与目标视角对应的颜色通道的关键帧编码和非关键帧编码,以及根据与目标视角对应的颜色通道的关键帧编码和非关键帧编码,生成与目标视角对应的颜色通道编码;
S12、如果与目标视角对应的颜色通道的数据帧类型是关键帧类型,则根据目标视角对应的颜色通道的位置信息,从编码数据中获取与目标视角对应的颜色通道的关键帧编码,并将与目标视角对应的颜色通道的关键帧编码作为与目标视角对应的颜色通道编码。
相应的,S12023具体可以包括如下步骤:
S20、根据第三属性信息,从编码数据中获取与目标视角对应的透明度通道的数据帧类型;
S21、如果与目标视角对应的透明度通道的数据帧类型是非关键帧类型,则根据目标视角对应的透明度通道的位置信息,从编码数据中获取与目标视角对应的透明度通道的关键帧编码和非关键帧编码,以及根据与目标视角对应的透明度通道的关键帧编码和非关键帧编码,生成与目标视角对应的透明度通道编码;
S22、如果与目标视角对应的透明度的数据帧类型是关键帧类型,则根据目标视角对应的透明度的位置信息,从编码数据中获取与目标视角对应的透明度通道的关键帧编码,并将与目标视角对应的透明度通道的关键帧编码作为与目标视角对应的透明度通道编码。
其中,数据帧类型是二维图像的帧类型,不同视角对应的二维图像对应唯一的帧类型。二维图像可以包括关键帧类型的图像和非关键帧的图像,则编码数据可以包括关键帧编码和非关键帧编码。
为了提高服务器对二维图像的编码效率,可以将获取的多个视角的二维图像进行分组,针对每个分组内的二维图像,进行压缩编码。具体的,可以利用人工将9个连续间隔的视角对应的二维图像划分为一组,其中,每组二维图像中位于中心位置的一张二维图像被标记为关键帧类型的二维图像,每组二维图像中位于非中心位置的8张二维图像被标记为非关键帧类型的二维图像。在服务器对每组二维图像进行压缩编码时,可以确定每组二维图像中位于中心位置的一张二维图像对应的编码数据为关键帧编码,以及确定每组二维图像中位于非中心位置的8张二维图像对应的编码数据为非关键帧编码。
需要说明的是,在利用服务器对每组二维图像进行压缩编码的过程中,关键帧类型的二维图像对应的压缩编码全部作为关键帧编码,非关键帧类型的二维图像对应的压缩编码的一部分作为关键帧编码,另一部分作为非关键帧编码。因此,对于颜色通道来说,在客户端获取目标视角对应的不同通道下的编码数据时,如果目标视角对应的颜色通道的数据帧类型是非关键帧类型,则需要获取目标视角对应的颜色通道的关键帧编码和非关键帧编码,并根据关键帧编码中的部分编码与非关键帧编码,生成与目标视角对应的颜色通道编码;如果目标视角对应的颜色通道的数据帧类型是关键帧类型,则直接将与目标视角对应的颜色通道的关键帧编码作为与目标视角对应的颜色通道编码。
其中,目标视角对应的关键帧编码是指目标视角所在组内的关键帧的编码数据。目标视角对应的非关键帧编码是指该视角实际对应的编码数据。需要说明的是,确定透明度通道编码的原理与确定颜色通道编码的原理相同,在此不做赘述。
为了便于理解,每组二维图像对应的颜色通道编码和透明度通道编码,可以通过如下方式表示:
颜色通道编码 IPPPPPPPP 透明度通道编码 IPPPPPPPP
其中,上述表格中的每组二维图像对应的颜色通道编码包括一个关键帧(I)编码和8个非关键帧(P)编码,并且,每组二维图像对应的透明度通道编码包括一个关键帧(I)编码和8个非关键帧(P)编码。
由此,对于不同的数据帧类型,可以基于不同的逻辑获取不同数据帧类型的编码数据,对于颜色通道和透明度通道来说,保证了两个通道的编码数据获取的全面性和准确性。
为了方便快速获取到不同视角对应的编码数据,在一些实施例中,编码数据包括协议头,其中,协议头包括第一属性信息、第二属性信息以及第三属性信息中的一种或者多种组合。
为了进一步提高客户端对编码数据的解析效率,客户端可以将编码中协议头存储至本地,然后从本地获取并快速解析编码数据。
在本公开实施例中,可选的,在S1202之前,该方法还包括如下步骤:
基于各视角对应的协议头格式,将各视角对应的协议头存储在预设存储结构中;
相应的,S1202具体可以包括如下步骤:
从预设存储结构中获取目标视角对应的目标协议头,并解析目标协议头对应的编码数据,获取与目标视角对应的二维目标图像。
其中,预设存储结构可以是客户端对应的可以是内存存储结构,具体可以是一种Map结构,Map是一种把键对象和值对象映射的集合,它的每一个元素都包含一对键对象和值对象。
可选地,预设存储结构中的协议头的代码可以是如下结构:
{
"Longitude,Latitude":[
{
"Frame Type":"I/P",
"Offset":"Current Offset",
"Length":"Current Frame Length",
"Alpha_Offset":"Current Frame Alpha Offset",
"Alpha_Length":"Current Frame Alpha length",
"I_Offset":"Reference I Frame Offset",
"I_Length":"Reference I Frame Length",
"Alpha_I_Offset":"Reference I Frame Alpha Offset",
"Alpha_I_Length":"Reference I Frame Alpha Length",
}
}
}
由此,在解码阶段,通过从客户端对应的预设存储结构中解析协议头,能够快速的解析到目标视角对应的编码数据,从而提高目标视角对应的二维目标图像的解析效率,进一步优化的图像显示效率。
为了便于理解从编码数据中获取与目标视角对应的不同通道的编码数据,以及非关键帧类型的编码数据和关键字类型的编码数据的获取逻辑。图2示出了本公开实施例提供的一种图像显示方法的逻辑示意图。
如图2所示,该图像显示方法包括如下过程:
S210、接收服务器发送的二维图像集合,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像。
S220、响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与目标视角对应的二维目标图像。
具体的,在S220之前,客户端可以基于各视角对应的协议头格式,将各视角对应的协议头存储在预设存储结构中,例如存储在map。
S230、从预设存储结构中获取目标视角对应的目标协议头。
S240、解析目标视角对应的目标协议头中的第一属性信息。
其中,第一属性信息中的尺寸信息用于标记二维图像的显示尺寸,并根据第一属性信息中的视角信息确定目标视角。
S250、从目标协议头中的第二属性信息中,获取二维目标图像的颜色通道在编码数据中的位置信息。
其中,第二属性信息用于标记二维图像的不同通道在所述编码数据中的位置信息。
S260、根据目标协议头中的第三属性信息,从编码数据中获取与目标视角对应的颜色通道的数据帧类型。
其中,第三属性信息用于标记二维图像的不同通道在编码数据中的数据帧类型。
S270、确定颜色通道的数据帧类型是否是关键帧类型。
具体的,若颜色通道的数据帧类型是关键帧类型,则执行S280,否则,执行S290。
S280、根据目标视角对应的颜色通道的位置信息,从编码数据中获取与目标视角对应的颜色通道的关键帧编码,并将与目标视角对应的颜色通道的关键帧编码作为与目标视角对应的颜色通道编码。
S290、根据目标视角对应的颜色通道的位置信息,从编码数据中获取与目标视角对应的颜色通道的关键帧编码和非关键帧编码,以及根据与目标视角对应的颜色通道的关键帧编码和非关键帧编码,生成与目标视角对应的颜色通道编码。
S291、从目标协议头中的第二属性信息中,获取二维目标图像的透明度通道在编码数据中的位置信息。
S292、根据目标协议头中的第三属性信息,从编码数据中获取与目标视角对应的透明度通道的数据帧类型。
S293、确定透明度通道的数据帧类型是否是关键帧类型。
具体的,若透明度通道的数据帧类型是关键帧类型,则执行S294,否则,执行S295。
S294、根据目标视角对应的透明度通道的位置信息,从编码数据中获取与目标视角对应的透明度通道的关键帧编码,并将与目标视角对应的透明度通道的关键帧编码作为与目标视角对应的透明度通道编码。
S295、根据目标视角对应的透明度通道的位置信息,从编码数据中获取与目标视角对应的透明度通道的关键帧编码和非关键帧编码,以及根据与目标视角对应的透明度通道的关键帧编码和非关键帧编码,生成与目标视角对应的透明度通道编码。
S296、融合颜色通道编码和透明度通道编码,生成目标视角对应的二维目标图像并显示。
在本公开再一种实施方式中,提供了一种降低网络传输资源以及内存占用的图像处理方法。其中,该图像处理方法可以应用于服务器。其中,该服务器可以是云服务器或者是服务器集群。
图3示出了本公开实施例提供的一种图像处理方法的流程示意图。如图3所示,该图像处理方法包括如下步骤。
S310、获取三维对象模型在多个视角生成的二维图像集合,其中,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像。
可以理解的是,视角的具体形式可以是经纬度。具体的,可以设置纬度范围[-90,90]且经度范围[0,360],针对三维对象模型,每6度采集一张图像,则可以采集包含360/6*(180/6+1)=1860张二维图像,若将二维图像每18度分成一组,则可以获取(180/18+1)*(360/18)=220组二维图像。具体的,除了南北极点之外,可以上述数量的二维图像按照3*3分为一组,即9张图像合成一组,总共为(180/6-1)*(360/6)=1740张二维图像,并将每组图像中位于中心位置的二维图像设为关键帧类型的图像,将每组图像中位于非中心位置的二维图像设为非关键帧类型的图像;针对南北极点(*,-90),(*,90),则将二维图像按照3*2共6张合成一组,极点为关键帧类型的图像,外围5张非关键帧类型的图像,总共为2*(360/6)=120张。
为了便于理解二维图像的采集过程,图4示出了一种二维图像的获取示意图。
如图4所示,针对三维对象模型,可以每6度采集一张二维图像,例如在(-6,6)、(0,0)、(-6,0)等视角下采集一张二维图像,则可以得到9张二维图像并将9张二维图像作为一组,其中,每组二维图像中位于中心位置的二维图像设为关键帧类型的图像,非中心位置的二维图像设为非关键帧类型的图像,每组二维图像中的关键帧类型的图像可以作为非关键帧类型的图像的参考,则每组二维图像包括1张关键帧类型的图像以及8张非关键帧类型的图像。
S320、将二维图像集合发送给客户端,以使客户端解析与目标视角对应的二维目标图像并显示。
在一些实施例中,服务器可以直接将包括多个视角对应的二维图像的二维图像集合发送至客户端,使得客户端从二维图像中查找目标视角对应的二维目标图像并显示。
在另一些实施例中,服务器可以对多个视角对应的二维图像进行压缩编码得到的编码数据,得到记录多个不同视角下的二维图像的二维图像集合,并将二维图像集合发送至客户端,以使客户端解析目标视角对应的二维目标图像并显示。
本公开实施例提供了一种图像处理方法,服务器获取三维对象模型在多个视角生成的二维图像集合,其中,二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;将二维图像集合发送给客户端,以使客户端解析与目标视角对应的二维目标图像并显示。通过上述过程,三维对象模型的处理过程在服务器中执行,使得客户端直接获取并显示目标视角对应的二维目标图像即可,因此,客户端显示图像的过程不会占用过多的网络资源和内存,从而避免图像显示过程出现卡顿,最终提升了用户观看图像显示过程的交互体验。
在本公开再一种实施方式中,服务器将多个视角对应的二维图像进行压缩编码后,向客户端发送多个视角对应的编码数据。
在本公开实施例中,可选地,S310具体可以包括如下步骤:
对多个不同视角下的二维图像进行压缩编码,生成多个不同视角下的编码数据,并将多个不同视角下的编码数据作为二维图像集合。
具体的,在服务器生成编码数据的过程中,服务器可以利用诸如h265编码器,对多个不同视角下的二维图像进行压缩编码,生成多个不同视角下的二维图像对应的编码数据,也就是生成二进制文件,并将多个不同视角下的编码数据作为二维图像集合。
可选的,编码数据可以包括参数编码和编码体。其中,参数编码是指二维图像编码之后的参数,编码体是指编码数据的本体。
可选的,参数编码都可以包括视频参数集(VPS_NUT)、序列参数集(SPS_NUT)以及(PPS_NUT)等参数。
为了进一步的缩小编码数据占用的资源,针对每个分组内的二维图像对应的编码数据,可以仅保留一份上述参数编码。在一些情况下,若将9张二维图像作为一组,则每组二维图像对应的编码数据可以通过如下方式表示:
/>
由此,在本公开实施例中,服务器可以将多个不同视角下的二维图像进行压缩编码,生成产物较小的二进制文件,并向客户端二进制文件,使得客户端能够在很短的时间内下载编码数据。
为了便于客户端准确的解析编码数据,编码数据包括多种属性信息。
在一些实施例中,编码数据包括二维图像的第一属性信息,其中,第一属性信息中的尺寸信息用于标记二维图像的显示尺寸,第一属性信息中的视角信息用于标记二维图像的视角。
在另一些实施例中,编码数据还包括二维图像的第二属性信息,其中,第二属性信息用于标记二维图像的不同通道在编码数据中的位置信息,以使客户端根据位置信息从编码数据中获取目标视角对应的二维图像的不同通道的数据。
在又一些实施例中,编码数据还包括二维图像的第三属性信息,其中,第三属性信息用于标记二维图像的不同通道在编码数据中的数据帧类型,以使客户端根据数据帧类型对目标视角对应的二维图像的不同通道的数据进行解码处理。
进一步的,为了方便快速获取到不同视角对应的编码数据,在一些实施例中,服务器还可以对每个视角对应的二维图像的编码数据添加协议头。
具体的,服务器可以基于预设协议头协议,将协议头对应添加到每个视角对应的二维图像的编码数据上,则得到携带协议头的编码数据。
可选的,预设头文件协议可以是自回归(Autoregressive,AR)协议。
其中,协议头可以是包括上述第一属性信息、第二属性信息以及第三属性信息的一种或多种组合。
可选的,协议头具体可以是如下格式:
由此,在编码阶段,协议头能够标记其对应的编码数据的多种信息,对于后续的解码阶段,能够方便客户端快速获取到不同视角对应的编码数据,最终优化的图像显示效率。
在本公开再一种实施方式中,为了便于理解图像处理过程以及图像显示过程,图5示出了一种图像处理及显示方法的逻辑示意图。
如图5所示,该图像处理及展示过程包括如下步骤:
S510、获取三维对象模型在多个视角生成的二维图像。
S520、获取多个视角对应的二维图像在颜色通道的图像数据。
S530、获取多个视角对应的二维图像在透明度通道的图像数据。
S540、对多个视角对应的二维图像在颜色通道的图像数据进行压缩编码,得到多个视角对应的颜色通道编码。
S550、对多个视角对应的二维图像在透明度通道的图像数据进行压缩编码,得到多个视角对应的透明度通道编码。
S560、对多个视角对应的颜色通道编码和多个视角对应的透明度通道编码进行合并,得到多个视角对应的二维图像的编码数据。
S570、对多个视角对应的二维图像的编码数据添加协议头,生成三维对象模型在多个视角生成的二维图像集合,其中,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像。
需要说明的是,S510~S570均由服务器执行。
S580、接收服务器发送的二维图像集合。
S590、响应于对三维对象模型在目标视角下的显示指令,解析目标视角对应的编码数据包括的协议头。
S591、基于协议头中的属性信息,从编码数据中获取与目标视角对应的颜色通道编码。
S592、基于协议头中的属性信息,从编码数据中获取与目标视角对应的透明度通道编码。
S593、将与目标视角对应的颜色通道编码和与目标视角对应的透明度通道编码进行对应融合,得到目标视角对应的二维目标图像并展示。
其中,S580~S593均由服务器执行。
与上述方法实施例基于同一个发明构思,本公开还提供了一种图像显示装置,该装置配置于客户端。参考图6,本公开实施例提供的一种图像显示装置的结构示意图,该图像显示装置600包括:
接收模块601,用于接收服务器发送的二维图像集合,所述二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;
解析模块602,用于响应于对所述三维对象模型在目标视角下的显示指令,从所述二维图像集合中,解析与所述目标视角对应的二维目标图像;
图像显示模块603,用于显示所述二维目标图像。
本公开实施例提供了一种图像显示装置,接收服务器发送的二维图像集合,二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;响应于对三维对象模型在目标视角下的显示指令,从二维图像集合中,解析与目标视角对应的二维目标图像;显示二维目标图像。通过上述过程,客户端能够从二维图像集合中直接确定出目标视角的二维目标图像进行显示,并且二维目标图像的复杂度与占用内存较小,因此客户端显示图像的过程不会占用过多的网络资源和内存,从而避免图像显示过程出现卡顿,最终提升了用户的观看体验。
一种可选的实施方式中,解析模块602,包括:
获取单元,用于从所述二维图像集合中获取在所述目标视角下的二维目标图像对应的编码数据;
解析单元,用于解析所述编码数据,获取与所述目标视角对应的二维目标图像。
一种可选的实施方式中,编码数据包括所述二维图像的第一属性信息,其中,所述第一属性信息中的尺寸信息用于标记所述二维图像的显示尺寸,并根据所述第一属性信息中的视角信息确定所述目标视角。
一种可选的实施方式中,编码数据包括所述二维图像的第二属性信息,其中,所述第二属性信息用于标记所述二维图像的不同通道在所述编码数据中的位置信息;
相应的,解析单元具体用于,从所述第二属性信息中,获取所述二维目标图像的颜色通道在所述编码数据中的位置信息以及所述二维目标图像的透明度通道在所述编码数据中的位置信息;
基于所述二维目标图像的颜色通道在所述编码数据中的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道编码;
基于所述二维目标图像的透明度通道在所述编码数据中的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道编码;
融合所述颜色通道编码和所述透明度通道编码,生成所述目标视角对应的二维目标图像。
一种可选的实施方式中,所述编码数据还包括所述二维图像的第三属性信息,其中,所述第三属性信息用于标记所述二维图像的不同通道在所述编码数据中的数据帧类型;
相应的,解析单元还用于,根据所述第三属性信息,从所述编码数据中获取与所述目标视角对应的颜色通道的数据帧类型;
如果与所述目标视角对应的颜色通道的数据帧类型是非关键帧类型,则根据所述目标视角对应的颜色通道的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道的关键帧编码和非关键帧编码,以及根据与所述目标视角对应的颜色通道的关键帧编码和非关键帧编码,生成与所述目标视角对应的颜色通道编码;
如果与所述目标视角对应的颜色通道的数据帧类型是关键帧类型,则根据所述目标视角对应的颜色通道的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道的关键帧编码,并将与所述目标视角对应的颜色通道的关键帧编码作为与所述目标视角对应的颜色通道编码。
一种可选的实施方式中,据解析单元还用于,根据所述第三属性信息,从所述编码数据中获取与所述目标视角对应的透明度通道的数据帧类型;
如果与所述目标视角对应的透明度通道的数据帧类型是非关键帧类型,则根据所述目标视角对应的透明度通道的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道的关键帧编码和非关键帧编码,以及根据与所述目标视角对应的透明度通道的关键帧编码和非关键帧编码,生成与所述目标视角对应的透明度通道编码;
如果与所述目标视角对应的透明度的数据帧类型是关键帧类型,则根据所述目标视角对应的透明度的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道的关键帧编码,并将与所述目标视角对应的透明度通道的关键帧编码作为与所述目标视角对应的透明度通道编码。
一种可选的实施方式中,所述编码数据包括协议头,其中,所述协议头包括第一属性信息、第二属性信息以及第三属性信息中的一种或者多种组合。
与上述方法实施例基于同一个发明构思,本公开还提供了一种图像处理装置,该装置配置于服务器。参考图7,本公开实施例提供的一种图像处理装置的结构示意图,该图像处理装置700包括:
获取模块701,用于获取三维对象模型在多个视角生成的二维图像集合,其中,所述二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;
发送模块702,用于将所述二维图像集合发送给客户端,以使所述客户端解析与目标视角对应的二维目标图像并显示。
本公开实施例提供了一种图像处理装置,服务器获取三维对象模型在多个视角生成的二维图像集合,其中,二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;将二维图像集合发送给客户端,以使客户端解析与目标视角对应的二维目标图像并显示。通过上述过程,三维对象模型的处理过程在服务器中执行,使得客户端直接获取并显示目标视角对应的二维目标图像即可,因此,客户端显示图像的过程不会占用过多的网络资源和内存,从而避免图像显示过程出现卡顿,最终提升了用户观看图像显示过程的交互体验。
一种可选的实施方式中,发送模块702,包括:
压缩编码单元,用于对所述多个不同视角下的二维图像进行压缩编码,生成所述多个不同视角下的编码数据,并将所述多个不同视角下的编码数据作为所述二维图像集合。
一种可选的实施方式中,所述编码数据包括所述二维图像的第一属性信息,其中,所述第一属性信息中的尺寸信息用于标记所述二维图像的显示尺寸,所述第一属性信息中的视角信息用于标记所述二维图像的视角。
一种可选的实施方式中,所述编码数据还包括所述二维图像的第二属性信息,其中,所述第二属性信息用于标记所述二维图像的不同通道在所述编码数据中的位置信息,以使所述客户端根据所述位置信息从所述编码数据中获取所述目标视角对应的二维图像的不同通道的数据。
一种可选的实施方式中,所述编码数据还包括所述二维图像的第三属性信息,其中,所述第三属性信息用于标记所述二维图像的不同通道在所述编码数据中的数据帧类型,以使所述客户端根据所述数据帧类型对所述目标视角对应的二维图像的不同通道的数据进行解码处理。
除了上述方法和装置以外,本公开实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在终端设备上运行时,使得终端设备实现本公开实施例的图像显示方法或者图像处理方法。
本公开实施例还提供了一种计算机程序产品,计算机程序产品包括计算机程序/指令,计算机程序/指令被处理器执行时实现本公开实施例的图像显示方法或者图像处理方法。
图8示出了本公开实施例提供的一种客户端或者服务器的结构示意图。
如图8所示,该客户端或者服务器可以包括控制器801以及存储有计算机程序指令的存储器802。
具体地,上述控制器801可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器802可以包括用于信息或指令的大容量存储器。举例来说而非限制,存储器802可以包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个及其以上这些的组合。在合适的情况下,存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器802可在综合网关设备的内部或外部。在特定实施例中,存储器802是非易失性固态存储器。在特定实施例中,存储器802包括只读存储器(Read-Only Memory,ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Electrical Programmable ROM,EPROM)、电可擦除PROM(Electrically ErasableProgrammable ROM,EEPROM)、电可改写ROM(Electrically Alterable ROM,EAROM)或闪存,或者两个或及其以上这些的组合。
控制器801通过读取并执行存储器802中存储的计算机程序指令,以执行本公开实施例所提供的图像显示方法的步骤,或者,执行本公开实施例所提供的图像处理方法的步骤。
在一个示例中,该客户端或服务器还可包括收发器803和总线804。其中,如图8所示,控制器801、存储器802和收发器803通过总线804连接并完成相互间的通信。
总线804包括硬件、软件或两者。举例来说而非限制,总线可包括加速图形端口(Accelerated Graphics Port,AGP)或其他图形总线、增强工业标准架构(ExtendedIndustry Standard Architecture,EISA)总线、前端总线(Front Side BUS,FSB)、超传输(Hyper Transport,HT)互连、工业标准架构(Industrial Standard Architecture,ISA)总线、无限带宽互连、低引脚数(Low Pin Count,LPC)总线、存储器总线、微信道架构(MicroChannel Architecture,MCA)总线、外围控件互连(Peripheral Component Interconnect,PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment,SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus,VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线804可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种图像显示方法,其特征在于,应用于客户端,所述方法包括:
接收服务器发送的二维图像集合,所述二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;
响应于对所述三维对象模型在目标视角下的显示指令,从所述二维图像集合中,解析与所述目标视角对应的二维目标图像;
显示所述二维目标图像。
2.根据权利要求1所述的方法,其特征在于,所述从所述二维图像集合中,解析与所述目标视角对应的二维目标图像,包括:
从所述二维图像集合中获取在所述目标视角下的二维目标图像对应的编码数据;
解析所述编码数据,获取与所述目标视角对应的二维目标图像。
3.根据权利要求2所述的方法,其特征在于,所述编码数据包括所述二维图像的第一属性信息,其中,所述第一属性信息中的尺寸信息用于标记所述二维图像的显示尺寸,并根据所述第一属性信息中的视角信息确定所述目标视角。
4.根据权利要求2所述的方法,其特征在于,所述编码数据包括所述二维图像的第二属性信息,其中,所述第二属性信息用于标记所述二维图像的不同通道在所述编码数据中的位置信息;
相应的,所述解析所述编码数据,获取与所述目标视角对应的二维目标图像,包括:
从所述第二属性信息中,获取所述二维目标图像的颜色通道在所述编码数据中的位置信息以及所述二维目标图像的透明度通道在所述编码数据中的位置信息;
基于所述二维目标图像的颜色通道在所述编码数据中的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道编码;
基于所述二维目标图像的透明度通道在所述编码数据中的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道编码;
融合所述颜色通道编码和所述透明度通道编码,生成所述目标视角对应的二维目标图像。
5.根据权利要求4所述的方法,其特征在于,所述编码数据还包括所述二维图像的第三属性信息,其中,所述第三属性信息用于标记所述二维图像的不同通道在所述编码数据中的数据帧类型;
相应的,所述基于所述颜色通道的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道编码,包括:
根据所述第三属性信息,从所述编码数据中获取与所述目标视角对应的颜色通道的数据帧类型;
如果与所述目标视角对应的颜色通道的数据帧类型是非关键帧类型,则根据所述目标视角对应的颜色通道的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道的关键帧编码和非关键帧编码,以及根据与所述目标视角对应的颜色通道的关键帧编码和非关键帧编码,生成与所述目标视角对应的颜色通道编码;
如果与所述目标视角对应的颜色通道的数据帧类型是关键帧类型,则根据所述目标视角对应的颜色通道的位置信息,从所述编码数据中获取与所述目标视角对应的颜色通道的关键帧编码,并将与所述目标视角对应的颜色通道的关键帧编码作为与所述目标视角对应的颜色通道编码。
6.根据权利要求5所述的方法,其特征在于,所述基于所述透明度通道的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道编码,包括:
根据所述第三属性信息,从所述编码数据中获取与所述目标视角对应的透明度通道的数据帧类型;
如果与所述目标视角对应的透明度通道的数据帧类型是非关键帧类型,则根据所述目标视角对应的透明度通道的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道的关键帧编码和非关键帧编码,以及根据与所述目标视角对应的透明度通道的关键帧编码和非关键帧编码,生成与所述目标视角对应的透明度通道编码;
如果与所述目标视角对应的透明度的数据帧类型是关键帧类型,则根据所述目标视角对应的透明度的位置信息,从所述编码数据中获取与所述目标视角对应的透明度通道的关键帧编码,并将与所述目标视角对应的透明度通道的关键帧编码作为与所述目标视角对应的透明度通道编码。
7.根据权利要求2-6任一项所述的方法,其特征在于,所述编码数据包括协议头,其中,所述协议头包括第一属性信息、第二属性信息以及第三属性信息中的一种或者多种组合。
8.一种图像处理方法,其特征在于,应用于服务器,所述方法包括:
获取三维对象模型在多个视角生成的二维图像集合,其中,所述二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;
将所述二维图像集合发送给客户端,以使所述客户端解析与目标视角对应的二维目标图像并显示。
9.根据权利要求8所述的方法,其特征在于,所述获取三维对象模型在多个视角生成的二维图像集合,包括:
对所述多个不同视角下的二维图像进行压缩编码,生成所述多个不同视角下的编码数据,并将所述多个不同视角下的编码数据作为所述二维图像集合。
10.根据权利要求9所述的方法,其特征在于,所述编码数据包括所述二维图像的第一属性信息,其中,所述第一属性信息中的尺寸信息用于标记所述二维图像的显示尺寸,所述第一属性信息中的视角信息用于标记所述二维图像的视角。
11.根据权利要求10所述的方法,其特征在于,所述编码数据还包括所述二维图像的第二属性信息,其中,所述第二属性信息用于标记所述二维图像的不同通道在所述编码数据中的位置信息,以使所述客户端根据所述位置信息从所述编码数据中获取所述目标视角对应的二维图像的不同通道的数据。
12.根据权利要求11所述的方法,其特征在于,所述编码数据还包括所述二维图像的第三属性信息,其中,所述第三属性信息用于标记所述二维图像的不同通道在所述编码数据中的数据帧类型,以使所述客户端根据所述数据帧类型对所述目标视角对应的二维图像的不同通道的数据进行解码处理。
13.一种图像显示装置,其特征在于,所述装置配置于客户端,所述装置包括:
接收模块,用于接收服务器发送的二维图像集合,所述二维图像集合用于记录三维对象模型在多个不同视角下的二维图像;
解析模块,用于响应于对所述三维对象模型在目标视角下的显示指令,从所述二维图像集合中,解析与所述目标视角对应的二维目标图像;
图像显示模块,用于显示所述二维目标图像。
14.一种图像处理装置,其特征在于,所述装置配置于服务器,所述装置包括:
获取模块,用于获取三维对象模型在多个视角生成的二维图像集合,其中,所述二维图像集合用于记录所述三维对象模型在多个不同视角下的二维图像;
发送模块,用于将所述二维图像集合发送给客户端,以使所述客户端解析与目标视角对应的二维目标图像并显示。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备实现如权利要求1-7任一项所述的方法或者8-12任一项所述的方法。
16.一种设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-7任一项所述的方法或者8-12任一项所述的方法。
17.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的方法或者8-12任一项所述的方法。
CN202210999321.1A 2022-08-19 2022-08-19 图像显示方法、图像处理方法、装置、设备及介质 Pending CN117640967A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210999321.1A CN117640967A (zh) 2022-08-19 2022-08-19 图像显示方法、图像处理方法、装置、设备及介质
PCT/CN2023/113854 WO2024037643A1 (zh) 2022-08-19 2023-08-18 图像显示方法、图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210999321.1A CN117640967A (zh) 2022-08-19 2022-08-19 图像显示方法、图像处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117640967A true CN117640967A (zh) 2024-03-01

Family

ID=89940863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210999321.1A Pending CN117640967A (zh) 2022-08-19 2022-08-19 图像显示方法、图像处理方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN117640967A (zh)
WO (1) WO2024037643A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4324123B2 (ja) * 2005-03-17 2009-09-02 富士通株式会社 モデルデータ表示プログラム、モデルデータ表示装置およびモデルデータ表示方法
CN107945282B (zh) * 2017-12-05 2021-01-29 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN113559498A (zh) * 2021-07-02 2021-10-29 网易(杭州)网络有限公司 三维模型展示方法、装置、存储介质及电子设备
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2024037643A1 (zh) 2024-02-22

Similar Documents

Publication Publication Date Title
CN107343220B (zh) 数据处理方法、装置和终端设备
US11475666B2 (en) Method of obtaining mask frame data, computing device, and readable storage medium
EP2559270B1 (en) Method and apparatus for generating and playing animation message
US11871086B2 (en) Method of displaying comment information, computing device, and readable storage medium
CN108200447B (zh) 直播数据传输方法、装置、电子设备、服务器及存储介质
CN111954060B (zh) 弹幕蒙版的渲染方法、计算机设备及可读存储介质
CN107295352B (zh) 一种视频压缩方法、装置、设备及存储介质
WO2023241459A1 (zh) 数据通信方法、系统、电子设备和存储介质
CN115396705A (zh) 投屏操作验证方法、平台及系统
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
CN113452996B (zh) 一种视频编码、解码方法及装置
CN112468792B (zh) 图像识别方法、装置、电子设备及存储介质
US20230063967A1 (en) Character Restoration Method and Apparatus, Storage Medium, and Electronic Device
WO2016161899A1 (zh) 一种多媒体信息处理方法、设备及计算机存储介质
CN111954034B (zh) 一种基于终端设备参数的视频编码方法及系统
CN117640967A (zh) 图像显示方法、图像处理方法、装置、设备及介质
CN111885417B (zh) Vr视频播放方法、装置、设备以及存储介质
CN112312067A (zh) 预监输入视频信号的方法、装置和设备
CN111954082B (zh) 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质
TWI669947B (zh) 圖片轉碼方法、計算設備及儲存介質
CN111832529A (zh) 视频文本转换方法、移动终端和计算机可读存储介质
CN112001842A (zh) 图片生成方法、装置、电子设备及计算机可读存储介质
CN111954081A (zh) 获取蒙版数据的方法、计算机设备及可读存储介质
CN113709512A (zh) 直播数据流交互方法、装置、服务器及可读存储介质
CN112492333B (zh) 图像生成方法及装置、封面更换方法、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination