CN111583348A - 图像数据编码方法及装置、显示方法及装置、电子设备 - Google Patents

图像数据编码方法及装置、显示方法及装置、电子设备 Download PDF

Info

Publication number
CN111583348A
CN111583348A CN202010388654.1A CN202010388654A CN111583348A CN 111583348 A CN111583348 A CN 111583348A CN 202010388654 A CN202010388654 A CN 202010388654A CN 111583348 A CN111583348 A CN 111583348A
Authority
CN
China
Prior art keywords
scene
dimensional picture
information
dimensional
picture information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010388654.1A
Other languages
English (en)
Other versions
CN111583348B (zh
Inventor
范晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010388654.1A priority Critical patent/CN111583348B/zh
Publication of CN111583348A publication Critical patent/CN111583348A/zh
Priority to JP2022567269A priority patent/JP2023524773A/ja
Priority to KR1020227042616A priority patent/KR20230006580A/ko
Priority to EP21804745.4A priority patent/EP4148675A4/en
Priority to PCT/CN2021/091865 priority patent/WO2021227919A1/zh
Priority to US17/981,986 priority patent/US20230077907A1/en
Application granted granted Critical
Publication of CN111583348B publication Critical patent/CN111583348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本申请公开了一种图像数据编码方法及装置、显示方法及装置、电子设备，属于增强现实技术领域。所述方法包括：获取第一场景的三维画面信息；对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。根据本申请的图像数据编码，能够对三维画面信息按照预设文件格式进行编码，完整保存场景的三维画面信息，并且按照预设文件格式处理后得到的文件的后续解析、读取方便，提高了解析、重现场景的速度。

Description

图像数据编码方法及装置、显示方法及装置、电子设备
技术领域
本申请属于增强现实技术领域，具体涉及一种增图像数据编码方法及装置、显示方法及装置、电子设备。
背景技术
随着互联网技术的快速发展，基于网络技术的远程交互方式在越来越多的领域被广泛应用。手机、电脑等电子设备的处理器不断发展，使得增强现实(Augmented Reality，AR)的应用越来越被人们所接受，将增强现实技术用于远程交互领域，是一种全新的远程沟通、交流、生活及工作方式。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：在实现基于增强现实的远程交互后，远程交互过程中的三维画面信息没有一种高效的、统一的媒体文件格式进行保存，存储的三维画面信息混乱，不便于后续解析和重现。
发明内容
本申请实施例的目的是提供一种图像数据编码方法及装置、显示方法及装置、电子设备，能够解决现有技术中存在的三维画面信息存储混乱、不便于后续解析和重现的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像数据编码方法，该方法包括：
获取第一场景的三维画面信息；
对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
第二方面，本申请实施例提供了一种显示方法，包括：
获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据；
解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息；
根据解析得到的第一场景的三维画面信息显示三维画面。
第三方面，本申请实施例提供了一种图像数据编码装置，包括：
第一获取模块，用于获取第一场景的三维画面信息；
第一处理模块，用于对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
第四方面，本申请实施例提供了一种显示装置，包括：
第二获取模块，用于获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据；
第一解析模块，用于解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息；
显示模块，用于根据解析得到的第一场景的三维画面信息显示三维画面。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像数据编码方法的步骤，或者，所述程序或指令被所述处理器执行时实现如第二方面所述的显示方法的步骤。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像数据编码方法的步骤，或者，所述程序或指令被所述处理器执行时实现如第二方面所述的显示方法的步骤。
第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像数据编码方法的步骤，或者，实现如第二方面所述的显示方法的步骤。
在本申请实施例中，根据本申请的图像数据编码，能够对三维画面信息按照预设文件格式进行编码，完整保存场景的三维画面信息，并且按照预设文件格式处理后得到的文件的后续解析、读取方便，提高了解析、重现场景的速度。
附图说明
图1为本申请实施例提供的一种图像数据编码方法的流程示意图；
图2为本申请实施例提供的编码后的第一场景的三维画面信息的格式示意图之一；
图3为本申请实施例提供的编码后的第一场景的三维画面信息的格式示意图之二；
图4为本申请实施例提供的编码后的第一场景的三维画面信息的格式示意图之三；
图5为本申请实施例提供的一种显示方法的流程示意图；
图6为本申请实施例提供的一种图像数据编码装置的结构示意图；
图7为本申请实施例提供的一种显示装置的结构示意图；
图8为本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的增强现实的文件处理方法进行详细地说明。
请参考图1，图1为本申请实施例提供的一种图像数据编码方法的流程示意图。如图1所示，本申请中的图像数据编码可以包括以下步骤：
步骤101：获取第一场景的三维画面信息。
在该步骤中，会获取第一场景的三维画面信息，其中，所述第一场景可以为电子设备当前所处的真实场景，也可以为电子设备当前显示的增强现实场景，也就是说是虚拟场景和真实场景相结合的增强现实场景。示例性的，所述第一场景可以是进行远程视频交互时的真实场景，例如远程会议场景，在使用AR设备进行远程交互的过程中，会获取AR设备所处真实环境的三维画面信息；又如，所述第一场景也可以是进行远程视频交互时显示的增强现实场景，也即对端传输来的虚拟场景与本端电子设备当前所处的真实场景进行融合后的增强现实场景。
本申请实施例中，获取第一场景的三维画面信息的方法具体可以采用具有深度传感器的深度相机加上RGB双目相机进行拍摄，以获取第一场景的三维画面中的三维点的坐标信息和RGB像素值等信息。
步骤102：对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
在本步骤中，获取了第一场景的三维画面信息后，可以进一步对所述三维画面信息进行编码处理，也即按照预设文件格式进行编码，编码后的第一场景的三维画面信息可以包括文件头信息、索引信息和数据信息。也就是说，经过预设文件格式进行编码处理后得到的三维画面信息都可以包括文件头信息、索引信息和数据信息。编码后的第一场景的三维画面信息可以存储为第一文件，从而第一文件中记录的信息即为与第一场景相对应的信息，当后续需要重现第一场景的画面时，即可对第一文件进行解析，从而实现快速重现。当然，编码后的第一场景的三维画面信息也可以进行直接传输，发送至对端进行第一场景的重现。
根据本申请的图像数据编码方法，能够对三维画面信息按照预设文件格式进行编码，完整保存场景的三维画面信息，并且按照预设文件格式处理后得到的文件的后续解析、读取方便，提高了解析、重现场景的速度。
本申请实施例中，所述文件头信息用于记录文件主体信息，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，也就是说，所述参考点所在的位置即是获取所述第一场景的三维画面信息的电子设备所处的位置，而所述数据信息则用于记录所述第一场景的三维画面信息中的三维点数据。
请参考图2，图2为本申请实施例提供的编码后的第一场景的三维画面信息的格式示意图之一。如图2所示，在申请实施例中，编码后得到的第一文件中，所述文件头信息可以包括文件类型名称(format)、文件大小(size)、分辨率(resolution)中的至少一项，通过解析文件头信息可以快速获取第一文件的文件类型名称、文件大小和分辨率，文件大小即对应于记录的第一场景的三维画面信息的数据量，所述分辨率即对应于第一场景的三维画面的分辨率；所述索引信息可以包括时间戳(timestamp)、经度(longitude)、纬度(latitude)和高度(altitude)，通过解析索引信息，可以快速获取第一文件记录的第一场景的三维画面信息对应的参考点数据，也就是说，索引信息中时间戳可以确定记录第一场景的时刻，而经度、纬度和高度等则是用于确定在某一时刻下，获取第一场景的三维画面信息所用到的电子设备所在的空间位置，也即第一场景的三维画面信息对应的参考点的位置，由于电子设备的获取范围一定，因而也就能够在确定参考点的情况下，确定出第一场景的三维画面信息所在的空间范围；而所述数据信息则可以包括三维点的横坐标(x)、纵坐标(y)和竖坐标(z)，也即三维点相对于参考点的横坐标(x)、纵坐标(y)和竖坐标(z)等，通过解析数据信息，可以快速获取三维点的具体数据，然后再结合参考点数据，即可快速计算出三维点的实际位置，从而最大程度地保留了第一场景的三维点数据，避免保存过程中丢失数据。
如图2所示，本申请实施例中，所述数据信息还可以包括语义标签(label)，所述语义标签可以用于表示三维点所属的对象的类别，示例性的，所述对象的类别可以包括人物(person)、桌子(desk)、椅子(chair)等等，以区分记录的第一场景中不同的对象，所述语义标签可以为上述列举的对象类别中的任意一种；根据所述语义标签，可以描述该三维点归属于哪些人、哪些物中的一部分。由此，在编码之后的第一场景的三维画面信息中的三维点即被合理地分类，确保第一场景中的各个人和物都能加以分类地完整保存，避免重现第一场景时三维点仅以该点所在空间位置进行确定，方便了后续重现时根据语义标签进行解析构建。
请参考图3，图3为本申请实施例提供的编码后的第一场景的三维画面信息的格式示意图之二。如图3所示，编码后得到的第一场景的三维画面信息中，数据信息除了包括横坐标(x)、纵坐标(y)、竖坐标(z)之外，还可以包括滚动角(roll)、横摆角(yaw)、俯仰角(pitch)、红色通道(r)、绿色通道(g)、蓝色通道(b)；其中，滚动角(roll)、横摆角(yaw)、俯仰角(pitch)用于确定三维点的法线方向，红色通道(r)、绿色通道(g)、蓝色通道(b)用于确定三维像素点的颜色。
请参考图4，图4为本申请实施例提供的编码后的第一场景的三维画面信息的格式示意图之三。本申请实施例中，如前述内容，所述第一场景可以为真实场景或虚拟场景和真实场景相结合的增强现实场景，换言之，所述第一场景可以为电子设备当前所处的真实场景，也可以为电子设备当前显示的增强现实场景，也就是说是虚拟场景和真实场景相结合的增强现实场景；在所述第一场景为增强现实场景的情况下，所述数据信息包括三维点相对于所述参考点的横坐标(x)、纵坐标(y)、竖坐标(z)和虚实场景标签(type)，其中，所述虚实场景标签用于标识三维点所属的虚实场景类型，也就是说，相较于真实场景而言，由于增强现实场景时虚拟场景和真实场景的结合，因此需要对属于不同场景的三维点进行标记区分，因而增设了虚实场景标签，所述虚实场景标签可以用于标识三维点所属的实虚景类型，示例性的，当type值为1时，表示该三维点属于真实场景、当type值为0时，表示该三维像素点属于虚拟场景，通过增加虚实场景标签，可以快速确定第一场景中的三维画面信息中的三维点所属的虚实场景类型，从而对属于虚拟场景的三维点和属于真实场景的三维点进行与其虚实场景类型相对应的解析和处理，以快速重现增强现实三维画面；还可以根据虚实场景标签，选择只显示属于虚拟场景的三维点，从而显示虚拟场景画面，或者选择只显示属于真实场景的三维点，从而显示真实场景画面，又或者全部三维点均显示，从而显示增强现实场景画面。
如图4所示，当然，编码后的第一场景的三维画面信息中的数据信息除了包括横坐标(x)、纵坐标(y)、竖坐标(z)之外，同样还可以包括红色通道(r)、绿色通道(g)、蓝色通道(b)等等，红色通道(r)、绿色通道(g)、蓝色通道(b)用于确定三维像素点的颜色。
本申请实施例中，所述对所述第一场景的三维画面信息按照预设文件格式进行编码之后，还包括：
接收针对编码后的第一场景的三维画面信息的编辑输入，所述编辑输入用于插入或删除数据帧和/或对三维点数据进行修改。
也就是说，本申请实施例中，通过接收针对编码后的第一场景的三维画面信息的编辑输入，从而响应于所述编辑输入，对编码后的第一场景的三维画面信息进行编辑操作，以对第一场景的三维画面进行修改，从而得到想要的三维画面效果。其中，所述编辑操作用于插入或删除数据帧和/或对三维点数据进行修改，也就是说，可以根据所述索引信息，确定在某一时间戳对应的时刻前后插入或删除数据帧，也可以对所述数据信息中的三维点的语义标签进行修改，改变三维点归属的对象类别，还可以对三维点的横坐标、竖坐标、纵坐标等进行修改，还可以对所述数据信息中的三维点的虚实场景标签进行修改等等；编辑后的第一场景的三维画面信息同样可以按照预设文件格式进行存储。通过对编辑后的第一场景的三维画面信息进行编辑，可以得到想要的显示效果，为后期二次修改创作提供便利性。
由此，根据本申请实施例的图像数据编码方法，通过对获取的第一场景的三维画面信息按照预设文件格式进行编码，可得到固定格式的编码后的三维画面信息，方便传输和存储；并且生成的第一文件中记录的数据信息等已经实现分类整理，在后续需要重现第一场景的三维画面时，可以按照文件头信息、索引信息、数据信息这样的格式顺序进行解析，快速获取三维画面的三维点数据，从而实现对第一场景的快速重现。
请参考图5，图5为本申请实施例提供的一种显示方法的流程示意图。如图5所示，本申请另一方面实施例还提供了一种显示方法，所述方法可以包括：
步骤501：获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
本步骤中，对第一场景的三维画面信息按照预设文件格式进行编码得到编码后的第一场景的三维画面信息的方法步骤已在上述图像数据编码方法的实施例中进行陈述，在此不再赘述。所述编码后的第一场景的三维画面信息同样包括文件头信息、索引信息和数据信息。
本申请实施例中，编码后的第一场景的三维画面信息，可以是本端电子设备先前获取第一场景的三维画面信息后按照预设文件格式进行编码得到，也可以是对端电子设备获取第一场景的三维画面信息并按照预设文件格式进行编码后发送给本端电子设备，由本端电子设备接收得到。前者可以适用于普通的记录场景而后重现的情景，而后者则可以用于实时的远程视频交互的情景。
步骤502：解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息。
本步骤中，通过解析编码后的第一场景的三维画面信息，也即对编码后的第一场景的三维画面信息中包括的文件头信息、索引信息和数据信息进行依次解析，可以得到完整的第一场景的三维画面信息。
步骤503：根据解析得到的第一场景的三维画面信息显示三维画面。
本申请实施例中，在解析编码后的第一场景的三维画面信息、得到第一场景的三维画面信息后，便可以根据解析得到的第一场景的三维画面信息显示三维画面。当然，显示的三维画面可以仅仅是第一场景的三维画面，也可以是将第一场景与当前电子设备所在的真实场景相融合后得到的增强现实场景画面，对于前者而言，本申请即实现了对之前存储的编码后的第一场景的三维画面信息所对应的虚拟场景画面的显示(因为在显示过程中只显示了以前的第一场景的三维画面)，而对于后者而言，本申请即实现了作为虚拟场景的第一场景和当前电子设备所在的真实场景进行增强现实处理后的增强现实场景画面的显示，可以知道，后者可以应用于远程实时视频交互情景，例如远程会议等，从而提高交互的沉浸感，使得沟通更有效，更便捷。
根据本申请实施例的显示方法，通过对获取的按照预设文件格式编码后得到的三维画面信息进行解析，可以方便、快速地重现第一场景或者将第一场景作为虚拟场景与真实场景进行融合显示，极大提升了交互时的图像数据传输效率和解析速度。
本申请实施例中，所述解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息，包括：
对所述编码后的第一场景的三维画面信息的文件头信息进行解析，得到所述第一文件的文件类型名称、文件大小和分辨率；
对所述编码后的第一场景的三维画面信息的索引信息进行解析，得到所述第一场景的三维画面信息中的参考点数据，所述参考点数据包括时间戳、参考点的经度、纬度和高度；
对所述编码后的第一场景的三维画面信息的数据信息进行解析，得到所述第一场景的三维画面信息中的三维点数据，所述三维点数据包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
具体来说，在对编码后的第一场景的三维画面信息进行解析的过程中，通过解析文件头信息，可以快速获取编码后的第一场景的三维画面信息记录的文件类型名称、文件大小和分辨率，文件大小即对应于记录的第一场景的三维画面信息的数据量，所述分辨率即对应于第一场景的三维画面的分辨率；通过解析索引信息，可以快速获取编码后的第一场景的三维画面信息记录的第一场景的三维画面信息对应的参考点数据，也即时间戳(timestamp)、经度(longitude)、纬度(latitude)和高度(altitude)，也就是说，索引信息中时间戳可以确定记录第一场景的时刻，而经度、纬度和高度等则是用于确定在某一时刻下，获取第一场景的三维画面信息所用到的电子设备所在的空间位置，也即第一场景的三维画面信息对应的参考点的位置，由于电子设备的获取范围一定，因而也就能够在确定参考点的情况下，确定出第一场景的三维画面信息所在的空间范围；而通过解析数据信息则可以获取三维点的横坐标(x)、纵坐标(y)、竖坐标(z)等等，也即三维点相对于参考点的横坐标(x)、纵坐标(y)和竖坐标(z)等，在获取三维点的具体数据后再结合参考点数据，即可快速计算出三维点的实际位置。
本申请实施例中，在所述第一场景为虚拟场景和真实场景相结合的增强现实场景的情况下，所述数据信息还包括虚实场景标签，所述虚实场景标签用于标识三维点所属的虚实场景类型，所述根据解析得到的第一场景的三维画面信息显示三维画面包括：
根据所述虚实场景标签，显示属于虚拟场景的三维点以构成虚拟场景画面，或者，显示属于真实场景的三维点以构成现实场景画面，或者，显示所有三维点以构成增强现实场景画面。
也就是说，在所述第一场景为虚拟场景和真实场景相结合的增强现实场景的情况下，通过对数据信息进行解析，还可以得到三维点的虚实场景标签，从而根据三维点的虚实场景标签，快速确定第一场景中的三维画面信息中的三维点所属的虚实场景类型，从而对属于虚拟场景的三维点和属于真实场景的三维点进行与其虚实场景类型相对应的解析和处理，以快速显示三维画面。
本申请实施例中，可以根据虚实场景标签，选择只显示属于虚拟场景的三维点，从而显示虚拟场景画面，或者选择只显示属于真实场景的三维点，从而显示真实场景画面，又或者全部三维点均显示，从而显示增强现实场景画面。由此，在远程交互结束后需要重现交互过程中的增强现实场景画面时，可以对存储的编码后的第一场景的三维画面信息进行解析，并根据解析结果快速重现增强现实三维画面。
需要注意的是，此处的虚拟场景和真实场景是针对于最开始进行增强现实处理的电子设备而言，也即进行增强现实处理的电子设备当时所处的环境即为真实场景，而虚拟场景则并非是所述电子设备进行增强现实处理时所处的环境，由此区分虚拟场景和真实场景。当编辑后的第一场景的三维画面信息被其他电子设备获取后，对于其他电子设备而言，由于第一场景并非是所述其他电子设备所处的真实场景，因此对于所述其他电子设备而言，第一场景均是虚拟场景。
本申请实施例中，所述根据解析得到的第一场景的三维画面信息显示三维画面之前，还包括：
获取第二场景的三维画面信息，其中，所述第二场景为真实场景；
所述根据解析得到的第一场景的三维画面信息显示三维画面，包括：
将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息；
根据融合后的增强现实三维画面信息，显示增强现实三维画面。
也就是说，本申请实施例中，还可以进一步获取本端电子设备当前所处的真实场景，即第二场景的三维画面信息，对于本端电子设备而言，第一场景即为虚拟场景，因此，可以将解析后得到的第一场景的三维画面信息与第二场景的三维画面信息进行叠加融合，得到融合后的增强现实三维画面信息，最终根据得到的增强现实三维画面信息显示增强现实三维画面。
由此，本申请实施例可以实现在远程视频交互过程中，通过采用预设文件格式对获取的三维画面信息进行编码和传输，在接收到对端电子设备发送来的编码后的三维画面信息后，对其进行解析，再利用解析后得到的三维画面信息对本端电子设备当前获取的真实场景进行叠加融合，得到增强现实的三维画面，极大提高了用户在交互过程中的沉浸感，提升了交互效率。
本申请实施例中，所述将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息，包括：
获取所述第二场景中的环境光源的位置和方向；
根据所述环境光源的位置和方向，对所述第一场景的三维画面信息中的三维点对应的像素值进行修改。
具体来说，为了得到更好的融合效果，使得第一场景更自然地融合在第二场景中，还可以对第二场景进行光照估计，得到第二场景中的环境光源的位置和方向，由于第二场景为现实场景，因此参考第二场景中的环境光源的位置和方向，可以对第一场景的三维画面信息中的三维像素点进行着色渲染，也即对三维点对应的像素值(R\G\B值)进行修改，实现更自然地AR渲染效果。
根据本申请实施例的显示方法，可以用于例如视频会议等远程交互场景的三维媒体文件的处理和存储，通过按照预设文件格式进行编码，能够完整保存三维画面信息，并且在解析过程中快速获取三维画面信息，加快三维画面的处理过程，保证了再现场景的完整性，为统一增强现实的三维点云的数据格式提供了可行的方案。
需要说明的是，本申请实施例提供的显示方法，执行主体可以为显示装置，或者该显示装置中的用于执行显示方法的控制模块。本申请实施例中以显示装置执行加载显示方法为例，说明本申请实施例提供的显示方法。
请参考图6，图6为本申请实施例提供的一种图像数据编码装置的结构示意图。如图6所示，所述装置60可以包括：
第一获取模块61，用于获取第一场景的三维画面信息；
第一处理模块62，用于对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
可选的，所述文件头信息包括以下至少一项：文件类型名称、文件大小和分辨率，所述索引信息包括时间戳、参考点的经度、纬度和高度，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
可选的，所述数据信息还包括语义标签，所述语义标签用于标识三维点所属的对象的类型。
可选的，还包括：
编辑接收模块，用于接收针对编码后的第一场景的三维画面信息的编辑输入，所述编辑输入用于插入或删除数据帧和/或对三维点数据进行修改。
可选的，所述第一场景为真实场景或虚拟场景和真实场景相结合的增强现实场景，在所述第一场景为增强现实场景的情况下，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标、竖坐标和虚实场景标签，其中，所述虚实场景标签用于标识三维点所属的虚实场景类型。
本申请实施例中的图像数据编辑装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像数据编码装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像数据编辑装置能够实现图1至图4的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
在本申请实施例中，通过对获取的第一场景的三维画面信息按照预设文件格式进行编码，可得到固定格式的编码后的三维画面信息，方便传输和存储；并且生成的第一文件中记录的数据信息等已经实现分类整理，在后续需要重现第一场景的三维画面时，可以按照文件头信息、索引信息、数据信息这样的格式顺序进行解析，快速获取三维画面的三维点数据，从而实现对第一场景的快速重现。
请参考图7，图7为本申请实施例提供的一种显示装置的结构示意图。如图7所示，所述装置70可以包括：
第二获取模块71，用于获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据；
第一解析模块72，用于解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息；
显示模块73，用于根据解析得到的第一场景的三维画面信息显示三维画面。
可选的，所述第一解析模块72包括：
第一解析单元，用于对所述编码后的第一场景的三维画面信息的文件头信息进行解析，得到所述编码后的第一场景的三维画面信息的文件类型名称、文件大小和分辨率；
第二解析单元，用于对所述编码后的第一场景的三维画面信息的索引信息进行解析，得到所述第一场景的三维画面信息中的参考点数据，所述参考点数据包括时间戳、参考点的经度、纬度和高度；
第三解析单元，用于对所述编码后的第一场景的三维画面信息的数据信息进行解析，得到所述第一场景的三维画面信息中的三维点数据，所述三维点数据包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
可选的，在所述第一场景为虚拟场景和真实场景相结合的增强现实场景的情况下，所述数据信息还包括虚实场景标签，所述虚实场景标签用于标识三维点所属的虚实场景类型，所述显示模块包括：
第一显示单元，用于根据所述虚实场景标签，显示属于虚拟场景的三维点以构成虚拟场景画面，或者，显示属于真实场景的三维点以构成现实场景画面，或者，显示所有三维点以构成增强现实场景画面。
可选的，还包括：
第三获取模块，用于获取第二场景的三维画面信息，其中，所述第二场景为真实场景；
所述显示模块73包括：
融合单元，用于将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息；
第二显示单元，用于根据融合后的增强现实三维画面信息，显示增强现实三维画面。
可选的，所述融合单元包括：
光源获取单元，用于获取所述第二场景中的环境光源的位置和方向；
像素值修改单元，用于根据所述环境光源的位置和方向，对所述第一场景的三维画面信息中的三维点对应的像素值进行修改。
本申请实施例中的显示装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像数据编辑装置能够实现图5的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
在本申请实施例中，通过对获取的按照预设文件格式编码后得到的三维画面信息进行解析，可以方便、快速地重现第一场景或者将第一场景作为虚拟场景与真实场景进行融合显示，极大提升了交互时的图像数据传输效率和解析速度。
可选的，本申请实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述图像数据编辑方法的方法实施例的各个过程，或者，该程序或指令被处理器执行时实现上述显示方法的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备80包括但不限于：射频单元81、网络模块82、音频输出单元83、输入单元84、传感器85、显示单元86、用户输入单元87、接口单元88、存储器89、以及处理器810等部件。
本领域技术人员可以理解，电子设备80还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，输入单元84，用于获取第一场景的三维画面信息。
处理器810，用于对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
在本申请实施例中，通过对获取的第一场景的三维画面信息按照预设文件格式进行编码，可得到固定格式的编码后的三维画面信息，方便传输和存储；并且生成的第一文件中记录的数据信息等已经实现分类整理，在后续需要重现第一场景的三维画面时，可以按照文件头信息、索引信息、数据信息这样的格式顺序进行解析，快速获取三维画面的三维点数据，从而方便对第一场景的快速重现。
可选的，所述文件头信息包括以下至少一项：文件类型名称、文件大小和分辨率，所述索引信息包括时间戳、参考点的经度、纬度和高度，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
可选的，所述数据信息还包括语义标签，所述语义标签用于标识三维点所属的对象的类型。
可选的，所述第一场景为真实场景或虚拟场景和真实场景相结合的增强现实场景，在所述第一场景为增强现实场景的情况下，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标、竖坐标和虚实场景标签，其中，所述虚实场景标签用于标识三维点所属的虚实场景类型。
可选的，用户输入单元87，用于接收针对编码后的第一场景的三维画面信息的编辑输入，所述编辑输入用于插入或删除数据帧和/或对三维点数据进行修改。
可选的，网络模块82，用于获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
可选的，处理器810还用于解析编码后的第一场景的三维画面信息，得到第一场景的三维画面信息。
可选的，所述解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息，包括：
对所述编码后的第一场景的三维画面信息的文件头信息进行解析，得到编码后的第一场景的三维画面信息的文件类型名称、文件大小和分辨率；
对所述编码后的第一场景的三维画面信息的索引信息进行解析，得到所述第一场景的三维画面信息中的参考点数据，所述参考点数据包括时间戳、参考点的经度、纬度和高度；
对所述编码后的第一场景的三维画面信息的数据信息进行解析，得到所述第一场景的三维画面信息中的三维点数据，所述三维点数据包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
可选的，显示单元86，用于根据解析得到的第一场景的三维画面信息显示三维画面。
可选的，在所述第一场景为虚拟场景和真实场景相结合的增强现实场景的情况下，所述数据信息还包括虚实场景标签，所述虚实场景标签用于标识三维点所属的虚实场景类型，所述根据解析得到的第一场景的三维画面信息显示三维画面包括：
根据所述虚实场景标签，显示属于虚拟场景的三维点以构成虚拟场景画面，或者，显示属于真实场景的三维点以构成现实场景画面，或者，显示所有三维点以构成增强现实场景画面。
可选的，输入单元84，获取第二场景的三维画面信息，其中，所述第二场景为真实场景。
可选的，处理器810，还用于将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息；
可选的，显示单元86，用于根据融合后的增强现实三维画面信息，显示增强现实三维画面。
所述将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息，包括：
获取所述第二场景中的环境光源的位置和方向；
根据所述环境光源的位置和方向，对所述第一场景的三维画面信息中的三维点对应的像素值进行修改。
可选的，输入单元84，还用于获取所述第二场景中的环境光源的位置和方向。
可选的，处理器810，用于根据所述环境光源的位置和方向，对所述第一场景的三维画面信息中的三维点对应的像素值进行修改。
在本申请实施例中，能够对三维画面信息按照预设文件格式进行编码，完整保存场景的三维画面信息，并且按照预设文件格式处理后得到的文件的后续解析、读取方便，提高了解析、重现场景的速度。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像数据编码方法的方法实施例的各个过程，或者，该程序或指令被处理器执行时实现上述显示方法的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述增强现实的文件处理方法的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (22)

1.一种图像数据编码方法，其特征在于，包括：
获取第一场景的三维画面信息；
对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
2.根据权利要求1所述的图像数据编码方法，其特征在于，所述文件头信息包括以下至少一项：文件类型名称、文件大小和分辨率，所述索引信息包括时间戳、参考点的经度、纬度和高度，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
3.根据权利要求2所述的图像数据编码方法，其特征在于，所述数据信息还包括语义标签，所述语义标签用于标识三维点所属的对象的类型。
4.根据权利要求1所述的图像数据编码方法，其特征在于，所述对所述第一场景的三维画面信息按照预设文件格式进行编码之后，还包括：
接收针对编码后的第一场景的三维画面信息的编辑输入，所述编辑输入用于插入或删除数据帧和/或对三维点数据进行修改。
5.根据权利要求1所述的图像数据编码方法，其特征在于，所述第一场景为真实场景或虚拟场景和真实场景相结合的增强现实场景，在所述第一场景为增强现实场景的情况下，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标、竖坐标和虚实场景标签，其中，所述虚实场景标签用于标识三维点所属的虚实场景类型。
6.一种显示方法，其特征在于，包括：
获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据；
解析编码后的第一场景的三维画面信息，得到第一场景的三维画面信息；
根据解析得到的第一场景的三维画面信息显示三维画面。
7.根据权利要求6所述的显示方法，其特征在于，所述解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息，包括：
对所述编码后的第一场景的三维画面信息的文件头信息进行解析，得到编码后的第一场景的三维画面信息的文件类型名称、文件大小和分辨率；
对所述编码后的第一场景的三维画面信息的索引信息进行解析，得到所述第一场景的三维画面信息中的参考点数据，所述参考点数据包括时间戳、参考点的经度、纬度和高度；
对所述编码后的第一场景的三维画面信息的数据信息进行解析，得到所述第一场景的三维画面信息中的三维点数据，所述三维点数据包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
8.根据权利要求7所述的显示方法，其特征在于，在所述第一场景为虚拟场景和真实场景相结合的增强现实场景的情况下，所述数据信息还包括虚实场景标签，所述虚实场景标签用于标识三维点所属的虚实场景类型，所述根据解析得到的第一场景的三维画面信息显示三维画面包括：
根据所述虚实场景标签，显示属于虚拟场景的三维点以构成虚拟场景画面，或者，显示属于真实场景的三维点以构成现实场景画面，或者，显示所有三维点以构成增强现实场景画面。
9.根据权利要求7所述的显示方法，其特征在于，所述根据解析得到的第一场景的三维画面信息显示三维画面之前，还包括：
获取第二场景的三维画面信息，其中，所述第二场景为真实场景；
所述根据解析得到的第一场景的三维画面信息显示三维画面，包括：
将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息；
根据融合后的增强现实三维画面信息，显示增强现实三维画面。
10.根据权利要求9所述的显示方法，其特征在于，所述将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息，包括：
获取所述第二场景中的环境光源的位置和方向；
根据所述环境光源的位置和方向，对所述第一场景的三维画面信息中的三维点对应的像素值进行修改。
11.一种图像数据编码装置，其特征在于，包括：
第一获取模块，用于获取第一场景的三维画面信息；
第一处理模块，用于对所述第一场景的三维画面信息按照预设文件格式进行编码，编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据。
12.根据权利要求11所述的图像数据编码装置，其特征在于，所述文件头信息包括以下至少一项：文件类型名称、文件大小和分辨率，所述索引信息包括时间戳、参考点的经度、纬度和高度，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
13.根据权利要求12所述的图像数据编码装置，其特征在于，所述数据信息还包括语义标签，所述语义标签用于标识三维点所属的对象的类型。
14.根据权利要求11所述的图像数据编码装置，其特征在于，还包括：
编辑接收模块，用于接收针对编码后的第一场景的三维画面信息的编辑输入，所述编辑输入用于插入或删除数据帧和/或对三维点数据进行修改。
15.根据权利要求11所述的图像数据编码装置，其特征在于，所述第一场景为真实场景或虚拟场景和真实场景相结合的增强现实场景，在所述第一场景为增强现实场景的情况下，所述数据信息包括三维点相对于所述参考点的横坐标、纵坐标、竖坐标和虚实场景标签，其中，所述虚实场景标签用于标识三维点所属的虚实场景类型。
16.一种显示装置，其特征在于，包括：
第二获取模块，用于获取编码后的第一场景的三维画面信息，所述编码后的第一场景的三维画面信息为对第一场景的三维画面信息按照预设文件格式进行编码得到，所述编码后的第一场景的三维画面信息包括文件头信息、索引信息和数据信息，其中，所述索引信息用于记录所述第一场景的三维画面信息对应的参考点数据，所述数据信息用于记录所述第一场景的三维画面信息中的三维点数据；
第一解析模块，用于解析所述编码后的第一场景的三维画面信息，得到第一场景的三维画面信息；
显示模块，用于根据解析得到的第一场景的三维画面信息显示三维画面。
17.根据权利要求16所述的显示装置，其特征在于，所述第一解析模块包括：
第一解析单元，用于对所述编码后的第一场景的三维画面信息的文件头信息进行解析，得到所述编码后的第一场景的三维画面信息的文件类型名称、文件大小和分辨率；
第二解析单元，用于对所述编码后的第一场景的三维画面信息的索引信息进行解析，得到所述第一场景的三维画面信息中的参考点数据，所述参考点数据包括时间戳、参考点的经度、纬度和高度；
第三解析单元，用于对所述编码后的第一场景的三维画面信息的数据信息进行解析，得到所述第一场景的三维画面信息中的三维点数据，所述三维点数据包括三维点相对于所述参考点的横坐标、纵坐标和竖坐标。
18.根据权利要求17所述的显示装置，其特征在于，在所述第一场景为虚拟场景和真实场景相结合的增强现实场景的情况下，所述数据信息还包括虚实场景标签，所述虚实场景标签用于标识三维点所属的虚实场景类型，所述显示模块包括：
第一显示单元，用于根据所述虚实场景标签，显示属于虚拟场景的三维点以构成虚拟场景画面，或者，显示属于真实场景的三维点以构成现实场景画面，或者，显示所有三维点以构成增强现实场景画面。
19.根据权利要求17所述的显示装置，其特征在于，还包括：
第三获取模块，用于获取第二场景的三维画面信息，其中，所述第二场景为真实场景；
所述显示模块包括：
融合单元，用于将所述第二场景的三维画面信息与所述第一场景的三维画面信息进行叠加，得到融合后的增强现实三维画面信息；
第二显示单元，用于根据融合后的增强现实三维画面信息，显示增强现实三维画面。
20.根据权利要求19所述的显示装置，其特征在于，所述融合单元包括：
光源获取单元，用于获取所述第二场景中的环境光源的位置和方向；
像素值修改单元，用于根据所述环境光源的位置和方向，对所述第一场景的三维画面信息中的三维点对应的像素值进行修改。
21.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的图像数据编码方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求6-10中任一项所述的显示方法的步骤。
22.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的图像数据编码方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求6-10中任一项所述的显示方法的步骤。
CN202010388654.1A 2020-05-09 2020-05-09 图像数据编码方法及装置、显示方法及装置、电子设备 Active CN111583348B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010388654.1A CN111583348B (zh) 2020-05-09 2020-05-09 图像数据编码方法及装置、显示方法及装置、电子设备
JP2022567269A JP2023524773A (ja) 2020-05-09 2021-05-06 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器
KR1020227042616A KR20230006580A (ko) 2020-05-09 2021-05-06 이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기
EP21804745.4A EP4148675A4 (en) 2020-05-09 2021-05-06 METHOD AND DEVICE FOR IMAGE DATA CODING, DISPLAY METHOD AND DEVICE AND ELECTRONIC DEVICE
PCT/CN2021/091865 WO2021227919A1 (zh) 2020-05-09 2021-05-06 图像数据编码方法及装置、显示方法及装置、电子设备
US17/981,986 US20230077907A1 (en) 2020-05-09 2022-11-07 Image data encoding method and apparatus, display method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010388654.1A CN111583348B (zh) 2020-05-09 2020-05-09 图像数据编码方法及装置、显示方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN111583348A true CN111583348A (zh) 2020-08-25
CN111583348B CN111583348B (zh) 2024-03-29

Family

ID=72124777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010388654.1A Active CN111583348B (zh) 2020-05-09 2020-05-09 图像数据编码方法及装置、显示方法及装置、电子设备

Country Status (6)

Country Link
US (1) US20230077907A1 (zh)
EP (1) EP4148675A4 (zh)
JP (1) JP2023524773A (zh)
KR (1) KR20230006580A (zh)
CN (1) CN111583348B (zh)
WO (1) WO2021227919A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227919A1 (zh) * 2020-05-09 2021-11-18 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备
CN114401451A (zh) * 2021-12-28 2022-04-26 有半岛(北京)信息科技有限公司 视频编辑方法、装置、电子设备及可读存储介质
CN114627134A (zh) * 2022-05-18 2022-06-14 深圳元象信息科技有限公司 场景图像生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2514655A1 (en) * 2001-11-27 2003-05-27 Samsung Electronics Co., Ltd. Apparatus and method for depth image-based representation of 3-dimensional object
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
CN107918646A (zh) * 2017-11-08 2018-04-17 珠海百丰网络科技有限公司 一种基于协议方式的三维模型数据处理方法及装置
US20180336727A1 (en) * 2017-05-17 2018-11-22 International Business Machines Corporation Mixing virtual image data and physical image data
CN108959668A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和装置
CN109284264A (zh) * 2012-09-16 2019-01-29 吴东辉 一种图像文件格式及生成方法及装置及应用
CN109685910A (zh) * 2018-11-16 2019-04-26 成都生活家网络科技有限公司 基于vr的房间布景设置方法、装置及vr穿戴设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102424296B1 (ko) * 2016-02-19 2022-07-25 삼성전자주식회사 복수의 영상들을 제공하기 위한 방법, 저장 매체 및 전자 장치
CN107818594A (zh) * 2017-09-06 2018-03-20 北京矩阵空间科技有限公司 三维模型文件格式系统及读取方法
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
CN107833280B (zh) * 2017-11-09 2021-05-11 交通运输部天津水运工程科学研究所 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN108009979B (zh) * 2017-12-15 2021-02-26 湖北大学 基于时空数据融合的三维点云压缩存储方法及系统
CN109600601A (zh) * 2018-11-23 2019-04-09 维沃移动通信有限公司 一种存储3d图像的方法及终端设备
CN110321443B (zh) * 2019-06-27 2021-08-10 埃洛克航空科技（北京）有限公司 三维实景模型数据库构建方法、装置及数据服务系统
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111583348B (zh) * 2020-05-09 2024-03-29 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2514655A1 (en) * 2001-11-27 2003-05-27 Samsung Electronics Co., Ltd. Apparatus and method for depth image-based representation of 3-dimensional object
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
CN109284264A (zh) * 2012-09-16 2019-01-29 吴东辉 一种图像文件格式及生成方法及装置及应用
US20180336727A1 (en) * 2017-05-17 2018-11-22 International Business Machines Corporation Mixing virtual image data and physical image data
CN108959668A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和装置
CN107918646A (zh) * 2017-11-08 2018-04-17 珠海百丰网络科技有限公司 一种基于协议方式的三维模型数据处理方法及装置
CN109685910A (zh) * 2018-11-16 2019-04-26 成都生活家网络科技有限公司 基于vr的房间布景设置方法、装置及vr穿戴设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227919A1 (zh) * 2020-05-09 2021-11-18 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备
CN114401451A (zh) * 2021-12-28 2022-04-26 有半岛(北京)信息科技有限公司 视频编辑方法、装置、电子设备及可读存储介质
CN114627134A (zh) * 2022-05-18 2022-06-14 深圳元象信息科技有限公司 场景图像生成方法

Also Published As

Publication number Publication date
EP4148675A1 (en) 2023-03-15
CN111583348B (zh) 2024-03-29
WO2021227919A1 (zh) 2021-11-18
JP2023524773A (ja) 2023-06-13
EP4148675A4 (en) 2023-10-18
KR20230006580A (ko) 2023-01-10
US20230077907A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
CN111583348B (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
CN110286773A (zh) 基于增强现实的信息提供方法、装置、设备及存储介质
EP3883256A1 (en) Live stream processing method in webrtc and stream pushing client
CN110708589B (zh) 信息的分享方法和装置、存储介质、电子装置
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
WO2022063124A1 (zh) 视频融合方法和设备
CN110113677A (zh) 视频主题的生成方法和装置
CN112492231B (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
CN104023181A (zh) 信息处理方法及装置
CN107995482A (zh) 视频文件的处理方法和装置
CN115396705A (zh) 投屏操作验证方法、平台及系统
CN109194942B (zh) 一种裸眼3d视频播放方法、终端和服务器
CN108228843B (zh) 一种基于互联网的讲义压缩传输与还原方法
CN113596574A (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
CN112887794A (zh) 视频剪辑方法及装置
KR101947553B1 (ko) 객체 기반 동영상 편집 장치 및 방법
CN110661880A (zh) 一种远程协助方法、系统和存储介质
CN114332417A (zh) 一种多人场景交互的方法、设备、存储介质及程序产品
CN111866548A (zh) 一种应用于医疗视频的标记方法
CN111770380A (zh) 一种视频处理方法和装置
CN111935493B (zh) 主播相册处理方法及装置、存储介质、电子设备
CN115952315B (zh) 校园监控视频存储方法、装置、设备、介质和程序产品
CN113992866B (zh) 视频制作方法及装置
CN105825534A (zh) 图片处理方法和装置
CN114928768A (zh) 直播信息推送方法和装置、系统、电子设备、计算机介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant