CN117635815A - 基于三维点云的初始视角控制和呈现方法及系统 - Google Patents

基于三维点云的初始视角控制和呈现方法及系统 Download PDF

Info

Publication number
CN117635815A
CN117635815A CN202310480675.XA CN202310480675A CN117635815A CN 117635815 A CN117635815 A CN 117635815A CN 202310480675 A CN202310480675 A CN 202310480675A CN 117635815 A CN117635815 A CN 117635815A
Authority
CN
China
Prior art keywords
initial
viewpoint
information
dimensional
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310480675.XA
Other languages
English (en)
Inventor
徐异凌
高粼遥
管云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202310480675.XA priority Critical patent/CN117635815A/zh
Publication of CN117635815A publication Critical patent/CN117635815A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

本发明提供了一种基于三维点云的初始视角和呈现方法以及系统、点云系统，通过读取并解析三维媒体流；对三维媒体流中的初始视点、法向量向量以及正方向向量进行解析，支持用户在初始消费三维媒体内容时观看到内容制作方指定的初始角度即感兴趣区域，另外，可进一步优化地支持三维媒体内容的缩放，即尺度变换，在实时交互的场景下，用户观看到的视野范围能够根据用户与初始视点的相对位置进行调整，依据用户交互行为充分提高视觉媒体消费自由度，提供身临其境的用户体验。

Description

基于三维点云的初始视角控制和呈现方法及系统
技术领域
本发明涉及3D媒体数据封装与消费过程的设计领域，具体地，涉及一种基于三维点云的初始视角控制和呈现方法及系统。
背景技术
随着信息技术的快速发展，基于文字、图片、传统视频的消费模式趋于成熟，提供更高逼真度、更强交互性、更多元化的视觉通信逐渐成为发展热点。视觉通信通过精确渲染的三维点云、六自由度全方位体验、虚实结合实时交互等技术手段，为用户提供不受时间、地域、现实条件限制的、身临其境的真实体验的同时，更给新应用带来无限空间。
视觉媒体数据生成、传输、处理和呈现等方面与传统媒体数据存在较大的不同，视觉媒体数据更加复杂多元。为满足用户的呈现需求，相应的数据描述方法也受到了广泛的关注。得益于三维扫描技术和系统日趋成熟，三维点云数据在学术界和工业界引起了广泛的关注。
三维点云是空间中一系列点的几何，记录了被扫描物体表面各点的一组的三维坐标信息和多种属性信息，如纹理、材质、法向量、反射强度等。三维点云数据是真实物体的几何描述，是一种新的三维模型数据格式，作为视觉通信场景下表达信息的主要载体，不仅可以有效的表示视觉媒体服务中的静态实物和场景，还可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。因此，三维点云数据可以为用户带来虚实结合、实时交互的沉浸式消费体验。
目前对于如何存储、传输三维点云数据已有一定的研究，但现有三维点云封装信息只考虑了点云数据整体呈现效果，并未考虑不同场景下用户的呈现需求，如用户对于三维点云媒体的初始呈现需求。当用户打开点云媒体文件时，更希望直接消费感兴趣的区域，而不是某些奇怪的角度或不感兴趣区域。
发明内容
针对现有技术中的缺陷，为满足用户不同场景下的初始呈现需求，本发明提供了一种基于三维点云的初始视角控制和呈现方法及系统以及点云系统。通过对三维点云媒体数据的封装信息进行扩展，对三维点云呈现时的初始视角信息进行定义，使用户在初始消费三维媒体内容时观看到内容制作方指定的初始观看角度即用户感兴趣区域，以满足用户对于三维视觉媒体的初始呈现需求。
本发明提供了一种基于三维点云的初始视角控制和呈现方法，包括，读取并解析三维媒体流；确定初始视点、初始视点的法向量方向、初始视点的正方向向量；基于初始视点、法向量方向、以及正方向向量呈现三维媒体流中媒体内容。
在本发明所提供的一种基于三维点云的初始视角控制和呈现方法中，进一步可选地，媒体内容被转动前提下，还包括变更初始视点和法向量方向，形成变更后视点位置和变更后视点的法向量方向。
在本发明所提供的一种基于三维点云的初始视角控制和呈现方法中，进一步可选地，包括：所述初始视点的正方向向量为与呈现设备规定的正方向平行的方向向量，初始视点的正方向向量包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的正方向向量终点的x坐标信息、y坐标信息、z坐标信息。
在本发明所提供的一种基于三维点云的初始视角控制和呈现方法中，进一步可选地，包括：所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：信息一：初始视点位置信息；信息二：初始视点法向量相对初始视点的位置信息；信息三：初始视点的正方向向量信息。
在本发明所提供的一种基于三维点云的初始视角控制和呈现方法中，进一步可选地，包括：所述初始视点的法向量方向包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的法向量终点的x坐标信息、y坐标信息、z坐标信息。
另外，本发明还提供了一种基于三维点云的初始视角控制和呈现系统，包括：解析模块：用于读取并解析三维媒体流；初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；三维媒体呈现模块：用于基于初始视点、法向量方向、以及正方向向量呈现三维媒体流中媒体内容。
在本发明所提供的一种基于三维点云的初始视角控制和呈现系统中，进一步可选地，包括：所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：信息一：初始视点位置信息；信息二：初始视点法向量相对初始视点的位置信息；信息三：初始视点的正方向向量信息。
另外，本发明还提供了一种点云系统，具有这样的特征，包括：
在本发明所提供的一种点云系统中，进一步可选地，具有这样的特征，包括：
另外，本发明还提供了一种三维点云系统，包含上述任意一项所述的基于三维点云的初始视角控制和呈现系统。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的基于三维点云的初始视角和呈现方法以及系统、点云系统，通过对三维媒体流中的初始视点、法方向向量以及正方向向量进行读取并解析，支持用户在初始消费三维媒体内容时观看到内容制作方指定的初始角度即感兴趣区域，另外，可进一步优化地支持三维媒体内容的缩放，即尺度变换。另外优选地，在实时交互的场景下，用户观看到的视野范围能够根据用户与初始视点的相对位置进行调整，依据用户交互行为充分提高视觉媒体消费自由度，提供身临其境的用户体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中一种基于三维点云的初始视角控制和呈现方法流程示意图；
图2为本发明实施例中一种基于三维点云的初始视角控制和呈现系统功能框示意图；
图3-1为本发明实施例中用户实时位置与当前用户位置观看视野范围关系的整体示意图；
图3-2为本发明实施例中用户实时位置与当前用户位置观看视野范围关系的截面示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，根据本发明提供的一种基于三维点云的初始视角控制和呈现方法，包括：
解析步骤：读取并解析三维媒体流；
初始视角确定步骤：确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
三维媒体呈现步骤，基于初始视点、法向量方向、以及正方向向量呈现三维媒体流中媒体内容。
结合图3-1可知，A点云媒体初始视点为点云数据本身其中一点，即点云目标的媒体内容，默认为三维笛卡尔坐标系原点，或为指定坐标系下某一点。
初始视点定义由编码层规定，用于呈现目的，作为解码辅助信息。一般情况下，初始视点为点云数据本身其中一点，采用三维笛卡尔坐标表示。本实施例中其他用户的交互性行为为系统层规定。
优化地，本发明可进一步包括对三维媒体内容呈现进行缩放，或者，也可进一步包括根据用户实时位置而确定观看视野范围，或者也可进一步支持三维媒体内容本身转动或旋转，任意至少之一或者任意组合均包含在本发明的技术方案内。通过变形例进行以下分别详细说明。
变形例(1)，当在支持三维媒体内容本身旋转或转动的情况下：
除了上述解析步骤和初始视角确定步骤，还包括视点变更步骤：媒体内容被转动时，对初始视点和法向量方向进行变更，从而确定变更后视点位置及变更后视点的法向量方向；三维媒体呈现步骤，依据变更后视点位置以及法向量方向呈现三维媒体流中媒体内容。
变形例(2)，当在支持对三维媒体内容呈现进行缩放的情况下：
除了上述解析步骤和初始视角确定步骤，还包括：缩放尺度确定步骤：根据内容制作方指定的缩放尺度，或根据用户实时位置与初始视点的相对位移计算确定当前深度值，根据深度值设定缩放尺度；三维媒体呈现步骤，以缩放尺度呈现三维媒体流中部分媒体内容或全部媒体内容。
所述缩放尺度为对点云数据设置的缩放参数，根据缩放尺度确定点云数据放大或缩小倍数。
变形例(3)，当在支持用户实时位置的情况下：
除了上述解析步骤和初始视角确定步骤，还包括：
位移反馈步骤：根据用户实时位置(图3-1中用户实时观看位置O)反馈用户位置对于初始视点的相对位移；观看视野范围确定步骤：根据用户位置对于初始视点的相对位移确定当前深度值，根据用户位置视点内视野和深度值的关系确定当前用户位置的观看视野范围；三维媒体呈现步骤呈现三维媒体流中与观看视野范围相应的内容或全部媒体内容。
其中，相对位移为用户实时位置相对初始视点的位置信息。所述深度值为相对位移的模，即用户位置相对初始视点的距离。
变形例(4)，当在对三维媒体内容呈现进行缩放、和根据用户实时位置而确定观看视野范围以及支持三维媒体内容本身转动或旋转的组合方案情况下：
除了上述解析步骤和初始视角确定步骤，还包括：位移反馈步骤：根据用户实时位置(图3-1中用户实时观看位置O)反馈用户位置对于初始视点的相对位移；观看视野范围确定步骤：根据用户位置对于初始视点的相对位移确定当前深度值，根据用户位置视点内视野和深度值的关系确定当前用户位置的观看视野范围；缩放尺度确定步骤：根据内容制作方指定的缩放尺度，或根据用户位置与初始视点的相对位移计算确定当前深度值，根据深度值设定缩放尺度；视点变更步骤：媒体内容被转动时，对初始视点和法向量方向进行变更，从而确定变更后视点位置及变更后视点的法向量方向；三维媒体呈现步骤呈现三维媒体流中与观看视野范围相应的内容或全部媒体内容。
其中，相对位移为用户实时位置相对初始视点的位置信息。所述深度值为相对位移的模，即用户位置相对初始视点的距离。
另外，本发明提供了一种基于三维点云的初始视角控制及呈现系统，包括：
解析模块：用于读取并解析三维媒体流；
初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
三维媒体呈现模块：用于基于初始视点、法向量方向、以及正方向向量呈现三维媒体流中媒体内容。
另外，如图2所示，本实施例，还提供了一种基于三维点云的初始视角控制及呈现系统，包括：
解析模块：用于读取并解析三维媒体流；
初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
位移反馈模块：用于反馈用户实时位置对于初始视点的相对位移；
缩放尺度确定模块：用于确定三维媒体内容制作方指定的缩放尺度，或根据用户位置与初始视点的相对位移确定当前深度值，根据深度值确定缩放尺度；
变更视角确定模块：用于确定变更后视点位置及变更后视点的法向量方向；
观看视野范围确定模块：用于根据用户位置视点内视野和深度的关系确定当前用户位置的观看视野范围；
三维媒体呈现模块：用于呈现三维媒体流中与观看视野范围相应的内容或全部媒体内容。
本实施例中基于三维点云的初始视角控制及呈现方法以及系统，能够指示用户在消费三维点云媒体内容时的初始观看方向，使用户在初始消费三维媒体内容时观看到内容制作方指定的初始观看角度即用户感兴趣区域，以满足用户对于三维视觉媒体的初始呈现需求。此外，基于三维点云的初始视角控制及呈现方法及系统支持尺度变换、视角变更功能，进一步满足点云媒体缩放及转动等场景下的用户需求与体验。同时，基于三维点云的初始视角控制及呈现方法及系统可指示用户在消费三维点云媒体内容时的交互行为，以获取能够满足用户交互场景下的三维点云媒体内容。
结合实际应用场景，下面结合附图和具体实例对本发明中的技术方案做更加详细的说明。
以三维点云数字文化遗产展示为例。文化遗产数字化即利用激光扫描技术获取文化遗产的三维点云数据并最终实现文化遗产的三维重建，对文物进行存档，以永久、完整地展示文化遗产内涵。针对不同的文物类型，如大型文物建筑、小型文物、大型遗址场景等，用户的消费需求也不尽相同。
实施例1：
针对小型文物的三维点云模型，媒体内容制作方可以指定用户打开媒体内容文件时呈现的初始方向即指定初始视点的位置信息、初始视点的法向量信息、初始视点的正方向向量信息，以便为用户提供感兴趣的初始呈现区域，而非奇怪角度。
实施例2：
针对数字博物馆文物展示场景，需支持点云物体转动或旋转场景。初始时刻点云呈现初始观看方向，随着点云目标的转动或旋转，需指定下一时刻呈现方向，具体为确定转动或旋转变更后的视点位置及变更后视点的法向量方向，以保证下一时刻用户仍然可以观看到其感兴趣的部分，而不是某些奇怪的角度。此外，还需支持点云物体的缩放功能，具体为确定物体缩放尺度或缩放系数，以保证用户全方位、多尺度观察文物局部细节或整体概貌。
实施例3：
如图3-1和图3-2所示，针对大型遗址场景的三维点云模型，如虚拟现实博物馆，用户可以在展区内与周围的三维点云场景以及附近的三维点云物体相互作用，所看到的展览区域会与用户移动的位置成一定关系变化，模拟现实中用户“靠近”及“远离”观看对象的效果，即支持用户实际观看区域随交互行为(记作“实时相对位移”)的适应性调整。例如，用户可以通过靠近展品的行为观察场景中更细节的部分，以获得沉浸式的用户体验。
在这种场景下，除支持三维点云媒体内容呈现时的初始方向、是否旋转展示信息外，用户还可以沉浸式的消费三维点云媒体内容。如支持用户在场景内随意走动，此时客户端会通过定位用户实时位置信息，直接将用户实时相对位移反馈给服务器，服务器可以根据反馈的用户实时位置信息得到当前用户观看位置相对初始视点的相对距离即深度值，并根据解析的深度值确定当前位置缩放系数及用户能够观看的区域范围，然后将当前用户观看位置相应的观看视野范围呈现给用户，以满足用户在场景内走动时能够实现“靠近”及“远离”观看对象效果的需求。
为实现上述目的，需在三维点云媒体数据的封装信息中增加新的指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息；
以及至少一个以下信息：
信息四：三维媒体的缩放尺度信息；
信息五：变更后视点的位置信息，变更后视点的法向量相对变更后视点的位置信息；
信息六：实时相对位移：用户实时位置相对初始视点的位置信息；
信息七：根据用户实时位置调整对应的观看区域范围。
对三维媒体内容的初始视角及呈现进行信息标识，标识信息指示了初始视点位置信息、初始视点的法向量信息、初始视点的正方向向量信息、缩放尺度信息、变更后视点位置信息、变更后视点的法向量信息、用户实时位置信息及当前用户观看位置对应的观看视野范围。
针对以上问题，可以根据需要合理地在对三维媒体流进行封装及传输时添加如下指示信息及字段：
viewpoint_x：指示初始视点位置的x坐标信息；
viewpoint_y：指示初始视点位置的y坐标信息；
viewpoint_z：指示初始视点位置的z坐标信息；
normal_x：指示初始视点的法向量相对初始视点的x坐标信息；
normal_y：指示初始视点的法向量相对初始视点的y坐标信息；
normal_z：指示初始视点的法向量相对初始视点的z坐标信息；
scale_factor：指示缩放系数信息；
positive_direction_vector_x：指示初始视点的正方向向量相对初始视点的x坐标信息；
positive_direction_vector_y：指示初始视点的正方向向量相对初始视点的y坐标信息；
positive_direction_vector_z：指示初始视点的正方向向量相对初始视点的z坐标信息；
rotation_included_flag：指示媒体播放过程中是否支持旋转，即初始视角是否改变信息；rotation_included_flag为0表示媒体播放过程中不支持旋转，即初始视角不改变；否则，初始视角改变，变更后视点位置信息由viewpoint_rx、viewpoint_ry、viewpoint_rz表示，变更后视点的法向量信息由normal_rx、normal_ry、normal_rz表示。
viewpoint_rx：指示变更后视点位置的x坐标信息；
viewpoint_ry：指示变更后视点位置的y坐标信息；
viewpoint_rz：指示变更后视点位置的z坐标信息；
normal_rx：指示变更后视点的法向量相对变更后视点的x坐标信息；
normal_ry：指示变更后视点的法向量相对变更后视点的y坐标信息；
normal_rz：指示变更后视点的法向量相对变更后视点的z坐标信息；
real_time_interaction_flag：指示媒体播放过程中是否支持用户位置的实时交互信息；real_time_interaction_flag为0表示不支持媒体播放过程中用户位置的实时交互；否则，支持媒体播放过程中用户位置的实时交互，用户实时位置信息由vposition_x、vposition_y、vposition_z表示。
vposition_x：指示用户实时位置相对初始视点的x坐标信息；
vposition_y：指示用户实时位置相对初始视点的y坐标信息；
vposition_z：指示用户实时位置相对初始视点的z坐标信息；
move_depth：指示用户实时位置相对初始视点的相对距离，即深度信息；可以根据反馈用户实时位置坐标信息vposition_x、vposition_y、vposition_z得出。
viewing_range_field：指示用户在实时位置上能够观看的区域范围信息，可以根据观看深度、缩放系数确定；
以下实施例中为了描述方便，引用上述的一组指示信息描述，但在其他实施例中，也可以或也可能是其他信息。
基于以上信息，以InitialViewingOrientationSample为例，下面对本发明中结合代码对基于三维点云的初始视角控制和呈现系统中模块定义予以注释说明。其中，各指示信息的指示长度、符号类型分别由源代码可知，在此不再赘述。
aligned(8)class InitialViewingOrientationSample(){
InitialViewingOrientationStruct()；
RotationInfoStruct()；
RealTimeInteractionInfoStruct()；
bit(7)reserved＝0；
}
初始观看方向的定义中，包括：初始观看方向模块(必选)；以及旋转信息模块(可选)；实时交互信息模块(可选)。
aligned(8)class InitialViewingOrientationStruct(){
signed int(32)viewpoint_x；
signed int(32)viewpoint_y；
signed int(32)viewpoint_z；
signed int(32)normal_x；
signed int(32)normal_y；
signed int(32)normal_z；
unsigned int(32)scale_factor；
signed int(32)positive_direction_vector_x；
signed int(32)positive_direction_vector_y；
signed int(32)positive_direction_vector_z；
}
上述初始观看方向模块(必选)中，初始观看方向模块包括以下信息：初始视点位置的x坐标信息、指示初始视点位置的y坐标信息、指示初始视点位置的z坐标信息；指示初始视点的法向量相对初始视点的x坐标信息、指示初始视点的法向量相对初始视点的y坐标信息、指示初始视点的法向量相对初始视点的z坐标信息；指示初始视点的正方向向量相对初始视点的x坐标信息、指示初始视点的正方向向量相对初始视点的y坐标信息、指示初始视点的正方向向量相对初始视点的z坐标信息。
aligned(8)class RotationInfoStruct(rotation_included_flag){
if(rotation_included_flag){
signed int(32)viewpoint_rx；
signed int(32)viewpoint_ry；
signed int(32)viewpoint_rz；
signed int(32)normal_rx；
signed int(32)normal_ry；
signed int(32)normal_rz；
}
}
上述旋转信息模块(可选)中，当指示媒体播放过程中是否支持旋转，即初始视角是否改变信息存在时，初始观看方向模块应包括旋转信息模块。旋转信息模块包括以下信息：指示变更后视点位置的x坐标信息、指示变更后视点位置的y坐标信息、指示变更后视点位置的z坐标信息；指示变更后视点的法向量相对变更后视点的x坐标信息、指示变更后视点的法向量相对变更后视点的y坐标信息、指示变更后视点的法向量相对变更后视点的z坐标信息。
aligned(8)class RealTimeInteractionStruct(real_time_interaction_flag){
if(real_time_interaction_flag){
signed int(32)vposition_x；
signed int(32)vposition_y；
signed int(32)vposition_z；
unsigned int(32)move_depth；
unsigned int(32)viewing_range_field；
}
}
上述实时交互信息模块(可选)中，当指示媒体播放过程中是否支持用户位置的实时交互信息存在时，初始观看方向模块应包括实时交互信息模块。实时交互信息模块包括以下信息：指示用户实时位置相对初始视点的x坐标信息、指示用户实时位置相对初始视点的y坐标信息、指示用户实时位置相对初始视点的z坐标信息、指示用户实时位置相对初始视点的相对距离，即深度信息、指示缩放系数信息、指示用户在实时位置上能够观看的区域范围信息。
上述信息及各字段的含义已在上文中做出说明。
需要注意的是，本发明中只是以上述代码中组织结构及字段为例对可伸缩扩展特性进行说明，并不局限于以上组织结构、字段及其大小。
本实施例中仅以InitialViewingOrientationSample为例，并非本发明权利范围的限制，阐明所提出的解决方案，但是这些方案同样可以用于其他文件封装协议里。
基于上述表述，以下给出不同具体应用实例中不同指示信息的定义说明：
以三维点云数字文化遗产展示为例。文化遗产数字化即利用激光扫描技术获取文化遗产的三维点云数据并最终实现文化遗产的三维重建，对文物进行存档，以永久、完整地展示文化遗产内涵。针对不同的文物类型，如大型文物建筑、小型文物、大型遗址场景等，用户的消费需求也不尽相同。
具体地，针对小型文物的三维点云模型，媒体内容制作方可以指定用户打开媒体内容文件时呈现的初始方向、缩放尺度及是否旋转展示，即指定初始视点的位置viewpoint_x、viewpoint_y、viewpoint_z信息，初始视点的法向量normal_x、normal_y、normal_z信息，初始视点的正方向向量信息positive_direction_vector_x、positive_direction_vector_y、positive_direction_vector_z，缩放系数scale_factor，以及根据是否支持旋转的需求指定物体旋转的变更的初始视点位置viewpoint_rx、viewpoint_ry、viewpoint_rz信息，变更后视点的法向量normal_rx、normal_ry、normal_rz信息，以便全方位、多尺度观察文物。
具体地，如图3-1和图3-2所示，针对大型遗址场景的三维点云模型，如虚拟现实博物馆，用户可以在展区内与周围的三维点云场景以及附近的三维点云物体相互作用，所看到的展览区域会与用户移动的位置成一定关系变化，模拟现实中用户“靠近”及“远离”观看对象的效果，即支持用户实际观看区域随交互行为(记作“实时相对位移”)的适应性调整。例如，用户可以通过靠近展品的行为观察场景中更细节的部分，以获得沉浸式的用户体验。在这种场景下，除支持三维点云媒体内容呈现时的初始方向、缩放尺度、是否旋转展示信息，即初始视点的位置viewpoint_x、viewpoint_y、viewpoint_z信息，初始视点的法向量normal_x、normal_y、normal_z信息，初始视点的正方向向量信息positive_direction_vector_x、positive_direction_vector_y、positive_direction_vector_z，缩放系数scale_factor，以及根据是否支持旋转的需求指定物体旋转的变更的初始视点位置viewpoint_rx、viewpoint_ry、viewpoint_rz信息，变更后视点的法向量normal_rx、normal_ry、normal_rz信息外，用户还可以沉浸式的消费三维点云媒体内容。如支持用户在场景内随意走动，此时客户端会通过定位用户实时位置vposition_x、vposition_y、vposition_z信息，直接将用户实时相对位移反馈给服务器，服务器可以根据反馈的用户实时位置vposition_x、vposition_y、vposition_z信息得到当前用户观看位置相对初始视点的相对距离即深度值move_depth，并根据解析的深度值、缩放系数确定当前位置用户能够观看的区域范围viewing_range_field，然后将当前用户观看位置相应的观看视野范围呈现给用户，以满足用户在场景内走动时能够实现“靠近”及“远离”观看对象效果的需求。
另外，本发明还包含一种点云系统，图中未显示的，该三维点云系统包含上述实施例中任意一项所述基于三维点云的初始视角控制和呈现系统。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于三维点云的初始视角控制和呈现方法，其特征在于，包括：
读取并解析三维媒体流；
确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
基于初始视点、法向量方向、以及正方向向量呈现三维媒体流中媒体内容。
2.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于：
媒体内容被转动前提下，还包括变更初始视点和法向量方向，形成变更后视点位置和变更后视点的法向量方向。
3.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述初始视点的正方向向量为与呈现设备规定的正方向平行的方向向量，初始视点的正方向向量包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的正方向向量终点的x坐标信息、y坐标信息、z坐标信息。
4.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息。
5.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述初始视点的法向量方向包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的法向量终点的x坐标信息、y坐标信息、z坐标信息。
6.一种基于三维点云的初始视角控制和呈现系统，其特征在于，包括：
解析模块：用于读取并解析三维媒体流；
初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
三维媒体呈现模块：用于基于初始视点、法向量方向、以及正方向向量呈现三维媒体流中媒体内容。
7.根据权利要求6所述的一种基于三维点云的初始视角控制和呈现系统，其特征在于，还包括：
变更视角确定模块：用于媒体内容被转动前提下，变更初始视点和法向量方向，确定变更后视点的位置和变更后视点的法向量方向。
8.根据权利要求6所述的一种基于三维点云的初始视角控制和呈现系统，其特征在于，所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息。
9.一种三维点云系统，其特征在于：包含如权利要求1-8中任意一项所述的基于三维点云的初始视角控制和呈现系统。
CN202310480675.XA 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统 Pending CN117635815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310480675.XA CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910576254 2019-06-28
CN202310480675.XA CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统
CN201910590125.7A CN112150603B (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910590125.7A Division CN112150603B (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统

Publications (1)

Publication Number Publication Date
CN117635815A true CN117635815A (zh) 2024-03-01

Family

ID=73891739

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310480675.XA Pending CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统
CN201910590125.7A Active CN112150603B (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910590125.7A Active CN112150603B (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统

Country Status (6)

Country Link
US (1) US11836882B2 (zh)
EP (1) EP3992917A4 (zh)
JP (1) JP7317401B2 (zh)
KR (1) KR20220013410A (zh)
CN (2) CN117635815A (zh)
WO (1) WO2020259682A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4078532A1 (en) * 2019-12-20 2022-10-26 InterDigital VC Holdings France A method and apparatus for coding and decoding volumetric video with view-driven specularity
CN112764651B (zh) * 2021-02-01 2022-03-08 飞燕航空遥感技术有限公司 一种浏览器端三维点云剖面绘制方法和绘制系统
CN113284251B (zh) * 2021-06-11 2022-06-03 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及系统
CN115439634B (zh) * 2022-09-30 2024-02-23 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5837848B2 (ja) 2012-03-02 2015-12-24 株式会社日立製作所 画像処理装置、画像処理システム、画像処理方法
US20140038708A1 (en) * 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
DE102013204597A1 (de) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
US9361665B2 (en) * 2013-11-27 2016-06-07 Google Inc. Methods and systems for viewing a three-dimensional (3D) virtual object
CN104768018B (zh) * 2015-02-04 2016-09-21 浙江工商大学 一种基于深度图的快速视点预测方法
JP6250592B2 (ja) * 2015-06-02 2017-12-20 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
JP2017036998A (ja) * 2015-08-10 2017-02-16 株式会社東芝 色情報決定装置および画像生成装置
CN105704468B (zh) 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
DE102016200225B4 (de) * 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
CN108702528B (zh) * 2016-02-17 2021-06-01 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US10652459B2 (en) * 2016-03-07 2020-05-12 Ricoh Company, Ltd. Information processing system, information processing method, and non-transitory computer-readable storage medium
GB2550589B (en) * 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
KR20190039669A (ko) * 2016-05-26 2019-04-15 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
US11006135B2 (en) * 2016-08-05 2021-05-11 Sony Corporation Image processing apparatus and image processing method
CN106447788B (zh) * 2016-09-26 2020-06-16 北京疯景科技有限公司 观看视角的指示方法及装置
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法
CN108074278A (zh) * 2016-11-17 2018-05-25 百度在线网络技术（北京）有限公司 视频呈现方法、装置和设备
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
CN107330122A (zh) * 2017-07-18 2017-11-07 歌尔科技有限公司 一种基于虚拟现实的景区游览方法、客户端装置和系统
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
US10803665B1 (en) * 2017-09-26 2020-10-13 Amazon Technologies, Inc. Data aggregation for augmented reality applications
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
CN107945231A (zh) * 2017-11-21 2018-04-20 江西服装学院 一种三维视频播放方法及装置
US11689705B2 (en) * 2018-01-17 2023-06-27 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
CN108320334B (zh) * 2018-01-30 2021-08-17 公安部物证鉴定中心 基于点云的三维场景漫游系统的建立方法
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN109272527A (zh) * 2018-09-03 2019-01-25 中国人民解放军国防科技大学 一种三维场景中随机运动目标的跟踪控制方法及装置
CN110944222B (zh) * 2018-09-21 2021-02-12 上海交通大学 沉浸媒体内容随用户移动变化的方法及系统
EP3915269A1 (en) * 2019-01-24 2021-12-01 PCMS Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
CN109977466B (zh) * 2019-02-20 2021-02-02 深圳大学 一种三维扫描视点规划方法、装置及计算机可读存储介质
KR20230152815A (ko) * 2019-03-21 2023-11-03 엘지전자 주식회사 포인트 클라우드 데이터 부호화 장치, 포인트 클라우드 데이터 부호화 방법, 포인트 클라우드 데이터 복호화 장치 및 포인트 클라우드 데이터 복호화 방법
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法

Also Published As

Publication number Publication date
WO2020259682A1 (zh) 2020-12-30
EP3992917A1 (en) 2022-05-04
CN112150603B (zh) 2023-03-28
JP2022534269A (ja) 2022-07-28
CN112150603A (zh) 2020-12-29
US20220148280A1 (en) 2022-05-12
US11836882B2 (en) 2023-12-05
EP3992917A4 (en) 2023-07-05
JP7317401B2 (ja) 2023-07-31
KR20220013410A (ko) 2022-02-04

Similar Documents

Publication Publication Date Title
CN110495166B (zh) 一种计算机实现的方法、计算装置以及可读存储介质
US20200364937A1 (en) System-adaptive augmented reality
CN117635815A (zh) 基于三维点云的初始视角控制和呈现方法及系统
CN109600674B (zh) 非线性媒体的基于客户端的自适应流式传输
US9904664B2 (en) Apparatus and method providing augmented reality contents based on web information structure
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
CN108269305A (zh) 一种二维、三维数据联动展示方法和系统
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
EP3036719A1 (en) Simulating three-dimensional views using planes of content
Rambach et al. [poster] augmented things: Enhancing ar applications leveraging the internet of things and universal 3d object tracking
CN113709093B (zh) 一种三维点云的封装方法、装置及介质
CN109741431B (zh) 一种二三维一体化电子地图框架
CN110944222B (zh) 沉浸媒体内容随用户移动变化的方法及系统
Khan et al. Rebirth of augmented reality-enhancing reality via smartphones
CN116235217A (zh) 用于增强现实内容生成器的摄取管道
WO2023231793A1 (zh) 对物理场景进行虚拟化的方法、电子设备、计算机可读存储介质和计算机程序产品
CN110119199B (zh) 实时渲染影像的追踪系统、方法及非暂态电脑可读取媒体
JP7447266B2 (ja) ボリュメトリック画像データに関するビューの符号化及び復号
CN111213206A (zh) 为三维环境提供用户界面的方法和系统
CN110662099B (zh) 用于显示弹幕的方法和装置
CN113486941A (zh) 直播图像的训练样本生成方法、模型训练方法及电子设备
KR101159705B1 (ko) 빌보드 기반 3차원 가상현실에 의한 물체 안내 시스템 및 방법
US20240020910A1 (en) Video playing method and apparatus, electronic device, medium, and program product
Döllner et al. An approach towards semantics-based navigation in 3D city models on mobile devices
CN116980680A (zh) 电子铭牌显示方法、终端设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination