CN113362449A - 一种三维重建方法、装置及系统 - Google Patents

一种三维重建方法、装置及系统 Download PDF

Info

Publication number
CN113362449A
CN113362449A CN202110610410.8A CN202110610410A CN113362449A CN 113362449 A CN113362449 A CN 113362449A CN 202110610410 A CN202110610410 A CN 202110610410A CN 113362449 A CN113362449 A CN 113362449A
Authority
CN
China
Prior art keywords
dimensional
rendering
dimensional model
state
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110610410.8A
Other languages
English (en)
Other versions
CN113362449B (zh
Inventor
刘帅
任子健
吴连朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Media Network Technology Co Ltd
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN202110610410.8A priority Critical patent/CN113362449B/zh
Publication of CN113362449A publication Critical patent/CN113362449A/zh
Application granted granted Critical
Publication of CN113362449B publication Critical patent/CN113362449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉远程三维通讯技术领域，提供一种三维重建方法、装置及系统。利用人眼视觉特性以及失焦状态下人眼不需要高分辨率视图的特性，平衡三维模型重建的数据量和渲染时延，通过眼球追踪装置获取人眼注视点的位置信息，当注视点未移动时，渲染显示终端根据获取的人眼视觉参数检测人眼视觉状态，在检测到为失焦状态时，实时自适应调整用于确定三维重建参数的渲染参数，通过控制指令将调整后的渲染参数传输给采集终端，采集终端根据确定的三维重建参数实时减少三维模型重建所需的数据量，从而减少云端传输压力，减少渲染延迟，进而提高渲染效率。

Description

一种三维重建方法、装置及系统
技术领域
本申请涉及远程三维通讯技术领域，尤其涉及一种三维重建方法、装置及系统。
背景技术
远程三维通信交互系统中，针对人体模型的三维重建，首先需要从各类传感器获得模型重建的采集数据，然后使用三维重建方法对采集数据进行处理，从而重建出人体三维模型。其中，人体三维模型的重建涉及形状、姿态和材质数据。
虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)等终端的沉浸式渲染往往需要高精度三维模型。目前，精度较高的静态三维重建方法仍需使用光学扫描仪(例如可见结构光扫描仪或激光扫描仪)，这类方法要求采集对象在整个扫描过程中保持静止不动数秒甚至数分钟的时间，对多个角度的高精度三维扫描信息进行拼接，最终重建出高精度的人体静态三维模型。但基于光学扫描仪的方法也存在其固有缺陷，比如难以重建人体动态三维模型(扫描时间长且需要采集对象静止不动)、需要具有专业知识的人员进行扫描操作以及扫描仪价格相对较为昂贵等。并且，高精度三维模型意味着较大的数据量，在现有网络带宽的能力下，传输时间较长，增加了VR和AR终端的渲染时延。
随着成像技术的不断发展，RGBD相机的出现及双目立体匹配算法的提出和优化，进一步提高了三维重建的质量和效率，可用于动态三维重建。而单个RGBD相机只能获取当前场景某一个视角的彩色信息(RGB图像)或深度信息(RGBD图像)，多视点(相机)采集系统能够对物体各个视角的二维彩色信息或深度信息进行采集，并且使用多视点立体匹配(Multi-View Stereo，MVS)算法或深度信息融合等方法，动态重建出高精度的三维模型，但同时多视点构建较为复杂，需要进行多相机标定及数据融合，实现难度较高。
发明内容
本申请提供了一种三维重建方法、装置及系统，用以平衡三维模型重建的数据量和渲染时延，提高动态三维重建的渲染效率。
第一方面，本申请实施例提供一种三维重建方法，应用于渲染显示终端，包括：
获取人眼注视点的位置信息，根据所述位置信息检测注视点移动状态；
若所述注视点移动状态为未移动，则检测人眼视觉状态；
若所述人眼视觉状态为失焦状态，则调整用于确定三维重建参数的渲染参数，并向所述采集终端发送携带所述渲染参数的控制指令，使得所述采集终端根据所述三维重建参数减少三维模型重建所需的数据量；接收所述采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接接收所述采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示。
第二方面，本申请实施例提供一种三维重建方法，应用于采集终端，包括：
若人眼视觉状态为失焦状态，则接收渲染显示终端发送的控制指令，所述控制指令携带用于确定三维重建参数的渲染参数；根据所述三维重建参数减少三维模型重建所需的数据量，并将数据量减少后的三维重建数据发送给所述渲染显示终端，使得所述渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示；其中，所述渲染参数是渲染显示终端在确定注视点移动状态为未移动时，检测到人眼视觉状态为失焦状态后调整的，所述注视点移动状态是所述渲染显示终端根据获取的人眼注视点的位置信息检测的；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接发送三维重建数据，使得所述渲染显示终端根据直接接收的三维重建数据渲染三维模型并显示。
第三方面，本申请实施例提供一种渲染显示终端，包括：眼球追踪装置、显示器、存储器、处理器；
所述眼球追踪装置，与所述处理连接，被配置为获取人眼注视点的位置信息；
所述显示器，与所述处理器连接，被配置为显示三维模型；
所述存储器，与所述处理器连接，被配置为存储计算机程序指令；
所述处理器，被配置为根据所述计算机程序指令，执行以下操作：
获取人眼注视点的位置信息，根据所述位置信息检测所述注视点移动状态；
若所述注视点移动状态为未移动，则检测人眼视觉状态；
若所述人眼视觉状态为失焦状态，则调整用于确定三维重建参数的渲染参数，并向所述采集终端发送携带所述渲染参数的控制指令，使得所述采集终端根据所述三维重建参数减少三维模型重建所需的数据量；接收所述采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接接收所述采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示。
第四方面，本申请实施例提供一种采集终端，包括深度相机、主机或工作站；
所述深度相机，被配置为采集深度图像和彩色图像；
主机或工作站，被配置为执行以下操作：
若人眼视觉状态为失焦状态，则接收渲染显示终端发送的控制指令，所述控制指令携带用于确定三维重建参数的渲染参数；根据所述三维重建参数减少三维模型重建所需的数据量，并将数据量减少后的三维重建数据发送给所述渲染显示终端，使得所述渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示；其中，所述渲染参数是渲染显示终端在确定注视点移动状态为未移动时，检测到人眼视觉状态为失焦状态后调整的，所述注视点移动状态是所述渲染显示终端根据获取的人眼注视点的位置信息检测的；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接发送三维重建数据，使得所述渲染显示终端根据直接接收的三维重建数据渲染三维模型并显示。
第五方面，本申请实施例提供一种三维重建系统，包括采集终端、传输终端、渲染显示终端；
所述渲染显示终端，用于获取人眼注视点的位置信息，根据所述位置信息检测所述注视点移动状态；若所述注视点移动状态为未移动，则检测人眼视觉状态；若所述人眼视觉状态为失焦状态，则调整用于确定三维重建参数的渲染参数，并向所述采集终端发送携带所述渲染参数的控制指令；接收所述采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示；若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接接收所述采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示；
所述传输终端，用于传输所述渲染显示终端向所述采集终端发送的控制指令，以及，传输所述采集终端向渲染显示终端发送的三维重建数据；
所述采集终端，用于若人眼视觉状态为失焦状态，则接收渲染显示终端发送的控制指令，所述控制指令携带用于确定三维重建参数的渲染参数；根据所述三维重建参数减少三维模型重建所需的数据量，并将数据量减少后的三维重建数据发送给所述渲染显示终端；若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接发送三维重建数据。
第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的三维重建方法。
本申请的上述实施例中，利用失焦状态下人眼不需要高分辨率视图的特性，平衡三维模型重建的数据量和渲染时延，当注视点的移动状态为未移动且检测到的人眼视觉状态为失焦状态时，实时自适应调整用于确定三维重建参数的渲染参数，通过控制指令将调整后的渲染参数传输给采集终端，采集终端根据确定的三维重建参数实时减少三维模型重建所需的数据量，从而减少云端传输压力，减少渲染延迟，进而提高渲染效率；当注视点的移动状态为移动且检测到的人眼视觉状态为非失焦状态时，渲染显示终端直接根据采集终端发送的三维重建数据渲染高精度的三维模型并显示，从而保证人眼看到清晰的模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的相关技术中三维重建方法过程示意图；
图2示例性示出了本申请实施例提供的一种三维重建系统架构图；
图3示例性示出了本申请实施例提供的应用场景示意图；
图4示例性示出了本申请实施例提供的渲染显示终端侧的三维重建方法流程图；
图5示例性示出了本申请实施例提供的三维场景示意图；
图6示例性示出了本申请实施例提供的EAR检测是否眨眼的原理图；
图7示例性示出了本申请实施例提供的采集终端侧的三维重建方法流程图；
图8示例性示出了本申请实施例提供的三维重建方法过程示意图；
图9a示例性示出了本申请实施例提供的完整的三维重建方法流程图；
图9b示例性示出了本申请实施例提供的三维重建数据发送方法流程图；
图10示例性示出了本申请实施例提供的一种渲染显示终端硬件能结构图；
图11示例性示出了本申请实施例提供的一种采集终端硬件能结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
远程三维通信系统核心技术涉及实时三维重建技术、三维数据的编解码及传输技术、沉浸式VR/AR显示技术等。目前远程三维通讯系统的三维重建方案参见图1，采集端负责模型数据(包括RGB图像和RGBD图像)采集，根据采集的模型数据进行是三维重建，并将重建模型的三维从建数据发送给传输端，由传输端进行数据编码后传输给渲染显示终端，渲染显示端接收三维重建数据并解码，根据解码后的三维重建数据渲染三维场景中的人、物模型并显示。
目前，基于VR和AR远程通讯技术的根本性挑战是：以高沉浸感所需的高分辨率呈现重建的三维模型，对渲染引擎和数据传输提出了较高的要求。对于用户来讲，好的远程沉浸式体验需要低时延、高帧率、高画质的渲染效果。
在使用VR或AR头戴式设备进行远程三维通讯时，针对人物的实时三维重建，模型精度影响视觉体验，但同时精度越高，模型的数据量也会越高，传输技术对动态三维重建的精度及模型成像有重要影响。
例如，以现有网络每秒传输30帧的模型数据量为例，192*192*128分辨率的模型需要的传输码率为256Mbps，384*384*384分辨率的模型需要的传输码率为1120Mbps。这样，模型的数据量越大，云端传输的时延越长，导致渲染显示端无法实时更新三维模型，降低了用户体验。
为了平衡三维模型重建的数据量和渲染时延，本申请实施例提供一种三维重建方法、装置及系统。由于人眼在失焦状态下，不需要显示高分辨率的模型，因此，可根据人眼的视觉状态调整模型分辨率以降低传输模型的数据量。具体的，本申请实施例利用VR或AR等渲染显示终端中的眼球追踪装置，获取人眼注视点的位置信息以及人眼视觉参数，在检测到注视点移动状态为未移动且人眼视觉状态为失焦状态时，实时调整渲染参数，根据调整后的渲染参数，通过云平台向采集终端发送减少三维重建数据量的控制指令，以节省模型重建的运算量，并减少云端传输压力，进而减少渲染时延，提高渲染效率，提升用户体验；在检测到注视点移动状态为移动且人眼视觉状态为非失焦状态时，根据采集终端通过云平台直接发送的三维重建数据渲染高精度的三维模型并显示，从而保证人眼看到清晰的三维模型，提升远程交互的沉浸感。
下面结合附图详细描述本申请的实施例。
图2示例性示出了本申请实施例提供的一种三维重建系统架构图。如图2所示，该系统包括采集终端201、传输终端202、渲染显示终端203。
采集终端201，用于采集图像数据，包括深度图像(也称为RGBD图像)和彩色图像(也称为RGB图像)，从RGBD图像中提取三维重建的几何数据以及从RGB图像中提取纹理数据，根据提取的几何数据和纹理数据重建三维模型，并将三维模型的三维重建数据传输到传输终端；若人眼视觉状态为失焦状态，则接收渲染显示终端203通过传输终端202发送的控制指令，控制指令携带用于确定三维重建参数渲染参数，根据三维重建参数减少三维模型重建所需的数据量，并将数据量减少后的三维重建数据，通过传输终端202发送给渲染显示终端203；若注视点移动状态为移动或人眼视觉状态为非失焦状态，则通过传输终端202直接向渲染显示终端203发送三维重建数据。
传输端设备202，用于传输渲染显示终端203向采集终端201发送的控制指令，以及，将采集终端201发送的三维重建数据传输给渲染显示终端203，其中传输端终端202可以是云服务器。
渲染显示终端备203，用于获取人眼注视点的位置信息，根据位置信息检测注视点移动状态；若注视点移动状态为未移动，则检测人眼视觉状态；若人眼视觉状态为失焦状态，则调整用于确定三维重建参数的渲染参数，并向采集终端发送携带渲染参数的控制指令；接收采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示；若注视点移动状态为移动或人眼视觉状态为非失焦状态，则直接接收采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示。渲染显示终端203可以是具体交互功能的智能电视、智能手机、VR或AR头戴式显示设备。
需要说明的是，图2示出的系统架构可根据不同的使用场景进行部署，比如在直播场景中，主播端设置本系统的采集终端，用户端设置本系统的渲染显示终端，用户可以通过渲染显示终端观看三维模型，体验虚拟世界中面对面交互的沉浸感；再比如在会议场景中，远程会议的两个会议室同时布置本系统的采集终端与渲染显示终端，以进行两个会议室内实时的远程三维通信。
基于图2示出的系统架构，图3示例性示出了本申请实施例提供的应用场景示意图。如图3所示，用户端1至用户端4进行实时远程三维通信，用户端1至用户端4分别布置了采集终端和渲染终端，采集终端包括深度相机(RGBD相机)、主站或工作站，渲染显示终端包括智能电视、智能手机、VR或AR头显的全部或部分。远程三维通信过程中，用户端1的三维重建数据可上传到云服务器，用户端2至用户端4中的渲染显示终端从云服务器下载用户端1的三维重建数据，并根据下载的三维重建数据同步显示三维人体模型，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维人体模型，依此类推。
需要说明的是，图3仅是多人远程三维通信的一种示例，本申请实施例对远程三维通信的用户端数不做限制性要求。
图4示例性示出了本申请实施例提供的一种三维重建方法的流程图，该流程主要由三维重建系统中的渲染显示终端执行，主要包括以下几步：
S400：获取人眼注视点的位置信息。
该步骤中，通过眼球追踪装置获取人眼的视线朝向，根据视线朝向确定人眼注视点的位置信息，注视点的位置信息可用于确定注视点移动状态。
S401：根据位置信息检测注视点移动状态，若注视点移动状态为未移动，执行S402，否则，执行S405。
该步骤中，若注视点的位置信息未发生变化，则表明注视点移动状态为未移动，执行S402，若位置信息，发生变化，则表明注视点移动状态为移动，执行S405。
S402：检测人眼视觉状态，若人眼视觉状态为失焦状态，执行S403，否则执行S405。
该步骤中，可将人眼视觉状态分为失焦状态和非失焦状态(即除发呆、眨眼、扫视等状态之外的正常视觉状态)。在失焦状态下，可降低实时传输的三维重建数据量，从而降低渲染延迟，在非失焦状态下，为保证模型精度，无需减少三维重建数据量，可实时传输三维模型的三维重建数据。
在人眼视觉神经系统中，失焦状态与非失焦状态(正常视觉状态)有意识认知的不同，这样，眼球追踪装置可能无法准确判断长时间注视某模型是聚精会神的关注状态还是不经思考的发呆状态。考虑到三维场景中的模型一般包含静态三维模型和动态三维模型，如图5所示，通常情况下，人眼注视动态三维模型时，注视点及注视状态不会长时间不变。因此，当注视点移动状态为未移动，可根据注视点移动状态检测人眼视觉状态是否为失焦状态，或者根据人眼视觉参数检测人眼视觉状态是否作为失焦状态。其中，动态三维模型和静态三维模型是根据采集终端发送的模型标识确定的。
在S402中，注视点移动状态为未移动时，根据注视点移动状态检测人眼视觉状态是否为失焦状态。具体的，根据注视点的位置信息，确定注视点位于静态三维模型还是动态三维模型，若位于动态三维模型，则确定人眼视觉状态为失焦状态；若位于静态三维模型，则通过眼球追踪装置获取人眼视觉参数，并根据获取的人眼视觉参数检测人眼视觉状态。失焦状态下，可通过降低模型的分辨率(数据量)以减少渲染时延。
其中，根据人眼视觉参数检测人眼视觉状态时，渲染显示终端对获取的人眼视觉参数进行解算可以得到人眼视觉状态。人眼视觉参数包括眼睛纵横比以及人眼睛静态属性信息，其中，人眼静态属性信息包含瞳孔直径、注视景深中的至少一项。
在S402中，失焦状态是基于眨眼、注视点移动状态、以及人眼静态属性信息综合判断的，是否眨眼可通过眼睛纵横比检测、注视点移动状态可通过注视点位置信息检测、与预设阈值进行比较可检测人眼静态属性信息是否满足要求，其中，注视点的位置信息可通过跟踪眼球坐标和视线方向等确定。具体的，注视点移动状态为未移动的情况下，当人眼静态属性信息包括瞳孔直径时，若根据人眼纵横比检测到未眨眼，且瞳孔直径大于预设瞳孔阈值，则确定人眼视觉状态为失焦状态；和/或，当人眼静态属性信息包括注视景深时，若根据人眼纵横比检测到未眨眼，且注视景深在预设景深区间，则确定人眼视觉状态为失焦状态。
例如，通过眼球追踪装置检测到未眨眼，视线或眼球位置信息在2-3s未改变，同时，检测到瞳孔直径为3.5mm，双眼的注视景深未在预设景深区间，则确定当前视觉状态为失焦状态并输出。
需要说明的是，当注视点的位置信息超出三维场景的空间区域时，也记为失焦状态。
在S402中，具体实施时，通过眼球追踪装置检测是否眨眼。眼球追踪装置可直接输出未检测到瞳孔，当未检测到瞳孔时，可判断人眼为未眨眼或闭眼状态，从而输出相应的状态；一般眨眼检测，可利用眼睛纵横比(Eye Aspect Ratio，EAR)确定，通过计算EAR的数值，可以判断眼睛是张开还是闭合，从而检测是否眨眼。其中，EAR的计算公式如下：
Figure BDA0003095587520000081
其中，p1至p6为人眼对应的6个特征点，如图6所示，眨眼过程中人眼张开和闭合时，眼睛的长宽比(图6中用两条待箭头的实线表示)会有所不同，分子中计算的是眼睛特征点在垂直方向上的距离，分母计算的是眼睛特征点在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。
在提取到眼睛特征点后，结合深度学习算法，例如支持向量机(Support VectorMachine，SVM)，可以检测是否眨眼。
通过眼球追踪装置检测注视点是否移动。一种实施方式为，根据眼球追踪装置，获取眼球坐标，根据眼球坐标监测眼球运动速度，若眼球运动速度小于第一移动阈值，则确定注视点移动状态为未移动，并输出未移动状态。另一种实施方式为，根据眼球追踪装置，获取视线方向，根据视线方向的旋转角度监测视线移动速度，若视线移动速度小于第二移动阈值(例如2度/毫秒)，则确定注视点移动状态为未移动，并输出未移动状态。其中，第一移动阈值和第二移动阈值可以相同也可以不同，具体大小根据实际情况进行设置。
S403：调整用于确定三维重建参数的渲染参数，并向采集终端发送携带渲染参数的控制指令。
该步骤中，通过眼球追踪装置已经获得了人眼视觉参数，根据人眼视觉参数、预设的渲染重建参数、预设的调整阈值，调整用于确定三维重建参数的渲染参数，其中，预设的渲染重建参数为正常视觉状态下的渲染重建参数。调整公式如下：
ρt(α、β、γ)＝T+K(αt+βt+γt) 公式2
其中，ρt为失焦状态对应的渲染参数，αt为眼睛纵横比，βt为注视点移动状态，γt为人眼静态属性信息(如瞳孔直径、双眼的注视景深等参数)，K为预设的渲染重建参数，T为预设的调整阈值。失焦状态下的渲染参数小于正常视觉状态下的渲染参数。
渲染参数调整后，通过云端向采集终端发送携带渲染参数的控制指令，使得采集终端根据渲染参数确定的三维重建参数提取模型数据以减少三维模型重建所需的数据量，减少云端传输压力，进而提高渲染显示终端的渲染显示效率。
S404：接收采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示。
该步骤中，渲染显示终端接收采集终端发送的数据量减少后的三维重建数据，根据数据量减少后三维重建数据渲染三维模型并显示，其中，三维重建数据包含顶点数据、面片数据、纹理数据等。顶点数据是根据RGBD图像提取的，纹理数据是根据RGB图像提取的。
可选的，如图5所示，当三维场景中包含静态三维模型和动态三维模型时，为进一步减少传输的数据量，采集终端可根据静态三维模型的位置信息是否发生变化来发送三维重建数据。具体的，若静态三维模型的位置信息未发生变化，则可不传输静态三维模型的静态三维重建数据，只传输动态三维模型的动态三维重建数据。渲染显示终端根据前一帧中静态三维模型的静态三维重建数据渲染静态三维模型，根据接收的动态三维重建数据渲染动态三维模型，并显示渲染后的动态三维模型和静态三维模型。若静态三维模型的位置信息发生变化，则同时传输动态三维模型的动态三维重建数据和静态三维模型的静态三维重建数据。渲染显示终端根据接收的动态三维重建数据渲染动态三维模型，根据接收的静态三维重建数据渲染静态三维模型，并显示渲染后的动态三维模型和静态三维模型。
S405：直接接收采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示。
该步骤中，注视点移动状态为移动时，表明人眼可能处于跟踪目标状态的观察状态，或者，注视点移动状态为未移动，但检测到人眼视觉状态为非失焦状态时，表明人眼可能处于仔细观察的注视状态，此时为保证模型的清晰度，提升用户体验，需保证显示的三维模型有较高的精度(即较高的分辨率)。因此，在S405中，无需减少三维重建数据的数据量。
在S405中，通过注视点位置信息确定注视点移动状态为移动，或者根据人眼视觉参数检测到人眼视觉状态为非失焦状态，此时无需调整渲染参数来减少三维重建所需的数据量。采集终端从采集的RGBD图像中提取三维重建的几何数据(包括顶点坐标、顶点法向、顶点索引、面片索引等)，从采集的RGB图像中提取三维重建的纹理数据(几何顶点的颜色值)，根据提取的几何数据和纹理数据重建三维模型，并将重建模型对应的数据量未减少的三维重建数据实时发送给渲染显示终端。渲染显示终端根据数据量未减少的三维重建数据渲染高精度的三维模型并显示，以提高用户交互过程中的沉浸感。
在本申请的一些实施例中，当注视点移动状态为移动或检测到人眼视觉状态为非失焦状态时，在保证三维模型精度的基础上，可根据场景中的静态三维模型的位置信息是否变化来发送三维重建数据以减少传输的数据量。
具体的，若静态三维模型的位置信息未发生变化，采集终端可仅向渲染显示终端发送动态三维模型的三维重建数据。渲染显示终端直接接收采集终端发送的动态三维模型的动态三维重建数据，根据动态三维重建数据渲染动态三维模型，以及根据前一帧中静态三维模型的静态三维重建数据渲染静态三维模型，并显示渲染后的动态三维模型和静态三维模型；若静态三维模型的位置信息发生变化，采集终端同时将静态三维模型的静态三维重建数据和动态三维模型的动态三维重建数据发送给渲染显示终端。渲染显示终端直接接收采集终端发送的动态三维模型的动态三维重建数据和静态三维模型的静态三维从建数据，根据动态三维重建数据，渲染动态三维模型，根据静态三维重建数据，渲染静态三维模型，并显示渲染后的动态三维模型和静态三维模型。
与渲染显示终端相对应，图7示例性示出了本申请实施例提供的一种三维重建方法的流程图，该流程主要由三维重建系统中的采集终端执行，主要包括以下几步：
S701：接收渲染显示终端发送的控制指令，控制指令携带用于确定三维重建参数的渲染参数。
该步骤中，人眼视觉状态为失焦状态时，采集终端通过云端接收渲染显示终端发送的控制指令，控制指令中携带用于确定三维重建参数的渲染参数，渲染参数是渲染显示终端在确定注视点移动状态为未移动时，检测到人眼视觉状态为失焦状态后调整的，注视点移动状态是渲染显示终端根据获取的人眼注视点的位置信息检测的。具体过程参见S401-S403，在此不再赘述。
需要说明的是，本申请的实施例中，三维重建参数可由采集终端确定，也可由渲染显示终端确定，当由渲染显示终端确定时，采集终端直接根据控制指令携带的三维重建参数自适应调整三维模型，减少模型所需的数据量。当由采集终端确定时，采集终端根据控制指令中携带的渲染参数，确定三维重建参数，并根据确定的三维重建参数自适应调整三维模型，减少模型所需的数据量。
下面以采集终端确定三维重建参数为例，描述三维重建过程。
S702：根据三维重建参数减少三维模型重建所需的数据量。
该步骤中，可从三维模型的重建精度和渲染的精细效果两个角度调整三维重建参数以减少传输数据的数据量。
方式一
目前，实时人体动态三维重建模型的几何表达主要基于符号距离函数(TruncatedSigned Distance Function，TSDF)，在TSDF表达方式中，真实场景的三维表面通常表示为三维空间中符号距离函数值为零的等值面，真实表面以外的自由空间所对应的函数值为正，且正比于函数采样点到真实表面的距离，场景占用空间内(真实表面所包围的空间)函数值为负，且反比于函数采样点到真实表面的距离。
模型重建时，往往会在虚拟空间中创建一个立方体，然后在X、Y、Z轴三个方向上对该立方体进行均匀剖分，剖分后的小立方体被称作体素(voxel)，各个方向上体素的个数为该方向上体素空间的分辨率，每个体素的中心点即为函数采样点，作为虚拟空间中连续符号距离函数的稀疏采样点，通过计算采样点到真实表面的距离，重建三维模型。
在三维模型重建过程中，可通过降低TSDF控制的模型分辨率来减少传输的数据量。具体的，当三维重建参数为TSDF对应的模型分辨率时，采集终端将控制指令中携带的渲染参数映射为TSDF对应的模型分辨率，映射关系参见表1，渲染参数越小，对应的分辨率越小，数据量也就越小，根据模型分辨率从采集的图像中提取三维重建数据以减少三维模型重建所需的数据量，并根据数据量减少后的三维重建数据重建三维模型。
表1渲染参数和模型分辨率之间的映射关系
渲染参数ρ<sub>t</sub> 模型分辨率S<sub>t</sub>
P<sub>t1</sub> S<sub>t1</sub>
ρ<sub>t2</sub> S<sub>t2</sub>
ρ<sub>t3</sub> S<sub>t3</sub>
… …
方式二
细节层次(Levels of Detail，LOD)技术可用于简化模型，LOD技术根据模型的重要程度对重要的细节进行较高质量绘制，对不重要的细节进行较低质量的绘制，并在简化后能够充分保持模型的尖锐特征和模型的几何特征，通过选择适当的LOD金字塔可在不丢失图形尖锐特征的条件下加速模型的实时绘制，提高系统运算能力。一般的，模型重要程度的评判依据包括：距离标准(模型到观察者距离)、尺寸标准(模型的大小)、剔除标准(模型是否可见)等。
本申请的实施例中，模型的重要程度可根据人眼注视状态反馈的信息(渲染参数)确定，从而根据模型的重要程度简化模型以减少传输的数据量。在检测到发呆状态时，模型的简化程度较高，在注视状态较为集中时，采用模型简化程度较低或者未简化的模型重建，以达到渲染加速的目的。
具体的，当三维重建参数为模型细节层级时，在传输三维重建数据之前，采集终端根据预先构建LOD金字塔，将渲染参数映射为模型细节层级，映射关系参见表2，再根据模型细节层级，对三维重建数据进行降采样以减少三维模型重建所需的数据量，并根据数据量减少后的三维重建数据重建三维模型。本申请实施例对降采样的方法不做限制性要求，包括但不限于几何元素删除法、区域合并法、顶点聚类法。
其中，将降采样可以在模型重建之后，也可以在模型重建过程中完成。
例如，在模型重建之后进行降采样，根据预先构建LOD金字塔，将渲染参数映射为反映模型重要程度的模型细节层级，根据模型细节层级对Marching Cubes算法提取出的顶点数据进行降采样以减少模型的数据量，从而提高渲染效率。
再例如，在模型重建过程中进行降采样，根据预先构建LOD金字塔，将渲染参数映射为反映模型重要程度的模型细节层级，根据模型细节层级直接对从RGBD图像和RGB图像中提取的三维重建数据进行降采样。
表2渲染参数和细节层级之间的映射关系
渲染参数ρ<sub>t</sub> 模型分辨率G<sub>t</sub>
ρ<sub>t1</sub> G<sub>t1</sub>
ρ<sub>t2</sub> G<sub>t2</sub>
ρ<sub>t3</sub> G<sub>t3</sub>
… …
需要说明的是，两种方式可以根据采集终端的性能单独使用，或者在性能满足要求时组合使用。组合使用时，对TSDF对应的模型分辨率及模型对应的细节层级进行分别处理，针对不同的渲染参数ρt，映射为不同的模型分辨率及模型细节层级，如表3所示，根据映射后的参数，减少模型传输的数据量，进而提高渲染效率。
表3渲染参数和模型分辨率、细节层级之间的映射关系
Figure BDA0003095587520000121
Figure BDA0003095587520000131
S703：将数据量减少后的三维重建数据发送给渲染显示终端，使得渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示。
该步骤中，三维重建参数调整后，三维模型对应的三维重建数据的数据量减少，采集终端将减少后的三维重建数据发送给渲染显示终端，渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示。
S704：直接发送三维重建数据，使得渲染显示终端根据直接接收的三维重建数据渲染三维模型并显示。
该步骤中，当渲染显示终端确定注视点移动状态为移动，或检测到人眼视觉状态为非失焦状态时，表明人眼处于跟踪目标或仔细观察的视觉状态，需要保证三模模型的精度(分辨率)，此时，采集终端根据RGBD图像中提取的几何数据和相应的RGB图像中提取的纹理数据进行模型重建后，直接将三维模型的三维重建数据通过传输终端实时发送给渲染显示终端，渲染显示终端根据数据量未减少的三维重建数据重建高精度的三维模型并显示，从而保证人眼看到清晰的模型，提升用户体验。
本申请的上述实施例中，一方面，利用失焦状态下人眼不需要高分辨率视图的特性，渲染显示终端注视点移动状态以及人眼视觉参数检测人眼视觉状态，在检测到为失焦状态时，实时自适应调整渲染参数，通过控制指令将调整后的渲染参数传输给采集终端，采集终端根据渲染参数确定三维重建参数，节省三维重建的计算时间，并根据确定的三维重建参数减少三维模型重建所需的数据量，从而减少云端传输压力，减少渲染延迟，提升远程通讯体验。另一方面，本申请实施例传输的三维重建数据与人眼的视觉状态相匹配，在非失焦状态下，传输高精度三维模型对应的三维重建数据，保证人眼看到清晰的三维模型，在失焦状态下，人眼不需要高分辨率视图，从而传输低精度的三维模型或简化后的三维模型，提高渲染效率。
本申请的实施例中，三维重建数据是由采集终端通过传输终端发送给渲染显示终端的。采集终端还可根据静态三维模型的位置信息是否发生变化来进一步减少传输的数据量。当检测到静态三维模型的位置信息未发生变化时，可不发送静态三维模型的静态三维重建数据，仅发送动态三维模型的动态三维重建数据，从而减少模型传输的数据量。
在一种可选的实施方式中，静态三维模型的位置信息是否发生变化可由采集终端根据采集的相邻N帧图像确定。具体的，采集终端通过比对相邻N帧图像确定静态三维模型和动态三维模型并添加模型标识，若模型标识所指示的静态三维模型的位置信息未发生变化，则直接发送动态三维模型的动态三维重建数据，不发送静态三维模型的静态三维重建数据以减少传输的数据量，若模型标识所指示的静态三维模型的位置信息发生变化，则需要同时发送动态三维模型的动态三维重建数据和静态三维模型的静态三维重建数据。
在另一种可选的实施方式中，静态三维模型的位置信息是否发生变化可由采集终端按照设定的时间间隔对预设的静态重建区域的扫描结果确定。具体的，预先设定了静态重建区域和动态重建区域，动态重建区域中的模型为动态三维模型并添加模型标识，比如标识为1，静态重建区域中的模型为静态三维模型并添加模型标识，比如标识为0，动态三维模型的动态三维重建数据实时发送。针对静态重建区域，根据设定时间间隔进行扫描，若静态重建区域内的静态三维模型的位置信息未发生变化，表明无需发送静态三维模型的静态三维重建数据，此时，直接发送动态三维模型的三维重建数据即可，若静态重建区域内的静态三维模型的位置信息发生变化，则发送动态三维模型的动态三维重建数据的同时，也需发送静态三维模型的静态三维重建数据。
本申请的实施例中，渲染显示端和采集端的三维重建过程参见图8，渲染显示端通过安装的眼球追踪装置获取人眼注视参数，检测人眼视觉状态，根据人眼视觉状态实时调整渲染参数，调整后通过传输端发送给采集端，采集端实时采集图像数据，并分别为静态三维模型和动态三维模型添加模型标识，当接收到渲染参数后，根据渲染参数自适应减少重建三维模型所需的数据量，将数据量减少后的三维重建数据发送传输端，传输端编码后发送给渲染显示端，渲染显示端根据接收的三维重建数据和调整后的渲染参数进行三维模型的渲染及显示。
下面以采集终端和渲染显示终端的交互过程为例，图9a示例性输出了本申请实施例提供的完整远程交互过程中的三维重建方法流程图。如图9a所示，主要包括以下几步：
S900：采集终端实时采集图像RGBD图像和RGB图像，从RGBD图像和RGB图像中提取三维重建数据重建三维模型。
该步骤中，采集终端实时采集RGBD图像和RGB图像，从RGBD图像中提取三维重建的几何数据，利用RGBD图像和RGB图像自有的标定关系，从RGB图像中提取三维重建的纹理数据，基于提取的几何数据和纹理数据重建三维模型。
S901：采集终端为三维模型添加模型标识。
该步骤中，采集终端根据RGBD相机实时采集的图像数据，通过对比t帧和t-1帧图像数据区分静态三维模型和静态三维模型，并为相应的模型添加模型标识。或者，根据预先设定的静态重建区域和动态重建区域为三维模型添加模型标识。具体参见前述实施例，在此不再重复。
S902：渲染显示终端通过眼球追踪装置获取人眼注视点的位置信息，根据位置信息确定注视点位于静态三维模型还是动态三维模型，若位于静态三维模型，则执行S903，若位于动态三维模型，则执行S914。
该步骤中，根据注视点的位置信息(例如坐标)，确定该注视点是否位于静态三维模型的空间区域内，若是，则表明注视点位于静态三维模型，若该注视点位于动态三维模型的空间区域内，则表明注视点位于动态三维模型。
其中，静态三维模型和动态三维模型是根据采集终端发送的模型标识确定的，例如，0标识静态三维模型，1标识动态三维模型。模型标识是采集终端根据采集的相邻N帧图像或预设的静态重建区域和动态重建区域确定的，模型标识可携带于三维重建数据中发送给渲染显示终端，也可单独发送给渲染显示终端。具体过程参见前述实施例，在此不再重复。
S903：渲染显示终端根据注视点的位置信息确定注视点的移动状态，若未移动，则执行S904，若移动，执行S911。
该步骤的详细表述参见S401，在此不再重复。
S904：渲染显示终端通过眼球追踪装置获取人眼视觉参数，并根据人眼视觉参数检测人眼视觉状态，若检测为失焦状态，执行S905，否则表明人眼为正常注视状态，执行S911。
该步骤中，人眼视觉参数包括眼睛纵横比以及人眼静态属性信息。具体检测过程参见S402，在此不再重复。
S905：渲染显示终端调整渲染参数，并将调整后的渲染参数映射为三维重建参数。
该步骤中，根据人眼视觉参数、预设的渲染重建参数、预设的调整阈值，调整用于确定三维重建参数的渲染参数，调整后，将渲染参数映射为TSDF对应的模型分辨率以及模型细节层级中的至少一项。
S906：渲染显示终端向采集终端发送控制指令，控制指令携带三维重建参数。
该步骤中，三维重建参数包括TSDF对应的模型分辨率以及模型细节层级中的至少一项，使得采集终端根据三维重建参数自适应调整三维模型。
S907：采集终端接收控制指令，根据控制指令携带的三维重建参数减少三维模型重建所需的数据量。
该步骤的详细描述参见S701，在此不再重复。
S908：采集终端将数据量减少后的三维重建数据发送给云服务器。
该步骤中，三维重建数据携带三维模型的模型标识，模型标识用于确定人眼注视点位于静态三维模型还是动态三维模型。
S909：云服务器对数据量减少后的三维重建数据进行数据编码后，发送给渲染显示终端。
该步骤中，本申请实施例对编码方式不做限制性要求。
S910：渲染显示终端接收采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示。
该步骤的具体描述参见S404，在此不再重复。
S911：采集终端将从采集的图像中提取的数据量未减少的三维重建数据发送给云服务器。
该步骤中，当注视点移动状态为移动或人眼视觉状态为非失焦状态时，为提升用户体验，需保证显示的三维模型有较高分辨率，此时，采集终端无需减少三维重建数据的数据量。采集终端直接根据图像中提取的三维重建数据重建三维模型，此时，三维模的精度和数据量未发生变化，将数据量未减少的三维重建数据实时发送给云服务器。
S912：云服务器对数据量未减少的三维重建数据进行数据编码后，发送给渲染显示终端。
S913：渲染显示终端接收数据量未减少的三维重建数据，渲染三维模型并显示。
该步骤中，渲染显示终端根据未减少的数据量进行三维模型的渲染及显示。
S914：渲染显示终端根据注视点的位置信息确定注视点的移动状态，若未移动，则执行S905，若移动，则执行S911。
该步骤中，根据人眼视觉特性，注视点位于动态三维模型时，注视点及注视状态不会长时间不变。视点位于动态三维模型且注视点未移动时，表明人眼处于失焦状态，需减少三维模型所需的数据量，执行S905，视点位于动态三维模型且注视点移动时，表明人眼可能正在跟踪运动目标，处于非失焦状态，无需减少三维模型所需的数据量，执行S911。
在一些实施例中，远程三维通讯过程中，考虑到三维场景中除运动的人体三维模型外，还可能包含桌椅、树木等静态物体的三维模型。无论是失焦状态渲染低精度的三维模型，还是非失焦状态渲染高精度的三维模型，都可根据静态三维模型的位置信息是否法发生变化进一步减少三维重建所需的数据量。具体参见图9b，主要包含以下几步：
S90采集终端确定静态三维模型的位置信息是否发生变化，若未发生变化，则执行S91，否则，执行S94。
该步骤中，静态三维模型的位置信息是否发生变化可根据采集的相邻N帧图像确定，也可根据静态重建区域的扫描结果确定，具体参见前述实施例，在此不再重复。
S91：采集终端向云服务器发送动态三维模型的动态三维重建数据。
该步骤中，静态三维模型的位置信息未发生变化，为减少传输的数据量，可仅传输动态三维模型对应的三维重建数据。
S92：云服务器对动态三维数据进行编码后，发送给渲染显示终端。
S93：渲染显示终端根据动态三维重建数据，渲染动态三维模型，以及根据前一帧中静态三维模型对应的静态三维重建数据渲染静态三维模型，并显示渲染后的动态三维模型和静态三维模型。
S94：采集终端向云服务器发送动态三维模型的动态三维重建数据和静态三维模型的静态三维重建数据。
该步骤中，静态三维模型的位置信息发生变化，需同时传输静态三维模型和动态三维模型的三维重建数据。
S95：云服务器对动态三维数据和静态三维重建数据进行编码后，发送给渲染显示终端。
S96：渲染显示终端根据动态三维重建数据，渲染动态三维模型，以及，根据静态三维重建数据，渲染静态三维模型，显示渲染后的动态三维模型和静态三维模型。
基于相同的发明构思，本发明实施例中还提供了一种渲染显示终端，该渲染显示终端可实现本申请实施例图4中的方法步骤，并且解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。
参见图10，该显示设备包括眼球追踪装置1001、显示器1002、存储器1003、处理器1004，眼球追踪装置1001、显示器1002、存储器1003分别与处理器1004通过总线(在图10中用粗实线表示)连接，眼球追踪装置1001被配置为获取人眼注视点的位置信息以及人眼视觉参数；显示器1002被配置为显示三维模型；存储器1003被配置为存储计算机程序指令；处理器，被配置为根据计算机程序指令，执行本申请实施图4所示的方法流程。
基于相同的发明构思，本发明实施例中还提供了一种采集终端，该采集终端可实现本申请实施例图7中的方法步骤，并且解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。
参见图11，该显示设备包括深度相机1101、主机或工作站1102，深度相机1101被配置为采集深度图像(RGBD图像)和彩色图像(RGB图像)；主机或工作站1102被配置为执行本申请实施图7所示的方法流程。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的方法。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种三维重建方法，其特征在于，应用于渲染显示终端，包括：
获取人眼注视点的位置信息，根据所述位置信息检测注视点移动状态；
若所述注视点移动状态为未移动，则检测人眼视觉状态；
若所述人眼视觉状态为失焦状态，则调整用于确定三维重建参数的渲染参数，并向所述采集终端发送携带所述渲染参数的控制指令，使得所述采集终端根据所述三维重建参数减少三维模型重建所需的数据量；接收所述采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接接收所述采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示。
2.如权利要求1所述的方法，其特征在于，所述若注视点移动状态为未移动，则检测人眼视觉状态，包括：
根据所述注视点的位置信息，确定所述注视点位于静态三维模型还是动态三维模型；
若位于动态三维模型，则确定所述人眼视觉状态为失焦状态；
若位于静态三维模型，则获取人眼视觉参数，并根据获取的人眼视觉参数检测人眼视觉状态；
其中，所述动态三维模型和所述静态三维模型是根据所述采集终端发送的模型标识确定的。
3.如权利要求2所述的方法，其特征在于，所述人眼视觉参数包括眼睛纵横比以及人眼静态属性信息，所述根据获取的人眼视觉参数检测人眼视觉状态，包括：
所述人眼静态属性信息包括瞳孔直径，若根据所述眼睛纵横比检测到未眨眼，且所述瞳孔直径大于预设瞳孔阈值，则确定所述人眼视觉状态为失焦状态；和/或
所述人眼静态属性信息包括注视景深，若根据所述眼睛纵横比检测到未眨眼，且所述注视景深未在预设景深区间，则确定所述人眼视觉状态为失焦状态。
4.如权利要求1所述的方法，其特征在于，所述调整用于确定三维重建参数的渲染参数的公式为：
ρt(α、β、γ)＝T+K(αt+βt+γt)
其中，ρt为失焦状态对应的渲染参数，K为预设的渲染重建参数，T为预设的调整阈值，αt为眼睛纵横比，βt为注视点移动状态，γt为人眼静态属性信息。
5.如权利要求1所述的方法，其特征在于，所述直接接收所述采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示，包括：
若静态三维模型的位置信息未发生变化，则直接接收所述采集终端发送的动态三维模型的动态三维重建数据，根据所述动态三维重建数据，渲染动态三维模型，以及根据前一帧中静态三维模型的静态三维重建数据渲染静态三维模型，并显示渲染后的动态三维模型和静态三维模型；或者
若静态三维模型的位置信息发生变化，则直接接收所述采集终端发送的动态三维模型的动态三维重建数据和静态三维模型的静态三维重建数据，根据所述动态三维重建数据，渲染动态三维模型，以及，根据所述静态三维重建数据，渲染静态三维模型，显示渲染后的动态三维模型和静态三维模型；
其中，所述静态三维模型的位置信息是否发生变化是所述采集终端根据采集的相邻N帧图像确定的，或者，是所述采集终端按照设定的时间间隔对预设的静态重建区域的扫描结果确定的。
6.一种三维重建方法，其特征在于，应用于采集终端，包括：
若人眼视觉状态为失焦状态，则接收渲染显示终端发送的控制指令，所述控制指令携带用于确定三维重建参数的渲染参数；根据所述三维重建参数减少三维模型重建所需的数据量，并将数据量减少后的三维重建数据发送给所述渲染显示终端，使得所述渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示；其中，所述渲染参数是渲染显示终端在确定注视点移动状态为未移动时，检测到人眼视觉状态为失焦状态后调整的，所述注视点移动状态是所述渲染显示终端根据获取的人眼注视点的位置信息检测的；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接发送三维重建数据，使得所述渲染显示终端根据直接接收的三维重建数据渲染三维模型并显示。
7.如权利要求6所述的方法，其特征在于，所述根据所述三维重建参数减少三维模型重建所需的数据量，包括：
所述三维重建参数为符号距离函数对应的模型分辨率时，根据所述模型分辨率从采集的图像中提取三维重建数据以减少三维模型重建所需的数据量，所述模型分辨率是根据所述渲染参数映射得到的；和/或
所述三维重建参数为模型细节层级，根据所述模型细节层级，对三维重建数据进行降采样以减少三维模型重建所需的数据量，所述模型细节层级是根据所述渲染参数映射得到的。
8.如权利要求6所述的方法，其特征在于，所述直接发送三维重建数据，包括：
若静态三维模型的位置信息未发生变化，则直接发送动态三维模型的动态三维重建数据；
若静态三维模型的位置信息发生变化，则直接发送动态三维模型的动态三维重建数据和静态三维模型的静态三维重建数据；
其中，所述静态三维模型的位置信息是否发生变化是所述采集终端根据采集的相邻N帧图像确定的，或者，是所述采集终端按照设定的时间间隔对预设的静态重建区域的扫描结果确定的。
9.一种渲染显示终端，其特征在于，包括眼球追踪装置、显示器、存储器、处理器；
所述眼球追踪装置，与所述处理连接，被配置为获取人眼注视点的位置信息；
所述显示器，与所述处理器连接，被配置为显示三维模型；
所述存储器，与所述处理器连接，被配置为存储计算机程序指令；
所述处理器，被配置为根据所述计算机程序指令，执行以下操作：
获取人眼注视点的位置信息，根据所述位置信息检测所述注视点移动状态；
若所述注视点移动状态为未移动，则检测人眼视觉状态；
若所述人眼视觉状态为失焦状态，则调整用于确定三维重建参数的渲染参数，并向所述采集终端发送携带所述渲染参数的控制指令，使得所述采集终端根据所述三维重建参数减少三维模型重建所需的数据量；接收所述采集终端发送的数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染三维模型并显示；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接接收所述采集终端发送的三维重建数据，并根据直接接收的三维重建数据渲染三维模型并显示。
10.一种采集终端，其特征在于，包括深度相机、主机或工作站；
所述深度相机，被配置为采集深度图像和彩色图像；
主机或工作站，被配置为执行以下操作：
若人眼视觉状态为失焦状态，则接收渲染显示终端发送的控制指令，所述控制指令携带用于确定三维重建参数的渲染参数；根据所述三维重建参数减少三维模型重建所需的数据量，并将数据量减少后的三维重建数据发送给所述渲染显示终端，使得所述渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示；其中，所述渲染参数是渲染显示终端在确定注视点移动状态为未移动时，检测到人眼视觉状态为失焦状态后调整的，所述注视点移动状态是所述渲染显示终端根据获取的人眼注视点的位置信息检测的；
若所述注视点移动状态为移动或所述人眼视觉状态为非失焦状态，则直接发送三维重建数据，使得所述渲染显示终端根据直接接收的三维重建数据渲染三维模型并显示。
CN202110610410.8A 2021-06-01 2021-06-01 一种三维重建方法、装置及系统 Active CN113362449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610410.8A CN113362449B (zh) 2021-06-01 2021-06-01 一种三维重建方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610410.8A CN113362449B (zh) 2021-06-01 2021-06-01 一种三维重建方法、装置及系统

Publications (2)

Publication Number Publication Date
CN113362449A true CN113362449A (zh) 2021-09-07
CN113362449B CN113362449B (zh) 2023-01-17

Family

ID=77530905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610410.8A Active CN113362449B (zh) 2021-06-01 2021-06-01 一种三维重建方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113362449B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823044A (zh) * 2021-10-08 2021-12-21 刘智矫 一种人体三维数据采集房间及其收费方法
CN114301880A (zh) * 2021-12-23 2022-04-08 聚好看科技股份有限公司 三维数据传输方法及电子设备、信令服务器
CN114513647A (zh) * 2022-01-04 2022-05-17 聚好看科技股份有限公司 一种三维虚拟场景中数据的传输方法及设备
CN114581573A (zh) * 2021-12-13 2022-06-03 北京市建筑设计研究院有限公司 三维场景的局部渲染方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406501A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种控制渲染的方法以及装置
CN106648049A (zh) * 2016-09-19 2017-05-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
US20180061116A1 (en) * 2016-08-24 2018-03-01 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
CN109155846A (zh) * 2018-08-14 2019-01-04 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、装置、电子设备及存储介质
US20200409457A1 (en) * 2019-06-27 2020-12-31 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
CN112837406A (zh) * 2021-01-11 2021-05-25 聚好看科技股份有限公司 一种三维重建方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061116A1 (en) * 2016-08-24 2018-03-01 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
CN106648049A (zh) * 2016-09-19 2017-05-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
CN106406501A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种控制渲染的方法以及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN109155846A (zh) * 2018-08-14 2019-01-04 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、装置、电子设备及存储介质
US20200409457A1 (en) * 2019-06-27 2020-12-31 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
CN112837406A (zh) * 2021-01-11 2021-05-25 聚好看科技股份有限公司 一种三维重建方法、装置及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823044A (zh) * 2021-10-08 2021-12-21 刘智矫 一种人体三维数据采集房间及其收费方法
CN113823044B (zh) * 2021-10-08 2022-09-13 刘智矫 一种人体三维数据采集房间及其收费方法
CN114581573A (zh) * 2021-12-13 2022-06-03 北京市建筑设计研究院有限公司 三维场景的局部渲染方法、装置、电子设备及存储介质
CN114301880A (zh) * 2021-12-23 2022-04-08 聚好看科技股份有限公司 三维数据传输方法及电子设备、信令服务器
CN114301880B (zh) * 2021-12-23 2023-05-12 聚好看科技股份有限公司 三维数据传输方法及电子设备、信令服务器
CN114513647A (zh) * 2022-01-04 2022-05-17 聚好看科技股份有限公司 一种三维虚拟场景中数据的传输方法及设备
CN114513647B (zh) * 2022-01-04 2023-08-29 聚好看科技股份有限公司 一种三维虚拟场景中数据的传输方法及设备

Also Published As

Publication number Publication date
CN113362449B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN113362449B (zh) 一种三维重建方法、装置及系统
US11694353B2 (en) Single depth tracked accommodation-vergence solutions
CN113362450B (zh) 一种三维重建方法、装置及系统
CN110187855B (zh) 近眼显示设备的避免全息影像阻挡视线的智能调节方法
JP6444886B2 (ja) ニアアイ・ディスプレイのディスプレイ更新時間の低減
CN106484116B (zh) 媒体文件的处理方法和装置
CN112837406B (zh) 一种三维重建方法、装置及系统
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN113313818B (zh) 一种三维重建方法、装置及系统
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
KR20150121127A (ko) 양안 응시 이미징 방법 및 장치
WO2019020608A1 (en) METHOD AND SYSTEM FOR PROVIDING A VIRTUAL REALITY EXPERIENCE BASED ON ULTRASONIC DATA
CN111880654A (zh) 一种图像显示方法、装置、穿戴设备及存储介质
JP7459051B2 (ja) 角検出のための方法および装置
CN114371779B (zh) 一种视线深度引导的视觉增强方法
KR20200128661A (ko) 뷰 이미지를 생성하기 위한 장치 및 방법
Çöltekin Foveation for 3D visualization and stereo imaging
JPWO2018173207A1 (ja) 情報処理装置
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
JP7471307B2 (ja) シーンの画像表現
CN113515193A (zh) 一种模型数据传输方法及装置
JP2022518285A (ja) シーンを表す画像信号
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
EP4231635A1 (en) Efficient dynamic occlusion based on stereo vision within an augmented or virtual reality application
EP4375807A1 (en) Method and system for improving perfomance of an eye tracking system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant