CN114998553A - 一种交互式观影方法和系统 - Google Patents

一种交互式观影方法和系统 Download PDF

Info

Publication number
CN114998553A
CN114998553A CN202111424279.2A CN202111424279A CN114998553A CN 114998553 A CN114998553 A CN 114998553A CN 202111424279 A CN202111424279 A CN 202111424279A CN 114998553 A CN114998553 A CN 114998553A
Authority
CN
China
Prior art keywords
interactive
displacement data
face
film
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424279.2A
Other languages
English (en)
Inventor
郑子龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111424279.2A priority Critical patent/CN114998553A/zh
Publication of CN114998553A publication Critical patent/CN114998553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种交互式观影方法和系统。其中方法包括：配置三维虚拟场景，三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放交互式影视内容的面片模型；从图像采集器获取的观影用户的人脸数据中提取包含观影用户的完整人脸的第一帧图像，并从包含完整人脸的其他帧图像中确定观影用户的平面位移数据和角度位移数据；在提取第一帧图像的时刻，触发红外发射器向观影用户发射红外光束，以生成观影用户的人脸深度模型；利用人脸深度模型，确定基于其他帧图像的观影用户相对于现实坐标系原点的深度位移数据；基于平面位移数据、角度位移数据、深度位移数据，虚拟摄影机在三维虚拟场景中更新通过面片模型呈现给观影用户的交互式影视内容。

Description

一种交互式观影方法和系统
技术领域
本发明属于交互观影技术领域，尤其涉及一种交互式观影方法和系统。
背景技术
3D电影的基本原理是，利用两个模拟人眼的镜头拍摄景物的双视点图像，在完成拍摄与制作之后，把两个视点的影像同步放映，银幕上同时显示这两个带有略微差别的影像。体感产生的主要原因是左右眼看到的画面不同(左右眼位置不同)，使得画面会有一些差异。左边镜头的影像经过一个横偏振片过滤得到横偏振光，右边镜头的影像经过一个纵偏振片过滤得到纵偏振光。此时用肉眼直接观看，看到的画面是重叠且模糊不清的；如果想看到立体影像，立体眼镜的左眼和右眼需分别装上横偏振片和纵偏振片，横偏振光只能通过横偏振片，纵偏振光只能通过纵偏振片。这样就保证了左边相机拍摄的东西只能进入左眼，右边相机拍摄到的东西只能进入右眼。人脑会对左右眼的影像进行合成，从而让观众看到三维立体效果的视频影像。
人脸识别技术需经过以下流程：人脸图像的采集与预处理、人脸检测、人脸特征提取、人脸识别和活体鉴别。主要方法包括：基于特征点的方法、基于几何特征的方法、基于深度学习的方法、基于支持向量机的方法和其他综合方法。主要应用领域包括：门禁、考勤签到、安防、支付、面部捕捉、AR(视觉增强)换装、AR动态壁纸。
摄像头(彩色RGB摄像头)可配合红外发射器向物体投射调制后的近红外光线，光线照射到物体反射回红外相机，红外相机通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，用于建立骨骼系统并追踪捕捉人体的运动。
蓝牙通信技术是一种短距离无线通信技术，功率级别分CLASS-1100米距离和CLASS-210米距离两种，能在众多支持蓝牙通信的硬件设备之间进行无线信息交换。
目前，观众观影必须佩戴眼镜类型的装置，辅助三维影像在人脑中的合成。虽为观众提供了身临其境的逼真感和立体感，但会过度动用人眼的立体视觉。在观看立体电影时，眼部肌肉的牵动不能完美协同，这就需要人脑对图像做更多的补救处理，导致用脑过度，观众观影体验不佳。因此，需要一种将红外结构光技术、彩色RGB摄像头、人脸识别技术、蓝牙通信技术应用于电影观看的应用技术。
发明内容
科学技术的发展从未停止，电子产品的更新换代也日趋频繁。自2009年，3D电影的上映产生了巨大反响，这让人们意识到电影可以不再局限于2D平面，从而引领了电影的技术革命。但是3D电影技术通常需佩戴3D眼镜作为辅助装置，以帮助观众进行观影体验。这无疑增加了观众在观影过程中的负担，且3D电影会过度动用人眼的立体视觉，加重人脑的处理负担。
为了解决上述技术问题，本发明提出了一种交互式观影方案。该方案基于摄像头与人脸识别算法，通过游戏引擎内预设三维模拟场景内的虚拟摄像头位置来确定观众在三维模拟场景内的位置，通过人脸识别技术确定观众与屏幕之间的相对位置关系与相对运动，可让屏幕不需借助3D眼镜来显示真实且立体的三维物体，实现一种裸眼3D的效果。用户可配合电脑主机利用该装置多角度的观看电影，且不需要佩戴任何辅助设备。观看电影时亦可通过蓝牙互动设备与电影中的情节内容互动，主观的改变电影的内容，给观众带来舒适且简便的智能立体视觉观影体验。
本发明第一方面公开了一种交互式观影方法，所述方法包括：步骤S1、配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；步骤S2、从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；步骤S3、在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；步骤S4、利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；步骤S5、基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
根据本发明第一方面的方法，在所述步骤S1中：经配置的所述虚拟摄影机具有初始位置；所述初始位置为所述三维虚拟场景中的坐标系原点；所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。
根据本发明第一方面的方法，在所述步骤S2中，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。
根据本发明第一方面的方法，在所述步骤S3中，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。
根据本发明第一方面的方法，在所述步骤S4中：将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据；或者在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取所述其他帧图像的时刻对应的人脸深度模型，并基于与提取所述其他帧图像的时刻对应的人脸深度模型，来确定所述观影用户相对于现实坐标系原点的深度位移数据。
根据本发明第一方面的方法，在所述方法中：所述观影用户手持互动蓝牙设备，所述互动蓝牙设备用于获取所述观影用户的手部位移数据并传输所述手部位移数据；利用所述红外发射器和所述红外接收器，确定所述观影用户的手部深度模型，以获取所述观影用户的手部深度数据；基于所述手部位移数据和所述手部深度数据，在所述三维虚拟场景中更新与所述互动蓝牙设备对应的道具的移动状态，从而实现所述互动蓝牙设备与所述三维虚拟场景中的所述交互式影视内容的智能互动。
根据本发明第一方面的方法，所述互动蓝牙设备具有加速度传感器、重力传感器、陀螺仪、定位装置，以获取所述手部位移数据；所述互动蓝牙设备还用于获取所述观影用户设置的互动信息，所述互动信息包括所述观影用户选择的在所述三维虚拟场景中与所述互动蓝牙设备对应的所述道具的类型。
本发明第二方面公开了一种交互式观影系统，所述系统包括：第一处理单元，被配置为，配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；第二处理单元，被配置为，从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；第三处理单元，被配置为，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；第四处理单元，被配置为，利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；第五处理单元，被配置为，基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
根据本发明第二方面的系统，经配置的所述虚拟摄影机具有初始位置；所述初始位置为所述三维虚拟场景中的坐标系原点；所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。
根据本发明第二方面的系统，所述第二处理单元具体被配置为，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。
根据本发明第二方面的系统，所述第三处理单元具体被配置为，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。
根据本发明第二方面的系统，所述第四处理单元具体被配置为，将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据；或者在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取所述其他帧图像的时刻对应的人脸深度模型，并基于与提取所述其他帧图像的时刻对应的人脸深度模型，来确定所述观影用户相对于现实坐标系原点的深度位移数据。
根据本发明第二方面的系统，所述观影用户手持互动蓝牙设备，所述互动蓝牙设备用于获取所述观影用户的手部位移数据并传输所述手部位移数据；所述系统还包括第六处理单元，被配置为，利用所述红外发射器和所述红外接收器，确定所述观影用户的手部深度模型，以获取所述观影用户的手部深度数据；基于所述手部位移数据和所述手部深度数据，在所述三维虚拟场景中更新与所述互动蓝牙设备对应的道具的移动状态，从而实现所述互动蓝牙设备与所述三维虚拟场景中的所述交互式影视内容的智能互动。
根据本发明第二方面的系统，所述互动蓝牙设备具有加速度传感器、重力传感器、陀螺仪、定位装置，以获取所述手部位移数据；所述互动蓝牙设备还用于获取所述观影用户设置的互动信息，所述互动信息包括所述观影用户选择的在所述三维虚拟场景中与所述互动蓝牙设备对应的所述道具的类型。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明第一方面所述的一种交互式观影方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明第一方面所述的一种交互式观影方法中的步骤。
综上，本发明的技术方案为个人观影提供一种新型的观影设施，可让观众在不佩戴任何设备的情况下，仅靠旋转、晃动脸部即可实现3D观影，电影的智能互动内容可让观众同电影中的内容产生互动，从而增强电影的沉浸性、互动性与娱乐性，使普通电影成为真正的互动式电影。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的交互式观影环境的示意图；
图2为根据本发明实施例的一种交互式观影方法的流程图；
图3为根据本发明实施例的一种交互式观影系统的结构图；
图4为根据本发明实施例的互动观影装置的构成示意图；
图5为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一方面公开了一种交互式观影方法。图1为根据本发明实施例的交互式观影环境的示意图；如图1所示，用户所处的交互式观影环境包括：虚拟空间、现实空间、计算机(电影放映设备、摄像头(彩色RGB摄像头、红外摄像头)、互动蓝牙设备等)。图2为根据本发明实施例的一种交互式观影方法的流程图；如图2所示，所述方法包括：
步骤S1、配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；
步骤S2、从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；
步骤S3、在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；
步骤S4、利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；
步骤S5、基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
在步骤S1，配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型。
在一些实施例中，经配置的所述虚拟摄影机具有初始位置；所述初始位置为所述三维虚拟场景中的坐标系原点；所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。
具体地，在游戏引擎内设定好三维模拟场景的内容，在三维模拟场景内设置虚拟摄影机并预先设定虚拟摄影机起始位置。优选的，所述三维模拟场景内包含虚拟摄影机、用于播放电影内容的面片模型、用于与观众互动的影视交互内容，包括模型动画、音频、视频；优选的，所述虚拟摄影机为三维模拟场景内用于模拟现实的摄影机，即用于取景三维场景的程序模块；优选的，预先设定虚拟摄影机起始位置为未匹配观众人脸深度数据前虚拟摄影机在三维模拟场景内的初始位置，其初始位置为三位模拟场景内虚拟坐标系原点。所述三维虚拟场景中的坐标系是由虚拟摄像机所在的三维模拟场景中建立的坐标系，包含X-Y-Z三轴的数据信息。所述现实场景中的坐标系是由摄像头捕捉到的观众人脸在现实世界中的位置建立的坐标系，包含x-y-z三轴的数据信息。
在步骤S2，从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据。
在一些实施例中，在所述步骤S2中，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：
将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。
具体地，电脑主机的屏幕上架设彩色RGB摄像头(以及红外摄像头与接收器，后续用到)，实时获取屏幕前观众人脸的视频流；通过人脸检测，在视频流中提取出现观众完整人脸的第一帧图像，并使用人脸识别算法从第一帧图像中提取所述完整人脸的图像特征(特征点)，进一步将所述完整人脸的图像特征直接传递给目标跟踪算法，在所述其他帧图像中进行人脸的同步跟踪处理，根据近大远小的规律以及观众人脸特征图像的大小变化，记录相对于现实坐标系原点的观众人脸的平面位移数据与角度位移数据(旋转数据)。
所述人脸识别算法基于卷积神经网络包括卷积层、池化层、全连接层和分类层，通过逐层处理的方式有效提取输入图像的特征。其中卷积层通过卷积操作对图像进行特征提取，其卷积计算公式为：
Figure BDA0003378427630000101
其中：
Figure BDA0003378427630000102
代表层神经元i的输出，
Figure BDA0003378427630000103
是第l层神经元的第j个输入对应的权值，Mj表示神经元j对应的卷积核，Bl是第l层的偏置，f是激活函数；池化层主要将图像中不同位置的特征进行聚合，利用图像某区域的特定值表示该区域的整体特征以达到数据降维，其原理公式为：
Figure BDA0003378427630000104
所述目标跟踪算法将得到的特征点集作为目标跟踪算法实例的形状初始值，转换公式如下：
Figure BDA0003378427630000105
其中(X,Y,Z,1)T表示的是RGB相机系中3D面部模型中各特征点的坐标，(u,v,l)T是其在图像平面的投影点，等号右侧第一个矩阵是RGB传感器的内参，第二个矩阵由R|T构成，是由头部姿态得到的旋转矩阵和平移矩阵,用于计算目标的运动。
在步骤S3，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型。
在一些实施例中，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。
具体地，利用红外发射器(红外深度传感器)发射的红外光线经反射回到接收器的时间，算出现实空间与观众面部的深度信息，建立空间与观众脸部的粗模模型，即所述观影用户的人脸深度模型。
在步骤S4，利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据。
在一些实施例中，将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据。
或者在一些实施例中，在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取所述其他帧图像的时刻对应的人脸深度模型，并基于与提取所述其他帧图像的时刻对应的人脸深度模型，来确定所述观影用户相对于现实坐标系原点的深度位移数据。
具体地，记录所述人脸深度模型(作为第二追踪目标)相对于现实坐标系原点的深度移动数据，从而辅助目标跟踪算法的计算。
在步骤S5，基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
具体地，在三维模拟场景内虚拟摄影机的虚拟坐标系三轴添加所述平面位移数据、所述角度位移数据、所述深度位移数据，使虚拟摄影机在三维模拟场景内随观众人脸的运动而运动。
另外，在一些实施例中，所述观影用户手持互动蓝牙设备，所述互动蓝牙设备用于获取所述观影用户的手部位移数据并传输所述手部位移数据；利用所述红外发射器和所述红外接收器，确定所述观影用户的手部深度模型，以获取所述观影用户的手部深度数据；基于所述手部位移数据和所述手部深度数据，在所述三维虚拟场景中更新与所述互动蓝牙设备对应的道具的移动状态，从而实现所述互动蓝牙设备与所述三维虚拟场景中的所述交互式影视内容的智能互动。
另外，在一些实施例中，所述互动蓝牙设备具有加速度传感器、重力传感器、陀螺仪、定位装置，以获取所述手部位移数据；所述互动蓝牙设备还用于获取所述观影用户设置的互动信息，所述互动信息包括所述观影用户选择的在所述三维虚拟场景中与所述互动蓝牙设备对应的所述道具的类型。
具体地，所述互动蓝牙设备集成加速度传感器、重力传感器、陀螺仪等数字传感器，记录互动蓝牙设备在现实空间中的旋转信息与互动信息，旋转信息在目标跟踪算法中换算为虚拟坐标系X-Y-Z轴上的数据(包括位移数据和旋转数据)，通过蓝牙通信协议将位移数据与互动信息发送给电脑主机。
具体地，所述道具(手部互动模型)是在三维模拟场景中的一个三维模型，可发射虚拟灯光照射三维场景，手部互动模型在三维场景内的数据(包括位移数据和旋转数据)通过蓝牙设备与观众手部在现实世界中的数据(包括位移数据和旋转数据)匹配。
具体地，根据红外发射器(红外深度传感器)发射的红外光线经反射回到红外接收器的时间算出的现实空间与观众手部的深度信息，建立空间与观众手部的粗模模型(所述观影用户的手部深度模型)，记录其相对于现实坐标系原点的深度移动数据。
具体地，观众手持定制的互动蓝牙设备，互动蓝牙设备通过蓝牙通信协议的蓝牙无线传输信号向电脑主机传送互动蓝牙设备在现实空间的旋转数据与互动数据，即所述手部位移数据。
具体地，目标跟踪算法计算红外深度传感器反馈的深度移动数据与蓝牙传感器反馈的位移数据，并反馈给三维模拟场景内的手部互动模型的虚拟坐标系X-Y-Z三轴，使观众手持互动蓝牙设备在屏幕前移动，手部互动模型跟随互动蓝牙设备进行运动。
具体地，观众通过互动蓝牙设备的按钮、遥杆等方式通过蓝牙通信协议向电脑主机传输互动数据，手部互动模型根据互动数据做出相应的反应。
本发明第二方面公开了一种交互式观影系统。图3为根据本发明实施例的一种交互式观影系统的结构图；如图3所示，所述系统300包括：第一处理单元301，被配置为，配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；第二处理单元302，被配置为，从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；第三处理单元303，被配置为，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；第四处理单元304，被配置为，利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；第五处理单元305，被配置为，基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
根据本发明第二方面的系统，经配置的所述虚拟摄影机具有初始位置；所述初始位置为所述三维虚拟场景中的坐标系原点；所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。
根据本发明第二方面的系统，所述第二处理单元302具体被配置为，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。
根据本发明第二方面的系统，所述第三处理单元303具体被配置为，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。
根据本发明第二方面的系统，所述第四处理单元304具体被配置为，将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据；或者在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取所述其他帧图像的时刻对应的人脸深度模型，并基于与提取所述其他帧图像的时刻对应的人脸深度模型，来确定所述观影用户相对于现实坐标系原点的深度位移数据。
根据本发明第二方面的系统，所述观影用户手持互动蓝牙设备，所述互动蓝牙设备用于获取所述观影用户的手部位移数据并传输所述手部位移数据；所述系统还包括第六处理单元306，被配置为，利用所述红外发射器和所述红外接收器，确定所述观影用户的手部深度模型，以获取所述观影用户的手部深度数据；基于所述手部位移数据和所述手部深度数据，在所述三维虚拟场景中更新与所述互动蓝牙设备对应的道具的移动状态，从而实现所述互动蓝牙设备与所述三维虚拟场景中的所述交互式影视内容的智能互动。
根据本发明第二方面的系统，所述互动蓝牙设备具有加速度传感器、重力传感器、陀螺仪、定位装置，以获取所述手部位移数据；所述互动蓝牙设备还用于获取所述观影用户设置的互动信息，所述互动信息包括所述观影用户选择的在所述三维虚拟场景中与所述互动蓝牙设备对应的所述道具的类型。
在一实施例中(基于摄像头与人脸识别算法的智能立体互动观影装置，如图4所示)，包括互动蓝牙设备、电脑主机(包括显示屏、摄像头、交互外设：鼠标、键盘、触摸屏)、智能人机互动模块、光学深度信息采集模块、立体视觉渲染和数据处理软件模块、内容呈现模块。
优选的，所述智能人机互动模块，采用彩色RGB摄像头与红外发射器、接收器，包含加速度、重力、陀螺仪等数字传感器的互动蓝牙设备。互动蓝牙设备以蓝牙通信协议的方式与电脑主机通信，将加速度、重力、陀螺仪等数字传感器所检测的数据通过算法，计算为可供手部互动模型做出位移、旋转运动的数据，并将手部互动模型的运动显示出来。
优选的，所述光学深度信息采集模块，包括一枚彩色RGB摄像头、一枚红外发射器与接收器，通过发射近红外光，并收集反射回来的光线采集深度信息生成深度图，利用智能深度摄像算法使用深度图识别出人体骨骼位置(包括头部)，采集含有人脸的图像或视频流。然后采用普通相机生成彩色图，利用人脸识别算法识别计算出人脸位置、旋转与位移数据，并反馈给电脑主机。
优选的，所述摄像头因为精准度问题，在识别人脸的时候，虚拟摄像机会有轻微的旋转和偏移的抖动，这种抖动是因为硬件设备采集的数据有一定的误差。人脸识别算法通过对比当前识别的角度和位置与上一次识别的差值，只有当这个差值大于设定值，才把这次识别当作有效识别应用到相机上，从而消除了虚拟摄像机的抖动。
优选的，所述摄像头识别到人体头部位置的坐标变化程度，与设备到观众人脸的距离有关，当设备距离观众人脸比较近，这个坐标的变化程度就会很小，和真实观众人脸移动的距离有很大偏差。人脸识别算法对采集到的脸部位置变化量进行一个固定值放大，然后再应用到虚拟摄像机上，这种方式可以自由控制相机位置的灵活度。
优选的，所述摄像头识别到观众人脸旋转角度过大，造成摄像头无法识别准确，形成相机抖动时，摄像头需要通过图像识别人脸的旋转信息，当观众人脸旋转过大，摄像头无法从采集到的图像种准确识别到观众人脸，这种情况会造成相机的大幅度抖动，因为摄像头无法计算出观众人脸的准确旋转，例如人脸背对深度摄像设备的时候，摄像头并不能判断人脸的角度。这种情况下，人脸识别算法可以主动限制旋转角度，例如头部向左旋转超过60度，把之后的数据全部当作无效数据，从而有效避免摄像头对观众进行人脸识别时目标丢失。
优选的，所述立体视觉渲染和数据处理软件模块，包含一台电脑主机，采用多线程的方式进行渲染与数据处理。每个线程中，CPU用于三维场景的加载、用户互动信息的数据处理与反馈，GPU用于三维场景的渲染、视频的播放、人脸识别的并行浮点运算。根据人脸识别算法计算得出的虚拟摄像机的坐标数据，匹配虚拟摄像机在虚拟坐标系的位置、位移和旋转数据，并将数据发送给内容展示模块。
优选的，所述内容呈现模块为摄像头与视觉算法的智能立体互动观影装置的内容展示模块，包含一台显示器，用于在观众在看电影的过程中脸部产生位移、旋转等变化和观众与电影内容进行互动操作时显示电影画面内容的变化。
具体地，光学深度信息采集模块采用集成红外发射器、接收器与彩色摄像头的设备,采集深度信息生成深度图，利用智能深度摄像算法使用深度图识别出人体骨骼位置(包括头部)，采集含有人脸的图像或视频流。然后采用普通相机生成彩色图，利用人脸识别算法识别计算出人脸旋转与位移。并将采集到的人脸的旋转与位移数据反馈至立体视觉渲染和数据处理软件模块。
具体地，智能人机互动模块采用加速度传感器、重力传感器、陀螺仪等数字传感器组成的互动蓝牙设备收集用户手部的旋转数据，通过红外深度传感器、彩色RGB摄像头将收集观众手部的位移数据，并将观众手部在现实空间中的位移、旋转运动计算为手部互动模型的运动数据，反馈至立体视觉渲染和数据处理软件模块。
具体地，立体视觉渲染和数据处理软件模块将采用高性能计算机主机与游戏引擎进行驱动，收集上述两个模块的反馈过来的信息，并采用多线程的方式进行渲染与数据处理。每个线程中，CPU用于三维场景的加载、用户互动信息的数据处理与反馈，GPU用于三维场景的渲染、视频的播放、人脸识别的并行浮点运算。
具体地，内容呈现模块是摄像头与视觉算法的智能立体互动观影装置的内容展示模块。采用一块电脑显示屏，用于展示观众个人观影的内容。
具体地，将三维模拟场景、视频、可视化交互等技术应用在内容呈现模块中。包含分层的3D立体视频、三维模型、智能互动内容，利用GPU并行浮点计算提取人脸的位移与旋转信息，将其坐标偏移值赋予到游戏引擎的虚拟摄像机中，虚拟摄像机置于一个三维智能影像互动场景内。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明第一方面所述的一种交互式观影方法中的步骤。
图5为根据本发明实施例的一种电子设备的结构图；如图5所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明第一方面所述的一种交互式观影方法中的步骤。
综上，本发明的技术方案为个人观影提供一种新型的观影设施，可让观众在不佩戴任何设备的情况下，仅靠旋转、晃动脸部即可实现3D观影，电影的智能互动内容可让观众同电影中的内容产生互动，从而增强电影的沉浸性、互动性与娱乐性，使普通电影成为真正的互动式电影。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种交互式观影方法，其特征在于，所述方法包括：
步骤S1、配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；
步骤S2、从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；
步骤S3、在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；
步骤S4、利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；
步骤S5、基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
2.根据权利要求1所述的一种交互式观影方法，其特征在于，在所述步骤S1中：
经配置的所述虚拟摄影机具有初始位置；
所述初始位置为所述三维虚拟场景中的坐标系原点；
所述三维虚拟场景中的坐标系原点与现实场景中的坐标系原点对应。
3.根据权利要求2所述的一种交互式观影方法，其特征在于，在所述步骤S2中，利用人脸识别算法从所述人脸数据中提取所述第一帧图像，所述第一帧图像用于确定所述完整人脸的图像特征，并基于所述图像特征，从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据，所述第一帧图像与所述其他帧图像为连续帧图像；具体包括：
将所述第一帧图像中的完整人脸作为第一追踪目标，基于所述图像特征，利用目标追踪算法在所述其他帧图像中追踪所述第一追踪目标，以获取所述第一追踪目标在所述其他帧图像中的位置信息；
根据所述位置信息确定所述观影用户相对于所述现实场景中的坐标系原点的平面位移数据和角度位移数据。
4.根据权利要求3所述的一种交互式观影方法，其特征在于，在所述步骤S3中，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，所述红外光束经反射后被红外接收器接收，以根据发射所述红外光束和接收所述红外光束的时间间隔，生成所述观影用户的人脸深度模型。
5.根据权利要求4所述的一种交互式观影方法，其特征在于，在所述步骤S4中：
将所述人脸深度模型作为第二追踪目标，利用所述目标追踪算法在所述其他帧图像中确定所述观影用户相对于所述现实坐标系原点的深度位移数据；或者
在提取所述其他帧图像的时刻，利用所述红外发射器和所述红外接收器获取与提取所述其他帧图像的时刻对应的人脸深度模型，并基于与提取所述其他帧图像的时刻对应的人脸深度模型，来确定所述观影用户相对于现实坐标系原点的深度位移数据。
6.根据权利要求4或5所述的一种交互式观影方法，其特征在于，在所述方法中：
所述观影用户手持互动蓝牙设备，所述互动蓝牙设备用于获取所述观影用户的手部位移数据并传输所述手部位移数据；
利用所述红外发射器和所述红外接收器，确定所述观影用户的手部深度模型，以获取所述观影用户的手部深度数据；
基于所述手部位移数据和所述手部深度数据，在所述三维虚拟场景中更新与所述互动蓝牙设备对应的道具的移动状态，从而实现所述互动蓝牙设备与所述三维虚拟场景中的所述交互式影视内容的智能互动。
7.根据权利要求6所述的一种交互式观影方法，其特征在于：
所述互动蓝牙设备具有加速度传感器、重力传感器、陀螺仪、定位装置，以获取所述手部位移数据；
所述互动蓝牙设备还用于获取所述观影用户设置的互动信息，所述互动信息包括所述观影用户选择的在所述三维虚拟场景中与所述互动蓝牙设备对应的所述道具的类型。
8.一种交互式观影系统，其特征在于，所述系统包括：
第一处理单元，被配置为，配置三维虚拟场景，所述三维虚拟场景包括虚拟摄影机、交互式影视内容、用于播放所述交互式影视内容的面片模型；
第二处理单元，被配置为，从图像采集器获取的观影用户的人脸数据中提取包含所述观影用户的完整人脸的第一帧图像，并从包含所述完整人脸的其他帧图像中确定所述观影用户的平面位移数据和角度位移数据；
第三处理单元，被配置为，在提取所述第一帧图像的时刻，触发红外发射器向所述观影用户发射红外光束，以生成所述观影用户的人脸深度模型；
第四处理单元，被配置为，利用所述人脸深度模型，确定基于所述其他帧图像的所述观影用户相对于现实坐标系原点的深度位移数据；
第五处理单元，被配置为，基于所述平面位移数据、所述角度位移数据、所述深度位移数据，所述虚拟摄影机在所述三维虚拟场景中更新通过所述面片模型呈现给所述观影用户的所述交互式影视内容。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的一种交互式观影方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的一种交互式观影方法中的步骤。
CN202111424279.2A 2021-11-26 2021-11-26 一种交互式观影方法和系统 Pending CN114998553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111424279.2A CN114998553A (zh) 2021-11-26 2021-11-26 一种交互式观影方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424279.2A CN114998553A (zh) 2021-11-26 2021-11-26 一种交互式观影方法和系统

Publications (1)

Publication Number Publication Date
CN114998553A true CN114998553A (zh) 2022-09-02

Family

ID=83018864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424279.2A Pending CN114998553A (zh) 2021-11-26 2021-11-26 一种交互式观影方法和系统

Country Status (1)

Country Link
CN (1) CN114998553A (zh)

Similar Documents

Publication Publication Date Title
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN102959616B (zh) 自然交互的交互真实性增强
US20140176591A1 (en) Low-latency fusing of color image data
US20070076090A1 (en) Device for generating three dimensional surface models of moving objects
US20110159957A1 (en) Portable type game device and method for controlling portable type game device
WO2019062056A1 (zh) 一种智能投影方法、系统及智能终端
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
US20190355172A1 (en) Synthesis of composite images having virtual backgrounds
KR20150080003A (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
CN107145822B (zh) 偏离深度相机的用户体感交互标定的方法和系统
CN206378680U (zh) 基于结构光多模块360度空间扫描和定位的3d相机
CN104883561A (zh) 三维全景显示方法和头戴式显示设备
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
CN112288876A (zh) 远距离ar识别服务器及系统
US20220358724A1 (en) Information processing device, information processing method, and program
JP2017046065A (ja) 情報処理装置
CN116109974A (zh) 体积视频展示方法以及相关设备
CN114998553A (zh) 一种交互式观影方法和系统
CN108628447A (zh) 一种医学影像ar显示系统
JP6467039B2 (ja) 情報処理装置
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
WO2022246804A1 (zh) 视线追踪方法、装置及系统
CN114387388A (zh) 一种近景三维人脸重建装置
CN117745982A (zh) 录制视频的方法、装置、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination