CN116954383B - 一种基于ar的对象交互展示方法及系统 - Google Patents

一种基于ar的对象交互展示方法及系统 Download PDF

Info

Publication number
CN116954383B
CN116954383B CN202311212430.5A CN202311212430A CN116954383B CN 116954383 B CN116954383 B CN 116954383B CN 202311212430 A CN202311212430 A CN 202311212430A CN 116954383 B CN116954383 B CN 116954383B
Authority
CN
China
Prior art keywords
user
camera
image
environment
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311212430.5A
Other languages
English (en)
Other versions
CN116954383A (zh
Inventor
魏春玲
魏萌
何斌
魏子翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Internet Of Things Beijing Technology Co ltd
Original Assignee
China Internet Of Things Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Internet Of Things Beijing Technology Co ltd filed Critical China Internet Of Things Beijing Technology Co ltd
Priority to CN202311212430.5A priority Critical patent/CN116954383B/zh
Publication of CN116954383A publication Critical patent/CN116954383A/zh
Application granted granted Critical
Publication of CN116954383B publication Critical patent/CN116954383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明公开了一种基于AR的对象交互展示方法及系统，涉及AR技术领域，包括初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；通过手势识别模块采集用户的交互指令；根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化。本发明所述方法能够确保在各种光照条件和角度下都能获得高质量的图像，提高了图像识别的准确性和稳定性，从而提高了AR体验的流畅性和真实感，并且能够实时获取场景信息，为用户提供更加丰富和准确的AR内容，实时响应环境变化，使AR内容与真实世界更加和谐地融合。

Description

一种基于AR的对象交互展示方法及系统
技术领域
本发明涉及AR技术领域，特别是一种基于AR的对象交互展示方法及系统。
背景技术
AR技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。目前，AR技术可以应用在博物馆进行文物展示。
然而，若图像采集模块所处场景的环境光较弱、过强或者采集角度不佳，则图像识别模块识别该图像采集模块采集到的当前图像可能会失败，这样，图像识别模块无法识别出目标对象，从而AR展示模块无法获取到目标对象对应的相关信息，并无法基于目标对象的位置对该相关信息进行展示。
发明内容
鉴于上述现有的基于AR的对象交互展示方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种基于AR的对象交互展示方法。
为解决上述技术问题，本发明提供如下技术方案：一种基于AR的对象交互展示方法，其包括，初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；通过手势识别模块采集用户的交互指令；根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：所述根据当前环境光强度和采集角度动态调整相机参数包括如下步骤，
根据相机的当前位置和方向，确定相机对拍摄对象的当前视场角θ1；
调整相机的位置，使相机对拍摄对象的当前视场角θ1调整为视场角目标值θ2；
获取相机对所述拍摄对象的球谐函数系数，得到当前时刻相机可视范围内的环境光照强度IA；
基于所述环境光照强度IA，计算曝光值目标值，公式如下，
式中，EA为曝光值目标值，ISO为相机感光度，SH为相机快门速度；
根据所述曝光值目标值，调整相机参数。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：所述视场角目标值θ2为104°。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：使用计算机视觉算法进行图像处理和分析，获取实时场景信息包括，
对环境图像进行预处理；
通过SURF算法对预处理后的环境图像进行特征点检测和匹配；
基于所述特征点生成点云模型，使用RANSAC算法进行三维场景重建；
在重建的三维场景中，使用预训练的神经网络模型进行对象识别，获取实时场景信息。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：所述通过SURF算法对预处理后的环境图像进行特征点检测是基于Hessian矩阵的行列式来进行局部特征检测，将Hessian矩阵在环境图像中的一个点表示为二阶导数组成的矩阵，在二维环境图像中，Hessian矩阵定义如下，
式中，Lxx(x，y)是指环境图像在点 (x,y) 处的二阶X方向导数，Lxy(x，y)是指环境图像在点 (x,y) 处的二阶Y方向导数，Lyy(x，y)是指环境图像在点 (x,y) 处的X方向和Y方向的混合导数。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：使用RANSAC算法进行三维场景重建包括如下步骤，
随机选择一个数据子集，并通过所述数据子集估计模型；
通过估计的模型计算所有数据点的误差；
根据设定误差阈值确定内点，若当前模型的内点数量超过之前的模型，则将当前模型作为重建的三维场景模型，其中在确定内点时，通过如下步骤进行计算，
式中，（xi，yi，Zi）是点云中的第i个点的坐标，A、B、C是拟合模型的参数，E是误差，n为点云中点的总数；
重复上述步骤直到达到预定的迭代次数。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：所述通过手势识别模块采集用户的交互指令包括，
通过RGB-D相机和骨骼跟踪算法实时跟踪用户的手部骨骼动作；
通过预定义的手势识别规则库将其转换为特定的交互指令；
视线追踪模块通过计算眼球的偏转角度和头部的方向来确定用户的视线方向，进一步解析用户的关注点。
作为本发明所述基于AR的对象交互展示方法的一种优选方案，其中：所述优化包括如下步骤，
利用在线反馈系统收集用户对AR环境和交互效果的评价；
结合用户交互的历史数据，使用强化学习算法来调整预定义的交互规则和效果，以优化用户体验；
采用了强化学习的Q-Learning算法进行优化，
其中，Q(s,a)是指在状态s下采取动作a获得的预期回报，α是学习速率，r是实际获得的立即回报，γ是折扣因子，表示未来回报的重要程度，maxQ(s',a')是在新状态s'下可以获得的最大预期回报。
一种基于AR的对象交互展示系统，包括：相机参数调整模块，用于初始化AR环境，并根据当前环境光强度动态调整相机参数；图像采集模块，用于采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；交互模块，用于通过手势识别模块采集用户的交互指令，并根据用户的交互指令，动态调整AR环境的内容和布局；优化模块，用于根据用户交互指令相关的反馈，对系统进行优化。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现一种计及需求响应的虚拟电厂热电联合优化所述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种计及需求响应的虚拟电厂热电联合优化所述的方法的步骤。
本发明有益效果为：能够确保在各种光照条件和角度下都能获得高质量的图像，提高了图像识别的准确性和稳定性，从而提高了AR体验的流畅性和真实感，并且能够实时获取场景信息，为用户提供更加丰富和准确的AR内容，实时响应环境变化，使AR内容与真实世界更加和谐地融合。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为实施例1中基于AR的对象交互展示方法的场景图；
图2为实施例1中基于AR的对象交互展示方法的采集场景视场角示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1和图2，为本发明第一个实施例，该实施例提供了一种基于AR的对象交互展示方法，基于AR的对象交互展示方法包括：
S1、初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；
S2、通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；
S3、通过手势识别模块采集用户的交互指令；
S4、根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化。
其中，在步骤S1中，所述根据当前环境光强度和采集角度动态调整相机参数包括如下步骤，
根据相机的当前位置和方向，确定相机对拍摄对象的当前视场角θ1；
调整相机的位置，使相机对拍摄对象的当前视场角θ1调整为视场角目标值θ2；
获取相机对所述拍摄对象的球谐函数系数，得到当前时刻相机可视范围内的环境光照强度IA；
基于所述环境光照强度IA，计算曝光值目标值，公式如下，
式中，EA为曝光值目标值，ISO为相机感光度，SH为相机快门速度；
根据所述曝光值目标值，调整相机参数。
需要说明的是，本发明提出了一种新的自动曝光调整方法，该方法基于Unity的光照探针（Lightprobe）技术。光照探针（Lightprobe）是以四面体网格存储的场景间接漫反射光照（GI）的球谐函数系数（SH）。当渲染器处于GI SH网格中时，可以通过采样SH四边形网格并进行插值来获得渲染器当前位置的间接光SH值，若在场景中的某个位置对一个方向采样球谐函数系数（SH），得到的数值就是这个位置采样方向上半球内场景亮度的余弦积分，这一点与场景某一位置看到的平均亮度有非常强的相关性，也即采样的球谐函数系数（SH）可以表示为场景中某一点在某一方向上的平均亮度。
本发明将传统的采屏幕亮度方法替换为采场景摄像机位置视线上的SH值，可以高效地获得场景的平均亮度，并据此调整曝光值。
优选的，所述视场角目标值θ2为104°，在采样方向的半球视域内，亮度的计算是基于余弦积分的加权平均，这意味着当光源更接近采样方向时，其权重会更大；而与采样方向垂直的光源权重接近于0。从数值角度看，某一方向上的球谐函数系数（SH）值可以被视为该方向内一个特定球面角的光源平均值。
在多次实验后，当视场角目标值θ2为104°时，可观测区域的积分值超过了整个半球内积分值的85%，如图2所示，因此可以将该角度观测下的环境光照强度作为观测图像的平均亮度。
进一步的，在步骤S2中，使用计算机视觉算法进行图像处理和分析，获取实时场景信息包括，
对环境图像进行预处理；
通过SURF算法对预处理后的环境图像进行特征点检测和匹配；
基于所述特征点生成点云模型，使用RANSAC算法进行三维场景重建；
在重建的三维场景中，使用预训练的神经网络模型进行对象识别，获取实时场景信息。
其中所述通过SURF算法对预处理后的环境图像进行特征点检测是基于Hessian矩阵的行列式来进行局部特征检测，将Hessian矩阵在环境图像中的一个点表示为二阶导数组成的矩阵，在二维环境图像中，Hessian矩阵定义如下，
式中，Lxx(x，y)是指环境图像在点 (x,y) 处的二阶X方向导数，Lxy(x，y)是指环境图像在点 (x,y) 处的二阶Y方向导数，Lyy(x，y)是指环境图像在点 (x,y) 处的X方向和Y方向的混合导数。
使用RANSAC算法进行三维场景重建包括如下步骤，
随机选择一个数据子集，并通过所述数据子集估计模型；
通过估计的模型计算所有数据点的误差；
根据设定误差阈值确定内点，若当前模型的内点数量超过之前的模型，则将当前模型作为重建的三维场景模型，其中在确定内点时，通过如下步骤进行计算，
式中，（xi，yi，Zi）是点云中的第i个点的坐标，A、B、C是拟合模型的参数，E是误差，n为点云中点的总数，当误差低于设定误差阈值时，将该点视为当前模型的一个内点；
重复上述步骤直到达到预定的迭代次数。
优选的，所述通过手势识别模块采集用户的交互指令包括，
通过RGB-D相机和骨骼跟踪算法实时跟踪用户的手部骨骼动作；
通过预定义的手势识别规则库将其转换为特定的交互指令；
视线追踪模块通过计算眼球的偏转角度和头部的方向来确定用户的视线方向，进一步解析用户的关注点。
优选的，所述优化包括如下步骤，
利用在线反馈系统收集用户对AR环境和交互效果的评价；
结合用户交互的历史数据，使用强化学习算法来调整预定义的交互规则和效果，以优化用户体验；
采用了强化学习的Q-Learning算法进行优化，
其中，Q(s,a)是指在状态s下采取动作a获得的预期回报，α是学习速率，r是实际获得的立即回报，γ是折扣因子，表示未来回报的重要程度，maxQ(s',a')是在新状态s'下可以获得的最大预期回报。
在一优选实施例中，提供了一种基于AR的对象交互展示系统，该系统包括相机参数调整模块，用于初始化AR环境，并根据当前环境光强度动态调整相机参数；图像采集模块，用于采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；交互模块，用于通过手势识别模块采集用户的交互指令，并根据用户的交互指令，动态调整AR环境的内容和布局；优化模块，用于根据用户交互指令相关的反馈，对系统进行优化。
实施例2
本发明第二个实施例，其不同于上一个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
实施例3
为本发明的第三个实施例，为了验证本发明的有益效果，通过实验进行科学论证，试验数据如表1和表2所述。
表1 曝光对比实验数据
从表1中明显可以看出，我方发明无论在亮度误差、曝光调整速度、CPU占用以及内存占用方面均优于传统的自动曝光方法。
表2 传统AR展示方法和本发明方法对比实验数据
表2是在相同的场景、对象和交互条件下，本发明所述方法与传统AR展示方法进行的实验对比，可以明显发现，本发明所述方法的交互响应时间更短，对象识别更加准确，并且根据环境光照调整AR对象的亮度也更加准确，具有更高的用户满意度。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于AR的对象交互展示方法，其特征在于：包括，
初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；
通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；
通过手势识别模块采集用户的交互指令；
根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化；
所述根据当前环境光强度和采集角度动态调整相机参数包括如下步骤，
根据相机的当前位置和方向，确定相机对拍摄对象的当前视场角θ1；
调整相机的位置，使相机对拍摄对象的当前视场角θ1调整为视场角目标值θ2；
获取相机对所述拍摄对象的球谐函数系数，得到当前时刻相机可视范围内的环境光照强度IA；
基于所述环境光照强度IA，计算曝光值目标值，公式如下，
；
式中，EA为曝光值目标值，ISO为相机感光度，SH为相机快门速度；
根据所述曝光值目标值，调整相机参数；
所述视场角目标值θ2为104°；
使用计算机视觉算法进行图像处理和分析，获取实时场景信息包括，
对环境图像进行预处理；
通过SURF算法对预处理后的环境图像进行特征点检测和匹配；
基于所述特征点生成点云模型，使用RANSAC算法进行三维场景重建；
在重建的三维场景中，使用预训练的神经网络模型进行对象识别，获取实时场景信息；
所述通过SURF算法对预处理后的环境图像进行特征点检测是基于Hessian矩阵的行列式来进行局部特征检测，将Hessian矩阵在环境图像中的一个点表示为二阶导数组成的矩阵，在二维环境图像中，Hessian矩阵定义如下，
；
式中，Lxx(x，y)是指环境图像在点 (x,y) 处的二阶X方向导数，Lxy(x，y)是指环境图像在点 (x,y) 处的二阶Y方向导数，Lyy(x，y)是指环境图像在点 (x,y) 处的X方向和Y方向的混合导数；
使用RANSAC算法进行三维场景重建包括如下步骤，
随机选择一个数据子集，并通过所述数据子集估计模型；
通过估计的模型计算所有数据点的误差；
根据设定误差阈值确定内点，若当前模型的内点数量超过之前的模型，则将当前模型作为重建的三维场景模型，其中在确定内点时，通过如下步骤进行计算，
；
式中，（xi，yi，Zi）是点云中的第i个点的坐标，A、B、C是拟合模型的参数，E是误差，n为点云中点的总数；
重复上述步骤直到达到预定的迭代次数。
2.如权利要求1所述的基于AR的对象交互展示方法，其特征在于：所述通过手势识别模块采集用户的交互指令包括，
通过RGB-D相机和骨骼跟踪算法实时跟踪用户的手部骨骼动作；
通过预定义的手势识别规则库将其转换为特定的交互指令；
视线追踪模块通过计算眼球的偏转角度和头部的方向来确定用户的视线方向，进一步解析用户的关注点。
3.如权利要求2所述的基于AR的对象交互展示方法，其特征在于：所述优化包括如下步骤，
利用在线反馈系统收集用户对AR环境和交互效果的评价；
结合用户交互的历史数据，使用强化学习算法来调整预定义的交互规则和效果，以优化用户体验；
采用了强化学习的Q-Learning算法进行优化，
Q(s,a) = (1-α)*Q(s,a) + α*(r + γ*maxQ(s',a'))
其中，Q(s,a)是指在状态s下采取动作a获得的预期回报，α是学习速率，r是实际获得的立即回报，γ是折扣因子，表示未来回报的重要程度，maxQ(s',a')是在新状态s'下可以获得的最大预期回报。
4.一种采用如权利要求1~3任一所述的基于AR的对象交互展示方法的系统，其特征在于：包括，
相机参数调整模块，用于初始化AR环境，并根据当前环境光强度动态调整相机参数；
图像采集模块，用于采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；
交互模块，用于通过手势识别模块采集用户的交互指令，并根据用户的交互指令，动态调整AR环境的内容和布局；
优化模块，用于根据用户交互指令相关的反馈，对系统进行优化。
CN202311212430.5A 2023-09-20 2023-09-20 一种基于ar的对象交互展示方法及系统 Active CN116954383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311212430.5A CN116954383B (zh) 2023-09-20 2023-09-20 一种基于ar的对象交互展示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311212430.5A CN116954383B (zh) 2023-09-20 2023-09-20 一种基于ar的对象交互展示方法及系统

Publications (2)

Publication Number Publication Date
CN116954383A CN116954383A (zh) 2023-10-27
CN116954383B true CN116954383B (zh) 2023-12-12

Family

ID=88460512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311212430.5A Active CN116954383B (zh) 2023-09-20 2023-09-20 一种基于ar的对象交互展示方法及系统

Country Status (1)

Country Link
CN (1) CN116954383B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN112640421A (zh) * 2020-03-18 2021-04-09 深圳市大疆创新科技有限公司 曝光方法、装置、拍摄设备、可移动平台和存储介质
CN113687715A (zh) * 2021-07-20 2021-11-23 温州大学 基于计算机视觉的人机交互系统及交互方法
CN115439171A (zh) * 2022-08-04 2022-12-06 阿里巴巴（中国）有限公司 商品信息展示方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN112640421A (zh) * 2020-03-18 2021-04-09 深圳市大疆创新科技有限公司 曝光方法、装置、拍摄设备、可移动平台和存储介质
CN113687715A (zh) * 2021-07-20 2021-11-23 温州大学 基于计算机视觉的人机交互系统及交互方法
CN115439171A (zh) * 2022-08-04 2022-12-06 阿里巴巴（中国）有限公司 商品信息展示方法、装置及电子设备

Also Published As

Publication number Publication date
CN116954383A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US10665011B1 (en) Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
US11037274B2 (en) Denoising Monte Carlo renderings using progressive neural networks
US10529137B1 (en) Machine learning systems and methods for augmenting images
US9552668B2 (en) Generation of a three-dimensional representation of a user
US20180012411A1 (en) Augmented Reality Methods and Devices
US9036898B1 (en) High-quality passive performance capture using anchor frames
WO2019135935A1 (en) Systems and methods for rendering avatars with deep appearance models
Wu et al. Wide-range, person-and illumination-insensitive head orientation estimation
CN106796449A (zh) 视线追踪方法及装置
CN110634116B (zh) 一种面部图像评分方法及摄像机
CN109144252B (zh) 对象确定方法、装置、设备和存储介质
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
US20230027890A1 (en) Systems and methods for physically-based neural face shader via volumetric lightmaps
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
Li et al. EyeNeRF: a hybrid representation for photorealistic synthesis, animation and relighting of human eyes
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
Ma et al. Neural compositing for real-time augmented reality rendering in low-frequency lighting environments
CN116954383B (zh) 一种基于ar的对象交互展示方法及系统
Marques et al. Deep Light Source Estimation for Mixed Reality.
US20210158565A1 (en) Pose selection and animation of characters using video data and training techniques
Wang et al. Style transformed synthetic images for real world gaze estimation by using residual neural network with embedded personal identities
DE102017131364A1 (de) Zwanglose erscheinungs-basierte blickschätzung
Jian et al. Realistic face animation generation from videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant