CN115840507A - 一种基于3d图像控制的大屏设备交互方法 - Google Patents
一种基于3d图像控制的大屏设备交互方法 Download PDFInfo
- Publication number
- CN115840507A CN115840507A CN202211642435.7A CN202211642435A CN115840507A CN 115840507 A CN115840507 A CN 115840507A CN 202211642435 A CN202211642435 A CN 202211642435A CN 115840507 A CN115840507 A CN 115840507A
- Authority
- CN
- China
- Prior art keywords
- point
- hand
- dimensional
- points
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 title claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 16
- 230000002146 bilateral effect Effects 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于3D图像控制的大屏设备交互方法,包括如下步骤:对于任意手指,采集任意手指的三维数据信息;预先构建神经网络模型,利用训练数据集输入神经网络模型,训练神经网络模型;将手部的三维模型转换为手部三维点云,以及构建虚拟目标的目标三维点云,利用预设双边滤波器,去除目标三维点云中的异常值,以及利用改进的高斯加权函数对邻近点进行加权;计算手部三维点云、以及目标三维点云的各点的法向量;采样各点的法向量,以获得关键点,以估计两个点云之间的对应关系,实现手部与虚拟目标之间的匹配,实现手势交互。本申请实施例的方法能够实现演示过程中一并将手部与虚拟目标之间的交互过程进行展示,提高交互过程的直观性。
Description
技术领域
本申请涉及数据建模技术领域,尤其涉及一种基于3D图像控制的大屏设备交互方法。
背景技术
为突破平面显示的局限性,近年3D显示技术有了显著的发展,同时也诞生了各种各样的3D交互方案。但这些方案大多只是将显示画面由传统的平面显示转换为3D显示,并未完全考虑到3D显示状态下的交互问题。
一种示例性的演示场景下,演示文稿指的是把静态文件制作成动态文件浏览,把复杂的问题变的通俗易懂,使之更会生动,给人留下更为深刻印象的幻灯片。一套完整的演示文稿文件一般包含:片头动画、PPT封面、前言、目录、过渡页、图表页、图片页、文字页、封底、片尾动画等。“微软powerpoint演示文稿”、”wps演示文稿”是常用的演示文稿软件,其编辑生成的文档叫演示文稿,每一页叫幻灯片。基本的原理都是在每一页的多个窗口中添加需要的文字、图片、图像等元素,辅以简单的动画来完成文稿演示。它们是目前使用较广的文档演示软件,但通常只支持2D图形图像元素及2D动画。“微软powerpoint演示文稿”、“wps演示”多用于会议演示、产品演示等,但通常只支持2D图形图像元素和2D动画或简单的三维模型三维动画,其内部的数据只能实时编辑,无法实现无编程外部数据的实时接入及社交媒体信息实时融合,更加无法实现无编程虚拟仿真、交互。因此可视化的效果不佳,且若需要实现虚拟仿真及数据可视化则需要进行编程,技术门槛较高,制作效率低。
在演示场景下,演示者更希望能够一并将交互的过程展现给观众,提高演示过程的直观性,但现有的方案无法完全解决上述技术问题。
发明内容
本申请实施例提供一种基于3D图像控制的大屏设备交互方法,实现演示过程中一并将手部与虚拟目标之间的交互过程进行展示,提高交互过程的直观性。
本申请实施例提出一种基于3D图像控制的大屏设备交互方法,用于实现与虚拟目标之间的3D手势交互,包括如下步骤:
基于各手指的关节点,对于任意手指,采集所述任意手指的三维数据信息,并将所述三维数据信息编码为四元格式,按照关节点的顺序,构建训练数据集,其中,所述四元格式包括所述任意手指各关节点的延伸方向,以及各关节点的延伸方向;
预先构建神经网络模型,所述神经网络模型末端包括设置有逐点卷积层,利用所述训练数据集输入所述神经网络模型,训练所述神经网络模型,在训练过程中基于所述逐点卷积层的输出与输入数据之间进行合并操作,训练完成后获得所需的手部的三维模型;
将所述手部的三维模型转换为手部三维点云,以及构建虚拟目标的目标三维点云,利用预设双边滤波器,去除所述目标三维点云中的异常值,以及利用改进的高斯加权函数对邻近点进行加权;
计算所述手部三维点云、以及所述目标三维点云的各点的法向量;
采样各点的法向量,以获得关键点,并基于采样获得的关键点计算手部三维点云以及目标三维点云的特征描述符,以估计两个点云之间的对应关系,以实现手部与虚拟目标之间的匹配;
基于所述四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,以带动所述虚拟目标进行运动,实现手势交互。
可选的,预先构建的神经网络模型包括顺次设置逐通道卷积层、跨通道注意力机制(SE)模块层、通道混淆操作以及所述逐点卷积层,其中所述SE模块层包括并列设置的:
第一分支,不执行计算,直接与所述第二分支的结果进行合并操作;
第二分支,包括顺次设置的全局池化层、全连接层、全连接层和Sigmoid激活函数,不同通道的特征赋予对应的权重值。
可选的,还包括构建如下损失函数,以训练所述神经网络模型:
运动学函数与四元格式三维数据的三维坐标点之间的损失值:L1=||δP-FK(δ)||2,其中FK()表示运动学函数;
归一化约束损失:L2=|1-||δ||2|;
四元格式三维数据之间的距离差值损失:LD1=1-(δP×δ-1);
四元格式三维数据之间的距离差值损失:LD2=||δP-δ||2;
总约束损失满足L=L1+L2+LD1+LD2。
可选的,预设双边滤波器满足:
可选的,利用改进的高斯加权函数对邻近点进行加权包括:
||h||2=1
其中,h是当前点u的法向量,γ(x)=x-r表示高斯权重。
可选的,估计两个点云之间的对应关系,以实现手部与虚拟目标之间的匹配包括:
识别手部的局部坐标系与虚拟目标的全局坐标系之间的转换矩阵,并基于指定的附着点,通过点对点的误差度量计算出手部与虚拟目标之间的转换,获得旋转矩阵和平移矩阵;
引入迭代最近点算法确定最优的转换,完成变换估计。
可选的,基于所述四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,以带动所述虚拟目标进行运动包括:
在手部运动过程中,按照关节点的顺序,分别确定各关节点、延伸方向的变化量,以确定各手指以及手部的整体运动趋势;
基于所述附着点以及确定的手部的整体运动趋势,带动所述虚拟目标进行运动。
本申请一种计算机设备,包括,处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如前述的基于3D图像控制的大屏设备交互方法的步骤。
本申请实施例话提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述的基于3D图像控制的大屏设备交互方法的步骤。
本申请实施例的大屏设备交互方法,能够实现演示过程中一并将手部与虚拟目标之间的交互过程进行展示,提高交互过程的直观性。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本实施例的基于3D图像控制的大屏设备交互方法的基本流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请实施例提出一种基于3D图像控制的大屏设备交互方法,用于实现与虚拟目标之间的3D手势交互,如图1所示,包括如下步骤:
在步骤S101中,基于各手指的关节点,对于任意手指,采集所述任意手指的三维数据信息,并将所述三维数据信息编码为四元格式,按照关节点的顺序,构建训练数据集,其中,所述四元格式包括所述任意手指各关节点的延伸方向,以及各关节点的延伸方向。例如具体四元格式可以满足:
ω=[ψ,χ,ψref,χref]
其中ψ代表根部关节点的位置信息,χ代表根部关节点所在的部分手指的延伸方向,ψref代表手指其余关节点的位置所在信息,χref代表手指其余关节点所在的延伸方向。
在步骤S102中,预先构建神经网络模型,所述神经网络模型末端包括设置有逐点卷积层,利用所述训练数据集输入所述神经网络模型,训练所述神经网络模型,在训练过程中基于所述逐点卷积层的输出与输入数据之间进行合并操作,训练完成后获得所需的手部的三维模型。在一些实施例中,预先构建的神经网络模型包括顺次设置逐通道卷积层、跨通道注意力机制(SE)模块层、通道混淆操作以及所述逐点卷积层。设计逐通道卷积可以有效减少计算量,从而提升模型的训练收敛速度,并提高模型的推理构建。其中所述SE模块层用于为不同通道的特征完成不同权重的赋值,SE模块层包括并列设置的:
第一分支,不执行计算,直接与所述第二分支的结果进行合并操作;
第二分支,包括顺次设置的全局池化层、全连接层、全连接层和Sigmoid激活函数,不同通道的特征赋予对应的权重值。也即本实施例中,第二分支通过全局池化层,进行通道的降维和压缩,然后连续通过2个全连接层,最后通过Sigmoid激活函数,实现不同通道的权值计算。
在一些具体示例中,在逐通道卷积层之前还可以设置一个大小为3×3的普通卷积层,用以通过卷积提取相关关节点信息的特征。逐点卷积层可以是一个1×1卷积实现特征的融合。
在一些具体示例中,还包括构建如下损失函数,以训练所述神经网络模型:
运动学函数与四元格式三维数据的三维坐标点之间的损失值:L1=||δP-FK(δ)||2,其中FK()表示运动学函数;
归一化约束损失:L2=|1-||δ||2|;
四元格式三维数据之间的距离差值损失:LD1=1-(δP×δ-1);
四元格式三维数据之间的距离差值损失:LD2=||δP-δ||2;
总约束损失满足L=L1+L2+LD1+LD2。
基于总约束损失训练神经网络模型,训练完成后得到手部-各手指的运动的三维模型。通过这样的方法整体操作过程简单,不需要特殊设备和相关专业人员的操作,不需要后期单独进行模型的渲染和构建。
在步骤S103中,将所述手部的三维模型转换为手部三维点云,以及构建虚拟目标的目标三维点云,利用预设双边滤波器,去除所述目标三维点云中的异常值,以及利用改进的高斯加权函数对邻近点进行加权。
在一些具体示例中,预设双边滤波器满足:
在一些具体示例中,利用改进的高斯加权函数对邻近点进行加权包括:
||h||2=1
其中,h是当前点u的法向量,γ(x)=x-r表示高斯权重。例如r=0.55,也可以是其他指定值。在计算点云的法向量时,考虑距离对结果的影响。本实施例提出的高斯加权函数用于描述离当前点越近的点对当前点法向量的估计结果的影响越大。通过这样设计的高斯加权函数可以保证局部坐标系的一致。
在步骤S104中,计算所述手部三维点云、以及所述目标三维点云的各点的法向量。
在步骤S105中,采样各点的法向量,以获得关键点,并基于采样获得的关键点计算手部三维点云以及目标三维点云的特征描述符,以估计两个点云之间的对应关系,以实现手部与虚拟目标之间的匹配。具体可以通过采样实现,例如可以使用均匀采样方法选择手部三维点云以及目标三维点云的关键点,计算关键点的特征描述符。例如可以使用二进制方位直方图作为关键点的特征描述符。
在一些示例中,估计两个点云之间的对应关系,以实现手部与虚拟目标之间的匹配包括:
识别手部的局部坐标系与虚拟目标的全局坐标系之间的转换矩阵,并基于指定的附着点,通过点对点的误差度量计算出手部与虚拟目标之间的转换,获得旋转矩阵和平移矩阵。具体可以通过投票的方式实现,例如使用霍夫投票算法。
引入迭代最近点算法确定最优的转换,完成变换估计。进一步的,在虚拟目标场景中注册对象并生成手部的虚拟现实画面。由此整个过程就是将世界坐标系转换为图像坐标系:
其中,u和v表示变换后点的坐标,(fx,fy)表示相机对虚拟目标的焦距,(q0,w0)表示在相机像素坐标系中的附着点,(X,Y,Z)表示手部点的坐标,R和T分别表示计算得到旋转矩阵和平移矩阵,由此完成变换估计。
在步骤S106中,基于所述四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,以带动所述虚拟目标进行运动,实现手势交互。
在一些实施例中,基于所述四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,以带动所述虚拟目标进行运动包括:
在手部运动过程中,按照关节点的顺序,分别确定各关节点、延伸方向的变化量,以确定各手指以及手部的整体运动趋势;
基于所述附着点以及确定的手部的整体运动趋势,带动所述虚拟目标进行运动。
基于前述的四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,从而基于完成变换估计的两个点云,基于手部的运动带动虚拟目标进行运动,从而实现手势交互。
本申请实施例的方法,提出了高斯加权函数,使得三维点云描述符可以被重复检测,提升了计算效率。使用双边滤波因子提升了特征保持性和对噪声的抵抗能力,改善了滤波效果。通过变换估计实现手部与虚拟目标之间的匹配,从而实现虚实融合。本申请实施例的大屏设备交互方法,能够实现演示过程中一并将手部与虚拟目标之间的交互过程进行展示,提高交互过程的直观性。
本申请一种计算机设备,包括,处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如前述的基于3D图像控制的大屏设备交互方法的步骤。
本申请实施例话提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述的基于3D图像控制的大屏设备交互方法的步骤。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本公开的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本公开的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (9)
1.一种基于3D图像控制的大屏设备交互方法,其特征在于,用于实现与虚拟目标之间的3D手势交互,包括如下步骤:
基于各手指的关节点,对于任意手指,采集所述任意手指的三维数据信息,并将所述三维数据信息编码为四元格式,按照关节点的顺序,构建训练数据集,其中,所述四元格式包括所述任意手指各关节点的延伸方向,以及各关节点的延伸方向;
预先构建神经网络模型,所述神经网络模型末端包括设置有逐点卷积层,利用所述训练数据集输入所述神经网络模型,训练所述神经网络模型,在训练过程中基于所述逐点卷积层的输出与输入数据之间进行合并操作,训练完成后获得所需的手部的三维模型;
将所述手部的三维模型转换为手部三维点云,以及构建虚拟目标的目标三维点云,利用预设双边滤波器,去除所述目标三维点云中的异常值,以及利用改进的高斯加权函数对邻近点进行加权;
计算所述手部三维点云、以及所述目标三维点云的各点的法向量;
采样各点的法向量,以获得关键点,并基于采样获得的关键点计算手部三维点云以及目标三维点云的特征描述符,以估计两个点云之间的对应关系,以实现手部与虚拟目标之间的匹配;
基于所述四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,以带动所述虚拟目标进行运动,实现手势交互。
2.如权利要求1所述的基于3D图像控制的大屏设备交互方法,其特征在于,预先构建的神经网络模型包括顺次设置逐通道卷积层、跨通道注意力机制(SE)模块层、通道混淆操作以及所述逐点卷积层,其中所述SE模块层包括并列设置的:
第一分支,不执行计算,直接与所述第二分支的结果进行合并操作;
第二分支,包括顺次设置的全局池化层、全连接层、全连接层和Sigmoid激活函数,不同通道的特征赋予对应的权重值。
3.如权利要求2所述的基于3D图像控制的大屏设备交互方法,其特征在于,还包括构建如下损失函数,以训练所述神经网络模型:
运动学函数与四元格式三维数据的三维坐标点之间的损失值:L1=||δP-FK(δ)||2,其中FK()表示运动学函数;
归一化约束损失:L2=|1-||δ||2|;
四元格式三维数据之间的距离差值损失:LD1=1-(δP×δ-1);
四元格式三维数据之间的距离差值损失:LD2=||δP-δ||2;
总约束损失满足L=L1+L2+LD1+LD2。
6.如权利要求5所述的基于3D图像控制的大屏设备交互方法,其特征在于,估计两个点云之间的对应关系,以实现手部与虚拟目标之间的匹配包括:
识别手部的局部坐标系与虚拟目标的全局坐标系之间的转换矩阵,并基于指定的附着点,通过点对点的误差度量计算出手部与虚拟目标之间的转换,获得旋转矩阵和平移矩阵;
引入迭代最近点算法确定最优的转换,完成变换估计。
7.如权利要求5所述的基于3D图像控制的大屏设备交互方法,其特征在于,基于所述四元格式中各关节点的延伸方向的变化量,确定各手指的运动情况,以带动所述虚拟目标进行运动包括:
在手部运动过程中,按照关节点的顺序,分别确定各关节点、延伸方向的变化量,以确定各手指以及手部的整体运动趋势;
基于所述附着点以及确定的手部的整体运动趋势,带动所述虚拟目标进行运动。
8.一种计算机设备,其特征在于,包括,处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于3D图像控制的大屏设备交互方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于3D图像控制的大屏设备交互方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211642435.7A CN115840507B (zh) | 2022-12-20 | 2022-12-20 | 一种基于3d图像控制的大屏设备交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211642435.7A CN115840507B (zh) | 2022-12-20 | 2022-12-20 | 一种基于3d图像控制的大屏设备交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115840507A true CN115840507A (zh) | 2023-03-24 |
CN115840507B CN115840507B (zh) | 2024-05-24 |
Family
ID=85578936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211642435.7A Active CN115840507B (zh) | 2022-12-20 | 2022-12-20 | 一种基于3d图像控制的大屏设备交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115840507B (zh) |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6181343B1 (en) * | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
CN104820498A (zh) * | 2015-05-14 | 2015-08-05 | 周谆 | 手部虚拟饰品试戴的人机交互方法和系统 |
CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
WO2017075932A1 (zh) * | 2015-11-02 | 2017-05-11 | 深圳奥比中光科技有限公司 | 基于三维显示的手势操控方法和系统 |
US20170168586A1 (en) * | 2015-12-15 | 2017-06-15 | Purdue Research Foundation | Method and System for Hand Pose Detection |
US20170193299A1 (en) * | 2016-01-05 | 2017-07-06 | Electronics And Telecommunications Research Institute | Augmented reality device based on recognition of spatial structure and method thereof |
CN207883270U (zh) * | 2018-02-06 | 2018-09-18 | 西安元智系统技术有限责任公司 | 一种用于博物馆的3d全息互动展示系统 |
US20190018364A1 (en) * | 2016-07-09 | 2019-01-17 | Doubleme, Inc | Vehicle Onboard Holographic Communication System |
CN110032270A (zh) * | 2018-01-12 | 2019-07-19 | 中国科学院沈阳自动化研究所 | 一种基于手势识别的人机交互方法 |
CN110084149A (zh) * | 2019-04-09 | 2019-08-02 | 南京邮电大学 | 一种基于难样本四元组动态边界损失函数的人脸验证方法 |
US20190333237A1 (en) * | 2016-07-19 | 2019-10-31 | Fotonation Limited | Systems and methods for providing depth map information |
US20200311397A1 (en) * | 2019-03-25 | 2020-10-01 | Microsoft Technology Licensing, Llc | Spatially consistent representation of hand motion |
CN112614173A (zh) * | 2020-12-25 | 2021-04-06 | 杭州电子科技大学 | 一种基于深度图像的实时平面检测及提取方法 |
WO2021175050A1 (zh) * | 2020-03-04 | 2021-09-10 | 华为技术有限公司 | 三维重建方法和三维重建装置 |
CN113781541A (zh) * | 2021-09-15 | 2021-12-10 | 平安科技(深圳)有限公司 | 基于神经网络的三维图像处理方法、装置及电子设备 |
WO2021253788A1 (zh) * | 2020-06-19 | 2021-12-23 | 北京达佳互联信息技术有限公司 | 一种人体三维模型构建方法及装置 |
CN113946216A (zh) * | 2021-10-18 | 2022-01-18 | 阿里云计算有限公司 | 人机交互方法、智能设备、存储介质及程序产品 |
CN114529639A (zh) * | 2022-02-07 | 2022-05-24 | 新华智云科技有限公司 | 一种生成虚拟形象动画的方法、装置、设备及存储介质 |
CN114882524A (zh) * | 2022-04-15 | 2022-08-09 | 华南理工大学 | 一种基于全卷积神经网络的单目三维手势估计方法 |
US20220280243A1 (en) * | 2021-03-05 | 2022-09-08 | MediVis, Inc. | Virtual interaction with instruments in augmented reality |
-
2022
- 2022-12-20 CN CN202211642435.7A patent/CN115840507B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6181343B1 (en) * | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
CN104820498A (zh) * | 2015-05-14 | 2015-08-05 | 周谆 | 手部虚拟饰品试戴的人机交互方法和系统 |
WO2017075932A1 (zh) * | 2015-11-02 | 2017-05-11 | 深圳奥比中光科技有限公司 | 基于三维显示的手势操控方法和系统 |
US20170168586A1 (en) * | 2015-12-15 | 2017-06-15 | Purdue Research Foundation | Method and System for Hand Pose Detection |
US20170193299A1 (en) * | 2016-01-05 | 2017-07-06 | Electronics And Telecommunications Research Institute | Augmented reality device based on recognition of spatial structure and method thereof |
US20190018364A1 (en) * | 2016-07-09 | 2019-01-17 | Doubleme, Inc | Vehicle Onboard Holographic Communication System |
US20190333237A1 (en) * | 2016-07-19 | 2019-10-31 | Fotonation Limited | Systems and methods for providing depth map information |
CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
CN110032270A (zh) * | 2018-01-12 | 2019-07-19 | 中国科学院沈阳自动化研究所 | 一种基于手势识别的人机交互方法 |
CN207883270U (zh) * | 2018-02-06 | 2018-09-18 | 西安元智系统技术有限责任公司 | 一种用于博物馆的3d全息互动展示系统 |
US20200311397A1 (en) * | 2019-03-25 | 2020-10-01 | Microsoft Technology Licensing, Llc | Spatially consistent representation of hand motion |
CN110084149A (zh) * | 2019-04-09 | 2019-08-02 | 南京邮电大学 | 一种基于难样本四元组动态边界损失函数的人脸验证方法 |
WO2021175050A1 (zh) * | 2020-03-04 | 2021-09-10 | 华为技术有限公司 | 三维重建方法和三维重建装置 |
WO2021253788A1 (zh) * | 2020-06-19 | 2021-12-23 | 北京达佳互联信息技术有限公司 | 一种人体三维模型构建方法及装置 |
CN112614173A (zh) * | 2020-12-25 | 2021-04-06 | 杭州电子科技大学 | 一种基于深度图像的实时平面检测及提取方法 |
US20220280243A1 (en) * | 2021-03-05 | 2022-09-08 | MediVis, Inc. | Virtual interaction with instruments in augmented reality |
CN113781541A (zh) * | 2021-09-15 | 2021-12-10 | 平安科技(深圳)有限公司 | 基于神经网络的三维图像处理方法、装置及电子设备 |
CN113946216A (zh) * | 2021-10-18 | 2022-01-18 | 阿里云计算有限公司 | 人机交互方法、智能设备、存储介质及程序产品 |
CN114529639A (zh) * | 2022-02-07 | 2022-05-24 | 新华智云科技有限公司 | 一种生成虚拟形象动画的方法、装置、设备及存储介质 |
CN114882524A (zh) * | 2022-04-15 | 2022-08-09 | 华南理工大学 | 一种基于全卷积神经网络的单目三维手势估计方法 |
Non-Patent Citations (6)
Title |
---|
VINAYA等: "A gesture-free geometric approach for mid-air expression of design intent in 3D virtual pottery", 《COMPUTER-AIDED DESIGN》, vol. 49, pages 11 - 24 * |
岳艳涛: "复杂场景下刚体目标的位姿估计与跟踪", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 1, 15 January 2021 (2021-01-15), pages 032 - 124 * |
张蒙蒙: "基于点云数据和自然手势交互的三维展示系统设计", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 138 - 1222 * |
王庆华等: "基于多判据的散乱点云特征点提取算法", 《计算机应用研究》, vol. 36, no. 5, 31 May 2019 (2019-05-31), pages 1585 - 1588 * |
魏元;韩燮;况立群;: "三维人手关节点的提取研究", 计算机测量与控制, no. 02, pages 561 - 564 * |
魏元等: "三维人手关节点的提取研究", 《计算机测量与控制》, vol. 23, no. 02, 25 February 2015 (2015-02-25), pages 561 - 564 * |
Also Published As
Publication number | Publication date |
---|---|
CN115840507B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111127304B (zh) | 跨域图像转换 | |
CN111539887B (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
CN110928507A (zh) | 基于智能书写的同步显示及数据电子化系统及实现方法 | |
CN108171649B (zh) | 一种保持焦点信息的图像风格化方法 | |
US11257491B2 (en) | Voice interaction for image editing | |
CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
US20240020810A1 (en) | UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS | |
US20220156987A1 (en) | Adaptive convolutions in neural networks | |
CN112509109A (zh) | 一种基于神经网络模型的单视图光照估计方法 | |
Shen et al. | Clipgen: A deep generative model for clipart vectorization and synthesis | |
CN114782596A (zh) | 语音驱动的人脸动画生成方法、装置、设备及存储介质 | |
WO2023109640A1 (zh) | 无人驾驶场景下深度强化学习模型的可解释性方法及系统 | |
CN113780326A (zh) | 一种图像处理方法、装置、存储介质及电子设备 | |
Ueno et al. | Continuous and gradual style changes of graphic designs with generative model | |
CN117350928A (zh) | 将对象感知风格转移应用于数字图像 | |
CN110580726A (zh) | 基于动态卷积网络的自然场景下人脸素描生成模型及方法 | |
DE102023117605A1 (de) | Mehrdimensionale Bildbearbeitung aus einem Eingabebild | |
CN115840507B (zh) | 一种基于3d图像控制的大屏设备交互方法 | |
CN116630496A (zh) | 一种草图角色动画生成方法、装置、电子设备及存储介质 | |
CN115984510A (zh) | 一种风格化人脸纹理建模方法及系统、设备、存储介质 | |
CN116468731A (zh) | 基于跨模态Transformer的点云语义分割方法 | |
CN116342875A (zh) | 基于多尺度自注意力特征融合的小样本分割方法 | |
CN113012266B (zh) | 一种基于笔交互的图元拓扑构图方法 | |
CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 | |
CN114663937A (zh) | 模型训练及图像处理方法、介质、装置和计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |