CN104240277A - 基于人脸检测的增强现实交互方法和系统 - Google Patents
基于人脸检测的增强现实交互方法和系统 Download PDFInfo
- Publication number
- CN104240277A CN104240277A CN201310253772.1A CN201310253772A CN104240277A CN 104240277 A CN104240277 A CN 104240277A CN 201310253772 A CN201310253772 A CN 201310253772A CN 104240277 A CN104240277 A CN 104240277A
- Authority
- CN
- China
- Prior art keywords
- face
- frame
- affine transformation
- module
- picture frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于人脸检测的增强现实交互方法,所述方法包括:捕捉视频流;从所述视频流中获取图像帧;对所述图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据;获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵;将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。采用该方法,能够节省成本并能减少延迟现象。此外,还提供了一种基于人脸检测的增强现实交互系统。
Description
技术领域
本发明涉及智能交互技术,特别是涉及一种基于人脸检测的增强现实交互方法和系统。
背景技术
AR(Augmented Reality,增强现实),也被称之为混合现实。它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时的叠加到了同一画面或空间同时存在。增强现实在医疗、军事、航空航海、娱乐、游戏和教育等领域的应用前景非常广泛。例如,增强现实的游戏可以让位于全球不同地点的玩家,共同进入一个真实的自然场景,以虚拟替身的形式进行网络对战。而增强现实是采用对真实场景利用虚拟物体进行“增强”显示的技术,与虚拟现实相比,具有真实感强、建模工作量小的优点。
传统的增强现实交互方法包括基于硬件传感系统和基于图像处理技术的,其中,基于硬件传感系统的方式是利用一些识别或跟踪传感器,例如用户需要佩戴带传感器的头盔,通过传感器捕捉人的一些肢体动作或者跟踪肢体的运动趋势,然后计算得到肢体部位的姿态信息,利用得到的姿态信息渲染虚拟场景。然而这种方式依赖于硬件传感器的性能,且不利于移动部署,成本比较高。而基于图像处理技术的方式多数依赖于预先处理好存储在本地的数据库(分类器),分类器的好坏依赖于训练样本的大小和图片的质量,训练样本越大,则识别的效果越好,而分类器的精度越高,则识别过程计算量越大,耗时越长,因此基于图像处理技术的增强现实交互方式容易存在延迟,特别是应用在移动设备上时,容易出现卡顿的现象。
发明内容
基于此,有必要针对传统技术中成本高、容易延迟的问题,提供一种基于人脸检测的增强现实交互方法和系统。
一种基于人脸检测的增强现实交互方法,所述方法包括:
捕捉视频流;
从所述视频流中获取图像帧;
对所述图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据;
获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵;
将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。
一种基于人脸检测的增强现实交互系统,所述系统包括:
视频流捕捉模块,用于捕捉视频流;
图像帧获取模块,用于从所述视频流中获取图像帧;
人脸检测模块,用于对所述图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据;
矩阵获取模块,用于获取摄像头标定的参数矩阵和与用户手势对应的仿射变换矩阵;
场景渲染模块,用于将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。
上述基于人脸检测的增强现实交互方法和系统,通过对采集到的图像进行人脸检测,得到每一帧的人脸图像数据,进而通过摄像头的参数矩阵和与用户手势对应的仿射变换矩阵渲染虚拟场景,实现了将采集到的二维图像转换为人脸的三维空间姿态信息,并在渲染虚拟场景的过程中能够根据仿射变换矩阵实现对虚拟模型的控制。该方法和系统不依赖于硬件传感器和本地的数据库,因此能够节省成本,且反应速度快,不易出现延迟现象。
附图说明
图1为一个实施例中基于人脸检测的增强现实交互方法的流程示意图;
图2为一个实施例中人脸检测的流程示意图;
图3为图2所示实施例提供的三眼五庭分割法的示意图;
图4为一个实施例中渲染虚拟场景的流程示意图;
图5为一个实施例中基于人脸检测的增强现实交互系统的结构框图;
图6为另一个实施例中基于人脸检测的增强现实交互系统的结构框图;
图7为一个实施例中人脸检测模块的结构框图;
图8为再一个实施例中基于人脸检测的增强现实交互系统的结构框图;
图9为一个实施例中虚拟场景渲染模块的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,在一个实施例中,提供了一种基于人脸检测的增强现实交互方法,该方法以应用于带摄像头(图像传感器)的终端中来举例说明,该终端包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。该方法包括:
步骤102,捕捉视频流。
本实施例中,通过安装在终端上的摄像头捕捉视频流,视频流由摄像头采集到的图像帧组成。
步骤104,从视频流中获取图像帧。
步骤106,对图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据。
本实施例中,对图像帧中的每一帧图像进行人脸检测,可从每一帧图像中检测出人脸图像,该人脸图像为二维图像,其中每一帧中的人脸图像数据可以为二维图像中的像素。
在一个实施例中,可在步骤106之前,获取到图像帧后,对图像帧中的每一帧进行格式转换和/或降阶处理。由于不同终端上的摄像头采集到的图像的数据格式都可能是不同的,而图像处理引擎处理的图像格式不一定和操作系统所返回的图像格式一致,因此需要对图像进行格式转换,将图像转换成图像处理引擎可以处理的格式。而对于摄像头采集到的图像,通常为彩色图像,由于彩色图像的通道数比较多,每个像素的颜色值通常由RGBA四个通道表示,如果对每个通道进行处理,则耗时比较大,对图像帧中的每一帧进行降阶处理,将多通道降低为单通道,这样,使得后续进行人脸检测时只对单通道进行处理,因此能够提高处理效率。
在一个实施例中,如图2所示,步骤106包括:
步骤202,捕捉图像帧的每一帧中的人脸区域。
在一个实施例中,可采用基于肤色、基于模板、基于形态学中的至少一种方法来捕捉图像帧的每一帧中的人脸矩形区域。其中,基于肤色的方法是指:人的皮肤分布在颜色空间中的一个范围内,皮肤颜色不同反映了颜色的强度,在一定光照条件下肤色经过归一化后满足高斯分布,因此可利用这一特性将图像分割为皮肤区域和非皮肤区域,进而利用基于边界和区域的方法对肤色区域进行处理得到人脸区域。基于模板的方法是指:对人脸的样本图像按照一定的比例进行裁剪,取出能体现人脸模式的局部人脸图像,配合基于肤色的方法对人脸区域进行检测。基于形态学的方法是指:先获取到人脸的大概区域,再利用各个器官在图像中的形状和分布情况,利用形态学模型检测算法确定眼、嘴等的准确位置,从而获取人脸区域。
步骤204,采用三眼五庭分割法对人脸区域进行区域分割。
请参考图3所示,获取到人脸区域后,可对该人脸区域采用三眼五庭分割法进行分割,得到多个子区域。
步骤206,从分割后的区域中筛选出基准区域。
由于对人脸区域进行分割后锁得到的子区域较多,根据整个人脸区域计算人脸的空间姿态信息的话,则计算量较大,因此可在分割后得到的子区域中选择一个小的矩形区域进行处理。
步骤108,获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵。
参数矩阵是带摄像头的摄像机在定标过程中确定好的,因此可直接获取该参数矩阵。在一个实施例中,仿射变换矩阵可根据用户手势计算得到的。以本方法使用在带触摸屏的移动终端上进行举例说明。对于带触摸屏的移动终端,用户使用手指在触摸屏上的滑动、点击等操作都为用户手势,其中,滑动手势又可以分为上下左右滑动、旋转和其他复杂路径的滑动手势等。对于一些基本的手势,如点击、上下左右滑动等,可通过移动终端中操作系统提供的API(Application Programming Interface,应用程序编程接口)计算得到对应的仿射变换矩阵。对于一些复杂手势,则可在基本手势对应的仿射变换矩阵的基础上进行变化,得到对应的仿射变换矩阵。
在另一个实施例中,还可采用传感器检测人脸姿态信息,根据人脸姿态信息计算得到仿射变换矩阵。具体的,可采用传感器检测到人脸姿态信息,人脸姿态信息为人脸的一些三维信息,包括空间坐标、深度信息、旋转或平移量等。由于在渲染虚拟场景的过程中需要设置投影矩阵、模型视图矩阵等,其中,投影矩阵可实现空间定点坐标与像素坐标的映射关系,模型视图矩阵则标识模型的变换(如平移、缩放、旋转等)。而通过传感器检测到的人脸姿态信息可转换得到一个模型视图矩阵,而该模型视图矩阵可控制模型的一些简单运动,而在透视投影中深度值越大则模型看起来越小,深度值越小则模型看起来越大。因此可根据传感器检测到的人脸姿态信息计算得到仿射变换矩阵,以在虚拟场景的渲染过程中对虚拟模型进行控制。本实施例中,使用传感器检测人脸姿态信息,进而得到仿射变换矩阵,处理速度较快。
步骤110,将人脸图像数据结合参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。
具体的,可按照如下公式计算得到渲染虚拟模型的参数矩阵:M′=M·Ms。其中,M′为渲染虚拟模型的参数矩阵,M为摄像头定标的参数矩阵,M为与用户手势对应的仿射变换矩阵。根据计算得到的变换矩阵可在渲染虚拟场景的过程中对虚拟模型进行导入和控制。
在一个实施例中,如图4所示,步骤110包括:
步骤402,将人脸图像数据与参数矩阵进行运算,得到人脸的空间姿态信息。
优选的,将得到的基准区域中的人脸图像数据与参数矩阵进行运算,从而可将二维的人脸图像数据转换为三维的人脸空间姿态信息,包括空间坐标、旋转角度、深度信息等。
步骤404,将人脸的空间姿态信息与仿射变换矩阵进行运算。
在步骤402中,将二维的人脸图像数据(即二维的像素点)转换为三维的人脸空间姿态信息(即人脸的三维信息)。人脸的三维信息经过与仿射变换矩阵运算后,则可以对虚拟模型进行平移、旋转、改变深度等操作。也就是说,通过仿射变换矩阵可实现在虚拟场景中对虚拟模型进行平移、旋转、改变深度等操作。
步骤406,根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
将人脸的空间姿态信息与仿射变换矩阵进行运算后,渲染虚拟场景的过程中即可实现对虚拟模型的控制,包括对虚拟模型的平移、旋转、改变深度等操作。
如图5所示,在一个实施例中,提供了一种基于人脸检测的增强现实交互系统,该系统包括:
视频流捕捉模块502,用于捕捉视频流。
图像帧获取模块504,用于从视频流中获取图像帧。
人脸检测模块506,用于对图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据。
矩阵获取模块508,用于获取摄像头标定的参数矩阵和与用户手势对应的仿射变换矩阵。
场景渲染模块510,用于将人脸图像数据结合参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。
在一个实施例中,如图6所示,在图5所示实施例的基础上,本系统还包括图像处理模块505,用于对图像帧中的每一帧进行格式转换和/或降阶处理。
在一个实施例中,如图7所示,人脸检测模块506包括:
人脸区域捕捉模块506a,用于捕捉图像帧的每一帧中的人脸区域。
具体的,在一个实施例中,人脸区域捕捉模块506a可用于采用基于肤色、基于模板、基于形态学中的至少一种方法来捕捉图像帧的每一帧中的人脸矩形区域。
区域分割模块506b,用于采用三眼五庭分割法对人脸区域进行区域分割。
基准区域筛选模块506d,用于从分割后的区域中筛选出基准区域。
在一个实施例中,带摄像头的摄像机在定标过程中,其参数矩阵就应确定好,因此可直接获取其参数矩阵。而仿射变换矩阵可根据用户手势计算得到。例如,可通过移动终端中操作系统提供的API计算得到对应的仿射变换矩阵。
在另一个实施例中,如图8所示,在图6所示实施例的基础上,本系统还包括仿射变换矩阵获取模块507,用于采用传感器检测人脸姿态信息,根据人脸姿态信息计算得到仿射变换矩阵。
在一个实施例中,如图9所示,场景渲染模块510包括:
第一运算模块510a,用于将人脸图像数据与参数矩阵进行运算,得到人脸的空间姿态信息。
第二运算模块510b,用于将人脸的空间姿态信息与仿射变换矩阵进行运算。
控制模块510c,用于根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
上述基于人脸检测的增强现实交互方法和系统,通过对采集到的图像进行人脸检测,得到每一帧的人脸图像数据,进而通过摄像头的参数矩阵和与用户手势对应的仿射变换矩阵渲染虚拟场景,实现了将采集到的二维图像转换为人脸的三维空间姿态信息,并在渲染虚拟场景的过程中能够根据仿射变换矩阵实现对虚拟模型的控制。该方法和系统不依赖于硬件传感器和本地的数据库,因此能够节省成本,且反应速度快,不易出现延迟现象,特别适用于移动终端。
此外,通过将人脸图像数据与参数矩阵、仿射变换矩阵相结合实现虚拟模型的控制,这种增强现实交互方式简单、可扩展性好、效率较高。在人脸检测之前对图像进行格式转换和/或降阶处理,能够减少人脸检测的数据量,进一步提高处理效率。通过捕捉图像帧的每一帧中的人脸区域,进而对人脸区域进行分割以及筛选出基准区域,能够减少后续矩阵运算的运算,进一步提高了处理效率,更适用于各种智能手机、平台电脑等移动终端中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种基于人脸检测的增强现实交互方法,所述方法包括:
捕捉视频流;
从所述视频流中获取图像帧;
对所述图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据;
获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵;
将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。
2.根据权利要求1所述的方法,其特征在于,所述对图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据之前,还包括:
对所述图像帧中的每一帧进行格式转换和/或降阶处理。
3.根据权利要求1所述的方法,其特征在于,所述对图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据,包括:
捕捉所述图像帧的每一帧中的人脸区域;
采用三眼五庭分割法对所述人脸区域进行区域分割;
从分割后的区域中筛选出基准区域。
4.根据权利要求3所述的方法,其特征在于,所述捕捉图像帧的每一帧中的人脸矩形区域,包括:
采用基于肤色、基于模板、基于形态学中的至少一种方法捕捉图像帧的每一帧中的人脸矩形区域。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采用传感器检测人脸姿态信息,根据人脸姿态信息计算得到仿射变换矩阵。
6.根据权利要求1所述的方法,其特征在于,所述将人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算,渲染出虚拟场景,包括:
将所述人脸图像数据与所述参数矩阵进行运算,得到人脸的空间姿态信息;
将所述人脸的空间姿态信息与所述仿射变换矩阵进行运算;
根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
7.一种基于人脸检测的增强现实交互系统,其特征在于,所述系统包括:
视频流捕捉模块,用于捕捉视频流;
图像帧获取模块,用于从所述视频流中获取图像帧;
人脸检测模块,用于对所述图像帧中的每一帧进行人脸检测,得到每一帧中的人脸图像数据;
矩阵获取模块,用于获取摄像头标定的参数矩阵和与用户手势对应的仿射变换矩阵;
场景渲染模块,用于将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算,根据运算结果渲染出虚拟场景。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:
图像处理模块,用于对所述图像帧中的每一帧进行格式转换和/或降阶处理。
9.根据权利要求7所述的系统,其特征在于,所述人脸检测模块包括:
人脸区域捕捉模块,用于捕捉所述图像帧的每一帧中的人脸区域;
区域分割模块,用于采用三眼五庭分割法对所述人脸区域进行区域分割;
基准区域筛选模块,用于从分割后的区域中筛选出基准区域。
10.根据权利要求9所述的系统,其特征在于,所述人脸区域捕捉模块用于采用基于肤色、基于模板、基于形态学中的至少一种方法捕捉图像帧的每一帧中的人脸矩形区域。
11.根据权利要求7所述的系统,其特征在于,所述系统还包括:
仿射变换矩阵获取模块,用于采用传感器检测人脸姿态信息,根据人脸姿态信息计算得到仿射变换矩阵。
12.根据权利要求7所述的系统,其特征在于,所述场景渲染模块包括:
第一运算模块,用于将所述人脸图像数据与所述参数矩阵进行运算,得到人脸的空间姿态信息;
第二运算模块,用于将所述人脸的空间姿态信息与所述仿射变换矩阵进行运算;
控制模块,用于根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310253772.1A CN104240277B (zh) | 2013-06-24 | 2013-06-24 | 基于人脸检测的增强现实交互方法和系统 |
PCT/CN2014/080338 WO2014206243A1 (en) | 2013-06-24 | 2014-06-19 | Systems and methods for augmented-reality interactions cross-references to related applications |
US14/620,897 US20150154804A1 (en) | 2013-06-24 | 2015-02-12 | Systems and Methods for Augmented-Reality Interactions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310253772.1A CN104240277B (zh) | 2013-06-24 | 2013-06-24 | 基于人脸检测的增强现实交互方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104240277A true CN104240277A (zh) | 2014-12-24 |
CN104240277B CN104240277B (zh) | 2019-07-19 |
Family
ID=52141045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310253772.1A Active CN104240277B (zh) | 2013-06-24 | 2013-06-24 | 基于人脸检测的增强现实交互方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150154804A1 (zh) |
CN (1) | CN104240277B (zh) |
WO (1) | WO2014206243A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834897A (zh) * | 2015-04-09 | 2015-08-12 | 东南大学 | 一种基于移动平台的增强现实的系统及方法 |
CN105988566A (zh) * | 2015-02-11 | 2016-10-05 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106203280A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种增强现实ar图像处理方法、装置及智能终端 |
CN106851386A (zh) * | 2017-03-27 | 2017-06-13 | 青岛海信电器股份有限公司 | 基于Android系统的电视终端中增强现实的实现方法及装置 |
CN106980371A (zh) * | 2017-03-24 | 2017-07-25 | 电子科技大学 | 一种基于临近异构分布式结构的移动增强现实交互方法 |
CN107251102A (zh) * | 2015-03-24 | 2017-10-13 | 英特尔公司 | 基于与增强现实场景的用户交互的增强修改 |
CN108109209A (zh) * | 2017-12-11 | 2018-06-01 | 广州市动景计算机科技有限公司 | 一种基于增强现实的视频处理方法及其装置 |
CN109035415A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
WO2020056689A1 (zh) * | 2018-09-20 | 2020-03-26 | 太平洋未来科技(深圳)有限公司 | 一种ar成像方法、装置及电子设备 |
CN113813595A (zh) * | 2021-01-15 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 一种实现互动的方法和装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITUB20160617A1 (it) * | 2016-02-10 | 2017-08-10 | The Ultra Experience Company Ltd | Metodo e sistema per la creazione di immagini in realtà aumentata. |
US10089071B2 (en) | 2016-06-02 | 2018-10-02 | Microsoft Technology Licensing, Llc | Automatic audio attenuation on immersive display devices |
CN109089038B (zh) * | 2018-08-06 | 2021-07-06 | 百度在线网络技术(北京)有限公司 | 增强现实拍摄方法、装置、电子设备及存储介质 |
US11047691B2 (en) * | 2018-10-31 | 2021-06-29 | Dell Products, L.P. | Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications |
US11048926B2 (en) * | 2019-08-05 | 2021-06-29 | Litemaze Technology (Shenzhen) Co. Ltd. | Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms |
CN111507806B (zh) * | 2020-04-23 | 2023-08-29 | 北京百度网讯科技有限公司 | 虚拟试鞋方法、装置、设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163330A (zh) * | 2011-04-02 | 2011-08-24 | 西安电子科技大学 | 基于张量分解与Delaunay三角划分的多视角人脸合成方法 |
CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
US20120092277A1 (en) * | 2010-10-05 | 2012-04-19 | Citrix Systems, Inc. | Touch Support for Remoted Applications |
US20120121185A1 (en) * | 2010-11-12 | 2012-05-17 | Eric Zavesky | Calibrating Vision Systems |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020034721A1 (en) * | 2000-04-05 | 2002-03-21 | Mcmanus Richard W. | Computer-based training system using digitally compressed and streamed multimedia presentations |
KR100973588B1 (ko) * | 2008-02-04 | 2010-08-02 | 한국과학기술원 | 얼굴검출기의 부윈도우 설정방법 |
EP2124190B1 (en) * | 2008-05-19 | 2011-08-31 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image processing to enhance image sharpness |
JP4561914B2 (ja) * | 2008-09-22 | 2010-10-13 | ソニー株式会社 | 操作入力装置、操作入力方法、プログラム |
JP5573316B2 (ja) * | 2009-05-13 | 2014-08-20 | セイコーエプソン株式会社 | 画像処理方法および画像処理装置 |
US20120208167A1 (en) * | 2010-10-11 | 2012-08-16 | Teachscape, Inc. | Methods and systems for management of evaluation metrics and evaluation of persons performing a task based on multimedia captured and/or direct observations |
TWI439951B (zh) * | 2010-11-08 | 2014-06-01 | Inst Information Industry | 人臉影像性別辨識系統及其辨識方法及其電腦程式產品 |
US8873840B2 (en) * | 2010-12-03 | 2014-10-28 | Microsoft Corporation | Reducing false detection rate using local pattern based post-filter |
WO2012164534A1 (en) * | 2011-06-01 | 2012-12-06 | Koninklijke Philips Electronics N.V. | Method and system for assisting patients |
IL213514A0 (en) * | 2011-06-13 | 2011-07-31 | Univ Ben Gurion | A 3d free-form gesture recognition system for character input |
US8908904B2 (en) * | 2011-12-28 | 2014-12-09 | Samsung Electrônica da Amazônia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
EP2826170A1 (en) * | 2012-03-14 | 2015-01-21 | Sony Mobile Communications AB | Body-coupled communication based on user device with touch display |
US9626582B2 (en) * | 2014-12-30 | 2017-04-18 | Kodak Alaris Inc. | System and method for measuring mobile document image quality |
-
2013
- 2013-06-24 CN CN201310253772.1A patent/CN104240277B/zh active Active
-
2014
- 2014-06-19 WO PCT/CN2014/080338 patent/WO2014206243A1/en active Application Filing
-
2015
- 2015-02-12 US US14/620,897 patent/US20150154804A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120092277A1 (en) * | 2010-10-05 | 2012-04-19 | Citrix Systems, Inc. | Touch Support for Remoted Applications |
US20120121185A1 (en) * | 2010-11-12 | 2012-05-17 | Eric Zavesky | Calibrating Vision Systems |
CN102163330A (zh) * | 2011-04-02 | 2011-08-24 | 西安电子科技大学 | 基于张量分解与Delaunay三角划分的多视角人脸合成方法 |
CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
Non-Patent Citations (4)
Title |
---|
布劳恩斯坦: "《Action Script 3.0宝典 第2版》", 31 January 2012, 清华大学出版社 * |
洪炳镕 等: "《虚拟现实及其应用》", 31 May 2005, 《国防工业出版社》 * |
王玉龙: ""基于人脸检测的增强现实交互技术研究与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
范利君: ""移动增强现实中视觉三维注册方法的实现"", 《计算机与数字工程》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105988566B (zh) * | 2015-02-11 | 2019-05-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105988566A (zh) * | 2015-02-11 | 2016-10-05 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107251102A (zh) * | 2015-03-24 | 2017-10-13 | 英特尔公司 | 基于与增强现实场景的用户交互的增强修改 |
CN104834897A (zh) * | 2015-04-09 | 2015-08-12 | 东南大学 | 一种基于移动平台的增强现实的系统及方法 |
CN106203280A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种增强现实ar图像处理方法、装置及智能终端 |
CN106980371A (zh) * | 2017-03-24 | 2017-07-25 | 电子科技大学 | 一种基于临近异构分布式结构的移动增强现实交互方法 |
CN106980371B (zh) * | 2017-03-24 | 2019-11-05 | 电子科技大学 | 一种基于临近异构分布式结构的移动增强现实交互方法 |
CN106851386A (zh) * | 2017-03-27 | 2017-06-13 | 青岛海信电器股份有限公司 | 基于Android系统的电视终端中增强现实的实现方法及装置 |
CN106851386B (zh) * | 2017-03-27 | 2020-05-19 | 海信视像科技股份有限公司 | 基于Android系统的电视终端中增强现实的实现方法及装置 |
CN108109209A (zh) * | 2017-12-11 | 2018-06-01 | 广州市动景计算机科技有限公司 | 一种基于增强现实的视频处理方法及其装置 |
CN109035415A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
WO2020056689A1 (zh) * | 2018-09-20 | 2020-03-26 | 太平洋未来科技(深圳)有限公司 | 一种ar成像方法、装置及电子设备 |
CN113813595A (zh) * | 2021-01-15 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 一种实现互动的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2014206243A1 (en) | 2014-12-31 |
US20150154804A1 (en) | 2015-06-04 |
CN104240277B (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104240277A (zh) | 基于人脸检测的增强现实交互方法和系统 | |
CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
CN105718878B (zh) | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 | |
CN102332095B (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
CN106664376B (zh) | 增强现实设备和方法 | |
US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
Li et al. | Delving into egocentric actions | |
Kolsch et al. | Fast 2d hand tracking with flocks of features and multi-cue integration | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
CN111385462A (zh) | 信号处理装置、信号处理方法及相关产品 | |
TW202205059A (zh) | 虛擬對象的控制方法、電子設備及電腦可讀儲存介質 | |
CN105528082A (zh) | 三维空间及手势识别追踪交互方法、装置和系统 | |
WO2021218293A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
CN111638784A (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
KR20140019950A (ko) | 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기 | |
CN106293099A (zh) | 手势识别方法及系统 | |
WO2022267653A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN110858409A (zh) | 动画生成方法和装置 | |
Akman et al. | Multi-cue hand detection and tracking for a head-mounted augmented reality system | |
Singh | Recognizing hand gestures for human computer interaction | |
CN108108648A (zh) | 一种新型的手势识别系统装置及方法 | |
Xu et al. | Bare hand gesture recognition with a single color camera | |
Jain et al. | [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices | |
Fogelton | Real-time hand tracking using flocks of features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230706 Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Address before: 2, 518044, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |