CN106527714B - 基于虚拟现实下的图像识别系统及其方法 - Google Patents

基于虚拟现实下的图像识别系统及其方法 Download PDF

Info

Publication number
CN106527714B
CN106527714B CN201610976329.0A CN201610976329A CN106527714B CN 106527714 B CN106527714 B CN 106527714B CN 201610976329 A CN201610976329 A CN 201610976329A CN 106527714 B CN106527714 B CN 106527714B
Authority
CN
China
Prior art keywords
controller
intelligent computer
intelligent
foreground image
identification code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610976329.0A
Other languages
English (en)
Other versions
CN106527714A (zh
Inventor
周安涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN201610976329.0A priority Critical patent/CN106527714B/zh
Publication of CN106527714A publication Critical patent/CN106527714A/zh
Application granted granted Critical
Publication of CN106527714B publication Critical patent/CN106527714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs

Abstract

本发明公开了一种基于虚拟现实下的图像识别系统及其方法,包括摄像头、控制器和智能电脑;其中:摄像头,所述摄像头同控制器相通信连接;控制器,所述控制器中包括着图形预处理模块,所述控制器同智能电脑相控制连接;智能电脑,所述智能电脑中包括着识别模块和分类器。结合其方法避免了现有技术中手势识别所引用的算法的时空消耗太高、实时性不够、识别率低以及纠偏效果不佳的缺陷。

Description

基于虚拟现实下的图像识别系统及其方法
技术领域
本发明涉及一种虚拟现实技术领域,尤其是涉及一种基于虚拟现实下的图像识别系统及其方法。
背景技术
目前虚拟现实环境用户动作信息的识别技术通常有两种方法:一是采用穿戴式设备如数据手套、空间跟踪定位器等直接采集用户的动作、手势等信息;二是利用机器视觉技术对摄像头采集到的用户动作的图像和视频进行处理,提取手势、位置及脸部相关特征。第一种方法目前技术上相对成熟,但穿戴式设备往往会束缚用户的动作,使用不够方便。
而第二种方法特别是在手势识别方面往往存在如下问题:
手势识别所引用的算法的时空消耗太高、实时性不够、识别率低以及纠偏效果不佳。
发明内容
本发明所要解决的技术问题在于提供一种基于虚拟现实下的图像识别系统及其方法,避免了现有技术中手势识别所引用的算法的时空消耗太高、实时性不够、识别率低以及纠偏效果不佳的缺陷。
为解决上述技术问题,本发明的技术解决方案是:
一种基于虚拟现实下的图像识别系统,包括摄像头、控制器和智能电脑;
其中:
摄像头,所述摄像头同控制器相通信连接;
控制器,所述控制器中包括着图形预处理模块,所述控制器同智能电脑相控制连接;
智能电脑,所述智能电脑中包括着识别模块和分类器。
所述摄像头为全景摄像头;所述智能电脑为监控中心计算机,所述监控中心计算机通过无线通信模块与控制器通信连接。
所述基于虚拟现实下的图像识别系统的方法,具体如下:
步骤1:通过摄像头采集手语者的动作视频,然后把动作视频发送到控制器中,预处理模块对视频流建立背景,当前帧与背景作差得到前景图像,然后对前景图像进行纠偏;
步骤2:纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中,启动识别模块在纠偏后的前景图像中提取肤色块;
步骤3:接着计算提取到的肤色块的深度信息,并根据肤色块的深度信息对脸部区域进行定位;
步骤4:根据肤色块的深度信息对手部进行定位并提取关键帧,并对关键帧的手部区域肤色块进行修补填充,所述关键帧为手部在一个区域内停留达到预设帧数的帧;
步骤5:提取关键帧的一种或多种手型特征;
步骤6:根据提取的手型特征,使用单个分类器进行分类或者使用多个分类器进行投票表决,得到静态手势识别结果;
步骤7:对手势的运动轨迹进行识别,得到轨迹识别结果;
步骤8:对静态手势识别结果和轨迹识别结果进行纠错与拼接,得到手语的识别翻译结果。
所述对前景图像进行纠偏的方法包括所述基于高斯分布的自动白平衡算法或基于 HSV 颜色空间的自动白平衡算法。
所述提取关键帧是通过分析动作特征的变化曲线来自动提取动作序列的关键帧,提取关键帧的特征并结合视频序列的全局特征来作为分类器的输入。
所述手型特征基于形状区域内部距离和傅立叶变换,能有效侦测形状轮廓的细微变化,并且同样具有旋转、平移不变性。
所述手势特征提取包括有:颜色和纹理特征、运动特征、形状几何特征或局部特征。
经由本发明的结构,与现有技术相比,本发明的优点在于:
提出了基于高斯分布的自动白平衡算法或基于 HSV 颜色空间的自动白平衡算法等。实验表明,该算法优于对比的经典算法,具有较好的纠偏效果。关键帧是反映动作序列的关键环节,最新的研究成果表明:关键帧技术能有效表征人体动作序列,且能有效降低算法的时空消耗。通过形状标准数据库的实验表明,与同类方法相比,本方法具有良好的实时性和较高的识别率。
附图说明
图1是所述基于虚拟现实下的图像识别系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,基于虚拟现实下的图像识别系统,包括摄像头、控制器和智能电脑;
其中:
摄像头,所述摄像头同控制器相通信连接;
控制器,所述控制器中包括着图形预处理模块,所述控制器同智能电脑相控制连接;
智能电脑,所述智能电脑中包括着识别模块和分类器。
所述摄像头为全景摄像头;所述智能电脑为监控中心计算机,所述监控中心计算机通过无线通信模块与控制器通信连接。
所述图形预处理模块用来对视频流建立背景,当前帧与背景作差得到前景图像,然后对前景图像进行纠偏;用来把纠偏后的前景图像发送到智能电脑中。
所述识别模块用来在纠偏后的前景图像中提取肤色块;用来计算提取到的肤色块的深度信息,并根据肤色块的深度信息对脸部区域进行定位;用来根据肤色块的深度信息对手部进行定位并提取关键帧,并对关键帧的手部区域肤色块进行修补填充,所述关键帧为手部在一个区域内停留达到预设帧数的帧;用来提取关键帧的一种或多种手型特征。
所述分类器用来进行投票表决,得到静态手势识别结果。
所述基于虚拟现实下的图像识别系统的方法,具体如下:
步骤1:通过摄像头采集手语者的动作视频,然后把动作视频发送到控制器中,预处理模块对视频流建立背景,当前帧与背景作差得到前景图像,然后对前景图像进行纠偏;
步骤2:纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中,启动识别模块在纠偏后的前景图像中提取肤色块;
步骤3:接着计算提取到的肤色块的深度信息,并根据肤色块的深度信息对脸部区域进行定位;
步骤4:根据肤色块的深度信息对手部进行定位并提取关键帧,并对关键帧的手部区域肤色块进行修补填充,所述关键帧为手部在一个区域内停留达到预设帧数的帧;
步骤5:提取关键帧的一种或多种手型特征;
步骤6:根据提取的手型特征,使用单个分类器进行分类或者使用多个分类器进行投票表决,得到静态手势识别结果;
步骤7:对手势的运动轨迹进行识别,得到轨迹识别结果;
步骤8:对静态手势识别结果和轨迹识别结果进行纠错与拼接,得到手语的识别翻译结果。
针对图像采集中可能产生的偏色现象,提出了新的自动白平衡算法 图像采集中可能产生的偏色现象非常常见,原因也是多种多样。偏色图像会直接影响后续的识别结果,特别是采用肤色模型进行手语/手势区域分割时。因此,在大量实验的基础上, 针对不同情况,分别提出了基于高斯分布的自动白平衡算法或基于 HSV 颜色空间的自动白平衡算法等。实验表明,该算法优于对比的经典算法,具有较好的纠偏效果。也即所述对前景图像进行纠偏的方法包括所述基于高斯分布的自动白平衡算法或基于 HSV 颜色空间的自动白平衡算法。
关键帧是反映动作序列的关键环节,最新的研究成果表明:关键帧技术能有效表征人体动作序列,且能有效降低算法的时空消耗。本方法中所述提取关键帧是通过分析动作特征的变化曲线来自动提取动作序列的关键帧,提取关键帧的特征并结合视频序列的全局特征来作为分类器的输入,在国外动作标准库中取得了良好的实验效果。
提出了一种新的手型特征在手势识别中,手型特征,也即形状描述符是其中的重要特征之一。本方法提出了一种新的形状描述符,所述手型特征基于形状区域内部距离和傅立叶变换,能有效侦测形状轮廓的细微变化,并且同样具有旋转、平移不变性。通过形状标准数据库的实验表明,与同类方法相比,本方法具有良好的实时性和较高的识别率。
通过比较手势识别中的形状和纹理特征,提出了后续的研究方向在基于表观的手语识别中,手势特征的提取需要具备代表性和稳定性。比较有代表性的所述手势特征提取包括有:颜色和纹理特征、运动特征、形状几何特征或局部特征。若对常用的几种形状和纹理特征(Hu 矩和 Zernike 矩、局部二值模式、灰度共生矩阵以及梯度直方图)进行分析和比较,在大量实验结果的基础上,就能提出不同特征的特性差异,也指出了后续的研究方向。
所述纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中的方式往往为预设有控制器和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,智能电脑同3G无线网络相连接,所述控制器包括处理器,所述处理器同3G模块和触摸屏相连接,由此控制器将用户的操作动作通过网络发送给智能电脑的步骤就是通过3G模块同3G无线单元相通信连接,然后经由3G无线数据链路来把纠偏后的前景图像发送到智能电脑。
然而在采用3G无线数据链路实现纠偏后的前景图像发送到智能电脑还须认证智能电脑的IP地址,如果无法认证智能电脑的IP地址的明文或解码出来的智能电脑的IP地址具有相近的特征,常常会发生混同的问题;链接之际须得到智能电脑的编码或须智能电脑实现认证响应,方可把控制器与智能电脑实现链接,接着方能发送纠偏后的前景图像,此步骤运行复杂;另外若还结合Zigbee模块执行纠偏后的前景图像的发送,须额外加大电路构造费用和对应控制程序的添加量。另外智能电脑还常常出现错连、分辨形式单一、娱乐性不够强、认证时长不好把握、认证效率低下、选择性不强、无历史记录、再现性不强的问题。
另外所述纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中的方式的方式为首先预设控制器和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,智能电脑同3G无线网络相连接,所述控制器包括处理器,所述处理器同3G模块和触摸屏相连接,接着控制器将用户的操作动作通过网络发送给智能电脑的步骤如下:
步骤1:事先针对智能电脑的识别码进行标记后运行并启动至其第二增速发送程序,控制器获取到纠偏后的前景图像后,运行并启动至第一增速发送程序;
步骤2:当控制器处在第一增速发送程序的运行状态下后,向所述控制器本身的识别码执行标记,所述标记同智能电脑的识别码进的标记一致,另外还探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记;
步骤3:如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑;
于这样的步骤中,所述当控制器处在第一增速发送程序的运行状态下后,向所述控制器本身的识别码执行标记,让所述控制器本身的识别码带有独一标记,由此在智能电脑亦同步执行了第二增速发送程序后,所述控制器即探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记,如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器就同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑;
还有就是,本发明就算若所述控制器未处在第一增速发送程序的运行状态,通过3G模块与3G无线单元相连接,也能够同步向所述控制器本身的识别码执行标记,所述标记同智能电脑的识别码进的标记一致,另外还探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记;如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑把所述纠偏后的前景图像发送给智能电脑。
所述步骤2内,所述向所述控制器本身的识别码执行标记的方式为:
于所述控制器本身的识别码上增加独特的符码和时长的标记,也就是于执行标记之际,于所述控制器本身的识别码上增加独特的符码和时长的标记,所述独特的符码为执行者来设置,能够为同智能电脑的识别码的标记采用同样的密文来作为所述独特的符码;于是在另外不相关的智能电脑运行时,就不会出现错误的连接和发送的问题。
所述控制器的时长的标记为表示运行并启动至第一增速发送程序的时长,所述智能电脑的时长的标记为表示运行并启动至第二增速发送程序的时长;比如2分33秒,这样来进一步根据设定的时长范围保证仅仅在时长范围内的所述个人集成控器才可以实现认定并发送所述纠偏后的前景图像给智能电脑。
由此在所述控制器与智能电脑间采用同样的转化方式后,所述控制器与智能电脑就带有一样的独特的符码的转化方式。
也能够在3G无线网络内其他需要发送所述纠偏后的前景图像的智能电脑上也设置同样的所述转化方式。由此不但能确保信息链路建立,也就是联结的正确性,也可改善娱乐性。
于是整体发送纠偏后的前景图像的期间,执行者须执行的无非就是运行启动至第一增速发送程序、随后让所述控制器把所述纠偏后的前景图像发送给智能电脑就可以了,就不必要执行者认证智能电脑的IP地址是不是智能电脑,亦就无须反复的触摸触摸屏来发出肯定的呼应,所述第一增速发送程序与第二增速发送程序均采用任务级程序执行。进一步实现了增速把所述纠偏后的前景图像发送给智能电脑的效果;另外也不需要额外的中转架构来实现发送,亦无须占用信息发送的信道,由此减少了执行者的费用。
辨别探测3G无线网络内的智能电脑的识别码是不是带有所述独特的符码,还有就是3G无线网络内的智能电脑的时长的标记和所述控制器的时长的标记是不是在设定的时长范畴中。
经由本发明的结构,与现有技术相比,本发明的优点在于:
控制器获取到纠偏后的前景图像后,运行并启动至第一增速发送程序;当控制器处在第一增速发送程序的运行状态下后,向所述控制器本身的识别码执行标记,所述标记同智能电脑的识别码进的标记一致,另外还探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记;如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑,这样就能主动分辨智能电脑,实现高效信息链路的构建,并能实现依据执行者的目的来发送所述纠偏后的前景图像,执行者须执行的无非就是运行启动至第一增速发送程序、随后让所述控制器把所述纠偏后的前景图像发送给智能电脑就可以了,就不必要执行者认证智能电脑的IP地址是不是智能电脑,亦就无须反复的触摸触摸屏来发出肯定的呼应,所述第一增速发送程序与第二增速发送程序均采用任务级程序执行。进一步实现了增速把所述纠偏后的前景图像发送给智能电脑的效果;另外也不需要额外的中转架构来实现发送,亦无须占用信息发送的信道,由此减少了执行者的费用。在另外不相关的智能电脑运行时,就不会出现错误的连接和发送的问题。根据设定的时长范围保证仅仅在时长范围内的所述控制器才可以实现认定并发送所述纠偏后的前景图像给智能电脑。能防止执行者出现多余的执行;由此在所述控制器与智能电脑间采用同样的转化方式后,所述控制器与智能电脑就带有一样的独特的符码的转化方式。
所述时长的标记还能够为启动3G模块的时长。
还能辨别3G无线网络内的智能电脑的识别码是不是同步带有和所述控制器一样的独特的符码,并且辨别3G无线网络内的智能电脑的时长的标记和所述控制器的时长的标记是不是在设定的时长范畴中,所述时长范畴为3-4分钟间的随意值,时长超出范围,往往常常会使得若干智能电脑同步同所述控制器相连,时长若过低,也会发生无法相连的结果。
还有就是,所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑期间,在触摸屏上显现一个按钮,在所述执行者须把所述纠偏后的前景图像发送给智能电脑之际,触碰该按钮就开始发送;真正实现了整体发送纠偏后的前景图像的期间,执行者须执行的无非就是运行启动至第一增速发送程序、随后让所述控制器把所述纠偏后的前景图像发送给智能电脑就可以了,就不必要执行者认证智能电脑的IP地址是不是智能电脑,亦就无须反复的触摸触摸屏来发出肯定的呼应,这样在触摸屏上也不必显现智能电脑的识别符,因此这样的发送期间很容易,触摸屏的显现形式也不复杂,执行者容易实施。
若建立的信息链路不止一个的条件下,就在触摸屏上显现出供选用的智能电脑的识别码。让执行者做出对的选用。
还有就是,所述纠偏后的前景图像发送给智能电脑期间,在触摸屏上显现一个表示发送信息的标记,以此来说明现在正在发送信息;在所述纠偏后的前景图像发送结束后,就在触摸屏上显现一个表示发送信息的标记结束的标记;以此来说明发送信息已经结束,就此终止第一增速发送程序与第二增速发送程序。
在步骤3执行结束后,所述控制器就终止第一增速发送程序,在终止第一增速发送程序期间,把控制器的识别码上的标记移除,同步把智能电脑的识别码同所述纠偏后的前景图像存放到一个映射表内。
这样在步骤3执行结束后,所述控制器就终止第一增速发送程序,防止其他智能电脑错连,在终止第一增速发送程序期间,把控制器的识别码上的标记移除,同步把智能电脑的识别码同所述纠偏后的前景图像存放到一个映射表内,此类存放更容易同执行今后的发送信息之际,替执行者显现历史记录以供筛选。
所述把智能电脑的识别码同所述纠偏后的前景图像存放到一个映射表内后,在控制器再次获取到纠偏后的前景图像后,运行并启动至第一增速发送程序之际,在控制器的触摸屏上列出映射表中记录的智能电脑的识别码同发送过的所述纠偏后的前景图像。
由此就能在若干个人集成控制同步处在第一增速发送程序的运行状态下后,就在触摸屏上展示映射表中记录的智能电脑的识别码同发送过的所述用户的操作动作,于是执行者即会高效辨别智能电脑,更高效地发现智能电脑,这样建立信息链路并进行发送信息。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (9)

1.一种基于虚拟现实下的图像识别系统,其特征在于,包括摄像头、控制器和智能电脑;
其中:
摄像头,所述摄像头同控制器相通信连接;
控制器,所述控制器中包括图形预处理模块,所述控制器同智能电脑相控制连接;
所述图形预处理模块用来对视频流建立背景,当前帧与背景作差得到前景图像,然后对前景图像进行纠偏;用来把纠偏后的前景图像发送到智能电脑中;
另外所述纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中的方式为首先预设控制器和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,智能电脑同3G无线网络相连接,所述控制器包括处理器,所述处理器同3G模块和触摸屏相连接,接着控制器将用户的操作动作通过网络发送给智能电脑的步骤如下:
步骤1:事先针对智能电脑的识别码进行标记后运行并启动至其第二增速发送程序,控制器获取到纠偏后的前景图像后,运行并启动至第一增速发送程序;
步骤2:当控制器处在第一增速发送程序的运行状态下后,向所述控制器本身的识别码执行标记,所述标记同智能电脑的识别码进的标记一致,另外还探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记;
步骤3:如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑;
智能电脑,所述智能电脑中包括识别模块和分类器。
2.根据权利要求1所述的基于虚拟现实下的图像识别系统,其特征在于所述摄像头为全景摄像头;所述智能电脑为监控中心计算机,所述监控中心计算机通过无线通信模块与控制器通信连接。
3.根据权利要求1所述的基于虚拟现实下的图像识别系统,其特征在于所述识别模块用来在纠偏后的前景图像中提取肤色块;用来计算提取到的肤色块的深度信息,并根据肤色块的深度信息对脸部区域进行定位;用来根据肤色块的深度信息对手部进行定位并提取关键帧,并对关键帧的手部区域肤色块进行修补填充,所述关键帧为手部在一个区域内停留达到预设帧数的帧;用来提取关键帧的一种或多种手型特征。
4.根据权利要求1所述的基于虚拟现实下的图像识别系统,其特征在于所述分类器用来进行投票表决,得到静态手势识别结果。
5.一种根据权利要求1所述的基于虚拟现实下的图像识别系统的方法,其特征在于,具体如下:
步骤1:通过摄像头采集手语者的动作视频,然后把动作视频发送到控制器中,预处理模块对视频流建立背景,当前帧与背景作差得到前景图像,然后对前景图像进行纠偏;
步骤2:纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中,启动识别模块在纠偏后的前景图像中提取肤色块;
步骤3:接着计算提取到的肤色块的深度信息,并根据肤色块的深度信息对脸部区域进行定位;
步骤4:根据肤色块的深度信息对手部进行定位并提取关键帧,并对关键帧的手部区域肤色块进行修补填充,所述关键帧为手部在一个区域内停留达到预设帧数的帧;
步骤5:提取关键帧的一种或多种手型特征;
步骤6:根据提取的手型特征,使用单个分类器进行分类或者使用多个分类器进行投票表决,得到静态手势识别结果;
步骤7:对手势的运动轨迹进行识别,得到轨迹识别结果;
步骤8:对静态手势识别结果和轨迹识别结果进行纠错与拼接,得到手语的识别翻译结果;
另外所述纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中的方式为首先预设控制器和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,智能电脑同3G无线网络相连接,所述控制器包括处理器,所述处理器同3G模块和触摸屏相连接,接着控制器将用户的操作动作通过网络发送给智能电脑的步骤如下:
步骤1:事先针对智能电脑的识别码进行标记后运行并启动至其第二增速发送程序,控制器获取到纠偏后的前景图像后,运行并启动至第一增速发送程序;
步骤2:当控制器处在第一增速发送程序的运行状态下后,向所述控制器本身的识别码执行标记,所述标记同智能电脑的识别码进的标记一致,另外还探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记;
步骤3:如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑。
6.根据权利要求5所述的基于虚拟现实下的图像识别系统的方法,其特征在于所述对前景图像进行纠偏的方法包括基于高斯分布的自动白平衡算法或基于HSV颜色空间的自动白平衡算法。
7.根据权利要求6所述的基于虚拟现实下的图像识别系统的方法,其特征在于所述提取关键帧是通过分析动作特征的变化曲线来自动提取动作序列的关键帧,提取关键帧的特征并结合视频序列的全局特征来作为分类器的输入。
8.根据权利要求7所述的基于虚拟现实下的图像识别系统的方法,其特征在于所述手型特征基于形状区域内部距离和傅立叶变换,能有效侦测形状轮廓的细微变化,并且同样具有旋转、平移不变性;
所述手型特征 提取包括有:颜色和纹理特征,运动特征、形状几何特征和局部特征。
9.根据权利要求8所述的基于虚拟现实下的图像识别系统的方法,其特征在于另外所述纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中的方式为首先预设控制器和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,智能电脑同3G无线网络相连接,所述控制器包括处理器,所述处理器同3G模块和触摸屏相连接,接着控制器将用户的操作动作通过网络发送给智能电脑;
所述控制器将用户的操作动作通过网络发送给智能电脑的步骤中,所述当控制器处在第一增速发送程序的运行状态下后,向所述控制器本身的识别码执行标记,让所述控制器本身的识别码带有独一标记,由此在智能电脑亦同步执行了第二增速发送程序后,所述控制器即探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记,如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器就同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑;
就算若所述控制器未处在第一增速发送程序的运行状态,通过3G模块与3G无线单元相连接,也能够同步向所述控制器本身的识别码执行标记,所述标记同智能电脑的识别码进的标记一致,另外还探测3G无线网络内的智能电脑的识别码,分辨3G无线网络内的智能电脑的识别码有没有一样的标记;如果3G无线网络内的智能电脑的识别码有一样的标记,就让所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑把所述纠偏后的前景图像发送给智能电脑;
所述步骤2内,所述向所述控制器本身的识别码执行标记的方式为:
于所述控制器本身的识别码上增加独特的符码和时长的标记,也就是于执行标记之际,于所述控制器本身的识别码上增加独特的符码和时长的标记,所述独特的符码为执行者来设置,能够为同智能电脑的识别码的标记采用同样的密文来作为所述独特的符码;
所述控制器的时长的标记为表示运行并启动至第一增速发送程序的时长,所述智能电脑的时长的标记为表示运行并启动至第二增速发送程序的时长;这样来进一步根据设定的时长范围保证仅仅在时长范围内的所述控制器才可以实现认定并发送所述纠偏后的前景图像给智能电脑;
由此在所述控制器与智能电脑间采用同样的转化方式后,所述控制器与智能电脑就带有一样的独特的符码的转化方式;
也能够在3G无线网络内其他需要发送所述纠偏后的前景图像的智能电脑上也设置同样的所述转化方式;
所述第一增速发送程序与第二增速发送程序均采用任务级程序执行;
所述时长的标记还能够为启动3G模块的时长;
还能辨别3G无线网络内的智能电脑的识别码是不是同步带有和所述控制器一样的独特的符码,并且辨别3G无线网络内的智能电脑的时长的标记和所述控制器的时长的标记是不是在设定的时长范畴中;
所述控制器同智能电脑建立信息链路来把所述纠偏后的前景图像发送给智能电脑期间,在触摸屏上显现一个按钮,在所述执行者须把所述纠偏后的前景图像发送给智能电脑之际,触碰该按钮就开始发送;
若建立的信息链路不止一个的条件下,就在触摸屏上显现出供选用的智能电脑的识别码,让执行者做出对的选用;
所述纠偏后的前景图像发送给智能电脑期间,在触摸屏上显现一个表示发送信息的标记,以此来说明现在正在发送信息;在所述纠偏后的前景图像发送结束后,就在触摸屏上显现一个表示发送信息的标记结束的标记;以此来说明发送信息已经结束,就此终止第一增速发送程序与第二增速发送程序;
在步骤3执行结束后,所述控制器就终止第一增速发送程序,在终止第一增速发送程序期间,把控制器的识别码上的标记移除,同步把智能电脑的识别码同所述纠偏后的前景图像存放到一个映射表内;
所述把智能电脑的识别码同所述纠偏后的前景图像存放到一个映射表内后,在控制器再次获取到纠偏后的前景图像后,运行并启动至第一增速发送程序之际,在控制器的触摸屏上列出映射表中记录的智能电脑的识别码同发送过的所述纠偏后的前景图像。
CN201610976329.0A 2016-11-07 2016-11-07 基于虚拟现实下的图像识别系统及其方法 Active CN106527714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610976329.0A CN106527714B (zh) 2016-11-07 2016-11-07 基于虚拟现实下的图像识别系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610976329.0A CN106527714B (zh) 2016-11-07 2016-11-07 基于虚拟现实下的图像识别系统及其方法

Publications (2)

Publication Number Publication Date
CN106527714A CN106527714A (zh) 2017-03-22
CN106527714B true CN106527714B (zh) 2020-04-28

Family

ID=58349964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610976329.0A Active CN106527714B (zh) 2016-11-07 2016-11-07 基于虚拟现实下的图像识别系统及其方法

Country Status (1)

Country Link
CN (1) CN106527714B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107054660A (zh) * 2017-05-08 2017-08-18 佛山市神风航空科技有限公司 一种客机上的vr体验装置
CN112733823B (zh) * 2021-03-31 2021-06-22 南昌虚拟现实研究院股份有限公司 手势姿态识别关键帧提取方法、装置及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663448A (zh) * 2012-03-07 2012-09-12 北京理工大学 一种基于网络的增强现实物体识别分析方法
CN103761504A (zh) * 2013-12-31 2014-04-30 江苏图云智能科技发展有限公司 一种人脸识别系统
CN104463250A (zh) * 2014-12-12 2015-03-25 广东工业大学 一种基于达芬奇技术的手语识别翻译方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160261905A1 (en) * 2013-12-26 2016-09-08 Seiko Epson Corporation Video transmission and display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663448A (zh) * 2012-03-07 2012-09-12 北京理工大学 一种基于网络的增强现实物体识别分析方法
CN103761504A (zh) * 2013-12-31 2014-04-30 江苏图云智能科技发展有限公司 一种人脸识别系统
CN104463250A (zh) * 2014-12-12 2015-03-25 广东工业大学 一种基于达芬奇技术的手语识别翻译方法

Also Published As

Publication number Publication date
CN106527714A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
US10599914B2 (en) Method and apparatus for human face image processing
CN110232369B (zh) 一种人脸识别方法和电子设备
CN110163096B (zh) 人物识别方法、装置、电子设备和计算机可读介质
US20150131855A1 (en) Gesture recognition device and control method for the same
CN103869974B (zh) 用于手势有效部分检测的系统和方法
WO2021159609A1 (zh) 一种视频卡顿识别方法、装置及终端设备
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN107622246B (zh) 人脸识别方法及相关产品
WO2016149985A1 (zh) 方向控制方法、方向控制系统和终端
CN111367415B (zh) 一种设备的控制方法、装置、计算机设备和介质
CN111160307A (zh) 一种人脸识别方法及人脸识别打卡系统
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
WO2014100936A1 (zh) 视频的关联信息库制作和视频播放的方法、平台及系统
CN109086725B (zh) 手部跟踪方法及机器可读存储介质
CN106527714B (zh) 基于虚拟现实下的图像识别系统及其方法
EP3200092A1 (en) Method and terminal for implementing image sequencing
US20170083782A1 (en) Image analysis apparatus, image analysis method, and storage medium
WO2019242156A1 (zh) 终端中的应用控制方法和装置及计算机可读存储介质
US20180336243A1 (en) Image Search Method, Apparatus and Storage Medium
CN106657718B (zh) 实现虚拟现实的数据传送系统及其方法
CN111783677A (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN105469048A (zh) 一种提高人脸检测性能的方法
CN116055806A (zh) 智能终端的模式切换处理方法、装置、终端及存储介质
CN108334602B (zh) 数据标注方法和装置、电子设备、计算机存储介质
CN115268285A (zh) 设备控制方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant