CN113311939A - 基于手势识别的智能音箱控制系统 - Google Patents
基于手势识别的智能音箱控制系统 Download PDFInfo
- Publication number
- CN113311939A CN113311939A CN202110353260.7A CN202110353260A CN113311939A CN 113311939 A CN113311939 A CN 113311939A CN 202110353260 A CN202110353260 A CN 202110353260A CN 113311939 A CN113311939 A CN 113311939A
- Authority
- CN
- China
- Prior art keywords
- module
- gesture
- sample set
- training sample
- sound box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000010354 integration Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 34
- 238000002372 labelling Methods 0.000 claims description 15
- 230000003416 augmentation Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000010339 dilation Effects 0.000 description 6
- 230000003628 erosive effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于手势识别的智能音箱控制系统，其中，该基于手势识别的智能音箱控制系统包括：人机交互模块，人机交互模块用于与用户进行人机交互；数据采集模块，数据采集模块用于在人机交互过程中采集用户的手势信息；预处理模块，预处理模块用于对手势信息进行预处理，以获取目标检测信息；分析模块，分析模块用于根据目标检测模型对目标检测信息进行分析；生态管理模块，生态管理模块用于根据分析结果控制智能音箱进行行为匹配和资源整合。根据本发明的基于手势识别的智能音箱控制系统，采用手势识别的方式对智能音箱进行控制，提高了智能音箱的适用范围，能够满足多场景应用。
Description
技术领域
本发明涉及计算机视觉和机器学习技术领域，具体涉及一种基于手势识别的智能音箱控制系统。
背景技术
随着互联网技术的迅猛发展以及人们生活水平的不断提高，人们对于音箱智能化的需求也越来越高。
相关技术中，智能音箱的人机交互方式匮乏，无法满足多场景应用，适用范围较窄。
发明内容
本发明为解决上述技术问题，提供了一种基于手势识别的智能音箱控制系统，采用手势识别的方式对智能音箱进行控制，提高了智能音箱的适用范围，能够满足多场景应用。
本发明采用的技术方案如下：
一种基于手势识别的智能音箱控制系统，包括：人机交互模块，所述人机交互模块用于与用户进行人机交互；数据采集模块，所述数据采集模块用于在人机交互过程中采集用户的手势信息；预处理模块，所述预处理模块用于对所述手势信息进行预处理，以获取目标检测信息；分析模块，所述分析模块用于根据目标检测模型对所述目标检测信息进行分析；生态管理模块，所述生态管理模块用于根据分析结果控制所述智能音箱进行行为匹配和资源整合。
所述预处理模块包括：第一处理单元，所述第一预处理单元用于利用 OpenCV对所述手势信息进行去噪处理，以生成第一检测信息；第一处理单元，所述第一处理单元用于利用OpenCV对所述手势信息进行去噪处理，以生成第一检测信息；第三处理单元，所述第三处理单元用于利用OpenCV对所述第二检测信息进行形态学处理以及轮廓处理，以生成所述目标检测信息。
所述数据采集模块还用于获取第一训练样本集；其中，所述基于手势识别的智能音箱控制系统还包括：标注模块，所述标注模块用于对所述第一训练样本集进行标注，以生成第二训练样本集；增广模块，所述增广模块用于对所述第二训练样本集进行增广处理，以获取目标训练样本集；训练模块，所述训练模块用于根据所述目标训练样本集对神经网络进行训练，以生成所述目标检测模型。
所述增广模块具体用于：对所述第二训练样本集进行旋转和/或镜像对称操作，以获取所述目标训练样本集。
本发明的有益效果：
本发明采用手势识别的方式对智能音箱进行控制，提高了智能音箱的适用范围，能够满足多场景应用。
附图说明
图1为本发明实施例的基于手势识别的智能音箱控制系统的方框示意图；
图2为本发明一个实施例的腐蚀运算过程的示意图；
图3为本发明一个实施例的膨胀运算过程的示意图；
图4为本发明一个实施例的基于手势识别的智能音箱控制系统的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的基于手势识别的智能音箱控制系统的方框示意图。
如图1所示，本发明实施例的基于手势识别的智能音箱控制系统可包括：人机交互模块100、数据采集模块200、预处理模块300、分析模块400和生态管理模块500。
其中，人机交互模块100用于与用户进行人机交互；数据采集模块 200用于在人机交互过程中采集用户的手势信息；预处理模块300用于对手势信息进行预处理，以获取目标检测信息；分析模块400用于根据目标检测模型对目标检测信息进行分析；生态管理模块500用于根据分析结果控制智能音箱进行行为匹配和资源整合。
具体而言，可在智能音箱端设置人机交互模块100、数据采集模块 200和生态管理模块500，并在云端设置预处理模块300和分析模块400。
其中，可先通过人机交互模块100与用户进行人机交互，人机交互模块 100可包括音箱摄像装置(摄像头)，并通过数据采集模块200在人机交互过程中采集用户的手势信息，数据采集模块200可包括视频处理单元。具体地，可通过智能音箱上方的专用摄像头录制记录用户当前的手势，并通过视频处理单元对记录进行逐帧提取，并对有效的手势图像进行缓存，以生成手势信息，并将手势信息有序上传至云端。
进一步而言，可通过预处理模块300对手势信息进行预处理，以获取目标检测图像，此时，可通过分析模块400将目标检测图像输入目标检测模型，以根据目标检测模型对目标检测信息进行分析，并将分析结果反馈给智能音箱端，生态管理模块500可根据分析结果控制智能音箱进行行为匹配和资源整合。
由此，本发明的智能音箱能够采用手势识别的方式进行控制，从而有效地解决了传统智能音箱交互方式匮乏，无法满足多场景使用的技术问题。
根据本发明的一个实施例，预处理模块300可包括：第一处理单元、第二处理单元和第三处理单元。其中，第一处理单元用于利用OpenCV对手势信息进行去噪处理，以生成第一检测信息；第二处理单元用于利用 OpenCV对第一检测信息进行肤色检测以及二值化处理，以生成第二检测信息；第三处理单元用于利用OpenCV对第二检测信息进行形态学处理以及轮廓处理，以生成目标检测信息。
具体地，首先，可通过第一处理单元利用OpenCV对手势信息进行去噪处理，以生成第一检测信息。其中，可采用双边滤波器 (blur＝cv2.GaussianBlur)，在考虑图像的空间和灰度关系的基础上，控制空间高斯权重和灰度相似性高斯权重，使得采集到的手势边界不再模糊。
其次，可通过第二处理单元利用OpenCV对第一检测信息进行肤色检测以及二值化处理，以生成第二检测信息。其中，在OpenCV的肤色检测中采用YcRcB颜色空间的cr分量处理，一般的图像都是基于RGB空间的，在 RGB空间里手势采集受亮度影响相当大，所以肤色点很难从非肤色点中分离出来，也就是说在此空间经过处理后，肤色点是离散的点，中间嵌有很多非肤色，因此，将RGB转为YCrCb空间时，可以忽略Y(亮度)的影响，因为该空间受亮度影响较小，肤色会产生较好的类聚。由此，可将三维的空间转换为二维的CrCb，肤色点会形成一定得形状，根据经验某点的Cr和Cb值满足： 133≤Cr≤173、77≤Cb≤127，那么该点可被认为是肤色点，其他点可被认为是非肤色点。
需要说明的是，可采用OTSU算法进行肤色检测，其中，可假设存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1、p2。因此：
p1*m1+p2*m2＝mG， (1)
p1+p2＝1， (2)
根据方差的概念，类间方差表达式为：
σ2＝p1(m1-mG)2+p2(m2-mG)2, (3)
将公式(1)带入公式(3)可得：
σ2＝p1p2(m1-m2)2 (4)
上式最大化的灰度级k就是OTSU阈值，其中遍历0～255个灰度级，可求出使公式(4)最大的值k。
然后，可通过第三处理单元利用OpenCV对第二检测信息进行形态学处理以及轮廓处理，以生成目标检测信息。其中，可对第二检测信息进行腐蚀和膨胀处理从而提取轮廓。
具体地，在进行腐蚀操作时，可设A为目标图像，B为结构元素，那么目标图像A被结构元素B腐蚀可定义为：
其中，y表示集合平移的位移量。
其中，如图2所示，目标图像A与结构元素B进行腐蚀运算的含义为：每当在目标图像A中找到一个与结构元素B相同的子图像时，就把该子图像中与B的原点位置对应的那个像素位置标注为1，目标图像A上标注出的所有这样的像素组成的集合，即为腐蚀运算的结果。也就是说，腐蚀运算的基本过程是：将结构元素B看作为一个卷积模板，每当结构元素平移到其原点位置与目标图像A中那些像素值为“1”的位置重合时，就判断被结构元素覆盖的子图像的其它像素的值是否都与结构元素相应位置的像素值相同；只有当其都相同时，就将结果图像中的那个与原点位置对应的像素位置的值置为“1”，否则置为0。
在进行膨胀操作时，可设A为目标图像，B为结构元素，那么目标图像A被结构元素B膨胀可定义为：
其中，y表示集合平移的位移量。
其中，如图3所示，目标图像A与结构元素B进行膨胀运算的含义为：先对结构元素B做关于其原点的反射得到反射集合
然后再在目标图像 A上将
平移y，则那些
平移后与目标图像A至少有1个非零公共元素相交时对应的
的原点位置所组成的集合，就是膨胀运算的结果。也就是说，膨胀运算的基本过程为：(1)求结构元素B关于其原点的反射集合
(2)每当结构元素
在目标图像A上平移后，结构元素
与其覆盖的子图像中至少有一个元素相交时,就将目标图像中与结构元素
的原点对应的那个位置的像素值置为“1”，否则置为0。
根据本发明的一个实施例，数据采集模块200还用于获取第一训练样本集；其中，如图4所示，基于手势识别的智能音箱控制系统还包括：标注模块600、增广模块700和训练模块800，标注模块600用于对第一训练样本集进行标注，以生成第二训练样本集；增广模块700用于对第二训练样本集进行增广处理，以获取目标训练样本集；训练模块800用于根据目标训练样本集对神经网络进行训练，以生成目标检测模型。
具体而言，在根据目标检测模型对目标检测信息进行分析之后，可先对神经网络进行训练，以生成目标检测模型。
首先，可通过数据采集模块200获取第一训练样本集，即通过数据采集模块200预先对采集到的用户的手势进行分析处理，以获取待训练的手势信息，即第一训练样本集，并通过标注模块600对第一训练样本集进行标注，以生成第二训练样本集。其中，可通过标注模块600利用OpenCV对第一训练样本集进行标注，以生成第二训练样本集。具体地，可通过标注模块 600生成一个截取窗口，该截取窗口将在待检测的图像中不断的滑动移动，截取窗口滑移的同时，就会计算出该区域的特征矩阵，标注模块600中分类器对该特征进行筛选，筛选完后判定该区域的状态并将其标记出来。举例而言，如表1所示：
表1
其中，当数据采集模块200将手势S6对应的图像传递至标注模块 600时，可识别并标注出该手势为状态一；当数据采集模块200将手势S2对应的图像传递至标注模块600时，可识别并标注出该手势为状态二；当数据采集模块200将手势S4对应的图像传递至标注模块600时，可识别并标注出该手势为状态三；当数据采集模块200将手势S3对应的图像传递至标注模块600时，可识别并标注出该手势为状态四；当数据采集模块200将手势 S5对应的图像传递至标注模块600时，可识别并标注出该手势为状态五；当数据采集模块200将手势S1对应的图像传递至标注模块600时，可识别并标注出该手势为状态六。
其次，可通过增广模块700对第二训练样本集进行增广处理，以获取目标训练样本集。
根据本发明的一个实施例，增广模块700具体用于：对第二训练样本集进行旋转和/或镜像对称操作，以获取目标训练样本集。
具体地，可先从手势图像上选定一个中心图像块和四个角落图像块，并从图像中的其他位置截取一定数量(i个)的随机图像块，即在一幅图像上选取5+i个固定图像块，然后可对所有图像块进行旋转操作(例如，步长为 90°的旋转操作)，或者对所有图像块进行特定方向(水平或垂直)的镜像对称操作，或者进行旋转和镜像对称操作，以扩大第二训练样本集的数量。由此，通过对采集的一部分手势图像进行随机变化操作，可以产生大量相似但不同的训练集样本，从而短时间扩大数据集的规模，增强系统的泛化能力，建立有效的手势训练集。
然后，通过训练模块800根据目标训练样本集对神经网络进行训练，以生成目标检测模型。具体地，可利用Tensorflow搭建神经网络训练，其中，卷积层在整个网络中用来提取样本的特征并进行处理，选择好卷积层对整个卷积神经网络识别的准确率有重要的影响。在选择卷积核的时候，一般采用“小卷积核，多卷积层数”的原则。因此，采用了5层卷积神经网络，卷积核依次为11×11、5×5、3×3、3×3、3×3，卷积核个数依次为96、256、 384、384、256个，第一、二、五层卷积之后分别进行最大值池化，池化核2×2，第五层池化结果作为输入进行两层全连接，结果输出至Softmax层，输出节点数量为手势图片的数量，每一维对应图片属于某个类别的概率。其中，输入：224×224大小的图片，3通道；第一层卷积：11×11大小的卷积核96个；第一层max-pooling：2×2的核；第二层卷积：5×5卷积核 256个；第二层max-pooling：2×2的核；第三层卷积：与上一层是全连接， 3×3的卷积核384个，分到两个GPU上个192个；第四层卷积：3×3的卷积核384个,与上一层连接没有经过池化层；第五层卷积：3×3的卷积核 256个；第五层max-pooling：2×2的核；第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入；第二层全连接：4096维；Softmax层：输出每一维对应图片属于某类别的概率。
需要说明的是，在通过训练样本集完成对目标检测模型的训练时，还可通过测试样本集对训练处的目标检测模型进行训练，以确保目标检测的准确性。
进一步而言，在目标检测模型训练完成后，可对目标检测信息进行分析，并将分析结果反馈给生态管理模块500。此时，生态管理模块500可根据分析结果控制所述智能音箱进行行为匹配和资源整合。举例而言，如表1所示，当系统识别手势S6(状态一)时，生态管理模块500可将当前资源进行“收藏当前媒体”的动作；当系统识别手势S2(状态二)时，生态管理模块 500可将当前资源进行“取消收藏当前媒体”的动作；当系统识别手势 S4(状态三)时，生态管理模块500可将当前资源进行“下一个媒体”的动作；当系统识别手势S3(状态四)时，生态管理模块500可将当前资源进行“上一个媒体”的动作；当系统识别手势S5(状态三)时，生态管理模块 500可将当前资源进行“提高当前媒体音量”的动作；当系统识别手势 S1(状态三)时，生态管理模块500可将当前资源进行“降低当前媒体音量”的动作。
综上所述，根据本发明实施例的基于手势识别的智能音箱控制系统，通过人机交互模块与用户进行人机交互，并通过数据采集模块在人机交互过程中采集用户的手势信息，以及通过预处理模块对所述手势信息进行预处理，以获取目标检测信息，并通过分析模块根据目标检测模型对所述目标检测信息进行分析，以及通过生态管理模块根据分析结果控制所述智能音箱进行行为匹配和资源整合。由此，采用手势识别的方式对智能音箱进行控制，提高了智能音箱的适用范围，能够满足多场景应用。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种基于手势识别的智能音箱控制系统，其特征在于，包括：
人机交互模块，所述人机交互模块用于与用户进行人机交互；
数据采集模块，所述数据采集模块用于在人机交互过程中采集用户的手势信息；
预处理模块，所述预处理模块用于对所述手势信息进行预处理，以获取目标检测信息；
分析模块，所述分析模块用于根据目标检测模型对所述目标检测信息进行分析；
生态管理模块，所述生态管理模块用于根据分析结果控制所述智能音箱进行行为匹配和资源整合。
2.根据权利要求1所述的基于手势识别的智能音箱控制系统，其特征在于，所述预处理模块包括：
第一处理单元，所述第一处理单元用于利用OpenCV对所述手势信息进行去噪处理，以生成第一检测信息；
第二处理单元，所述第二处理单元用于利用OpenCV对所述第一检测信息进行肤色检测以及二值化处理，以生成第二检测信息；
第三处理单元，所述第三处理单元用于利用OpenCV对所述第二检测信息进行形态学处理以及轮廓处理，以生成所述目标检测信息。
3.根据权利要求1所述的基于手势识别的智能音箱控制系统，其特征在于，
所述数据采集模块还用于获取第一训练样本集；其中，所述基于手势识别的智能音箱控制系统还包括：
标注模块，所述标注模块用于对所述第一训练样本集进行标注，以生成第二训练样本集；
增广模块，所述增广模块用于对所述第二训练样本集进行增广处理，以获取目标训练样本集；
训练模块，所述训练模块用于根据所述目标训练样本集对神经网络进行训练，以生成所述目标检测模型。
4.根据权利要求3所述的基于手势识别的智能音箱控制系统，其特征在于，所述增广模块具体用于：
对所述第二训练样本集进行旋转和/或镜像对称操作，以获取所述目标训练样本集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110353260.7A CN113311939A (zh) | 2021-04-01 | 2021-04-01 | 基于手势识别的智能音箱控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110353260.7A CN113311939A (zh) | 2021-04-01 | 2021-04-01 | 基于手势识别的智能音箱控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113311939A true CN113311939A (zh) | 2021-08-27 |
Family
ID=77372028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110353260.7A Pending CN113311939A (zh) | 2021-04-01 | 2021-04-01 | 基于手势识别的智能音箱控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113311939A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744434A (zh) * | 2016-02-25 | 2016-07-06 | 深圳市广懋创新科技有限公司 | 一种基于手势识别的智能音箱控制方法及系统 |
| CN108064006A (zh) * | 2018-02-11 | 2018-05-22 | 深圳市沃特沃德股份有限公司 | 智能音箱及播放控制方法 |
| CN109684959A (zh) * | 2018-12-14 | 2019-04-26 | 武汉大学 | 基于肤色检测和深度学习的视频手势的识别方法及装置 |
| CN210274488U (zh) * | 2019-06-06 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 智能音箱及智能设备 |
| CN112462940A (zh) * | 2020-11-25 | 2021-03-09 | 苏州科技大学 | 智能家居多模态人机自然交互系统及其方法 |
-
2021
- 2021-04-01 CN CN202110353260.7A patent/CN113311939A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744434A (zh) * | 2016-02-25 | 2016-07-06 | 深圳市广懋创新科技有限公司 | 一种基于手势识别的智能音箱控制方法及系统 |
| CN108064006A (zh) * | 2018-02-11 | 2018-05-22 | 深圳市沃特沃德股份有限公司 | 智能音箱及播放控制方法 |
| CN109684959A (zh) * | 2018-12-14 | 2019-04-26 | 武汉大学 | 基于肤色检测和深度学习的视频手势的识别方法及装置 |
| CN210274488U (zh) * | 2019-06-06 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 智能音箱及智能设备 |
| CN112462940A (zh) * | 2020-11-25 | 2021-03-09 | 苏州科技大学 | 智能家居多模态人机自然交互系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yan et al. | Unsupervised image saliency detection with Gestalt-laws guided optimization and visual attention based refinement | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108830855B (zh) | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 | |
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN108647625A (zh) | 一种表情识别方法及装置 | |
| CN109934216B (zh) | 图像处理的方法、装置、计算机可读存储介质 | |
| CN109829924B (zh) | 一种基于主体特征分析的图像质量评价方法 | |
| CN109190456B (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| Liu et al. | Micro-expression recognition using advanced genetic algorithm | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN111274987A (zh) | 人脸表情识别方法及人脸表情识别装置 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| CN112883941A (zh) | 一种基于并行神经网络的人脸表情识别方法 | |
| Jia et al. | Saliency detection via a unified generative and discriminative model | |
| CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN110910497A (zh) | 实现增强现实地图的方法和系统 | |
| Zhang et al. | Artifact detection in endoscopic video with deep convolutional neural networks | |
| CN109800758A (zh) | 一种极大值区域检测的自然场景文字检测方法 | |
| Wang et al. | SOM based artistic styles visualization | |
| CN113311939A (zh) | 基于手势识别的智能音箱控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210827 |
|
| RJ01 | Rejection of invention patent application after publication |