CN110414326B - 样本数据处理方法、装置、计算机装置及存储介质 - Google Patents
样本数据处理方法、装置、计算机装置及存储介质 Download PDFInfo
- Publication number
- CN110414326B CN110414326B CN201910528252.4A CN201910528252A CN110414326B CN 110414326 B CN110414326 B CN 110414326B CN 201910528252 A CN201910528252 A CN 201910528252A CN 110414326 B CN110414326 B CN 110414326B
- Authority
- CN
- China
- Prior art keywords
- pictures
- sample data
- sign language
- dimension reduction
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 109
- 230000009467 reduction Effects 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000015654 memory Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000005429 filling process Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000007667 floating Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种样本数据处理方法，包括：采集每种手语所对应的X份样本数据，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；根据每份样本数据所包括的多张图片构成手语的先后顺序为每份样本数据的多张图片打标签；根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。本发明基于图片构成手语的先后顺序处理样本数据的同时对图片作降维处理，在降低图片数据处理量的同时还提高了训练样本的质量。本发明还提供实现所述样本数据处理方法的装置、计算机装置及存储介质。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种样本数据处理方法、装置、计算机装置及存储介质。
背景技术
当前利用机器学习手语识别时，都是采用图片进行模型训练的。然而，所采用的图片包含了大量背景噪声数据。大量背景噪声数据的存在会导致需要处理的数据量大，也降低了识别精确度。此外，所采用的图片之间是相互独立的，没有时间序列，导致所训练获得的手语识别模型识别精度低。
发明内容
鉴于以上内容，有必要提出一种样本数据处理方法、装置、计算机装置及存储介质，用以解决数据处理量大，训练样本质量差的技术问题。
本发明的第一方面提供一种样本数据处理方法，所述方法包括：
采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；
根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；
根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。
优选地，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：将每种手语的每份样本数据所包括的多张图片中的每张图片转化为灰度图像。
优选地，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：
采用卷积神经网络对每种手语的每份样本数据所包括的每张图片作降维处理，包括：
将每张图片输入两个串联连接的卷积层进行特征的提取，获得所提取的特征数据；
将所提取的特征数据通过至少一个的池化层和至少一个卷积层进行特征数据的降维，获得降维后的特征数据；及
将所述降维后的特征数据输入至少一个全连接层中，得到降维后的图片数据。
优选地，所述利用将经过所述降维处理的每种手语的所有样本数据训练手语识别模型包括：
建立一个由输入层、中间层以及输出层构成的LSTM神经网络；及
将经过所述降维处理的每种手语的所有样本数据作为训练样本集对所述LSTM神经网络进行训练，得到训练后的手语识别模型；
其中，所述输入层为特征表示层，用于将输入的所述经过所述降维处理的每种手语的每份样本数据所包括的每张图片表示为预设维度的特征向量，所述中间层为双向LSTM层，由预设数量的LSTM单元组成，用于学习所述特征向量，所述预设数量为所述预设维度的一半，所述输出层为一个全连接层，使用sigmoid激活函数，用于输出一个浮点数值作为整个神经网络的输出。
优选地，该方法还包括：在所述输入层输入每种手语的每份样本数据所包括的所有图片，其中，在所述输入层输入任意一种手语的任意一份样本数据所包括的图片包括：
确定所述任意一份样本数据所包括的所有图片的总数N是小于M、等于M，还是大于M，其中，所述N和M为正整数；
若所述N等于M，则按照所述N张图片构成手语的先后顺序在输入层输入所述N张图片；
若N小于M，则作补齐处理以补齐M张图片，所述补齐处理包括补充M-N张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片；及
若N大于M，则依所述N张图片构成手语的先后顺序从所述N张图片中每次选择M张图片在输入层输入，其中，当出现剩余图片数量小于M时，作所述补齐处理以补齐M张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片。
优选地，所述补充的M-N张图片的顺序位于所述N张图片之后，所补充的每张图片为大小与所述某份样本数据所包括的每张图片的大小相同的0矩阵。
优选地，该方法还包括测试所述手语识别模型，包括：
将N种手语分别所对应的图片输入到所述手语识别模型，获得所述手语识别模型对应输出的手语；
计算所述手语识别模型输出正确手语的正确率，若所述手语识别模型输出正确手语的正确率大于或者等于一个预设值，则确定无需重新训练所述手语识别模型；若所述手语识别模型输出正确手语的正确率小于所述预设值，则确定要重新训练所述手语识别模型。
本发明第二方面提供一种计算机装置，所述计算机装置包括存储器和处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令实现所述样本数据处理方法。
本发明第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述样本数据处理方法。
本发明第四方面提供一种样本数据处理装置，所述装置包括：
采集模块，用于采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；
处理模块，用于根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；
所述处理模块，还用于根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。
本发明实施例中所述的样本数据处理方法、装置、计算机装置及存储介质，通过采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。本发明基于图片构成手语的先后顺序处理样本数据的同时对图片作降维处理，在降低图片数据处理量的同时还提高了训练样本的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的样本数据处理方法的流程图。
图2是本发明实施例二提供的样本数据处理装置的结构图。
图3是本发明实施例三提供的计算机装置的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一
图1是本发明实施例一提供的样本数据处理方法的流程图。
在本实施例中，所述样本数据处理方法可以应用于计算机装置中，对于需要进行样本数据处理的计算机装置，可以直接在计算机装置上集成本发明的方法所提供的用于样本数据处理的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在计算机装置上。
如图1所示，所述样本数据处理方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S1、采集每种手语所对应的X份样本数据，其中，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语。其中，X为正整数。例如X可以等于30、40、50或其他数值。
在一个实施例中，可以利用计算机装置的摄像头拍摄获取每份样本数据所对应的视频，然后按照时间顺序依次截取视频的每帧所对应的图片从而获得所述每份样本数据所包括的多张图片。
在一个实施例中，所述计算机装置可以是个人电脑、服务器、笔记本等装置。
在一个实施例中，某种手语所对应的所述X份样本数据分别所对应的视频可以是分别对X个不同的人在作所述某种手语动作时进行拍摄获得的。
举例而言，对于“我和你”这个手语而言，其对应30份样本数据，该30份样本数据分别所对应的视频可以是分别对30个人作该“我和你”手语时进行拍摄获得的。在一个实施例中，每种手语的每份样本数据所包括的每张图片具有相同的大小。
在其他实施例中，也可以从网络上下载每种手语的样本数据。
步骤S2、根据所述每种手语的所述X份样本数据中的每份样本数据所包括的多张图片构成手语的先后顺序为所述每份样本数据所包括的多张图片打标签，从而为所述每种手语的所述X份样本数据中的每份样本数据打标签。
在一个实施例中，所述根据所述每种手语的所述X份样本数据中的每份样本数据所包括的多张图片构成手语的先后顺序为所述每份样本数据所包括的多张图片打标签，从而为所述每种手语的所述X份样本数据中的每份样本数据打标签包括：
(a1)为每种手语分配一个主标签；
(a2)为每种手语的每份样本数据分配一个副标签；
(a3)根据每份样本数据所包括的多张图片构成手语的先后顺序为每份样本数据所包括的多张图片中的每张图片分配一个子标签；
(a4)将与每种手语对应的主标签、与每种手语的每份样本数据对应的副标签、与每种手语的每份样本数据所包括的多张图片中的每张图片对应的子标签建立关联，由此，将每个主标签与多个副标签和多个子标签建立了关联。
举例而言，可以为某种手语分配一个主标签“A”，为该某种手语所对应的30份样本数据分别分配副标签“A1”、“A2”......“A30”。然后为所述30份样本数据中的每份样本数据所包括的多张图片分别分配子标签。具体地，可以根据构成手语的先后顺序为每份样本数据所包括的多张图片来分配子标签。例如，假设对应副标签“A1”的某份样本数据包括7张图片，则根据构成手语的先后顺序将该7张图片分别分配子标签“A11”、“A12”、“A13”、“A14”、“A15”、“A16”、“A17”。
步骤S3、根据所述每种手语的每份样本数据所对应的标签，提取每种手语的每份样本数据所包括的多张图片，对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。
在一个实施例中，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：将每种手语的每份样本数据所包括的多张图片中的每张图片转化为灰度图像，从而实现降维。
在一个实施例中，可以采用卷积神经网络(Convolutional Neural Network,CNN)对每种手语的每份样本数据所包括的每张图片作降维处理。
在一个实施例中，所述采用卷积神经网络对每种手语的每份样本数据所包括的每张图片作降维处理包括：
(b1)将每张图片输入两个串联连接的卷积层进行特征的提取，获得所提取的特征数据。
本实施例中，所述至少两个卷积层的核大小均不大于5*5。所述卷积层用于对输入的图片进行局部块特征的提取，获得高一级的特征数据，且每个卷积层中均会进行多次的卷积操作。卷积层的核通常采用n*n的结构或者采用m*n的结构。
在一个较佳的实施例中，所述至少两个串联连接的卷积层包含四个依次连接的卷积层，且所述四个卷积层的核大小分别为3*3、3*3、5*5、5*5。采用依次连接的卷积层能够有效地提取图片的特征数据，同时还减少了神经网络计算模型的参数。
(b2)将所提取的特征数据通过至少一个的池化层和至少一个卷积层进行特征数据的降维，获得降维后的特征数据。
本实施例中，所述池化层采用平均值池化。所述池化层用于将卷积层输出的特征数据进行降维处理，也即在保证数据有效性的基础上大大减少数据量。所述平均值池化是指按照池化的原则，取池化核大小范围内数据的平均值作为池化后的输出数据。
(b3)将所述降维后的特征数据输入至少一个全连接层中，得到降维后的图片数据。
在其他实施例中，也可以采用现有技术中的任何降维方法对每种手语的每份样本数据所包括的每张图片降维，从而进一步减少数据处理量。
在其他实施例中，在降维处理前或处理后，还包括对每种手语的每份样本数据所包括的每张图片作去噪处理，例如，去除背景噪声数据，从而进一步降低数据处理量。
步骤S4、利用将经过所述降维处理的每种手语的所有样本数据训练手语识别模型。
在一个实施例中，可以采用LSTM(Long Short-Term Memory，长短期记忆网络)神经网络训练所述手语识别模型。
在一个实施例中，所述利用将经过所述降维处理的每种手语的所有样本数据训练手语识别模型包括：
(c1)建立一个由输入层、中间层以及输出层构成的LSTM神经网络。
(c2)将经过所述降维处理的每种手语的所有样本数据作为训练样本集对所述LSTM神经网络进行训练，得到训练后的手语识别模型。
具体地，所述输入层为特征表示层，用于将输入的所述经过所述降维处理的每种手语的每份样本数据所包括的每张图片表示为预设维度的特征向量。
本实施例中，在输入层输入某种手语的某份样本数据所包括的图片时，包括步骤：
(d1)确定所述某份样本数据所包括的所有图片的总数N是小于M、等于M，还是大于M。
(d2)若所述N等于M，则按照所述N张图片构成手语的先后顺序在输入层输入所述N张图片。
(d3)若N小于M，则作补齐处理以补齐M张图片，所述补齐处理包括补充M-N张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片。
需要说明的是，所述某种手语的某份样本数据是指上述提及到任意一种手语的任意一份样本数据。
在一个实施例中，所述补充的图片的顺序均位于所述N张图片之后。所补充的每张图片为大小与所述某份样本数据所包括的每张图片的大小相同的0矩阵。0矩阵即所有元素皆为0的矩阵。
举例而言，假设所述某份样本数据所包括的每张图片的大小是一个28*28大小的矩阵。那么所补充的每张图片的大小则为28*28大小的0矩阵。
(d4)若N大于M，则依所述N张图片构成手语的先后顺序从所述N张图片中每次选择M张图片在输入层输入，其中，当出现剩余图片数量小于M时，作所述补齐处理补齐M张图片，然后在输入层输入补齐后的所述M张图片。
本实施例中，所述N和M为正整数，例如，M可以等于5。
举例而言，假设构成某种手语的某份样本数据包括7张图片，该7张图片按照构成手语的先后顺序分别对应子标签“A11”、“A12”、“A13”、“A14”、“A15”、“A16”、“A17”。那么可以首先在输入层输入与子标签“A11”、“A12”、“A13”、“A14”、“A15”对应的这五张图片。由于仅剩两张与子标签“A6”、“A7”对应的图片，因此，作补齐处理再补充三张图片以补齐五张图片，然后在输入层输入补齐后的所述五张图片。
在一个实施例中，所述中间层为双向LSTM层，由预设数量的LSTM单元组成，用于学习所述特征向量，所述预设数量为所述预设维度的一半。
所述输出层为一个全连接层，使用sigmoid激活函数，用于输出一个浮点数值作为整个神经网络的输出。
需要说明的是，若在降维处理后，还对每种手语的每份样本数据所包括的每张图片作了去噪处理，则利用的是经过所述降维处理和去噪处理的每种手语的所有样本数据训练手语识别模型。
步骤S5、测试所述手语识别模型。
具体地，可以利用预设种类的手语分别所对应的图片测试所述手语识别模型，将所述预设种类的手语分别所对应的图片输入到所述手语识别模型，确定是否能够正确输出所对应的手语。
在一个实施例中，所述测试所述手语识别模型包括：
(e1)将所述N种手语分别所对应的图片输入到所述手语识别模型，获得所述手语识别模型对应输出的手语；
(e2)计算所述手语识别模型输出正确手语的正确率，根据所述正确率确定是否要重新训练所述手语识别模型。
在一个实施例中，若所述手语识别模型输出正确手语的正确率大于或者等于一个预设值，则确定无需重新训练所述手语识别模型。若所述手语识别模型输出正确手语的正确率小于所述预设值，则确定要重新训练所述手语识别模型，可通过步骤S1-S3重新获取更多个样本数据，并通过步骤S4利用重新获得的样本数据重新训练所述手语识别模型。
综上所述，本发明实施例中所述的样本数据处理方法，通过采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。本发明基于图片构成手语的先后顺序处理样本数据的同时对图片作降维处理，在降低图片数据处理量的同时还提高了训练样本的质量。
上述图1详细介绍了本发明的样本数据处理方法，下面结合图2和图3，对实现所述样本数据处理方法的软件装置的功能模块以及实现所述样本数据处理方法的硬件装置架构进行介绍。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
实施例二
参阅图2所示，是本发明实施例二提供的样本数据处理装置的结构图。
在一些实施例中，所述样本数据处理装置30运行于计算机装置中。所述样本数据处理装置30可以包括多个由程序代码段所组成的功能模块。所述样本数据处理装置30中的各个程序段的程序代码可以存储于计算机装置的存储器中，并由所述至少一个处理器所执行，以实现(详见图2描述)样本数据处理的功能。
本实施例中，所述样本数据处理装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：采集模块301、处理模块302。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
采集模块301采集每种手语所对应的X份样本数据，其中，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语。其中，X为正整数。例如X可以等于30、40、50或其他数值。
在一个实施例中，可以利用计算机装置的摄像头拍摄获取每份样本数据所对应的视频，然后按照时间顺序依次截取视频的每帧所对应的图片从而获得所述每份样本数据所包括的多张图片。
在一个实施例中，所述计算机装置可以是个人电脑、服务器、笔记本等装置。
在一个实施例中，某种手语所对应的所述X份样本数据分别所对应的视频可以是分别对X个不同的人在作所述某种手语动作时进行拍摄获得的。
举例而言，对于“我和你”这个手语而言，其对应30份样本数据，该30份样本数据分别所对应的视频可以是分别对30个人作该“我和你”手语时进行拍摄获得的。
在一个实施例中，每种手语的每份样本数据所包括的每张图片具有相同的大小。
在其他实施例中，也可以从网络上下载每种手语的样本数据。
处理模块302根据所述每种手语的所述X份样本数据中的每份样本数据所包括的多张图片构成手语的先后顺序为所述每份样本数据所包括的多张图片打标签，从而为所述每种手语的所述X份样本数据中的每份样本数据打标签。
在一个实施例中，所述根据所述每种手语的所述X份样本数据中的每份样本数据所包括的多张图片构成手语的先后顺序为所述每份样本数据所包括的多张图片打标签，从而为所述每种手语的所述X份样本数据中的每份样本数据打标签包括：
(a1)为每种手语分配一个主标签；
(a2)为每种手语的每份样本数据分配一个副标签；
(a3)根据每份样本数据所包括的多张图片构成手语的先后顺序为每份样本数据所包括的多张图片中的每张图片分配一个子标签；
(a4)将与每种手语对应的主标签、与每种手语的每份样本数据对应的副标签、与每种手语的每份样本数据所包括的多张图片中的每张图片对应的子标签建立关联，由此，将每个主标签与多个副标签和多个子标签建立了关联。
举例而言，可以为某种手语分配一个主标签“A”，为该某种手语所对应的30份样本数据分别分配副标签“A1”、“A2”......“A30”。然后为所述30份样本数据中的每份样本数据所包括的多张图片分别分配子标签。具体地，可以根据构成手语的先后顺序为每份样本数据所包括的多张图片来分配子标签。例如，假设对应副标签“A1”的某份样本数据包括7张图片，则根据构成手语的先后顺序将该7张图片分别分配子标签“A11”、“A12”、“A13”、“A14”、“A15”、“A16”、“A17”。
处理模块302根据所述每种手语的每份样本数据所对应的标签，提取每种手语的每份样本数据所包括的多张图片，对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。
在一个实施例中，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：将每种手语的每份样本数据所包括的多张图片中的每张图片转化为灰度图像，从而实现降维。
在一个实施例中，可以采用卷积神经网络(Convolutional Neural Network,CNN)对每种手语的每份样本数据所包括的每张图片作降维处理。
在一个实施例中，所述采用卷积神经网络对每种手语的每份样本数据所包括的每张图片作降维处理包括：
(b1)将每张图片输入两个串联连接的卷积层进行特征的提取，获得所提取的特征数据。
本实施例中，所述至少两个卷积层的核大小均不大于5*5。所述卷积层用于对输入的图片进行局部块特征的提取，获得高一级的特征数据，且每个卷积层中均会进行多次的卷积操作。卷积层的核通常采用n*n的结构或者采用m*n的结构。
在一个较佳的实施例中，所述至少两个串联连接的卷积层包含四个依次连接的卷积层，且所述四个卷积层的核大小分别为3*3、3*3、5*5、5*5。采用依次连接的卷积层能够有效地提取图片的特征数据，同时还减少了神经网络计算模型的参数。
(b2)将所提取的特征数据通过至少一个的池化层和至少一个卷积层进行特征数据的降维，获得降维后的特征数据。
本实施例中，所述池化层采用平均值池化。所述池化层用于将卷积层输出的特征数据进行降维处理，也即在保证数据有效性的基础上大大减少数据量。所述平均值池化是指按照池化的原则，取池化核大小范围内数据的平均值作为池化后的输出数据。
(b3)将所述降维后的特征数据输入至少一个全连接层中，得到降维后的图片数据。
在其他实施例中，也可以采用现有技术中的任何降维方法对每种手语的每份样本数据所包括的每张图片降维，从而进一步减少数据处理量。
在其他实施例中，在降维处理前或处理后，还包括对每种手语的每份样本数据所包括的每张图片作去噪处理，例如，去除背景噪声数据，从而进一步降低数据处理量。
处理模块302利用将经过所述降维处理的每种手语的所有样本数据训练手语识别模型。
在一个实施例中，可以采用LSTM(Long Short-Term Memory，长短期记忆网络)神经网络训练所述手语识别模型。
在一个实施例中，所述利用将经过所述降维处理的每种手语的所有样本数据训练手语识别模型包括：
(c1)建立一个由输入层、中间层以及输出层构成的LSTM神经网络。
(c2)将经过所述降维处理的每种手语的所有样本数据作为训练样本集对所述LSTM神经网络进行训练，得到训练后的手语识别模型。
具体地，所述输入层为特征表示层，用于将输入的所述经过所述降维处理的每种手语的每份样本数据所包括的每张图片表示为预设维度的特征向量。
本实施例中，在输入层输入某种手语的某份样本数据所包括的图片时，包括步骤：
(d1)确定所述某份样本数据所包括的所有图片的总数N是小于M、等于M，还是大于M。
(d2)若所述N等于M，则按照所述N张图片构成手语的先后顺序在输入层输入所述N张图片。
(d3)若N小于M，则作补齐处理以补齐M张图片，所述补齐处理包括补充M-N张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片。
需要说明的是，所述某种手语的某份样本数据是指上述提及到任意一种手语的任意一份样本数据。
在一个实施例中，所述补充的图片的顺序均位于所述N张图片之后。所补充的每张图片为大小与所述某份样本数据所包括的每张图片的大小相同的0矩阵。0矩阵即所有元素皆为0的矩阵。
举例而言，假设所述某份样本数据所包括的每张图片的大小是一个28*28大小的矩阵。那么所补充的每张图片的大小则为28*28大小的0矩阵。
在一个实施例中，所述补充的M-N张图片的顺序位于所述N张图片之后。
(d4)若N大于M，则依所述N张图片构成手语的先后顺序从所述N张图片中每次选择M张图片在输入层输入，其中，当出现剩余图片数量小于M时，作所述补齐处理补齐M张图片，然后在输入层输入补齐后的所述M张图片。
本实施例中，所述N和M为正整数，例如，M可以等于5。
举例而言，假设构成某种手语的某份样本数据包括7张图片，该7张图片按照构成手语的先后顺序分别对应子标签“A11”、“A12”、“A13”、“A14”、“A15”、“A16”、“A17”。那么可以首先在输入层输入与子标签“A11”、“A12”、“A13”、“A14”、“A15”对应的这五张图片。由于仅剩两张与子标签“A6”、“A7”对应的图片，因此，作补齐处理再补充三张图片以补齐五张图片，然后在输入层输入补齐后的所述五张图片。
在一个实施例中，所述中间层为双向LSTM层，由预设数量的LSTM单元组成，用于学习所述特征向量，所述预设数量为所述预设维度的一半。
所述输出层为一个全连接层，使用sigmoid激活函数，用于输出一个浮点数值作为整个神经网络的输出。
需要说明的是，若在降维处理后，还对每种手语的每份样本数据所包括的每张图片作了去噪处理，则利用的是经过所述降维处理和去噪处理的每种手语的所有样本数据训练手语识别模型。
处理模块302测试所述手语识别模型。
具体地，可以利用预设种类的手语分别所对应的图片测试所述手语识别模型，将所述预设种类的手语分别所对应的图片输入到所述手语识别模型，确定是否能够正确输出所对应的手语。
在一个实施例中，所述测试所述手语识别模型包括：
(e1)将所述N种手语分别所对应的图片输入到所述手语识别模型，获得所述手语识别模型对应输出的手语；
(e2)计算所述手语识别模型输出正确手语的正确率，根据所述正确率确定是否要重新训练所述手语识别模型。
在一个实施例中，若所述手语识别模型输出正确手语的正确率大于或者等于一个预设值，则确定无需重新训练所述手语识别模型。若所述手语识别模型输出正确手语的正确率小于所述预设值，则确定要重新训练所述手语识别模型，可以获取更多样本数据，重新训练所述手语识别模型。
综上所述，本发明实施例中所述的样本数据处理装置，通过采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。本发明基于图片构成手语的先后顺序处理样本数据的同时对图片作降维处理，在降低图片数据处理量的同时还提高了训练样本的质量。
实施例三
参阅图3所示，为本发明实施例三提供的计算机装置的结构示意图。在本发明较佳实施例中，所述计算机装置3包括存储器31、至少一个处理器32、至少一条通信总线33。本领域技术人员应该了解，图3示出的计算机装置的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机装置3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述计算机装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
需要说明的是，所述计算机装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述计算机装置3中的样本数据处理装置30，并在计算机装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他存储介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述计算机装置3的控制核心(Control Unit)，利用各种接口和线路连接整个计算机装置3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机装置3的各种功能和处理数据，例如执行样本数据处理的功能。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述计算机装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机装置3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是服务器、个人电脑等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述计算机装置3的操作装置以及安装的各类应用程序(如所述的样本数据处理装置30)、程序代码等，例如，上述的各个模块。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到对样本数据处理的目的。
在本发明的一个实施例中，所述存储器31存储有至少一个指令(即一个或多个指令)，所述至少一个指令被所述至少一个处理器32所执行以实现对样本数据处理的目的。
结合图1，所述至少一个处理器32对上述至少一个指令的具体实现方法包括：
采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；
根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；
根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集。
根据本发明优选实施例，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：将每种手语的每份样本数据所包括的多张图片中的每张图片转化为灰度图像。
根据本发明优选实施例，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：
采用卷积神经网络对每种手语的每份样本数据所包括的每张图片作降维处理，包括：
将每张图片输入两个串联连接的卷积层进行特征的提取，获得所提取的特征数据；
将所提取的特征数据通过至少一个的池化层和至少一个卷积层进行特征数据的降维，获得降维后的特征数据；及
将所述降维后的特征数据输入至少一个全连接层中，得到降维后的图片数据。
根据本发明优选实施例，该方法还包括：训练所述训练手语识别模型，包括：
建立一个由输入层、中间层以及输出层构成的LSTM神经网络；及
将经过所述降维处理的每种手语的所有样本数据作为训练样本集对所述LSTM神经网络进行训练，得到训练后的手语识别模型；
其中，所述输入层为特征表示层，用于将输入的所述经过所述降维处理的每种手语的每份样本数据所包括的每张图片表示为预设维度的特征向量，所述中间层为双向LSTM层，由预设数量的LSTM单元组成，用于学习所述特征向量，所述预设数量为所述预设维度的一半，所述输出层为一个全连接层，使用sigmoid激活函数，用于输出一个浮点数值作为整个神经网络的输出。
根据本发明优选实施例，该方法还包括：在所述输入层输入每种手语的每份样本数据所包括的所有图片，其中，在所述输入层输入任意一种手语的任意一份样本数据所包括的图片包括：
确定所述任意一份样本数据所包括的所有图片的总数N是小于M、等于M，还是大于M，其中，所述N和M为正整数；
若所述N等于M，则按照所述N张图片构成手语的先后顺序在输入层输入所述N张图片；
若N小于M，则作补齐处理，补充M-N张图片以补齐M张图片，然后按照所述M张图片的先后顺序在输入层输入补齐后的所述M张图片；及
若N大于M，则依所述N张图片构成手语的先后顺序从所述N张图片中每次选择M张图片在输入层输入，其中，当出现剩余图片数量小于M时，作所述补齐处理补齐M张图片，然后在输入层输入补齐后的所述M张图片。
根据本发明优选实施例，所述补充的M-N张图片的顺序位于所述N张图片之后，所补充的每张图片为大小与所述某份样本数据所包括的每张图片的大小相同的0矩阵。
根据本发明优选实施例，该方法还包括测试所述手语识别模型，包括：
将N种手语分别所对应的图片输入到所述手语识别模型，获得所述手语识别模型对应输出的手语；
计算所述手语识别模型输出正确手语的正确率，若所述手语识别模型输出正确手语的正确率大于或者等于一个预设值，则确定无需重新训练所述手语识别模型；若所述手语识别模型输出正确手语的正确率小于所述预设值，则确定要重新训练所述手语识别模型。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (9)
1.一种样本数据处理方法，其特征在于，所述方法包括：
采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；
根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；
根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集；
训练所述训练手语识别模型，包括：建立一个由输入层、中间层以及输出层构成的LSTM神经网络，所述输入层为特征表示层，用于将输入的所述经过所述降维处理的每种手语的每份样本数据所包括的每张图片表示为预设维度的特征向量；及将经过所述降维处理的每种手语的所有样本数据作为训练样本集对所述LSTM神经网络进行训练，得到训练后的手语识别模型，其中，在所述输入层输入每种手语的每份样本数据所包括的所有图片，其中，在所述输入层输入任意一种手语的任意一份样本数据所包括的图片包括：确定所述任意一份样本数据所包括的所有图片的总数N是小于M、等于M，还是大于M，其中，所述N和M为正整数；若所述N等于M，则按照所述N张图片构成手语的先后顺序在输入层输入所述N张图片；若N小于M，则作补齐处理以补齐M张图片，所述补齐处理包括补充M-N张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片；及若N大于M，则依所述N张图片构成手语的先后顺序从所述N张图片中每次选择M张图片在输入层输入，其中，当出现剩余图片数量小于M时，作所述补齐处理以补齐M张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片。
2.如权利要求1所述的样本数据处理方法，其特征在于，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：将每种手语的每份样本数据所包括的多张图片中的每张图片转化为灰度图像。
3.如权利要求1所述的样本数据处理方法，其特征在于，所述对每种手语的每份样本数据所包括的多张图片中的每张图片作降维处理包括：
采用卷积神经网络对每种手语的每份样本数据所包括的每张图片作降维处理，包括：
将每张图片输入两个串联连接的卷积层进行特征的提取，获得所提取的特征数据；
将所提取的特征数据通过至少一个的池化层和至少一个卷积层进行特征数据的降维，获得降维后的特征数据；及
将所述降维后的特征数据输入至少一个全连接层中，得到降维后的图片数据。
4.如权利要求1所述的样本数据处理方法，其特征在于，
所述中间层为双向LSTM层，由预设数量的LSTM单元组成，用于学习所述特征向量，所述预设数量为所述预设维度的一半；
所述输出层为一个全连接层，使用sigmoid激活函数，用于输出一个浮点数值作为整个神经网络的输出。
5.如权利要求4所述的样本数据处理方法，其特征在于，所补充的图片的顺序位于所述N张图片之后，所补充的每张图片为大小与所述任意一份样本数据所包括的每张图片的大小相同的0矩阵。
6.如权利要求4所述的样本数据处理方法，其特征在于，该方法还包括测试所述手语识别模型，包括：
将N种手语分别所对应的图片输入到所述手语识别模型，获得所述手语识别模型对应输出的手语；
计算所述手语识别模型输出正确手语的正确率，若所述手语识别模型输出正确手语的正确率大于或者等于一个预设值，则确定无需重新训练所述手语识别模型；若所述手语识别模型输出正确手语的正确率小于所述预设值，则确定要重新训练所述手语识别模型。
7.一种计算机装置，其特征在于，所述计算机装置包括存储器和处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令实现如权利要求1至6中任意一项所述样本数据处理方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至6中任意一项所述样本数据处理方法。
9.一种样本数据处理装置，其特征在于，所述装置包括：
采集模块，用于采集每种手语所对应的X份样本数据，其中，X为正整数，每份样本数据包括多张图片，所述多张图片按照先后顺序构成一种手语；
处理模块，用于根据所述每份样本数据所包括的多张图片构成手语的先后顺序，为所述每份样本数据的多张图片打标签；
所述处理模块，还用于根据所述每份样本数据所对应的标签，提取每份样本数据所包括的多张图片，对每份样本数据所包括的多张图片中的每张图片作降维处理，将经过所述降维处理的所有样本数据作为训练手语识别模型的训练样本集；
所述处理模块，还用于训练所述训练手语识别模型，包括：建立一个由输入层、中间层以及输出层构成的LSTM神经网络，所述输入层为特征表示层，用于将输入的所述经过所述降维处理的每种手语的每份样本数据所包括的每张图片表示为预设维度的特征向量；及将经过所述降维处理的每种手语的所有样本数据作为训练样本集对所述LSTM神经网络进行训练，得到训练后的手语识别模型，其中，在所述输入层输入每种手语的每份样本数据所包括的所有图片，其中，在所述输入层输入任意一种手语的任意一份样本数据所包括的图片包括：确定所述任意一份样本数据所包括的所有图片的总数N是小于M、等于M，还是大于M，其中，所述N和M为正整数；若所述N等于M，则按照所述N张图片构成手语的先后顺序在输入层输入所述N张图片；若N小于M，则作补齐处理以补齐M张图片，所述补齐处理包括补充M-N张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片；及若N大于M，则依所述N张图片构成手语的先后顺序从所述N张图片中每次选择M张图片在输入层输入，其中，当出现剩余图片数量小于M时，作所述补齐处理以补齐M张图片，然后按照补齐后的所述M张图片的先后顺序在输入层输入补齐后的所述M张图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528252.4A CN110414326B (zh) | 2019-06-18 | 2019-06-18 | 样本数据处理方法、装置、计算机装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528252.4A CN110414326B (zh) | 2019-06-18 | 2019-06-18 | 样本数据处理方法、装置、计算机装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110414326A CN110414326A (zh) | 2019-11-05 |
| CN110414326B true CN110414326B (zh) | 2024-05-07 |
Family
ID=68359355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910528252.4A Active CN110414326B (zh) | 2019-06-18 | 2019-06-18 | 样本数据处理方法、装置、计算机装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414326B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804253B (zh) * | 2021-02-04 | 2022-07-12 | 湖南大学 | 一种网络流量分类检测方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036220A2 (en) * | 2004-09-22 | 2006-04-06 | Prediction Sciences Llc | Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof |
| CN107451552A (zh) * | 2017-07-25 | 2017-12-08 | 北京联合大学 | 一种基于3d‑cnn和卷积lstm的手势识别方法 |
| CN107679491A (zh) * | 2017-09-29 | 2018-02-09 | 华中师范大学 | 一种融合多模态数据的3d卷积神经网络手语识别方法 |
| CN108108754A (zh) * | 2017-12-15 | 2018-06-01 | 北京迈格威科技有限公司 | 重识别网络的训练、重识别方法、装置和系统 |
| CN108932500A (zh) * | 2018-07-09 | 2018-12-04 | 广州智能装备研究院有限公司 | 一种基于深度神经网络的动态手势识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242266B2 (en) * | 2016-03-02 | 2019-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for detecting actions in videos |
-
2019
- 2019-06-18 CN CN201910528252.4A patent/CN110414326B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036220A2 (en) * | 2004-09-22 | 2006-04-06 | Prediction Sciences Llc | Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof |
| CN107451552A (zh) * | 2017-07-25 | 2017-12-08 | 北京联合大学 | 一种基于3d‑cnn和卷积lstm的手势识别方法 |
| CN107679491A (zh) * | 2017-09-29 | 2018-02-09 | 华中师范大学 | 一种融合多模态数据的3d卷积神经网络手语识别方法 |
| CN108108754A (zh) * | 2017-12-15 | 2018-06-01 | 北京迈格威科技有限公司 | 重识别网络的训练、重识别方法、装置和系统 |
| CN108932500A (zh) * | 2018-07-09 | 2018-12-04 | 广州智能装备研究院有限公司 | 一种基于深度神经网络的动态手势识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于训练图CNN 特征的视频人体动作识别算法;曹晋其 等;计算机工程;第43卷(第11期);第234-238页 * |
| 曹晋其 等.基于训练图CNN 特征的视频人体动作识别算法.计算机工程.2017,第43卷(第11期),第234-238页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110414326A (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022247005A1 (zh) | 图像中目标物识别方法、装置、电子设备及存储介质 | |
| CN111414916B (zh) | 图像中文本内容提取生成方法、装置及可读存储介质 | |
| CN113723288A (zh) | 基于多模态混合模型的业务数据处理方法及装置 | |
| CN111815731B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| CN114677650B (zh) | 地铁乘客行人违法行为智能分析方法及装置 | |
| CN112507663A (zh) | 基于文本的判断题生成方法、装置、电子设备及存储介质 | |
| CN115221276A (zh) | 基于clip的中文图文检索模型训练方法、装置、设备及介质 | |
| CN115205225A (zh) | 医学图像识别模型的训练方法、装置、设备及存储介质 | |
| CN113065607A (zh) | 图像检测方法、装置、电子设备及介质 | |
| CN112885423A (zh) | 疾病标签检测方法、装置、电子设备及存储介质 | |
| CN115471775A (zh) | 基于录屏视频的信息验证方法、装置、设备及存储介质 | |
| CN112016560A (zh) | 覆盖文本识别方法、装置、电子设备及存储介质 | |
| CN114880449A (zh) | 智能问答的答复生成方法、装置、电子设备及存储介质 | |
| CN111985449A (zh) | 救援现场图像的识别方法、装置、设备及计算机介质 | |
| CN110414326B (zh) | 样本数据处理方法、装置、计算机装置及存储介质 | |
| CN114840684A (zh) | 基于医疗实体的图谱构建方法、装置、设备及存储介质 | |
| CN114022841A (zh) | 人员监控识别方法、装置、电子设备及可读存储介质 | |
| CN110414327B (zh) | 样本数据处理方法、装置、计算机装置及存储介质 | |
| CN116630712A (zh) | 基于模态组合的信息分类方法、装置、电子设备及介质 | |
| CN116664949A (zh) | 目标物缺陷检测方法、装置、设备及存储介质 | |
| CN113806540B (zh) | 文本打标签方法、装置、电子设备及存储介质 | |
| CN114677526A (zh) | 图像分类方法、装置、设备及介质 | |
| CN114049676A (zh) | 疲劳状态检测方法、装置、设备及存储介质 | |
| CN112347739A (zh) | 适用规则分析方法、装置、电子设备及存储介质 | |
| CN112734205A (zh) | 模型置信度分析方法、装置、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |