CN110705605B - 特征数据库建立及动作识别方法、装置、系统及存储介质 - Google Patents

特征数据库建立及动作识别方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110705605B
CN110705605B CN201910860455.3A CN201910860455A CN110705605B CN 110705605 B CN110705605 B CN 110705605B CN 201910860455 A CN201910860455 A CN 201910860455A CN 110705605 B CN110705605 B CN 110705605B
Authority
CN
China
Prior art keywords
image data
data
feature
action
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910860455.3A
Other languages
English (en)
Other versions
CN110705605A (zh
Inventor
罗佳鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910860455.3A priority Critical patent/CN110705605B/zh
Publication of CN110705605A publication Critical patent/CN110705605A/zh
Application granted granted Critical
Publication of CN110705605B publication Critical patent/CN110705605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种特征数据库建立及动作识别方法、系统及存储介质。本发明实施例通过获取用户进行动作对应的图像数据，从图像数据中提取相应的特征数据，将特征数据与特征数据库中的特征数据进行匹配，确定相匹配的特征数据，将相匹配的特征数据对应的动作作为识别结果，本方案从数据源入手，在特征数据库的建立过程中，针对用户的动作提取相应的图像数据，并对图像数据进行筛选，减少错误数据的干扰，针对筛选后的图像数据获取得到相应的特征数据，保证特征数据与相应动作的动作信息的匹配度，进而提高了对用户动作的识别精度。

Description

特征数据库建立及动作识别方法、装置、系统及存储介质
技术领域
本发明涉及图像捕捉技术领域，尤其涉及特征数据库建立及动作识别方法、装置、系统及存储介质。
背景技术
动作识别是机器视觉研究的一个重要领域，它被广泛应用于视频监控、人机交互、运动视频分析和视频检索等方面。尽管在过去十多年中有许多卓越的研究工作和令人鼓舞的进步，但对人类动作的准确识别仍然是一项非常具有挑战性的任务。
许多动作识别的方法都着力于对动作的描述，通过提取各种类型的特征来描述动作，为了使得动作的描述符更加完备，往往需要提取很多种特征进行组合，但是，很多动作之间的差别较小，在进行特征采集过程中十分容易采集到错误的特征用以描述某个动作，在未采集到准确的特征描述动作，就会出现最终的识别结果与用户动作不匹配的情况。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了特征数据库建立及动作识别方法、系统及存储介质。
第一方面，本发明实施例提供了一种特征数据库建立方法，所述方法包括：
在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
第二方面，本发明实施例提供了一种动作识别方法，所述方法包括：
获取用户的第一动作对应的第一图像数据，并从所述第一图像数据中提取第一特征数据；
将所述第一特征数据与特征数据库中的第二特征数据进行匹配，获取与所述第一特征数据相匹配的第二特征数据；所述特征数据库根据第一方面中任一实施例所述的特征数据库建立方法得到；
将所述第二特征数据对应的动作信息为所述第一动作的动作识别结果。
第三方面，本发明实施例提供了一种特征数据库建立装置，所述装置包括：
获取单元，用于在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
删除单元，用于根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
判断单元，用于根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
存储单元，用于当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
第四方面，本发明实施例提供了一种动作识别装置，所述装置包括：
获取单元，用于在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
筛选单元，用于根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
判断单元，用于根据所述预设动作对应的图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
处理单元，用于当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
第五方面，本发明实施例提供了一种动作识别系统，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第二方面中任一实施例所述的动作识别方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第二方面中任一实施例所述的动作识别方法。
本发明的上述技术方案与现有技术相比具有如下优点：本发明实施例通过获取用户进行动作对应的图像数据，从图像数据中提取相应的特征数据，将特征数据与特征数据库中的特征数据进行匹配，确定相匹配的特征数据，将相匹配的特征数据对应的动作作为识别结果，本方案从数据源入手，在特征数据库的建立过程中，针对用户的动作提取相应的图像数据，并对图像数据进行筛选，减少错误数据的干扰，针对筛选后的图像数据获取得到相应的特征数据，保证特征数据与相应动作的动作信息的匹配度，进而提高了对用户动作的识别精度。
附图说明
图1为本发明各个实施例提供的系统的一种示意图；
图2是本发明实施例提供的一种特征数据库建立方法流程示意图；
图3是本发明另一实施例提供的一种特征数据库建立方法流程示意图；
图4是本发明又一实施例提供的一种特征数据库建立方法流程示意图其一；
图5是本发明又一实施例提供的一种特征数据库建立方法流程示意图其二；
图6是本发明又一实施例提供的一种特征数据库建立方法流程示意图其三；
图7是本发明又一实施例提供的一种特征数据库建立方法流程示意图其四；
图8是本发明又一实施例提供的一种动作识别方法流程示意图其五；
图9是本发明又一实施例提供的一种动作识别方法流程示意图其六；
图10是本发明又一实施例提供的一种特征数据库建立装置结构示意图；
图11是本发明又一实施例提供的一种动作识别装置结构示意图；
图12是本发明又一实施例提供的一种特征数据库建立系统结构示意图；
图13是本发明又一实施例提供的一种动作识别系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为实现本发明各个实施例的一种系统的硬件结构示意图，包括终端和硬件传感装置112；硬件传感装置112设置在目标对象体表，所述终端包括：处理器1110、存储器1130、图像获取装置111、通信接口1120和通信总线1140，各电子元器件通过通信总线1140完成相互间的通信，其中，终端可以是诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(PersonalDigitalAssistant，PDA)、便捷式媒体播放器(PortableMediaPlayer，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
如图2所示，本发明实施例提供的一种特征数据库建立方法。参照图2，建立方法包括如下步骤：
S11、通过硬件传感装置112和图像获取装置111在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据。
在本实施例中，通过图像获取装置111获取目标对象进行动作时的图像数据，预设动作包括但不限于：抬手、握拳、抬腿、转身、转动头部、眨眼等身体动作。
其中，目标对象可以是人或者动物，当然，也可以是仿真机器人这类可重复进行预设动作的装置，本发明实施例对此不进行特别限定。
获取目标对象的图像数据可以通过图像获取装置111获取目标对象的视频数据，从视频数据中提取相应的图像数据，或者，通过图像获取装置111实时监控目标对象，在目标对象进行该预设动作时，通过控制器控制图像获取装置111拍摄目标对象以得到图像数据。
动作感测数据可以通过设置在目标对象体表的硬件传感装置112获取得到，比如，硬件传感装置112所采用的动作捕捉方式可以是机械式运动捕捉、声学式运动捕捉、电磁式运动捕捉、光学式运动捕捉等动作捕捉方式。
例如，机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹，典型的机械式运动捕捉系统由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况，动作感测数据可以是目标对象各关键点的位置情况。与图像获取装置111提取图像数据相同，可以通过硬件传感装置112实时监测目标对象的运动数据，在从视频数据中提取相应的图像数据的时间点，从运动数据中提取相应的动作感测数据，也可以在图像获取装置111拍摄目标对象的时间点，从运动数据中提取相应的动作感测数据。
S12、处理器1110根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据。
在本实施例中，处理器1110与硬件传感装置112、图像拍摄装置可通过通信接口1120或者通信总线1140连接，并获取到动作感测数据和图像数据。
在本方案中，由于每个图像数据均对应一个动作感测数据，当用户进行相同的预设动作时，硬件传感装置112得到动作感测数据之间应该是相类似的，在本方案中，可以根据动作感测数据之间的相似性来快速判断相应图像数据之间的相似性，所以，可以将与其他动作感测数据均不相似的动作感测数据对应的图像数据作为所述无效图像数据。
相比较于通过图像识别来判断图像数据之间的相似性，由于动作感测数据是一个个波段或者数值，所以比对动作感测数据更加直观和方便，通过动作感测数据对图像数据进行筛选，有效的提高了对图像数据的处理效率。
S13、处理器1110根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件。
在本实施例中，获取每个图像数据中的特征数据，特征数据可以是图像数据中目标对象的步态特征数据、面部特征点坐标数据、目标对象上预设的关键点的坐标数据或者目标对象轮廓点坐标数据。
步态特征数据可以通过基于霍夫变换的步态特征提取算法获得，该算法仅从腿部的运动进行身份识别。对于每个序列，用一种基于图像色度偏差的背景减除算法来检测运动对象，在经过后处理的二值图像序列中，利用边界跟踪算法获取对象边界，在对象边界图像上，局部应用霍夫变换检测大腿和小腿的直线，从而得到大腿和小腿的倾斜角，用最小二乘法将一个周期内的倾斜角序列，拟合成5阶多项式，把傅里叶级数展开后得到的相位与振幅的乘积，定义为低维步态特征向量，该步态特征向量即为步态特征数据。
面部特征点坐标数据可以通过动作感测数据得到，比如，光学式运动捕捉，在目标对象的脸部贴上被动式光源标记或主动式光源标记，利用相机连续拍摄目标对象的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算每个标记在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，将该标记点的空间位置作为该面部特征点坐标数据。
目标对象上预设的关键点的坐标数据或者目标对象轮廓点坐标数据的获取方法可以与获取面部特征点坐标数据的方法相同。
S14、当所述图像数据符合预设条件时，处理器1110将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
在本实施例中，在图像数据符合预设条件后，将特征数据与预设动作的动作信息进行存储，每个预设动作的动作信息可以由用户预先录入，或者，将上述实施例中目标对象进行预设动作得到的动作感测数据进行平均运算，得到一组动作感测数据作为该动作信息。
本方案中每个预设动作对应数量较多图像数据，每出现一个图像数据符合预设条件，该图像数据对应的特征数据均与预设动作的动作信息进行存储，通过上述方案，特征数据库中的每个动作信息均对应有若干较为相似的特征数据，在对用户进行动作识别的过程中，不可能要求用户每次所做的动作均非常标准，做相同动作时都会有不同情况的变化，本方案的特征数据库中针对同一动作信息具有多个相类似的特征数据，以适应用户动作不标准的情况，提高对用户动作的识别准确度。
如图3所示，所述根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据，包括如下步骤：
针对每个所述动作感测数据执行以下步骤：
S21、通过处理器1110计算所述动作感测数据与其他所述动作感测数据的相对偏差值。
处理器1110与硬件传感装置112、图像拍摄装置可通过通信接口1120或者通信总线1140连接，并获取到动作感测数据和图像数据，例如，计算每个动作感测数据与其他动作感测数据的相对偏差值，将计算相对偏差的两个动作感测数据作为第一动作感测数据和第二动作感测数据，计算相对偏差例如是：相对偏差＝(第一动作感测数据-第二动作感测数据)/第一动作感测数据，当然，也可以将动作感测数据转换为相应的向量，将不同向量之间的欧氏距离或者余弦值作为所述相对偏差值，本发明实施例对此不进行特别限定。
S22、处理器1110确定值大于第一预设阈值的所述相对偏差值的数量，作为第一数值。
在本实施例中，当相对偏差值大于预设阈值时，说明两组动作感测数据明显不一致，可能是由于目标对象动作不标准，导致出现偏差较大的数据，在本步骤中，将相对偏差值依次与第一预设阈值进行比较，统计相对偏差值大于第一预设阈值的数量；数量越多，说明该动作感测数据与其他动作感测数据不一致的情况出现的次数越多，则越能说明该动作感测数据对应的目标对象的动作不标准。
S23、处理器1110还判断第一数值是否大于第一预设数值。
在本实施例中，若相对偏差值大于预设阈值的数值大于第一预设数值，说明该动作感测数据与至少第一预设数值的其他动作感测数据不一致，可以确认该动作感测数据与其他动作感测数据差异较大，针对每个动作感测数据，依次进行判断。
S24、若第一数值大于第一预设数值，则通过处理器1110将所述动作感测数据对应的所述图像数据作为所述无效图像数据，并删除所述无效图像数据。
在本实施例中，若出现第一数值大于第一预设数值，则说明该第一数值对应的动作感测数据与部分其他动作感测数据均不相似，该动作感测数据可能是在目标对象的动作明显不标准时检测得到的，由于动作感测数据与图像数据的采集时间一致，所以，可以确定，该动作感测数据对应的图像数据也与部分其他图像数据均不相似，将该动作感测数据对应的图像数据作为无效图像数据，并删除该无效图像数据，以减少错误的图像数据的干扰。
在本方案中，可以在拍摄图像数据时对图像数据进行编号，并在获取对应的动作感测数据时，将图像数据的编号添加在动作感测数据上，实现图像数据和动作感测数据的配对，以便于后续通过动作感测数据对图像数据进行处理的效率。
如图4所示，根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件，包括如下步骤：
处理器1110，针对每个所述图像数据执行以下步骤：
S31、处理器1110根据所述图像数据中的特征数据与其他图像数据中的特征数据，计算所述图像数据与其他图像数据之间的相似度值。
在本实施例中，结合上述实施例，若特征数据是图像数据中特征点的坐标时，可以将图像数据中各个特征点的坐标结合得到一特征向量，通过计算不同特征向量之间的欧式距离或者余弦值作为不同图像数据之间的相似度值，也可以计算不同图像数据中相同特征点的坐标的相对偏差，将各个特征点的坐标的相对偏差按预设权重进行累加，得到的累加值作为所述相似度值，本发明实施例对此不进行特别限定。
S32、处理器1110确定值大于第二相似度阈值的相似度值的数量，作为第二数值。
S33、处理器1110还判断所述第二数值是否大于第二预设数值。
在本实施例中，计算图像数据与其他图像数据之间的相似度值，并统计值大于第二相似度阈值的相似度值的数量，由于这批图像数据都是针对同一预设动作拍摄的，若第二数值未超过第二预设数值，则说明该图像数据与其他图像数据相类似的数量未达到预先设定的数量，可以判定这个图像数据有可能是因为出现偏差，导致该图像数据与其他图像数据相类似的数量未达到预设标准。
S34、若所述第二数值大于第二预设数值，则所述图像数据符合所述预设条件；若所述数值小于或等于预设数值，则所述图像数据不符合所述预设条件。
在本实施例中，比如，第二预设数值可以是所有图像数据的总数的百分之九十或者更高，当图像数据与其他图像数据相类似的数量超过所有图像数据的总数的百分之九十时，则该图像数据符合预设条件。
在一个具体的实施例中，如图5所示，计算所述图像数据与其他图像数据之间的相似度值的方法，包括如下步骤：
S41、处理器1110在计算相似度值的两个所述图像数据的形态区域中分别确定指定特征点，并获取每个指定特征点在图像数据中的特征坐标；其中，每个所述指定特征点用于表征相应的图像数据的形态区域的形态。
在本实施例中，处理器1110将计算相似度值的两个图像数据分别作为第一图像数据和第二图像数据。
在本实施例中，针对所有图像数据，在每次计算任意两个图像数据的相似度值时，将其中一个图像数据作为第一图像数据，将另一图像数据作为第二图像数据。
处理器1110在第一图像数据的第一形态区域中确定指定特征点，并获取指定特征点在第一图像数据中的坐标，作为第一坐标，其中，第一图像数据中的指定特征点用于表征第一形态区域的形态。
本申请实施例中提供的相似度计算方法是计算针对第一形态图像和第二形态图像的相似度。一种场景中，第一形态图像和第二形态图像可以是针对同一对象的两张图像，比如，两个摄像机从不同角度对同一个人进行拍摄，其中一个摄像机得到第一形态图像，另一个摄像机得到第二形态图像，此时可以对第一形态图像和第二形态图像的相似度进行计算。
另一种场景中，第一形态图像是作为标准图像，该标准图像即为参考图像，该第一形态图像可以是预设的。第二形态图像作为模仿图像。比如，根据图像或者视频中所展示的标准动作，用户模仿做出相同的模仿动作，此时，第一形态图像所显示的动作即为标准动作，第二形态图像所显示的动作即为模仿动作。
在上述场景中，对于标准图像来说，可以有对应多张模仿图像，即第二形态图像均以同一张第一形态图像作为参考标准。另外，对于不同的第二形态图像，在计算相似度时所采用的第一形态图像可以是不同的。例如，第二形态图像是关于人站立的形态，则所采用的第一形态图像也是关于人站立的形态。第二形态图像是关于坐姿的形态，则所采用的第一形态图像也是关于坐姿的形态。
第一形态图像的第一形态区域为用作相似度对比的形态的区域，例如，第一形态图像中人呈现双手张开、单腿站立的形态，则该人在第一形态图像中的区域为第一形态区域。
其中，第一形态图像中的指定特征点用于表征第一形态区域的形态。在指定特征点可以表征第一形态区域的形态的条件下，指定特征点可以是自定义设定的，指定特征点的数量也可以是自定义的。其中，形态可以是指动作形态、姿态、物体形状、轮廓等。
例如，第一形态图像为一个椭圆形鸡蛋，也就是说，第一形态区域为该椭圆形鸡蛋的区域，此时第一形态区域的形态即为鸡蛋的椭圆形轮廓。则针对该第一形态区域所确定的指定特征点，需表征出鸡蛋的椭圆形轮廓。
其中，在第一形态图像中确定指定特征点的一种实施方式中，可以通过预设的训练好的深度学习网络确定指定特征点，其中，深度学习网络可以是CPM(ConvolutionalPose Machines，卷积姿态网络)，CPN(Cascaded Pyramid Network，级联金字塔网络)等。
第一形态区域中呈现的形态不同，所确定的指定特征点可以不同。比如，可以将右肩膀特征点、左肩膀特征点、右手肘特征点、左手肘特征点、右手腕特征点、左手腕特征点、右胯骨特征点、左胯骨特征点、右膝盖特征点、左膝盖特征点、右脚踝特征点、左脚踝特征点确定为指定特征点，这12个指定特征点之间的连线可以表征出第一形态区域中双手张开、单腿站立的形态。
又例如，第一形态区域中呈现五指张开的形态时，可以将大拇指指尖特征点、大拇指关节特征点、食指指尖特征点、食指关节特征点、中指指尖特征点、中指关节特征点、无名指指尖特征点、无名指关节特征点、小拇指指尖特征点、小拇指关节特征点确定为指定特征点。
在本实施例中，处理器1110在第二图像数据的第二形态区域中确定指定特征点，并获取指定特征点在第二图像数据中的坐标，作为第二坐标，其中，第二图像数据中的指定特征点用于表征第二形态区域的形态。
在本实施例中，同上，获取第二图像数据中的第二形态区域中确定指定特征点。
S42、处理器1110对所有所述特征坐标分别进行归一化处理；其中，不同所述特征坐标进行归一化处理的参考点位于同一位置。
在本实施例中，结合上述步骤中的描述，处理器1110将第一坐标进行针对位置的归一化处理，得到第三坐标，将第二坐标进行针对位置的归一化处理，得到第四坐标，使得第三坐标的参考点和第四坐标的参考点位于同一位置。
第一坐标所表示的点是第一形态图像中的点，第二坐标所表示的点是第二形态图像中的点。在同一坐标系中，第一形态图像与第二形态图像处于不同的位置，这样，即使同一指定特征点，第一形态图像中该指定特征点的第一坐标与第二形态图像中该指定特征点的第二特征不相同。
其中，第三坐标的参考点和第四坐标的参考点是位置属性相同的点，比如，参考点可以是中心点、同一指定特征点等。在参考点是中心点时，第三坐标的参考点为所获得的第三坐标的中心点，第四坐标的参考点为所获得的第四坐标的中心点。其中，在第三坐标的参考点和第四坐标的参考点位置属性相同的前提下，参考点可以自定义选取。
第三坐标的参考点和第四坐标的参考点位于同一位置，可以认为，第一形态区域与第二形态区域以同一位置的参考点作为参照，使得第一形态区域与第二形态区域在同一坐标系中的位置相同或接近。
其中，对第一坐标进行针对位置的归一化处理的步骤与对第二坐标进行针对位置的归一化处理的步骤，并不限定执行的先后顺序。可以先执行对第一坐标进行针对位置的归一化处理的步骤，再执行对第二坐标进行针对位置的归一化处理的步骤；还可以先执行对第二坐标进行针对位置的归一化处理的步骤，再执行对第一坐标进行针对位置的归一化处理的步骤；还可以同时执行对第一坐标进行针对位置的归一化处理的步骤和对第二坐标进行针对位置的归一化处理的步骤。
S43、处理器1110基于归一化处理后的特征坐标，计算得到两个所述图像数据的相似度值。
在分别从第一形态图像和第二形态图像中确定出指定特征点，以及第一坐标和第二坐标之后，可以将第一坐标和第二坐标进行针对位置的归一化处理，所得到的第三坐标的参考点和第四坐标的参考点位于同一位置，再基于第三坐标和第四坐标计算相似度，这样降低了第一形态图像和第二形态图像之间的位置误差所导致的相似度误差。
如图6所示，在一个具体的实施例中，通过处理器1110将第一坐标进行针对位置的归一化处理，得到第三坐标的步骤，包括如下步骤：
S51、获取每一第一坐标的X分量和Y分量，并确定第一坐标的第一数量。其中，所确定出的第一数量即为指定特征点的数量。
S52、将所获取的X分量的和除以第一数量，得到第一中心坐标的X分量；将所获取的X分量相加，即可以得到X分量的和，将所得到的和除以第一数量，得到第一中心坐标的X分量。
S53、将所获取的Y分量的和除以第一数量，得到第一中心坐标的Y分量；对于Y分量来说，可以将所获取的Y分量的和除以第一数量，得到第一中心坐标的Y分量。可以认为，该第一中心坐标所表示的位置为所有第一坐标的中心位置。
S54、针对每一个第一坐标，将该第一坐标的X分量减去第一中心坐标的X分量，并将该第一坐标的Y分量减去第一中心坐标的Y分量，得到该第一坐标对应的第三坐标；该第三坐标即为第一坐标进行针对位置的归一化处理后的坐标。
如图7所示，同理，通过处理器1110将第二坐标进行针对位置的归一化处理，得到第四坐标的步骤，包括如下步骤：
S61、获取每一第二坐标的X分量和Y分量，并确定第二坐标的第二数量；其中，所确定出的第二数量即为指定特征点的数量，第一数量等于第二数量。
S62、将所获取的X分量的和除以第二数量，得到第二中心坐标的X分量；对于X分量来说，可以将所获取的X分量的和除以第二数量，得到第二中心坐标的X分量。
S63、将所获取的Y分量的和除以第二数量，得到第二中心坐标的Y分量；相应于X分量，对于Y分量来说，可以将所获取的Y分量的和除以第二数量，得到第二中心坐标的Y分量。可以认为，该第二中心坐标所表示的位置为所有第二坐标的中心位置。
S64、针对每一个第二坐标，将该第二坐标的X分量减去第二中心坐标的X分量，并将该第二坐标的Y分量减去第二中心坐标的Y分量，得到该第二坐标对应的第四坐标；该第四坐标即为第二坐标进行针对位置的归一化处理后的坐标。
在本实施例中，基于第三坐标和第四坐标，计算第一形态区域与第二形态区域之间的相似度值，具体包括：
将第三坐标和第四坐标代入以下公式中，可以得到第一形态区域与第二形态区域之间的相似度：
Figure BDA0002199590200000151
其中，S为相似度，n为指定特征点的数量，α为预设的第一修正参数，β为预设的第二修正参数，
Figure BDA0002199590200000152
为第一形态图像中第i个指定特征点的第三坐标中的X分量，
Figure BDA0002199590200000153
为第二形态图像中第i个指定特征点的第四坐标中的X分量，
Figure BDA0002199590200000154
为第一形态图像中第i个指定特征点的第三坐标中的Y分量，
Figure BDA0002199590200000155
为第二形态图像中第i个指定特征点的第四坐标中的Y分量。其中，α可以是自定义设定的，β可以是自定义设定的。
在一个具体的实施例中，方法还包括：
在第一图像数据的指定特征点中，计算每两个指定特征点之间的第一距离，并将所计算出的第一距离的和与预设参数的乘积，确定为第一修正位移。
其中，两个指定特征点之间的第一距离可以是欧式距离，可以根据以下公式计算得到：
Figure BDA0002199590200000161
其中，d01表示指定特征点P0和指定特征点P1之间的第一距离，指定特征点P0的坐标为(x0,y0)，指定特征点P1的坐标为(x1,y1)。
在指定特征点中计算任意两个指定特征点之间的第一距离，则所计算出的第一距离的数量为：
Figure BDA0002199590200000162
其中，n为第一形态图像中指定特征点的数量，例如，当第一形态图像中有4个指定特征点时，则
Figure BDA0002199590200000163
为
Figure BDA0002199590200000164
即可以得到6个第一距离。
其中，预设参数可以是自定义设定的，该预设参数的取值可以是在0和1之间，比如，预设参数可以为0.2。
在第二图像数据的指定特征点中，计算每两个指定特征点之间的第二距离，并将所计算出的第二距离的和与预设参数的乘积，确定为第二修正位移；同理，得到第二修正位移。
结合上述修正位移，基于第三坐标和第四坐标，计算第一图像数据与第二图像数据之间的相似度值的步骤，包括如下步骤：
基于第三坐标、第四坐标、第一修正位移和第二修正位移，计算第一形态区域与第二形态区域之间的相似度值。
在一个具体的实施例中，将第三坐标、第四坐标、第一修正位移和第二修正位移代入以下公式中，可以得到第一形态区域与第二形态区域之间的相似度：
Figure BDA0002199590200000165
其中，S为相似度，n为指定特征点的数量，α为预设的第一修正参数，β为预设的第二修正参数，da为第一修正位移，db为第二修正位移，
Figure BDA0002199590200000171
为第一形态图像中第i个指定特征点的第三坐标中的X分量，
Figure BDA0002199590200000172
为第二形态图像中第i个指定特征点的第四坐标中的X分量，
Figure BDA0002199590200000173
为第一形态图像中第i个指定特征点的第三坐标中的Y分量，
Figure BDA0002199590200000174
为第二形态图像中第i个指定特征点的第四坐标中的Y分量。
其中，α可以是自定义设定的，β可以是自定义设定的。
通过上述实施方式，对第一形态图像和第二形态图像中的各指定特征点之间的距离进行修正，可以降低第一形态图像中第一形态区域与第二形态图像中第二形态区域大小不一致带来的影响。比如，第一形态图像中人像区域较大，而第二形态图像中人像区域较小，人像区域相差较大会导致相似度计算误差较大。通过上述实施方式，可以减小第一形态区域与第二形态区域之间大小的差异，进而提高相似度的准确度。
在一个具体的实施例中，在第一形态图像中，除了获取第一坐标和第一修正位移以外，还可以获取每一第一坐标对应的第一置信度。
其中，第一坐标与第一置信度是一一对应的关系，也就是说，每一个第一坐标对应有一个第一置信度，相应地，第一形态图像中的每一个指定特征点对应有一个第一置信度，每一个指定特征点对应的第一置信度用于表示该指定特征点在第一形态图像中的准确度。
第一置信度的取值范围在0至1之间，第一置信度越大表示准确度越高。若指定特征点的第一置信度为0，表示在第一形态图像中所确定出的该指定特征点有误。若指定特征点的第一置信度为1，表示在第一形态图像中所确定出的该指定特征点准确。
在一个具体的实施例中，可以利用CPN网络确定第一形态图像中的指定特征点，将第一形态图像输入至CPN网络，CPN网络输出所确定出的指定特征点，并输出每一指定特征点的第一坐标以及第一置信度。
同理，获取每一第二坐标对应的第二置信度，第二坐标与第二置信度是一一对应的关系；
在获取第一置信度和第二置信度之后，可以基于第三坐标、第四坐标、第一修正位移、第二修正位移、第一置信度以及第二置信度，计算第一形态区域与第二形态区域之间的相似度。
在一个具体的实施例中，将第三坐标、第四坐标、第一修正位移、第二修正位移、第一置信度以及第二置信度，代入以下公式中，计算出第一形态区域与第二形态区域之间的相似度值：
Figure BDA0002199590200000181
其中，S为相似度值，n为指定特征点的数量，α为预设的第一修正参数，β为预设的第二修正参数，
Figure BDA0002199590200000182
为第一图像数据中第i个指定特征点的第一置信度，
Figure BDA0002199590200000183
为第二图像数据中第i个指定特征点的第二置信度，da为第一修正位移，db为第二修正位移，
Figure BDA0002199590200000184
为第一图像数据中第i个指定特征点的第三坐标中的X分量，
Figure BDA0002199590200000185
为第二图像数据中第i个指定特征点的第四坐标中的X分量，
Figure BDA0002199590200000186
为第一图像数据中第i个指定特征点的第三坐标中的Y分量，
Figure BDA0002199590200000187
为第二图像数据中第i个指定特征点的第四坐标中的Y分量。
如图8和图13所示，本发明实施例提供了一种动作识别方法，参照图8，识别方法包括如下步骤：
S71、通过图像获取装置111获取用户的第一动作对应的第一图像数据，并通过处理器2110从第一图像数据中提取第一特征数据。
在本实施例中，图像获取装置111与处理器2110通过通信接口2120或者通信总线2140连接，获取用户进行第一动作时的第一图像数据，按上述实施例中相同的方法提取第一特征数据，其中第一特征数据可以是图像数据中的步态特征、面部特征点坐标数据、目标对象上预先设定的关键点的位置数据或者用户轮廓点坐标。
S72、处理器2110将第一特征数据与特征数据库中的第二特征数据进行匹配，获取与第一特征数据相匹配的第二特征数据；特征数据库根据上述任一实施例的特征数据库建立方法得到。
在本实施例中，通过将第一特征数据与特征数据库中的第二特征数据进行匹配，获取与第一特征数据匹配的第二特征数据，在本实施例中，可以采用与上述实施例中根据图像数据中的特征数据，计算图像数据之间的相似度值的方式判断第一特征数据和第二特征数据是否匹配。
S73、处理器2110将第二特征数据对应的动作信息作为第一动作的动作识别结果。
在本实施例中，由于特征数据库中包括对应存储的特征数据和动作，在本实施例中，通过获取用户进行动作时的图像数据，匹配得到相应的动作，实现对用户动作的精准识别。
如图9所示，在本实施例中，处理器2110将第一特征数据与特征数据库中的第二特征数据进行匹配，获取与第一特征数据相匹配的第二特征数据，包括如下步骤：
S81、根据第一特征数据和每个第二特征数据，分别计算第一图像数据和每个第二特征数据对应的第二图像数据之间的相似度值。
在本实施例中，根据图像数据中的特征数据，比如，步态特征数据、面部特征点坐标数据或者目标对象上预先设定的关键点的位置数据，可以根据特征点的相对偏差值计算饿到相似度值，相对偏差值越小，则相似度值越大。
S82、获取所有相似度值中的最大值，作为最大相似度值。
在本实施例中，确定与第一特征数据最相似的第二特征数据的相似度值，可以通过将计算得到的各个相似度值进行排序，获取其中的最大值，作为该最大相似度值。
S83、判断最大相似度值是否大于或等于第二预设相似度阈值。
S84、当最大相似度值大于或等于第二预设相似度阈值时，将最大相似度值对应的第二特征数据，作为与第一特征数据相匹配的第二特征数据。
在本实施例中，当最大相似度值大于或等于限定的第二预设相似度阈值时，说明存在与第一特征数据较为相似的第二特征数据，确认第二特征数据与第一特征数据相匹配。
在本实施例中，当最大相似度值小于第二预设相似度阈值时，将第一特征数据与第一动作的动作信息对应存储进特征数据库中。当最大相似度值小于第二预设相似度阈值时，说明不存在与第一特征数据相类似的第二特征数据，该第一特征数据为全新的动作对应的特征数据，将该第一特征数据与第一动作对应存储进特征数据库中。
在本实施例中，动作识别方法还包括如下步骤：基于预先建立的真实动作与虚拟动作的行为对应表，得到第一动作的动作识别结果对应的虚拟动作；在虚拟场景中，控制预设虚拟对象执行所述虚拟动作。
通过建立真实动作与虚拟动作的行为对应表，对应每种第二特征数据均设定相应的虚拟动作，由于第二特征数据的获取方式是针对预设动作多次获取的图像数据中的特征数据，所以，本方案中的会出现多个第二特征数据对应同一个虚拟动作的情况，在确定与第一动作对应的第二特征数据的动作信息后，根据动作信息对应的虚拟动作，在虚拟场景中，执行控制指令使得预设虚拟对象执行虚拟动作，完成动作模拟。
在本实施例中，第一特征数据为第一图像数据的第一形态区域中的指定特征点，第二特征数据为第二图像数据的第二形态区域中的指定特征点。
在本实施例中，所述根据所述第一特征数据和每个第二特征数据，分别计算所述第一图像数据和每个第二特征数据对应的第二图像数据之间的相似度值，包括：获取每个指定特征点在对应的图像数据中的特征坐标；其中，每个所述指定特征点用于表征相应的图像数据的形态区域的形态；对所有所述特征坐标进行归一化处理；其中，不同所述特征坐标进行归一化处理的参考点位于同一位置；基于归一化处理后的特征坐标，计算得到第一图像数据和第二图像数据的相似度值。
本方案中计算第一图像数据和每个第二图像数据的相似度值可以参照上述实施例中计算相似度值的方法，本方案中不再赘述。
实施例：图像数据的形式可以为帧图像序列，通过多个帧图像序列，可以提取出标准特征数据。具体地，智能设备的摄像装置从试验对象的一个动作过程，可以捕获到一个连续的帧图像序列(例如，从连续的50帧图像提取出一个帧图像序列)，然后可以从这个帧图像序列，提取图像特征(例如，轮廓、颜色、纹理等等)的数据，将提取的特征数据作为该动作的标准特征数据(这里，标准特征数据例如可以是向量或者数据串的形式)。
试验对象需要多次做出一个同样的动作(比如“抬手”或“眨眼”之类的动作)，以便采集图像数据获得标准特征数据，可是，并不能保证每次做出的动作都是符合标准的动作。所以先基于由试验人员所佩戴的硬件传感装置112感测到的感测数据的行为识别结果，从感测数据中剔除试验对象所做出的真实行为不能与目标行为相符的数据，以提高感测数据的精度。
接下来对图像数据进行进一步的筛选。例如，可以通过使用作为特征分类模型的机器学习模型(例如可以是用于寻找优化路径的蚁群算法)，将图像数据分成两类：一类是通过该机器学习模型得到的特征范围比较集中的数据，可认为是“相符数据”，另一类是范围偏差比较大的数据，可认为是“不相符数据”(例如，可能由于捕获的影像不够清晰而使得得到的图像数据不能反映真实的对象行为等等)，因此，可以将“不相符数据”从图像数据中剔除，以提高图像数据和标准特征数据的准确度，从而提高行为识别的精度。
通过上述的数据筛选机制，如上所述，能够得到“与目标行为相符”的图像数据，由此得到“与目标行为相符”的标准特征数据，由此大大提高行为识别的精度。
由于实际得到特征数据不一定与特征库中的标准特征数据完全吻合，所以，可以如上所述，采用计算特征相似度的方式来寻找匹配的特征数据以得到匹配的真实对象行为。当特征相似度小于某个阈值时，可以认为匹配。反之，当特征相似度大约某个阈值时，可以认为不匹配。当在整个特征库中都找不到匹配的标准特征数据时，可以将该真实对象行为确定为“异常行为”(或者可以作为“不可识别的行为”)，在后续的行为匹配和响应中，可以用某个或某些特定的响应行为对该真实对象行为进行回复或互动。
如图10所示，本发明实施例提供了一种特征数据库建立装置。参照图10，装置包括：第一获取单元11、删除单元12、第一判断单元13和存储单元14。
在本实施例中，第一获取单元11，用于在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据。
在本实施例中，删除单元12，用于根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据。
在本实施例中，第一判断单元13，用于根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件。
在本实施例中，存储单元14，用于当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
如图11所示，本发明实施例提供了一种动作识别装置。参照图11，装置包括：第二获取单元21、筛选单元22、第二判断单元23和处理单元24。
在本实施例中，第二获取单元21，用于在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
在本实施例中，筛选单元22，用于根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
在本实施例中，第二判断单元23，用于根据所述预设动作对应的图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
在本实施例中，处理单元24，用于当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
如图12所示，本发明实施例提供了一种特征数据库建立系统，包括处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信；
存储器1130，用于存放计算机程序；
处理器1110，用于执行存储器1130上所存放的程序时，实现如下步骤：
获取用户的第一动作对应的第一图像数据，并从第一图像数据中提取第一特征数据；
将第一特征数据与特征数据库中的第二特征数据进行匹配，获取与第一特征数据相匹配的第二特征数据；特征数据库根据上述任一实施例的特征数据库建立方法得到；
将第二特征数据对应的第二动作作为第一动作的动作识别结果。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器1130(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器1130(non-volatilememory)，例如至少一个磁盘存储器1130。可选的，存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器1110，包括中央处理器1110(CentralProcessingUnit，简称CPU)、网络处理器1110(NetworkProcessor，简称NP)等；还可以是数字信号处理器1110(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器1110执行，以实现上述任一实施例的特征数据库建立方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
如图13所示，本发明实施例提供了一种动作识别系统，其特征在于，包括处理器2110、通信接口2120、存储器2130和通信总线2140，其中，处理器2110，通信接口2120，存储器2130通过通信总线2140完成相互间的通信；
存储器2130，用于存放计算机程序；
处理器2110，用于执行存储器2130上所存放的程序时，实现如下步骤：
获取用户的第一动作对应的第一图像数据，并从所述第一图像数据中提取第一特征数据；
将所述第一特征数据与特征数据库中的第二特征数据进行匹配，获取与所述第一特征数据相匹配的第二特征数据；所述特征数据库根据如上述中任一实施例所述的特征数据库建立方法得到；
将所述第二特征数据对应的动作信息为所述第一动作的动作识别结果。
上述电子设备提到的通信总线2140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线2140可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口2120用于上述电子设备与其他设备之间的通信。
存储器2130可以包括随机存取存储器2130(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器2130(non-volatilememory)，例如至少一个磁盘存储器2130。可选的，存储器2130还可以是至少一个位于远离前述处理器2110的存储装置。
上述的处理器2110可以是通用处理器2110，包括中央处理器2110(CentralProcessingUnit，简称CPU)、网络处理器2110(NetworkProcessor，简称NP)等；还可以是数字信号处理器2110(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器2110执行，以实现上述任一实施例所述的动作识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种特征数据库建立方法，其特征在于，所述方法包括：
在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库；
其中，所述根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据，包括：
针对每个所述动作感测数据执行以下步骤：计算所述动作感测数据与其他所述动作感测数据的相对偏差值；确定值大于第一预设阈值的所述相对偏差值的数量，作为第一数值；若所述第一数值大于第一预设数值，则将所述动作感测数据对应的所述图像数据作为所述无效图像数据，并删除所述无效图像数据；
所述根据所述预设动作对应的图像数据中的特征数据，判断每个所述图像数据是否符合预设条件，包括：
针对每个所述图像数据执行以下步骤：根据所述图像数据中的特征数据与其他图像数据中的特征数据，计算所述图像数据与其他图像数据之间的相似度值；确定值大于第二相似度阈值的相似度值的数量，作为第二数值；若所述第二数值大于第二预设数值，则所述图像数据符合所述预设条件；若所述数值小于或等于预设数值，则所述图像数据不符合所述预设条件。
2.根据权利要求1所述的建立方法，其特征在于，所述确定值大于第一预设阈值的所述相对偏差值的数量，作为第一数值之后，还包括：
判断所述第一数值是否大于第一预设数值。
3.根据权利要求1或2所述的建立方法，其特征在于，所述确定值大于第二相似度阈值的相似度值的数量，作为第二数值之后，还包括：
判断所述第二数值是否大于第二预设数值。
4.根据权利要求3所述的建立方法，其特征在于，所述计算所述图像数据与其他图像数据之间的相似度值，包括：
在计算相似度值的两个所述图像数据的形态区域中分别确定指定特征点，并获取每个指定特征点在图像数据中的特征坐标；其中，每个所述指定特征点用于表征相应的图像数据的形态区域的形态；
对所有所述特征坐标分别进行归一化处理；其中，不同所述特征坐标进行归一化处理的参考点位于同一位置；
基于归一化处理后的特征坐标，计算得到两个所述图像数据的相似度值。
5.一种动作识别方法，其特征在于，所述方法包括：
获取用户的第一动作对应的第一图像数据，并从所述第一图像数据中提取第一特征数据；
将所述第一特征数据与特征数据库中的第二特征数据进行匹配，获取与所述第一特征数据相匹配的第二特征数据；所述特征数据库根据如权利要求1～4中任一所述的特征数据库建立方法得到；
将所述第二特征数据对应的动作信息为所述第一动作的动作识别结果。
6.根据权利要求5所述的一种动作识别方法，其特征在于，所述将所述第一特征数据与特征数据库中的第二特征数据进行匹配，获取与所述第一特征数据相匹配的第二特征数据，包括：
根据所述第一特征数据和每个第二特征数据，分别计算所述第一图像数据和每个第二特征数据对应的第二图像数据之间的相似度值；
获取所有所述相似度值中的最大值，作为最大相似度值；
判断所述最大相似度值是否大于或等于第二预设相似度阈值；
当所述最大相似度值大于或等于第二预设相似度阈值时，将所述最大相似度值对应的第二特征数据，作为与所述第一特征数据相匹配的第二特征数据。
7.根据权利要求6所述的一种动作识别方法，其特征在于，所述方法还包括：
当所述最大相似度值小于第二预设相似度阈值时，将所述第一特征数据与所述第一动作的动作信息对应存储进所述特征数据库中。
8.根据权利要求6所述的一种动作识别方法，其特征在于，所述第一特征数据为所述第一图像数据的第一形态区域中的指定特征点，所述第二特征数据为所述第二图像数据的第二形态区域中的指定特征点；
所述根据所述第一特征数据和每个第二特征数据，分别计算所述第一图像数据和每个第二特征数据对应的第二图像数据之间的相似度值，包括：
获取每个指定特征点在对应的图像数据中的特征坐标；其中，每个所述指定特征点用于表征相应的图像数据的形态区域的形态；
对所有所述特征坐标进行归一化处理；其中，不同所述特征坐标进行归一化处理的参考点位于同一位置；
基于归一化处理后的特征坐标，计算得到第一图像数据和第二图像数据的相似度值。
9.根据权利要求5所述的动作识别方法，其特征在于，所述方法还包括：
基于预先建立的真实动作与虚拟动作的行为对应表，得到所述第一动作的动作识别结果对应的虚拟动作；
在虚拟场景中，控制预设虚拟对象执行所述虚拟动作。
10.一种特征数据库建立装置，其特征在于，所述装置包括：
获取单元，用于在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
删除单元，用于根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
判断单元，用于根据所述预设动作对应的已剔除无效图像数据的所述图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
存储单元，用于当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库；
其中，所述根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据，包括：针对每个所述动作感测数据执行以下步骤：计算所述动作感测数据与其他所述动作感测数据的相对偏差值；确定值大于第一预设阈值的所述相对偏差值的数量，作为第一数值；若所述第一数值大于第一预设数值，则将所述动作感测数据对应的所述图像数据作为所述无效图像数据，并删除所述无效图像数据；
所述根据所述预设动作对应的图像数据中的特征数据，判断每个所述图像数据是否符合预设条件，包括：针对每个所述图像数据执行以下步骤：根据所述图像数据中的特征数据与其他图像数据中的特征数据，计算所述图像数据与其他图像数据之间的相似度值；确定值大于第二相似度阈值的相似度值的数量，作为第二数值；若所述第二数值大于第二预设数值，则所述图像数据符合所述预设条件；若所述数值小于或等于预设数值，则所述图像数据不符合所述预设条件。
11.一种动作识别装置，其特征在于，所述装置包括：
获取单元，用于在目标对象多次进行预设动作时，获取每次进行所述预设动作时对应的动作感测数据和图像数据；
筛选单元，用于根据所述动作感测数据剔除所述图像数据中与所述预设动作不匹配的无效图像数据；
判断单元，用于根据所述预设动作对应的图像数据中的特征数据，判断每个所述图像数据是否符合预设条件；
处理单元，用于当所述图像数据符合预设条件时，将所述图像数据中的特征数据与所述预设动作的动作信息对应存储，以建立特征数据库。
12.一种特征数据库建立系统，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1～4所述的特征数据库建立方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～4所述的特征数据库建立方法。
14.一种动作识别系统，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求5～9中任一所述的动作识别方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求5～9中任一所述的动作识别方法。
CN201910860455.3A 2019-09-11 2019-09-11 特征数据库建立及动作识别方法、装置、系统及存储介质 Active CN110705605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910860455.3A CN110705605B (zh) 2019-09-11 2019-09-11 特征数据库建立及动作识别方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910860455.3A CN110705605B (zh) 2019-09-11 2019-09-11 特征数据库建立及动作识别方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110705605A CN110705605A (zh) 2020-01-17
CN110705605B true CN110705605B (zh) 2022-05-10

Family

ID=69194868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910860455.3A Active CN110705605B (zh) 2019-09-11 2019-09-11 特征数据库建立及动作识别方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110705605B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946890A (zh) * 2011-11-29 2014-07-23 高通股份有限公司 跟踪三维物体
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN105843947A (zh) * 2016-04-08 2016-08-10 华南师范大学 基于大数据关联规则挖掘的异常行为检测方法和系统
CN106127119A (zh) * 2016-06-16 2016-11-16 山东大学 基于彩色图像和深度图像多特征的联合数据关联方法
CN106295512A (zh) * 2016-07-27 2017-01-04 哈尔滨工业大学 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN107066635A (zh) * 2017-06-27 2017-08-18 徐桐 一种基于图像对比识别的建筑信息导览的方法和系统
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN109491302A (zh) * 2018-10-22 2019-03-19 卢伟涛 基于图像采集识别的智能安全监控系统及监控救援方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269157B2 (en) * 2005-03-01 2016-02-23 Eyesmatch Ltd Methods for extracting objects from digital images and for performing color change on the object
CN107440695B (zh) * 2016-05-31 2020-10-16 佳纶生技股份有限公司 生理信号感测装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946890A (zh) * 2011-11-29 2014-07-23 高通股份有限公司 跟踪三维物体
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN105843947A (zh) * 2016-04-08 2016-08-10 华南师范大学 基于大数据关联规则挖掘的异常行为检测方法和系统
CN106127119A (zh) * 2016-06-16 2016-11-16 山东大学 基于彩色图像和深度图像多特征的联合数据关联方法
CN106295512A (zh) * 2016-07-27 2017-01-04 哈尔滨工业大学 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN107066635A (zh) * 2017-06-27 2017-08-18 徐桐 一种基于图像对比识别的建筑信息导览的方法和系统
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN109491302A (zh) * 2018-10-22 2019-03-19 卢伟涛 基于图像采集识别的智能安全监控系统及监控救援方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Deep manifold learning comnined with convolutional neural networks for action recognition";Xin Chen 等;《IEEE》;20170915;全文 *
"Improving human action recognition using fusion of depth camera and inertial sensors";Chen chen 等;《IEEE》;20141023;全文 *
"基于目标特征的生猪体态识别及异常行为分析";张聪;《中国优秀硕士学位论文全文数据库信息科技辑》;20180601;全文 *
人体行为识别数据集研究进展;朱红蕾等;《自动化学报》;20170824(第06期);全文 *
基于多特征融合的动作识别方法;石祥滨等;《沈阳航空航天大学学报》;20170425(第02期);全文 *

Also Published As

Publication number Publication date
CN110705605A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN108399367B (zh) 手部动作识别方法、装置、计算机设备及可读存储介质
WO2021114892A1 (zh) 基于环境语义理解的人体行为识别方法、装置、设备及存储介质
CN108230383B (zh) 手部三维数据确定方法、装置及电子设备
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
Bhuyan et al. Fingertip detection for hand pose recognition
CN108304819B (zh) 姿态识别系统及方法、存储介质
WO2016089529A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN109829368B (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
US10198694B2 (en) Static posture based person identification
JP2020046928A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
US11836944B2 (en) Information processing apparatus, information processing method, and storage medium
CN112633196A (zh) 人体姿态检测方法、装置和计算机设备
CN104834412A (zh) 一种基于非接触式的手势识别的触摸终端
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
KR20230080938A (ko) 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치
CN116884045B (zh) 身份识别方法、装置、计算机设备和存储介质
CN110705605B (zh) 特征数据库建立及动作识别方法、装置、系统及存储介质
CN113191200A (zh) 一种俯卧撑测试计数方法、装置、设备和介质
CN111860107A (zh) 一种基于深度学习姿态估计的立定跳远评估方法
Tu et al. Face and gesture based human computer interaction
CN109753859B (zh) 在图像中检测人体部件的装置和方法及图像处理系统
CN116246343A (zh) 轻量化的人体行为识别方法及装置
Siddiq et al. Falling Estimation Based on PoseNet Using Camera with Difference Absolute Standard Deviation Value and Average Amplitude Change on Key-Joint

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant