CN111860196A - 手部作业动作评分装置、方法及计算机可读存储介质 - Google Patents

手部作业动作评分装置、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111860196A
CN111860196A CN202010591925.3A CN202010591925A CN111860196A CN 111860196 A CN111860196 A CN 111860196A CN 202010591925 A CN202010591925 A CN 202010591925A CN 111860196 A CN111860196 A CN 111860196A
Authority
CN
China
Prior art keywords
hand
image
data
model
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591925.3A
Other languages
English (en)
Other versions
CN111860196B (zh
Inventor
范亮
张桥
林定远
陈淑如
谢巧琳
陈怡静
危清清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN202010591925.3A priority Critical patent/CN111860196B/zh
Priority to TW109122169A priority patent/TWI776176B/zh
Publication of CN111860196A publication Critical patent/CN111860196A/zh
Application granted granted Critical
Publication of CN111860196B publication Critical patent/CN111860196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

一种手部作业动作评分装置、方法及计算机可读存储介质，所述方法包括：将获取的手部作业图像帧转换为HSV图像，以从中获取皮肤所在区域的二值化图像及手部所在区域的多个矩形框；根据多个矩形框从二值化图像中分割出第一手部图像并输入至第一预设模型；基于第一预设模型的分析结果构建随跟踪时间累积的跟踪数据；若第一预设模型分析得到的手部关键点坐标不可靠，则调用预设手部系列检测模型对手部作业图像帧进行检测；利用第二预设模型为跟踪数据中的每一手部分配手部标签，以进行数据分类；对分类后的跟踪数据进行预处理得到每一手部的精数据；根据该精数据及基准精数据对每一手部的作业动作进行评分。本发明可对被测者手部作业动作进行评分。

Description

手部作业动作评分装置、方法及计算机可读存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种手部作业动作评分装置、方法及计算机可读存储介质。
背景技术
近年来，随着深度学习技术的发展，现有手部识别技术一般是采用基于卷积神经网络的各种架构得到的手部检测模型来进行手部识别。这些模型一般要求输入的图片中只能存在一个手部，具有一定的局限性。
现代工厂中，工人手部作业动作的准确性可对产线的良率、生产效率造成一定的影响。现有的工人手部作业动作的评判方式一般是由评核人员直接对工人手部作业动作进行实时观察与评分，评判准确性受评核人员的人为因素影响，准确性无法保证。
发明内容
有鉴于此，有必要提供一种手部作业动作评分装置、方法及计算机可读存储介质，可智能分析出工人手部作业动作与标准作业动作差异，并给出相应评分。
本发明一实施方式提供一种手部作业动作评分方法，所述方法包括：获取手部作业影像，并对所述手部作业影像进行解码得到手部作业图像帧；将所述手部作业图像帧转换为HSV图像，并从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框；根据多个所述矩形框从所述二值化图像中分割出第一手部图像并利用第一预设模型对所述第一手部图像进行分析；基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据；利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签，以基于所述手部标签对所述跟踪数据进行分类，其中每一所述手部对应唯一的手部标签；对所述分类后的跟踪数据进行预处理，以得到每一所述手部的精数据；及根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分。
优选地，所述从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框的步驟包括：
根据H通道的上下限值、S通道的上下限值及V通道的上下限值从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框；
其中，若所述手部作业图像帧为起始帧图像，则所述H通道的上下限值为第一默认上下限值，所述S通道的上下限值为第二默认上下限值，及所述V通道的上下限值为第三默认上下限值。
优选地，所述第一预设模型为预先训练的手部关键点分析模型，所述利用第一预设模型对所述第一手部图像进行分析的步骤包括：
利用所述手部关键点分析模型对所述第一手部图像进行分析得到与每一所述矩形框对应的手部关键点坐标、置信度及手部特征向量。
优选地，所述方法还包括：
根据每一所述矩形框对应的置信度计算得到一置信度均值；
判断所述置信度均值是否大于预设值；
若所述置信度均值大于所述预设值，则基于预设更新规则更新所述H通道的上下限值、所述S通道的上下限值及所述V通道的上下限值；及
若所述置信度均值不大于所述预设值，则不对所述H通道的上下限值、所述S通道的上下限值及所述V通道的上下限值进行更新。
优选地，所述基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据的步骤包括：
基于所述手部关键点分析模型得到的手部关键点坐标与置信度构建随所述跟踪时间累积的跟踪数据。
优选地，所述方法还包括：
基于每一所述矩形框对应的置信度判断所述手部关键点分析模型对所述第一手部图像进行分析得到的手部关键点坐标是否可靠；
若分析得到的手部关键点坐标被判定为不可靠，则调用多个预设手部系列检测模型分别对所述手部作业图像帧进行检测得到表示手部所在区域的多个矩形框，以分割得到与多个所述预设手部系列检测模型对应的多个第二手部图像，其中多个所述预设手部系列检测模型至少包括YOLO(You Only Look Once)模型及SSD(Single Shot MultiBoxDetector)模型；
利用所述手部关键点分析模型对每一所述第二手部图像进行分析得到与每一所述预设手部系列检测模型对应的手部关键点坐标、置信度及手部特征向量；及
比对所述手部关键点分析模型所分析得到的每一组手部关键点坐标与置信度，以选取与所述跟踪数据最匹配的一组手部关键点坐标与置信度来更新所述跟踪数据；
其中，每一所述第二手部图像均分别对应有一组手部关键点坐标与置信度。
优选地，所述第二预设模型为预先训练的手部ReID模型，所述利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签的步骤包括：
利用所述手部ReID模型监测所述跟踪数据并根据所述手部特征向量为所述跟踪数据中的每一手部分配所述手部标签。
优选地，所述预处理包括：采用预设异常点剔除算法剔除所述跟踪数据中的异常数据，并使用预设插值法对剔除的异常数据所在的节点进行回归处理。
优选地，所述根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分的步骤包括：
将每一所述手部的精数据与所述基准手部作业的精数据进行对齐；
分别计算每一所述手部的精数据中的手部关键点坐标与所述基准手部作业的精数据中的手部关键点坐标的欧式距离；及
根据每一所述手部的欧式距离计算结果对每一所述手部的作业动作进行评分。
本发明一实施方式提供一种手部作业动作评分装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现上述手部作业动作评分方法的步骤。
本发明一实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述的手部作业动作评分方法的步骤。
与现有技术相比，上述手部作业动作评分装置、方法及计算机可读存储介质，可以对被评测者的手部作业动作的实时影像进行处理，准确定位手部作业过程中的手部关键点特征，并与标准手部作业动作进行比对，智能分析出被评测者的手部作业动作与标准作业动作之差异，并给出相应评分，有利于对工人进行评价考察，提升产线的良率与效率。
附图说明
图1是本发明一实施方式的手部作业动作评分装置的功能模块图。
图2是本发明一实施方式的手部作业动作评分程序的功能模块图。
图3是本发明一实施方式的手部作业动作评分程序的功能模块的交互示意图。
图4是本发明一实施方式的评分模块的模块图。
图5是本发明一实施方式的手部作业动作评分方法的流程图。
主要元件符号说明
存储器 10
处理器 20
手部作业动作评分程序 30
获取模块 101
第一检测模块 102
分析模块 103
跟踪模块 104
第二检测模块 105
整理模块 106
校正模块 107
评分模块 108
手部作业动作评分装置 100
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
请参阅图1，为本发明手部作业动作评分装置较佳实施例的示意图。
手部作业动作评分装置100可以实现对工人手部作业动作进行分析，并通过与基准手部作业动作进行比对，来实现对工人手部作业动作进行评分。手部作业动作评分装置100可以包括存储器10、处理器20以及存储在存储器10中并可在处理器20上运行的手部作业动作评分程序30。处理器20执行手部作业动作评分程序30时实现手部作业动作评分方法实施例中的步骤，例如图5所示的步骤S500～S512。或者，所述处理器20执行手部作业动作评分程序30时实现图2中各模块的功能，例如模块101～108。
手部作业动作评分程序30可以被分割成一个或多个模块，所述一个或者多个模块被存储在存储器10中，并由处理器20执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述手部作业动作评分程序30在手部作业动作评分装置100中的执行过程。例如，手部作业动作评分程序30可以被分割成图2中的获取模块101、第一检测模块102、分析模块103、跟踪模块104、第二检测模块105、整理模块106、校正模块107及评分模块108。各模块具体功能参见下图2中各模块的功能。
本领域技术人员可以理解，所述示意图仅是手部作业动作评分装置100的示例，并不构成对手部作业动作评分装置100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如手部作业动作评分装置100还可以包括输入显示设备、通信模块、总线等。
处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器20也可以是任何常规的处理器等，处理器20可以利用各种接口和总线连接手部作业动作评分装置100的各个部分。
存储器10可用于存储手部作业动作评分程序30和/或模块，处理器20通过运行或执行存储在存储器10内的计算机程序和/或模块，以及调用存储在存储器10内的数据，实现手部作业动作评分装置100的各种功能。存储器10可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
图2为本发明手部作业动作评分程序较佳实施例的功能模块图。
参阅图2与图3所示，手部作业动作评分程序30可以包括获取模块101、第一检测模块102、分析模块103、跟踪模块104、第二检测模块105、整理模块106、校正模块107及评分模块108。在一实施方式中，上述模块可以为存储于存储器10中且可被处理器20调用执行的可程序化软件指令。可以理解的是，在其他实施方式中，上述模块也可为固化于处理器20中的程序指令或固件(firmware)。
获取模块101用于获取手部作业影像，并对所述手部作业影像进行解码得到手部作业图像帧。
在一实施方式中，可以利用影像记录设备(比如，摄像头)来记录指定生产线上的一个或多个指定工人(被评测者)在进行手部作业时的手部作业影像。所述手部作业动作评分装置100可以与该影像记录设备进行通信，进而获取模块101可以获取所述手部作业影像。当获取模块101获取到所述手部作业影像时，可以对所述手部作业影像进行解码得到依序排列的多个手部作业图像帧。
在一实施方式中，所述手部作业图像帧可以包括一个或多个手部，获取模块101可以将每一所述手部作业图像帧依次传至第一检测模块102进行分析。
第一检测模块102用于将所述手部作业图像帧转换为HSV(Hue,Saturation,Value)图像，并从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框。
在一实施方式中，第一检测模块102可以将获取模块101传送的手部作业图像帧转换为HSV图像，再从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的一系列矩形框，该些矩形框可以传至分析模块103，以进行手部关键点分析。
在一实施方式中，第一检测模块102根据动态的H通道的上下限值、动态的S通道的上下限值及动态的V通道的上下限值从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框，进而实现避免由于HSV三通道(即H通道、S通道及V通道)的上下限值为固定值，无法适应多种不同情形的手部检测的问题，避免出现手部漏检或误检的情况。第一检测模块102可动态更新自身的HSV三通道的上下限值，具体地，第一检测模块102可以根据分析模块103的反馈结果来更新HSV三通道的上下限值，比如当分析模块103给出的反馈结果为积极结果时，第一检测模块102可根据预设更新规则更新H通道的上下限值、S通道的上下限值及V通道的上下限值；当分析模块103给出的反馈结果为消极结果时，第一检测模块102不会更新HSV三通道的上下限值。所述预设更新规则可以根据实际使用需求进行预先设定，该预设更新规则预先定义有每一HSV通道的上下限值的调整规则。
可以理解，第一检测模块102根据分析模块103输出的当前手部作业图像帧的反馈结果来更新HSV三通道的上下限值，更新后的HSV三通道的上下限值用来对下一手部作业图像帧进行检测，以获取下一手部作业图像帧的表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框。
在一实施方式中，当所述手部作业图像帧为起始帧图像时，第一检测模块102可以采用默认的HSV三通道的上下限值从HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框。即在所述手部作业图像帧为起始帧图像时，所述H通道的上下限值为第一默认上下限值，所述S通道的上下限值为第二默认上下限值，所述V通道的上下限值为第三默认上下限值。
在一实施方式中，在获取被评测者的手部作业影像时，可能会一并将被评测者的周围环境拍摄下来。第一检测模块102通过分析图像中的肤色像素值与环境像素值的差异来实现检测手部。当环境中存在与肤色像素值相近的其他物体时，或者当被评测者的肤色不在默认的HSV三通道的上下限值范围内时，亦或者环境中存在其他光照等情形下，都将可能发生手部的误识别。因此，通过引入分析模块103来更新默认的HSV三通道的上下限值。
分析模块103用于根据多个所述矩形框从所述二值化图像中分割出第一手部图像并利用第一预设模型对所述第一手部图像进行分析。
在一实施方式中，分析模块103可以根据多个所述矩形框从所述二值化图像中分割出需进行分析的图像区域，该分割下来的图像区域即为所述第一手部图像，再将所述第一手部图像输入到所述第一预设模型行分析。所述第一预设模型可以是预先训练的手部关键点分析模型，对于每一所述矩形框，所述手部关键点分析模型可分析得到21个手部关键点坐标、置信度及手部特征向量。所述置信度表征了所述手部关键点分析模型的鲁棒性。所述手部关键点分析模型分析得到的手部关键点坐标与置信度可以传至跟踪模块104，手部特征向量可以传至第二预设模型(整理模块106)。
在一实施方式中，所述手部关键点分析模型可以基于预设手部关键点训练数据集训练得到，所述手部关键点分析模型可以由2个级联的Hourglass网络、数个残差模块以及至少一卷积层组成。在进行模型训练时，模型的输入图像可以为[256,256,3]的彩色RGB三通道手部图像，输出可以为[21,64,64]的通道数为21的热度图像，再根据该热度图像，模型可以得到该输入图像中的21个关键点位置，即输入的手部图像的21个手部关键点坐标。
在一实施方式中，所述手部关键点分析模型还可以根据每一所述矩形框对应的置信度计算得到一置信度均值，并判断所述置信度均值是否大于预设值，以返回积极结果或消极结果给所述第一检测模块102。具体地，若所述置信度均值大于所述预设值，所述手部关键点分析模型输出积极结果并反馈至所述第一检测模块102，进而第一检测模块102会根据该积极结果更新HSV三通道的上下限值。若所述置信度均值不大于所述预设值，所述手部关键点分析模型输出消极结果并反馈至所述第一检测模块102，进而第一检测模块102本次不会更新HSV三通道的上下限值。所述预设值可以根据实际需求进行设定与调整，在此不作限定。
跟踪模块104用于基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据。
在一实施方式中，所述第一预设模型可以为手部关键点分析模型，所述第一预设模型的分析结果包括手部关键点坐标与置信度，跟踪模块104可以根据手部关键点分析模型得到的手部关键点坐标与置信度构建并维护随跟踪时间累积的跟踪数据。所述跟踪数据为包含手部关键点坐标与置信度的结构体。
在一实施方式中，跟踪模块104在构建并维护跟踪数据的过程中，对于所述手部关键点分析模型接收并处理的每一手部作业图像帧的数据，跟踪模块104会基于置信度判断基于本次手部作业图像帧所生成的的跟踪数据是否可靠，如果可靠，跟踪模块104会将基于本次手部作业图像帧所生成的跟踪数据添加到其维护的跟踪数据中，如果不可靠，跟踪模块104调用第二检测模块105来对本次手部作业图像帧进行再次检测，第二检测模块105可以包括至少一个预设手部系列检测模型，比如包括预先训练得到的YOLO模型及SSD模型。每一预设手部系列检测模型均分别对本次手部作业图像帧进行检测，各自可得到一系列矩形框，并输入到手部关键点分析模型中进行分析，得到各自的手部关键点坐标和置信度。跟踪模块104会综合比对每组处理方式对应的手部关键点坐标和置信度，选择与当前跟踪数据最匹配的一组手部关键点坐标和置信度，以维护到跟踪模块104所构建的跟踪数据中。
在一实施方式中，跟踪模块104基于置信度判断基于本次手部作业图像帧所生成的的跟踪数据是否可靠的方式可以是：计算置信度均值，并判断置信度均值是否超过预设阈值，若超过，则判定基于本次手部作业图像帧所生成的的跟踪数据可靠，否则判定为不可靠。所述预设阈值可以根据实际需求进行设定与调整。跟踪模块104选择与当前跟踪数据最匹配的一组手部关键点坐标和置信度的规则可以包括以下任意一种：a.置信度均值最高的一组；b.由于在连续的手部作业图像帧的手部关键点坐标的变化应该变化不大，手部关键点坐标与前后手部作业图像帧的关键点坐标最匹配(比如，手部关键点坐标之间的欧式距离最小)的一组；c.规则a与规则b的结合，通过为规则a与规则b设定不同的权重系数，根据规则a与规则b的综合结果来选定。
举例而言，第二检测模块105包括YOLO模型及SSD模型，则跟踪模块104综合比对的是2组处理方式对应的手部关键点坐标和置信度。第一组为通过YOLO模型对手部作业图像帧进行检测得到的一系列矩形框，第二组为通过SSD模型对手部作业图像帧进行检测得到的一系列矩形框。
在一实施方式中，当跟踪模块104基于置信度判断基于本次手部作业图像帧所生成的的跟踪数据不可靠时，跟踪模块104也可以直接调用第二检测模块105中的YOLO模型或SSD模型来对本次手部作业图像帧进行再次检测，得到对应的手部关键点坐标和置信度，并维护到跟踪数据中(即不综合比对YOLO模型与SSD模型对应的手部关键点坐标和置信度)。
在一实施方式中，跟踪模块104在基于所述手部关键点分析模型得到的手部关键点坐标与置信度构建得到随所述跟踪时间累积的跟踪数据时，还可基于每一所述矩形框对应的置信度判断所述手部关键点分析模型对本次手部作业图像帧的第一手部图像进行分析得到的手部关键点坐标是否可靠，若判定为不可靠，则跟踪模块104会调用第二检测模块105中的多个预设手部系列检测模型分别对所述手部作业图像帧进行检测得到表示手部所在区域的多个矩形框，以分割得到与多个所述预设手部系列检测模型对应的多个第二手部图像。所述手部关键点分析模型再对每一所述第二手部图像进行分析得到与每一所述预设手部系列检测模型对应的手部关键点坐标、置信度及手部特征向量。跟踪模块104综合比对所述手部关键点分析模型所分析得到的每一组手部关键点坐标与置信度，以选取与所述跟踪数据最匹配的一组手部关键点坐标与置信度来更新其先前生成的跟踪数据。
可以理解，所述第一手部图像对应有一组手部关键点坐标与置信度，每一所述第二手部图像均分别对应有一组手部关键点坐标与置信度。
可以理解，第二检测模块105是可以省略的。当被评测者的两只手交叉或是只出现部分手部区域等情形下，可能会导致分析模块103得到的手部关键点的置信度偏低，此时需要利用第二检测模块105中的YOLO模型和/或SSD模型作为辅助检测。
整理模块106用于利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签，以基于所述手部标签对所述跟踪数据进行分类。
在一实施方式中，每一所述手部对应唯一的手部标签。所述第二预设模型可以是预先训练得到的手部ReID模型。整理模块106可以利用所述手部ReID模型监测所述跟踪数据并根据来源于手部关键点分析模型的手部特征向量为所述跟踪数据中的每一手部分配所述手部标签，使得同一只手部能够拥有同一手部ID(手部标签)。所述手部ReID模型将跟踪数据按照手部ID进行整理，使得同一手部ID的数据能够被整理到同一数据集中，实现基于手部ID对所述跟踪数据进行分类，经过分类整理后的跟踪数据可以被称之为“ReID数据”。
在一实施方式中，可以预先录制多个包含不同人的手部的影像作为手部ReID模型的训练数据，并将手部关键点分析模型中的第二个Hourglass网络的输出作为手部ReID模型的输入，即不同人的手部的图像帧输入至2个级联的Hourglass网络，并利用第二个Hourglass网络的输出作为手部ReID模型的输入数据。同时使用Triplet Loss损失函数来训练所述ReID模型。
在一实施方式中，当在拍摄被评测者的手部作业影像过程中出现手部移除画面外，之后又重新回到画面内的情形时，整理模块106会利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的手部分配手部标签，以基于该手部标签对所述跟踪数据进行分类。
校正模块107用于对所述分类后的跟踪数据进行预处理，以得到每一所述手部的精数据。
在一实施方式中，所述分类后的跟踪数据即为ReID数据，所述预处理可以是预先设定的数据处理方式，比如所述预处理包括：采用预设异常点剔除算法剔除所述ReID数据的异常数据，并使用预设插值法对剔除的异常数据所在的节点进行回归处理。经过校正模块107处理后的数据可以被称之为“精数据”。
在一实施方式中，所述异常数据可以是明显偏离预设正常数据值区间的数据。由于跟踪数据是基于跟踪时间累积的数据，为了避免异常数据被剔除后造成数据空缺，校正模块107可以使用预设插值法对剔除的异常数据所在的节点进行回归处理，实现将近似数据补充到异常数据所在的节点。
评分模块108用于根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分。
在一实施方式中，评分模块108可以实现基于标准作业流程的手部精数据和被测试者作业流程的手部精数据来为被试者手部作业进行评分。评分模块108可以采用DTW算法来对时间序列的精数据进行对齐，并根据对齐后的所有手部作业图像帧的手部关键点坐标的欧式距离进行评分。所述DTW算法可以通过计算标准作业流程的手部作业动作和被测试者作业流程的手部作业动作之间的欧式距离，来比较两者之间的相似度，欧式距离越低，相似度越高，得分越高，欧式距离越高，相似度越低，得分越低。
具体地，评分模块108采用DTW算法将每一所述手部的精数据与所述基准手部作业的精数据进行对齐，再分别计算每一所述手部的精数据中的手部关键点坐标与所述基准手部作业的精数据中的手部关键点坐标的欧式距离，最后根据每一所述手部的欧式距离计算结果对每一所述手部的作业动作进行评分。该种手部作业动作评分方式有利于对工人手部作业动作进行评价考察，确保产线的良率、效率，且可应用于新进工人手部作业动作的培训等，同时也可以根据用户实际需求应用到其他的场景中。
在一实施方式中，评分模块108采用DTW算法能够实现对时间序列数据进行对齐，并将被评测者的作业流程的时长相比于基准作业流程的时长的时间差纳入评分考虑，可根据对齐后的所有图像帧的所有关键点的欧式距离进行评分，距离越低的得分越高，距离越高的得分越低。但是若欧式距离差值的变化呈现对数的趋势，同时随着两段作业流程差异越大，关键点的欧式距离计算出的距离差值扰动也会越大，因此还可以根据数十组被评测者的测试数据与基准作业流程的手部数据经过欧式距离差计算，得到欧式距离差值的上界与下界，并透过对数变换，将距离差值映射到0到100分的分数，让越逼近距离差值上界的分数越接近零分，越逼近距离差值下界的分数越接近满分(100分)。
如图4所示，在一实施方式中，评分模块108可以被细分成预处理单元、三维空间坐标对齐单元、动态时间规整单元及对数变换单元。所述预处理单元可对被评测者的手部的精数据和基准手部作业的精数据进行长度中心化处理，具体可以是：基准手部作业的每一帧出现的左右手关键点数据，每一段关键点长度在每一帧中需要确保一致，可以将整个基准作业流程中的所有帧出现的关键点之间的长度(比如，共20段长度)取平均值，再将每一帧的关键点长度规整到平均值的长度，以使得基准手部作业的每一帧的每段关键点长度都是相同的，同理，被试者的手部作业也使用相同的处理方式，确保被评测者的手部作业的每一帧的每段关键点长度都是相同的，可以解决不同的视角问题，接着将被评测者的手部作业中的每一帧出现的左右手关键点长度调整到与基准手部作业的关键点长度相同，调整过后的左右手各21个关键点坐标会有所变化，且被评测者的手部作业的每一帧都须做此处理，实现克服不同人的手指长度所造成的关键点坐标偏差的问题。三维空间坐标对齐单元可以实现将基准手部作业与被评测者的手部作业的第零个关键点数据(起始关键点数据，比如定义手心的关键点坐标为第零个关键点数据)对齐到世界坐标系统的原点(x,y,z)＝(0,0,0)，如此可以过滤掉双手位移的影响，实现纯粹针对手部作业手势进行评分。动态时间规整单元可利用DTW算法对时间序列数据(被评测者的手部的精数据与基准手部作业的精数据)进行对齐，并计算对齐后的所有图像帧的所有关键点的欧式距离差。对数变换单元用于采用对数变换将欧式距离差值映射到0到100分的分数，实现为被试者手部作业进行评分。
图5为本发明一实施方式中手部作业动作评分方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S500，获取手部作业影像，并对所述手部作业影像进行解码得到手部作业图像帧。
在一实施方式中，可以利用影像记录设备(比如，摄像头)来记录指定生产线上的一个或多个指定工人(被评测者)在进行手部作业时的手部作业影像。可以通过与该影像记录设备进行通信，进而实现获取所述手部作业影像。当获取到所述手部作业影像时，可以对所述手部作业影像进行解码得到依序排列的多个手部作业图像帧。
在一实施方式中，所述手部作业图像帧可以包括一个或多个手部。
步骤S502，将所述手部作业图像帧转换为HSV图像，并从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框。
在一实施方式中，可以先将所述手部作业图像帧转换为HSV图像，再从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的一系列矩形框。
在一实施方式中，可以根据动态的H通道的上下限值、动态的S通道的上下限值及动态的V通道的上下限值从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框，进而实现避免由于HSV三通道(即H通道、S通道及V通道)的上下限值为固定值，无法适应多种不同情形的手部检测的问题，避免出现手部漏检或误检的情况。HSV三通道的上下限值可以被动态更新，具体地，可以根据下述的第一预设模型的反馈结果来更新HSV三通道的上下限值，比如当第一预设模型给出的反馈结果为积极结果时，根据预设更新规则更新H通道的上下限值、S通道的上下限值及V通道的上下限值；当第一预设模型给出的反馈结果为消极结果时，不对HSV三通道的上下限值进行更新。所述预设更新规则可以根据实际使用需求进行预先设定，该预设更新规则预先定义有每一HSV通道的上下限值的调整规则。
可以理解，HSV三通道的上下限值是根据第一预设模型输出的当前手部作业图像帧的反馈结果来选择进行更新，更新后的HSV三通道的上下限值用来对下一手部作业图像帧进行检测，以获取下一手部作业图像帧的表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框。
在一实施方式中，当所述手部作业图像帧为起始帧图像时，可以采用默认的HSV三通道的上下限值从HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框。即在所述手部作业图像帧为起始帧图像时，所述H通道的上下限值为第一默认上下限值，所述S通道的上下限值为第二默认上下限值，所述V通道的上下限值为第三默认上下限值。
在一实施方式中，在获取被评测者的手部作业影像时，可能会一并将被评测者的周围环境拍摄下来。通过分析图像中的肤色像素值与环境像素值的差异来实现检测手部。当环境中存在与肤色像素值相近的其他物体时，或者当被评测者的肤色不在默认的HSV三通道的上下限值范围内时，亦或者环境中存在其他光照等情形下，都将可能发生手部的误识别。因此，采用第一预设模型(手部关键点分析模型)输出的当前手部作业图像帧的反馈结果来更新默认的HSV三通道的上下限值。
步骤S504，根据多个所述矩形框从所述二值化图像中分割出第一手部图像并利用第一预设模型对所述第一手部图像进行分析。
在一实施方式中，可以根据多个所述矩形框从所述二值化图像中分割出需进行分析的图像区域，该分割下来的图像区域即为所述第一手部图像，再将所述第一手部图像输入到所述第一预设模型行分析。所述第一预设模型可以是预先训练的手部关键点分析模型，对于每一所述矩形框，所述手部关键点分析模型可分析得到21个手部关键点坐标、置信度及手部特征向量。所述置信度表征了所述手部关键点分析模型的鲁棒性。
在一实施方式中，所述手部关键点分析模型可以基于预设手部关键点训练数据集训练得到，所述手部关键点分析模型可以由2个级联的Hourglass网络、数个残差模块以及至少一卷积层组成。在进行模型训练时，模型的输入图像可以为[256,256,3]的彩色RGB三通道手部图像，输出可以为[21,64,64]的通道数为21的热度图像，再根据该热度图像，模型可以得到该输入图像中的21个关键点位置，即输入的手部图像的21个手部关键点坐标。
在一实施方式中，所述手部关键点分析模型还可以根据每一所述矩形框对应的置信度计算得到一置信度均值，并判断所述置信度均值是否大于预设值，以返回积极结果或消极结果。具体地，若所述置信度均值大于所述预设值，所述手部关键点分析模型输出积极结果，进而可根据该积极结果更新HSV三通道的上下限值。若所述置信度均值不大于所述预设值，所述手部关键点分析模型输出消极结果，进而本次不会更新HSV三通道的上下限值。所述预设值可以根据实际需求进行设定与调整，在此不作限定。
步骤S506，基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据。
在一实施方式中，所述第一预设模型可以为手部关键点分析模型，所述第一预设模型的分析结果包括手部关键点坐标与置信度，跟可以根据手部关键点分析模型得到的手部关键点坐标与置信度构建并维护随跟踪时间累积的跟踪数据。所述跟踪数据为包含手部关键点坐标与置信度的结构体。
在一实施方式中，在构建并维护跟踪数据的过程中，对于所述手部关键点分析模型接收并处理的每一手部作业图像帧的数据，还会基于置信度判断基于本次手部作业图像帧所生成的的跟踪数据是否可靠，如果可靠，则将基于本次手部作业图像帧所生成的跟踪数据添加到其维护的跟踪数据中，如果不可靠，会调用多个预设手部系列检测模型来对本次手部作业图像帧进行再次检测，该多个预设手部系列检测模型可以包括预先训练得到的YOLO模型及SSD模型。每一预设手部系列检测模型均分别对本次手部作业图像帧进行检测，各自可得到一系列矩形框，并输入到手部关键点分析模型中进行分析，得到各自的手部关键点坐标和置信度。可以通过综合比对每组处理方式对应的手部关键点坐标和置信度，选择与当前跟踪数据最匹配的一组手部关键点坐标和置信度，以维护到所构建的跟踪数据中。
在一实施方式中，基于置信度判断基于本次手部作业图像帧所生成的的跟踪数据是否可靠的方式可以是：计算置信度均值，并判断置信度均值是否超过预设阈值，若超过，则判定基于本次手部作业图像帧所生成的的跟踪数据可靠，否则判定为不可靠。所述预设阈值可以根据实际需求进行设定与调整。选择与当前跟踪数据最匹配的一组手部关键点坐标和置信度的规则可以包括以下任意一种：a.置信度均值最高的一组；b.由于在连续的手部作业图像帧的手部关键点坐标的变化应该变化不大，手部关键点坐标与前后手部作业图像帧的关键点坐标最匹配(比如，手部关键点坐标之间的欧式距离最小)的一组；c.规则a与规则b的结合，通过为规则a与规则b设定不同的权重系数，根据规则a与规则b的综合结果来选定。
举例而言，以多个预设手部系列检测模型包括YOLO模型及SSD模型为例，通过综合比对的是2组处理方式对应的手部关键点坐标和置信度。第一组为通过YOLO模型对手部作业图像帧进行检测得到的一系列矩形框，第二组为通过SSD模型对手部作业图像帧进行检测得到的一系列矩形框。
在一实施方式中，当基于置信度判断基于本次手部作业图像帧所生成的的跟踪数据不可靠时，也可以直接调用YOLO模型或SSD模型来对本次手部作业图像帧进行再次检测，得到对应的手部关键点坐标和置信度，并维护到跟踪数据中(即不综合比对YOLO模型与SSD模型对应的手部关键点坐标和置信度)。
在一实施方式中，在基于所述手部关键点分析模型得到的手部关键点坐标与置信度构建得到随所述跟踪时间累积的跟踪数据时，还可基于每一所述矩形框对应的置信度判断所述手部关键点分析模型对本次手部作业图像帧的第一手部图像进行分析得到的手部关键点坐标是否可靠，若判定为不可靠，则调用多个预设手部系列检测模型分别对所述手部作业图像帧进行检测得到表示手部所在区域的多个矩形框，以分割得到与多个所述预设手部系列检测模型对应的多个第二手部图像。所述手部关键点分析模型再对每一所述第二手部图像进行分析得到与每一所述预设手部系列检测模型对应的手部关键点坐标、置信度及手部特征向量。通过综合比对所述手部关键点分析模型所分析得到的每一组手部关键点坐标与置信度，以选取与所述跟踪数据最匹配的一组手部关键点坐标与置信度来更新其先前生成的跟踪数据。
可以理解，所述第一手部图像对应有一组手部关键点坐标与置信度，每一所述第二手部图像均分别对应有一组手部关键点坐标与置信度。
可以理解，当被评测者的两只手交叉或是只出现部分手部区域等情形下，可能会导致手部关键点分析模型得到的手部关键点的置信度偏低，此时需要利用YOLO模型和SSD模型作为辅助检测。
步骤S508，利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签，以基于所述手部标签对所述跟踪数据进行分类。
在一实施方式中，每一所述手部对应唯一的手部标签。所述第二预设模型可以是预先训练得到的手部ReID模型。可以利用所述手部ReID模型监测所述跟踪数据并根据来源于手部关键点分析模型的手部特征向量为所述跟踪数据中的每一手部分配所述手部标签，使得同一只手部能够拥有同一手部ID(手部标签)。所述手部ReID模型将跟踪数据按照手部ID进行整理，使得同一手部ID的数据能够被整理到同一数据集中，实现基于手部ID对所述跟踪数据进行分类，经过分类整理后的跟踪数据可以被称之为“ReID数据”。
在一实施方式中，可以预先录制多个包含不同人的手部的影像作为手部ReID模型的训练数据，并将手部关键点分析模型中的第二个Hourglass网络的输出作为手部ReID模型的输入，即不同人的手部的图像帧输入至2个级联的Hourglass网络，并利用第二个Hourglass网络的输出作为手部ReID模型的输入数据。同时使用Triplet Loss损失函数来训练所述ReID模型。
在一实施方式中，当在拍摄被评测者的手部作业影像过程中出现手部移除画面外，之后又重新回到画面内的情形时，会利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的手部分配手部标签，以基于该手部标签对所述跟踪数据进行分类。
步骤S510，对所述分类后的跟踪数据进行预处理，以得到每一所述手部的精数据。
在一实施方式中，所述分类后的跟踪数据即为ReID数据，所述预处理可以是预先设定的数据处理方式，比如所述预处理包括：采用预设异常点剔除算法剔除所述ReID数据的异常数据，并使用预设插值法对剔除的异常数据所在的节点进行回归处理。经过剔除与回归处理后的数据可以被称之为“精数据”。
在一实施方式中，所述异常数据可以是明显偏离预设正常数据值区间的数据。由于跟踪数据是基于跟踪时间累积的数据，为了避免异常数据被剔除后造成数据空缺，可以使用预设插值法对剔除的异常数据所在的节点进行回归处理，实现将近似数据补充到异常数据所在的节点。
步骤S512，根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分。
在一实施方式中，对每一所述手部的作业动作进行评分可以是指对每一评测者的两只手部作业动作进行评分。可以基于标准作业流程的手部精数据和被测试者作业流程的手部精数据来为被试者手部作业进行评分。可以采用DTW算法来对时间序列的精数据进行对齐，并根据对齐后的所有手部作业图像帧的手部关键点坐标的欧式距离进行评分。所述DTW算法可以通过计算标准作业流程的手部作业动作和被测试者作业流程的手部作业动作之间的欧式距离，来比较两者之间的相似度，欧式距离越低，相似度越高，得分越高，欧式距离越高，相似度越低，得分越低。
具体地，可以采用DTW算法将每一所述手部的精数据与所述基准手部作业的精数据进行对齐，再分别计算每一所述手部的精数据中的手部关键点坐标与所述基准手部作业的精数据中的手部关键点坐标的欧式距离，最后根据每一所述手部的欧式距离计算结果对每一所述手部的作业动作进行评分。
在一实施方式中采用DTW算法能够实现对时间序列数据进行对齐，并将被评测者的作业流程的时长相比于基准作业流程的时长的时间差纳入评分考虑，可根据对齐后的所有图像帧的所有关键点的欧式距离进行评分，距离越低的得分越高，距离越高的得分越低。但是若欧式距离差值的变化呈现对数的趋势，同时随着两段作业流程差异越大，关键点的欧式距离计算出的距离差值扰动也会越大，因此还可以根据数十组被评测者的测试数据与基准作业流程的手部数据经过欧式距离差计算，得到欧式距离差值的上界与下界，并透过对数变换，将距离差值映射到0到100分的分数，让越逼近距离差值上界的分数越接近零分，越逼近距离差值下界的分数越接近满分(100分)。
在一实施方式中，具体可以通过以下步骤实现对每一评测者的两只手部的作业动作进行评分：a.基准手部作业的每一帧出现的左右手关键点数据，每一段关键点长度在每一帧中需要确保一致，可以将整个基准作业流程中的所有帧出现的关键点之间的长度(比如，共20段长度)取平均值，再将每一帧的关键点长度规整到平均值的长度，以使得基准手部作业的每一帧的每段关键点长度都是相同的，同理，被试者的手部作业也使用相同的处理方式，确保被评测者的手部作业的每一帧的每段关键点长度都是相同的，可以解决不同的视角问题，接着将被评测者的手部作业中的每一帧出现的左右手关键点长度调整到与基准手部作业的关键点长度相同，调整过后的左右手各21个关键点坐标会有所变化，且被评测者的手部作业的每一帧都须做此处理，实现克服不同人的手指长度所造成的关键点坐标偏差的问题；b.将基准手部作业与被评测者的手部作业的第零个关键点数据(起始关键点数据，比如定义手心的关键点坐标为第零个关键点数据)对齐到世界坐标系统的原点(x,y,z)＝(0,0,0)，如此可以过滤掉双手位移的影响，实现纯粹针对手部作业手势进行评分；c.利用DTW算法对时间序列数据(被评测者的手部的精数据与基准手部作业的精数据)进行对齐，并计算对齐后的所有图像帧的所有关键点的欧式距离差；d.采用对数变换将欧式距离差值映射到0到100分的分数，实现为被试者手部作业进行评分。
上述手部作业动作评分装置、方法及计算机可读存储介质，可以对被评测者的手部作业动作的实时影像进行处理，准确定位手部作业过程中的手部关键点特征，并与标准手部作业动作进行比对，智能分析出被评测者的手部作业动作与标准作业动作之差异，并给出相应评分，有利于对工人进行评价考察，提升产线的良率与效率。
对本领域的技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明所公开的范围。

Claims (11)

1.一种手部作业动作评分方法，其特征在于，所述方法包括：
获取手部作业影像，并对所述手部作业影像进行解码得到手部作业图像帧；
将所述手部作业图像帧转换为HSV图像，并从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框；
根据多个所述矩形框从所述二值化图像中分割出第一手部图像并利用第一预设模型对所述第一手部图像进行分析；
基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据；
利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签，以基于所述手部标签对所述跟踪数据进行分类，其中每一所述手部对应唯一的手部标签；
对所述分类后的跟踪数据进行预处理，以得到每一所述手部的精数据；及
根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分。
2.如权利要求1所述的手部作业动作评分方法，其特征在于，所述从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框的步驟包括：
根据H通道的上下限值、S通道的上下限值及V通道的上下限值从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框；
其中，若所述手部作业图像帧为起始帧图像，则所述H通道的上下限值为第一默认上下限值，所述S通道的上下限值为第二默认上下限值，及所述V通道的上下限值为第三默认上下限值。
3.如权利要求2所述的手部作业动作评分方法，其特征在于，所述第一预设模型为预先训练的手部关键点分析模型，所述利用第一预设模型对所述第一手部图像进行分析的步骤包括：
利用所述手部关键点分析模型对所述第一手部图像进行分析得到与每一所述矩形框对应的手部关键点坐标、置信度及手部特征向量。
4.如权利要求3所述的手部作业动作评分方法，其特征在于，所述方法还包括：
根据每一所述矩形框对应的置信度计算得到一置信度均值；
判断所述置信度均值是否大于预设值；
若所述置信度均值大于所述预设值，则基于预设更新规则更新所述H通道的上下限值、所述S通道的上下限值及所述V通道的上下限值；及
若所述置信度均值不大于所述预设值，则不对所述H通道的上下限值、所述S通道的上下限值及所述V通道的上下限值进行更新。
5.如权利要求3所述的手部作业动作评分方法，其特征在于，所述基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据的步骤包括：
基于所述手部关键点分析模型得到的手部关键点坐标与置信度构建随所述跟踪时间累积的跟踪数据。
6.如权利要求5所述的手部作业动作评分方法，其特征在于，所述方法还包括：
基于每一所述矩形框对应的置信度判断所述手部关键点分析模型对所述第一手部图像进行分析得到的手部关键点坐标是否可靠；
若分析得到的手部关键点坐标被判定为不可靠，则调用多个预设手部系列检测模型分别对所述手部作业图像帧进行检测得到表示手部所在区域的多个矩形框，以分割得到与多个所述预设手部系列检测模型对应的多个第二手部图像，其中多个所述预设手部系列检测模型至少包括YOLO模型及SSD模型；
利用所述手部关键点分析模型对每一所述第二手部图像进行分析得到与每一所述预设手部系列检测模型对应的手部关键点坐标、置信度及手部特征向量；及
比对所述手部关键点分析模型所分析得到的每一组手部关键点坐标与置信度，以选取与所述跟踪数据最匹配的一组手部关键点坐标与置信度来更新所述跟踪数据；
其中，每一所述第二手部图像均分别对应有一组手部关键点坐标与置信度。
7.如权利要求3所述的手部作业动作评分方法，其特征在于，所述第二预设模型为预先训练的手部ReID模型，所述利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签的步骤包括：
利用所述手部ReID模型监测所述跟踪数据并根据所述手部特征向量为所述跟踪数据中的每一手部分配所述手部标签。
8.如权利要求1所述的手部作业动作评分方法，其特征在于，所述预处理包括：采用预设异常点剔除算法剔除所述跟踪数据中的异常数据，并使用预设插值法对剔除的异常数据所在的节点进行回归处理。
9.如权利要求1所述的手部作业动作评分方法，其特征在于，所述根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分的步骤包括：
将每一所述手部的精数据与所述基准手部作业的精数据进行对齐；
分别计算每一所述手部的精数据中的手部关键点坐标与所述基准手部作业的精数据中的手部关键点坐标的欧式距离；及
根据每一所述手部的欧式距离计算结果对每一所述手部的作业动作进行评分。
10.一种手部作业动作评分装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-9任一项所述的手部作业动作评分方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现如权利要求1-9任一项所述的手部作业动作评分方法的步骤。
CN202010591925.3A 2020-06-24 2020-06-24 手部作业动作评分装置、方法及计算机可读存储介质 Active CN111860196B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010591925.3A CN111860196B (zh) 2020-06-24 2020-06-24 手部作业动作评分装置、方法及计算机可读存储介质
TW109122169A TWI776176B (zh) 2020-06-24 2020-06-30 手部作業動作評分裝置、方法及電腦可讀取存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591925.3A CN111860196B (zh) 2020-06-24 2020-06-24 手部作业动作评分装置、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111860196A true CN111860196A (zh) 2020-10-30
CN111860196B CN111860196B (zh) 2023-06-20

Family

ID=72988191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591925.3A Active CN111860196B (zh) 2020-06-24 2020-06-24 手部作业动作评分装置、方法及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111860196B (zh)
TW (1) TWI776176B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446313A (zh) * 2020-11-20 2021-03-05 山东大学 一种基于改进动态时间规整算法的排球动作识别方法
CN114282795A (zh) * 2021-12-21 2022-04-05 北京永信至诚科技股份有限公司 网络靶场人员技能评估方法、装置、设备及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI797014B (zh) * 2022-05-16 2023-03-21 國立虎尾科技大學 桌球姿勢分類方法及桌球互動系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108707A (zh) * 2017-12-29 2018-06-01 北京奇虎科技有限公司 基于视频数据的手势处理方法及装置、计算设备
CN108764120A (zh) * 2018-05-24 2018-11-06 杭州师范大学 一种人体规范动作评价方法
CN111291749A (zh) * 2020-01-20 2020-06-16 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201113819A (en) * 2009-10-13 2011-04-16 Tatung Co Embedded device capable real-time recognizing the unspecific gesture and its recognizing method
WO2012139241A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
CN108563995B (zh) * 2018-03-15 2019-04-26 西安理工大学 基于深度学习的人机协作系统手势识别控制方法
CN110738135B (zh) * 2019-09-25 2023-06-09 艾普工华科技（武汉）有限公司 一种工人作业工步规范视觉识别判定与指导方法及系统
CN110956099B (zh) * 2019-11-14 2022-06-17 哈尔滨工程大学 一种动态手势指令识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108707A (zh) * 2017-12-29 2018-06-01 北京奇虎科技有限公司 基于视频数据的手势处理方法及装置、计算设备
CN108764120A (zh) * 2018-05-24 2018-11-06 杭州师范大学 一种人体规范动作评价方法
CN111291749A (zh) * 2020-01-20 2020-06-16 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PRASHAN PREMARATNE ETC.: ""Centroid tracking based dynamic hand gesture recognition using discrete Hidden Markov Models"" *
都明宇等: ""多模式人手动作识别方法"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446313A (zh) * 2020-11-20 2021-03-05 山东大学 一种基于改进动态时间规整算法的排球动作识别方法
CN114282795A (zh) * 2021-12-21 2022-04-05 北京永信至诚科技股份有限公司 网络靶场人员技能评估方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
TW202201275A (zh) 2022-01-01
TWI776176B (zh) 2022-09-01
CN111860196B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
US9852327B2 (en) Head-pose invariant recognition of facial attributes
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
CN111860196B (zh) 手部作业动作评分装置、方法及计算机可读存储介质
US10445602B2 (en) Apparatus and method for recognizing traffic signs
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
CN111178252A (zh) 多特征融合的身份识别方法
CN110660078B (zh) 对象追踪方法、装置、计算机设备和存储介质
US20180307896A1 (en) Facial detection device, facial detection system provided with same, and facial detection method
US7646915B2 (en) Image recognition apparatus, image extraction apparatus, image extraction method, and program
CN113591763A (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
KR101204378B1 (ko) 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
US20230326041A1 (en) Learning device, learning method, tracking device, and storage medium
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
US20220165055A1 (en) Information processing apparatus, information processing method, and storage medium
Mohamed et al. A new method for face recognition using variance estimation and feature extraction
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
JP2021051376A (ja) 画像処理装置、画像処理方法及びプログラム
US20220301292A1 (en) Target object detection device, target object detection method, and non-transitory computer readable storage medium storing target object detection program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant