CN112016334A - 判分方法及装置 - Google Patents

Abstract

本申请提供一种判分方法，方法包括：从摄像机采集的监控图像中获取标签图案图像，监控图像为用户在操作过程中所选择的盛放物品的器具的图像，盛放物品的器具上设有标签图案；根据标签图案图像确定标签图案对应的物品类别信息；根据物品类别信息与外部输入的指定物品类别信息的比较结果对用户的操作行为进行判分。在物品为化学试剂时，通过为每种化学试剂设计一种标签图案并贴在器具上，进而操作人员在操作过程中，通过从监控图像中获取操作人员所选择的化学试剂的标签图案图像并确定标签图案对应的化学试剂，通过将操作人员所选择的化学试剂与正确答案进行对比，以对操作人员的操作行为进行判分，整个考查判分过程无需人工参与，判分实时性高。

Description

判分方法及装置

技术领域

本申请涉及一种图像处理技术领域，尤其涉及一种判分方法及装置。

背景技术

随着机器学习，特别是深度学习的突破性发展，计算机视觉领域的技术水平有了质的飞跃。在教育信息技术领域，应用计算机视觉技术实现课堂活动中学生行为的识别和分析的需求越来越多。

对于化学实验考试中的化学试剂鉴别考查，目前采用的是人工审阅判分方式，即学生根据老师给出的试题内容，将选择的化学试剂写在试卷上，由老师审阅试卷来进行判分。由此可知，目前的考查判分过程耗时长，效率低且实时性差。

发明内容

有鉴于此，本申请提供一种判分方法及装置，以解决目前人工审阅判分方式效率低且实时性差的问题。

根据本申请实施例的第一方面，提供一种判分方法，所述方法包括：

从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，所述盛放物品的器具上设有标签图案；

根据所述标签图案图像确定标签图案对应的物品类别信息；

根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对所述用户的操作行为进行判分。

根据本申请实施例的第二方面，提供一种判分装置，所述装置包括：

图像获取模块，用于从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，所述盛放物品的器具上设有标签图案；

类别确定模块，用于根据所述标签图案图像确定标签图案对应的物品类别信息；

判分模块，用于根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对所述用户的操作行为进行判分。

根据本申请实施例的第三方面，提供一种电子设备，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。

应用本申请实施例，通过从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，并且所述盛放物品的器具上设有标签图案，然后；根据所述标签图案图像确定标签图案对应的物品类别信息，并根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对用户的操作行为进行判分。

基于上述描述可知，在识别的物品为化学试剂时，通过为每种化学试剂设计一种标签图案并贴在器具上，进而操作人员在操作过程中，通过从摄像机采集的监控图像中获取到标签图案图像，即操作人员中所选择的化学试剂的标签图案图像，并确定标签图案对应的化学试剂，通过将操作人员所选择的化学试剂与正确答案进行对比，以对操作人员的操作行为进行判分，因此整个考查判分过程全部智能实现，无需人工参与，判分实时性高，考查效率高。

附图说明

图1A为本申请根据一示例性实施例示出的一种判分方法的实施例流程图；

图1B为本申请根据图1A所示实施例示出的一种九宫格形式的标签图案示意；

图1C为本申请根据图1A所示实施例示出的一种二维码形式和条形码形式的标签图案示意图；

图2为本申请根据一示例性实施例示出的一种电子设备的硬件结构图；

图3为本申请根据一示例性实施例示出的一种判分装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

对于初中化学实验考试中的化学试剂鉴别考查，目前采用的考查方案是：老师给出一道试题，学生从给出的可选化学试剂中选择一种化学试剂与待测试剂进行反应，根据反应现象来推测待测试剂是哪一种化学试剂，并将所选的化学试剂的类别写在试卷上，最后老师审阅试卷并判分。然而这种人工审阅判分过程很耗时，老师的工作量较大，并且判分实时性也差。

为解决上述问题，本申请提出一种判分方法，通过从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，并且所述盛放物品的器具上设有标签图案，然后；根据所述标签图案图像确定标签图案对应的物品类别信息，并根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对用户的操作行为进行判分。

基于上述描述可知，在识别的物品为化学试剂时，通过为每种化学试剂设计一种标签图案并贴在器具上，进而操作人员在操作过程中，通过从摄像机采集的监控图像中获取到标签图案图像，即操作人员中所选择的化学试剂的标签图案图像，并确定标签图案对应的化学试剂，通过将操作人员所选择的化学试剂与正确答案进行对比，以对操作人员的操作行为进行判分，因此整个考查判分过程全部智能实现，无需人工参与，判分实时性高，考查效率高。

本领域技术人员可以理解的是，本申请所提出的判分方法不仅适用于化学实验考试中的化学试剂鉴别考查判分，同样也适用于其它场景中的判分需求，只要为每种待选择的物品设计一种标签图案，即可通过设计的标签图案实现物品类别的识别。

下面以具体实施例对本申请提出的判分方法进行详细阐述。

图1A为本申请根据一示例性实施例示出的一种判分方法的实施例流程图，该判分方法可以应用在电子设备上，下面以化学实验考试中化学试剂考查判分场景为例对本申请进行示例性说明。如图1A所示，该判分方法包括如下步骤：

步骤101：从摄像机采集的监控图像中获取标签图案图像，监控图像为用户在操作过程中所选择的盛放物品的器具的图像，且盛放物品的器具上设有标签图案。

在执行步骤101之前，可以为每种待选择的物品设计一种标签图案，并粘贴在盛放该物品的器具上，从而摄像机可以拍摄到操作人员在操作过程中所选择的器具的监控图像，进而从监控图像中可获取到标签图案图像。

设计的标签图案的形式可以包括很多种，本申请对标签图案的具体形式不进行具体限定。

在一个例子中，设计的标签图案的形式可以是九宫格形式，如图1B所示，为化学试剂设计的九宫格形式的标签图案，由图1B可看出，通过不同的小图案组合，可以得到很多种化学试剂类别。

在另一个例子中，设计的标签图案的形式也可以是二维码形式或者条形码形式，如图1C所示，为化学试剂设计的二维码形式的标签图案和条形码形式的标签图案。

针对步骤101的过程，在一实施例中，在获取到摄像机采集的监控图像时，可以检测所述监控图像中的标签图案区域，若检测到，则从所述监控图像中抠出所述标签图案区域对应的图像，并将该图像作为所述标签图案图像。

作为一个实施例，由于操作人员在操作过程中摄像机会实时对操作人员的操作行为进行监控，因此可以对摄像机实时采集的监控图像进行预处理，然后对预处理后的监控图像进行目标检测，当在监控图像中检测到标签图案区域时，抠出标签图案区域对应的图像，从而得到标签图案图像。

其中，监控图像的预处理可以包括图像尺寸的缩放、图像降噪过滤等处理。

其中，目标检测方式可以采用传统的目标检测算法，如YoloV3算法，也可以采用基于深度学习的神经网络。

步骤102：根据所述标签图案图像确定标签图案对应的物品类别信息。

在一实施例中，可以通过基于深度学习的网络模型确定标签图案对应的物品类别信息，识别准确度高。

识别过程可以是：将所述标签图案图像输入至已训练的物品识别网络中，以由物品识别网络识别所述标签图案图像对应的物品类别信息，然后获取所述物品识别网络输出的物品类别信息。

示例性的，上述所述的物品识别网络可以使用深度学习框架(如Caffe框架)，使用的网络架构可以是目标检测网络架构。

在一种可能的实施方式中，可以通过如下方式训练所述物品识别网络：获取训练样本集，所述训练样本集中的每幅图像包含一种标签图案，且每幅图像对应标注有物品类别信息，然后利用所述训练样本集对已生成的物品识别网络模型进行优化，直至所述物品识别网络的损失值小于预设阈值，所述物品识别网络的损失值由所述物品识别网络输出的物品类别信息与标注的物品类别信息计算得到。

在本申请中，对于训练样本集的获取方式，可以通过采集来自多人次和多种操作类型的监控图像，然后从采集的监控图像中抠出标签图案图像，并标注对应的物品类别信息后作为训练样本集。

在一个例子中，通过将包含所有标签图案的图像和标注的物品类别信息作为训练样本集，以用于对物品识别网络模型进行优化，使得物品识别网络可以识别出所有标签图案对应的物品类别信息。

需要说明的是，如果后续有新的标签图案增加，可以将新的标签图案的图像和标注的物品类别信息添加到训练样本集中，对物品识别网络模型再次进行优化。

在另一实施例中，也可以通过图像处理算法确定标签图案对应的物品类别信息。

识别过程可以是：提取所述标签图案图像的目标特征数据，然后从已存储的标签图案数据信息中查找与所述目标特征数据匹配的特征数据，并将查找到的特征数据所对应的物品类别信息作为标签图案对应的物品类别信息，所述标签图案数据信息包括标签图案的特征数据和物品类别信息的对应关系。

其中，针对每一标签图案，可以预先提取该标签图案的特征数据并与相对应的物品类别信息作为一条标签图案数据信息进行存储，以用于后续查找匹配。

示例性的，为了提升提取的目标特征数据的准确性，可以通过对标签图案图像进行图像二值化和图像腐蚀膨胀处理后，再提取目标特征数据。

示例性的，在查找时，可以通过计算目标特征数据与每一条标签图案数据信息中的特征数据之间的相似度，然后将计算得到的最大相似度对应的标签图案数据信息中的物品类别信息作为标签图案对应的物品类别信息。

需要说明的是，对于采用不同形式的标签图案可以采用不同的识别方式，如上述图1B-1C所述的九宫格标签图案、二维码标签图案以及条形码标签图案，由于二维码标签图案或条形码标签图案的纹理信息相对九宫格标签图案的纹理信息更清楚，并且二维码标签图案或条形码标签图案也具有一定的编码排列规则，因此对于采用二维码形式或条形码形式的标签图案可以采用识别效率比较高的图像处理算法实现物品类别信息的识别，而对于采用九宫格形式的标签图案可以采用识别准确度比较高的网络模型实现物品类别信息的识别。

步骤103：根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对所述操作人员的操作行为进行判分。

在一实施例中，如果所述物品类别信息与外部输入的指定物品类别信息的比较结果一致，则输出提示所述操作人员的分值为预设数值，否则，输出提示所述操作人员的分值为0。

其中，外部输入的指定物品类别信息为正确答案。

需要说明的是，由于用户在操作过程中，可能会更换其他盛放物品的器具，因此需要实时从监控图像中获取标签图案图像对应的物品类别信息，如果从监控图像中获取的标签图案图像对应的物品类别信息发生变化，则重新根据变化后的物品类别信息与外部输入的指定物品类别信息的比较结果对所述操作人员的操作行为进行判分。

示例性的，假设鉴别实验为：检验试管中的黑色粉末是铁粉还是炭粉，该题要求学生在稀盐酸和硝酸银两种化学试剂中选择一种，外部输入的指定物品类别信息为稀盐酸。摄像头在拍摄某一学生的操作过程中，通过识别该学生所选的试管瓶上的标签图案对应的化学试剂与指定物品类别信息对比来进行判分，如果识别得到的化学试剂为稀盐酸，则输出该学生的分值为1分。

又假设后续又识别得到该学生所选的化学试剂为硝酸银，由于与上一次识别得到的稀盐酸，因此需要将硝酸银与指定物品类别信息稀盐酸进行对比重新判分，如果对比不一致，则重新输出该学生的分值为0分。

在本申请实施例中，通过从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，并且所述盛放物品的器具上设有标签图案，然后根据所述标签图案图像确定标签图案对应的物品类别信息，并根据所述物品类别信息与外部输入的指定物品类型信息的比较结果，对用户的操作行为进行判分。

基于上述描述可知，在识别的物品为化学试剂时，通过为每种化学试剂设计一种标签图案并贴在器具上，进而操作人员在操作过程中，通过从摄像机采集的监控图像中获取到标签图案图像，即操作人员中所选择的化学试剂的标签图案图像，并确定标签图案对应的化学试剂，通过将操作人员所选择的化学试剂与正确答案进行对比，以对操作人员的操作行为进行判分，因此整个考查判分过程全部智能实现，无需人工参与，判分实时性高，考查效率高。

图2为本申请根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口201、处理器202、机器可读存储介质203和总线204；其中，通信接口201、处理器202和机器可读存储介质203通过总线204完成相互间的通信。处理器202通过读取并执行机器可读存储介质203中与判分方法的控制逻辑对应的机器可执行指令，可执行上文描述的判分方法，该方法的具体内容参见上述实施例，此处不再累述。

本申请中提到的机器可读存储介质203可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质203可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

图3为本申请根据一示例性实施例示出的一种判分装置的实施例结构图，所述判分装置可以应用在电子设备上。

如图3所示，所述判分装置包括：

图像获取模块310，用于从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，所述盛放物品的器具上设有标签图案；

类别确定模块320，用于根据所述标签图案图像确定标签图案对应的物品类别信息；

判分模块330，用于根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对所述用户的操作行为进行判分。

在一可选实现方式中，所述图像获取模块310，具体用于获取所述摄像机采集的监控图像，并检测所述监控图像中的标签图案区域；若检测到，从所述监控图像中抠出所述标签图案区域对应的图像，并将该图像作为所述标签图案图像。

在一可选实现方式中，所述类别确定模块320，具体用于将所述标签图案图像输入至已训练的物品识别网络中，以由所述物品识别网络识别所述标签图案图像对应的物品类别信息；获取所述物品识别网络输出的物品类别信息。

在一可选实现方式中，所述装置还包括(图3中未示出)：

网络训练模块，用于获取训练样本集，所述训练样本集中的每幅图像包含一种标签图案，且每幅图像对应标注有物品类别信息；利用所述训练样本集对已生成的物品识别网络模型进行优化，直至所述物品识别网络的损失值小于预设阈值；所述物品识别网络的损失值由所述物品识别网络输出的物品类别信息与标注的物品类别信息计算得到。

在一可选实现方式中，所述类别确定模块320，具体用于提取所述标签图案图像的目标特征数据；从已存储的标签图案数据信息中查找与所述目标特征数据匹配的特征数据，并将查找到的特征数据所对应的物品类别信息作为标签图案对应的物品类别信息；其中，所述标签图案数据信息包括标签图案的特征数据和物品类别信息的对应关系。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种判分方法，其特征在于，所述方法包括：

从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，所述盛放物品的器具上设有标签图案；

根据所述标签图案图像确定标签图案对应的物品类别信息；

根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对所述用户的操作行为进行判分。

2.根据权利要求1所述的方法，其特征在于，从摄像机采集的包含标签图案的监控图像中获取标签图案图像，包括：

获取所述摄像机采集的监控图像，并检测所述监控图像中的标签图案区域；

若检测到，从所述监控图像中抠出所述标签图案区域对应的图像，并将该图像作为所述标签图案图像。

3.根据权利要求1所述的方法，其特征在于，根据所述标签图案图像确定标签图案对应的物品类别信息，包括：

将所述标签图案图像输入至已训练的物品识别网络中，以由所述物品识别网络识别所述标签图案图像对应的物品类别信息；

获取所述物品识别网络输出的物品类别信息。

4.根据权利要求3所述的方法，其特征在于，通过如下方式训练所述物品识别网络：

获取训练样本集，所述训练样本集中的每幅图像包含一种标签图案，且每幅图像对应标注有物品类别信息；

利用所述训练样本集对已生成的物品识别网络模型进行优化，直至所述物品识别网络的损失值小于预设阈值；

所述物品识别网络的损失值由所述物品识别网络输出的物品类别信息与标注的物品类别信息计算得到。

5.根据权利要求1所述的方法，其特征在于，根据所述标签图案图像确定标签图案对应的物品类别信息，包括：

提取所述标签图案图像的目标特征数据；

从已存储的标签图案数据信息中查找与所述目标特征数据匹配的特征数据，并将查找到的特征数据所对应的物品类别信息作为标签图案对应的物品类别信息；

其中，所述标签图案数据信息包括标签图案的特征数据和物品类别信息的对应关系。

6.一种判分装置，其特征在于，所述装置包括：

图像获取模块，用于从摄像机采集的监控图像中获取标签图案图像，所述监控图像为用户在操作过程中所选择的盛放物品的器具的图像，所述盛放物品的器具上设有标签图案；

类别确定模块，用于根据所述标签图案图像确定标签图案对应的物品类别信息；

判分模块，用于根据所述物品类别信息与外部输入的指定物品类别信息的比较结果对所述用户的操作行为进行判分。

7.根据权利要求6所述的装置，其特征在于，所述图像获取模块，具体用于获取所述摄像机采集的监控图像，并检测所述监控图像中的标签图案区域；若检测到，从所述监控图像中抠出所述标签图案区域对应的图像，并将该图像作为所述标签图案图像。

8.根据权利要求6所述的装置，其特征在于，所述类别确定模块，具体用于将所述标签图案图像输入至已训练的物品识别网络中，以由所述物品识别网络识别所述标签图案图像对应的物品类别信息；获取所述物品识别网络输出的物品类别信息。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

网络训练模块，用于获取训练样本集，所述训练样本集中的每幅图像包含一种标签图案，且每幅图像对应标注有物品类别信息；利用所述训练样本集对已生成的物品识别网络模型进行优化，直至所述物品识别网络的损失值小于预设阈值；所述物品识别网络的损失值由所述物品识别网络输出的物品类别信息与标注的物品类别信息计算得到。

10.根据权利要求6所述的装置，其特征在于，所述类别确定模块，具体用于提取所述标签图案图像的目标特征数据；从已存储的标签图案数据信息中查找与所述目标特征数据匹配的特征数据，并将查找到的特征数据所对应的物品类别信息作为标签图案对应的物品类别信息；其中，所述标签图案数据信息包括标签图案的特征数据和物品类别信息的对应关系。

11.一种电子设备，其特征在于，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现权利要求1-5任一所述方法的步骤。

Images