CN114565641A - 图像识别方法、装置、设备、系统及存储介质 - Google Patents

Abstract

本申请公开了一种图像识别方法、装置、设备、系统及存储介质，其中，所述方法包括：获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

Description

图像识别方法、装置、设备、系统及存储介质

技术领域

本申请涉及计算机技术领域，涉及但不限于一种图像识别方法、装置、设备、系统及存储介质。

背景技术

趣味运动、比赛等活动，大多以设置不同的任务，通过裁判来确定参与对象对任务的完成情况的形式进行。例如在机器人比赛中，机器人需要在规定的时间范围内，到达指定的位置完成不同的任务，通过统计不同任务的得分，来确定机器人对总任务的完成情况。为了统计每个机器人的得分，每场比赛都需要配置多位工作人员担任裁判，实时查看机器人在比赛过程中的任务完成情况，对各类行为做出决策判断与分数统计，最后将各项分数汇总，统计出最终成绩。这种以裁判主导的评价方式，需要裁判全程观察任务完成情况，耗时耗力，且存在主观判断的影响。

发明内容

有鉴于此，本申请实施例提供一种图像识别方法、装置、设备、系统及存储介质。

第一方面，本申请实施例提供一种图像识别方法，所述方法包括：获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

在一些实施例中，所述确定所述任务的评价规则和任务信息集合，包括：获取所述参与对象所参与的所述任务的标识；基于所述任务的标识，确定所述任务的评价规则和任务信息集合。

这样，在存在多个任务的情况下，可以方便确定所需任务的评价规则和任务信息集合。

在一些实施例中，所述任务信息集合包括对象信息集合；所述基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果，包括：在所述图像帧集合中确定目标帧图像集合；基于所述对象信息集合对所述目标帧图像集合中的每一帧图像进行识别，得到对应图像的识别结果。

这样，通过在图像帧集合中筛选出目标帧图像集合，然后再基于对象信息集合对目标帧图像集合中的每一帧图像进行识别，得到对应图像的识别结果，如此，可以减少图像识别过程的计算量，提高效率。

在一些实施例中，所述任务信息集合包括关键位置点集合；所述在所述图像帧集合中确定目标帧图像集合，包括：基于所述关键位置点集合在所述图像帧集合中确定目标帧图像集合。

这样，通过关键位置点集合确定目标帧图像集合，可以在图像帧集合中筛选出用于评价任务完成结果的图像，基于目标帧图像集合的识别结果，来确定参与对象的任务完成结果。

在一些实施例中，所述在所述图像帧集合中确定目标帧图像集合，包括：基于所述待处理的图像帧集合，确定所述图像帧集合中所述图像帧之间的相似度和每一图像帧的关键性分值；基于所述相似度和所述关键性分值，从所述图像帧集合中确定目标帧图像集合。

这样，通过确定图像帧之间的相似度和每一图像帧的关键性分值，实现对关键图像的提取，删除重复及分辨率较低的图像，减少图像识别过程中的计算量。

在一些实施例中，所述基于关键位置点集合在所述图像帧集合中确定目标帧图像集合，包括：获取所述参与对象到达所述关键位置点集合中的每一关键位置点的时间戳；在所述图像帧集合中确定与每一所述时间戳匹配的目标帧图像，得到目标帧图像集合。

这样，通过获取每一关键位置点的时间戳，实现在图像帧集合中确定出目标帧图像集合。

在一些实施例中，所述关键位置点包括：出发位置点和终止位置点；还包括：在所述参与对象的任务完成结果表征任务完成的情况下，确定所述参与对象所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳；基于所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳，确定对应任务的完成时长；基于所述任务的完成时长，确定所述参与对象的得分。

这样，通过获取完成任务的时长，在确认参与对象完成任务的情况下，实现了对参与对象完成任务的打分，使得任务完成结果更加量化。

在一些实施例中，所述任务信息集合包括移动对象的位置信息；对应地，所述基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果，包括：在所述图像帧集合的起始帧图像中，获取所述移动对象的真值框；基于所述移动对象的真值框，在所述图像帧集合的图像中对所述移动对象进行跟踪，得到对应图像针对移动对象的识别结果；其中，所述移动对象的位置信息包括参与对象和/或可移动道具的位置信息，所述识别结果包括所述参与对象的位置信息和/或移动道具的位置信息。

这样，通过在图像帧集合的起始帧图像中，获取移动对象的真值框，再利用目标跟踪算法，基于移动对象的真值框，在图像帧集合的图像中对移动对象进行跟踪，可以方便获取需要识别的对象，得到对应图像针对移动对象的识别结果。

在一些实施例中，所述任务信息集合包括固定对象的状态信息；对应地，所述基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果，包括：在所述图像帧集合的图像中确定所述固定对象所在的识别区域；对所述图像帧集合的图像的所述识别区域进行图像分类，得到对应图像针对所述固定对象的识别结果，其中，所述识别结果包括所述固定对象的状态信息。

这样，通过在图像帧集合的图像中确定出固定对象所在的识别区域，再利用图像分类算法，对识别区域进行图像分类，可以方便获取图像中固定对象的状态，得到对应图像的识别结果。

在一些实施例中，所述任务包括至少两个子任务，所述基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果，包括：基于所述图像帧集合中图像的识别结果和每一所述子任务的所述评价规则，确定每一所述子任务的完成结果；基于每一所述子任务的完成结果，确定所述参与对象的任务完成结果。

这样，在任务包括至少两个子任务的情况下，通过确定每一子任务的完成结果，得到参与对象的任务完成结果。

第二方面，本申请实施例提供一种图像识别装置，所述装置包括：获取模块，用于获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；第一确定模块，确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；识别模块，用于基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；第二确定模块，用于基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

第三方面，本申请实施例提供一种电子设备，所述设备包括：存储器、处理器和输出模块，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的步骤，所述输出模块用于输出所述处理器的执行结果。

第四方面，本申请实施例提供一种图像识别系统，所述系统包括：图像采集模组，用于采集待处理的图像帧集合，所述图像帧集合包括参与对象所参与的任务的至少一帧图像；电子设备，用于获取待处理的图像帧集合；确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。

本申请实施例中，通过获取待处理的图像帧集合，确定任务的评价规则和任务信息集合，然后基于任务信息集合对图像帧集合的图像进行识别，得到对应图像的识别结果，最后基于图像帧集合中图像的识别结果和评价规则，确定参与对象的任务完成结果，从而实现了在执行任务的过程中无需裁判参与，智能评价任务的完成结果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1A为本申请实施例提供的一种图像识别系统的架构示意图；

图1B为本申请实施例提供的另一种图像识别系统的架构示意图；

图1C为本申请实施例提供的一种图像识别方法的流程示意图；

图2为本申请实施例提供的一种应用于可移动机器人比赛中的图像识别系统的架构示意图；

图3为本申请实施例提供的一种拍摄比赛场地图像的示意图；

图4为本申请实施例提供的一种矫正摄像头图像的示意图；

图5A为本申请实施例提供的一种框选跟踪对象的示意图；

图5B为本申请实施例提供的一种利用跟踪模块跟踪对象的结果示意图；

图6A为本申请实施例提供的一种框选分类图像区域的示意图；

图6B为本申请实施例提供的一种利用分类模块进行图像分类的结果示意图；

图7为本申请实施例提供的一种图像识别装置的结构示意图；

图8为本申请实施例电子设备的一种硬件实体示意图。

具体实施方式

下面结合附图和实施例对本申请的技术方案进一步详细阐述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

图1A为本申请实施例提供的一种图像识别系统10的一个可选的架构示意图，参见图1A，计算机处理设备300通过网络200连接图像采集模组100。网络200可以是广域网或者局域网，又或者是二者的组合。计算机处理设备300和图像采集模组100在物理上可以是分立的，也可以是一体的。图像采集模组100可以通过网络200将采集到的待处理的图像帧集合发送或存储至计算机处理设备300，其中，图像帧集合包括参与对象所参与的任务的至少一帧图像。计算机处理设备300获取待处理的图像帧集合；确定任务的评价规则和任务信息集合，其中，任务信息集合用于确定参与对象的任务完成结果；基于任务信息集合对图像帧集合的图像进行识别，得到对应图像的识别结果；基于图像帧集合中图像的识别结果和评价规则，确定参与对象的任务完成结果并输出。

图1B为本申请实施例提供的另一种图像识别系统10的一个可选的架构示意图，参见图1B，终端设备500通过网络200连接图像采集模组100，终端设备500和图像采集模组100通过网络200连接至服务器400。图像采集模组100可以通过网络200将采集到的待处理的图像帧集合发送或存储至服务器400，其中，图像帧集合包括参与对象所参与的任务的至少一帧图像；服务器400获取待处理的图像帧集合；确定任务的评价规则和任务信息集合，其中，任务信息集合用于确定参与对象的任务完成结果；基于任务信息集合对图像帧集合的图像进行识别，得到对应图像的识别结果；基于图像帧集合中图像的识别结果和评价规则，确定参与对象的任务完成结果，将参与对象的任务完成结果发送给终端设备500予以输出。

在一些实施例中，服务器400可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。图像采集装置、电子设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例不做限定。

图1C为本申请实施例提供的一种图像识别方法的流程示意图，应用于电子设备，如图1C所示，所述方法包括：

步骤102：获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；

这里，电子设备可以为图1A中的计算机处理设备300，例如手机、笔记本电脑、平板电脑、掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、机器人等；也可以为图1B中的服务器400。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。处理器可以用于进行图像识别，存储器可以用于存储进行图像识别过程中需要的数据以及产生的数据。

电子设备可以从图像采集模组获取待处理的图像帧集合，图像帧集合包括视频或者实时帧图像，所述图像可为：二维(Two-dimensional，2D)图像或者三维(Three-dimensional，3D)图像，其中，2D图像可包括：单目或多目摄像头采集的红绿蓝(Red GreenBlue，RGB)图像等。图像采集模组可以是照相机或者摄像头等能够进行图像采集的终端设备，图像采集模组与电子设备之间可以通过传输线等有线方式连接，也可以通过蓝牙或者无线网络等无线模式连接。不同时刻或时段获取的图像帧集合可以相同也可以不同，图像帧集合中图像帧的数量可以根据实际需求确定，例如30帧、40帧、50帧等。

由于图像采集装置采集角度的问题，采集的图像会发生变形，例如，距离图像采集装置近的位置，采集的图像较宽、较大；距离图像采集装置较远的位置，采集的图像较窄、较小，最终会使图像变形。在一些实施例中，为了提高图像识别的准确性，可以将待处理的图像帧集合与目标图像做特征图匹配，得到图像矫正矩阵，其中，目标图像为预先对参与对象参与的任务场景进行正俯视角拍摄的图像，然后使用图像矫正矩阵，矫正待处理的图像帧集合中的每一帧图像。实施时，可以先分别提取待处理的图像帧集合中某一帧图像和目标图像中任务场地的边界框，然后获取两个边界框的顶点坐标，基于两个边界框的顶点坐标，确定图像矫正矩阵。

其中，对边界框的提取可以采用边缘检测算子检测出边缘之后，再进行边界框的提取。在一些实施例中，边缘检测可以采用微分运算，包括一阶微分边缘检测算子和二阶边缘微分算子，其中一阶微分边缘检测算子包括：Robert算子、索贝尔(Sobel)算子和Prewitt算子，二阶边缘微分算子包括：拉普拉斯(Laplacian)算子和坎尼(Canny)算子。在一些实施例中，检测时可通过Canny法、边缘和线段检测(Edge Drawing，ED)、无参数的边缘检测(Edge Drawing Parameter Free，EDP)等边缘检测方法中一个或多个进行边缘检测。

在一些实施例中，图像矫正矩阵可以通过仿射变换或透视变换得到，这两种变换原理相似，结果也类似。实施时通过待矫正图像和目标图像中的两组坐标点计算得出图像矫正矩阵。

在一些实施例中，步骤102的实施可以先对待处理的图像帧集合进行高斯模糊处理，以减小待处理的图像帧集合的噪声，从而有利于后续的边界框提取，提高检测精度。

参与对象可以包括但不限于人、机器人、动物等。参与的任务可以为参与对象需要完成的任务，在一些实施例中，参与的任务可以为比赛，例如足球比赛、篮球比赛、接力赛、拍球比赛等；在一些实施例中，参与的任务也可以为趣味运动，例如两人三足、夹乒乓球等；在一些实施例中，参与的任务还可以为游戏，例如通关游戏，即在不同的位置设置不同的任务，完成所有任务后获胜。例如，第一关为参与者到达指定位置1将瓶子推倒，第二关为参与者到达指定位置2拉下开关。

步骤104：确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；

这里，任务的评价规则和任务信息集合可以为预先设置的信息。任务完成结果表征任务完成和任务没完成，对应地，评价规则为评价任务是否完成的标准。以任务为拍球比赛为例进行说明，拍球比赛的完成标准可以为一分钟之内至少拍30下球；又以任务为接力赛为例进行说明，接力赛的完成标准可以为第一位参赛者将接力棒从起始位置传递到最后一位参赛者，并到达终点；再以任务为通关游戏为例进行说明，通关游戏的完成标准可以为参与者完成所有关卡设置的任务。

任务信息集合可以为依据评价规则，用来确定参与对象的任务完成结果的信息。在任务为拍球比赛的情况下，由于评价规则为一分钟之内至少拍30下球，则可以通过球的位置信息和时长信息(1分钟)判断一分钟内拍了多少下球，因此，任务信息集合可以包括球的位置信息和时长信息。

在任务为接力赛的情况下，由于评价规则为第一位参赛者将接力棒从起始位置传递到最后一位参赛者，并到达终点，则可以通过参赛者的位置信息、接力棒的位置信息和终点的位置信息判定参赛者和接力棒是否都已经到达终点，因此，任务信息集合可以包括参赛者的位置信息、接力棒的位置信息和终点的位置信息。

在任务为上述通关游戏的情况下，由于评价规则为参与者完成所有关卡设置的任务，则可以通过参与者的位置信息，瓶子的状态信息(横着或竖着)和任务1的终点位置信息判断参与者是否已经到达任务1的终点位置并完成任务1；通过参与者的位置信息，开关的状态信息(开或关)和任务2的终点位置信息判断参与者是否已经到达任务2的终点位置并完成任务2，因此，任务信息集合可以包括参与者的位置信息，瓶子的状态信息，开关的状态信息和不同任务的终点的位置信息。

本申请实施例对任务信息集合包括的内容不做限定。

在一些实施例中，在参与对象需要完成的任务包括至少两个任务的情况下，为了方便确定出任务的评价规则和任务信息集合，步骤104的实施可以包括：

步骤1041：获取所述参与对象所参与的所述任务的标识；

这里，任务的标识可以为任务的名称，以参与的任务为足球比赛为例进行说明，则任务的标识可以为足球比赛；任务的标识也可以为自定义的标识，例如将足球比赛定义为1号任务，则任务的标识可以为1号任务。

在一些实施例中，参与对象所参与的任务的标识可以通过人工输入的方式获取。在一些实施例中，参与对象所参与的任务的标识还可以通过神经网络对待处理的图像帧集合中的图像进行场景识别获取，例如，Googlenet、Residual Network、Inception V2等分类神经网络。实施时，可以通过神经网络识别出场景的类型，再基于场景的类型确定任务的标识，例如识别出场景的类型为篮球比赛，则任务的标识可以为篮球比赛，也可以为根据篮球比赛自定义的标识。

步骤1042：基于所述任务的标识，确定所述任务的评价规则和任务信息集合。

这里，任务的评价规则和任务信息集合可以为根据任务的标识预先设置的信息。

本申请实施例中，通过获取任务的标识，并根据任务的标识确定任务的评价规则和任务信息集合，使得在存在多个任务的情况下，可以方便确定所需任务的评价规则和任务信息集合。

步骤106：基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；

这里，对图像帧集合的图像进行识别的识别结果为任务信息集合中可以通过图像识别得到的信息，例如上述参赛者的位置信息、瓶子的状态、球的位置信息等。在实施步骤106时，可以根据任务信息集合中待识别的对象是否移动和待识别的对象所要识别的信息的类别，采用不同的方法对图像帧集合的图像进行识别，得到对应图像的识别结果。

在任务信息集合中待识别的对象为移动对象，任务信息集合包括移动对象的位置信息(即待识别的对象所要识别的信息为移动对象的位置信息)的情况下，步骤106的实施可以包括：

步骤1161：在所述图像帧集合的起始帧图像中，获取所述移动对象的真值框，其中，所述移动对象的位置信息包括参与对象和/或移动道具的位置信息；

这里，参与对象可以包括参与任务的人、动物或机器人等，移动道具可以包括任务中配合参与对象执行任务的可以移动的物体，例如接力棒、篮球、积木道具等。移动对象的位置信息可以包括参与对象和/或移动道具的位置信息，即移动对象的位置信息可以包括参与对象的位置信息，例如任务为跑步时，移动对象的位置信息为跑步的人的位置信息；或移动对象的位置信息可以包括移动道具的位置信息，例如任务为拍球比赛时，移动对象的位置信息为球的位置信息；或移动对象的位置信息可以包括参与对象和移动道具的位置信息，例如任务为接力赛时，移动对象的位置信息为参赛者和接力棒的位置信息。

步骤1161的实施，可以通过人工标定的方式，在图像帧集合的起始帧图像中标定出移动对象的真值框，从而得到移动对象的真值框；也可以通过目标检测算法在图像帧集合的起始帧图像中检测出移动对象的真值框，例如，RCNN，Faster-RCNN，SPP-net，Fast-RCNN等。实施时，可以根据不同的应用场景，选择合适的方法获取真值框，进而实现在后续步骤中对移动对象的跟踪。

步骤1162：基于所述移动对象的真值框，在所述图像帧集合的图像中对所述移动对象进行跟踪，得到对应图像针对移动对象的识别结果，其中，所述识别结果包括所述参与对象的位置信息和/或移动道具的位置信息。

这里，步骤1162的实施可以通过目标跟踪算法，例如视觉跟踪，语音跟踪(如根据识别语音输入的目标信息跟踪图像中的目标)等，基于步骤1161获取的真值框，在图像帧集合的图像中对移动对象进行跟踪，得到对应图像中移动对象的位置信息。其中，位置信息可以为通过目标跟踪算法检测后得到的移动对象的检测框所在的坐标信息，例如：位置信息可以由检测框的中心点坐标和检测框的宽度及高度组成，例如(x，y，w，h)，其中，(x，y)为中心点坐标，w是检测框的宽度，h是检测框的高度。

本申请实施例中，通过在图像帧集合的起始帧图像中获取移动对象的真值框，再利用目标跟踪算法，基于移动对象的真值框，在图像帧集合的图像中对移动对象进行跟踪，可以方便获取需要识别的对象，得到对应图像针对移动对象的识别结果。

在任务信息集合中待识别的对象为固定对象，任务信息集合包括固定对象的状态信息(即待识别的对象所要识别的信息为固定对象的状态信息)的情况下，步骤106的实施可以包括：

步骤1261：在所述图像帧集合的图像中确定所述固定对象所在的识别区域；

这里，固定对象可以包括参与对象在执行任务的过程中不移动的物体，例如：上述瓶子、开关等。步骤1261的实施，可以通过人工标定的方式，在图像帧集合的图像中标定出固定对象所在的识别区域，其中，识别区域可以为覆盖固定对象的最小区域，也可以为大于所述最小区域的区域，本申请实施例对识别区域的范围不做限定；也可以通过目标检测算法在图像帧集合的图像中检测出固定对象的检测框，例如，RCNN，Faster-RCNN，SPP-net，Fast-RCNN等，检测框即为固定对象所在的识别区域。实施时，可以根据不同的应用场景，选择合适的方法获取识别区域，进而实现在后续步骤中对固定对象的分类。

步骤1262：对所述图像帧集合的图像的所述识别区域进行图像分类，得到对应图像针对所述固定对象的识别结果，其中，所述识别结果包括所述固定对象的状态信息。

这里，状态信息可以包括固定对象在参与任务过程中的几种不同的状态，例如，横着、竖着、开关朝上、开关朝下等。步骤1262的实施可以包括：采用图像分类算法对图像帧集合的图像的识别区域进行图像分类，得到对应图像中固定对象的状态信息，例如：VGG、Googlenet、Residual Network等图像分类网络。

本申请实施例中，通过在图像帧集合的图像中确定出固定对象所在的识别区域，再利用图像分类算法，对识别区域进行图像分类，可以方便获取图像中固定对象的状态，得到对应图像的识别结果。

在一些实施例中，在固定对象的状态信息无法通过图像帧集合的图像识别得到的情况下，可以通过即时通讯的设备向电子设备发送固定对象的状态信息。例如，固定对象所在位置区域设置有传感器，固定对象状态变化时触发传感器数据变化，传感器可根据变化后的数据确定固定对象的状态信息，进而传输至电子设备；或者传感器将变化后的数据传输至电子设备，由电子设备确定固定对象的状态信息。

在一些实施例中，任务信息集合可以既包括移动对象的位置信息，又包括固定对象的状态信息；也可以只包括固定对象的状态信息；还可以只包括移动对象的位置信息，本申请实施例对任务信息集合中待识别的对象的类别和数量不做限定。

步骤108：基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

这里，任务完成结果的确定需要结合图像帧集合中图像的识别结果和评价规则，由于图像帧集合中图像的识别结果可以包括移动对象的位置信息和/或固定对象的状态信息，因此，任务完成结果的确定可以结合移动对象的位置信息和/或固定对象的状态信息以及评价规则。

由上述可知，位置信息可以为(x，y，w，h)。实施时，可以基于关键位置点的关键位置信息设置移动对象的位置信息的阈值范围，其中，关键位置点为用于确定参与对象任务完成结果的位置点，例如，在任务为拍球比赛的情况下，关键位置信息可以为球着地的位置和每次球上升过程中在空中的最高位置，根据球着地和球位于所述最高位置的数量，判断拍了多少下球。在任务为接力赛的情况下，关键位置信息为终点位置，通过判断参赛者和接力棒都已经到达终点，得出参赛者完成任务。在任务为上述通关游戏的情况下，关键位置信息为任务1的终点位置和任务2的终点位置，通过判断参与者到达任务1的终点位置和任务2的终点位置，以及瓶子的状态信息和开关的状态信息，得出参与者完成任务。

在一些实施例中，在移动对象的位置信息中的中心点坐标满足阈值范围的情况下，认为移动对象已经到达关键位置点。在固定对象的状态信息为预设状态的情况下，认为固定对象达到任务要求。

下面继续以任务为接力赛为例进行说明，由于评价规则为第一位参赛者将接力棒从起始位置传递到最后一位参赛者，并到达终点，由上述可知任务信息集合可以包括参赛者的位置信息、接力棒的位置信息和终点的位置信息，经过步骤106得到的识别结果可以包括参赛者的位置信息和接力棒的位置信息(即移动对象的位置信息)，则步骤108中可以通过终点(即关键位置点)的位置信息设置阈值范围，然后确定参赛者的位置信息中的中心点坐标和接力棒的位置信息中的中心点坐标是否在阈值范围内，来判断参赛者和接力棒是否到达终点，从而确定参赛者的任务完成结果。

在一些实施例中，终点的位置信息为(x₀，y₀，w₀，h₀)，则参赛者的中心点坐标(x₁，y₁)的阈值范围可以为x₁大于x₀-w₀/2且小于x₀+w₀/2，y₁大于y₀-h₀/2且小于y₀+h₀/2，即当参赛者的中心点坐标中的x₁大于x₀-w₀/2且小于x₀+w₀/2，y₁大于y₀-h0/2且小于y0+h0/2的情况下，认为参赛者已经达到终点。

同样在接力棒的位置信息中的中心点坐标满足阈值范围的情况下，认为接力棒达到终点。接力棒的中心点坐标(x₂，y₂)的阈值范围可以基于接力棒的中心位置与参赛者的中心位置之间的位移确定，例如，在接力棒的中心位置与参赛者的中心位置之间的位移很小，可忽略的情况下，接力棒的中心点坐标的阈值范围可以与参赛者的中心点坐标的阈值范围相同，即为x₂大于x₀-w₀/2且小于x₀+w₀/2，y₂大于y₀-h₀/2且小于y₀+h₀/2，则当接力棒的中心点坐标中的x₂大于x₀-w₀/2且小于x₀+w₀/2，y₂大于y₀-h₀/2且小于y₀+h₀/2的情况下，认为接力棒已经达到终点。在接力棒和参赛者都已经达到终点的情况下，认为参与对象的任务完成结果为任务完成。在接力棒的中心位置与参赛者的中心位置之间的位移不能忽略的情况下，可以将参赛者的中心点坐标的阈值范围平移相同的位移，得到接力棒的中心点坐标的阈值范围。

下面再以任务为上述通关游戏为例进行说明，由于评价规则为参与者完成所有关卡设置的任务，由上述可知任务信息集合可以包括参与者的位置信息，瓶子的状态信息，开关的状态信息和不同任务的终点位置信息，经过步骤106得到的识别结果可以包括参与者的位置信息(即移动对象的位置信息)，瓶子的状态信息和开关的状态信息(即固定对象的状态信息)，则步骤108中可以通过终点(即关键位置点)的位置信息设置阈值范围，然后确定参与者的位置信息中的中心点坐标是否在阈值范围内，来判断参与者是否到达终点；通过确定瓶子和开关的状态信息是否为预设状态，来判断瓶子和开关是否位于预设状态，从而确定参与者的任务完成结果。

其中，参与者的位置信息中的中心点坐标是否在阈值范围内的判断方法可参见上述说明。预设状态可以根据任务的内容设置，例如任务的内容为到达指定位置1将瓶子放倒，则预设状态可以为横着放置的瓶子。在根据参与者的位置信息判断参与者已经到达任务1的终点位置，且瓶子的状态信息为预设状态的情况下，表征参与者已经完成任务1；在根据参与者的位置信息判断参与者已经到达任务2的终点位置，且开关的状态信息为预设状态的情况下，表征参与者已经完成任务2。在参与者完成所有任务的情况下，参与者的任务完成结果为任务完成。

本申请实施例中，通过获取待处理的图像帧集合，确定任务的评价规则和任务信息集合，然后基于任务信息集合对图像帧集合的图像进行识别，得到对应图像的识别结果，最后基于图像帧集合中图像的识别结果和评价规则，确定参与对象的任务完成结果，从而实现了在执行任务的过程中无需裁判参与，智能评价任务的完成结果。

在一些实施例中，任务完成结果可以表征参与对象的得分，则步骤108的实施可以包括：

步骤1081：确定图像帧集合中图像的识别结果中移动对象的位置信息是否满足基于每一关键位置点的位置信息设置的阈值范围，和/或，图像帧集合中图像的识别结果中固定对象的状态信息是否满足预设状态；

这里，步骤1081的实施可参见步骤108，识别结果中的对象可以根据任务而定，例如，在任务为接力赛的情况下，识别结果中的对象为移动对象(参赛者的和接力棒)；又例如，在任务为上述通关游戏的情况下，识别结果中的对象为移动对象(参与者)和固定对象(瓶子和开关)。

步骤1082a：基于评价规则和步骤1081的确定结果得到相应的分数。

这里，在步骤1081的确定结果为满足(即都满足，表征参与对象到达该关键位置点，并完成该关键位置点设置的任务)的情况下，根据评价规则，得到参与对象在该关键位置点的得分为第一得分。在步骤1081的确定结果为不满足(即存在至少一个不满足，表征参与对象未到达该关键位置点和/或未完成该关键位置点设置的任务)的情况下，根据评价规则，得到参与对象在该关键位置点的得分为第二得分。

确定所有关键位置点的得分，得到参与对象的得分。在一些实施例中，可以将所有关键位置点的得分相加，得到参与对象最后的得分；在一些实施例中，也可以设置不同关键位置点得分的权重，将所有关键位置点的得分乘以权重后相加，得到参与对象最后的得分。

下面以任务为接力赛为例进行说明，移动对象包括参赛者和接力棒，关键位置点包括每一棒的出发点和终点，在识别出的参赛者和接力棒的位置信息都满足或存在一个不满足基于关键位置点的位置信息设置的阈值范围的情况下，得相应分数，例如，识别出的第一位参赛者和接力棒的位置信息都满足基于第一棒终点的位置信息设置的阈值范围，则得3分；识别出的第一位参赛者和接力棒的位置信息中的至少之一不满足基于第一棒终点的位置信息设置的阈值范围，则得0分，计算整个比赛所有关键位置点的得分之和，得到参与对象最后的得分。

在一些实施例中，步骤1081之后还包括：

步骤1082b：获取到达每一关键位置点的时间戳；

在一些实施例中，步骤1082b的实施可以通过在每一关键位置点设置通讯装置，参与对象在到达每一关键位置点之后，触发通讯装置对所述电子设备发出信息，使得电子设置获取参与对象到达每一关键位置点的时间戳。

步骤1083b：基于所述时间戳、评价规则和步骤1081的确定结果得到相应的分数。

实施时，可以设置到达每一关键位置点的时间戳的预设时刻，在所述时间戳满足预设时刻，且步骤1081的确定结果为满足(即都满足，表征参与对象到达该关键位置点，并完成该关键位置点设置的任务)的情况下，根据评价规则，得到参与对象在该关键位置点的得分为第三得分。在所述时间戳不满足预设时刻，或步骤1081的确定结果为不满足(即存在至少一个不满足，表征参与对象未到达该关键位置点和/或未完成该关键位置点设置的任务)的情况下，根据评价规则，得到参与对象在该关键位置点的得分为第四得分。同上，确定所有关键位置点的得分，得到参与对象的得分。

下面继续以任务为接力赛为例进行说明，例如，在识别出的第一位参赛者和接力棒的位置信息都满足基于第一棒终点的位置信息设置的阈值范围，且到达第一棒终点的时间戳满足预设时刻的情况下，得3分；在识别出的第一位参赛者和接力棒的位置信息中的至少之一不满足基于第一棒终点的位置信息设置的阈值范围，或到达第一棒终点的时间戳不满足预设时刻的情况下，则得0分，确定整个比赛所有关键位置点的得分，得到参与对象最后的得分。

本申请实施例中，通过到达每一关键位置点的时间戳、识别出的对象的位置信息和/或状态信息，得到参与对象的得分，使得任务完成结果更加量化。

在一些实施例中，任务信息集合包括对象信息集合，对应地，步骤106的实施可以包括步骤1361和步骤1362：

步骤1361：在所述图像帧集合中确定目标帧图像集合；

这里，对象信息集合可以包括所述移动对象的位置信息和所述固定对象的位置信息，步骤1361中确定目标帧图像集合的方法可以包括以下两种：

第一种：在任务信息集合还包括关键位置点集合的情况下，步骤1361的实施可以包括：基于所述关键位置点集合在所述图像帧集合中确定目标帧图像集合。

在一些实施例中，所述基于所述关键位置点集合在所述图像帧集合中确定目标帧图像集合的实施可以包括步骤1361a和步骤1362a：

步骤1361a：获取所述参与对象到达所述关键位置点集合中的每一关键位置点的时间戳；

这里，步骤1361a的实施可以通过在关键位置点设置通讯装置，参与对象在到达关键位置点之后，触发通讯装置向所述电子设备发出信息，使得电子设置获取参与对象到达关键位置点集合中的每一关键位置点的时间戳。该通讯装置例如可以是压力传感器、红外传感器等可感测物体，并与电子设备通信连接的装置。

步骤1362a：在所述图像帧集合中确定与每一所述时间戳匹配的目标帧图像，得到目标帧图像集合。

在一些实施例中，目标帧图像可以为图像帧集合中图像的时间戳等于每一所述时间戳的图像。例如，在步骤1361a中的到达某一关键位置点的时间戳为100ms，则在图像帧集合中选择第100ms对应的图像作为目标帧图像；在一些实施例中，也可以基于每一所述时间戳设置一定的范围，例如若某一时间戳为100ms，设置的范围可以为95ms到105ms，进而在图像帧集合中选择时间戳为每一所述范围的图像作为目标帧图像，以避免获取的时间戳存在偏差，而导致目标帧图像不准确。通过获取每一关键位置点的时间戳，实现在图像帧集合中确定出目标帧图像集合。

本申请实施例中，通过关键位置点集合确定目标帧图像集合，可以在图像帧集合中筛选出用于评价任务完成结果的图像，基于目标帧图像集合的识别结果，来确定参与对象的任务完成结果。

第二种：步骤1361的实施可以包括步骤1361b和步骤1362b：

步骤1361b：基于所述待处理的图像帧集合，确定所述图像帧集合中所述图像帧之间的相似度和每一图像帧的关键性分值；

这里，关键性分值为用于表示每一图像帧关键性的分值，其分值越高，代表关键性越大。例如关键性分值为0.8的图像帧的关键性大于关键性分值为0.7的图像帧。示例性的，步骤1361b的实施可以先通过第一神经网络例如Googlenet、VGG等提取图像帧集合的特征，再通过两个LSTM网络确定图像帧集合中图像帧之间的相似度和每一图像帧的关键性分值。其中，关键性分值越高，表示图像帧中出现参与对象在关键点位置完成任务过程的可能性越大。

步骤1362b：基于所述相似度和所述关键性分值，从所述图像帧集合中确定目标帧图像集合。

这里，步骤1362b的实施可以利用获得的图像帧之间的相似度对整个图像帧集合进行时间分割，以避免目标帧之间的重复，根据每一帧的关键性分值的大小以及所需要的目标帧图像的数目，获得目标帧图像集合。实施时，可以设置相似度的阈值，例如，相似度的阈值为0.7，则在连续图像帧之间的相似度大于0.7时，认为是同一类型的图像；在图像帧之间的相似度小于或等于0.7时，认为是不同类型的图像，从而实现对整个图像帧集合进行时间分割。在每一类型的图像帧集合中，可以选择关键性分值最高的一帧图像作为这一类型图像的代表，将选择出的所有类型的图像代表的关键性分值进行排序，根据需要的目标帧图像的数目，确定目标帧图像集合，例如选择出的所有类型的图像代表为15帧，需要的目标帧图像的数目为10帧，则选择关键性分值排名前10的图像作为目标帧图像集合，从而实现对关键图像的提取，删除重复及分辨率较低的图像，减少图像识别过程中的计算量。

步骤1362：基于所述对象信息集合对所述目标帧图像集合中的每一帧图像进行识别，得到对应图像的识别结果。

这里，步骤1362的实施可参见步骤106，在任务信息集合包括移动对象的位置信息的情况下，步骤1362的实施还可以采用图像检测的方法，例如RCNN，Faster-RCNN，SPP-net，Fast-RCNN等，对目标帧图像集合中的每一帧图像进行检测，得到对应图像中移动对象的位置信息。

本申请实施例中，通过在图像帧集合中筛选出目标帧图像集合，然后再基于对象信息集合对目标帧图像集合中的每一帧图像进行识别，得到对应图像的识别结果，如此，可以减少图像识别过程的计算量，提高效率。

在一些实施例中，任务信息集合包括关键位置点，关键位置点包括：出发位置点和终止位置点，对应地，本申请实施例还提供一种图像识别方法，所述方法包括：

步骤201：获取待处理的图像帧集合和参与对象所参与的任务的标识，其中，所述图像帧集合包括所述参与对象参与所述任务的至少一帧图像；

步骤202：基于所述任务的标识，确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；

步骤203：基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；

步骤204：基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果；

这里，步骤201至步骤204可参见步骤102至步骤108。

步骤205：在所述参与对象的任务完成结果表征任务完成的情况下，确定所述参与对象所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳；

在一些实施例中，步骤205的实施，可以通过在图像帧集合中识别出参与对象在出发位置点和终止位置点的图像，进而获取出发位置点和终止位置点所在图像的时间戳，从而得到出发位置点的时间戳和终止位置点的时间戳。

在一些实施例中，步骤205的实施，可以通过在关键位置点设置通讯装置，参与对象在达到关键位置点之后，触发通讯装置对所述电子设备发出信息，使得电子设置获取参与对象所述任务的出发位置点的时间戳和终止位置点的时间戳。

步骤206：基于所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳，确定对应任务的完成时长；

这里，步骤206的实施，可以通过终止位置点的时间戳减去出发位置点的时间戳，得到对应任务的完成时长。

步骤207：基于所述任务的完成时长，确定所述参与对象的得分。

这里，步骤207实施时，可以预设规则，定义出在预设时长范围内完成任务的得分，例如在上述通关游戏中，任务1的预设时长为1分钟(min)，若参与者在1min之内完成任务1，得2分，若参与者在1min之后完成任务1，得1分。

在一些实施例中，也可以根据任务完成的时长，确定参与对象的输赢或排名，例如用时最短者获胜，或根据用时从短到长，依次排名。

本申请实施例中，通过获取完成任务的时长，在确认参与对象完成任务的情况下，实现了对参与对象完成任务的打分，使得任务完成结果更加量化。

在一些实施例中，所述任务包括至少两个子任务，任务信息集合包括参与对象的位置信息和/或移动道具的位置信息，固定对象的状态信息和关键位置点集合，对应地，本申请实施例还提供一种图像识别方法，所述方法包括：

步骤301：获取待处理的图像帧集合和参与对象所参与的每一所述子任务的标识，其中，所述图像帧集合包括所述参与对象参与每一所述子任务的至少一帧图像；

步骤302：基于每一所述子任务的标识，确定所述子任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的每一所述子任务完成结果；

这里，步骤301至步骤302可参见步骤102至步骤104。

步骤303：获取所述参与对象到达所述关键位置点集合中的每一关键位置点的时间戳；

这里，关键位置点集合包括每一所述子任务的出发位置点和终止位置点。

步骤304：在所述图像帧集合中确定与每一所述时间戳匹配的目标帧图像，得到目标帧图像集合；

这里，步骤303和步骤304可参见步骤1361a和步骤1362a。

步骤305：在所述图像帧集合的起始帧图像中，获取所述参与对象和/或所述移动道具的真值框；

步骤306：基于所述参与对象和/或所述移动道具的真值框，在所述图像帧集合的图像中对所述参与对象和/或所述移动道具进行跟踪，得到目标帧图像集合中的每一帧图像中所述参与对象和/或所述移动道具的识别结果，其中，所述识别结果包括所述参与对象的位置信息和/或移动道具的位置信息。

这里，步骤305和步骤306可参见步骤1161和步骤1162。

步骤307：在所述目标帧图像集合中的每一帧图像中确定所述固定对象所在的识别区域；

这里，固定对象可以为执行任务过程中不移动的道具。

步骤308：对所述目标帧图像集合中的每一帧图像的所述识别区域进行图像分类，得到对应图像针对所述固定对象的识别结果，其中，所述识别结果包括所述固定对象的状态信息；

这里，步骤307和步骤308可参见步骤1261和步骤1262。

步骤309：确定所述参与对象所述子任务的所述出发位置点的时间戳和所述终止位置点的时间戳；

步骤310：基于所述子任务的所述出发位置点的时间戳和所述终止位置点的时间戳，确定对应子任务的完成时长；

这里，步骤309和步骤310可参见步骤205和步骤206。

步骤311：基于每一所述子任务的完成时长，所述目标帧图像集合中的每一帧图像的识别结果和所述评价规则，确定所述参与对象的每一所述子任务的得分；

这里，步骤311的实施可以包括在每一所述子任务的完成时长满足预设时长范围，且所述目标帧图像集合中的每一帧图像的识别结果满足预设条件的情况下，确定所述参与对象的对应子任务的得分为第五得分；

在每一所述子任务的完成时长不满足预设时长范围，或所述目标帧图像集合中的每一帧图像的识别结果不满足预设条件的情况下，确定所述参与对象的对应子任务的得分为第六得分。

其中，每一所述子任务的完成时长满足预设时长范围的实施可参考步骤207；所述目标帧图像集合中的每一帧图像的识别结果包括移动对象的位置信息和/或固定对象的状态信息，移动对象的位置信息和/或固定对象的状态信息是否满足预设条件可参考步骤108。

下面以任务为上述通关游戏为例进行说明，其中，第一关为参与者到达指定位置1将瓶子推倒，在第一关中，若参与对象在第一关完成时的位置信息满足第一预设条件，瓶子的状态信息满足第二预设条件，完成时长满足预设时长范围，则参与对象完成第一关，得2分。

若参与对象在第一关完成时的位置信息不满足第一预设条件，或瓶子的状态信息不满足第二预设条件，或完成时长不满足预设时长范围，则参与对象未完成第一关，得0分。

步骤312：基于每一所述子任务的得分，确定所述参与对象的得分。

在一些实施例中，步骤312的实施可以计算所有子任务的得分之和，得到参与对象的最后得分。在一些实施例中，步骤312的实施还可以设置不同子任务的权重，将所有子任务的得分与其权重相乘后相加，得到参与对象的最后得分。本申请实施例对通过子任务的得分，得到参与对象得分的方法不做限定。

本申请实施例中，在任务包括至少两个子任务，任务信息集合包括参与对象的位置信息和/或移动道具的位置信息，固定对象的状态信息和关键位置点集合的情况下，提供了一种图像识别方法，用于识别执行任务过程中，参与对象的任务完成结果，并统计出相应分数。

机器人的各类比赛中，任务型赛制占了绝大部份。以机器人超级轨迹赛为例，参赛队伍需要搭建两辆可移动机器人，通过编写控制程序，使其在指定地图上沿着黑色轨迹线行驶，同时完成线路上的各个任务。在比赛进行时，每场比赛每个赛场都需要配置多位工作人员担任裁判工作，实时查看参赛队伍的可移动机器人在比赛中的任务完成情况，对各类行为做出决策判断与分数统计。最后将各项分数汇总，统计出最终成绩。这种以裁判主导的评分机制，是目前机器人比赛的主流评分方式。然而，这种以裁判主导的评分方式，需要裁判全程观察赛况，耗时耗力，且存在主观判断的影响。

基于此，本申请实施例提供了一种应用于可移动机器人比赛中的图像识别方法，所述方法应用于如图2所示的系统中，如图2所示，所述系统由硬件部分和软件部分组成，硬件部分包含摄像头(即所述图像采集模组)和嵌入式设备(即所述电子设备)，其中，摄像头用于比赛场地的实时拍摄；嵌入式设备用于图像分析与分数统计。软件部分包含通讯模块、追踪模块、分类模块和规则模块，其中，通讯模块使用无线通讯，用于比赛机器人(即所述参与对象)与嵌入式设备的通信、或者比赛道具(即所述移动道具和所述固定道具)与嵌入式设备的通信；追踪模块，使用视觉追踪技术，用于比赛可移动机器人(即所述参与对象)的追踪与可移动任务道具(即所述移动道具)的追踪，获得其实时坐标、航向角、速度等信息；分类模块，使用图像分类技术，可用于判断不可移动的任务道具(即所述固定对象)的状态；规则模块，用于设定规则信息，并根据通讯模块、追踪模块、分类模块得到的场地各类信息，统计最终分数。

所述方法包括：

第一部分：如图3所示为本申请实施例提供的一种拍摄比赛场地图像的示意图，在比赛场地边上搭建系统，架高摄像头，使摄像头可拍摄到清晰完整的场地图像(即所述待处理的图像帧集合)。

第二部分：如图4所示为本申请实施例提供的一种矫正摄像头图像的示意图，将摄像头拍摄图像与系统内置的地图图像做特征图匹配，得到图像矫正矩阵，后使用图像矫正矩阵，矫正摄像头图像，得到场地俯视图像。

第三部分：如图5A所示为本申请实施例提供的一种框选跟踪对象的示意图，使用跟踪模块，在场地俯视图像中，框选需要跟踪的对象(即所述真值框)，如比赛中执行任务的可移动机器人(ID_1)、比赛需被移动的任务道具(ID_2)等；如图5B所示为本申请实施例提供的一种利用跟踪模块跟踪对象的结果示意图，对可移动机器人、比赛需被移动的任务道具进行跟踪，得到其位置信息(即所述识别结果)，例如，右上角ID_1的位置信息(即所述中心点坐标)为(1.5，3)，在一些实施例中，还可以通过位置信息进一步得到可移动机器人、比赛需被移动的任务道具的航向角和速度，根据航向角得到移动机器人的移动方向，同样例如右上角ID_1的航向角为90°，速度为0.5米每秒(m/s)，其中，航向角是指地面坐标系下，移动机器人的质心速度与横轴的夹角。

第四部分：如图6A所示为本申请实施例提供的一种框选分类图像区域的示意图，使用分类模块，在场地俯视图像中，框选需要分类的图像(道具)区域601(即所述识别区域)，并设置该区域几种可能的(道具)状态图像(状态1和状态2)；如图6B所示为本申请实施例提供的一种利用分类模块进行图像分类的结果示意图，经过神经网络对该区域进行图像分类，得到分类结果(即所述识别结果)，其中左图的分类结果为状态1，右图的分类结果为状态2。

第五部分：使用规则模块，定义比赛规则。假设ID_1为比赛中可移动机器人，ID_2为比赛中需要移动的道具(任务1)，ID_3为比赛中需要改变状态的道具(任务2，道具状态改变可通过图像识别出来)，ID_4为比赛中需要触发的道具(任务3，道具状态改变无法通过图像识别出来，可主动向嵌入式设备传输状态信息)。

示例规则如下：

规则一：小车(即可移动机器人)出发时处于正确位置(即所述出发位置点)，得3分。

正确位置的评价标准：在出发位置点出发的时间<3s(即所述预设时刻)，ID_1的位置信息(x，y)中，0＜x<1，0＜y<1(即所述位置信息满足第一预设条件)。

规则二：接收到小车完成任务1信号(即所述关键位置点)后，判定任务1完成情况，完成得5分。

任务1完成的评价标准：任务1完成时间<60s(即所述预设时刻)，ID1_接收到“任务1完成”信号，ID_1的位置信息(x，y)中，1＜x<2，1＜y<2；ID_2的位置信息(x₁，y₁)中，2＜x₁<3，2＜y₁<3(即所述位置信息满足第一预设条件)。

规则三：接收到小车完成任务2信号(即所述关键位置点)后，判定任务2完成情况，完成得5分。

任务2完成的评价标准：任务2完成时间<120s(即所述预设时刻)，ID1_接收到“任务2完成”信号，ID_1的位置信息(x，y)中，2＜x<3，2＜y<3(即所述位置信息满足第一预设条件)，ID_3的状态信息为“状态2”(即所述状态信息满足第二预设条件)。

规则四：接收到道具ID_4状态改变信息后，判定任务3完成情况，完成得5分。

任务3完成的评价标准：任务3完成时间<180s(即所述预设时刻)，ID_1的位置信息(x，y)中，3＜x<4，3＜y<4(即所述位置信息满足第一预设条件)，ID_4的状态信息为“状态1”(即所述状态信息满足第二预设条件)。

第六部分：开始比赛，系统进行实时图像采集、视觉分析、接收通讯信号，并根据预设的规则(即所述评价规则)，进行分数计算，在比赛结束后统计出最终分数。

本申请实施例提出了应用于可移动机器人比赛中的图像识别系统，该系统能在比赛过程中自动采集比赛图像，通过视觉分析技术，获得实时的比赛状态，包括机器人的坐标、机器人的运动轨迹、任务点道具状态等，并通过预设的规则模块，确定每项任务的具体得分，计算最终的分数，使得全程无需裁判参与。

本申请实施例的技术方案提供的一种图像识别方法，可以应用在执行任务，例如游戏、比赛、趣味运动等活动当中。

下面举例说明本发明实施例的应用场景：

场景一：所述任务只需要判断参与对象是否完成任务，不需要知道任务的完成时间，例如闯关游戏，参与对象通过所有关卡之后，认为参与对象完成任务。

场景二：所述任务在参与对象完成任务的前提下，按照参与对象的完成时间进行排名或用时最短者获胜，例如男子400米短跑，用时最短者获胜，或团体接力赛，排名前三的团体得奖。

场景三：所述任务包括至少两个子任务，每个子任务包括若干个得分点，基于每个得分点，确定参与对象的最终得分，根据最终得分进行排名。例如：机器人超级轨迹赛，每个子任务在出发位置点和结束位置点处设置得分点，机器人在规定时间内到达相应位置时，得相应分数，统计所有得分点的得分，得到机器人的最终得分。

场景四：所述任务根据参与对象的位置和道具的位置，确定参与对象的得分，例如，篮球比赛，在篮球被投入篮筐的情况下，根据参与对象投篮的位置，确定参与对象的得分，例如在3分投篮区投篮，则得3分。

以上为列举的应用场景，本申请实施例对本申请实施例的技术方案的应用场景不做限定。

以上应用场景中通常通过裁判判断参与对象的任务完成结果，耗时耗力，且存在主观判断的影响，而本实施例提供的图像识别方法可以实现在执行任务的过程中无需裁判参与，智能评价任务的完成结果。

基于前述的实施例，本申请实施例提供一种图像识别装置，该装置包括所包括的各模块、以及各模块所包括的各子模块，各子模块所包括的各单元，以及各单元所包括的各子单元，都可以通过电子设备来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图7为本申请实施例提供的一种图像识别装置的结构示意图，如图7所示，所述图像识别装置700包括获取模块701、第一确定模块702、识别模块703和第二确定模块704，其中：

获取模块701，用于获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；

第一确定模块702，用于确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；

识别模块703，用于基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；

第二确定模块704，用于基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

在一些实施例中，所述第一确定模块702包括：第一获取子模块，用于获取所述参与对象所参与的所述任务的标识；第一确定子模块，用于基于所述任务的标识，确定所述任务的评价规则和任务信息集合。

在一些实施例中，所述任务信息集合包括对象信息集合；所述识别模块703，包括：第二确定子模块，用于在所述图像帧集合中确定目标帧图像集合；识别子模块，用于基于所述对象信息集合对所述目标帧图像集合中的每一帧图像进行识别，得到对应图像的识别结果。

在一些实施例中，所述任务信息集合包括关键位置点集合；所述第二确定子模块，包括：第一确定单元，用于基于所述关键位置点集合在所述图像帧集合中确定目标帧图像集合。

在一些实施例中，所述第二确定子模块，包括：第二确定单元，用于基于所述待处理的图像帧集合，确定所述图像帧集合中所述图像帧之间的相似度和每一图像帧的关键性分值；第三确定单元，用于基于所述相似度和所述关键性分值，从所述图像帧集合中确定目标帧图像集合。

在一些实施例中，所述第一确定单元，包括：获取子单元，用于获取所述参与对象到达所述关键位置点集合中的每一关键位置点的时间戳；确定子单元，用于在所述图像帧集合中确定与每一所述时间戳匹配的目标帧图像，得到目标帧图像集合。

在一些实施例中，所述关键位置点包括：出发位置点和终止位置点；还装置包括：第三确定模块，用于在所述参与对象的任务完成结果表征任务完成的情况下，确定所述参与对象所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳；第四确定模块，用于基于所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳，确定对应任务的完成时长；第五确定模块，用于基于所述任务的完成时长，确定所述参与对象的得分。

在一些实施例中，所述任务包括至少两个子任务，所述识别模块703，包括：第三确定子模块，用于基于所述图像帧集合中图像的识别结果和每一所述子任务的所述评价规则，确定每一所述子任务的完成结果；第四确定子模块，用于基于每一所述子任务的完成结果，确定所述参与对象的任务完成结果。

在一些实施例中，所述任务信息集合包括移动对象的位置信息；所述识别模块703，包括：第二获取子模块，用于在所述图像帧集合的起始帧图像中，获取所述移动对象的真值框；跟踪子模块，用于基于所述移动对象的真值框，在所述图像帧集合的图像中对所述移动对象进行跟踪，得到对应图像针对移动对象的识别结果；其中，所述移动对象的位置信息包括参与对象和/或可移动道具的位置信息，所述识别结果包括所述参与对象的位置信息和/或移动道具的位置信息。

在一些实施例中，所述任务信息集合包括固定对象的状态信息；所述识别模块703，包括：第五确定子模块，用于在所述图像帧集合的图像中确定所述固定对象所在的识别区域；分类子模块，用于对所述图像帧集合的图像的所述识别区域进行图像分类，得到对应图像针对所述固定对象的识别结果，其中，所述识别结果包括所述固定对象的状态信息。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像识别方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、ROM(Read Only Memory，只读存储器)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种电子设备，包括存储器、处理器和输出模块，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的图像识别方法中的步骤，所述输出模块用于输出所述处理器的执行结果。

对应地，本申请实施例提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像识别方法中的步骤。

这里需要指出的是：以上存储介质和平台实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和平台实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，图8为本申请实施例电子设备的一种硬件实体示意图，如图8所示，该电子设备800的硬件实体包括：处理器801、输出模块802和存储器803，其中

处理器801通常控制电子设备800的总体操作。

输出模块802可以为通讯接口或显示装置，在所述输出模块为通讯接口的情况下，所述输出模块可以使电子设备800通过网络与其他平台或电子设备或服务器通信；在所述输出模块为显示装置的情况下，所述输出模块可以用于显示参与对象的任务完成结果。

存储器803配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及电子设备800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过FLASH(闪存)或RAM(Random Access Memory，随机访问存储器)实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像识别方法，其特征在于，包括：

获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；

确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；

基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；

基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述任务的评价规则和任务信息集合，包括：

获取所述参与对象所参与的所述任务的标识；

基于所述任务的标识，确定所述任务的评价规则和任务信息集合。

3.根据权利要求1或2所述的方法，其特征在于，所述任务信息集合包括对象信息集合；

所述基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果，包括：

在所述图像帧集合中确定目标帧图像集合；

基于所述对象信息集合对所述目标帧图像集合中的每一帧图像进行识别，得到对应图像的识别结果。

4.根据权利要求3所述的方法，其特征在于，所述任务信息集合包括关键位置点集合；

所述在所述图像帧集合中确定目标帧图像集合，包括：

基于所述关键位置点集合在所述图像帧集合中确定目标帧图像集合。

5.根据权利要求3所述的方法，其特征在于，所述在所述图像帧集合中确定目标帧图像集合，包括：

基于所述待处理的图像帧集合，确定所述图像帧集合中所述图像帧之间的相似度和每一图像帧的关键性分值；

基于所述相似度和所述关键性分值，从所述图像帧集合中确定目标帧图像集合。

6.根据权利要求4所述的方法，其特征在于，所述基于关键位置点集合在所述图像帧集合中确定目标帧图像集合，包括：

获取所述参与对象到达所述关键位置点集合中的每一关键位置点的时间戳；

在所述图像帧集合中确定与每一所述时间戳匹配的目标帧图像，得到目标帧图像集合。

7.根据权利要求4或6所述的方法，其特征在于，所述关键位置点包括：出发位置点和终止位置点；还包括：

在所述参与对象的任务完成结果表征任务完成的情况下，确定所述参与对象所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳；

基于所述任务的所述出发位置点的时间戳和所述终止位置点的时间戳，确定对应任务的完成时长；

基于所述任务的完成时长，确定所述参与对象的得分。

8.根据权利要求1或2所述的方法，其特征在于，所述任务信息集合包括移动对象的位置信息；

对应地，所述基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果，包括：

在所述图像帧集合的起始帧图像中，获取所述移动对象的真值框；

基于所述移动对象的真值框，在所述图像帧集合的图像中对所述移动对象进行跟踪，得到对应图像针对移动对象的识别结果；

其中，所述移动对象的位置信息包括参与对象和/或可移动道具的位置信息，所述识别结果包括所述参与对象的位置信息和/或移动道具的位置信息。

9.根据权利要求1或2所述的方法，其特征在于，所述任务信息集合包括固定对象的状态信息；

对应地，所述基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果，包括：

在所述图像帧集合的图像中确定所述固定对象所在的识别区域；

对所述图像帧集合的图像的所述识别区域进行图像分类，得到对应图像针对所述固定对象的识别结果，其中，所述识别结果包括所述固定对象的状态信息。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述任务包括至少两个子任务，

所述基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果，包括：

基于所述图像帧集合中图像的识别结果和每一所述子任务的所述评价规则，确定每一所述子任务的完成结果；

基于每一所述子任务的完成结果，确定所述参与对象的任务完成结果。

11.一种图像识别装置，其特征在于，包括：

获取模块，用于获取待处理的图像帧集合，其中，所述图像帧集合包括参与对象参与的任务的至少一帧图像；

第一确定模块，确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；

识别模块，用于基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；

第二确定模块，用于基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

12.一种电子设备，包括存储器、处理器和输出模块，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至10任一项所述方法中的步骤，所述输出模块用于输出所述处理器的执行结果。

13.一种图像识别系统，其特征在于，包括：

图像采集模组，用于采集待处理的图像帧集合，所述图像帧集合包括参与对象所参与的任务的至少一帧图像；

电子设备，用于获取待处理的图像帧集合；确定所述任务的评价规则和任务信息集合，其中，所述任务信息集合用于确定所述参与对象的任务完成结果；基于所述任务信息集合对所述图像帧集合的图像进行识别，得到对应图像的识别结果；基于所述图像帧集合中图像的识别结果和所述评价规则，确定所述参与对象的任务完成结果。

14.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至10任一项所述方法中的步骤。

Images