CN118155142A - 对象密度识别方法及事件识别方法 - Google Patents

Abstract

本申请公开了一种对象密度识别方法及事件识别方法，该对象密度识别方法包括：获取对待识别区域进行图像采集得到的图像帧序列；识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果；将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到每个移动对象分别对应的标记关联结果；统计每个移动对象分别在每个图像帧中的标记关联结果，基于统计结果得到待识别区域中移动对象的对象密度。使得移动对象只要在图像帧序列中存在部分指定对象部件被图像采集到，就可以对该移动对象进行记录，避免移动对象被遮挡导致该移动对象不能被识别，且通过对同一移动对象的每个指定对象部件进行联合分析，提高移动对象密度的识别准确度。

Description

对象密度识别方法及事件识别方法

技术领域

本申请涉及图像处理技术领域，特别是涉及一种对象密度识别方法及事件识别方法。

背景技术

目前，对象密度识别是一个具有挑战性但具有重要意义的研究热点。例如，在交通领域对车辆密度进行识别有助于交通分析，在动物研究领域对研究对象（如候鸟、蚁群等）进行密度识别有助于分析研究对象的生活习性。

但是，传统的对象密度识别方法仍然存在缺陷，特别是对象被遮挡时，会严重影响密度识别准确度，导致计算得到的对象密度值产生较大偏差。

发明内容

为了解决上述技术问题，本申请至少提供一种对象密度识别方法及事件识别方法。

本申请第一方面提供了一种对象密度识别方法，方法包括：获取对待识别区域进行图像采集得到的图像帧序列；其中，图像帧序列含有多个按时间顺序排序的图像帧，图像帧中含有移动对象，移动对象由多个对象部件组成；识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果；其中，指定对象部件的部件类型为多个；将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果；统计每个移动对象分别在每个图像帧中的标记关联结果，基于统计结果得到待识别区域中移动对象的对象密度。

在一实施例中，识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果，包括：将图像帧输入至预先训练完成的部件标记模型，得到部件标记模型输出的部件标记结果和每个部件标记结果对应的移动对象标识；将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果，包括：基于单个图像帧中每个部件标记结果对应的移动对象标识，将属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

在一实施例中，部件标记结果用于标记指定对象部件的位置信息和角度信息；将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果，包括；利用部件标记结果对应的位置信息和/或角度信息，计算每个部件标记结果之间属于同一移动对象的概率；基于每个部件标记结果之间属于同一移动对象的概率，确定每个部件标记结果中属于同一移动对象的部件标记结果；将每个部件标记结果中属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

在一实施例中，部件标记结果为矩形框，矩形框的坐标用于标记指定对象部件的位置信息，矩形框的旋转角度及角点之间的顺序标识用于标记指定对象部件的角度信息。

在一实施例中，统计结果包括待识别区域中移动对象的对象数量；基于统计结果得到待识别区域中移动对象的对象密度，包括：获取图像帧中待识别区域的图像区域面积；将待识别区域的图像区域面积转换为实际场景区域面积；基于待识别区域中移动对象的对象数量和实际场景区域面积，计算得到待识别区域中移动对象的对象密度。

在一实施例中，利用双目相机对待识别区域进行图像采集；将待识别区域的图像区域面积转换为实际场景区域面积，包括：获取双目相机的标定参数，并获取图像帧的视差信息；利用标定参数和图像帧的视差信息，将图像帧中待识别区域的图像区域面积转换为实际场景区域面积。

本申请第二方面提供了一种事件识别方法，方法包括：基于上述对象密度识别方法，计算待识别区域中移动对象的对象密度；检测待识别区域的对象密度是否满足第一预设事件对应的密度判断条件，得到第一密度判断结果；基于第一密度判断结果，确定是否存在第一预设事件。

在一实施例中，基于上述对象密度识别方法，计算待识别区域中移动对象的对象密度，包括；对待识别区域进行块划分，得到多个区域块；基于上述对象密度识别方法，分别计算每个区域块中移动对象的对象密度；方法还包括：检测每个区域块的对象密度是否满足第二预设事件对应的密度判断条件，得到第二密度判断结果；基于第二密度判断结果，确定是否存在第二预设事件。

在一实施例中，方法还包括：计算待识别区域中每个移动对象的移动速度；检测移动对象的移动速度是否满足第三预设事件对应的速度判断条件，得到速度判断结果；基于速度判断结果，确定是否存在第三预设事件。

在一实施例中，移动对象对应有部件标记结果，部件标记结果用于标记指定对象部件的位置信息和角度信息；方法还包括：利用部件标记结果对应的位置信息和角度信息对移动对象进行姿态分析，得到移动对象的姿态分析结果；检测移动对象的姿态分析结果是否满足第四预设事件对应的姿态判断条件，得到姿态判断结果；基于姿态判断结果，确定是否存在第四预设事件。

本申请第三方面提供了一种对象密度识别装置，装置包括：图像获取模块，用于获取对待识别区域进行图像采集得到的图像帧序列；其中，图像帧序列含有多个按时间顺序排序的图像帧，图像帧中含有移动对象，移动对象由多个对象部件组成；部件标记模块，用于识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果；其中，指定对象部件的部件类型为多个；部件关联模块，用于将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果；密度计算模块，用于统计每个移动对象分别在每个图像帧中的标记关联结果，基于统计结果得到待识别区域中移动对象的对象密度。

本申请第四方面提供了一种事件识别装置，装置包括：密度计算模块，用于基于上述对象密度识别方法，计算待识别区域中移动对象的对象密度；密度判断模块，用于检测待识别区域的对象密度是否满足第一预设事件对应的密度判断条件，得到第一密度判断结果；事件识别模块，用于基于第一密度判断结果，确定是否存在第一预设事件。

本申请第五方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述对象密度识别方法。

本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述对象密度识别方法。

上述方案，通过获取对待识别区域进行图像采集得到的图像帧序列，对每个图像帧的移动对象的指定对象部件进行识别和标记，使得移动对象只要在图像帧序列中存在部分指定对象部件被图像采集到，就可以对该移动对象进行记录，避免移动对象被遮挡导致该移动对象不能被识别，且将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，从而可以通过统计每个移动对象分别在每个图像帧中的标记关联结果，对同一移动对象的每个指定对象部件进行联合分析，有效区分不同的移动对象，避免多个移动对象被识别为同一移动对象或者同一移动对象被识别为多个移动对象而增加密度识别误差的情况，提高移动对象密度的识别准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请的一个实施例提供的方案实施环境的示意图；

图2是本申请的一示例性实施例示出的对象密度识别方法的流程图；

图3是本申请的一示例性实施例示出的识别并标记移动对象的指定对象部件的示意图；

图4是本申请的一示例性实施例示出的部件标记结果的示意图；

图5是本申请的一示例性实施例示出的面积转换的示意图；

图6是本申请的一示例性实施例示出的事件识别方法的流程图；

图7是本申请的一示例性实施例示出的对象密度识别装置的框图；

图8是本申请的一示例性实施例示出的事件识别装置的框图；

图9是本申请的一示例性实施例示出的电子设备的结构示意图；

图10是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联信息，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

下面对本申请实施例所提供的对象密度识别方法进行说明。

请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括终端110和服务器120，终端110和服务器120之间相互通信连接。

终端110的数量可以是一个或多个。终端110可以是摄像机、智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。

服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个示例中，服务器120可以为从终端110中获取到的待识别区域的图像帧序列进行密度识别处理，得到待识别区域中移动对象的对象密度，当然，服务器120可以将识别到的对象密度数据存储在本地、回传至终端110或者传输至其他终端110。

在一个示例中，终端110中安装运行有目标应用程序的客户端，如该目标应用程序可以是提供密度识别功能的应用程序。服务器120可以是该目标应用程序的后台服务器，用于为该目标应用程序的客户端提供后台服务。

本申请实施例提供的对象密度识别方法，各步骤的执行主体可以是终端110，如终端110中安装运行的目标应用程序的客户端，也可以是服务器120，或者由终端110和服务器120交互配合执行，即将方法的一部分步骤交由终端110执行而另一部分步骤则交由服务器120执行。

请参阅图2，图2是本申请的一示例性实施例示出的对象密度识别方法的流程图。该对象密度识别方法可以应用于图1所示的实施环境，并由该实施环境中的服务器具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图2所示，对象密度识别方法至少包括步骤S210至步骤S240，详细介绍如下：

步骤S210：获取对待识别区域进行图像采集得到的图像帧序列；其中，图像帧序列含有多个按时间顺序排序的图像帧，图像帧中含有移动对象，移动对象由多个对象部件组成。

对待识别区域进行图像采集得到的图像帧序列。

例如，可以是针对待识别区域预先部署有图像采集设备，根据图像采集设备对待识别区域进行图像采集得到的图像帧序列。其中，图像采集设备包括但不限于多目相机、单目相机、可见光图像采集相机、红外图像采集相机等。

其中，图像帧序列含有多个按时间顺序排序的图像帧，图像帧中含有移动对象，移动对象由多个对象部件组成。

例如，若移动对象为车辆，则车辆含有的对象部件可以包括车头、车身、车尾；若移动对象为候鸟，则候鸟含有的对象部件可以包括鸟头、翅膀、鸟腿、鸟身和鸟尾。

步骤S220：识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果；其中，指定对象部件的部件类型为多个。

先确定需要标记的移动对象的指定对象部件，指定对象部件的部件类型至少为两个，可以是将移动对象的每个对象部件均作为指定对象部件，还可以是将移动对象的部分对象部件作为指定对象部件。

示例性地，移动对象对应的指定对象部件可以是预先设定的，如设定移动对象的指定对象部件包括部件1、部件2和部件3；移动对象对应的指定对象部件也可以根据实际场景确定的，如根据待识别区域当前的场景参数、图像采集设备的设备参数等，确定移动对象在图像帧中的可见度，根据可见度确定移动对象对应的指定对象部件。

例如，按照移动对象的各个对象部件对密度识别的重要性，对每个对象部件进行优先级排序，优先级越高的对象部件对密度识别的重要性越高，如移动对象为候鸟时，鸟头对密度识别的重要性高于鸟尾。然后，确定移动对象在图像帧中的可见度，移动对象在图像帧中的可见度越低，则对象部件的最低优先级越低；反之，移动对象在图像帧中的可见度越高，则对象部件的最低优先级越高，根据确定的对象部件的最低优先级，将优先级高于最低优先级的对象部件均作为移动对象对应的指定对象部件，以根据移动对象在图像帧中的可见度，控制指定对象部件的选取。可以理解的是，同一图像帧中若不同移动对象的可见度不同，则这些移动对象的指定对象部件也不同，同一移动对象若在不同图像帧中的可见度不同，则该移动对象在不同图像帧中的指定对象部件也不同。通过上述实施例，可以在保证后续移动对象的密度计算的准确性的前提下，减少算力资源需求。

根据确定的需要标记的移动对象的指定对象部件，识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果。

需要说明的是，由于单个图像帧中可能存在部分移动对象的部分对象部件被遮挡，因此，单个移动对象可能不能对所有指定对象部件均进行识别和标记。

例如，请参见图3，图3为本申请一示例性实施例示出的识别并标记移动对象的指定对象部件的示意图，如图3所示，移动对象为鸟类，指定对象部件包括鸟头、鸟身和鸟腿，对于未被遮挡的移动对象，可以对每个指定对象部件均进行识别和标注，但是对于部分部件被遮挡的移动对象，则只能识别和标注部分指定对象部件，如对图3中只能识别和标注被遮挡移动对象的鸟头。

另外，可以是基于预先训练的神经网络模型来识别并标注图像帧中移动对象的指定对象部件，还可以是基于传统的目标检测算法来识别并标注图像帧中移动对象的指定对象部件，本申请对此不进行限定。

步骤S230：将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果。

即识别每个部件标记结果所对应的移动对象，将属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果。

例如，对单个图像帧中标记得到的所有部件标记结果进行聚类，将属于同一移动对象的部件标记结果存储至同一标记集合中，以对同一移动对象的部件标记结果之间进行关联，将得到的标记集合作为移动对象对应的标记关联结果。

又例如，将属于同一移动对象的部件标记结果赋予相同的移动对象标识，实现同一移动对象的部件标记结果之间的关联，得到每个移动对象分别对应的标记关联结果。

可以理解的是，同一移动对象的标记关联结果中部件标记结果的数量不超过指定对象部件的数量上限。

步骤S240：统计每个移动对象分别在每个图像帧中的标记关联结果，基于统计结果得到待识别区域中移动对象的对象密度。

对每个图像帧中每个移动对象对应的标记关联结果分别进行统计，根据统计结果得到待识别区域中移动对象的对象密度。

例如，统计结果为待识别区域在图像帧序列采集期间的移动对象的对象数量，根据移动对象的对象数量得到待识别区域中移动对象的对象密度。

又例如，统计结果为待识别区域在图像帧序列采集期间的所有移动对象占用的区域面积，根据移动对象占用的区域面积得到待识别区域中移动对象的对象密度。

本申请通过获取对待识别区域进行图像采集得到的图像帧序列，对每个图像帧的移动对象的指定对象部件进行识别和标记，使得移动对象只要在图像帧序列中存在部分指定对象部件被图像采集到，就可以对该移动对象进行记录，避免移动对象被遮挡导致该移动对象不能被识别，且将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，从而可以通过统计每个移动对象分别在每个图像帧中的标记关联结果，对同一移动对象的每个指定对象部件进行联合分析，有效区分不同的移动对象，避免多个移动对象被识别为同一移动对象或者同一移动对象被识别为多个移动对象而增加密度识别误差的情况，提高移动对象密度的识别准确度。

接下来对本申请的部分实施例进行进一步说明。

在一些实施方式中，步骤S220识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果，包括：将图像帧输入至预先训练完成的部件标记模型，得到部件标记模型输出的部件标记结果和每个部件标记结果对应的移动对象标识；步骤S230将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果，包括：基于单个图像帧中每个部件标记结果对应的移动对象标识，将属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

例如，获取样本图像，样本图像对应有样本标签，该样本标签用于标记样本图像中每个移动对象对应的指定对象部件以及每个指定对象部件对应的移动对象标识，根据样本图像训练预设的神经网络模型，以得到训练完成的部件标记模型。

其中，神经网络模型可以是基于YOLO(You Only Look Once)网络、R-CNN（Region-Convolutional Neural Networks）网络等构建得到的，本申请对此不进行限定。

将图像帧输入至预先训练完成的部件标记模型，得到部件标记模型输出的部件标记结果和每个部件标记结果对应的移动对象标识。

其中，属于同一移动对象的部件标记结果对应的移动对象标识相同，因此，根据单个图像帧中每个部件标记结果对应的移动对象标识，将属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

在一些实施方式中，步骤S220中得到的部件标记结果用于标记指定对象部件的位置信息和角度信息，例如，请参阅图4，图4为本申请一示例性实施例示出的部件标记结果的示意图，如图4所示，部件标记结果为矩形框，矩形框的坐标用于标记指定对象部件的位置信息，矩形框的旋转角度及角点之间的顺序标识用于标记指定对象部件的角度信息。

当然，还可以采用其它方式标记指定对象部件的位置信息和角度信息，如利用热力图标记指定对象部件的位置信息，利用方向向量标记指定对象部件的角度信息，本申请不对指定对象部件的位置信息和角度信息的具体标记方式进行限定。

结合上述实施例，若部件标记结果用于标记指定对象部件的位置信息和角度信息，步骤S230中将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果，包括；利用部件标记结果对应的位置信息和角度信息，计算每个部件标记结果之间属于同一移动对象的概率；基于每个部件标记结果之间属于同一移动对象的概率，确定每个部件标记结果中属于同一移动对象的部件标记结果；将每个部件标记结果中属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

具体地，检测部件标记结果之间的位置信息是否符合移动对象的对象部件分布情况，和/或检测部件标记结果之间的角度信息是否符合移动对象的正常姿势，以计算每个部件标记结果之间属于同一移动对象的概率。

例如，根据部件标记结果之间的位置信息，判断部件标记结果之间的距离和/或部件标记结果之间的分布次序等，是否贴合预设的对象部件分布情况，根据判断结果得到第一概率。举例说明，若部件标记结果a和部件标记结果b的距离越小和/或部件标记结果a和部件标记结果b之间的分布次序与预设分布次序越接近，则部件标记结果a和部件标记结果b属于同一移动对象的第一概率越高，反之，第一概率越低。

例如，根据部件标记结果之间的角度信息，判断部件标记结果是否符合移动对象的正常姿势，根据判断结果得到第二概率。举例说明，移动对象为鸟类，鸟类的正常姿势中翅膀的角度应和鸟尾的角度之间的角度差值不大于预设角度阈值，计算翅膀的部件标记结果a中的角度信息与鸟尾的部件标记结果b的角度信息之间的角度差值，对比角度差值与预设角度阈值之间的大小关系，根据对比结果得到部件标记结果a和部件标记结果b属于同一移动对象的第二概率，如角度差值越小于预设角度阈值，则第二概率越高，角度差值越大于预设角度阈值第二概率越低甚至为0。

然后，根据第一概率和/或第二概率，得到每个部件标记结果之间属于同一移动对象的概率。

对根据第一概率和第二概率，得到每个部件标记结果之间属于同一移动对象的概率的方式进行说明：可以是对第一概率和第二概率进行加权计算，得到对应部件标记结果之间属于同一移动对象的概率；还可以是选取第一概率和第二概率中的最小值，得到对应部件标记结果之间属于同一移动对象的概率，本申请对此不进行限定。

然后，根据每个部件标记结果之间属于同一移动对象的概率，确定每个部件标记结果中属于同一移动对象的部件标记结果。例如，对每个部件标记结果进行遍历，计算当前遍历的部件标记结果与其它部件类型的部件标记结果之间的属于同一移动对象的概率，其中，其它部件类型是指除当前遍历的部件标记结果的部件类型之外的部件类型，针对每个其它部件类型，选取出概率大于预设概率阈值且概率最大的部件标记结果，作为与当前遍历的部件标记结果属于同一移动对象的部件标记结果，以此类推，对每个部件标记结果进行划分。

再将每个部件标记结果中，属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

在一些实施方式中，除了上述方式中直接对每个部件标记结果对应的位置信息和/或角度信息进行对比分析，得到每个部件标记结果之间属于同一移动对象的概率的方式之外，还可以将每个部件标记结果对应的位置信息和/或角度信息输入至预先训练的移动对象划分模型，该移动对象划分模型用于提取部件标记结果的位置特征和/或角度特征和/或图像特征等，根据提取到的特征对每个部件标记结果进行划分，输出每个部件标记结果对应的移动对象标识，从而根据单个图像帧中每个部件标记结果对应的移动对象标识，将属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

得到单个图像帧中每个移动对象分别对应的标记关联结果之后，统计每个移动对象分别在每个图像帧中的标记关联结果，得到统计结果。

在一些实施方式中，若统计结果包括待识别区域中移动对象的对象数量；则步骤S240中基于统计结果得到待识别区域中移动对象的对象密度，包括：获取图像帧中待识别区域的图像区域面积；将待识别区域的图像区域面积转换为实际场景区域面积；基于待识别区域中移动对象的对象数量和实际场景区域面积，计算得到待识别区域中移动对象的对象密度。

在图像采集时，若直接按照图像区域面积进行密度计算，则可能因为图像画面中透视失真的问题，导致计算得到的对象密度不准确。因此，将图像帧中待识别区域的图像区域面积转换为实际场景区域面积，以根据实际场景区域面积计算对象密度。

例如，可以是基于图像像素与真实区域之间的透视关系，将图像区域面积转换为实际场景区域面积；还可以是基于预先训练完成的面积转换模型，将图像区域面积转换为实际场景区域面积，本申请对此不进行限定。

举例说明，图像帧序列是利用双目相机对待识别区域进行图像采集得到的，实际场景区域面积的计算方式包括：获取双目相机的标定参数，并获取图像帧的视差信息；利用标定参数和图像帧的视差信息，将图像帧中待识别区域的图像区域面积转换为实际场景区域面积。

具体地，双目相机标定过程一般分为内部参数标定和外部参数标定两个步骤。

针对内部参数标定：内部参数标定用于确定相机内参，即双目相机的焦距、主点和畸变系数等参数。可以通过采集一系列已知位置的标定板的图像来实现，其中，标定板通常具有已知的形状或特征点，因此可以通过在采集的图像中检测这些已知的形状或特征点，并与实际的标定板位置进行对应，从而计算出相机的内参参数。

针对外部参数标定：外部参数标定用于确定相机的外参，即双目相机的坐标系与世界坐标系之间的转换关系。可以通过采集具有已知世界坐标的点或者物体来实现，通过在采集的图像中检测这些点的像素位置，并结合其对应的世界坐标，可以求解双目相机的外参参数。

通过内部参数标定和外部参数标定，可以得到双目相机的完整标定参数，从而可以将图像帧的视差信息转换为实际的三维坐标，实现图像帧中任意像素位置可获取目标实际高度以及距离双目相机正下方的实际距离，以将图像帧中待识别区域的图像区域面积转换为实际场景区域面积。

例如，请参阅图5，图5是本申请一示例性实施例示出的面积转换的示意图，如图5所示，获取图像帧中待识别区域的图像区域的四个角点坐标，根据上述双目相机的标定参数，将四个角点坐标转换至世界坐标系中，得到世界角点坐标，以根据世界角点坐标得到实际场景区域，并计算得到实际场景区域面积。

然后，根据待识别区域中移动对象的对象数量和实际场景区域面积，计算得到待识别区域中移动对象的对象密度。例如，设移动对象的对象数量为N，实际场景区域面积为M，则对象密度为N/M。

当然，还可以计算每个移动对象在实际场景中对应的对象占用面积，根据对象占用面积和实际场景区域面积，计算得到对象密度。

例如，利用矩形框标记移动对象的指定对象部件，将移动对象的每个指定对象部件的矩形框转换至世界坐标中，得到每个指定对象部件在世界坐标下的部件占用面积，取每个部件占用面积的并集，得到对象占用面积。然后，对每个移动对象的对象占用面积进行求和计算，将计算得到的面积和S与实际场景区域面积M进行比值计算，得到对象密度为S/M。

通过上述对象密度计算方式，进一步提高对象密度计算的准确性。

下面对本申请实施例所提供的事件识别方法进行说明。

请参阅图6，图6是本申请的一示例性实施例示出的事件识别方法的流程图。该事件识别方法可以应用于图1所示的实施环境，并由该实施环境中的服务器具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图6所示，事件识别方法至少包括步骤S610至步骤S630，详细介绍如下：

步骤S610：基于上述对象密度识别方法，计算待识别区域中移动对象的对象密度。

步骤S620：检测待识别区域的对象密度是否满足第一预设事件对应的密度判断条件，得到第一密度判断结果。

例如，可以是若待识别区域的对象密度超过预设密度阈值，则判断为满足第一预设事件对应的密度判断条件；还可以是若在预设时间段内待识别区域的对象密度增长速率超过预设速率阈值，则判断为满足第一预设事件对应的密度判断条件。可以理解的是，密度判断条件可以根据实际场景灵活设置，本申请对此不进行限定。

步骤S630：基于第一密度判断结果，确定是否存在第一预设事件。

在判断待识别区域的对象密度满足第一预设事件对应的密度判断条件时，则认为存在第一预设事件，否则认为不存在第一预设事件。

在一些实施方式中，步骤S610基于上述对象密度识别方法，计算待识别区域中移动对象的对象密度，包括；对待识别区域进行块划分，得到多个区域块；基于上述对象密度识别方法，分别计算每个区域块中移动对象的对象密度；方法还包括：检测每个区域块的对象密度是否满足第二预设事件对应的密度判断条件，得到第二密度判断结果；基于第二密度判断结果，确定是否存在第二预设事件。

其中，可以是将待识别区域的图像区域转换至世界坐标系中的实际场景区域之后进行区域块的划分；还可以是对待识别区域的图像区域进行划分后，得到图像块，将图像块转换至世界坐标系中得到区域块，本申请对此不进行限定。

例如，统计对象密度超过预设最高密度阈值的区域块数量为Q，以及统计对象密度小于预设最低密度阈值的区域块数量为S，若Q和S分别大于对应的预设数量阈值，则认为存在第二预设事件。

又例如，统计对象密度超过预设最高密度阈值的区域块数量为Q，若Q的数量大于预设数量阈值，则认为存在第二预设事件。

可以理解的是，密度判断条件可以根据实际场景灵活设置，本申请对此不进行限定。

在判断每个区域块的对象密度满足第二预设事件对应的密度判断条件时，则认为存在第二预设事件，否则认为不存在第二预设事件。

在一些实施方式中，方法还包括：计算待识别区域中每个移动对象的移动速度；检测移动对象的移动速度是否满足第三预设事件对应的速度判断条件，得到速度判断结果；基于速度判断结果，确定是否存在第三预设事件。

具体地，移动对象的移动速度的计算步骤可以包括：针对移动对象的基准点，计算第一时刻t1该基准点与图像采集设备之间的距离d1，以及，计算第二时刻t2该基准点与图像采集设备之间的距离d2，再计算t2与t1之间的时间差、d2和d1之间的距离差，根据距离差与时间差之间的比值，得到移动对象的移动速度。

当然，还可以是待识别区域部署有速度传感器，根据速度传感器计算待识别区域中每个移动对象的移动速度，本申请对此不进行限定。

检测移动对象的移动速度是否满足第三预设事件对应的速度判断条件，得到速度判断结果，基于速度判断结果，确定是否存在第三预设事件。

例如，可以是若每个移动对象中的最大移动速度大于预设最大速度阈值，则判断为满足第三预设事件对应的速度判断条件；还可以是计算每个移动对象的平均速度，若平均速度大于预设平均速度阈值，则判断为满足第三预设事件对应的速度判断条件。

可以理解的是，速度判断条件可以根据实际场景灵活设置，本申请对此不进行限定。

在判断每个区域块的对象速度满足第三预设事件对应的速度判断条件时，则认为存在第三预设事件，否则认为不存在第三预设事件。

在一些实施方式中，移动对象对应有部件标记结果，部件标记结果用于标记指定对象部件的位置信息和角度信息；方法还包括：利用部件标记结果对应的位置信息和角度信息对移动对象进行姿态分析，得到移动对象的姿态分析结果；检测移动对象的姿态分析结果是否满足第四预设事件对应的姿态判断条件，得到姿态判断结果；基于姿态判断结果，确定是否存在第四预设事件。

例如，根据部件标记结果对应的位置信息和角度信息，可以得到移动对象各对象指定部件之间的距离、分布情况、角度偏差等信息，从而根据对象指定部件之间的距离和/或分布情况和/或角度偏差等信息，查询预设姿态库，得到与对象指定部件之间的距离和/或分布情况和/或角度偏差等信息匹配的预设姿态，将该预设姿态作为移动对象的姿态分析结果。

又例如，将含有移动对象的图像、移动对象的部件标记结果对应的位置信息和角度信息输入至训练完成的姿态识别网络，姿态识别网络提取移动对象的图像特征、每个部件标记结果的位置特征、每个部件标记结果的角度特征中，融合图像特征、位置特征、角度特征得到综合姿态特征，姿态识别网络根据综合姿态特征输出该移动对象的姿态分析结果。

需要说明的是，本申请中部件标记结果对应的位置信息可以是图像坐标，也可以是将图像坐标转换至世界坐标系后的位置坐标。以及，姿态识别网络可以是采用有监督训练、半监督训练或无监督训练得到的，姿态识别网络的网络架构可以是基于卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent Neural Network，RNN）等构建的，本申请不对姿态识别网络的架构和训练方式进行限定。

传统姿态分析方式一般采用对图像内容进行分析以实现关键点提取，从而实现姿态分析，但是该方式所需要的算力资源大，而本申请通过在姿态分析过程中综合了部件标记结果对应的位置信息和角度信息，可以在减少所需算力资源的前提下，保证姿态分析的准确性。

检测移动对象的姿态分析结果是否满足第四预设事件对应的姿态判断条件，得到姿态判断结果；基于姿态判断结果，确定是否存在第四预设事件。

例如，判断移动对象的姿态是否属于指定姿态，若属于，则认为存在第四预设事件，否则认为不存在第四预设事件。

以移动对象为鸟类、部件标记结果为矩形框为例进行举例说明，获取鸟头矩形框中处于基准方向的边框的中心点，并投影至世界坐标系中得到点P，获取鸟腿矩形框中处于基准方向的边框的中心点，并投影至世界坐标系中得到点Q，连接点P和点Q，得到鸟的动态高度；以及，根据翅膀矩形框计算得到鸟的翅膀动态长度。然后，根据鸟的动态高度和翅膀动态长度，确定鸟的姿态。例如，鸟在处于未飞翔姿态时，翅膀动态长度小于鸟的动态高度；鸟在处于飞翔姿态时，翅膀动态长度大于鸟的动态高度。

通过上述实施例，可以准确检测出是否存在预设事件，提高图像分析的准确性。

图7是本申请的一示例性实施例示出的对象密度识别装置的框图。如图7所示，该示例性的对象密度识别装置700包括：图像获取模块710、部件标记模块720、部件关联模块730和密度计算模块740。具体地：

图像获取模块710，用于获取对待识别区域进行图像采集得到的图像帧序列；其中，图像帧序列含有多个按时间顺序排序的图像帧，图像帧中含有移动对象，移动对象由多个对象部件组成；

部件标记模块720，用于识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果；其中，指定对象部件的部件类型为多个；

部件关联模块730，用于将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到单个图像帧中每个移动对象分别对应的标记关联结果；

密度计算模块740，用于统计每个移动对象分别在每个图像帧中的标记关联结果，基于统计结果得到待识别区域中移动对象的对象密度。

需要说明的是，上述实施例所提供的对象密度识别装置与上述实施例所提供的对象密度识别方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的对象密度识别装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处不对此进行限制。

图8是本申请的一示例性实施例示出的事件识别装置的框图。如图8所示，该示例性的事件识别装置800包括：密度获取模块810、密度判断模块820、事件识别模块830。具体地：

密度获取模块810，用于基于上述对象密度识别方法，计算待识别区域中移动对象的对象密度；

密度判断模块820，用于检测待识别区域的对象密度是否满足第一预设事件对应的密度判断条件，得到第一密度判断结果；

事件识别模块830，用于基于第一密度判断结果，确定是否存在第一预设事件。

需要说明的是，上述实施例所提供的事件识别装置与上述实施例所提供的事件识别方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的事件识别装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处不对此进行限制。

请参阅图9，图9是本申请电子设备一实施例的结构示意图。电子设备900包括存储器901和处理器902，处理器902用于执行存储器901中存储的程序指令，以实现上述任一对象密度识别方法和/或事件识别方法实施例中的步骤。在一个具体的实施场景中，电子设备900可以包括但不限于：微型计算机、服务器，此外，电子设备900还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器902用于控制其自身以及存储器901以实现上述任一对象密度识别方法和/或事件识别方法实施例中的步骤。处理器902还可以称为中央处理单元（CentralProcessing Unit，CPU）。处理器902可能是一种集成电路芯片，具有信号的处理能力。处理器902还可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器902可以由集成电路芯片共同实现。

请参阅图10，图10是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质1000存储有能够被处理器运行的程序指令1010，程序指令1010用于实现上述任一对象密度识别方法和/或事件识别方法实施例中的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种对象密度识别方法，其特征在于，包括：

获取对待识别区域进行图像采集得到的图像帧序列；其中，所述图像帧序列含有多个按时间顺序排序的图像帧，所述图像帧中含有移动对象，所述移动对象由多个对象部件组成；

识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果；其中，所述指定对象部件的部件类型为多个；

将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到所述单个图像帧中每个移动对象分别对应的标记关联结果；

统计所述每个移动对象分别在所述每个图像帧中的标记关联结果，基于统计结果得到所述待识别区域中所述移动对象的对象密度。

2.根据权利要求1所述的方法，其特征在于，所述识别并标记每个图像帧中移动对象的指定对象部件，得到部件标记结果，包括：

将所述图像帧输入至预先训练完成的部件标记模型，得到所述部件标记模型输出的部件标记结果和每个部件标记结果对应的移动对象标识；

所述将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到所述单个图像帧中每个移动对象分别对应的标记关联结果，包括：

基于单个图像帧中所述每个部件标记结果对应的移动对象标识，将属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

3.根据权利要求1所述的方法，其特征在于，所述部件标记结果用于标记所述指定对象部件的位置信息和角度信息；所述将单个图像帧中属于同一移动对象的部件标记结果之间进行关联，得到所述单个图像帧中每个移动对象分别对应的标记关联结果，包括；

利用所述部件标记结果对应的位置信息和/或角度信息，计算每个部件标记结果之间属于同一移动对象的概率；

基于所述每个部件标记结果之间属于同一移动对象的概率，确定所述每个部件标记结果中属于同一移动对象的部件标记结果；

将所述每个部件标记结果中属于同一移动对象的部件标记结果进行关联，得到每个移动对象分别对应的标记关联结果。

4.根据权利要求3所述的方法，其特征在于，所述部件标记结果为矩形框，所述矩形框的坐标用于标记所述指定对象部件的位置信息，所述矩形框的旋转角度及角点之间的顺序标识用于标记所述指定对象部件的角度信息。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述统计结果包括所述待识别区域中所述移动对象的对象数量；所述基于统计结果得到所述待识别区域中所述移动对象的对象密度，包括：

获取所述图像帧中所述待识别区域的图像区域面积；

将所述待识别区域的图像区域面积转换为实际场景区域面积；

基于所述待识别区域中所述移动对象的对象数量和所述实际场景区域面积，计算得到所述待识别区域中所述移动对象的对象密度。

6.根据权利要求5所述的方法，其特征在于，利用双目相机对所述待识别区域进行图像采集；所述将所述待识别区域的图像区域面积转换为实际场景区域面积，包括：

获取所述双目相机的标定参数，并获取所述图像帧的视差信息；

利用所述标定参数和所述图像帧的视差信息，将所述图像帧中所述待识别区域的图像区域面积转换为实际场景区域面积。

7.一种事件识别方法，其特征在于，包括：

基于权利要求1至6任一项所述的对象密度识别方法，计算待识别区域中移动对象的对象密度；

检测所述待识别区域的对象密度是否满足第一预设事件对应的密度判断条件，得到第一密度判断结果；

基于所述第一密度判断结果，确定是否存在所述第一预设事件。

8.根据权利要求7所述的方法，其特征在于，所述基于权利要求1至6任一项所述的对象密度识别方法，计算待识别区域中移动对象的对象密度，包括；

对所述待识别区域进行块划分，得到多个区域块；

基于权利要求1至6任一项所述的对象密度识别方法，分别计算每个区域块中移动对象的对象密度；

所述方法还包括：

检测所述每个区域块的对象密度是否满足第二预设事件对应的密度判断条件，得到第二密度判断结果；

基于所述第二密度判断结果，确定是否存在所述第二预设事件。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

计算所述待识别区域中每个移动对象的移动速度；

检测所述移动对象的移动速度是否满足第三预设事件对应的速度判断条件，得到速度判断结果；

基于所述速度判断结果，确定是否存在所述第三预设事件。

10.根据权利要求7所述的方法，其特征在于，所述移动对象对应有部件标记结果，所述部件标记结果用于标记所述移动对象对应的指定对象部件的位置信息和角度信息；所述方法还包括：

利用所述部件标记结果对应的位置信息和角度信息对所述移动对象进行姿态分析，得到所述移动对象的姿态分析结果；

检测所述移动对象的姿态分析结果是否满足第四预设事件对应的姿态判断条件，得到姿态判断结果；

基于所述姿态判断结果，确定是否存在所述第四预设事件。