CN113139434A

CN113139434A - 城市管理事件处理方法、装置、电子设备及可读存储介质

Info

Publication number: CN113139434A
Application number: CN202110337226.0A
Authority: CN
Inventors: 王友堂; 刘冬
Original assignee: Beijing Kuangshi Technology Co Ltd
Current assignee: Beijing Kuangshi Technology Co Ltd; Beijing Megvii Technology Co Ltd
Priority date: 2021-03-29
Filing date: 2021-03-29
Publication date: 2021-07-20

Abstract

本申请提供一种城市管理事件的处理方法、装置、电子设备及可读存储介质，能够动确定城市管理事件对应的责任主体，一方面可通过ROI区域与责任主体的关联关系，基于城市管理事件的位置信息确定城市管理事件对应的责任主体；一方面可以通过图像中的人员和/或车辆信息确定城市管理事件对应的责任主体，并且可在不同场景进行两种方法的单独使用或结合使用，大大提高了城市管理事件所对应责任主体的确定效率，同时为自动通知整改提供了基础，减少了对城市管理部门的人员占用。

Description

城市管理事件处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种城市管理事件处理方法、装置、电子设备及可读存储介质。

背景技术

我国正处于城镇化加速发展时期，人口拥挤、交通堵塞、环境污染等“城市病”日益严峻。传统的城市管理大量采用人工巡查、现场处置的方式，导致信息采集成本高、问题处置效率低。虽然现已可以自动化手段识别城市管理事件，但是仍存在识别出城市管理事件后难以自动确定责任主体和/或自动通知整改的问题，导致只能人工处理，占用了城市管理部门的处置力量。

发明内容

本申请实施例的目的在于提供一种城市管理事件处理方法、装置、电子设备及可读存储介质，用以改善现有技术中需要人工确定城市管理事件的责任主体的问题。

第一方面，本申请实施例提供了一种城市管理事件处理方法，所述接收第一相机拍摄的第一相机图像；

通过城市管理事件检测模型，根据所述第一相机图像，确定产生的城市管理事件的第一类型和所述城市管理事件在所述第一相机图像中的位置信息；

通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体；

所述第一关联方法，包括：

根据所述第一相机图像中ROI区域与责任主体的关联关系，基于所述位置信息确定所述城市管理事件对应的责任主体；

所述第二关联方法，包括：

根据所述位置信息，从所述第一相机图像中确定出与所述位置信息对应的局部相机图像；

根据所述局部相机图像中所包含的人员和/或车辆信息确定所述城市管理事件对应的责任主体。

本发明实施例提供了自动确定城市管理事件对应的责任主体的两种方法，一方面可通过ROI区域与责任主体的关联关系，基于城市管理事件的位置信息确定城市管理事件对应的责任主体；一方面可以通过图像中的人员和/或车辆信息确定城市管理事件对应的责任主体，并且可在不同场景进行两种方法的单独使用或结合使用，大大提高了城市管理事件所对应责任主体的确定效率，同时为自动通知整改提供了基础，减少了对城市管理部门的人员占用。

可选地，所述方法还包括，在确定所述城市管理事件在所述相机图像中的位置信息之后预设时间，接收第一相机拍摄的第二相机图像；

通过城市管理事件检测模型，根据所述第二相机图像，确定所述第二相机图像中是否存在所述第一类型的城市管理事件；

如不存在，确定所述责任主体对所述城市管理事件整改完成。

可选地，所述通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体，包括：

若所述第一类型满足第一条件，则通过所述第一关联方法确定所述城市管理事件对应的责任主体。

当通过所述第一关联方法无法确定所述城市管理事件对应的责任主体时，通过所述第二关联方法确定所述城市管理事件对应的责任主体。

可选地，所述第一相机图像为多张，所述通过城市管理事件检测模型，根据所述第一相机图像，确定产生的城市管理事件的第一类型和所述城市管理事件在所述第一相机图像中的位置信息，包括：

通过城市管理事件检测模型，针对根据所述第一相机图像中的每张相机图像，确定该相机图像中所包含目标的目标ID、目标类型、目标位置信息；

将对应同一目标ID的多张第一相机图像作为目标相机图像；

根据所述目标相机图像中拍摄时间最早的第一图像和拍摄时间最晚的最终图像确定目标出现时长；

根据所述目标图像的张数确定目标识别次数；

根据所述目标类型、目标位置信息、目标出现时长、目标识别次数中至少一项，确定是否产生城市管理事件；

根据所述目标类型，确定所述第一类型；

根据所述目标位置信息，确定城市管理事件在所述第一相机图像中的位置信息。

可选地，所述城市管理事件在所述第一相机图像中的位置信息包括所述城市管理事件的位置，所述城市管理事件对应的ROI区域，所述城市管理事件与其对应的ROI区域的重叠率中的至少一项。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

接收单元，被配置成第一相机拍摄的第一相机图像；

检测单元，被配置成通过城市管理事件检测模型，根据所述第一相机图像，确定产生的城市管理事件的第一类型和所述城市管理事件在所述第一相机图像中的位置信息；

确定单元，被配置成通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体；所述第一关联方法，包括：根据所述第一相机图像中ROI区域与责任主体的关联关系，基于所述位置信息确定所述城市管理事件对应的责任主体；所述第二关联方法，包括：根据所述位置信息，从所述第一相机图像中确定出与所述位置信息对应的局部相机图像；根据所述局部相机图像中所包含的人员和/或车辆信息确定所述城市管理事件对应的责任主体。

第三方面，本申请实施例提供了一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行行上述第一方面所述的方法。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1本发明实施例提供的一种电子设备的结构示意图；

图2为本申请实施例为本申请实施例提供的一种城市管理事件的处理方法的流程示意图；

图3为本申请实施例提供的一种城市管理事件的处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

首先，参照图1来描述用于实现本发明实施例的城市管理事件的处理方法及装置的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的城市管理事件的处理方法及装置的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

本申请实施例提供一种城市管理事件处理方法，使用了两种关联方法自动确定城市管理事件对应的责任主体。一方面可通过ROI区域与责任主体的关联关系，基于城市管理事件的位置信息确定城市管理事件对应的责任主体；一方面可以通过图像中的人员和/或车辆信息确定城市管理事件对应的责任主体，并且可在不同场景下进行两种方法的单独使用或结合使用，大大提高了城市管理事件所对应责任主体的确定效率，同时为自动通知整改提供了基础，减少了对城市管理部门的人员占用。

请参照图2，其示出了根据本申请的城市管理事件处理方法的一个实施例的流程200。该方法可应用于各种电子设备，如服务器、人工智能计算设备等。该城市管理事件处理方法，包括以下步骤：

步骤S201，接收第一相机拍摄的第一相机图像。

一例中，在接收第一相机图像前，用户设置第一相机拍摄画面对应的一个或多个ROI及各ROI对应的城市管理事件类型，各ROI对应的城市管理事件类型可以相同或不同，一个ROI可对应一个或多个城市管理事件类型。例如，第一ROI对应的城市管理事件类型为垃圾堆放；第二ROI对应的城市管理事件类型为道路积水；第三ROI对应的城市管理事件类型为占道经营和违章停车。设置完成后，执行主体可接收第一相机拍摄的相机图像，并通过对相机图像的分析判断各ROI中是否包含其对应的城市管理事件。

第一相机图像可由第一相机直接或间接发送至方法100的执行主体。

一例中，可以设置各ROI与责任主体的关联关系。

步骤S202，通过城市管理事件检测模型，根据所述第一相机图像，确定产生的城市管理事件的第一类型和所述城市管理事件在所述第一相机图像中的位置信息。

城市管理事件检测模型可以是预先训练好的神经网络模型，将相机图像输入神经网络模型，可得到相机图像中各ROI是否包含其对应的城市管理事件，各产生的城市管理事件的类型和城市管理事件在第一相机图像中的位置信息。

一例中，输入神经网络的相机图像为多张，根据城市管理事件在多张相机图像中的位置信息确定城市管理事件在所述第一相机图像中的位置信息，例如，将多张图像中最先或最后检测出城市管理事件的一张图像中城市管理事件的位置信息作为模型输出的城市管理事件的位置信息，或者，将检测出城市管理事件的多张图像中城市管理事件的位置信息的平均值最为模型输出的城市管理事件的位置信息。

步骤S203，通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体。

若产生了城市管理事件，可通过第一关联方法和/或第二关联方法，自动确定城市管理事件对应的责任主体。

其中所述第一关联方法，包括：

根据所述第一相机图像中ROI与责任主体的关联关系，基于所述位置信息确定所述城市管理事件对应的责任主体。

责任主体可以是责任主体的法人信息、联系方式等。一例中，城市管理事件在第一相机图像中的位置信息包括城市管理事件的坐标信息，确定了城市管理事件的坐标信息，也就能够根据城市管理事件的坐标信息确定城市管理事件对应的ROI，从而根据第一相机图像中ROI与责任主体的关联关系确定城市管理事件对应的责任主体。另一例中，城市管理事件在第一相机图像中的位置信息包括城市管理事件对应的ROI，从而可直接根据第一相机图像中ROI与责任主体的关联关系确定城市管理事件对应的责任主体。

第二关联方法，包括：

当未预先设置ROI与责任主体的关联关系，或城市管理事件的类型不适于通过置ROI与责任主体的关联关系来确定责任主体时，可通过视频结构化等方法识别图像中所包含的人员和车辆，并确认责任主体身份。

一例中，输入模型的第一相机图像有10张，其中第5-10张中的第一ROI出现城市管理事件，城市管理事件对应的位置信息为[(100,200)(238,456)](2个坐标分别表示城市管理事件检出区域的左上、右下坐标)。可根据城市管理事件确定出第5-10张图像中对应位置的局部图像，并对局部图像中所包含的人员、车辆进行检测、识别。一例中，可将第5-10张图像中均出现的人员、车辆作为责任主体。

可理解的是，在通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体后，可自动向责任主体发送提醒整改信息。

如此，可在不同场景进行两种方法的单独使用或结合使用，大大提高了城市管理事件所对应责任主体的确定效率，同时为自动通知整改提供了基础，减少了对城市管理部门的人员占用。

在一些实施方式中，方法100还包括，

步骤S207，在确定所述城市管理事件在所述相机图像中的位置信息之后预设时间，接收第一相机拍摄的第二相机图像；

步骤S208，通过所述城市管理事件检测模型，根据所述第二相机图像，确定所述第二相机图像中是否存在所述第一类型的城市管理事件；

一例中，在自动通知责任主体进行整改后，在一定时间内不再接收第一相机图像，避免重复告警。可在一定时间间隔后重新接收第一相机拍摄的第二相机图像，如果第二相机图像中，与城市管理事件对应的ROI相同的ROI中出现了与第一类型同样类型的告警，则认为责任主体未进行整改，此时再通知城市管理部门进行现场执法。如此，可大大提高执法效率，减少现场执法的比例，减少对城市管理部门的人员占用。

在一些实施方式中，步骤S203包括：若所述第一类型满足第一条件，则通过所述第一关联方法确定所述城市管理事件对应的责任主体。

例如，部分类型的城市管理事件中(例如店外经营)，ROI与责任主体具有确定的关联关系，此时使用第一关联方法确定责任主体。

在一些实施方式中，步骤S203包括：当通过所述第一关联方法无法确定所述城市管理事件对应的责任主体时，通过所述第二关联方法确定所述城市管理事件对应的责任主体。

第一关联方法和第二关联方法可单独使用或结合使用。

可以理解的是，第二关联方法需要进行额外的人员、车辆检测、识别，会消耗一定算力，可设置第二关联方法开关，以确定当通过第一关联方法无法确定责任主体时是否需要继续通过第二关联方法确定责任主体。

一例中，第一关联方法相比于第二关联方法具有更高的优先级，当通过第一关联方法无法确定责任主体时再通过第二关联方法确定责任主体。

ROI中某类型的城市管理事件是否与某责任主体有关，可通过设置第一关联方法开关设置。例如当开启“门前三包”开关时，门店前垃圾堆放与门店法人有关。不开启时，门店前垃圾堆放与门店法人无关。

部分类型的城市管理事件中，ROI与责任主体不具有确定的关联关系，此时城市管理事件的责任主体可直接通过第二关联方法确定。例如，某门店前的机动车违停类型的城市管理事件与门店法人无关，应将机动车车主作为责任主体，此时可直接通过第二关联方法确定责任主体。

如此，可根据城市管理事件类型、相关功能开关是否开启、是否提供了第二关联方法所需的算力、用户是否预先设置了ROI与责任主体的关联关系等因素灵活配置第一关联方法和第二关联方法的使用情况，以在保证较高的责任主体自动确定率的同时保证对算力的占用满足要求，以避免对用于对城市管理事件进行检测算力的占用。

在一种具体实施方式中，所述第一相机图像为多张，步骤S202包括：

将对应同一目标ID的多张第一相机图像作为目标相机图像；

根据所述目标图像的张数确定目标识别次数；

根据所述目标类型，确定所述第一类型；

一例中，通过对多张相机图像的检测确定是否发生城市管理事件，当城市管理事件对应的目标在多张相机图像中的出现情况满足一定条件时，才认为发生了城市管理事件。这些条件包括：目标出现时长，目标出现次数，目标位置信息等。

例如，输入城市管理事件检测模型的相机图像为相机图像1-相机图像10，在第5张相机图像中首次检测出了“沿街晾晒”类型的城市管理事件对应的目标为“衣服+衣架”，此时城市管理事件检测模型会为该目标分配唯一ID并对该目标进行追踪，若后续相机图像中能够追踪到该目标，则后续相机中该目标使用同样的目标ID。

目标类型可以为目标所对应的城市管理事件的类型。

目标位置信息可以为目标在其所在相机图像中的位置信息。

一例中，城市管理事件在第一相机图像中的位置信息是通过各张目标相机图像中的目标位置信息确定的，目标位置信息包括目标位置(如图2中方形框所示)，目标对应的ROI区域(如图2中非正多边形框所示)，目标与其对应的ROI区域的重叠率中的至少一项。

续举前例，在第5张相机图像中首次检测出了“沿街晾晒”类型的城市管理事件对应的目标为“衣服+衣架”，在第6张相机图像中由于行人遮挡，该目标消失，在第7-10张相机图像中又出现。则第5、7-10张相机图像为目标相机图像，其中第5张图像为第一图像，第10张图像为最终图像，目标出现时长为6帧，目标识别次数为5次。

当目标类型与ROI对应的城市管理事件类型匹配，目标位置与其对应的ROI区域的重叠率满足重叠率阈值、目标出现时长满足时长阈值、目标识别次数中满足次数阈值时，确定产生城市管理事件。通过同时设置时长阈值和次数阈值，可避免因遮挡等问题导致的城市管理事件的漏识、误识。

确定产生城市管理事件后，可根据目标类型，确定城市管理事件的类型；根据目标位置信息，确定城市管理事件在第一相机图像中的位置信息，例如将第一图像或最终图像中目标位置信息作为城市管理事件在第一相机图像中的位置信息，或者将各目标图像中目标位置信息的均值作为城市管理事件在第一相机图像中的位置信息。

对于前述实施例提供的城市管理事件的处理方法，本发明实施例提供了一种城市管理事件的处理装置，参见图3所示的一种城市管理事件的处理装置的结构示意图，该装置可以包括以下部分：

接收单元，被配置成第一相机拍摄的第一相机图像；

本发明实施例提供的一种城市管理事件的处理装置提供了自动确定城市管理事件对应的责任主体的两种方法，一方面可通过ROI区域与责任主体的关联关系，基于城市管理事件的位置信息确定城市管理事件对应的责任主体；一方面可以通过图像中的人员和/或车辆信息确定城市管理事件对应的责任主体，并且可在不同场景进行两种方法的单独使用或结合使用，大大提高了城市管理事件所对应责任主体的确定效率，同时为自动通知整改提供了基础，减少了对城市管理部门的人员占用。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种城市管理事件的处理方法，所述方法包括：

接收第一相机拍摄的第一相机图像；

所述第一关联方法，包括：

根据所述第一相机图像中ROI与责任主体的关联关系，基于所述位置信息确定所述城市管理事件对应的责任主体；

所述第二关联方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括，在确定所述城市管理事件在所述相机图像中的位置信息之后预设时间，接收第一相机拍摄的第二相机图像；

通过所述城市管理事件检测模型，根据所述第二相机图像，确定所述第二相机图像中是否存在所述第一类型的城市管理事件；

3.根据权利要求1或2所述的方法，其特征在于，所述通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过第一关联方法和/或第二关联方法，确定所述城市管理事件对应的责任主体，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一相机图像为多张，所述通过城市管理事件检测模型，根据所述第一相机图像，确定产生的城市管理事件的第一类型和所述城市管理事件在所述第一相机图像中的位置信息，包括：

将对应同一目标ID的多张第一相机图像作为目标相机图像；

根据所述目标图像的张数确定目标识别次数；

根据所述目标类型，确定所述第一类型；

6.根据权利要求1-5任一项所述的方法，所述城市管理事件在所述第一相机图像中的位置信息包括所述城市管理事件的位置，所述城市管理事件对应的ROI区域，所述城市管理事件与其对应的ROI区域的重叠率中的至少一项。

7.一种图像处理装置，其特征在于，所述装置包括：

接收单元，被配置成第一相机拍摄的第一相机图像；

8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述的方法。

9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一项所述的方法。