CN113688868A - 一种多线程的图像处理方法及装置 - Google Patents
一种多线程的图像处理方法及装置 Download PDFInfo
- Publication number
- CN113688868A CN113688868A CN202110824947.4A CN202110824947A CN113688868A CN 113688868 A CN113688868 A CN 113688868A CN 202110824947 A CN202110824947 A CN 202110824947A CN 113688868 A CN113688868 A CN 113688868A
- Authority
- CN
- China
- Prior art keywords
- face
- image data
- server
- vehicle
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims description 61
- 238000001514 detection method Methods 0.000 claims description 18
- 238000010191 image analysis Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 230000037237 body shape Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种多线程的图像处理方法及装置，包括步骤：获取智慧摄像设备发送的初始图像数据，并对初始图像数据进行预处理得到目标图像数据；通过管理线程池接收智慧摄像设备发送的请求信息；通过业务线程池根据接收到的请求信息对目标图像数据进行异步处理得到目标图片和特征属性，并将获得的目标图片和特征属性进行存储，以及将目标图片和特征属性发送至Pulsar消息队列上；通过多个服务器读取Pulsar消息队列上的目标图片和特征属性并进行解析；将多个服务器解析后的目标图片和特征属性分别与初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。本发明能够实时处理摄像头抓拍的图片，结构化处理后向web应用提供数据源。
Description
技术领域
本发明涉及智慧视图大数据防控技术领域，尤其涉及一种多线程的图像处理方法及装置。
背景技术
随着社会的进步与发展，各种摄像设备已经在我们的生活中得到了普及。为了加强城市、社区环保绿化工作的建设，从边缘监控设备获得的监控图像数据中快速得到有价值的信息，对于机关人员、安防工作人员来说尤为重要。近年来，以人工智能技术为核心的各种智能化产品正在慢慢走进大众的视野。让人工智能技术为社会、为人民服务以是大势所趋，作为人工智能领域的重要分支，计算机视觉已经日渐成熟，尤其是对于海量图片的获取以及目标图片提取。
传统架构在处理智能摄像机发送的海量图片时，存储图片与存储特征属性同步进行，耗时长、效率低，未能充分利用系统cpu资源，写数据到消息队列时创建多个生产者消耗性能。人脸人体车辆解析服务在消费数据时，轮询消费导致存在数据积压，数据处理效率低。
发明内容
本发明实施例提供一种多线程的图像处理方法，能够在海量图片场景下，做到不丢图，为相关部门防控应用提供稳定的数据源，做到实时追踪目标。
第一方面，本发明实施例提供一种多线程的图像处理方法，所述图像处理方法包括以下步骤：
获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；
通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；
通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar消息队列上；
通过多个服务器读取所述Pulsar消息队列上的所述目标图片和所述特征属性，并将读取的所述目标图片和所述特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；
将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。
可选的，所述获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据的步骤包括：
获取所述智慧摄像设备登录的Token接口；
在所述智慧摄像设备通过所述Token接口登录后，接收所述智慧摄像设备通过上传接口上传的人脸、人体、车辆以及场景图片，从而获得初始图像数据；
将所述人脸、所述人体、所述车辆以及所述场景图片进行预处理后，并发布至所述多个服务器中，以获得包含大图像数据的所述目标图像数据；
在所述大图像数据中获取所述小图像数据并存储；
将所述小图像数据推送至所述多个服务器中进行服务或应用消费。
可选的，所述通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收别的请求信息的步骤包括：
通过所述管理线程池的管理层接口接收所述智慧摄像设备发送的请求信息；
通过所述管理层接口将所述请求信息进行分类并发送至所述业务线程池；
通过所述业务线程池响应所述请求信息；
所述管理线程池继续接收其他请求信息，重复上述的步骤。
可选的，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述人脸解析服务器具体的解析步骤包括：
通过所述人脸解析服务器提供人脸检测接口、属性分析接口和特征提取接口，并且通过所述人脸解析服务器消费所述Pulsar消息队列中的人脸数据；
提取所述人脸数据的人脸对象存储图片；
获取所述人脸对象存储图片的人脸属性和特征，当判断是否需要进行人脸比对，同时将所述人脸数据写入本地，并由采集日志写入搜索服务器。
可选的，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述人体/车辆解析服务器具体的解析步骤包括：
通过所述人体/车辆解析服务器消费所述Pulsar消息队列的人体/车辆数据；
提取所述人体/车辆数据的人体/车辆属性与特征；
将获取的所述人体/车辆属性与特征写入本地，并由采集日志写入搜索服务器中，以及通过车辆检测设备检测车牌信息时进行车辆报警。
可选的，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述原图解析服务器具体的解析步骤包括：
通过所述原图解析服务器消费所述Pulsar消息队列上的原始大图数据；
提取原图对象存储图片后进行实时抠图，其中，所述抠图包括人体图及车辆图；
若未检测到人体车辆目标时删除原图；
若检测到人体车辆目标时，则对所述原始大图数据中的人形和车辆目标进行属性和特征提取；
将所述属性和所述特征封装后写入本地，并由采集日志写入搜索服务器中，同时对车辆进行报警。
可选的，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述人脸对比服务器具体的解析步骤包括：
通过所述人脸对比服务器为应用侧和其他微服务器提供人脸检测接口、属性分析接口、特征提取接口、1：N人脸比对接口，1：N人脸特征文件比对接口，1：N人脸特征比对接口；
所述人脸对比服务器通过提供所述人脸检测接口、所述属性分析接口、所述特征提取接口、所述1：N人脸比对接口、所述1：N人脸特征文件比对接口及1：N人脸特征比对接口将读取所述Pulsar消息队列中所述应用侧和其他微服务器主题里的人脸数据进行实时比对。
可选的，所述方法还包括步骤：
通过接收边缘服务器发送的原图，然后将图片存储至云台，以实现人体人脸互相关联；
构建Json数据推送至所述Pulsar消息队列供其他服务消费，同时提供边缘设备的相关接口；
获取所述边缘设备应用更新状态和配置文件信息接口，根据所述边缘设备应用下载接口，上报视频分辨率和解码状态接口。
可选的，所述方法还包括步骤：
将所述多个服务器集成时序存储；
统计各个服务接口成功与失败调用次数、对象存储上传下载成功与失败次数、以及消息队列生产消费成功与失败次数。
第二方面，本发明实施例还提供了一种多线程的图像处理装置，所述图像处理装置包括：
图像获取模块，用于获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；
管理模块，用于通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；
处理模块，用于通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar 消息队列上；
解析模块，用于通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；
对比模块，用于将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。
在本发明实施例中，通过获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar消息队列上；通过多个服务器读取所述Pulsar消息队列上的所述目标图片和所述特征属性，并将读取的所述目标图片和所述特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。通过采用多线程池技术，并将业务处理逻辑拆分成多微服务处理，从而能够在海量图片场景下，做到不丢图，为相关部门防控应用提供稳定的数据源，做到实时追踪目标；进而降低业务处理耗时，系统耦合低，数据实时消费不积压的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多线程的图像处理方法的流程图；
图2是本发明实施例提供的一种多线程的图像处理装置的结构示意图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种多线程的图像处理方法的流程图，如图1所示，该多线程的图像处理方法包括以下步骤：
步骤101、获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据。
其中，该初始图像数据可以包括多张图像，初始图像数据中每张图像可以包含有目标人脸、人体、车辆或场景图片。人脸、人体图片可以是人脸、人体属性和特征等。车辆可以是车身、车牌或车辆的外观。
其中，通过智慧摄像头拍摄人脸、人体、车辆或场景图片，将拍摄的人脸、人体、车辆或场景图片的初始图像数据进行预处理后得到需要的目标图像数据。该目标图像数据包括大图像数据和小图像数据，小图像数据通过对大图像数据进行提取得到。
上述的将初始图像进行预处理得到目标图像数据中，所述预处理步骤包括： (1)实时视频流解码：基于边缘计算技术，针对非智能摄像头的实时码流进行接入处理，实现快速高效的视频编解码，完成视频码流向图像信息的快速转换；(2)动态抽帧：在不影响前端视频监控摄像头实时码流完整性、保密性、流畅性的基础上，实现对视频码流的帧提取，具有运动检测动态上传的功能。
具体的，智慧摄像头可以是相机，通过1400服务采用GA1400协议用于接收智能摄像机发送的人脸，人体，车辆以及场景图片的结构化信息以及解析处理并存储，对图像进行预处理任务，主要是抽帧图像，同时将处理过后的结构化数据推送Pulsar消息队列供其他服务或应用消费，并提供摄像机的注册，注销，保活，校时接口。
步骤102、通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息。
其中，管理线程池只接收请求信息，不进行处理，而是将请求信息放入到另一线程池中的线程进行处理。
通过1400服务器采用多线程接收智能摄像头发送的海量请求，通过管理线程池对海量请求信息进行管理，并将管理好的请求信息发送至业务线程池中，此时，该管理线程池则继续接收别的请求信息。其中，由于请求信息发送到业务线程池中，即，请求信息可以是请求处理或请求不处理。
步骤103、通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar消息队列上。
其中，目标图片可以是人、车辆及监控位置的场景图片，特征属性可以是人体、人脸、性别等。通过业务线程池对每张图片进行分析，进行识别、抠取、结构化属性标记，同时记录采集点位的地点信息、时间信息，形成时间、空间两个维度的时空信息数据，并生成人脸或人体目标小图的特征信息，生成性别、上衣颜色、上衣款式、裤子颜色、裤子款式、鞋子颜色、鞋子款式、是否骑车产七种属性信息，然后将所述特征信息、时空信息、穿着信息的多维结构化图像信息通过线程池业务层进行分析处理。通过业务层可以对视频图像进行分析，代替部分人力去查看视频图像工作任务，提高了效率，节省了人力成本。
具体的，通过业务线程池的业务层使用CompletableFuture异步处理图片存储与特征属性，并先处理图片后处理属性，避免人脸人体车辆服务解析时出现有属性无图片的问题，同时将存储特征属性的逻辑交给后续服务，上游服务只将数据写入消息队列，下游服务消费数据解析再存储。
步骤104、通过多个服务器读取所述Pulsar消息队列上的所述目标图片和所述特征属性，并将读取的所述目标图片和所述特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器。
具体的，通过多个服务器读取到Pulsar消息队列上的所述目标图片和特征属性，并将目标图片和特征属性解析处理，从而得到清晰的图片，方便进行图片分析处理，进而提高图片处理的效率。
其中，人脸解析服务器用于向应用侧和其他微服务器提供人脸检测、属性分分析和特征提取接口；人体/车辆解析服务器用于读取Pulsar消息队列上的人体车辆数据；原图解析服务器用于消费Pulsar消息队列上的原始大图数据，人脸对比服务器用于为向应用侧和其他微服务器人脸检测、属性分分析和特征提取接口，以实现目标图片与原图进行对比。
步骤105、将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。
具体实施例时，通过通过获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar消息队列上；通过多个服务器读取所述Pulsar消息队列上的所述目标图片和所述特征属性，并将读取的所述目标图片和所述特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；
将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。通过采用多线程池技术，并将业务处理逻辑拆分成多微服务处理，降低业务处理耗时，系统耦合低，数据实时消费不积压。
在本发明实施例中，步骤101包括：
获取所述智慧摄像设备登录的Token接口；
在所述智慧摄像设备通过所述Token接口登录后，接收所述智慧摄像设备通过上传接口上传的人脸、人体、车辆以及场景图片，从而获得初始图像数据；
将所述人脸、所述人体、所述车辆以及所述场景图片进行预处理后，并发布至所述多个服务器中，以获得包含大图像数据的所述目标图像数据；
在所述大图像数据中获取所述小图像数据并存储；
将所述小图像数据推送至所述多个服务器中进行服务或应用消费。
其中，利用智慧摄像头通过1400协议或私有协议派遣图像数据进行存储。
具体的，通过将所述人脸、所述人体、所述车辆以及所述场景图片进行预处理后，并发布服务器中，以获得所述目标图像数据；其中，获取所述智慧摄像设备登录的Token接口；通过将所述人脸、所述人体、所述车辆以及所述场景图片上传至所述Token接口；在所述大图像数据中获取所述小图像数据并存储；将所述小图像数据推送至所述服务器中进行服务或应用消费。这样能实时从大图数据中提取小图数据，图像处理效率高。
在本发明实施例中，步骤102包括：
通过所述管理线程池的管理层接口接收所述智慧摄像设备发送的请求信息；
通过所述管理层接口将所述请求信息进行分类并发送至所述业务线程池；
通过所述业务线程池响应所述请求信息；
所述管理线程池继续接收其他请求信息，重复上述的步骤。
具体的，通过所述管理线程池的管理层接口只接收所述智慧摄像设备发送的请求信息，并不做处理；通过所述管理层接口将所述请求信息进行分类并发送至所述业务线程池；利用所述业务线程池对所述请求信息进行处理；所述管理线程池继续接收别的请求信息，重复上述的步骤。将获得的所述目标图片和所述特征属性进行对象存储。
在本发明实施例中，步骤104的人脸解析服务器的解析步骤包括：
通过所述人脸解析服务器提供人脸检测接口、属性分析接口和特征提取接口，并且通过所述人脸解析服务器消费所述Pulsar消息队列中的人脸数据；
提取所述人脸数据中的人脸对象存储图片；
获取所述人脸对象存储图片的人脸属性和特征，当判断是否需要进行人脸比对，同时将所述人脸数据写入本地，并由采集日志写入搜索服务器。
具体的，通过所述人脸解析服务器提供人脸检测接口、属性分析接口和特征提取接口接入到Pulsar消息队列上，并消费所述Pulsar消息队列中的人脸数据。通过提取到人脸数据中的人脸对象存储图片，获取所述人脸对象存储图片的人脸属性和特征，当判断是否需要进行人脸比对，同时将所述人脸数据写入本地，并由采集日志写入搜索服务器。这样便于对人脸数据进行解析处理，同时还能将解析的人脸数据进行本地存储，以及通过采集日志存储在搜索服务器中，方便进行目标人脸的快速搜索。
在本发明实施例中，步骤104的人体/车辆解析服务器的解析步骤包括：
通过所述人体/车辆解析服务器消费所述Pulsar消息队列的人体/车辆数据；
提取所述人体/车辆数据的人体/车辆属性与特征；
将获取的所述人体/车辆属性与特征写入本地，并由采集日志写入搜索服务器中，以及通过车辆检测设备检测车牌信息时进行车辆报警。
具体的，通过所述人体/车辆解析服务器消费所述Pulsar消息队列的人体/ 车辆数据；提取所述人体/车辆数据的人体/车辆属性与特征；将获取的所述人体/车辆属性与特征写入本地，并由采集日志写入搜索服务器中，以及通过车辆检测设备检测车牌信息时进行车辆报警。便于对人体/车辆的属性与特征快速提取解析，从而提高车辆的报警效率。
在本发明实施例中，步骤104的原图解析服务器的解析步骤包括：
通过所述原图解析服务器消费所述Pulsar消息队列上的原始大图数据；
提取原图对象存储图片后进行实时抠图，其中，所述抠图包括人体图及车辆图；
若未检测到人体车辆目标时删除原图；
若检测到人体车辆目标时，则对所述原始大图数据中的人形和车辆目标进行属性和特征提取；
将所述属性和所述特征封装后写入本地，并由采集日志写入搜索服务器中，同时对车辆进行报警。
在本发明实施例中，步骤104的人脸对比服务器的解析步骤包括：
通过所述人脸对比服务器为应用侧和其他微服务器提供人脸检测接口、属性分析接口、特征提取接口、1：N人脸比对接口，1：N人脸特征文件比对接口，1：N人脸特征比对接口；
所述人脸对比服务器通过提供所述人脸检测接口、所述属性分析接口、所述特征提取接口、所述1：N人脸比对接口、所述1：N人脸特征文件比对接口及1：N人脸特征比对接口将读取所述Pulsar消息队列中所述应用侧和其他微服务器主题里的人脸数据进行实时比对。
在本发明实施例中，所述方法还包括步骤：通过接收边缘服务器发送的原图，然后将图片存储至云台，以实现人体人脸互相关联；
构建Json数据推送至所述Pulsar消息队列供其他服务消费，同时提供边缘设备的相关接口；
获取所述边缘设备应用更新状态和配置文件信息接口，根据所述边缘设备应用下载接口，上报视频分辨率和解码状态接口。
在本发明实施例中，所述方法还包括通过二次结构化服务为应用侧以及其他微服务提供图片目标检测接口以及目标特征提取接口。代码生成服务为开发人员提供前后端基础代码生成功能，如增删改查，实体类等。文件存储服务为应用侧或其他微服务提供文件上传下载接口，并提供本地存储，华为云对象存储，minio文件存储三种存储方式。将权限认证服务为其他微服务统一提供接口权限认证。利用网关服务实现请求转发，限流，熔断降级等功能，根据请求路径将请求转发至不同微服务，对指定服务实现限流及熔断降级。通过监控服务提供服务状态可视化管理页面，可查看各个微服务在线离线情况，健康实例个数以及查看服务所在服务器的性能指标等，同时实现微服务离线时通过邮件通知运维或开发人员进行维护检查。
在本发明实施例中，所述方法还包括步骤：
将所述多个服务器集成时序存储；
统计各个服务接口成功与失败调用次数、对象存储上传下载成功与失败次数、以及消息队列生产消费成功与失败次数。
第二方面，参见附图2，图2是本发明实施例提供的一种多线程的图像处理装置的结构示意图，如图2所示，该多线程的图像处理装置200包括：
图像获取模块201，用于获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；
管理模块202，用于通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；
处理模块203，用于通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至 Pulsar消息队列上；
解析模块204，用于通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；
对比模块205，将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。
参见图3，图3是本发明实施例提供的一种电子设备的结构示意图，该电子设备300包括：存储器301、处理器302及存储在存储器301上并可在处理器上运行的计算机程序，处理器302执行计算机程序时实现上述实施例提供的多线程的图像处理方法方法以及上述实施例提供的多线程的图像处理方法中的步骤。
本发明实施例提供的电子设备能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的多线程的图像处理方法以及上述实施例提供的多线程的图像处理方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM) 或随机存取存储器(Random Access Memory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种多线程的图像处理方法，其特征在于，所述图像处理方法包括以下步骤：
获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；
通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；
通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar消息队列上；
通过多个服务器读取所述Pulsar消息队列上的所述目标图片和所述特征属性，并将读取的所述目标图片和所述特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；
将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。
2.如权利要求1所述的多线程的图像处理方法，其特征在于，所述获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据的步骤包括：
获取所述智慧摄像设备登录的Token接口；
在所述智慧摄像设备通过所述Token接口登录后，接收所述智慧摄像设备通过上传接口上传的人脸、人体、车辆以及场景图片，从而获得初始图像数据；
将所述人脸、所述人体、所述车辆以及所述场景图片进行预处理后，并发布至所述多个服务器中，以获得包含大图像数据的所述目标图像数据；
在所述大图像数据中获取所述小图像数据并存储；
将所述小图像数据推送至所述多个服务器中进行服务或应用消费。
3.如权利要求1所述的多线程的图像处理方法，其特征在于，所述通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收别的请求信息的步骤包括：
通过所述管理线程池的管理层接口接收所述智慧摄像设备发送的请求信息；
通过所述管理层接口将所述请求信息进行分类并发送至所述业务线程池；
通过所述业务线程池响应所述请求信息；
所述管理线程池继续接收其他请求信息，重复上述的步骤。
4.如权利要求1所述的多线程的图像处理方法，其特征在于，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述人脸解析服务器具体的解析步骤包括：
通过所述人脸解析服务器提供人脸检测接口、属性分析接口和特征提取接口，并且通过所述人脸解析服务器消费所述Pulsar消息队列中的人脸数据；
提取所述人脸数据的人脸对象存储图片；
获取所述人脸对象存储图片的人脸属性和特征，当判断是否需要进行人脸比对，同时将所述人脸数据写入本地，并由采集日志写入搜索服务器。
5.如权利要求1所述的多线程的图像处理方法，其特征在于，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述人体/车辆解析服务器具体的解析步骤包括：
通过所述人体/车辆解析服务器消费所述Pulsar消息队列的人体/车辆数据；
提取所述人体/车辆数据的人体/车辆属性与特征；
将获取的所述人体/车辆属性与特征写入本地，并由采集日志写入搜索服务器中，以及通过车辆检测设备检测车牌信息时进行车辆报警。
6.如权利要求1所述的多线程的图像处理方法，其特征在于，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述原图解析服务器具体的解析步骤包括：
通过所述原图解析服务器消费所述Pulsar消息队列上的原始大图数据；
提取原图对象存储图片后进行实时抠图，其中，所述抠图包括人体图及车辆图；
若未检测到人体车辆目标时删除原图；
若检测到人体车辆目标时，则对所述原始大图数据中的人形和车辆目标进行属性和特征提取；
将所述属性和所述特征封装后写入本地，并由采集日志写入搜索服务器中，同时对车辆进行报警。
7.如权利要求1所述的多线程的图像处理方法，其特征在于，所述通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器中，所述人脸对比服务器具体的解析步骤包括：
通过所述人脸对比服务器为应用侧和其他微服务器提供人脸检测接口、属性分析接口、特征提取接口、1：N人脸比对接口，1：N人脸特征文件比对接口，1：N人脸特征比对接口；
所述人脸对比服务器通过提供所述人脸检测接口、所述属性分析接口、所述特征提取接口、所述1：N人脸比对接口、所述1：N人脸特征文件比对接口及1：N人脸特征比对接口将读取所述Pulsar消息队列中所述应用侧和其他微服务器主题里的人脸数据进行实时比对。
8.如权利要求1所述的多线程的图像处理方法，其特征在于，所述方法还包括步骤：
通过接收边缘服务器发送的原图，然后将图片存储至云台，以实现人体人脸互相关联；
构建Json数据推送至所述Pulsar消息队列供其他服务消费，同时提供边缘设备的相关接口；
获取所述边缘设备应用更新状态和配置文件信息接口，根据所述边缘设备应用下载接口，上报视频分辨率和解码状态接口。
9.如权利要求1所述的多线程的图像处理方法，其特征在于，所述方法还包括步骤：
将所述多个服务器集成时序存储；
统计各个服务接口成功与失败调用次数、对象存储上传下载成功与失败次数、以及消息队列生产消费成功与失败次数。
10.一种多线程的图像处理装置，其特征在于，所述图像处理装置包括：
图像获取模块，用于获取智慧摄像设备发送的初始图像数据，并对所述初始图像数据进行预处理得到目标图像数据，其中，所述目标图像数据包括大图像数据和小图像数据；
管理模块，用于通过管理线程池接收所述智慧摄像设备发送的请求信息，并将所述请求信息发送到业务线程池中，所述管理线程池继续接收其他请求信息；
处理模块，用于通过所述业务线程池根据接收到的所述请求信息对所述目标图像数据进行异步处理得到目标图片和特征属性，并将获得的所述目标图片和所述特征属性进行存储，以及将所述目标图片和所述特征属性发送至Pulsar消息队列上；
解析模块，用于通过多个服务器读取所述Pulsar消息队列上的所述图片和特征属性，并将读取的所述图片和特征属性进行解析，其中，所述多个服务器包括人脸解析服务器、人体/车辆解析服务器、原图解析服务器以及人脸对比服务器；
对比模块，用于将所述多个服务器解析后的所述目标图片和所述特征属性分别与所述初始图像数据的原图片和原特征属性进行对比，以得到最终目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110824947.4A CN113688868B (zh) | 2021-07-21 | 2021-07-21 | 一种多线程的图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110824947.4A CN113688868B (zh) | 2021-07-21 | 2021-07-21 | 一种多线程的图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688868A true CN113688868A (zh) | 2021-11-23 |
| CN113688868B CN113688868B (zh) | 2023-08-22 |
Family
ID=78577576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110824947.4A Active CN113688868B (zh) | 2021-07-21 | 2021-07-21 | 一种多线程的图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688868B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728419B1 (en) * | 2000-02-17 | 2004-04-27 | Xerox Corporation | Multi-tasking multi-threaded image processing system and method for image capture devices |
| US20050165788A1 (en) * | 2003-11-19 | 2005-07-28 | Chaowei Yang | Geographic information system |
| CN106453834A (zh) * | 2016-09-07 | 2017-02-22 | 努比亚技术有限公司 | 移动终端和相机拍摄方法 |
| CN110515748A (zh) * | 2019-08-28 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种消息处理的方法及相关装置 |
| CN110610164A (zh) * | 2019-09-16 | 2019-12-24 | 爱动信息科技(深圳)有限公司 | 人脸图像处理方法、系统、服务器及可读存储介质 |
| WO2020073656A1 (zh) * | 2018-10-11 | 2020-04-16 | 平安科技（深圳）有限公司 | 人机交互方法、系统、计算机设备及存储介质 |
| WO2020135797A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市道通智能航空技术有限公司 | 一种深度图处理方法、装置和无人机 |
| CN112163468A (zh) * | 2020-09-11 | 2021-01-01 | 浙江大华技术股份有限公司 | 基于多线程的图像处理方法及装置 |
| CN112418360A (zh) * | 2021-01-21 | 2021-02-26 | 深圳市安软科技股份有限公司 | 卷积神经网络的训练方法、行人属性识别方法及相关设备 |
| CN112487034A (zh) * | 2020-12-01 | 2021-03-12 | 上海思客琦智能装备科技股份有限公司 | 双队列异步图像处理方法及装置 |
| CN112488906A (zh) * | 2020-11-30 | 2021-03-12 | 中科院计算所西部高等技术研究院 | 基于多线程的图像处理方法、计算机设备和存储介质 |
-
2021
- 2021-07-21 CN CN202110824947.4A patent/CN113688868B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728419B1 (en) * | 2000-02-17 | 2004-04-27 | Xerox Corporation | Multi-tasking multi-threaded image processing system and method for image capture devices |
| US20050165788A1 (en) * | 2003-11-19 | 2005-07-28 | Chaowei Yang | Geographic information system |
| CN106453834A (zh) * | 2016-09-07 | 2017-02-22 | 努比亚技术有限公司 | 移动终端和相机拍摄方法 |
| WO2020073656A1 (zh) * | 2018-10-11 | 2020-04-16 | 平安科技（深圳）有限公司 | 人机交互方法、系统、计算机设备及存储介质 |
| WO2020135797A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市道通智能航空技术有限公司 | 一种深度图处理方法、装置和无人机 |
| CN110515748A (zh) * | 2019-08-28 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种消息处理的方法及相关装置 |
| CN110610164A (zh) * | 2019-09-16 | 2019-12-24 | 爱动信息科技(深圳)有限公司 | 人脸图像处理方法、系统、服务器及可读存储介质 |
| CN112163468A (zh) * | 2020-09-11 | 2021-01-01 | 浙江大华技术股份有限公司 | 基于多线程的图像处理方法及装置 |
| CN112488906A (zh) * | 2020-11-30 | 2021-03-12 | 中科院计算所西部高等技术研究院 | 基于多线程的图像处理方法、计算机设备和存储介质 |
| CN112487034A (zh) * | 2020-12-01 | 2021-03-12 | 上海思客琦智能装备科技股份有限公司 | 双队列异步图像处理方法及装置 |
| CN112418360A (zh) * | 2021-01-21 | 2021-02-26 | 深圳市安软科技股份有限公司 | 卷积神经网络的训练方法、行人属性识别方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688868B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271554B (zh) | 一种智能视频识别系统及其应用 | |
| CN105574506A (zh) | 基于深度学习和大规模集群的智能人脸追逃系统及方法 | |
| US20210382933A1 (en) | Method and device for archive application, and storage medium | |
| CN106663196A (zh) | 视频中的计算机显著人物识别 | |
| CN109241325B (zh) | 一种基于深度特征的大规模人脸检索方法和设备 | |
| CN109803112A (zh) | 基于大数据的视频分析管理方法、装置及系统、存储介质 | |
| CN111708663A (zh) | 一种基于人工智能的云计算安全监控系统 | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| Moorthy et al. | CNN based smart surveillance system: a smart IoT application post covid-19 era | |
| Wang et al. | Mutuality-oriented reconstruction and prediction hybrid network for video anomaly detection | |
| CN116723295A (zh) | 基于gpgpu芯片的多摄像头监控管理系统 | |
| CN113688868B (zh) | 一种多线程的图像处理方法及装置 | |
| WO2013189202A1 (zh) | 一种智能视频分析系统及方法 | |
| CN116248346A (zh) | 面向智慧城市的cps网络安全态势感知建立方法和系统 | |
| WO2022089220A1 (zh) | 图像数据处理方法、装置、设备、存储介质及产品 | |
| CN115761614A (zh) | 基于多视角深度学习算法的异常行为目标检测系统 | |
| CN113518205A (zh) | 一种基于ai分析的视频巡查处理方法 | |
| CN110738692A (zh) | 一种基于spark集群的智能视频识别方法 | |
| CN111858763A (zh) | 一种大数据安防监控系统 | |
| Jayamohan et al. | Review of Video Analytics Method for Video Surveillance | |
| Mallick et al. | Artificial Intelligence based Video Monitoring System for Security Applications. | |
| CN111860066B (zh) | 人脸识别方法和装置 | |
| Liu | Research on Image Processing Technology of Dynamic Face Video Recognition Based on Computer Vision Monitoring | |
| Olaniyi et al. | A Systematic Review of Background Subtraction Algorithms for Smart Surveillance System | |
| Kang | Research on face recognition based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20230822 |