CN110798653B - 一种基于多机协作的图像处理方法和视频监控系统 - Google Patents

一种基于多机协作的图像处理方法和视频监控系统 Download PDF

Info

Publication number
CN110798653B
CN110798653B CN201810864729.1A CN201810864729A CN110798653B CN 110798653 B CN110798653 B CN 110798653B CN 201810864729 A CN201810864729 A CN 201810864729A CN 110798653 B CN110798653 B CN 110798653B
Authority
CN
China
Prior art keywords
information
image
task
image acquisition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810864729.1A
Other languages
English (en)
Other versions
CN110798653A (zh
Inventor
杨黎刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810864729.1A priority Critical patent/CN110798653B/zh
Priority to PCT/CN2019/094119 priority patent/WO2020024749A1/zh
Priority to EP19844291.5A priority patent/EP3796637A4/en
Publication of CN110798653A publication Critical patent/CN110798653A/zh
Priority to US17/120,471 priority patent/US11445150B2/en
Application granted granted Critical
Publication of CN110798653B publication Critical patent/CN110798653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本申请实施例公开了一种基于多机协作的图像处理方法,应用于视频监控系统,用于提高智能视频监控系统的可靠性。视频监控系统包括至少两个图像获取单元和分析单元,至少两个图像获取单元包括第一图像获取单元、第二图像获取单元,方法包括:第一图像获取单元和第二图像获取单元分别获取拍摄的第一图像和第二图像,获取目标任务的指示信息,根据目标任务的指示信息分别获取目标任务的第一执行结果信息和第二执行结果信息,将第一执行结果信息和第二执行结果信息发送给分析单元;分析单元根据第一执行结果信息和第二执行结果信息确定目标任务的第三执行结果信息。

Description

一种基于多机协作的图像处理方法和视频监控系统
技术领域
本申请涉及通信技术领域,尤其涉及一种基于多机协作的图像处理方法和视频监控系统。
背景技术
由于众多的视频监控应用需要一种远距离、用户非配合状态下的快速身份识别,智能视频监控技术快速发展起来,智能视频监控系统一般包括多个网络摄像机(以下简称IPC),当监控目标,比如危险人物或通缉车辆,出现在智能视频监控系统的布控区域时,能够实现智能预警。
在现有的智能视频监控领域,智能视频监控系统中的各个IPC独立完成对监控对象的智能分析。但是,不同IPC存在性能差异(比如硬件或软件带来的差异),不同IPC对应的拍摄区域存在环境差异,甚至不同IPC拍摄的图像中监控对象呈现的角度也可能存在差异,以上差异会导致智能视频监控系统对监控对象的智能分析结果存在一定的随机误差,这在很大程度上影响了智能视频监控系统的可靠性,不利于智能视频监控技术的发展。
发明内容
本申请实施例提供了一种基于多机协作的图像处理方法和视频监控系统,用于解决智能视频监控系统对监控对象的智能分析结果存在一定的随机误差,降低智能视频监控系统的可靠性的问题。
本申请一方面提供一种基于多机协作的图像处理方法,应用于视频监控系统,所述视频监控系统包括至少两个图像获取单元和分析单元,所述至少两个图像获取单元包括第一图像获取单元、第二图像获取单元,所述方法包括:
所述第一图像获取单元和所述第二图像获取单元分别获取拍摄的第一图像和第二图像;所述第一图像获取单元和所述第二图像获取单元获取目标任务的指示信息,所述目标任务的指示信息用于指示对拍摄的图像中的目标对象进行处理;所述第一图像获取单元和所述第二图像获取单元根据所述目标任务的指示信息分别获取所述目标任务的第一执行结果信息和第二执行结果信息,所述第一执行结果信息包括与所述第一图像中的所述目标对象对应的第一处理结果信息,所述第二执行结果信息包括与所述第二图像中的所述目标对象对应的第二处理结果信息;所述第一图像获取单元和所述第二图像获取单元将所述第一执行结果信息和所述第二执行结果信息发送给所述分析单元;所述分析单元根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息。
本申请提供的视频监控系统中,至少两个IPC中的图像获取单元可以获取目标任务的指示信息,并根据目标任务的指示信息分别获取目标任务的不同执行结果信息,之后,可以将各自获取到的执行结果信息发送给分析单元部署的设备中,分析单元部署的设备可以根据来自不同IPC的执行结果信息确定目标任务的第三执行结果信息,和单个IPC得到的目标任务的执行结果信息相比,本申请提供的视频监控系统通过多机协作得到的目标任务的第三执行结果信息有利于减少随机误差,进而能够提高视频监控系统的可靠性。
在本申请第一方面一种可能的实现方式中,所述视频监控系统还包括任务分配单元,所述第一图像获取单元获取目标任务的指示信息之前,所述方法还包括:所述任务分配单元获取所述目标任务的指示信息;所述任务分配单元向所述第一图像获取单元发送所述目标任务的指示信息,便于调整视频监控系统执行的目标任务,有利于提高本申请方法的灵活性。
在本申请第一方面的另一种可能的实现方式中,所述第一图像获取单元获取目标任务的指示信息之后,所述第一图像获取单元根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息之前,所述方法还包括:所述第一图像获取单元判断是否接受所述目标任务;若接受,则所述第一图像获取单元执行根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息的步骤,有利于实现图像获取单元对执行的目标任务的自主选择性,有利于提高视频监控系统对目标任务分配的合理性。
在本申请第一方面的另一种可能的实现方式中,在所述任务分配单元获取所述目标任务的指示信息之后,在所述任务分配单元向所述第一图像获取单元发送所述目标任务的指示信息之前,所述方法还包括:所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元,有利于实现任务分配单元对执行目标任务的IPC的自主选择性,有利于提高视频监控系统对目标任务分配的合理性。
在本申请第一方面的另一种可能的实现方式中,所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元包括:所述任务分配单元接收所述至少两个图像获取单元发送的资源信息;所述任务分配单元根据所述资源信息从所述至少两个图像获取单元中选择所述第一图像获取单元。提供了任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元的一种可选方式,有利于提高本申请方案的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元包括:所述任务分配单元确定所述目标任务的类型;所述任务分配单元根据预先建立的任务类型与图像获取单元的对应关系确定所述目标任务对应于所述第一图像获取单元。提供了任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元的一种可选方式,有利于提高本申请方案的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元包括:所述任务分配单元确定所述目标任务对应的区域信息;所述任务分配单元根据所述区域信息从所述至少两个图像获取单元中选择所述第一图像获取单元。提供了任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元的一种可选方式,有利于提高本申请方案的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述第二图像获取单元获取所述第二图像之后,所述任务分配单元获取所述目标任务的指示信息之前,所述方法还包括:所述第二图像获取单元判断所述第二图像是否满足预设条件;若满足,则所述第二图像获取单元向所述任务分配单元发送所述目标任务的发起信息,所述发起信息用于指示所述任务分配单元发送所述目标任务的指示信息;所述任务分配单元获取所述目标任务的指示信息包括:所述任务分配单元根据所述目标任务的发起信息获取所述目标任务的指示信息。视频监控系统中的图像获取单元可以成为目标任务的发起方,有利于实现根据视频监控系统的监控区域的实际情况来发起目标任务,有利于提高本申请方法的灵活性。
在本申请第一方面的另一种可能的实现方式中,所述第二图像获取单元判断所述第二图像是否满足预设条件包括:所述第二图像获取单元提取所述第二图像中的所述目标对象的第二特征信息;所述第二图像获取单元获取第二相似度信息,所述第二相似度信息用于表示待识别对象与所述第二图像中的所述目标对象之间的相似程度;所述第二图像获取单元判断所述第二相似度信息是否满足第一相似条件;若满足,则所述第二图像获取单元判定所述第二图像满足所述预设条件。通过提供第二图像获取单元判断所述第二图像是否满足预设条件的一种可选方法,有利于提高本申请方案的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述第一处理结果信息与所述第一图像中的所述目标对象的特征信息相关,所述第二处理结果信息与所述第二图像中的所述目标对象的特征信息相关。通过对处理结果信息进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述目标任务为图像识别,所述目标任务的指示信息包括待识别图像的特征信息;
所述第一图像获取单元获取所述目标任务的第一执行结果信息包括:所述第一图像获取单元提取所述第一图像中的所述目标对象的第一特征信息;所述第一图像获取单元根据所述第一特征信息和所述待识别图像的特征信息获取所述待识别对象与所述第一图像中的所述目标对象的第一相似度信息。通过对本申请方案进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述目标任务的指示信息还包括第三相似条件,所述第一图像获取单元根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息之后,所述第一图像获取单元将所述第一执行结果信息发送给所述分析单元之前,所述方法还包括:所述第一图像获取单元判断所述第一相似度信息是否满足所述第三相似条件;若满足,则所述第一图像获取单元执行将所述第一执行结果信息发送给所述分析单元的步骤。图像获取单元在接收到目标任务的指示信息后,通过对获取到的目标任务的执行结果信息进行筛选,有利于减少视频监控系统的数据传输量和数据处理量,进而有利于提高视频监控系统的性能。
在本申请第一方面的另一种可能的实现方式中,所述第一处理结果信息包括所述第一相似度信息,所述第二处理结果信息包括第二相似度信息,所述第二相似度信息用于表示所述待识别对象与所述第二图像中的所述目标对象之前的相似程度;所述分析单元根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息包括:所述分析单元分别确定所述第一相似度信息和所述第二相似度信息的权重;所述分析单元根据所述第一相似度信息及其权重、所述第二相似度信息及其权重获取所述目标对象与所述待识别对象的第三相似度信息。通过对本申请方案进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
在本申请第一方面的另一种可能的实现方式中,所述分析单元根据所述第一相似度信息及其权重、所述第二相似度信息及其权重获取所述目标对象与所述待识别对象的第三相似度信息之后,根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息还包括:所述分析单元判断所述第三相似度信息是否满足第二相似条件;若满足,则所述分析单元判定所述视频监控系统内出现所述待识别对象。通过对本申请方案进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
本申请第二方面提供一种基于多机协作的视频监控系统,包括至少两个图像获取单元和分析单元,所述至少两个图像获取单元包括第一图像获取单元、第二图像获取单元;所述第一图像获取单元和所述第二图像获取单元分别用于获取拍摄的第一图像和第二图像,并且获取目标任务的指示信息,所述目标任务的指示信息用于指示对拍摄的图像中的目标对象进行处理,之后,根据所述目标任务的指示信息分别获取所述目标任务的第一执行结果信息和第二执行结果信息,所述第一执行结果信息包括与所述第一图像中的所述目标对象对应的第一处理结果信息,所述第二执行结果信息包括与所述第二图像中的所述目标对象对应的第二处理结果信息,之后,将所述第一执行结果信息和所述第二执行结果信息发送给所述分析单元;所述分析单元用于根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息。
本申请提供的视频监控系统中,至少两个IPC中的图像获取单元可以获取目标任务的指示信息,并根据目标任务的指示信息分别获取目标任务的不同执行结果信息,之后,可以将各自获取到的执行结果信息发送给分析单元部署的设备中,分析单元部署的设备可以根据来自不同IPC的执行结果信息确定目标任务的第三执行结果信息,和单个IPC得到的目标任务的执行结果信息相比,本申请提供的视频监控系统通过多机协作得到的目标任务的第三执行结果信息有利于减少随机误差,进而能够提高视频监控系统的可靠性。
在本申请第二方面一种可能的实现方式中,所述视频监控系统还包括任务分配单元,所述第一图像获取单元获取目标任务的指示信息之前,所述任务分配单元用于获取所述目标任务的指示信息,之后向所述第一图像获取单元发送所述目标任务的指示信息,便于调整视频监控系统执行的目标任务,有利于提高本申请方法的灵活性。
在本申请第二方面的另一种可能的实现方式中,所述第一图像获取单元获取目标任务的指示信息之后,根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息之前,所述第一图像获取单元用于判断是否接受所述目标任务;若接受,则执行根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息的步骤,有利于实现图像获取单元对执行的目标任务的自主选择性,有利于提高视频监控系统对目标任务分配的合理性。
在本申请第二方面的另一种可能的实现方式中,在所述任务分配单元获取所述目标任务的指示信息之后,所述任务分配单元用于从所述至少两个图像获取单元中选择所述第一图像获取单元,有利于实现任务分配单元对执行目标任务的IPC的自主选择性,有利于提高视频监控系统对目标任务分配的合理性。
在本申请第二方面的另一种可能的实现方式中,所述任务分配单元用于接收所述至少两个图像获取单元发送的资源信息,之后根据所述资源信息从所述至少两个图像获取单元中选择所述第一图像获取单元。提供了任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元的一种可选方式,有利于提高本申请方案的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述任务分配单元还用于:确定所述目标任务的类型,之后根据预先建立的任务类型与图像获取单元的对应关系确定所述目标任务对应于所述第一图像获取单元。通过提供任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元的一种可选方式,有利于提高本申请方案的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述任务分配单元还用于:所述任务分配单元确定所述目标任务对应的区域信息,之后根据所述区域信息从所述至少两个图像获取单元中选择所述第一图像获取单元。提供了任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元的一种可选方式,有利于提高本申请方案的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述第二图像获取单元获取所述第二图像之后,所述第二图像获取单元还用于判断所述第二图像是否满足预设条件;若满足,则向所述任务分配单元发送所述目标任务的发起信息,所述发起信息用于指示所述任务分配单元发送所述目标任务的指示信息;所述任务分配单元还用于根据所述目标任务的发起信息获取所述目标任务的指示信息。视频监控系统中的图像获取单元可以成为目标任务的发起方,有利于实现根据视频监控系统的监控区域的实际情况来发起目标任务,有利于提高本申请方法的灵活性。
在本申请第二方面的另一种可能的实现方式中,所述第二图像获取单元还用于:提取所述第二图像中的所述目标对象的第二特征信息,获取第二相似度信息,所述第二相似度信息用于表示待识别对象与所述第二图像中的所述目标对象之间的相似程度,判断所述第二相似度信息是否满足第一相似条件,若满足,则判定所述第二图像满足所述预设条件。通过提供第二图像获取单元判断所述第二图像是否满足预设条件的一种可选方法,有利于提高本申请方案的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述第一处理结果信息与所述第一图像中的所述目标对象的特征信息相关,所述第二处理结果信息与所述第二图像中的所述目标对象的特征信息相关。通过对处理结果信息进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述目标任务为图像识别,所述目标任务的指示信息包括待识别图像的特征信息;
所述第一图像获取单元还用于:提取所述第一图像中的所述目标对象的第一特征信息,根据所述第一特征信息和所述待识别图像的特征信息获取所述待识别对象与所述第一图像中的所述目标对象的第一相似度信息。通过对本申请方案进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述目标任务的指示信息还包括第三相似条件,所述第一图像获取单元根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息之后,将所述第一执行结果信息发送给所述分析单元之前,所述第一图像获取单元还用于:判断所述第一相似度信息是否满足所述第三相似条件,若满足,则执行将所述第一执行结果信息发送给所述分析单元的步骤。图像获取单元在接收到目标任务的指示信息后,通过对获取到的目标任务的执行结果信息进行筛选,有利于减少视频监控系统的数据传输量和数据处理量,进而有利于提高视频监控系统的性能。
在本申请第二方面的另一种可能的实现方式中,所述第一处理结果信息包括所述第一相似度信息,所述第二处理结果信息包括第二相似度信息,所述第二相似度信息用于表示所述待识别对象与所述第二图像中的所述目标对象之前的相似程度;所述分析单元还用于:分别确定所述第一相似度信息和所述第二相似度信息的权重,根据所述第一相似度信息及其权重、所述第二相似度信息及其权重获取所述目标对象与所述待识别对象的第三相似度信息。通过对本申请方案进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
在本申请第二方面的另一种可能的实现方式中,所述分析单元根据所述第一相似度信息及其权重、所述第二相似度信息及其权重获取所述目标对象与所述待识别对象的第三相似度信息之后,还用于:判断所述第三相似度信息是否满足第二相似条件,若满足,则判定所述视频监控系统内出现所述待识别对象。通过对本申请方案进行细化,使得本申请方案更加完善,增加了本申请实施例的可操作性。
本申请第三方面提供一种计算机装置,计算机装置用于:
接收第一IPC和第二IPC发送的目标任务的第一执行结果信息和第二执行结果信息;
根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息,所述第一执行结果信息和所述第二执行结果信息为所述第一IPC和所述第二IPC根据所述目标任务的指示信息分别获取的,所述目标任务的指示信息用于指示对拍摄的图像中的目标对象进行处理,所述第一执行结果信息包括与获取的拍摄的第一图像中的所述目标对象对应的第一处理结果信息,所述第二执行结果信息包括与获取的拍摄的第二图像中的所述目标对象对应的第二处理结果信息。
在本申请第三方面的一种可能的实现方式中,所述计算机装置还用于:
获取所述目标任务的指示信息;
向所述第一IPC发送所述目标任务的指示信息。
在本申请第三方面的另一种可能的实现方式中,所述计算机装置还用于从至少两个IPC中选择所述第一IPC。
在本申请第三方面的另一种可能的实现方式中,所述计算机装置还用于:
接收所述至少两个IPC发送的资源信息;
根据所述资源信息从所述至少两个IPC中选择所述第一IPC。
在本申请第三方面的另一种可能的实现方式中,所述计算机装置还用于:
确定所述目标任务的类型;
根据预先建立的任务类型与IPC的对应关系确定所述目标任务对应于所述第一IPC。
在本申请第三方面的另一种可能的实现方式中,所述计算机装置还用于:
确定所述目标任务对应的区域信息;
根据所述区域信息从所述至少两个IPC中选择所述第一IPC。
在本申请第三方面的另一种可能的实现方式中,所述计算机装置还用于:
接收第二IPC发送的所述目标任务的发起信息,所述发起信息用于指示所述任务分配单元发送所述目标任务的指示信息;
根据所述目标任务的发起信息获取所述目标任务的指示信息。
在本申请第三方面的另一种可能的实现方式中,所述第一处理结果信息与所述第一图像中的所述目标对象的特征信息相关,所述第二处理结果信息与所述第二图像中的所述目标对象的特征信息相关。
在本申请第三方面的另一种可能的实现方式中,所述第一处理结果信息包括所述第一相似度信息,所述第二处理结果信息包括第二相似度信息,所述第二相似度信息用于表示所述待识别对象与所述第二图像中的所述目标对象之前的相似程度;
所述计算机装置还用于:
根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息包括:
分别确定所述第一相似度信息和所述第二相似度信息的权重;
根据所述第一相似度信息及其权重、所述第二相似度信息及其权重获取所述目标对象与所述待识别对象的第三相似度信息。
在本申请第三方面的另一种可能的实现方式中,所述计算机装置还用于:
根据所述第一相似度信息及其权重、所述第二相似度信息及其权重获取所述目标对象与所述待识别对象的第三相似度信息之后,判断所述第三相似度信息是否满足第二相似条件;
若满足,则判定所述视频监控系统内出现所述待识别对象。
附图说明
图1为本申请视频监控系统的一种可能的实体结构示意图;
图2为本申请视频监控系统中IPC的结构示意图;
图3为本申请视频监控系统中计算机装置的结构示意图;
图4为本申请视频监控系统的另一种可能的实体结构示意图;
图5为本申请视频监控系统一种可能的功能化结构示意图;
图6为本申请图像处理方法的一个实施例示意图;
图7为本申请图像处理方法的另一个实施例示意图;
图8为本申请视频监控系统另一种可能的功能化结构示意图;
图9为本申请视频监控系统的另一种可能的实体结构示意图;
图10为本申请视频监控系统的另一种可能的实体结构示意图;
图11为本申请图像处理方法的另一个实施例示意图;
图12为本申请图像处理方法的另一个实施例示意图;
图13为安全布控系统的示意图;
图14为安全布控系统一种可能的运行方法。
具体实施方式
本申请实施例提供了一种基于多机协作的图像处理方法和视频监控系统,用于减少智能视频监控系统对监控对象的智能分析结果的随机误差,提高智能视频监控系统的可靠性。
下面结合附图,对本申请的实施例进行描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
不同IPC存在性能差异(比如硬件或软件带来的差异),不同IPC对应的拍摄区域存在环境差异,甚至不同IPC拍摄的图像中监控对象呈现的角度也可能存在差异,这就导致智能视频监控系统中不同IPC得到的智能分析结果存在一定差异,由于在现有的智能视频监控领域,智能视频监控系统中的各个IPC独立完成对监控对象的智能分析,而且执行对监控对象的智能分析任务的IPC通常具有随机性,因此,智能视频监控系统对监控对象的智能分析结果存在一定的随机误差,这在很大程度上影响了智能视频监控系统的可靠性。
具体的,比如,在图像识别应用中,识别结果受到多种环境因素的影响,很难保证识别结果稳定的高准确率。具体来说,各个环节可能的影响因素有:图像采集环节,采集到的图像质量受IPC镜头质量、天气光照、尘埃雾霾等因素影响;目标检测环节,检测结果受检测算法、目标遮挡、目标朝向等因素影响。受以上因素影响,利用检测结果和参考对象进行比对时,得到的相似度结果通常会有一定范围的波动,很难定义出一个普适性较高的告警阈值,这在很大程度上影响了智能视频监控系统的易用性,进而间接降低了智能视频监控系统在安全布控场景中的实际应用价值。
考虑到,在实际应用场景中,监控目标出现在布控区域中时,通常会出现在智能视频监控系统中的多个IPC的拍摄区域,而不同IPC部署的位置不同,所处环境会有差异,对监控对象的拍摄角度也可能存在差异,这就使得各个IPC对收集到的图像进行智能分析后,得到的关于监控对象的结果信息具有一定差异性,本申请提供的方案通过综合不同IPC得到的关于监控对象的结果信息来进行智能分析,以减少因设备不同为结果信息带来的随机误差,进而提高智能视频监控系统的可靠性。
本申请提供一种基于多机协作的视频监控系统。在本申请系统一种可能的实体结构实施例中,视频监控系统可以包括至少两个IPC和一个计算机装置,视频监控系统中的至少两个IPC与计算机装置建立有通信连接,请参阅图1,为本申请视频监控系统的一种可能的实体结构示意图,图1中以视频监控系统包括三个IPC为例进行举例说明。
参考图2,本申请视频监控系统中的IPC可以包括:处理器201、存储器202、有线或无线网络接口203、摄像头204以及存储在存储器202中并可在处理器201上运行的计算机程序。视频监控系统中的计算机装置一般指服务器等处理能力较强的计算机设备。参考图3,本申请视频监控系统中的计算机装置可以包括:处理器301、存储器302、有线或无线网络接口303以及存储在存储器302中并可在处理器301上运行的计算机程序。
图2和图3中示出的结构并不构成对本申请系统中计算机装置和IPC的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,例如所述计算机装置还可以包括输入输出设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。
所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请系统中的计算机装置或IPC中集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在本申请系统另一种可能的实体实施例中,视频监控系统可以包括至少两个IPC,视频监控系统中的至少两个IPC之间建立有通信连接,请参阅图4,为本申请视频监控系统的另一种可能的实体结构示意图,图4中以视频监控系统包括三个IPC为例进行举例说明,IPC3与IPC1建立有通信连接,并且,IPC2与IPC3建立有通信连接。图4对应的视频监控系统中IPC的实体结构可以参阅图2对应的实施例,此处不再赘述。
通过在视频监控系统中的各个实体设备上的存储单元中存储特定的计算机程序,能够使得视频监控系统中的各个设备实现与存储的计算机程序对应的特定功能,进而使得本申请视频监控系统中的多个设备通过协作执行目标任务,有利于减少因IPC不同为目标任务的处理结果信息带来的随机误差,提高智能视频监控系统的可靠性。下面通过软件功能单元的形式介绍本申请视频监控系统的运行。
在本申请系统一种可能的功能化结构实施例中,视频监控系统可以包括至少两个图像获取单元和分析单元,至少两个图像获取单元与分析单元建立有通信连接,图像获取单元部署于IPC中,并且不同图像获取单元部署于不同的IPC中。为了方便描述,假设至少两个图像获取单元包括第一图像获取单元和第二图像获取单元,需要说明的是,第一图像获取单元和第二图像获取单元用于指代不同的图像获取单元,但是并不限定指代的图像获取单元的数目,也就是说,第一图像获取单元至少可以指代一个图像获取单元,同样的,第二图像获取单元可以至少指代一个图像获取单元。将请参阅图5,为本申请系统一种可能的功能化结构示意图,图5以视频监控系统包括三个图像获取单元为例,假设图像获取单元1和图像获取单元2对应于上述第一图像获取单元,图像获取单元3对应于上述第二图像获取单元。下面对图5对应的视频监控系统中各个功能化单元的功能进行描述。
在本申请系统的一种运行过程中,第一图像获取单元和第二图像获取单元可以拍摄图像,假设第一图像获取单元获取到拍摄的第一图像,第二图像获取单元获取到拍摄的第二图像。并且,第一图像获取单元和第二图像获取单元可以获取目标任务的指示信息,目标任务的指示信息用于指示对拍摄到的图像中的目标对象进行处理。
由于本申请实施例中提到的图像为获取单元拍摄得到的图像,因此图像中的目标对象对应于现实中的一种实体存在,可以为具体的独一无二的实体,比如某个人,也可以为一类实体,比如人类。第一图像获取单元和第二图像获取单元首先可以识别图像中的目标对象,示例性的,识别图像中的目标对象可以指能够判断图像中是否包括目标对象,进一步的,若判定图像中包括目标对象,可以确定目标对象在图像中对应的图像区域的信息,该图像区域的信息即对应于目标对象在该图像中的存在,可以将该图像区域的信息称作该图像中的目标对象。关于图像获取单元识别图像中的目标对象的实现,示例性的,目标任务的指示信息可以包括目标对象的识别算法,第一图像获取单元和第二图像获取单元可以根据目标任务的指示信息中的识别算法识别图像中的目标对象;或者,目标对象的识别算法可以预存在第一图像获取单元和第二图像获取单元中,不同目标对象的识别算法对应于不同的标识信息,比如人脸的识别算法的标识信息为识别算法1,车牌的识别算法的标识信息为识别算法2,目标任务的指示信息中可以包括目标对象的识别算法的标识信息,以指示图像获取单元从本地存储的识别算法中确定目标对象的识别算法,并根据确定出的识别算法识别图像中的目标对象。虽然第一图像获取单元和第二图像获取单元均需要识别图像中的目标对象,但是,即使二者采用的对目标对象的识别算法相同,由于不同图像获取单元对目标对象对应的实体进行拍摄时,拍摄角度、环境光线等因素存在一定差异,导致第一图像和第二图像中的目标对象通常会存在一定差异。
第一图像获取单元和第二图像获取单元获取到目标任务的指示信息之后,可以执行目标任务,具体的,第一图像获取单元可以根据目标任务的指示信息获取目标任务的第一执行结果,第一执行结果信息包括与第一图像中的目标对象对应的第一处理结果信息,第二图像获取单元可以根据目标任务的指示信息获取目标任务的第二执行结果信息,第二执行结果信息包括与第二图像中的目标对象对应的第二处理结果信息。之后,第一图像获取单元和第二图像获取单元可以将第一执行结果信息和第二执行结果信息发送给分析单元。分析单元接收到第一执行结果信息和第二执行结果信息之后,可以根据第一执行结果信息和第二执行结果信息确定目标任务的第三执行结果信息。
下面对图5对应的功能化系统实施例所基于的系统实体结构进行描述:
1)图5对应的系统可以基于图1对应的实体结构实施例,此时图像获取单元可以部署于图1对应的实施例中的IPC中,比如,图5中的图像获取单元1、图像获取单元2和图像获取单元3可以分别部署于图1中的IPC1、IPC2和IPC3中,分析单元可以部署于图1对应的实施例中的计算机装置中,通过与至少两个IPC建立的通信连接,计算机装置可以获取至少两个IPC对目标任务的执行结果信息。
2)或者,图5对应的系统可以基于图4对应的实体结构实施例,此时此时图像获取单元可以部署于图1对应的实施例中的IPC中,比如,图5中的图像获取单元1、图像获取单元2和图像获取单元3可以分别部署于图1中的IPC1、IPC2和IPC3中,分析单元可以部署于图4对应的实施例中的IPC3中。需要说明的是,当分析单元部署于图4对应的实施例中的IP3中时,可以有多种具体的部署形式,比如,分析单元可以部署于图4中的IPC3内部,示例性的,分析单元可以与IPC3中的图像获取单元3集成,分析单元可以获取图像获取单元3得到的目标任务的执行结果信息,并且可以获取到IPC3接收到的其他IPC(比如IPC1和IPC2)发送的目标任务的执行结果信息;或者,分析单元可以部署于图4中的IPC3外部,比如部署于计算机装置(图4未示出)中,该计算机装置(图4未示出)与IPC3建立有通信连接,计算机装置(图4未示出)能够接收IPC3根据目标任务的指示信息获取到的目标任务的执行结果信息,并且,IPC3能够将接收到的其他IPC(比如IPC1和IPC2)发送的目标任务的执行结果信息转发给该计算机装置(图4未示出)。可见,IPC3只需通过与至少一个IPC建立的通信连接,便可以获取至少两个IPC(包括部署于IPC3中的图像获取单元3)对目标任务的执行结果信息。
基于上述图5对应的系统基于图1对应的实体结构实施例的情况,示例性的,下面提供本申请图像处理方法的一个实施例,请参阅图6,本申请图像处理方法的一个实施例包括:
A01、第一IPC和第二IPC分别获取拍摄的第一图像和第二图像;
A02、第一IPC和第二IPC获取目标任务的指示信息;
A03、第一IPC和第二IPC根据目标任务的指示信息分别获取目标任务的第一执行结果信息和第二执行结果信息;
A04、第一IPC和第二IPC将第一执行结果信息和第二执行结果信息发送给计算机装置;
A05、计算机装置根据第一执行结果信息和第二执行结果信息确定目标任务的第三执行结果信息。
基于上述图5对应的系统基于图4对应的实体结构实施例的情况,示例性的,下面提供本申请图像处理方法的另一个实施例,请参阅图7,本申请图像处理方法的另一个实施例包括:
B01、第一IPC和第二IPC分别获取拍摄的第一图像和第二图像;
B02、第一IPC和第二IPC获取目标任务的指示信息;
B03、第一IPC和第二IPC根据目标任务的指示信息分别获取目标任务的第一执行结果信息和第二执行结果信息;
B04、第一IPC将第一执行结果信息发送给第二IPC;
B05、第二IPC根据第一执行结果信息和第二执行结果信息确定目标任务的第三执行结果信息。
通过图5至图7对应的实施例可见,本申请提供的视频监控系统中,至少两个IPC可以获取目标任务的指示信息,并根据目标任务的指示信息分别获取目标任务的不同执行结果信息,之后,可以将各自获取到的执行结果信息发送给分析单元部署的设备中,分析单元部署的设备可以根据来自不同IPC的执行结果信息确定目标任务的第三执行结果信息,和单个IPC得到的目标任务的执行结果信息相比,本申请提供的视频监控系统通过多机协作得到的目标任务的第三执行结果信息有利于减少随机误差,进而能够提高视频监控系统的可靠性。
图5对应的功能化结构实施例中,图像获取单元获取的目标任务的指示信息可以为预先配置在IPC的存储单元中的,或者,也可以为从任务分配单元接收到的。基于图5对应的功能化结构实施例,请参阅图8,为本申请系统另一个可能的功能化结构实施例的两个可选的示意图,在本申请系统另一种可能的功能化结构实施例中,视频监控系统除了包括至少两个图像获取单元和分析单元,还可以包括任务分配单元,至少两个图像获取单元与分析单元建立有通信连接,该至少两个图像获取单元与任务分配单元也建立有通信连接。关于图像获取单元的具体描述请参阅图5对应的实施例,此处不再赘述。图8以视频监控系统包括三个图像获取单元为例,假设图像获取单元1和图像获取单元2对应于上述第一图像获取单元,图像获取单元3对应于上述第二图像获取单元。下面对图8对应的视频监控系统中各个功能化单元的功能进行描述。
在本申请系统的另一种运行过程中,图8对应的实施例中的第一图像获取单元、第二图像获取单元以及分析单元能够实现的功能包括图5对应的实施例中相应单元的功能,此处不再赘述。在图8对应的实施例中,视频监控系统还包括任务分配单元,任务分配单元能够获取目标任务的指示信息,之后,可以向图像获取单元发送目标任务的指示信息。示例性的,任务分配单元可以向第一图像获取单元发送目标任务的指示信息,第一图像获取单元可以接收任务分配单元发送的目标任务的指示信息。
可选的,任务分配单元也可以向第二图像获取单元发送目标任务的指示信息,第二图像获取单元可以接收任务分配单元发送的目标任务的指示信息。或者,可选的,第二图像获取单元可以无需任务分配单元发送指示信息便可以获取目标任务的指示信息。比如,第二图像获取单元可以为目标任务的发起方,示例性的,第二图像获取单元可以判断第二图像是否满足预设条件,若满足预设条件,则第二图像获取单元向任务分配单元发送目标任务的发起信息,发起信息用于指示任务分配单元发送目标任务的指示信息。此时,可选的,第二图像获取单元判定第二图像满足预设条件时,第二图像获取单元可以获取目标任务的指示信息,此时,任务分配单元可以不向第二图像获取单元发送指示信息。在实际使用中,视频监控系统中可以仅有固定的某个或某部分IPC具有上述发起方的功能,或者,视频监控系统中所有IPC均可以具有发起方的功能。
除了可以由第二图像获取单元自动发起目标任务,可选的,还可以由视频监控系统的管理员向任务分配单元发布目标任务,比如当管理员掌握确切消息,目标对象将在某布控区域内出现时,此时管理员可以在任务分配单元导入目标任务的指示信息,然后通过任务分配单元将目标任务的指示信息发布给该布控区域内的各IPC中的图像获取单元。
下面对图8对应的系统的功能化结构实施例所基于的实体结构进行描述:
1)图8对应的系统可以基于图1对应的实体结构实施例,此时,图8对应的实施例中的图像获取单元可以部署于图1对应的实施例中的IPC中,示例性的,图8中的图像获取单元1、图像获取单元2和图像获取单元3可以分别部署于图1中的IPC1、IPC2和IPC3中;图8对应的实施例中的分析单元和任务分配单元可以均部署于图1对应的实施例中的计算机装置中,具体的,可以部署于同一计算机装置中,也可以部署于不同的计算机装置中,通过与至少两个IPC建立的通信连接,图1对应的实施例中的计算机装置可以向至少两个IPC发送目标任务的指示信息,并且可以获取至少两个IPC返回的目标任务的执行结果信息。
2)图8对应的系统可以基于图4对应的实体结构实施例,此时,图8对应的实施例中的图像获取单元可以部署于图1对应的实施例中的IPC中,示例性的,图8中的图像获取单元1、图像获取单元2和图像获取单元3可以分别部署于图1中的IPC1、IPC2和IPC3中;图8对应的实施例中的分析单元和任务分配单元可以均部署于图1对应的实施例中的同一IPC中,基于图1的举例,可以均部署于IPC3中。需要说明的是,当分析单元和任务分配单元均部署于IPC3中时,可以有多种具体的部署形式,具体请参阅图5对应的实施例中的相应描述,此处不再赘述。由于任务分配单元可以向IPC3中的图像获取单元3发送目标任务的指示信息,分析单元可以接收IPC3中的图像获取单元3发送的目标任务的执行结果信息,因此,IPC3只需通过与至少一个IPC建立的通信连接,便可以向至少两个IPC(包括部署于IPC3中的图像获取单元3)发送对目标任务的执行结果信息,并且获取至少两个IPC(包括部署于IPC3中的图像获取单元3)对目标任务的执行结果信息。
3)请参阅图9,在本申请系统另一种可能的实体实施例中,视频监控系统可以包括至少两个IPC和计算机装置,图9中以视频监控系统包括三个IPC为例进行举例说明,计算机装置与至少两个IPC建立有通信连接,至少有一个目标IPC与其他至少一个IPC建立有通信连接,以保证与计算机装置建立有通信连接的至少两个IPC能够与目标IPC建立通信连接(若与计算机装置建立有通信连接的至少两个IPC中包括目标IPC,那么只需有一个IPC能够与目标IPC建立通信连接即可)。在图9中,以IPC3为目标IPC为例。图8对应的系统可以基于图9对应的实体结构实施例,此时,图8对应的实施例中的图像获取单元可以部署于图9对应的实施例中的IPC中,示例性的,图8中的图像获取单元1、图像获取单元2和图像获取单元3可以分别部署于图9中的IPC1、IPC2和IPC3中;任务分配单元可以部署于图9对应的实施例中的计算机装置中,分析单元可以部署于目标IPC中,以图9为例,可以部署于IPC3中。或者,任务分配单元可以部署于图9对应的实施例中的目标IPC中,以图9为例,可以部署于IPC3中,分析单元可以部署于图9对应的实施例中的计算机装置中。
4)请参阅图10,在本申请系统另一种可能的实体实施例中,视频监控系统可以包括至少两个IPC,图10中以视频监控系统包括三个IPC为例进行举例说明,至少有一个第一目标IPC与其他至少一个IPC建立有通信连接,至少有一个第二目标IPC与其他至少一个IPC建立有通信连接,若第一目标IPC能够与第二目标IPC建立通信连接,那么第一目标IPC和第二目标IPC至少能够与一个相同的其他IPC建立通信连接,若第一目标IPC未与第二目标IPC建立通信连接,那么第一目标IPC和第二目标IPC至少能够与两个相同的其他IPC建立通信连接。图10中,假设IPC1为第一目标IPC,IPC2为第二目标IPC。图8对应的系统可以基于图10对应的实体结构实施例,此时,图8对应的实施例中的图像获取单元可以部署于图10对应的实施例中的IPC中,示例性的,图8中的图像获取单元1、图像获取单元2和图像获取单元3可以分别部署于图10中的IPC1、IPC2和IPC3中;任务分配单元可以部署于图10对应的实施例中的第一目标IPC中(如图10中的IPC1),分析单元可以部署于第二目标IPC中(如图10中的IPC2)。
基于上述图8对应的系统基于图9对应的实体结构实施例的情况,具体的,假设任务分配单元部署于图9对应的实施例中的计算机装置中,分析单元部署于第二IPC(即图9中的IPC3中)中,示例性的,下面提供本申请图像处理方法的另一个实施例,请参阅图11,本申请图像处理方法的另一个实施例包括:
C01、第二IPC获取拍摄的第二图像;
C02、若第二图像满足预设条件,第二图像获取单元确定目标任务的指示信息;
C03、第二图像获取单元向计算机装置发送目标任务的发起信息;
C04、计算机装置根据目标任务的发起信息获取目标任务的指示信息;
C05、计算机装置向第一图像获取单元发送目标任务的指示信息;
C06、第一IPC获取拍摄的第一图像;
C07、第一IPC和第二IPC根据目标任务的指示信息分别获取目标任务的第一执行结果信息和第二执行结果信息;
C08、第一IPC将第一执行结果信息发送给第二IPC;
C09、第二IPC根据第一执行结果信息和第二执行结果信息确定目标任务的第三执行结果信息。
基于上述图8对应的系统基于图1对应的实体结构实施例的情况,具体的,假设任务分配单元和分析单元均部署于图1对应的实施例中的计算机装置中,示例性的,下面提供本申请图像处理方法的另一个实施例,请参阅图12,本申请图像处理方法的另一个实施例包括:
D01、第二IPC获取拍摄的第二图像;
D02、若第二图像满足预设条件,第二图像获取单元确定目标任务的指示信息;
D03、第二图像获取单元向计算机装置发送目标任务的发起信息;
D04、计算机装置根据目标任务的发起信息获取目标任务的指示信息;
D05、计算机装置向第一图像获取单元发送目标任务的指示信息;
D06、第一IPC获取拍摄的第一图像;
D07、第一IPC和第二IPC根据目标任务的指示信息分别获取目标任务的第一执行结果信息和第二执行结果信息;
D08、第一IPC和第二IPC将第一执行结果信息和第二执行结果信息发送给计算机装置;
D09、计算机装置根据第一执行结果信息和第二执行结果信息确定目标任务的第三执行结果信息。
通过图8对应的实施例可见,本申请提供的视频监控系统中,任务分配单元可以将获取到的目标任务的指示信息发送给IPC,以指示IPC根据目标任务的指示信息获取目标任务的执行结果信息,将获取到的执行结果信息发送给分析单元部署的设备中。通过控制任务分配单元对目标任务的指示信息的发送时刻,或在指示信息中设置目标任务的执行时刻,能够实现视频监控系统对目标任务的执行时机的控制;通过调整任务分配单元发送的指示信息的内容,能够改变视频监控系统执行目标任务的过程,或者改变视频监控系统执行的任务类型;通过调整任务分配单元对目标任务指示信息的发送对象,能够控制由视频监控系统中的哪些IPC来执行目标任务,也就是控制目标任务的执行方。可见,图8对应的实施例有利于提高视频监控系统多机协作过程的灵活性。
在图8对应的实施例中,可选的,接收到目标任务的指示信息的部分或全部图像获取单元可以选择是否接受目标任务。以第一图像获取单元为例,第一图像获取单元获取目标任务的指示信息之后,第一图像获取单元根据目标任务的指示信息获取目标任务的第一执行结果信息之前,第一图像获取单元还可以判断是否接受目标任务;若接受,则第一图像获取单元可以执行根据目标任务的指示信息获取目标任务的第一执行结果信息的步骤。示例性的,第一图像获取单元可以根据资源信息来判断是否接受目标任务,比如,根据部署的IPC中的算法能力与当前资源情况,决定接受目标任务。
在图8对应的实施例中,可选的,任务分配单元在获取到目标任务的指示信息之后,可以选择目标任务的指示信息的发送对象,也就是选择由视频监控系统中的哪些IPC来执行目标任务。下面对任务分配单元选择发送对象的方法进行描述。以任务分配单元选择的发送对象中包括第一图像获取单元为例,也就是说,在任务分配单元获取目标任务的指示信息之后,在任务分配单元向第一图像获取单元发送目标任务的指示信息之前,任务分配单元可以从至少两个图像获取单元中选择第一图像获取单元,示例性的,下面提供几种选择的过程:
1)至少两个图像获取单元可以向任务分配单元发送资源信息,比如算法能力或存储资源情况,发送过程如图8中带箭头的虚线所示。任务分配单元可以接收至少两个图像获取单元发送的资源信息,之后,任务分配单元可以根据资源信息从至少两个图像获取单元中选择第一图像获取单元。
2)任务分配单元可以确定目标任务的类型,之后根据预先建立的任务类型与图像获取单元的对应关系确定目标任务对应于第一图像获取单元。比如,预先建立的对应关系可以为:图像获取单元1执行第一类任务,由图像获取单元2执行第二类任务,由全部图像获取单元执行第三类任务。
3)任务分配单元可以确定目标任务对应的区域信息,之后根据区域信息从至少两个图像获取单元中选择第一图像获取单元。比如,当有目击者表示在某公园发现嫌疑人时,目标任务的区域信息可以对应于该公园内或以公园为中心更大范围的区域,任务分配单元可以选择该区域内的第一图像获取单元。
上述视频监控系统的各个可能的实施例中,当分析单元部署于IPC中时,分析单元可以部署于一个IPC中,或者可以在多个IPC中同时部署,同时部署只表明多个IPC均有能力实现上述实施例中分析单元的功能,但是,多个IPC中部署的分析单元不一定同时实现功能,对于一个目标任务的执行过程来说,实现功能的分析单元可以对应于同一个IPC,或者,实现功能的分析单元可以对应于不同的IPC。对于后面一种情况,示例性的,实现分析单元的功能的IPC可以为当前得到执行结果信息的IPC,那么多个IPC中的分析单元均可能作为实现分析单元功能的IPC,为了便于IPC及时获取到其他IPC得到的执行结果信息,实现分析单元的功能的IPC在得到第三执行结果信息后,可以将得到的第三执行结果信息发送给其他IPC。同样的,当任务分配单元部署于IPC中时,任务分配单元可以部署于一个IPC中,或者可以在多个IPC中同时部署,同时部署只表明多个IPC均有能力实现上述实施例中任务分配单元的功能,但是,多个IPC中部署的任务分配单元不一定同时实现功能,对于一个目标任务的执行过程来说,实现功能的任务分配单元可以对应于同一个IPC,或者,实现功能的任务分配单元可以对应于不同的IPC。
上述视频监控系统的各个可能的实施例中,目标任务的指示信息用于指示图像获取单元如何执行目标任务,需要返回怎样的执行结果信息。示例性的,目标任务的指示信息包含的内容可以包括:任务标识、任务参数、结果信息,任务标识用于唯一标识一个目标任务,任务参数可以作为IPC执行目标任务时的输入参数,结果信息用于指示IPC返回的执行结果信息需要包括的内容。如人脸识别业务,任务参数可以包含黑名单信息信息、人脸识别相似度阈值、业务所需资源等,结果信息可以用于指示图像获取单元需要返回图像中的人脸与黑名单信息中的待识别对象之间的相似度信息、相似度信息对应的待识别对象的身份标识信息、图像获取的时刻、地点等。
上述视频监控系统的各个可能的实施例中,图像获取单元获取到目标任务的指示信息之后,第一图像获取单元可以获取目标任务的第一执行结果信息,第二图像获取单元可以获取目标任务的第二执行结果信息。第一执行结果信息包括与第一图像获取单元获取的第一图像中的目标对象对应的第一处理结果信息,第二执行结果信息包括与第二图像获取单元获取的第二图像中的目标对象对应的第二处理结果信息。可选的,第一处理结果信息可以与第一图像中的目标对象的特征信息相关,第二处理结果信息与第二图像中的目标对象的特征信息相关。下面根据目标任务的不同类型,对本申请系统的不同应用场景进行描述。
一、目标任务可以为三维图像建模任务
三维图像建模首先需要通过IPC采集目标对象在不同角度的二维平面图像信息,提取各个图像信息中目标对象的特征信息,之后,根据目标对象在不同角度的特征信息输出目标对象的三维立体图像信息。由于需要提取目标对象的细节特征信息,IPC需要提供放大倍率的图像,这种情况下,改变目标对象的角度时,目标对象在画面中停留时间较短,无法保证抓取到足够多角度的图像信息,目标对象的二维平面信息的完整度很难保证。
本申请系统中的多个IPC可以同时获取目标对象在多个角度的二维平面图像信息,之后,多个IPC可以分别提取图像中目标对象的特征信息,之后将目标任务的执行结果信息发送给分析单元部署的设备(IPC或计算机装置),执行结果信息可以包括目标对象的特征信息、特征信息对应的目标对象所处的角度信息等。之后,分析单元部署的设备可以基于多个IPC发送的目标任务的执行结果信息对目标对象进行三维图像建模。由于本申请系统中的多个IPC可以同时获取目标对象在多个角度的二维平面图像信息,能够抓取到足够多角度的图像信息,有利于使最终得到的三维图像信息更加完整。
二、目标任务可以为图像识别任务
图像识别一般包括图像检测过程和目标识别过程。图像检测过程是在IPC捕获的图像基础上进行算法分析,检测出图像中目标对象的位置,并将图像中目标对象对应的图像信息转换成一系列特征指标或数字表示,通常称为目标对象的特征信息。目标对象的特征信息在人工智能算法中可以作为目标对象的属性的表示,应用于各种实际场景中。不同种类的目标对象,其特征信息的表示方式也不同,如视频监控领域中典型的人脸、人体、车、车牌等目标对象,其检测算法不同,特征信息的表示方式也不同,但概念上是一致的。目标识别过程是将图像检测过程输出的目标对象的特征信息,与预存的待识别对象的特征信息进行比对,确定相似度信息。相似度信息通常为二者之间的相似度的取值,可以用百分比的形式进行表示,相似度的取值越高,表示目标对象为待识别对象的可能性越高,可以预先设置相似度阈值,当得到的相似度的取值超过相似度阈值时,可以判定图像中的目标对象为待识别对象。
在上述视频监控系统的各个可能的实施例中,当目标任务为图像识别任务时,可选的,目标任务的指示信息可以包括待识别图像的特征信息,以第一图像获取单元获取目标任务的第一执行结果信息的过程为例,图像获取单元获取目标任务的执行结果信息的过程可以具体包括:第一图像获取单元提取第一图像中的目标对象的第一特征信息,之后,根据第一特征信息和待识别图像的特征信息获取待识别对象与第一图像中的目标对象的第一相似度信息。第一处理结果信息可以包括第一相似度信息,第二处理结果信息可以包括待识别对象与第二图像中的目标对象的第二相似度信息。分析单元接收到图像获取单元发送的目标任务的执行结果信息之后,分析单元可以确定第三执行结果信息,可选的,分析单元可以分别确定第一相似度信息和第二相似度信息的权重,分析单元根据第一相似度信息及其权重、第二相似度信息及其权重获取目标对象与待识别对象的第三相似度信息。
分析单元可以将得到的第三相似度信息作为第三执行结果信息,或者,可选的,分析单元在获取到第三相似度信息后,可以判断第三相似度信息是否满足第二相似条件;若满足,则分析单元可以判定目标任务结束,且视频监控系统内出现待识别对象,若不满足,可以执行其他操作,比如可以判定目标任务结束,且视频监控系统内未出现待识别对象,或者,分析单元可以重复执行目标任务,比如,继续接收IPC发送的目标任务的执行结果信息,并根据新接收到的执行结果信息和之前接收到的执行结果信息重新获取目标对象与待识别对象的第三相似度信息,并重复执行判断第三相似度信息是否满足第二相似条件的步骤。
现有的第二相似度条件一般为一个中间相似度阈值,当相似度的取值大于这个中间相似度阈值时,便可以判定目标对象与待识别对象相同,当相似度的取值小于这个中间相似度阈值时,便可以判定目标对象与待识别对象不同。将现有技术设置的相似度阈值称作中间相似度阈值,是因为该相似度阈值的取值通常接近50%,这是因为,若该相似度阈值设置的过高,那么当待识别对象出现在图像中时,容易因设备因素等问题导致误判,造成漏识别,而若该相似度阈值设置的过低,那么容易将图像中的非待识别对象判定为待识别对象,造成过识别。这就导致,当单个IPC得到的相似度的取值接近该中间相似度阈值时,IPC差异所导致的随机误差将可能改变识别结果,此时根据单个IPC得到的相似度的取值作出的识别判断结果的可靠性较差;当单个IPC得到的相似度的取值远大于中间相似度阈值时,IPC差异所导致的随机误差将难以改变识别结果,也就是说,此时根据单个IPC得到的相似度的取值进行识别判断的结果一般是可靠的,比如,假设相似度条件为相似度的取值大于60%,当某个IPC得到的相似度的取值很高,甚至接近100%时,根据单个IPC得到的相似度的取值可以判定目标对象与待识别对象相同,而IPC差异产生的随机误差对相似度的取值的影响一般不会过大,因此,根据单个IPC得到的相似度的取值进行的识别判断结果一般是可靠的。
考虑到上述问题,在现有技术设置的中间相似度阈值的基础上,本申请提出设置一个高相似度阈值,高相似度阈值高于中间相似度阈值,比如,中间相似度阈值为60%,高相似度阈值为90%。基于设置的高相似度阈值,下面对本申请系统提出以下几方面优化方案:
1、可以将第二相似条件设置为高于高相似度阈值,当分析单元判定第三相似度信息不满足第二相似条件时,可以重复执行目标任务,继续接收IPC发送的目标任务的执行结果信息,并根据新接收到的执行结果信息和之前接收到的执行结果信息重新获取目标对象与待识别对象的第三相似度信息,并重复执行判断第三相似度信息是否满足第二相似条件的步骤,有利于提高本申请系统得到的识别结果的可靠性。
2、考虑到由多个IPC执行同一任务存在耗时、耗资源的问题,为了减少耗时,降低资源消耗,当某个IPC得到的相似度的取值高于高相似度阈值时,可以直接输出识别结果,判定图像中的目标对象为待识别对象,无需由多个IPC执行该识别任务,具体的,可以从以下两方面来实现:
2.1、结合图8对应的实施例,第二图像获取单元执行判断第二图像是否满足预设条件的过程可以包括:第二图像获取单元可以提取第二图像中的目标对象的第二特征信息,之后获取第二相似度信息,第二相似度信息用于表示待识别对象与第二图像中的目标对象之间的相似程度,比如待识别对象与第二图像中的目标对象之间的相似程度,之后,第二图像获取单元可以判断第二相似度信息是否满足第一相似条件(比如低于预设的高相似度阈值),若满足,则第二图像获取单元可以判定第二图像满足预设条件,发送目标任务的发起信息,请求由其他IPC共同识别图像中的目标对象与待识别对象之间的相似度信息;若不满足,则第二图像获取单元可以执行其他操作,比如,直接判定发现待识别对象,而不发送目标任务的发起信息。
2.2、图像获取单元在获取到目标任务的指示信息之后,可以根据执行结果信息是否满足第三相似条件来选择是否将该执行结果信息发送给分析单元。以第一图像获取单元为例,第一图像获取单元获取到目标任务的指示信息之后,若获取到第一相似度信息,可以判断第一相似度信息是否满足第三相似条件(比如低于预设的高相似度阈值),若满足,则第一图像获取单元可以执行将第一执行结果信息发送给分析单元的步骤,若不满足,则第二图像获取单元可以执行其他操作,比如,直接判定发现待识别对象,通知分析单元结束目标任务。
当图像获取单元得到的相似度的取值过低时,要么是由于图像中的目标对象不是待识别对象,此时根据该相似度的取值发起目标任务,使其他IPC协同判断目标对象是否为待识别对象,容易造成资源的浪费;要么虽然图像中的目标对象为待识别对象,但是由于存在过多遮挡、或者拍摄角度或拍摄光线不佳,导致漏识别的情况,可见,在这种情况下,该相似度的取值的可参考性极低,根据该相似度的取值发起目标任务容易导致资源浪费,作为分析单元获取第三执行结果信息的依据容易降低结果的可靠性。
考虑到上述问题,在现有技术设置的中间相似度阈值的基础上,本申请提出设置一个低相似度阈值,低相似度阈值低于中间相似度阈值,比如,中间相似度阈值为60%,低相似度阈值为20%。基于设置的低相似度阈值,可以将上述2.1中描述的第一相似条件设置为高于低相似度阈值,或者将第一相似度阈值设置为高于低相似度阈值且低于高相似度阈值,若得到相似度的取值低于低相似度阈值,第二图像获取单元可以不向任务分配单元发送目标任务的发起信息,并继续获取图像中目标对象的相似度的取值;或者,可以将上述2.2中描述的第三相似度阈值设置为高于低相似度阈值,或者将第一相似度阈值设置为高于低相似度阈值且低于高相似度阈值,若得到相似度的取值低于低相似度阈值,第二图像获取单元可以不将得到的第二执行结果信息发送给分析单元,并继续对获取到的拍摄的图像执行目标任务。
安全布控系统是本申请视频监控系统的一种典型应用,安全布控具体是指在特定的区域(布控区域)部署多台IPC进行图像拍摄,各个IPC对拍摄到的图像中的目标对象(一般为人脸或车牌)进行图像识别,并将识别结果上报给安全布控系统的服务器进行存储或通过服务器展现给用户。黑名单布控是安全布控的一种典型应用,首先需要在各个IPC上定义一个黑名单信息,黑名单信息中一般存储有多个待识别目标(某个人的人脸或某个车牌)的特征信息,当待识别目标出现在布控区域内时,该区域内的IPC根据黑名单信息,对拍摄到的图像中的目标对象进行图像识别,能够判定拍摄到的图像中包括待识别对象,之后可以向安全布控系统的服务器发送报警信息,报警信息可以包括判定包括待识别对象的图像、拍摄该图像的时间信息、地点信息等,服务器收到报警信息后,可以触发报警给管理员进行处理。基于图12对应的方法实施例,下面提供本申请图像处理方法在安全布控领域的一种可能的应用场景。
如图13所示,为Z市的安全布控系统的示意图,Z市的安全布控系统可以包括服务器系统和多个子布控系统,子布控系统可以包括地铁站布控系统、街区布控系统、公园布控系统等,图13中仅示意出部分子布控系统——A地铁站布控系统、B地铁站布控系统、C公园布控系统和D街区布控系统。基于图12对应的方法实施例,请参阅图14,下面提供安全布控系统一种可能的运行方法:
E01、服务器系统向各个子布控系统发送黑名单信息;
服务器系统可以将最新的黑名单信息发送给各个子布控系统,由子布控系统针对黑名单信息中的所有待识别对象进行图像识别。考虑到黑名单信息中一般包括大量的待识别对象,对IPC的软件及硬件要求很高,因此,可以将子布控系统中的IPC进行不同配置,将其分别主IPC和协作IPC,由主IPC针对黑名单信息进行图像识别,由协作IPC执行接收到的目标任务,比如对黑名单信息中的某个待识别对象进行图像识别,并且,为了减少漏识别的情况,可以将主IPC布置在布控区域的必经位置,比如出入口处。
E02、IPC1在获取到的目标图像中检测到人脸信息;
当有人出现在IPC1对应的拍摄区域时,IPC1可以在获取到的目标图像中检测到人脸信息。之后,作为A地铁站布控系统的主IPC,IPC1可以针对黑名单信息进行图像识别。具体的,IPC1可以提取目标图像中人脸的特征信息,之后与黑名单信息中的待识别对象的特征信息进行比对,计算与各个待识别对象的相似度,之后可以分别判断得到的每个相似度的取值是否满足报警条件或任务发起条件。比如,报警条件可以为相似度的取值高于高相似度阈值,比如90%;任务发起条件为相似度的取值低于高相似度阈值(比如90%),且高于低相似度阈值(比如20%)。报警条件和任务发起条件可以为固定的判断条件,存储在IPC1中,或者也可以由服务器系统发送给IPC1。
假设目标图像中检测到的人脸信息对应于黑名单信息中的待识别对象甲,但是由于拍摄角度、环境因素等原因,IPC1得到的与甲的相似度的取值不一定可以高于高相似度阈值。
E03、当人脸信息符合甲的特征时,IPC1向服务器系统发送报警信息;
当IPC1得到的与甲的相似度的取值满足报警条件时,比如高于90%时,IPC1可以向服务器系统发送报警信息,报警信息可以包括与甲的相似度的取值和目标图像的信息(比如目标图像、目标图像的拍摄时间和地点等),服务器系统接收到报警信息后,可以通知管理员进行处理。
E04、当人脸信息疑似对应于甲时,IPC1向服务器系统发送关于甲的人脸识别任务的发起信息;
当IPC1得到的与甲的相似度的取值满足任务发起条件时,比如低于90%,且高于20%,此时,IPC1可以向服务器系统发送关于甲的人脸识别任务的发起信息,为了提高效率,关于甲的人脸识别任务的发起信息可以包括关于甲的人脸识别任务的执行结果信息,比如,发起信息可以包括与甲的相似度的取值和目标图像的信息(比如目标图像、目标图像的拍摄时间和地点等)。
E05、服务器系统向A地铁站布控系统发送关于甲的人脸识别任务的指示信息;
服务器系统接收到关于甲的人脸识别任务的发起信息后,根据目标图像的拍摄地点可以从多个子布控系统中选择A地铁站布控系统,之后,可以向A地铁站布控系统发送关于甲的人脸识别任务的指示信息,以判断甲是否真的出现在A地铁站布控区域(即A地铁站布控系统对应的拍摄区域),指示信息可以包括甲的面部特征信息、报警条件和协作条件等。A地铁站布控系统中的IPC2和IPC3接收到关于甲的人脸识别任务的指示信息后,可以针对甲进行图像识别,判断识别到的人脸信息与甲的相似度的取值是否满足报警条件或协作条件。比如,报警条件可以为相似度的取值高于高相似度阈值,比如90%;协作条件为相似度的取值低于高相似度阈值(比如90%),且高于低相似度阈值(比如20%)。
当甲进入IPC2对应的拍摄区域时,由于拍摄角度、环境因素等原因,IPC1得到的与甲对相似度的取值不一定可以高于高相似度阈值。
E06、当检测到的人脸信息符合甲的特征时,IPC2向服务器系统发送报警信息;
E07、当检测到的人脸信息疑似对应于甲时,IPC2向服务器系统发送关于甲的人脸识别任务的执行结果信息;
E08、服务器系统根据IPC1和IPC2发送的关于甲的人脸识别任务的执行结果信息计算与甲的相似度的综合结果,并根据综合结果判断是否满足报警条件。
服务器系统可以根据预存的计算相似度的综合结果的算法,根据IPC1和IPC2发送的关于甲的人脸识别任务的执行结果信息计算与甲的相似度的综合取值,比如,若IPC1和IPC2得到的与甲的相似度的取值分别为70%和60%,服务器系统可以计算二者的加权平均值,权重可以依据相似度的取值的大小进行分配,比如,相似度的取值越大,则其对应的权重越大,假设,二者的权重分别为60%和40%,那么得到的加权平均值为66%,作为与甲的相似度的综合结果。之后,服务器系统可以根据综合结果判断是否满足报警条件,也就是判断甲是否出现在A地铁站布控区域,比如,当综合结果高于80%时,可以判定甲出现在A地铁站布控区域,满足报警条件,否则,未判定甲出现在A地铁站布控区域,不满足报警条件。
若根据综合结果判定甲出现在A地铁站布控区域,服务器系统通知管理员进行处理。若根据综合结果未判定甲出现在A地铁站布控区域,服务器系统根据下一个协作IPC的执行结果信息对相似度的综合取值进行更新。具体的,若未判定甲出现在A地铁站布控区域,服务器系统可以继续等待下一个协作IPC,比如IPC3返回的执行结果信息,当接收到IPC3返回的执行结果信息时,服务器系统可以根据IPC3的执行结果信息对相似度的综合取值进行更新,具体的,可以根据IPC3的执行结果信息和已得到的相似度的综合结果重新执行步骤E08。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法实施例中的过程,可以参考前述系统、装置和单元的具体工作过程,在此不再赘述。
所述的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (18)

1.一种基于多机协作的图像处理方法,其特征在于,应用于视频监控系统,所述视频监控系统包括至少两个图像获取单元和分析单元,所述至少两个图像获取单元包括第一图像获取单元、第二图像获取单元,所述方法包括:
所述第一图像获取单元和所述第二图像获取单元分别获取拍摄的第一图像和第二图像;
所述第一图像获取单元和所述第二图像获取单元获取目标任务的指示信息,所述目标任务的指示信息用于指示对拍摄的图像中的目标对象进行处理;
所述第一图像获取单元和所述第二图像获取单元根据所述目标任务的指示信息分别获取所述目标任务的第一执行结果信息和第二执行结果信息,所述第一执行结果信息包括与所述第一图像中的所述目标对象对应的第一处理结果信息,所述第二执行结果信息包括与所述第二图像中的所述目标对象对应的第二处理结果信息,其中:所述第一处理结果信息包括待识别对象与第一图像中的目标对象的第一相似度信息,所述第二处理结果信息可以包括待识别对象与第二图像中的目标对象的第二相似度信息;
当所述第一图像获取单元判断所述第一相似度信息满足第三相似条件,且所述第二图像获取单元判断所述第二相似度信息满足第一相似条件,则:所述第一图像获取单元和所述第二图像获取单元将所述第一执行结果信息和所述第二执行结果信息发送给所述分析单元;
所述分析单元根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息,所述第三执行结果包括第三相似度信息;
当第三相似度信息是否满足第二相似条件,则所述分析单元判定所述视频监控系统内出现所述待识别对象。
2.根据权利要求1所述的方法,其特征在于,所述视频监控系统还包括任务分配单元,所述第一图像获取单元获取目标任务的指示信息之前,所述方法还包括:
所述任务分配单元获取所述目标任务的指示信息;
所述任务分配单元向所述第一图像获取单元发送所述目标任务的指示信息。
3.根据权利要求2所述的方法,其特征在于,所述第一图像获取单元获取目标任务的指示信息之后,所述第一图像获取单元根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息之前,所述方法还包括:
所述第一图像获取单元判断是否接受所述目标任务;
若接受,则所述第一图像获取单元执行根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息的步骤。
4.根据权利要求2所述的方法,其特征在于,在所述任务分配单元获取所述目标任务的指示信息之后,在所述任务分配单元向所述第一图像获取单元发送所述目标任务的指示信息之前,所述方法还包括:
所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元。
5.根据权利要求4所述的方法,其特征在于,所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元包括:
所述任务分配单元接收所述至少两个图像获取单元发送的资源信息;
所述任务分配单元根据所述资源信息从所述至少两个图像获取单元中选择所述第一图像获取单元。
6.根据权利要求4所述的方法,其特征在于,所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元包括:
所述任务分配单元确定所述目标任务的类型;
所述任务分配单元根据预先建立的任务类型与图像获取单元的对应关系确定所述目标任务对应于所述第一图像获取单元。
7.根据权利要求4所述的方法,其特征在于,所述任务分配单元从所述至少两个图像获取单元中选择所述第一图像获取单元包括:
所述任务分配单元确定所述目标任务对应的区域信息;
所述任务分配单元根据所述区域信息从所述至少两个图像获取单元中选择所述第一图像获取单元。
8.根据权利要求2所述的方法,其特征在于,所述第二图像获取单元获取所述第二图像之后,所述任务分配单元获取所述目标任务的指示信息之前,所述方法还包括:
当所述第二图像获取单元判断所述第二相似度信息满足第一相似条件;
则所述第二图像获取单元向所述任务分配单元发送所述目标任务的发起信息,所述发起信息用于指示所述任务分配单元发送所述目标任务的指示信息;
所述任务分配单元获取所述目标任务的指示信息包括:
所述任务分配单元根据所述目标任务的发起信息获取所述目标任务的指示信息。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述第一图像获取单元部署于第一网络摄像机,所述分析单元与所述第二图像获取单元部署于第二网络摄像机。
10.一种基于多机协作的视频监控系统,其特征在于,包括至少两个图像获取单元和分析单元,所述至少两个图像获取单元包括第一图像获取单元、第二图像获取单元;
所述第一图像获取单元用于获取拍摄的第一图像,并且获取目标任务的指示信息,所述目标任务的指示信息用于指示对拍摄的图像中的目标对象进行处理,之后,根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息,所述第一执行结果信息包括与所述第一图像中的所述目标对象对应的第一处理结果信息,其中:所述第一处理结果信息包括待识别对象与第一图像中的目标对象的第一相似度信息,当所述第一相似度信息满足第三相似条件,将所述第一执行结果信息发送给所述分析单元;
所述第二图像获取单元用于获取拍摄的第二图像,并且获取目标任务的指示信息,所述目标任务的指示信息用于指示对拍摄的图像中的目标对象进行处理,之后,根据所述目标任务的指示信息获取所述目标任务的第二执行结果信息,所述第二执行结果信息包括与所述第二图像中的所述目标对象对应的第二处理结果信息,其中:所述第二处理结果信息包括待识别对象与第一图像中的目标对象的第二相似度信息,当所述第二相似度信息满足第一相似条件,将所述第二执行结果信息发送给所述分析单元;
所述分析单元用于根据所述第一执行结果信息和所述第二执行结果信息确定所述目标任务的第三执行结果信息,所述第三执行结果包括第三相似度信息;当第三相似度信息是否满足第二相似条件,则所述分析单元判定所述视频监控系统内出现所述待识别对象。
11.根据权利要求10所述的系统,其特征在于,所述视频监控系统还包括任务分配单元,所述任务分配单元用于获取所述目标任务的指示信息,之后向所述第一图像获取单元发送所述目标任务的指示信息。
12.根据权利要求11所述的系统,其特征在于,所述第一图像获取单元用于:
在获取目标任务的指示信息之后,根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息之前,判断是否接受所述目标任务,若判定接受,则执行根据所述目标任务的指示信息获取所述目标任务的第一执行结果信息的步骤。
13.根据权利要求12所述的系统,其特征在于,所述任务分配单元用于在获取所述目标任务的指示信息之后,从所述至少两个图像获取单元中选择所述第一图像获取单元。
14.根据权利要求13所述的系统,其特征在于,所述任务分配单元用于:
接收所述至少两个图像获取单元发送的资源信息,之后根据所述资源信息从所述至少两个图像获取单元中选择所述第一图像获取单元。
15.根据权利要求14所述的系统,其特征在于,所述任务分配单元还用于:
确定所述目标任务的类型,之后根据预先建立的任务类型与图像获取单元的对应关系确定所述目标任务对应于所述第一图像获取单元。
16.根据权利要求15所述的系统,其特征在于,所述任务分配单元还用于:
确定所述目标任务对应的区域信息,之后根据所述区域信息从所述至少两个图像获取单元中选择所述第一图像获取单元。
17.根据权利要求12所述的系统,其特征在于,所述第二图像获取单元用于:
获取所述第二图像之后,判断所述第二相似度信息满足第一相似条件,则向所述任务分配单元发送所述目标任务的发起信息,所述发起信息用于指示所述任务分配单元发送所述目标任务的指示信息;
所述任务分配单元还用于根据所述目标任务的发起信息获取所述目标任务的指示信息。
18.根据权利要求10-17任一项所述的系统,其特征在于,所述第一图像获取单元部署于第一网络摄像机,所述分析单元与所述第二图像获取单元部署于第二网络摄像机。
CN201810864729.1A 2018-08-01 2018-08-01 一种基于多机协作的图像处理方法和视频监控系统 Active CN110798653B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810864729.1A CN110798653B (zh) 2018-08-01 2018-08-01 一种基于多机协作的图像处理方法和视频监控系统
PCT/CN2019/094119 WO2020024749A1 (zh) 2018-08-01 2019-07-01 一种基于多机协作的图像处理方法和视频监控系统
EP19844291.5A EP3796637A4 (en) 2018-08-01 2019-07-01 IMAGE PROCESSING METHOD BASED ON MULTICOMPUTER COOPERATION AND VIDEO MONITORING SYSTEM
US17/120,471 US11445150B2 (en) 2018-08-01 2020-12-14 Multi-camera collaboration-based image processing method and video surveillance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810864729.1A CN110798653B (zh) 2018-08-01 2018-08-01 一种基于多机协作的图像处理方法和视频监控系统

Publications (2)

Publication Number Publication Date
CN110798653A CN110798653A (zh) 2020-02-14
CN110798653B true CN110798653B (zh) 2021-09-14

Family

ID=69231397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810864729.1A Active CN110798653B (zh) 2018-08-01 2018-08-01 一种基于多机协作的图像处理方法和视频监控系统

Country Status (4)

Country Link
US (1) US11445150B2 (zh)
EP (1) EP3796637A4 (zh)
CN (1) CN110798653B (zh)
WO (1) WO2020024749A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414885A (zh) * 2020-03-27 2020-07-14 海信集团有限公司 智能家居设备、服务器及图像处理方法
CN112153341B (zh) * 2020-09-24 2023-03-24 杭州海康威视数字技术股份有限公司 一种任务监督方法、装置、系统、电子设备及存储介质
CN113344550B (zh) * 2021-06-30 2023-11-28 西安力传智能技术有限公司 一种流程处理方法、装置、设备及存储介质
CN114121524A (zh) * 2021-11-24 2022-03-01 西安热工研究院有限公司 一种用于火电厂电气操作监护的方法及系统
CN115065784A (zh) * 2022-06-30 2022-09-16 天翼数字生活科技有限公司 用于共享摄像装置处理能力的方法、装置和网络
CN116634100B (zh) * 2023-05-25 2023-11-14 广东申立信息工程股份有限公司 一种基于ipc的信息交互方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639891A (zh) * 2008-07-28 2010-02-03 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
CN103856762A (zh) * 2014-01-26 2014-06-11 孙培梁 多摄像头智能选择和视频优先级判断系统及选择方法
CN104008371A (zh) * 2014-05-22 2014-08-27 南京邮电大学 一种基于多摄像机的区域可疑目标跟踪与识别方法
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法
CN105872474A (zh) * 2016-05-18 2016-08-17 西安银石科技发展有限责任公司 基于暗光补偿双摄像头视频识别的机车检修系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189059B2 (en) * 2003-01-29 2012-05-29 Nikon Corporation Digital camera and digital camera system
US7542588B2 (en) * 2004-04-30 2009-06-02 International Business Machines Corporation System and method for assuring high resolution imaging of distinctive characteristics of a moving object
US8284254B2 (en) * 2005-08-11 2012-10-09 Sightlogix, Inc. Methods and apparatus for a wide area coordinated surveillance system
US8760519B2 (en) * 2007-02-16 2014-06-24 Panasonic Corporation Threat-detection in a distributed multi-camera surveillance system
US8755785B2 (en) * 2011-03-31 2014-06-17 Intel Corporation Collaborative image control
RU2015106938A (ru) * 2012-07-31 2016-09-20 Нек Корпорейшн Система обработки изображения, способ обработки изображения и программа
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
CN103317514B (zh) * 2013-06-20 2016-06-01 中国矿业大学 一种矿用环境探测机器人控制系统
US9736349B2 (en) * 2014-12-24 2017-08-15 Intel Corporation Adaptive video end-to-end network with local abstraction
CN104850700B (zh) * 2015-05-20 2018-03-09 北京控制工程研究所 一种协作式可视化仿真平台
AU2015203666A1 (en) * 2015-06-30 2017-01-19 Canon Kabushiki Kaisha Methods and systems for controlling a camera to perform a task
US9911198B2 (en) * 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
US10699422B2 (en) * 2016-03-18 2020-06-30 Nec Corporation Information processing apparatus, control method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639891A (zh) * 2008-07-28 2010-02-03 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
CN103856762A (zh) * 2014-01-26 2014-06-11 孙培梁 多摄像头智能选择和视频优先级判断系统及选择方法
CN104008371A (zh) * 2014-05-22 2014-08-27 南京邮电大学 一种基于多摄像机的区域可疑目标跟踪与识别方法
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法
CN105872474A (zh) * 2016-05-18 2016-08-17 西安银石科技发展有限责任公司 基于暗光补偿双摄像头视频识别的机车检修系统及方法

Also Published As

Publication number Publication date
EP3796637A4 (en) 2022-03-02
US11445150B2 (en) 2022-09-13
CN110798653A (zh) 2020-02-14
EP3796637A1 (en) 2021-03-24
US20210136326A1 (en) 2021-05-06
WO2020024749A1 (zh) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110798653B (zh) 一种基于多机协作的图像处理方法和视频监控系统
CN109040709B (zh) 视频监控方法及装置、监控服务器及视频监控系统
JP6800628B2 (ja) 追跡装置、追跡方法、及びプログラム
US20160283797A1 (en) Surveillance system and method based on accumulated feature of object
CN111105621B (zh) 一种检测违章停车的方法及装置
CN109905641B (zh) 一种目标监控方法、装置、设备及系统
CN109960969B (zh) 移动路线生成的方法、装置及系统
CN112291520A (zh) 异常事件识别方法、装置、存储介质及电子装置
CN109326125B (zh) 基于嵌入式系统的图片质量诊断系统及诊断方法
CN113378616A (zh) 视频分析方法、视频分析的管理方法及相关设备
CN112017323A (zh) 一种巡检报警方法、装置、可读存储介质及终端设备
KR20200069911A (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
CN110781735A (zh) 一种用于识别人员在岗状态的报警方法及系统
CN110610610A (zh) 一种车辆出入管理方法、装置以及存储介质
JP2023015140A (ja) 監視カメラ、監視システム、監視カメラの制御方法及びプログラム
CN111340016A (zh) 图像曝光方法和装置、存储介质及电子装置
CN105825680A (zh) 智能识别闯红灯系统及装置
CN112180353A (zh) 目标对象的确认方法及系统、存储介质
KR101236266B1 (ko) 주차공간정보 관리시스템
KR20180072466A (ko) 영상 감시 영역 설정 시스템 및 방법
CN111050027A (zh) 镜头畸变补偿方法、装置、设备和存储介质
CN115880631A (zh) 一种配电站故障识别系统、方法、介质
CN114422776A (zh) 摄像设备的检测方法及装置、存储介质、电子装置
KR20150099990A (ko) 영상감시 시스템, 관리서버 및 그 영상신호 수신방법, 카메라 및 그 영상신호 전송방법
WO2017131265A1 (ko) 다중객체 영상분석 및 그 결과 제공을 위한 영상분석 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant