CN113505250A - 一种分布式图像分析方法、系统及存储介质 - Google Patents

一种分布式图像分析方法、系统及存储介质 Download PDF

Info

Publication number
CN113505250A
CN113505250A CN202110609928.XA CN202110609928A CN113505250A CN 113505250 A CN113505250 A CN 113505250A CN 202110609928 A CN202110609928 A CN 202110609928A CN 113505250 A CN113505250 A CN 113505250A
Authority
CN
China
Prior art keywords
image
server
images
index
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110609928.XA
Other languages
English (en)
Inventor
雷霆
邹超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110609928.XA priority Critical patent/CN113505250A/zh
Publication of CN113505250A publication Critical patent/CN113505250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

一种提高分析效率的分布式图像分析方法,包括:任一第一服务器通过图像碰撞分析获取结果集,包括记录有结果对象的索引图像,索引图像对应有结果对象被拍摄的次数;多个第一服务器分别向第二服务器发送结果集;第二服务器对每个结果集中的索引图像进行特征提取,得到每一索引图像的特征值;第二服务器对所提取到的所有索引图像的特征值进行图像碰撞分析,得到每一索引图像的置信度;当第二服务器确定多个第一服务器发送的结果集中的索引图像进行比较,当索引图像之间相似度满足预设条件,则获取所述索引图像所对应的被拍摄次数的总和。

Description

一种分布式图像分析方法、系统及存储介质
技术领域
本发明涉及图像分析技术领域,具体涉及一种分布式图像分析方法、系统及存储介质。
背景技术
随着大数据和人脸技术的进步,在视频监控方案中,图像碰撞分析已经深入到安防领域,加快了大案要案的侦破效率,减少办案人员分析案件信息的工作量和提高了办案效率。实际工作中,办案人员可以对各个网络摄像机所获取到的监控图像进行图像碰撞分析;查找某个时段、某个地点频繁出现的人员,应用场景如火车站黄牛人员分析。
在实际的部署使用场景中,视频监控系统一般由省(中心)与地市(边缘)组成的多级域,业务上是省中心与多个地市联动,由省中心发起图像碰撞任务,各地市执行。
现有技术中,由于省中心与地市的人工智能(artificial intelligence,AI)业务算法由不同厂商提供,地市服务器图像碰撞分析的结果不能在省中心服务器中兼容,为了解决这个问题,地市服务器只能将本地的监控图像上传到省中心服务器,由省中心服务器对各地市的监控图像进行统一的接收、存储和图像碰撞分析。如此一来,省中心执行一次图像碰撞分析需要临时保存各地市上传的业务数据,然后对其进行重新计算与分析,这样给省中心的计算和存储资源都带来巨大压力;而各地市系统本身就具备的计算与分析能力,这样的方案不能发挥下级地市的算力资源,仅仅把地市系统作为一个数据存储系统,造成了算力浪费,同时对于监控图像的上传,省中心与地市之间需要传输大量的图片流和视频流,对网络带宽和时延要求高,建设费用高,同时,由于监控图像容量太大,省中心进行图像碰撞分析业务耗时长。
因此,现有技术中所存在的上述问题还有待于改进。
发明内容
本发明实施例提供一种分布式图像分析方法、系统及存储介质,能够使第一服务器以结果集的形式将图像碰撞分析结果发送给第二服务器,之后第二服务器对所接收的结果集进行二次图像碰撞分析从而筛选出高频出现的结果对象,其中该第一服务器可以为地市服务器,该第二服务器可以为省中心服务器,充分利用了地市服务器的算力,减少省中心服务器资源压力,降低图像碰撞分析耗时,同时该数据集合的容量小于监控图像,降低了业务数据传输压力。
有鉴于此,本申请第一方面提供一种分布式图像分析方法,包括:第一服务器通过图像碰撞分析获取结果集,所述结果集包括索引图像,所述索引图像记录有结果对象,所述索引图像对应有对象频次,所述对象频次用于指示所述结果对象被拍摄的次数;所述第一服务器向第二服务器发送所述结果集,所述结果集用于供所述第二服务器进行第二次图像碰撞分析。本申请实施例提供的分布式图像分析方法应用于图像分析系统中,该图像分析系统包括多个第一服务器以及与所述多个第一服务器连接的第二服务器。
由以上第一方面可见,该第一服务器以结果集的形式将图像碰撞分析的结果发送给第二服务器,该结果集中每个结果对象只对应有一张索引图像,减少了数据传输的容量,同时由于该索引图像对应有该对象频次,使得减少数据传输容量的同时,不影响第一服务器图像碰撞分析结果的呈现,同时充分利用了第一服务器的算力,降低第二服务器资源压力,提升了图像碰撞分析算法的计算效率。
结合上述第一方面,在第一种可能的实现方式中,所述第一服务器通过图像碰撞分析获取结果集包括:所述第一服务器获取多个候选图像,所述候选图像为所述第一服务器所存储的图像中包括有所述结果对象的图像;所述第一服务器在所述多个候选图像中确定所述索引图像;所述第一服务器确定所述候选图像的数量为所述对象频次。
由以上第一方面第一种可能的实现方式可见,所述第一服务器从候选图像中获取索引图像的方式,可以是随机获取,也可以是按预设的规则获取,以生成结果集。该方法能够快速地从候选图像中获取索引图像,节省算力;同时,所述第一服务器将候选图像的数量作为对象频次添加到索引图像中,从而使得该索引图像能够代表第一服务器中所有记录有同一结果对象的候选图像,供第二服务器进行第二次图像碰撞分析。
结合上述第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述第一服务器通过图像碰撞分析获取结果集之前,所述方法还包括:所述第一服务器接收所述第二服务器发送的目标指令,所述目标指令包括置信度阈值;所述第一服务器获取多个候选图像,包括:所述第一服务器对存储图像进行特征提取,得到每一存储图像的特征值,所述存储图像为存储在所述第一服务器中的全部图像;所述第一服务器对所述存储图像的特征值进行图像碰撞分析,得到每一所述存储图像的置信度;所述第一服务器获取置信度大于或等于所述置信度阈值的存储图像,作为共同包括有同一所述结果对象的候选图像。
由以上第一方面第二种可能的实现方式可见,该目标指令中包括有置信度阈值,则第一服务器在执行图像碰撞算法时,在存储图像中选取置信度大于该置信度阈值的图像作为候选图像,即图像两两之间记录的结果对象置信度高于该置信度阈值,判定为同一结果对象。
结合上述第一方面第二种可能的实现方式,在第三种可能的实现方式中,所述目标指令还包括目标时间段和/或目标摄像机标识,则所述第一服务器对存储图像进行特征提取,包括:所述第一服务器对所述目标时间段内的所述存储图像进行特征提取,和/或,所述第一服务器对所述目标摄像机标识所标识的摄像机拍摄的所述存储图像进行特征提取。
结合上述第一方面第一种可能的实现方式,在第四种可能的实现方式中,所述第一服务器在所述多个候选图像中确定所述索引图像包括:所述第一服务器通过图像分析算法获取每一所述候选图像的图像质量;所述第一服务器选取所述候选图像中图像质量最高的图像作为所述索引图像。
由以上第一方面第四种可能的实现方式可见,第一服务器在获取到候选图像之后,通过图像分析算法获取候选图像中图像质量最高的图像作为索引图像,准确地代表候选图像所共同记录的结果对象,供第二服务器进行第二次图像碰撞分析;所述图像质量最高,可以是拍摄图像时光照条件最好,也可以是被拍摄对象为人时,没有出现侧脸、低头等情况,也可以是被拍摄对象没有被遮挡。
结合上述第一方面第一至第四任意一种可能的实现方式,在第五种可能的实现方式中,所述第一服务器获取多个候选图像之后,所述方法还包括:所述第一服务器获取所述候选图像的资源地址;所述第一服务器获取所述结果集,所述结果集包括所述资源地址,所述资源地址供所述第二服务器通过所述资源地址访问所述候选图像。
由以上第一方面第五种可能的实现方式可见,第一服务器发送的结果集中添加有候选图像的资源地址,从而使得第二服务器可以通过该资源地址访问存储在第一服务器中的候选图像,资源地址的格式更小,不占用发送资源和第二服务器的存储资源,同时又使得第二服务器得以访问所有的候选图像,从而获取到记录有感兴趣的结果对象的所有候选图像。
本申请第二方面提供一种分布式图像分析方法,包括:第二服务器接收多个第一服务器分别发送的每一所述第一服务器各自得到的结果集,每一所述结果集包括索引图像,所述索引图像记录有结果对象,所述索引图像对应有对象频次,所述对象频次用于指示所述结果对象被拍摄的次数;所述第二服务器对每个所述结果集中的索引图像进行特征提取,得到每一所述索引图像的特征值;所述第二服务器对所提取到的所有所述索引图像的特征值进行图像碰撞分析,得到每一所述索引图像的置信度;当所述第二服务器确定所述多个第一服务器发送的结果集中的索引图像之间的置信度大于或等于预设值,则获取所述索引图像所对应的对象频次的总和。
由以上第二方面可见,第二服务器所接收的结果集中包括索引图像,以及与该索引图像对应的对象频次。因此,第二服务器只需要接收索引图像一个图像,即可获取一个结果对象的所有信息,大大节省了传输的效率,同时,由于索引图像为普通的图像文件,兼容不同厂商的算法,因此,第一服务器和第二服务器即使安装不同厂商的算法也可以兼容,充分利用了各级服务器的算力,从而提升计算效率。
结合上述第二方面,在第一种可能的实现方式中,所述结果集中包括候选图像的资源地址,所述候选图像为所述第一服务器所的存储图像中记录有所述结果对象的图像,所述存储图像为存储在所述第一服务器中的全部图像;则所述获取所述索引图像所对应的所述对象频次的总和之后,所述方法还包括:所述第二服务器通过所述资源地址访问所述候选图像。
由以上第二方面第一种可能的实现方式可见,由于该结果集中只有索引图像没有其余候选图像,用户在得到被拍摄频次最高的结果对象时,会有兴趣想要查阅记录有该结果对象的所有候选图像,此时,该第二服务器可以通过该资源地址访问存储在第一服务器是的该候选图像。
结合上述第二方面第一种可能的实现方式,在第二种可能的实现方式中,所述第二服务器接收多个第一服务器发送的结果集之前,所述方法还包括:所述第二服务器向所述第一服务器发送目标指令,所述目标指令包括置信度阈值,所述第一服务器中任意所述候选图像之间的置信度大于或等于所述置信度阈值。
由以上第二方面第二种可能的实现方式可见,该目标指令中包括有置信度阈值,则第二服务器可以通过该目标指令,控制该第一服务器在执行图像碰撞算法时,对第一服务器通过图像碰撞分析对本地的存储图像进行比对,当两个存储图像之间的置信度大于或等于所述置信度阈值,则判断该两个存储图像记录有同一结果对象,因此归类该两个存储图像为记录有同一结果对象的候选图像;使得该第二服务器可以通过该目标指令控制第一服务器筛选候选图像的条件,从而调控第一服务器的工作情况。
结合上述第二方面第二种可能的实现方式,在第三种可能的实现方式中,所述目标指令还包括目标时间段和/或目标摄像机标识,则所述目标指令用于供所述第一服务器对所述目标时间段内的所述存储图像进行特征提取,和/或,所述第一服务器对所述目标摄像机标识所标识的摄像机拍摄的所述存储图像进行特征提取。
由以上第二方面第三种可能的实现方式可见,该目标指令中包括有目标时间段,则第二服务器可以控制该第一服务器获取该目标时间段内拍摄的候选图像;当该目标指令中包括有目标摄像机标识,则第一服务器获取该目标摄像机标识所标识的摄像机拍摄的候选图像,从而第二服务器可以通过该目标指令筛选图像碰撞分析的条件。
本申请第三方面提供一种图像分析服务器,包括:第一获取单元,用于通过图像碰撞分析获取结果集,所述结果集包括索引图像,所述索引图像记录有结果对象,所述索引图像对应有对象频次,所述对象频次用于指示所述结果对象被拍摄的次数;第一发送单元,用于向第二服务器发送所述第一获取单元获取的所述结果集,所述结果集用于供所述第二服务器进行图像碰撞分析。
由以上第三方面可见,该服务器以结果集的形式将图像碰撞分析的结果发送给第二服务器,该结果集以索引图像代表一个结果对象,减少了数据传输的容量,同时由于该索引图像对应对象频次,使得第二服务器能够进行频次计算,同时充分利用了各级服务器的算力,提升图像碰撞分析算法的计算效率。
结合上述第三方面,在第一种可能的实现方式中,所述第一获取单元,还用于:获取多个候选图像,所述候选图像为所述第一服务器所存储的图像中包括有所述结果对象的图像;在所述多个候选图像中确定所述索引图像;确定所述候选图像的数量为所述对象频次。
由以上第三方面第一种可能的实现方式可见,服务器从存储在本地的候选图像中选出至少一张作为该索引图像,具体选择的方法可以是随机算在,也可以是按照预设规律选择,以生成结果集。该方法能够快速地从候选图像中获取索引图像,节省算力;同时,所述第一服务器将候选图像的数量作为对象频次添加到索引图像中,从而使得该索引图像能够代表第一服务器中所有记录有同一结果对象的候选图像,供第二服务器进行第二次图像碰撞分析。
结合上述第三方面第一种可能的实现方式,在第二种可能的实现方式中,所述服务器还包括第一接收单元,所述第一接收单元用于:接收所述第二服务器发送的目标指令,所述目标指令包括置信度阈值;所述第一获取单元,用于:对存储图像进行特征提取,得到每一存储图像的特征值,所述存储图像为存储在所述第一服务器中的全部图像;对所述存储图像的特征值进行图像碰撞分析,得到每一所述存储图像的置信度;获取置信度大于或等于所述置信度阈值的存储图像,作为共同包括有同一所述结果对象的候选图像。
由以上第三方面第二种可能的实现方式可见,所述服务器通过图像碰撞分析对本地的存储图像进行比对,当两个存储图像之间的置信度大于或等于所述置信度阈值,则判断该两个存储图像记录有同一结果对象,因此归类该两个存储图像为记录有同一结果对象的候选图像;使得该第二服务器可以通过该目标指令控制所述服务器筛选候选图像的条件,从而调控所述服务器的工作情况。
结合上述第三方面第二种可能的实现方式,在第三种可能的实现方式中,所述第一接收单元还用于:接收所述第二服务器发送的所述目标指令,所述目标指令还包括目标时间段和/或目标摄像机标识;所述第一获取单元还用于,对所述目标时间段内的所述存储图像进行特征提取,和/或,对所述目标摄像机标识所标识的摄像机拍摄的所述存储图像进行特征提取。
由以上第三方面第三种可能的实现方式可见,该目标指令中还可以包括有目标时间段,则该服务器获取该目标时间段内拍摄的候选图像;当该目标指令中包括有目标摄像机标识,则第一服务器获取该目标摄像机标识所标识的摄像机拍摄的候选图像,从而第一获取单元可以按照第二服务器的要求获取指定地段的监控图像。
结合上述第三方面第一种可能的实现方式,在第四种可能的实现方式中,所述第一获取单元,还用于:对每一所述候选图像进行特征提取,得到每一所述候选图像的特征值;对所提取到的每一所述候选图像的特征值进行图像碰撞分析,得到每一所述候选图像的置信度;获取置信度最高的候选图像,作为所述索引图像。
由以上第三方面第四种可能的实现方式可见,该服务器在获取到候选图像之后,获取候选图像中置信度最高的图像作为索引图像,准确地代表候选图像所共同记录的结果对象,供第二服务器进行图像碰撞分析。
结合上述第三方面第一至第四任意一种可能的实现方式,在第五种可能的实现方式中,所述第一获取单元,还用于:取所述候选图像的资源地址;获取所述结果集,所述结果集包括所述资源地址,所述资源地址供所述第二服务器通过所述资源地址访问所述候选图像。
由以上第三方面第五种可能的实现方式可见,该服务器发送的结果集中添加有候选图像的资源地址,从而使得第二服务器可以通过该资源地址访问存储在该服务器中的候选图像,资源地址的格式更小,不占用发送资源和第二服务器的存储资源,同时又使得第二服务器得以访问所有的候选图像,从而获取到记录有感兴趣的结果对象的所有候选图像。
本申请第四方面提供一种图像分析服务器,包括:
第二获取单元,用于接收多个第一服务器分别发送的每一所述第一服务器各自得到的结果集,每一所述结果集包括索引图像,所述索引图像记录有结果对象,所述索引图像对应有对象频次,所述对象频次用于指示所述结果对象被拍摄的次数;分析单元,用于对第二获取单元所获取到的每个所述结果集中的索引图像进行特征提取,得到每一所述索引图像的特征值;对所提取到的所有所述索引图像的特征值进行图像碰撞分析,得到每一所述索引图像的置信度;输出单元,用于当确定多个第一服务器发送的结果集中的索引图像之间的置信度大于或等于预设值,则获取索引图像所对应的对象频次的总和。
由以上第四方面可见,该服务器所接收的结果集中包括索引图像,以及与该索引图像对应的对象频次。该服务器对该索引图像进行图像碰撞分析即可获得结果对象出现的频次信息,大大节省了传输的效率,同时,由于索引图像为普通的图像文件,兼容不同厂商的算法,因此,服务器之间即使安装不同厂商的算法也可以兼容,充分利用了各级服务器的算力,从而提升计算效率。
结合上述第四方面,在第一种可能的实现方式中,所述结果集中包括候选图像的资源地址,所述候选图像为所述第一服务器所的存储图像中记录有所述结果对象的图像,所述存储图像为存储在所述第一服务器中的全部图像;则所述第二获取单元还用于,通过所述资源地址访问所述候选图像。
由以上第四方面第一种可能的实现方式可见,由于该结果集中只有索引图像没有其余候选图像,用户在得到被拍摄频次最高的结果对象时,会有兴趣想要查阅记录有该结果对象的所有候选图像,此时,该服务器可以通过该资源地址访问存储在第一服务器是的该候选图像。
结合上述第四方面第一种可能的实现方式,在第二种可能的实现方式中,所述服务器还包括第二发送单元,用于:向所述第一服务器发送目标指令,所述目标指令包括置信度阈值,所述第一服务器中任意所述候选图像之间的置信度大于或等于所述置信度阈值。
由以上第四方面第二种可能的实现方式可见,该目标指令中包括有置信度阈值,该服务器可以通过该目标指令调控第一服务器的图像碰撞分析筛选条件。
结合上述第四方面第二种可能的实现方式,在第三种可能的实现方式中,所述第二发送单元还用于:向所述第一服务器发送所述目标指令,所述目标指令还包括目标时间段和/或目标摄像机标识,其中,所述目标指令用于供所述第一服务器对所述目标时间段内的所述存储图像进行特征提取,和/或,所述第一服务器对所述目标摄像机标识所标识的摄像机拍摄的所述存储图像进行特征提取。
由以上第四方面第三种可能的实现方式可见,该目标指令中包括有目标时间段,该服务器可以控制该第一服务器获取该目标时间段内拍摄的候选图像,从而筛选图像碰撞分析的条件。
本申请第五方面提供一种图像分析服务器,包括:处理器和存储器;所述存储器用于存储计算机执行指令,当所述图像分析服务器运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述图像分析服务器执行如上述第一方面或第一方面任意一种可能实现方式的分布式图像分析方法。
本申请第六方面提供一种图像分析服务器,包括:处理器和存储器;所述存储器用于存储计算机执行指令,当所述图像分析服务器运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述图像分析服务器执行如上述第二方面或第二方面任意一种可能实现方式的分布式图像分析方法。
本申请第七方面提供一种计算机可读存储介质,包括指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行上述第一方面或第一方面任一项所述的方法。
本申请第八方面提供一种计算机可读存储介质,包括指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行上述第二方面或第二方面任一项所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本发明实施例中,提供了一种分布式图像分析方法、系统及存储介质,包括:第一服务器通过图像碰撞分析获取结果集,该结果集包括索引图像,该索引图像记录有结果对象,该索引图像对应有对象频次,该对象频次用于指示该结果对象被拍摄的次数;多个该第一服务器分别向第二服务器发送每一该第一服务器各自得到的该结果集;该第二服务器对每个该结果集中的索引图像进行特征提取,得到每一该索引图像的特征值;该第二服务器对所提取到的所有该索引图像的特征值进行图像碰撞分析,得到每一该索引图像的置信度;当该第二服务器在该多个第一服务器发送的该结果集中确定该索引图像之间的置信度大于或等于预设值,则获取该索引图像所对应的该对象频次的总和。该第一服务器可以为地市服务器,该第二服务器可以为省中心服务器,该数据集合的格式不受AI业务算法类型的限制,两次图像碰撞分析充分利用了第一服务器和第二服务器的算力,降低第二服务器的资源压力,提升图像碰撞分析的速度,同时数据集合的容量更小,降低了业务数据传输压力。
附图说明
图1为本申请实施例中图像分析省市两级服务器的架构拓扑图;
图2为本申请实施例中的分布式图像分析方法的一实施例示意图;
图3为本申请实施例中的分布式图像分析方法的另一实施例示意图;
图4为本申请实施例中的分布式图像分析方法的另一实施例示意图;
图5为本申请实施例中的分布式图像分析方法的另一实施例示意图;
图6为本申请实施例中的分布式图像分析方法的另一实施例示意图;
图7为本申请实施例中的分布式图像分析系统中服务器的示意图;
图8为本申请实施例中的分布式图像分析系统的装置示意图。
具体实施方式
本发明实施例提供一种分布式图像分析方法、系统及存储介质,能够使第一服务器通过结果集的方式将图像碰撞分析结果发送给第二服务器,第二服务器获取多个第一服务器发来的结果集后进行二次图像碰撞分析,从而不同算法之间结果的兼容,充分利用各级别服务器的算力。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,在视频监控方案中,基于大数据的图像碰撞分析技术已经深入到安防领域,加快了大案要案的侦破效率,减少办案人员分析案件信息的工作量和提高了办案效率。实际工作中,办案人员可以对各个网络摄像机所获取到的监控图像进行图像碰撞分析;从而查找某个时段、某个地点频繁出现的人员,应用场景如火车站黄牛人员分析。
上述图像碰撞分析算法的具体执行方式为,依次将所存储的目标图像与所存储的其余图像逐一比对,该目标图像为任意所存储的图像:当某一图像所记录的结果对象与目标图像所记录的结果对象相似度高于阈值时,判定该图像与该目标图像记录的结果对象为同一对象,至此,由于有两个图像记录到同一结果对象,因此判定该结果对象的被拍摄频次为两次。重复执行上述步骤,将该目标图像继续与其他图像比对,直到获取同一结果对象在所存储的所有图像中的出现频次;其中,该相似度在图像碰撞分析技术领域被称为置信度,置信度高,说明图像将结果对象记录得更加清晰,上述的图像可以为相片,也可以为视频,上述结果对象可以为人脸,也可以是汽车。
在实际的部署使用场景中,视频监控系统一般由省(中心)与地市(边缘)组成的多级域,业务上是省中心与多个地市联动,由省中心发起图像碰撞任务,各地市执行,从而可以在全省范围内查找结果对象被拍摄的频次,获取全省范围内被拍摄频次top N的结果对象。
由于省中心与地市执行图像碰撞分析的人工智能(artificial intelligence,AI)算法由不同厂商提供,地市服务器图像碰撞分析的结果不能在省中心服务器中兼容,为了解决这个问题,地市服务器只能将本地通过网络摄像机拍摄到的监控图像上传到省中心服务器,由省中心服务器对各地市的监控图像进行统一的接收、存储和图像碰撞分析。如此一来,省中心执行一次图像碰撞分析需要临时保存各地市上传的业务数据,然后对其进行重新计算与分析。
这样给省中心的计算和存储资源都带来巨大压力;而各地市系统本身就具备的计算与分析能力,这样的方案不能发挥下级地市的算力资源,仅仅把地市系统作为一个数据存储系统,造成了算力浪费,同时对于监控图像的上传,省中心与地市之间需要传输大量的图片流和视频流,对网络带宽和时延要求高,建设费用高,同时,由于监控图像容量太大,省中心进行图像碰撞分析业务耗时长。
为了克服上述问题,本申请实施例提供一种分布式图像分析方法、系统及存储介质,能够通过结果集的形式,将第一服务器的图像碰撞分析结果发送给第二服务器,从而克服算法的不同,在不同级别的服务器之间共享图像碰撞分析结果,在多级域系统中充分利用了各级服务器的算力,降低信息传输压力,提升了计算效率。
为便于理解,下面对本申请实施例中的具体流程进行描述,请参阅图2,本申请实施例中分布式图像分析方法的一个实施例包括:
201、第一服务器通过图像碰撞分析获取结果集。
本实施例中,该结果集包括索引图像,该索引图像记录有结果对象,该索引图像对应有对象频次,该对象频次用于指示该结果对象被拍摄的次数;具体地,该索引图像的文件名称中记录有该对象频次的信息。
例如,该第一服务器为深圳市服务器,该深圳市服务器通过图像碰撞分析得到的结果集中包括A和B两个结果集,A结果集中包括一张索引图像甲,B结果集中包括有一张索引图像乙,分别记录了张三及李四两个结果对象,其中,索引图像甲对应有张三在深圳市内被拍摄的次数为100次,索引图像乙对应有李四在深圳市内被拍摄的次数为200次。
202、多个第一服务器分别向第二服务器发送每一第一服务器各自得到的结果集。
本实施例中,每个该第一服务器可以向该第二服务器发送一个结果集,也可以发送多个结果集,其中,每个结果集中只记录有一个结果对象,该结果对象可以是人,也可以是汽车,本发明实施例对于结果对象并不做具体限定。
例如,该第二服务器为广东省服务器,一个第一服务器:深圳市服务器向广东省服务器发送了如上的A结果集和B结果集,另一个第一服务器:东莞市服务器向广东省服务器发送了C结果集、D结果集和E结果集,其中,该C结果集中包括一张索引图像丙,该D结果集中包括一张索引图像丁,该E结果集中包括一张索引图像戊;索引图像丙记录了结果对象王五在东莞市内被拍摄的次数为100次,索引图像丁记录了结果对象张三在东莞市内被拍摄的次数为10次,索引图像戊记录了结果对象李四在东莞市内被拍摄的次数为20次。
203、第二服务器对每个结果集中的索引图像进行特征提取,得到每一索引图像的特征值。
本实施例中,该第二服务器通过图像分析算法进行特征提取,得到每一张索引图像的特征值,该图像分析算法的具体计算流程为现有技术,本发明实施例不在赘述。
例如,广东省服务器已经接收到上述甲、乙、丙、丁、戊五个索引图像,通过特征提取,在索引图像甲中得到张三的特征值,在索引图像乙中得到李四的特征值,在索引图像丙中得到王五的特征值,在索引图像丁中得到张三的特征值,在索引图像戊中得到李四的特征值。
204、第二服务器对所提取到的所有索引图像的特征值进行图像碰撞分析,得到每一索引图像的置信度。
本实施例中,第二服务器通过图像碰撞分析,得到每一索引图像的置信度。
例如,广东省服务器通过图像分析算法比对甲、乙、丙、丁、戊五个索引图像,得到甲图像和丁图像之间的置信度为90%,乙图像和戊图像之间的置信度为93%,其余图像之间的置信度阈值小与30%。
205、当第二服务器确定多个第一服务器发送的结果集中的索引图像之间的置信度大于或等于预设值,则获取索引图像所对应的对象频次的总和。
本实施例中,第二服务器通过预设值,判断索引图像之间是否记录有相同的结果对象。
例如,广东省服务器预设置信度的值为90%,则判断索引图像甲和索引图像丁共同记录有结果对象张三,索引图像乙和索引图像戊共同记录有索引对象李四,此时,广东省服务器即可获知,张三在深圳东莞两市被拍摄的总频次为110次,李四在深圳东莞两市被拍摄的总频次为220次;进一步地,当该多个第一服务器包括广东省内所有的地市,则广东省服务器可以通过上述方式获知张三和李四在广东省境内被拍摄的总频次。
本实施例中,该预设值是用户设定的,其作用是,当两个索引图像之间的置信度大于或等于该预设值时,确定该两个索引图像记录有同一个结果对象,此时获取该两个索引图像所对应的对象频次,即得到该结果对象被拍摄的次数,上述说明只是便于理解,实际工作中,可以不仅仅是两个索引图像之间的置信度大于阈值,也可以是多个索引图像之间的置信度大于阈值。
206、第二服务器输出对象频次topN的结果对象。
本实施例中,N为大于或等于1的正整数,N的具体数值由用户设定,从而用户可以获取第二服务器范围内被拍摄次数前N位的结果对象。
例如,用户设定N值为1,即用户要求广东省服务器输出对象频次最高的结果对象,此时输出被拍摄次数最高的结果对象为在深圳东莞两市被拍摄的总频次为220次李四。
需要说明的是,上述广东省服务器联合深圳市服务器和东莞市服务器执行分布式图像分析方法的目的,是为了寻找在深圳东莞两市出现频率最高的不特定人;即在分布式图像分析方法完成之前,该第二服务器不能确定所要得到的结果对象。
本实施例中,第一服务器发送的结果集中包括索引图像,以及与该索引图像对应的对象频次。因此,本实施例中,第一服务器只需要上传索引图像一个图像,即可向第二服务器报告一个结果对象的所有信息,大大节省了传输的效率,同时,由于索引图像为普通的图像文件,兼容不同厂商的算法,因此,第一服务器和第二服务器即使安装不同厂商的算法也可以兼容,充分利用了各级服务器的算力,从而提升计算效率。
需要说明的是,上述情况,对于该结果集中索引图像的具体获取方式并不进行限定,进一步地,以下提供两种索引图像的获取方式,分别为从候选图像中任意获取索引图像的方式,和获取置信度最高的候选图像作为索引图像的方式。
1、从候选图像中任意获取索引图像。
本实施例是,第一服务器获取记录有同一结果对象的所有图像,作为一个结果集的候选图像,之后从该候选图像中确定索引图像;为便于理解,下面对本情况的具体流程进行描述,请参阅图3,本申请实施例中分布式图像分析方法的一个实施例包括:
301、第一服务器获取多个候选图像。
本实施例中,该候选图像中记录有结果对象的图像。
例如,上述深圳市服务器对所存储的图像进行图像碰撞分析,得到记录有张三的图像为100个,该100个图像为结果对象张三的候选图像。
302、第一服务器在多个候选图像中确定索引图像。
本实施例中,该第一服务器在多个候选图像中确定索引图像,可以是从多个候选图像中随机挑取至少一个,作为索引图像,也可以是安装预定的规则供候选图像中挑选索引图像。
例如,深圳市服务器从记录有张三的100个图像中确定一个作为用于代表张三的索引图像,该确定的方式可以是从100个图像中随机挑选,也可以是安装预设的规则从100个图像中挑选。
303、第一服务器确定候选图像的数量为对象频次。
本实施例中,一个结果对象所对应候选图像的数量,即是该结果对象被拍摄的频次,即对象频次。
例如,深圳服务器获取到记录有张三的候选图像数量为100个,则确定张三的索引图像所对应的对象频次为100次。
304、第一服务器获取结果集。
本实施例中,该结果集包括上述索引图像,该索引图像对应有该对象频次。
例如,深圳市服务器获取的结果集中包括一个结果集A,该结果集A中包括用于代表张三的索引图像,该代表张三的索引图像对应有张三被拍摄的对象频次为100次。
步骤305-309可参阅步骤202-206,此处不再赘述。
本实施例中,第一服务器通过图像分析算法,得到所有记录有同一结果对象的图像作为候选图像,之后从候选图像中随机选出至少一张作为索引图像,同时将候选图像的数量作为对象频次记录在该索引图像中,以生成结果集。该方法能够快速地从候选图像中获取索引图像,节省算力。
需要说明的是,上述方法对第一服务器中所存储候选图像的置信度有较高要求,只有候选图像置信度普遍较高时,才能采取此种方法,适用于高质量网络摄像机在充足照明条件下拍摄的情况,为了解决此种不足,本发明实施例提供一种获取置信度前N位候选图像作为索引图像的方式。
2、获取置信度最高的候选图像作为索引图像。
本实施例中,第一服务器针对所获取到记录有同一结果对象的候选图像,获取置信度最高的候选图像,作为索引图像,从而保证索引图像具有可靠的置信度,确保图像分析的准确性。
为便于理解,下面对本情况的具体流程进行描述,请参阅图4,本申请实施例中分布式图像分析方法的一个实施例包括:
401、第一服务器通过图像分析算法获取每一候选图像的图像质量。
本实施例中,该图像分析算法为一种公知的算法,此处不再赘述,通过图像分析算法,能够得到被图像的图像质量,图像质量包括图像拍摄时的光线条件,是否被遮挡,以及被拍摄对象为人时,该对象是否侧脸或低头等,图像质量越高,该图像所记录的拍摄对象越清晰,越可靠。
例如,深圳市服务器对100个记录有张三的候选图像执行图像分析算法,得到每个记录有张三的候选图像的图像质量;由于每次拍摄时,对张三的拍摄角度、拍摄光线、脸部遮挡等拍摄条件有所不同,每个记录有张三的候选图像的图像质量都会有所不同。
402、第一服务器选取候选图像中图像质量最高的图像作为索引图像。
本实施例是,第一服务器选取图像质量最高的候选图像作为索引图像,该索引图像最能够代表候选图像所共同记录的结果对象,有利于提高第二服务器进行第二次图像碰撞分析的准确度。
例如,深圳市服务器在100个记录有张三的候选图像中,选取图片质量最高的图像作为代表张三的索引图像,由于该索引图像为图像质量最高的候选图像,拍摄时光线条件最好,张三不会出现侧脸、低头等情况,面部不会被遮挡,从而确保广东省服务器在执行第二次图像碰撞分析时的准确性。
步骤403至409可参见步骤303-309,此处不再赘述。
本实施例中,第一服务器在获取到候选图像之后,获取置信度最高的候选图像作为索引图像,该方法能够确保索引图像为候选图像中置信度最高的图片,准确地代表候选图像所共同记录的结果对象,供上级服务器进行二次图像碰撞分析。
需要说明的是,上述候选图像,是第一服务器通过图像碰撞分析从本次存储的存储图像中筛选获得的,该筛选的条件来自第二服务器发来的指令信息,为便于理解,下面对本情况的具体流程进行描述,请参阅图5,本申请实施例中分布式图像分析方法的一个实施例包括。
501、第一服务器接收第二服务器发送的目标指令。
本实施例中,该目标指令包括置信度阈值,和/或,目标时间段,和/或,目标摄像机标识,其中,该置信度阈值用于第一服务器在执行图像碰撞分析时,认定置信度大于或等于该置信度阈值的存储图像记录有同一结果对象。
例如,深圳市服务器接收广东省服务器发来的目标指令,该目标指令中包括置信度阈值为90%,目标时间段为2018年12月1日0时至2018年12月7日24时,目标摄像机标识为1至100。
502、第一服务器对存储图像进行特征提取。
本实施例中,第一服务器根据目标指令所预设的目标时间段和/或目标摄像机标识对存储图像进行特征提取,得到存储图像的特征值。
例如,目标指令包含目标时间段和目标摄像机标识,上述深圳市服务器提取2018年12月1日0时至2018年12月7日24时这个时间段内,目标摄像机标识为1至100的摄像机所拍摄的存储图像,进行特征提取。
503、第一服务器对存储图像的特征值进行图像碰撞分析,得到每一存储图像的置信度。
本实施例中,第一服务器通过图像碰撞分析对存储图像的特征值进行两两比对,从而得到每一存储图像的置信度。
504、第一服务器获取置信度大于或等于置信度阈值的存储图像,作为共同包括有同一所述结果对象的候选图像。
本实施例中,第二服务器发来的目标命令中所包括的置信度阈值,用于供第一服务器筛选,大于该置信度阈值的两个候选图像之间记录有同一结果对象。
例如,深圳市服务器在图像碰撞分析过程中获取到两个候选图像之间的置信度为93%,大于该置信度阈值,则判断该两个候选图像共同记录有一个结果对象。
步骤505-511请参见步骤303-309,此处不再赘述。
本实施例中,当该目标指令中包括有置信度阈值,则第一服务器在执行图像碰撞算法时,在存储的本地图像中选取置信度大于该置信度阈值的图像作为候选图像,即图像两两之间记录的结果对象置信度高于该置信度阈值,判定为同一结果对象;当该目标指令中包括有目标时间段,则第一服务器获取该目标时间段内拍摄的候选图像;当该目标指令中包括有目标摄像机标识,则第一服务器获取该目标摄像机标识所标识的摄像机拍摄的候选图像,从而通过第二服务器的目标指令控制第一服务器图像碰撞分析的筛选条件,在分布式的图像分析方法中,使得第一服务器与第二服务器可以协同工作。
需要说明的是,在上述的方法中,通过在结果集中设置索引图像和对象频次,即可供上级服务器对该结果集进行二次图像碰撞分析,从而找到被拍摄频次最高的结果对象。在获取到被拍摄频次最高的结果对象之后,用户有兴趣想要了解记录有该结果对象的所有图像,此时,由于结果集中每个结果对象只对应有一个索引图像,因此无法实现。
针对上述问题,本实施例提供一种解决方案,在结果集中添加每个候选图像的资源地址,从而用户可以通过该资源地址,从第二服务器访问存储在第一服务器中的资源图像。为便于理解,下面对本情况的具体流程进行描述,请参阅图6,本申请实施例中分布式图像分析方法的一个实施例包括:
步骤601至605可参阅步骤501至505,此处不再赘述。
606、第一服务器获取候选图像的资源地址。
本实施例中,该资源地址为候选图像存储在第一服务器中的资源地址,该资源地址可以为URL(Uniform Resource Locator),该资源地址还记录有所对应候选图像的识别码ID,从而第二服务器在通过该资源地址访问候选图像时能够通过该ID对不同的候选图像加以区分。
步骤607-612可参阅步骤506-511,此处不再赘述。
613、第二服务器通过资源地址访问候选图像。
本实施例中,第二服务器可以通过资源地址,访问记录有被拍摄频次最高的结果对象的所有候选图像;也可以通过资源地址访问记录有每一结果对象的所有候选图像。
本实施例中,第一服务器发送的结果集中添加有候选图像的资源地址,从而使得第二服务器可以通过该资源地址访问存储在第一服务器中的候选图像,资源地址的格式更小,不占用发送资源和第二服务器的存储资源,同时又使得第二服务器得以访问所有的候选图像,从而获取到记录有感兴趣的结果对象的所有候选图像。
需要说明的是,上述第一服务器为第二服务器的子级别服务器,第二服务器通过指示信息,触发第一服务器按照指示信息所指示的条件进行第一次图像碰撞分析任务并输出结果集,第二服务器根据该结果集进行二次图像碰撞分析得到所有第一服务器中被拍摄频次最高的结果对象。在具体工作过程中,该第一服务器可以是地市级服务器,第二服务器可以为省中心服务器;或者第一服务器时地市级服务器,第二服务器是区县级服务器。同时,上述分布式服务器的架构可以不仅仅是第一服务器与第二服务器两个级别的架构,还可以有多级架构,例如第一服务器,第二服务器和第三服务器,第二服务器根据多个第一服务器发来的结果集,进行碰撞分析后得到与该第二服务器连接的所有第一服务器中被拍摄频次最高的结果对象,此时,第二服务器生成新的结果集,该新的结果集包括被拍摄频次最高的结果对象的置信度最高的图像作为索引图像,且该索引图像对应有该结果对象被拍摄的总频次,上述第二服务器生成新的结果集的方式与前述第一服务器生成结果集的方式相同,之后第二服务器将新的结果集发送给第三服务器,进行第三次图像碰撞分析。
上述分布式图像分析方法,能够在保持同样图像识别精度的前提下,有效地减少图像碰撞分析的碰撞频次,减少服务器计算的次数,从而提高计算效率。其中,同一样本中,相似系数越高,分布式图像分析方法相比传统集中式图像频次算法的性能越高。上述相似系数指的是同一结果集中记录有同一结果对象的图像的比例,例如,100个图像中有50个记录有同一结果对象,则该结果集的相似系数为50%,上述集中式图像频次算法指的是现有技术中,第一服务器将存储的所有图像发送给第二服务器统一进行图像碰撞分析的算法,以下对本发明实施例所提供的分布式图像分析方法的优势进行说明。
首先,针对计算次数的计算公式进行说明,假设结果集中数据量D是10,000(即结果集中有10,000个图像,样本是均衡分布),相似系数是n(10,000个图像中有n个图像记录有同一结果对象),计算频次是m(分布式图像分析方法有m个同一级别的服务器,集中式图像频次算法m等于1)
一、分布式图像分析方法中,计算次数等于:
Figure BDA0003095314440000131
算法说明如下:
1、对于第一服务器的计算频次。
第一服务器的数量为m个,每个第一服务器处理的数据量为:
Figure BDA0003095314440000141
一个第一服务器执行图像碰撞分析时,将图像两两比对,因此第一服务器两两比对的计算频次为:
Figure BDA0003095314440000142
两两比对时,两个图像不需要重复比对。例如,第一服务器对A图像和B图像进行两两比对,A图像已经与B图像比对过一次后,B图像不需要再与A图像重复比对,因此第一服务器进行图像比对的实际次数为:
Figure BDA0003095314440000143
由于第一服务器的数量为m个,因此所有第一服务器所执行算法的总次数为:
Figure BDA0003095314440000144
2、对于第二服务器的计算频次。
第二服务器获取所有第一服务器发来的结果集进行二次图像碰撞分析,因此,对于第一服务器中已经分析出的候选图像,第二服务器不再重复分析,因此第二服务器需要处理的数据量为:
10000×(1-n)
第二服务器执行图像碰撞分析时,将图像两两比对,因此第二服务器两两比对的计算频次为:
[10000×(1-n)]2
同理第一服务器,第二服务器对图像进行两两比对时,两张图片不需要重复比对两次,因此第二服务器实际进行图像比对的次数为:
Figure BDA0003095314440000151
因此在分布式图像分析方法中,对于两级的服务器分布,计算总次数为
Figure BDA0003095314440000152
二、集中式图像频次算法,计算次数等于:
Figure BDA0003095314440000153
算法说明如下:
集中式图像频次算法,第二服务器对所接收到的所有图像进行两两碰撞,则两两碰撞的总频次为:
100002
同上所述,两两碰撞时,两张图片不需要重复比对两次,因此实际进行图像比对的次数为:
Figure BDA0003095314440000154
假设计算频次m=4,即第一服务器的数量为4个,相似系数n的数值不同,分布式图像分析方法中计算此处也发生相应的变化,分布式图像分析方法相比集中式图像频次算法的计算次数随相似系数n变化的对比如表1所示。
表1
Figure BDA0003095314440000155
Figure BDA0003095314440000161
从表1中可以看到,对于本发明实施例所提供的分布式图像分析方法,相似系数n的数值越高,计算次数越少,相对于现有技术中的集中式人脸频次算法,性能有了显著的提升,能够减少图像碰撞分析任务的计算总时间,提升了计算效率。
上述主要从各级索引与访问主体之间交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是,上述分布式图像分析系统为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
从硬件结构上来描述,上述分布式图像分析方法可以由一个实体设备实现,也可以由多个实体设备共同实现,还可以是一个实体设备内的一个逻辑功能模块,本申请实施例对此不作具体限定。
例如,上述分布式图像分析方法可以通过图7中的通信设备来实现。图7为本申请实施例提供的分布式图像分析服务器的硬件结构示意图。该通信设备包括至少一个处理器701,通信线路702,存储器703以及至少一个通信接口704。
处理器701可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,服务器IC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路702可包括一通路,在上述组件之间传送信息。
通信接口704,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器703可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerable programmable read-only memory,EEPROM)、只读光盘(compact disc read-onlymemory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路702与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器703用于存储执行本申请方案的计算机执行指令,并由处理器701来控制执行。处理器701用于执行存储器703中存储的计算机执行指令,从而实现本申请下述实施例提供的计费管理的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理器701可以包括一个或多个CPU,例如图7中的CPU0和CPU1。
在具体实现中,作为一种实施例,通信设备可以包括多个处理器,例如图7中的处理器701和处理器707。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,通信设备还可以包括输出设备705和输入设备706。输出设备705和处理器701通信,可以以多种方式来显示信息。例如,输出设备705可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备706和处理器701通信,可以以多种方式接收用户的输入。例如,输入设备706可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的通信设备可以是一个通用设备或者是一个专用设备。在具体实现中,通信设备可以服务器、无线终端设备、嵌入式设备或有图7中类似结构的设备。本申请实施例不限定通信设备的类型。
本申请实施例可以根据上述方法示例对分布式图像分析服务器进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
比如,以采用集成的方式划分各个功能单元的情况下,图8示出了一种分布式图像分析系统的结构示意图。
如图8所示,本申请实施例提供的分布式图像分析系统,包括第一服务器及第二服务器:
其中,第一服务器包括:
第一获取单元801,用于通过图像碰撞分析获取结果集,结果集包括索引图像,索引图像记录有结果对象,索引图像对应有对象频次,对象频次用于指示结果对象被拍摄的次数;
第一发送单元802,用于向第二服务器发送第一获取单元801获取的结果集,结果集用于供第二服务器进行第二次图像碰撞分析。
可选地,该第一获取单元801,还用于:
获取多个候选图像,候选图像为第一服务器所存储的图像中包括有结果对象的图像;在多个候选图像中确定索引图像;
确定候选图像的数量为对象频次。
可选第,该第一服务器还包括第一接收单元803,第一接收单元803用于:
接收第二服务器发送的目标指令,目标指令包括置信度阈值;
对应第,第一获取单元801,用于:
对存储图像进行特征提取,得到每一存储图像的特征值,存储图像为存储在第一服务器中的全部图像;
对存储图像的特征值进行图像碰撞分析,得到每一存储图像的置信度;
获取置信度大于或等于置信度阈值的存储图像,作为共同包括有同一结果对象的候选图像。
可选地,第一接收单元803还用于:
接收第二服务器发送的目标指令,目标指令还包括目标时间段和/或目标摄像机标识;
对应地,第一获取单元801还用于,对目标时间段内的存储图像进行特征提取,和/或,对目标摄像机标识所标识的摄像机拍摄的存储图像进行特征提取。
可选地,第一获取单元801,还用于:
通过图像分析算法获取每一候选图像的图像质量;
选取候选图像中图像质量最高的图像作为索引图像。
可选地,第一获取单元801,还用于:
取候选图像的资源地址;
获取结果集,结果集包括资源地址,资源地址供第二服务器通过资源地址访问候选图像。
第二服务器包括:
第二获取单元804,用于接收多个第一服务器分别发送的每一第一服务器各自得到的结果集,每一结果集包括索引图像,索引图像记录有结果对象,索引图像对应有对象频次,对象频次用于指示结果对象被拍摄的次数;
分析单元805,用于对每个结果集中的索引图像进行特征提取,得到每一索引图像的特征值;对所提取到的所有索引图像的特征值进行图像碰撞分析,得到每一索引图像的置信度;
输出单元806,用于当确定多个第一服务器发送的结果集中的索引图像之间的置信度大于或等于预设值,则获取索引图像所对应的对象频次的总和。
可选地,结果集中包括候选图像的资源地址,候选图像为第一服务器所的存储图像中记录有结果对象的图像,存储图像为存储在第一服务器中的全部图像;则第二获取单元804还用于,通过资源地址访问候选图像。
可选地,第二服务器还包括第二发送单元807,用于:向第一服务器发送目标指令,目标指令包括置信度阈值,第一服务器中任意候选图像的置信度大于或等于置信度阈值。
可选地,第二发送单元807还用于:向第一服务器发送目标指令,目标指令还包括目标时间段和/或目标摄像机标识,其中,目标指令用于供第一服务器对目标时间段内的存储图像进行特征提取,和/或,第一服务器对目标摄像机标识所标识的摄像机拍摄的存储图像进行特征提取。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本发明实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的分布式图像分析方法、系统及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种分布式图像分析方法,其特征在于,包括:
任一第一服务器通过图像碰撞分析获取结果集,所述结果集包括索引图像,所述索引图像记录有结果对象,所述索引图像对应有所述结果对象被拍摄的次数所述图像碰撞分析包括:所述第一服务器依次将所存储的目标图像与所存储的其余图像逐一比对,以判定所述结果对象在所述第一服务器所存储的所有图像中被拍摄的次数;
多个所述第一服务器分别向第二服务器发送每一所述第一服务器各自得到的所述结果集;
所述第二服务器对每个所述结果集中的索引图像进行比较,当索引图像之间相似度满足预设条件,则获取所述索引图像所对应的被拍摄次数的总和。
2.根据权利要求1所述的方法,其特征在于,所述第一服务器通过图像碰撞分析获取结果集包括:
所述第一服务器获取多个候选图像,所述候选图像为所述第一服务器所存储的图像中包括有所述结果对象的图像;
所述第一服务器在所述多个候选图像中确定所述索引图像;
所述第一服务器确定所述候选图像的数量为所述结果对象被拍摄的次数。
3.根据权利要求2所述的方法,其特征在于,所述第一服务器通过图像碰撞分析获取结果集之前,所述方法还包括:
所述第一服务器接收所述第二服务器发送的目标指令,所述目标指令包括置信度阈值;
所述第一服务器获取多个候选图像,包括:
所述第一服务器对存储图像进行特征提取,得到每一存储图像的特征值,所述存储图像为存储在所述第一服务器中的全部图像;
所述第一服务器对所述存储图像的特征值进行图像碰撞分析,得到每一所述存储图像的置信度;
所述第一服务器获取置信度大于或等于所述置信度阈值的存储图像,作为共同包括有同一所述结果对象的候选图像。
4.根据权利要求3所述的方法,其特征在于,所述目标指令还包括目标时间段和/或目标摄像机标识,所述第一服务器对存储图像进行特征提取,包括:
所述第一服务器对所述目标时间段内的所述存储图像进行特征提取,和/或,所述第一服务器对所述目标摄像机标识所标识的摄像机拍摄的所述存储图像进行特征提取。
5.根据权利要求2所述的方法,其特征在于,所述第一服务器在所述多个候选图像中确定所述索引图像包括:
所述第一服务器通过图像分析算法获取每一所述候选图像的图像质量;
所述第一服务器选取所述候选图像中图像质量最高的图像作为所述索引图像。
6.根据权利要求2至5任一项所述的方法,其特征在于,所述第一服务器获取多个候选图像之后,所述方法还包括:
所述第一服务器获取所述候选图像的资源地址;
所述第一服务器获取所述结果集,所述结果集包括所述资源地址;
所述获取所述索引图像所对应的被拍摄次数的总和之后,所述方法还包括:
所述第二服务器通过所述资源地址访问所述候选图像。
7.根据权利要求1至5任一项所述的方法,其特征在于,每个结果集中仅记录有一个结果对象,每个结果集中包括所述结果对象的多张图像,所述多张图像中包括所述索引图像。
8.一种分布式图像分析系统,其特征在于,包括:多个第一服务器以及与所述多个第一服务器连接的第二服务器;
所述第一服务器用于,通过图像碰撞分析获取结果集,所述结果集包括索引图像,所述索引图像记录有结果对象,所述索引图像对应有所述结果对象被拍摄的次数;所述图像碰撞分析包括:所述第一服务器依次将所存储的目标图像与所存储的其余图像逐一比对,以判定所述结果对象在所述第一服务器所存储的所有图像中被拍摄的次数;
所述第二服务器用于,接收多个所述第一服务器分别发送的每一所述第一服务器各自得到的所述结果集;
对每个所述结果集中的索引图像进行比较,当索引图像之间相似度满足预设条件,则获取所述索引图像所对应的被拍摄次数的总和。
9.根据权利要求8所述的系统,其特征在于,所述第一服务器还用于:
获取多个候选图像,所述候选图像为所述第一服务器所存储的图像中包括有所述结果对象的图像;
在所述多个候选图像中确定所述索引图像;
确定所述候选图像的数量为所述结果对象被拍摄的次数。
10.根据权利要求9所述的系统,其特征在于,所述第一服务器还用于:
接收所述第二服务器发送的目标指令,所述目标指令包括置信度阈值;
对存储图像进行特征提取,得到每一存储图像的特征值,所述存储图像为存储在所述第一服务器中的全部图像;
对所述存储图像的特征值进行图像碰撞分析,得到每一所述存储图像的置信度;
获取置信度大于或等于所述置信度阈值的存储图像,作为共同包括有同一所述结果对象的候选图像。
11.根据权利要求10所述的系统,其特征在于,所述目标指令还包括目标时间段和/或目标摄像机标识,则所述第一服务器还用于:
对所述目标时间段内的所述存储图像进行特征提取,和/或,对所述目标摄像机标识所标识的摄像机拍摄的所述存储图像进行特征提取。
12.根据权利要求9所述的系统,其特征在于,所述第一服务器还用于:
通过图像分析算法获取每一所述候选图像的图像质量;
选取所述候选图像中图像质量最高的图像作为所述索引图像。
13.根据权利要求9至12任一项所述的系统,其特征在于,所述第一服务器还用于:
获取所述候选图像的资源地址;
获取所述结果集,所述结果集包括所述资源地址;
所述第二服务器还用于,通过所述资源地址访问所述候选图像。
14.根据权利要求8至12任一项所述的系统,其特征在于,每个结果集中仅记录有一个结果对象,每个结果集中包括所述结果对象的多张图像,所述多张图像中包括所述索引图像。
CN202110609928.XA 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质 Pending CN113505250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110609928.XA CN113505250A (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110609928.XA CN113505250A (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质
CN201811554821.4A CN111343416B (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811554821.4A Division CN111343416B (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN113505250A true CN113505250A (zh) 2021-10-15

Family

ID=71101059

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110609928.XA Pending CN113505250A (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质
CN201811554821.4A Active CN111343416B (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811554821.4A Active CN111343416B (zh) 2018-12-18 2018-12-18 一种分布式图像分析方法、系统及存储介质

Country Status (4)

Country Link
US (1) US20220138893A9 (zh)
EP (1) EP3890312B1 (zh)
CN (2) CN113505250A (zh)
WO (1) WO2020125544A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442444B (zh) * 2019-06-18 2021-12-10 中国科学院计算机网络信息中心 一种面向海量遥感影像的并行数据访问方法与系统
CN112131424A (zh) * 2020-09-22 2020-12-25 深圳市天维大数据技术有限公司 一种分布式图像分析方法及系统
CN113420183B (zh) * 2021-06-21 2022-12-02 成都神州数码索贝科技有限公司 一种在视频侦查系统中跨视频目标检索及碰撞方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406216B2 (en) * 2004-12-15 2008-07-29 Micron Technology, Inc. Method and apparatus for distributed analyses of images
CN101159603B (zh) * 2007-10-30 2010-06-02 中兴通讯股份有限公司 一种无线网络海量数据存储方法
CN101777064A (zh) * 2009-01-12 2010-07-14 鸿富锦精密工业(深圳)有限公司 图片搜索系统及方法
CN101505412A (zh) * 2009-03-11 2009-08-12 上海伯里春贸易有限公司 宾馆、写字楼和娱乐场所人像采集识别监控系统及方法
CN102638456B (zh) * 2012-03-19 2015-09-23 杭州海康威视数字技术股份有限公司 基于云计算的海量实时视频码流智能分析方法及其系统
JP6080940B2 (ja) * 2013-02-28 2017-02-15 株式会社日立国際電気 人物検索方法及びホーム滞留人物検索装置
KR101607934B1 (ko) * 2014-05-14 2016-03-31 숭실대학교산학협력단 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체
AU2014240213B2 (en) * 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
CN105183917B (zh) * 2015-10-15 2018-06-05 国家电网公司 一种用于多级存储数据的多维分析方法
CN105844634B (zh) * 2016-03-18 2019-04-05 阜阳师范学院 一种多运动目标追踪监测方法
KR20180058019A (ko) * 2016-11-23 2018-05-31 한화에어로스페이스 주식회사 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
CN106971142B (zh) * 2017-02-07 2018-07-17 深圳云天励飞技术有限公司 一种图像处理方法及装置
CN107316016B (zh) * 2017-06-19 2020-06-23 桂林电子科技大学 一种基于Hadoop和监控视频流的车辆轨迹统计方法
CN107862242A (zh) * 2017-09-19 2018-03-30 汉柏科技有限公司 一种基于Map‑Reduce的海量人脸特征比对方法及系统
CN108491543A (zh) * 2018-03-30 2018-09-04 广州汇智通信技术有限公司 图像检索方法、图像存储方法及图像检索系统

Also Published As

Publication number Publication date
EP3890312B1 (en) 2024-03-20
CN111343416A (zh) 2020-06-26
EP3890312A1 (en) 2021-10-06
CN111343416B (zh) 2021-06-01
US20220138893A9 (en) 2022-05-05
EP3890312A4 (en) 2022-02-16
WO2020125544A1 (zh) 2020-06-25
US20210312587A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2020093694A1 (zh) 生成视频分析模型的方法及视频分析系统
CN111343416B (zh) 一种分布式图像分析方法、系统及存储介质
US11250250B2 (en) Pedestrian retrieval method and apparatus
CN105653398B (zh) 一种智能分配操作系统镜像方法
CN107172208A (zh) 服务器的部署方法及其系统
CN106708443B (zh) 数据读写方法及装置
US20160198128A1 (en) Monitoring target object by multiple cameras
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
US20140115009A1 (en) Gathering Index Statistics Using Sampling
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN106354616A (zh) 监测应用执行性能的方法、装置及高性能计算系统
WO2020053792A1 (en) Malchain detection
CN104391879A (zh) 层次聚类的方法及装置
CN111488829A (zh) 杆塔巡检照片分类方法、装置、电子设备以及存储介质
CN113660687B (zh) 网络差小区处理方法、装置、设备及存储介质
Zuo et al. Bandwidth and energy efficient image sharing for situation awareness in disasters
CN115883392B (zh) 算力网络的数据感知方法、装置、电子设备及存储介质
CN114078269A (zh) 一种人脸图像聚类方法、装置、服务器和存储介质
CN114155578A (zh) 人像聚类方法、装置、电子设备和存储介质
CN111835541B (zh) 一种流量识别模型老化检测方法、装置、设备及系统
CN114356712A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN113783862A (zh) 一种边云协同过程中进行数据校验的方法及装置
RU2589863C2 (ru) Система и способ оценки ресурсов в компьютерной сети с позиции объектов интереса
CN115878439B (zh) 系统性能瓶颈定位方法、装置、电子设备及存储介质
CN117333926B (zh) 一种图片聚合方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination