CN113609317A - 一种图像库构建方法、装置及电子设备 - Google Patents
一种图像库构建方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113609317A CN113609317A CN202111087751.8A CN202111087751A CN113609317A CN 113609317 A CN113609317 A CN 113609317A CN 202111087751 A CN202111087751 A CN 202111087751A CN 113609317 A CN113609317 A CN 113609317A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- reference image
- target
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000007704 transition Effects 0.000 claims description 55
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像库构建方法、装置及电子设备,涉及安防技术领域。该方法包括:获取待处理图像和待处理图像对应的目标时空信息;确定待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用目标时空信息和每个基准图像的基准时空信息,确定待处理图像与每个基准图像的综合相似度;根据待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像;在基准图像库中,建立待处理图像与所存储的目标基准图像所对应的目标身份信息的对应关系。与现有技术相比,应用本发明实施例提供的方案,可以构建基准图像库,实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息。
Description
技术领域
本发明涉及安防技术领域,特别是涉及一种图像库构建方法、装置及电子设备。
背景技术
当前,各地对于视频监控系统的建设如火如荼,大量的监控设备分布在城市的交通干线、商业中心、住宅小区、机场车站等各个场所,以监控设备的抓拍图像为基础的目标追踪方法,逐渐成为常见的追踪方法。
相关技术中,在追踪过程时,通常是将抓拍图像一一比较,将图片内容相似度大于预设阈值的抓拍图像所抓拍的对象确定为同一个抓拍对象。
在对抓拍对象进行追踪时,往往需要确定目标对象的身份信息,然而,在上述相关技术中,针对每个抓拍对象,需要在实现跟踪后,通过分析抓拍图像的图像内容来确定该抓拍对象的身份信息,以完成对该抓拍对象的身份定位。
基于此,如何构建基准图像库,实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息,以提高对象跟踪效率,成为了亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供一种图像库构建方法、装置及电子设备,以实现对目标的抓拍图进行归档,构建基准图像库。具体技术方案如下:
第一方面,本发明实施例提供了一种图像库构建方法,所述方法包括:
获取待处理图像和所述待处理图像对应的目标时空信息;其中,所述目标时空信息包括:所述待处理图像的采集时间和采集所述待处理图像的第一采集设备的空间信息;
确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度;其中,所述综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像;
将所述待处理图像作为新的基准图像,并在所述基准图像库中,建立所述待处理图像与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
可选的,一种具体实现方式中,所述利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度的步骤,包括:
针对每个基准图像,利用所述目标时空信息和该基准图像的基准时空信息,确定关于所述待处理图像与该基准图像的时空特征;其中,所述时空特征用于表征所述待处理图像与该基准图像的采集时间和采集设备之间的关系;
针对每个基准图像,基于所述待处理图像和该基准图像的图像内容,确定关于所述待处理图像与该基准图像的视觉特征;
针对每个基准图像,利用关于所述待处理图像与该基准图像的时空特征和视觉特征,确定所述待处理图像与该基准图像的综合相似度。
可选的,一种具体实现方式中,所述时空特征包括以下各个特征中的至少一个:
所述第一采集设备与采集该基准图像的第二采集设备之间的距离、所述待处理图像和该基准图像的采集时间之间的时间差、所述待处理图像中的对象的第一移动速度、该基准图像中的对象的第二移动速度,以及所述第一采集设备与所述第二采集设备之间的空间转移概率;其中,所述空间转移概率用于表征:所述待处理图像中的对象从所述第一采集设备的采集区域进入所述第二采集设备的采集区域的概率;
所述视觉特征包括以下各个特征中的至少一个:
所述待处理图像与该基准图像的视觉相似度、所述待处理图像的指定图像特征,以及该基准图像的所述指定图像特征;其中,所述指定图像特征至少包括图像灰度和/或对象运动状态。
可选的,一种具体实现方式中,所述时空特征包括:所述第一采集设备与采集该基准图像的第二采集设备之间的距离;
其中,所述距离是基于所述目标时空信息和所述基准时空信息中的空间信息,以及所述第一采集设备和所述第二次采集设备所处道路的路网信息确定的。
可选的,一种具体实现方式中,所述时空特征包括:所述第一采集设备与所述第二采集设备之间的空间转移概率,所述空间转移概率是从预设的采集设备组与空间转移概率的对应关系中,确定的包括所述第一采集设备和所述第二采集设备的采集设备组相对应的空间转移概率;
所述对应关系的生成方式,包括:
基于指定区域中的各个采集设备所采集到的多张图像的时空信息,确定所述指定区域中的各组采集设备对应的初始转移概率;其中,每组采集设备包括两个采集设备;
利用位于以每个采集设备为中心的指定范围内的采集设备的分布情况,对所述初始转移概率进行修正,得到各组采集设备对应的空间转移概率。
可选的,一种具体实现方式中,所述根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像,包括:
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度大于预设的第一阈值,则将该基准图像确定为与所述待处理图像相匹配的目标基准图像;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于预设的第二阈值,则遍历下一基准图像;其中,所述第二阈值小于所述第一阈值;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于所述第一阈值,且大于所述第二阈值,则当所述待处理图像与该基准图像的综合相似度大于预设的第三阈值时,将该基准图像确定为与所述待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,所述确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度,包括:
针对目标图像组,确定所述待处理图像与所述目标图像组的封面图像的视觉相似度,作为所述待处理图像与所述目标图像组中的各个基准图像的视觉相似度;其中,所述目标图像组为设置有封面图像的图像组;
针对所述目标图像组,利用所述目标时空信息和所述目标图像组的封面图像的基准时空信息,确定所述待处理图像与所述目标图像组的封面图像的综合相似度,作为所述待处理图像与所述目标图像组的各个基准图像的综合相似度。
可选的,一种具体实现方式中,所述将所述待处理图像作为与所述目标基准图像属于同一组的基准图像,与所述目标时空信息对应存储至所述基准图像库中,包括:
确定所述待处理图像的图像质量;
若所述目标基准图像所在的图像组设置有封面图像,且所述待处理图像的图像质量高于所述封面图像的图像质量,将所述封面图像替换为所述待处理图像,并对应存储所述目标时空信息;
若所述目标基准图像所在的图像组未设置有封面图像,且所述待处理图像的图像质量高于预设的图像质量阈值,则将待处理图像设置为所述目标基准图像所在的图像组的封面图像,并对应存储所述目标时空信息;
否则,将所述待处理图像作为与所述目标基准图像属于同一组的基准图像,与所述目标时空信息对应存储至所述基准图像库中。
可选的,一种具体实现方式中,所述根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像,包括:
若根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定出与所述待处理图像相匹配的多张初始基准图像,则将与所述待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与所述待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,所述基准图像库包括:第一子库和第二子库;其中,所述第一子库中的基准图像所包括的对象是注册对象,所述第二子库中的基准图像所包括的对象为非注册对象,所述多张初始基准图包括:所述第一子库中的基准图;
所述将与所述待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与所述待处理图像相匹配的目标基准图像,包括:
确定所述多张初始基准图中属于所述第一子库的各个第一基准图像;
将与所述待处理图像的视觉相似度或综合相似度最大的第一基准图像,确定为与所述待处理图像相匹配的目标基准图像;
所述方法还包括:
将所述多张初始基准图中,除所述目标基准图像之外的各个基准图像所属的目标图像组,与所述目标基准图像所属的图像组合并,并建立所述目标图像组中的各个基准图像,与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
可选的,一种具体实现方式中,在确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度之前,所述方法还包括:
确实所述待处理图像的指定图像属性;其中,所述指定图像属性包括:图像清晰度、拍摄对象的拍摄角度和拍摄对象是否被遮挡中的至少一种;
若所述指定图像属性满足预设属性要求,则执行确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度的步骤。
可选的,一种具体实现方式中,所述获取待处理图像和所述待处理图像对应的目标时空信息,包括:
获取第一采集设备发送的待处理图像和所述待处理图像对应的目标时空信息;或者,
获取第一采集设备发送的待处理图像、所述待处理图像的采集时间和所述第一采集设备的设备标识;根据所述设备标识,确定所述第一采集设备的空间信息,得到所述待处理图像的目标时空信息。
第二方面,本发明实施例提供了一种图像库构建装置,所述装置包括:
信息获取模块,用于获取待处理图像和所述待处理图像对应的目标时空信息;其中,所述目标时空信息包括:所述待处理图像的采集时间和采集所述待处理图像的第一采集设备的空间信息;
相似度确定模块,用于确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度;其中,所述综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
目标图像确定模块,用于根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像;
图像存储模块,用于将所述待处理图像作为新的基准图像,并在所述基准图像库中,建立所述待处理图像与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
可选的,一种具体实现方式中,所述相似度确定模块具体用于:
针对每个基准图像,利用所述目标时空信息和该基准图像的基准时空信息,确定关于所述待处理图像与该基准图像的时空特征;其中,所述时空特征用于表征所述待处理图像与该基准图像的采集时间和采集设备之间的关系;
针对每个基准图像,基于所述待处理图像和该基准图像的图像内容,确定关于所述待处理图像与该基准图像的视觉特征;
针对每个基准图像,利用关于所述待处理图像与该基准图像的时空特征和视觉特征,确定所述待处理图像与该基准图像的综合相似度。
可选的,一种具体实现方式中,所述时空特征包括以下各个特征中的至少一个:
所述第一采集设备与采集该基准图像的第二采集设备之间的距离、所述待处理图像和该基准图像的采集时间之间的时间差、所述待处理图像中的对象的第一移动速度、该基准图像中的对象的第二移动速度,以及所述第一采集设备与所述第二采集设备之间的空间转移概率;其中,所述空间转移概率用于表征:所述待处理图像中的对象从所述第一采集设备的采集区域进入所述第二采集设备的采集区域的概率;
所述视觉特征包括以下各个特征中的至少一个:
所述待处理图像与该基准图像的视觉相似度、所述待处理图像的指定图像特征,以及该基准图像的所述指定图像特征;其中,所述指定图像特征至少包括图像灰度和/或对象运动状态。
可选的,一种具体实现方式中,所述时空特征包括:所述第一采集设备与采集该基准图像的第二采集设备之间的距离;
其中,所述距离是基于所述目标时空信息和所述基准时空信息中的空间信息,以及所述第一采集设备和所述第二次采集设备所处道路的路网信息确定的。
可选的,一种具体实现方式中,所述时空特征包括:所述第一采集设备与所述第二采集设备之间的空间转移概率,所述空间转移概率是从预设的采集设备组与空间转移概率的对应关系中,确定的包括所述第一采集设备和所述第二采集设备的采集设备组相对应的空间转移概率;
所述装置还包括:关系生成模块,用于生成所述对应关系;所述关系生成模块,具体用于:
基于指定区域中的各个采集设备所采集到的多张图像的时空信息,确定所述指定区域中的各组采集设备对应的初始转移概率;其中,每组采集设备包括两个采集设备;
利用位于以每个采集设备为中心的指定范围内的采集设备的分布情况,对所述初始转移概率进行修正,得到各组采集设备对应的空间转移概率。
可选的,一种具体实现方式中,所述目标图像确定模块具体用于:
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度大于预设的第一阈值,则将该基准图像确定为与所述待处理图像相匹配的目标基准图像;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于预设的第二阈值,则遍历下一基准图像;其中,所述第二阈值小于所述第一阈值;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于所述第一阈值,且大于所述第二阈值,则当所述待处理图像与该基准图像的综合相似度大于预设的第三阈值时,将该基准图像确定为与所述待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,所述图像存储模块具体用于:
针对目标图像组,确定所述待处理图像与所述目标图像组的封面图像的视觉相似度,作为所述待处理图像与所述目标图像组中的各个基准图像的视觉相似度;其中,所述目标图像组为设置有封面图像的图像组;
针对所述目标图像组,利用所述目标时空信息和所述目标图像组的封面图像的基准时空信息,确定所述待处理图像与所述目标图像组的封面图像的综合相似度,作为所述待处理图像与所述目标图像组的各个基准图像的综合相似度。
可选的,一种具体实现方式中,所述相似度确定模块具体用于:
确定所述待处理图像的图像质量;
若所述目标基准图像所在的图像组设置有封面图像,且所述待处理图像的图像质量高于所述封面图像的图像质量,将所述封面图像替换为所述待处理图像,并对应存储所述目标时空信息;
若所述目标基准图像所在的图像组未设置有封面图像,且所述待处理图像的图像质量高于预设的图像质量阈值,则将待处理图像设置为所述目标基准图像所在的图像组的封面图像,并对应存储所述目标时空信息;
否则,将所述待处理图像作为与所述目标基准图像属于同一组的基准图像,与所述目标时空信息对应存储至所述基准图像库中。
可选的,一种具体实现方式中,所述目标图像确定模块包括:
目标图像确定子模块,用于若根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定出与所述待处理图像相匹配的多张初始基准图像,则将与所述待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与所述待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,所述基准图像库包括:第一子库和第二子库;其中,所述第一子库中的基准图像所包括的对象是注册对象,所述第二子库中的基准图像所包括的对象为非注册对象,所述多张初始基准图包括:所述第一子库中的基准图;所述目标图像确定子模块具体用于:
确定所述多张初始基准图中属于所述第一子库的各个第一基准图像;
将与所述待处理图像的视觉相似度或综合相似度最大的第一基准图像,确定为与所述待处理图像相匹配的目标基准图像;
所述装置还包括:
将所述多张初始基准图中,除所述目标基准图像之外的各个基准图像所属的目标图像组,与所述目标基准图像所属的图像组合并,并建立所述目标图像组中的各个基准图像,与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
可选的,一种具体实现方式中,所述装置还包括:
属性确定模块,用于在确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度之前,确实所述待处理图像的指定图像属性;其中,所述指定图像属性包括:图像清晰度、拍摄对象的拍摄角度和拍摄对象是否被遮挡中的至少一种;
若所述指定图像属性满足预设属性要求,则触发所述相似度确定模块。
可选的,一种具体实现方式中,所述信息获取模块具体用于:
获取第一采集设备发送的待处理图像和所述待处理图像对应的目标时空信息;或者,
获取第一采集设备发送的待处理图像、所述待处理图像的采集时间和所述第一采集设备的设备标识;根据所述设备标识,确定所述第一采集设备的空间信息,得到所述待处理图像的目标时空信息。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一图像库构建方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一图像库构建方法的步骤。
第五方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的任一图像库构建方法的步骤。
本发明实施例有益效果:
以上可见,应用本发明实施例提供的方案,在获取待处理图像和待处理图像对应的目标时空信息时,可以进一步确定待处理图像与基准图像库中的每个基准图像的视觉相似度,以及待处理图像和每个基准图像的综合相似度;从而,可以根据待处理图像与每个基准图像的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像;进而,便可以将待处理图像作为新的基准图像存储到基准图像库中,并建立待处理图像与目标基准图像所对应的目标身份信息的对应关系。
基于此,应用本发明实施例提供的方案,可以构建得到基准图像库,从而,在对抓拍对象进行跟踪时,可以将抓拍对象的抓拍图像与基准图像库中的基准图像进行对比,从而,在确定出与抓拍图像相匹配的基准图像时,可以确定该基准图像中的对象即为抓拍对象,进而,可以直接将该基准图像对应的身份信息确定为该抓拍对象的身份信息。这样,便可以实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息,以提高对象跟踪效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种图像库构建方法的流程示意图;
图2为本发明实施例提供的一种路网示意图;
图3为本发明实施例提供的另一种图像库构建方法的流程示意图;
图4为本发明实施例提供的另一种图像库构建方法的流程示意图;
图5为本发明实施例提供的一种图像库构建装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,在追踪过程时,通常是将抓拍图像一一比较,将图片内容相似度大于预设阈值的抓拍图像所抓拍的对象确定为同一个抓拍对象。在对抓拍对象进行追踪时,往往需要确定目标对象的身份信息,然而,在上述相关技术中,针对每个抓拍对象,需要在实现跟踪后,通过分析抓拍图像的图像内容来确定该抓拍对象的身份信息,以完成对该抓拍对象的身份定位。基于此,如何构建基准图像库,实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息,以提高对象跟踪效率,成为了亟待解决的技术问题。
为了解决上述技术问题,本发明实施例提供了一种图像库构建方法。
其中,该构建方法可以适用于各类需要生成图像库以满足对象跟踪、对象身份确定等需求的应用场景,例如,火车站、机场、城市道路等,当然,并不局限于此。并且,该构建方法可以应用于道路监控设备、服务器等各类电子设备,例如,可以应用于视频监控系统的服务器等。并且,该构建方法的执行主体可以是单独的电子设备,也可以是电子设备集群,以下简称电子设备。
本发明实施例提供的一种图像库构建方法,可以包括如下步骤:
获取待处理图像和所述待处理图像对应的目标时空信息;其中,所述目标时空信息包括:所述待处理图像的采集时间和采集所述待处理图像的第一采集设备的空间信息;
确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度;其中,所述综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
遍历各个基准图像,根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像;
将所述待处理图像作为新的基准图像,并在所述基准图像库中,建立所述待处理图像与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
以上可见,应用本发明实施例提供的方案,在获取待处理图像和待处理图像对应的目标时空信息时,可以进一步确定待处理图像与基准图像库中的每个基准图像的视觉相似度,以及待处理图像和每个基准图像的综合相似度;从而,可以根据待处理图像与每个基准图像的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像;进而,便可以将待处理图像作为新的基准图像存储到基准图像库中,并建立待处理图像与目标基准图像所对应的目标身份信息的对应关系。
基于此,应用本发明实施例提供的方案,可以构建得到基准图像库,从而,在对抓拍对象进行跟踪时,可以将抓拍对象的抓拍图像与基准图像库中的基准图像进行对比,从而,在确定出与抓拍图像相匹配的基准图像时,可以确定该基准图像中的对象即为抓拍对象,进而,可以直接将该基准图像对应的身份信息确定为该抓拍对象的身份信息。这样,便可以实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息,以提高对象跟踪效率。
下面,结合附图,对本发明实施例提供的一种图像库构建方法进行说明。
图1为本发明实施例提供的一种图像库构建方法的流程示意图,如图1所示,该方法可以包括如下步骤:
S101:获取待处理图像和待处理图像对应的目标时空信息;
其中,目标时空信息包括:待处理图像的采集时间和采集待处理图像的第一采集设备的空间信息;
电子设备可以通过多种方式获取待处理图像和待处理图像对应的目标时空信息,对此,本发明实施例不做具体限定。
例如,电子设备可以接收采集设备所发送的待处理图像和待处理图像对应的目标时空信息;又例如,电子设备可以从其他通信连接的电子设备,例如,服务器等,获取待处理图像和待处理图像对应的目标时空信息。
可选的,一种具体实现方式中,电子设备可以实时获取待处理图像和待处理图像对应的目标时空信息,例如,采集设备将所采集到的待处理图像,以及所确定的待处理图像对应的目标时空信息实时发送给电子设备。
可选的,另一种具体实现方式中,电子设备可以分批次获取待处理图像和待处理图像对应的目标时空信息,例如,采集设备可以向电子设备分批次发送采集到的待处理图像,以及所确定的待处理图像对应的目标时空信息。
其中,可选的,所谓采集设备向电子设备分批次发送待处理图像和待处理图像对应的目标时空信息可以是:每隔预设的固定时间间隔,将该时间间隔内所采集到的所有待处理图像,以及所确定的每个待处理图像对应的目标时空信息发送给电子设备。
示例性的,采集设备在采集到每个图像后,可以随之确定该图像对应的目标时空信息,从而,采集设备可以预设的固定时间间隔,向电子设备发送该固定时间间隔内采集到的所有图像,以及所确定的每个图像对应的目标时空信息。该固定时间间隔可以为5min、10min等,对此,本发明实施例不做具体限定。
可选的,所谓采集设备向电子设备分批次发送待处理图像和待处理图像对应的目标时空信息可以是:每采集到预设数量的待处理图像时,将该预设数量的待处理图像,以及所确定的每个待处理图像对应的目标时空信息发送给电子设备。
示例性的,采集设备在每采集到预设数量的图像时,将该预设数量的待处理图像,以及所确定的每个待处理图像对应的目标时空信息发送给电子设备。该预设数量可以为50、100等,对此,本发明实施例不做具体限定。
其中,待处理图像的采集时间是指采集待处理图像的采集设备,采集到该待处理图像的时刻;
采集待处理图像的第一采集设备的空间信息是指采集待处理图像的采集设备的在所处空间中的位置信息。例如,可以是该采集设备所处位置的GPS(Global PositioningSystem,全球定位系统)信息,也可以是该采集设备所处位置的GPS信息以及该采集设备所处位置周围的指定范围内的城市路网信息。
例如,所谓指定范围内的城市路网信息可以是以该采集设备为中心,以预设距离为半径的范围内的城市路网信息。该预设距离可以为10米、20米等,对此,本发明实施例不做具体限定。
可选的,一种具体实现方式中,上述步骤S101,获取待处理图像和待处理图像对应的目标时空信息,可以包括步骤11:
步骤11:获取第一采集设备发送的待处理图像和待处理图像对应的目标时空信息。
在本具体实现方式中,第一采集设备中存储有自身的空间信息,从而,在采集到图像后,第一采集设备可以直接确定该图像对应的目标时空信息,从而,第一采集设备可以直接将所采集到的待处理图像和所确定的该待处理图像对应的目标时空信息发送给电子设备。
也就是说,电子设备可以直接获取第一采集设备发送的待处理图像和待处理图像对应的目标时空信息。
可选的,另一种具体实现方式中,上述步骤S101,获取待处理图像和待处理图像对应的目标时空信息,可以包括步骤12-13:
步骤12:获取第一采集设备发送的待处理图像、待处理图像的采集时间和第一采集设备的设备标识;
步骤13:根据设备标识,确定第一采集设备的空间信息,得到待处理图像的目标时空信息。
在本具体实现方式中,电子设备中记录了各个采集设备的设备标识和各个采集设备的空间信息之间的对应关系,从而,电子设备可以根据每个采集设备的设备标识,从该对应关系中,确定该采集设备的空间信息。
第一采集设备在采集到每个待处理图像时,可以确定该待处理图像的采集时间,从而,第一采集设备可以向电子设备发送该待处理图像、该待处理图像的采集时间和自身的设备标识。
这样,电子设备在接收到该待处理图像、该待处理图像的采集时间和自身的设备标识,便可以根据第一采集设备的设备标识,从所记录的各个采集设备的设备标识和各个采集设备的空间信息之间的对应关系中,确定第一采集设备的空间信息。从而,电子设备可以获得待处理图像的采集时间和采集待处理图像的第一采集设备的空间信息,也就是说,电子设备可以获取到待处理图像对应的目标时空信息。
S102:确定待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用目标时空信息和每个基准图像的基准时空信息,确定待处理图像与每个基准图像的综合相似度;
其中,综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
在获取到待处理图像和待处理图像对应的时空信息后,电子设备可以在当前的基准图像库中确定与该待处理图像相匹配的目标基准图像,以便将该待处理图像存储至基准图像库中合适的图像组中,实现对当前的基准图像库的更新。
针对基准图像库中的每个基准图像,电子设备可以根据待处理图像的图像内容与该基准图像的图像内容,确定待处理图像与该基准图像的视觉相似度,并且,根据待处理图像对应的目标时空信息和该基准图像的基准时空信息,确定待处理图像与该基准图像的综合相似度。
其中,每个基准图像的基准时空信息包括:该基准图像的采集时间和采集该基准图像的第二采集设备的空间信息。
并且,针对每个基准图像,不对待处理图像与该基准图像的视觉相似度,以及待处理图像与该基准图像的综合相似度的确定顺序进行限定。
其中,待处理图像和每个基准图像的视觉相似度由待处理图像和每个基准图像的视觉特征确定,其中,视觉特征是基于图像内容确定的特征。
可选的,上述视觉特征包括以下特征中的至少一种:
待处理图像与该基准图像的视觉相似度、待处理图像的指定图像特征,以及该基准图像的指定图像特征;
其中,指定图像特征至少包括图像灰度和/或对象运动状态,上述对象运动状态是指图像中的对象的运动状态。指定图像特征还可以包括用于描述图像中的对象的某方面特征的内容,例如,对象是否佩戴帽子、对象性别、对象所穿衣服颜色等,当然,并不局限于此。
例如,待处理图像中的对象为一位头戴红色帽子正在跑步的男子,则可以得到的待处理图像的指定图像特征包括:佩戴帽子、男性和跑步。
此外,综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;从而,待处理图像和每个基准图像的综合相似度可以由待处理图像和每个基准图像的视觉特征以及时空特征确定,其中,时空特征是基于图像对应的时空信息确定的特征。
可选的,上述时空特征包括以下各个特征中的至少一个:
第一采集设备与采集该基准图像的第二采集设备之间的距离、待处理图像和该基准图像的采集时间之间的时间差、待处理图像中的对象的第一移动速度、该基准图像中的对象的第二移动速度,以及第一采集设备与第二采集设备之间的空间转移概率;其中,空间转移概率用于表征:待处理图像中的对象从第一采集设备的采集区域进入第二采集设备的采集区域的概率;
可选的,上述待处理图像中的对象的第一移动速度和基准图像中的对象的第二移动速度,可以通过计算上述距离与上述时间差比例进行确定。
也就是说,上述第一移动速度和第二移动速度可以等于:第一采集设备与采集该基准图像的第二采集设备之间的距离,除以待处理图像和该基准图像的采集时间之间的时间差,所得到的结果。显然,在这种情况下,上述待处理图像中的对象的第一移动速度和基准图像中的对象的第二移动速度可以相同。
可选的,上述距离可以是第一采集设备与第二采集设备的所处位置之间的直线距离。
可选的,考虑到实际道路交通中,对象在第一采集设备和第二采集设备之间的运动轨迹并不是二者所处位置之间的直线,因此,上述距离也不等于二者所处位置之间的直线距离。这样,应当考虑第一采集设备与第二采集设备所处位置的周围区域的路网信息。
基于此,上述距离是基于目标时空信息和基准时空信息中的空间信息,以及第一采集设备和第二次采集设备所处道路的路网信息确定的。
其中,所谓路网信息可以表征第一采集设备与第二采集设备的所处位置周围区域的建筑、交通、道路等的分布情况。也就是说,上述距离可以是通过对第一采集设备以及第二采集设备的所处位置,与路网进行匹配,所确定的道路距离。
例如,如图2所示,为一种路网的示意图。示例性的,在图2中,当对象从A点移动到B点时,由于建筑物的存在,以及城市道路的分布情况,对象并不是沿着连接A点与B点的直线,从A点直接移动到B点的,而是沿着道路,从A沿着道路a行进到C点后再沿着道路b,运动到B点。
其中,当对象出现在GPS信息定位为A点的采集设备所采集到的图像中后,出现在GPS信息定位为B点的采集设备所采集到的图像中时,仅获知A点和B点的GPS信息而无法获知对象从A点移动到B点的运动轨迹,从而,可以根据A点和B点的GPS信息,以及A点和B点所处位置周围的路网情况,确定对象的运动轨迹。
在某个对象的移动过程中,该对象可以从一个的采集设备的采集区域进入另一个采集设备的采集区域,从而,对于空间中所设置的多个采集设备中的任意两个采集设备而言,对象在移动过程中,在一定的概率下,从其中的一个采集设备的采集区域进入另一个采集设备的采集区域的概率,该概率即为:上述任一两个采集设备中,一个采集设备与另一个采集设备之间的空间转移概率。
因此,在确定上述时空特征时,可以确定第一采集设备与第二采集设备之间的空间转移概率。
可选的,电子设备中可以记录预设的采集设备组与空间转移概率的对应关系,其中,每个采集设备组包括两个采集设备,该采集设备组对应的空间转移概率,即为该采集设备组所包括的两个采集设备之间的空间转移概率。
这样,在确定上述时空特征时,便可以在上述对应关系中,查找包括第一采集设备和第二采集设备的采集设备组,从而,所查找到的采集设备组所对应的空间转移概率,即为第一采集设备与第二采集设备之间的空间转移概率。
为了行文清晰,后续对上述预设的采集设备组与空间转移概率的对应关系的生成方式进行举例说明。
S103:根据待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像;
针对每个基准图像,在确定出待处理图像与该基准图像的视觉相似度和综合相似度后,便可以根据所确定的视觉相似度和综合相似度,确定该基准图像是否为与待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,上述步骤S103可以包括步骤21:
步骤21:针对每个基准图像,若视觉相似度大于第一预设阈值且综合相似度大于第二预设阈值,则可以确定该基准图像为与待处理图像相匹配的目标基准图像,否则,确定该基准图像与待处理图像不匹配。
例如,假设第一预设阈值为0.6,第二预设阈值为0.5,当某个基准图像与待处理图像的视觉相似度为0.5,综合相似度为0.6时,由于0.5<0.6,即视觉相似度小于第一预设阈值,0.5<0.6,即综合相似度大于第二预设阈值,从而,不满足视觉相似度大于第一预设阈值与综合相似度大于第二预设阈值同时成立,认为上述基准图像不是目标基准图像,即该基准图像与待处理图像不匹配。
再如,假设第一预设阈值为0.6,第二预设阈值为0.5,当某个基准图像与待处理图像的视觉相似度为0.8,综合相似度为0.8时,由于0.6<0.8,即视觉相似度大于第一预设阈值,0.5<0.8,即综合相似度大于第二预设阈值,从而,满足视觉相似度大于第一预设阈值与综合相似度大于第二预设阈值同时成立,认为上述基准图像是目标基准图像,即该基准图像与待处理图像相匹配。
可选的,另一种具体实现方式中,上述步骤S103可以包括步骤22-24:
步骤22:针对每个基准图像,若待处理图像与该基准图像的视觉相似度大于预设的第一阈值,则将该基准图像确定为与待处理图像相匹配的目标基准图像;
步骤23:针对每个基准图像,若待处理图像与该基准图像的视觉相似度小于预设的第二阈值,则遍历下一基准图像;其中,第二阈值小于第一阈值;
步骤24:针对每个基准图像,若待处理图像与该基准图像的视觉相似度小于第一阈值,且大于第二阈值,则当待处理图像与该基准图像的综合相似度大于预设的第三阈值时,将该基准图像确定为与待处理图像相匹配的目标基准图像。
由于视觉相似度是从图像内容方面判断待处理图像与基准图像是否匹配,可以直观、明确地判断出待处理图像中的对象与基准图像中的对象的相似程度,因此,可以首先通过待处理图像与基准图像的视觉相似度进行判断。
其中,当上述视觉相似度大于第一阈值时,可以确定待处理图像与基准图像中的对象的相似程度较高,从而,可以认为是同一个对象;当上述视觉相似度小于第二阈值时,可以确定待处理图像与基准图像中的对象的相似程度较低,从而,可以认为是待处理图像中的对象与基准图像中的对象不是同一个对象。
而上述视觉相似度当介于第一阈值和第二阈值之间时,则可以认为待处理图像与基准图像可能匹配,也可能不匹配。所以,在这种情况下,可以利用综合相似度,结合时空特征进一步确定待处理图像与上述基准图像是否匹配。
其中,当待处理图像与上述基准图像的综合相似度大于第三阈值时,则可以认为待处理图像与上述基准图像相匹配;而当待处理图像与上述基准图像的综合相似度小于第三阈值时,则可以认为待处理图像与上述基准图像不匹配。
其中,第二阈值小于第一阈值,并且,不对第三阈值与第二阈值以及第一阈值的数值大小关系进行限定。
例如:假设第一阈值为0.8,第二阈值为0.4,第三阈值为0.5。当待处理图像与某个基准图像的视觉相似度为0.6,综合相似度为0.7时,首先判断其视觉相似度与第一阈值和第二阈值之间的大小关系为0.4<0.6<0.8,即视觉相似度介于第一阈值和第二阈值之间。从而,进一步判断综合相似度与第三阈值的大小关系为0.5<0.7,即综合相似度大于第三阈值,因此,可以认为上述待处理图像与上述基准图像相匹配。
再如:假设第一阈值为0.8,第二阈值为0.4,第三阈值为0.5。当待处理图像与某个基准图像的视觉相似度为0.3,综合相似度为0.7时,首先判断其视觉相似度与第一阈值和第二阈值之间的大小关系为0.3<0.4,即视觉相似度小于第二阈值,因此,可以认为上述待处理图像与上述基准图像不匹配。
又如:假设第一阈值为0.8,第二阈值为0.4,第三阈值为0.5。当待处理图像与某个基准图像的视觉相似度为0.9,综合相似度为0.7时,首先判断其视觉相似度与第一阈值和第二阈值之间的大小关系为0.8<0.9,即视觉相似度大于第一阈值,因此,可以认为上述待处理图像与上述基准图像不匹配。
S104:将待处理图像作为新的基准图像,并在基准图像库中,建立待处理图像与所存储的目标基准图像所对应的目标身份信息的对应关系。
确定出与待处理图像相匹配的目标基准图像后,可以将上述待处理图像作为新的基准图像存储到前述目标基准图像所属的图像组中。同时,因为上述待处理图像与目标基准图像相匹配,因此,可以认为上述待处理图像中的对象与目标基准图像中的对象是同一个对象,并且,待处理图像中的对象的身份信息和目标基准图像中的对象的身份信息是一致的,从而,可以在基准图像库中建立待处理图像与目标基准图像对应的目标身份信息的对应关系。
所谓身份信息,是用于表征对象的身份的相关信息,例如,可以是对象的姓名、性别、身份证号等信息,当然,并不局限于此。
可选的,每个基准图像的身份信息可以通过该基准图像所具有的标签标识。从而,所谓建立待处理图像与所存储的目标基准图像所对应的目标身份信息的对应关系即为:为待处理图像添加和目标基准图像的标签相同的标签。进而,上述对应关系的建立过程称为利用目标基准图像的标签,为待处理图像打标签。
在将待处理图像存储入基准图像库中之后,对于后续再次接收到的待处理图像而言,基准图像库即为更新后的包含上述待处理图像的基准图像库。
也就是说,基准图像库的构建过程,其实也是上述基准图像库的更新过程。
可选的,一种具体实现方式中,在获取第一张待处理图像之前,可以认为构建最初的基准图像库。其中,可以获取关于各个对象的多张图像,并为每张图像添加身份信息,从而,建立包括该多张图像的图像库,作为最初的基准图像库。
可选的,另一种具体实现方式中,在不存在基准图像库的情况下,可以首先获取多张待处理图像,从而,根据该多张待处理图像中,每两张待处理图像的视觉相似度和综合相似度,对该多张待处理图像进行分组,同时,根据每组待处理图像的视觉特征以及图像中的对象的身份信息,为每组图像添加用于表示对象的身份信息的标签。进而,利用分组后,且添加有标签的该多张待处理图像构建基准图像库,作为最初的基准图像库。
基于此,应用本发明实施例提供的方案,可以构建得到基准图像库,从而,在对抓拍对象进行跟踪时,可以将抓拍对象的抓拍图像与基准图像库中的基准图像进行对比,从而,在确定出与抓拍图像相匹配的基准图像时,可以确定该基准图像中的对象即为抓拍对象,进而,可以直接将该基准图像对应的身份信息确定为该抓拍对象的身份信息。这样,便可以实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息,以提高对象跟踪效率。
可选的,一种具体实现方式中,上述步骤S102中,利用目标时空信息和每个基准图像的基准时空信息,确定待处理图像与每个基准图像的综合相似度的步骤,包括步骤31-33:
步骤31:针对每个基准图像,利用待处理图像的目标时空信息和该基准图像的基准时空信息,确定关于待处理图像与该基准图像的时空特征;
其中,时空特征用于表征待处理图像与该基准图像的采集时间和采集设备空间信息之间的关系;
步骤32:针对每个基准图像,基于待处理图像和该基准图像的图像内容,确定关于待处理图像与该基准图像的视觉特征;
步骤33:针对每个基准图像,利用关于待处理图像与该基准图像的时空特征和视觉特征,确定待处理图像与该基准图像的综合相似度。
在本具体实现方式中,针对每个基准图像,可以利用待处理图像的目标时空信息和该基准图像的基准时空信息,确定关于待处理图像与该基准图像的时空特征,并基于待处理图像和该基准图像的图像内容,确定关于待处理图像与该基准图像的视觉特征。这样,便可以利用所确定的利用关于待处理图像与该基准图像的时空特征和视觉特征,确定待处理图像与该基准图像的综合相似度。
其中,本具体实现方式中的时空特征和视觉特征与上述对步骤S102的介绍中的时空特征和视觉特征相同,在此不再赘述。
可选的,针对每个基准图像,可以通过预设的综合相似度模型,利用所确定的利用关于待处理图像与该基准图像的时空特征和视觉特征,确定待处理图像与该基准图像的综合相似度。
其中,上述综合相似度模型的训练过程包括:
获取多张样本图像,以及每个样本图像对应的样本时空信息,其中,每个样本图像对应的样本时空信息包括:该样本图像的采集时间和采集该样本图像的样本采集设备的空间信息。
从而,针对上述多张样本图像中的每两张图像,提取该两张图像的视觉特征和时空特征,并计算该两张图像的综合相似度的真值。
进而,将所确定的每两张图像的视觉特征和时空特征,以及综合相似度的真值,对应输入到预设的初始模型中进行训练。
例如,可以利用决策树模型对所对应输入的视觉特征和时空特征,以及综合相似度的真值进行分类训练。
在迭代指定次数后,获取训练后的初始模型,从而,将每两张图像的特征向量输入到该训练后的初始模型,训练得到每两张图像的综合相似度的预测值,并进一步判断每两张图像的综合相似度的预测值与真值之间的损失值。
这样,当每两张图像的综合相似度的预测值与真值之间的损失值满足预设要求,例如,损失值小于指定数值时,便可以确定完成对初始模型的训练,得到训练好的综合相似度模型。
当每两张图像的综合相似度的预测值与真值之间的损失值不满足预设要求,例如,损失值不小于指定数值时,便可以确定未完成对初始模型的训练,从而,可以调整上述训练后的初始模型的模型参数,再次将所确定的每两张图像的视觉特征和时空特征,以及综合相似度的真值,对应输入到模型参数调整后的初始模型中进行训练。
循环上述过程,直至得到训练好的综合相似度模型。
这样,在针对每个基准图像,利用关于待处理图像与该基准图像的时空特征和视觉特征,确定待处理图像与该基准图像的综合相似度时,便可以将所确定的关于待处理图像与该基准图像的时空特征和视觉特征输入到上述综合相似度模型中,得到该综合相似度模型的输出结果,该输出结果即为待处理图像与该基准图像的综合相似度。
其中,上述综合相似度模型可以是机器学习模型,也可以是神经网络模型,对此,本发明实施例不做具体限定。
可选的,一种具体实现方式中,上述预设的采集设备组与空间转移概率的对应关系的生成方式,可以包括步骤41-42:
步骤41:基于指定区域中的各个采集设备所采集到的多张图像的时空信息,确定指定区域中的各组采集设备对应的初始转移概率;
其中,每组采集设备包括两个采集设备;
步骤42:利用位于以每个采集设备为中心的指定范围内的采集设备的分布情况,对初始转移概率进行修正,得到各组采集设备对应的空间转移概率。
在本具体实现方式中,可以首先获取指定区域中的各个采集设备所采集到的多张图像的时空信息,并利用该时空信息,确定该多张图像中的各组图像,其中,每组图像包括:针对同一对象的不同设备采集到的,且采集时间相邻的两张图像。从而,可以根据各组图像中所包括的采集设备,可以确定出指定区域中的各组采集设备对应的初始转移概率。
进而,采集对象在各个采集设备的采集区域之间转移时,从同一个采集设备的采集区域转移到不同采集设备的采集区域的概率可以是不同的,并且,从不同的采集设备的采集区域转移到同一采集设备的采集区域的概率也可以是不同的。
例如,针对某个采集设备,对象从该采集设备的采集区域转移到距离该采集设备较近的采集设备的采集区域中的概率,大于转移到距离该采集设备较远的采集设备的采集区域的概率。
其中,经过统计,可以发现对象从某一采集设备的采集区域转移到其他采集设备的采集区域的概率,可以利用正态分布来近似表示。
基于此,考虑到上述初始转移概率可能受到所利用的图像的数量的限制,以及各个采集设备可能存在漏拍等情况的影响,为了提高所利用的第一采集设备和第二采集设备的空间转移概率的准确性,可以进一步利用位于以每个采集设备为中心的指定范围内的采集设备的分布情况,对初始转移概率进行修正,得到各组采集设备对应的空间转移概率。
可选的,可以采用Parzen-Windows,通过概率密度函数,构建每个采集设备的周围采集设备的概率密度,并且,所构建的每个采集设备的周围采集设备的概率密度服从正态分布,其中,概率密度函数如下:
其中,p(xj)为第j个中心采集设备的周围采集设备的概率密度,xj为第j个中心采集设备的坐标,Y为各个中心采集设备的坐标集合,xi为第j个中心采集设备周围的第i个周围采集设备的坐标,X为第j个中心采集设备周围的各个周围采集设备的坐标集合,xi-xj为第j个中心采集设备周围的第i个周围采集设备,与第j个中心采集设备之间的距离,n为第j个中心采集设备周围的周围采集设备的总数量。
在某些情况下,采集设备采集到的待处理图像中的对象,可能因图像模糊、拍摄角度不当、有遮挡物遮挡等原因而不能用来进行身份辨认,所以,可以在与基准图像库中的基准图像进行匹配之前,对待处理图像进行筛选。
可选的,一种具体实现方式中,如图3所示,本发明实施例提供的一种图像库的构建方法,还可以包括如下步骤S100:
S100:确定待处理图像的指定图像属性;若指定图像属性满足预设属性要求,则执行S101。
其中,指定图像属性包括:图像清晰度、拍摄对象的拍摄角度和拍摄对象是否被遮挡中的至少一种;
在本具体实现方式中,在获取到待处理图像和待处理图像对应的目标时空信息后,可以首先确定待处理图像的指定图像属性,并进一步确定该指定图像属性是否满足预设属性要求。
这样,当待处理图像的指定图像属性满足预设属性要求时,便可以进一步执行后续的步骤S101-S104。否则,可以丢弃该待处理图像,从而,不需要执行后续的步骤S101-S104。
其中,预设属性要求是与所确定的指定图像属性相匹配的属性要求。
例如,当指定图像属性为图像清晰度时,预设属性要求可以为大于预设清晰度阈值;当指定图像属性为拍摄对象的拍摄角度时,预设属性要求可以为位于预设角度范围;当指定图像属性为拍摄对象是否被遮挡时,预设属性要求可以为不被遮挡。
示例性的,当待处理图像的清晰度过低时,丢弃该图像;当待处理图像中采集对象因为戴口罩、打伞等因素无法辨认其身份时,丢弃该图像;当待处理图像中的采集对象未被拍摄到正面时,而无法辨认身份时,丢弃该图像。
在某些情况下,基准图像库中可以存在多个与待处理图像相匹配的基准图像,从而,可以在多个与待处理图像相匹配的基准图像中,确定目标基准图像。
可选的,一种具体实现方式中,如图4所示,上述步骤S103:根据待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像,可以包括如下步骤103A:
S103A:若根据待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定出与待处理图像相匹配的多张初始基准图像,则将与待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与待处理图像相匹配的目标基准图像。
在本具体实现方式中,针对每个基准图像,可以根据待处理图像与该基准图像的视觉相似度和综合相似度,确定该基准图像与待处理图像是否匹配。
进而,在确定出与待处理图像相匹配的多张初始基准图像时,便可以将该多张初始基准图像中,与待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为待处理图像相匹配的目标基准图像。
可选的,可以在上述多张初始基准图像中找到与待处理图像的视觉相似度最大的基准图像,作为与待处理图像相匹配的目标基准图像;
可选的,可以在上述多张初始基准图像中找到与待处理图像的综合相似度最大的基准图像,作为与待处理图像相匹配的目标基准图像;
可选的,可以针对每张初始基准图像,计算该基准图像与待处理图像的视觉相似度与综合相似度的平均值,从而,在上述多张初始基准图像中,找到所计算得到的平均值最大的基准图像,作为与待处理图像相匹配的目标基准图像。
当然,上述各种方式仅仅是对从多张初始基准图像中选取目标基准图像的实现方式的举例说明,而非限定,任意能够实现从多张初始基准图像中选取目标基准图像的方式,均属于本发明的保护范围。
在某些情况下,在构建最初的基准图像库时,可以利用包括注册对象的基准图像进行构建,其中,所谓注册对象是指可以获知详细身份信息的对象,例如,某公司的员工等,从而,该详细身份信息可以包括姓名、工号、年龄等;同时,还可以利用包括非注册对象的基准图像进行构建,其中,所谓非注册对象是指无法获知详细身份信息的对象,例如,某公司的访客等,从而,非注册对象的身份信息可以仅仅包括该对象的性别、身高等可以从图像内容中获取的信息。
可选的,一种具体实现方式中,基准图像库包括:第一子库和第二子库;其中,第一子库中的基准图像所包括的对象是注册对象,第二子库中的基准图像所包括的对象为非注册对象;并且,多张初始基准图包括:第一子库中的基准图;
相应的,在本具体实现方式中,上述步骤S103A中,将与待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与待处理图像相匹配的目标基准图像,可以包括步骤41-42:
步骤41:确定多张初始基准图中属于第一子库的各个第一基准图像;
步骤42:将与待处理图像的视觉相似度或综合相似度最大的第一基准图像,确定为与待处理图像相匹配的目标基准图像。
在本具体实现方式中,当可以确定出与待处理图像相匹配的多张初始基准图像,且多张基准初始图像中包括第一子库中的基准图时,便可以首先确定多张初始基准图中属于第一子库的各个第一基准图像,从而,可以将与待处理图像的视觉相似度或综合相似度最大的第一基准图像,确定为与待处理图像相匹配的目标基准图像。
其中,上述步骤42的具体实现方式,与上述步骤S103A中,将与待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与待处理图像相匹配的目标基准图像的具体实现方式类似,在此不再赘述。
进一步的,可选的,一种具体实现方式中,在上述步骤41-42的基础上,本发明实施例提供的一种图像库构建方法还可以包括如下步骤51:
步骤51:将多张初始基准图中,除目标基准图像之外的各个基准图像所属的目标图像组,与目标基准图像所属的图像组合并,并建立目标图像组中的各个基准图像,与所存储的目标基准图像所对应的目标身份信息的对应关系。
在本具体实现方式中,当多张初始基准图像共同匹配于同一张待处理图像时,可以认为上述多张初始基准图像中的对象与待处理图像中的对象是同一个对象,并且,上述多张初始基准图像中的对象与待处理图像中的对象的身份信息是相同的。
这样,在确定出与待处理图像相匹配的目标基准图像时,可以将多张初始基准图中,除目标基准图像之外的各个基准图像所属的目标图像组,与目标基准图像所属的图像组合并,并建立目标图像组中的各个基准图像,与所存储的目标基准图像所对应的目标身份信息的对应关系。
通常,基准图像库中可以存在多张包含同一对象的图像,并且,该同一对象对应于同一身份信息。这样,为了节省计算资源,将上述包含相同对象的基准图像归为同一组基准图像,在进行待处理图像与基准图像匹配时,可以只对同一组基准图像中的其中一个进行匹配。
可选的,一种具体实现方式中,可以选择同一组基准图像中质量最好的一张图像,作为该组基准图像的封面图像。这样,在进行待处理图像与基准图像匹配时,可以仅通过对封面图像与待处理图像的匹配,确定上述待处理图像是否与属于该组的各个基准图像相匹配。
可选的,一种具体实现方式中,上述步骤S102:确定待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用目标时空信息和每个基准图像的基准时空信息,确定待处理图像与每个基准图像的综合相似度,可以包括如下步骤61-62:
步骤61:针对目标图像组,确定待处理图像与目标图像组的封面图像的视觉相似度,作为待处理图像与目标图像组中的各个基准图像的视觉相似度;
其中,目标图像组为设置有封面图像的图像组。
步骤62:针对目标图像组,利用目标时空信息和目标图像组的封面图像的基准时空信息,确定待处理图像与目标图像组的封面图像的综合相似度,作为待处理图像与目标图像组的各个基准图像的综合相似度。
在本具体实现方式中,针对基准图像库中,设置有封面图像的目标图像组而言,在确定待处理图像与该目标图像组中的各个基准图像的视觉相似度和综合相似度时,可以直接确定待处理图像与该目标图像组的封面图像的视觉相似度和综合相似度,从而,将所确定的视觉相似度和综合相似度作为待处理图像与该目标图像组中的各个基准图像的视觉相似度和综合相似度。
并且,在根据所确定的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像时,对于设置有封面图像的目标图像组而言,可以直接根据所确定的待处理图像与该目标图像组的封面图像的视觉相似度和综合相似度,确定该目标图像组的封面图像是否为目标基准图像。
其中,如果该目标图像组的封面图像为目标基准图像,则可以无需再次判断该目标图像组中的其他基准图像是否为目标基准图像。
相应的,针对基准图像库中,未设置有封面图像的图像组而言,在确定待处理图像与该图像组中的各个基准图像的视觉相似度和综合相似度时,则需要分别确定待处理图像与该图像组的各个基准图像的视觉相似度和综合相似度。
从而,在根据所确定的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像时,对于未设置有封面图像的图像组而言,则需要分别根据所确定的待处理图像与该图像组中的各个基准图像的视觉相似度和综合相似度,确定该基准图像是否为目标基准图像。
进一步的,目标图像组的封面图像通常为该目标图像组中的各个基准图像中质量最高好的基准图像,从而,为了提高所确定的后续的待处理图像与目标图像组的封面图像的视觉相似度和综合相似度的准确性,在当前的待处理图像与目标图像组的封面图像相匹配,且图像质量高于该封面图像的图像质量时,可以利用当前的待处理图像替换目标图像组的封面图像。
可选的,一种具体实现方式中,上述步骤S104,将待处理图像作为新的基准图像,并在基准图像库中,建立待处理图像与所存储的目标基准图像所对应的目标身份信息的对应关系,可以包括如下步骤71-74:
步骤71:确定待处理图像的图像质量;若目标基准图像所在的图像组设置有封面图像,且待处理图像的图像质量高于封面图像的图像质量,执行步骤72;若目标基准图像所在的图像组未设置有封面图像,且待处理图像的图像质量高于预设的图像质量阈值,执行步骤73;否则,执行步骤74;
步骤72:将封面图像替换为待处理图像,并对应存储目标时空信息;
步骤73:将待处理图像设置为目标基准图像所在的图像组的封面图像,并对应存储目标时空信息;
步骤74:将待处理图像作为与目标基准图像属于同一组的基准图像,与目标时空信息对应存储至基准图像库中。
在确定出与待处理图像相匹配的目标基准图像后,可以首先确定基准图像库中,目标基准图像所在的图像组是否具有封面图像,并在该图像组具有封面图像的情况下,确定待处理图像的图像质量是否高于该封面图像的图像质量,以确定是否可以利用待处理图像替换该封面图像;而在该图像组未具有封面图像的情况下,确定待处理图像的图像质量是否高于预设的图像质量阈值,以确定是否可以将待处理图像作为目标基准图像所在图像组的封面图像。
其中,在目标基准图像所在的图像组具有封面图像,且待处理图像的图像质量高于该封面图像的图像质量的情况下,便可以利用待处理图像替换该封面图像,即将封面图像替换为待处理图像,并对应存储目标时空信息。此时,目标基准图像所在的图像组中添加了待处理图像,并且,待处理图像为目标基准图像所在的图像组的新的封面图像,此外,对应存储了待处理图像和目标基准图像所对应的身份信息的对应关系。
在目标基准图像所在的图像组未具有封面图像,且待处理图像的图像质量高于预设的图像质量阈值的情况下,便可以将该待处理图像设置为目标基准图像所在的图像组的封面图像,并对应存储目标时空信息。此时,目标基准图像所在的图像组中添加了待处理图像,并且,该待处理图像被设置为目标基准图像所在的图像组的封面图像,此外,对应存储了待处理图像和目标基准图像所对应的身份信息的对应关系。
而在除上述两种情况之外的其他情况下,例如,目标基准图像所在的图像组具有封面图像,且待处理图像的图像质量不高于该封面图像的图像质量的情况,又例如,目标基准图像所在的图像组未具有封面图像,且待处理图像的图像质量不高于预设的图像质量阈值的情况下,则无法用待处理图像替换目标基准图像所在的图像组原有的封面图像,或者,无法将待处理图像设置为目标基准图像所在的图像组的封面图像。从而,在除上述两种情况之外的其他情况下,直接将待处理图像作为属于目标基准图像所在的图像组的新的基准图像,存储在基准图像库中的目标基准图像所在的图像组中,并对应存储待处理图像和目标基准图像所对应的身份信息的对应关系。
相应于上述本发明实施例提供的一种图像库构建方法,本发明实施例还提供了一种图像库构建装置。
图5为本发明实施例提供的一种图像库构建装置的结构示意图,如图5所示,该装置包括:
信息获取模块510,用于获取待处理图像和所述待处理图像对应的目标时空信息;其中,所述目标时空信息包括:所述待处理图像的采集时间和采集所述待处理图像的第一采集设备的空间信息;
相似度确定模块520,用于确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度;其中,所述综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
目标图像确定模块530,用于根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像;
图像存储模块540,用于将所述待处理图像作为新的基准图像,并在所述基准图像库中,建立所述待处理图像与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
以上可见,应用本发明实施例提供的方案,在获取待处理图像和待处理图像对应的目标时空信息时,可以进一步确定待处理图像与基准图像库中的每个基准图像的视觉相似度,以及待处理图像和每个基准图像的综合相似度;从而,可以根据待处理图像与每个基准图像的视觉相似度和综合相似度,确定与待处理图像相匹配的目标基准图像;进而,便可以将待处理图像作为新的基准图像存储到基准图像库中,并建立待处理图像与目标基准图像所对应的目标身份信息的对应关系。
基于此,应用本发明实施例提供的方案,可以构建得到基准图像库,从而,在对抓拍对象进行跟踪时,可以将抓拍对象的抓拍图像与基准图像库中的基准图像进行对比,从而,在确定出与抓拍图像相匹配的基准图像时,可以确定该基准图像中的对象即为抓拍对象,进而,可以直接将该基准图像对应的身份信息确定为该抓拍对象的身份信息。这样,便可以实现在对抓拍对象进行跟踪的同时,确定抓拍对象的身份信息,以提高对象跟踪效率。
可选的,一种具体实现方式中,所述相似度确定模块520具体用于:
针对每个基准图像,利用所述目标时空信息和该基准图像的基准时空信息,确定关于所述待处理图像与该基准图像的时空特征;其中,所述时空特征用于表征所述待处理图像与该基准图像的采集时间和采集设备之间的关系;
针对每个基准图像,基于所述待处理图像和该基准图像的图像内容,确定关于所述待处理图像与该基准图像的视觉特征;
针对每个基准图像,利用关于所述待处理图像与该基准图像的时空特征和视觉特征,确定所述待处理图像与该基准图像的综合相似度。
可选的,一种具体实现方式中,所述时空特征包括以下各个特征中的至少一个:
所述第一采集设备与采集该基准图像的第二采集设备之间的距离、所述待处理图像和该基准图像的采集时间之间的时间差、所述待处理图像中的对象的第一移动速度、该基准图像中的对象的第二移动速度,以及所述第一采集设备与所述第二采集设备之间的空间转移概率;其中,所述空间转移概率用于表征:所述待处理图像中的对象从所述第一采集设备的采集区域进入所述第二采集设备的采集区域的概率;
所述视觉特征包括以下各个特征中的至少一个:
所述待处理图像与该基准图像的视觉相似度、所述待处理图像的指定图像特征,以及该基准图像的所述指定图像特征;其中,所述指定图像特征至少包括图像灰度和/或对象运动状态。
可选的,一种具体实现方式中,所述时空特征包括:所述第一采集设备与采集该基准图像的第二采集设备之间的距离;
其中,所述距离是基于所述目标时空信息和所述基准时空信息中的空间信息,以及所述第一采集设备和所述第二次采集设备所处道路的路网信息确定的。
可选的,一种具体实现方式中,所述时空特征包括:所述第一采集设备与所述第二采集设备之间的空间转移概率,所述空间转移概率是从预设的采集设备组与空间转移概率的对应关系中,确定的包括所述第一采集设备和所述第二采集设备的采集设备组相对应的空间转移概率;
所述装置还包括:关系生成模块,用于生成所述对应关系;所述关系生成模块,具体用于:
基于指定区域中的各个采集设备所采集到的多张图像的时空信息,确定所述指定区域中的各组采集设备对应的初始转移概率;其中,每组采集设备包括两个采集设备;
利用位于以每个采集设备为中心的指定范围内的采集设备的分布情况,对所述初始转移概率进行修正,得到各组采集设备对应的空间转移概率。
可选的,一种具体实现方式中,所述目标图像确定模块530具体用于:
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度大于预设的第一阈值,则将该基准图像确定为与所述待处理图像相匹配的目标基准图像;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于预设的第二阈值,则遍历下一基准图像;其中,所述第二阈值小于所述第一阈值;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于所述第一阈值,且大于所述第二阈值,则当所述待处理图像与该基准图像的综合相似度大于预设的第三阈值时,将该基准图像确定为与所述待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,所述图像存储模块540具体用于:
针对目标图像组,确定所述待处理图像与所述目标图像组的封面图像的视觉相似度,作为所述待处理图像与所述目标图像组中的各个基准图像的视觉相似度;其中,所述目标图像组为设置有封面图像的图像组;
针对所述目标图像组,利用所述目标时空信息和所述目标图像组的封面图像的基准时空信息,确定所述待处理图像与所述目标图像组的封面图像的综合相似度,作为所述待处理图像与所述目标图像组的各个基准图像的综合相似度。
可选的,一种具体实现方式中,所述相似度确定模块520具体用于:
确定所述待处理图像的图像质量;
若所述目标基准图像所在的图像组设置有封面图像,且所述待处理图像的图像质量高于所述封面图像的图像质量,将所述封面图像替换为所述待处理图像,并对应存储所述目标时空信息;
若所述目标基准图像所在的图像组未设置有封面图像,且所述待处理图像的图像质量高于预设的图像质量阈值,则将待处理图像设置为所述目标基准图像所在的图像组的封面图像,并对应存储所述目标时空信息;
否则,将所述待处理图像作为与所述目标基准图像属于同一组的基准图像,与所述目标时空信息对应存储至所述基准图像库中。
可选的,一种具体实现方式中,所述目标图像确定模块530包括:
目标图像确定子模块,用于若根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定出与所述待处理图像相匹配的多张初始基准图像,则将与所述待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与所述待处理图像相匹配的目标基准图像。
可选的,一种具体实现方式中,所述基准图像库包括:第一子库和第二子库;其中,所述第一子库中的基准图像所包括的对象是注册对象,所述第二子库中的基准图像所包括的对象为非注册对象,所述多张初始基准图包括:所述第一子库中的基准图;所述目标图像确定子模块具体用于:
确定所述多张初始基准图中属于所述第一子库的各个第一基准图像;
将与所述待处理图像的视觉相似度或综合相似度最大的第一基准图像,确定为与所述待处理图像相匹配的目标基准图像;
所述装置还包括:
将所述多张初始基准图中,除所述目标基准图像之外的各个基准图像所属的目标图像组,与所述目标基准图像所属的图像组合并,并建立所述目标图像组中的各个基准图像,与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
可选的,一种具体实现方式中,所述装置还包括:
属性确定模块,用于在确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度之前,确实所述待处理图像的指定图像属性;其中,所述指定图像属性包括:图像清晰度、拍摄对象的拍摄角度和拍摄对象是否被遮挡中的至少一种;
若所述指定图像属性满足预设属性要求,则触发所述相似度确定模块520。
可选的,一种具体实现方式中,所述信息获取模块510具体用于:
获取第一采集设备发送的待处理图像和所述待处理图像对应的目标时空信息;或者,
获取第一采集设备发送的待处理图像、所述待处理图像的采集时间和所述第一采集设备的设备标识;根据所述设备标识,确定所述第一采集设备的空间信息,得到所述待处理图像的目标时空信息。
相应于上述本发明实施例提供的一种图像库构建方法,本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述本发明实施例提供的任一图像库构建方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述本发明实施例提供的任一图像库构建方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述本发明实施例提供的任一图像库构建方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (15)
1.一种图像库构建方法,其特征在于,所述方法包括:
获取待处理图像和所述待处理图像对应的目标时空信息;其中,所述目标时空信息包括:所述待处理图像的采集时间和采集所述待处理图像的第一采集设备的空间信息;
确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度;其中,所述综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像;
将所述待处理图像作为新的基准图像,并在所述基准图像库中,建立所述待处理图像与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
2.根据权利要求1所述的方法,其特征在于,所述利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度的步骤,包括:
针对每个基准图像,利用所述目标时空信息和该基准图像的基准时空信息,确定关于所述待处理图像与该基准图像的时空特征;其中,所述时空特征用于表征所述待处理图像与该基准图像的采集时间和采集设备之间的关系;
针对每个基准图像,基于所述待处理图像和该基准图像的图像内容,确定关于所述待处理图像与该基准图像的视觉特征;
针对每个基准图像,利用关于所述待处理图像与该基准图像的时空特征和视觉特征,确定所述待处理图像与该基准图像的综合相似度。
3.根据权利要求2所述的方法,其特征在于,所述时空特征包括以下各个特征中的至少一个:
所述第一采集设备与采集该基准图像的第二采集设备之间的距离、所述待处理图像和该基准图像的采集时间之间的时间差、所述待处理图像中的对象的第一移动速度、该基准图像中的对象的第二移动速度,以及所述第一采集设备与所述第二采集设备之间的空间转移概率;其中,所述空间转移概率用于表征:所述待处理图像中的对象从所述第一采集设备的采集区域进入所述第二采集设备的采集区域的概率;
所述视觉特征包括以下各个特征中的至少一个:
所述待处理图像与该基准图像的视觉相似度、所述待处理图像的指定图像特征,以及该基准图像的所述指定图像特征;其中,所述指定图像特征至少包括图像灰度和/或对象运动状态。
4.根据权利要求3所述的方法,其特征在于,所述时空特征包括:所述第一采集设备与采集该基准图像的第二采集设备之间的距离;
其中,所述距离是基于所述目标时空信息和所述基准时空信息中的空间信息,以及所述第一采集设备和所述第二次采集设备所处道路的路网信息确定的。
5.根据权利要求3所述的方法,其特征在于,所述时空特征包括:所述第一采集设备与所述第二采集设备之间的空间转移概率,所述空间转移概率是从预设的采集设备组与空间转移概率的对应关系中,确定的包括所述第一采集设备和所述第二采集设备的采集设备组相对应的空间转移概率;
所述对应关系的生成方式,包括:
基于指定区域中的各个采集设备所采集到的多张图像的时空信息,确定所述指定区域中的各组采集设备对应的初始转移概率;其中,每组采集设备包括两个采集设备;
利用位于以每个采集设备为中心的指定范围内的采集设备的分布情况,对所述初始转移概率进行修正,得到各组采集设备对应的空间转移概率。
6.根据权利要求1所述的方法,其特征在于,所述根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像,包括:
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度大于预设的第一阈值,则将该基准图像确定为与所述待处理图像相匹配的目标基准图像;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于预设的第二阈值,则遍历下一基准图像;其中,所述第二阈值小于所述第一阈值;
针对每个基准图像,若所述待处理图像与该基准图像的视觉相似度小于所述第一阈值,且大于所述第二阈值,则当所述待处理图像与该基准图像的综合相似度大于预设的第三阈值时,将该基准图像确定为与所述待处理图像相匹配的目标基准图像。
7.根据权利要求1所述的方法,其特征在于,所述确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度,包括:
针对目标图像组,确定所述待处理图像与所述目标图像组的封面图像的视觉相似度,作为所述待处理图像与所述目标图像组中的各个基准图像的视觉相似度;其中,所述目标图像组为设置有封面图像的图像组;
针对所述目标图像组,利用所述目标时空信息和所述目标图像组的封面图像的基准时空信息,确定所述待处理图像与所述目标图像组的封面图像的综合相似度,作为所述待处理图像与所述目标图像组的各个基准图像的综合相似度。
8.根据权利要求7所述的方法,其特征在于,所述将所述待处理图像作为与所述目标基准图像属于同一组的基准图像,与所述目标时空信息对应存储至所述基准图像库中,包括:
确定所述待处理图像的图像质量;
若所述目标基准图像所在的图像组设置有封面图像,且所述待处理图像的图像质量高于所述封面图像的图像质量,将所述封面图像替换为所述待处理图像,并对应存储所述目标时空信息;
若所述目标基准图像所在的图像组未设置有封面图像,且所述待处理图像的图像质量高于预设的图像质量阈值,则将待处理图像设置为所述目标基准图像所在的图像组的封面图像,并对应存储所述目标时空信息;
否则,将所述待处理图像作为与所述目标基准图像属于同一组的基准图像,与所述目标时空信息对应存储至所述基准图像库中。
9.根据权利要求1所述的方法,其特征在于,所述根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像,包括:
若根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定出与所述待处理图像相匹配的多张初始基准图像,则将与所述待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与所述待处理图像相匹配的目标基准图像。
10.根据权利要求9所述的方法,其特征在于,所述基准图像库包括:第一子库和第二子库;其中,所述第一子库中的基准图像所包括的对象是注册对象,所述第二子库中的基准图像所包括的对象为非注册对象,所述多张初始基准图包括:所述第一子库中的基准图;
所述将与所述待处理图像的视觉相似度或综合相似度最大的初始基准图像,确定为与所述待处理图像相匹配的目标基准图像,包括:
确定所述多张初始基准图中属于所述第一子库的各个第一基准图像;
将与所述待处理图像的视觉相似度或综合相似度最大的第一基准图像,确定为与所述待处理图像相匹配的目标基准图像;
所述方法还包括:
将所述多张初始基准图中,除所述目标基准图像之外的各个基准图像所属的目标图像组,与所述目标基准图像所属的图像组合并,并建立所述目标图像组中的各个基准图像,与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
11.根据权利要求1-10任一项所述的方法,其特征在于,在确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度之前,所述方法还包括:
确实所述待处理图像的指定图像属性;其中,所述指定图像属性包括:图像清晰度、拍摄对象的拍摄角度和拍摄对象是否被遮挡中的至少一种;
若所述指定图像属性满足预设属性要求,则执行确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度的步骤。
12.根据权利要求1-10任一项所述的方法,其特征在于,所述获取待处理图像和所述待处理图像对应的目标时空信息,包括:
获取第一采集设备发送的待处理图像和所述待处理图像对应的目标时空信息;或者,
获取第一采集设备发送的待处理图像、所述待处理图像的采集时间和所述第一采集设备的设备标识;根据所述设备标识,确定所述第一采集设备的空间信息,得到所述待处理图像的目标时空信息。
13.一种图像库构建装置,其特征在于,所述装置包括:
信息获取模块,用于获取待处理图像和所述待处理图像对应的目标时空信息;其中,所述目标时空信息包括:所述待处理图像的采集时间和采集所述待处理图像的第一采集设备的空间信息;
相似度确定模块,用于确定所述待处理图像与基准图像库中的每个基准图像的视觉相似度,并利用所述目标时空信息和每个基准图像的基准时空信息,确定所述待处理图像与每个基准图像的综合相似度;其中,所述综合相似度用于从图像内容和时空信息两个维度共同表征图像的相似度;
目标图像确定模块,用于根据所述待处理图像与基准图像库中的每个基准图像的视觉相似度和综合相似度,确定与所述待处理图像相匹配的目标基准图像;
图像存储模块,用于将所述待处理图像作为新的基准图像,并在所述基准图像库中,建立所述待处理图像与所存储的所述目标基准图像所对应的目标身份信息的对应关系。
14.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-12任一所述的方法步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-12任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111087751.8A CN113609317B (zh) | 2021-09-16 | 2021-09-16 | 一种图像库构建方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111087751.8A CN113609317B (zh) | 2021-09-16 | 2021-09-16 | 一种图像库构建方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113609317A true CN113609317A (zh) | 2021-11-05 |
CN113609317B CN113609317B (zh) | 2024-04-02 |
Family
ID=78343138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111087751.8A Active CN113609317B (zh) | 2021-09-16 | 2021-09-16 | 一种图像库构建方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113609317B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359875A (zh) * | 2022-03-17 | 2022-04-15 | 成都考拉悠然科技有限公司 | 车辆有效抓拍方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100157064A1 (en) * | 2008-12-18 | 2010-06-24 | Industrial Technology Research Institute | Object tracking system, method and smart node using active camera handoff |
US20130195361A1 (en) * | 2012-01-17 | 2013-08-01 | Alibaba Group Holding Limited | Image index generation based on similarities of image features |
JP2017182761A (ja) * | 2016-03-25 | 2017-10-05 | 富士ゼロックス株式会社 | 位置同定装置、位置同定プログラム、経路特定装置及び経路特定プログラム |
CN110443828A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
WO2020151084A1 (zh) * | 2019-01-24 | 2020-07-30 | 北京明略软件系统有限公司 | 目标对象的监控方法、装置及系统 |
US20210232853A1 (en) * | 2018-10-16 | 2021-07-29 | Huawei Technologies Co., Ltd. | Object Recognition Method and Terminal Device |
CN113344132A (zh) * | 2021-06-30 | 2021-09-03 | 成都商汤科技有限公司 | 身份识别方法、系统、装置、计算机设备及存储介质 |
-
2021
- 2021-09-16 CN CN202111087751.8A patent/CN113609317B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100157064A1 (en) * | 2008-12-18 | 2010-06-24 | Industrial Technology Research Institute | Object tracking system, method and smart node using active camera handoff |
US20130195361A1 (en) * | 2012-01-17 | 2013-08-01 | Alibaba Group Holding Limited | Image index generation based on similarities of image features |
JP2017182761A (ja) * | 2016-03-25 | 2017-10-05 | 富士ゼロックス株式会社 | 位置同定装置、位置同定プログラム、経路特定装置及び経路特定プログラム |
US20210232853A1 (en) * | 2018-10-16 | 2021-07-29 | Huawei Technologies Co., Ltd. | Object Recognition Method and Terminal Device |
WO2020151084A1 (zh) * | 2019-01-24 | 2020-07-30 | 北京明略软件系统有限公司 | 目标对象的监控方法、装置及系统 |
CN110443828A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
CN113344132A (zh) * | 2021-06-30 | 2021-09-03 | 成都商汤科技有限公司 | 身份识别方法、系统、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
A BATSEV ET AL: "WAKRUS:A similarity retreval algorithm for image databases", IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, vol. 16, no. 3, 31 December 2004 (2004-12-31) * |
冯亚沛: "基于内容的图像特征提取及应用", 信息科技, no. 12, 15 December 2018 (2018-12-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359875A (zh) * | 2022-03-17 | 2022-04-15 | 成都考拉悠然科技有限公司 | 车辆有效抓拍方法及系统 |
CN114359875B (zh) * | 2022-03-17 | 2022-05-17 | 成都考拉悠然科技有限公司 | 车辆有效抓拍方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113609317B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046752B (zh) | 一种室内定位方法、计算机设备和存储介质 | |
CN104303193A (zh) | 基于聚类的目标分类 | |
CN112770265B (zh) | 一种行人身份信息获取方法、系统、服务器和存储介质 | |
WO2023197232A1 (zh) | 目标跟踪方法及装置、电子设备、计算机可读介质 | |
CN110659391A (zh) | 一种视频侦查方法及装置 | |
KR102333143B1 (ko) | 무인 계수 서비스 제공 시스템 | |
Sharma et al. | Vehicle identification using modified region based convolution network for intelligent transportation system | |
WO2020073697A1 (zh) | 图像识别的方法、装置、系统及计算设备 | |
CN112465866A (zh) | 多目标轨迹获取方法、装置、系统及存储介质 | |
KR20200136034A (ko) | 이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템 | |
CN115393681A (zh) | 一种目标融合方法、装置、电子设备及存储介质 | |
CN111291646A (zh) | 一种人流量统计方法、装置、设备及存储介质 | |
CN111159476A (zh) | 目标对象的搜索方法、装置、计算机设备及存储介质 | |
Yin et al. | A deep learning based illegal parking detection platform | |
CN111739056A (zh) | 一种轨迹追踪系统 | |
Azimjonov et al. | A vision-based real-time traffic flow monitoring system for road intersections | |
CN113609317A (zh) | 一种图像库构建方法、装置及电子设备 | |
CN118038341A (zh) | 多目标跟踪方法、装置、计算机设备以及存储介质 | |
CN112863195B (zh) | 车辆状态的确定方法及装置 | |
CN111950507B (zh) | 数据处理和模型训练方法、装置、设备及介质 | |
CN117765348A (zh) | 目标检测模型的部署方法和目标检测方法及电子设备 | |
WO2021047664A1 (zh) | 一种生物特征识别的方法及相关设备 | |
Lin et al. | Moving camera analytics: Emerging scenarios, challenges, and applications | |
CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
CN114926973B (zh) | 一种视频监控方法、装置、系统、服务器及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |