CN113705417B - 图像处理方法及装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法及装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113705417B
CN113705417B CN202110971089.6A CN202110971089A CN113705417B CN 113705417 B CN113705417 B CN 113705417B CN 202110971089 A CN202110971089 A CN 202110971089A CN 113705417 B CN113705417 B CN 113705417B
Authority
CN
China
Prior art keywords
vehicle
image
camera
target vehicle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110971089.6A
Other languages
English (en)
Other versions
CN113705417A (zh
Inventor
熊鹏
朱斌
周俊竹
钱能胜
阮佳彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110971089.6A priority Critical patent/CN113705417B/zh
Publication of CN113705417A publication Critical patent/CN113705417A/zh
Application granted granted Critical
Publication of CN113705417B publication Critical patent/CN113705417B/zh
Priority to PCT/CN2022/107671 priority patent/WO2023024787A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种图像处理方法及装置、电子设备及计算机可读存储介质。该方法包括:在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下,确定所述第一目标车辆的第一视频源设备为所述第一摄像头;在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,所述第一摄像头与所述第二摄像头不同。

Description

图像处理方法及装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及计算机可读存储介质。
背景技术
随着摄像头的增多,越来越多场景利用摄像头提高社会治安管控能力。如,对进入特定区域的车辆进行跟踪,即为其中的一个应用场景。
目前的方法中,在确定摄像头拍摄到车辆后,会显示该摄像头所采集的视频。但在车辆驶出该摄像头的拍摄区域后,仍然显示该摄像头所采集的视频,而未显示车辆的实时视频。
发明内容
本申请提供一种图像处理方法及装置、电子设备及计算机可读存储介质。
第一方面,提供了一种图像处理方法,所述方法包括:
在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下,确定所述第一目标车辆的第一视频源设备为所述第一摄像头;
在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,所述第一摄像头与所述第二摄像头不同。
结合本申请任一实施方式,所述在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下之前,所述方法还包括:
获取时间差阈值和至少两张第一图像,所述时间差阈值为正数,所述至少两张第一图像均包括所述第一目标车辆,且所述至少一张第一图像包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像;
确定第二图像的时间戳与第三图像的时间戳的差值,所述第二图像为所述至少两张第一图像中由所述第二摄像头采集到的时间戳最小的图像,所述第三图像为所述至少两张第一图像中由所述第一摄像头采集到的时间戳最小的图像;
所述确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域,包括:
在所述差值大于所述时间差阈值的情况下,确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域。
结合本申请任一实施方式,所述至少两张第一图像包括目标车辆图像集中时间戳最大的n张图像,所述目标车辆图像集中的图像均包括所述第一目标车辆,且所述目标车辆图像集中的图像均包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像,所述n为大于1的整数。
结合本申请任一实施方式,所述在所述差值大于所述时间差阈值的情况下之后,所述确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域之前,所述方法还包括:
确定所述第一目标车辆在所述第二图像中的第一尺寸和所述第一目标车辆在所述第三图像中的第二尺寸;
所述确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域,包括:
在所述第一尺寸大于所述第二尺寸的情况下,确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域。
结合本申请任一实施方式,所述方法还包括:显示所述第一视频源设备的拍摄画面。
结合本申请任一实施方式,所述第一摄像头和所述第二摄像头均部署在目标区域内;
所述方法还包括:在确定所述第一目标车辆已离开所述目标区域的情况下,停止显示所述第一视频源设备的拍摄画面。
结合本申请任一实施方式,所述第一视频源设备的拍摄画面显示于显示页面的第一显示区域,所述显示页面还包括第二显示区域,所述第二显示区域用于显示第二目标车辆的第二视频源设备的拍摄画面,所述第一目标车辆与所述第二目标车辆不同。
结合本申请任一实施方式,所述在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下之前,所述方法还包括:
获取所述第一摄像头采集到的第二图像;
所述确定第一目标车辆处于所述第一摄像头的拍摄区域内,包括:
在确定所述第二图像包括所述第一目标车辆的情况下,确定所述第一目标车辆处于所述第一摄像头的拍摄区域内。
结合本申请任一实施方式,所述第二图像包括待识别车辆,所述在确定所述第二图像包括所述第一目标车辆的情况下之前,所述方法还包括:
获取所述第一目标车辆的目标特征数据;
所述确定所述第二图像包括所述第一目标车辆,包括:
对所述第二图像进行特征提取处理,得到所述待识别车辆的第一特征数据;
依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果;
在所述比对结果包括所述第一目标车辆和所述待识别车辆相同的情况下,确定所述第二图像包括所述第一目标车辆。
结合本申请任一实施方式,所述依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果之前,所述方法还包括:
获取所述第一目标车辆的至少一个第一目标车辆属性;
对所述第二图像进行车辆属性提取处理,得到所述待识别车俩的至少一个第一车辆属性;
所述依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果,包括:
依据所述第一相似度和第二相似度,得到所述第一目标车辆与所述待识别车辆的比对结果,所述第二相似度为所述至少一个第一目标车辆属性和所述至少一个第一车辆属性之间的相似度。
结合本申请任一实施方式,所述依据所述第一相似度和第二相似度,得到所述第一车辆与所述第二车辆的比对结果,包括:
对所述第一相似度和所述第二相似度进行加权求和,得到第三相似度;
在所述第三相似度大于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆相同;
在所述第三相似度小于或等于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆不同。
结合本申请任一实施方式,所述第一摄像头部署于目标区域;
所述获取所述第一目标车辆的目标特征数据,包括:
获取待跟踪车辆数据库,所述待跟踪车辆数据库包括至少一辆待跟踪车辆的特征数据,所述至少一辆待跟踪车辆包括需要跟踪在所述目标区域内的轨迹的车辆,且所述目标车辆为所述至少一辆待跟踪车辆中的任意一辆车;
在获取所述第一摄像头采集到的所述第二图像的情况下,从所述待跟踪车辆数据库获取一个特征数据,作为所述目标特征数据。
结合本申请任一实施方式,所述获取待跟踪车辆数据库,包括:
获取至少一张第四图像,所述至少一张第四图像包括所述至少一辆待跟踪车辆;
依据所述至少一张第四图像,得到所述待跟踪车辆数据库。
结合本申请任一实施方式,所述获取至少一张第四图像,包括:
获取至少一个卡口摄像头采集的所述至少一张第四图像,所述至少一个卡口摄像头均部署于所述目标区域的出入口。
结合本申请任一实施方式,所述比对结果包括所述第一目标车辆与所述待识别车辆相同,所述方法还包括:
获取所述目标区域的第五图像和所述第一摄像头在所述第五图像中的第一位置;
依据所述第一位置,确定所述第一目标车辆在所述第五图像中的第二位置。
第二方面,提供了一种图像处理装置,所述装置包括:
第一处理单元,用于在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下,确定所述第一目标车辆的第一视频源设备为所述第一摄像头;
第二处理单元,用于在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,所述第一摄像头与所述第二摄像头不同。
结合本申请任一实施方式,所述图像处理装置还包括:获取单元,用于在所述在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下之前,获取时间差阈值和至少两张第一图像,所述时间差阈值为正数,所述至少两张第一图像均包括所述第一目标车辆,且所述至少一张第一图像包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像;
确定单元,用于确定第二图像的时间戳与第三图像的时间戳的差值,所述第二图像为所述至少两张第一图像中由所述第二摄像头采集到的时间戳最小的图像,所述第三图像为所述至少两张第一图像中由所述第一摄像头采集到的时间戳最小的图像;
所述第二处理单元用于:
在所述差值大于所述时间差阈值的情况下,确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域。
结合本申请任一实施方式,所述至少两张第一图像包括目标车辆图像集中时间戳最大的n张图像,所述目标车辆图像集中的图像均包括所述第一目标车辆,且所述目标车辆图像集中的图像均包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像,所述n为大于1的整数。
结合本申请任一实施方式,所述确定单元,还用于在所述差值大于所述时间差阈值的情况下之后,所述确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域之前,确定所述第一目标车辆在所述第二图像中的第一尺寸和所述第一目标车辆在所述第三图像中的第二尺寸;
所述第二处理单元用于:
在所述第一尺寸大于所述第二尺寸的情况下,确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域。
结合本申请任一实施方式,所述方法还包括:显示单元,用于显示所述第一视频源设备的拍摄画面。
结合本申请任一实施方式,所述第一摄像头和所述第二摄像头均部署在目标区域内;
所述方法还包括:所述显示单元,还用于在确定所述第一目标车辆已离开所述目标区域的情况下,停止显示所述第一视频源设备的拍摄画面。
结合本申请任一实施方式,所述第一视频源设备的拍摄画面显示于显示页面的第一显示区域,所述显示页面还包括第二显示区域,所述第二显示区域用于显示第二目标车辆的第二视频源设备的拍摄画面,所述第一目标车辆与所述第二目标车辆不同。
结合本申请任一实施方式,所述图像处理装置还包括:获取单元,用于在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下之前,获取所述第一摄像头采集到的第二图像;
所述第一处理单元用于:
在确定所述第二图像包括所述第一目标车辆的情况下,确定所述第一目标车辆处于所述第一摄像头的拍摄区域内。
结合本申请任一实施方式,所述第二图像包括待识别车辆;所述获取单元,还用于在在确定所述第二图像包括所述第一目标车辆的情况下之前,获取所述第一目标车辆的目标特征数据;
所述第一处理单元用于:
对所述第二图像进行特征提取处理,得到所述待识别车辆的第一特征数据;
依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果;
在所述比对结果包括所述第一目标车辆和所述待识别车辆相同的情况下,确定所述第二图像包括所述第一目标车辆。
结合本申请任一实施方式,所述获取单元,还用于在依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果之前,获取所述第一目标车辆的至少一个第一目标车辆属性;
所述图像处理装置还包括:提取单元,用于对所述第二图像进行车辆属性提取处理,得到所述待识别车俩的至少一个第一车辆属性;
所述第一处理单元用于:
依据所述第一相似度和第二相似度,得到所述第一目标车辆与所述待识别车辆的比对结果,所述第二相似度为所述至少一个第一目标车辆属性和所述至少一个第一车辆属性之间的相似度。
结合本申请任一实施方式,所述第一处理单元用于:
对所述第一相似度和所述第二相似度进行加权求和,得到第三相似度;
在所述第三相似度大于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆相同;
在所述第三相似度小于或等于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆不同。
结合本申请任一实施方式,所述第一摄像头部署于目标区域;
所述获取单元用于:
获取待跟踪车辆数据库,所述待跟踪车辆数据库包括至少一辆待跟踪车辆的特征数据,所述至少一辆待跟踪车辆包括需要跟踪在所述目标区域内的轨迹的车辆,且所述目标车辆为所述至少一辆待跟踪车辆中的任意一辆车;
在获取所述第一摄像头采集到的所述第二图像的情况下,从所述待跟踪车辆数据库获取一个特征数据,作为所述目标特征数据。
结合本申请任一实施方式,所述获取单元用于:
获取至少一张第四图像,所述至少一张第四图像包括所述至少一辆待跟踪车辆;
依据所述至少一张第四图像,得到所述待跟踪车辆数据库。
结合本申请任一实施方式,所述获取单元用于:
获取至少一个卡口摄像头采集的所述至少一张第四图像,所述至少一个卡口摄像头均部署于所述目标区域的出入口。
结合本申请任一实施方式,所述比对结果包括所述第一目标车辆与所述待识别车辆相同,所述获取还用于:
获取所述目标区域的第五图像和所述第一摄像头在所述第五图像中的第一位置;
所述图像处理装置还包括:第三处理单元,还用于依据所述第一位置,确定所述第一目标车辆在所述第五图像中的第二位置。
第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种图像处理系统的架构示意图;
图2为本申请实施例提供的一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种显示页面示意图;
图4为本申请实施例提供的一种图像处理装置的结构示意图;
图5为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包括。例如包括了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包括在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
随着摄像头的增多,越来越多场景利用摄像头提高社会治安管控能力。如,对进入特定区域的车辆进行跟踪,即为其中的一个应用场景。
目前的方法中,在确定摄像头拍摄到车辆后,会显示该摄像头所采集的视频。但在车辆驶出该摄像头的拍摄区域后,仍然显示该摄像头所采集的视频,而无法显示车辆的实时视频。基于此,本申请实施例提供了一种技术方案,以显示车辆的实时视频。
本申请实施例的执行主体为图像处理装置,其中,图像处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,图像处理装置可以是以下中的一种:手机、计算机、平板电脑、可穿戴智能设备。
应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1所示为本申请实施例提供的一种图像处理系统1000架构示意图。在图1中,图像处理装置1001与至少两个摄像头1002之间具有通信连接。图像处理装置1001还和显示设备1003存在通信连接,图像处理装置1001基于该通信连接可通过显示设备1003进行显示。
可选的,图像处理装置1001是服务器。图像处理装置1001可部署在监管区域的控制中心。至少两个摄像头1002均部署于监管区域内,用于采集监管区域内的图像和/或视频。
图像处理装置1001基于下文提供的技术方案对至少两个摄像头1002所采集到的图像和/或视频进行处理,确定第一目标车辆的第一视频源设备,进而可通过显示设备1003显示第一视频源设备的拍摄画面。如,至少两个摄像头1002包括第一摄像头和第二摄像头。图像处理装置1001在确定第一目标车辆出现在第一摄像头的拍摄区域内的情况下,确定第一视频源设备为第一摄像头,进而通过显示设备1003显示第一摄像头的拍摄画面。图像处理装置1001在确定第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将第一视频源设备由第一摄像头切换为第二摄像头,进而将显示设备1003的显示画面由第一摄像头的拍摄画面切换为第二摄像头的拍摄画面。
由此,基于图像处理系统1000可实现对第一目标车辆在监管区域内的视频进行实时显示。
在一个实施例中,图像处理装置1001和显示设备1003可以为同一个终端设备,该终端设备同时包括图像处理分析能力以及显示能力,能同时实现图像处理装置1001及显示设备1003所执行的方法步骤。例如,图像处理装置1001和显示设备1003是计算机。
请参阅图2,图2是本申请实施例提供的一种图像处理方法的流程示意图。
201、在确定第一目标车辆处于上述第一摄像头的拍摄区域内的情况下,确定上述第一目标车辆的第一视频源设备为上述第一摄像头。
本申请实施例中,车辆(包括上述第一目标车辆,以及下文将要提及的第二目标车辆和待识别车辆)可以是任意车辆。例如,第一目标车辆是轿车。又例如,第一目标车辆是泥头车。再例如,第一目标车辆是公交车。
本申请实施例中,摄像头(包括上述第一摄像头和下文将要提及的第二摄像头)可以是摄像机,摄像头也可以是抓拍机。
本申请实施例中,车辆的视频源设备(包括上述第一目标车辆的第一视频源设备和下文将要提及的第二目标车辆的第二视频源设备)为,在显示车辆的实时视频时所显示的视频来源。
例如,第一目标车辆的第一视频源设备为摄像头a,那么在显示第一目标车辆的实时视频时,显示摄像头a采集到的实时视频。
第一目标车辆处于第一摄像头的拍摄区域内,说明在显示第一目标车辆的实时视频时,应显示第一摄像头采集的实时视频,因此,图像处理装置在该种情况下,确定第一目标车辆的第一视频源设备为第一摄像头。
202、在确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将上述第一目标车辆的第一视频源设备由上述第一摄像头切换为上述第二摄像头,上述第一摄像头与上述第二摄像头不同。
第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域,在显示第一目标车辆的实时视频时,应将所显示的视频由第一摄像头采集的实时视频切换为第二摄像头采集的实时视频。因此,在确定第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将第一目标车辆的第一视频源设备由第一摄像头切换为第二摄像头。
本申请实施例中,图像处理装置在定第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将第一目标车辆的第一视频源设备由第一摄像头切换为第二摄像头,由此可实时确定第一目标车辆的第一视频源设备。
这样,在确定第一目标车辆的第一视频源设备后,可通过显示第一视频源设备采集的实时视频,实现显示第一目标车辆的实时视频。
为表述方便,下文将第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域时,将第一目标车辆的第一视频源设备由第一摄像头切换为第二摄像头称为视频接力。
图像处理装置在确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下之前,还执行以下步骤:
1、获取时间差阈值和至少两张第一图像。
本申请实施例中,时间差阈值为正数。至少两张第一图像可以是一张第一图像,至少两张第一图像也可以是两张或两张以上第一图像。至少两张第一图像中的每张图像均包括第一目标车辆。至少一张第一图像包括第一摄像头采集到的图像和第二摄像头采集到的图像。
例如,至少两张第一图像包括图像a和图像b,此时,图像a由第一摄像头采集得到,图像b由第二摄像头采集得到。而且图像a和图像b均包括第一目标车辆。
在一种获取时间差阈值的实现方式中,图像处理装置接收用户通过输入组件输入的时间差阈值。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取时间差阈值的实现方式中,图像处理装置接收终端发送的时间差阈值。上述终端包括:手机、计算机、平板电脑、服务器。
在一种获取至少两张第一图像的实现方式中,图像处理装置接收用户通过输入组件输入的至少两张第一图像。
在另一种获取至少两张第一图像的实现方式中,图像处理装置接收终端发送的至少两张第一图像。
应理解,在本申请实施例中,获取至少两张第一图像的步骤和获取时间差阈值的步骤可以分开执行,也可以同时执行。例如,图像处理装置可先获取至少两张第一图像,再获取时间差阈值。又例如,图像处理装置可先获取时间差阈值,再获取至少两张第一图像。再例如,图像处理装置在获取至少两张第一图像的过程中获取时间差阈值,或在获取时间差阈值的过程中获取至少两张第一图像。
2、确定第二图像的时间戳与第三图像的时间戳的差值。
本申请实施例中,第二图像为至少两张第一图像中由第二摄像头采集到的时间戳最小的图像,第三图像为至少两张第一图像中由第一摄像头采集到的时间戳最小的图像。
例如,至少两张第一图像包括图像a、图像b、图像c和图像d,其中,图像a和图像d由第一摄像头采集得到,图像b和图像c由第二摄像头采集得到。若图像a的采集时间早于图像d的采集时间,即图像a的时间戳小于图像d的时间戳,那么第二图像为图像a。若图像b的采集时间早于图像c的采集时间,即图像b的时间戳小于图像c的时间戳,那么第三图像为图像b。
本申请实施例中,第二图像的时间戳与第三图像的时间戳的差值,即为第二图像的时间戳减去第三图像的时间戳得到的差值。该差值表征第二图像的采集时间与第三图像的采集时间之间的时间差。
在执行完步骤1和步骤2之后,图像处理装置通过执行以下步骤确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域:
3、在差值大于上述时间差阈值的情况下,确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入上述第二摄像头的拍摄区域。
第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域,即第一目标车辆先出现在第一摄像图的拍摄区域内,再出现在第二摄像头的拍摄区域内。也就是说,第一摄像头先拍摄到第一目标车辆,第二摄像头后拍摄到第一目标车辆。又车辆从驶入第一摄像头的拍摄区域到驶出第一摄像头的拍摄区域需要一定的时间,即第一摄像头最早拍摄到第一目标车辆与第二摄像头最早拍摄到第一目标车辆之间存在时间差。因此可通过第二图像的采集时间与第三图像的采集时间之间的时间差来判断第一目标车辆是否从第一摄像头的拍摄区域驶入第二摄像头破的拍摄区域。
本申请实施例中,时间差阈值可理解为车辆从驶入摄像头的拍摄区域到驶出摄像头的拍摄区域所需的时间。应理解,时间差阈值为经验值,具体取值可依据实际情况进行设置。
若步骤2得到的差值大于时间差阈值,一方面由于时间差阈值为正数,第一摄像头先拍摄到第一目标车辆,第二摄像头后拍摄到第一目标车辆。另一方面,第一目标车辆大于时间差阈值,说明第一目标车辆已驶出第一摄像头的拍摄区域。也就是说,第一目标车辆已从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域。
因此,图像处理装置在差值大于时间差阈值的情况下,确定第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域。
若步骤2得到的差值小于或等于时间差阈值,那么包括以下两种情况:
1)第二摄像头先拍摄到第一目标车辆,第一摄像头后拍摄到第一目标车辆。此时第一目标车辆处于第一摄像头的拍摄区域内;
2)第一摄像头先拍摄到第一目标车辆,第二摄像头后拍摄到第一目标车辆。但第一目标车辆未驶出第一摄像头的拍摄区域,即第一目标车辆仍处于第一摄像头的拍摄区域内。
因此,在一种可选的实施方式中,图像处理装置在差值小于或等于时间差阈值的情况下,确定目标车辆处于第一摄像头的拍摄区域内。
在步骤1~步骤2中,图像处理装置通过第二图像的时间戳与第三图像的时间戳之间的差值,判断第一目标车辆是否从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域,可提高判断准确度,从而提升视频接力的效果。
作为一种可选的实施方式,至少两张第一图像包括目标车辆图像集中时间戳最大的n张图像,上述目标车辆图像集中的图像均包括上述第一目标车辆,且上述目标车辆图像集中的图像均包括上述第一摄像头采集到的图像和上述第二摄像头采集到的图像,上述n为大于1的整数。
摄像头采集到的图像具有时效性,而视频接力需要确定实时的第一视频源设备,因此在至少两张第一图像包括目标车辆图像集中时间戳最大的n张图像的情况下,可提高确定的实时第一视频源设备的准确度,进而提升视频接力的效果。
作为一种可选的实施方式,图像处理装置在上述差值大于上述时间差阈值的情况下之后,在确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入上述第二摄像头的拍摄区域之前,还执行以下步骤:
4、确定上述第一目标车辆在上述第二图像中的第一尺寸和上述第一目标车辆在上述第三图像中的第二尺寸。
本申请实施例中,第一目标车辆在图像中的尺寸可以是,第一目标车辆所覆盖的像素区域的尺寸。
在一种可能实现的方式中,第一目标车辆在图像中的尺寸是,包括第一目标车辆的车辆检测框的面积,其中,车辆检测框为通过对图像进行车辆检测处理得到。例如,图像处理装置通过对第二图像进行车辆检测处理得到包括第一目标车辆的第一车辆检测框,通过对第三图像进行车辆检测处理得到包括第一目标车辆的第二车辆检测框。第一车辆检测框的面积即为第一尺寸,第二车辆检测框的面积即为第二尺寸。
在执行完步骤4后,图像处理装置通过执行以下步骤确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入上述第二摄像头的拍摄区域:
5、在上述第一尺寸大于上述第二尺寸的情况下,确定上述第一目标车辆从上述第一摄像头的拍摄区域驶入上述第二摄像头的拍摄区域。
若第一尺寸大于第二尺寸,说明第一目标车辆离第二摄像头的距离比第一目标车辆离第一摄像头的距离小,此时应该将第二摄像头作为第一目标车辆的第一视频源设备。因此,图像处理装置在第一尺寸大于第二尺寸的情况下,确定第一目标车辆从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域。
若第一尺寸小于第二尺寸,说明第一目标车辆离第二摄像头的距离比第一目标车辆离第一摄像头的距离大,此时应该将第一摄像头作为第一目标车辆的第一视频源设备。可选的,图像处理装置在第一尺寸小于第二尺寸的情况下,确定第一目标车辆仍处于第一摄像头的拍摄区域内。
若第一尺寸等于第二尺寸,说明第一目标车辆离第二摄像头的距离与第一目标车辆离第一摄像头的距离相同,但由于第一目标车辆的当前第一视频源设备为第一摄像头,为使视频接力的显示效果更流畅,此时可仍将第一摄像头作为第一目标车辆的第一视频源设备。可选的,图像处理装置在第一尺寸等于第二尺寸的情况下,确定第一目标车辆仍处于第一摄像头的拍摄区域内。
在步骤4和步骤5中,图像处理装置在差值大于时间差阈值的情况下,进一步依据第一尺寸和第二尺寸,判断第一目标车辆是否从第一摄像头的拍摄区域驶入第二摄像头的拍摄区域,可提高判断准确度,从而提升视频接力的效果。
作为一种可选的实施方式,图像处理装置还显示上述第一视频源设备的拍摄画面,这样可显示第一目标车辆的实时视频,达到可视化跟踪第一目标车辆的效果。可选的,图像处理装置与显示设备之间具有通信连接,图像处理装置通过该通信将第一视频源设备的拍摄画面显示于显示设备上。
作为一种可选的实施方式,第一摄像头和第二摄像头均部署在目标区域。本申请实施例中,目标区域可以是任意区域,例如,目标区域是学校,又例如,目标区域是工业园区。可选的,目标区域包括监管区域。第一摄像头和第二摄像头均部署在目标区域内,即第一摄像头的拍摄区域和第二摄像头的拍摄区域均位于目标区域内。
图像处理装置还在确定上述第一目标车辆已离开上述目标区域的情况下,停止显示上述第一视频源设备的拍摄画面。由此可释放用于跟踪显示第一目标车辆的硬件资源,提高图像处理装置的硬件资源利用率,其中,该硬件资源包括:用于确定第一目标车辆的第一视频源设备的硬件资源和用于显示第一目标车辆的第一视频源设备的拍摄画面的硬件资源。
在该种实施方式中,图像处理装置通过第一摄像头和第二摄像头跟踪第一目标车辆在目标区域内的轨迹,并实时显示第一目标车辆在目标区域内的视频。在确定第一目标车辆已离开目标区域的情况下,确定无需继续跟踪第一目标车辆在目标区域内的轨迹,因此停止显示第一视频源设备的拍摄画面,以提高图像处理装置的硬件资源利用率。
可选的,停止显示第一视频源设备的拍摄画面为,停止显示第一视频源设备新采集到的拍摄画面,但将第一目标车辆离开目标区域的最后一帧图像作为第一跟踪显示区域的显示画面,其中,第一跟踪显示区域用于显示第一目标车辆在目标区域内的视频。例如,图像处理装置确定第一目标车辆驶出第二摄像头的拍摄区域后离开了目标区域,而第二摄像头拍摄到的最后一帧包括第一目标车辆的图像为图像a,那么图像处理装置将图像a作为第一跟踪显示区域的显示画面,即第一跟踪显示区域的显示画面在第一目标车辆离开目标区域后始终为图像a。
在一种可能实现的方式中,接收到第一目标车辆已离开目标区域的指令的情况下,确定第一目标车辆已离开目标区域。该指令可以是用户通过输入组件向图像处理装置输入的,该指令也可以是终端向图像处理装置发送的。
在另一种可能实现的方式中,图像处理装置在确定第一目标车辆从卡口摄像头的拍摄区域内消失,且在第一目标车辆从卡口摄像头的拍摄区域内消失之前第一目标车辆在目标区域内有轨迹记录的情况下,确定第一目标车辆已离开目标区域,其中,卡口摄像头包括部署于目标区域的出入口的摄像头。
在该种实施方式中,由于卡口摄像头部署在目标区域的出入口,当第一目标车辆从卡口摄像头的拍摄区域内消失时,说明第一目标车辆要么是已进入目标区域,要么是已离开目标区域。又由于在第一目标车辆从卡口摄像头的拍摄区域内消失之前第一目标车辆在目标区域内有轨迹记录,说明第一目标车辆已离开目标区域。因此,图像处理装置在该种情况下确定第一目标车辆已离开目标区域。
作为一种可选的实施方式,第一视频源的拍摄画面显示于显示页面的第一显示区域,显示页面还包括第二显示区域,第二显示区域用于显示第二目标车辆的第二视频源设备的拍摄画面,第一目标车辆与第二目标车辆不同。在该种实施方式中,显示页面可同时显示第一目标车辆的实时视频和第二目标车辆的实时视频。
应理解,本申请实施例中的第一显示区域和第二显示区域仅为示例,不应理解为仅能在显示页面中同时显示两辆车的实时视频。在实际应用中,图像处理装置可在显示页面中同时显示m辆车的实施视频,其中,m为大于1的整数。
例如,在图3所示的显示页面中,包括四个不同的显示区域,分别为第一显示区域、第二显示区域、第三显示区域和第四显示区域,其中,不同显示区域分别用于显示不同车辆的实施视频。如,第一显示区域用于显示车辆a的实施视频,第二显示区域用于显示车辆b的实施视频,第三显示区域用于显示车辆c的实施视频,第四显示区域用于显示车辆d的实施视频。
作为一种可选的实施方式,图像处理装置在确定第一目标车辆处于上述第一摄像头的拍摄区域内的情况下之前,还执行以下步骤:
6、获取上述第一摄像头采集到的第二图像。
在一种可能实现的方式中,图像处理装置与第一摄像头之间存在通信连接,图像处理装置通过该通信连接获取第一摄像头采集到的第二图像。
在另一种可能实现方式中,图像处理装置接收用户通过输入组件输入的第二图像。
在又一种可能实现方式中,图像处理装置接收终端发送的第二图像。
在执行完步骤6后,图像处理装置在确定第二图像包括第一目标车辆的情况下,确定第一目标车辆处于上述第一摄像头的拍摄区域内。
作为一种可选的实施方式,第二图像包括待识别车辆,图像处理装置在确定第二图像包括第一目标车辆的情况下之前,还执行以下步骤:
7、获取第一目标车辆的目标特征数据。
本申请实施例中,第一目标车辆的目标特征数据携带第一目标车辆的身份信息,即通过将任意车辆的特征数据与目标特征数据进行比对,可确定该车辆与第一目标车辆是否相同。可选的,目标特征数据包括携带第一目标车辆的身份信息的特征向量。
在一种可能实现的方式中,目标特征数据携带第一目标车辆的局部特征信息。例如,目标特征数据携带以下至少一种信息:车灯的特征信息、车标的特征信息、车窗的特征信息。
在另一种可能实现的方式中,目标特征数据携带第一目标车辆的全局特征信息,其中,全局特征信息包括第一目标车辆的整体外观特征信息。
在又一种可能实现的方式中,目标特征数据既携带第一目标车辆的局部特征信息,又携带第一目标车辆的全局特征信息。
在一种获取目标特征数据的实现方式中,图像处理装置接收用户通过输入组件输入的目标特征数据。
在另一种获取目标特征数据的实现方式中,图像处理装置接收终端发送的目标特征数据。
在执行完步骤7后,图像处理装置通过执行以下步骤确定第二图像包括第一目标车辆:
8、对上述第二图像进行特征提取处理,得到上述待识别车辆的第一特征数据。
本申请实施例中,第一特征数据携带待识别车辆的身份信息,即通过将任意车辆的特征数据与第一特征数据进行比对,可确定该车辆与待识别车辆是否相同。可选的,第一特征数据包括携带待识别车辆的身份信息的特征向量。
在一种可能实现的方式中,第一特征数据携带待识别车辆的局部特征信息。例如,第一特征数据携带以下至少一种信息:车灯的特征信息、车标的特征信息、车窗的特征信息。
在另一种可能实现的方式中,第一特征数据携带待识别车辆的全局特征信息,其中,全局特征信息包括待识别车辆的整体外观特征信息。
在又一种可能实现的方式中,第一特征数据既携带待识别车辆的局部特征信息,又携带待识别车辆的全局特征信息。
本申请实施例中,特征提取处理用于提取出图像中的车辆的特征数据。在一种可能实现的方式中,图像处理装置通过对图像进行卷积处理,实现对图像的特征提取处理。
在另一种可能实现的方式中,对图像的特征提取处理通过卷积神经网络实现。通过将带有标注信息的图像作为训练数据,对卷积神经网络进行训练,使训练得到的卷积神经网络可完成对图像的特征提取处理。其中,训练数据的标注信息包括以下至少一种:图像中的车辆的局部特征信息、图像中的车辆的全局特征信息。
9、依据上述目标特征数据和上述第一特征数据之间的第一相似度,得到上述第一目标车辆和上述待识别车辆的比对结果。
本申请实施例中,第一相似度为目标特征数据和第一特征数据之间的相似度。比对结果包括第一目标车辆与待识别车辆相同,比对结果或包括第一目标车辆与待识别车辆不同。
在一种可能实现的方式中,图像处理装置在第一相似度大于特征比对阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆相同;图像处理装置在第一相似度小于或等于特征比对阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆不同。
在另一种可能实现的方式中,图像处理装置确定第一相似度的平方得到平方相似度。在平方相似度大于特征比对阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆相同;图像处理装置在平方相似度小于或等于特征比对阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆不同。
10、在上述比对结果包括上述第一目标车辆和上述待识别车辆相同的情况下,确定上述第二图像包括上述第一目标车辆。
在步骤7~步骤10中,图像处理装置通过对第一特征数据和目标特征数据进行比对,得到第一相似度,进而依据第一相似度确定待识别车辆是否为第一目标车辆,从而确定第二图像中是否包括第一目标车辆。
可选的,在比对结果包括第一目标车辆和待识别车辆不同的情况下,确定第二图像不包括第一目标车辆。
作为一种可选的实施方式,图像处理装置在执行步骤9之前,还执行以下步骤:
11、获取上述第一目标车辆的至少一个第一目标车辆属性。
本申请实施例中,车辆属性(包括上述第一目标车辆属性和下文将要提及的第一目标车辆属性)包括以下至少一种:车辆类型、车身颜色、车辆品牌。
在一种可能实现的方式中,车辆类型包括:两厢轿车、三厢轿车、运动型多用途汽车(sport utility vehicle,SUV)、皮卡、卡车、公交车、泥头车、渣土车。
在一种可能实现的方式中,车身颜色包括:黑色、蓝色、灰色、白色、藏青色、黄色、红色、绿色、紫色。
在一种可能实现的方式中,车辆品牌包括:奔驰、宝马、奥迪、大众、本田、丰田、日产、长城、比亚迪。
本申请实施中,第一目标车辆属性为第一目标车辆的车辆属性。至少一个第一目标车辆属性可以是一个第一目标车辆属性,至少一个第一目标车辆属性也可以是两个或两个以上第一目标车辆属性。例如,至少一个第一目标车辆属性包括第一目标车辆的车身颜色。又例如,至少一个第一目标车辆属性包括第一目标车辆的车身颜色和第一目标车辆的车辆类型。
在一种获取第一目标车辆的至少一个第一目标车辆属性的实现方式中,第一目标车辆的至少一个第一目标车辆属性存储于图像处理装置。图像处理装置通过从存储介质中读取第一目标车辆的至少一个第一目标车辆属性获取第一目标车辆的至少一个第一目标车辆属性。
在另一种获取第一目标车辆的至少一个第一目标车辆属性的实现方式中,图像处理装置接收用户通过输入组件输入的第一目标车辆的至少一个第一目标车辆属性。
在又一种获取第一目标车辆的至少一个第一目标车辆属性的实现方式中,图像处理装置接收终端发送的第一目标车辆的至少一个第一目标车辆属性。
12、对上述第二图像进行车辆属性提取处理,得到上述待识别车俩的至少一个第一车辆属性。
本申请实施例中,车辆属性提取处理用于提取出图像中的车辆属性。可选的,车辆属性提取处理可通过车辆属性提取模型实现,其中,车辆属性提取模型为用于进行提取车辆属性的计算机视觉模型。
本申请实施例中,第一车辆属性为通过对第一图像进行车辆属性提取处理,得到的待识别车辆的车辆属性。至少一个第一车辆属性可以是一个第一车辆属性,至少一个第一车辆属性也可以是两个或两个以上第一车辆属性。例如,至少一个第一车辆属性包括待识别车辆的车身颜色。又例如,至少一个第一车辆属性包括待识别车辆的车身颜色和待识别车辆的车辆类型。
在执行完步骤11和步骤12后,图像处理装置在执行步骤9的过程中执行以下步骤:
13、依据上述第一相似度和第二相似度,得到上述第一目标车辆与上述待识别车辆的比对结果,上述第二相似度为上述至少一个第一目标车辆属性和上述至少一个第一车辆属性之间的相似度。
在一种可能实现的方式中,图像处理装置在第一相似度大于特征比对阈值,且第二相似度大于属性比对阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆相同。否则,图像处理装置确定比对结果包括第一目标车辆与待识别车辆不同。
在该种实现方式中,第一相似度大于特征比对阈值,说明第一目标车辆的特征数据与待识别车辆的特征数据相似。第二相似度大于属性比对阈值,说明第一目标车辆的车辆属性与待识别车辆的车辆属性相似。因此,在该种情况下判断第一目标车辆与待识别车辆相同,可提高判断准确度。
在另一种可能实现的方式中,图像处理装置依据第一相似度和第二相似度得到第三相似度。在第三相似度大于相似度阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆相同。在第三相似度小于或等于相似度阈值的情况下,确定比对结果包括第一目标车辆与待识别车辆不同。
假设第一相似度为s1,第二相似度为s2,第三相似度为s3。在一种可能实现的方式中,图像处理装置通过对第一相似度和第二相似度进行加权求和得到第三相似度。此时,s1、s2、s3满足下式:
s3=c1×s1+c2×s2…公式(1)
其中,c1和c2均为小于或等于1的非负数,且c1+c2=1。
在另一种可能实现的方式中,s1、s2、s3满足下式:
s3=s1×s2…公式(2)
在又一种可能实现的方式中,s1、s2、s3满足下式:
s3=(s1×s2)2…公式(3)
在步骤11~步骤13中,图像处理装置依据第一相似度和第二相似度得到比对结果,既利用了特征数据所携带的信息,又利用了车辆属性所携带的信息,因此可提高比对结果的准确度。
作为一种可选的实施方式,在第一摄像头部署于目标区域的情况下,图像处理装置在执行步骤7的过程中执行以下步骤:
14、获取待跟踪车辆数据库。
本申请实施例中,待跟踪车辆数据库包括至少一辆待跟踪车辆的特征数据。例如,待跟踪车辆数据库包括待跟踪车辆a的特征数据和待跟踪车辆b的特征数据。
本申请实施例中,至少一辆待跟踪车辆包括需要跟踪在目标区域内的轨迹的车辆。例如,目标区域为监管区域。为保证目标区域的安全,对于任意一辆进入目标区域的车辆均需进行跟踪,此时,进入目标区域的车辆为待跟踪车辆。
本申请实施中,目标车辆可以是至少一辆待跟踪车辆中的任意一辆车,即目标车辆为需要跟踪在目标区域内的轨迹的车辆。
在一种获取待跟踪车辆数据库的实现方式中,图像处理装置接收用户通过输入组件输入的待跟踪车辆数据库。
在另一种获取待跟踪车辆数据库的实现方式中,图像处理装置接收终端发送的待跟踪车辆数据库。
15、在获取上述第一摄像头采集到的上述第二图像的情况下,从上述待跟踪车辆数据库获取一个特征数据,作为上述目标特征数据。
第一摄像头部署在目标区域内,而第二图像由第一摄像头采集得到,并且第二图像包含待识别车辆。那么图像处理装置获取第一摄像头采集到的第二图像,说明待识别车辆已进入目标区域,因此需要确定待识别车辆的身份,即确定待识别车辆为至少一个辆待跟踪车辆中的哪一辆车。
因此图像处理装置在获取第一摄像头采集到的第二图像的情况下,从待跟踪车辆数据库中获取一个特征数据,并将该特征数据作为目标特征数据。这样,即可通过将第一特征数据与目标特征数据进行比对,确定待识别车辆是否为目标车辆。
应理解,步骤15中的目标特征数据仅为示例,不应理解为图像处理装置仅从待跟踪车辆数据库中获取一辆待跟踪车辆的特征数据,并确定待识别车辆与至少一辆待跟踪车辆中的某一辆车是否相同。在实际应用中,图像处理装置可将第一特征数据分别与待跟踪车辆数据库中的每辆待跟踪车辆的特征数据进行比对,以确定待识别车辆的身份。
作为一种可选的实施方式,在比对结果包括第一目标车辆与待识别车辆相同的情况下,还执行以下步骤:获取目标区域的第五图像和第一摄像头在第五图像中的第一位置;依据第一位置,确定第一目标车辆在第五图像中的第二位置。
比对结果包括第一目标车辆与待识别车辆相同,说明第一目标车辆已出现在第一摄像头的拍摄区域内。因此,可依据第一位置,确定第一目标车辆在第五图像中的位置,即第二位置。在一种可能实现的方式中,图像处理装置将第一位置作为第二位置。
可选的,目标区域为地图缺失区域。地图缺失区域包括地图上缺失细节信息的区域,其中,细节信息包括以下至少一种:建筑物信息、道路信息。这样,通过确定第一目标车辆在第五图中的位置,可提高在目标区域中定位的准确度。
可选的,在确定第二位置后,在第五图像中显示第二位置,即显示第一目标车辆在目标区域内的位置。
可选的,图像处理装置在获得第一目标车辆在第五图像中的至少两个位置的情况下,依据至少两个位置确定第一目标车辆在第五图像中的轨迹,并对该轨迹进行显示。
作为一种可选的实施方式,图像处理装置在执行步骤14的过程中执行以下步骤:
16、获取至少一张第四图像,上述至少一张第四图像包括上述至少一辆待跟踪车辆。
在一种获取至少一张第四图像的实现方式中,图像处理装置接收用户通过输入组件输入的至少一张第四图像。
在另一种获取至少一张第四图像的实现方式中,图像处理装置接收终端发送的至少一张第四图像。
在又一种获取至少一张第四图像的实现方式中,图像处理装置与至少一个卡口摄像头之间存在通信连接,其中,至少一个卡口摄像头包括部署在目标区域的出入口的摄像头。图像处理装置通过该通信连接获取至少一个卡口摄像头采集到的至少一张待确认图像,作为至少一张第四图像。
可选的,图像处理装置在获取在待确认图像后,确定待确认图像中的车辆在目标区域内不存在轨迹记录的情况下,将待确认图像作为第四图像,由此得到至少一张第四图像。
例如,至少一张待确认图像包括图像a和图像b,其中图像a包括车辆A,图像b包括车辆B。若车辆A在目标区域内不存在轨迹记录,图像处理装置将图像a作为第四图像。若车辆B在目标区域内存在轨迹记录,图像处理装置不将图像b作为第四图像。此时,至少一张第四图像包括图像a。
17、依据上述至少一张第四图像,得到上述待跟踪车辆数据库。
在一种可能实现的方式中,图像处理装置通过对至少一张第四图像进行结构化处理,得到待跟踪车辆数据库。
在另一种可能实现的方式中,图像处理装置通过对至少一张第四图像分别进行特征提取处理,得到至少一辆待跟踪车辆的特征数据,得到待跟踪车辆数据库。
作为一种可选的实施方式,图像处理装置在执行步骤16的过程中执行以下步骤:
18、获取至少一张第六图像。
本申请实施例中,至少一张第六图像中的每一张图像均包括车辆。可选的,至少一张第六图像中的车辆为待确认车辆,即待确认车辆需要进一步确认是否需要跟踪在目标区域内的轨迹。
在一种获取至少一张第六图像的实现方式中,图像处理装置与至少一个卡口摄像头之间存在通信连接,其中,至少一个卡口摄像头包括部署在目标区域的出入口的摄像头。图像处理装置通过该通信连接获取至少一个卡口摄像头采集到的至少一张待确认图像。图像处理装置在获取在待确认图像后,确定待确认图像中的车辆在目标区域内不存在轨迹记录的情况下,将待确认图像作为第六图像,由此得到至少一张第六图像。
例如,至少一张待确认图像包括图像a和图像b,其中图像a包括车辆A,图像b包括车辆B。若车辆A在目标区域内不存在轨迹记录,图像处理装置将图像a作为第六图像。若车辆B在目标区域内存在轨迹记录,图像处理装置不将图像b作为第六图像。此时,至少一张第六图像包括图像a。
19、在检测到针对至少一张第六图像的删除指令的情况下,依据至少一张第六图像和删除指令得到至少一张第四图像。
本申请实施例中,删除指令可以是用户向图像处理装置输入的。用户通过向图像处理装置输入该删除指令,可将至少一张第六图像中的至少一张图像删除,从而从至少一张第六图像所包括的至少一辆待确认车辆中确定至少一辆待跟踪车辆。
例如,至少一张第六图像包括图像a和图像b,其中,图像a包括待确认车辆A,图像b包括待确认车辆B。用户确认图像a模糊,若将依据图像a得到待跟踪车辆数据库,可能会影响待跟踪车辆数据库中的数据的准确度。因此,用户向图像处理装置输入删除图像b的删除指令。图像处理装置在检测到该删除指令的情况下,将至少一张第六图像中的图像b删除,得到至少一张第四图像。此时,至少一张第四图像包括图像a,至少一辆待跟踪车辆包括车辆A。
作为一种可选的实施方式,图像处理装置在执行步骤19的过程中执行以下步骤:
20、依据删除指令删除至少一张第六图像中的图像,得到至少一张第七图像。
本步骤的实现方式可参见步骤19的实现方式,具体的,本步骤中的至少一张第七图像与步骤19中的至少一张第四图像对应,即在本步骤中,图像处理装置依据删除指令删除至少一张第六图像中的图像得到的不是至少一张第四图像,而是至少一张第七图像。此时,至少一张第七图像中的车辆均为待确认车辆,即至少一张第七图像包括至少一辆待确认车辆。
21、在检测到针对至少一张第七图像的确认跟踪指令的情况下,将确认跟踪指令所指示的至少一张第七图像作为至少一张第四图像。
本申请实施例中,确认跟踪指令可以是用户向图像处理装置输入的。用户通过向图像处理装置输入确认跟踪指令,可从至少一张第七图像包括的至少一辆待确认车辆中确定至少一辆待跟踪车辆,进而从至少一张第七图像中确定至少一张第四图像。
例如,至少一张第七图像包括图像a和图像b,其中,图像a包括待确认车辆A,图像b包括待确认车辆B。用户确认待确认车辆B为目标区域内的工作人员的车辆,因此不需要对待确认车辆B进行跟踪。因此,用户向图像处理装置输入确认跟踪指令,以使图像处理装置将车辆A作为待跟踪车辆。图像处理装置在检测到该确认跟踪指令的情况下,将至少一张第七图像中的图像a作为至少一张第四图像。此时,至少一张第四图像包括图像a,至少一辆待跟踪车辆包括车辆A。
作为一种可选的实施方式,待跟踪车辆数据库中还包括至少一辆待跟踪车辆的至少一个第二车辆属性。可选的,至少一个第二车辆属性通过对至少一张第四图像进行车辆属性提取处理得到。
在该种实施方式中,图像处理装置在执行步骤17的过程中执行以下步骤:
22、依据上述至少一张第四图像,得到上述至少一辆待跟踪车辆的特征数据和上述至少一辆待跟踪车辆的至少一个第三车辆属性。
图像处理装置依据步骤17所提供的实现方式,可依据至少一张第四图像得到至少一辆待跟踪车辆的特征数据。图像处理装置通过对至少一张第四图像进行车辆属性提取处理,可得到至少一辆待跟踪车辆的至少一个第三车辆属性。
23、在检测到针对上述至少一个第三属性的编辑指令的情况下,依据上述编辑指令对上述至少一个第三车辆属性进行编辑,得到上述至少一个第二车辆属性。
本申请实施例中,编辑指令可以是用户向图像处理装置输入的。用户通过向图像处理装置输入该编辑指令,可编辑至少一个第三车辆属性。
例如,图像处理装置通过执行步骤22确定待跟踪车辆A的车身颜色为白色。但待跟踪车辆A的车身颜色实际为灰色。此时,用户可通过向图像处理装置输入编辑指令,将待跟踪车辆A的车身颜色修正为灰色。此时至少一个第二车辆属性包括待跟踪车辆A的车身颜色为灰色。
24、依据上述至少一辆待跟踪车辆的特征数据和上述至少一个第二属性,得到上述待跟踪车辆数据库。
在一种可能实现的方式中,图像处理装置将至少一辆待跟踪车辆的特征数据和至少一个第二属性存储至待跟踪车辆数据库。
基于步骤22~步骤24所提供的技术方案,用户可通过向图像处理装置输入编辑指令,修正待跟踪车辆的车辆属性,从而提高待跟踪车辆数据库中的数据的准确度。
作为一种可选的实施方式,图像处理装置在执行步骤24之前,还执行以下步骤:
25、对至少一张第七图像进行车辆检测处理,确定至少一辆待跟踪车辆在至少一张第七图像中的至少一个第三位置。
本申请实施例中,车辆检测处理用于检测车辆在图像中的位置。图像处理装置通过对每张第七图像分别进行车辆检测处理,确定每辆待跟踪车辆在图像中的位置,得到至少一个第三位置。
例如,至少一张第七图像包括图像a和图像b。图像处理装置通过对图像a进行车辆检测处理,确定图像a中的车辆A在图像a中的位置,作为一个第三位置。图像处理装置通过对图像b进行车辆检测处理,确定图像b中的车辆B在图像b中的位置,作为一个第三位置。此时,至少一个第三位置包括车辆A在图像a中的位置和车辆B在图像b中的位置。
26、从至少一张第七图像中截取依据至少一个第三位置确定的至少一个像素区域,得到至少一张第八图像。
在一种可能实现的方式中,图像处理装置依据第三位置,可确定包括待跟踪车辆的车辆检测框在图像中的位置,进而可将包括待跟踪车辆的车辆检测框所包含的像素区域作为第八图像。
例如,至少一个第三位置包括车辆A在图像a中的位置和车辆B在图像b中的位置。图像处理装置依据车辆A在图像a中的位置,确定车辆A的车辆检测框所包含的像素区域,并截取车辆A的车辆检测框所包含的像素区域作为图像c。图像处理装置依据车辆B在图像b中的位置,确定车辆B的车辆检测框所包含的像素区域,并截取车辆B的车辆检测框所包含的像素区域作为图像d。此时,至少一张第八图像包括图像c和图像d。
在执行完步骤26后,图像处理装置在执行步骤24的过程中执行以下步骤:
27、将至少一张第八图像、至少一辆待跟踪车辆的特征数据、至少一个第二车辆属性和至少一张第七图像存储至待跟踪车辆数据库。
作为一种可选的实施方式,图像处理装置还执行以下步骤:
28、获取检索条件。
本申请实施例中,检索条件用于从待跟踪车辆数据库中检索待跟踪车辆的进入目标区域的记录。检索条件包括以下至少一种信息:时间要求、车身颜色、车辆类型。
在一种获取检索条件的实现方式中,图像处理装置接收用户通过输入组件输入的检索条件。
在另一种获取检索条件的实现方式中,图像处理装置接收终端发送的检索条件。
在执行完步骤28后,图像处理装置执行以下中的一个步骤:
29、使用检索条件检索待跟踪车辆数据库,得到与检索条件匹配的图像数据,图像数据包括以下中的至少一个:至少一张第七图像、至少一张第八图像。
在一种可能实现的方式中,检索条件包括时间要求,图像处理装置将采集时间满足时间要求的图像,作为与检索条件匹配的图像数据。
例如,检索条件包括最近5天内进入目标区域的待跟踪车辆。图像处理装置将采集时间处于最近5天内的第七图像和采集时间在最近5天内的第八图像,作为与检索条件匹配的图像数据。
应理解,第八图像的采集时间与相应的第七图像的采集时间相同,例如,第八图像a通过截取第七图像b中的像素区域得到,那么第八图像a的采集时间与第七图像b的采集时间相同。
在另一种可能实现的方式中,检索条件包括车辆属性,图像处理装置将所包含的待跟踪车辆的车辆属性与检索条件中的车辆属性匹配的图像,作为与检索条件匹配的图像数据。
例如,检索条件包括车身颜色为红色的待跟踪车辆。图像处理装置将包含红色待跟踪车辆的第七图像和包含红色待跟踪车辆的第八图像,作为与检索条件匹配的图像数据。
30、使用检索条件检索待跟踪车辆数据库,得到与检索条件匹配的至少一个第二车辆属性。
在一种可能实现的方式中,检索条件包括时间要求,图像处理装置将采集时间满足时间要求的图像,作为与检索条件匹配的图像数据,并将与检索条件匹配的图像数据所包含的待跟踪车辆的至少一个第二车辆属性,作为与检索条件匹配的至少一个第二车辆属性。
例如,检索条件包括最近5天内进入目标区域的待跟踪车辆。图像处理装置将采集时间处于最近5天内的第七图像,作为与检索条件匹配的图像数据。将第七图像中的待跟踪车辆的至少一个第二车辆属性,作为与检索条件匹配的至少一个第二车辆属性。
可选的,图像处理装置使用检索条件检索待跟踪车辆数据库,既可得到与检索条件匹配的图像数据,又可得到与检索条件匹配的至少一个第二车辆属性。
可选的,图像处理装置在得到与检索条件匹配的图像数据和与检索条件匹配的至少一个第二车辆属性后,可显示与相应的待跟踪车辆在目标区域内的轨迹。
作为一种可选的实施方式,图像处理装置在执行步骤6之前,还执行以下步骤:
31、获取工作时间段。
为提高第一摄像头的工作效率,减少第一摄像头的能耗,可使第一摄像头在规定时间段内采集图像。本申请实施例中,工作时间段即为第一摄像头按规定采集图像的时间段。
在一种获取工作时间段的实现方式中,图像处理装置接收用户通过输入组件输入的工作时间段。
在另一种获取工作时间段的实现方式中,图像处理装置接收终端发送的工作时间段。
32、向第一摄像头发送车辆跟踪指令,车辆跟踪指令用于指示第一摄像头在工作时间段内采集图像。
本申请实施例中,车辆跟踪指令用于指示第一摄像头在工作时间段内采集图像。图像处理装置通过执行步骤32,可使第一摄像头在工作时间段内采集图像,进而提高第一摄像头的工作效率,并减少第一摄像头的能耗。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图4,图4为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置1包括:第一处理单元11、第二处理单元12。可选的,图像处理装置1还包括:获取单元13、确定单元14、显示单元15、提取单元16、第三处理单元17,其中:
第一处理单元11,用于在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下,确定所述第一目标车辆的第一视频源设备为所述第一摄像头;
第二处理单元12,用于在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,所述第一摄像头与所述第二摄像头不同。
结合本申请任一实施方式,所述图像处理装置还包括:获取单元13,用于在所述在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下之前,获取时间差阈值和至少两张第一图像,所述时间差阈值为正数,所述至少两张第一图像均包括所述第一目标车辆,且所述至少一张第一图像包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像;
确定单元14,用于确定第二图像的时间戳与第三图像的时间戳的差值,所述第二图像为所述至少两张第一图像中由所述第二摄像头采集到的时间戳最小的图像,所述第三图像为所述至少两张第一图像中由所述第一摄像头采集到的时间戳最小的图像;
所述第二处理单元12用于:
在所述差值大于所述时间差阈值的情况下,确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域。
结合本申请任一实施方式,所述至少两张第一图像包括目标车辆图像集中时间戳最大的n张图像,所述目标车辆图像集中的图像均包括所述第一目标车辆,且所述目标车辆图像集中的图像均包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像,所述n为大于1的整数。
结合本申请任一实施方式,所述确定单元14,还用于在所述差值大于所述时间差阈值的情况下之后,所述确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域之前,确定所述第一目标车辆在所述第二图像中的第一尺寸和所述第一目标车辆在所述第三图像中的第二尺寸;
所述第二处理单元12用于:
在所述第一尺寸大于所述第二尺寸的情况下,确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入所述第二摄像头的拍摄区域。
结合本申请任一实施方式,所述方法还包括:显示单元15,用于显示所述第一视频源设备的拍摄画面。
结合本申请任一实施方式,所述第一摄像头和所述第二摄像头均部署在目标区域内;
所述方法还包括:所述显示单元15,还用于在确定所述第一目标车辆已离开所述目标区域的情况下,停止显示所述第一视频源设备的拍摄画面。
结合本申请任一实施方式,所述第一视频源设备的拍摄画面显示于显示页面的第一显示区域,所述显示页面还包括第二显示区域,所述第二显示区域用于显示第二目标车辆的第二视频源设备的拍摄画面,所述第一目标车辆与所述第二目标车辆不同。
结合本申请任一实施方式,所述图像处理装置还包括:获取单元13,用于在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下之前,获取所述第一摄像头采集到的第二图像;
所述第一处理单元11用于:
在确定所述第二图像包括所述第一目标车辆的情况下,确定所述第一目标车辆处于所述第一摄像头的拍摄区域内。
结合本申请任一实施方式,所述第二图像包括待识别车辆;所述获取单元13,还用于在在确定所述第二图像包括所述第一目标车辆的情况下之前,获取所述第一目标车辆的目标特征数据;
所述第一处理单元11用于:
对所述第二图像进行特征提取处理,得到所述待识别车辆的第一特征数据;
依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果;
在所述比对结果包括所述第一目标车辆和所述待识别车辆相同的情况下,确定所述第二图像包括所述第一目标车辆。
结合本申请任一实施方式,所述获取单元13,还用于在依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果之前,获取所述第一目标车辆的至少一个第一目标车辆属性;
所述图像处理装置还包括:提取单元16,用于对所述第二图像进行车辆属性提取处理,得到所述待识别车俩的至少一个第一车辆属性;
所述第一处理单元11用于:
依据所述第一相似度和第二相似度,得到所述第一目标车辆与所述待识别车辆的比对结果,所述第二相似度为所述至少一个第一目标车辆属性和所述至少一个第一车辆属性之间的相似度。
结合本申请任一实施方式,所述第一处理单元11用于:
对所述第一相似度和所述第二相似度进行加权求和,得到第三相似度;
在所述第三相似度大于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆相同;
在所述第三相似度小于或等于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆不同。
结合本申请任一实施方式,所述第一摄像头部署于目标区域;
所述获取单元13用于:
获取待跟踪车辆数据库,所述待跟踪车辆数据库包括至少一辆待跟踪车辆的特征数据,所述至少一辆待跟踪车辆包括需要跟踪在所述目标区域内的轨迹的车辆,且所述目标车辆为所述至少一辆待跟踪车辆中的任意一辆车;
在获取所述第一摄像头采集到的所述第二图像的情况下,从所述待跟踪车辆数据库获取一个特征数据,作为所述目标特征数据。
结合本申请任一实施方式,所述获取单元13用于:
获取至少一张第四图像,所述至少一张第四图像包括所述至少一辆待跟踪车辆;
依据所述至少一张第四图像,得到所述待跟踪车辆数据库。
结合本申请任一实施方式,所述获取单元13用于:
获取至少一个卡口摄像头采集的所述至少一张第四图像,所述至少一个卡口摄像头均部署于所述目标区域的出入口。
结合本申请任一实施方式,所述比对结果包括所述第一目标车辆与所述待识别车辆相同,所述获取还用于:
获取所述目标区域的第五图像和所述第一摄像头在所述第五图像中的第一位置;
所述图像处理装置还包括:第三处理单元17,还用于依据所述第一位置,确定所述第一目标车辆在所述第五图像中的第二位置。
在一些实施例中,本申请实施例提供的装置具有的功能或包括的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图5为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据。
可以理解的是,图5仅仅示出了一种图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包括必要的其他元件,包括但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (17)

1.一种图像处理方法,其特征在于,所述方法包括:
在确定第一目标车辆处于第一摄像头的拍摄区域内的情况下,确定所述第一目标车辆的第一视频源设备为所述第一摄像头;
获取时间差阈值和至少两张第一图像,所述时间差阈值为正数,所述至少两张第一图像均包括所述第一目标车辆,且所述至少一张第一图像包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像;
确定第二图像的时间戳与第三图像的时间戳的差值,所述第二图像为所述至少两张第一图像中由所述第二摄像头采集到的时间戳最小的图像,所述第三图像为所述至少两张第一图像中由所述第一摄像头采集到的时间戳最小的图像;
在所述差值大于所述时间差阈值的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,所述第一摄像头与所述第二摄像头不同。
2.根据权利要求1所述的方法,其特征在于,所述至少两张第一图像包括目标车辆图像集中时间戳最大的n张图像,所述目标车辆图像集中的图像均包括所述第一目标车辆,且所述目标车辆图像集中的图像均包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像,所述n为大于1的整数。
3.根据权利要求1或2所述的方法,其特征在于,所述在所述差值大于所述时间差阈值的情况下之后,所述将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头之前,所述方法还包括:
确定所述第一目标车辆在所述第二图像中的第一尺寸和所述第一目标车辆在所述第三图像中的第二尺寸;
所述将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,包括:
在所述第一尺寸大于所述第二尺寸的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:显示所述第一视频源设备的拍摄画面。
5.根据权利要求4所述的方法,其特征在于,所述第一摄像头和所述第二摄像头均部署在目标区域内;
所述方法还包括:在确定所述第一目标车辆已离开所述目标区域的情况下,停止显示所述第一视频源设备的拍摄画面。
6.根据权利要求4所述的方法,其特征在于,所述第一视频源设备的拍摄画面显示于显示页面的第一显示区域,所述显示页面还包括第二显示区域,所述第二显示区域用于显示第二目标车辆的第二视频源设备的拍摄画面,所述第一目标车辆与所述第二目标车辆不同。
7.根据权利要求1或2所述的方法,其特征在于,所述在确定第一目标车辆处于所述第一摄像头的拍摄区域内的情况下之前,所述方法还包括:
获取所述第一摄像头采集到的第二图像;
所述确定第一目标车辆处于所述第一摄像头的拍摄区域内,包括:
在确定所述第二图像包括所述第一目标车辆的情况下,确定所述第一目标车辆处于所述第一摄像头的拍摄区域内。
8.根据权利要求7所述的方法,其特征在于,所述第二图像包括待识别车辆,所述在确定所述第二图像包括所述第一目标车辆的情况下之前,所述方法还包括:
获取所述第一目标车辆的目标特征数据;
所述确定所述第二图像包括所述第一目标车辆,包括:
对所述第二图像进行特征提取处理,得到所述待识别车辆的第一特征数据;
依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果;
在所述比对结果包括所述第一目标车辆和所述待识别车辆相同的情况下,确定所述第二图像包括所述第一目标车辆。
9.根据权利要求8所述的方法,其特征在于,所述依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果之前,所述方法还包括:
获取所述第一目标车辆的至少一个第一目标车辆属性;
对所述第二图像进行车辆属性提取处理,得到所述待识别车俩的至少一个第一车辆属性;
所述依据所述目标特征数据和所述第一特征数据之间的第一相似度,得到所述第一目标车辆和所述待识别车辆的比对结果,包括:
依据所述第一相似度和第二相似度,得到所述第一目标车辆与所述待识别车辆的比对结果,所述第二相似度为所述至少一个第一目标车辆属性和所述至少一个第一车辆属性之间的相似度。
10.根据权利要求9所述的方法,其特征在于,所述依据所述第一相似度和第二相似度,得到所述第一车辆与所述待识别车辆的比对结果,包括:
对所述第一相似度和所述第二相似度进行加权求和,得到第三相似度;
在所述第三相似度大于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆相同;
在所述第三相似度小于或等于相似度阈值的情况下,确定所述比对结果包括所述待识别车辆与所述目标车辆不同。
11.根据权利要求8至10中任意一项所述的方法,其特征在于,所述第一摄像头部署于目标区域;
所述获取所述第一目标车辆的目标特征数据,包括:
获取待跟踪车辆数据库,所述待跟踪车辆数据库包括至少一辆待跟踪车辆的特征数据,所述至少一辆待跟踪车辆包括需要跟踪在所述目标区域内的轨迹的车辆,且所述目标车辆为所述至少一辆待跟踪车辆中的任意一辆车;
在获取所述第一摄像头采集到的所述第二图像的情况下,从所述待跟踪车辆数据库获取一个特征数据,作为所述目标特征数据。
12.根据权利要求11所述的方法,其特征在于,所述获取待跟踪车辆数据库,包括:
获取至少一张第四图像,所述至少一张第四图像包括所述至少一辆待跟踪车辆;
依据所述至少一张第四图像,得到所述待跟踪车辆数据库。
13.根据权利要求12所述的方法,其特征在于,所述获取至少一张第四图像,包括:
获取至少一个卡口摄像头采集的所述至少一张第四图像,所述至少一个卡口摄像头均部署于所述目标区域的出入口。
14.根据权利要求11所述的方法,其特征在于,所述比对结果包括所述第一目标车辆与所述待识别车辆相同,所述方法还包括:
获取所述目标区域的第五图像和所述第一摄像头在所述第五图像中的第一位置;
依据所述第一位置,确定所述第一目标车辆在所述第五图像中的第二位置。
15.一种图像处理装置,其特征在于,所述装置包括:
第一处理单元,用于在确定第一目标车辆处于第一摄像头的拍摄区域内的情况下,确定所述第一目标车辆的第一视频源设备为所述第一摄像头;
获取单元,用于在所述在确定所述第一目标车辆从所述第一摄像头的拍摄区域驶入第二摄像头的拍摄区域的情况下之前,获取时间差阈值和至少两张第一图像,所述时间差阈值为正数,所述至少两张第一图像均包括所述第一目标车辆,且所述至少一张第一图像包括所述第一摄像头采集到的图像和所述第二摄像头采集到的图像;
确定单元,用于确定第二图像的时间戳与第三图像的时间戳的差值,所述第二图像为所述至少两张第一图像中由所述第二摄像头采集到的时间戳最小的图像,所述第三图像为所述至少两张第一图像中由所述第一摄像头采集到的时间戳最小的图像;
第二处理单元,用于在所述差值大于所述时间差阈值的情况下,将所述第一目标车辆的第一视频源设备由所述第一摄像头切换为所述第二摄像头,所述第一摄像头与所述第二摄像头不同。
16.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至14中任意一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至14中任意一项所述的方法。
CN202110971089.6A 2021-08-23 2021-08-23 图像处理方法及装置、电子设备及计算机可读存储介质 Active CN113705417B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110971089.6A CN113705417B (zh) 2021-08-23 2021-08-23 图像处理方法及装置、电子设备及计算机可读存储介质
PCT/CN2022/107671 WO2023024787A1 (zh) 2021-08-23 2022-07-25 图像处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110971089.6A CN113705417B (zh) 2021-08-23 2021-08-23 图像处理方法及装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113705417A CN113705417A (zh) 2021-11-26
CN113705417B true CN113705417B (zh) 2022-06-28

Family

ID=78654284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110971089.6A Active CN113705417B (zh) 2021-08-23 2021-08-23 图像处理方法及装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113705417B (zh)
WO (1) WO2023024787A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705417B (zh) * 2021-08-23 2022-06-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN115103110B (zh) * 2022-06-10 2023-07-04 慧之安信息技术股份有限公司 基于边缘计算的家庭智能监控方法
CN117935173B (zh) * 2024-03-21 2024-06-21 安徽蔚来智驾科技有限公司 目标车辆的识别方法、场端服务器及可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730898A (zh) * 2016-11-08 2018-02-23 北京奥斯达兴业科技有限公司 停车场非法车辆识别方法及系统
CN107635188A (zh) * 2017-09-08 2018-01-26 安徽四创电子股份有限公司 一种基于Docker平台的视频车辆跟踪分析方法
CN108198200B (zh) * 2018-01-26 2022-03-08 福州大学 跨摄像头场景下指定行人在线跟踪方法
CN109325967B (zh) * 2018-09-14 2023-04-07 腾讯科技(深圳)有限公司 目标跟踪方法、装置、介质以及设备
EP3965082B1 (en) * 2019-08-05 2023-05-24 Streamax Technology Co., Ltd. Vehicle monitoring system and vehicle monitoring method
CN111818313B (zh) * 2020-08-28 2021-02-02 深圳市城市交通规划设计研究中心股份有限公司 一种基于监控视频的车辆实时追踪方法及装置
CN113705417B (zh) * 2021-08-23 2022-06-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113705417A (zh) 2021-11-26
WO2023024787A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN113705417B (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
EP3704864B1 (en) Methods and systems for generating video synopsis
Lei et al. Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management
CN103716687A (zh) 使用指纹以在视频中追踪移动对象的系统和方法
CN108563651B (zh) 一种多视频的目标搜索方法、装置及设备
US10373015B2 (en) System and method of detecting moving objects
CN104239309A (zh) 视频分析检索服务端、系统及方法
CN111784729A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN109615904A (zh) 停车管理方法、装置、计算机设备和存储介质
US20210089784A1 (en) System and Method for Processing Video Data from Archive
CN109872541A (zh) 一种车辆信息分析方法及装置
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN110688952B (zh) 视频解析方法及装置
CN113705566A (zh) 车辆识别方法及装置、电子设备及计算机可读存储介质
Satybaldina et al. Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system
CN113128294B (zh) 一种道路事件取证方法、装置、电子设备及存储介质
CN110781797B (zh) 一种标注方法、装置及电子设备
CN113591713A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN111563174A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN112668520A (zh) 社交关系识别方法、装置、电子设备及存储介质
CN114820700B (zh) 对象跟踪方法及装置
Lei et al. From pixels to objects and trajectories: a generic real-time outdoor video surveillance system
CN115455275B (zh) 融合巡检设备的视频处理系统
CN111860431B (zh) 图像中对象的识别方法和装置、存储介质及电子装置
CN111988506B (zh) 补光方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40058658

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant