CN113408326A - 移动对象识别方法、装置及设备 - Google Patents

移动对象识别方法、装置及设备 Download PDF

Info

Publication number
CN113408326A
CN113408326A CN202010188791.0A CN202010188791A CN113408326A CN 113408326 A CN113408326 A CN 113408326A CN 202010188791 A CN202010188791 A CN 202010188791A CN 113408326 A CN113408326 A CN 113408326A
Authority
CN
China
Prior art keywords
information
vehicle
image
identified
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010188791.0A
Other languages
English (en)
Other versions
CN113408326B (zh
Inventor
蔡思佳
童潘榕
谢贤海
陈均炫
邓兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010188791.0A priority Critical patent/CN113408326B/zh
Publication of CN113408326A publication Critical patent/CN113408326A/zh
Application granted granted Critical
Publication of CN113408326B publication Critical patent/CN113408326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种移动对象识别方法、装置及设备。方法包括:获取与待识别移动对象相对应的图像;基于所述图像,确定与所述待识别移动对象相对应的特征信息,所述特征信息包括:移动对象视觉信息和移动对象在预设空间上的时空约束信息;根据所述特征信息,确定所述待识别移动对象的身份信息。本实施例提供的技术方案,通过获取到的图像来确定与待识别移动对象相对应的特征信息,由于所获得的特征信息可以包括移动对象视觉信息、移动对象在预设道路上的时空约束信息等多模态的数据特征,因此,在不同的摄像参数、环境条件下,仍能够快速、准确地对移动对象进行识别操作,从而便于实现基于识别结果对移动对象进行管理。

Description

移动对象识别方法、装置及设备
技术领域
本发明涉及数据处理技术领域,尤其涉及一种移动对象识别方法、装置及设备。
背景技术
随着经济的飞速发展,车辆的应用越来越普及,而车辆的识别与管理也越来越重要。目前,车辆的识别方式通常是通过提取目标车辆的视觉特征(例如:颜色、外观以及品牌等等),而后利用所提取的车辆的视觉特征来定位数据库中与目标车辆在视觉上最为相似的车辆。
然而,由于同一车辆在不同时间被不同的摄像头捕捉到的车辆图像可能会因为不同的摄像参数(例如:分辨率、视角、高度等等)和不同的环境条件(例如:光照、车速、天气等等)而差异较大,并且,不同的车辆也可能具有非常相似的颜色、形状,尤其是同一个汽车厂商所生产的车辆更加容易混淆。因此,仅仅依赖视觉特征不足以实现对车辆进行准确、有效地识别。
发明内容
本发明实施例提供了一种移动对象识别方法、装置及设备,在不同的摄像参数、环境条件下,能够快速、准确地对移动对象进行识别,从而便于基于识别结果对移动对象进行管理。
第一方面,本发明实施例提供一种移动对象识别方法,包括:
获取与待识别移动对象相对应的图像;
基于所述图像,确定与所述待识别移动对象相对应的特征信息,所述特征信息包括以下至少之一:移动对象视觉信息和移动对象在预设空间上的时空约束信息;
根据所述特征信息,确定所述待识别移动对象的身份信息。
第二方面,本发明实施例提供一种移动对象识别装置,包括:
获取模块,用于获取与待识别移动对象相对应的图像;
确定模块,用于基于所述图像,确定与所述待识别移动对象相对应的特征信息,所述特征信息包括以下至少之一:移动对象视觉信息和移动对象在预设空间上的时空约束信息;
识别模块,用于根据所述特征信息,确定所述待识别移动对象的身份信息。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的移动对象识别方法。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的移动对象识别方法。
本实施例提供的移动对象识别方法、装置及设备,通过获取到的图像来确定与待识别移动对象相对应的特征信息,由于所获得的特征信息可以包括移动对象视觉信息、移动对象在预设道路上的时空约束信息等多模态的数据特征,因此,在不同的摄像参数、环境条件下,仍能够快速、准确地对移动对象进行识别操作,从而便于实现基于识别结果对移动对象进行管理,进而有效地提高了该方法的实用性,有利于市场的推广与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种移动对象识别方法的流程示意图;
图2为本发明实施例提供的一种移动对象识别方法的应用场景示意图;
图3为本发明实施例提供一种移动对象识别方法的示意图一;
图4为本发明实施例提供一种移动对象识别方法的示意图二;
图5为本发明实施例提供一种移动对象识别方法的示意图三;
图6为本发明实施例提供一种移动对象识别方法的示意图四;
图7为本发明实施例提供一种移动对象识别方法的示意图五;
图8为本发明实施例提供一种移动对象识别方法的示意图六;
图9为本发明实施例提供一种移动对象识别方法的示意图七;
图10为本发明实施例提供的基于所述图像,确定与所述待识别车辆相对应的车辆在预设道路上的时空约束信息的流程示意图;
图11为本发明实施例提供的基于所述图像,确定与所述待识别移动对象相对应的特征信息的流程示意图一;
图12为本发明实施例提供的基于所述图像,确定与所述待识别移动对象相对应的特征信息的流程示意图二;
图13为本发明实施例提供的根据所述特征信息,确定所述待识别移动对象的身份信息的流程示意图一;
图14为本发明实施例提供的根据所述特征信息,确定所述待识别移动对象的身份信息的流程示意图二;
图15为本发明实施例提供的根据所述特征信息,确定所述待识别移动对象的身份信息的流程示意图三;
图16为本发明应用实施例提供的移动对象识别方法的示意图;
图17为本发明实施例提供的一种移动对象识别装置的结构示意图;
图18为与图17所示实施例提供的移动对象识别装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
术语定义:
不定长车牌字符识别算法:是指用于识别字符个数不确定的车牌的算法,一般情况下,该算法可以包括实现车牌定位以及字符识别等操作。
循环神经网络(Recurrent Neural Network,简称RNN):是一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。
图神经网络(Graph Neural Network,简称GNN):是一种直接作用于图结构上的神经网络,其可以有效地建模系统中对象之间的关系或交互。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种移动对象识别方法的流程示意图;图2为本发明实施例提供的一种移动对象识别方法的应用场景示意图;参考附图1-图2所示,本实施例提供了一种移动对象识别方法,该方法的执行主体可以为移动对象识别装置,可以理解的是,该移动对象识别装置可以实现为软件、或者软件和硬件的组合。具体的,该移动对象识别方法可以包括:
步骤S101:获取与待识别移动对象相对应的图像。
步骤S102:基于图像,确定与待识别移动对象相对应的特征信息,特征信息包括以下至少之一:移动对象视觉信息、移动对象在预设空间上的时空约束信息。
步骤S103:根据特征信息,确定待识别移动对象的身份信息。
下面针对上述各个步骤进行详细阐述:
步骤S101:获取与待识别移动对象相对应的图像。
其中,待识别移动对象可以是需要进行身份识别操作的任意移动对象,例如:移动对象可以包括:移动车辆、移动机器人、移动无人机、移动人物或者移动动物等等。另外,与待识别移动对象相对应的图像的一个或多个,较为优选的,可以获取与待识别移动对象相对应的多个图像,当待识别移动对象包括待识别车辆时,多个图像可以是指针对同一个待识别车辆在不同时间、不同道路上的运行图像信息。
此外,本实施例对于获取图像的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求进行设置,例如:移动对象识别装置可以与图像采集装置(例如:道路上的摄像头、预设空间内的摄像头)通信连接,通过图像采集装置可以获取图像,而后图像采集装置可以将所获得的图像发送至移动对象识别装置,从而使得移动对象识别装置可以获得与待识别移动对象相对应的图像。或者,通过图像采集装置可以获取到图像,而后可以将图像存储在预设区域中,移动对象识别装置通过访问预设区域可以获取到图像。
在一些实例中,预先设置有多个移动对象以及与多个移动对象相对应的多个第一图像,而待识别移动对象可以是多个移动对象中的任意一个,而上述待识别移动对象的图像可以是多个第一图像中的至少一部分。此时,本实施例中的获取与待识别移动对象相对应的图像可以包括:
步骤S1011:获取与多个移动对象相对应的多个第一图像,所述多个移动对象中包括有待识别移动对象。
步骤S1012:对所述多个第一图像进行聚类处理,获得与待识别移动对象相对应的至少一个图像。
其中,与多个移动对象相对应的多个第一图像可以存储在预设区域中,通过访问预设区域可以获取到与多个移动对象相对应的多个第一图像;或者,与多个移动对象相对应的多个第一图像可以是通过图像采集装置采集获得的,例如:在移动对象为车辆时,图像采集装置可以应用于道路监控的应用场景中在图像采集装置是位于道路上的摄像头时,多个第一图像可以是摄像头在预设的时间段内所采集的所有道路上的所有过车图像,可以理解的是,所有过车图像可以对应多个车辆,此时,通过图像采集装置对道路上的实时采集或者监控可以获得与多个移动对象相对应的第一图像,该多个移动对象中可以包括待识别移动对象。
在获取到与多个移动对象相对应的多个第一图像之后,可以对多个第一图像进行聚类处理。为了便于理解,以车辆作为移动对象为例进行说明,可以基于车牌信息对多个第一图像进行聚类处理,或者,也可以基于预设的图像特征信息对多个第一图像进行聚类处理,或者,也可以按照预设的聚类规则对多个第一图像进行聚类处理,从而可以获得与待识别车辆相对应的至少一个车辆图像。
举例来说,现有与多个车辆相对应的多个第一图像如下:与车辆a相对应的图像A、与车辆b相对应的图像B、与车辆c相对应的图像C、与车辆a相对应的图像D、与车辆a相对应的图像E、与车辆b相对应的图像F以及与车辆c相对应的图像G,那么,在获取到上述与多个车辆相对应的多个第一图像之后,可以对上述的多个第一图像进行聚类处理,从而可以获得与车辆a相对应的至少一个车辆图像(包括:图像A、图像D和图像E)、与车辆b相对应的至少一个车辆图像(包括:图像B和图像F)以及与车辆c相对应的至少一个车辆图像(包括:图像C和图像G)。其中,对于车辆a而言,图像A、图像D和图像E可以是指在不同时间、不同道路上针对车辆a所采集到的图像信息;同理的,对于车辆b而言,图像B和图像F可以是指在不同时间、不同道路上针对车辆b所采集到的图像信息;对于车辆c而言,图像C和图像G可以是指在不同时间、不同道路上针对车辆c所采集到的图像信息。
可以理解的是,待识别车辆可以是多个车辆中的至少之一,举例来说,在车辆a为待识别车辆时,那么与待识别车辆相对应的至少一个车辆图像可以包括图像A、图像D和图像E。在车辆b为待识别车辆时,那么与待识别车辆相对应的至少一个车辆图像可以包括图像B和图像F。在车辆c为待识别车辆时,那么与待识别车辆相对应的至少一个车辆图像可以包括图像C和图像G。
通过获取与多个移动对象相对应的多个第一图像,并而后对多个第一图像进行聚类处理,获得与待识别移动对象相对应的图像,这样不仅可以提高对图像进行分析处理的质量和效率,并且由于待识别移动对象对应有至少一个图像,而至少一个图像可以包括不同拍摄角度、不同拍摄环境下的图像,因此,通过不同拍摄角度、不同拍摄环境下的图像还可以对待识别移动对象进行识别操作,可以有效地提高对待识别移动对象进行识别的准确可靠性。
步骤S102:基于图像,确定与待识别移动对象相对应的特征信息,特征信息包括以下至少之一:移动对象视觉信息、移动对象在预设空间上的时空约束信息。
在获取到图像之后,可以对图像进行图像处理,以确定与待识别移动对象相对应的特征信息,该特征信息可以包括以下至少之一:移动对象视觉信息、移动对象在预设空间上的时空约束信息,其中,移动对象视觉信息包括以下至少之一:图像全局高维特征、语义属性信息,具体的,语义属性信息可以包括以下至少之一:移动对象的轮廓信息、颜色信息、品牌信息、饰品标识信息以及用户特征信息等等。
在一些实例中,在待识别移动对象包括待识别车辆时,上述与待识别移动对象相对应的特征信息还可以包括与待识别车辆相对应的车牌信息,其中,车牌信息可以是指车牌全部信息或者车牌部分信息。此时,移动对象视觉信息可以包括以下至少之一:车辆图像全局高维特征、语义属性信息,也即车辆视觉信息可以包括车辆图像全局高维特征和/或语义属性信息,而上述的车辆图像全局高维特征可以包括用于标识车辆图像中车辆身份信息的身份高维特征和用于标识车辆图像中车辆视觉信息的语义高维特征。上述的语义属性信息可以包括以下至少之一:轮廓信息(例如:小型车、微型车、紧凑车型、中等车型、高级车型、豪华车型、三厢车型、SUV车型等等)、颜色信息(例如:白色、灰色、黑色、蓝色等)、品牌信息(例如:大众、起亚、丰田、奥迪、宝马等等)、车辆饰品标识信息(例如:位于车辆上的贴标、挂件或者摆件等等)、驾乘员信息(例如:车辆年龄信息、车辆性别信息等等)。另外,移动对象在预设空间上的时空约束信息可以包括以下至少之一:在时间维度上,待识别车辆在预设道路上运行的概率信息;在空间维度上,待识别车辆在预设道路上运行的概率信息。
可以理解的是,与待识别移动对象相对应的特征信息并不限于上述所例举的特征,本领域技术人员还可以根据具体的应用需求和设计需求进行任意配置,例如,在待识别移动对象为待识别车辆时,与待识别车辆相对应的特征信息还可以包括:生产国别特征、移动对象识别号码(VehicleIdentification Number,简称VIN)等等,在此不再赘述。
具体应用时,以待识别车辆作为待识别移动对象为例进行说明,此时,与待识别车辆相对应的特征信息可以存在以下几种表达方式:
表达方式一:特征信息可以包括车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息中的任意之一。例如:特征信息可以包括车辆视觉信息,或者,特征信息可以包括车辆在预设道路上的时空约束信息等等。
表达方式二:特征信息可以包括车辆信息、车辆视觉信息以及车辆在预设道路上的时空约束信息中的任意两个。例如:特征信息可以包括车牌信息和车辆视觉信息,或者,特征信息可以包括车牌信息和车辆在预设道路上的时空约束信息等等。
表达方式三:特征信息可以包括车辆信息、车辆视觉信息以及车辆在预设道路上的时空约束信息。
可以理解的是,在不同的应用场景下,可以根据不同的应用需求采用不同表达方式的特征信息。并且,针对具有不同表达方式的特征信息可以具有不同的确定与待识别车辆相对应的特征信息的实现方式,例如:在特征信息包括车牌信息时,则可以基于至少一个车辆图像获得车牌信息,而无需获得车辆视觉信息和车辆在预设道路上的时空约束信息,而后根据车牌信息确定与待识别车辆相对应的特征信息。在特征信息包括车牌信息和车辆视觉信息,则可以基于至少一个车辆图像获得车牌信息和车辆视觉信息,而无需获得车辆在预设道路上的时空约束信息,而后根据车牌信息和车辆视觉信息确定与待识别车辆相对应的特征信息。在特征信息包括车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息时,则可以基于至少一个车辆图像获得车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息,而后根据车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息来确定与待识别车辆相对应的特征信息。
步骤S103:根据特征信息,确定待识别移动对象的身份信息。
在获得特征信息之后,可以基于特征信息来确定待识别移动对象的身份信息,具体的,本实施对于确定待识别移动对象的身份信息的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:可以先获取预设数据库,预设数据库中包括有与多个移动对象相对应的参考特征信息,而后在预设数据库中,搜索与特征信息相似度最大的参考特征信息,并将该参考特征信息所对应的移动对象的身份信息确定为待识别移动对象的身份信息,从而有效地实现了对待识别移动对象的身份进行识别。当然的,本领域技术人员也可以采用其他的方式来确定待识别移动对象的身份信息,只要能够实现对待识别移动对象的身份进行准确、有效地识别操作即可,在此不再赘述。
举例来说,以待识别车辆作为待识别移动对象为例进行说明,参考附图2所示,预先设置有用于实现车辆识别操作的应用程序,该应用程序可以安装在客户端上,其中,客户端可以是手机、平板电脑或者是任何能够安装应用程序的各种设备。另外,客户端可以与车辆识别装置通信连接,在客户端获取到至少一个车辆图像之后,客户端可以通过应用程序将至少一个车辆图像发送至车辆识别装置,在车辆识别装置获取到至少一个车辆图像之后,可以利用预设的机器学习模型对至少一个车辆图像进行分析识别,从而可以获得与待识别车辆相对应的特征信息,其中,特征信息可以包括车牌信息、车辆视觉信息、车辆在预设道路上的时空约束信息中的至少之一,其中,上述的机器学习模型被训练为用于对车辆图像进行分析识别,从而可以获得与车辆图像中的待识别车辆相对应的特征信息。
在获取到与待识别车辆相对应的特征信息之后,可以基于特征信息在预设数据库中进行图像检索,从而可以获得与待识别图像相似度较高的参考图像,该参考图像中可以包括参考车辆,并将参考图像中的参考车辆的身份信息确定为待识别车辆的身份信息,从而实现了对车辆进行准确、有效地识别操作。
具体应用时,通过该车辆识别方法可以识别出通过一路口的待识别车辆与其他路口的参考车辆是否为同一车辆。具体的:在路口A处获得一待识别车辆的车辆图像,该车辆图像中的车牌信息不清晰,此时,可以基于车辆图像可以获取到待识别车辆的视觉信息和车辆在预设道路上的时空约束信息,而后基于视觉信息和时空约束信息在通过摄像头所采集的所有道路上的过车图像进行搜索识别处理,当确定在路口B处的过车图像的视觉信息和时空约束信息与待识别车辆的视觉信息和时空约束信息的相似度最高时,则通过路口A的待识别车辆即为与路口B的过车图像所对应的车辆。
本实施例提供的移动对象识别方法,通过获取到图像来确定与待识别移动对象相对应的特征信息,由于所获得的特征信息可以包括移动对象视觉信息、移动对象在预设道路上的时空约束信息等多模态的数据特征,因此,在不同的摄像参数、环境条件下,仍能够快速、准确地对移动对象进行识别操作,从而便于实现基于识别结果对移动对象进行管理,进而有效地提高了该方法的实用性,有利于市场的推广与应用。
图3为本发明实施例提供一种移动对象识别方法的示意图一;在上述实施例的基础上,继续参考附图3所示,当待识别移动对象包括待识别车辆时,若特征信息还包括与待识别车辆相对应的车牌信息,那么,在确定与待识别移动对象相对应的特征信息之前,本实施例中的方法还可以包括:
步骤S201:基于图像,确定与待识别车辆相对应的车牌信息。
在获取到图像之后,可以对图像进行分析处理,以确定与待识别车辆相对应的车牌信息。具体的,基于图像,确定与待识别车辆相对应的车牌信息可以包括:
步骤S2011:利用不定长车牌字符识别算法对图像进行识别,确定待识别车辆的车牌全部信息或者车牌部分信息。
其中,不定长车牌字符识别算法可以识别出图像中包括的待识别车辆的车牌全部信息或者车牌部分信息,具体实现时,该不定长车牌字符识别算法可以通过循环神经网络来实现,通过循环神经网络实现的不定长车牌字符识别算法对至少一个车辆图像进行识别,这样不仅能够实现自主进行图像处理和车牌信息的识别操作,而且还能够快速、准确地识别出待识别车辆的车牌全部信息或者车牌部分信息,即针对车牌有部分遮挡、磨损或者不清晰的情况下,通过不定长车牌字符识别算法仍然可以识别出部分的车牌信息。
可以理解的是,车牌信息的识别方式并不限于上述所例举的不定长车牌字符识别算法来确定,本领域技术人员还可以采用其他的方式来确定待识别车辆的车牌全部信息或者车牌部分信息,只要能够准确地识别出待识别车辆的车牌信息即可,在此不再赘述。
具体应用时,参考附图3所示,在获取到图像之后,可以利用不定长车牌字符识别算法对图像进行分析识别,确定待识别车辆的车牌全部信息或者车牌部分信息,而后,根据车辆全部信息或者车牌部分信息来确定与待识别车辆相对应的第一特征信息,并可以基于第一特征信息在预设数据库中进行搜索识别操作,以确定与第一特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考车辆身份确定为待识别车辆的身份信息,从而实现了对待识别车辆的身份信息进行准确、有效地识别操作。
图4为本发明实施例提供一种移动对象识别方法的示意图二;在上述实施例的基础上,继续参考附图4所示,在特征信息包括移动对象视觉信息时,在确定与待识别移动对象相对应的特征信息之前,本实施例中的方法还可以包括:
步骤S301:基于图像,确定与待识别车辆相对应的移动对象视觉信息。
在获取到图像之后,可以对图像进行分析处理,以确定与待识别移动对象相对应的移动对象视觉信息。可以理解的是,在待识别移动对象为待识别车辆时,移动对象视觉信息即为车辆视觉信息。其中,移动对象视觉信息可以包括移动对象图像全局高维特征和/或语义属性信息,在一些实例中,在移动对象视觉信息包括车辆图像全局高维特征时,基于图像,确定与待识别移动对象相对应的移动对象视觉信息可以包括:
步骤S3011:利用深度学习算法对图像进行识别,确定与待识别移动对象相对应的移动对象图像全局高维特征。
在获取到图像之后,可以利用深度学习算法对图像进行图像识别处理,从而可以确定与待识别移动对象相对应的移动对象图像全局高维特征,该移动对象图像全局高维特征可以包括身份高维特征和语义高维特征,并且,该移动对象图像全局高维特征可以实现在海量的图像中进行图像对比操作。
可以理解的是,移动对象图像全局高维特征的确定方式并不限于利用深度学习算法来确定,本领域技术人员还可以采用其他的方式来确定待识别移动对象的移动对象图像全局高维特征,只要能够准确地获得待识别移动对象的移动对象图像全局高维特征即可,在此不再赘述。
在另一些实例中,在移动对象视觉信息包括语义属性信息时,基于图像,确定与待识别移动对象相对应的移动对象视觉信息可以包括:
步骤S3012:根据深度学习算法对图像进行识别,确定待识别移动对象的语义属性信息。
在获取到图像之后,可以利用深度学习算法对图像进行图像识别处理,从而可以确定与待识别移动对象相对应的语义属性信息,该语义属性信息可以用于对待识别移动对象的身份进行语义描述。其中,在待识别移动对象包括待识别车辆时,该语义属性信息包括以下至少之一:轮廓信息、颜色信息、品牌信息、车辆饰品标识信息、驾乘员信息。
可以理解的是,语义属性信息的确定方式并不限于利用深度学习算法来确定,本领域技术人员还可以采用其他的方式来确定待识别移动对象的语义属性信息,只要能够准确地获取待识别移动对象的语义属性信息即可,在此不再赘述。
在又一些实例中,在移动对象视觉信息包括移动对象图像全局高维特征和语义属性信息时,基于图像,确定与待识别移动对象相对应的移动对象视觉信息可以包括:
步骤S3013:根据深度学习算法对图像进行识别,确定与待识别移动对象相对应的移动对象图像全局高维特征和待识别移动对象的语义属性信息。
以待识别移动对象为待识别车辆为例进行说明,在获取到车辆图像之后,可以利用深度学习算法对车辆图像进行图像识别处理,从而可以确定与待识别车辆相对应的车辆图像全局高维特征和语义属性信息,该车辆图像全局高维特征可以实现在海量的图像中进行图像对比操作,语义属性信息可以用于对待识别车辆的身份进行语义描述。
具体应用时,参考附图4所示,在获取到图像之后,可以利用深度学习算法对图像进行分析识别,以确定待识别移动对象的移动对象视觉信息,而后,可以根据移动对象视觉信息来确定与待识别移动对象相对应的第二特征信息,并可以基于第二特征信息在预设数据库中进行搜索识别操作,以确定与第二特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考移动对象身份确定为待识别移动对象的身份信息,从而实现了对待识别移动对象的身份信息进行准确、有效地识别操作。
参考附图5所示,在待识别移动对象为待识别车辆时,在获取到图像之后,可以利用深度学习算法对图像进行分析识别,确定待识别车辆的车牌信息和车辆视觉信息,而后,可以根据车牌信息和车辆视觉信息来确定与待识别车辆相对应的第三特征信息,并可以基于第三特征信息在预设数据库中进行搜索识别操作,以确定与第三特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考车辆身份确定为待识别车辆的身份信息,从而实现了对待识别车辆的身份信息进行准确、有效地识别操作。
本实施例中,基于图像来确定与待识别移动对象相对应的移动对象视觉信息,不仅保证了对移动对象视觉信息进行确定的准确可靠性,并且由于移动对象视觉信息的实现方式多种多样,进一步提高了该方法使用的灵活可靠性。
在上述实施例的基础上,在特征信息包括移动对象在预设空间上的时空约束信息时,在确定与待识别移动对象相对应的特征信息之前,本实施例中的方法还可以包括:
步骤S401:基于图像,确定与待识别移动对象相对应的移动对象在预设空间上的时空约束信息。
其中,预设空间可以是指预设道路上、预设天空区域上、预设海上区域等等,本领域技术人员可以根据不同的应用场景来选择不同的预设空间,例如:在移动对象为车辆时,预设空间可以为车辆所在的预设道路;在移动对象为无人机时,预设空间可以为无人机所在的预设飞行区域。
为了便于理解,以待识别车辆作为待识别移动对象为例进行说明,在特征信息包括与待识别车辆相对应的车辆在预设道路上的时空约束信息时,在获取到图像之后,可以对图像进行分析处理,以确定与待识别车辆相对应的车辆在预设道路上的时空约束信息。其中,待识别车辆在预设道路上的时空约束信息可以包括以下至少之一:在时间维度上,待识别车辆在预设道路上运行的概率信息;在空间维度上,待识别车辆在预设道路上运行的概率信息。为了便于理解时空约束信息所代表的意义,对具有不同表达形式的时空约束信息进行距离说明:
举例1,时空约束信息包括在时间维度上,待识别车辆在预设道路上运行的概率信息。假设,预设道路包括预设道路L1和预设道路L2,待识别车辆为车辆A,车辆A在T1时刻运行在预设道路L1上,那么,在获取到至少一个车辆图像之后,可以基于道路情况、至少一个车辆图像以及交通运行情况确定在T2时刻时,车辆A运行在预设道路L2上运行的概率信息为80%,而在T3时刻时,车辆A运行在预设道路L2上运行的概率信息为20%,其中,T3、T2和T1时间各不相同。通过上述的概率信息可以获知,对于在T1时刻运行在预设道路L1上的车辆A而言,其在预设道路L2上运行的时间很大概率为T2时刻,其在预设道路L2上运行的时间很小概率为T3时刻,此时的时空约束信息即包括了在时间维度上,待识别车辆在预设道路上运行的概率信息。
举例2,时空约束信息包括在空间维度上,待识别车辆在预设道路上运行的概率信息。假设,预设道路包括道路L1、预设道路L2和预设道路L3,待识别车辆为车辆A,车辆A在T1时刻运行在预设道路L1上,那么,在获取到至少一个车辆图像之后,可以基于道路情况、至少一个车辆图像以及交通运行情况确定在T2时刻时,车辆A运行在预设道路L2上运行的概率信息为75%,而车辆A运行在预设道路L3上运行的概率信息为25%,其中,T2和T1时间各不相同。通过上述的概率信息可以获知,对于在T1时刻运行在预设道路L1上的车辆A而言,其在T2时刻时,车辆A很大概率上运行在预设道路L2上,很小概率运行在预设道路L3上,此时的时空约束信息即包括了空间维度上,待识别车辆在预设道路上运行的概率信息。
举例3,时空约束信息包括在时间维度上,待识别车辆在预设道路上运行的概率信息和在空间维度上,待识别车辆在预设道路上运行的概率信息。假设,预设道路包括道路L1、道路L2和道路L3,待识别车辆为车辆A,车辆A在T1时刻运行在预设道路L1上,那么,在获取到至少一个车辆图像之后,可以基于道路情况、至少一个车辆图像以及交通运行情况确定在T2时刻时,车辆A运行在预设道路L2上运行的概率信息为80%,在T3时刻时,车辆A运行在预设道路L2上运行的概率信息为85%;而在T2时刻时,车辆A在预设道路L3上运行的概率信息为20%,在T3时刻时,车辆A在预设道路L3上运行的概率信息为15%,也就是说,在时间维度和空间维度上,在预设道路L2上的运行车辆很大概率是在T1时刻上运行在预设道路L1上的车辆A,而在预设道路L3上的运行车辆很小概率是在T1时刻上运行在预设道路L1上的车辆A。
具体应用时,参考附图6所示,在获取到图像之后,可以基于图像获取待识别车辆在预设道路上的时空约束信息,而后,可以根据时空约束信息来确定与待识别车辆相对应的第四特征信息,并可以基于第四特征信息在预设数据库中进行搜索识别操作,以确定与第四特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考车辆身份确定为待识别车辆的身份信息,从而实现了对待识别车辆的身份信息进行准确、有效地识别操作。
参考附图7所示,在获取到图像之后,可以利用深度学习算法对图像进行分析识别,确定待识别车辆的车牌信息和待识别车辆在预设道路上的时空约束信息,而后,可以根据车牌信息和待识别车辆在预设道路上的时空约束信息来确定与待识别车辆相对应的第五特征信息,并可以基于第五特征信息在预设数据库中进行搜索识别操作,以确定与第五特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考车辆身份确定为待识别车辆的身份信息,从而实现了对待识别车辆的身份信息进行准确、有效地识别操作。
参考附图8所示,在获取到图像之后,可以利用深度学习算法对图像进行分析识别,确定待识别车辆的车辆视觉信息和待识别车辆在预设道路上的时空约束信息,而后,可以根据车辆视觉信息和待识别车辆在预设道路上的时空约束信息来确定与待识别车辆相对应的第六特征信息,并可以基于第六特征信息在预设数据库中进行搜索识别操作,以确定与第六特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考车辆身份确定为待识别车辆的身份信息,从而实现了对待识别车辆的身份信息进行准确、有效地识别操作。
参考附图9所示,在获取到图像之后,可以利用深度学习算法对图像进行分析识别,确定待识别车辆的车牌信息、车辆视觉信息和待识别车辆在预设道路上的时空约束信息,而后,可以根据车牌信息、车辆视觉信息和待识别车辆在预设道路上的时空约束信息来确定与待识别车辆相对应的第七特征信息,并可以基于第七特征信息在预设数据库中进行搜索识别操作,以确定与第七特征信息相似度最高的参考图像,而后可以将参考图像所对应的参考车辆身份确定为待识别车辆的身份信息,从而实现了对待识别车辆的身份信息进行准确、有效地识别操作。
本实施例中,基于图像确定与待识别移动对象相对应的移动对象在预设空间上的时空约束信息,不仅保证了对时空约束信息进行确定的准确可靠性,并且,由于用于对待识别移动对象进行身份识别的特征信息中可以包括时空约束信息,从而也提高了该方法使用的精确可靠性。
图10为本发明实施例提供的基于图像,确定与待识别车辆相对应的车辆在预设道路上的时空约束信息的流程示意图;在上述实施例的基础上,继续参考附图10所示,在待识别移动对象包括待识别车辆时,本实施例对于确定与待识别车辆相对应的车辆在预设道路上的时空约束信息的实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,较为优选的,本实施例中的基于图像,确定与待识别车辆相对应的车辆在预设道路上的时空约束信息可以包括:
步骤S1001:获取路网信息和交通流量信息。
步骤S1002:根据路网信息、交通流量信息和图像,确定待识别车辆在预设道路上的时空约束信息。
其中,路网信息可以是指与待识别车辆相对应的城市道路信息和乡村道路信息,交通流量信息可以是指在道路上的运行车辆数量;具体的,在获取路网信息时,可以先获取与待识别车辆相对应的地图数据,而后通过地图数据可以获取与待识别车辆相对应的路网信息。另外,在获取交通流量信息时,可以通过道路摄像头采集的实时数据来确定交通流量数据。
在获取到路网信息和交通流量信息之后,可以基于路网信息和交通流量信息来确定待识别车辆在预设道路上的时空约束信息,具体的,根据路网信息、交通流量信息和图像,确定待识别车辆在预设道路上的时空约束信息可以包括:
步骤S10021:根据路网信息和交通流量信息,确定待识别车辆在预设道路上的运行时间概率分布。
具体的,根据路网信息和交通流量信息,确定待识别车辆在预设道路上的运行时间概率分布可以包括:
步骤S100211:根据路网信息和交通流量信息建立有向图,有向图用于标识路网信息与交通流量信息之间的映射关系。
步骤S100212:基于有向图,确定待识别车辆在预设道路上的运行时间概率分布。
其中,在获取到路网信息和交通流量信息之后,可以根据路网信息和交通流量信息建立有向图,该有向图用于标识路网信息与交通流量信息之间的映射关系。在获取到有向图之后,可以对有向图进行分析处理,从而可以确定待识别车辆在预设道路上的运行时间概率分布。
步骤S10022:基于图像,确定待识别车辆在预设道路上的实际运行时间。
在获取到图像之后,可以对图像进行分析处理,从而可以确定待识别车辆在预设道路上的实际运行时间,具体的,在所获得的图像数量为多个时,每个图像可以对应有一时间戳信息,通过任意两个图像所对应的时间戳信息即可以确定待识别车辆在预设道路(与任意两个图像相对应)上的实际运行时间。
步骤S10023:根据实际运行时间和运行时间概率分布,确定待识别车辆在预设道路上的时空约束信息。
其中,根据实际运行时间和运行时间概率分布,确定待识别车辆在预设道路上的时空约束信息可以包括:
步骤S100231:基于运行时间概率分布,确定与实际运行时间相对应的运行概率信息。
步骤S100232:根据运行概率信息确定待识别车辆在预设道路上的时空约束信息。
其中,运行时间概率分布可以包括与多个运行时间所对应的运行概率信息,在获取到实际运行时间和运行时间概率分布之后,可以基于运行时间概率分布来确定与实际运行时间相对应的概率信息,即先确定运行时间概率分布上与实际运行时间相对应的目标运行时间,而后将目标运行时间相对应的概率信息确定为与实际运行时间相对应的运行概率信息。在获取到运行概率信息之后,可以根据运行概率信息来确定待识别车辆在预设道路上的时空约束信息,具体应用时,可以直接将运行概率信息确定为待识别车辆在预设道路上的时空约束信息。
本实施例中,通过获取路网信息和交通流量信息,而后根据路网信息、交通流量信息和图像,确定待识别车辆在预设道路上的时空约束信息,这样不仅有效地实现了对时空约束信息进行确定的准确率,进一步提高了该移动对象识别方法使用的稳定可靠性。
图11为本发明实施例提供的基于图像,确定与待识别移动对象相对应的特征信息的流程示意图一;在上述实施例的基础上,继续参考附图11所示,本实施例对于基于图像,确定与待识别移动对象相对应的特征信息的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,其中,在待识别移动对象包括待识别车辆时,一种可实现基于图像,确定与待识别移动对象相对应的特征信息的方式可以包括:
步骤S1101:基于图像,分别获取车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息。
步骤S1102:分别确定与车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息相对应的权重信息。
步骤S1103:基于与车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息相对应的权重信息,对车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息进行加权求和,确定特征信息。
其中,特征信息可以具有不同的表达形式,而不同表达形式的特征信息的确定方式和实现步骤也不同。具体的,在特征信息包括车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息时,在确定特征信息时,可以先获取车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息,并分别确定与车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息相对应的权重信息,而后可以基于与车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息相对应的权重信息,对车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息进行加权求和,确定特征信息。
举例来说,与车牌信息所对应的权重信息为D1、与车辆视觉信息所对应的权重信息为D2、与车辆在预设道路上的时空约束信息的权重信息为D3,而后可以基于上述的权重信息,对车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息进行加权求和,从而可以确定特征信息,即特征信息=车牌信息*D1+车辆视觉信息*D2+时空约束信息*D3,其中,D1可以大于或等于0、D2可以大于或等于0、D3可以大于或等于0。可以理解的是,在D1=0时,特征信息可以是根据车辆视觉信息和时空约束信息进行融合处理获得的;在D2=0时,特征信息可以是根据车牌信息和时空约束信息进行融合处理获得的;在D3=0时,特征信息可以是根据车牌信息和车辆视觉信息进行融合处理获得的。
本实施例中,通过分别获取车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息,并分别确定与车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息相对应的权重信息,而后基于与车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息相对应的权重信息对车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息进行加权求和,从而可以实现快速、简单地获取到特征信息,进一步提高了该车辆识别方法的实用性。
图12为本发明实施例提供的基于图像,确定与待识别移动对象相对应的特征信息的流程示意图二;在上述实施例的基础上,继续参考附图12所示,在待识别移动对象包括待识别车辆时,本实施例提供了另一种可实现确定与待识别移动对象相对应的特征信息的方式,具体的,基于图像,确定与待识别车辆相对应的特征信息可以包括:
步骤S1201:分别获取车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息。
步骤S1202:利用图神经网络对车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息进行多模态特征的融合处理,获得与待识别车辆相对应的特征信息。
其中,特征信息可以具有不同的表达形式,而不同表达形式的特征信息的确定方式和实现步骤也不同。具体的,在特征信息包括车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息时,在确定特征信息时,可以先获取车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息,而后可以利用图神经网络对车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息进行多模态特征的融合处理,其中,图神经网络预先被训练为可以对多模态的数据进行融合处理,以获得与多模态的数据相对应的融合特征;从而实现了可以快速、直接地获得与待识别车辆相对应的特征信息。
可以理解的是,多模态特征包括车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息中的至少之一,例如:多模态特征包括车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息中的任意一个,此时,在获取特征信息时,只需要获取其中一个相对应的特征信息即可,而无需获取其他的特征信息。或者,多模态特征包括车辆信息、车辆视觉信息以及车辆在预设道路上的时空约束信息中的任意两个时,在获取特征信息时,只需要获取其中两个相对应的特征信息即可,而无需获取其他的特征信息。
本实施例中,通过分别获取车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息,并利用图神经网络对车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息进行多模态特征的融合处理,不仅可以提高对特征信息进行获取的准确可靠性,并且还提高了对特征信息进行融合处理的质量和效率,进而提高了该车辆识别方法的实用性。
图13为本发明实施例提供的根据特征信息,确定待识别移动对象的身份信息的流程示意图一;在上述任意一个实施例的基础上,继续参考附图13所示,本实施例中对于确定待识别移动对象的身份信息的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,其中,本实施例提供了一种可实现的方式,具体的,根据特征信息,确定待识别移动对象的身份信息可以包括:
步骤S1301:获取预设数据库,预设数据库中包括与多个参考移动对象相对应的多个参考图像以及与参考图像相对应的参考特征信息。
步骤S1302:根据特征信息和参考特征信息,确定参考图像与图像之间的相似度信息。
步骤S1303:根据相似度信息,确定待识别移动对象的身份信息。
为了便于理解,以待识别移动对象包括待识别车辆为例进行说明,预设数据库中可以包括多个参考图像以及与每个参考图像相对应的参考特征信息,上述的多个参考图像可以是通过道路上的图像采集装置对所有道路上的多个参考车辆进行图像采集所获得的。可以理解的是,一个参考图像中可以对应一个或多个参考车辆,而参考特征信息可以与一个或多个参考车辆相对应。在获取到预设数据库之后,可以将融合有多模态特征的特征信息与参考特征信息进行分析比较,以确定参考图像与车辆图像之间的相似度信息。
在获取到相似度信息之后,可以基于该相似度信息来确定待识别车辆的身份信息,具体的,根据特征相似度,确定待识别车辆的身份信息可以包括:
步骤S13031:在多个参考图像中,将相似度信息最大的参考图像确定为与图像相对应的目标参考图像。
步骤S13032:将目标参考图像中的参考移动对象,确定为待识别移动对象的身份信息。
具体的,预设数据库中包括有多个参考图像和与参考图像相对应的多个参考特征信息,而特征信息与不同的参考特征信息可以具有不同的特征相似度,在获取到不同的特征相似度之后,可以基于不同的特征相似度在多个参考图像中,将相似度信息最大的参考图像确定为与车辆图像相对应的目标参考图像,而后可以将目标参考图像中的参考车辆确定为待识别车辆的身份信息。
举例来说,预设数据库中包括的参考图像包括图像1、图像2和图像3,图像1对应有参考特征信息1,图像2对应有参考特征信息2,图像3对应有参考特征信息3,而后确定特征信息与参考特征信息1之间的相似度为S1,特征信息与参考特征信息2之间的相似度为S2,特征信息与参考特征信息3之间的相似度为S3,而后比较S1、S2和S3之间的大小,获得最大的相似度为S2,而后将相似度S2所对应的图像2中包括的参考车辆确定为待识别车辆的身份信息。
本实施例中,通过获取预设数据库,根据特征信息和参考特征信息,确定参考图像与车辆图像之间的相似度信息,而后可以根据相似度信息确定待识别车辆的身份信息,这样有效地提高了对待识别车辆的身份信息进行确定的准确可靠性。
图14为本发明实施例提供的根据特征信息,确定待识别移动对象的身份信息的流程示意图二;在上述实施例的基础上,继续参考附图14所示,在待识别移动对象包括待识别车辆时,本实施例提供了另一种可实现确定待识别移动对象的身份信息,具体的,根据特征信息,确定待识别车辆的身份信息可以包括:
步骤S1401:获取预设数据库,预设数据库中包括与多个参考车辆相对应的参考图像以及与参考图像相对应的参考特征信息,参考特征信息包括以下至少之一:参考车牌信息、参考车辆视觉信息、车辆在预设道路上的参考时空约束信息。
步骤S1402:根据特征信息和参考特征信息,确定参考图像与车辆图像之间的特征比较信息。
步骤S1403:根据特征比较信息,确定待识别车辆的身份信息。
其中,预设数据库中包括有多个参考图像和与参考图像相对应的多个参考特征信息,参考特征信息可以包括以下至少之一:参考车牌信息、参考车辆视觉信息、车辆在预设道路上的参考时空约束信息。而后,可以将特征信息与参考特征信息进行分析比较,从而可以确定参考图像与车辆之间的特征比较信息,该特征比较信息可以包括以下至少之一:车牌汉明距离、车辆视觉信息的相似度、时间距离特征、运行周期特征、空间欧式距离、空间路网距离。举例来说,在参考特征信息包括参考车牌信息时,可以根据待识别车辆相对应的车牌信息和参考车牌信息来确定车牌汉明距离;在参考特征信息包括参考车辆视觉信息时,可以根据待识别车辆相对应的车辆视觉信息和参考车辆视觉信息来确定车辆视觉信息的相似度,例如:车辆属性相似度或者车辆外观相似度等等。在参考特征信息包括车辆在预设道路上的参考时空约束信息时,可以根据待识别车辆相对应的至少一个车辆图像和参考时空约束信息来确定时间距离特征、运行周期特征、空间欧式距离和空间路网距离。在获取到特征比较信息之后,可以根据特征比较信息来确定待识别车辆的身份信息,从而可以快速、直接地获取到待识别车辆的身份信息。
在一些实例中,本实施例中的实现方式包括上述两种确定待识别车辆的身份信息的方式进行融合处理,即获取预设数据库,预设数据库中包括有参考图像以及与参考图像相对应的参考融合特征信息和参考特征信息,而后将车辆图像的融合特征信息与参考融合特征信息进行分析比较,获得特征相似度,将车辆图像的特征信息与参考特征信息进行分析比较,获得特征比较信息,而后结合特征相似度和特征比较信息来确定待识别车辆的身份信息,这样可以进一步提高对待识别车辆的身份信息进行确定的准确性。
图15为本发明实施例提供的根据特征信息,确定待识别移动对象的身份信息的流程示意图三;在上述实施例的基础上,继续参考附图15所示,本实施例提供了又一种可实现确定待识别车辆的身份信息,具体的,根据特征信息,确定待识别移动对象的身份信息可以包括:
步骤S1501:获取预设数据库,预设数据库中包括多个参考图像集群以及与参考图像集群相对应的参考特征信息,其中,多个参考图像集群与多个参考移动对象相对应。
步骤S1502:利用聚类算法对特征信息和参考特征信息进行分析处理,确定图像相对应的目标参考图像集群。
步骤S1503:将目标参考图像集群所对应的参考移动对象,确定待识别移动对象的身份信息。
其中,预设数据库中可以包括多个参考图像集群以及与参考图像集群相对应的参考特征信息,可以理解的是,一个参考图像集群可以对应有一个或多个参考特征信息,一般情况下,一个参考图像集群中可以包括一个或多个参考图像,而一个参考图像对应一个参考特征信息,因此,一个参考图像集群往往可以对应多个参考特征信息。另外,每个参考图像集群中的至少一个参考图像对应一个参考移动对象,而多个参考图像集群可以对应有多个参考移动对象。
在获取到预设数据库之后,可以利用聚类算法(例如:K-Means聚类算法、图像聚类算法或者其他聚类算法)对图像所对应的特征信息和参考特征信息(可以是指一个参考特征信息或者多个参考特征信息)进行分析处理,从而可以确定图像所对应的目标参考图像集群,该目标参考图像集群可以为多个参考图像集群中的任意之一。在确定目标参考图像集群之后,可以将目标参考图像集群所对应的参考移动对象确定为确定待识别移动对象的身份信息,从而有效地实现了对待识别移动对象的身份进行准确的识别操作。
具体应用时,参考附图16所示,本应用实施例提供了一种可以基于多模态特征进行数据融合、实现端到端的移动对象识别方法,该方法可以在完全数据驱动、无需人工标注的情况下进行自动地识别全量的车辆身份,具体的,该方法可以通过挖掘多模态特征中有效、鲁棒的特征在图搜系统中进行搜索,从而有效地实现车辆身份的识别操作。
下面以多模态特征包括车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息为例进行说明,本实施例中的移动对象识别方法可以包括如下步骤:
步骤1:获取包括待识别车辆的车辆图像,通过计算机视觉技术对车辆图像进行分析处理,获得车牌信息和车辆视觉信息。
其中,包括有待识别车辆的车辆图像可以是来自监控视频中的任意一帧图像数据。另外,由于车牌信息对于车辆身份有着较强的辨识作用,因此,对于车牌信息的识别具有重要意义。具体应用时,为了能够保证对车牌信息进行识别的准确性,尤其是针对车牌污损或是蓄意遮挡部分车牌的车辆,可以利用由循环神经网络来实现的不定长车牌字符识别算法来对车辆图像进行识别,从而可以获得与待识别车辆的车牌全部信息或者车牌部分信息,以便于基于车牌全部信息或者车牌部分信息在数据库中搜索出与车牌全部信息或者车牌部分信息相匹配的目标车辆。
另外,车辆视觉信息可以包括车辆属性信息和图像特征信息,具体的,在获取到车辆图像之后,可以通过深度学习网络对输入的车辆图像进行分析识别,从而可以获取车辆的车辆图像全局高维特征和/或语义属性信息,上述的车辆图像全局高维特征融合了轮廓信息、颜色信息、品牌信息、车辆饰品标识信息和驾乘员信息。具体的,可以采用计算机视觉的目标检测技术,对道路监控视频的车辆图像进行检测和信息提取,从而可以获得车牌信息、车辆属性信息、图像特征信息。
步骤3:获取车辆在预设道路上的时空约束信息。
其中,由于车辆在不同摄像头之间的运动受路网信息和交通流量信息的约束,因此,可以获取路网信息和交通流量信息,而后建立用于标识路网信息和交通流量之间映射关系的有向图,基于有向图可以来动态估计车辆在不同时刻的任意两个摄像头之间所需要的运行时间概率分布,从而可以基于运行时间概率分布在预设数据库中检索出符合时空约束信息的目标车辆。具体的,运行时间概率分布中可以包括通过多个路口的理论运行时间,而后通过图像采集装置可以获取到车辆在预设道路上的实际运行时间,通过实际运行时间和多个路口的理论运行时间即可获取车辆在预设道路上的时空约束信息。
步骤4:数据融合和挖掘
在获取到车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息之后,可以利用图神经网络对车牌信息、车辆视觉信息以及车辆在预设道路上的时空约束信息进行多模态特征的融合处理,从而可以获得与待识别车辆相对应的特征信息,而后可以基于特征信息在预设数据库中进行车辆的身份识别操作。
另外,在进行车辆的身份识别操作时,还可以基于车牌信息、车辆视觉信息和车辆在预设道路上的时空约束信息进行挖掘特征,并通过挖掘特征来识别车辆的身份。例如:通过车牌信息可以获取任意两个车辆图像中两个车辆之间的车牌汉明距离,通过车辆视觉信息可以获取到任意两个车辆图像中两个车辆之间的车辆属性特征相似度,通过车辆视觉信息可以获取到任意两个车辆图像中两个车辆之间的车辆外观相似度,通过时空约束信息可以获取到任意两个车辆图像中两个车辆之间的时间距离信息、空间欧氏距离、空间路网距离等等,通过时空约束信息可以获取到车辆所在预设道路的运行周期特征(例如:早高峰时间、晚高峰时间等等)。
具体应用时,该移动对象识别方法可以实现对多个车辆图像中所对应的车辆进行身份识别操作,举例来说:预设数据库中包括有海量的车辆图像,可以对海量的车辆图像进行图像聚类处理,从而可以挖掘出多个图像集合,每个图像集合中包括有多个车辆图像,并且,每个图像集合对应同一个待识别车辆。而后利用预先训练好的机器学习模型对图像集合中的至少一个车辆图像进行分析识别,从而可以获得与待识别车辆相对应的融合特征信息,而后基于融合特征信息可以确定每个图像集合所对应的待识别车辆的身份信息,例如:可以识别出在A路口T1时刻所通过的车辆是否为B路口T2时刻所通过的车辆。另外,当识别出A路口T1时刻所通过的车辆的车牌信息与B路口T2时刻所通过的车辆的车牌信息相同,然而,在A路口T1时刻所通过的车辆与在B路口T2时刻所通过的车辆的车辆视觉信息完全不同时,还可以确定在A路口T1时刻所通过的车辆和在B路口T2时刻所通过的车辆中的至少一个车辆为套牌车辆,从而可以生成警告信息,以便使得用户可以及时发现车辆的套牌违法行为。
另外,在基于融合特征信息确定每个图像集合所对应的待识别车辆的身份信息时,可以基于融合特征信息来确定预设数据库中与待识别车辆相对应的参考图像,而后可以获取每个参考图像所对应的置信度信息,并将置信度信息最高的参考图像中所包括的车辆确定为待识别车辆的唯一身份。需要注意的是,由于每个待识别车辆所对应的图像集合中所含图片众多,信息充足,特征多元,因此可以显著提高对单一车辆身份信息进行确定的准确可靠性。
本应用实施例提=利用,尤其是对于时空关系的利用,辅助推演车辆身份,这样对于车牌或外观属性相似的不同车辆,由于不合理的时空关系,可以被识别为不同车辆,有效解决了当前流行技术中由于视频质量和视觉特征本身的噪声和混淆导致的识别错漏问题,从而大大提升车辆身份识别的准确性和鲁棒性;另外,本实施例中的方法还可以挖掘多元信息中有效、鲁棒的特征,结合所挖掘的特征可以进一步提高对车辆身份进行识别的准确性;此外,本实施例中的方法大部分是通过机器学习算法实现的,例如:图神经网络等模型,而机器学习算法可以达到快速自适应地学习效果,进而有效地拓展了该方法所适用的应用场景和应用范围,进而提高了该方法使用的灵活可靠性。
在任意一个实施例的基础上,本实施例中的方法还可以包括:
步骤S1601:获取待识别移动对象所在的环境信息。
步骤S1602:根据环境信息,确定与待识别移动对象相对应的特征信息。
其中,可以通过设置于待识别移动对象上的环境传感器获取到待识别移动对象所在的环境信息,该环境信息可以包括:环境亮度信息、视觉清晰度等等。在环境传感器获取到环境信息之后,可以将环境传感器所获取到的环境信息发送至识别装置,从而使得识别装置可以对环境信息进行分析处理,而后根据分析处理结果来确定与待识别移动对象相对应的特征信息。具体的,在待识别移动对象包括待识别车辆时,根据环境信息,确定与待识别移动对象相对应的特征信息可以包括:
步骤S16021:获取与待识别移动对象相对应的备选特征信息,备选特征信息包括:移动对象视觉信息、移动对象在预设空间上的时空约束信息、以及与待识别车辆相对应的车牌信息。
步骤S16022:获取用户基于环境信息、针对备选特征信息输入的执行操作。
步骤S16023:根据执行操作,确定与待识别移动对象相对应的特征信息,特征信息为备选特征信息中的至少一部分。
其中,在待识别移动对象包括待识别车辆时,预先配置有与待识别车辆相对应的备选特征信息,该备选特征信息用于确定与待识别车辆相对应的特征信息。在获取到备选特征信息之后,可以先预设的显示界面上显示所有的备选特征信息,而后用户可以通过显示界面输入针对备选特征信息的执行操作,该执行操作可以包括点选操作、滑动操作等等。具体的,在获取到待识别车辆相对应的环境信息之后,可以基于环境信息对与环境信息相对应的备选特征信息输入执行操作。在获取到执行操作之后,则可以根据执行操作来确定与待识别车辆相对应的特征信息,该特征信息为备选特征信息中的至少一部分。
举例来说,在环境信息中的环境亮度信息和视觉清晰度不满足预设要求时,则说明此时的待识别车辆所在的环境信息较差,此时,为了能够提高对待识别车辆进行识别的准确可靠性,用户可以对显示界面上的所有备选特征信息输入执行操作,从而可以将所有的备选特征信息确定为与待识别车辆相对应的特征信息。在环境信息中的环境亮度信息和视觉清晰度满足预设要求时,则说明此时的待识别车辆所在的环境信息较好,此时,用户可以根据上述的环境信息对显示界面上的部分备选特征信息输入执行操作,例如:针对车辆视觉信息和车辆在预设道路上的时空约束信息输入执行操作,而后将车辆视觉信息和车辆在预设道路上的时空约束信息确定为与待识别车辆相对应的特征信息。
本实施例中,通过获取待识别移动对象所在的环境信息,而后根据环境信息,确定与待识别移动对象相对应的特征信息,有效地实现了可以基于不同的环境信息来确定不同的特征信息,进一步提高了该识别方法使用的灵活可靠性。
图17为本发明实施例提供的一种移动对象识别装置的结构示意图;参考附图17所示,本实施例提供了一种移动对象识别装置,该识别装置可以执行上述图1所示的移动对象识别方法。该识别装置可以包括:获取模块11、确定模块12和识别模块13,具体的,
获取模块11,用于获取与待识别移动对象相对应的图像;
确定模块12,用于基于图像,确定与待识别移动对象相对应的特征信息,特征信息包括以下至少之一:移动对象视觉信息和移动对象在预设空间上的时空约束信息;
识别模块13,用于根据特征信息,确定待识别移动对象的身份信息。
在一些实例中,移动对象视觉信息包括以下至少之一:图像全局高维特征、语义属性信息。
在一些实例中,待识别移动对象包括待识别车辆;语义属性信息包括以下至少之一:轮廓信息、颜色信息、品牌信息、车辆饰品标识信息、驾乘员信息。
在一些实例中,特征信息还包括与待识别车辆相对应的车牌信息。
在一些实例中,在确定与待识别移动对象相对应的特征信息之前,该确定模块12可以用于执行:利用不定长车牌字符识别算法对图像进行识别,确定待识别车辆的车牌全部信息或者车牌部分信息。
在一些实例中,不定长车牌字符识别算法通过循环神经网络实现。
在一些实例中,在确定与待识别移动对象相对应的特征信息之前,本实施例中的确定模块12还可以用于执行:基于图像,确定与待识别移动对象相对应的移动对象视觉信息。
在一些实例中,在确定模块12基于图像,确定与待识别移动对象相对应的移动对象视觉信息时,该确定模块12可以用于执行:利用深度学习算法对图像进行识别,确定与待识别移动对象相对应的图像全局高维特征。
在一些实例中,在确定模块12基于图像,确定与待识别移动对象相对应的移动对象视觉信息时,该确定模块12可以用于执行:根据深度学习算法对图像进行识别,确定待识别车辆的语义属性信息,语义属性信息包括以下至少之一:轮廓信息、颜色信息、品牌信息、车辆饰品标识信息、驾乘员信息。
在一些实例中,在确定与待识别移动对象相对应的特征信息之前,本实施例中的确定模块12还可以用于执行:基于图像,确定与待识别车辆相对应的车辆在预设道路上的时空约束信息。
在一些实例中,移动对象在预设空间上的时空约束信息包括以下至少之一:在时间维度上,待识别车辆在预设道路上运行的概率信息;在空间维度上,待识别车辆在预设道路上运行的概率信息。
在一些实例中,在确定模块12基于图像,确定与待识别车辆相对应的车辆在预设道路上的时空约束信息时,该确定模块12可以用于执行:获取路网信息和交通流量信息;根据路网信息、交通流量信息和图像,确定待识别车辆在预设道路上的时空约束信息。
在一些实例中,在确定模块12根据路网信息、交通流量信息和图像,确定待识别车辆在预设道路上的时空约束信息时,该确定模块12可以用于执行:根据路网信息和交通流量信息,确定待识别车辆在预设道路上的运行时间概率分布;基于图像,确定待识别车辆在预设道路上的实际运行时间;根据实际运行时间和运行时间概率分布,确定待识别车辆在预设道路上的时空约束信息。
在一些实例中,在确定模块12根据路网信息和交通流量信息,确定待识别车辆在预设道路上的运行时间概率分布时,该确定模块12可以用于执行:根据路网信息和交通流量信息建立有向图,有向图用于标识路网信息与交通流量信息之间的映射关系;基于有向图,确定待识别车辆在预设道路上的运行时间概率分布。
在一些实例中,在确定模块12根据实际运行时间和运行时间概率分布,确定待识别车辆在预设道路上的时空约束信息时,该确定模块12可以用于执行:基于运行时间概率分布,确定与实际运行时间相对应的运行概率信息;根据运行概率信息确定待识别车辆在预设道路上的时空约束信息。
在一些实例中,在确定模块12基于图像,确定与待识别移动对象相对应的特征信息时,该确定模块12可以用于执行:基于图像,分别获取车牌信息、移动对象视觉信息以及移动对象在预设道路上的时空约束信息;分别确定与车牌信息、移动对象视觉信息以及移动对象在预设道路上的时空约束信息相对应的权重信息;基于与车牌信息、移动对象视觉信息以及移动对象在预设道路上的时空约束信息相对应的权重信息,对车牌信息、移动对象视觉信息和移动对象在预设道路上的时空约束信息进行加权求和,确定特征信息。
在一些实例中,在确定模块12基于图像,确定与待识别移动对象相对应的特征信息时,该确定模块12可以用于执行:基于图像,分别获取车牌信息、移动对象视觉信息以及移动对象在预设道路上的时空约束信息;利用图神经网络对车牌信息、移动对象视觉信息以及移动对象在预设道路上的时空约束信息进行多模态特征的融合处理,获得与待识别车辆相对应的特征信息。
在一些实例中,在识别模块13根据特征信息,确定待识别移动对象的身份信息时,该识别模块13可以用于执行:获取预设数据库,预设数据库中包括与多个参考移动对象相对应的多个参考图像以及与参考图像相对应的参考特征信息;根据特征信息和参考特征信息,确定参考图像与图像之间的相似度信息;根据相似度信息,确定待识别移动对象的身份信息。
在一些实例中,在识别模块13根据相似度信息,确定待识别移动对象的身份信息时,该识别模块13可以用于执行:在多个参考图像中,将相似度信息最大的参考图像确定为与图像相对应的目标参考图像;将目标参考图像中的参考移动对象,确定为待识别移动对象的身份信息。
在一些实例中,在识别模块13根据特征信息,确定待识别移动对象的身份信息时,该识别模块13可以用于执行:获取预设数据库,预设数据库中包括与多个参考车辆相对应的参考图像以及与参考图像相对应的参考特征信息,参考特征信息包括以下至少之一:参考车牌信息、参考车辆视觉信息、车辆在预设道路上的参考时空约束信息;根据特征信息和参考特征信息,确定参考图像与图像之间的特征比较信息;根据特征比较信息,确定待识别车辆的身份信息。
在一些实例中,特征比较信息包括以下至少之一:车牌汉明距离、车辆视觉信息的相似度、时间距离特征、运行周期特征、空间欧式距离、空间路网距离。
在一些实例中,在识别模块13根据特征信息,确定待识别移动对象的身份信息时,该识别模块13可以用于执行:获取预设数据库,预设数据库中包括多个参考图像集群以及与参考图像集群相对应的参考特征信息,其中,多个参考图像集群与多个参考移动对象相对应;利用聚类算法对特征信息和参考特征信息进行分析处理,确定图像相对应的目标参考图像集群;将目标参考图像集群所对应的参考移动对象,确定待识别移动对象的身份信息。
在一些实例中,在获取模块11获取与待识别移动对象相对应的图像时,该获取模块11可以用于执行:获取与多个移动对象相对应的多个第一图像,多个移动对象中包括有待识别移动对象;对多个第一图像进行聚类处理,获得与待识别移动对象相对应的至少一个图像。
在一些实例中,本实施例中的获取模块11和确定模块12还可以用于执行以下步骤:
获取模块11,用于获取待识别移动对象所在的环境信息;
确定模块12,用于根据环境信息,确定与待识别移动对象相对应的特征信息。
在一些实例中,在确定模块12根据环境信息,确定与待识别移动对象相对应的特征信息时,该确定模块12可以用于执行:获取与所述待识别移动对象相对应的备选特征信息,所述备选特征信息包括:移动对象视觉信息、移动对象在预设空间上的时空约束信息、以及与待识别车辆相对应的车牌信息;获取用户基于环境信息、针对备选特征信息输入的执行操作;根据执行操作,确定与待识别移动对象相对应的特征信息,所述特征信息为所述备选特征信息中的至少一部分。
图17所示装置可以执行图1-图16所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图16所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图16所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图17所示移动对象识别装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图18所示,该电子设备可以包括:处理器21和存储器22。其中,存储器22用于存储相对应电子设备执行上述图1-图16所示实施例中提供的移动对象识别方法的程序,处理器21被配置为用于执行存储器22中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器21执行时能够实现如下步骤:
获取与待识别移动对象相对应的图像;
基于图像,确定与待识别移动对象相对应的特征信息,特征信息包括以下至少之一:移动对象视觉信息和移动对象在预设空间上的时空约束信息;
根据特征信息,确定待识别移动对象的身份信息。
进一步的,处理器21还用于执行前述图1-图16所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图16所示方法实施例中移动对象识别方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (27)

1.一种移动对象识别方法,其特征在于,包括:
获取与待识别移动对象相对应的图像;
基于所述图像,确定与所述待识别移动对象相对应的特征信息,所述特征信息包括以下至少之一:移动对象视觉信息和移动对象在预设空间上的时空约束信息;
根据所述特征信息,确定所述待识别移动对象的身份信息。
2.根据权利要求1所述的方法,其特征在于,
所述移动对象视觉信息包括以下至少之一:图像全局高维特征、语义属性信息。
3.根据权利要求2所述的方法,其特征在于,所述待识别移动对象包括待识别车辆;所述语义属性信息包括以下至少之一:轮廓信息、颜色信息、品牌信息、车辆饰品标识信息、驾乘员信息。
4.根据权利要求3所述的方法,其特征在于,所述特征信息还包括与所述待识别车辆相对应的车牌信息。
5.根据权利要求4所述的方法,其特征在于,在确定与所述待识别移动对象相对应的特征信息之前,所述方法还包括:
利用不定长车牌字符识别算法对所述图像进行识别,确定所述待识别车辆的车牌全部信息或者车牌部分信息。
6.根据权利要求5所述的方法,其特征在于,所述不定长车牌字符识别算法通过循环神经网络实现。
7.根据权利要求3所述的方法,其特征在于,在确定与所述待识别移动对象相对应的特征信息之前,所述方法还包括:
基于所述图像,确定与所述待识别移动对象相对应的移动对象视觉信息。
8.根据权利要求7所述的方法,其特征在于,基于所述图像,确定与所述待识别移动对象相对应的移动对象视觉信息,包括:
利用深度学习算法对所述图像进行识别,确定与所述待识别移动对象相对应的图像全局高维特征。
9.根据权利要求7所述的方法,其特征在于,基于所述图像,确定与所述待识别移动对象相对应的移动对象视觉信息,包括:
根据深度学习算法对所述图像进行识别,确定所述待识别车辆的语义属性信息,所述语义属性信息包括以下至少之一:轮廓信息、颜色信息、品牌信息、车辆饰品标识信息、驾乘员信息。
10.根据权利要求3所述的方法,其特征在于,在确定与所述待识别移动对象相对应的特征信息之前,所述方法还包括:
基于所述图像,确定与所述待识别车辆相对应的车辆在预设道路上的时空约束信息。
11.根据权利要求10所述的方法,其特征在于,所述移动对象在预设空间上的时空约束信息包括以下至少之一:
在时间维度上,所述待识别车辆在预设道路上运行的概率信息;
在空间维度上,所述待识别车辆在预设道路上运行的概率信息。
12.根据权利要求10所述的方法,其特征在于,基于所述图像,确定与所述待识别车辆相对应的车辆在预设道路上的时空约束信息,包括:
获取路网信息和交通流量信息;
根据所述路网信息、交通流量信息和所述图像,确定所述待识别车辆在预设道路上的时空约束信息。
13.根据权利要求12所述的方法,其特征在于,根据所述路网信息、交通流量信息和所述图像,确定所述待识别车辆在预设道路上的时空约束信息,包括:
根据所述路网信息和交通流量信息,确定所述待识别车辆在预设道路上的运行时间概率分布;
基于所述图像,确定所述待识别车辆在预设道路上的实际运行时间;
根据所述实际运行时间和运行时间概率分布,确定所述待识别车辆在预设道路上的时空约束信息。
14.根据权利要求13所述的方法,其特征在于,根据所述路网信息和交通流量信息,确定所述待识别车辆在预设道路上的运行时间概率分布,包括:
根据所述路网信息和交通流量信息建立有向图,所述有向图用于标识所述路网信息与所述交通流量信息之间的映射关系;
基于所述有向图,确定所述待识别车辆在预设道路上的运行时间概率分布。
15.根据权利要求13所述的方法,其特征在于,根据所述实际运行时间和运行时间概率分布,确定所述待识别车辆在预设道路上的时空约束信息,包括:
基于所述运行时间概率分布,确定与所述实际运行时间相对应的运行概率信息;
根据所述运行概率信息确定所述待识别车辆在预设道路上的时空约束信息。
16.根据权利要求4所述的方法,其特征在于,基于所述图像,确定与所述待识别移动对象相对应的特征信息,包括:
基于所述图像,分别获取所述车牌信息、所述移动对象视觉信息以及移动对象在预设道路上的时空约束信息;
分别确定与所述车牌信息、所述移动对象视觉信息以及移动对象在预设道路上的时空约束信息相对应的权重信息;
基于与所述车牌信息、所述移动对象视觉信息以及移动对象在预设道路上的时空约束信息相对应的权重信息,对所述车牌信息、移动对象视觉信息和移动对象在预设道路上的时空约束信息进行加权求和,确定所述特征信息。
17.根据权利要求4所述的方法,其特征在于,基于所述图像,确定与所述待识别移动对象相对应的特征信息,包括:
基于所述图像,分别获取所述车牌信息、所述移动对象视觉信息以及移动对象在预设道路上的时空约束信息;
利用图神经网络对所述车牌信息、所述移动对象视觉信息以及移动对象在预设道路上的时空约束信息进行多模态特征的融合处理,获得与所述待识别车辆相对应的特征信息。
18.根据权利要求1-17中任意一项所述的方法,其特征在于,根据所述特征信息,确定所述待识别移动对象的身份信息,包括:
获取预设数据库,所述预设数据库中包括与多个参考移动对象相对应的多个参考图像以及与所述参考图像相对应的参考特征信息;
根据所述特征信息和所述参考特征信息,确定所述参考图像与所述图像之间的相似度信息;
根据所述相似度信息,确定所述待识别移动对象的身份信息。
19.根据权利要求18所述的方法,其特征在于,根据所述相似度信息,确定所述待识别移动对象的身份信息,包括:
在多个所述参考图像中,将所述相似度信息最大的参考图像确定为与所述图像相对应的目标参考图像;
将所述目标参考图像中的参考移动对象,确定为所述待识别移动对象的身份信息。
20.根据权利要求3-17中任意一项所述的方法,其特征在于,根据所述特征信息,确定所述待识别移动对象的身份信息,包括:
获取预设数据库,所述预设数据库中包括与多个参考车辆相对应的参考图像以及与所述参考图像相对应的参考特征信息,所述参考特征信息包括以下至少之一:参考车牌信息、参考车辆视觉信息、车辆在预设道路上的参考时空约束信息;
根据所述特征信息和所述参考特征信息,确定所述参考图像与所述图像之间的特征比较信息;
根据所述特征比较信息,确定所述待识别车辆的身份信息。
21.根据权利要求20所述的方法,其特征在于,所述特征比较信息包括以下至少之一:车牌汉明距离、车辆视觉信息的相似度、时间距离特征、运行周期特征、空间欧式距离、空间路网距离。
22.根据权利要求1-17中任意一项所述的方法,其特征在于,根据所述特征信息,确定所述待识别移动对象的身份信息,包括:
获取预设数据库,所述预设数据库中包括多个参考图像集群以及与所述参考图像集群相对应的参考特征信息,其中,所述多个参考图像集群与多个参考移动对象相对应;
利用聚类算法对所述所述特征信息和所述参考特征信息进行分析处理,确定所述图像相对应的目标参考图像集群;
将所述目标参考图像集群所对应的参考移动对象,确定所述待识别移动对象的身份信息。
23.根据权利要求1-17中任意一项所述的方法,其特征在于,获取与待识别移动对象相对应的图像,包括:
获取与多个移动对象相对应的多个第一图像,所述多个移动对象中包括有待识别移动对象;
对所述多个第一图像进行聚类处理,获得与待识别移动对象相对应的至少一个图像。
24.根据权利要求1-17中任意一项所述的方法,其特征在于,所述方法还包括:
获取所述待识别移动对象所在的环境信息;
根据所述环境信息,确定与所述待识别移动对象相对应的特征信息。
25.根据权利要求24所述的方法,其特征在于,根据所述环境信息,确定与所述待识别移动对象相对应的特征信息,包括:
获取与所述待识别移动对象相对应的备选特征信息,所述备选特征信息包括:移动对象视觉信息、移动对象在预设空间上的时空约束信息、以及与所述待识别车辆相对应的车牌信息;
获取用户基于所述环境信息、针对所述备选特征信息输入的执行操作;
根据所述执行操作,确定与所述待识别移动对象相对应的特征信息,所述特征信息为所述备选特征信息中的至少一部分。
26.一种移动对象识别装置,其特征在于,包括:
获取模块,用于获取与待识别移动对象相对应的图像;
确定模块,用于基于所述图像,确定与所述待识别移动对象相对应的特征信息,所述特征信息包括以下至少之一:移动对象视觉信息和移动对象在预设空间上的时空约束信息;
识别模块,用于根据所述特征信息,确定所述待识别移动对象的身份信息。
27.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1-25中任意一项所述的移动对象识别方法。
CN202010188791.0A 2020-03-17 2020-03-17 移动对象识别方法、装置及设备 Active CN113408326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010188791.0A CN113408326B (zh) 2020-03-17 2020-03-17 移动对象识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010188791.0A CN113408326B (zh) 2020-03-17 2020-03-17 移动对象识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113408326A true CN113408326A (zh) 2021-09-17
CN113408326B CN113408326B (zh) 2022-07-22

Family

ID=77677205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010188791.0A Active CN113408326B (zh) 2020-03-17 2020-03-17 移动对象识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113408326B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469299A (zh) * 2016-08-31 2017-03-01 北京邮电大学 一种车辆搜索方法及装置
CN107730889A (zh) * 2017-10-30 2018-02-23 昆明理工大学 一种基于交通视频的目标车辆检索方法
US20180268247A1 (en) * 2017-03-15 2018-09-20 Tata Consultancy Services Limited System and method for detecting change using ontology based saliency
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469299A (zh) * 2016-08-31 2017-03-01 北京邮电大学 一种车辆搜索方法及装置
US20180268247A1 (en) * 2017-03-15 2018-09-20 Tata Consultancy Services Limited System and method for detecting change using ontology based saliency
CN107730889A (zh) * 2017-10-30 2018-02-23 昆明理工大学 一种基于交通视频的目标车辆检索方法
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN109740653A (zh) * 2018-12-25 2019-05-10 北京航空航天大学 一种融合视觉表观与时空约束的车辆再识别方法

Also Published As

Publication number Publication date
CN113408326B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
Garg et al. Don't look back: Robustifying place categorization for viewpoint-and condition-invariant place recognition
Behrendt et al. A deep learning approach to traffic lights: Detection, tracking, and classification
Maddern et al. 1 year, 1000 km: The oxford robotcar dataset
CN106354816B (zh) 一种视频图像处理方法及装置
CN109241349B (zh) 一种基于深度学习的监控视频多目标分类检索方法及系统
US8620026B2 (en) Video-based detection of multiple object types under varying poses
CN110753892A (zh) 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
US20200302177A1 (en) Intelligent video analysis
Abdulghafoor et al. A novel real-time multiple objects detection and tracking framework for different challenges
JP2023176023A (ja) 分散型データ分析のためのシステムおよび方法
US20230045536A1 (en) System and method for audio tagging of an object of interest
EP3244344A1 (en) Ground object tracking system
Hasan Yusuf et al. Real-Time Car Parking Detection with Deep Learning in Different Lighting Scenarios
Špaňhel et al. Vehicle fine-grained recognition based on convolutional neural networks for real-world applications
KR20220068373A (ko) Cctv 환경에서의 보행자 추적 장치 및 방법
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
CN113408326B (zh) 移动对象识别方法、装置及设备
Fernandez et al. Semi-automatic multi-object video annotation based on tracking, prediction and semantic segmentation
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
Patel et al. Vehicle tracking and monitoring in surveillance video
Wu et al. Robust and low complexity obstacle detection and tracking
Muller-Schneiders et al. Performance evaluation of a real time traffic sign recognition system
Yang Novel traffic sensing using multi-camera car tracking and re-identification (MCCTRI)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant