CN111767940A - 目标物体识别方法、装置、设备和存储介质 - Google Patents
目标物体识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111767940A CN111767940A CN202010406727.5A CN202010406727A CN111767940A CN 111767940 A CN111767940 A CN 111767940A CN 202010406727 A CN202010406727 A CN 202010406727A CN 111767940 A CN111767940 A CN 111767940A
- Authority
- CN
- China
- Prior art keywords
- image
- view
- reference image
- recognized
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000000007 visual effect Effects 0.000 claims abstract description 189
- 238000012549 training Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及目标物体识别方法、装置、设备和存储介质,通过获取待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,再根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。在上述方法中,计算机设备充分利用了待识别图像的视角信息和参考图像的视角信息,达到待识别图像中目标物体的识别目的,该方法避免了由于相同目标物体在不同拍摄视角下的相似度小于不同目标物体在相同拍摄视角下的相似度,导致的简单根据目标物体之间的相似度确定待识别目标物体的识别结果容易出现误判的情况,提高了待识别目标物体的识别结果的准确度。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及了一种目标物体识别方法、装置、设备和存储介质。
背景技术
随着城市规模的扩大以及汽车保有量的提高,在公共安全和智能交通的领域中,存在对交通工具进行识别的场景。
在对交通工具进行识别时,常常会将交通工具的图片输入预设的识别模型中,通过预设的识别模型获取固定维度的特征向量,根据待识别交通工具图片和参考交通工具图片之间的相似度来判断待识别交通工具图片中的交通工具与参考交通工具图片中的交通工具是否属于同一交通工具,得到待识别交通工具图片的识别结果。
然而,采用上述方法对交通工具进行识别的识别结果不准确。
发明内容
基于此,有必要针对对交通工具进行识别的识别结果不准确的问题,提供了一种目标物体识别方法、装置、设备和存储介质。
第一方面,一种交通工具识别方法,该方法包括:
获取至少一张待识别图像的视角信息和参考图像的视角信息;
获取待识别图像的特征和参考图像的特征;
根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。
第二方面,一种目标物体识别装置,该装置包括:
第一获取模块,用于获取至少一张待识别图像的视角信息和参考图像的视角信息;
第二获取模块,用于获取待识别图像的特征和参考图像的特征;
识别模块,用于根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。
第三方面,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述目标物体识别方法的步骤。
第四方面,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述目标物体识别方法的步骤。
上述目标物体识别方法、装置、设备和存储介质,通过先获取待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,进而根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。在上述识别方法中,计算机设备充分利用了待识别图像的视角信息和参考图像的视角信息,达到待识别图像中目标物体的识别目的,该方法避免了由于相同目标物体在不同拍摄视角下的相似度小于不同目标物体在相同拍摄视角下的相似度,导致的简单根据目标物体之间的相似度确定待识别目标物体的识别结果容易出现误判的情况,提高了待识别目标物体的识别结果的准确度。
附图说明
图1为一个实施例提供的目标物体识别方法的应用环境的示意图;
图2为一个实施例提供的目标物体识别方法的流程示意图;
图3为图2实施例S103的一种实现方式的流程示意图;
图4为图3实施例S201的一种实现方式的流程示意图;
图5为图4实施例S301的一种实现方式的流程示意图;
图6为图3实施例S202的一种实现方式的流程示意图;
图7为一个实施例中提供的图像识别网络的结构示意图;
图8为另一个实施例中提供的图像识别网络的结构示意图;
图9为图2实施例S101的一种实现方式的流程示意图;
图10为另一个实施例中提供的图像识别网络的结构示意图;
图11为图2实施例S102的一种实现方式的流程示意图;
图12为一个实施例提供的一种训练方法的流程示意图;
图13为图12实施例S802的一种实现方式的流程示意图;
图14为图12实施例S802的另一种实现方式的流程示意图;
图15为一个实施例提供的一种训练网络的结构示意图;
图16为一个实施例提供的目标物体识别装置的结构示意图;
图17为一个实施例提供的计算机设备的内部结构图。
具体实施方式
本申请提供的交通工具识别方法、装置、设备和存储介质,旨在解决传统的方法对交通工具进行识别的识别结果不准确的问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本实施例提供的目标物体识别方法,可以适用于如图1所示的应用环境中。其中,计算机设备102通过有线或无线网络与图像采集设备104进行通信。计算机设备102用于对图像采集设备104采集到的图像进行目标物体识别和处理。计算机设备102可以但不限于为智能手机、平板电脑、笔记本电脑、台式电脑或个人数字助理等具有数据处理功能的电子设备,本实施例对计算机设备102的具体形式不做限定,图像采集设备104可以但不限于摄像头、相机和带拍摄功能的电子设备。需要说明的是,图像采集设备104和计算机设备102可以是集成在一起的同一个电子设备,图1所示的应用环境仅是图像采集设备104和计算机设备102连接关系的一种示例,本申请实施例对图像采集设备104和计算机设备102是否为集成在一起的同一个电子设备并不做限定。当图像采集设备104和计算机设备102集成在一起共同组成一个电子设备时,该电子设备可以被安装在任意载体上,例如,车辆。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
图2为一个实施例提供的目标物体识别方法的流程示意图,该方法应用于如图1中所示的计算机设备。本实施例涉及的是计算机设备对图像采集设备采集到的待识别图像进行目标物体识别的具体过程,上述方法包括以下步骤:
S101、获取至少一张待识别图像的视角信息和参考图像的视角信息。
其中,待识别图像中可以包括任何类型的目标物体,例如,待识别图像中可以包含人物、景物、动物、交通工具等,待识别图像中包含目标物体的类型可以根据实际用户识别需求确定,本实施例对此不做限定。另外,待识别图像中可以包括至少一个相同类型的目标物体,也可以包括至少一个不同类型的目标物体,对此本实施例不做限定。在一种应用中,若待识别图像中包括交通工具时,交通工具可以包括但不限于车辆、轮船、飞行器、自行车和电动车等,且待识别图像可以包括任何一种拍摄角度的交通工具。在实际应用中,待识别图像可以通过图1中所示的图像采集设备采集得到,其中的图像采集设备可以是相机、摄像头或带拍摄功能的电子设备;可选的,待识别图像也可以通过图1中的计算机设备从数据库中或从网上下载得到,本实施例对获取待识别图像的方式不做限定。需要说明的是,待识别图像可以为多张图像,例如,当图像采集设备是摄像头时,其采集的可以是视频数据,则可以通过在视频数据中选取若干帧图像作为待识别图像。
参考图像中包括与需要被识别的目标物体相同类型的物体,例如,若需要被识别的目标物体为交通工具时,参考图像中包括交通工具,若需要被识别的目标物体为人脸时,参考图像中包括人脸。计算机设备可以预先设定参考图像,具体的可以通过接收用户输入的指令确定参考图像,也可以根据预设条件自动确定参考图像,本申请实施例对此不做限制。
待识别图像的视角信息用于表示待识别图像的拍摄视角,而该拍摄视角可以根据目标物体的各部分进行确定,例如若目标物体包括正前、左前、右前、左侧、正后、右侧、左后或右后等各部分,相应地,该拍摄视角具体指示待识别图像中目标物体的正前、左前、右前、左侧、正后、右侧、左后或右后等方位,当然本申请还可以将目标物体划分为其他部分,从而拍摄视角可以不限于左前、右前、左侧、正后、右侧、左后或右后等方位,还可以是其他方位,本申请实施例对此不做限制。参考图像的视角信息用于表示参考图像的拍摄视角,而该拍摄视角可以具体指示参考图像中物体的正前、左前、右前、左侧、正后、右侧、左后或右后等方位,本申请实施例对此不做限制。需要说明的是,待识别图像的视角信息和参考图像的视角信息可以相同,也可以不相同。
本实施例中,计算机设备可以先通过图像采集设备得到待识别图像,再进一步的通过分析该识别图像中目标物体的拍摄视角得到待识别图像的视角信息;同时,计算机设备可以通过分析预先确定的参考图像中物体的拍摄视角,得到参考图像的视角信息。需要说明的是,当计算机设备识别的是多张待识别图像,且该多张待识别图像中均包含一种类型的目标物体时,对应的参考图像可以是一张参考图像;当计算机设备识别的是多张待识别图像,且该多张待识别图像中包含多种类型的目标物体时,参考图像可以是分别与多张待识别图像对应的多张图像。
S102、获取待识别图像的特征和参考图像的特征。
当计算机设备获取到待识别图像和参考图像时,可以进一步对待识别图像和参考图像进行特征提取操作,从而得到待识别图像的特征和参考图像的特征,以便之后分析和使用。其中,计算机设备获取待识别图像的特征和参考图像的特征的方式,可以采用现有的用于提取特征的神经网络实现同时或分别的对待识别图像和参考图像进行特征提取,也可以通过其它途径获取待识别图像的特征和参考图像的特征,对此本实施例不做限定。
S103、根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。
当计算机设备获取到待识别图像的视角信息和参考图像的视角信息时,即可确定待识别图像中目标物体的拍摄视角与参考图像中物体的拍摄视角是否相同。若相同,计算机设备即可先确定出拍摄视角相同的待识别图像的特征,再进一步的基于相同拍摄视角应用环境下的图像识别方法,通过比较分析拍摄视角相同的待识别图像的特征和对应的参考图像的特征,以确定待识别图像和对应的参考图像中是否包含同一目标物体。若不相同,计算机设备即可先确定出拍摄视角相异的待识别图像的特征,再进一步的基于相异拍摄视角应用环境下的图像识别方法,通过比较分析拍摄视角相异的待识别图像的特征和对应的参考图像的特征,以确定待识别图像和对应的参考图像中是否包含同一目标物体。上述基于相同拍摄视角应用环境下的图像识别方法用于根据拍摄视角相同的待识别图像的特征和对应的参考图像的特征,对待识别图像中的目标物体进行识别,得到识别结果;上述基于相异拍摄视角应用环境下的图像识别方法用于根据相异拍摄视角的待识别图像的特征和对应的参考图像的特征,对待识别图像中的目标物体进行识别,得到识别结果。
上述实施例提供的目标物体识别方法,通过先获取待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,进而根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。在上述识别方法中,计算机设备充分利用了待识别图像的视角信息和参考图像的视角信息,达到待识别图像中目标物体的识别目的,该方法避免了由于相同目标物体在不同拍摄视角下的相似度小于不同目标物体在相同拍摄视角下的相似度,导致的简单根据目标物体之间的相似度确定待识别目标物体的识别结果容易出现误判的情况,提高了待识别目标物体的识别结果的准确度。
图3为图2实施例S103的一种实现方式的流程示意图,如图3所示,上述S103“根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体”包括:
S201、根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像之间的视角特征距离。
其中,视角特征距离表示待识别图像的特征向量和对应的参考图像的特征向量之间的距离。当计算机设备获取到待识别图像的视角信息和参考图像的视角信息时,即可确定待识别图像中的目标物体的拍摄视角与参考图像中物体的拍摄视角是否相同。若相同,计算机设备即可先根据待识别图像的特征确定出拍摄视角相同的待识别图像的特征向量,以及根据对应的参考图像的特征确定出对应参考图像的特征向量,再进一步的采用相应的特征距离计算方法,计算得到拍摄视角相同的待识别图像的特征向量与对应的参考图像的特征向量之间的距离(例如欧氏距离),并将该距离作为拍摄视角相同的待识别图像和对应的参考图像之间的视角特征距离,以便之后根据该视角特征距离确定拍摄视角相同的待识别图像与参考图像中是否包含同一目标物体。类似的,若不相同,计算机设备也可以先根据待识别图像的特征确定出拍摄视角相异的待识别图像的特征向量,以及根据对应的参考图像的特征确定出对应的参考图像的特征向量,再进一步的采用相应的特征距离计算方法,计算得到拍摄视角相异的待识别图像的特征向量与对应的参考图像的特征向量之间的距离,并将该距离作为拍摄视角相异的待识别图像和对应的参考图像之间的视角特征距离,以便之后根据该视角特征距离确定拍摄视角相异的待识别图像与参考图像中是否包含同一目标物体。上述的两种特征距离计算方法可以采用现有的任意距离计算方法,且两种特征距离计算方法可以相同,也可以不相同,对此本实施例不做限定。
S202、根据待识别图像和对应的参考图像之间的视角特征距离,确定待识别图像和对应的参考图像中是否包含同一目标物体。
当计算机设备基于前述S201的步骤,得到待识别图像(拍摄视角相同的待识别图像或拍摄视角相异的待识别图像)和对应的参考图像之间的视角特征距离时,可以进一步的通过分析该视角特征距离的大小,确定待识别图像和对应的参考图像中是否包含同一目标物体。例如,若视角特征距离的大小能够满足预设的识别精度,则计算机设备确定待识别图像和对应的参考图像中包含同一目标物体;若视角特征距离的大小未能满足预设的识别精度,则计算机设备确定待识别图像和对应的参考图像中未包含同一目标物体。
在实际应用中,当计算机设备获取到的多张待识别图像的视角信息与对应的参考图像的视角信息均相同时,上述视角特征距离也即同视角特征距离;当计算机设备获取到的多张待识别图像的视角信息与对应的参考图像的视角信息均不相同时,上述视角特征距离也即异视角特征距离。当计算机设备获取到的多张待识别图像中的部分待识别图像的视角信息与对应的参考图像的视角信息相同,部分待识别图像的视角信息与对应的参考图像的视角信息不相同时,上述视角特征距离包括同视角特征距离和异视角特征距离。
在上述应用场景下,本申请还提供了一种S201的具体实现方式,如图4所示,上述S201“根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像之间的视角特征距离”,包括:
S301、根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,得到待识别图像的同视角特征和/或异视角特征。
当计算机设备获取到多张待识别图像的视角信息和对应的参考图像的视角信息时,比较各待识别图像的视角信息和对应的参考图像的视角信息是否相同,若各待识别图像的视角信息与对应的参考图像的视角信息都相同时,计算机设备采用相应的特征提取方法提取各待识别图像中的特征,并将提取出的各特征作为各待识别图像对应的同视角特征。若各待识别图像的视角信息与对应的参考图像的视角信息均不相同时,计算机设备采用相应的特征提取方法提取各待识别图像中的特征,并将提取出的各特征作为各待识别图像对应的异视角特征。若多张待识别图像中有部分图像的视角信息与对应的参考图像的视角信息相同,而有部分图像的视角信息与对应的参考图像的视角信息不相同时,计算机设备采用相应的特征提取方法提取部分待识别图像中的特征作为部分待识别图像对应的同视角特征,以及采用相应的特征提取方法提取另一部分待识别图像中的特征作为另一部分待识别图像对应的异视角特征。
S302、计算待识别图像的同视角特征和对应的参考图像的特征之间的距离,得到待识别图像和对应的参考图像之间的同视角特征距离。
本实施例中,计算机设备在得到待识别图像对应的同视角特征时,可以进一步的采用相应的距离计算方法计算待识别图像的同视角特征与对应的参考图像的特征之间的距离(例如欧式距离),并将计算得到的距离作为待识别图像和对应的参考图像之间的同视角特征距离。
S303、和/或,计算待识别图像的异视角特征和对应的参考图像的特征之间的距离,得到待识别图像和对应的参考图像之间的异视角特征距离。
本实施例中,计算机设备在得到待识别图像对应的异视角特征时,可以进一步的采用相应的距离计算方法计算待识别图像的异视角特征与对应的参考图像的特征之间的距离(例如欧式距离),并将计算得到的距离作为待识别图像和对应的参考图像之间的异视角特征距离。可以理解的是,当计算机设备同时得到待识别图像对应的异视角特征和同视角特征时,可以分别采用相应的距离计算方法计算异视角特征与对应的参考图像的特征之间的距离,以及同视角特征与对应的参考图像的特征之间的距离,同时得到异视角特征距离和同视角特征距离。
可选的,上述S301“根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,得到待识别图像的同视角特征和/或异视角特征”的一种实现方式,如图5所示,包括:
S401、根据待识别图像的视角信息和对应的参考图像的视角信息,判断待识别图像和对应的参考图像是否属于相同视角图像,若是,则执行步骤S402,若否,则执行步骤S403。
本实施例涉及的是计算机设备判断待识别图像的视角信息和对应的参考图像的视角信息是否相同的步骤,若相同,则说明待识别图像中的目标物体的拍摄视角和对应的参考图像中物体的拍摄视角相同,例如,待识别图像中的车辆是从正面拍摄的,对应的参考图像中的车辆也是从正面拍摄的。若不相同,则说明待识别图像中的目标物体的拍摄视角和对应的参考图像中物体的拍摄视角相异,例如,待识别图像中的车辆是从正面拍摄的,对应的参考图像中的车辆也是从侧面拍摄的。计算机设备会根据不同的判断结果执行不同的步骤。
S402、从待识别图像的特征中提取出待识别图像的同视角特征。
本实施例涉及的是计算机设备在判断待识别图像的视角信息和对应的参考图像的视角信息相同情况下的具体操作,具体为计算机设备从一张或者多张待识别图像的特征中提取出属于拍摄视角相同的待识别图像的特征,直接作为待识别图像的同视角特征,以便之后使用。
S403、从待识别图像的特征中提取出待识别图像的异视角特征。
本实施例涉及的是计算机设备在判断待识别图像的视角信息和对应的参考图像的视角信息相异情况下的具体操作,具体为计算机设备从一张或者多张待识别图像的特征中提取出属于拍摄视角相异的待识别图像的特征,直接作为待识别图像的异视角特征,以便之后使用。
当上述应用场景是计算机设备计算得到的视角特征距离同时包括同视角特征距离和异视角特征距离时,本申请还提供了一种S202的具体实现方式,如图6所示,上述S202“根据待识别图像和对应的参考图像之间的视角特征距离,确定待识别图像和对应的参考图像中是否包含同一目标物体”,包括:
S501、将同视角特征距离和异视角特征距离进行融合,得到待识别图像和对应的参考图像之间的融合视角特征距离。
当计算机设备基于前述步骤得到部分待识别图像的同视角特征距离和部分待识别图像的异视角特征距离时,可以进一步的采用距离融合方法,例如,将代表距离的数值进行加权累加和等运算,得到多张待识别图像和对应的参考图像之间的融合视角特征距离。
S502、根据融合视角特征距离,确定待识别图像和对应的参考图像中是否包含同一目标物体。
当计算机设备计算得到多张待识别图像和对应的参考图像之间的融合视角特征距离时,即可根据该融合视角特征距离确定出多张待识别图像中哪些待识别图像中包含与对应的参考图像中相同的目标物体,哪些待识别图像中未包含与对应的参考图像中相同的目标物体。
上述实施例提供的目标识别方式,通过分别计算同视角特征距离和异视角特征距离,以确定待识别图像中是否包含与参考图像中同一目标物体。这种方法在根据特征距离确定识别结果的基础上,还充分利用了待识别图像的视角信息和参考图像的视角信息,并根据相同的视角信息选择对应的识别方法,根据不同的视角信息选择对应的识别方法,细化了识别方式,进而极大的提高了计算机设备对待识别图像中目标物体的识别准确度。
在实际应用中,计算机设备通常采用已训练好的图像识别网络进行目标物体的识别,相应的,本申请也提供了一种已训练好的图像识别网络,计算机设备使用该图像识别网络,根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。下面实施例详细说明计算机设备利用本申请提供的图像识别网络如何进行目标物体识别,即该图像识别网络可以应用于上述任一实施例所述的目标物体的识别方法。
可选的,上述S103“根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体”,具体包括:将待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,输入至预设的图像识别网络进行目标物体的识别,确定待识别图像和对应的参考图像中是否包含同一目标物。
其中,上述图像识别网络包括同视角识别网络和异视角识别网络,如图7所示,同视角识别网络和异视角识别网络并联连接,同视角识别网络和异视角识别网络的参数不共享。
上述的同视角识别网络用于根据待识别图像的视角信息和参考图像的视角信息,从待识别图像的特征中提取出待识别图像的同视角特征;再根据待识别图像的同视角特征和对应的参考图像的特征,计算得到待识别图像和对应的参考图像之间的同视角特征距离;当同视角特征距离小于第一预设距离时,确定待识别图像和对应的参考图像中包含同一目标物体(图中的第一识别结果),当同视角特征距离大于或等于第一预设距离时,确定待识别图像和对应的参考图像中未包含同一目标物体(图中的第一识别结果)。第一预设距离的大小可以根据实际识别精度由计算机设备预先确定,对此本实施例不做限定。说明的是,本实施例中涉及到的同视角特征、同视角特征距离等概念在前述说明中已解释说明,详细内容请参见前述说明,在此不重复累赘说明。
上述的异视角识别网络用于根据待识别图像的视角信息和参考图像的视角信息,从待识别图像的特征中提取出待识别图像的异视角特征;再根据待识别图像的异视角特征和对应的参考图像的特征,计算得到待识别图像和对应的参考图像之间的异视角特征距离;当待识别图像的异视角特征距离小于第二预设距离时,确定待识别图像和对应的参考图像中包含同一目标物体(图中的第二识别结果),当异视角特征距离大于或等于第二预设距离时,确定待识别图像和对应的参考图像中未包含同一目标物体(图中的第二识别结果)。第二预设距离的大小可以根据实际识别精度由计算机设备预先确定,对此本实施例不做限定。第二预设距离可以和上述第一预设距离相等,也可以和上述第一预设距离不相等。
上述同视角识别网络和异视角识别网络均可以是一种神经网络或其它类型的机器学习网络,具体的,可以是一种多层的卷积神经网络或深度卷积神经网络等,对此本实施例不做限定。
在本实施例中,当计算机设备获取到待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征时,可以将这些数据或信息输入至预设的图像识别网络中,该图像识别网络中的同视角识别网络则根据待识别图像的视角信息和参考图像的视角信息,从待识别图像的特征中提取出待识别图像的同视角特征,以及对应参考图像的特征,进而根据待识别图像的同视角特征和对应的参考图像的特征,计算得到所述待识别图像和对应的参考图像之间的同视角特征距离,然后根据计算得到的同视角特征距离确定所述待识别图像和对应的所述参考图像中未包含同一目标物体;相应的,该图像识别网络中的异视角识别网络根据待识别图像的视角信息和参考图像的视角信息,从待识别图像的特征中提取出待识别图像的异视角特征,以及对应参考图像的特征,进而根据待识别图像的异视角特征和对应的参考图像的特征,计算得到待识别图像和对应的参考图像之间的异视角特征距离,然后根据计算得到的异视角特征距离确定待识别图像和对应的参考图像中未包含同一目标物体。
在一种应用场景中,计算机设备在获取待识别图像的视角信息和参考图像的视角信息时,也可以通过已训练好的视觉判别网络获取。在上述应用场景下,本申请提供了另一种图像识别网络的结构(如图8所示),以及应用于该网络结构的上述S101的具体实现方式,例如,上述S101“获取至少一张待识别图像的视角信息和参考图像的视角信息”,如图9所示,包括:
S601、将待识别图像输入至预设的视觉判别网络,得到待识别图像的视角信息。
其中,视觉判别网络用于判别输入图像的拍摄角度,为已训练好的神经网络或其它类型的网络。当计算机设备获取到待识别图像时,计算机设备将待识别图像输入至已训练好的视觉判别网络,判断该待识别图像中目标物体的拍摄角度,以确定待识别图像的视角信息。
S602、将参考图像输入至视觉判别网络,得到参考图像的视角信息。
当计算机设备获取到参考图像时,计算机设备将参考图像输入至已训练好的视觉判别网络,判断该参考图像中物体的拍摄角度,以确定参考图像的视角信息。本步骤中的视觉判别网络与S601步骤中的视觉判别网络相同。可以理解的是,计算机设备可以同时将待识别图像和参考图像输入到已训练好的视觉判别网络,分别得到待识别图像的视角信息和参考图像的视角信息。当上述视觉判别网络在得到待识别图像的视角信息和参考图像的视角信息时,也可以进一步的判断待识别图像的视角信息和参考图像的视角信息是否相同,从而得到判别结果,并将该判断结果输入到同视角判别网络,以便同视角判别网络从待识别图像的特征中提取同视角的待识别图像的特征,以及将该判断结果输入到异视角判别网络,以便异视角判别网络从待识别的特征中提取异视角的待识别图像的特征。
在一种应用场景中,计算机设备在获取待识别图像的特征和参考图像的特征时,也可以通过已训练好的图像特征提取网络获取。在上述应用场景下,本申请提供了另一种图像识别网络的结构(如图10所示),以及应用于该网络结构的上述S102的具体实现方式,例如,上述S102“获取待识别图像的特征和参考图像的特征”,如图11所示,包括:
S701、使用预设的图像特征提取网络对待识别图像进行浅层特征提取,得到待识别图像的特征。
S702、使用图像特征提取网络对参考图像进行浅层特征提取,得到参考图像的特征。
其中,预设的图像特征提取网络用于浅层特征提取,为已训练好的神经网络或其它类型的网络。当计算机设备获取到待识别图像和参考图像时,计算机设备将待识别图像和参考图像输入至已训练好的图像特征提取网络进行浅层特征提取,分别得到待识别图像和参考图像的特征。
需要说明的是,上述图10所示的图像识别网络中的视觉判别网络和图像特征提取网络并联连接,同视角识别网络和异视角识别网络并联连接,且视觉判别网络和图像特征提取网络的输出端均同视角识别网络和异视角识别网络的输入端连接。特别说明的是,视觉判别网络输出的结果不同,对应的同视角判别网络和异视角判别网络的操作也不相同。例如,当视觉判别网络输出的是待识别图像的视角信息和参考图像的视角信息时,计算机设备将待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征分别输入至同视角识别网络和异视角识别网络的输入端,此时同视角识别网络需要先根据待识别图像的视角信息和参考图像的视角信息判断是否属于同一视角图像。若是,则进一步的从待识别图像的特征中提取出属于相同视角的待识别图像的特征,再进一步的对相同视角的待识别图像的特征进行特征提取,得到待识别图像的同视角特征。同理,异视角识别网络也需要先根据待识别图像的视角信息和参考图像的视角信息判断是否属于同一视角图像,若不相同,则进一步的从待识别图像的特征中提取出不属于相同视角的待识别图像的特征,再进一步的对不相同视角的待识别图像的特征进行特征提取,得到待识别图像的异视角特征。再例如,当视觉判别网络输出的是判别结果(前述有说明)时,计算机设备可以进一步的根据判别结果将相同视角的待识别图像的特征和对应参考图像的特征输入至同视角识别网络,以使同视角识别网络对相同视角的待识别图像的特征进一步的进行特征提取,得到待识别图像的同视角特征。同理,计算机设备还可以进一步的根据判别结果将不相同视角的待识别图像的特征和对应参考图像的特征输入至异视角识别网络,以使异视角识别网络对不相同视角的待识别图像的特征进一步的进行特征提取,得到待识别图像的异视角特征。至于上述图像识别网络中各网络的其他功能说明请参见前述实施例的具体陈述,在此不重复累赘说明。
基于上述提供的图像识别网络的网络架构,本申请还提供了三种训练图像识别网络的方法,下面实施例详细说明这三种训练方法。
第一种训练方法,如图12所示,包括:
S801、获取样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征。
本实施例涉及计算机设备具体获取样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征的方式,可选的,本申请提供了一种获取上述信息的方法,如图13所示,该方法具体包括:
S8011、获取样本图像和样本参考图像。
S8012、将样本图像和样本参考图像输入至已训练好的视觉判别网络,得到样本图像的视角信息和所述样本参考图像的视角信息。
S8013、将样本图像和样本参考图像输入至已训练好的特征提取网络,得到样本图像的特征和样本参考图像的特征。
上述方法的具体说明在前述实施例中均有详细解释说明,具体内容可以参见前述实施例的内容,在此不重复累赘说明。
S802、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,分别输入至初始的同视角识别网络和初始的异视角识别网络,得到目标损失值。
其中,初始的同视角识别网络为待训练的识别网络,初始的异视角识别网络为待训练的识别网络。当初始的同视角识别网络根据计算机设备输入的样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征得到识别结果,以及初始的异视角识别网络根据计算机设备输入的样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征得到识别结果时,计算机设备可以进一步的根据两个识别结果,得到目标损失值,以便之后训练初始的异视角识别网络和同视角识别网络的参数时使用。
S803、根据目标损失值同时调整初始的同视角识别网络的参数和异视角识别网络的参数,直到目标损失值满足第一预设训练条件为止,得到训练好的同视角识别网络和异视角识别网络。
其中,第一预设训练条件可以根据实际训练需求确定。当计算机设备得到目标损失值时,即可通过判断目标损失值的大小是否满足第一预设训练条件,来同时调整初始的同视角识别网络的参数和异视角识别网络的参数,调整完毕即完成训练,此时得到的同视角识别网络的参数和异视角识别网络的参数为最终训练好的同视角识别网络的参数和异视角识别网络的参数。训练好的同视角识别网络的参数和异视角识别网络的参数不共享。
进一步的,上述S802的一种具体实现方式,即计算机设备获取目标损失值的一种具体实现方式,如图13所示,上述S802“将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,分别输入至初始的同视角识别网络和初始的异视角识别网络,得到目标损失值”包括:
S901、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,输入至初始的同视角识别网络,计算得到样本图像和对应的参考图像之间的同视角特征距离。
S902、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,输入至初始的异视角识别网络,计算得到样本图像和对应的参考图像之间的异视角特征距离。
S903、将同视角特征距离和异视角特征距离进行融合,得到融合视角特征距离。
S904、将同视角特征距离、异视角特征距离和融合视角特征距离进行加权累加运算,计算得到目标损失值。
本实施例中利用上述方法计算得到的同视角特征距离、异视角特征距离、融合视角特征距离均可以具体采用矩阵表示,例如,根据S904的步骤得到的目标损失值用L可以用下面关系式(1)表示:
L=a*Ls+b*Ld+c*Lcross (1);
上述Ls表示同视角特征距离的矩阵,Ld表示异视角特征距离的矩阵,Lcross表示融合视角特征距离的矩阵,a、b、c分别为权重系数。
上述这种训练方法,对同视角特征距离的矩阵、异视角特征距离的矩阵、融合视角特征距离的矩阵分别施加度量学习,来训练同视角识别网络和异视角识别网络,使同视角识别网络可以充分利用同视角特征进行识别训练,异视角识别网络可以充分利用异视角特征进行识别训练,这样针对性的训练不仅可以减少训练识别网络的难度,还可以提高训练后同视角识别网络和异视角识别网络的识别精度。
第二种训练方法,具体方法可参见前述图12实施例所述的训练方法,只是其中的步骤S802与前述的图13实施例所述的实现方式不同,即计算机设备获取目标损失值的方式不同,如图14所示,上述S802“将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,分别输入至初始的同视角识别网络和初始的异视角识别网络,得到目标损失值”的另一种实现方式包括:
S1001、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,输入至初始的同视角识别网络,计算得到样本图像和对应的参考图像之间的同视角特征距离。
S1002、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,输入至初始的异视角识别网络,计算得到样本图像和对应的参考图像之间的异视角特征距离。
S1003、将同视角特征距离和异视角特征距离进行融合,得到目标损失值。
由上述这种方法得到的目标损失值L1可以使用如下关系式(2)表示:
L1=d*Ls+e*Ld (2);
上述Ls表示同视角特征距离的矩阵,Ld表示异视角特征距离的矩阵,Lcross表示融合视角特征距离的矩阵,d和e分别为权重系数。
第三种训练方法,如图15所示,包括:
S2001、获取样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征。
S2002、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,输入至初始的同视角识别网络,得到同视角损失值;并根据同视角损失值调整初始的同视角识别网络的参数,直到同视角损失值满足第二预设训练条件为止,得到训练好的同视角识别网络。
S2003、将样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,输入至初始的异视角识别网络,得到异视角损失值;并根据异视角损失值调整初始的异视角识别网络的参数,直到异视角损失值满足第三预设训练条件为止,得到训练好的异视角识别网络。
S2004、将训练好的同视角识别网络和训练好的异视角识别网络进行并联连接,得到图像识别网络。
上述第三种训练方法是计算机设备分别训练同视角识别网络和异视角识别网络,且在训练同视角识别网络时使用由同视角识别网络的输出结果确定的同视角损失值,对初始的同视角识别网络的参数进行调整;在训练异视角识别网络时使用由异视角识别网络的输出结果确定的异视角损失值,对初始的同视角识别网络的参数进行调整。训练同视角识别网络和异视角识别网络时可以依次进行,也可以同步进行,但是各自训练过程互不相关。这种训练方法简单快捷,实用性较强。
基于上述实施例所述的训练方法,如图15所示,本申请还提供了一种训练网络,该训练网络包括已训练好的视觉判别网络、已训练好的图像特征提取网络、初始的同视角识网络、初始的异视角识别网络。已训练好的视觉判别网络和已训练好的图像特征提取网络并联连接,且已训练好的视觉判别网络和已训练好的图像特征提取网络的输出端与初始的同视角识网络和初始的异视角识别网络的输入端连接,且初始的同视角识网络和初始的异视角识别网络并联连接。利用上述训练网络对初始的同视角识网络和初始的异视角识别网络进行训练的过程可具体参见前述训练方法的说明,在此不重复累赘说明。需要说明的是,该训练网络可以应用上述任一种训练方法。
应该理解的是,虽然图2-15的流程图中的各个步骤按照箭头的指示,依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-15中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图16为一个实施例中提供的目标物体识别装置的结构示意图,如图16所示,该装置包括:第一获取模块11、第二获取模块12和识别模块13,其中:
第一获取模块11,用于获取至少一张待识别图像的视角信息和参考图像的视角信息;
第二获取模块12,用于获取待识别图像的特征和参考图像的特征;
识别模块13,用于根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。
关于一种目标物体识别装置的具体限定可以参见上文中对目标物体识别方法的限定,在此不再赘述。上述目标物体识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端设备,其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标物体识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取至少一张待识别图像的视角信息和参考图像的视角信息;
获取待识别图像的特征和参考图像的特征;
根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。本实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取至少一张待识别图像的视角信息和参考图像的视角信息;
获取待识别图像的特征和参考图像的特征;
根据待识别图像的视角信息、参考图像的视角信息、待识别图像的特征和参考图像的特征,确定待识别图像和对应的参考图像中是否包含同一目标物体。本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种目标物体识别方法,其特征在于,所述方法包括:
获取至少一张待识别图像的视角信息和参考图像的视角信息;
获取所述待识别图像的特征和所述参考图像的特征;
根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体。
2.根据权利要求1所述方法,其特征在于,所述根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体,包括:
根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,确定所述待识别图像和对应的所述参考图像之间的视角特征距离;所述视角特征距离表示所述待识别图像的特征向量和对应的所述参考图像的特征向量之间的距离;
根据所述待识别图像和对应的所述参考图像之间的视角特征距离,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体。
3.根据权利要求2所述方法,其特征在于,所述视角特征距离包括同视角特征距离和/或异视角特征距离,所述根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,确定所述待识别图像和对应的所述参考图像之间的视角特征距离,包括:
根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,得到所述待识别图像的同视角特征和/或异视角特征;
计算所述待识别图像的同视角特征和对应的所述参考图像的特征之间的距离,得到所述待识别图像和对应的所述参考图像之间的同视角特征距离;
和/或,计算所述待识别图像的异视角特征和对应的所述参考图像的特征之间的距离,得到所述待识别图像和对应的所述参考图像之间的异视角特征距离。
4.根据权利要求3所述方法,其特征在于,所述根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,得到所述待识别图像的同视角特征和/或异视角特征,包括:
根据所述待识别图像的视角信息和对应的所述参考图像的视角信息,判断所述待识别图像和对应的所述参考图像是否属于相同视角图像;
当所述待识别图像和对应的所述参考图像属于相同视角图像时,从所述待识别图像的特征中提取出所述待识别图像的同视角特征;
当所述待识别图像和对应的所述参考图像属于不同视角图像时,从所述待识别图像的特征中提取出所述待识别图像的异视角特征。
5.根据权利要求3或4所述方法,其特征在于,当所述视角特征距离包括所述同视角特征距离和所述异视角特征距离时,所述根据所述待识别图像和对应的所述参考图像之间的视角特征距离,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体,包括:
将所述同视角特征距离和所述异视角特征距离进行融合,得到所述待识别图像和对应的所述参考图像之间的融合视角特征距离;
根据所述融合视角特征距离,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体。
6.根据权利要求1所述方法,其特征在于,所述根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体,包括:
将所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,输入至预设的图像识别网络进行目标物体的识别,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物;
其中,所述图像识别网络包括同视角识别网络和异视角识别网络,所述同视角识别网络和所述异视角识别网络并联连接,所述同视角识别网络和所述异视角识别网络的参数不共享。
7.根据权利要求6所述方法,其特征在于,所述同视角识别网络用于:
从所述待识别图像的特征中提取出所述待识别图像的同视角特征;
根据所述待识别图像的同视角特征和对应的所述参考图像的特征,计算得到所述待识别图像和对应的所述参考图像之间的同视角特征距离;
当所述同视角特征距离小于第一预设距离时,确定所述待识别图像和对应的所述参考图像中包含同一目标物体,当所述同视角特征距离大于或等于所述第一预设距离时,确定所述待识别图像和对应的所述参考图像中未包含同一目标物体。
8.根据权利要求6所述方法,其特征在于,所述异视角识别网络用于:
从所述待识别图像的特征中提取出所述待识别图像的异视角特征;
根据所述待识别图像的异视角特征和对应的所述参考图像的特征,计算得到所述待识别图像和对应的所述参考图像之间的异视角特征距离;
当所述待识别图像的异视角特征距离小于第二预设距离时,确定所述待识别图像和对应的所述参考图像中包含同一目标物体,当所述异视角特征距离大于或等于所述第二预设距离时,确定所述待识别图像和对应的所述参考图像中未包含同一目标物体。
9.根据权利要求1所述方法,其特征在于,所述获取至少一张待识别图像的视角信息和参考图像的视角信息,包括:
将所述待识别图像输入至预设的视觉判别网络,得到所述待识别图像的视角信息;所述视觉判别网络用于判别输入图像的拍摄角度;
将所述参考图像输入至所述视觉判别网络,得到所述参考图像的视角信息。
10.根据权利要求1所述方法,其特征在于,所述获取所述待识别图像的特征和所述参考图像的特征,包括:
使用预设的图像特征提取网络对所述待识别图像进行浅层特征提取,得到所述待识别图像的特征;
使用所述图像特征提取网络对所述参考图像进行浅层特征提取,得到所述参考图像的特征。
11.根据权利要求6所述方法,其特征在于,训练所述图像识别网络的方法包括:
获取样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征;
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,分别输入至初始的同视角识别网络和初始的异视角识别网络,得到目标损失值;
根据所述目标损失值同时调整所述初始的同视角识别网络的参数和所述异视角识别网络的参数,直到所述目标损失值满足第一预设训练条件为止,得到训练好的同视角识别网络和异视角识别网络。
12.根据权利要求11所述方法,其特征在于,所述将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,分别输入至初始的同视角识别网络和初始的异视角识别网络,得到目标损失值,包括:
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,输入至所述初始的同视角识别网络,计算得到所述样本图像和对应的所述参考图像之间的同视角特征距离;
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,输入至所述初始的异视角识别网络,计算得到所述样本图像和对应的所述参考图像之间的异视角特征距离;
将所述同视角特征距离和所述异视角特征距离进行融合,得到融合视角特征距离;
将所述同视角特征距离、所述异视角特征距离和所述融合视角特征距离进行加权累加运算,计算得到所述目标损失值。
13.根据权利要求11所述方法,其特征在于,所述将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,分别输入至初始的同视角识别网络和初始的异视角识别网络,得到目标损失值,包括:
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,输入至所述初始的同视角识别网络,计算得到所述样本图像和对应的所述参考图像之间的同视角特征距离;
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,输入至所述初始的异视角识别网络,计算得到所述样本图像和对应的所述参考图像之间的异视角特征距离;
将所述同视角特征距离和所述异视角特征距离进行融合,得到所述目标损失值。
14.根据权利要求11所述方法,其特征在于,获取样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征,包括:
获取所述样本图像和所述样本参考图像;
将所述样本图像和所述样本参考图像输入至已训练好的视觉判别网络,得到所述样本图像的视角信息和所述样本参考图像的视角信息;
将所述样本图像和所述样本参考图像输入至已训练好的特征提取网络,得到所述样本图像的特征和所述样本参考图像的特征。
15.根据权利要求11所述方法,其特征在于,训练所述图像识别网络的方法包括:
获取样本图像的视角信息、样本参考图像的视角信息、样本图像的特征和样本参考图像的特征;
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,输入至所述初始的同视角识别网络,得到同视角损失值;并根据所述同视角损失值调整所述初始的同视角识别网络的参数,直到所述同视角损失值满足第二预设训练条件为止,得到训练好的同视角识别网络;
将所述样本图像的视角信息、所述样本参考图像的视角信息、所述样本图像的特征和所述样本参考图像的特征,输入至所述初始的异视角识别网络,得到异视角损失值;并根据所述异视角损失值调整所述初始的异视角识别网络的参数,直到所述异视角损失值满足第三预设训练条件为止,得到训练好的异视角识别网络;
将所述训练好的同视角识别网络和所述训练好的异视角识别网络进行并联连接,得到所述图像识别网络。
16.一种目标物体识别装置,其特征在于,所述装置包括:
第一获取模块,用于获取至少一张待识别图像的视角信息和参考图像的视角信息;
第二获取模块,用于获取所述待识别图像的特征和所述参考图像的特征;
识别模块,用于根据所述待识别图像的视角信息、所述参考图像的视角信息、所述待识别图像的特征和所述参考图像的特征,确定所述待识别图像和对应的所述参考图像中是否包含同一目标物体。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-15中任一项所述方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-15中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010406727.5A CN111767940A (zh) | 2020-05-14 | 2020-05-14 | 目标物体识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010406727.5A CN111767940A (zh) | 2020-05-14 | 2020-05-14 | 目标物体识别方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111767940A true CN111767940A (zh) | 2020-10-13 |
Family
ID=72720715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010406727.5A Pending CN111767940A (zh) | 2020-05-14 | 2020-05-14 | 目标物体识别方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767940A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708484A (zh) * | 2022-03-14 | 2022-07-05 | 中铁电气化局集团有限公司 | 适用于识别缺陷的图形分析方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039974A (ja) * | 2009-08-18 | 2011-02-24 | Kddi Corp | 画像検索方法およびシステム |
CN108898186A (zh) * | 2018-07-03 | 2018-11-27 | 北京字节跳动网络技术有限公司 | 用于提取图像的方法和装置 |
CN109543602A (zh) * | 2018-11-21 | 2019-03-29 | 太原理工大学 | 一种基于多视角图像特征分解的行人再识别方法 |
CN110147732A (zh) * | 2019-04-16 | 2019-08-20 | 平安科技(深圳)有限公司 | 指静脉识别方法、装置、计算机设备及存储介质 |
CN110263864A (zh) * | 2019-06-24 | 2019-09-20 | 北京精英路通科技有限公司 | 车辆的匹配方法、装置、计算机设备及存储介质 |
CN111104867A (zh) * | 2019-11-25 | 2020-05-05 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
-
2020
- 2020-05-14 CN CN202010406727.5A patent/CN111767940A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039974A (ja) * | 2009-08-18 | 2011-02-24 | Kddi Corp | 画像検索方法およびシステム |
CN108898186A (zh) * | 2018-07-03 | 2018-11-27 | 北京字节跳动网络技术有限公司 | 用于提取图像的方法和装置 |
CN109543602A (zh) * | 2018-11-21 | 2019-03-29 | 太原理工大学 | 一种基于多视角图像特征分解的行人再识别方法 |
CN110147732A (zh) * | 2019-04-16 | 2019-08-20 | 平安科技(深圳)有限公司 | 指静脉识别方法、装置、计算机设备及存储介质 |
CN110263864A (zh) * | 2019-06-24 | 2019-09-20 | 北京精英路通科技有限公司 | 车辆的匹配方法、装置、计算机设备及存储介质 |
CN111104867A (zh) * | 2019-11-25 | 2020-05-05 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
王茜;陈一民;丁友东;: "复杂环境中基于视觉词袋模型的车辆再识别算法", 计算机应用, no. 05, 27 December 2017 (2017-12-27) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708484A (zh) * | 2022-03-14 | 2022-07-05 | 中铁电气化局集团有限公司 | 适用于识别缺陷的图形分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110517278B (zh) | 图像分割和图像分割网络的训练方法、装置和计算机设备 | |
CN108764024B (zh) | 人脸识别模型的生成装置、方法及计算机可读存储介质 | |
CN110163193B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN110738595B (zh) | 图片处理方法、装置和设备及计算机存储介质 | |
CN111179419B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
JP6862584B2 (ja) | 画像処理システム及び画像処理方法 | |
CN111062263B (zh) | 手部姿态估计的方法、设备、计算机设备和存储介质 | |
CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
US9323989B2 (en) | Tracking device | |
CN111161202A (zh) | 车辆行为信息获取方法、装置、计算机设备和存储介质 | |
KR20160093523A (ko) | 안구 위치 정보 확정 방법 및 장치 | |
CN109740659B (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
CN111563924A (zh) | 图像深度确定方法及活体识别方法、电路、设备和介质 | |
Wu et al. | Single-shot face anti-spoofing for dual pixel camera | |
CN111582155B (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
CN113570530A (zh) | 图像融合方法、装置、计算机可读存储介质和电子设备 | |
CN115880695A (zh) | 卡证的识别方法、卡证识别模型的训练方法及电子设备 | |
CN114937125A (zh) | 可重建度量信息预测方法、装置、计算机设备和存储介质 | |
CN114170690A (zh) | 活体识别和构建活体识别模型的方法、装置 | |
CN110766077A (zh) | 证据链图像中特写图筛选方法、装置和设备 | |
CN111144404A (zh) | 遗留物体检测方法、装置、系统、计算机设备和存储介质 | |
CN111767940A (zh) | 目标物体识别方法、装置、设备和存储介质 | |
CN116883981A (zh) | 一种车牌定位识别方法、系统、计算机设备及存储介质 | |
CN111860031A (zh) | 人脸姿态估计方法、装置、电子设备与可读存储介质 | |
CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |