CN109214366B - 局部目标重识别方法、装置及系统 - Google Patents
局部目标重识别方法、装置及系统 Download PDFInfo
- Publication number
- CN109214366B CN109214366B CN201811247895.3A CN201811247895A CN109214366B CN 109214366 B CN109214366 B CN 109214366B CN 201811247895 A CN201811247895 A CN 201811247895A CN 109214366 B CN109214366 B CN 109214366B
- Authority
- CN
- China
- Prior art keywords
- image
- local
- target
- affine
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种局部目标重识别方法、装置及系统,涉及图像识别技术领域,该方法包括:获取已有目标的全身图像以及待识别目标的局部图像;将全身图像与局部图像输入至预先训练得到的局部目标重识别模型,以使局部目标重识别模型基于局部图像对全身图像进行仿射变换处理,得到全身图像的仿射图像,并确定仿射图像和局部图像之间的特征间距;基于特征间距判别待识别目标是否与已有目标匹配。本发明能够有效提升局部图像与全身图像的匹配精度,从而提高重识别准确率。
Description
技术领域
本发明涉及图像识别技术领域,尤其是涉及一种局部目标重识别方法、装置及系统。
背景技术
在视频结构化的诸多应用中,目标分析至关重要,特别是目标的身份识别在安防、视频检索等众多领域起着核心作用。目前已有行人重识别(person re-identification)、车辆重识别(vehicle re-identification)等身份重识别(Reid)技术。以行人重识别为例,该技术能够基于待追踪行人的一张图像在城市庞大的摄像头网络所采集的各行人图像中找到该人。然而在诸如地铁闸口前、无人超市收银台前、高密度的人群等特殊场景下,行人容易被遮挡,造成行人只有局部身体暴露在图像中,该图像可简称为半身图像(又可称为局部图像),现有方式中通常是直接将局部图像与图像库中的全身图像进行匹配,匹配精度不高,重识别的准确率较低。
发明内容
有鉴于此,本发明的目的在于提供一种局部目标重识别方法、装置及系统,能够有效提升局部图像与全身图像的匹配精度,从而提高重识别准确率。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种局部目标重识别方法,包括:获取已有目标的全身图像以及待识别目标的局部图像;将所述全身图像与所述局部图像输入至预先训练得到的局部目标重识别模型,以使所述局部目标重识别模型基于所述局部图像对所述全身图像进行仿射变换处理,得到所述全身图像的仿射图像,并确定所述仿射图像和所述局部图像之间的特征间距;基于所述特征间距判别所述待识别目标是否与所述已有目标匹配。
进一步,所述局部目标重识别模型包括依次连接的空间变换网络和目标重识别网络;所述基于所述局部图像对所述全身图像进行仿射变换处理,得到所述全身图像的仿射图像,并确定所述仿射图像和所述局部图像之间的特征间距的步骤,包括:通过所述空间变换网络基于所述局部图像确定所述全身图像的裁剪区域和仿射变换类型;以及,基于所述仿射变换类型对所述裁剪区域进行仿射变换处理,得到仿射图像;通过所述目标重识别网络分别提取所述仿射图像的特征和所述局部图像的特征;以及,基于所述仿射图像的特征和所述局部图像的特征,计算所述仿射图像和所述局部图像之间的特征间距。
进一步,所述空间变换网络包括依次连接的定位子网络和网格生成器;所述定位子网络用于根据所述局部图像和所述全身图像,生成仿射变换参数,并将所述仿射变换参数传递给所述网格生成器;所述网格生成器用于基于所述仿射变换参数确定所述全身图像的裁剪区域以及仿射变换类型,并根据所述仿射变换类型和所述裁剪区域的像素坐标,生成仿射图像的像素坐标。
进一步,所述计算所述仿射图像和所述局部图像之间的特征间距的步骤,包括:采用预设的距离度量函数计算所述仿射图像与所述局部图像之间的特征间距;其中,所述距离度量函数包括欧氏距离函数、明氏距离函数或余弦距离函数中的一种。
进一步,所述局部目标重识别模型的训练步骤包括:获取训练图像;其中,所述训练图像包括全身训练图像和与所述全身训练图像对应的局部训练图像;将所述训练图像输入至所述空间变换网络,通过所述空间变换网络基于所述局部训练图像对所述全身训练图像进行仿射变换,得到仿射图像;将所述全身训练图像、所述局部训练图像与所述仿射图像输入至所述目标重识别网络,计算所述局部目标重识别模型的总损失函数值;基于所述总损失函数值,通过反向传播算法对所述空间变换网络的参数和所述目标重识别网络的参数进行训练。
进一步,所述获取训练图像的步骤,包括:获取全身训练图像;对所述全身训练图像按照预设方式进行裁剪,得到裁剪后的局部训练图像;其中,所述预设方式包括裁剪方向和/或裁剪大小。
进一步,所述计算所述局部目标重识别模型的总损失函数值的步骤,包括:通过所述目标重识别网络分别提取所述全身训练图像的第一特征、所述局部训练图像的第二特征和所述仿射图像的第三特征;基于所述第一特征计算第一重识别损失函数值,基于所述第二特征计算第二重识别损失函数值,以及基于所述第三特征计算第三重识别损失函数值;基于所述第二特征和所述第三特征,计算重建损失函数值;根据所述第一重识别损失函数值、所述第二重识别损失函数值、所述第三重识别损失函数值和所述重建损失函数值,计算所述局部目标重识别模型的总损失函数值。
进一步,所述根据所述第一重识别损失函数值、所述第二重识别损失函数值、所述第三重识别损失函数值和所述重建损失函数值,计算所述局部目标重识别模型的总损失函数值的步骤,包括:按照以下公式计算所述局部目标重识别模型的总损失函数值L:
L=L1+L2+L3+λLSTN
其中,L1为所述第一重识别损失函数值;L2为所述第二重识别损失函数值;L3为所述第三重识别损失函数值;λ为预设权重参数,LSTN为所述重建损失函数值。
进一步,所述基于所述第二特征和所述第三特征,计算重建损失函数值的步骤,包括:按照以下公式计算重建损失函数值LSTN:
其中,fp为所述第二特征,fa为所述第三特征。
进一步,所述基于所述特征间距判别所述待识别目标是否与所述已有目标匹配的步骤,包括:如果所述特征间距小于预设间距阈值,确定所述待识别目标与所述已有目标匹配。
第二方面,本发明实施例还提供一种局部目标重识别装置,包括:图像获取模块,用于获取已有目标的全身图像以及待识别目标的局部图像;模型处理模块,用于将所述全身图像与所述局部图像输入至预先训练得到的局部目标重识别模型,以使所述局部目标重识别模型基于所述局部图像对所述全身图像进行仿射变换处理,得到所述全身图像的仿射图像,并确定所述仿射图像和所述局部图像之间的特征间距;目标匹配模块,用于基于所述特征间距判别所述待识别目标是否与所述已有目标匹配。
第三方面,本发明实施例提供了一种局部目标重识别系统,所述系统包括:图像采集装置、处理器和存储装置;所述图像采集装置,用于采集图像;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种局部目标重识别方法、装置及系统,在获取到已有目标的全身图像和待识别目标的局部图像后,通过预先训练得到的局部目标重识别模型基于局部图像对全身图像进行仿射变换处理,得到全身图像的仿射图像,进而可基于仿射图像和局部图像之间的特征间距判别待识别目标是否与已有目标匹配。这种局部目标重识别方式首先根据局部图像对全身图像进行仿射变换处理,以从全身图像中映射出与局部图像相关的仿射图像,进而对仿射图像和局部图像进行特征匹配,与直接比对局部图像与全身图像的传统方式相比,能够更好地提升匹配精度不高,进而提升重识别的准确率。
本发明实施例的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种局部目标重识别方法流程图;
图3示出了本发明实施例所提供的一种局部目标重识别模型的结构框图;
图4示出了本发明实施例所提供的一种局部目标重识别模型的结构框图;
图5示出了本发明实施例所提供的一种图像的对应示意图;
图6示出了本发明实施例所提供的一种局部目标重识别模型示意图;
图7示出了本发明实施例所提供的一种局部目标重识别装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中通常是直接将局部图像与图像库中的全身图像进行匹配,诸如,将局部图像缩放成全身图像相同大小的尺寸,然后直接比对全身图像与缩放后的局部图像,而局部图像一旦缩放,会发生较为明显的形变失真,导致匹配精度不高,重识别准确率较低。为改善此问题,本发明实施例提供的一种局部目标重识别方法、装置及系统,该技术可采用相应的软件或硬件实现,可应用于诸如局部行人重识别等多种目标类型的重识别任务中,适用于诸如刑侦安防、视频检索等多种场合,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的一种局部目标重识别方法、装置及系统的示例电子设备100。
如图1所示的一种电子设备的结构示意图,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的局部目标重识别方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。
实施例二:
参见图2所示的一种局部目标重识别方法流程图,该方法可由前述实施例提供的电子设备执行,该方法具体包括如下步骤:
步骤S202,获取已有目标的全身图像以及待识别目标的局部图像。其中,本实施例中提及的目标可以为行人,当然也可以为车辆、动物或物品等其它类别,在此不进行限制。全身图像显示有目标的全部身体特征,局部图像仅显示有目标的部分身体特征。
已有目标的全身图像可以直接从图像底库中获取,也可以从布置在指定位置的摄像头获取,可以理解的是,本实施例可以获取一张或多张不同已有目标的全身图像。待识别目标的局部图像可以是由人工直接上传,也可以从指定的摄像头获取。在具体实施时,如果获取到被遮挡的待识别目标图像,可以将图像中的待识别目标显露的局部身体剪切(抠取)出来,并将剪切得到的局部图像缩放成与全身图像相同的尺寸,形成待识别目标的局部图像,诸如,摄像头采集到下本身被遮挡的待识别行人的图像,则将该待识别行人的上半身剪裁出来,并将其上半身图像缩放成与待比较的全身图像相同的尺寸大小,将缩放后的上半身图像确定为待识别行人的局部图像。
步骤S204,将全身图像与局部图像输入至预先训练得到的局部目标重识别模型,以使局部目标重识别模型基于局部图像对全身图像进行仿射变换处理,得到全身图像的仿射图像,并确定仿射图像和局部图像之间的特征间距。
局部目标重识别模型为一种神经网络模型,可通过诸如深度学习等方式训练得到,该局部目标重识别模型能够根据局部图像对全身图像进行仿射变换,从全身图像中映射出与局部图像相关的仿射图像,并可以进一步确定仿射图像与局部图像之间的特征间距,特征间距也体现出仿射图像与局部图像在特征层面上的相似程度。通常而言,特征间距越小,相似度越高。
步骤S206,基于特征间距判别待识别目标是否与已有目标匹配。诸如,如果待识别目标与该已有目标之间的特征间距小于预设间距阈值,则确定待识别目标与该已有目标匹配。
本发明实施例提供的上述局部目标重识别方法,首先根据局部图像对全身图像进行仿射变换处理,以从全身图像中映射出与局部图像相关的仿射图像,进而对仿射图像和局部图像进行特征匹配,与直接比对局部图像与全身图像的传统方式相比,能够更好地提升匹配精度不高,进而提升重识别的准确率。
上述方法可直接应用于诸如行人重识别等任务中,对于部分身体被遮挡的待识别行人,可以采用上述方法逐一比对底库中的图像与待识别行人的图像。其中,底库中包含有多张已知行人的全身图像,可逐一比对每张已知行人的全身图像和待识别行人的局部图像(或称为半身图像),计算全身图像与局部图像之间的特征间距,然后根据特征间距是否小于预设间距阈值来判断各已知行人是否与待识别行人相匹配。当然,也可以在逐一计算待识别行人与多个已知行人之间的特征间距之后,从中选取最小特征间距,在满足最小特征间距小于预设间距阈值的条件时,将最小特征间距对应的已知行人确定为与待识别行人匹配。以上仅以行人重识别为例进行说明,对其它类别的目标进行重识别的方式也是类似,在此不再赘述。
本实施例提供了一种局部目标重识别模型的实施方式,如图3所示的一种局部目标重识别模型的结构框图,主要示意出局部目标重识别模型包括依次连接的空间变换网络(Spatial Transformer Network,STN)和目标重识别网络。该局部目标重识别模型可以较为准确地进行局部图像与全身图像之间的空间匹配。
其中,空间变换网络的主要作用为:基于局部图像确定全身图像的裁剪区域和仿射变换类型;以及,基于仿射变换类型对裁剪区域进行仿射变换处理,得到仿射图像。裁剪区域是全身图像中与局部图像相关的区域,通常而言,抠取区域与局部图像相近。诸如,如果局部图像为行人上半身,则裁剪区域通常也为全身图像中的行人上半身。而且,空间变换网络在确定裁剪区域后,还可以确定对该区域进行什么形式的仿射变换,具体而言,空间变换网络可以基于全身图像和局部图像而自动生成仿射变换参数,仿射变换参数可以决定全身图像对应的裁剪区域以及仿射变换类型,仿射变换类型包括但不局限于旋转、平移、缩放、镜像等图像空间变换类型。
目标重识别网络的主要作用为:分别提取仿射图像的特征和局部图像的特征;以及,基于仿射图像的特征和局部图像的特征,计算仿射图像和局部图像之间的特征间距。在计算仿射图像和局部图像之间的特征间距时,可采用预设的距离度量函数计算仿射图像与局部图像之间的特征间距;其中,距离度量函数包括欧氏距离函数、明氏距离函数或余弦距离函数中的一种;当然,也可以采用其它距离度量函数,在此不进行限制。
为便于理解,本实施例进一步给出一种具体的实施方式,如图4所示的一种局部目标重识别模型的结构框图,在图3的基础上还示意出空间变换网络包括依次连接的定位子网络(Localization net)和网格生成器(Grid generator);其中,定位子网络用于根据局部图像和全身图像,生成仿射变换参数,并将仿射变换参数传递给网格生成器;网格生成器用于基于仿射变换参数确定全身图像的裁剪区域以及仿射变换类型,并根据仿射变换类型和裁剪区域的像素坐标,生成仿射图像的像素坐标。
也即,定位子网络的主要作用就是生成仿射变换参数,该仿射变换参数可以决定抠取全身图像的哪片区域(也即,裁剪区域)以及对该区域进行什么类型的仿射变换处理,网格生成器从而可基于仿射变换参数生成全身图像对应的仿射图像。一种实施方式中,定位子网络可以包含若干层卷积层和全连接层。
为便于理解,如图5所示的一种图像的对应示意图,示意出全身图像、半身图像与仿射图像的对应关系,框a均为半身图像,框b均为全身图像,框c均为全身图像与半身图像所对应的仿射图像。由图5所示,为了进行全身图像与半身图像的匹配,通常会将半身图像的尺寸缩放至与全身图像的尺寸相同,此时半身图像会因缩放处理而导致形变,可以理解的是,如果直接采用全身图像与发生形变的半身图像进行匹配,很容易导致匹配准确率较低的问题,而本发明实施例通过基于半身图像给全身图像进行仿射变换,可以得到与半身图像相近的仿射图像,而且仿射图像与半身图像的形变尺度也相近,通过比对仿射图像与半身图像,能够较好地提升匹配准确率。
以半身图像a1和全身图像b1为例,如图5所示,根据半身图像a1,从全身图像中裁剪目标行人的上半身图像,并对上半身图像进行一定的空间变换处理,形成与半身图像a1相近(身体部位相近、形变尺寸相近)的仿射图像c1。以半身图像a5和全身图像b2为例,如图5所示,根据半身图像a5从全身图像b2中裁剪目标行人的下半身图像,并对下半身图像进行一定的空间变换处理,形成与半身图像a5相近的仿射图像c10。可以理解的是,由于半身图像a1与仿射图像c1之间的身体部位相近,形变尺度相近,半身图像a1与仿射图像c1之间的匹配准确率会高于半身图像a1与全身图像b1之间的匹配准确率,同理,半身图像a5与仿射图像c10之间的匹配准确率会高于半身图像a5与全身图像b2之间的匹配准确率。
本实施例进一步提供了一种局部目标重识别模型的训练方式,结合图6所示的一种局部目标重识别模型示意图,具体可参照如下步骤执行:
步骤1,获取训练图像;其中,训练图像包括全身训练图像和与全身训练图像对应的局部训练图像。其中,局部训练图像也可以称为半身训练图像。
为了能够进一步简化训练图像的获取过程,本实施例无需专门获取局部训练图像,而是可以采用数据增广技术生成局部训练图像,在一种实施方式中,可以首先获取全身训练图像;然后对全身训练图像按照预设方式进行裁剪,得到裁剪后的局部训练图像;其中,预设方式包括裁剪方向和/或裁剪大小。具体实施时,可将剪裁后的局部训练图像缩放成与全身训练图像相同的尺寸大小。
诸如,获取全身训练图像Ih之后,可从Ih中随机裁剪的一部分,得到局部训练图像Ip。为了尽可能真实地模拟实际场景的局部训练图像,裁剪的策略可以为:1)每次从上下左右四个方向中随机挑选一个方向作为全身训练图像的剪裁方向,以分别模拟下身被遮挡、上身被遮挡、右侧被遮挡和左侧被遮挡的情形。2)在挑选的剪裁方向上可以在预设剪裁范围内进行随机剪裁,诸如,随机剪裁丢掉全身训练图像中20%~60%的信息,以便于模拟不同程度的遮挡情形。通过上述方式,可以方便快捷地获取到目标的众多半身训练图像,提升了训练图像的获取效率。而且,由于局部训练图像是全身训练图像剪裁得到的,也有助于目标重识别模型后续生成仿射图像时进行自监督训练,而无需单独设置仿射图像标签或者为仿射图像单独标注特征信息。
步骤2,将训练图像输入至空间变换网络,通过空间变换网络基于局部训练图像对全身训练图像进行仿射变换,得到仿射图像。
诸如,将全身训练图像Ih和局部训练图像Ip共同输入至空间变换网络,具体而言,可以将Ih和Ip融合后输入至空间变换网络中的定位子网络,定位子网络输出6维的仿射变换参数θ。仿射变换参数θ输入至网格生成器,基于全身训练图像中Ih的像素坐标和仿射变换参数θ,通过网格生成器的网格采样公式Tθ(G),可以得到仿射图像Ia的像素坐标。具体而言,可参照如下公式:
其中,是全身训练图像Ih的第i个像素点的坐标,是输出的仿射图像Ia中与Ih的第i个像素点对应的像素点的坐标,Aθ是仿射变换参数θ重新排列形成的2×3维的矩阵。对于浮点坐标的图像值可采用周围像素的双线性插值得到。例如,假设仿射图像位置的像素经过网格生成器计算对应原全身训练图像Ih中的(x,y)=(4.6,4.5)像素位置,则仿射图像的该像素的值由原图中四个像素点(Q11=(x1,y1)=(4,3),Q12=(x2,y2)=(4,5),Q21=(x2,y1)=(3,4),Q22=(x2,y2)=(5,4))共同决定,具体实现为该四个像素的双线性插值。双线性插值公式可以参照如下所示:
如果超出图像范围的坐标,可以采用数值全0的黑像素补全。
通过上述方式,空间变换网络可以基于局部训练图像Ip生成全身训练图像Ih对应的仿射图像Ia。
步骤3,将全身训练图像、局部训练图像与仿射图像输入至目标重识别网络,计算局部目标重识别模型的总损失函数值。
具体而言,在计算总损失函数值时,可以参照如下步骤执行:
(1)通过目标重识别网络分别提取全身训练图像的第一特征、局部训练图像的第二特征和仿射图像的第三特征。诸如,提取全身训练图像Ih的第一特征fh、局部训练图像Ip的第二特征fp和仿射图像Ia的第三特征fa。
(2)基于第一特征计算第一重识别损失函数值,基于第二特征计算第二重识别损失函数值,以及基于第三特征计算第三重识别损失函数值。重识别损失函数值又可称为ReID损失。其中,本实施例所采用的ReID损失函数可以包括但不限于平方损失函数、交叉熵损失函数、三元组损失函数中的一种或多种。为了便于理解,图6示意出了三个目标重识别网络,每个目标重识别网络对应一种图像,且三个目标重识别网络是共享参数的,但图6仅是为了便于理解的示意图示,在实际应用中,目标重识别模型可仅包含一个目标重识别网络,三种图像均输入至该目标重识别网络中。
(3)基于第二特征和第三特征,计算重建损失函数值。重建损失函数值可用于指导空间变换网络从全身图像中映射出一片区域,该区域和局部训练图像尽可能相似。具体而言,重建损失函数可以指导空间变换网络生成合适的仿射变换参数,以使空间变换网络能够较为准确的基于局部图像确定出全身图像中的待映射区域以及该区域的仿射变换类型,从而生成与局部图像尽可能相似的仿射图像。
(4)根据第一重识别损失函数值、第二重识别损失函数值、第三重识别损失函数值和重建损失函数值,计算目标重识别网络的总损失函数值。
本实施例进一步给出了计算目标重识别网络的总损失函数值的一种具体实施方式,其可以为上述各重识别(ReID)损失值和重建损失值的和,诸如,按照以下公式计算目标重识别网络的总损失函数值L:
L=L1+L2+L3+λLSTN
其中,L1为第一重识别损失函数值;L2为第二重识别损失函数值;L3为第三重识别损失函数值;λ为预设权重参数,LSTN为重建损失函数值。在具体实施时,预设权重参数λ的值可以灵活设置,主要用于调节重建损失的比重,诸如,可以令λ的值为20。
在一种实施方式中,LSTN可以为fp和fa的最小二乘损失,具体可以按照以下公式计算重建损失函数值LSTN:
其中,fp为第二特征,fa为第三特征。
步骤4,基于总损失函数值,通过反向传播算法对空间变换网络的参数和目标重识别网络的参数进行训练。当满足预设条件时,可结束训练。诸如,该预设条件可以是总损失函数值收敛至预设值及以下时,可确定训练成功。可以理解的是,损失函数值表征了网络的期望输出,损失函数值越小,可表征网络的输出结果越接近于期望输出结果,网络输出结果的准确性和可靠性越高。
由上述局部目标重识别模型的训练方式可知,空间变换网络(也即,STN网络)和目标重识别网络(也即,ReID网络)可联合训练,诸如,ReID网络不仅可以对输入的图像提取特征并执行重识别任务,而且可通过重建损失函数指导STN网络生成合理的仿射变换参数,从而生成与局部图像尽可能相近的仿射图像。且,本实施例在训练局部目标重识别模型时,可以仅获取全身训练图像,并基于全身训练图像生成局部训练图像,然后再基于局部训练图像生成全身训练图像对应的仿射图像,使得本实施例在训练空间变换网络生成仿射图像时无需额外的标注信息,诸如,无需人工额外单独设置仿射图像标签或者单独标注仿射图像等各图像的特征信息,本实施例提供的网络自身即可生成诸如仿射图像等各图像的特征信息,并基于损失函数进行反向传播训练。也即,本实施例通过采用自监督方式即可训练空间变换网络生成仿射图像,以进一步使STN网络对彼此相近的局部图像与仿射图像进行匹配。由于局部图像与仿射图像的形变尺度相近、所包含的目标身体位置相近,局部图像与仿射图像的特征信息也相近,因而得到准确率较高的匹配结果,进而提升了局部重识别任务的识别精度。
实施例三:
对于实施例二中所提供的局部目标重识别方法,本发明实施例提供了一种局部目标重识别装置,参见图7所示的一种局部目标重识别装置的结构框图,该装置包括以下模块:
图像获取模块702,用于获取已有目标的全身图像以及待识别目标的局部图像;
模型处理模块704,用于将全身图像与局部图像输入至预先训练得到的局部目标重识别模型,以使局部目标重识别模型基于局部图像对全身图像进行仿射变换处理,得到全身图像的仿射图像,并确定仿射图像和局部图像之间的特征间距;
目标匹配模块706,用于基于特征间距判别待识别目标是否与已有目标匹配。
本发明实施例提供的上述局部目标重识别装置,首先根据局部图像对全身图像进行仿射变换处理,以从全身图像中映射出与局部图像相近的仿射图像,进而对仿射图像和局部图像进行特征匹配,与直接比对局部图像与全身图像的传统方式相比,能够更好地提升匹配精度不高,进而提升重识别的准确率。
在一种实施方式中,局部目标重识别模型包括依次连接的空间变换网络和目标重识别网络;
模型处理模块704用于:通过空间变换网络基于局部图像确定全身图像的裁剪区域和仿射变换类型;以及,基于仿射变换类型对裁剪区域进行仿射变换处理,得到仿射图像;通过目标重识别网络分别提取仿射图像的特征和局部图像的特征;以及,基于仿射图像的特征和局部图像的特征,计算仿射图像和局部图像之间的特征间距。
在一种具体实施方式中,空间变换网络包括依次连接的定位子网络和网格生成器;定位子网络用于根据局部图像和全身图像,生成仿射变换参数,并将仿射变换参数传递给网格生成器;网格生成器用于基于仿射变换参数确定全身图像的裁剪区域以及仿射变换类型,并根据仿射变换类型和裁剪区域的像素坐标,生成仿射图像的像素坐标。
在一种具体实施方式中,模型处理模块704进一步用于:采用预设的距离度量函数计算仿射图像与局部图像之间的特征间距;其中,距离度量函数包括欧氏距离函数、明氏距离函数或余弦距离函数中的一种。
在一种实施方式中,上述装置还包括模型训练模块,该模型训练模块用于:获取训练图像;其中,训练图像包括全身训练图像和与全身训练图像对应的局部训练图像;将训练图像输入至空间变换网络,通过空间变换网络基于局部训练图像对全身训练图像进行仿射变换,得到仿射图像;将全身训练图像、局部训练图像与仿射图像输入至目标重识别网络,计算局部目标重识别模型的总损失函数值;基于总损失函数值,通过反向传播算法对空间变换网络的参数和目标重识别网络的参数进行训练。
在一种具体实施方式中,模型训练模块进一步用于:获取全身训练图像;对全身训练图像按照预设方式进行裁剪,得到裁剪后的局部训练图像;其中,预设方式包括裁剪方向和/或裁剪大小。
在一种具体实施方式中,模型训练模块进一步用于:通过目标重识别网络分别提取全身训练图像的第一特征、局部训练图像的第二特征和仿射图像的第三特征;基于第一特征计算第一重识别损失函数值,基于第二特征计算第二重识别损失函数值,以及基于第三特征计算第三重识别损失函数值;基于第二特征和第三特征,计算重建损失函数值;根据第一重识别损失函数值、第二重识别损失函数值、第三重识别损失函数值和重建损失函数值,计算目标重识别网络的总损失函数值。
在一种具体实施方式中,模型训练模块进一步用于:按照以下公式计算目标重识别网络的总损失函数值L:
L=L1+L2+L3+λLSTN
其中,L1为第一重识别损失函数值;L2为第二重识别损失函数值;L3为第三重识别损失函数值;λ为预设权重参数,LSTN为重建损失函数值。
在一种具体实施方式中,模型训练模块进一步用于:按照以下公式计算重建损失函数值LSTN:
其中,fp为第二特征,fa为第三特征。
在一种实施方式中,目标匹配模块706用于:如果特征间距小于预设间距阈值,确定待识别目标与已有目标匹配。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例四:
本实施例提供了一种局部目标重识别系统,该系统包括:图像采集装置、处理器和存储装置;
图像采集装置,用于采集图像;
存储装置上存储有计算机程序,计算机程序在被处理器运行时执行如实施例二所提供的局部目标重识别方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
进一步,本实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例二所提供的方法的步骤。
本发明实施例所提供的局部目标重识别方法、装置及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种局部目标重识别方法,其特征在于,包括:
获取已有目标的全身图像以及待识别目标的局部图像;
将所述全身图像与所述局部图像输入至预先训练得到的局部目标重识别模型,以使所述局部目标重识别模型基于所述局部图像对所述全身图像进行仿射变换处理,得到所述全身图像的仿射图像,并确定所述仿射图像和所述局部图像之间的特征间距;所述局部目标重识别模型包括依次连接的空间变换网络和目标重识别网络;
基于所述特征间距判别所述待识别目标是否与所述已有目标匹配。
2.根据权利要求1所述的方法,其特征在于,
所述基于所述局部图像对所述全身图像进行仿射变换处理,得到所述全身图像的仿射图像,并确定所述仿射图像和所述局部图像之间的特征间距的步骤,包括:
通过所述空间变换网络基于所述局部图像确定所述全身图像的裁剪区域和仿射变换类型;以及,
基于所述仿射变换类型对所述裁剪区域进行仿射变换处理,得到仿射图像;
通过所述目标重识别网络分别提取所述仿射图像的特征和所述局部图像的特征;以及,
基于所述仿射图像的特征和所述局部图像的特征,计算所述仿射图像和所述局部图像之间的特征间距。
3.根据权利要求2所述的方法,其特征在于,所述空间变换网络包括依次连接的定位子网络和网格生成器;
所述定位子网络用于根据所述局部图像和所述全身图像,生成仿射变换参数,并将所述仿射变换参数传递给所述网格生成器;
所述网格生成器用于基于所述仿射变换参数确定所述全身图像的裁剪区域以及仿射变换类型,并根据所述仿射变换类型和所述裁剪区域的像素坐标,生成仿射图像的像素坐标。
4.根据权利要求2所述的方法,其特征在于,所述计算所述仿射图像和所述局部图像之间的特征间距的步骤,包括:
采用预设的距离度量函数计算所述仿射图像与所述局部图像之间的特征间距;其中,所述距离度量函数包括欧氏距离函数、明氏距离函数或余弦距离函数中的一种。
5.根据权利要求2所述的方法,其特征在于,所述局部目标重识别模型的训练步骤包括:
获取训练图像;其中,所述训练图像包括全身训练图像和与所述全身训练图像对应的局部训练图像;
将所述训练图像输入至所述空间变换网络,通过所述空间变换网络基于所述局部训练图像对所述全身训练图像进行仿射变换,得到仿射图像;
将所述全身训练图像、所述局部训练图像与所述仿射图像输入至所述目标重识别网络,计算所述局部目标重识别模型的总损失函数值;
基于所述总损失函数值,通过反向传播算法对所述空间变换网络的参数和所述目标重识别网络的参数进行训练。
6.根据权利要求5所述的方法,其特征在于,所述获取训练图像的步骤,包括:
获取全身训练图像;
对所述全身训练图像按照预设方式进行裁剪,得到裁剪后的局部训练图像;其中,所述预设方式包括裁剪方向和/或裁剪大小。
7.根据权利要求5所述的方法,其特征在于,所述计算所述局部目标重识别模型的总损失函数值的步骤,包括:
通过所述目标重识别网络分别提取所述全身训练图像的第一特征、所述局部训练图像的第二特征和所述仿射图像的第三特征;
基于所述第一特征计算第一重识别损失函数值,基于所述第二特征计算第二重识别损失函数值,以及基于所述第三特征计算第三重识别损失函数值;
基于所述第二特征和所述第三特征,计算重建损失函数值;
根据所述第一重识别损失函数值、所述第二重识别损失函数值、所述第三重识别损失函数值和所述重建损失函数值,计算所述局部目标重识别模型的总损失函数值。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一重识别损失函数值、所述第二重识别损失函数值、所述第三重识别损失函数值和所述重建损失函数值,计算所述局部目标重识别模型的总损失函数值的步骤,包括:
按照以下公式计算所述局部目标重识别模型的总损失函数值L:
L=L1+L2+L3+λLSTN
其中,L1为所述第一重识别损失函数值;L2为所述第二重识别损失函数值;L3为所述第三重识别损失函数值;λ为预设权重参数,LSTN为所述重建损失函数值。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述基于所述特征间距判别所述待识别目标是否与所述已有目标匹配的步骤,包括:
如果所述特征间距小于预设间距阈值,确定所述待识别目标与所述已有目标匹配。
11.一种局部目标重识别装置,其特征在于,包括:
图像获取模块,用于获取已有目标的全身图像以及待识别目标的局部图像;
模型处理模块,用于将所述全身图像与所述局部图像输入至预先训练得到的局部目标重识别模型,以使所述局部目标重识别模型基于所述局部图像对所述全身图像进行仿射变换处理,得到所述全身图像的仿射图像,并确定所述仿射图像和所述局部图像之间的特征间距;所述局部目标重识别模型包括依次连接的空间变换网络和目标重识别网络;
目标匹配模块,用于基于所述特征间距判别所述待识别目标是否与所述已有目标匹配。
12.一种局部目标重识别系统,其特征在于,所述系统包括:图像采集装置、处理器和存储装置;
所述图像采集装置,用于采集图像;
所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至10任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811247895.3A CN109214366B (zh) | 2018-10-24 | 2018-10-24 | 局部目标重识别方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811247895.3A CN109214366B (zh) | 2018-10-24 | 2018-10-24 | 局部目标重识别方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109214366A CN109214366A (zh) | 2019-01-15 |
CN109214366B true CN109214366B (zh) | 2021-05-04 |
Family
ID=64996266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811247895.3A Active CN109214366B (zh) | 2018-10-24 | 2018-10-24 | 局部目标重识别方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109214366B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476070A (zh) * | 2019-01-24 | 2020-07-31 | 深圳市商汤科技有限公司 | 图像处理方法、装置、电子设备以及计算机可读存储介质 |
CN110705474B (zh) * | 2019-09-30 | 2022-05-03 | 清华大学 | 一种行人属性识别方法和装置 |
CN111259720B (zh) * | 2019-10-30 | 2023-05-26 | 北京中科研究院 | 基于自监督代理特征学习的无监督行人重识别方法 |
CN110866532B (zh) * | 2019-11-07 | 2022-12-30 | 浙江大华技术股份有限公司 | 对象的匹配方法和装置、存储介质及电子装置 |
CN111126279B (zh) * | 2019-12-24 | 2024-04-16 | 深圳市优必选科技股份有限公司 | 一种手势互动方法及手势互动装置 |
CN111160275B (zh) * | 2019-12-30 | 2023-06-23 | 深圳元戎启行科技有限公司 | 行人重识别模型训练方法、装置、计算机设备和存储介质 |
CN111582107B (zh) * | 2020-04-28 | 2023-09-29 | 浙江大华技术股份有限公司 | 目标重识别模型的训练方法、识别方法、电子设备及装置 |
CN112115879B (zh) * | 2020-09-21 | 2024-03-08 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种遮挡敏感的自监督行人重识别方法及系统 |
CN112752118B (zh) * | 2020-12-29 | 2023-06-27 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
CN112686176B (zh) * | 2020-12-30 | 2024-05-07 | 深圳云天励飞技术股份有限公司 | 目标重识别方法、模型训练方法、装置、设备及存储介质 |
CN116052220B (zh) * | 2023-02-07 | 2023-11-24 | 北京多维视通技术有限公司 | 行人重识别方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005760A (zh) * | 2015-06-11 | 2015-10-28 | 华中科技大学 | 一种基于有限混合模型的行人再识别方法 |
CN107316031A (zh) * | 2017-07-04 | 2017-11-03 | 北京大学深圳研究生院 | 用于行人重识别的图像特征提取方法 |
CN107527044A (zh) * | 2017-09-18 | 2017-12-29 | 北京邮电大学 | 一种基于搜索的多张车牌清晰化方法及装置 |
CN107977656A (zh) * | 2017-12-26 | 2018-05-01 | 北京大学 | 一种行人重识别方法及系统 |
CN108446667A (zh) * | 2018-04-04 | 2018-08-24 | 北京航空航天大学 | 基于生成对抗网络数据增强的人脸表情识别方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11176382B2 (en) * | 2017-03-06 | 2021-11-16 | Conduent Business Services, Llc | System and method for person re-identification using overhead view images |
-
2018
- 2018-10-24 CN CN201811247895.3A patent/CN109214366B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005760A (zh) * | 2015-06-11 | 2015-10-28 | 华中科技大学 | 一种基于有限混合模型的行人再识别方法 |
CN107316031A (zh) * | 2017-07-04 | 2017-11-03 | 北京大学深圳研究生院 | 用于行人重识别的图像特征提取方法 |
CN107527044A (zh) * | 2017-09-18 | 2017-12-29 | 北京邮电大学 | 一种基于搜索的多张车牌清晰化方法及装置 |
CN107977656A (zh) * | 2017-12-26 | 2018-05-01 | 北京大学 | 一种行人重识别方法及系统 |
CN108446667A (zh) * | 2018-04-04 | 2018-08-24 | 北京航空航天大学 | 基于生成对抗网络数据增强的人脸表情识别方法和装置 |
Non-Patent Citations (2)
Title |
---|
Wei-Shi Zheng;Xiang Li;Tao Xiang;Shengcai Liao等.Partial Person Re-Identification.《2015 IEEE International Conference on Computer Vision (ICCV)》.2016, * |
基于核学习和距离相似度量的行人再识别;胡彬,邵叶泰;《信息与控制》;20171030;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109214366A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109214366B (zh) | 局部目标重识别方法、装置及系统 | |
CN108710847B (zh) | 场景识别方法、装置及电子设备 | |
Noh et al. | Hvpr: Hybrid voxel-point representation for single-stage 3d object detection | |
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
Rahtu et al. | Affine invariant pattern recognition using multiscale autoconvolution | |
CN109960742B (zh) | 局部信息的搜索方法及装置 | |
CN108875487B (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
CN109063776B (zh) | 图像再识别网络训练方法、装置和图像再识别方法及装置 | |
CN111680678A (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
JP2020205048A (ja) | 深層学習ネットワークに基づく対象検出方法、装置及び電子機器 | |
Biswas et al. | A new perceptual hashing method for verification and identity classification of occluded faces | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN111639667B (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
CN112037254A (zh) | 目标跟踪方法及相关装置 | |
CN112464798A (zh) | 文本识别方法及装置、电子设备、存储介质 | |
CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
Wang et al. | NAS-YOLOX: a SAR ship detection using neural architecture search and multi-scale attention | |
Wang et al. | Instance segmentation of point cloud captured by RGB-D sensor based on deep learning | |
Kant | Learning gaussian maps for dense object detection | |
CN115630660B (zh) | 基于卷积神经网络的条码定位方法和装置 | |
CN116912924A (zh) | 一种目标图像识别方法和装置 | |
CN111209886A (zh) | 一种基于深度神经网络的快速行人再识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |