CN110795592A - 图片处理方法、装置及设备 - Google Patents
图片处理方法、装置及设备 Download PDFInfo
- Publication number
- CN110795592A CN110795592A CN201911035791.0A CN201911035791A CN110795592A CN 110795592 A CN110795592 A CN 110795592A CN 201911035791 A CN201911035791 A CN 201911035791A CN 110795592 A CN110795592 A CN 110795592A
- Authority
- CN
- China
- Prior art keywords
- picture
- sample
- model
- feature vector
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供图片处理方法、装置及设备,其中,方法包括:获取包含第一对象的第一图片以及包含第一服装的第二图片;将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。该技术方案可以实现准确提取图片中对象的特征,从而实现提高图片中对象的识别准确率。
Description
技术领域
本发明涉及图像处理领域,尤其涉及图片处理方法、装置及设备。
背景技术
行人重识别也称行人再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术,可以应用于智能视频监控、智能安保等领域中,例如嫌犯追踪、失踪人口的寻找等。
目前的行人重识别方法在进行特征提取时很大程度上将行人的穿着,比如服装的颜色、款式等,作为了该行人区别于他人的特征。因此,一旦行人更换了自己的服装之后,当前的算法会很难准确识别。
发明内容
本发明实施例提供的图片处理方法、装置及设备,可以准确识别第一对象和第二对象是否为同一个对象,从而提高对象识别的准确率。
第一方面,本发明实施例提供一种图片处理方法,包括:
获取包含第一对象的第一图片以及包含第一服装的第二图片;
将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;
获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;
根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。
实施本发明实施例,通过获取包含第一对象的第一图片以及包含第一服装的第二图片,将第一图片和第二图片输入第一模型,得到第一融合特征向量,获取包含第二对象的第三图片与包含第三图片中截取的第二服装的第四图片的第二融合特征向量,根据第一融合特征向量和第二融合特征向量之间的目标相似度,确定第一对象与第二对象是否为同一个对象;由于在对待查询对象(第一对象)进行特征提取时,将待查询对象的服装替换为与待查询对象可能穿过的第一服装,即提取待查询对象的特征时弱化了服装的特征,而重点在于提取更具区分性的其他特征,从而在待查询对象更换服装后,仍然能够达到很高的识别准确率。
结合第一方面,在一种可能的实现方式中,所述根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象,包括:若所述第一融合特征向量和所述第二融合特征向量之间的目标相似度大于第一阈值,则确定所述第一对象与所述第二对象为同一个对象。
通过比较第一融合特征向量和所述第二融合特征向量之间的目标相似度来确定第一对象与第二对象是否为同一对象,提高对象识别准确率。
结合第一方面,在一种可能的实现方式中,所述获取包含第一对象的第一图片以及包含第一服装的第二图片之前,还包括:将所述第三图片和所述第四图片输入所述第一模型,得到所述第二融合特征向量。
通过预先将第三图片和第四图片输入第一模型,得到第二融合特征向量,可以提高获取第二融合特征向量的效率。
结合第一方面,在一种可能的实现方式中,所述方法还包括:若所述第一对象与所述第二对象为同一个对象,获取拍摄所述第三图片的终端设备的标识;根据所述终端设备的标识,确定所述终端设备设置的目标地理位置,并建立所述目标地理位置与所述第一对象之间的关联关系。
通过获取拍摄第三图片的终端设备的标识,从而确定拍摄第三图片的终端设备设置的目标地理位置,并根据目标地理位置与第一对象之间的关联关系,进而确定第一对象可能的位置区域,可提高对第一对象的查找效率。
结合第一方面,在一种可能的实现方式中,所述获取包含目标对象的第一图片以及待查询对象的第二图片之前,还包括:获取第一样本图片和第二样本图片,所述第一样本图片和所述第二样本图片均包含第一样本对象,所述第一样本对象在所述第一样本图片关联的服装与所述第一样本对象在所述第二样本图片关联的服装不同;从所述第一样本图片中截取包含第一样本服装的第三样本图片,所述第一样本服装为所述第一样本对象在所述第一样本图片关联的服装;获取包含第二样本服装的第四样本图片,所述第二样本服装与所述第一样本服装之间的相似度大于第二阈值;根据所述第一样本图片、所述第二样本图片、所述第三样本图片以及所述第四样本图片训练第二模型和第三模型,所述第三模型与所述第二模型相同,所述第一模型为所述第二模型或者所述第三模型。
通过样本图片对第二模型和第三模型进行训练,使得第二模型和第三模型更准确,以便于后续精确通过第二模型和第三模型提取出图片中更具区分性的特征。
结合第一方面,在一种可能的实现方式中,所述根据所述第一样本图片、所述第二样本图片、所述第三样本图片以及所述第四样本图片训练第二模型和第三模型,包括:将所述第一样本图片和所述第三样本图片输入第二模型,得到第一样本特征向量,所述第一样本特征向量用于表示所述第一样本图片和所述第三样本图片的融合特征;将所述第二样本图片和所述第四样本图片输入第三模型,得到第二样本特征向量,所述第二样本特征向量用于表示所述第二样本图片和所述第四样本图片的融合特征;根据所述第一样本特征向量和所述第二样本特征向量,计算模型总损失,并根据所述模型总损失,训练所述第二模型和所述第三模型。
通过样本图片的特征向量计算第二模型和第三模型的总损失,并根据模型总损失训练第二模型和第三模型,以便于后续精确通过第二模型和第三模型提取出图片中更具区分性的特征。
结合第一方面,在一种可能的实现方式中,所述第一样本图片和所述第二样本图片为样本图库中的图片,所述样本图库包括M个样本图片,所述M个样本图片与N个样本对象关联,所述M大于或者等于2N,所述M、N为大于或者等于1的整数;所述根据所述第一样本特征向量和所述第二样本特征向量,计算模型总损失,包括:根据所述第一样本特征向量,计算第一概率向量,所述第一概率向量用于表示所述第一样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;根据所述第二样本特征向量,计算第二概率向量,所述第二概率向量用于表示所述第二样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;根据所述第一概率向量和所述第二概率向量,计算模型总损失。
通过分别计算第一样本特征与N个样本对象中每个样本对象的概率得到第一概率向量,以及计算第二样本特征与N个样本对象中每个样本对象的概率得到第二概率向量,可以更准确的通过第一概率向量与第二概率向量确定出模型总损失,从而确定当前模型是否训练完成。
结合第一方面,在一种可能的实现方式中,所述根据所述第一概率向量和所述第二概率向量,计算模型总损失,包括:根据所述第一概率向量,计算所述第一模型的模型损失;根据所述第二概率向量,计算所述第二模型的模型损失;根据所述第一模型的模型损失和所述第二模型的模型损失,计算模型总损失。
通过分别计算第一模型的模型损失与第二模型的模型损失,并根据第一模型的模型损失与第二模型的模型损失确定模型总损失,可以更准确确定出模型总损失,从而确定当前模型提取出的图片中的特征是否具有区分性,从而确定当前模型是否训练完成。
第二方面,提供图片处理装置,包括:
第一获取模块,用于获取包含第一对象的第一图片以及包含第一服装的第二图片;
第一融合模块,用于将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;
第二获取模块,用于获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;
对象确定模块,用于根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。
结合第二方面,在一种可能的实现方式中,所述对象确定模块,用于若所述第一融合特征向量和所述第二融合特征向量之间的目标相似度大于第一阈值,则确定所述第一对象与所述第二对象为同一个对象。
结合第二方面,在一种可能的实现方式中,所述装置还包括:第二融合模块,用于将所述第三图片和所述第四图片输入所述第一模型,得到所述第二融合特征向量。
结合第二方面,在一种可能的实现方式中,所述装置还包括:位置确定模块,用于若所述第一对象与所述第二对象为同一个对象,获取拍摄所述第三图片的终端设备的标识;根据所述终端设备的标识,确定所述终端设备设置的目标地理位置,并建立所述目标地理位置与所述第一对象之间的关联关系。
结合第二方面,在一种可能的实现方式中,所述装置还包括:训练模块,用于获取第一样本图片和第二样本图片,所述第一样本图片和所述第二样本图片均包含第一样本对象,所述第一样本对象在所述第一样本图片关联的服装与所述第一样本对象在所述第二样本图片关联的服装不同;从所述第一样本图片中截取包含第一样本服装的第三样本图片,所述第一样本服装为所述第一样本对象在所述第一样本图片关联的服装;获取包含第二样本服装的第四样本图片,所述第二样本服装与所述第一样本服装之间的相似度大于第二阈值;根据所述第一样本图片、所述第二样本图片、所述第三样本图片以及所述第四样本图片训练第二模型和第三模型,所述第三模型与所述第二模型相同,所述第一模型为所述第二模型或者所述第三模型。
结合第二方面,在一种可能的实现方式中,所述训练模块,用于将所述第一样本图片和所述第三样本图片输入第二模型,得到第一样本特征向量,所述第一样本特征向量用于表示所述第一样本图片和所述第三样本图片的融合特征;将所述第二样本图片和所述第四样本图片输入第三模型,得到第二样本特征向量,所述第二样本特征向量用于表示所述第二样本图片和所述第四样本图片的融合特征;根据所述第一样本特征向量和所述第二样本特征向量,计算模型总损失,并根据所述模型总损失,训练所述第二模型和所述第三模型。
结合第二方面,在一种可能的实现方式中,所述第一样本图片和所述第二样本图片为样本图库中的图片,所述样本图库包括M个样本图片,所述M个样本图片与N个样本对象关联,所述M大于或者等于2N,所述M、N为大于或者等于1的整数;所述训练模块,还用于根据所述第一样本特征向量,计算第一概率向量,所述第一概率向量用于表示所述第一样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;根据所述第二样本特征向量,计算第二概率向量,所述第二概率向量用于表示所述第二样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;根据所述第一概率向量和所述第二概率向量,计算模型总损失。
结合第二方面,在一种可能的实现方式中,所述训练模块,还用于根据所述第一概率向量,计算所述第一模型的模型损失;根据所述第二概率向量,计算所述第二模型的模型损失;根据所述第一模型的模型损失和所述第二模型的模型损失,计算模型总损失。
第三方面,提供图片处理设备,包括处理器、存储器、以及输入输出接口,所述处理器、存储器和输入输出接口相互连接,其中,所述输入输出接口用于输入或输出数据,所述存储器用于存储图片处理设备执行上述方法的应用程序代码,所述处理器被配置用于执行上述第一方面的方法。
第四方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图片处理方法的流程示意图;
图2是本发明实施例提供的另一种图片处理方法的流程示意图;
图3是本发明实施例提供的一种第一样本图片、第三样本图片和第四样本图片的示意图;
图4为本发明实施例提供的一种训练模型的示意图;
图5是本发明实施例提供的一种图片处理装置的组成结构示意图;
图6是本发明实施例提供的一种图片处理设备的组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的方案适用于确定不同的图片中的对象是否为同一对象的场景中,通过获取包含第一对象的第一图片(待查询的图片)以及包含第一服装的第二图片,将第一图片和第二图片输入第一模型,得到第一融合特征向量,获取包含第二对象的第三图片与包含第三图片中截取的第二服装的第四图片的第二融合特征向量,根据第一融合特征向量和第二融合特征向量之间的目标相似度,确定第一对象与第二对象是否为同一个对象。例如,本发明实施例的方案适用于嫌犯追踪、失踪人口寻找等场景中。在一种可能的场景中,例如警方在查找犯罪嫌疑人时,通过将犯罪嫌疑人的图片与犯罪嫌疑人穿过的服装(或者预测犯罪嫌疑人可能穿的服装)的图片输入第一模型进行特征提取得到第一融合特征向量,将预先拍摄到的图片(例如各大商场、超市、路口、银行等位置拍摄到的行人图片以及监控视频中截取到的行人图片)以及从该图片中截取包含服装的图片,输入第一模型进行特征提取得到第二融合特征向量,根据第一融合特征向量与第二融合特征向量之间的相似度确定第三图片中的第二对象是否为第一对象,即确定第二对象是否为犯罪嫌疑人,还可以在确定第三图片中的第二对象为犯罪嫌疑人时,获取上传该第三图片的摄像设备的地理位置,从而确定犯罪嫌疑人的运动轨迹,从而实现警方对犯罪嫌疑人的追踪以及逮捕。
参见图1,图1是本发明实施例提供的一种图片处理方法的流程示意图,如图所示,该方法包括:
S101,获取包含第一对象的第一图片以及包含第一服装的第二图片。
这里,第一图片可以包括第一对象的面部和第一对象的服装,可以是第一对象的全身照片或者半身照片,等等。在一种可能的场景中,例如第一图片为警方提供的某个犯罪嫌疑人的图片,则第一对象为该犯罪嫌疑人,第一图片可以为包含该犯罪嫌疑人未遮挡面部和服装的全身图片,或者包含该犯罪嫌疑人未遮挡面部和服装的半身图片等;或者第一对象为失踪对象的亲属提供的失踪对象(例如失踪儿童、失踪老年人等)的照片,则第一图片可以为包含失踪对象的未遮挡面部和服装的全身照片,或者包含失踪对象的未遮挡面部和服装的半身照片。第二图片可以包括第一对象可能穿过的服装的图片或者预测该第一对象可能穿的服装,第二图片中只包括服装,不包括其他对象(例如行人),第二图片中的服装与第一图片中的服装可以不同。例如,第一图片中的第一对象穿着的服装为款式1的蓝色服装,则第二图片中的服装为除款式1的蓝色服装以外的服装,例如可以为款式1的红色服装、款式2的蓝色服装,等等,可以理解的是,第二图片中的服装与第一图片中的服装可以相同,即预测该第一对象仍然穿着该第一图片中的服装。
S102,将第一图片和第二图片输入第一模型,得到第一融合特征向量,第一融合特征向量用于表示第一图片和第二图片的融合特征。
这里,将第一图片和第二图片输入第一模型,通过第一模型对第一图片和第二图片进行特征提取,得到包含第一图片和第二图片的融合特征的第一融合特征向量,该第一融合特征向量可以为进行降维处理后的低维特征向量。
其中,第一模型可以是图4中的第二模型或者第三模型,第二模型与第三模型相同。具体实现中,通过第一模型对第一图片和第二图片进行特征提取的过程可参考图4对应的实施例中第二模型、第三模型提取融合特征过程。例如,第一模型为第二模型,则可以通过第一特征提取模块对第一图片进行特征提取,通过第二特征提取模块对第二图片进行特征提取,然后将第一特征提取模块提取的特征与第二特征提取模块提取的特征通过第一融合模块得到融合特征向量,可选的,再通过第一降维模块对该融合特征向量进行降维处理,得到第一融合特征向量。
需要说明的是,可以预先对第二模型和第三模型进行训练,使得通过使用训练后的第二模型或者第三模型提取到的第一融合特征向量更准确,具体地对第二模型和第三模型进行训练的过程可参考图4对应的实施例中的描述,此处不做过多描述。
S103,获取第二融合特征向量,其中,第二融合特征向量用于表示第三图片和第四图片的融合特征,第三图片包含第二对象,第四图片是从第三图片截取的包含第二服装的图片。
这里,第三图片可以是架设在各大商场、超市、路口、银行或者其他位置的摄像设备拍摄到的包含行人的图片,或者可以是架设在各大商场、超市、路口、银行或者其他位置的监控设备拍摄的监控视频中截取到的包含行人的图片。数据库中可以存储多个第三图片,则对应的第二融合特征向量的数量也可以为多个。
在获取第二融合特征向量之前,即在获取到第三图片的情况下,可以将每张第三图片和从该张第三图片中截取的包含第二服装的第四图片输入第一模型,通过第一模型对第三图片和第四图片进行特征提取,得到第二融合特征向量,并且将第三图片与第四图片对应的第二融合特征向量对应存储到数据库中,进而可以从数据库中获取第二融合特征向量,从而确定第二融合特征向量对应的第三图片中的第二对象。具体通过第一模型对第三图片和第四图片进行特征提取的过程可参考前述通过第一模型对第一图片和第二图片进行特征提取的过程,在此不再赘述。一个第三图片对应一个第二融合特征向量,数据库中可以存储多个第三图片以及每个第三图片对应第二融合特征向量。
在获取第二融合特征向量时,会获取数据库中的每个第二融合特征向量。具体实现中,可以预先对第一模型进行训练,使得通过使用训练后的第一模型提取到的第二融合特征向量更准确,具体地对第一模型进行训练的过程可参考图4对应的实施例中的描述,此处不做过多描述。
S104,根据第一融合特征向量和第二融合特征向量之间的目标相似度,确定第一对象与第二对象是否为同一个对象。
这里,可以根据第一融合特征向量和第二融合特征向量之间的目标相似度与第一阈值的关系,确定第一对象与第二对象是否为同一个对象。第一阈值可以为60%、70%、80%等任意数值,此处不对第一阈值进行限定。可选的,可以采用Siamese网络架构来计算第一融合特征向量与第二融合特征向量之间的目标相似度。
进一步地,由于数据库中包含多个第二融合特征向量,因此需要计算第一融合特征向量与数据库中包含的多个第二融合特征向量中的每个第二融合特征向量之间的目标相似度,从而根据目标相似度是否大于第一阈值确定第一对象与数据库中的各个第二融合特征向量对应的第二对象是否为同一个对象。若第一融合特征向量和第二融合特征向量之间的目标相似度大于第一阈值,则确定第一对象与第二对象为同一个对象;若第一融合特征向量和第二融合特征向量之间的目标相似度小于或者等于第一阈值,则确定第一对象与第二对象不为同一个对象。通过上述方式,可以确定出数据库中的多张第三图片中是否存在第一对象穿第一服装或者与第一服装相似的图片。
具体实现中,可以采用现有的相似度计算方法对第一融合特征向量和第二融合特征向量之间的目标相似度进行计算,例如欧氏距离、余弦距离、曼哈顿距离等。若第一阈值为80%,且计算得到的目标相似度为60%,则确定第一对象与第二对象不为同一个对象;若目标相似度为85%,则确定第一对象与第二对象为同一个对象。
在一种可能的实现方式中,若第一对象与第二对象为同一个对象,获取拍摄第三图片的终端设备的标识;根据终端设备的标识,确定终端设备设置的目标地理位置,并建立目标地理位置与第一对象之间的关联关系。
这里,第三图片的终端设备的标识用于唯一地标识拍摄第三图片的终端设备,例如可以包括拍摄第三图片的终端设备的设备出厂编号、终端设备的位置编号、终端设备的代号等用于唯一地指示该终端设备的标识;终端设备设置的目标地理位置可以包括拍摄第三图片的终端设备的地理位置或者上传第三图片的终端设备的地理位置,地理位置可以具体到“XX省XX市XX区XX路XX单元XX层”,其中,上传第三图片的终端设备的地理位置可以为终端设备上传第三图片时对应的服务器IP地址;这里,当拍摄第三图片的终端设备的地理位置与上传第三图片的终端设备的地理位置不一致时,可以将拍摄第三图片的终端设备的地理位置确定为目标地理位置。目标地理位置与第一对象之间的关联关系可以表示第一对象处于目标地理位置所在区域内,例如目标地理位置为XX省XX市XX区XX路XX单元XX层,则可以表示第一对象所在的位置即XX省XX市XX区XX路XX单元XX层,或者第一对象所在的位置为目标地理位置一定范围内。
具体实现中,在确定第一对象与第二对象为同一个对象的情况下,确定包含该第二对象的第三图片,并获取拍摄该第三图片的终端设备的标识,从而确定与该终端设备的标识对应的终端设备,进而确定该终端设备设置的目标地理位置,并根据目标地理位置与第一对象之间的关联关系确定出第一对象所在的位置,实现对第一对象的追踪。
可选地,还可以确定终端设备拍摄第三图片的时刻,拍摄第三图片的时刻代表在该时刻时第一对象处于该终端设备所在的目标地理位置,由此可根据时间间隔推断出第一对象当前可能处于的位置范围,从而可以对第一对象当前可能处于的位置范围内的终端设备进行搜索,可提高查找第一对象的位置的效率。
本发明实施例中,通过获取包含第一对象的第一图片以及包含第一服装的第二图片,将第一图片和第二图片输入第一模型,得到第一融合特征向量,获取包含第二对象的第三图片与包含第三图片中截取的第二服装的第四图片的第二融合特征向量,根据第一融合特征向量和第二融合特征向量之间的目标相似度,确定第一对象与第二对象是否为同一个对象;由于在对待第一对象进行特征提取时,将第一对象的服装替换为与第一对象可能穿过的第一服装,即提取第一对象的特征时弱化了服装的特征,而重点在于提取更具区分性的其他特征,从而在目标对象更换服装后,仍然能够达到很高的识别准确率;在确定第一对象与第二对象为同一个对象的情况下,通过获取拍摄包含第二对象的第三图片的终端设备的标识,从而确定拍摄第三图片的终端设备的地理位置,进而确定第一对象可能的位置区域,可提高对第一对象的查找效率。
在一种可能的实现方式中,为了使得模型提取到的图片的特征更准确,在将第一图片和第二图片输入模型得到第一融合特征向量(使用模型)之前,还可以使用大量样本图片对模型进行训练,并根据训练得到的损失值对模型进行调整,使得训练完成的模型提取到的图片中的特征更准确,具体训练模型的步骤如图2所示,图2是本发明实施例提供的另一种图片处理方法的流程示意图,如图所示,该方法包括:
S201,获取第一样本图片和第二样本图片,第一样本图片和第二样本图片均包含第一样本对象,第一样本对象在第一样本图片关联的服装与第一样本对象在第二样本图片关联的服装不同。
这里,第一样本对象在第一样本图片关联的服装即第一样本图片中第一样本对象穿着的服装,其中,不包括第一样本图片中第一样本对象未穿着的服装,例如第一样本对象手中拿着的服装,或者身旁放着的未穿着的服装。第一样本图片中的第一样本对象的服装与第二样本图片中的第一样本对象的服装不同。服装不同可以包括服装的颜色不同、服装的款式不同、服装的颜色以及款式都不同等。
在一种可能的实现方式中,可以预先设置一个样本图库,则第一样本图片和第二样本图片为样本图库中的图片,其中,样本图库包括M个样本图片,M个样本图片与N个样本对象关联,M大于或者等于2N,M、N为大于或者等于1的整数。可选地,样本图库中的每个样本对象对应一个编号,例如可以为样本对象的ID号、或者用于唯一地标识该样本对象的数字编号等。例如样本图库中有5000个样本对象,则5000个样本对象的编号可以为1-5000,可以理解的是,1个编号可对应多张样本图片,即样本图库中可包括编号1的样本对象的多张样本图片(即编号1的样本对象穿不同服装的图片)、编号2的样本对象的多张样本图片、编号3的样本对象的多张样本图片,等等。编号相同的多张样本图片中,该样本对象穿的服装不同,即同一样本对象对应的多张图片中每张图片中的样本对象穿的服装不同。第一样本对象可以是该N个样本对象中的任意一个样本对象。第一样本图片可以是该第一样本图像的多张样本图片中的任意一张样本图片。
S202,从第一样本图片中截取包含第一样本服装的第三样本图片,第一样本服装为第一样本对象在第一样本图片关联的服装。
这里,第一样本服装即第一样本图片中第一样本对象穿着的服装,第一样本服装可以包括衣服、裤子、裙子、衣服加裤子等。第三样本图片可以为从第一样本图片截取的包含第一样本服装的图片,如图3所示,图3是本发明实施例提供的一种第一样本图片、第三样本图片和第四样本图片的示意图,图3中,n1为第一样本图片,n2为第三样本图片,n2为从n1中截取得到的。当第一样本图片中的第一样本对象穿有多件服装时,第一样本服装可以为第一样本图片中占最大比例的服装,例如第一样本对象的外套在第一样本图片中占的比例为30%,第一样本对象的衬衫在第一样本图片中占的比例为10%,则第一样本服装为第一样本对象的外套,则第三样本图片为包含第一样本对象的外套的图片。
S203,获取包含第二样本服装的第四样本图片,第二样本服装与第一样本服装之间的相似度大于第二阈值。
这里,第四样本图片为包含第二样本服装的图片,可以理解的是,第四样本图片中只包含第二样本服装,不包含样本对象。
具体实现中,可以通过将第三样本图片输入到互联网中查找第四样本图片,例如将第三样本图片输入到具有图片识别功能的应用程序中进行查找与第三样本图片中的第一样本服装相似度大于第二阈值的第二样本服装所在的图片,例如可以将第三样本图片输入到淘宝APP或者百度APP中进行查找得到多张图片,从中选取多张图片中与第一样本服装最相似且图片中只包含第二样本服装的一张图片,即第四样本图片。
S204,根据第一样本图片、第二样本图片、第三样本图片以及第四样本图片训练第二模型和第三模型,第三模型与第二模型相同,第一模型为第二模型或者第三模型。
这里,具体根据第一样本图片、第二样本图片、第三样本图片以及第四样本图片训练第二模型和第三模型可包括以下步骤:
一、将第一样本图片和第三样本图片输入第二模型,得到第一样本特征向量,第一样本特征向量用于表示第一样本图片和第三样本图片的融合特征。
下面具体介绍将第一样本图片和第三样本图片输入第二模型,得到第一样本特征向量的过程。可参考图4,图4为本发明实施例提供的一种训练模型的示意图,如图所示:
首先,将第一样本图片N1和第三样本图片N3输入第二模型,通过第二模型中的第一特征提取模块对第一样本图片进行特征提取,得到第一特征矩阵,以及通过第二模型中的第二特征提取模块对第三样本图片进行特征提取,得到第二特征矩阵;接着,通过第二模型中的第一融合模块对第一特征矩阵与第二特征矩阵进行融合处理得到第一融合矩阵;然后,通过第二模型中的第一降维模块对第一融合矩阵进行降维处理,得到第一样本特征向量;最后,通过第一分类模块对第一样本特征向量进行分类,得到第一概率向量。
其中,第一特征提取模块与第二特征提取模块可以包括多个残差网络,用于对图片进行特征提取,残差网络中可包括多个残差块,残差块由卷积层组成,通过残差网络中的残差块对图片进行特征提取,可以压缩每次通过残差网络中的卷积层对图片进行卷积得到的图片对应的特征,减少模型中的参数量以及计算量,第一特征提取模块与第二特征提取模块中的参数不同;第一融合模块用于融合通过第一特征提取模块提取到的第一样本图片的特征和通过第二特征提取模块提取到的第三样本图片的特征,例如通过第一特征提取模块提取到的第一样本图片的特征为512维的特征矩阵,通过第二特征提取模块提取到的第三样本图片的特征为512维的特征矩阵,通过第一融合模块融合第一样本图片的特征和第三样本图片的特征后得到1024维的特征矩阵;第一降维模块可以为全连接层,用于减少模型训练中的计算量,例如融合第一样本图片的特征和第三样本图片的特征后的矩阵为高维特征矩阵,通过第一降维模块对高维特征矩阵进行降维可以得到低维特征矩阵,例如高维特征矩阵为1024维,通过第一降维模块进行降维可以得到256维的低维特征矩阵,通过降维处理可以减少模型训练中的计算量;第一分类模块用于对第一样本特征向量进行分类,得到第一样本特征向量对应的第一样本图片中的样本对象为样本图库中N个样本对象中每个样本对象的概率。
二、将第二样本图片和第四样本图片输入第三模型,得到第二样本特征向量,第二样本特征向量用于表示第二样本图片和第四样本图片的融合特征。
下面具体介绍将第二样本图片和第四样本图片输入第三模型,得到第二样本特征向量的过程。可参考图4,图4为本发明实施例提供的一种训练模型的示意图:
首先,将第二样本图片N2和第四样本图片N4输入第三模型,通过第三模型中的第三特征提取模块对第二样本图片N2进行特征提取,得到第三特征矩阵,以及通过第四特征提取模块对第四样本图片N4进行特征提取,得到第四特征矩阵;接着,通过第二模型中的第二融合模块对第三特征矩阵与第四特征矩阵进行融合处理得到第二融合矩阵;最后,通过第三模型中的第二降维模块对第二融合矩阵进行降维处理,得到第二样本特征向量;最后,通过第二分类模块对第二样本特征向量进行分类,得到第二概率向量。
其中,第三特征提取模块与第四特征提取模块可以包括多个残差网络,用于对图片进行特征提取,残差网络中可包括多个残差块,残差块由卷积层组成,通过残差网络中的残差块对图片进行特征提取,可以压缩每次通过残差网络中的卷积层对图片进行卷积得到的图片对应的特征,减少模型中的参数量以及计算量;其中,第三特征提取模块与第四特征提取模块中的参数不同,第三特征提取模块与第一特征提取模块中的参数可以相同,第四特征提取模块与第二特征提取模块中的参数可以相同。第二融合模块用于融合通过第三特征提取模块提取到的第二样本图片的特征和通过第四特征提取模块提取到的第四样本图片的特征,例如通过第三特征提取模块提取到的第二样本图片的特征为512维的特征矩阵,通过第四特征提取模块提取到的第四样本图片的特征为512维的特征矩阵,通过第二融合模块融合第二样本图片的特征和第四样本图片的特征后得到1024维的特征矩阵;第二降维模块可以为全连接层,用于减少模型训练中的计算量,例如融合第二样本图片的特征和第四样本图片的特征后的矩阵为高维特征矩阵,通过第二降维模块对高维特征矩阵进行降维可以得到低维特征矩阵,例如高维特征矩阵为1024维,通过第二降维模块进行降维可以得到256维的低维特征矩阵,通过降维处理可以减少模型训练中的计算量;第二分类模块用于对第二样本特征向量进行分类,得到第二样本特征向量对应的第二样本图片中的样本对象为样本图库中N个样本对象中每个样本对象的概率。
图4中,第二样本图片N2为从第一样本图片N1中截取的样本对象的服装a的图片,第三样本图片N3中的服装为服装b,服装a与服装b为不同的服装,第四样本图片N4中的服装即服装a,第一样本图片N1中的样本对象与第二样本图片N2中的样本对象为同一个样本对象,例如都为编号1的样本对象,图4中的第二样本图片N2为包含样本对象服装的半身图片,也可以为包含样本对象服装的全身图片。
步骤一~步骤二中,第二模型与第三模型可以为两个参数相同的模型,在第二模型与第三模型为两个参数相同的模型的情况下,通过第二模型对第一样本图片和第三样本图片进行特征提取与通过第三模型对第二样本图片和第四样本图片进行特征提取可以同时进行。
三、根据第一样本特征向量和第二样本特征向量,计算模型总损失,并根据模型总损失,训练第二模型和第三模型。
具体根据第一样本特征向量和第二样本特征向量,计算模型总损失的方法可包括以下通过以下方式:
首先,根据第一样本特征向量,计算第一概率向量,第一概率向量用于表示第一样本图片中第一样本对象为N个样本对象中每个样本对象的概率。
这里,根据第一样本特征向量计算第一概率向量,该第一概率向量中包括N个值,每个值用于表示该第一样本图片中的第一样本对象为N个样本对象中每个样本对象的概率。具体可选的,例如N为3000,第一样本特征向量为低维的256维向量,将该第一样本特征向量与一个256*3000的向量相乘,即得到一个1*3000的向量,其中256*3000的向量中包含样本图库中3000个样本对象的特征。进一步对上述1*3000的向量进行归一化处理,得到第一概率向量,该第一概率向量中包含3000个概率,该3000个概率用于表示该第一样本对象为3000个样本对象中每个样本对象的概率。
其次,根据第二样本特征向量,计算第二概率向量,第二概率向量用于表示第二样本图片中第一样本对象为N个样本对象中每个样本对象的概率。
这里,根据第二样本特征向量计算第二概率向量,该第二概率向量中包括N个值,每个值用于表示该第二样本图片中的第二样本对象为N个样本对象中每个样本对象的概率。具体可选的,例如N为3000,第二样本特征向量为低维的256维向量,将该第二样本特征向量与一个256*3000的向量相乘,即得到一个1*3000的向量,其中256*3000的向量中包含样本图库中3000个样本对象的特征。进一步对上述1*3000的向量进行归一化处理,得到第二概率向量,该第二概率向量中包含3000个概率,该3000个概率用于表示该第二样本对象为3000个样本对象中每个样本对象的概率。
最后,根据第一概率向量和第二概率向量,计算模型总损失。
具体地,可以首先根据第一概率向量,计算第一模型的模型损失;接着,根据第二概率向量,计算第二模型的模型损失;最后,根据第一模型的模型损失和第二模型的模型损失,计算模型总损失,如图4所示,通过计算得到的模型总损失对第二模型与第三模型进行调整,即对第二模型中的第一特征提取模块、第一融合模块、第一降维模块以及第一分类模块,以及对第三模型中的第二特征提取模块、第二融合模块、第二降维模块以及第二分类模块进行调整。
从第一概率向量中获取最大概率值,并根据该最大概率值对应的样本对象的编号,以及该第一样本图片的编号,计算第二模型的模型损失,该第二模型的模型损失用于表示该最大概率值对应的样本对象的编号,以及该第一样本图片的编号之间的差异。计算得到的第二模型的模型损失越小,则说明第二模型更加准确,所提取的特征更具区分性。
从第二概率向量中获取最大概率值,并根据该最大概率值对应的样本对象的编号,以及该第二样本图片的编号,计算第三模型的模型损失,该第三模型的模型损失用于表示该最大概率值对应的样本对象的编号,以及该第二样本图片的编号之间的差异。计算得到的第三模型的模型损失越小,则说明第三模型更加准确,所提取的特征更具区分性。
这里,模型总损失可以为第二模型的模型损失与第三模型的模型损失之和。当第二模型的模型损失与第三模型的模型损失较大时,模型总损失也较大,即模型提取到的对象的特征向量的准确性较低,可以采用梯度下降法对第二模型中的各个模块(第一特征提取模块、第二特征提取模块、第一融合模块、第一降维模块)与第三模型中的各个模块(第三特征提取模块、第四特征提取模块、第二融合模块、第二降维模块)进行调整,使得模型训练的参数更准确,从而使得通过第二、第三模型提取到的图片中的对象的特征更准确,即弱化图片中的服装特征,使得提取到的图片中的特征更多为图片中的对象的特征,即提取到的特征更具区分性,从而通过第二、第三模型提取到的图片中的对象的特征更准确。
本发明实施例中是将样本图库中的任意一个样本对象(例如编号为1的样本对象)输入模型中进行训练的过程,通过将编号为2至N的任意样本对象输入模型中进行训练,可以提高模型提取图片中的对象的准确性,具体将样本图库中的编号为2至N的样本对象输入模型中进行训练的过程可参考将编号为1的样本对象输入模型中进行训练的过程,此处不做过多描述。
本发明实施例中,由于使用多个样本图库中的样本图片对模型进行训练,且样本图库中的每个样本图片对应一个编号,通过对该编号对应的某一个样本图片以及该样本图片中的服装图片进行特征提取得到融合特征向量,并对提取到的融合特征向量与该编号对应的样本图片的目标样本特征向量之间的相似度进行计算,可以根据计算得到的结果确定模型是否准确,在模型的损失较大(即模型不准确)的情况下,可以通过样本图库中的剩余样本图片继续对模型进行训练,由于使用了大量的样本图片对模型进行了训练,因此训练后的模型更准确,从而通过模型提取到的图片中的对象的特征更准确。
上面介绍了本发明实施例的方法,下面介绍本发明实施例的装置。
参见图5,图5是本发明实施例提供的一种图片处理装置的组成结构示意图,该装置50包括:
第一获取模块501,用于获取包含第一对象的第一图片以及包含第一服装的第二图片;
这里,第一图片可以包括第一对象的面部和第一对象的服装,可以是第一对象的全身照片或者半身照片,等等。在一种可能的场景中,例如第一图片为警方提供的某个犯罪嫌疑人的图片,则第一对象为该犯罪嫌疑人,第一图片可以为包含该犯罪嫌疑人未遮挡面部和服装的全身图片,或者包含该犯罪嫌疑人未遮挡面部和服装的半身图片等;或者第一对象为失踪对象的亲属提供的失踪对象(例如失踪儿童、失踪老年人等)的照片,则第一图片可以为包含失踪对象的未遮挡面部和服装的全身照片,或者包含失踪对象的未遮挡面部和服装的半身照片。第二图片可以包括第一对象可能穿过的服装的图片或者预测该第一对象可能穿的服装,第二图片中只包括服装,不包括其他对象(例如行人),第二图片中的服装与第一图片中的服装可以不同。例如,第一图片中的第一对象穿着的服装为款式1的蓝色服装,则第二图片中的服装为除款式1的蓝色服装以外的服装,例如可以为款式1的红色服装、款式2的蓝色服装,等等,可以理解的是,第二图片中的服装与第一图片中的服装可以相同,即预测该第一对象仍然穿着该第一图片中的服装。
第一融合模块502,用于将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;
这里,第一融合模块502将第一图片和第二图片输入第一模型,通过第一模型对第一图片和第二图片进行特征提取,得到包含第一图片和第二图片的融合特征的第一融合特征向量,该第一融合特征向量可以为进行降维处理后的低维特征向量。
其中,第一模型可以是图4中的第二模型或者第三模型,第二模型与第三模型相同。具体实现中,通过第一模型对第一图片和第二图片进行特征提取的过程可参考图4对应的实施例中第二模型、第三模型提取融合特征过程。例如,第一模型为第二模型,则第一融合模块502可以通过第一特征提取模块对第一图片进行特征提取,通过第二特征提取模块对第二图片进行特征提取,然后将第一特征提取模块提取的特征与第二特征提取模块提取的特征通过第一融合模块得到融合特征向量,可选的,再通过第一降维模块对该融合特征向量进行降维处理,得到第一融合特征向量。
需要说明的是,第一融合模块502可以预先对第二模型和第三模型进行训练,使得通过使用训练后的第二模型或者第三模型提取到的第一融合特征向量更准确,具体地第一融合模块502对第二模型和第三模型进行训练的过程可参考图4对应的实施例中的描述,此处不做过多描述。
第二获取模块503,用于获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;
这里,第三图片可以是架设在各大商场、超市、路口、银行或者其他位置的摄像设备拍摄到的包含行人的图片,或者可以是架设在各大商场、超市、路口、银行或者其他位置的监控设备拍摄的监控视频中截取到的包含行人的图片。数据库中可以存储多个第三图片,则对应的第二融合特征向量的数量也可以为多个。
在第二获取模块503获取第二融合特征向量时,会获取数据库中的每个第二融合特征向量。具体实现中,第二获取模块503可以预先对第一模型进行训练,使得通过使用训练后的第一模型提取到的第二融合特征向量更准确,具体地对第一模型进行训练的过程可参考图4对应的实施例中的描述,此处不做过多描述。
对象确定模块504,用于根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。
这里,对象确定模块504可以根据第一融合特征向量和第二融合特征向量之间的目标相似度与第一阈值的关系,确定第一对象与第二对象是否为同一个对象。第一阈值可以为60%、70%、80%等任意数值,此处不对第一阈值进行限定。可选的,对象确定模块504可以采用Siamese网络架构来计算第一融合特征向量与第二融合特征向量之间的目标相似度。
进一步地,由于数据库中包含多个第二融合特征向量,因此对象确定模块504需要计算第一融合特征向量与数据库中包含的多个第二融合特征向量中的每个第二融合特征向量之间的目标相似度,从而根据目标相似度是否大于第一阈值确定第一对象与数据库中的各个第二融合特征向量对应的第二对象是否为同一个对象。若第一融合特征向量和第二融合特征向量之间的目标相似度大于第一阈值,则对象确定模块504确定待第一对象与第二对象为同一个对象;若第一融合特征向量和第二融合特征向量之间的目标相似度小于或者等于第一阈值,则对象确定模块504确定第一对象与第二对象不为同一个对象。通过上述方式,对象确定模块504可以确定出数据库中的多张第三图片中是否存在第一对象穿第一服装或者与第一服装相似的图片。
在一种可能的设计中,所述对象确定模块504,用于若所述第一融合特征向量和所述第二融合特征向量之间的目标相似度大于第一阈值,则确定所述第一对象与所述第二对象为同一个对象。
具体实现中,对象确定模块504可以采用现有的相似度计算方法对第一融合特征向量和第二融合特征向量之间的目标相似度进行计算,例如欧氏距离、余弦距离、曼哈顿距离等。若第一阈值为80%,且计算得到的目标相似度为60%,则确定第一对象与第二对象不为同一个对象;若目标相似度为85%,则确定第一对象与第二对象为同一个对象。
在一种可能的设计中,所述装置50还包括:
第二融合模块505,用于将所述第三图片和所述第四图片输入所述第一模型,得到所述第二融合特征向量。
在第二融合模块505获取第二融合特征向量之前,即在获取到第三图片的情况下,可以将每张第三图片和从该张第三图片中截取的包含第二服装的第四图片输入第一模型,通过第一模型对第三图片和第四图片进行特征提取,得到第二融合特征向量,并且将第三图片与第四图片对应的第二融合特征向量对应存储到数据库中,进而可以从数据库中获取第二融合特征向量,从而确定第二融合特征向量对应的第三图片中的第二对象。具体第二融合模块505第一模型对第三图片和第四图片进行特征提取的过程可参考前述通过第一模型对第一图片和第二图片进行特征提取的过程,在此不再赘述。一个第三图片对应一个第二融合特征向量,数据库中可以存储多个第三图片以及每个第三图片对应第二融合特征向量。
在第二融合模块505获取第二融合特征向量时,会获取数据库中的每个第二融合特征向量。具体实现中,第二融合模块505可以预先对第一模型进行训练,使得通过使用训练后的第一模型提取到的第二融合特征向量更准确,具体地对第一模型进行训练的过程可参考图4对应的实施例中的描述,此处不做过多描述。
在一种可能的设计中,所述装置50还包括:
位置确定模块506,用于若所述第一对象与所述第二对象为同一个对象,获取拍摄所述第三图片的终端设备的标识;
这里,第三图片的终端设备的标识用于唯一地标识拍摄第三图片的终端设备,例如可以包括拍摄第三图片的终端设备的设备出厂编号、终端设备的位置编号、终端设备的代号等用于唯一地指示该终端设备的标识;终端设备设置的目标地理位置可以包括拍摄第三图片的终端设备的地理位置或者上传第三图片的终端设备的地理位置,地理位置可以具体到“XX省XX市XX区XX路XX单元XX层”,其中,上传第三图片的终端设备的地理位置可以为终端设备上传第三图片时对应的服务器IP地址;这里,当拍摄第三图片的终端设备的地理位置与上传第三图片的终端设备的地理位置不一致时,位置确定模块506可以将拍摄第三图片的终端设备的地理位置确定为目标地理位置。目标地理位置与第一对象之间的关联关系可以表示第一对象处于目标地理位置所在区域内,例如目标地理位置为XX省XX市XX区XX路XX单元XX层,则可以表示第一对象所在的位置即XX省XX市XX区XX路XX单元XX层。
所述位置确定模块506,用于根据所述终端设备的标识,确定所述终端设备设置的目标地理位置,并建立所述目标地理位置与所述第一对象之间的关联关系。
具体实现中,位置确定模块506在确定第一对象与第二对象为同一个对象的情况下,确定包含该第二对象的第三图片,并获取拍摄第三图片的终端设备的标识,从而确定与该终端设备的标识对应的终端设备,进而确定该终端设备设置的目标地理位置,并根据目标地理位置与第一对象之间的关联关系确定出第一对象所在的位置,实现对第一对象的追踪。
可选地,位置确定模块506还可以确定终端设备拍摄第三图片的时刻,拍摄第三图片的时刻代表在该时刻时第一对象处于该终端设备所在的目标地理位置,由此可根据时间间隔推断出第一对象当前可能处于的位置范围,从而可以对第一对象当前可能处于的位置范围内的终端设备进行搜索,可提高查找第一对象的位置的效率。
在一种可能的设计中,所述装置50还包括:
训练模块507,用于获取第一样本图片和第二样本图片,所述第一样本图片和所述第二样本图片均包含第一样本对象,所述第一样本对象在所述第一样本图片关联的服装与所述第一样本对象在所述第二样本图片关联的服装不同;
这里,第一样本对象在第一样本图片关联的服装即第一样本图片中第一样本对象穿着的服装,其中,不包括第一样本图片中第一样本对象未穿着的服装,例如第一样本对象手中拿着的服装,或者身旁放着的未穿着的服装。第一样本图片中的第一样本对象的服装与第二样本图片中的第一样本对象的服装不同。服装不同可以包括服装的颜色不同、服装的款式不同、服装的颜色以及款式都不同等。
所述训练模块507,用于从所述第一样本图片中截取包含第一样本服装的第三样本图片,所述第一样本服装为所述第一样本对象在所述第一样本图片关联的服装;
这里,第一样本服装即第一样本图片中第一样本对象穿着的服装,第一样本服装可以包括衣服、裤子、裙子、衣服加裤子等。第三样本图片可以为从第一样本图片截取的包含第一样本服装的图片,如图3所示,图3是本发明实施例提供的一种第一样本图片、第三样本图片和第四样本图片的示意图,图3中,n1为第一样本图片,n2为第三样本图片,n2为从n1中截取得到的。当第一样本图片中的第一样本对象穿有多件服装时,第一样本服装可以为第一样本图片中占最大比例的服装,例如第一样本对象的外套在第一样本图片中占的比例为30%,第一样本对象的衬衫在第一样本图片中占的比例为10%,则第一样本服装为第一样本对象的外套,则第三样本图片为包含第一样本对象的外套的图片。
所述训练模块507,用于获取包含第二样本服装的第四样本图片,所述第二样本服装与所述第一样本服装之间的相似度大于第二阈值;
这里,第四样本图片为包含第二样本服装的图片,可以理解的是,第四样本图片中只包含第二样本服装,不包含样本对象。
具体实现中,训练模块507可以通过将第三样本图片输入到互联网中查找第四样本图片,例如将第三样本图片输入到具有图片识别功能的应用程序中进行查找与第三样本图片中的第一样本服装相似度大于第二阈值的第二样本服装所在的图片,例如训练模块507可以将第三样本图片输入到淘宝APP或者百度APP中进行查找得到多张图片,从中选取多张图片中与第一样本服装最相似且图片中只包含第二样本服装的一张图片,即第四样本图片。
所述训练模块507,用于根据所述第一样本图片、所述第二样本图片、所述第三样本图片以及所述第四样本图片训练第二模型和第三模型,所述第三模型与所述第二模型相同,所述第一模型为所述第二模型或者所述第三模型。
在一种可能的设计中,所述训练模块507,用于将所述第一样本图片和所述第三样本图片输入第二模型,得到第一样本特征向量,所述第一样本特征向量用于表示所述第一样本图片和所述第三样本图片的融合特征;
下面具体介绍将第一样本图片和第三样本图片输入第二模型,得到第一样本特征向量的过程。可参考图4,图4为本发明实施例提供的一种训练模型的示意图,如图所示:
首先,训练模块507将第一样本图片N1和第三样本图片N3输入第二模型,通过第二模型中的第一特征提取模块对第一样本图片进行特征提取,得到第一特征矩阵,以及通过第二模型中的第二特征提取模块对第三样本图片进行特征提取,得到第二特征矩阵;接着,训练模块507通过第二模型中的第一融合模块对第一特征矩阵与第二特征矩阵进行融合处理得到第一融合矩阵;然后,通过第二模型中的第一降维模块对第一融合矩阵进行降维处理,得到第一样本特征向量;最后,训练模块507通过第一分类模块对第一样本特征向量进行分类,得到第一概率向量。
其中,第一特征提取模块与第二特征提取模块可以包括多个残差网络,用于对图片进行特征提取,残差网络中可包括多个残差块,残差块由卷积层组成,通过残差网络中的残差块对图片进行特征提取,可以压缩每次通过残差网络中的卷积层对图片进行卷积得到的图片对应的特征,减少模型中的参数量以及计算量,第一特征提取模块与第二特征提取模块中的参数不同;第一融合模块用于融合通过第一特征提取模块提取到的第一样本图片的特征和通过第二特征提取模块提取到的第三样本图片的特征,例如通过第一特征提取模块提取到的第一样本图片的特征为512维的特征矩阵,通过第二特征提取模块提取到的第三样本图片的特征为512维的特征矩阵,通过第一融合模块融合第一样本图片的特征和第三样本图片的特征后得到1024维的特征矩阵;第一降维模块可以为全连接层,用于减少模型训练中的计算量,例如融合第一样本图片的特征和第三样本图片的特征后的矩阵为高维特征矩阵,通过第一降维模块对高维特征矩阵进行降维可以得到低维特征矩阵,例如高维特征矩阵为1024维,通过第一降维模块进行降维可以得到256维的低维特征矩阵,通过降维处理可以减少模型训练中的计算量;第一分类模块用于对第一样本特征向量进行分类,得到第一样本特征向量对应的第一样本图片中的样本对象为样本图库中N个样本对象中每个样本对象的概率。
所述训练模块507,用于将所述第二样本图片和所述第四样本图片输入第三模型,得到第二样本特征向量,所述第二样本特征向量用于表示所述第二样本图片和所述第四样本图片的融合特征;
下面具体介绍将第二样本图片和第四样本图片输入第三模型,得到第二样本特征向量的过程。可参考图4,图4为本发明实施例提供的一种训练模型的示意图:
首先,训练模块507将第二样本图片N2和第四样本图片N4输入第三模型,通过第三模型中的第三特征提取模块对第二样本图片N2进行特征提取,得到第三特征矩阵,以及通过第四特征提取模块对第四样本图片N4进行特征提取,得到第四特征矩阵;接着,训练模块507通过第二模型中的第二融合模块对第三特征矩阵与第四特征矩阵进行融合处理得到第二融合矩阵;最后,训练模块507通过第三模型中的第二降维模块对第二融合矩阵进行降维处理,得到第二样本特征向量;最后,训练模块507通过第二分类模块对第二样本特征向量进行分类,得到第二概率向量。
其中,第三特征提取模块与第四特征提取模块可以包括多个残差网络,用于对图片进行特征提取,残差网络中可包括多个残差块,残差块由卷积层组成,通过残差网络中的残差块对图片进行特征提取,可以压缩每次通过残差网络中的卷积层对图片进行卷积得到的图片对应的特征,减少模型中的参数量以及计算量;其中,第三特征提取模块与第四特征提取模块中的参数不同,第三特征提取模块与第一特征提取模块中的参数可以相同,第四特征提取模块与第二特征提取模块中的参数可以相同。第二融合模块用于融合通过第三特征提取模块提取到的第二样本图片的特征和通过第四特征提取模块提取到的第四样本图片的特征,例如通过第三特征提取模块提取到的第二样本图片的特征为512维的特征矩阵,通过第四特征提取模块提取到的第四样本图片的特征为512维的特征矩阵,通过第二融合模块融合第二样本图片的特征和第四样本图片的特征后得到1024维的特征矩阵;第二降维模块可以为全连接层,用于减少模型训练中的计算量,例如融合第二样本图片的特征和第四样本图片的特征后的矩阵为高维特征矩阵,通过第二降维模块对高维特征矩阵进行降维可以得到低维特征矩阵,例如高维特征矩阵为1024维,通过第二降维模块进行降维可以得到256维的低维特征矩阵,通过降维处理可以减少模型训练中的计算量;第二分类模块用于对第二样本特征向量进行分类,得到第二样本特征向量对应的第二样本图片中的样本对象为样本图库中N个样本对象中每个样本对象的概率。
图4中,第二样本图片N2为从第一样本图片N1中截取的样本对象的服装a的图片,第三样本图片N3中的服装为服装b,服装a与服装b为不同的服装,第四样本图片N4中的服装即服装a,第一样本图片N1中的样本对象与第二样本图片N2中的样本对象为同一个样本对象,例如都为编号1的样本对象,图4中的第二样本图片N2为包含样本对象服装的半身图片,也可以为包含样本对象服装的全身图片。
第二模型与第三模型可以为两个参数相同的模型,在第二模型与第三模型为两个参数相同的模型的情况下,通过第二模型对第一样本图片和第三样本图片进行特征提取与通过第三模型对第二样本图片和第四样本图片进行特征提取可以同时进行。
所述训练模块507,用于根据所述第一样本特征向量和所述第二样本特征向量,计算模型总损失,并根据所述模型总损失,训练所述第二模型和所述第三模型。
在一种可能的设计中,所述第一样本图片和所述第二样本图片为样本图库中的图片,所述样本图库包括M个样本图片,所述M个样本图片与N个样本对象关联,所述M大于或者等于2N,所述M、N为大于或者等于1的整数;
所述训练模块507,用于根据所述第一样本特征向量,计算第一概率向量,所述第一概率向量用于表示所述第一样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;
在一种可能的实现方式中,训练模块507可以预先设置一个样本图库,则第一样本图片和第二样本图片为样本图库中的图片,其中,样本图库包括M个样本图片,M个样本图片与N个样本对象关联,M大于或者等于2N,M、N为大于或者等于1的整数。可选地,样本图库中的每个样本对象对应一个编号,例如可以为样本对象的ID号、或者用于唯一地标识该样本对象的数字编号等。例如样本图库中有5000个样本对象,则5000个样本对象的编号可以为1-5000,可以理解的是,1个编号可对应多张样本图片,即样本图库中可包括编号1的样本对象的多张样本图片(即编号1的样本对象穿不同服装的图片)、编号2的样本对象的多张样本图片、编号3的样本对象的多张样本图片,等等。编号相同的多张样本图片中,该样本对象穿的服装不同,即同一样本对象对应的多张图片中每张图片中的样本对象穿的服装不同。第一样本对象可以是该N个样本对象中的任意一个样本对象。第一样本图片可以是该第一样本图像的多张样本图片中的任意一张样本图片。
这里,训练模块507根据第一样本特征向量计算第一概率向量,该第一概率向量中包括N个值,每个值用于表示该第一样本图片中的第一样本对象为N个样本对象中每个样本对象的概率。具体可选的,例如N为3000,第一样本特征向量为低维的256维向量,训练模块507将该第一样本特征向量与一个256*3000的向量相乘,即得到一个1*3000的向量,其中256*3000的向量中包含样本图库中3000个样本对象的特征。进一步对上述1*3000的向量进行归一化处理,得到第一概率向量,该第一概率向量中包含3000个概率,该3000个概率用于表示该第一样本对象为3000个样本对象中每个样本对象的概率。
所述训练模块507,用于根据所述第二样本特征向量,计算第二概率向量,所述第二概率向量用于表示所述第二样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;
这里,训练模块507根据第二样本特征向量计算第二概率向量,该第二概率向量中包括N个值,每个值用于表示该第二样本图片中的第二样本对象为N个样本对象中每个样本对象的概率。具体可选的,例如N为3000,第二样本特征向量为低维的256维向量,训练模块507将该第二样本特征向量与一个256*3000的向量相乘,即得到一个1*3000的向量,其中256*3000的向量中包含样本图库中3000个样本对象的特征。进一步对上述1*3000的向量进行归一化处理,得到第二概率向量,该第二概率向量中包含3000个概率,该3000个概率用于表示该第二样本对象为3000个样本对象中每个样本对象的概率。
所述训练模块507,用于根据所述第一概率向量和所述第二概率向量,计算模型总损失。
训练模块507通过计算得到的模型总损失对第二模型与第三模型进行调整,即对第二模型中的第一特征提取模块、第一融合模块、第一降维模块以及第一分类模块,以及对第三模型中的第二特征提取模块、第二融合模块、第二降维模块以及第二分类模块进行调整。
在一种可能的设计中,所述训练模块507,用于根据所述第一概率向量,计算所述第一模型的模型损失;
训练模块507从第一概率向量中获取最大概率值,并根据该最大概率值对应的样本对象的编号,以及该第一样本图片的编号,计算第二模型的模型损失,该第二模型的模型损失用于表示该最大概率值对应的样本对象的编号,以及该第一样本图片的编号之间的差异。训练模块507计算得到的第二模型的模型损失越小,则说明第二模型更加准确,所提取的特征更具区分性。
所述训练模块507,用于根据所述第二概率向量,计算所述第二模型的模型损失;
训练模块507从第二概率向量中获取最大概率值,并根据该最大概率值对应的样本对象的编号,以及该第二样本图片的编号,计算第三模型的模型损失,该第三模型的模型损失用于表示该最大概率值对应的样本对象的编号,以及该第二样本图片的编号之间的差异。训练模块507计算得到的第三模型的模型损失越小,则说明第三模型更加准确,所提取的特征更具区分性。
所述训练模块507,用于根据所述第一模型的模型损失和所述第二模型的模型损失,计算模型总损失。
这里,模型总损失可以为第二模型的模型损失与第三模型的模型损失之和。当第二模型的模型损失与第三模型的模型损失较大时,模型总损失也较大,即模型提取到的对象的特征向量的准确性较低,可以采用梯度下降法对第二模型中的各个模块(第一特征提取模块、第二特征提取模块、第一融合模块、第一降维模块)与第三模型中的各个模块(第三特征提取模块、第四特征提取模块、第二融合模块、第二降维模块)进行调整,使得模型训练的参数更准确,从而使得通过第二、第三模型提取到的图片中的对象的特征更准确,即弱化图片中的服装特征,使得提取到的图片中的特征更多为图片中的对象的特征,即提取到的特征更具区分性,从而通过第二、第三模型提取到的图片中的对象的特征更准确。
需要说明的是,图5对应的实施例中未提及的内容可参见方法实施例的描述,这里不再赘述。
本发明实施例中,通过获取包含第一对象的第一图片以及包含第一服装的第二图片,将第一图片和第二图片输入第一模型,得到第一融合特征向量,获取包含第二对象的第三图片与包含第三图片中截取的第二服装的第四图片的第二融合特征向量,根据第一融合特征向量和第二融合特征向量之间的目标相似度,确定第一对象与第二对象是否为同一个对象;由于在对待第一对象进行特征提取时,将第一对象的服装替换为与第一对象可能穿过的第一服装,即提取第一对象的特征时弱化了服装的特征,而重点在于提取更具区分性的其他特征,从而在目标对象更换服装后,仍然能够达到很高的识别准确率;在确定第一对象与第二对象为同一个对象的情况下,通过获取拍摄包含第二对象的第三图片的终端设备的标识,从而确定拍摄第三图片的终端设备的地理位置,进而确定第一对象可能的位置区域,可提高对第一对象的查找效率;由于使用样本图库中的多个样本图片对模型进行训练,且样本图库中的每个样本图片对应一个编号,通过对该编号对应的某一个样本图片以及该样本图片中的服装图片进行特征提取得到融合特征向量,并对提取到的融合特征向量与该编号对应的样本图片的目标样本特征向量之间的相似度进行计算,可以根据计算得到的结果确定模型是否准确,在模型的损失较大(即模型不准确)的情况下,可以通过样本图库中的剩余样本图片继续对模型进行训练,由于使用了大量的样本图片对模型进行了训练,因此训练后的模型更准确,从而通过模型提取到的图片中的对象的特征更准确。
参见图6,图6是本发明实施例提供的一种图片处理设备的组成结构示意图,该设备60包括处理器601、存储器602以及输入输出接口603。处理器601连接到存储器602和输入输出接口603,例如处理器601可以通过总线连接到存储器602和输入输出接口603。
处理器601被配置为支持所述图片处理设备执行图1、图3所述的图片处理方法中相应的功能。该处理器601可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
存储器602存储器用于存储程序代码等。存储器602可以包括易失性存储器(volatile memory,VM),例如随机存取存储器(random access memory,RAM);存储器602也可以包括非易失性存储器(non-volatile memory,NVM),例如只读存储器(read-onlymemory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器602还可以包括上述种类的存储器的组合。
所述输入输出接口603用于输入或输出数据。
处理器601可以调用所述程序代码以执行以下操作:
获取包含第一对象的第一图片以及包含第一服装的第二图片;
将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;
获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;
根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。
需要说明的是,各个操作的实现还可以对应参照上述方法实施例的相应描述;所述处理器601还可以与输入输出接口603配合执行上述方法实施例中的其他操作。
本发明实施例还提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法,所述计算机可以为上述提到的图片处理设备的一部分。例如为上述的处理器601。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种图片处理方法,其特征在于,包括:
获取包含第一对象的第一图片以及包含第一服装的第二图片;
将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;
获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;
根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象,包括:
若所述第一融合特征向量和所述第二融合特征向量之间的目标相似度大于第一阈值,则确定所述第一对象与所述第二对象为同一个对象。
3.如权利要求1或2所述的方法,其特征在于,所述获取包含第一对象的第一图片以及包含第一服装的第二图片之前,还包括:
将所述第三图片和所述第四图片输入所述第一模型,得到所述第二融合特征向量。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述第一对象与所述第二对象为同一个对象,获取拍摄所述第三图片的终端设备的标识;
根据所述终端设备的标识,确定所述终端设备设置的目标地理位置,并建立所述目标地理位置与所述第一对象之间的关联关系。
5.如权利要求1或2所述的方法,其特征在于,所述获取包含第一对象的第一图片以及包含第一服装的第二图片之前,还包括:
获取第一样本图片和第二样本图片,所述第一样本图片和所述第二样本图片均包含第一样本对象,所述第一样本对象在所述第一样本图片关联的服装与所述第一样本对象在所述第二样本图片关联的服装不同;
从所述第一样本图片中截取包含第一样本服装的第三样本图片,所述第一样本服装为所述第一样本对象在所述第一样本图片关联的服装;
获取包含第二样本服装的第四样本图片,所述第二样本服装与所述第一样本服装之间的相似度大于第二阈值;
根据所述第一样本图片、所述第二样本图片、所述第三样本图片以及所述第四样本图片训练第二模型和第三模型,所述第三模型与所述第二模型相同,所述第一模型为所述第二模型或者所述第三模型。
6.如权利要求5所述的方法,其特征在于,所述根据所述第一样本图片、所述第二样本图片、所述第三样本图片以及所述第四样本图片训练第二模型和第三模型,包括:
将所述第一样本图片和所述第三样本图片输入第二模型,得到第一样本特征向量,所述第一样本特征向量用于表示所述第一样本图片和所述第三样本图片的融合特征;
将所述第二样本图片和所述第四样本图片输入第三模型,得到第二样本特征向量,所述第二样本特征向量用于表示所述第二样本图片和所述第四样本图片的融合特征;
根据所述第一样本特征向量和所述第二样本特征向量,计算模型总损失,并根据所述模型总损失,训练所述第二模型和所述第三模型。
7.如权利要求6所述的方法,其特征在于,所述第一样本图片和所述第二样本图片为样本图库中的图片,所述样本图库包括M个样本图片,所述M个样本图片与N个样本对象关联,所述M大于或者等于2N,所述M、N为大于或者等于1的整数;
所述根据所述第一样本特征向量和所述第二样本特征向量,计算模型总损失,包括:
根据所述第一样本特征向量,计算第一概率向量,所述第一概率向量用于表示所述第一样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;
根据所述第二样本特征向量,计算第二概率向量,所述第二概率向量用于表示所述第二样本图片中所述第一样本对象为所述N个样本对象中每个样本对象的概率;
根据所述第一概率向量和所述第二概率向量,计算模型总损失。
8.一种图片处理装置,其特征在于,包括:
第一获取模块,用于获取包含第一对象的第一图片以及包含第一服装的第二图片;
第一融合模块,用于将所述第一图片和所述第二图片输入第一模型,得到第一融合特征向量,所述第一融合特征向量用于表示所述第一图片和所述第二图片的融合特征;
第二获取模块,用于获取第二融合特征向量,其中,所述第二融合特征向量用于表示第三图片和第四图片的融合特征,所述第三图片包含第二对象,所述第四图片是从所述第三图片截取的包含第二服装的图片;
对象确定模块,用于根据所述第一融合特征向量和所述第二融合特征向量之间的目标相似度,确定所述第一对象与所述第二对象是否为同一个对象。
9.一种图片处理设备,其特征在于,包括处理器、存储器以及输入输出接口,所述处理器、存储器和输入输出接口相互连接,其中,所述输入输出接口用于输入或输出数据,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911035791.0A CN110795592B (zh) | 2019-10-28 | 2019-10-28 | 图片处理方法、装置及设备 |
JP2022518939A JP2022549661A (ja) | 2019-10-28 | 2020-07-01 | 画像処理方法、装置、機器、記憶媒体およびコンピュータプログラム |
KR1020227009621A KR20220046692A (ko) | 2019-10-28 | 2020-07-01 | 사진 처리 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 |
PCT/CN2020/099786 WO2021082505A1 (zh) | 2019-10-28 | 2020-07-01 | 图片处理方法、装置、设备、存储介质和计算机程序 |
TW109129268A TWI740624B (zh) | 2019-10-28 | 2020-08-27 | 圖片處理方法、設備和儲存媒體 |
US17/700,881 US20220215647A1 (en) | 2019-10-28 | 2022-03-22 | Image processing method and apparatus and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911035791.0A CN110795592B (zh) | 2019-10-28 | 2019-10-28 | 图片处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110795592A true CN110795592A (zh) | 2020-02-14 |
CN110795592B CN110795592B (zh) | 2023-01-31 |
Family
ID=69441751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911035791.0A Active CN110795592B (zh) | 2019-10-28 | 2019-10-28 | 图片处理方法、装置及设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220215647A1 (zh) |
JP (1) | JP2022549661A (zh) |
KR (1) | KR20220046692A (zh) |
CN (1) | CN110795592B (zh) |
TW (1) | TWI740624B (zh) |
WO (1) | WO2021082505A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021082505A1 (zh) * | 2019-10-28 | 2021-05-06 | 深圳市商汤科技有限公司 | 图片处理方法、装置、设备、存储介质和计算机程序 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111629151B (zh) * | 2020-06-12 | 2023-01-24 | 北京字节跳动网络技术有限公司 | 视频合拍方法、装置、电子设备及计算机可读介质 |
CN115862060B (zh) * | 2022-11-25 | 2023-09-26 | 天津大学四川创新研究院 | 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631403A (zh) * | 2015-12-17 | 2016-06-01 | 小米科技有限责任公司 | 人脸识别方法及装置 |
US20180204094A1 (en) * | 2015-11-26 | 2018-07-19 | Tencent Technology (Shenzhen) Company Limited | Image recognition method and apparatus |
CN108763373A (zh) * | 2018-05-17 | 2018-11-06 | 厦门美图之家科技有限公司 | 人脸图像检索方法及装置 |
CN109657533A (zh) * | 2018-10-27 | 2019-04-19 | 深圳市华尊科技股份有限公司 | 行人重识别方法及相关产品 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103853794B (zh) * | 2012-12-07 | 2017-02-08 | 北京瑞奥风网络技术中心 | 一种基于部件关联的行人检索方法 |
TWM469556U (zh) * | 2013-08-22 | 2014-01-01 | Univ Kun Shan | 以雲端進行人臉偵測之智慧監視裝置 |
CN104735296B (zh) * | 2013-12-19 | 2018-04-24 | 财团法人资讯工业策进会 | 行人侦测系统与方法 |
JP6398920B2 (ja) * | 2015-09-03 | 2018-10-03 | オムロン株式会社 | 違反者検出装置およびこれを備えた違反者検出システム |
CN106844394B (zh) * | 2015-12-07 | 2021-09-10 | 北京航天长峰科技工业集团有限公司 | 基于行人上下衣颜色判别的视频检索方法 |
CN107330360A (zh) * | 2017-05-23 | 2017-11-07 | 深圳市深网视界科技有限公司 | 一种行人衣着颜色识别、行人检索方法和装置 |
CN107291825A (zh) * | 2017-05-26 | 2017-10-24 | 北京奇艺世纪科技有限公司 | 一种视频中同款商品的检索方法和系统 |
CN110019895B (zh) * | 2017-07-27 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 一种图像检索方法、装置及电子设备 |
CN107729805B (zh) * | 2017-09-01 | 2019-09-13 | 北京大学 | 用于行人再识别的神经网络和基于深度学习的行人再识别算法 |
CN109543536B (zh) * | 2018-10-23 | 2020-11-10 | 北京市商汤科技开发有限公司 | 图像标识方法及装置、电子设备和存储介质 |
CN109753901B (zh) * | 2018-12-21 | 2023-03-24 | 上海交通大学 | 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 |
CN109934176B (zh) * | 2019-03-15 | 2021-09-10 | 艾特城信息科技有限公司 | 行人识别系统、识别方法及计算机可读存储介质 |
CN110334687A (zh) * | 2019-07-16 | 2019-10-15 | 合肥工业大学 | 一种基于行人检测、属性学习和行人识别的行人检索增强方法 |
CN110795592B (zh) * | 2019-10-28 | 2023-01-31 | 深圳市商汤科技有限公司 | 图片处理方法、装置及设备 |
-
2019
- 2019-10-28 CN CN201911035791.0A patent/CN110795592B/zh active Active
-
2020
- 2020-07-01 KR KR1020227009621A patent/KR20220046692A/ko active Search and Examination
- 2020-07-01 WO PCT/CN2020/099786 patent/WO2021082505A1/zh active Application Filing
- 2020-07-01 JP JP2022518939A patent/JP2022549661A/ja not_active Withdrawn
- 2020-08-27 TW TW109129268A patent/TWI740624B/zh active
-
2022
- 2022-03-22 US US17/700,881 patent/US20220215647A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180204094A1 (en) * | 2015-11-26 | 2018-07-19 | Tencent Technology (Shenzhen) Company Limited | Image recognition method and apparatus |
CN105631403A (zh) * | 2015-12-17 | 2016-06-01 | 小米科技有限责任公司 | 人脸识别方法及装置 |
CN108763373A (zh) * | 2018-05-17 | 2018-11-06 | 厦门美图之家科技有限公司 | 人脸图像检索方法及装置 |
CN109657533A (zh) * | 2018-10-27 | 2019-04-19 | 深圳市华尊科技股份有限公司 | 行人重识别方法及相关产品 |
Non-Patent Citations (1)
Title |
---|
JIA XUE等: "Clothing Change Aware Person Identification", 《 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》, 22 June 2018 (2018-06-22) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021082505A1 (zh) * | 2019-10-28 | 2021-05-06 | 深圳市商汤科技有限公司 | 图片处理方法、装置、设备、存储介质和计算机程序 |
Also Published As
Publication number | Publication date |
---|---|
TW202117556A (zh) | 2021-05-01 |
CN110795592B (zh) | 2023-01-31 |
JP2022549661A (ja) | 2022-11-28 |
US20220215647A1 (en) | 2022-07-07 |
KR20220046692A (ko) | 2022-04-14 |
WO2021082505A1 (zh) | 2021-05-06 |
TWI740624B (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
CN110795592B (zh) | 图片处理方法、装置及设备 | |
CN108805900B (zh) | 一种跟踪目标的确定方法及装置 | |
CN109426785B (zh) | 一种人体目标身份识别方法及装置 | |
CN108256404B (zh) | 行人检测方法和装置 | |
CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
CN112514373B (zh) | 用于特征提取的图像处理装置和方法 | |
CN109740004B (zh) | 一种归档方法及装置 | |
CN113255685B (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
CN107480580B (zh) | 图像识别方法和图像识别装置 | |
CN111177469A (zh) | 人脸检索方法及人脸检索装置 | |
CN110210457A (zh) | 人脸检测方法、装置、设备及计算机可读存储介质 | |
WO2024037660A1 (zh) | 确定异常分拣区域的方法、装置、电子设备及存储介质 | |
CN111445442A (zh) | 基于神经网络的人群计数方法、装置、服务器及存储介质 | |
CN111159476A (zh) | 目标对象的搜索方法、装置、计算机设备及存储介质 | |
CN111814617B (zh) | 基于视频的火灾判定方法、装置、计算机设备及存储介质 | |
CN112689120A (zh) | 一种监控方法及装置 | |
CN112487082A (zh) | 一种生物特征识别的方法及相关设备 | |
CN113822199A (zh) | 对象属性识别方法、装置、存储介质和电子装置 | |
CN115546846A (zh) | 图像识别处理方法、装置、电子设备及存储介质 | |
CN111666786B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114219938A (zh) | 感兴趣区域获取方法 | |
CN108399411B (zh) | 一种多摄像头识别方法及装置 | |
CN112100427A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN113518201B (zh) | 视频处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40018655 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |