CN112307868B - 图像识别方法、电子设备和计算机可读介质 - Google Patents
图像识别方法、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN112307868B CN112307868B CN202010147268.3A CN202010147268A CN112307868B CN 112307868 B CN112307868 B CN 112307868B CN 202010147268 A CN202010147268 A CN 202010147268A CN 112307868 B CN112307868 B CN 112307868B
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- images
- sample
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 67
- 238000010801 machine learning Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000037396 body weight Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例公开了图像识别方法、电子设备和计算机可读介质。该方法包括:获取包含人物对象的图像作为输入图像;采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,其中人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像;将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。该方法提升了跨摄像头的人体重识别的准确性。
Description
相关申请的交叉引用
本申请要求申请日为2019年7月31日,申请号为16/528,167,发明名称为“METHOD,ELECTRONIC DEVICE,AND COMPUTER READABLE MEDIUM FOR IMAGE IDENTIFICATION”的美国专利申请的优先权。
技术领域
本公开的实施例涉及计算机技术领域,具体涉及图像处理技术领域,尤其涉及图像识别方法、电子设备和计算机可读介质。
背景技术
在智能零售或大型公共场所等监控场景中,通常会使用多个不同类型的摄像头来进行人物的检测和人流统计。例如,可以使用成像质量较高的摄像头在入口或通道处拍摄比较清晰的人脸图像用于识别进入场景中的人物,使用架设在室内顶棚、墙体或天花板上的成像质量相对较低的摄像头拍摄场景中的人物的图像。各摄像头的成像范围有限,因此通常需要结合多个摄像头拍摄的图像来执行监控任务。
对同一场景中多个类型的摄像头采集的图像进行准确的人物检测和匹配,能够帮助获取场景中的人物的活动轨迹,实现人物的动态跟踪。然而由于不同摄像头的拍摄角度各异、成像质量不同,基于多摄像头的人物自动检测和识别难以达到较高的精度。因此,如何基于场景中不同类型的摄像头采集的人物图像准确地识别人物身份,成为了一个亟待解决的问题。
发明内容
本公开的实施例提出了图像识别方法、装置、电子设备和计算机可读介质。
第一方面,本公开的实施例提供了一种图像识别方法,包括:获取包含人物对象的图像作为输入图像;采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像;将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。
在一些实施例中,上述方法还包括:基于输入图像对识别出的输入图像中的人物对象的运动轨迹进行更新。
在一些实施例中,上述方法还包括:响应于确定将输入图像的人体特征与预设的人体特征库中的目标人体特征匹配成功,将输入图像的人体特征添加至预设的人体特征库并与目标人体特征关联至同一身份标识。
在一些实施例中,上述方法还包括:响应于确定将输入图像的人体特征与预设的人体特征库匹配失败,为输入图像中的人物对象配置对应的身份标识,将输入图像的人体特征与对应的身份标识关联地存入预设的人体特征库。
在一些实施例中,上述人体识别模型是按照如下方式生成的:获取样本数据集,样本数据集包括:由不同类别的摄像头采集的样本人体图像以及样本人体图像所包含的人物对象的身份标识信息;构建包含特征提取模块和判别模块的机器学习模型,利用机器学习模型中的特征提取模块分别提取输入的不同样本人体图像的特征,基于提取出的样本人体图像的特征,利用机器学习模型中的判别模块识别样本数据集中由不同类别的摄像头采集的样本人体图像是否为同一人物的人体图像,根据输入机器学习模型的样本人体图像所包含的人物对象的身份标识信息确定机器学习模型的识别误差,基于识别误差迭代调整机器学习模型,以使经过迭代调整的机器学习模型的识别误差满足预设的收敛条件;将识别误差满足预设的收敛条件的机器学习模型确定为人体识别模型。
在一些实施例中,上述获取样本数据集包括:对由不同类别的摄像头采集的场景图像进行人脸检测,基于检测出的人脸识别场景图像中包含的人物对象的身份;基于场景图像以及识别出的场景图像中包含的人物对象的身份生成样本数据集。
在一些实施例中,上述基于场景图像以及识别出的场景图像中包含的人物对象的身份生成样本数据集,包括:将场景图像所包含的各人物对象的图像分别从场景图像中切割出来,生成样本人体图像;基于对场景图像中包含的人物对象的身份的识别结果,生成对应的样本人体图像所包含的人物对象的身份标识信息。
在一些实施例中,上述预设的人体特征库按照如下方式构建:利用人体识别模型的特征提取模块提取样本数据集中的样本人体图像的人体特征;将提取出的样本人体图像的人体特征与对应的样本人体图像中的人物对象的身份标识信息关联,并存入预设的人体特征库。
第二方面,本公开的实施例提供了一种图像识别装置,包括:获取单元,被配置为获取包含人物对象的图像作为输入图像;提取单元,被配置为采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像;识别单元,被配置为将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。
在一些实施例中,上述装置还包括:更新单元,被配置为基于输入图像对识别出的输入图像中的人物对象的运动轨迹进行更新。
在一些实施例中,上述装置还包括:关联单元,被配置为响应于确定将输入图像的人体特征与预设的人体特征库中的目标人体特征匹配成功,将输入图像的人体特征添加至预设的人体特征库并与目标人体特征关联至同一身份标识。
在一些实施例中,上述关联单元还被配置为:响应于确定将输入图像的人体特征与预设的人体特征库匹配失败,为输入图像中的人物对象配置对应的身份标识,将输入图像的人体特征与对应的身份标识关联地存入预设的人体特征库。
在一些实施例中,上述人体识别模型是按照如下方式生成的:获取样本数据集,样本数据集包括:由不同类别的摄像头采集的样本人体图像以及样本人体图像所包含的人物对象的身份标识信息;构建包含特征提取模块和判别模块的机器学习模型,利用机器学习模型中的特征提取模块分别提取输入的不同样本人体图像的特征,基于提取出的样本人体图像的特征,利用机器学习模型中的判别模块识别样本数据集中由不同类别的摄像头采集的样本人体图像是否为同一人物的人体图像,根据输入机器学习模型的样本人体图像所包含的人物对象的身份标识信息确定机器学习模型的识别误差,基于识别误差迭代调整机器学习模型,以使经过迭代调整的机器学习模型的识别误差满足预设的收敛条件;将识别误差满足预设的收敛条件的机器学习模型确定为人体识别模型。
在一些实施例中,上述样本数据集是按照如下方式获取的:对由不同类别的摄像头采集的场景图像进行人脸检测,基于检测出的人脸识别上述场景图像中包含的人物对象的身份;基于场景图像以及识别出的场景图像中包含的人物对象的身份生成样本数据集。
在一些实施例中,上述样本数据集是进一步按照如下方式获取的:将场景图像所包含的各人物对象的图像分别从场景图像中切割出来,生成样本人体图像;基于对场景图像中包含的人物对象的身份的识别结果,生成对应的样本人体图像所包含的人物对象的身份标识信息。
在一些实施例中,上述预设的人体特征库按照如下方式构建:利用人体识别模型的特征提取模块提取样本数据集中的样本人体图像的人体特征;将提取出的样本人体图像的人体特征与对应的样本人体图像中的人物对象的身份标识信息关联,并存入预设的人体特征库。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面提供的图像识别方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现第一方面提供的图像识别方法。
本公开的上述实施例的图像识别方法、电子设备及计算机可读介质,通过获取包含人物对象的图像作为输入图像,随后采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,其中人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像,之后将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象,能够在多摄像头的场景中准确地匹配出由不同类别的摄像头采集的图像中的人物身份,提升了跨摄像头的人体重识别的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本公开的实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的图像识别方法的一个实施例的流程图;
图3是根据本公开的图像识别方法的另一个实施例的流程图;
图4是根据本公开的图像识别方法的又一个实施例的流程图;
图5是根据本公开的图像识别方法中人体识别模型的生成方法的一个流程示意图;
图6是本公开的图像识别装置的一个实施例的结构示意图;
图7是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
图1示出了可以应用本申请的图像识别方法的示例性系统架构100。
如图1所示,系统架构100可以包括图像输入设备101、102、103,网络104以及服务器105。网络104用于在图像输入设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
图像输入设备101、102、103可以是各种类型的摄像头,例如设置于监控场景中的人流统计摄像头,或者用于抓拍人脸的摄像头,等等。图像输入设备101、102、103可以采集图像并通过网络104传输至服务器105。
在本公开的应用场景中,图像输入设备101、102、103可以是同一场景中的多个不同类别的摄像头。图像输入设备101、102、103的成像视角可以不相同,图像输入设备101、102、103的成像质量也可以不相同。一般地,成像质量较高的图像输入设备的成本较高,成像质量相对较低的图像输入设备的成本较低。通常同一场景中成像质量较高的图像输入设备的数量较少、成像质量较高的图像输入设备的数量较多。
服务器105可以是对图像输入设备101、102、103采集的图像进行处理的后台服务器。服务器105可以获取图像输入设备101、102、103采集的包含人物对象的场景图像,识别出图像中的人物,以确定场景中的人物对象的身份。
服务器105还可以对不同的图像输入设备101、102、103采集的图像中的人物对象进行匹配,以跟踪人物对象的活动轨迹,进一步结合图像中的人物对象的身份识别结果确定场景中各种行为的行为主体。
需要说明的是,服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器105为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
本公开的实施例所提供的图像识别方法可以由服务器105执行,相应地,图像识别装置可以设置于服务器105中。
应该理解,图1中的图像输入设备、网络、服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的图像输入设备、网络、服务器。
继续参考图2,其示出了根据本公开的图像识别方法的一个实施例的流程200。该图像识别方法,包括以下步骤:
步骤201,获取包含人物对象的图像作为输入图像。
在本实施例中,图像识别方法的执行主体可以通过与采集人物图像的摄像头连接来获取包含人物对象的图像。或者,图像识别方法的执行主体可以获取对摄像头采集的图像进行人体/人脸检测、图像分割等预处理之后提取出的包含人物对象的图像。图像识别方法的执行主体可以将获取到的包含人物对象的图像作为输入图像。
在一种示例性的应用场景中,监控场景中的摄像头采集到监控图像之后,可以传输至远程的服务器,服务器可以检测监控图像中是否包含人物对象,若检测到监控图像中包含人物对象,则将监控图像作为输入图像。在这里,监控场景中的摄像头可以是各种类别的摄像头,例如为设置在入口或通道处的人脸抓拍摄像头,或者可以例如是安装在天花板、墙体等位置的用于统计人流的人流统计摄像头。人脸抓拍摄像头可以抓拍到清晰的人脸以及部分或全部的身体,人流统计摄像头可以拍摄人体图像。
步骤202,采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取。
上述人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且上述人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像。
具体地,上述人体识别模型可以包含用于提取人体特征的特征提取模块,该特征提取模块可以是卷积神经网络的多个卷积层,或者可以是非神经网络的特征提取模块。人体识别模型用于识别不同类别的摄像头采集的人体图像是否为同一人物的人体图像,也即上述人体识别模型可以对不同类别的摄像头采集的人体图像按照人物的身份进行匹配。在一些可选的实现方式中,人体识别模型可以是基于多层神经网络构建的模型,上述特征提取模块可以是上述人体识别模型中用于提取人体特征的网络。可选地,该特征提取模块可以包括多个卷积层,每个卷积层包括至少一个卷积核,用于对输入该卷积层的图像做卷积运算,从而实现对图像信息的降维处理。可选地,该特征提取模块还可以包括特征后处理层,特征后处理层可以对卷积层提取出的特征进行进一步的提炼处理。提炼处理可以包括但不限于以下至少一种:池化、全连接、L2规范化。在经过特征后处理之后,特征的维度进一步降低,并且特征的语义信息更明确,有利于后续进行特征比对。
上述人体识别模型可以是基于样本数据集预先完成训练的模型。样本数据集可以包括由不同类别的摄像头采集的人体图像,在训练过程中人体识别模型通过调整参数来使得其对大量的由不同类别的摄像头采集的人体图像中的人物对象是否为同一人物对象的识别精度逐渐提升。
摄像头的类别可以按照其功能、成像方式、设置的位置、成像质量中的一项或多项来划分,不同类别的摄像头可以是功能、成像方式、设置位置、或成像质量等不相同的摄像头。
在实践中,不同类别的摄像头可以例如是监控场景中常用的多类别摄像头,例如用于抓拍人脸的摄像头和用于统计人流量的摄像头。
在这里,人体识别模型可以利用特征提取模块分别对由不同类别的摄像头采集的至少两幅人体图像的进行特征提取,并基于提取出的特征比对该至少两幅人体图像中的人物对象是否为同一人。若提取出的该至少两幅人体图像的特征之间的相似度或匹配度大于预设的阈值,可以判定上述由不同类别的摄像头采集的至少两幅人体图像中的人物对象为同一人,否则可以判定上述不同类别的摄像头采集的至少两幅人体图像中的人物对象不是同一人。这样,在人体识别模型训练完成后,特征提取模块可以提取出可用于准确分辨来自于不同类别的摄像头的输入图像中的人物是否为同一人物的特征,进而,利用已训练的人体识别模型中的特征提取模块从不同类别的摄像头采集的输入图像提取出的特征均能准确地区分不同的人物对象。
步骤203,将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。
上述预设的人体特征库可以是预先构建的,其中包含已知身份的人物对象的人体特征。在本实施例中,可以采用各种特征匹配方式对上述输入图像的人体特征和预设的人体特征库中的人体特征进行匹配。例如,可以依次计算输入图像的人体特征和人体特征库中各已知身份的人物对象的人体特征之间的相对距离或相似度,将预设的人体特征库中的与输入图像的人体特征之间的相对距离最近且相对距离低于预设的距离阈值的人体特征确定为与输入图像的人体特征匹配成功的人体特征,或者将预设的人体特征库中的与输入图像的人体特征之间的相似度最高且相似度高于预设的相似度阈值的人体特征确定为与输入图像的人体特征匹配成功的人体特征,并确定输入图像中的人物对象为与输入图像的人体特征匹配成功的人体特征所关联的人物对象。
可选地,预设的人体特征库可以记录各人体特征所关联的人物对象的身份标识,则可以进一步确定出输入图像中的人物对象的身份标识。
可选地,上述预设的人体特征库可以包含一个人物对象的多个人体特征。则在将输入图像的人体特征与上述预设的人体特征库进行匹配确定出与输入图像的人体特征匹配程度最高的人体特征之后,还可以进一步对该匹配程度最高的人体特征所关联的人物对象的其他人体特征进行匹配,基于输入图像的人体特征与预设的人体特征库中同一人物对象的多个人体特征的匹配结果得出输入图像中的人物对象的识别结果。
本公开的上述实施例的一个应用场景可以为:预先收集A类别摄像头、B类别摄像头等至少两个类别的摄像头采集的大量人体图像,标记人体图像对应的人物对象的身份标识。基于收集到的上述人体图像对包含特征提取模块的人体识别模型进行训练,该人体识别模型比对输入的由A、B等不同类别的摄像头采集的人体图像是否为同一人物的人体图像。在一个监控场景中同时使用A类别摄像头和B类别摄像头进行人体识别和跟踪时,针对A类别摄像头或B类别摄像头采集的一幅包含人物对象的待识别图像,可以利用上述已训练的人体识别模型的特征提取模块进行特征提取,具体可以抽取出特征提取模块输出的特征,然后基于提取出的特征与预设的人体特征库进行匹配,确定待识别图像中的人物对象为匹配成功的人体特征所关联的人物对象,从而实现了监控场景中的人物识别。
本公开的上述实施例的图像识别方法,通过获取包含人物对象的图像作为输入图像,随后采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像,之后将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象,能够在多摄像头场景中准确地匹配出由不同类别的摄像头采集的图像中的人物身份,提升了跨摄像头的人体重识别的准确性。
请参考图3,其示出了根据本公开的图像识别方法的另一个实施例的流程图。如图3所示,本实施例的图像识别方法的流程300,包括以下步骤:
步骤301,获取包含人物对象的图像作为输入图像。
在这里,包含人物对象的图像可以是摄像头采集的人物图像。可以通过与摄像头连接来获取包含人物对象的图像,或者可以在获取到摄像头采集的图像后基于人体检测等方法从中筛选出包含人物对象的图像。
步骤302,采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取。
其中,人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像。
上述人体识别模型可以是机器学习模型,用于识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像。人体识别模型可以是神经网络模型,相应地,特征提取模块可以是神经网络中用于提取图像特征的多个层,例如卷积神经网络的多个卷积层。或者,人体识别模型可以是随机森林、逻辑回归等非神经网络模型,相应地,特征提取模块可以是非神经网络的特征提取模块。
上述人体识别模型可以是基于不同类别的摄像头采集的人体图像训练得出的,使得其中的特征提取模块对于不同类别的摄像头采集的图像能够有效提取出可区分不同人物对象的特征。
步骤303,将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。
可以将输入图像的人体特征与预设的人体特征库中已知身份的人物对象的人体特征进行一一匹配,计算特征之间的距离或相似度等匹配度量。然后,可以根据匹配度量确定出与输入图像中的特征匹配成功的人体特征,将该匹配成功的人体特征所关联的人物对象确定为输入图像中的人物对象。
本实施例的步骤301、步骤302、步骤303分别与前述实施例的步骤201、步骤202、步骤203一致,步骤301、步骤302、步骤303的具体实现方式还可以分别参考前述实施例中对步骤201、步骤202、步骤203的描述,此处不再赘述。
步骤304,基于输入图像对识别出的输入图像中的人物对象的运动轨迹进行更新。
在本实施例中,识别出输入图像中的人物对象之后,可以将该输入图像作为该人物对象的运功轨迹中的一个轨迹点的图像。可以获取该输入图像的采集时间和采集该输入图像的摄像头的位置,对摄像头的位置以及该人物对象在输入图像中的位置进行坐标转换,定位出输入图像中人物对象所处的位置,从而确定出识别出的该人物对象在输入图像采集时刻的位置,得到该人物对象的一个轨迹点,进而更新输入图像中的该人物对象的运动轨迹。
可选地,在识别出输入图像中的人物对象之后,可以进一步识别输入图像中用于标识人物位置的标志物,例如指示牌等,从而确定输入图像中的人物对象的位置。还可以根据输入图像以及采集输入图像的摄像头的内部参数进一步确定人物对象与标志物的相对位置,进而推算出人物对象在输入图像采集时刻的准确位置。
本实施例的方法可以应用于多摄像头场景,可以分别基于不同摄像头采集的图像进行人物对象识别,然后更新识别出的人物对象的运动轨迹。由于不同摄像头的成像范围不同,由此可以在大范围的场景中(例如车站、机场、智能零售店铺等场景)通过多个摄像头采集的图像的人物识别结果全面、准确地追踪人物的运动轨迹。
作为示例,本实施例的一个应用场景可以为:在智能零售店铺中,入口处设置有人脸抓拍相机,通过该人脸抓拍相机抓拍包含人脸及至少部分人体的图像之后,可以采用本实施例的方法识别抓拍到的人物,然后在识别出的人物的运动轨迹中增加“入口处”对应的轨迹点。之后,可以基于智能零售店铺中的其他相机(例如人流统计相机)拍摄到的图像,采用上述实施例的方法识别人物并更新运动轨迹,这样可以利用不同类别的摄像头采集的图像追踪场景中人物的全局运动轨迹,根据运动轨迹帮助校验通过其他方式识别出的人物行为(例如购买物品的行为、退回货品的行为)等的可靠性。
继续参考图4,其示出了本公开的图像识别方法的另一个实施例的流程图。如图4所示,本实施例的图像识别方法的流程400,包括以下步骤:
步骤401,获取包含人物对象的图像作为输入图像。
步骤402,采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取。
步骤403,将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。
本实施例的步骤401、步骤402、步骤403分别与前述实施例的步骤201、步骤202、步骤203一致,步骤401、步骤402、步骤403的具体实现方式还可以分别参考前述实施例中对步骤201、步骤202、步骤203的描述,此处不再赘述。
步骤404,响应于确定将输入图像的人体特征与预设的人体特征库中的目标人体特征匹配成功,将输入图像的人体特征添加至预设的人体特征库并与目标人体特征关联至同一身份标识。
在本实施例中,若步骤402提取出的输入图像的人体特征与预设的人体特征库中的一个或多个预设人体特征的匹配度超过预设的匹配度阈值,可以将该预设人体特征确定为目标人体特征。可以基于预设的人体特征库查找出目标人体特征关联的身份标识,然后将输入图像的人体特征也关联至同一身份标识。
上述预设的人体特征库可以包括已知身份标识的人物对象的人体特征集合。若基于预设的人体特征库识别出输入图像中的人物对象的身份,可以将从输入图像中提取出的人体特征添加至识别出的人物对象的人体特征集合中。这样,通过在基于图像识别人物身份的同时收集人体特征,可以逐步扩充人体特征库。
可选地,上述图像识别方法的流程400还可以包括以下步骤:
步骤405,响应于确定将输入图像的人体特征与预设的人体特征库匹配失败,为输入图像中的人物对象配置对应的身份标识,将输入图像的人体特征与对应的身份标识关联地存入预设的人体特征库。
若步骤402提取出的输入图像的人体特征与预设的人体特征库中各人物对象关联的人体特征的匹配度都未达到预设的匹配度阈值,可以确定匹配失败。这时,可以确定输入图像中的人物对象是未收集过人体特征的人物对象。可以将步骤402提取的出人体特征作为新的人物对象的人体特征,配置对应的身份标识后存入人体特征库。这样,可以在预设的人体特征库中创建新的人物对象的人体特征用于后续的图像识别。
本实施例实现了人体特征库的构建和扩充,有利于提升基于人体特征库识别人物对象的成功率和准确率。
在上述结合图2、图3和图4描述各实施例的一些可选的实现方式中,人体识别模型可以是采用机器学习方法训练得出的。具体地,参考图5,可以按照图5所示的人体识别模型的生成方法的流程500训练得出人体识别模型:
步骤501,获取样本数据集。
上述样本数据集包括:由不同类别的摄像头采集的样本人体图像以及样本人体图像所包含的人物对象的身份标识信息。可以收集各类别的摄像头采集的人物图像作为样本人体图像,或者可以从各类别的摄像头采集的图像中分割出不同人物的图像作为样本人体图像,并且为收集到的样本人体图像中所包含的人物对象配置身份标识,不同样本人体图像中的同一人物对象的身份标识相同,不同人物对象的身份标识不相同,据此来构建样本数据集。还可以标记采集样本人体图像的摄像头的类别,以区分不同类别的摄像头采集的样本人体图像。
可选地,可以通过如下方式获取样本数据集:对由不同类别的摄像头采集的场景图像进行人脸检测,基于检测出的人脸识别上述场景图像中包含的人物对象的身份,基于场景图像以及识别出的场景图像中包含的人物对象的身份生成样本数据集。
具体地,对同一场景中不同类别的摄像头采集的场景图像,可以基于人脸特征点检测等方法检测人脸,并识别检测出的人脸。随后可以根据识别出的人脸确定场景图像中对应的人物对象的身份,标记该场景图像中的人物对象的身份后作为样本人体图像添加至样本数据集中。
进一步可选地,可以将场景图像所包含的各人物对象的图像分别从场景图像中切割出来,生成样本人体图像。具体可以基于人脸检测结果分割各人物对象的图像,生成样本人体图像,然后基于对场景图像中包含的人物对象的身份的识别结果,生成对应的样本人体图像所包含的人物对象的身份标识信息。通过这种方式可以获得样本人体图像和对应的身份标识信息,并且各样本人体图像为单独的人物对象的图像,使得训练过程中人体识别模型不易将不同人的特征混淆。
这样,通过对场景图像进行人脸检测和识别,可以自动化地收集大量的样本人体图像来构建样本数据集,能够提升构建样本数据集的效率。
步骤502,构建包含特征提取模块和判别模块的机器学习模型。
在这里,特征提取模块用于提取图像中的人体特征,判别模块用于判别不同类别的摄像头采集的人体图像是否对应于同一人物对象。可选地,可以构建包含特征提取层和判别层的神经网络模型,该特征提取层包括多个卷积层,判别层可以包括分类层。
步骤503,利用机器学习模型中的特征提取模块分别提取输入的不同样本人体图像的特征,基于提取出的样本人体图像的特征,利用机器学习模型中的判别模块识别样本数据集中由不同类别的摄像头采集的样本人体图像是否为同一人物的人体图像。
特征提取模块可以将由不同类别的摄像头采集的样本人体图像转换为维度相同的特征,判别模块可以基于特征提取模块提取出的特征判断不同类别的摄像头采集的样本人体图像中的人物对象是否为同一人物对象。在训练的每次迭代中,可以利用当前的机器学习模型对样本数据集中的样本人体图像进行特征提取并判别不同类别的摄像头采集的样本人体图像是否为同一人物对象的人体图像,得到当前的机器学习模型的识别结果。
步骤504,根据输入机器学习模型的样本人体图像所包含的人物对象的身份标识信息确定机器学习模型的识别误差,基于识别误差迭代调整机器学习模型,以使经过迭代调整的机器学习模型的识别误差满足预设的收敛条件。
上述样本数据集中包含各样本人体图像所包含的人物对象的身份标识信息,当判别模块的判断结果与基于样本人体图像的身份标识确定的期望判别结果不一致时,判别模块识别错误。具体地,若输入机器学习模型的两幅或更多样本人体图像所包含的人物对象的身份标识一致,而判别模块对输入该机器学习模型的两幅或更多样本人体图像的判断结果为所包含的人物对象的不是同一人物对象,则判别模块对输入机器学习模型的两幅或更多样本人体图像的识别结果为识别错误;或者若输入机器学习模型的两幅或更多样本人体图像所包含的人物的身份标识不一致,而判别模块对输入该机器学习模型的两幅或更多样本人体图像的判断结果为所包含的人物对象的是同一人物对象,则判别模块对输入机器学习模型的两幅或更多样本人体图像的识别结果也为识别错误。当判别模块的判断结果与基于样本人体图像的身份标识确定的期望判别结果一致时,判别模块识别正确。
可以根据判别模块的判断结果与基于样本人体图像的身份标识确定的期望判别结果之间的差异确定上述机器学习模型的识别误差。若识别误差不满足预设的收敛条件,可以采用诸如梯度下降的方法迭代调整机器学习模型的参数,利用反向传播方法提升机器学习模型的识别精度。在每次调整机器学习模型的参数之后,可以基于样本数据集得出新的识别误差,若识别误差仍然不满足预设的收敛条件,则可以继续迭代调整机器学习模型的参数,重新识别并获得识别误差。这样,在重复多次迭代调整参数之后,若识别误差满足预设的收敛条件,可以停止迭代调整机器学习模型的参数。
步骤505,将识别误差满足预设的收敛条件的机器学习模型确定为人体识别模型。
上述预设的收敛条件可以是识别误差小于预设的阈值,或者可以是识别误差在最后几次迭代中的收敛速度小于预设的范围,还可以是迭代的次数达到预设的次数,等等。
通过具有身份标记且由不同类别的摄像头采集的样本人体图像训练得出的人体识别模型,可以针对各种类别的摄像头采集的图像地提取出可准确归类同一人物且准确区分不同人物的人体特征,其中的特征提取模块适用于多类别摄像头场景中的所拍摄的图像的人体特征提取。
进一步可选地,上述预设的人体特征库可以是按照如下方式构建的:利用人体识别模型的特征提取模块提取样本数据集中的样本人体图像的人体特征;将提取出的样本人体图像的人体特征与对应的样本人体图像中的人物对象的身份标识信息关联,并存入人体特征库。
在对人体识别模型训练完成后,可以利用人体识别模型重新对样本数据集中的样本人体图像进行特征提取。由于训练完成的人体识别模型的识别误差通常已收敛到较小的范围,其中特征提取模块能够比较准确地提取人体特征。利用已训练的人体识别模型的特征提取模块重新对样本数据集进行人体特征提取,可以有效地扩充人体特征库,并且,通常样本数据集的数据量较大,这样可以获取大量人物对象的人体特征,有助于进一步提升图像识别方法的识别率和识别精度。
进一步参考图6,作为对上述各图所示方法的实现,本公开的实施例提供了一种图像识别装置,该装置实施例与上述方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的图像识别装置600包括:获取单元601、提取单元602以及识别单元603。其中,获取单元601被配置为获取包含人物对象的图像作为输入图像;提取单元602被配置为采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像;识别单元603被配置为将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象。
在一些实施例中,上述装置600还包括:更新单元,被配置为基于输入图像对识别出的输入图像中的人物对象的运动轨迹进行更新。
在一些实施例中,上述装置600还包括:关联单元,被配置为响应于确定将输入图像的人体特征与预设的人体特征库中的目标人体特征匹配成功,将输入图像的人体特征添加至预设的人体特征库并与目标人体特征关联至同一身份标识。
在一些实施例中,上述关联单元还被配置为:响应于确定将输入图像的人体特征与预设的人体特征库匹配失败,为输入图像中的人物对象配置对应的身份标识,将输入图像的人体特征与对应的身份标识关联地存入预设的人体特征库。
在一些实施例中,上述人体识别模型是按照如下方式生成的:获取样本数据集,样本数据集包括:由不同类别的摄像头采集的样本人体图像以及样本人体图像所包含的人物对象的身份标识信息;构建包含特征提取模块和判别模块的机器学习模型,利用机器学习模型中的特征提取模块分别提取输入的不同样本人体图像的特征,基于提取出的样本人体图像的特征,利用机器学习模型中的判别模块识别样本数据集中由不同类别的摄像头采集的样本人体图像是否为同一人物的人体图像,根据输入机器学习模型的样本人体图像所包含的人物对象的身份标识信息确定机器学习模型的识别误差,基于识别误差迭代调整机器学习模型,以使经过迭代调整的机器学习模型的识别误差满足预设的收敛条件;将识别误差满足预设的收敛条件的机器学习模型确定为人体识别模型。
在一些实施例中,上述样本数据集是按照如下方式获取的:对由不同类别的摄像头采集的场景图像进行人脸检测,基于检测出的人脸识别上述场景图像中包含的人物对象的身份;基于场景图像以及识别出的场景图像中包含的人物对象的身份生成样本数据集。
在一些实施例中,上述样本数据集是进一步按照如下方式获取的:将场景图像所包含的各人物对象的图像分别从场景图像中切割出来,生成样本人体图像;基于对场景图像中包含的人物对象的身份的识别结果,生成对应的样本人体图像所包含的人物对象的身份标识信息。
在一些实施例中,上述预设的人体特征库按照如下方式构建:利用人体识别模型的特征提取模块提取样本数据集中的样本人体图像的人体特征;将提取出的样本人体图像的人体特征与对应的样本人体图像中的人物对象的身份标识信息关联,并存入预设的人体特征库。
应当理解,装置600中记载的诸单元与参考图2、图3和图4描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于装置600及其中包含的单元,在此不再赘述。
本公开的上述实施例的图像识别装置600,通过获取单元获取包含人物对象的图像作为输入图像,提取单元采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,识别单元将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象,其中人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像,实现了在多摄像头场景中准确地匹配出由不同类别的摄像头采集的图像中的人物身份,提升了跨摄像头的人体重识别的准确性。
下面参考图7,其示出了适于用来实现本公开的实施例的电子设备(例如图1所示的服务器)700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取包含人物对象的图像作为输入图像;采用已训练的人体识别模型中的特征提取模块对输入图像进行特征提取,人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且人体识别模型基于提取出的人体图像的特征识别由不同类别的摄像头采集的人体图像是否为同一人物的人体图像;将提取出的输入图像的人体特征与预设的人体特征库进行匹配,以识别出输入图像中的人物对象
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、提取单元和识别单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取包含人物对象的图像作为输入图像的单元”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种图像识别方法,包括:
获取包含人物对象的图像作为输入图像;
采用已训练的人体识别模型中的特征提取模块对所述输入图像进行特征提取,所述人体识别模型利用特征提取模块分别提取由不同类别的摄像头采集的人体图像的特征,并且所述人体识别模型基于提取出的所述人体图像的特征识别所述由不同类别的摄像头采集的人体图像是否为同一人物的人体图像;
利用提取出的所述输入图像的人体特征与存储在预设的人体特征库中的人体特征之间的相对距离或相似度将提取出的所述输入图像的人体特征与存储在所述预设的人体特征库中的人体特征进行匹配,以识别出所述输入图像中的人物对象,
其中,所述方法还包括:
响应于确定将所述输入图像的人体特征与预设的人体特征库中的目标人体特征匹配成功,将所述输入图像的人体特征添加至所述预设的人体特征库并与所述目标人体特征关联至同一身份标识。
2.根据权利要求1所述的方法,其中,所述方法还包括:
基于所述输入图像,对识别出的所述输入图像中的人物对象的运动轨迹进行更新。
3.根据权利要求1所述的方法,其中,所述方法还包括:
响应于确定将所述输入图像的人体特征与预设的人体特征库匹配失败,为所述输入图像中的人物对象配置对应的身份标识,将所述输入图像的人体特征与对应的身份标识关联地存入所述预设的人体特征库。
4.根据权利要求1-3任一项所述的方法,其中,所述人体识别模型是按照如下方式生成的:
获取样本数据集,所述样本数据集包括:由不同类别的摄像头采集的样本人体图像以及所述样本人体图像所包含的人物对象的身份标识信息;
构建包含特征提取模块和判别模块的机器学习模型,利用所述机器学习模型中的特征提取模块分别提取输入的不同样本人体图像的特征,基于提取出的样本人体图像的特征,利用所述机器学习模型中的判别模块识别所述样本数据集中由不同类别的摄像头采集的样本人体图像是否为同一人物的人体图像,根据输入所述机器学习模型的样本人体图像所包含的人物对象的身份标识信息确定所述机器学习模型的识别误差,基于所述识别误差迭代调整所述机器学习模型,以使经过迭代调整的机器学习模型的识别误差满足预设的收敛条件;
将所述识别误差满足预设的收敛条件的机器学习模型确定为所述人体识别模型。
5.根据权利要求4所述的方法,其中,所述获取样本数据集包括:
对由不同类别的摄像头采集的场景图像进行人脸检测,基于检测出的人脸识别所述场景图像中包含的人物对象的身份;
基于所述场景图像以及识别出的所述场景图像中包含的人物对象的身份生成样本数据集。
6.根据权利要求5所述的方法,其中,所述基于所述场景图像以及识别出的所述场景图像中包含的人物对象的身份生成样本数据集,包括:
将所述场景图像所包含的各人物对象的图像分别从所述场景图像中切割出来,生成样本人体图像;
基于对所述场景图像中包含的人物对象的身份的识别结果,生成对应的样本人体图像所包含的人物对象的身份标识信息。
7.根据权利要求4所述的方法,其中,所述预设的人体特征库按照如下方式构建:
利用所述人体识别模型的特征提取模块提取所述样本数据集中的样本人体图像的人体特征;
将提取出的样本人体图像的人体特征与对应的样本人体图像中的人物对象的身份标识信息关联,并存入所述预设的人体特征库。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/528,167 US11048917B2 (en) | 2019-07-31 | 2019-07-31 | Method, electronic device, and computer readable medium for image identification |
US16/528,167 | 2019-07-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112307868A CN112307868A (zh) | 2021-02-02 |
CN112307868B true CN112307868B (zh) | 2024-04-19 |
Family
ID=74259213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010147268.3A Active CN112307868B (zh) | 2019-07-31 | 2020-03-05 | 图像识别方法、电子设备和计算机可读介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11048917B2 (zh) |
CN (1) | CN112307868B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11783587B2 (en) * | 2020-03-04 | 2023-10-10 | Nec Corporation | Deep learning tattoo match system based |
US11875599B2 (en) * | 2020-08-05 | 2024-01-16 | Ubtech Robotics Corp Ltd | Method and device for detecting blurriness of human face in image and computer-readable storage medium |
CN112836655B (zh) * | 2021-02-07 | 2024-05-28 | 上海卓繁信息技术股份有限公司 | 一种识别违规动作者身份的方法、装置和电子设备 |
CN113673601B (zh) * | 2021-08-23 | 2023-02-03 | 北京三快在线科技有限公司 | 一种行为识别方法、装置、存储介质及电子设备 |
US20230063752A1 (en) * | 2021-08-31 | 2023-03-02 | Zebra Technologies Corporation | Method for Human Characteristic and Object Characteristic Identification for Retail Loss Prevention at the Point of Sale |
WO2023157043A1 (ja) * | 2022-02-15 | 2023-08-24 | 三菱電機株式会社 | 画像検索装置、画像検索方法及び画像検索プログラム |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095870A (zh) * | 2015-07-27 | 2015-11-25 | 中国计量学院 | 基于迁移学习的行人重识别方法 |
CN105518744A (zh) * | 2015-06-29 | 2016-04-20 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
CN107038400A (zh) * | 2016-02-04 | 2017-08-11 | 索尼公司 | 人脸识别装置及方法和利用其的目标人跟踪装置及方法 |
KR101793510B1 (ko) * | 2017-03-27 | 2017-11-06 | 한밭대학교 산학협력단 | 얼굴 학습 및 인식 시스템과 그 방법 |
CN107844753A (zh) * | 2017-10-20 | 2018-03-27 | 珠海习悦信息技术有限公司 | 视频图像中的行人重识别方法、装置、存储介质及处理器 |
CN108345847A (zh) * | 2018-01-30 | 2018-07-31 | 石数字技术成都有限公司 | 一种人脸图像标签数据生成系统及其方法 |
CN108564066A (zh) * | 2018-04-28 | 2018-09-21 | 国信优易数据有限公司 | 一种人物识别模型训练方法以及人物识别方法 |
CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 人体动作识别方法和装置 |
CN109101913A (zh) * | 2018-08-01 | 2018-12-28 | 北京飞搜科技有限公司 | 行人重识别方法和装置 |
CN109271895A (zh) * | 2018-08-31 | 2019-01-25 | 西安电子科技大学 | 基于多尺度特征学习和特征分割的行人重识别方法 |
CN109949347A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
JP2019109709A (ja) * | 2017-12-18 | 2019-07-04 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
CN110070010A (zh) * | 2019-04-10 | 2019-07-30 | 武汉大学 | 一种基于行人重识别的人脸属性关联方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6714665B1 (en) * | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US8064647B2 (en) * | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US8260008B2 (en) * | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
US8489887B1 (en) * | 2008-12-31 | 2013-07-16 | Bank Of America Corporation | Biometric authentication for video communication sessions |
CN102063610B (zh) * | 2009-11-13 | 2013-08-28 | 鸿富锦精密工业(深圳)有限公司 | 影像辨识系统及方法 |
US8498448B2 (en) * | 2011-07-15 | 2013-07-30 | International Business Machines Corporation | Multi-view object detection using appearance model transfer from similar scenes |
US10497257B2 (en) * | 2017-08-31 | 2019-12-03 | Nec Corporation | Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation |
-
2019
- 2019-07-31 US US16/528,167 patent/US11048917B2/en active Active
-
2020
- 2020-03-05 CN CN202010147268.3A patent/CN112307868B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105518744A (zh) * | 2015-06-29 | 2016-04-20 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
CN105095870A (zh) * | 2015-07-27 | 2015-11-25 | 中国计量学院 | 基于迁移学习的行人重识别方法 |
CN107038400A (zh) * | 2016-02-04 | 2017-08-11 | 索尼公司 | 人脸识别装置及方法和利用其的目标人跟踪装置及方法 |
KR101793510B1 (ko) * | 2017-03-27 | 2017-11-06 | 한밭대학교 산학협력단 | 얼굴 학습 및 인식 시스템과 그 방법 |
CN107844753A (zh) * | 2017-10-20 | 2018-03-27 | 珠海习悦信息技术有限公司 | 视频图像中的行人重识别方法、装置、存储介质及处理器 |
JP2019109709A (ja) * | 2017-12-18 | 2019-07-04 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
CN108345847A (zh) * | 2018-01-30 | 2018-07-31 | 石数字技术成都有限公司 | 一种人脸图像标签数据生成系统及其方法 |
CN108564066A (zh) * | 2018-04-28 | 2018-09-21 | 国信优易数据有限公司 | 一种人物识别模型训练方法以及人物识别方法 |
CN109101913A (zh) * | 2018-08-01 | 2018-12-28 | 北京飞搜科技有限公司 | 行人重识别方法和装置 |
CN108985259A (zh) * | 2018-08-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 人体动作识别方法和装置 |
CN109271895A (zh) * | 2018-08-31 | 2019-01-25 | 西安电子科技大学 | 基于多尺度特征学习和特征分割的行人重识别方法 |
CN109949347A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
CN110070010A (zh) * | 2019-04-10 | 2019-07-30 | 武汉大学 | 一种基于行人重识别的人脸属性关联方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210034842A1 (en) | 2021-02-04 |
CN112307868A (zh) | 2021-02-02 |
US11048917B2 (en) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112307868B (zh) | 图像识别方法、电子设备和计算机可读介质 | |
US11308334B2 (en) | Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation | |
CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
US10614310B2 (en) | Behavior recognition | |
US11295139B2 (en) | Human presence detection in edge devices | |
JP4852765B2 (ja) | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム | |
US11709282B2 (en) | Asset tracking systems | |
US9569531B2 (en) | System and method for multi-agent event detection and recognition | |
CN109325429B (zh) | 一种关联特征数据的方法、装置、存储介质及终端 | |
CN110428449B (zh) | 目标检测跟踪方法、装置、设备及存储介质 | |
Nam et al. | Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata | |
CN109508583B (zh) | 一种人群分布特征的获取方法和装置 | |
CN111160243A (zh) | 客流量统计方法及相关产品 | |
KR102376479B1 (ko) | 인공지능 기반 객체 자동 인식을 위한 cctv 제어 방법, 장치 및 시스템 | |
JP2012059224A (ja) | 移動物体追跡システムおよび移動物体追跡方法 | |
KR102028930B1 (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
CN116824641A (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
CN111310595A (zh) | 用于生成信息的方法和装置 | |
CN110728249A (zh) | 目标行人的跨摄像机识别方法、装置及系统 | |
Park et al. | Intensity classification background model based on the tracing scheme for deep learning based CCTV pedestrian detection | |
Rachna et al. | Real-Time Violence Detection Using Deep Neural Networks and DTW | |
CN113793362A (zh) | 基于多镜头视频的行人轨迹提取方法和装置 | |
CN111291597B (zh) | 一种基于图像的人群态势分析方法、装置、设备及系统 | |
Gaikwad et al. | Edge-based real-time face logging system for security applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |