CN113360688B - 信息库的构建方法、装置及系统 - Google Patents
信息库的构建方法、装置及系统 Download PDFInfo
- Publication number
- CN113360688B CN113360688B CN202110721129.1A CN202110721129A CN113360688B CN 113360688 B CN113360688 B CN 113360688B CN 202110721129 A CN202110721129 A CN 202110721129A CN 113360688 B CN113360688 B CN 113360688B
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- cluster
- face
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 30
- 238000010276 construction Methods 0.000 claims description 29
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000009411 base construction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种信息库的构建方法、装置及系统,涉及人工智能领域,具体涉及计算机视觉和深度学习技术,具体可用于智慧城市和智能交通场景下。方法包括:对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征,对各人脸特征进行聚类处理,得到至少一个大类簇,并基于每一对象对应的大类簇,获取归属于每一对象的人体图像,在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一小类簇包括归属于同一对象的人体图像,并根据各大类簇和各小类簇构建信息库,避免相似对象干扰,准确构建得到“一人一档”的信息库的效果。
Description
技术领域
本公开涉及人工智能领域,具体涉及计算机视觉和深度学习技术,尤其涉及一种信息库的构建方法、装置及系统,具体可用于智慧城市和智能交通场景下。
背景技术
随着人工智能技术的发展,图像识别技术得到了广泛应用,如通过人脸检索实现安全防护监控和追踪等,基于此需要建立“一人一档”的信息库。
在现有技术中,构建信息库的方法包括:采集包括人的图像,从图像中提取人体特征,通过对人体特征聚类的方式对图像进行聚类,以建立同一个人的图像归属于同一类别的信息库。
然而,上述方法容易受限于人脸遮挡、背身或者模糊人脸等场景,导致聚类的准确性偏低,进而使得信息库的可靠性和实用性偏低的技术问题。
发明内容
本公开提供了一种用于提高信息库的可靠性的信息库的构建方法、装置及系统。
根据本公开的第一方面,提供了一种信息库的构建方法,包括:
对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征;
对各人脸特征进行聚类处理,得到至少一个大类簇,每一所述大类簇中包括归属于同一对象的人脸图像,并基于每一所述对象对应的大类簇,获取归属于每一所述对象的人体图像;
在每一所述大类簇中,对与每一所述大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像,并根据各所述大类簇和各所述小类簇构建信息库。
根据本公开的第二方面,提供了一种信息库的构建装置,包括:
第一特征提取单元,用于对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征;
第一聚类单元,用于对各人脸特征进行聚类处理,得到至少一个大类簇,每一所述大类簇中包括归属于同一对象的人脸图像;
获取单元,用于基于每一所述对象对应的大类簇,获取归属于每一所述对象的人体图像;
第二聚类单元,用于在每一所述大类簇中,对与每一所述大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像;
构建单元,用于根据各所述大类簇和各所述小类簇构建信息库。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
根据本公开的第六方面,提供了一种信息库的构建系统,包括:图像采集装置、以及如第二方面所述的装置,其中,所述图像采集装置用于,采集包括各人脸图像和各人体图像的图像集。
根据本公开的第七方面,提供了一种安防监控系统,包括:
图像采集装置,用于采集目标对象的图像;
处理装置,用于根据所述目标对象的图像、以及采用如第一方面所述的方法构建的信息库,确定所述目标对象的相关信息,以对所述目标对象进行追踪。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开实施例的大类簇和小类簇的示意图;
图3是根据本公开第二实施例的示意图;
图4是根据本公开第三实施例的示意图;
图5是根据本公开第四实施例的示意图;
图6是根据本公开第五实施例的示意图;
图7是根据本公开第六实施例的示意图;
图8是用来实现本公开实施例的信息库的构建方法的电子设备的框图;
图9是可以实现本公开实施例的信息库的应用场景图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
信息库可以为存储“一人一档”的数据库,随着人工智能技术的发展,信息库可以用于辅助实现安全防护监控和追踪,因此,提高信息库的准确性和可靠性尤为重要。
在相关技术中,通常采用的构建信息库的方法为:
获取人的图像,该图像可能为人的整体图像(即人体图像),也肯能为人的部分图像。
对各图像中剔除仅包括人的部分身体的部分图像,保留人体图像。
对每一人体图像进行特征提取,得到每一人体图像的人体特征,并通过对人体特征进行聚类方式,确定属于同一个人的人体特征,从而确定属于同一个人的人体图像,进而建立“一人一档”的信息库。
然而,采用上述方法,一方面,用于构建信息库的为人体图像,而对仅包括人的部分身体的部分图像进行了剔除,尽管可以通过减少对部分图像的分析而提高构建效率,但是,容易造成信息库的可靠性偏低的技术问题。
另一方面,人体图像受摄像头角度、人体姿态、以及服饰等影响较大,导致提取得到的不同人的人体特征之间相似度较高,尤其是针对体型相差较小的不同人的人体特征,可能相差甚微,从而导致将不同人的人体图像聚类为同一个人的人体图像,进而导致信息库的准确性偏低的技术问题。
为了避免上述技术问题中的至少一种,本公开的发明人经过创造性地劳动,得到了本公开的发明构思:基于人脸图像进行首次聚类,得到包括人脸图像的大类簇,并在大类簇的基础上,基于人体图像进行再次聚类,得到归属于大类簇、且包括人体图像的小类簇,并基于大类簇和小类簇构建信息库。
基于上述发明构思,本公开提供一种信息库的构建方法、装置及系统,应用于人工智能领域,具体涉及计算机视觉和深度学习技术,具体可用于智慧城市和智能交通场景下,以达到提高信息库的准确性和可靠性。
图1是根据本公开第一实施例的示意图,如图1所示,本公开实施例的信息库的构建方法,包括:
S101:对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征。
示例性地,本实施例的执行主体可以为信息库的构建装置(下文简称构建装置),构建装置可以为服务器(如云端服务器,或者,本地服务器),也可以为计算机设备(如台式电脑,或者,笔记本电脑等),也可以终端设备,也可以为处理器,也可以为芯片等,本实施例不做限定。
其中,人脸图像是指对象的人脸的图像;人体图像是指对象的整体的图像,如人体图像为包括身体图像和人脸图像的整体图像,也即,在人体图像中,关注点并不在于对象的脸是否被包括在人体图像中,更无须关注人脸是否清楚等,只需要确定该图像为对象的图像即可。
关于特征提取的处理本实施例不做限定,例如,可以采用构建模型的方式实现。
关于获取各人脸图像和各人体图像的实现,可以采用下述实施例:
一个示例中,构建装置可以与外接设备连接,以从外接设备获取图像集。其中,外接设备可以为图像采集装置,具体地,图像采集装置可以为摄像装置。
例如,图像采集装置可以对每一人(即每一对象)的图像进行采集,并将采集到的图像发送至构建装置,相应地,构建装置可以接收由图像采集装置发送的每一对象的图像,从而得到包括每一对象的图像的图像集。
另一个示例中,构建装置可以提供图像传输界面,用户可以通过图像传输界面将每一对象的图像传输至构建装置。
应该理解地是,上述示例只是用于示范性地说明,构建装置可能采用的获取各图像的方式,而不能理解为对获取各图像的方式的限定。
S102:对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像,并基于每一对象对应的大类簇,获取归属于每一对象的人体图像。
其中,本实施例对各人脸特征进行聚类处理的具体实现不做限定,例如,可以采用相关技术中的聚类算法实现。
具体地,可以采用K均值(K-Means)聚类、均值漂移聚类、基于密度的聚类方法(DBSCAN)等。优选地,可以采用不指定聚类个数的自动聚类算法实现。
例如,若图像集中包括n个人脸图像,则在对每一人脸图像进行特征提取后,得到n个人脸特征,相应地,在该步骤中,对n个人脸特征进行聚类处理,以确定属于同一个人脸类别的人脸特征,一个类别的人脸特征即为一个对象的人脸特征,从而可以将归属于同一个人脸类别的人脸特征对应的人脸图像,确定为归属于一个对象的人脸图像,即可以确定归属于同一个大类簇的人脸图像。
示例性地,人脸图像1的人脸特征为人脸特征1,人脸图像2的人脸特征为人脸特征2,人脸图像3的人脸特征为人脸特征3,人脸图像4的人脸特征为人脸特征4。
如图2所示,在对各人脸特征进行聚类处理后,确定人脸特征1至人脸特征4为同一人脸类别。
相应地,可以确定人脸图像1至人脸图像4为同一对象的人脸图像,从而得到包括人脸图像1至人脸图像4的大类簇,具体可以参阅图2。
S103:在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一小类簇包括归属于同一对象的人体图像,并根据各大类簇和各小类簇构建信息库。
同理,对各人体特征进行聚类处理的实现可以参见,对人体特征进行聚类处理的描述,此处不再赘述。
例如,结合图2所示的实施例,若大类簇中的人脸图像均归属于对象A,且从各人体图像中获取到的归属于对象A的人体图像为:人体图像1、人体图像2、人体图像3、以及人体图像4。
其中,在对各人体图像进行特征提取之后,确定出:人体图像1的人体特征为人体特征1,人体图像2的人体特征为人体特征2,人体图像3的人体特征为人体特征3,人体图像4的人体特征为人体特征4。
在该步骤中,可以对人体特征1至人体特征4进行聚类处理,若聚类处理的结果为人体特征1和人体特征2为同一人体类别,人体特征3和人体特征4为同一人体类别,则如图2所示,大类簇中可以包括两个小类簇,且一个小类簇中包括:人体特征1对应的人体图像1、以及人体特征2对应的人体图像2;另一个小类簇中包括:人体特征3对应的人体图像3、以及人体特征4对应的人体图像4。
如图2所示,在信息库中,对象A的信息既包括对象A的人脸图像对应的信息,又包括对象A的人体图像对应的信息,即信息库可以对对象A的信息进行充分而详细的阐述,因此,采用本实施例的方法构建信息库,可以使得信息库具有较高的准确性、可靠性、以及实用性的技术效果。
基于上述分析可知,本实施例提供了一种信息库的构建方法,包括:对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征,对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像,并基于每一对象对应的大类簇,获取归属于每一对象的人体图像,在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一小类簇包括归属于同一对象的人体图像,并根据各大类簇和各小类簇构建信息库,在本实施例中,基于从人脸图像和人体图像两个维度构建信息库的发明构思,引入了:对各人脸特征进行聚类处理,得到至少一个大类簇,在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,以便基于各大类簇和各小类簇构建信息库的技术特征,一方面,避免了相关技术中基于人体图像的单一维度构建信息库,造成的信息库的准确性和可靠性偏低的技术问题,提高了信息库中各对象的信息的丰富性和多样性,提高了信息库的可靠性的技术效果;另一方面,避免了对象人体特征类似时(如身材类似等),错误地将属于不同对象人体图像确定为相同对象的人体图像的弊端,从而实现了避免相似对象干扰,准确构建得到“一人一档”的信息库的技术效果。
图3是根据本公开第二实施例的示意图,如图3所示,本公开实施例的信息库的构建方法,包括:
S301:确定获取到的图像集中的每一人脸图像归属的对象,并确定图像集中的每一人体图像归属的对象。
关于本实施例的执行主体和获取图像集地描述,可以参见第一实施例,此处不再赘述。
例如,若人脸图像的数量为n个,则确定n个人脸图像中的每一个人脸图像所归属的对象,即每一个人脸图像属于哪一个人的人脸图像。
若人体图像的数量为m个,则确定m个人体图像中的每一个人体图像所归属的对象,即每一个人体图像属于哪一个人的人脸图像。
应该理解地是,人脸图像的数量n与人体图像的数量m之间,没有大小关系的限制,如部分对象的身体被遮挡而人脸清晰,因此,该部分对象仅具有人脸图像;部分对象的身体轮廓清晰,而人脸却不清晰(也可能为仅采集到了侧脸或者背面),因此,该部分对象仅具有人体图像。
S302:若任意对象在图像集中仅包括人脸图像,或者,仅包括人体图像,则对任意对象在图像集中的人脸图像或人体图像进行剔除处理,并对剔除处理后的图像集中的各人脸图像和各人体图像分别进行特征提取。
例如,针对对象B,图像集中仅包括对象B的人脸图像(或者,仅包括对象B的人体图像),可以将对象B的人脸图像(或者,人体图像)从图像集中剔除,以便在后续构建信息库时,不再考虑对象B的人脸图像(或者,人体图像),可以避免干扰和噪音,从而使得构建的信息库具有较高的准确性和可靠性,且可以提高构建信息库的效率的技术效果。
S303:根据剔除处理后的图像集中的每一人脸图像归属的对象、以及剔除处理后的图像集中的每一人体图像归属的对象,构建人脸图像与人体图像归属于同一对象的对应关系。
例如,可以为每一对象分配标识,并将具有相同标识的人脸图像和人体图像确定为同一对象的图像,且构建具有相同标识的人脸图像与人体图像之间的对应关系。
即针对任一人脸图像,可以基于对应关系确定与该任一人脸图像对应的人体图像,反之,针对任一人体图像,也可以基于对应关系确定与该任一人体图像对应的人脸图像。
S304:剔除处理后的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征。
S305:对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像。
其中,关于S304至S305的实现原理,可以参见第一实施例,此处不再赘述。
S306:根据每一对象对应的大类簇中的人脸图像、以及对应关系,获取归属于每一对象的人体图像。
基于上述分析,针对任一人脸图像,可以基于对应关系确定与该任一人脸图像对应的人体图像,任一人脸图像与该确定出的人体图像归属于同一对象。
因此,在本实施例中,通过构建对应关系,并基于对应关系确定与人脸图像归属于同一对象的人体图像,可以提高获取人体图像的效率和准确性的技术效果。
S307:在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一小类簇包括归属于同一对象的人体图像,并根据各大类簇和各小类簇构建信息库。
关于S307的实现原理,可以参见第一实施例,此处不再赘述。
图4是根据本公开第三实施例的示意图,如图4所示,本公开实施例的信息库的构建方法,包括:
S401:对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征。
S402:对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像,并基于每一对象对应的大类簇,获取归属于每一对象的人体图像。
S403:在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一小类簇包括归属于同一对象的人体图像,并根据各大类簇和各小类簇构建信息库。
关于S401至S403的实现原理,可以参见第一实施例,也可以参见第二实施例,此处不再赘述。
S404:响应于获取到新图像,判断新图像中是否包括人脸图像,若是(即包括人脸图像),则执行S405,若否,则执行S410。
S405:对新图像中的人脸图像进行特征提取,得到待匹配人脸特征,并确定待匹配人脸特征与每一大类簇的人脸特征之间的第二相似度。
基于上述分析可知,一个大类簇中,可能包括一个人脸图像,也可以能包括多个人脸图像,若某大类簇中包括一个人脸图像,则第二相似度的确定方法可以为:将待匹配人脸特征与该一个人脸图像的人脸特征之间的相似度确定为第二相似度。
即,该一个人脸图像具有相应的人脸特征,计算该人脸特征与待匹配人脸特征之间的相似度,并将该相似度确定为第二相似度。
其中,计算相似度的具体算法可以参见相关技术,此处不再赘述。
若一个大类簇中包括多个人脸图像,则至少可以采用下述两种方式确定第二相似度:
一种方式为:每一人脸图像具有对应的人脸特征,即存在多个人脸特征,分别计算每一个人脸特征与待匹配人脸特征之间的相似度,得到多个相似度(相似度的数量与人脸图像的数量相同),并将多个相似度的平均值确定为第二相似度。
另一种方式为:每一人脸图像具有对应的人脸特征,即存在多个人脸特征,确定多个人脸特征的平均人脸特征,并计算平均人脸特征与待匹配人脸特征之间的相似度,计算得到的相似度即为第二相似度。
S406:将第二相似度大于预设的第二相似度阈值的人脸特征对应的大类簇,确定为新图像中的人脸图像所属的大类簇,并根据新图像中的人脸图像所属的大类簇将新图像中的人脸图像添加至信息库中。
其中,第二相似度阈值可以基于需求、历史记录、以及试验等方式进行设置,本实施例不做限定。
示例性地,针对不同的应用场景,可以设置不同的第二相似度阈值。例如,针对准确性需求相对较高的应用场景,可以将第二相似度阈值设置为相对较大的值;反之,针对准确性需求相对较低的应用场景,可以将第二相似度阈值设置为相对较小的值。
本实施例可以理解为:每一个大类簇与待匹配人脸特征之间有第二相似度,则将每一第二相似度与第二相似度阈值进行比较,以判断每一第二相似度是否大于第二相似度阈值,如果某一个第二相似度大于第二相似度阈值,则确定大于第二相似度阈值的第二相似度的大类簇,确定为新图像中的人脸图像所属的大类簇,并根据该大类簇将新图像中的人脸图像添加至信息库中,从而完成对信息库的不断完善和更新。
值得说明地是,在本实施例中,通过计算第二相似度,并基于第二相似度确定新图像中的人脸图像所属的大类簇,以便在信息库中对新图像中的人脸图像进行添加,可以实现对新图像中的人脸图像进行高效快捷定位,从而实现对信息库的完善和更新的有效性和及时性的技术效果,且由于人脸图像相对人体图像对对象进行区分时,相对更为准确,避免因不同对象穿着相同衣物,或者不同对象具有相近身材等造成的干扰,因此,通过优先从人脸图像的维度对信息库进行完善和更新更新,可以提高准确性和可靠性的技术效果。
在另一些实施例中,各第二相似度可能均小于第二相似度阈值,则可以构建与新图像中的人脸图像的大类簇,并根据新图像中的人脸图像的大类簇对信息库进行更新。
也即,新图像为新的对象的图像,信息库中并未存储有该新的对象的信息,因此,为了使得信息库具有较高的完整性和全面性,针对获取到的新图像,可以基于该新图像对信息库进行更新,以使得更新后的信息库中包括新图像的对象的信息。
在一些实施例中,在构建新图像中的人脸图像的大类簇的基础上,可以进一步确定新图像中是否包括人体图像,如果包括,即新图像中包括人脸图像和人体图像,且新图像中的人脸图像和人体图像属于同一对象,则对新图像的人体图像进行特征提取,得到新图像的人体特征,并在新图像的人脸图像的大类簇中构建新图像的人体图像的小类簇。
同理,在本实施例中,在新图像中既包括人脸图像,又包括人体图像时,根据新图像中的人脸图像构建大类簇,并根据新图像中的人体图像构建小类簇,可以实现在基于该新图像对信息库进行更新和完善时,提高信息库的准确性和可靠性的技术效果。
S407:判断新图像中是否包括人体图像,若是,则执行S408,若否,则流程结束。
S408:对新图像的人体图像进行特征提取,得到新图像的待匹配人体特征,并确定待匹配人体特征、以及新图像的人脸图像所属的大类簇中的小类簇对应的人体特征之间的第三相似度。
一个示例中,若新图像的人脸图像所属的大类簇中,包括多个小类簇,则针对每一个小类簇,确定该小类簇的人体图像的平均人体特征,并计算待匹配人体特征与确定出的平均人体特征之间的相似度,得到该待匹配人体特征与该小类簇对应的人体特征之间的第三相似度。
另一个示例中,若新图像的人脸图像所属的大类簇中,包括多个小类簇,则针对每一个小类簇中的每一人体图像的人体特征,计算待匹配人体特征与该人体特征之间的相似度,并对各相似度进行求均值,得到该待匹配人体特征与该小类簇对应的人体特征之间的第三相似度。
另一个示例中,若新图像的人脸图像所属的大类簇中,包括一个小类簇,则确定该小类簇的人体图像对应的人体特征,并计算待匹配人体特征与该人体特征之间的相似度,得到该待匹配人体特征与该小类簇对应的人体特征之间的第三相似度。
S409:将第三相似度大于预设的第三相似度阈值的人脸图像对应的小类簇,确定为新图像中的人体图像所属的小类簇,并根据新图像中的人体图像所属的小类簇,将新图像中的人体图像添加至信息库中。
同理,关于确定新图像中的人体图像所属的小类簇的实现方式,可以参见确定新图像中的人脸图像所属的大类簇的实现方式,此处不再赘述。
值得说明地是,在本实施例中,通过在确定新图像中的人脸图像所属的大类簇的基础上,确定新图像中的人体图像所归属的小类簇,以便完成对信息库的更新和完善,可以避免因大范围的匹配而造成的资源消耗较大,且效率偏低的问题,从而实现提高更新和完善信息库的效率,且提高准确性和可靠性的技术效果。
在另一些实施例中,各第三相似度均小于第三相似度阈值,则在新图像中的人脸图像所属的大类簇中,构建新图像中的人体图像的小类簇,并根据新图像中的人体图像的小类簇对信息库进行更新。
也即,信息库中虽然已经存储有新图像的对象对应的人脸图像,也可能已经存储有相应的人体图像,但是,信息库中并未存储有与该新图像中的人体图像归属同一小类簇的人体图像,因此,为了使得信息库具有较高的完整性和全面性,针对新图像中的人体图像,可以基于该新图像中的人体图像对信息库进行更新,以使得更新后的信息库中包括新图像的人体图像的信息。
S410:判断新图像中是否包括人体图像,若是,则执行S411,若否,则流程结束。
S411:将新图像中的人体图像与每一小类簇分别进行匹配处理,得到各匹配结果,并根据各匹配结果对信息库进行更新。
在本实施例中,在新图像中不包括人脸图像,而包括人体图像的情况下,以新图像中的人体图像与各小类簇进行匹配,以便基于各匹配结果对信息库进行更新,避免了“一人多档”的问题,且可以实现尽可能丰富信息库中人体图像的信息的技术效果。
在一些实施例中,S411可以包括如下步骤:
第一步骤:对新图像中的人体图像进行特征提取,得到待匹配人体特征,并确定待匹配人体特征与每一小类簇对应的人体特征之间的第一相似度。
第二步骤:将第一相似度大于预设第一相似度阈值的人体图像所属的小类簇,确定为新图像中的人体图像所属的小类簇,并根据新图像中的人体图像所属的小类簇,将新图像中的人体图像添加至信息库中。
关于第一步骤至第二步骤的实现原理,可以参见上述实施例,此处不再赘述。
在另一些实施例中,第二步骤可以存在并列如下方案:
若每一第一相似度小于第一相似度阈值,则构建新图像中的人体图像的大类簇和小类簇,并根据新图像中的人体图像的大类簇和小类簇,对信息库进行更新。
值得说明地是,在本实施例中,若各第一相似度均小于第一相似度阈值,则说明:在各子类簇中,没有与新图像中的人体图像相匹配的人体图像,即新图像中的人体图像没有归属的子类簇,则可以构建新图像的人体图像所属的小类簇和大类簇,避免了新增对象的遗漏,提高了信息库的完整性和全面性的技术效果。
本公开的技术方案中,所涉及的对象的图像获取,以及对象的信息存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
图5是根据本公开第四实施例的示意图,如图5所示,本公开实施例的信息库的构建装置500,包括:
第一特征提取单元501,用于对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征。
第一聚类单元502,用于对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像。
获取单元503,用于基于每一对象对应的大类簇,获取归属于每一对象的人体图像。
第二聚类单元504,用于在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像。
构建单元505,用于根据各大类簇和各小类簇构建信息库。
图6是根据本公开第五实施例的示意图,如图6所示,本公开实施例的信息库的构建装置600,包括:
第一特征提取单元601,用于对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征。
结合图6可知,在一些实施例中,第一特征提取单元601,包括:
第一确定子单元6011,用于确定图像集中的每一人脸图像归属的对象,并确定图像集中的每一人体图像归属的对象。
剔除子单元6012,用于若任意对象在图像集中仅包括人脸图像,或者,仅包括人体图像,则对任意对象在所述图像集中的人脸图像或人体图像进行剔除处理。
第一特征提取子单元6013,用于对剔除处理后的图像集中的各人脸图像和各人体图像分别进行特征提取。
第一聚类单元602,用于对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像。
获取单元603,用于基于每一对象对应的大类簇,获取归属于每一对象的人体图像。
结合图6可知,在一些实施例中,第一特征提取单元601还包括:
第一构建子单元6014,用于根据剔除处理后的图像集中的每一人脸图像归属的对象、以及剔除处理后的图像集中的每一人体图像归属的对象,构建人脸图像与人体图像归属于同一对象的对应关系。
以及,获取单元603用于,根据每一对象对应的大类簇中的人脸图像、以及对应关系,获取归属于每一对象的人体图像。
第二聚类单元604,用于在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像。
构建单元605,用于根据各大类簇和各小类簇构建信息库。
匹配单元606,用于响应于获取到新图像,且新图像中包括人体图像而不包括人脸图像,则将新图像中的人体图像与每一小类簇分别进行匹配处理,得到各匹配结果。
第一更新单元607,用于根据各匹配结果对所述信息库进行更新。
结合图6可知,在一些实施例中,匹配单元606包括:
第二特征提取子单元6061,用于对新图像中的人体图像进行特征提取,得到待匹配人体特征。
第二确定子单元6062,用于确定待匹配人体特征与每一所述小类簇对应的人体特征之间的第一相似度。
第三确定子单元6063,用于将第一相似度大于预设第一相似度阈值的人体特征的人体图像所属的小类簇,确定为新图像中的人体图像所属的小类簇。
以及,第一更新单元607用于,根据新图像中的人体图像所属的小类簇,将新图像中的人体图像添加至信息库中。
结合图6可知,在一些实施例中,匹配单元606还包括:
第二构建子单元6064,用于若每一第一相似度小于第一相似度阈值,则构建新图像中的人体图像的大类簇和小类簇。
以及,第一更新单元607用于,根据新图像中的人体图像的大类簇和小类簇,对信息库进行更新。
图7是根据本公开第六实施例的示意图,如图7所示,本公开实施例的信息库的构建装置700,包括:
第一特征提取单元701,用于对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征。
第一聚类单元702,用于对各人脸特征进行聚类处理,得到至少一个大类簇,每一大类簇中包括归属于同一对象的人脸图像。
获取单元703,用于基于每一对象对应的大类簇,获取归属于每一对象的人体图像。
第二聚类单元704,用于在每一大类簇中,对与每一大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像。
构建单元705,用于根据各大类簇和各小类簇构建信息库。
第二特征提取单元706,用于响应于获取到新图像,且新图像中包括人脸图像,则对所述新图像中的人脸图像进行特征提取,得到待匹配人脸特征。
第一确定单元707,用于确定待匹配人脸特征与每一所述大类簇对应的人脸特征之间的第二相似度。
第二确定单元708,用于将第二相似度大于预设的第二相似度阈值的人脸特征对应的大类簇,确定为新图像中的人脸图像所属的大类簇。
第一添加单元709,用于根据新图像中的人脸图像所属的大类簇,将新图像中的人脸图像添加至信息库中。
第二构建单元710,用于若每一第二相似度小于第二相似度阈值,则构建与新图像中的人脸图像的大类簇。
第二更新单元711,用于根据新图像中的人脸图像的大类簇对信息库进行更新。
第三特征提取单元712,在新图像中还包括人体图像,新图像中的人脸图像和人体图像属于同一对象时,用于对新图像中的人体图像进行特征提取,得到新图像中的人体图像的人体特征。
第三构建单元713,用于在新图像中的人脸图像的大类簇中构建新图像中的人体图像的小类簇。
第四特征提取单元714,在新图像中还包括人体图像,新图像中的人脸图像和人体图像属于同一对象时,用于对新图像中的人体图像进行特征提取,得到新图像的待匹配人体特征。
第三确定单元715,用于确定待匹配人体特征、以及新图像中的人脸图像所属的大类簇中的小类簇对应的人体特征之间的第三相似度。
第四确定单元716,用于将第三相似度大于预设的第三相似度阈值的人体图像对应的小类簇,确定为新图像中的人体图像所属的小类簇。
第二添加单元717,用于根据新图像中的人体图像所属的小类簇,将新图像中的人体图像添加至信息库中。
第三构建单元718,用于若每一第三相似度小于第三相似度阈值,则在新图像中的人脸图像所属的大类簇中,构建新图像中的人体图像的小类簇。
第三更新单元719,用于根据新图像中的人体图像的小类簇对信息库进行更新。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如信息库的构建方法。例如,在一些实施例中,信息库的构建方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的信息库的构建方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信息库的构建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开提供的技术方案所期望的结果,本文在此不进行限制。
根据本公开实施例的另一个方面,本公开实施例还提供了一种信息库的构建系统,包括:图像采集装置、以及上任一实施例所述的信息库的构建装置,其中,图像采集装置用于,采集包括各人脸图像和各人体图像的图像集。
根据本公开实施例的另一个方面,本公开实施例还提供了一种安防监控系统,包括:
图像采集装置,用于采集目标对象的图像;
处理装置,用于根据所述目标对象的图像、以及采用如上任一实施例所述的信息库的构建方法,构建的信息库,确定目标对象的相关信息,以对目标对象进行追踪。
结合上述分析可知,本实施例的信息库的构建方法可以应用于智慧城市和智能交通场景下,且通过本实施例的信息库的构建方法,构建的信息库可以用于安防监控,如用于对象追踪等。
示例性地,当基于本实施例的信息库的构建方法,构建的信息库用于交通场景的安防监控时,场景图可以参阅图9。
如图9所示,车辆901行驶于道路902,道路902的至少一侧设置有图像采集装置903(可以为摄像头),且道路902的至少一侧设置有路侧设备904。
其中,图像采集装置903可以采集车辆901的图像,且采集到的图像中包括车辆901内的对象(如司机和乘客,图中未示出)的图像。
图像采集装置903将采集到的图像传输给路侧设备904。
相应地,路侧设备904中可以存储信息库(基于上述任一实施例所述的信息库的构建方法得到的),并可以从信息中获取与车辆901内的对象对应的信息,并可以将与车辆901内的对象对应的信息发送给相应的平台服务器905,如安防管理平台服务器,从而完成对车辆901内的对的追踪。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (24)
1.一种信息库的构建方法,包括:
对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征;
对各人脸特征进行聚类处理,得到至少一个大类簇,每一所述大类簇中包括归属于同一对象的人脸图像,并基于每一所述对象对应的大类簇,获取归属于每一所述对象的人体图像;
在每一所述大类簇中,对与每一所述大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像,并根据各所述大类簇和各所述小类簇构建信息库;
还包括:
响应于获取到新图像,且所述新图像中包括人体图像而不包括人脸图像,则将所述新图像中的人体图像与每一所述小类簇分别进行匹配处理,得到各匹配结果,并根据各所述匹配结果对所述信息库进行更新。
2.根据权利要求1所述的方法,其中,对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,包括:
确定所述图像集中的每一人脸图像归属的对象,并确定所述图像集中的每一人体图像归属的对象;
若任意对象在所述图像集中仅包括人脸图像,或者,仅包括人体图像,则对所述任意对象在所述图像集中的人脸图像或人体图像进行剔除处理,并对剔除处理后的图像集中的各人脸图像和各人体图像分别进行特征提取。
3.根据权利要求2所述的方法,还包括:根据剔除处理后的图像集中的每一人脸图像归属的对象、以及剔除处理后的图像集中的每一人体图像归属的对象,构建人脸图像与人体图像归属于同一对象的对应关系;
以及,基于每一所述对象对应的大类簇,获取归属于每一对象的人体图像,包括:根据每一所述对象对应的大类簇中的人脸图像、以及所述对应关系,获取归属于每一所述对象的人体图像。
4.根据权利要求1所述的方法,其中,将所述新图像中的人体图像与每一所述小类簇分别进行匹配处理,得到各匹配结果,并根据各所述匹配结果对所述信息库进行更新,包括:
对所述新图像中的人体图像进行特征提取,得到待匹配人体特征,并确定所述待匹配人体特征与每一所述小类簇对应的人体特征之间的第一相似度;
将第一相似度大于预设第一相似度阈值的人体特征的人体图像所属的小类簇,确定为所述新图像中的人体图像所属的小类簇,并根据所述新图像中的人体图像所属的小类簇,将所述新图像中的人体图像添加至所述信息库中。
5.根据权利要求4所述的方法,还包括:
若每一所述第一相似度小于所述第一相似度阈值,则构建所述新图像中的人体图像的大类簇和小类簇,并根据所述新图像中的人体图像的大类簇和小类簇,对所述信息库进行更新。
6.根据权利要求1至5中任一项所述的方法,还包括:
响应于获取到新图像,且所述新图像中包括人脸图像,则对所述新图像中的人脸图像进行特征提取,得到待匹配人脸特征,并确定所述待匹配人脸特征与每一所述大类簇对应的人脸特征之间的第二相似度;
将第二相似度大于预设的第二相似度阈值的人脸特征对应的大类簇,确定为所述新图像中的人脸图像所属的大类簇,并根据所述新图像中的人脸图像所属的大类簇,将所述新图像中的人脸图像添加至所述信息库中。
7.根据权利要求6所述的方法,还包括:
若每一第二相似度小于所述第二相似度阈值,则构建与所述新图像中的人脸图像的大类簇,并根据所述新图像中的人脸图像的大类簇对所述信息库进行更新。
8.根据权利要求7所述的方法,所述新图像中还包括人体图像,所述新图像中的人脸图像和人体图像属于同一对象;还包括:
对所述新图像中的人体图像进行特征提取,得到所述新图像中的人体图像的人体特征,并在所述新图像中的人脸图像的大类簇中构建所述新图像中的人体图像的小类簇。
9.根据权利要求6所述的方法,所述新图像中还包括人体图像,所述新图像中的人脸图像和人体图像属于同一对象;还包括:
对所述新图像中的人体图像进行特征提取,得到所述新图像的待匹配人体特征,并确定所述待匹配人体特征、以及所述新图像中的人脸图像所属的大类簇中的小类簇对应的人体特征之间的第三相似度;
将第三相似度大于预设的第三相似度阈值的人体图像对应的小类簇,确定为所述新图像中的人体图像所属的小类簇,并根据所述新图像中的人体图像所属的小类簇,将所述新图像中的人体图像添加至所述信息库中。
10.根据权利要求9所述的方法,还包括:
若每一第三相似度小于所述第三相似度阈值,则在所述新图像中的人脸图像所属的大类簇中,构建所述新图像中的人体图像的小类簇,并根据所述新图像中的人体图像的小类簇对所述信息库进行更新。
11.一种信息库的构建装置,包括:
第一特征提取单元,用于对获取到的图像集中的各人脸图像和各人体图像分别进行特征提取,得到每一人脸图像的人脸特征、以及每一人体图像的人体特征;
第一聚类单元,用于对各人脸特征进行聚类处理,得到至少一个大类簇,每一所述大类簇中包括归属于同一对象的人脸图像;
获取单元,用于基于每一所述对象对应的大类簇,获取归属于每一所述对象的人体图像;
第二聚类单元,用于在每一所述大类簇中,对与每一所述大类簇中归属相同对象的人体图像的人体特征进行聚类处理,得到至少一个小类簇,每一所述小类簇包括归属于同一对象的人体图像;
构建单元,用于根据各所述大类簇和各所述小类簇构建信息库;
匹配单元,用于响应于获取到新图像,且所述新图像中包括人体图像而不包括人脸图像,则将所述新图像中的人体图像与每一所述小类簇分别进行匹配处理,得到各匹配结果;
第一更新单元,用于根据各所述匹配结果对所述信息库进行更新。
12.根据权利要求11所述的装置,其中,所述第一特征提取单元,包括:
第一确定子单元,用于确定所述图像集中的每一人脸图像归属的对象,并确定所述图像集中的每一人体图像归属的对象;
剔除子单元,用于若任意对象在所述图像集中仅包括人脸图像,或者,仅包括人体图像,则对所述任意对象在所述图像集中的人脸图像或人体图像进行剔除处理;
第一特征提取子单元,用于对剔除处理后的图像集中的各人脸图像和各人体图像分别进行特征提取。
13.根据权利要求12所述的装置,还包括:
第一构建子单元,用于根据剔除处理后的图像集中的每一人脸图像归属的对象、以及剔除处理后的图像集中的每一人体图像归属的对象,构建人脸图像与人体图像归属于同一对象的对应关系;
以及,所述获取单元用于,根据每一所述对象对应的大类簇中的人脸图像、以及所述对应关系,获取归属于每一所述对象的人体图像。
14.根据权利要求11所述的装置,其中,所述匹配单元,包括:
第二特征提取子单元,用于对所述新图像中的人体图像进行特征提取,得到待匹配人体特征;
第二确定子单元,用于确定所述待匹配人体特征与每一所述小类簇对应的人体特征之间的第一相似度;
第三确定子单元,用于将第一相似度大于预设第一相似度阈值的人体特征的人体图像所属的小类簇,确定为所述新图像中的人体图像所属的小类簇;
以及,所述第一更新单元用于,根据所述新图像中的人体图像所属的小类簇,将所述新图像中的人体图像添加至所述信息库中。
15.根据权利要求14所述的装置,所述匹配单元还包括:
第二构建子单元,用于若每一所述第一相似度小于所述第一相似度阈值,则构建所述新图像中的人体图像的大类簇和小类簇;
以及,所述第一更新单元用于,根据所述新图像中的人体图像的大类簇和小类簇,对所述信息库进行更新。
16.根据权利要求11至15中任一项所述的装置,还包括:
第二特征提取单元,用于响应于获取到新图像,且所述新图像中包括人脸图像,则对所述新图像中的人脸图像进行特征提取,得到待匹配人脸特征;
第一确定单元,用于确定所述待匹配人脸特征与每一所述大类簇对应的人脸特征之间的第二相似度;
第二确定单元,用于将第二相似度大于预设的第二相似度阈值的人脸特征对应的大类簇,确定为所述新图像中的人脸图像所属的大类簇;
第一添加单元,用于根据所述新图像中的人脸图像所属的大类簇,将所述新图像中的人脸图像添加至所述信息库中。
17.根据权利要求16所述的装置,还包括:
第二构建单元,用于若每一第二相似度小于所述第二相似度阈值,则构建与所述新图像中的人脸图像的大类簇;
第二更新单元,用于根据所述新图像中的人脸图像的大类簇对所述信息库进行更新。
18.根据权利要求17所述的装置,所述新图像中还包括人体图像,所述新图像中的人脸图像和人体图像属于同一对象;还包括:
第三特征提取单元,用于对所述新图像中的人体图像进行特征提取,得到所述新图像中的人体图像的人体特征;
第三构建单元,用于在所述新图像中的人脸图像的大类簇中构建所述新图像中的人体图像的小类簇。
19.根据权利要求16所述的装置,所述新图像中还包括人体图像,所述新图像中的人脸图像和人体图像属于同一对象;还包括:
第四特征提取单元,用于对所述新图像中的人体图像进行特征提取,得到所述新图像的待匹配人体特征;
第三确定单元,用于确定所述待匹配人体特征、以及所述新图像中的人脸图像所属的大类簇中的小类簇对应的人体特征之间的第三相似度;
第四确定单元,用于将第三相似度大于预设的第三相似度阈值的人体图像对应的小类簇,确定为所述新图像中的人体图像所属的小类簇;
第二添加单元,用于根据所述新图像中的人体图像所属的小类簇,将所述新图像中的人体图像添加至所述信息库中。
20.根据权利要求19所述的装置,还包括:
第三构建单元,用于若每一第三相似度小于所述第三相似度阈值,则在所述新图像中的人脸图像所属的大类簇中,构建所述新图像中的人体图像的小类簇;
第三更新单元,用于根据所述新图像中的人体图像的小类簇对所述信息库进行更新。
21. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1至10中任一项所述的方法。
23.一种信息库的构建系统,包括:图像采集装置、以及如权利要求11至20中任一项所述的装置,其中,所述图像采集装置用于,采集包括各人脸图像和各人体图像的图像集。
24.一种安防监控系统,包括:
图像采集装置,用于采集目标对象的图像;
处理装置,用于根据所述目标对象的图像、以及采用如权利要求1至10中任一项所述的方法构建的信息库,确定所述目标对象的相关信息,以对所述目标对象进行追踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110721129.1A CN113360688B (zh) | 2021-06-28 | 2021-06-28 | 信息库的构建方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110721129.1A CN113360688B (zh) | 2021-06-28 | 2021-06-28 | 信息库的构建方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360688A CN113360688A (zh) | 2021-09-07 |
CN113360688B true CN113360688B (zh) | 2024-02-20 |
Family
ID=77536856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110721129.1A Active CN113360688B (zh) | 2021-06-28 | 2021-06-28 | 信息库的构建方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113360688B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1503194A (zh) * | 2002-11-26 | 2004-06-09 | 中国科学院计算技术研究所 | 利用身材信息辅助人脸信息的身份识别方法 |
WO2015089949A1 (zh) * | 2013-12-19 | 2015-06-25 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
CN110569777A (zh) * | 2019-08-30 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111783743A (zh) * | 2020-07-31 | 2020-10-16 | 上海依图网络科技有限公司 | 一种图像聚类方法及装置 |
CN112686141A (zh) * | 2020-12-29 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 人员归档方法、装置及电子设备 |
CN112818867A (zh) * | 2021-02-02 | 2021-05-18 | 浙江大华技术股份有限公司 | 人像聚类方法、设备及存储介质 |
CN112949710A (zh) * | 2021-02-26 | 2021-06-11 | 北京百度网讯科技有限公司 | 一种图像的聚类方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250244B2 (en) * | 2019-03-11 | 2022-02-15 | Nec Corporation | Online face clustering |
-
2021
- 2021-06-28 CN CN202110721129.1A patent/CN113360688B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1503194A (zh) * | 2002-11-26 | 2004-06-09 | 中国科学院计算技术研究所 | 利用身材信息辅助人脸信息的身份识别方法 |
WO2015089949A1 (zh) * | 2013-12-19 | 2015-06-25 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
CN110569777A (zh) * | 2019-08-30 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111783743A (zh) * | 2020-07-31 | 2020-10-16 | 上海依图网络科技有限公司 | 一种图像聚类方法及装置 |
CN112686141A (zh) * | 2020-12-29 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 人员归档方法、装置及电子设备 |
CN112818867A (zh) * | 2021-02-02 | 2021-05-18 | 浙江大华技术股份有限公司 | 人像聚类方法、设备及存储介质 |
CN112949710A (zh) * | 2021-02-26 | 2021-06-11 | 北京百度网讯科技有限公司 | 一种图像的聚类方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于统计学习人脸识别的抽样分析;卫小强;;电脑知识与技术(18);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113360688A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113205037B (zh) | 事件检测的方法、装置、电子设备以及可读存储介质 | |
CN113657289B (zh) | 阈值估计模型的训练方法、装置和电子设备 | |
CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
CN114648676A (zh) | 点云处理模型的训练和点云实例分割方法及装置 | |
CN114639143B (zh) | 基于人工智能的人像归档方法、设备及存储介质 | |
CN113657249B (zh) | 训练方法、预测方法、装置、电子设备以及存储介质 | |
CN113989300A (zh) | 车道线分割的方法、装置、电子设备和存储介质 | |
CN113591709A (zh) | 动作识别方法、装置、设备、介质和产品 | |
CN113360688B (zh) | 信息库的构建方法、装置及系统 | |
CN115147814A (zh) | 交通指示对象的识别方法和目标检测模型的训练方法 | |
CN116258769B (zh) | 一种定位校验方法、装置、电子设备和存储介质 | |
CN112966606B (zh) | 图像识别方法、相关装置及计算机程序产品 | |
CN114429663B (zh) | 人脸底库的更新方法、人脸识别方法、装置及系统 | |
CN114092739B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
CN114494818B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
CN114694138B (zh) | 一种应用于智能驾驶的路面检测方法、装置及设备 | |
CN116229209B (zh) | 目标模型的训练方法、目标检测方法及装置 | |
CN116664427A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113887574A (zh) | 对象信息确定方法、装置、存储介质以及路侧设备 | |
CN113408592A (zh) | 特征点匹配方法、装置、电子设备及计算机可读存储介质 | |
CN116051919A (zh) | 对比学习模型的训练方法及装置、电子设备和存储介质 | |
CN117671400A (zh) | 样本收集方法、装置、电子设备及存储介质 | |
CN114708611A (zh) | 一种跨模态行人重识别方法、装置、设备和存储介质 | |
CN115131825A (zh) | 人体属性的识别方法、装置、电子设备和存储介质 | |
CN116894848A (zh) | 图像分割方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |