CN111666786A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111666786A
CN111666786A CN201910169175.8A CN201910169175A CN111666786A CN 111666786 A CN111666786 A CN 111666786A CN 201910169175 A CN201910169175 A CN 201910169175A CN 111666786 A CN111666786 A CN 111666786A
Authority
CN
China
Prior art keywords
face
human body
human
data
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910169175.8A
Other languages
English (en)
Other versions
CN111666786B (zh
Inventor
傅广怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910169175.8A priority Critical patent/CN111666786B/zh
Priority claimed from CN201910169175.8A external-priority patent/CN111666786B/zh
Publication of CN111666786A publication Critical patent/CN111666786A/zh
Application granted granted Critical
Publication of CN111666786B publication Critical patent/CN111666786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本申请实施例提供了图像处理方法、装置、电子设备及存储介质,该方法包括:获取待分析图像数据;通过加载指定人体检测算法的第一分析单元节点对待分析图像数据进行分析,得到待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;通过加载指定人脸检测算法的第二分析单元节点对人脸子图进行分析,得到人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。本申请实施例的图像处理方法实现了人体特征数据及人脸特征数据的关联获取,支持一图多目标的算法关联,后续可以关联搜索人体特征数据及人脸特征数据,方便实际应用。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及图像处理方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术的发展,特别是机器学习技术的出现,图像自动识别处理技术得到了飞速发展。
相关图像处理方法中,均是以单一目标分析为主,利用预设机器学习算法对图像数据进行分析,得到一种指定类型的信息。例如针对竞走比赛场景对图像中人体进行分析,确定人员是否存在违规动作;或针对上班签到的场景对图像中人脸进行分析,确定人员的身份等。
但是通过上述方法仅能获取单一类型的分析结果,存在局限性。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质,以实现关联获取人体特征及人脸特征。具体技术方案如下:
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
获取待分析图像数据;
通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
通过加载指定人脸检测算法的第二分析单元节点对所述人脸子图进行分析,得到所述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
可选的,所述通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据及人脸子图,包括:
通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据,其中,所述人体特征数据包括人脸框;
按照所述人脸框,在所述待分析图像数据中提取人脸子图。
可选的,在本申请实施例的图像处理方法中,所述人体特征数据包括:人体框;同一人员的人体特征数据与人脸子图的关联关系,由各所述人脸子图在所述待分析图像数据中的人脸框与各所述人体框的位置关系确定;同一人员的人体特征数据与人脸特征数据的关联关系,由各所述人脸特征数据在所述待分析图像数据中对应的人脸框与各所述人体框的位置关系确定。
可选的,在所述通过加载指定人脸检测算法的第二分析单元节点对所述人脸子图进行分析,得到所述人脸子图的人脸特征数据之前,所述方法还包括:
利用所述第二分析单元节点加载所述指定人脸检测算法。
可选的,在本申请实施例的图像处理方法中,所述人体特征数据包括身份ID,不同人员人体特征数据的身份ID不同;所述人脸特征数据中包括身份ID,针对任一人脸特征数据,该人脸特征数据的身份ID与提取该人脸特征数据的人脸子图关联的人体特征数据中的身份ID相同;同一人员的人体特征数据与人脸特征数据的关联关系,由所述人体特征数据的身份ID及所述人脸特征数据的身份ID确定。
可选的,所述指定人体检测算法及所述指定人脸检测算法存储在预设算法库中,所述方法还包括:
获取人脸检测算法更新数据;
按照所述人脸检测算法更新数据,更新所述预设算法库中的人脸检测算法。
第二方面,本申请实施例提供了一种图像处理装置,所述装置包括:
图像数据获取模块,用于获取待分析图像数据;
人体特征分析模块,用于通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
人脸特征分析模块,用于通过加载指定人脸检测算法的第二分析单元节点对所述人脸子图进行分析,得到所述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
可选的,所述人体特征分析模块,包括:
人体特征获取子模块,用于通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据,其中,所述人体特征数据包括人脸框;
人脸子图获取子模块,用于按照所述人脸框,在所述待分析图像数据中提取人脸子图。
可选的,在本申请实施例的图像处理装置中,所述人体特征数据包括:人体框;同一人员的人体特征数据与人脸子图的关联关系,由各所述人脸子图在所述待分析图像数据中的人脸框与各所述人体框的位置关系确定;同一人员的人体特征数据与人脸特征数据的关联关系,由各所述人脸特征数据在所述待分析图像数据中对应的人脸框与各所述人体框的位置关系确定。
可选的,本申请实施例的图像处理装置还包括:
算法加载模块,用于利用所述第二分析单元节点加载所述指定人脸检测算法。
可选的,在本申请实施例的图像处理装置中,所述人体特征数据包括身份ID,不同人员人体特征数据的身份ID不同;所述人脸特征数据中包括身份ID,针对任一人脸特征数据,该人脸特征数据的身份ID与提取该人脸特征数据的人脸子图关联的人体特征数据中的身份ID相同;同一人员的人体特征数据与人脸特征数据的关联关系,由所述人体特征数据的身份ID及所述人脸特征数据的身份ID确定。
可选的,所述指定人体检测算法及所述指定人脸检测算法存储在预设算法库中,所述装置还包括:
更新数据获取模块,用于获取人脸检测算法更新数据;
检测算法更新模块,用于按照所述人脸检测算法更新数据,更新所述预设算法库中的人脸检测算法。
第三方面,本申请实施例提供了一种电子设备,包括至少两个分析单元节点及存储器;
所述存储器,用于存放计算机程序;
所述分析单元节点,用于执行所述存储器上所存放的程序时,实现上述第一方面任一所述的图像处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的图像处理方法。
本申请实施例提供的图像处理方法、装置、电子设备及存储介质,获取待分析图像数据;通过加载指定人体检测算法的第一分析单元节点对待分析图像数据进行分析,得到待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;通过加载指定人脸检测算法的第二分析单元节点对人脸子图进行分析,得到人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。实现了人体特征数据及人脸特征数据的关联,同时支持一图中多目标的算法关联获取,后续搜索人体特征数据时,可以按照关联得到相应人员的人脸特征数据,在搜索人脸特征数据时,可以按照关联得到相应人员的人体特征数据,方便实际应用。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的图像处理方法的第一种示意图;
图2为本申请实施例的图像处理方法的第二种示意图;
图3为本申请实施例的图像处理装置的一种示意图;
图4为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了能够获取具有关联的人体特征数据及人脸特征数据,本申请实施例提供了一种图像处理方法,参见图1,该方法包括:
S101,获取待分析图像数据。
本申请实施例的图像处理方法可以通过图像处理系统实现。图像处理系统可以由多个服务器组成,每个服务器为一个分析单元节点。图像处理系统也可以仅包括一台服务器,该服务器包括至少两个分析单元节点,每个分析单元节点为一个具有独立计算能力的单元,各分析单元节点可以运行不同的算法。分析单元节点可以为通过虚机技术建立的虚拟机,也可以为独立的中央处理器或单片机等。
图像处理系统获取待分析图像数据,可以为图像处理系统获取监控设备实时采集的监控图像作为待分析图像数据,也可以为图像处理系统从指定的存储器中(例如从数据库中)获取待分析图像数据。其中,待分析图像数据可以为视频流,也可以为单独的视频帧,具体可以根据指定人体检测算法的要求进行设定。
S102,通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联。
利用图像处理系统中的第一分析单元节点对待分析图像数据进行分析,得到待分析图像数据中各人员的人体特征数据及各人员的人脸子图。人体特征数据可以包括人体模型数据、人体框及人体属性等信息,人脸子图包括人脸。第一分析单元节点可以为一个分析单元节点,也可以为多个分析单元节点的集合。
第一分析单元节点需要预先加载指定人体检测算法。可选的,在通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图之前,本申请实施例的图像处理方法还包括:利用第一分析单元节点加载指定人体检测算法。分析单元节点加载的算法可以变更,例如在分析单元节点用于分析待分析图像数据时,分析单元节点可以加载指定人体检测算法;在用于分析人脸子图时,分析单元节点可以加载指定人脸检测算法。本申请实施例中,各分析单元节点加载的算法可以变更,从而增加图像处理的灵活性。
在得到的待分析图像数据中的各人体特征数据及各人脸子图中,同一人员的人体特征数据及人脸子图相关联。例如,图像处理系统可以按照各人脸子图在待分析图像数据中的人脸框位置及各人体特征数据中人体框的位置,确定属于同一人员的人体框及人脸框,进而确定人体特征数据及人脸子图的关联关系。一般情况下,同一人员的人脸框会包含在该人员的人体框内,鉴于分析精度,可以设定区域阈值,在人脸框包含在人体框中的区域占人脸框总大小的百分比超过区域阈值时,判定人脸框包含在人体框内,即该人脸框的人脸特征数据与该人体框的人体特征数据为同一人员。
在一种可能的实施方式中,指定人体检测算法会检测出待分析图像数据中各人体的人体框,然后针对每个人体框,根据人体与人头的位置关系,确定该人体框中的人头框,其中人头框区域的像素即为人脸子图。因为人头框是根据人体框确定的,同一人员的人体特征数据及人脸子图的关联也相应确定。
可选的,上述通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图,包括:
步骤一,通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据,其中,上述人体特征数据包括人脸框。
图像处理系统通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据,人体特征数据中包括人体框,基于各人员的人体框分析得到各人员的人脸框。
步骤二,按照上述人脸框,在上述待分析图像数据中提取人脸子图。
图像处理系统提取待分析图像数据中各人脸框对应的区域,得到各人员的人脸子图。
S103,通过加载指定人脸检测算法的第二分析单元节点对上述人脸子图进行分析,得到上述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
利用图像处理系统中的第二分析单元节点对各人脸子图进行分析,得到各人脸子图对应的人员的人脸特征数据。人脸特征数据可以包括人脸的模型、属性及特征点信息等。第二分析单元节点可以为一个节点,也可以为多个节点,第二分析单元节点加载指定人脸检测算法。人脸特征数据是由人脸子图分析得到的,同一人员的人脸子图与人体特征数据相关联,因此可以按照人脸子图与人体特征数据的关联关系,建立同一人员的人脸特征数据及人体特征数据的关联。第一分析单元节点与第二分析单元节点可以相同,也可以不同。第一分析单元节点与第二分析单元节点不同,二者分别完成相应的分析步骤。在一种可能的实施方式中,第一分析单元节点与第二分析单元节点均包含分析单元节点A,即通过节点分析单元节点A加载指定人体检测算法,并对待分析图像数据进行分析,在得到人体特征数据及人脸子图后,通过分析单元节点A加载指定人脸检测算法,并对人脸子图进行分析,得到人脸特征数据。
可选的,在上述通过加载指定人脸检测算法的第二分析单元节点对上述人脸子图进行分析,得到上述人脸子图的人脸特征数据之前,上述方法还包括:利用上述第二分析单元节点加载上述指定人脸检测算法。
图像处理系统利用第二分析单元节点从存储器中获取并加载指定人脸检测算法,从而实现后续对人脸子图进行分析。指定人脸检测算法可以根据实际情况进行选取,例如,服务器按照人脸子图的亮度或按照待分析图像数据的采集时间等图像属性信息确定指定人脸检测算法。具体的,在待分析图像数据的采集时间为白天时,选取采用白天人脸图像训练得到的人脸检测算法作为指定人脸检测算法;在待分析图像数据的采集时间为夜晚时,选取采用夜晚人脸图像训练得到的人脸检测算法作为指定人脸检测算法。或在人脸子图的亮度不低于预设亮度阈值时,选取采用不低于预设亮度阈值人脸图像训练得到的人脸检测算法作为指定人脸检测算法;在人脸子图的亮度低于预设亮度阈值时,选取采用低于预设亮度阈值人脸图像训练得到的人脸检测算法作为指定人脸检测算法。
在一种可能的实施方式中,可选的,上述人体特征数据包括:人体框;同一人员的人体特征数据与人脸子图的关联关系,由各上述人脸子图在上述待分析图像数据中的人脸框与各上述人体框的位置关系确定;同一人员的人体特征数据与人脸特征数据的关联关系,由各上述人脸特征数据在上述待分析图像数据中对应的人脸框与各上述人体框的位置关系确定。
针对一个人脸框,若该人脸框包含在人体框内,则判定该人脸框与该人体框属于同一人员,即该人脸框对应的人脸子图与该人体框的人体特征数据相关联。一般情况下,同一人员的人脸框会包含在该人员的人体框内,鉴于分析精度,可以设定区域阈值,在人脸框包含在人体框中的区域占人脸框总大小的百分比超过区域阈值时,判定人脸框包含在人体框内,即该人脸框的人脸特征数据与该人体框的人体特征数据为同一人员。人脸特征数据是由人脸子图分析得到的,同一人员的人脸子图与人体特征数据相关联,因此针对任一人脸特征数据(以下称为人脸特征数据A),人脸特征数据A与人脸子图A关联的人体特征数据属于同一人员,相互关联,其中,人脸子图A为提取人脸特征数据A的人脸子图。
本申请实施例中,实现了人体特征数据及人脸特征数据的关联获取,同时支持一图中多目标的算法关联,后续搜索人体特征数据时,可以按照关联得到相应人员的人脸特征数据,在搜索人脸特征数据时,可以按照关联得到相应人员的人体特征数据,方便实际应用。
为了提供更准确的人脸分析结果,便于不同场景中人脸特征数据的提取,可选的,上述指定人体检测算法及上述指定人脸检测算法存储在预设算法库中,本申请实施例的图像处理方法,还包括:
步骤一,获取人脸检测算法更新数据。
步骤二,按照上述人脸检测算法更新数据,更新上述预设算法库中的人脸检测算法。
在需要对人脸检测算法进行更新时,图像处理系统获取人脸检测算法更新数据。并按照人脸检测算法更新数据,更新预设算法库中的人脸检测算法,包括新人脸检测算法的添加及已存在的人脸检测算法的优化。后续分析单元节点在加载人脸检测算法时,便可以加载更新后的人脸检测算法,从而提高人脸特征数据的准确度。
为了方便关联关系的表示及建立,可选的,上述人体特征数据包括身份ID,不同人员人体特征数据的身份ID不同,上述人脸特征数据中包括身份ID,针对任一人脸特征数据,该人脸特征数据的身份ID与提取该人脸特征数据的人脸子图关联的人体特征数据中的身份ID相同;同一人员的人体特征数据与人脸特征数据的关联关系,由上述人体特征数据的身份ID及上述人脸特征数据的身份ID确定。
为了方便区分人体特征数据及人脸特征数据所属的人员,同一人员的人脸特征数据的身份ID与人体特征数据的身份ID可以完全相同,即身份ID仅用于区分不同的人员,身份ID相同的人脸特征数据与人体特征数据为同一人员的数据,身份ID不同的人脸特征数据与人体特征数据为不同人员的数据。为每个人体特征数据设置一个身份ID,身份ID用于区别不同的人员。同一人员的人脸子图与人体特征数据相关联,可以相应的为各人脸子图标记身份ID,同一人员的人脸子图的身份ID与人体特征数据的身份ID相同。人脸特征数据是根据人脸子图提取的,针对任一人脸特征数据,该人脸特征数据的身份ID与提取该人脸特征数据的人脸子图的身份ID相同。按照人体特征数据的身份ID及人脸特征数据的身份ID,将同一人员的人体特征数据及人脸特征数据进行关联,分别得到各人员关联后的人体特征数据及人脸特征数据,从而实现了人体特征数据及人脸特征数据的关联存储。
身份ID也可以由人员区域与数据区域两部分组成,人员区域用于区分不同人员,即同一人员的人脸特征数据身份ID的人员区域与人体特征数据身份ID的人员区域相同,不同人员的人脸特征数据身份ID的人员区域与人体特征数据身份ID的人员区域不相同;数据区域用于区分数据类型,即各人脸特征数据身份ID的数据区域相同,各人体特征数据身份ID的数据区域相同,人体特征数据身份ID的数据区域与人脸特征数据身份ID的数据区域不同。
本申请实施例的图像处理方法还可以如图2所示,其中,URL指Uniform ResourceLocator,即统一资源定位符。通过前端摄像机采集视频流或者图片数据,由应用平台选择指定的待分析图像数据的分析任务下发给服务器,服务器具有2~8个分析单元节点,每个分析单元节点可运行不同的算法;加载指定人体检测算法的分析单元节点对待分析图像数据进行分析,得到人体特征数据,包括人体模型数据、人体框、属性,同时基于各人员的人体框从中分析产生人脸的人脸框,输出每个人员对应的人脸的关联人脸子图、身份ID,并将结果发送给大数据存储。存储基于每条身份ID对应的人脸子图数据,重新给服务器下派人脸分析任务,服务器中分析单元节点从预设算法库中加载对应的人脸检测算法后开始执行人脸分析任务,完成对人脸子图的分析建模后将人脸特征数据,包括人脸的模型、属性、特征点信息、身份ID,重新入库到大数据存储中。大数据存储中存放的人体特征数据通过身份ID和人脸特征数据的对应身份ID建立了人体和人脸的相互关联。
在本申请实施例中,在服务器具有多个分析节点情况下,通过平台下派的分析任务,人体检测算法具有输出身份ID和人脸子图的能力,可以让人脸子图进行重新建模。对于多目标场景的应用具有很高的实用性,将视频或图片流中的人脸和人体全部提取出来,进行相互关联,在后续的模型以图搜图中具有很大的应用价值;同时,人脸的二次分析指定算法的方式,支持从算法仓库中选择最优的算法进行人脸分析建模,对于后续算法的更新以及不同厂商算法的合入具有很大的开放性。
通过人体检测算法分析待分析图像数据得到各人脸子图并生成身份ID,再基于人脸子图进行分析建模得到人脸特征数据,包括人脸模型数据、属性、子图框、图片数据,存入数据库时人脸特征数据和人体特征数据可以基于身份ID建立相互关联;一次取流分析对待分析图像数据中的多个目标均生成各自的人体特征数据及人脸特征数据;人体检测算法和人脸检测算法相对独立,对于后续人脸检测算法的升级、替换提供了开放性的基础;与相关技术中通过前端监控点的信息进行关联的方法相比,具有更强的关联能力,并且支持一图多目标的算法关联;人脸以图搜图通过模型搜索人脸时,可以根据身份ID找到对应的人体特征数据;人体以图搜图通过模型搜索人体时,可以根据身份ID找到对应的人脸特征数据,进一步的可以通过人脸的以图搜图查询到人脸库中对应的人员信息,对于实际的应用中有很大的实用性。
本申请实施例还提供了一种图像处理装置,参见图3,应用于服务器,上述服务器包括至少两个分析单元节点,该装置包括:
图像数据获取模块301,用于获取待分析图像数据;
人体特征分析模块302,用于通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
人脸特征分析模块303,用于通过加载指定人脸检测算法的第二分析单元节点对上述人脸子图进行分析,得到上述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
本申请实施例中,实现了人体特征数据及人脸特征数据的关联,同时支持一图中多目标的算法关联,后续搜索人体特征数据时,可以按照关联得到相应人员的人脸特征数据,在搜索人脸特征数据时,可以按照关联得到相应人员的人体特征数据,方便实际应用。
可选的,上述人体特征分析模块302,包括:
人体特征获取子模块,用于通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据,其中,上述人体特征数据包括人脸框;
人脸子图获取子模块,用于按照上述人脸框,在上述待分析图像数据中提取人脸子图。
可选的,在本申请实施例的图像处理装置中,上述人体特征数据包括:人体框;同一人员的人体特征数据与人脸子图的关联关系,由各上述人脸子图在上述待分析图像数据中的人脸框与各上述人体框的位置关系确定;同一人员的人体特征数据与人脸特征数据的关联关系,由各上述人脸特征数据在上述待分析图像数据中对应的人脸框与各上述人体框的位置关系确定。
可选的,本申请实施例的图像处理装置还包括:
算法加载模块,用于利用上述第二分析单元节点加载上述指定人脸检测算法。
可选的,在本申请实施例的图像处理装置中,上述人体特征数据包括身份ID,不同人员人体特征数据的身份ID不同;上述人脸特征数据中包括身份ID,针对任一人脸特征数据,该人脸特征数据的身份ID与提取该人脸特征数据的人脸子图关联的人体特征数据中的身份ID相同;同一人员的人体特征数据与人脸特征数据的关联关系,由上述人体特征数据的身份ID及上述人脸特征数据的身份ID确定。
可选的,上述指定人体检测算法及上述指定人脸检测算法存储在预设算法库中,本申请实施例的图像处理装置还包括:
更新数据获取模块,用于获取人脸检测算法更新数据;
检测算法更新模块,用于按照上述人脸检测算法更新数据,更新上述预设算法库中的人脸检测算法。
本申请实施例还提供了一种图像处理系统,包括:多个服务器;
上述服务器用于在运行时执行以下步骤:
获取待分析图像数据;
通过加载指定人体检测算法的第一分析服务器对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
通过加载指定人脸检测算法的第二分析服务器对上述人脸子图进行分析,得到上述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
可选的,上述服务器在运行时,还能够实现上述任一图像处理方法。
本申请实施例还提供了一种电子设备,参见图4,包括至少两个分析单元节点401及存储器402;
存储器402,用于存放计算机程序;
分析单元节点401,用于在运行时实现如下步骤:
获取待分析图像数据;
通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
通过加载指定人脸检测算法的第二分析单元节点对上述人脸子图进行分析,得到上述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
本申请实施例中,实现了人体特征数据及人脸特征数据的关联获取,同时支持一图中多目标的算法关联,后续搜索人体特征数据时,可以按照关联得到相应人员的人脸特征数据,在搜索人脸特征数据时,可以按照关联得到相应人员的人体特征数据,方便实际应用。
可选的,分析单元节点401在运行时还能够实现上述任一图像处理方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的分析单元节点可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现如下步骤:
获取待分析图像数据;
通过加载指定人体检测算法的第一分析单元节点对上述待分析图像数据进行分析,得到上述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
通过加载指定人脸检测算法的第二分析单元节点对上述人脸子图进行分析,得到上述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
本申请实施例中,实现了人体特征数据及人脸特征数据的关联获取,同时支持一图中多目标的算法关联,后续搜索人体特征数据时,可以按照关联得到相应人员的人脸特征数据,在搜索人脸特征数据时,可以按照关联得到相应人员的人体特征数据,方便实际应用。
可选的,计算机程序被处理器执行时还能够实现上述任一图像处理方法。
需要说明的是,在本文中,各个可选方案中的技术特征只要不矛盾均可组合来形成方案,这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待分析图像数据;
通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
通过加载指定人脸检测算法的第二分析单元节点对所述人脸子图进行分析,得到所述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
2.根据权利要求1所述的方法,其特征在于,所述通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据及人脸子图,包括:
通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据,其中,所述人体特征数据包括人脸框;
按照所述人脸框,在所述待分析图像数据中提取人脸子图。
3.根据权利要求2所述的方法,其特征在于,所述人体特征数据包括:人体框;同一人员的人体特征数据与人脸子图的关联关系,由各所述人脸子图在所述待分析图像数据中的人脸框与各所述人体框的位置关系确定;同一人员的人体特征数据与人脸特征数据的关联关系,由各所述人脸特征数据在所述待分析图像数据中对应的人脸框与各所述人体框的位置关系确定。
4.根据权利要求1所述的方法,其特征在于,在所述通过加载指定人脸检测算法的第二分析单元节点对所述人脸子图进行分析,得到所述人脸子图的人脸特征数据之前,所述方法还包括:
利用所述第二分析单元节点加载所述指定人脸检测算法;
所述指定人体检测算法及所述指定人脸检测算法存储在预设算法库中,所述方法还包括:
获取人脸检测算法更新数据;
按照所述人脸检测算法更新数据,更新所述预设算法库中的人脸检测算法。
5.一种图像处理装置,其特征在于,所述装置包括:
图像数据获取模块,用于获取待分析图像数据;
人体特征分析模块,用于通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据及人脸子图,其中,同一人员的人体特征数据及人脸子图相关联;
人脸特征分析模块,用于通过加载指定人脸检测算法的第二分析单元节点对所述人脸子图进行分析,得到所述人脸子图的人脸特征数据,其中,同一人员的人体特征数据及人脸特征数据相关联。
6.根据权利要求5所述的装置,其特征在于,所述人体特征分析模块,包括:
人体特征获取子模块,用于通过加载指定人体检测算法的第一分析单元节点对所述待分析图像数据进行分析,得到所述待分析图像数据中各人员的人体特征数据,其中,所述人体特征数据包括人脸框;
人脸子图获取子模块,用于按照所述人脸框,在所述待分析图像数据中提取人脸子图。
7.根据权利要求6所述的装置,其特征在于,所述人体特征数据包括:人体框;同一人员的人体特征数据与人脸子图的关联关系,由各所述人脸子图在所述待分析图像数据中的人脸框与各所述人体框的位置关系确定;同一人员的人体特征数据与人脸特征数据的关联关系,由各所述人脸特征数据在所述待分析图像数据中对应的人脸框与各所述人体框的位置关系确定。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
算法加载模块,用于利用所述第二分析单元节点加载所述指定人脸检测算法;
所述指定人体检测算法及所述指定人脸检测算法存储在预设算法库中,所述装置还包括:
更新数据获取模块,用于获取人脸检测算法更新数据;
检测算法更新模块,用于按照所述人脸检测算法更新数据,更新所述预设算法库中的人脸检测算法。
9.一种电子设备,其特征在于,包括至少两个分析单元节点及存储器;
所述存储器,用于存放计算机程序;
所述分析单元节点,用于执行所述存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201910169175.8A 2019-03-06 图像处理方法、装置、电子设备及存储介质 Active CN111666786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910169175.8A CN111666786B (zh) 2019-03-06 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910169175.8A CN111666786B (zh) 2019-03-06 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111666786A true CN111666786A (zh) 2020-09-15
CN111666786B CN111666786B (zh) 2024-05-03

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392720A (zh) * 2021-05-24 2021-09-14 浙江大华技术股份有限公司 人脸人体的关联方法、设备、电子装置和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148853A1 (en) * 2011-12-12 2013-06-13 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
WO2015133159A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2017181899A1 (zh) * 2016-04-21 2017-10-26 腾讯科技(深圳)有限公司 一种人脸活体验证方法及装置
WO2018033143A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
WO2018086543A1 (zh) * 2016-11-10 2018-05-17 腾讯科技(深圳)有限公司 活体判别方法、身份认证方法、终端、服务器和存储介质
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技(深圳)有限公司 视频目标跟踪方法和装置
CN108550117A (zh) * 2018-03-20 2018-09-18 维沃移动通信有限公司 一种图像处理方法、装置以及终端设备
CN108734055A (zh) * 2017-04-17 2018-11-02 杭州海康威视数字技术股份有限公司 一种异常人员检测方法、装置及系统
CN109117803A (zh) * 2018-08-21 2019-01-01 腾讯科技(深圳)有限公司 人脸图像的聚类方法、装置、服务器及存储介质
CN109241934A (zh) * 2018-09-21 2019-01-18 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109426785A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148853A1 (en) * 2011-12-12 2013-06-13 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
WO2015133159A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2017181899A1 (zh) * 2016-04-21 2017-10-26 腾讯科技(深圳)有限公司 一种人脸活体验证方法及装置
WO2018033143A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
WO2018086543A1 (zh) * 2016-11-10 2018-05-17 腾讯科技(深圳)有限公司 活体判别方法、身份认证方法、终端、服务器和存储介质
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技(深圳)有限公司 视频目标跟踪方法和装置
CN108734055A (zh) * 2017-04-17 2018-11-02 杭州海康威视数字技术股份有限公司 一种异常人员检测方法、装置及系统
CN109426785A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
CN108550117A (zh) * 2018-03-20 2018-09-18 维沃移动通信有限公司 一种图像处理方法、装置以及终端设备
CN109117803A (zh) * 2018-08-21 2019-01-01 腾讯科技(深圳)有限公司 人脸图像的聚类方法、装置、服务器及存储介质
CN109241934A (zh) * 2018-09-21 2019-01-18 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392720A (zh) * 2021-05-24 2021-09-14 浙江大华技术股份有限公司 人脸人体的关联方法、设备、电子装置和存储介质

Similar Documents

Publication Publication Date Title
WO2021043073A1 (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
US20200250435A1 (en) Activity recognition method and system
CN107481327B (zh) 关于增强现实场景的处理方法、装置、终端设备及系统
US9141184B2 (en) Person detection system
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
US20160098636A1 (en) Data processing apparatus, data processing method, and recording medium that stores computer program
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN109829381A (zh) 一种犬只识别管理方法、装置、系统及存储介质
CN108875476B (zh) 自动近红外人脸注册与识别方法、装置和系统及存储介质
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
CN111950321B (zh) 步态识别方法、装置、计算机设备及存储介质
CN110321797A (zh) 商品识别方法和装置
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
JP2020515974A (ja) 歩行者追跡の方法および電子デバイス
CN111160275B (zh) 行人重识别模型训练方法、装置、计算机设备和存储介质
WO2021043074A1 (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
CN110909565B (zh) 图像识别和行人再识别方法及装置,电子和存储设备
US8655016B2 (en) Example-based object retrieval for video surveillance
CN112906483A (zh) 一种目标重识别方法、装置及计算机可读存储介质
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
US11836981B2 (en) Method for assisting real-time monitoring of at least one person on sequences of images
CN110019951B (zh) 一种生成视频缩略图的方法及设备
CN111666786B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant