CN117218398A - 一种数据处理的方法以及相关装置 - Google Patents

一种数据处理的方法以及相关装置 Download PDF

Info

Publication number
CN117218398A
CN117218398A CN202211507210.0A CN202211507210A CN117218398A CN 117218398 A CN117218398 A CN 117218398A CN 202211507210 A CN202211507210 A CN 202211507210A CN 117218398 A CN117218398 A CN 117218398A
Authority
CN
China
Prior art keywords
image
detected
target
detection
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211507210.0A
Other languages
English (en)
Inventor
周红花
廖仕荣
马帅
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211507210.0A priority Critical patent/CN117218398A/zh
Publication of CN117218398A publication Critical patent/CN117218398A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种数据处理的方法以及相关装置,至少涉及人工智能等技术。上述方法包括:获取待检测对象的图像集;根据图像集中的每张初始图像的质量情况,从待检测对象的图像集中选取目标图像,目标图像包括待检测对象;对每张目标图像进行对象检测处理,得到待检测对象的检测结果;在检测结果指示待检测对象为目标对象时,对每张目标图像进行仿射变换处理,得到每张目标图像对应的仿射变换图像;基于每张目标图像和每张仿射变换图像对待检测对象进行对象属性检测,以得到待检测对象的对象属性结果。该方法能够准确地检测出待检测对象的对象属性结果,提升对对象属性进行分类的分类效果。

Description

一种数据处理的方法以及相关装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及一种数据处理的方法以及相关装置。
背景技术
人机交互技术(human computer interaction,HCI)的发展使得计算机视觉、人工智能,在图形用户界面(graphical user interface,GUI)等方面发挥越来越重要的作用。随着技术的进步,基于对象图像模式识别的问题逐渐成为近年来研究的热点,其中包括对象的对象属性识别等各类识别问题。
在传统的技术方案中,对于对象属性的检测方式,通常是采用SVM、降维投影的方式简单地处理待检测对象的图片所对应的图片特征,并根据图片特征来识别该图片的类别,进而确定出该待检测对象的对象属性。然而,此种方式所提取到的图片特征只能够浅层地反映该待检测对象的对象属性,无法很好地区分出待检测对象的对象属性在不同类别上的差别,从而无法精确地对对象属性进行分类,导致分类效果较差。
发明内容
本申请实施例提供了一种数据处理的方法以及相关装置,能够更加准确地检测出该待检测对象的对象属性结果,提升对对象属性进行分类的分类效果。
第一方面,本申请实施例提供了一种数据处理的方法。该方法包括:获取待检测对象的图像集,图像集中的每张初始图像为对待检测对象进行对象认证时获取得到的;从待检测对象的图像集中选取目标图像,所述目标图像包括所述待检测对象;对每张目标图像进行对象检测处理,得到待检测对象的检测结果,检测结果用于反映待检测对象是否为目标对象;在检测结果指示待检测对象为目标对象时,对每张目标图像进行仿射变换处理,得到每张目标图像对应的仿射变换图像;基于每张目标图像和每张仿射变换图像对待检测对象进行对象属性检测,以得到待检测对象的对象属性结果。
第二方面,本申请实施例提供了一种数据处理装置。该数据处理装置包括获取单元和处理单元。其中,获取单元,用于获取待检测对象的图像集,所述图像集中的每张初始图像为对所述待检测对象进行对象认证时获取得到的。处理单元,用于从所述待检测对象的图像集中选取目标图像,所述目标图像包括所述待检测对象。处理单元,用于对每张所述目标图像进行对象检测处理,得到所述待检测对象的检测结果,所述检测结果用于反映所述待检测对象是否为目标对象。所述处理单元,用于在所述检测结果指示所述待检测对象为目标对象时,对每张所述目标图像进行仿射变换处理,得到每张所述目标图像对应的仿射变换图像。所述处理单元,用于根据每张所述目标图像和所述每张仿射变换图像对所述待检测对象进行对象属性检测,以得到所述待检测对象的对象属性结果。
在一些可选的实施方式中,处理单元用于:将每张目标图像输入至第一预设检测模型,以得到每张目标图像的第一检测概率和第二检测概率,第一检测概率为对应的目标图像中的待检测对象为真实对象的预测概率,第二检测概率为对应的目标图像中的待检测对象为二维对象的预测概率;将每张目标图像的第一检测概率和第二检测概率进行融合处理,得到每张目标图像的目标检测概率,目标检测概率为对应的目标图像中的待检测对象为目标对象的概率;基于每张目标图像的目标检测概率确定待检测对象的检测结果。
在另一些可选的实施方式中,处理单元用于:从每张目标图像中确定第一图像,第一图像为目标检测概率大于第一阈值时的目标图像;基于第一图像的个数和每张目标图像的个数计算第一值,第一值用于指示所述第一图像中的待检测对象为所述目标对象时的检测通过情况;在第一值大于第二阈值时,确定检测结果是待检测对象为目标对象。
在另一些可选的实施方式中,处理单元用于:按照至少一种裁剪尺度对每张目标图像分别进行图片裁剪,得到至少一张裁剪图像;获取每张裁剪图像中的待检测对象的特征关键点的第一坐标信息和第二坐标信息,第二坐标信息为对待检测对象的特征关键点进行关键点对齐之后的坐标信息;基于第一坐标信息和第二坐标信息确定仿射矩阵;基于每张裁剪图像和仿射矩阵,得到各个裁剪图像对应的仿射变换图像。
在另一些可选的实施方式中,处理单元用于:以每张目标图像中的待检测对象的对象检测框为裁剪中心,按照第一裁剪尺度在对象检测框的至少两个方向上分别进行裁剪,每个方向上裁剪的宽度之和为第一裁剪尺度,第一裁剪尺度为至少一种裁剪尺度中的任意一种,对象检测框用于指示待检测对象的对象位置。
在另一些可选的实施方式中,处理单元用于:将每张裁剪图像和每张仿射变换图像作为第二预设检测模型的输入,以得到每张裁剪图像的概率值和每张仿射变换图像的概率值;求解每张裁剪图像的概率值和每张仿射变换图像的概率值之间的概率均值,概率均值用于指示待检测对象的对象属性的预测概率;基于概率均值确定待检测对象的对象属性结果。
在另一些可选的实施方式中,处理单元还用于:在从待检测对象的图像集中选取目标图像之前,将图像集中的每张初始图像输入至第三预设检测模型,得到每张初始图像中的待检测对象的对象检测框、至少两个特征关键点以及置信度,对象检测框用于指示待检测对象的对象位置,置信度用于指示待检测对象的可信程度;基于第一区域图像的像素灰度信息和对应的初始图像的像素灰度信息确定第一区域图像的清晰度,第一区域图像为在初始图像中,按照待检测对象的对象检测框进行裁剪得到的图片;或者,基于每张第一区域图像中的至少两个特征关键点,分别确定每张第一区域图像中的待检测对象的对象倾斜度;基于第一区域图像的清晰度、对象倾斜度以及置信度中的一个或多个,确定对应的初始图像的质量情况;根据每张初始图像的质量情况,从图像集中选取质量情况满足预设质量条件的目标图像。
在另一些可选的实施方式中,处理单元用于:确定第一区域图像中的每个第一像素点的像素灰度信息,以及对应的初始图像中的每个第二像素点的像素灰度信息,初始图像与第一区域图像对应;基于每个第一像素点的像素灰度信息确定第一区域图像的灰度均值,以及基于每个第二像素点的像素灰度信息确定初始图像的灰度均值;对每个第一像素点的像素灰度信息、每个第二像素点的像素灰度信息、第一区域图像的灰度均值以及初始图像的灰度均值进行均方差求解,得到第一清晰度;对第一区域图像中的每个第一像素点,分别确定第一像素点与第一区域图像中的其他像素点之间的像素灰度信息差值;根据最大像素灰度信息差值与最小像素灰度信息差值确定第二清晰度,最大像素灰度信息差值、最小像素灰度信息差值分别为第二像素点与其他像素点之间的像素灰度信息差值中的最大差值、最小差值;对第一清晰度和第二清晰度进行均值求解,得到第一区域图像的清晰度。
本申请实施例第三方面提供了一种数据处理装置,包括:存储器、输入/输出(I/O)接口和存储器。存储器用于存储程序指令。处理器用于执行存储器中的程序指令,以执行上述第一方面的实施方式对应的数据处理的方法。
本申请实施例第四方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行以执行上述第一方面的实施方式对应的方法。
本申请实施例第五方面提供了一种包含指令的计算机程序产品,当其在计算机或者处理器上运行时,使得计算机或者处理器执行上述以执行上述第一方面的实施方式对应的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,由于图像集中的每张初始图像都是在对待检测对象进行对象认证时获取得到的图片,因此在获取到待检测对象的图像集之后,能够从图像集中选取目标图像,目标图像包括待检测对象,进而对每张目标图像进行对象检测处理,从而得到待检测对象的检测结果。通过检测结果能够反映出检测对象是否为目标对象。这样,在检测结果指示出待检测对象为目标对象时,对每张目标图像进行仿射变换处理,得到每张目标图像对应的仿射变换图像,进而根据每张目标图像和每张仿射变换图像对该待检测对象进行对象属性检测,从而得到待检测对象的对象属性结果。通过上述方式,先选取合适的初始图像作为目标图像,从一定程度上剔除了质量不达标的图片。而且,再在检测出待检测对象为目标对象的情况下,对所有的目标图像进行仿射变换处理,能够使对应的仿射变换图像能够包含该待检测对象更细致的属性信息,这样再根据每张目标图像和每张仿射变换图像对待检测对象进行对象属性检测,使得能够更加准确地检测出该待检测对象的对象属性结果,提升对对象属性进行分类的分类效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例中提供的一种应用场景的示意图;
图2示出了本申请实施例中提供的系统架构的示意图;
图3示出了本申请实施例提供的数据处理的方法的一种流程图;
图4示出了本申请实施例提供的人脸检测模型的示意图;
图5示出了本申请实施例提供的计算对象倾斜度的示意图;
图6示出了本申请实施例提供的对象检测模型的示意图;
图7示出了本申请实施例提供的对象属性检测模型的结构示意图;
图8示出了本申请实施例提供的数据处理的方法的整体流程图;
图9示出了本申请实施例提供的数据处理装置的结构示意图;
图10示出了本申请实施例提供的数据处理装置的硬件结构示意图。
具体实施方式
本申请实施例提供了一种数据处理的方法以及相关装置,能够更加准确地检测出该待检测对象的对象属性结果,提升对对象属性进行分类的分类效果。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息、用户的个人数据等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供的数据处理的方法是基于人工智能(artificialintelligence,AI)实现的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中,主要涉及的人工智能技术包括上述所提及的机器学习、计算机视觉(computer vision,CV)技术等方向。例如,可以涉及计算机视觉技术中的图像识别等;也可以涉及机器学习(machine learning,ML)中的深度学习(deep learning),包括人工神经网络等。
本申请提供的数据处理的方法可以应用于具有数据处理能力的数据处理装置,如服务器等设备。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等,本申请不做具体限定。
上述所提及的识别装置可以具备实施计算机视觉技术的处理能力。所提及的计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、轨迹追索和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
上述所提及的数据处理装置可以具备机器学习能力。机器学习(machinelearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括神经网络等技术。
由于相关方案中所提取到的图片特征只能够浅层地反映该待检测对象的对象属性,无法很好地区分出待检测对象的对象属性在不同类别上的差别,例如性别是男性还是女性这种更细致的属性差别,从而无法精确地对对象属性进行分类,导致分类效果较差。
因此,为了解决上述提及的技术问题,本申请实施例提供了一种数据处理的方法。该方法可以应用于图1示出的应用场景中。如图1所示,在某个游戏应用程序(application,APP)中,玩家A可以通过终端设备1创建特定模式的虚拟房间,并将该虚拟房间的相关房间号等信息发布到开黑广场或者即时通讯群聊中。这样,其他的玩家(例如玩家B)在看到该虚拟房间的相关信息后,可以通过终端设备2向终端设备1发送请求消息,以请求进入到该虚拟房间中进行游戏组队。然而,在请求进入该特定模式的虚拟房间中,需要对该玩家B的对象属性进行检测后,只有该玩家2的对象属性满足该特定模式的虚拟房间所限制的条件的情况下,该玩家2才可能请求成功并进入到该虚拟房间。
需说明,上述图1示出的内容仅仅是一个示意性的描述。在实际应用中,本申请实施例提供的数据处理的方法还可以应用在其他的应用场景中,例如人工智能、智慧交通、辅助驾驶、云技术等场景,能够实现对对象属性的检测处理。
示例性地,本申请实施例提供的数据处理的方法还可以应用于图2示出的系统架构示意图。如图2所示,该系统架构中包括服务器和至少一个终端设备,例如终端设备1至终端设备N,N≥1、且N为整数。其中,待检测对象可以通过对应的终端设备(如终端设备1)对该待检测对象进行拍摄,以获取得到认证时候的图像集。然后,终端设备1将该图像集发送至服务器,进而由服务器先选取质量情况满足预设质量条件的初始图像作为目标图像,再在检测出待检测对象为目标对象的情况下,对所有的目标图像进行仿射变换处理,能够使对应的仿射变换图像能够包含该待检测对象更细致的属性信息。这样,服务器再根据每张目标图像和每张仿射变换图像对待检测对象进行对象属性检测,使得能够更加准确地检测出该待检测对象的对象属性结果。
需说明,终端设备可以包括但不限于智能手机、台式计算机、笔记本电脑、平板电脑、智能音箱、车载设备、智能手表等。另外,所提及的终端设备以及服务器可以通过有线通信或无线通信等方式进行直接连接或间接连接,本申请不做具体限定。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(local area network,LAN)、城域网(metropolitan area network,MAN)、广域网(wide area network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(hyper text markup language,HTML)、可扩展标记语言(extensible markuplanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(secure socket layer,SSL)、传输层安全(transport layer security,TLS)、虚拟专用网络(virtual private network,VPN)、网际协议安全(internet protocolsecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
为了便于理解本申请的技术方案,下面结合附图对本申请实施例提供的一种数据处理的方法进行介绍。
图3示出了本申请实施例提供的数据处理的方法的一种流程图。如图3所示,该数据处理的方法可以包括如下步骤:
301、获取待检测对象的图像集,图像集中的每张初始图像为对待检测对象进行对象认证时获取得到的。
该示例中,终端设备可以通过发起针对待检测对象的图像识别请求,进而根据该图像识别请求来获取得到待检测对象的初始图像。比如说,终端设备可以基于预设摄像装置,根据该图像识别请求对待检测对象进行拍摄,以获取得到待检测对象的初始图像。这样,终端设备在拍摄得到图像集后,可以将该图像集发送至服务器。示例性地,终端设备也可以对待检测对象进行拍摄,以获取得到该待检测对象的视频流,进而将该视频流发送至服务器。服务器在获取得到该视频流后,可以对该视频流中的视频帧进行切分,以此得到对应的图像集。
示例性的,待检测对象的初始图像可以包括但不限于待检测对象的人脸图像等,本申请实施例中不做具体限定说明。示例性地,以人脸图像为初始图像为例,该人脸图像中可以包括一个或多个待识别的待检测对象的人脸。终端设备可以基于人脸图像对该人脸图像中的一个或多个待检测对象的人脸进行身份识别。
例如,终端设备为部署有人脸识别功能的应用软件的客户端,以及服务器部署有经过训练的人脸识别模型,以实现对终端设备这一侧的人脸进行识别。这种情况系,可以由终端设备在采集到需要检测的人脸图像后,向服务器上传该人脸图像。然后,服务器采用训练好的人脸识别模型对人脸图像进行识别,以得到该待检测对象的人脸识别结果,例如该待检测对象的人脸位置、人脸特征关键点等。
示例性的,终端设备可通过内置的摄像头采集现实场景的待检测对象的人脸图像。终端设备也可通过外置的、且与终端关联的摄像头采集现实场景的待检测对象的人脸图像。比如,终端设备可通过连接线或网络与图像采集设备连接,图像采集设备通过摄像头采集现实场景的待检测对象的人脸图像,并将采集到的人脸图像传输至终端设备。摄像头可以是单目摄像头、双目摄像头、深度摄像头、三维(3Dimensions,3D)摄像头等,本申请实施例中不做具体限定。终端设备可采集现实场景中待检测对象的人脸图像,也可对现实场景中包含人脸的已有图像进行采集,比如身份证件扫描件等,本申请实施例中不做具体限定。
302、从待检测对象的图像集中选取目标图像,目标图像包括待检测对象。
该示例中,服务器在获取到图像集,以得到每张初始图像之后,可以对每张初始图像进行质量检测,进而从该图像集中选取出合适的目标图像。需说明,该目标图像中包括待检测对象。
在一些示例中,服务器可以先将每张初始图像作为第三预设检测模型的输入,以通过该第三预设检测模型对每张初始图像进行图像识别处理,进而得到每张初始图像中的待检测对象的对象检测框、至少两个特征关键点以及置信度。举例来说,以图像为人脸图像为例,上述提及的第三预设检测模型可以包括但不限于人脸检测模型。图4示出了本申请实施例提供的人脸检测模型的示意图。如图4所示,在经过该人脸检测模型对每张人脸图像进行识别处理之后,可以得到该待检测对象的对象检测框、至少两个特征关键点以及置信度。而且,从图4中还可以看到,对象检测框能够指示出待检测对象的对象位置。置信度能够指示该待检测对象的可信程度。另外,所提及的特征关键点能够理解成该待检测对象的特征点,例如人脸图像中的脸部关键点,包括但不限于眉毛、嘴巴、眼睛、鼻子等,本申请实施例中不做限定说明。
而且,图像的质量情况可以从图像的清晰度、图像中的待检测对象的倾斜程度以及置信度来反映。
因此,服务器在每张初始图像中,按照对应的对象检测框对初始图像进行裁剪,以得到每张初始图像所对应的第一区域图像。所描述的第一区域图像可以理解成按照该对象检测框对初始图像进行裁剪所得到的图片,具体可以参照图4中示出的内容进行理解,此处不做赘述。
由于初始图像可以看做为一个整体图片,而对应的第一区域图像为按照该对象检测框对初始图像进行裁剪所得到的图片,可以看做是对应的初始图像中的部分图像。而且,对图像进行灰度化处理后,处理得到的灰度图像不仅能够和未灰度化处理前的彩色图像一样,反映出图像的整体或局部的色度和亮度等级的分布和特征,而且还能够减少后续的计算量。因此,服务器可以对初始图像、第一区域图像分别进行灰度化处理,进而计算得到该初始图像的像素灰度信息、第一区域图像的像素灰度信息。所描述的像素灰度信息可以理解成图像的灰度值。
这样,服务器再根据该第一区域图像的像素灰度信息和对应的初始图像的像素灰度信息来确定第一区域图像的清晰度。示例性地,针对第一区域图像的清晰度的确定方式,可以参照下述方式进行理解,即:
服务器可以先确定第一区域图像中的每个第一像素点的像素灰度信息,如image_g1,以及确定对应初始图像中的每个第二像素点的像素灰度信息,如image_g2。其中,初始图像与第一区域图像对应。需说明,将该第一区域图像分割成一系列的细小的点,这些点可以称为该第一区域图像中的像素点,即前述提及的第一像素点。同样地,将对应的初始图像分割成一系列的细小的点,这些点也可以称为该初始图像中的像素点,即前述提及的第二像素点。示例性地,服务器可以将每个第一像素点的R、G、B这三个颜色分量进行平均值求解处理,然后将平均值作为对应的第一像素点的像素灰度信息。同样地,针对第二像素点的像素灰度信息,也可以参照第一像素点的像素灰度信息的计算过程进行理解,此处不做赘述。
然后,服务器基于每个第一像素点的像素灰度信息确定第一区域图像的灰度均值,如image_g1_mean,以及确定基于每个第二像素点的像素灰度信息确定初始图像的灰度均值,如image_g2_mean。服务器在确定出灰度均值之后,能够对每个第一像素点的像素灰度信息、每个第二像素点的像素灰度信息、第一区域图像的灰度均值以及初始图像的灰度均值进行均方差求解,得到第一清晰度,例如:
D1(image)=mean(mean((image_g1-image_g1_mean)×(image_g2-image_g2_mean))),其中,D1(image)表示第一清晰度,mean(mean(*))表示对参数mean(*)进行平均值求解,mean(*)表示对参数*进行算术平方根求解。
image_g1-image_g1_mean表示第一像素点的像素灰度信息与第一区域图像的灰度均值之间的像素差值,image_g1-image_g1_mean表示第二像素点的像素灰度信息与初始图像的灰度均值之间的像素差值。
并且,服务器还需要对第一区域图像中的每个第一像素点,分别确定第一像素点与第一区域图像中的其他像素点之间的像素灰度信息差值,并根据最大像素灰度信息差值与最小像素灰度信息差值确定第二清晰度,例如
其中,D2(image)表示第二清晰度,max(grays)表示最大像素灰度信息差值,min(grays)表示最小像素灰度信息差值。所提及的最大像素灰度信息差值、最小像素灰度信息差值分别为第二像素点与其他像素点之间的像素灰度信息差值中的最大差值、最小差值。进一步地,服务器可以对第一清晰度和第二清晰度进行均值求解,得到第一区域图像的清晰度,例如/>通过上述方式,基于多种方式综合计算出第一区域图像的清晰度,能够使得该清晰度更加真实地反映出该第一区域图像实际的清晰情况,为后续选取目标图像提供了选取条件的支撑。
在一些示例中,服务器也可以根据每张第一区域图像中的至少两个特征关键点,分别确定每张第一区域图像中的待检测对象的对象倾斜度。以前述图4中示出的人脸图像为例,所提及的至少两个特征关键点可以包括但不限于左眼睛、右眼睛、鼻子、嘴巴左角、嘴巴右角、眉毛等关键点,本申请实施例中不做限定说明。
举例来说,以左眼睛、右眼睛、鼻子、嘴巴左角、嘴巴右角作为特征关键点为例,图5示出了本申请实施例提供的计算对象倾斜度的示意图。如图5所示,服务器在识别得到每个特征关键点之后,可以确定出每个特征关键点的坐标信息,例如左眼睛(A)、右眼睛(B)、鼻子(C)、嘴巴左角(D)、嘴巴右角(E)这5个特征关键点的坐标信息。
然后,服务器通过左眼睛的坐标信息和右眼睛的坐标信息计算出左眼睛与右眼睛之间的垂直距离(如a)和水平距离(如b)。这样,服务器可以根据该左眼睛与右眼睛之间水平距离和垂直距离计算出眼睛倾斜度Q1,即Q3=a/b。
同样地,服务器还可以根据嘴巴右角的坐标信息和嘴巴左角的坐标信息计算出嘴巴中间点(如F)的坐标信息,并根据左眼睛的坐标信息和右眼睛的坐标信息计算出眼睛中间点(如G)的坐标信息。然后,服务器根据嘴巴中间点的坐标信息与嘴巴右角的坐标信息计算嘴巴中间点与嘴巴右角之间的距离,即第一值(如f),以及根据眼睛中间点的坐标信息与嘴巴右角的坐标信息计算眼睛中间点与嘴巴右角之间的距离,即第二值(如e),进而根据第一值与第二值计算出嘴巴倾斜度Q2,即Q2=f/e。
同样地,服务器还可以根据嘴巴中间点的坐标信息和眼睛中间点的坐标信息,求解得到嘴巴中间点与眼睛中间点之间的距离(如d)。然后,根据嘴巴中间点的坐标信息、眼睛中间点的坐标信息以及鼻子的坐标信息,求解得到鼻子到嘴巴中间点与眼睛中间点间的连线之间的垂直距离(如c)。这样,服务器可以根据嘴巴中间点与眼睛中间点之间的距离、以及鼻子到嘴巴中间点与眼睛中间点之间的中心位置的垂直距离计算出鼻子倾斜度Q3,即Q3=c/d。
进一步地,服务器可以根据眼睛倾斜度Q1、嘴巴倾斜度Q2以及鼻子倾斜度Q3求解得到待检测对象的对象倾斜度Q,即Q=Q1×Q2×Q3。通过上述方式计算出待检测对象的对象倾斜度,能够基于该对象倾斜度确定出待检测对象在每个初始图像中存在的不同程度的倾斜,基于该对象倾斜度将不满足倾斜度要求的初始图像丢弃,可以帮助后续选取目标图像提供数据支撑,增加检测效果。
那么,服务器在计算出置信度、第一区域图像的清晰度、以及第一区域图像中的待检测对象的对象倾斜度之后,能够基于第一区域图像的清晰度、对象倾斜度以及置信度中的一个或多个,确定对应的初始图像的质量情况。作为一个示意性的描述,服务器可以将清晰度与清晰度阈值进行比较、将对象倾斜度与倾斜度阈值进行比较,以及将置信度与置信度阈值进行比较。如果服务器在判断出满足以下一个或多个条件的情况下,此时可以确定出对应的初始图像的质量情况较优。所描述的条件包括:清晰度是否大于清晰度阈值、对象倾斜度是否小于或等于倾斜度阈值、以及置信是否大于或等于置信度阈值。举例来说,若清晰度阈值为60、倾斜度阈值为50、置信度阈值为60,而所计算出的置信度为75、清晰度为70、对象倾斜度为65。通过比较可以知道,置信度、清晰度、对象倾斜度均满足上述提及的条件,此时可以确定出对应的初始图像的质量情况较优。
这样,服务器在得到每个初始图像的质量情况之后,能够从图像集中选取质量情况满足预设质量条件的目标图像。示例性地,可以通过质量分数量化质量情况,因此在质量分数大于预设阈值的时候,可以选取质量分数大于预设阈值时的初始图像作为目标图像。
303、对每张目标图像进行对象检测处理,得到待检测对象的检测结果,检测结果用于反映待检测对象是否为目标对象。
该示例中,服务器在从图像集中选取出目标图像之后,可以对每张生物图像进行对象检测处理,以得到该待检测对象的检测结果。通过该检测结果能够指示出该待检测对象是否为目标对象。
需说明,对象检测处理,可以理解成通过图像识别等技术来判断当前的图像是否是对着现实世界中真实存在的对象进行拍摄所得到的照片,而不是对着照片或者视频二次拍摄或者3D模型制作的假体对象等进行拍摄所得到的照片。另外,本申请实施例提及的目标对象可以理解成有生命体征的对象,例如包括但不限于人物、动物、植物或者微生物等。后续实施例仅以人物作为目标对象为例进行说明。
在一些示例中,服务器在选取得到每张目标图像之后,可以将每张目标图像输入至第一预设检测模型。示例性地,第一预设检测模型可以包括但不限于对象检测模型,例如静默活体模型等。以对象检测模型为第一预设检测模型为例,其结构可以参照图6示出的示意图进行理解。如图6所示,对象检测模型包括特征提取模块和全连接层。其中,服务器可以将每张目标图像输入至对象检测模型中的特征提取模块,得到各个目标图像的图像特征。然后,通过全连接层将各个目标图像的图像特征进行处理,得到3个数值,进而通过sigmoid函数将这3个数值确定出对应的概率值,即输出维度1×3的向量[p1、p2、p3],其中,p1为第一检测概率、p2第二检测概率以及p3为第三检测概率。其中,第一检测概率可以理解成对应的目标图像中的待检测对象为真实对象的预测概率。此处所描述的真实对象,可以理解成现实世界中真实存在的对象。第二检测概率为对应的目标图像中的待检测对象为二维对象的预测概率。所描述的二维对象可以理解成从二维图片、二维的视频等识别到的对象。第三检测概率为对应的目标图像中的待检测对象为三维假体对象的预测概率。其中,三维假体对象可以理解成通过三维模型制作的假体对象。
由于第三检测概率通常是对三维模型制作的假体对象进行检测时所得到的概率值,而制作工艺较为高超的情况下所制作出的假体对象会与真实存在的对象并没有太大的差异,因此引入该第三检测概率进行对象检测处理,会出现较大的错误。因此,服务器在计算得到这些检测概率后,在对对象检测处理的过程中,可以不考虑第三检测概率,而是通过将每张目标图像的第一检测概率和第二检测概率进行融合处理,得到每张目标图像的目标检测概率即可。通过将这两者检测概率进行融合,能够从多重角度来考虑该对检测对象的合理性,为后续确定出该待检测对象的检测结果奠定了数据支撑。另外,目标检测概率理解成对应的目标图像中的待检测对象为目标对象的概率。譬如说,针对某一目标图像B1,可以通过对应的p1和p2计算出相应的目标检测概率pB1,如而针对其他的目标图像的目标检测概率的计算过程,也可以参照该目标图像B1的计算过程进行理解,此处不做赘述。
这样,服务器在计算出所有的目标图像各自的目标检测概率之后,可以基于每张目标图像的目标检测概率确定该待检测对象的检测结果。示例性地,服务器可以将每张目标图像的目标检测概率与第一阈值进行比较,并在目标检测概率大于第一阈值的情况下,将目标检测概率大于第一阈值时的目标图像选取出来,作为第一图像。然后,服务器计算出第一图片的个数以及所有的目标图像的个数,进而计算第一图片的个数与所有的目标图像的个数之间的比值,以此得到第一值,第一值用于指示第一图像中的待检测对象为目标对象时的检测通过情况。最后,服务器判断该第一值是否大于第二阈值,进而在第一值大于第二阈值的情况下,确定出检测结果就是待检测对象为目标对象。反之,如果第一值小于或等于第二阈值的时候,服务器确认该待检测对象并不是目标对象,此时需要向终端设备反馈认证失败的信息,指示终端设备对应的用户对象重新进行认证。举例来说,若共有10张目标图像,通过上述的计算方式,计算出6张目标图像的目标检测概率均大于第一阈值,此时可以计算第一值,即6/10=0.6。如果第二阈值为0.5,此时0.6>0.5,说明对象检测通过,即可以确定出该待检测对象为目标对象。需说明,上述提及的第一阈值和第二阈值,仅仅是一个可调的预设参数值,在实际应用中,第一阈值阈第二阈值可以相等,也可以不相等,本申请实施例中不做限定说明。
示例性地,在实际应用中,还可以对待检测对象的操作手势进行检测,以判断出该待检测对象的操作手势满足预设手势的时候,也能够判断出该待检测对象为活体对象。或者,服务器也可以对待检测对象所读取的语音进行识别,以此判断出该待检测对象为活体对象。
304、在检测结果指示待检测对象为活体对象时,对每张目标图像进行仿射变换处理,得到每张目标图像对应的仿射变换图像。
该示例中,服务器在根据检测结果的指示获知检测对象为活体对象的时候,可以对每张生物图像进行仿射变换处理,进而得到与每张目标图像对应的仿射变换图像。所提及的仿射变换处理,可以理解成将图像进行旋转、平移、缩放等变换操作。
在一些示例中,在如何确定出仿射变换图像的过程中,可以参照下述方式进行理解,即:
服务器可以先按照至少一种裁剪尺度对每张目标图像分别进行图片裁剪,得到至少一张裁剪图像。示例性地,服务器可以以每张目标图像中的待检测对象的对象检测框为裁剪中心,然后按照第一裁剪尺度在对象检测框的至少两个方向上分别进行裁剪。其中,每个方向上裁剪的宽度之和为第一裁剪尺度,第一裁剪尺度为至少一种裁剪尺度中的任意一种,对象检测框用于指示待检测对象的对象位置。
需说明,所描述的裁剪尺度可以理解成扩展尺度,即按照相应的尺度值(如s)在对象检测框的至少两个方向上扩展,使得对象检测框的宽度和高度分别增加相应的尺度值,如增加s倍,s>0。另外,所描述的至少两个方向可以包括但不限于由对象检测框的上侧和下侧构成的一个垂直方向,以及对象检测框的左侧和右侧构成的水平方向等,本申请后续实施例中仅以这两个方向为例进行说明。
举例来说,若服务器选择[1、1.5、2、2.7]这四种裁剪尺度对每张目标图像进行裁剪,以裁剪尺度为1.5对目标图像B1进行裁剪为例,可以按照该目标图像B1中的对象检测框为裁剪中心,并按照该裁剪尺度1.5在该对象检测框的垂直方向和水平方向分别裁剪,使得裁剪框能够沿着该对象检测框的垂直方向(即对象检测框的上侧和下侧)分别扩展1.5/2=0.75倍的高度距离,以及沿着对象检测框的水平方向(即对象检测框的左侧和右侧)分别扩展1.5/2=0.75倍的宽度距离,进而得到与该目标图像B1对应的裁剪图像。需说明,针对使用裁剪尺度为1.5对除了目标图像B1以外的其他目标图像,其裁剪过程也可以参照对目标图像B1的裁剪过程进行理解,此处不做赘述。同样地,针对其他裁剪尺度如何对每张目标图像进行图像裁剪,其裁剪过程也可以参照按照裁剪尺度为1.5对目标图像B1的裁剪过程进行理解,此处不做赘述。另外,上述示例仅仅示出了在对象检测框的上侧、下侧、左侧和右侧扩展的宽度分别为裁剪尺度,在实际应用中,仅需要满足每个方向上裁剪的宽度之和为第一裁剪尺度即可,具体不做限定说明。
这样,服务器在得到与每张目标图像对应的裁剪图像之后,可以获取每张裁剪图像中的待检测对象的特征关键点的第一坐标信息和第二坐标信息。其中,第二坐标信息为对待检测对象的特征关键点进行关键点对齐之后的坐标信息。然后,服务器基于第一坐标信息和第二坐标新确定仿射矩阵。示例性地,以上述提及的[1、1.5、2、2.7]这四种裁剪尺度为例,由于按照裁剪尺度2和裁剪尺度2.7各自裁剪得到的裁剪图像,能够扩充较多对象检测框以外的其他信息,经过仿射变换后会破话对象检测框以外的环境信息。因此,服务器在进行仿射变换处理之前,可以确定出并不需要对于裁剪尺度大于阈值的裁剪图像进行仿射变换处理。这时候,服务器仅需求按照裁剪尺度小于阈值时的裁剪图像中的待检测对象的特征关键点的第一坐标信息和第二坐标信息来确定仿射矩阵。
举例来说,以裁剪尺度为1和裁剪尺度为1.5为例,分别按照这两种裁剪尺度所裁剪得到的裁剪图像中的待检测对象的特征关键点的第一坐标信息和第二坐标信息来确定仿射矩阵,具体实现代码如下:
from skimage import transform as trans
tform=trans.SimilarityTransform()
tform.estimate(face_landmarks,align_landmarks)
mat_trans=tform.params[0:2,:]
其中,face_landmarks是分别采用裁剪尺度为1和1.5裁剪得到的裁剪图像所对应的特征关键点的坐标,即第一坐标信息。align_landmarks是该待检测对象经过对齐之后的特征关键点的坐标位置,即第二坐标信息。函数tform.estimate(face_landmarks,align_landmarks)的作用是计算出将face_landmarks变换为align_landmarks的仿射矩阵,即mat_trans。该仿射矩阵的维度是2x3,即该仿射矩阵mat_trans为2行3列的矩阵。
这样,服务器在计算得到仿射矩阵之后,可以基于每张裁剪图像和仿射矩阵,得到各个裁剪图像对应的仿射变换图像。譬如说,将每张裁剪图像和仿射矩阵作为函数dst=cv2.warpAffine(face_mat,mat_trans,(width,height))的输入,以此通过函数dst来计算出对应的仿射变换图像。其中,face_mat为裁剪图像,mat_trans为仿射矩阵,width为裁剪图像的宽度,height为裁剪图像的高度。
305、基于每张目标图像和每张仿射变换图像对待检测对象进行对象属性检测,以得到待检测对象的对象属性结果。
该示例中,服务器在确定出每张仿射变换图像后,可以结合目标生物图对待检测对象进行对象属性检测,以此检测得到该待检测对象的对象属性结果。
示例性地,服务器可以将与每张裁剪图像以及每张仿射变换图像作为第二预设检测模型的输入,以得到每张裁剪图像的概率值和每张仿射变换图像的概率值。然后,服务器求解每张裁剪图像的概率值和每张仿射变换图像的概率值之间的概率均值,并根据概率均值确定待检测对象的对象属性结果。示例性地,所描述的第二预设检测模型可以包括但不限于对象属性检测模型,例如shufflenetv2_x0.5模型等,本申请实施例中不做限定说明。
举例来说,以前述提及的[1、1.5、2、2.7]这四种裁剪尺度为例,由于按照这四种裁剪尺度分别对目标图像B1进行裁剪,因此可以得到与目标图像B1对应的4张裁剪尺度不同的裁剪图像。而且,仅对裁剪尺度为1和1.5对应的裁剪图像进行仿射变换处理,因此可以得到这两种裁剪尺度为1和1.5的裁剪图像所对应的仿射变换图像。这时候,可以将这6张图像作为第二预设检测模型的输入。以shufflenetv2_x0.5模型为例,图7示出了本申请实施例提供的对象属性检测模型的结构示意图。如图7所示,服务器可以将这6张图像输入shufflenetv2_x0.5模型中的特征提取网络中,得到各自对应的图像特征。然后,将各个图像特征输入至该shufflenetv2_x0.5模型中的全连接层,以此得到每个图像特征的特征值,进而通过sigmoid函数计算出每个图像特征对应的概率值,如得到6个概率值。然后,将将这6个概率值进行均值处理,即可得到该待检测对象的对象属性的预测概率。
同样地,针对其他的除了目标图像B1以外的其他目标图像,确定对应的目标图像中的待检测图像的对象属性的预测概率,也可以参照对目标图像B1的概率预测过程进行理解,此处不做赘述。
这样,在得到每个目标图像对应的概率均值之后,可以基于概率均值确定待检测对象的对象属性结果。示例性地,服务器可以将每张目标图像对应的概率均值与第三值进行比较,并在概率均值大于第三阈值的情况下,将概率均值大于第三阈值时的目标图像选取出来。然后,服务器计算出概率均值大于第三阈值时的目标图像的个数以及所有的目标图像的个数,进而计算出比值。最后,服务器判断该比值是否大于第四阈值,进而在比值大于第四阈值的情况下,确定出待检测对象的对象属性结果,例如待检测对象的性别为女性。反之,如果比值小于或等于第四阈值的时候,服务器确认该待检测对象的对象属性结果不满足前途图1中所要求的对象属性时,此时需要向终端设备反馈认证失败的信息,指示终端设备对应的用户对象重新进行认证。换句话说,本申请通过模型计算得到每张目标图像中的待检测图像的对象属性的概率均值后,基于概率均值大于第三阈值时的目标图像的个数以及所有的目标图像的个数再次计算出比值,并进一步比较比值是否大于第四阈值,从而实现对目标图像中的待检测对象的对象属性的双重检测,相较于现有方案中仅基于提取到的图片特征浅层地反映该待检测对象的对象属性,能够提高检测的准确度,提升对对象属性进行分类的分类效果。
示例性地,在实际应用中,服务器还可以对待检测对象说出语音时的音色来识别出该待检测对象的对象属性结果。
图8示出了本申请实施例中提供的数据处理的方法的整体流程示意图。如图8所示,该数据处理的方法至少包括如下几个阶段,即数据采集阶段、对象检测阶段、对象属性检测阶段。
其中,在数据采集阶段,终端设备对待检测对象进行拍摄,以获取视频流。服务器可以获取终端设备发送的视频流,并对视频流进行分帧处理,得到图像集。针对图像集中的每张初始图像,服务器可以将图像集中的每张初始图像输入至第三预设检测模型,得到每张初始图像中的待检测对象的对象检测框、至少两个特征关键点以及置信度。然后,服务器对初始图像进行清晰度识别、对象倾斜度识别,并基于清晰度、对象倾斜度以及置信度中的一个或多个,确定对应的初始图像的质量情况。这样,服务器根据每张初始图像的质量情况,从待检测对象的图像集中选取质量情况满足预设质量条件的目标图像。否则,服务器向终端设备反馈拍摄问题,以提示认证失败。
接着,在对象检测阶段,服务器将每张目标图像输入至第一预设检测模型,以得到每张目标图像的第一检测概率和第二检测概率,并根据第一检测概率和第二检测概率确定每张目标图像的目标检测概率,进而根据每张目标图像的目标检测概率确定待检测对象的检测结果。这样,服务器在根据该检测结果确定待检测对象为目标对象时,则进入到后续的对象属性检测阶段。反之,服务器在根据该检测结果确定出待检测对象并不是目标对象时,向终端设备反馈并非目标对象的检测结果,以提示认证失败。
在对象属性检测阶段,服务器可以按照至少一种裁剪尺度对每张目标图像分别进行图片裁剪,得到至少一张裁剪图像,并对每张裁剪图像进行仿射矩阵变换处理,以得到每张裁剪图像对应的仿射变换图像。然后,服务器将每张裁剪图像和每张仿射变换图像作为第二预设检测模型的输入,以得到每张裁剪图像的概率值和每张仿射变换图像的概率值,并求解概率均值,进而根据概率均值确定待检测对象的对象属性结果。反之,服务器在判断出该对象属性结果不满足预设条件的对象属性时,可以向终端设备反馈并对象属性结果的问题,以提示认证失败。
本申请实施例中,由于图像集中的每张初始图像都是在对待检测对象进行对象认证时获取得到的图片,因此在获取到待检测对象的图像集之后,能够从图像集中选取目标图像,进而对每张目标图像进行对象检测处理,从而得到待检测对象的检测结果。通过检测结果能够反映出检测对象是否为目标对象。这样,在检测结果指示出待检测对象为目标对象时,对每张目标图像进行仿射变换处理,得到每张目标图像对应的仿射变换图像,进而根据每张目标图像和每张仿射变换图像对该待检测对象进行对象属性检测,从而得到待检测对象的对象属性结果。通过上述方式,先选取合适的初始图像作为目标图像,从一定程度上剔除了质量不达标的图片。而且,再在检测出待检测对象为目标对象的情况下,对所有的目标图像进行仿射变换处理,能够使对应的仿射变换图像能够包含该待检测对象更细致的属性信息,这样再根据每张目标图像和每张仿射变换图像对待检测对象进行对象属性检测,使得能够更加准确地检测出该待检测对象的对象属性结果,提升对对象属性进行分类的分类效果。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是为了实现上述功能,包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面对本申请实施例中的数据处理装置进行详细描述,图9为本申请实施例中提供的数据处理装置的一个实施例示意图。如图9所示,该数据处理装置可以包括获取单元901和处理单元902。
其中,获取单元901,用于获取待检测对象的图像集,图像集中的每张初始图像为对待检测对象进行对象认证时获取得到的。处理单元902,用于从所述待检测对象的图像集中选取目标图像,所述目标图像包括所述待检测对象;对每张所述目标图像进行对象检测处理,得到所述待检测对象的检测结果,所述检测结果用于反映所述待检测对象是否为目标对象;在所述检测结果指示所述待检测对象为目标对象时,对每张所述目标图像进行仿射变换处理,得到每张所述目标图像对应的仿射变换图像;基于每张所述目标图像和所述每张仿射变换图像对所述待检测对象进行对象属性检测,以得到所述待检测对象的对象属性结果。
在一些可选的实施方式中,处理单元902用于:将每张目标图像输入至第一预设检测模型,以得到每张目标图像的第一检测概率和第二检测概率,第一检测概率为对应的目标图像中的待检测对象为真实对象的预测概率,第二检测概率为对应的目标图像中的待检测对象为二维对象的预测概率;将每张目标图像的第一检测概率和第二检测概率进行融合处理,得到每张目标图像的目标检测概率,目标检测概率为对应的目标图像中的待检测对象为目标对象的概率;基于每张目标图像的目标检测概率确定待检测对象的检测结果。
在另一些可选的实施方式中,处理单元902用于:从每张目标图像中确定第一图像,第一图像为目标检测概率大于第一阈值时的目标图像;基于第一图像的个数和每张目标图像的个数计算第一值,所述第一值用于指示所述第一图像中的待检测对象为所述目标对象时的检测通过情况;在第一值大于第二阈值时,确定检测结果是待检测对象为目标对象。
在另一些可选的实施方式中,处理单元902用于:按照至少一种裁剪尺度对每张目标图像分别进行图片裁剪,得到至少一张裁剪图像;获取每张裁剪图像中的待检测对象的特征关键点的第一坐标信息和第二坐标信息,第二坐标信息为对待检测对象的特征关键点进行关键点对齐之后的坐标信息;基于第一坐标信息和第二坐标信息确定仿射矩阵;基于每张裁剪图像和仿射矩阵,得到各个裁剪图像对应的仿射变换图像。
在另一些可选的实施方式中,处理单元902用于:以每张目标图像中的待检测对象的对象检测框为裁剪中心,按照第一裁剪尺度在对象检测框的至少两个方向上分别进行裁剪,每个方向上裁剪的宽度之和为第一裁剪尺度,第一裁剪尺度为至少一种裁剪尺度中的任意一种,对象检测框用于指示待检测对象的对象位置。
在另一些可选的实施方式中,处理单元902用于:将每张裁剪图像和每张仿射变换图像作为第二预设检测模型的输入,以得到每张裁剪图像的概率值和每张仿射变换图像的概率值;求解每张裁剪图像的概率值和每张仿射变换图像的概率值之间的概率均值,概率均值用于指示待检测对象的对象属性的预测概率;基于概率均值确定待检测对象的对象属性结果。
在另一些可选的实施方式中,处理单元902还用于:在从所述待检测对象的图像集中选取目标图像之前,将图像集中的每张初始图像输入至第三预设检测模型,得到每张初始图像中的待检测对象的对象检测框、至少两个特征关键点以及置信度,对象检测框用于指示待检测对象的对象位置,置信度用于指示待检测对象的可信程度;基于第一区域图像的像素灰度信息和对应的初始图像的像素灰度信息确定第一区域图像的清晰度,第一区域图像为在初始图像中,按照待检测对象的对象检测框进行裁剪得到的图片;或者,基于每张第一区域图像中的至少两个特征关键点,分别确定每张第一区域图像中的待检测对象的对象倾斜度;基于第一区域图像的清晰度、对象倾斜度以及置信度中的一个或多个,确定对应的初始图像的质量情况;根据每张所述初始图像的质量情况,从所述图像集中选取质量情况满足预设质量条件的目标图像。
在另一些可选的实施方式中,处理单元902用于:确定第一区域图像中的每个第一像素点的像素灰度信息,以及对应初始图像中的每个第二像素点的像素灰度信息,初始图像与第一区域图像对应;基于每个第一像素点的像素灰度信息确定第一区域图像的灰度均值,以及基于每个第二像素点的像素灰度信息确定初始图像的灰度均值;对每个第一像素点的像素灰度信息、每个第二像素点的像素灰度信息、第一区域图像的灰度均值以及初始图像的灰度均值进行均方差求解,得到第一清晰度;对第一区域图像中的每个第一像素点,分别确定第一像素点与第一区域图像中的其他像素点之间的像素灰度信息差值;根据最大像素灰度信息差值与最小像素灰度信息差值确定第二清晰度,最大像素灰度信息差值、最小像素灰度信息差值分别为第二像素点与其他像素点之间的像素灰度信息差值中的最大差值、最小差值;对第一清晰度和第二清晰度进行均值求解,得到第一区域图像的清晰度。
上面从模块化功能实体的角度对本申请实施例中的数据处理装置进行描述,下面从硬件处理的角度对本申请实施例中的数据处理装置进行描述。所描述的数据处理装置可以是图3示出的服务器等。图10是本申请实施例提供的数据处理装置的结构示意图。该数据处理装置可因配置或性能不同而产生比较大的差异。该数据处理装置可以至少一个处理器1001,通信线路1007,存储器1003以及至少一个通信接口1004。
处理器1001可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,服务器IC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路1007可包括一通路,在上述组件之间传送信息。
通信接口1004,使用任何收发器一类的装置,用于与其他装置或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器1003可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储装置,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储装置,存储器可以是独立存在,通过通信线路1007与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器1003用于存储执行本申请方案的计算机执行指令,并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的计算机执行指令,从而实现本申请上述实施例提供的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,该数据处理装置可以包括多个处理器,例如图10中的处理器1001和处理器1002。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个装置、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,该数据处理装置还可以包括输出设备1005和输入设备1006。输出设备1005和处理器1001通信,可以以多种方式来显示信息。输入设备1006和处理器1001通信,可以以多种方式接收目标对象的输入。例如,输入设备1006可以是鼠标、触摸屏装置或传感装置等。
上述的数据处理装置可以是一个通用装置或者是一个专用装置。在具体实现中,该数据处理装置可以是服务器、数据处理装置等或有图10中类似结构的装置。本申请实施例不限定该数据处理装置的类型。
需说明,图10中的处理器1001可以通过调用存储器1003中存储的计算机执行指令,使得数据处理装置执行如图3至图8对应的方法实施例中的方法。
具体的,图9中的处理单元902的功能/实现过程可以通过图10中的处理器1001调用存储器1003中存储的计算机执行指令来实现。图9中的获取单元901的功能/实现过程可以通过图10中的通信接口1004来实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种数据处理的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种数据处理的方法的部分或全部步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD))等。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种数据处理的方法,其特征在于,包括:
获取待检测对象的图像集,所述图像集中的每张初始图像为对所述待检测对象进行对象认证时获取得到的;
从所述待检测对象的图像集中选取目标图像,所述目标图像包括所述待检测对象;
对每张所述目标图像进行对象检测处理,得到所述待检测对象的检测结果,所述检测结果用于反映所述待检测对象是否为目标对象;
在所述检测结果指示所述待检测对象为目标对象时,对每张所述目标图像进行仿射变换处理,得到每张所述目标图像对应的仿射变换图像;
基于每张所述目标图像和所述每张仿射变换图像对所述待检测对象进行对象属性检测,以得到所述待检测对象的对象属性结果。
2.根据权利要求1所述的方法,其特征在于,所述对每张所述目标图像进行对象检测处理,以得到所述待检测对象的检测结果,包括:
将每张所述目标图像输入至第一预设检测模型,以得到每张所述目标图像的第一检测概率和第二检测概率,所述第一检测概率为对应的目标图像中的待检测对象为真实对象的预测概率,所述第二检测概率为所述对应的目标图像中的待检测对象为二维对象的预测概率;
将每张所述目标图像的所述第一检测概率和所述第二检测概率进行融合处理,得到每张所述目标图像的目标检测概率,所述目标检测概率为对应的所述目标图像中的待检测对象为目标对象的概率;
基于每张所述目标图像的目标检测概率确定所述待检测对象的检测结果。
3.根据权利要求2所述的方法,其特征在于,所述基于每张所述目标图像的目标检测概率确定所述待检测对象的检测结果,包括:
从所述每张目标图像中确定第一图像,所述第一图像为所述目标检测概率大于第一阈值时的目标图像;
基于所述第一图像的个数和所述每张目标图像的个数计算第一值,所述第一值用于指示所述第一图像中的待检测对象为所述目标对象时的检测通过情况;
在所述第一值大于第二阈值时,确定所述检测结果是所述待检测对象为目标对象。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述对每张所述目标图像进行仿射变换处理,得到每张所述目标图像对应的仿射变换图像,包括:
按照至少一种裁剪尺度对每张所述目标图像分别进行图片裁剪,得到至少一张裁剪图像;
获取每张所述裁剪图像中的所述待检测对象的特征关键点的第一坐标信息和第二坐标信息,所述第二坐标信息为对所述待检测对象的特征关键点进行关键点对齐之后的坐标信息;
基于所述第一坐标信息和所述第二坐标信息确定仿射矩阵;
基于每张所述裁剪图像和所述仿射矩阵,得到各个所述裁剪图像对应的仿射变换图像。
5.根据权利要求4所述的方法,其特征在于,所述按照至少一种裁剪尺度对每张所述目标图像分别进行图片裁剪,得到至少一张裁剪图像,包括:
以每张所述目标图像中的所述待检测对象的对象检测框为裁剪中心,按照第一裁剪尺度在所述对象检测框的至少两个方向上分别进行裁剪,每个所述方向上裁剪的宽度之和为所述第一裁剪尺度,所述第一裁剪尺度为所述至少一种裁剪尺度中的任意一种,所述对象检测框用于指示所述待检测对象的对象位置。
6.根据权利要求4所述的方法,其特征在于,所述基于每张所述目标图像和所述每张仿射变换图像对所述待检测对象进行对象属性检测,以得到所述待检测对象的对象属性结果,包括:
将每张所述裁剪图像和每张所述仿射变换图像作为第二预设检测模型的输入,以得到每张所述裁剪图像的概率值和每张所述仿射变换图像的概率值;
求解所述每张所述裁剪图像的概率值和所述每张所述仿射变换图像的概率值之间的概率均值,所述概率均值用于指示所述待检测对象的对象属性的预测概率;
基于所述概率均值确定所述待检测对象的对象属性结果。
7.根据权利要求1至3中任一项所述的方法,其特征在于,在从所述待检测对象的图像集中选取目标图像之前,所述方法还包括:
将所述图像集中的每张所述初始图像输入至第三预设检测模型,得到每张所述初始图像中的所述待检测对象的对象检测框、至少两个特征关键点以及置信度,所述对象检测框用于指示所述待检测对象的对象位置,所述置信度用于指示所述待检测对象的可信程度;
基于第一区域图像的像素灰度信息和对应的所述初始图像的像素灰度信息确定所述第一区域图像的清晰度,所述第一区域图像为在所述初始图像中,按照所述待检测对象的对象检测框进行裁剪得到的图片;或者,
基于每张所述第一区域图像中的所述至少两个特征关键点,分别确定每张所述第一区域图像中的所述待检测对象的对象倾斜度;
基于所述第一区域图像的清晰度、所述对象倾斜度以及所述置信度中的一个或多个,确定对应的所述初始图像的质量情况;
从所述待检测对象的图像集中选取目标图像,包括:
根据每张所述初始图像的质量情况,从所述图像集中选取质量情况满足预设质量条件的目标图像。
8.根据权利要求7所述的方法,其特征在于,所述基于第一区域图像的和对应的所述初始图像的像素灰度信息确定所述第一区域图像的清晰度,包括:
确定所述第一区域图像中的每个第一像素点的像素灰度信息,以及对应初始图像中的每个第二像素点的像素灰度信息,所述初始图像与所述第一区域图像对应;
基于每个所述第一像素点的像素灰度信息确定所述第一区域图像的灰度均值,以及基于每个所述第二像素点的像素灰度信息确定所述初始图像的灰度均值;
对所述每个第一像素点的像素灰度信息、每个第二像素点的像素灰度信息、所述第一区域图像的灰度均值以及所述初始图像的灰度均值进行均方差求解,得到第一清晰度;
对所述第一区域图像中的每个所述第一像素点,分别确定所述第一像素点与所述第一区域图像中的其他像素点之间的像素灰度信息差值;
根据最大像素灰度信息差值与最小像素灰度信息差值确定第二清晰度,所述最大像素灰度信息差值、所述最小像素灰度信息差值分别为所述第二像素点与所述其他像素点之间的像素灰度信息差值中的最大差值、最小差值;
对所述第一清晰度和所述第二清晰度进行均值求解,得到所述第一区域图像的清晰度。
9.一种数据处理装置,其特征在于,包括:
获取单元,用于获取待检测对象的图像集,所述图像集中的每张初始图像为对所述待检测对象进行对象认证时获取得到的;
处理单元,用于从所述待检测对象的图像集中选取目标图像,所述目标图像包括所述待检测对象;
所述处理单元,用于对每张所述目标图像进行对象检测处理,得到所述待检测对象的检测结果,所述检测结果用于反映所述待检测对象是否为目标对象;
所述处理单元,用于在所述检测结果指示所述待检测对象为目标对象时,对每张所述目标图像进行仿射变换处理,得到每张所述目标图像对应的仿射变换图像;
所述处理单元,用于根据每张所述目标图像和所述每张仿射变换图像对所述待检测对象进行对象属性检测,以得到所述待检测对象的对象属性结果。
10.一种数据处理装置,其特征在于,所述数据处理装置包括:输入/输出(I/O)接口、处理器和存储器,所述存储器中存储有程序指令;
所述处理器用于执行存储器中存储的程序指令,执行如权利要求1至8中任一所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行如权利要求1至8中任一项所述的方法。
12.一种计算机程序产品,其特征在于,所述计算机程序成品包括指令,当所述指令在计算机设备或者处理器上运行时,使得所述计算机设备或者所述处理器执行如权利要求1至8中任一项所述的方法。
CN202211507210.0A 2022-11-29 2022-11-29 一种数据处理的方法以及相关装置 Pending CN117218398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211507210.0A CN117218398A (zh) 2022-11-29 2022-11-29 一种数据处理的方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211507210.0A CN117218398A (zh) 2022-11-29 2022-11-29 一种数据处理的方法以及相关装置

Publications (1)

Publication Number Publication Date
CN117218398A true CN117218398A (zh) 2023-12-12

Family

ID=89035814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211507210.0A Pending CN117218398A (zh) 2022-11-29 2022-11-29 一种数据处理的方法以及相关装置

Country Status (1)

Country Link
CN (1) CN117218398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117606470A (zh) * 2024-01-24 2024-02-27 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117606470A (zh) * 2024-01-24 2024-02-27 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备
CN117606470B (zh) * 2024-01-24 2024-04-16 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
US10198623B2 (en) Three-dimensional facial recognition method and system
CN111814620B (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
EP3937124A1 (en) Image processing method, device and apparatus, and storage medium
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
EP4198814A1 (en) Gaze correction method and apparatus for image, electronic device, computer-readable storage medium, and computer program product
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN109117755B (zh) 一种人脸活体检测方法、系统和设备
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN111768336A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN111444744A (zh) 活体检测方法、装置以及存储介质
US11682231B2 (en) Living body detection method and device
CN106709404A (zh) 图像处理装置及图像处理方法
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
JP2018116589A (ja) 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
CN117218398A (zh) 一种数据处理的方法以及相关装置
WO2024198475A1 (zh) 人脸活体识别方法、装置、电子设备及存储介质
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
KR102594093B1 (ko) 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication