CN113518217A - 对象识别方法、装置、服务器及介质 - Google Patents

Abstract

本发明实施例公开了一种对象识别方法、装置、服务器及介质，其中方法包括：接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。本发明实施例可以更好地进行对象识别，提升识别准确性。

Description

对象识别方法、装置、服务器及介质

技术领域

本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种对象识别方法、一种对象识别装置、一种服务器及一种计算机存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)概念的普及，对象识别成为了一个热门的研究课题。所谓的对象识别是指：一种利用计算机对图像进行处理、分析和理解，以识别出图像中的目标对象的属性信息的技术。此处的目标对象可以是：人脸、手势、以及除人类以外的其他生物(如猫、狗)；目前，如何更好地进行对象识别成为了研究热点。

发明内容

本发明实施例提供了一种对象识别方法、装置、服务器及介质，可以更好地进行对象识别，提升识别准确性。

一方面，本发明实施例提供了一种对象识别方法，所述方法包括：

接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

另一方面，本发明实施例提供了一种对象识别装置，所述装置包括：

通信单元，接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

处理单元，用于对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

所述处理单元，还用于基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

所述处理单元，还用于根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

在一种实施方式中，所述处理单元在用于对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分时，具体用于：

获取质量评估规则，并按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

其中，所述质量评估规则包括多个评估维度、每个评估维度对应的初始权重值，及每个评估维度下的评分算法；所述多个评估维度包括：图像清晰度维度、照明质量维度、分辨率维度，以及对象完整性维度。

再一种实施方式中，所述处理单元在用于按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分时，可具体用于：

在各评估维度下对所述颜色数据流中的任一颜色图像帧进行质量检测，得到所述任一颜色图像帧在所述各评估维度下的质量检测结果；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度下的评分算法，确定所述任一颜色图像帧在所述各评估维度下的质量分；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度对应的初始权重值，确定所述各评估维度对应的目标权重值；

采用所述各评估维度对应的目标权重值对所述任一颜色图像帧在所述各评估维度下的质量分进行加权求和，得到所述任一颜色图像帧的图像质量分。

再一种实施方式中，若因所述任一颜色图像帧中存在遮挡物，而导致所述任一颜色图像帧中的目标对象不完整，则所述任一颜色图像帧在所述对象完整性维度下的质量检测结果包括：所述遮挡物的遮挡属性；所述遮挡属性包括以下至少一项：遮挡面积和遮挡位置；

所述对象完整性维度对应的目标权重值的确定方式如下：根据所述遮挡属性确定关于所述对象完整性维度的权重调整因子；并采用所述权重调整因子对所述对象完整性维度对应的初始权重值进行调整，得到所述目标权重值；

其中，若所述遮挡属性包括所述遮挡面积，则所述权重调整因子为：根据所述遮挡面积和所述任一颜色图像帧的图像尺寸计算的第一调整因子；若所述遮挡属性包括所述遮挡位置，则所述权重调整因子为：与所述遮挡位置对应的第二调整因子；若所述遮挡属性包括所述遮挡面积和所述遮挡位置，则所述权重调整因子为：对所述第一调整因子和所述第二调整因子进行权重整合所得到的调整因子。

再一种实施方式中，所述处理单元在用于根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息时，可具体用于：

根据所述目标颜色图像帧对所述目标对象进行属性识别；

若识别成功，则将识别得到的属性信息作为所述目标对象的属性信息；

若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧，并根据重新选取的目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

再一种实施方式中，所述处理单元在用于若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧时，可具体用于：

若识别失败，则对所述目标颜色图像帧进行图像异常问题检测；

若检测到所述目标颜色图像帧存在目标图像异常问题，则根据所述目标图像异常问题调整所述质量评估规则；

按照调整后的质量评估规则对所述颜色图流中未被选取的各剩余颜色图像帧进行图像质量评估，以更新各剩余颜色图像帧的图像质量分；

基于所述各剩余颜色图像帧的更新后的图像质量分，从所述各剩余颜色图像帧中重新选取新的目标颜色图像帧。

再一种实施方式中，所述处理单元在用于根据所述目标图像异常问题调整所述质量评估规则时，可具体用于：

获取图像异常问题和评估维度之间的对应关系表，所述对应关系表中包括多个图像异常问题以及各图像异常问题对应的评估维度；

从所述对应关系表中查询所述目标图像异常问题对应的目标评估维度；

若所述质量评估规则中包括所述目标评估维度，则在所述质量评估规则中增大所述目标评估维度对应的初始权重值；

若所述质量评估规则中未包括所述目标评估维度，则在所述质量评估规则中添加所述目标评估维度、所述目标评估维度对应的初始权重值，以及所述目标评估维度下的评分算法。

再一种实施方式中，所述视频流数据中还包括：由关于所述目标对象的多帧红外图像帧构成的红外图流，以及由关于所述目标对象的多帧深度图像帧构成的深度图流；相应的，所述处理单元在用于根据所述目标颜色图像帧对所述目标对象进行属性识别时，可具体用于：

从所述红外图流中选取与所述目标颜色图像帧对应的目标红外图像帧，以及从所述深度图流中选取与所述目标颜色图像帧对应的目标深度图像帧；

根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别。

再一种实施方式中，所述处理单元在用于根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别时，可具体用于：

根据所述目标颜色图像帧和所述目标红外图像帧，对所述目标对象进行属性识别，得到第一属性信息；

根据所述目标颜色图像帧和所述目标深度图像帧，对所述目标对象进行属性识别，得到第二属性信息；

若所述第一属性信息和所述第二属性信息相匹配，则确定识别成功；否则，则确定识别失败。

再一种实施方式中，所述处理单元还可用于：

将所述目标对象的属性信息返回至所述终端，使得所述终端根据所述目标对象的属性信息执行业务处理；

其中，所述目标对象为目标人脸，所述目标对象的属性信息包括所述目标人脸对应的身份信息；所述业务处理包括：人脸考勤处理、人脸支付处理、或者人脸图像分类处理。

再一方面，本发明实施例提供了一种服务器，所述服务器包括输入接口和输出接口，所述服务器还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：

接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：

接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

本发明实施例中的服务器可接收终端上传的关于目标对象的视频流数据，并对视频流数据包括的颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。然后，可基于各颜色图像帧的图像质量分，选取图像质量较优的目标颜色图像帧对目标对象进行属性识别，这样可有效提升识别得到的属性信息的准确性。并且，由于整个对象识别过程所涉及的各个操作(如图像选取操作、属性识别操作)均是在服务器中执行的，因此可有效消除对终端的硬件配置依赖，从而有效降低终端的硬件成本。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的一种对象识别系统的系统架构图；

图1b是本发明实施例提供的一种对象识别方案的原理示意图；

图2是本发明实施例提供的一种对象识别方法的流程示意图；

图3是本发明另一实施例提供的一种对象识别方法的流程示意图；

图4a是本发明实施例提供的一种为各图像帧写入图像标识的示意图；

图4b是本发明实施例提供的一种选取目标颜色图像帧、目标深度图像帧以及目标红外图像帧的示意图；

图5a是本发明实施例提供的一种对象识别方法的应用场景图；

图5b是本发明实施例提供的一种对象识别方法的应用场景图；

图5c是本发明实施例提供的一种对象识别方法的应用场景图；

图6是本发明实施例提供的一种对象识别装置的结构示意图；

图7是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明实施例中，涉及一种对象识别系统。参见图1a所示，该对象识别系统可至少包括：终端11和服务器12；且终端11和服务器12之间可通过有线或无线通信方式进行直接或间接地连接，对此不做限制。其中，终端11是指可调用传统摄像组件或者3D摄像组件对目标对象进行图像采集的任一设备；此处的目标对象是指待进行属性识别的任一对象，如目标人脸、目标手势、以及除人类以外的其他生物(如猫、狗)等。传统摄像组件是指用于采集颜色图像帧(即RGB图像帧)的摄像组件，而3D摄像组件则是指在传统摄像组件的基础上，添加了用于进行活体检测的相关软硬件的摄像组件。例如，3D摄像组件在包括传统摄像组件的基础上，还可包括：用于采集深度图像帧的深度相机，以及用于采集红外图像帧的红外相机等。其中，RGB图像帧是指将拍摄场景中的各点的RGB值作为像素值的图像；即RGB图像帧是指具有RGB值的图像，如人脸彩色图、手势彩色图等。深度图像帧又可称为距离图像帧，是指将拍摄场景中的各点相对于深度相机的距离作为像素值的图像；即深度图像帧是指具有深度信息的图像，如具有深度信息的人脸图、具有深度信息的手势图等。红外图像帧是指红外相机通过采集拍摄场景中的各点在红外波段的辐射所形成的图像；即红外图像帧是指具有红外信息的图像，如具有红外信息的人脸图、具有红外信息的手势图等。具体的，该终端11可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、刷脸支付设备(一种进行人脸识别得到身份信息后，从与该身份信息相关联的资源账户中自动扣除电子资源的设备)、自动收银设备，等等。

服务器12是指可提供流媒体服务、图像优选服务、对象识别服务等多种服务的服务设备；此处的流媒体服务是指：基于流媒体接收终端11采集并上传的图像帧的服务，所谓的流媒体是指以流方式在网络中传输音频、视频和多媒体文件的媒体形式。图像优选服务是指：从通过流媒体服务接收到的图像帧中选取图像质量较优的图像帧的服务，如选取最优帧的服务；所谓的最优帧是指接收到的图像帧中，图像质量最高的一帧图像帧。对象识别服务则是指：识别出图像帧中的目标对象的属性信息的服务，此处所提及的目标对象的属性信息是指可用于表征目标对象的一些特征的信息。例如，若目标对象为目标人脸，则属性信息可为目标人脸对应的身份信息；又如，若目标对象为目标手势，则属性信息可为目标手势对应的手势信息(如手势的形状、手中各个节点的位置信息等)。具体的，该服务器12可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

基于上述的对象识别系统，本发明实施例提出了一种对象识别方案，以更好地进行对象识别。参见图1b所示，该对象识别方案的大致原理如下：当存在对象识别需求时，终端可调用3D摄像组件对待识别的目标对象进行图像采集；并采用流媒体方式将采集到的各图像帧以视频流的形式上传至服务器进行对象识别，所谓的流媒体方式是指在采集新的图像帧的过程中，同步传输已采集的图像帧的传输方式。相应的，服务器可通过流媒体服务接收终端上传的视频流数据。接着，可通过图像优选服务使用图像优选逻辑对视频流数据进行图像优选，以从视频流数据中选取质量较优的图像帧；然后，可通过对象识别服务根据选取的质量较优的图像帧对目标对象进行属性识别。在识别成功后，还可将关于目标对象的属性信息返回给终端，以使得终端可根据该属性信息进行相关业务操作。需要说明的是，图1b只是示例性地表征对象识别方案的大致原理，并不对其进行限定。例如，图1b所示的方案原理是采用流媒体方式将采集到的各图像帧以视频流的形式上传至服务器的；而在其他实施例中，终端也可在采集到各图像帧后，将各图像帧制作成视频流数据后，再统一地将该视频流数据中的各帧图像帧上传至服务器；在此情况下，服务器可直接接收该视频流数据，等等。

由此可见，本发明实施例所提出的对象识别方案具有如下有益效果：①通过选取图像质量较优的图像帧进行属性识别，可有效提升识别得到的属性信息的准确性。②由于图像优选以及属性识别等操作均是由服务器执行的，因此一方面可消除对终端的硬件配置依赖，可降低终端的硬件成本；另一方面还可在优选的图像帧无法识别的情况下，便于服务器直接从视频流数据中重新选取新的图像帧进行识别，无需等待终端重新采集并上传新的图像帧，这样可有效提升识别效率，从而提升用户体验。

基于上述的描述，本发明实施例提出一种对象识别方法，该对象识别方法可以由上述所提及的对象识别系统中的服务器执行。请参见图2，该对象识别方法可包括以下步骤S201-S204：

S201，接收终端上传的关于目标对象的视频图流。

在具体实现中，终端可实时检测关于目标对象的对象识别触发事件；该对象识别触发事件可以包括但不限于：检测到用于指示进行对象识别的语言口令的事件，检测到针对终端所显示的用户界面中的识别触发组件的触发操作(如点击操作、按压操作)的事件，等等。终端若检测到该对象识别触发事件，则可调用3D摄像组件对目标对象进行图像采集，以得到关于目标对象的视频流数据，并将视频流数据上传至服务器。相应的，服务器可接收终端上传的关于目标对象的视频流数据。其中，该视频流数据至少包括：由关于目标对象的多帧颜色图像帧构成的颜色图流；且该颜色图流可以是采用流媒体方式上传的，也可以是在采集到各颜色图像帧后再统一上传的，对此不作限制。

可选的，该视频流数据还可包括：由关于目标对象的多帧红外图像帧构成的红外图流，以及由关于目标对象的多帧深度图像帧构成的深度图流，等等；以便于后续服务器可参考红外图流中的红外图像帧以及深度图流中的深度图像帧对目标对象进行属性识别，从而提升属性信息的准确性。并且与颜色图流类似，上述所提及的红外图流可以是采用流媒体方式上传的，也可以是在采集到各红外图像帧后再统一上传的，对此不作限制。上述所提及的深度图流可以是采用流媒体方式上传的，也可以是采集到各深度图像帧后再统一上传的，对此不作限制。并且，颜色图流、红外图流和深度图流这三种数据所采用的上传方式可相同，也可不同；例如，可采用流媒体方式上传颜色图流，而采用统一上传的方式上传红外图流和深度图流。针对颜色图流采用流媒体方式上传，使得服务器可在接收新的颜色图像帧的过程中，并行地对已接收到的颜色图像帧进行图像质量评估，以提升质量评估效率；而针对红外图流和深度图流采用统一上传的方式，可避免红外图流和深度图流与颜色图流抢占网络传输资源，可有效提升颜色图流的传输效率。

S202，对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。

在一种具体实现中，若颜色图流是在终端采集到各颜色图像帧后统一上传的，则服务器可在接收到颜色图流中的各颜色图像帧后，再对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。再一种具体实现中，若颜色图流是采用流媒体方式上传的，则服务器可并行执行两个进程来实现颜色图流的接收处理和图像质量评估处理；具体的，可调用第一进程来接收颜色图流中的各颜色图像帧，调用第二进程来对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。也就是说，在此具体实现中，颜色图流中的各颜色图像帧是通过第一进程接收的，且颜色图流中的各颜色图像帧是通过第二进程进行图像质量评估的；其中，第一进程和第二进程并行执行。这样的处理方式可实现服务器一边接收终端上传的颜色图流中新的颜色图像帧，一边可并发地对已接收到的颜色图像帧进行图像质量评估，从而有效提升图像质量评估的效率。

具体的，服务器在对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分的具体实施过程中，可先获取质量评估规则。其中，质量评估规则可包括多个评估维度、每个评估维度对应的初始权重值，及每个评估维度下的评分算法；此处的多个评估维度可包括：图像清晰度维度、照明质量维度、分辨率维度，以及对象完整性维度；每个评估维度对应的初始权重值和每个评估维度下的评分算法均可根据经验值或者业务需求设置。需要说明的是，本发明实施例只是示例性地列举了多个评估维度，并非穷举；例如，当目标对象为人脸或者除人类以外的其他生物的面部时，质量评估规则还可包括面部对称性维度、面部对称性维度对应的初始权重值以及面部对称性维度下的评分算法，等等。然后，可按照质量评估规则对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。由于针对每个颜色图像帧进行图像质量评估以得到对应的图像质量分的实施方式相同，因此以颜色图流中的任一颜色图像帧为例对图像质量评估的原理进行阐述；具体的，可先根据各评估维度下的评分算法，分别确定任一颜色图像帧在各评估维度下的质量分；再根据任一颜色图像帧在各评估维度下的质量分和各评估维度对应的初始权重值进行加权求和，得到任一颜色图像帧的图像质量分。

S203，基于各颜色图像帧的图像质量分，从颜色图流中选取目标颜色图像帧。

由于各颜色图像帧的图像质量分可用于反映各颜色图像帧的图像质量，图像质量分越高的颜色图像帧，其图像质量越好；因此，服务器在执行步骤S203时，可基于各颜色图像帧的图像质量分，从颜色图流中选取图像质量较好的颜色图像帧作为目标颜色图像帧。基于此，步骤S203可具体包括以下几种实施方式：

在一种实施方式中，可根据各颜色图像帧的图像质量分，从颜色图流中选取图像质量分最高的颜色图像帧作为目标图像帧。

再一种实施方式中，可获取预设的质量分阈值。其次，可根据颜色图流中的各颜色图像帧的图像质量分，从颜色图流中筛选出图像质量分大于质量分阈值的至少一个候选颜色图像帧。然后，可从至少一个候选颜色图像帧中选取目标颜色图像帧。具体的，服务器可直接从至少一个候选颜色图像帧中选取任一颜色图像帧作为目标颜色图像帧。或者，每个评估维度还可具有相应的优先级；那么服务器也可先根据各评估维度的优先级从多个评估维度中确定出优先级最高的基准评估维度；然后可根据各候选颜色图像帧在基准评估维度下的质量分，选取在基准评估维度下的质量分最高的候选颜色图帧作为目标颜色图像帧。例如，设颜色图流总共包括7帧颜色图像帧(即颜色图像帧1-7)，其图像质量分依次是：75分、80分、95分、98分、99分、85分；而质量分阈值为90分，那么可得到3帧候选颜色图像帧：颜色图像帧3、颜色图像帧4和颜色图像帧5。且这3帧候选颜色图像帧在基准评估维度(例如对象完整性维度)下的质量分依次为：60分、58分、59分；那么，可见在基准评估维度下的质量分最高的候选颜色图帧为颜色图像帧3。因此，可选取颜色图像帧3作为目标图像帧。

S204，根据目标颜色图像帧对目标对象进行属性识别，以得到目标对象的属性信息。

在通过步骤S203选取出目标颜色图像帧后，便可根据目标颜色图像帧对目标对象进行属性识别。若识别成功，则可将识别得到的属性信息作为目标对象的属性信息；若识别失败，则可从颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧，并根据重新选取的目标颜色图像帧对目标对象进行属性识别，以得到目标对象的属性信息。

其中，根据目标颜色图像帧对目标对象进行属性识别的一种具体实施方式可以是：直接根据目标颜色图像帧对目标对象进行属性识别。进一步的，若视频图流中还包括：由关于目标对象的多帧红外图像帧构成的红外图流，以及由关于目标对象的多帧深度图像帧构成的深度图流；则根据目标颜色图像帧对目标对象进行属性识别的另一种具体实施方式还可以是：从红外图流中选取与目标颜色图像帧对应的目标红外图像帧，以及从深度图流中选取与目标颜色图像帧对应的目标深度图像帧；根据目标颜色图像帧、目标红外图像帧和目标深度图像帧，对目标对象进行属性识别。

本发明实施例中的服务器可接收终端上传的关于目标对象的视频流数据，并对视频流数据包括的颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。然后，可基于各颜色图像帧的图像质量分，选取图像质量较优的目标颜色图像帧对目标对象进行属性识别，这样可有效提升识别得到的属性信息的准确性。并且，由于整个对象识别过程所涉及的各个操作(如图像选取操作、属性识别操作)均是在服务器中执行的，因此可有效消除对终端的硬件配置依赖，从而有效降低终端的硬件成本。

基于上述图2所示的对象识别方法实施例的相关描述，本发明实施例还提出了另一种更为具体的对象识别方法，该对象识别方法可以由上述所提及的对象识别系统中的服务器执行。且本发明实施例主要以视频流数据包括颜色图流、红外图流和深度图流，并结合这三路图流对目标对象进行属性识别为例进行说明。请参见图3，该对象识别方法可包括以下步骤S301-S307：

S301，接收终端上传的关于目标对象的视频流数据。

在具体实现中，终端可调用3D摄像组件对目标对象进行图像采集，以得到关于目标对象的颜色图流、红外图流和深度图流。对于3D摄像组件中产生的颜色图流、红外图流和深度图流，终端可在该三路图流中同一时刻产生的各图像帧(即同一时刻产生的颜色图像帧、红外图像帧和深度图像帧)的帧数据中写入唯一的图像ID(即图像标识)，以便于后续服务器在选取出目标颜色图像帧后，可通过该图像ID获取到与之对应的目标红外图像帧和目标深度图像帧。具体的，终端可先调用ID生成器为三路图流在同一时刻产生的图像帧生成一个唯一的图像ID，然后将该图像ID以水印或者其他形式的方式，写入对应的图像帧的图像数据中，如图4a所示。其中，上述所提及的图像ID可以是UUID(Universally UniqueIdentifier，通用唯一标识码)，或者用于表示图像帧的产生时间的时间戳，等等。终端在三路图流中的各图像帧的图像数据中写入对应的图像ID后，便可将三路图流作为目标对象的视频流数据上传至服务器。相应的，服务器可接收终端上传的关于目标对象的视频图流。

S302，对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。

在具体实施过程中，服务器可按照质量评估规则对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。由前述可知，质量评估规则可包括多个评估维度、每个评估维度对应的初始权重值，及每个评估维度下的评分算法；此处所提及的多个评估维度包括：图像清晰度维度、照明质量维度、分辨率维度，以及对象完整性维度。那么相应的，针对颜色图流中的任一颜色图像帧而言，服务器对该任一颜色图像帧进行图像质量评估，得到该任一颜色图像帧的图像质量分的具体实施方式可以如下：

服务器可先在各评估维度下对颜色数据流中的任一颜色图像帧进行质量检测，得到任一颜色图像帧在各评估维度下的质量检测结果。其中，任一颜色图像帧在图像清晰度维度下的质量检测结果可包括任一颜色图像帧中的各像素点的灰度值；任一颜色图像帧在照明质量维度下的质量检测结果可包括任一颜色图像中的各像素的灰度强度的可用范围；任一颜色图像帧在分辨率维度下的质量检测结果可包括任一颜色图像帧中的各像素点的分辨率；任一颜色图像帧在对象完整性维度下的质量检测结果可包括任一颜色图像帧中的目标对象的完整度。进一步的，若目标对象不完整，则可能由于目标对象被遮挡物(如口罩、墨镜、其他障碍物等)遮挡而导致的，也可能是由于目标对象未全部处于3D摄像组件的拍摄范围内而导致的。基于此，若因任一颜色图像帧中存在遮挡物，而导致任一颜色图像帧中的目标对象不完整，则任一颜色图像帧在对象完整性维度下的质量检测结果还可包括：遮挡物的遮挡属性；该遮挡属性可包括以下至少一项：遮挡面积和遮挡位置。

其次，服务器可根据任一颜色图像帧在各评估维度下的质量检测结果和各评估维度下的评分算法，确定任一颜色图像帧在各评估维度下的质量分。其中，各评估维度下的评分算法如下：

图像清晰度维度下的评分算法可包括但不限于：Brenner梯度法(一种通过计算相邻的两个像素点的灰度差来得到质量分的算法)、Tenengrad梯度法(一种通过利用Sobel算子(索贝尔算子)分别计算水平和垂直方向的梯度来确定质量分的算法)能量梯度函数，等等。进一步的，若目标对象为人脸，则图像清晰度维度下的评分算法还可以是：先从待评估的颜色图像帧中找到面部特征点，并根据该面部特征点构建mask(掩膜)，该mask上不存在背景像素；然后可将mask的平均拉普拉斯算子响应作为该颜色图像帧在图像清晰度维度下的质量分。

照明质量维度下的评分算法的算法原理大致如下：通过确定灰度强度的可用范围的长度来评估颜色图像帧在照明质量维度下的质量分；具体的，可除去最暗像素和最亮像素的5％，再根据除去后的各像素的灰度强度的可用范围来确定颜色图像帧在照明质量维度下的质量分。

分辨率维度下的评分算法可以包括但不限于：基于分辨率的边界框大小的线性函数；具体的，采用x表示任一像素点的分辨率，s表示颜色图像帧在分辨率维度下的质量分；相应的，该线性函数的函数公式可参见下式所示：

对象完整性维度下的评分算法的大致原理如下：获取完整度与质量分之间的评分表，该评分表中包括多个完整度和质量分之间的对应关系；从评分表中查询颜色图像帧中的目标对象的完整度所对应的质量分，将查询到的质量分作为颜色图像帧在对象完整性维度下的质量分。或者，获取对象完整性维度所对应的默认质量分，计算颜色图像帧中的目标对象的完整度和默认质量分之间的乘积，将计算得到的乘积作为颜色图像帧在对象完整性维度下的质量分，等等。需要说明的是，本发明实施例所提及的颜色图像帧在对象完整性维度下的质量分均为小于或等于0的数值。

然后，服务器可根据任一颜色图像帧在各评估维度下的质量检测结果和各评估维度对应的初始权重值，确定各评估维度对应的目标权重值。在一种实施方式中，可直接将各评估维度对应的初始权重值作为各评估维度对应的目标权重值。再一种实施方式中，可根据任一颜色图像帧在各评估维度下的质量检测结果分别确定各评估维度对应的动态调整因子，并采用各评估维度对应的动态调整因子分别对各评估维度对应的初始权重值进行动态调整，得到各评估维度对应的目标权重值。以对象完整性维度为例，该对象完整性维度对应的目标权重值的确定方式可如下：可先根据遮挡属性确定关于对象完整性维度的权重调整因子(即对象完整性维度对应的动态调整因子)；并采用权重调整因子对对象完整性维度对应的初始权重值进行调整，得到目标权重值。

其中，若遮挡属性包括遮挡面积，则权重调整因子可为：根据遮挡面积和任一颜色图像帧的图像尺寸计算的第一调整因子；具体的，该第一调整因子可以是遮挡面积和图像尺寸之间的比值，也可以是遮挡面积和图像尺寸之间的比值与默认调整因子之间的乘积，等等。若遮挡属性包括遮挡位置，则权重调整因子为：与遮挡位置对应的第二调整因子；具体的，第二调整因子和遮挡位置的重要程度成正比，即遮挡位置越重要，则第二调整因子越大。若遮挡属性包括遮挡面积和遮挡位置，则权重调整因子为：对第一调整因子和第二调整因子进行权重整合所得到的调整因子；具体的，此处的权重整合可以包括但不限于：求和运算(如加权求和、直接求和等)、乘积运算(如加权乘积、直接乘积等)，等等。

最后，服务器可采用各评估维度对应的目标权重值对任一颜色图像帧在各评估维度下的质量分进行加权求和，得到任一颜色图像帧的图像质量分。通过迭代上述步骤，服务器便可实现对颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。

S303，基于各颜色图像帧的图像质量分，从颜色图流中选取目标颜色图像帧。

其中，该目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；进一步的，当目标颜色图像帧是指图像质量分大于质量分阈值的颜色图像帧时，其可具体是指图像质量分大于质量分阈值的任一颜色图像帧，或者具体是指图像质量分大于质量分阈值且在基准评估维度下的质量分最高的颜色图像帧，等等。需要说明的是，步骤S303的具体实施方式可参见上述发明实施例中的步骤S203的相关描述，在此不再赘述。

S304，根据目标颜色图像帧对目标对象进行属性识别。

在具体实施过程中，可先从红外图流中选取与目标颜色图像帧对应的目标红外图像帧，以及从深度图流中选取与目标颜色图像帧对应的目标深度图像帧。具体实现中：由前述可知，各图像帧的图像数据中均写入了图像ID，因此服务器可先确定目标颜色图像帧的图像ID；然后从红外图流中选取具有该图像ID的红外图像帧作为目标红外图像帧，以及从深度图流中选取具有该图像ID的神度图像帧作为目标深度图像帧。以目标颜色图像帧为图像质量分最高的颜色图像帧为例，设目标颜色图像帧为图4b中黑色框所示的颜色图像帧，则选取目标深度图像帧和目标红外图像帧的示意图可参见图4b所示。

然后，可根据目标颜色图像帧、目标红外图像帧和目标深度图像帧，对目标对象进行属性识别。具体实现中，可根据目标颜色图像帧和目标红外图像帧，对目标对象进行属性识别，得到第一属性信息。具体的，可先根据目标红外图像帧对目标对象进行活体检测；若目标对象通过活体检测，则可调用属性识别模型根据目标颜色图像帧对目标对象进行属性识别，得到第一属性信息。另外，还可根据目标颜色图像帧和目标深度图像帧，对目标对象进行属性识别，得到第二属性信息。具体的，可根据目标颜色图像帧和目标神度图像帧进行图像重建，得到关于目标对象的三维图像帧；然后根据该三维图像帧对目标对象进行属性识别，得到第二属性信息。在得到第一属性信息和第二属性信息后，可判断第一属性信息和第二属性信息是否匹配。若第一属性信息和第二属性信息相匹配，则可确定识别成功；此情况下，服务器可跳转执行步骤S305。否则，则可确定识别失败；此情况下，服务器可跳转执行步骤S306-S307。其中，第一属性信息和第二属性信息相匹配是指：第一属性信息和第二属性信息相同，或者第一属性信息和第二属性信息之间的差异小于差异阈值。

S305，若识别成功，则将识别得到的属性信息作为目标对象的属性信息；此处所提及的识别得到的属性信息则为第一属性信息或者第二属性信息。

S306，若识别失败，则从颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧。

在一种实施方式中，若识别失败，则服务器可直接根据颜色图流中未被选取的各剩余颜色图像帧的图像质量分，从颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧；在此实施方式下，重新选取的目标颜色图像帧是指：颜色图流中未被选取的各剩余颜色图像帧中图像质量分最高的剩余颜色图像帧，或者颜色图流中未被选取的各剩余颜色图像帧中图像质量分大于质量分阈值的剩余颜色图像帧。

再一种实施方式中，由前述可知，识别失败是因为第一属性信息和第二属性信息不匹配所导致的。而第一属性信息和第二属性信息不匹配则可能是由于目标颜色图像帧存在图像异常问题(如清晰度较低、目标对象不完整、目标颜色图像帧中存在逆光等)，而使得第一属性信息和第二属性信息之间的差异太大所导致；也可能是由于目标颜色图像帧不存在图像异常问题，而是在识别过程中出现了误识别而使得第一属性信息和第二属性信息之间的差异太大所导致。基于此，为提升后续识别成功率；若识别失败，则服务器可对目标颜色图像帧进行图像异常问题检测；若检测到目标颜色图像帧存在目标图像异常问题，则可根据目标图像异常问题调整质量评估规则。然后，可按照调整后的质量评估规则对颜色图流中未被选取的各剩余颜色图像帧进行图像质量评估，以更新各剩余颜色图像帧的图像质量分；并基于各剩余颜色图像帧的更新后的图像质量分，从各剩余颜色图像帧中重新选取新的目标颜色图像帧。通过根据目标图像异常问题来调整质量评估规则，可使得在重新选取目标颜色图像帧时，可着重考虑目标颜色图像帧所存在的图像异常问题来进行图像选取，从而避免重新选取到的目标颜色图像帧存在相同的图像异常问题的情况，以提升重新选取得到的目标颜色图像帧的准确性，进而提升后续的识别效果。

其中，根据目标图像异常问题调整质量评估规则的具体实施方式可以是：获取图像异常问题和评估维度之间的对应关系表，该对应关系表中包括多个图像异常问题以及各图像异常问题对应的评估维度。其次，可从对应关系表中查询目标图像异常问题对应的目标评估维度。若质量评估规则中包括目标评估维度，则可在质量评估规则中增大目标评估维度对应的初始权重值；若质量评估规则中未包括目标评估维度，则在质量评估规则中添加该目标评估维度、目标评估维度对应的初始权重值，以及目标评估维度下的评分算法。

需要说明的是，若检测到目标颜色图像帧不存在目标图像异常问题，则可无需调整质量评估规则，以及无需重新对对颜色图流中未被选取的各剩余颜色图像帧进行图像质量评估。在此情况下，可直接根据颜色图流中未被选取的各剩余颜色图像帧的图像质量分，从颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧。

S307，根据重新选取的目标颜色图像帧对目标对象进行属性识别，以得到目标对象的属性信息。

在具体实现中，可从红外图流中重新选取与重新选取的目标颜色图像帧对应的目标红外图像帧，以及从深度图流中重新选取与重新选取的目标颜色图像帧对应的目标深度图像帧。然后，可根据重新选取的目标颜色图像帧、重新选取的目标红外图像帧和重新选取的目标深度图像帧，对目标对象进行属性识别。应理解的是，该步骤的具体实施方式可参见上述步骤S304的相关描述，在此不再赘述。

服务器在通过上述步骤S301-S307得到目标对象的属性信息后，还可将目标对象的属性信息返回至终端，使得终端可根据目标对象的属性信息执行业务处理。其中，若目标对象为目标人脸，则目标对象的属性信息可包括目标人脸对应的身份信息。相应的，业务处理可包括：人脸考勤处理、人脸支付处理、或者人脸图像分类处理，等等；其中，人脸支付处理是指：从与目标人脸对应的身份信息所关联的资源账号中扣除一定数量的电子资源的处理。若目标对象为手势，则目标对象的属性信息可包括目标手势对应的手势信息(如手势的形状、手中各个节点的位置信息等)。相应的，业务处理可包括：手势拍照处理、手势图像分类处理，等等。

本发明实施例中的服务器可接收终端上传的关于目标对象的视频图流，并对视频图流包括的颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。然后，可基于各颜色图像帧的图像质量分，选取图像质量较优的目标颜色图像帧对目标对象进行属性识别，这样可有效提升识别得到的属性信息的准确性。并且，由于整个对象识别过程所涉及的各个操作(如图像选取操作、属性识别操作)均是在服务器中执行的，因此可有效消除对终端的硬件配置依赖，从而有效降低终端的硬件成本。

在实际运用中，可根据业务需求将上述图2-图3所示的对象识别方法运用在不同的应用场景中；例如，基于人脸识别的刷脸支付场景、基于手势识别的拍照场景，等等。所谓的人脸识别是指通过人脸多媒体信息(如包含人脸的图像帧)换取人脸对应的身份信息的技术；而基于人脸识别的刷脸支付场景是指：通过采集包含用户人脸的图像帧进行身份识别，并根据用户购买的物品资源从与识别得到的身份信息相关联的资源账户中自动扣除相应的电子资源；无需用户通过操作自己的移动终端(如手机、平板)，便可实现支付的场景。下面以将该对象识别方法运用在基于人脸识别的刷脸支付场景为例，对该对象识别方法的具体应用过程进行阐述：

在具体应用中，用户因购买某目标物品资源，需要支付该目标物品资源对应的目标电子资源时，可将用户的目标人脸对准终端(如自助收银设备)的3D摄像组件，如图5a所示。此时，终端可调用3D摄像组件的相关接口，采集关于目标人脸的人脸数据，得到包含RGB图流(即颜色图流)，红外图流和深度图流的视频流数据。在采集到关于目标人脸的图像帧后，终端可在用户界面中显示采集到的图像帧。然后，终端可通过调用服务器的流媒体服务的相关接口将获取到的视频流数据进行上行操作，以将视频流数据上传至服务器，如图5b所示。需说明的是，视频流数据中的各图像帧均具有对应的图像ID。

相应的，服务器侧可通过图像优选服务定义一个质量分阈值，仅当RGB帧的图像质量分超过该质量分阈值才会被选中并送往服务器的对象识别服务。那么在接收到终端上传的视频流数据后，可通过图像优选服务针对RGB图流进行图像优选处理。具体的，可根据图像质量和人脸信息对RGB图流中的各RGB帧(即颜色图像帧)进行图像质量评估，得到各RGB帧的图像质量分。其次，可根据各RGB帧的图像质量分，从颜色图流中选取最优帧(即图像质量分最高的RGB帧)作为目标RGB帧，或者从颜色图像中选取图像质量分大于质量分阈值的任一RGB帧作为目标RGB帧。然后，可获取目标RGB帧的图像ID，根据该图像ID从红外图流中获取目标红外图像帧，从深度图流中获取目标深度图像帧；并将目标RGB帧、目标红外图像帧和目标深度图像帧一并传递给对象识别服务。然后，服务器可通过对象识别服务根据目标RGB帧、目标红外图像帧和目标深度图像帧，对目标人脸进行人脸识别，以得到目标人脸对应的身份信息。当发现人脸识别异常时，对象识别服务还可通知图像优选服务重新进行图像优选，以获取重新选取的目标RGB帧；并根据重新选取的目标RGB帧获取对应的红外图像帧和深度图像帧以对目标人脸重新进行人脸识别，直至人脸识别成功。

当人脸识别成功后，可将目标人脸对应的身份信息返回给终端，以使得终端可根据该身份信息进行人脸支付处理；具体的，终端可获取与该身份信息相关联的目标资源账户，然后从该目标资源账户中扣除用户所购买的目标物品资源对应的目标电子资源。在成功扣除目标电子资源后，终端还可在用户界面中输出支付成功提示，如图5c所示。

本发明实施例中的服务器可接收终端上传的关于目标对象的视频图流，并对视频图流包括的颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。然后，可基于各颜色图像帧的图像质量分，选取图像质量较优的目标颜色图像帧对目标对象进行属性识别，这样可有效提升识别得到的属性信息的准确性。并且，由于整个对象识别过程所涉及的各个操作(如图像选取操作、属性识别操作)均是在服务器中执行的，因此可有效消除对终端的硬件配置依赖，从而有效降低终端的硬件成本。

基于上述对象识别方法实施例的描述，本发明实施例还公开了一种对象识别装置，所述对象识别装置可以是运行于上述所提及的服务器中的一个计算机程序(包括程序代码)。该对象识别装置可以执行图2-图3所示的方法。请参见图6，所述对象识别装置可以运行如下单元：

通信单元601，接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

处理单元602，用于对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

所述处理单元602，还用于基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

所述处理单元602，还用于根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

在一种实施方式中，所述颜色图流是采用流媒体方式上传的，所述流媒体方式是指在采集新的图像帧的过程中，同步传输已采集的图像帧的传输方式；

其中，所述颜色图流中的各颜色图像帧是通过第一进程接收的，且所述颜色图流中的各颜色图像帧是通过第二进程进行图像质量评估的；所述第一进程和所述第二进程并行执行。

再一种实施方式中，所述处理单元602在用于对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分时，具体用于：

获取质量评估规则，并按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

其中，所述质量评估规则包括多个评估维度、每个评估维度对应的初始权重值，及每个评估维度下的评分算法；所述多个评估维度包括：图像清晰度维度、照明质量维度、分辨率维度，以及对象完整性维度。

再一种实施方式中，所述处理单元602在用于按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分时，可具体用于：

在各评估维度下对所述颜色数据流中的任一颜色图像帧进行质量检测，得到所述任一颜色图像帧在所述各评估维度下的质量检测结果；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度下的评分算法，确定所述任一颜色图像帧在所述各评估维度下的质量分；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度对应的初始权重值，确定所述各评估维度对应的目标权重值；

采用所述各评估维度对应的目标权重值对所述任一颜色图像帧在所述各评估维度下的质量分进行加权求和，得到所述任一颜色图像帧的图像质量分。

再一种实施方式中，若因所述任一颜色图像帧中存在遮挡物，而导致所述任一颜色图像帧中的目标对象不完整，则所述任一颜色图像帧在所述对象完整性维度下的质量检测结果包括：所述遮挡物的遮挡属性；所述遮挡属性包括以下至少一项：遮挡面积和遮挡位置；

所述对象完整性维度对应的目标权重值的确定方式如下：根据所述遮挡属性确定关于所述对象完整性维度的权重调整因子；并采用所述权重调整因子对所述对象完整性维度对应的初始权重值进行调整，得到所述目标权重值；

其中，若所述遮挡属性包括所述遮挡面积，则所述权重调整因子为：根据所述遮挡面积和所述任一颜色图像帧的图像尺寸计算的第一调整因子；若所述遮挡属性包括所述遮挡位置，则所述权重调整因子为：与所述遮挡位置对应的第二调整因子；若所述遮挡属性包括所述遮挡面积和所述遮挡位置，则所述权重调整因子为：对所述第一调整因子和所述第二调整因子进行权重整合所得到的调整因子。

再一种实施方式中，所述处理单元602在用于根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息时，可具体用于：

根据所述目标颜色图像帧对所述目标对象进行属性识别；

若识别成功，则将识别得到的属性信息作为所述目标对象的属性信息；

若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧，并根据重新选取的目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

再一种实施方式中，所述处理单元602在用于若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧时，可具体用于：

若识别失败，则对所述目标颜色图像帧进行图像异常问题检测；

若检测到所述目标颜色图像帧存在目标图像异常问题，则根据所述目标图像异常问题调整所述质量评估规则；

按照调整后的质量评估规则对所述颜色图流中未被选取的各剩余颜色图像帧进行图像质量评估，以更新各剩余颜色图像帧的图像质量分；

基于所述各剩余颜色图像帧的更新后的图像质量分，从所述各剩余颜色图像帧中重新选取新的目标颜色图像帧。

再一种实施方式中，所述处理单元602在用于根据所述目标图像异常问题调整所述质量评估规则时，可具体用于：

获取图像异常问题和评估维度之间的对应关系表，所述对应关系表中包括多个图像异常问题以及各图像异常问题对应的评估维度；

从所述对应关系表中查询所述目标图像异常问题对应的目标评估维度；

若所述质量评估规则中包括所述目标评估维度，则在所述质量评估规则中增大所述目标评估维度对应的初始权重值；

若所述质量评估规则中未包括所述目标评估维度，则在所述质量评估规则中添加所述目标评估维度、所述目标评估维度对应的初始权重值，以及所述目标评估维度下的评分算法。

再一种实施方式中，所述视频流数据中还包括：由关于所述目标对象的多帧红外图像帧构成的红外图流，以及由关于所述目标对象的多帧深度图像帧构成的深度图流；相应的，所述处理单元602在用于根据所述目标颜色图像帧对所述目标对象进行属性识别时，可具体用于：

从所述红外图流中选取与所述目标颜色图像帧对应的目标红外图像帧，以及从所述深度图流中选取与所述目标颜色图像帧对应的目标深度图像帧；

根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别。

再一种实施方式中，所述处理单元602在用于根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别时，可具体用于：

根据所述目标颜色图像帧和所述目标红外图像帧，对所述目标对象进行属性识别，得到第一属性信息；

根据所述目标颜色图像帧和所述目标深度图像帧，对所述目标对象进行属性识别，得到第二属性信息；

若所述第一属性信息和所述第二属性信息相匹配，则确定识别成功；否则，则确定识别失败。

再一种实施方式中，所述处理单元602还可用于：

将所述目标对象的属性信息返回至所述终端，使得所述终端根据所述目标对象的属性信息执行业务处理；

其中，所述目标对象为目标人脸，所述目标对象的属性信息包括所述目标人脸对应的身份信息；所述业务处理包括：人脸考勤处理、人脸支付处理、或者人脸图像分类处理。

根据本发明的一个实施例，图2或图3所示的方法所涉及的各个步骤均可以是由图6所示的对象识别装置中的各个单元来执行的。例如，图2中所示的步骤S201可由图6中所示的通信单元601来执行，步骤S202-S204可由图6中所示的处理单元602来执行。又如，图3中所示的步骤S301可由图6中所示的通信单元601来执行，步骤S302-S307可由图6中所示的处理单元602来执行，等等。

根据本发明的另一个实施例，图6所示的对象识别装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的对象识别装置设备，以及来实现本发明实施例的对象识别方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

本发明实施例中的服务器可接收终端上传的关于目标对象的视频图流，并对视频图流包括的颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。然后，可基于各颜色图像帧的图像质量分，选取图像质量较优的目标颜色图像帧对目标对象进行属性识别，这样可有效提升识别得到的属性信息的准确性。并且，由于整个对象识别过程所涉及的各个操作(如图像选取操作、属性识别操作)均是在服务器中执行的，因此可有效消除对终端的硬件配置依赖，从而有效降低终端的硬件成本。

基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种服务器。请参见图7，该服务器至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中，服务器内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。

计算机存储介质704可以存储在服务器的存储器中，所述计算机存储介质704用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit，中央处理器))是服务器的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器701可以用于进行一系列的对象识别处理，具体包括：接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息，等等。

本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是服务器中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括服务器中的内置存储介质，当然也可以包括服务器所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了服务器的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，可由处理器701加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关对象识别方法实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器701加载并执行如下步骤：

接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

在一种实施方式中，所述颜色图流是采用流媒体方式上传的，所述流媒体方式是指在采集新的图像帧的过程中，同步传输已采集的图像帧的传输方式；

其中，所述颜色图流中的各颜色图像帧是通过第一进程接收的，且所述颜色图流中的各颜色图像帧是通过第二进程进行图像质量评估的；所述第一进程和所述第二进程并行执行。

再一种实施方式中，在对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分时，所述一条或多条指令可由处理器701加载并具体执行：

获取质量评估规则，并按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

其中，所述质量评估规则包括多个评估维度、每个评估维度对应的初始权重值，及每个评估维度下的评分算法；所述多个评估维度包括：图像清晰度维度、照明质量维度、分辨率维度，以及对象完整性维度。

再一种实施方式中，在按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分时，所述一条或多条指令可由处理器701加载并具体执行：

在各评估维度下对所述颜色数据流中的任一颜色图像帧进行质量检测，得到所述任一颜色图像帧在所述各评估维度下的质量检测结果；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度下的评分算法，确定所述任一颜色图像帧在所述各评估维度下的质量分；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度对应的初始权重值，确定所述各评估维度对应的目标权重值；

采用所述各评估维度对应的目标权重值对所述任一颜色图像帧在所述各评估维度下的质量分进行加权求和，得到所述任一颜色图像帧的图像质量分。

再一种实施方式中，若因所述任一颜色图像帧中存在遮挡物，而导致所述任一颜色图像帧中的目标对象不完整，则所述任一颜色图像帧在所述对象完整性维度下的质量检测结果包括：所述遮挡物的遮挡属性；所述遮挡属性包括以下至少一项：遮挡面积和遮挡位置；

所述对象完整性维度对应的目标权重值的确定方式如下：根据所述遮挡属性确定关于所述对象完整性维度的权重调整因子；并采用所述权重调整因子对所述对象完整性维度对应的初始权重值进行调整，得到所述目标权重值；

其中，若所述遮挡属性包括所述遮挡面积，则所述权重调整因子为：根据所述遮挡面积和所述任一颜色图像帧的图像尺寸计算的第一调整因子；若所述遮挡属性包括所述遮挡位置，则所述权重调整因子为：与所述遮挡位置对应的第二调整因子；若所述遮挡属性包括所述遮挡面积和所述遮挡位置，则所述权重调整因子为：对所述第一调整因子和所述第二调整因子进行权重整合所得到的调整因子。

再一种实施方式中，在根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息时，所述一条或多条指令可由处理器701加载并具体执行：

根据所述目标颜色图像帧对所述目标对象进行属性识别；

若识别成功，则将识别得到的属性信息作为所述目标对象的属性信息；

若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧，并根据重新选取的目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

再一种实施方式中，在若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧时，所述一条或多条指令可由处理器701加载并具体执行：

若识别失败，则对所述目标颜色图像帧进行图像异常问题检测；

若检测到所述目标颜色图像帧存在目标图像异常问题，则根据所述目标图像异常问题调整所述质量评估规则；

按照调整后的质量评估规则对所述颜色图流中未被选取的各剩余颜色图像帧进行图像质量评估，以更新各剩余颜色图像帧的图像质量分；

基于所述各剩余颜色图像帧的更新后的图像质量分，从所述各剩余颜色图像帧中重新选取新的目标颜色图像帧。

再一种实施方式中，在根据所述目标图像异常问题调整所述质量评估规则时，所述一条或多条指令可由处理器701加载并具体执行：

获取图像异常问题和评估维度之间的对应关系表，所述对应关系表中包括多个图像异常问题以及各图像异常问题对应的评估维度；

从所述对应关系表中查询所述目标图像异常问题对应的目标评估维度；

若所述质量评估规则中包括所述目标评估维度，则在所述质量评估规则中增大所述目标评估维度对应的初始权重值；

若所述质量评估规则中未包括所述目标评估维度，则在所述质量评估规则中添加所述目标评估维度、所述目标评估维度对应的初始权重值，以及所述目标评估维度下的评分算法。

再一种实施方式中，所述视频流数据中还包括：由关于所述目标对象的多帧红外图像帧构成的红外图流，以及由关于所述目标对象的多帧深度图像帧构成的深度图流；相应的，在根据所述目标颜色图像帧对所述目标对象进行属性识别时，所述一条或多条指令可由处理器701加载并具体执行：

从所述红外图流中选取与所述目标颜色图像帧对应的目标红外图像帧，以及从所述深度图流中选取与所述目标颜色图像帧对应的目标深度图像帧；

根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别。

再一种实施方式中，在根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别时，所述一条或多条指令可由处理器701加载并具体执行：

根据所述目标颜色图像帧和所述目标红外图像帧，对所述目标对象进行属性识别，得到第一属性信息；

根据所述目标颜色图像帧和所述目标深度图像帧，对所述目标对象进行属性识别，得到第二属性信息；

若所述第一属性信息和所述第二属性信息相匹配，则确定识别成功；否则，则确定识别失败。

再一种实施方式中，所述一条或多条指令还可以由处理器701加载并具体执行：

将所述目标对象的属性信息返回至所述终端，使得所述终端根据所述目标对象的属性信息执行业务处理；

其中，所述目标对象为目标人脸，所述目标对象的属性信息包括所述目标人脸对应的身份信息；所述业务处理包括：人脸考勤处理、人脸支付处理、或者人脸图像分类处理。

本发明实施例中的服务器可接收终端上传的关于目标对象的视频图流，并对视频图流包括的颜色图流中的各颜色图像帧进行图像质量评估，得到各颜色图像帧的图像质量分。然后，可基于各颜色图像帧的图像质量分，选取图像质量较优的目标颜色图像帧对目标对象进行属性识别，这样可有效提升识别得到的属性信息的准确性。并且，由于整个对象识别过程所涉及的各个操作(如图像选取操作、属性识别操作)均是在服务器中执行的，因此可有效消除对终端的硬件配置依赖，从而有效降低终端的硬件成本。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3所示的对象识别方法实施例方面的各种可选方式中提供的方法。

并且，应理解的是，以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种对象识别方法，其特征在于，包括：

接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

2.如权利要求1所述的方法，其特征在于，所述颜色图流是采用流媒体方式上传的，所述流媒体方式是指在采集新的图像帧的过程中，同步传输已采集的图像帧的传输方式；

其中，所述颜色图流中的各颜色图像帧是通过第一进程接收的，且所述颜色图流中的各颜色图像帧是通过第二进程进行图像质量评估的；所述第一进程和所述第二进程并行执行。

3.如权利要求1或2所述的方法，其特征在于，所述对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分，包括：

获取质量评估规则，并按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

其中，所述质量评估规则包括多个评估维度、每个评估维度对应的初始权重值，及每个评估维度下的评分算法；所述多个评估维度包括：图像清晰度维度、照明质量维度、分辨率维度，以及对象完整性维度。

4.如权利要求3所述的方法，其特征在于，所述按照质量评估规则对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分，包括：

在各评估维度下对所述颜色数据流中的任一颜色图像帧进行质量检测，得到所述任一颜色图像帧在所述各评估维度下的质量检测结果；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度下的评分算法，确定所述任一颜色图像帧在所述各评估维度下的质量分；

根据所述任一颜色图像帧在所述各评估维度下的质量检测结果和所述各评估维度对应的初始权重值，确定所述各评估维度对应的目标权重值；

采用所述各评估维度对应的目标权重值对所述任一颜色图像帧在所述各评估维度下的质量分进行加权求和，得到所述任一颜色图像帧的图像质量分。

5.如权利要求4所述的方法，其特征在于，若因所述任一颜色图像帧中存在遮挡物，而导致所述任一颜色图像帧中的目标对象不完整，则所述任一颜色图像帧在所述对象完整性维度下的质量检测结果包括：所述遮挡物的遮挡属性；所述遮挡属性包括以下至少一项：遮挡面积和遮挡位置；

所述对象完整性维度对应的目标权重值的确定方式如下：根据所述遮挡属性确定关于所述对象完整性维度的权重调整因子；并采用所述权重调整因子对所述对象完整性维度对应的初始权重值进行调整，得到所述目标权重值；

其中，若所述遮挡属性包括所述遮挡面积，则所述权重调整因子为：根据所述遮挡面积和所述任一颜色图像帧的图像尺寸计算的第一调整因子；若所述遮挡属性包括所述遮挡位置，则所述权重调整因子为：与所述遮挡位置对应的第二调整因子；若所述遮挡属性包括所述遮挡面积和所述遮挡位置，则所述权重调整因子为：对所述第一调整因子和所述第二调整因子进行权重整合所得到的调整因子。

6.如权利要求3所述的方法，其特征在于，所述根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息，包括：

根据所述目标颜色图像帧对所述目标对象进行属性识别；

若识别成功，则将识别得到的属性信息作为所述目标对象的属性信息；

若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧，并根据重新选取的目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

7.如权利要求6所述的方法，其特征在于，所述若识别失败，则从所述颜色图流中未被选取的各剩余颜色图像帧中，重新选取目标颜色图像帧，包括：

若识别失败，则对所述目标颜色图像帧进行图像异常问题检测；

若检测到所述目标颜色图像帧存在目标图像异常问题，则根据所述目标图像异常问题调整所述质量评估规则；

按照调整后的质量评估规则对所述颜色图流中未被选取的各剩余颜色图像帧进行图像质量评估，以更新各剩余颜色图像帧的图像质量分；

基于所述各剩余颜色图像帧的更新后的图像质量分，从所述各剩余颜色图像帧中重新选取新的目标颜色图像帧。

8.如权利要求7所述的方法，其特征在于，所述根据所述目标图像异常问题调整所述质量评估规则，包括：

获取图像异常问题和评估维度之间的对应关系表，所述对应关系表中包括多个图像异常问题以及各图像异常问题对应的评估维度；

从所述对应关系表中查询所述目标图像异常问题对应的目标评估维度；

若所述质量评估规则中包括所述目标评估维度，则在所述质量评估规则中增大所述目标评估维度对应的初始权重值；

若所述质量评估规则中未包括所述目标评估维度，则在所述质量评估规则中添加所述目标评估维度、所述目标评估维度对应的初始权重值，以及所述目标评估维度下的评分算法。

9.如权利要求6所述的方法，其特征在于，所述视频流数据中还包括：由关于所述目标对象的多帧红外图像帧构成的红外图流，以及由关于所述目标对象的多帧深度图像帧构成的深度图流；

所述根据所述目标颜色图像帧对所述目标对象进行属性识别，包括：

从所述红外图流中选取与所述目标颜色图像帧对应的目标红外图像帧，以及从所述深度图流中选取与所述目标颜色图像帧对应的目标深度图像帧；

根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别。

10.如权利要求9所述的方法，其特征在于，所述根据所述目标颜色图像帧、所述目标红外图像帧和所述目标深度图像帧，对所述目标对象进行属性识别，包括：

根据所述目标颜色图像帧和所述目标红外图像帧，对所述目标对象进行属性识别，得到第一属性信息；

根据所述目标颜色图像帧和所述目标深度图像帧，对所述目标对象进行属性识别，得到第二属性信息；

若所述第一属性信息和所述第二属性信息相匹配，则确定识别成功；否则，则确定识别失败。

11.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标对象的属性信息返回至所述终端，使得所述终端根据所述目标对象的属性信息执行业务处理；

其中，所述目标对象为目标人脸，所述目标对象的属性信息包括所述目标人脸对应的身份信息；所述业务处理包括：人脸考勤处理、人脸支付处理、或者人脸图像分类处理。

12.一种对象识别装置，其特征在于，包括：

通信单元，接收终端上传的关于目标对象的视频流数据，所述视频流数据至少包括：由关于所述目标对象的多帧颜色图像帧构成的颜色图流；

处理单元，用于对所述颜色图流中的各颜色图像帧进行图像质量评估，得到所述各颜色图像帧的图像质量分；

所述处理单元，还用于基于所述各颜色图像帧的图像质量分，从所述颜色图流中选取目标颜色图像帧；所述目标颜色图像帧是指图像质量分最高的颜色图像帧，或者图像质量分大于质量分阈值的颜色图像帧；

所述处理单元，还用于根据所述目标颜色图像帧对所述目标对象进行属性识别，以得到所述目标对象的属性信息。

13.一种服务器，包括输入接口和输出接口，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-11任一项所述的对象识别方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-11任一项所述的对象识别方法。

Images