CN117253022A - 一种对象识别方法、装置及查验设备 - Google Patents

Abstract

本申请涉及图像识别技术领域，尤其涉及一种对象识别方法、装置及查验设备，用于解决传统图像搜索方式得到的识别结果的精度和准确性均不稳定问题，该方法为：分别获取待识别对象的多个角度的图像；然后，针对多个角度中的任一角度的图像，基于该角度的图像得到待处理图像，将得到的多个待处理图像同步输入预设的图像搜索模型，以得到该待识别对象的识别结果，其中，该待处理图像是该待识别对象在对应角度的正位图像；这样，将待识别对象多角度的图像进行综合处理，利用汇总待识别对象多个角度的图像信息进行图像搜索，可以提高待识别对象的识别结果的精度和准确性，符合可信赖特性。

Description

一种对象识别方法、装置及查验设备

技术领域

本申请涉及图像识别技术领域，尤其涉及一种对象识别方法、装置及查验设备。

背景技术

相关技术下，在图像识别领域，图像搜索是一种十分必要的手段。具体的，获取包含待识别对象的图像，然后，基于获取到的图像，采用图像搜索方式，从预设的数据库中，查询到与待识别对象相匹配的识别结果，如商品信息、介绍信息等。

然而，在实际应用中发现，采用上述图像搜索方式得到的待识别对象的识别结果的精度、准确性均不稳定，因此，亟需一种对象识别方法。

发明内容

本申请实施例提供一种对象识别方法、装置及查验设备，用以提高采用图像搜索方式得到的识别结果的精度和准确性。

本申请实施例提供的具体技术方案如下：

第一方面，本申请实施例提供一种对象识别方法，包括：

分别获取待识别对象的多个角度的图像；

针对所述多个角度中的任一角度的图像，基于所述任一角度的图像得到待处理图像，其中，所述待处理图像是所述待识别对象在所述任一角度的正位图像；

将得到的多个待处理图像同步输入预设的图像搜索模型，以得到所述待识别对象的识别结果。

采用本申请实施例提供的上述对象识别方法，将待识别对象多角度的图像进行综合处理，利用汇总待识别对象多个角度的图像信息进行图像搜索，可以提高对图像进行图像搜索得到的待识别对象的识别结果的精度和准确性，符合可信赖特性。

在一种可能的实现方式中，所述基于所述任一角度的图像得到待处理图像，包括：

对所述任一角度的图像进行目标检测，得到所述任一角度的图像中所述待识别对象对应的检测框的位置信息和角度信息；

基于所述位置信息，从所述任一角度的图像中分割出所述待识别对象的图像；

基于所述角度信息，对所述待识别对象的图像进行旋转，得到所述待处理图像。

在一种可能的实现方式中，所述位置信息包括多个坐标信息；所述基于所述位置信息，从所述任一角度的图像中分割出所述待识别对象的图像，包括：

遍历所述任一角度的图像内的每个第一像素；

每遍历到一个第一像素，则基于所述位置信息和当前遍历到的第一像素的坐标信息，确定以所述第一像素为顶点的各夹角的夹角值，其中，所述各夹角中的任一夹角关联的其他点的坐标信息是按照预设选取规则从所述多个坐标信息中选取的；

若确定的各夹角值之和小于预设值，则对所述第一像素进行标记；

在遍历完成后，基于标记的各个第一像素，从所述任一角度的图像中分割出所述待识别对象的图像。

上述方法，可以去除该角度的图像中对待识别对象进行识别无关的图像，最大限度保留包含待识别对象的该角度下的图像，以提高后续识别结果的精度和准确度。

在一种可能的实现方式中，所述基于所述角度信息，对所述待识别对象的图像进行旋转，得到所述待处理图像，包括：

基于所述角度信息，按照预设旋转规则，对所述待识别对象的图像进行旋转，得到中间图像，其中，所述旋转规则包括旋转中心和旋转方向；

基于所述角度信息和所述旋转中心对应的坐标信息，确定所述中间图像内各第一像素对应的旋转后坐标信息；

基于所述各第一像素对应的旋转后坐标信息，构建新的图像坐标系，并基于所述各第一像素对应的像素值，确定所述图像坐标系中在所述中间图像内的每个第二像素对应的像素值；

基于各第二像素对应的像素值确定所述待处理图像。

由于模型通常对正位图像的识别准确率远远高于倾斜图像，因此，在上述方法中，通过对待识别对象的图像进行旋转，将待识别对象旋转为在该角度下的正位图像，以提高后续图像搜索模型的识别精度和识别准确性。

进一步地，构建新的图像坐标系，基于各第二像素对应的像素值确定所述待处理图像，可以最大限度地保留待识别对象的图像信息，从而使得基于待处理图像进行图像搜索得到的待识别对象的识别结果更为准确。

在一种可能的实现方式中，所述基于所述各第一像素对应的像素值，确定所述图像坐标系中在所述中间图像内的每个第二像素对应的像素值，包括：

遍历所述图像坐标系中在所述中间图像内的每个第二像素，每遍历到一个第二像素，则从所述各第一像素对应的旋转后坐标信息中，查询当前遍历到的第二像素的坐标信息所对应的像素值；

若查询到，则将查询到的第一像素的像素值，确定为所述第二像素的像素值；

若未查询到，则基于所述第二像素的坐标信息和所述各第一像素对应的旋转后坐标信息，从所述各第一像素中筛选出多个目标像素，并基于所述多个目标像素的像素值，确定所述第二像素的像素值，其中，所述目标像素与所述第二像素之间的距离小于距离阈值。

上述方法，基于各第二像素对应的像素值确定所述待处理图像，以最大限度地保留待识别对象的图像信息。

在一种可能的实现方式中，所述基于所述多个目标像素的像素值，确定所述第二像素的像素值，包括：

将所述多个目标像素的像素值的均值，作为所述第二像素的像素值；或

将所述多个目标像素的像素值的加权和，作为所述第二像素的像素值，其中，目标像素与所述第二像素之间的距离越小，权值越大。

在一种可能的实现方式中，所述将得到的多个待处理图像同步输入预设的图像搜索模型，包括：

基于所述多个待处理图像对应的图像尺寸中最大的图像尺寸，对所述多个待处理图像进行尺寸统一，得到各个待拼接图像；

按照预设拼接顺序，对所述各个待拼接图像进行依次拼接，得到目标图像；

将所述目标图像输入所述图像搜索模型；

其中，在进行尺寸统一过程中，若所述多个待处理图像中的任一待处理图像的图像尺寸小于所述最大的图像尺寸，则基于所述最大的图像尺寸，在所述任一待处理图像的至少两个周边区域内确定待填充区域，并采用预设像素值，在所述待填充区域内进行像素填充。

上述方法，将多角度的待识别图像统一为同一图像尺寸，并将尺寸统一后的各待拼接图像进行拼接，可以汇总多角度的待识别对象的图像信息，从而基于汇总多角度的待识别对象的图像信息进行图像搜索，可以提高模型对待识别对象的识别准确率，进而使得基于待处理图像进行图像搜索得到的待识别对象的识别结果更为准确。

在一种可能的实现方式中，所述将所述目标图像输入所述图像搜索模型之后，还包括：

基于所述图像搜索模型，对所述目标图像进行特征汇总处理，得到所述目标图像对应的综合特征信息；

基于所述综合特征信息，从预设数据库中查询与所述综合特征信息的匹配度大于匹配阈值的目标特征信息；

将所述目标特征信息对应的对象描述信息，作为所述待识别对象的识别结果。

第二方面，本申请实施例提供一种对象识别装置，包括：

获取模块，用于分别获取待识别对象的多个角度的图像；

分割模块，用于针对所述多个角度中的任一角度的图像，基于所述任一角度的图像得到待处理图像，其中，所述待处理图像是所述待识别对象在所述任一角度的正位图像；

图搜模块，用于将得到的多个待处理图像同步输入预设的图像搜索模型，以得到所述待识别对象的识别结果。

在一种可能的实现方式中，所述分割模块具体用于：

对所述任一角度的图像进行目标检测，得到所述任一角度的图像中所述待识别对象对应的检测框的位置信息和角度信息；

基于所述位置信息，从所述任一角度的图像中分割出所述待识别对象的图像；

基于所述角度信息，对所述待识别对象的图像进行旋转，得到所述待处理图像。

在一种可能的实现方式中，所述位置信息包括多个坐标信息；所述分割模块具体用于：

遍历所述任一角度的图像内的每个第一像素；

每遍历到一个第一像素，则基于所述位置信息和当前遍历到的第一像素的坐标信息，确定以所述第一像素为顶点的各夹角的夹角值，其中，所述各夹角中的任一夹角关联的其他点的坐标信息是按照预设选取规则从所述多个坐标信息中选取的；

若确定的各夹角值之和小于预设值，则对所述第一像素进行标记；

在遍历完成后，基于标记的各个第一像素，从所述任一角度的图像中分割出所述待识别对象的图像。

在一种可能的实现方式中，所述分割模块具体用于：

基于所述角度信息，按照预设旋转规则，对所述待识别对象的图像进行旋转，得到中间图像，其中，所述旋转规则包括旋转中心和旋转方向；

基于所述角度信息和所述旋转中心对应的坐标信息，确定所述中间图像内各第一像素对应的旋转后坐标信息；

基于所述各第一像素对应的旋转后坐标信息，构建新的图像坐标系，并基于所述各第一像素对应的像素值，确定所述图像坐标系中在所述中间图像内的每个第二像素对应的像素值；

基于各第二像素对应的像素值确定所述待处理图像。

在一种可能的实现方式中，所述分割模块具体用于：

遍历所述图像坐标系中在所述中间图像内的每个第二像素，每遍历到一个第二像素，则从所述各第一像素对应的旋转后坐标信息中，查询当前遍历到的第二像素的坐标信息所对应的像素值；

若查询到，则将查询到的第一像素的像素值，确定为所述第二像素的像素值；

若未查询到，则基于所述第二像素的坐标信息和所述各第一像素对应的旋转后坐标信息，从所述各第一像素中筛选出多个目标像素，并基于所述多个目标像素的像素值，确定所述第二像素的像素值，其中，所述目标像素与所述第二像素之间的距离小于距离阈值。

在一种可能的实现方式中，所述分割模块具体用于：

将所述多个目标像素的像素值的均值，作为所述第二像素的像素值；或

将所述多个目标像素的像素值的加权和，作为所述第二像素的像素值，其中，目标像素与所述第二像素之间的距离越小，权值越大。

在一种可能的实现方式中，所述图搜模块具体用于：

基于所述多个待处理图像对应的图像尺寸中最大的图像尺寸，对所述多个待处理图像进行尺寸统一，得到各个待拼接图像；

按照预设拼接顺序，对所述各个待拼接图像进行依次拼接，得到目标图像；

将所述目标图像输入所述图像搜索模型；

其中，在进行尺寸统一过程中，若所述多个待处理图像中的任一待处理图像的图像尺寸小于所述最大的图像尺寸，则基于所述最大的图像尺寸，在所述任一待处理图像的至少两个周边区域内确定待填充区域，并采用预设像素值，在所述待填充区域内进行像素填充。

在一种可能的实现方式中，所述将所述目标图像输入所述图像搜索模型之后，所述图搜模块还用于：

基于所述图像搜索模型，对所述目标图像进行特征汇总处理，得到所述目标图像对应的综合特征信息；

基于所述综合特征信息，从预设数据库中查询与所述综合特征信息的匹配度大于匹配阈值的目标特征信息；

将所述目标特征信息对应的对象描述信息，作为所述待识别对象的识别结果。

第三方面，本申请实施例提供一种电子设备，包括：

图像采集装置，用于采集图像；

存储器，用于存储计算机程序或指令；

处理器，用于执行所述存储器中的计算机程序或指令，使得如上述第一方面中任一项的方法被执行。

第四方面，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面中任一项所述的方法。

另外，第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例中一种应用场景示意图；

图2为本申请实施例中一种对象识别方法的流程示意图；

图3为本申请实施例中一种得到待处理图像的流程示意图；

图4为本申请实施例中一种检测框的位置信息和角度信息示意图；

图5为本申请实施例中一种图像分割的流程示意图；

图6为本申请实施例中一种图像分割的处理原理示意图；

图7为本申请实施例中一种得到待处理图像的具体流程示意图；

图8为本申请实施例中一种图像旋转过程展示示意图；

图9为本申请实施例中一种确定中间图像内各像素的像素值的流程示意图；

图10为本申请实施例中一种多图像同步输入图像搜索模型的流程示意图；

图11为本申请实施例中一种CNN神经网络模型的网络架构示意图；

图12为本申请实施例中一种得到待识别对象的识别结果的流程示意图；

图13为本申请实施例中一种对象识别装置的逻辑架构示意图；

图14为本申请实施例中查验设备的实体架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够在除了这里图示或描述的那些以外的顺序实施。

下面对本申请实施例的设计思想进行简要介绍。

本申请涉及图像识别技术领域，主要涉及一种对象识别方法、装置及查验设备。

在实际场景中，针对特殊场合，如海关安检、进站安检等，常常需要对旅客的随身物品进行安全检查。相关技术下，在图像识别领域，图像搜索是一种十分必要的手段。

在上述场景中，多通过查验设备，拍摄视野区域内的各个待识别对象的图像，然后，基于获取到的图像，采用图像搜索方式，从预设的数据库中，查询到每个待识别对象相匹配的识别结果，如商品信息等，以完成安全检查。

然而，在实际应用中，采用图像搜索方式时，多采用对象的单面图像进行图像搜索。由于对象的单面图像包含的图像信息有限，导致采用上述图像搜索方式得到的识别结果的精度、准确性均不稳定。

有鉴于此，为了解决上述问题，本申请实施例提供一种对象识别方法，本申请实施例中，分别获取待识别对象的多个角度的图像；然后，针对多个角度中的任一角度的图像，基于该角度的图像得到待处理图像，将得到的多个待处理图像同步输入预设的图像搜索模型，以得到该待识别对象的识别结果，其中，该待处理图像是该待识别对象在对应角度的正位图像；这样，将待识别对象多角度的图像进行综合处理，利用汇总待识别对象多个角度的图像信息进行图像搜索，可以提高对图像进行图像搜索得到的待识别对象的识别结果的精度和准确性，符合可信赖特性。

需要说明的是，上述待识别对象不仅限于商品，相应的，识别结果也不仅限于商品信息，该待识别对象也可以是任一形式的物品，如动、植物等，相应的，识别结果可以是该动、植物的介绍信息等，本申请不做具体限定。

下面结合附图对本申请实施例提供的一种可选的对象识别方法的应用场景进行介绍。

如图1所示，该应用场景包括查验设备10。该查验设备10包括台面和图像采集装置(图1中示出的位置仅为举例，本申请不做具体限定)，台面用于放置待识别对象；图像采集装置安装在该台面的上面，用于获取该台面上视野区域内的图像。

示例性的，在海关安检场景中，旅客将随身物品(本申请实施例记为待识别对象)放置在查验设备10的台面上，由查验设备10执行本申请实施例中的一种对象识别方法，以得到待识别对象的识别结果。

在一些优选的实施例中，上述台面需保证落入视野区域内的部分应该具有纯色背景，如黑色或白色，以避免拍摄背景影响后续的物品检测。

在一些可行的实施例中，上述图像采集装置可以是照相机、摄像机或者其他具有照相或摄像功能的电子设备，如平板电脑或智能手机等。

当然，本申请实施例提供的方法并不限于图1所示的应用场景，还可以用于其它可能的应用场景，如上述应用场景中还包括与查验设备10通过有线或无线连接的服务器，查验设备10将采集到的包含各待识别对象的图像发送至服务器，由服务器执行本申请实施例中的一种对象识别方法，得到各待识别对象对应的识别结果，并将各个识别结果发送至查验设备10，查验设备10基于各个识别结果执行相应的操作，如显示各个识别结果等；又如，需进行图像识别的任意一种应用场景，可以理解的是，本申请实施例对应用场景不作具体限定。

在一些可行的实施例中，上述查验设备10也可以是任意一种形式的具有图像采集装置的电子设备；例如，该电子设备可以为智能终端，智能移动终端，平板电脑，笔记本电脑，智能掌上设备，个人电脑(Personal Computer，PC)，计算机，智能屏，显示设备、各类可穿戴设备，个人数字助理(Personal Digital Assistant，PDA)等。

在介绍完本申请实施例的应用场景之后，下面结合附图对本申请优选的实施方式做出进一步详细说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。

参阅图2所示，本申请实施例提供了一种对象识别方法，该方法的具体流程如下：

步骤200：分别获取待识别对象的多个角度的图像。

具体实施中，在执行步骤200时，通过图1示出的查验设备分别获取待识别对象的多个角度的图像。需要说明的是，每个图像中不仅限于一个待识别对象，也可以包括多个待识别对象。本申请后续实施例中仅以对一个待识别对象为例详细介绍对象识别方法，其他待识别对象的处理方式与此相同或类似。

步骤210：针对多个角度中的任一角度的图像，基于该角度的图像得到待处理图像，其中，该待处理图像是该待识别对象在该角度的正位图像。

本申请实施例中，参阅图3所示，在执行步骤210时，针对多个角度中的任一角度的图像，具体执行如下步骤，以得到该角度的图像对应的待处理图像，其中，该待处理图像是该待识别对象在该角度的正位图像：

步骤2101：对该角度的图像进行目标检测，得到该角度的图像中该待识别对象对应的检测框的位置信息和角度信息。

具体实施中，由于待识别对象的摆放多是比较随意的，因此，在执行步骤2101时，对该角度的图像进行目标检测，可以得到框选该待识别对象的检测框的位置信息和角度信息，其中，角度信息表征检测框的倾斜角度。

例如，如图4所示，以待识别对象A的任一角度的图像为例。

本申请实施例中，在执行步骤2101时，对该角度的图像进行目标检测，可采用旋转矩形框A(即前述检测框)框选出该图像中待识别对象，得到旋转矩形框A的位置信息和角度信息，其中，位置信息包括旋转矩形框A的四角(依次为a、b、c、d)的坐标信息；角度信息包括该旋转矩形框A的倾斜角度，即将待识别对象的图像旋转为正位图像所需旋转的角度，记为θ。

步骤2102：基于位置信息，从该角度的图像中分割出该待识别对象的图像。

本申请实施例中，上述位置信息包括多个坐标信息，那么，参阅图5所示，在执行步骤2102，具体执行如下步骤，确定该角度的图像内的哪些第一像素位于检测框内，从而得到该角度的图像中属于待识别对象的各像素：

步骤400：遍历该角度的图像内的每个第一像素。

步骤410：每遍历到一个第一像素，则基于位置信息和当前遍历到的第一像素的坐标信息，确定以第一像素为顶点的各夹角的夹角值，其中，各夹角中的任一夹角关联的其他点的坐标信息是按照预设选取规则从多个坐标信息中选取的。

例如，参阅图6所示，仍以待识别对象A的任一角度的图像为例。

假设该角度的图像中该待识别对象对应的检测框的位置信息包括四个坐标信息，依次记为a(x1，y1)、b(x2，y2)、c(x3，y3)、d(x4，y4)。

具体实施中，遍历该角度的图像内的每个第一像素。

假设该角度的图像内存在50个第一像素，以及当前遍历到的第一像素记为第一像素A，该第一像素A的坐标信息记为e(x，y)。

那么，按照选取规则，依次选取ab，bc，cd，ca，计算以第一像素A为顶点的各夹角(即∠aeb，∠bec，∠ced，∠dea)的夹角值。

本申请实施例中，可以通过如下公式来表示夹角∠aeb的夹角值：

相应的，其余三个夹角∠bec，∠ced，∠dea可以参照上式换成相应点的坐标，计算得到夹角∠bec，∠ced，∠dea各自的夹角值。

步骤420：若确定的各夹角值之和小于预设值，则对第一像素进行标记。

本申请实施例中，在通过步骤410得到各夹角的夹角值后，确定上述各夹角的夹角值之和，然后，将各夹角值之和与预设值进行比较，其中，预设值可以取值为365，5为偏差值。

在一种可能的实施例中，若确定的各夹角值之和小于预设值，如图6所示，表明该第一像素A位于框选该待识别对象的检测框内，则执行步骤420，对第一像素A进行标记；然后，遍历下一个第一像素。

在另一种可能的实施例中，若确定的各夹角值之和大于或等于预设值，表明该第一像素A位于框选该待识别对象的检测框外，则遍历下一个第一像素。

这样，便可以从该角度的图像中筛选出位于框选该待识别对象的检测框内的各个第一像素。

步骤430：在遍历完成后，基于标记的各个第一像素，从该角度的图像中分割出该待识别对象的图像。

本申请实施例中，在遍历完该角度的图像内的所有第一像素后，执行步骤430，将标记的各个第一像素，从该角度的图像中分割出，从而得到该待识别对象的图像。

这样，便可去除该角度的图像中对待识别对象进行识别无关的图像，最大限度保留了包含待识别对象的该角度下的图像，以提高后续识别结果的精度和准确度。

步骤2103：基于角度信息，对该待识别对象的图像进行旋转，得到该待处理图像。

本申请实施例中，参阅图7所示，在执行步骤2103时，具体执行如下步骤：

步骤500：基于角度信息，按照预设旋转规则，对该待识别对象的图像进行旋转，得到中间图像，其中，该旋转规则包括旋转中心和旋转方向。

例如，参阅图8所示，仍以待识别对象A的任一角度的图像为例。本申请实施例中，旋转中心可以选为a点，旋转方向取为逆时针方向；那么，在执行步骤500时，将待识别对象的图像以旋转中心(a点)为中心，逆时针旋转θ(即角度信息)，从而将该待识别对象旋转为正位，得到该中间图像。

在实际应用中发现，机器识别通常对正位图像的识别准确性高，在待识别对象的图像存在偏转时，机器识别的识别准确率大大降低，而通过大量训练提升机器学习的识别准确率的难度较高、工作量较大，因此，本申请实施例中，通过执行步骤500大大降低了工作量，处理方式简单便捷。

步骤510：基于角度信息和该旋转中心对应的坐标信息，确定该中间图像内各第一像素对应的旋转后坐标信息。

本申请实施例中，由于将待识别对象的图像进行了旋转，那么，该待识别对象的图像内的第一像素的坐标也将发生变化，因此，执行步骤510，确定该中间图像内各第一像素对应的旋转后坐标信息。

本申请实施例中，仍以第一像素A为例；假设第一像素A在该中间图像内的任一第一像素，则该第一像素A的旋转后坐标信息(x’,y’)可以分别用如下公式来表示：

x’＝(x﹣x1)cosθ+(y﹣y1)sinθ

y’＝(y﹣y1)cosθ﹣(x﹣x1)sinθ

步骤520：基于各第一像素对应的旋转后坐标信息，构建新的图像坐标系，并基于各第一像素对应的像素值，确定该图像坐标系中在该中间图像内的每个第二像素对应的像素值。

本申请实施例中，由于图像内的像素的坐标通常是整数，而执行步骤500的旋转操作后，可能会出现该中间图像内的部分第一像素的坐标为非整数，因此，执行步骤520，基于各第一像素对应的旋转后坐标信息，构建新的图像坐标系，并基于各第一像素对应的像素值，确定在新的图像坐标系中该中间图像内的每个第二像素的像素值，这样，可以便于后续汇总待识别对象的多角度的图像，实现对多角度的待识别对象的图像信息的综合处理，为后续提高图像搜索模型的精度和准确性做准备。

具体实施中，在执行步骤520中的基于各第一像素对应的旋转后坐标信息，构建新的图像坐标系时，可以从各第一像素对应的旋转后坐标信息中筛选出横坐标最大最小值，分别记为xmax和xmin，以及纵坐标最大最小值，分别记为ymax和ymin，并对筛选出的xmax、xmin、ymax和ymin进行取整处理；然后，令xmin’＝0，xmax’＝xmax﹣xmin，ymin’＝0，ymax’＝ymax﹣ymin，即以该中间图像的左上角为新的图像坐标系的原点。

然后，参阅图9所示，在执行步骤520中的所述基于各第一像素对应的像素值，确定该图像坐标系中在该中间图像内的每个第二像素对应的像素值时，具体执行如下步骤：

步骤5201：遍历图像坐标系中在该中间图像内的每个第二像素，每遍历到一个第二像素，则从各第一像素对应的旋转后坐标信息中，查询当前遍历到的第二像素的坐标信息所对应的像素值。

步骤5202：若查询到，则将查询到的第一像素的像素值，确定为第二像素的像素值。

步骤5203：若未查询到，则基于第二像素的坐标信息和各第一像素对应的旋转后坐标信息，从各第一像素中筛选出多个目标像素，并基于多个目标像素的像素值，确定该第二像素的像素值，其中，目标像素与第二像素之间的距离小于距离阈值。

具体实施中，在执行步骤5203中的所述基于多个目标像素的像素值，确定该第二像素的像素值时，具体可以通过如下任意一种方式确定第二像素的像素值：

方式一，将多个目标像素的像素值的均值，作为该第二像素的像素值。

方式二，将多个目标像素的像素值的加权和，作为该第二像素的像素值，其中，目标像素与第二像素之间的距离越小，权值越大。

例如，仍以待识别对象A的任一角度的图像为例。

在执行步骤5201～步骤5203时，具体可以通过如下遍历处理逻辑，得到该图像坐标系中在该中间图像内的每个第二像素对应的像素值：

令i在0到xmax’间遍历：

令j在0到ymax’间遍历：

计算每一个第一像素到当前遍历到的第二像素(i，j)的距离，并从得到的各个距离中选出小于距离阈值的n个目标像素；

计算n个目标像素到第二像素(i，j)的距离；

计算该第二像素(i，j)的RGB。

其中，需要注意的是，若存在第一像素与当前遍历到的第二像素(i，j)的距离为0，则将该第一像素的RGB，确定为该第二像素(i，j)的RGB。

在上述举例中，假设n＝3，三个目标像素的RGB分别记为r1，r2，r3；g1，g2，g3；b1，b2，b3；以及三个目标像素与第二像素(i，j)的距离依次记为L1，L2，L3。

那么，本申请实施例中，在采用方式二计算该第二像素(i，j)的RGB时，可以采用如下公式来表示第二像素(i，j)的RGB：

r＝((l/L1)r1+(1/L2)r2+(1/L3)r3)/(1/L1+1/L2+1/L3)；

g＝((l/L1)g1+(1/L2)g2+(1/L3)g3)/(1/L1+1/L2+1/L3)；

b＝((l/L1)b1+(1/L2)b2+(1/L3)b3)/(1/L1+1/L2+1/L3)。

其中，(l/L1)/(1/L1+1/L2+1/L3)是r1的权重，其余与此类似，不在赘述。

步骤530：基于各第二像素对应的像素值确定该待处理图像。

这样，通过执行上述步骤，便可以得到该角度的图像对应的待处理图像，该待处理图像是待识别对象在该角度的正位图像。相应的，通过对多个角度的图像执行进行上述步骤，便可以得到多个角度的图像对应的待处理图像，需要注意的是，每个角度的图像的待处理图像均包含该角度下待识别对象的正位图像，将多个角度的待识别对象的正位图像输入后续步骤220中的图像搜索模型，可以得到更为准确的待识别对象的识别结果。

步骤220：将得到的多个待处理图像同步输入预设的图像搜索模型，以得到该待识别对象的识别结果。

本申请实施例中，参阅图10所示，在执行步骤220时，具体通过执行如下步骤：

步骤2201：基于多个待处理图像对应的图像尺寸中最大的图像尺寸，对多个待处理图像进行尺寸统一，得到各个待拼接图像；其中，在进行尺寸统一过程中，若多个待处理图像中的任一待处理图像的图像尺寸小于最大的图像尺寸，则基于最大的图像尺寸，在任一待处理图像的至少两个周边区域内确定待填充区域，并采用预设像素值，在该待填充区域内进行像素填充。

本申请实施例中，在执行步骤2201时，若确定某个待处理图像的图像尺寸小于最大的图像尺寸，则通过像素填充的方式，如采用零像素值的像素，将该尺寸不足的待处理图像的图像尺寸填充到最大的图像尺寸，保证了待识别对象不失真，从而提高后续图像搜索的精度和准确性。

步骤2202：按照预设拼接顺序，对各个待拼接图像进行依次拼接，得到目标图像。

本申请实施例中，以待处理图像是待识别对象的正反两面图像为例。若正面图像用224×224×3表示，反面图像用224×224×3表示，那么，执行步骤2202后得到的目标图像可以用224×224×6的三维张量来表示。

步骤2203：将该目标图像输入上述图像搜索模型。

本申请实施例中，上述图像搜索模型可以采用任一类型的神经网络构建，在此不做具体限定。例如，参阅图11所示，以图像搜索模型为卷积神经网络(ConvolutionalNeural Network，CNN)模型为例，该CNN神经网络模型可以采用三元组损失函数训练，使得模型对同类的特征向量相似度高，不同类的特征向量相似度低，其中，具体训练过程可以采用通用训练方式，在此不再赘述。

这样，在模型实际使用阶段，在执行步骤2203将该目标图像输入上述图像搜索模型后，参阅图12所示，通过执行如下步骤，得到该待识别对象的识别结果：

步骤800：基于图像搜索模型，对该目标图像进行特征汇总处理，得到目标图像对应的综合特征信息。

步骤810：基于综合特征信息，从预设数据库中查询与综合特征信息的匹配度大于匹配阈值的目标特征信息。

具体实施中，在执行步骤810时，通常将数据库中与综合特征信息的匹配度最高的特征信息，作为目标特征信息输出。

步骤820：将目标特征信息对应的对象描述信息，作为该待识别对象的识别结果。

例如，仍以待处理图像是待识别对象的正反两面图像为例。

假设图像搜索模型为CNN神经网络模型，则在执行步骤2203将拼接后的目标图像对应的三维张量输入该CNN神经网络模型；

然后，执行步骤800，CNN神经网络模型输出一维特征向量，即前述综合特征信息；以及，执行步骤810，将该一维特征向量与数据库中的各个特征向量进行比对，从而查询到与该一维特征向量的相似度最高的特征向量；

最后，执行步骤820，输出该相似度最高的特征向量对应的对象描述信息，即得到该待识别对象的识别结果，其中，对象描述信息可以包括待识别对象的标准图像、介绍信息、提示信息、物流信息等，若该待识别对象为商品，则对象描述信息中还可以包括品牌信息、商品批号信息、物流溯源信息等。

基于同一发明构思，参阅图13所示，本申请实施例中提供一种对象识别装置，包括：

获取模块1310，用于分别获取待识别对象的多个角度的图像；

分割模块1320，用于针对所述多个角度中的任一角度的图像，基于所述任一角度的图像得到待处理图像，其中，所述待处理图像是所述待识别对象在所述任一角度的正位图像；

图搜模块1330，用于将得到的多个待处理图像同步输入预设的图像搜索模型，以得到所述待识别对象的识别结果。

在一种可能的实现方式中，所述分割模块1320具体用于：

对所述任一角度的图像进行目标检测，得到所述任一角度的图像中所述待识别对象对应的检测框的位置信息和角度信息；

基于所述位置信息，从所述任一角度的图像中分割出所述待识别对象的图像；

基于所述角度信息，对所述待识别对象的图像进行旋转，得到所述待处理图像。

在一种可能的实现方式中，所述位置信息包括多个坐标信息；所述分割模块1320具体用于：

遍历所述任一角度的图像内的每个第一像素；

每遍历到一个第一像素，则基于所述位置信息和当前遍历到的第一像素的坐标信息，确定以所述第一像素为顶点的各夹角的夹角值，其中，所述各夹角中的任一夹角关联的其他点的坐标信息是按照预设选取规则从所述多个坐标信息中选取的；

若确定的各夹角值之和小于预设值，则对所述第一像素进行标记；

在遍历完成后，基于标记的各个第一像素，从所述任一角度的图像中分割出所述待识别对象的图像。

在一种可能的实现方式中，所述分割模块1320具体用于：

基于所述角度信息，按照预设旋转规则，对所述待识别对象的图像进行旋转，得到中间图像，其中，所述旋转规则包括旋转中心和旋转方向；

基于所述角度信息和所述旋转中心对应的坐标信息，确定所述中间图像内各第一像素对应的旋转后坐标信息；

基于所述各第一像素对应的旋转后坐标信息，构建新的图像坐标系，并基于所述各第一像素对应的像素值，确定所述图像坐标系中在所述中间图像内的每个第二像素对应的像素值；

基于各第二像素对应的像素值确定所述待处理图像。

在一种可能的实现方式中，所述分割模块1320具体用于：

遍历所述图像坐标系中在所述中间图像内的每个第二像素，每遍历到一个第二像素，则从所述各第一像素对应的旋转后坐标信息中，查询当前遍历到的第二像素的坐标信息所对应的像素值；

若查询到，则将查询到的第一像素的像素值，确定为所述第二像素的像素值；

若未查询到，则基于所述第二像素的坐标信息和所述各第一像素对应的旋转后坐标信息，从所述各第一像素中筛选出多个目标像素，并基于所述多个目标像素的像素值，确定所述第二像素的像素值，其中，所述目标像素与所述第二像素之间的距离小于距离阈值。

在一种可能的实现方式中，所述分割模块1320具体用于：

将所述多个目标像素的像素值的均值，作为所述第二像素的像素值；或

将所述多个目标像素的像素值的加权和，作为所述第二像素的像素值，其中，目标像素与所述第二像素之间的距离越小，权值越大。

在一种可能的实现方式中，所述图搜模块1330具体用于：

基于所述多个待处理图像对应的图像尺寸中最大的图像尺寸，对所述多个待处理图像进行尺寸统一，得到各个待拼接图像；

按照预设拼接顺序，对所述各个待拼接图像进行依次拼接，得到目标图像；

将所述目标图像输入所述图像搜索模型；

其中，在进行尺寸统一过程中，若所述多个待处理图像中的任一待处理图像的图像尺寸小于所述最大的图像尺寸，则基于所述最大的图像尺寸，在所述任一待处理图像的至少两个周边区域内确定待填充区域，并采用预设像素值，在所述待填充区域内进行像素填充。

在一种可能的实现方式中，所述将所述目标图像输入所述图像搜索模型之后，所述图搜模块1330还用于：

基于所述图像搜索模型，对所述目标图像进行特征汇总处理，得到所述目标图像对应的综合特征信息；

基于所述综合特征信息，从预设数据库中查询与所述综合特征信息的匹配度大于匹配阈值的目标特征信息；

将所述目标特征信息对应的对象描述信息，作为所述待识别对象的识别结果。

基于同一发明构思，参阅图14所示，本申请实施例中提供一种查验设备，包括：

存储器141，用于存储计算机程序或指令；

处理器142，用于执行存储器141中的计算机程序或指令，使得如上述各个实施例中任意一种方法被执行；

图像采集装置143，用于采集图像。

其中，处理器142，可以包括一个或多个中央处理单元(Central ProcessingUnit，CPU)，或者数字处理单元等等；

需要说明的是，本申请实施例中不限定上述存储器141、处理器142和图像采集装置143之间的具体连接介质。本申请实施例在图14中，存储器141、处理器142和图像采集装置143之间通过总线144连接，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线144可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述各个实施例中的任意一种方法。由于上述计算机可读存储介质解决问题的原理与对象识别方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种对象识别方法，其特征在于，包括：

分别获取待识别对象的多个角度的图像；

针对所述多个角度中的任一角度的图像，基于所述任一角度的图像得到待处理图像，其中，所述待处理图像是所述待识别对象在所述任一角度的正位图像；

将得到的多个待处理图像同步输入预设的图像搜索模型，以得到所述待识别对象的识别结果。

2.如权利要求1所述的方法，其特征在于，所述基于所述任一角度的图像得到待处理图像，包括：

对所述任一角度的图像进行目标检测，得到所述任一角度的图像中所述待识别对象对应的检测框的位置信息和角度信息；

基于所述位置信息，从所述任一角度的图像中分割出所述待识别对象的图像；

基于所述角度信息，对所述待识别对象的图像进行旋转，得到所述待处理图像。

3.如权利要求2所述的方法，其特征在于，所述位置信息包括多个坐标信息；所述基于所述位置信息，从所述任一角度的图像中分割出所述待识别对象的图像，包括：

遍历所述任一角度的图像内的每个第一像素；

每遍历到一个第一像素，则基于所述位置信息和当前遍历到的第一像素的坐标信息，确定以所述第一像素为顶点的各夹角的夹角值，其中，所述各夹角中的任一夹角关联的其他点的坐标信息是按照预设选取规则从所述多个坐标信息中选取的；

若确定的各夹角值之和小于预设值，则对所述第一像素进行标记；

在遍历完成后，基于标记的各个第一像素，从所述任一角度的图像中分割出所述待识别对象的图像。

4.如权利要求2所述的方法，其特征在于，所述基于所述角度信息，对所述待识别对象的图像进行旋转，得到所述待处理图像，包括：

基于所述角度信息，按照预设旋转规则，对所述待识别对象的图像进行旋转，得到中间图像，其中，所述旋转规则包括旋转中心和旋转方向；

基于所述角度信息和所述旋转中心对应的坐标信息，确定所述中间图像内各第一像素对应的旋转后坐标信息；

基于所述各第一像素对应的旋转后坐标信息，构建新的图像坐标系，并基于所述各第一像素对应的像素值，确定所述图像坐标系中在所述中间图像内的每个第二像素对应的像素值；

基于各第二像素对应的像素值确定所述待处理图像。

5.如权利要求4所述的方法，其特征在于，所述基于所述各第一像素对应的像素值，确定所述图像坐标系中在所述中间图像内的每个第二像素对应的像素值，包括：

遍历所述图像坐标系中在所述中间图像内的每个第二像素，每遍历到一个第二像素，则从所述各第一像素对应的旋转后坐标信息中，查询当前遍历到的第二像素的坐标信息所对应的像素值；

若查询到，则将查询到的第一像素的像素值，确定为所述第二像素的像素值；

若未查询到，则基于所述第二像素的坐标信息和所述各第一像素对应的旋转后坐标信息，从所述各第一像素中筛选出多个目标像素，并基于所述多个目标像素的像素值，确定所述第二像素的像素值，其中，所述目标像素与所述第二像素之间的距离小于距离阈值。

6.如权利要求5所述的方法，其特征在于，所述基于所述多个目标像素的像素值，确定所述第二像素的像素值，包括：

将所述多个目标像素的像素值的均值，作为所述第二像素的像素值；或

将所述多个目标像素的像素值的加权和，作为所述第二像素的像素值，其中，目标像素与所述第二像素之间的距离越小，权值越大。

7.如权利要求1-6任一所述的方法，其特征在于，所述将得到的多个待处理图像同步输入预设的图像搜索模型，包括：

基于所述多个待处理图像对应的图像尺寸中最大的图像尺寸，对所述多个待处理图像进行尺寸统一，得到各个待拼接图像；

按照预设拼接顺序，对所述各个待拼接图像进行依次拼接，得到目标图像；

将所述目标图像输入所述图像搜索模型；

其中，在进行尺寸统一过程中，若所述多个待处理图像中的任一待处理图像的图像尺寸小于所述最大的图像尺寸，则基于所述最大的图像尺寸，在所述任一待处理图像的至少两个周边区域内确定待填充区域，并采用预设像素值，在所述待填充区域内进行像素填充。

8.如权利要求7所述的方法，其特征在于，所述将所述目标图像输入所述图像搜索模型之后，还包括：

基于所述图像搜索模型，对所述目标图像进行特征汇总处理，得到所述目标图像对应的综合特征信息；

基于所述综合特征信息，从预设数据库中查询与所述综合特征信息的匹配度大于匹配阈值的目标特征信息；

将所述目标特征信息对应的对象描述信息，作为所述待识别对象的识别结果。

9.一种对象识别装置，其特征在于，包括：

获取模块，用于分别获取待识别对象的多个角度的图像；

分割模块，用于针对所述多个角度中的任一角度的图像，基于所述任一角度的图像得到待处理图像，其中，所述待处理图像是所述待识别对象在所述任一角度的正位图像；

图搜模块，用于将得到的多个待处理图像同步输入预设的图像搜索模型，以得到所述待识别对象的识别结果。

10.一种查验设备，其特征在于，包括：

图像采集装置，用于采集图像；

存储器，用于存储计算机程序或指令；

处理器，用于执行所述存储器中的计算机程序或指令，使得如权利要求1-8任一所述的方法被执行。