CN117911826A - 图像特征的提取方法、图像处理方法、装置及设备 - Google Patents

Abstract

本公开提供一种图像特征的提取方法、图像处理方法、装置及设备，该图像特征的提取方法包括：获取待提取特征的目标图像；基于目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；针对多张目标编码图像分别进行特征提取，以得到多张目标编码图像各自对应的特征向量；基于多张目标编码图像各自对应的特征向量，得到目标图像对应的目标特征向量。本公开可较好地提升特征提取效率并保障特征提取效果，有助于进一步保障基于图像特征进行后续处理的及时性和可靠性。

Description

图像特征的提取方法、图像处理方法、装置及设备

技术领域

本公开涉及图像处理领域，尤其涉及图像特征的提取方法、图像处理方法、装置及设备。

背景技术

随着计算机技术的发展，在很多场景中都需要对图像进行处理，而大多图像处理技术都需要提取图像特征，从而基于图像特征进行诸如检测、识别、跟踪、优化等后续图像处理任务。但是，发明人经研究发现，相关技术提供的图像特征提取效果不佳。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像特征的提取方法、图像处理方法、装置及设备。

根据本公开的一方面，提供了一种图像特征的提取方法，包括：获取待提取特征的目标图像；基于所述目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；其中，每次所述目标操作包括：基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像，并基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像；且，首次目标操作对应的待处理图像是基于所述目标图像得到的，非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像；针对所述多张目标编码图像分别进行特征提取，以得到所述多张目标编码图像各自对应的特征向量；基于所述多张目标编码图像各自对应的特征向量，得到所述目标图像对应的目标特征向量。

根据本公开的另一方面，提供了一种图像处理方法，包括：获取待识别图像，并从所述待识别图像中确定目标对象区域；基于所述目标对象区域得到待提取特征的目标图像，并获取所述目标图像对应的目标特征向量；其中，所述目标特征向量是采用前述的图像特征的提取方法得到的；基于所述目标图像对应的目标特征向量，执行预设的处理操作。

根据本公开的另一方面，提供了一种图像特征的提取装置，包括：图像获取模块，用于获取待提取特征的目标图像；操作执行模块，用于基于所述目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；其中，每次所述目标操作包括：基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像，并基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像；且，首次目标操作对应的待处理图像是基于所述目标图像得到的，非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像；特征提取模块，用于针对所述多张目标编码图像分别进行特征提取，以得到所述多张目标编码图像各自对应的特征向量；向量获得模块，用于基于所述多张目标编码图像各自对应的特征向量，得到所述目标图像对应的目标特征向量。

根据本公开的另一方面，提供了一种图像处理装置，包括：区域确定模块，用于获取待识别图像，并从所述待识别图像中确定目标对象区域；特征获取模块，用于基于所述目标对象区域得到待提取特征的目标图像，并获取所述目标图像对应的目标特征向量；其中，所述目标特征向量是采用前述的图像特征的提取方法得到的；图像处理模块，用于基于所述目标图像对应的目标特征向量，执行预设的处理操作。

根据本公开的另一方面，提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行前述图像特征的提取方法或者前述图像处理方法。

本公开实施例中提供的上述图像特征的提取方法及装置，能够基于目标图像执行预设次数的目标操作(依次执行的编码操作及梯度图生成操作)，且非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像，之后可针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像，进而针对多张目标编码图像分别进行特征提取，以得到多张目标编码图像各自对应的特征向量；最后可基于多张目标编码图像各自对应的特征向量，得到目标图像对应的目标特征向量。上述特征提取方式较为简便，所需运算量较小，因此可较好地提升特征提取效率，而且通过连续多次执行目标操作的方式，可以较为有效地提取出丰富的图像特征，较好地保障图像特征的提取效果。

本公开实施例中提供的上述图像处理方法及装置，能够从待识别图像中确定目标对象区域，并基于目标对象区域得到待提取特征的目标图像，从而采用前述图像特征的提取方法获取目标图像对应的目标特征向量，以便基于目标图像对应的目标特征向量，执行预设的处理操作。采用前述图像特征的提取方法可以高效且可靠地提取所需的目标对象区域相应的特征，从而有效保障后续的处理操作的及时性和可靠性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种图像特征的提取方法的流程示意图；

图2为本公开实施例提供的一种图像特征的提取方法的流程示意图；

图3为本公开实施例提供的一种图像处理方法的流程示意图；

图4为本公开实施例提供的一种图像处理方法的流程示意图；

图5为本公开实施例提供的一种图像特征的提取装置的结构示意图；

图6为本公开实施例提供的一种图像处理装置的结构示意图；

图7为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本公开使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

图1为本公开实施例提供的一种图像特征的提取方法的流程示意图，该方法可以由图像特征的提取装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法主要包括如下步骤S102～步骤S108：

步骤S102，获取待提取特征的目标图像。

本公开实施例对目标图像不进行限制，任何需要提取特征的目标图像均可，在一些实施示例中，目标图像中包含有诸如人物、动物、物品等目标对象，在此不进行限制。

步骤S104，基于目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；其中，每次目标操作包括：基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像，并基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像；且，首次目标操作对应的待处理图像是基于目标图像得到的，非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像。示例性地，不同梯度图像对应的方向不同。在实际应用中，针对最后一次目标操作所得的多张梯度图像执行的编码操作可以与目标操作中的编码操作一致。

在一些实施方式中，可以直接将目标图像作为首次目标操作对应的待处理图像，在另一些实施方式中，可以对目标图像进行预处理，将预处理后的目标图像作为首次目标操作对应的待处理图像，本公开实施例对预处理方式不进行限制，诸如，预处理可以包括矫正处理(诸如，矫正为指定尺寸图像)和/或二值化处理，以便于后续能够更方便可靠地执行目标操作。在一些具体的实施方式中，可以先将目标图像转换为二值图像，基于二值图像执行预设次数的目标操作；此时，首次目标操作对应的待处理图像为二值图像。二值图像中的像素值的取值为0或1。将目标图像转换为二值图像所采用的二值化方式可参照相关技术，在此不再赘述。

步骤S106，针对多张目标编码图像分别进行特征提取，以得到多张目标编码图像各自对应的特征向量。示例性地，可以采用已有的特征提取模型对多张目标编码图像分别进行特征提取，本公开实施例对特征提取模型的结构不进行限制，诸如，可以采用Lenet5模型等较为轻量的模型进行特征提取，从而进一步降低运算成本，提升特征提取效率。

步骤S108，基于多张目标编码图像各自对应的特征向量，得到目标图像对应的目标特征向量。在一些实施方式中，可以将基于多张目标编码图像各自对应的特征向量进行拼接处理，得到目标图像对应的目标特征向量。通过上述方式，目标特征向量融合有不同目标编码图像对应的特征向量，能够更为丰富全面地呈现出图像特征。

上述特征提取方式较为简便，所需运算量较小，因此可较好地提升特征提取效率，而且通过连续多次执行目标操作的方式，可以较为有效地提取出丰富的图像特征，有效保障图像特征的提取效果。

如前所述，在步骤S104中，每次目标操作都需要针对该次目标操作对应的待处理图像先后执行编码操作和梯度图生成操作，为了较好地保障编码效果以及梯度图生成效果，本公开实施例提出了新的编码方式及新的梯度图生成方式，为便于理解，本公开实施例对编码操作和梯度图生成操作分别进行阐述说明：

(一)编码操作

对于每次目标操作，基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像的步骤，可以参照如下步骤A～步骤C执行：

步骤A，将该次目标操作对应的待处理图像划分为多个像素块，并获取每个像素块的像素信息。示例性地，待处理图像划分所得的像素块均包含M*N个像素，M和N均为预设的正整数，M与N的大小相同或不同。为便于处理，示例性地，M与N的大小相同，均可以为2，也即将待处理图像划分为多个尺寸为2*2的像素块。

步骤B，基于每个像素块的像素信息及预设的映射关系，确定每个像素块对应的编码值；其中，映射关系用于指示具有不同像素信息的多个像素块分别与多个预设编码值之间的对应关系。示例性地，可以参照下表1所示的像素块与编码值的映射关系：

表1

在表1中，以2*2的像素块为例进行示例，呈现出不同像素块与编码值的映射关系，不同像素块对应的编码值不同，以上仅为一种示例，在实际应用中，可灵活设置映射关系，在此不进行限制。

步骤C，基于每个像素块对应的编码值，得到该次目标操作对应的编码图像。对于每次目标操作，该次目标操作对应的编码图像中所包含像素的数量等于该次目标操作对应的待处理图像划分所得的像素块的数量。也即，将每个像素块作为编码图像中的一个新的像素点，从而有效缩小编码图像的尺寸。

相比于相关编码技术，本公开实施例提供的上述编码方式，可以将像素块视为一个新的像素点，并通过编码值表征该像素点，且基于编码值可直接映射得到原像素块的信息，因此不会损失原图的完整信息。另外，通过上述编码，可以有效缩小图像尺寸，若将待处理图像划分为2*2的像素块，则通过上述编码方式可将待处理图像缩小4倍，且仍携带有待处理图像的完整信息。

(二)梯度图生成操作

对于每次目标操作，基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像的步骤，包括：对于预设的多个方向中的每个方向，针对该次目标操作对应的编码图像生成该方向对应的梯度图像，以基于每个方向分别对应的梯度图像得到该次目标操作对应的多张梯度图像。在一些具体的实施示例中，预设的多个方向一共有8个方向，分别为：左、左上、上、右上、右、右下、下、左下。此外，在实际应用中，预设的多个方向还可以为上、下、左、右等4个方向，具体可根据需求灵活预设多个方向，在此不进行限制。通过获取每个方向对应的梯度图像，有助于较为全面地得到编码图像中不同方向的纹理信息。

具体的，对于每次目标操作，针对该次目标操作对应的编码图像生成该方向对应的梯度图像的步骤，可以参照如下步骤(1)～步骤(3)执行：

步骤(1)，对于该次目标操作对应的编码图像中的每个目标像素，获取该目标像素的自身编码值，以及获取该目标像素在编码图像中该方向上对应的关联编码值。具体的，获取该目标像素在编码图像中该方向上对应的关联编码值时，可以参照如下步骤1、步骤2a或步骤2b执行：

步骤1，查找编码图像中是否存在该目标像素在该方向上的邻接像素；若不存在，执行步骤2a，若存在，则执行步骤2b。对于编码图像中的边缘像素而言，可能不存在特定方向上的邻接像素，诸如，对于编码图像中位于左侧边缘的目标像素，则该目标像素不存在左方向、左上方向、左下方向的邻接像素，位于编码图像中左侧边缘的首个像素(也即左上角顶点的像素)，除了不存在左方向、左上方向、左下方向的邻接像素之外，还不存在上方向的邻接像素。

步骤2a，确定该目标像素在编码图像中的关联编码值为0。

步骤2b，将该目标像素在该方向上的邻接像素的编码值作为该目标像素的关联编码值。也即，对于每个方向，倘若该目标像素在该方向上不存在邻接像素，则认为该目标像素在编码图像中的该方向上对应的关联编码值为0；若该目标像素在该方向上存在邻接像素，则将邻接像素的编码值作为该目标像素的关联编码值。

步骤(2)，基于该目标像素对应的自身编码值以及该目标像素在该方向上对应的关联编码值，确定该目标像素在该方向上对应的像素梯度值。在实际应用中，可以比较自身编码值与关联编码值的大小，从而基于大小比较结果确定像素梯度值。示例性地，在该目标像素对应的自身编码值大于该目标像素在该方向上对应的关联编码值的情况下，确定该目标像素对应的像素梯度值为1；在该目标像素对应的自身编码值不大于该目标像素在该方向上对应的关联编码值的情况下，确定该目标像素对应的像素梯度值为0。

步骤(3)，基于该次目标操作对应的编码图像中的各目标像素在该方向上对应的像素梯度值，得到该次目标操作对应的编码图像在该方向上对应的梯度图像。梯度图像中的每个像素值即为前述像素梯度值，取值为0或1。

为便于理解，可以参照表2所示的一种基于编码图生成多张梯度图的示例：

表2

如上表2所示，以编码图是3*3大小进行简单示例，对于左方向梯度图而言，编码图中位于左侧边缘的3个像素(也即第一列像素，编码值分别为3、1和5)都不存在左侧的邻接像素，因此视为其在左侧方向的关联编码值均为0，左侧边缘的像素均大于相应的关联编码值(0)，因此各自对应的像素梯度值均为1，也即左方向梯度图的第一列像素值均为1。对于编码图中第一行第二列的像素(编码值为2)而言，其在左侧方向的关联编码值为3，也即自身编码值小于关联编码值，因此其对应的像素梯度值为0，也即左方向梯度图中第一行第二列的像素值为0。另外，对于编码图中位于第2行第2列的像素(编码值为9)而言，位于其左上方向处的邻接像素(也即第1行第1列的像素)的编码值为3，也即第2行第2列的像素的自身编码值大于其在左上方向的邻接像素的编码值，因此，左上方向梯度图中第2行第2列的像素值为1。以上仅为简单示例，在此不再逐一说明，通过前述方式，可以得到编码图对应的多张不同方向的梯度图，不同方向的梯度图可以较为全面地呈现出不同方向的纹理信息。

示例性地，参见图2所示的一种图像特征的提取方法的流程示意图，主要包括如下步骤S202～步骤S218：

步骤S202，获取待提取特征的目标图像。示例性地，目标图像的尺寸可以调整为224*224。

步骤S204，将目标图像转换为二值图像。

步骤S206，对二值图像执行第一次编码操作，得到第一编码图。具体编码操作可参照前述相关内容，在此不再赘述，示例性地，在编码时可以将二值图像按照2*2像素块进行划分，将每2*2像素块视为第一编码图中的新像素点，从而有效将二值图像的尺寸缩小了4倍，得到第一编码图的尺寸为112*112。

步骤S208，基于第一编码图执行第一梯度图生成操作，以得到八个方向的梯度图像。梯度图生成操作可参照前述相关内容，在此不再赘述。八个方向的梯度图像的尺寸分别为112*112。

步骤S210，基于第一编码图对应的八个方向的梯度图像分别执行第二编码操作，得到八张第二编码图。如若将梯度图像按照2*2像素块进行划分，最后所得的第二编码图的尺寸为64*64。

步骤S212，针对八张第二编码图中的每张第二编码图分别执行第二梯度图生成操作，以得到每张第二编码图分别对应的八个方向的梯度图像。此时的梯度图像的尺寸分别为64*64。

步骤S214，针对由八张第二编码图生成的六十四张梯度图执行第三编码操作，得到六十四张目标编码图像。第三编码操作仍旧可按照2*2像素块进行划分，进一步缩小目标编码图像的尺寸。

步骤S216，将六十四张目标编码图像输入至预设的特征提取模型中，以得到六十四张目标编码图各自对应的目标特征向量。

步骤S218，将六十四张目标编码图各自对应的目标特征向量进行拼接处理，得到所述目标图像对应的目标特征向量。

其中，上述步骤中的第一编码操作及第一梯度图生成操作可组合视为执行第一次目标操作，第二编码操作及第二梯度图生成操作可组合视为执行第二次目标操作。以上仅为示例性说明，在实际应用中，还可以执行大于两次编码操作，可根据诸如图像尺寸等具体情况灵活设置，在此不进行限制。上述第一编码操作、第二编码操作和第三编码操作均可采用本公开实施例提供的前述编码操作实现，第一梯度图生成操作和第二梯度图生成操作均可采用本公开实施例提供的前述梯度图生成操作实现，在此不再赘述。

上述图像特征的提取方式，相比于相关技术中采用卷积、池化或者复杂的特征提取方式而言，更为简便，舍弃了传统所采用的卷积乘权加偏的特征提取方式，而是对图像进行像素块编码且结合多方向梯度图，通过层层计算的方式(也即执行多次目标操作)，达到压缩图像并提取出较为丰富的图像特征的效果，这种方式可减少了学习参数，所需运算量较小，因此可较好地提升特征提取效率，而且通过连续多次执行目标操作的方式，可以较为有效地提取出丰富的图像特征，较好地保障图像特征的提取效果。

在前述基础上，本公开实施例还提供了一种图像处理方法，参见图3所示的一种图像处理方法的流程示意图，主要包括如下步骤S302～步骤S306：

步骤S302，获取待识别图像，并从待识别图像中确定目标对象区域。

待识别图像可以是包含有目标对象的图像，本公开实施例对目标对象不进行限制，诸如，目标对象可以为教学道具，待识别图像可以是针对用户拿取/摆放的教学道具进行拍摄所得的图像，在实际应用中，可以根据应用场景或目标对象的类别而自适应采用不同的目标对象区域的检测方式，在此不进行限制。在一些具体的实施示例中，目标对象可以为实体卡牌，用户可基于电子设备(学习机、平板电脑等)显示的多媒体信息，采用实体卡牌进行线下作答。诸如，针对电子设备显示的题目信息，用户拿取相应的答案卡牌并放置在指定位置上供电子设备识别。在此基础上，待识别图像是电子设备的摄像头针对实体卡牌进行拍摄所得的图像，且实体卡牌是用户针对电子设备展示的当前题目而在指定区域处放置的卡牌；目标对象区域包括卡牌区域；其中，指定区域处可放置纯色底板(诸如白色底板)，此时实体卡牌放置在纯色底板上。

本公开实施例对确定目标对象区域的方式不进行限制，示例性地，可以通过对象检测模型的方式检测得到目标对象区域。此外，倘若目标对象为实体卡牌，且实体卡牌放置在纯色底板上，为了能够高效准确地识别出目标对象区域，也可以对待识别图像进行二值化操作，包括但不限于大津法等二值化方式，从而高效地从拍摄所得的具有纯色背景的待识别图像中确定卡牌区域坐标，诸如可将二值图中最大的连通域作为卡牌区域。

步骤S304，基于目标对象区域得到待提取特征的目标图像，并获取目标图像对应的目标特征向量；其中，目标特征向量是采用前述图像特征的提取方法得到的，在此不再赘述。在实际应用中，可以直接将目标图像中的目标对象区域进行裁剪得到目标图像，也可以针对目标对象区域进行矫正处理、镜像处理等，从而得到目标图像，后续只需针对目标图像进行特征提取即可。

步骤S306，基于目标图像对应的目标特征向量，执行预设的处理操作。本公开实施例对处理操作不进行限制，具体可基于应用场景确定，诸如，基于目标特征向量进行内容识别、优化调整等，在此不进行限制。

综上，采用前述图像特征的提取方法可以高效且可靠地提取所需的目标对象区域相应的特征，从而有效保障后续的处理操作的及时性和可靠性。

在一些实施方式中，考虑到摄像头拍摄角度等问题，会导致目标图像中的目标对象区域与目标图像中真实目标对象区域的形状存在一定的差异，诸如，原本为矩形的目标对象区域在目标图像中却呈现为梯形。为了有效保障目标图像的可靠性，在前述步骤S304中基于目标对象区域得到待提取特征的目标图像的步骤，可以参照如下步骤a～步骤c执行：

步骤a，获取目标对象区域在待识别图像中的最小外接四边形的多个顶点，该多个顶点可以是最小外接四边形的四个顶点。在实际应用中，目标对象区域可能是矩形区域，也可能是多边形区域或者不规则形状，为了便于后续处理，可以仅获取目标对象区域的最小外接四边形的四个顶点，诸如，最小外接四边形的多个顶点可以为目标对象区域的最左上顶点、最右上顶点、最左下顶点、最右下顶点。

步骤b，基于多个顶点进行映射变换处理，以将最小外接四边形变换为目标矩形。示例性地，最小外接四边形区域左上顶点、右上顶点、右下顶点、左下顶点坐标依次为[x1,y1],[x2,y2],[x3,y3],[x4,y4]，则将其进行变换得到矩形坐标依次为：[0,0],[w,0],[w,h],[0,h]，其中，w值和h值分别为基于最小外接四边形区域对应的四个顶点所确定的最大宽度和最大高度。

步骤c，基于目标矩形在待识别图像中的区域，得到待提取特征的目标图像。诸如，可将目标矩形在待识别图像中的区域裁剪出来，得到目标图像。通过这种方式，便于后续直接针对符合所需格式的目标图像进行处理。

在一些应用场景中，待识别图像是电子设备的摄像头针对实体卡牌进行拍摄所得的图像，且实体卡牌是用户针对电子设备展示的当前题目而在指定区域处放置的卡牌；目标对象区域包括卡牌区域；在此基础上，步骤S306可以参照如下步骤执行：获取当前题目对应的答案特征向量；获取目标图像对应的目标特征向量与当前题目对应的答案特征向量之间的相似度，以根据相似度确定用户针对当前题目的作答结果。示例性地，可通过计算目标图像对应的目标特征向量与当前题目对应的答案特征向量之间的欧式距离的方式衡量相似度，距离越小，相似度越大。通过比对目标图像对应的目标特征向量与当前题目对应的答案特征向量，可以分析用户放置的实体卡牌是否为当前题目的答案卡牌，从而判别用户是否作答正确。由于目标图像的目标特征向量是采用前述图像特征的提取方法得到的，不仅高效，而且可靠，有助于后续能够及时且可靠地获得用户的作答结果，并通过电子设备针对用户的作答结果显示的多媒体信息与用户互动，提升用户的学习兴趣。

参见图4所示的一种图像处理方法的流程示意图，主要包括如下步骤S402～步骤S410：

步骤S402，通过电子设备的摄像头采集待识别图像，并从待识别图像中确定卡牌区域。在实际应用中，为了便于摄像头拍摄得到实体卡牌的内容，电子设备可以配置有镜面部件，镜面部位的位置与电子设备的摄像头的位置相关，具体的，镜面部位的镜面位于摄像头的视野范围内，且放置在指定区域的实体卡牌可在镜面部位的镜面处成像，从而使得摄像头可通过镜面获取到包含有实体卡牌的画面内容的待识别图像。此外，实体卡牌可以放置在纯色底板上，因此待识别图像也是以纯色底板为背景的图像。

步骤S404，获取卡牌区域在待识别图像中的最小外接四边形的四个顶点，基于多个顶点进行映射变换处理，以将最小外接四边形变换为目标矩形，得到校正后的卡牌区域。通过上述方式，可以将因拍摄角度问题所得的梯形样式的卡片区域校正为标准的矩形区域，更便于后续处理，且可进一步保障后续针对卡片区域进行特征提取的可靠性。

步骤S406，基于校正后的卡牌区域得到待提取特征的卡牌图像，并获取卡牌图像对应的目标特征向量。具体可采用本公开实施例提供的前述图像特征的提取方式，在此不再赘述。

步骤S408，获取当前题目对应的答案特征向量，并获取卡牌图像对应的目标特征向量与当前题目对应的答案特征向量之间的相似度。

步骤S410，根据相似度判别用户放置的卡牌图像是否正确，以基于判别结果得到用户的作答结果，并在电子设备上展示用户的作答结果对应的多媒体信息。

通过与答案特征向量进行比对的方式，能够准确地判别用户放置的卡牌是否正确，也即得到用户的作答结果，并可进一步通过电子设备针对用户的作答结果显示的多媒体信息与用户互动，从而提升用户的学习兴趣。由于获取卡牌图像对应的目标特征向量是采用前述图像特征的提取方式，非常高效且可靠，也进一步提升了电子设备与用户进行互动的效率和可靠性。

对应于前述图像特征的提取方法，本公开实施例还提供了一种图像特征的提取装置，图5为本公开实施例提供的一种图像特征的提取装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图5所示，图像特征的提取装置500包括：

图像获取模块502，用于获取待提取特征的目标图像；

操作执行模块504，用于基于目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；其中，每次目标操作包括：基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像，并基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像；且，首次目标操作对应的待处理图像是基于目标图像得到的，非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像；

特征提取模块506，用于针对多张目标编码图像分别进行特征提取，以得到多张目标编码图像各自对应的特征向量；

向量获得模块508，用于基于多张目标编码图像各自对应的特征向量，得到目标图像对应的目标特征向量。

上述特征提取装置较为简便，所需运算量较小，因此可较好地提升特征提取效率，而且通过连续多次执行目标操作的方式，可以较为有效地提取出丰富的图像特征，有效保障图像特征的提取效果。

在一些实施方式中，所述操作执行模块504具体用于：将所述目标图像转换为二值图像；基于所述二值图像执行预设次数的目标操作；其中，所述首次目标操作对应的待处理图像为所述二值图像。

在一些实施方式中，所述操作执行模块504具体用于：将该次目标操作对应的待处理图像划分为多个像素块，并获取每个所述像素块的像素信息；基于每个所述像素块的像素信息及预设的映射关系，确定每个所述像素块对应的编码值；其中，所述映射关系用于指示具有不同像素信息的多个像素块分别与多个预设编码值之间的对应关系；基于每个所述像素块对应的编码值，得到该次目标操作对应的编码图像。

在一些实施方式中，所述待处理图像划分所得的像素块均包含M*N个像素，M和N均为预设的正整数，M与N的大小相同或不同；该次目标操作对应的编码图像中所包含像素的数量等于该次目标操作对应的待处理图像划分所得的像素块的数量。

在一些实施方式中，所述操作执行模块504具体用于：对于预设的多个方向中的每个方向，针对该次目标操作对应的编码图像生成该方向对应的梯度图像，以基于每个方向分别对应的梯度图像得到该次目标操作对应的多张梯度图像。

在一些实施方式中，所述操作执行模块504具体用于：对于该次目标操作对应的编码图像中的每个目标像素，获取该目标像素的自身编码值，以及获取该目标像素在所述编码图像中该方向上对应的关联编码值；基于该目标像素对应的自身编码值以及该目标像素在该方向上对应的关联编码值，确定该目标像素在该方向上对应的像素梯度值；基于该次目标操作对应的编码图像中的各目标像素在该方向上对应的像素梯度值，得到该次目标操作对应的编码图像在该方向上对应的梯度图像。

在一些实施方式中，所述操作执行模块504具体用于：查找所述编码图像中是否存在该目标像素在该方向上的邻接像素；若不存在，则确定该目标像素在所述编码图像中的关联编码值为0；若存在，则将该目标像素在该方向上的邻接像素的像素值作为该目标像素的关联编码值。

在一些实施方式中，所述操作执行模块504具体用于：在该目标像素对应的自身编码值大于该目标像素在该方向上对应的关联编码值的情况下，确定该目标像素对应的像素梯度值为1；在该目标像素对应的自身编码值不大于该目标像素在该方向上对应的关联编码值的情况下，确定该目标像素对应的像素梯度值为0。

在一些实施方式中，所述向量获得模块508具体用于：将基于所述多张目标编码图像各自对应的特征向量进行拼接处理，得到所述目标图像对应的目标特征向量。

本公开实施例所提供的图像特征的提取装置可执行本公开任意实施例所提供的图像特征的提取方法，具备执行方法相应的功能模块和有益效果。

对应于前述图像处理方法，本公开实施例还提供了一种图像处理装置，图6为本公开实施例提供的一种图像处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图6所示，图像处理装置600包括：

区域确定模块602，用于获取待识别图像，并从待识别图像中确定目标对象区域；

特征获取模块604，用于基于目标对象区域得到待提取特征的目标图像，并获取目标图像对应的目标特征向量；其中，目标特征向量是采用前述图像特征的提取方法得到的；

图像处理模块606，用于基于目标图像对应的目标特征向量，执行预设的处理操作。

上述图像处理装置采用前述图像特征的提取方式可以高效且可靠地提取所需的目标对象区域相应的特征，从而有效保障后续的处理操作的及时性和可靠性。

在一些实施方式中，所述特征获取模块604具体用于：获取所述目标对象区域在所述待识别图像中的最小外接四边形的多个顶点；基于所述多个顶点进行映射变换处理，以将所述最小外接四边形变换为目标矩形；基于所述目标矩形在所述待识别图像中的区域，得到待提取特征的目标图像。

在一些实施方式中，所述待识别图像是电子设备的摄像头针对实体卡牌进行拍摄所得的图像，且所述实体卡牌是用户针对所述电子设备展示的当前题目而在指定区域处放置的卡牌；所述目标对象区域包括卡牌区域；所述图像处理模块606具体用于：获取所述当前题目对应的答案特征向量；获取所述目标图像对应的目标特征向量与所述当前题目对应的答案特征向量之间的相似度，以根据所述相似度确定所述用户针对所述当前题目的作答结果。

本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置实施例的具体工作过程，可以参考方法实施例中的对应过程，在此不再赘述。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。

本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的图像特征的提取方法或图像处理方法。所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMa7设备、蜂窝通信设备和/或类似物。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如，在一些实施例中，图像特征的提取方法或图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。在一些实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像特征的提取方法或图像处理方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种图像特征的提取方法，包括：

获取待提取特征的目标图像；

基于所述目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；其中，每次所述目标操作包括：基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像，并基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像；且，首次目标操作对应的待处理图像是基于所述目标图像得到的，非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像；

针对所述多张目标编码图像分别进行特征提取，以得到所述多张目标编码图像各自对应的特征向量；

基于所述多张目标编码图像各自对应的特征向量，得到所述目标图像对应的目标特征向量。

2.如权利要求1所述的图像特征的提取方法，其中，所述基于所述目标图像执行预设次数的目标操作的步骤，包括：

将所述目标图像转换为二值图像；

基于所述二值图像执行预设次数的目标操作；其中，所述首次目标操作对应的待处理图像为所述二值图像。

3.如权利要求1所述的图像特征的提取方法，其中，所述基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像的步骤，包括：

将该次目标操作对应的待处理图像划分为多个像素块，并获取每个所述像素块的像素信息；

基于每个所述像素块的像素信息及预设的映射关系，确定每个所述像素块对应的编码值；其中，所述映射关系用于指示具有不同像素信息的多个像素块分别与多个预设编码值之间的对应关系；

基于每个所述像素块对应的编码值，得到该次目标操作对应的编码图像。

4.如权利要求3所述的图像特征的提取方法，其中，所述待处理图像划分所得的像素块均包含M*N个像素，M和N均为预设的正整数，M与N的大小相同或不同。

5.如权利要求1所述的图像特征的提取方法，其中，所述基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像的步骤，包括：

对于预设的多个方向中的每个方向，针对该次目标操作对应的编码图像生成该方向对应的梯度图像，以基于每个方向分别对应的梯度图像得到该次目标操作对应的多张梯度图像。

6.如权利要求5所述的图像特征的提取方法，其中，所述针对该次目标操作对应的编码图像生成该方向对应的梯度图像的步骤，包括：

对于该次目标操作对应的编码图像中的每个目标像素，获取该目标像素的自身编码值，以及获取该目标像素在所述编码图像中该方向上对应的关联编码值；

基于该目标像素对应的自身编码值以及该目标像素在该方向上对应的关联编码值，确定该目标像素在该方向上对应的像素梯度值；

基于该次目标操作对应的编码图像中的各目标像素在该方向上对应的像素梯度值，得到该次目标操作对应的编码图像在该方向上对应的梯度图像。

7.如权利要求6所述的图像特征的提取方法，其中，所述获取该目标像素在所述编码图像中该方向上对应的关联编码值的步骤，包括：

查找所述编码图像中是否存在该目标像素在该方向上的邻接像素；

若不存在，则确定该目标像素在所述编码图像中的关联编码值为0；

若存在，则将该目标像素在该方向上的邻接像素的编码值作为该目标像素的关联编码值。

8.如权利要求6所述的图像特征的提取方法，其中，所述基于该目标像素对应的自身编码值以及该目标像素在该方向上对应的关联编码值，确定该目标像素在该方向上对应的像素梯度值的步骤，包括：

在该目标像素对应的自身编码值大于该目标像素在该方向上对应的关联编码值的情况下，确定该目标像素对应的像素梯度值为1；

在该目标像素对应的自身编码值不大于该目标像素在该方向上对应的关联编码值的情况下，确定该目标像素对应的像素梯度值为0。

9.如权利要求1所述的图像特征的提取方法，其中，所述基于所述多张目标编码图像各自对应的特征向量，得到所述目标图像对应的目标特征向量的步骤，包括：

将基于所述多张目标编码图像各自对应的特征向量进行拼接处理，得到所述目标图像对应的目标特征向量。

10.一种图像处理方法，包括：

获取待识别图像，并从所述待识别图像中确定目标对象区域；

基于所述目标对象区域得到待提取特征的目标图像，并获取所述目标图像对应的目标特征向量；其中，所述目标特征向量是采用权利要求1至9任一项所述的图像特征的提取方法得到的；

基于所述目标图像对应的目标特征向量，执行预设的处理操作。

11.如权利要求10所述的图像处理方法，其中，所述基于所述目标对象区域得到待提取特征的目标图像的步骤，包括：

获取所述目标对象区域在所述待识别图像中的最小外接四边形的多个顶点；

基于所述多个顶点进行映射变换处理，以将所述最小外接四边形变换为目标矩形；

基于所述目标矩形在所述待识别图像中的区域，得到待提取特征的目标图像。

12.如权利要求10所述的图像处理方法，其中，所述待识别图像是电子设备的摄像头针对实体卡牌进行拍摄所得的图像，且所述实体卡牌是用户针对所述电子设备展示的当前题目而在指定区域处放置的卡牌；所述目标对象区域包括卡牌区域；

所述基于所述目标图像对应的目标特征向量，执行预设的处理操作的步骤，包括：

获取所述当前题目对应的答案特征向量；

获取所述目标图像对应的目标特征向量与所述当前题目对应的答案特征向量之间的相似度，以根据所述相似度确定所述用户针对所述当前题目的作答结果。

13.一种图像特征的提取装置，包括：

图像获取模块，用于获取待提取特征的目标图像；

操作执行模块，用于基于所述目标图像执行预设次数的目标操作，并针对最后一次目标操作所得的多张梯度图像执行编码操作，以得到多张目标编码图像；其中，每次所述目标操作包括：基于该次目标操作对应的待处理图像执行编码操作，以得到该次目标操作对应的编码图像，并基于该次目标操作对应的编码图像执行梯度图生成操作，以得到该次目标操作对应的多张梯度图像；且，首次目标操作对应的待处理图像是基于所述目标图像得到的，非首次目标操作对应的待处理图像为前一次目标操作对应的梯度图像；

特征提取模块，用于针对所述多张目标编码图像分别进行特征提取，以得到所述多张目标编码图像各自对应的特征向量；

向量获得模块，用于基于所述多张目标编码图像各自对应的特征向量，得到所述目标图像对应的目标特征向量。

14.一种图像处理装置，包括：

区域确定模块，用于获取待识别图像，并从所述待识别图像中确定目标对象区域；

特征获取模块，用于基于所述目标对象区域得到待提取特征的目标图像，并获取所述目标图像对应的目标特征向量；其中，所述目标特征向量是采用权利要求1至9任一项所述的图像特征的提取方法得到的；

图像处理模块，用于基于所述目标图像对应的目标特征向量，执行预设的处理操作。

15.一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-9中任一项所述的图像特征的提取方法或者权利要求10-12中任一项所述的图像处理方法。