CN117952928A - 图像处理方法及装置 - Google Patents

Abstract

本公开提供一种图像处理方法及装置，其中该方法包括：获取待处理的目标图像；检测所述目标图像中的目标区域的关键点信息；所述关键点信息包括所述关键点的位置信息以及所述关键点所在边缘线条的信息；在所述目标区域当前存在被遮挡的目标角点的情况下，根据所述目标角点的数量和所述关键点信息预测所述目标角点的位置信息；基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息，针对所述目标区域执行目标操作。本公开在目标区域存在遮挡的情况下，也能够较准确地确定目标区域，进一步有效保障针对目标区域执行目标操作的可靠性。

Description

图像处理方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法及装置。

背景技术

在一些图像处理场景中需要对图像中的目标区域进行检测，诸如，针对图像中的卡牌区域进行检测，以便对目标区域进行后续处理。但是，发明人经研究发现，在一些目标区域被部分遮挡的场景中，相关技术难以准确可靠地检测到目标区域，经常会出现目标区域检测失败等问题，进而对与目标区域相关的后续处理操作带来不良影响。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法及装置。

根据本公开的一方面，提供了一种图像处理方法，包括：获取待处理的目标图像；检测所述目标图像中的目标区域的关键点信息；所述关键点信息包括所述关键点的位置信息以及所述关键点所在边缘线条的信息；在所述目标区域当前存在被遮挡的目标角点的情况下，根据所述目标角点的数量和所述关键点信息预测所述目标角点的位置信息；基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息，针对所述目标区域执行目标操作。

根据本公开的另一方面，提供了一种图像处理装置，包括：图像获取模块，用于获取待处理的目标图像；关键点检测模块，用于检测所述目标图像中的目标区域的关键点信息；所述关键点信息包括所述关键点的位置信息以及所述关键点所在边缘线条的信息；目标角点预测模块，用于在所述目标区域当前存在被遮挡的目标角点的情况下，根据所述目标角点的数量和所述关键点信息预测所述目标角点的位置信息；操作执行模块，用于基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息，针对所述目标区域执行目标操作。

本公开实施例中提供的上述技术方案，能够首先检测目标图像中的目标区域的关键点信息(包括关键点的位置信息以及关键点所在边缘线条的信息)，并在目标区域当前存在被遮挡的目标角点的情况下，根据目标角点的数量和关键点信息预测目标角点的位置信息，从而基于检测到的目标区域的关键点的位置信息以及预测到的目标角点的位置信息，针对目标区域执行目标操作。上述方式在目标区域存在遮挡的情况下，也可以利用已检测到的关键点信息对目标区域被遮挡的角点的位置进行预测，从而能够较准确地确定目标区域，进一步有效保障针对目标区域执行目标操作的可靠性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种图像处理方法的流程示意图；

图2为本公开实施例提供的一种检测模型的结构示意图；

图3为本公开实施例提供的一种目标图像示意图；

图4为本公开实施例提供的一种目标图像示意图；

图5为本公开实施例提供的一种目标图像示意图；

图6为本公开实施例提供的一种目标图像示意图；

图7为本公开实施例提供的一种目标图像示意图；

图8为本公开实施例提供的一种图像处理装置的结构示意图；

图9为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本公开使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

图1为本公开实施例提供的一种图像处理方法的流程示意图，该方法可以由图像处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法主要包括如下步骤S102～步骤S108：

步骤S102，获取待处理的目标图像。

目标图像可以为包含有待检测的目标区域的图像，目标区域可以为几何区域，几何区域诸如可以为三角形、四边形等具有角点及边缘线条的图形区域。在一些实施示例中，可以针对用户摆放的卡牌进行拍照，得到目标图像，此时目标图像中的目标区域即为卡牌区域。

步骤S104，检测目标图像中的目标区域的关键点信息；关键点信息包括关键点的位置信息以及关键点所在边缘线条的信息。

在一些实施示例中，利用预设的检测模型检测目标图像中的目标区域的关键点信息。本公开实施例对检测模型不进行限制，任何可以检测到目标区域的关键点的模型均可，为了保障关键点信息的检测准确性，本公开实施例提供了一种检测模型，示例性地，参见图2所示的一种检测模型的结构示意图，检测模型包括依次连接的多尺度特征提取网络及路径聚合网络，借助多尺度特征提取网络可以提取多种尺度的图像特征，路径聚合网络可基于多种尺度的图像特征进一步融合处理，以此得到更为丰富的深层特征。此外，路径聚合网络之后可进一步连接预测头网络等其它网络，最后输出目标区域的关键点信息。在实际应用中，关键点可以为目标区域的角点或目标区域与其它对象的交点，角点也即目标区域的两条边缘线条的交点，诸如，四边形的四个顶角均为角点；目标区域可能被遮挡物部分遮挡，诸如，卡牌被手臂、橡皮、杯子等物品部分遮挡，则拍摄所得的目标图像中的目标区域存在与其它对象(遮挡物)之间的交点。关键点所在边缘线条的信息可以包含关键点所在边缘线条的角度信息或斜率信息等。

步骤S106，在目标区域当前存在被遮挡的目标角点的情况下，根据目标角点的数量和关键点信息预测目标角点的位置信息。

在一些实施方式中，可以预先根据目标区域的形状确定目标区域的所有角点类别，诸如，以目标区域为四边形为例，则包含左上角顶点、右上角顶点、左下角顶点、右下角顶点，基于检测到的目标区域的关键点信息，即可确定当前未检测到的目标角点，未检测到的目标角点或者检测结果缺失的目标角点即视为被遮挡的目标角点。在另一些实施方式中，还可以在检测到目标图像中存在遮挡物区域，且遮挡物区域与目标区域存在部分重合，且重合区域遮挡目标区域的角点，则将被重合区域遮挡的角点作为被遮挡的目标角点。在确定目标区域当前存在被遮挡的目标角点的情况下，则可以进一步基于被遮挡的目标角点的数量以及已检测到的关键点信息，采取不同的策略，从而预测目标角点的位置。

步骤S108，基于检测到的目标区域的关键点的位置信息以及预测到的目标角点的位置信息，针对目标区域执行目标操作。基于检测到的目标区域的关键点的位置信息以及预测到的目标角点的位置信息，即可准确确定目标图像中的目标区域，进而可针对目标区域执行目标操作，本公开实施例对目标操作不进行限制，示例性地，目标操作可以为矫正操作，诸如将因拍摄角度导致成像畸变的目标区域进行矫正；目标操作也可以为识别操作，诸如识别目标区域中的内容信息，目标操作还可以为追踪操作等，在此不进行限制。

在一些实施示例中，目标区域可以为卡牌区域，目标图像是针对卡牌进行拍摄所得的图像，考虑到拍摄角度问题，原本为矩形的卡牌在目标图像中的成像区域(也即目标区域)呈现为梯形等四边形，在此基础上，目标操作包括矫正操作，具体的，可以基于检测到的目标区域的关键点的位置信息以及预测到的目标角点的位置信息进行映射变换处理，以将目标区域矫正为矩形，更便于后续处理。

综上，上述方式在目标区域存在遮挡的情况下，也可以利用已检测到的关键点信息对目标区域被遮挡的角点的位置进行预测，从而能够较准确地确定目标区域，进一步有效保障针对目标区域执行目标操作的可靠性。

前述步骤S106，也即根据目标角点的数量和关键点信息预测目标角点的位置信息的步骤，可以参照如下步骤A和步骤B执行：

步骤A，根据目标角点的数量，确定目标角点对应的关联关键点。在一些实施示例中，目标区域为四边形，且关联关键点与目标角点共同位于目标区域中的一条边缘线条上。可以理解的是，为了能够准确可靠地确定目标角点的位置，在本公开实施例中，被遮挡的目标角点的数量不同，确定目标角点的关联关键点的方式不同。以下进行示例性说明。

示例性地，在目标角点的数量为一个的情况下，或者，在目标角点的数量为两个且两个目标角点不位于相同的边缘线条上的情况下，每个目标角点对应的关联关键点包括该目标角点所在的两条边缘线条上已检测到的角点。为便于理解，可以参照图3和图4分别所示的一种目标图像示意图，图3和图4中的卡牌区域即为目标区域，其四个角点分别为：左上角顶点A、右上角顶点B、右下角顶点C、左下角顶点D，以及四条边缘线条L1、L2、L3、L4。其中，图3中的右下角顶点C由于被手部遮挡，未能被检测到其确切位置，所以作为目标角点。在此基础上，右下角顶点C所在的两条边缘线条L2和L3上已检测到的角点分别为右上角顶点B和左下角顶点D，也即，可确定右下角顶点C的关联关键点为右上角顶点B和左下角顶点D。图4中的左上角顶点A被块状遮挡物(诸如橡皮、卡片等)遮挡，右下角顶点C由于被手部遮挡，未能被检测到其确切位置，所以左上角顶点A和右下角顶点C均作为目标角点，但是左上角顶点A和右下角顶点C不位于相同的边缘线条上，在此基础上，左上角顶点A所在的两条边缘线条L1和L4上已检测到的角点分别为右上角顶点B和左下角顶点D，右下角顶点C所在的两条边缘线条L2和L3上已检测到的角点分别为右上角顶点B和左下角顶点D，也即，可确定左上角顶点A和右下角顶点C的关联关键点均为右上角顶点B和左下角顶点D。

示例性地，在目标角点的数量为两个，两个目标角点共同位于目标边缘线条上，且目标边缘线条被部分遮挡的情况下，每个目标角点对应的关联关键点包括该目标角点所在的边缘线条上已检测到的一个角点，以及目标边缘线条与目标图像中遮挡物区域之间的一个交点。为便于理解，可以参照图5所示的一种目标图像示意图，图5中的左下角顶点D被块状遮挡物遮挡，右下角顶点C由于被手部遮挡，未能被检测到其确切位置，所以左下角顶点D和右下角顶点C均作为目标角点，但是左下角顶点D和右下角顶点C位于相同的边缘线条L3上，边缘线条L3即为目标边缘线条。另外，在图5中示意出块状遮挡物与边缘线条L3的交点D1以及与边缘线条L4的交点D2，手部与边缘线条L3的交点C1以及与边缘线条L2的交点C2，以上交点均为已检测到的关键点。在此情况下，对于左下角顶点D而言，可将其所在的边缘线条L4上已检测到的左上角顶点A以及目标边缘线条L3上的交点D1作为左下角顶点D的关联关键点，对于右下角顶点C而言，可将其所在的边缘线条L2上已检测到的右上角顶点B以及目标边缘线条L3上的交点C1作为右下角顶点C的关联关键点。在实际应用中，在检测目标区域的关键点时，可以将目标区域的顶点(也即角点)以及目标区域与任意障碍物构成的交点都进行检测，此外，除了目标区域的顶点外，也可以仅设置部分需要检测的交点，诸如，检测目标区域的边缘线条上的中间点，分别为：上-左点，上-右点，右-上点，右-下点，左-上点，左-下点，下-左点，下-右点；其中，图5中的D1即为左-下点、C1点即为右-下点、D2即为左-下点、C2即为右-下点，其余不再赘述，换言之，每条边缘线条都会基于边缘线条的朝向而设置上下或左右两个需要检测的交点，此时已足够应用于目标角点预测，无需再额外检测及标注多余的交点，诸如，对于张开的五指而言，可能会在一条边缘线条上形成多个交点，仍旧只需按照前述方式在一条线条上检测所需类型的交点即可；倘若未检测到障碍物及交点，即可确定该边缘线条未被遮挡。

示例性地，在目标角点的数量为两个，两个目标角点共同位于目标边缘线条上，且目标边缘线条被完全遮挡的情况下，每个目标角点对应的关联关键点均包括目标区域中已检测到的第一角点和第二角点。为便于理解，可以参照图6所示的一种目标图像示意图，右上角顶点B、右下角顶点C和边缘线条L2均被长条状的遮挡物(诸如尺子、胳膊等)遮挡，其中，右上角顶点B、右下角顶点C均为目标角点，边缘线条L2即为目标边缘线条，此时，右上角顶点B、右下角顶点C各自对应的关联关键点均为已检测到的左上角顶点A和左下角顶点D。

示例性地，在目标角点的数量为三个，且目标区域的边缘线条被部分遮挡的情况下，每个目标角点对应的关联关键点包括目标区域未被遮挡的关键角点，以及目标区域中的关键边缘线条与目标图像中遮挡物区域之间的至少一个关键交点；其中，关键边缘线条是目标区域中除关键角点所在边缘线条之外的边缘线条。为便于理解，可以参照图7所示的一种目标图像示意图，图7中的右上角顶点B被椭圆状遮挡物遮挡，右下角顶点C由于被手部遮挡，左下角顶点D被块状遮挡物遮挡，均未能被检测到其确切位置，所以右上角顶点B、右下角顶点C及左下角顶点D均作为目标角点，由于目前只检测到一个左上角顶点A，因此右上角顶点B、右下角顶点C及左下角顶点D均需借助左上角顶点A进行预测，左上角顶点A为每个目标角点的关键角点；此外，边缘线条L2和L3为卡牌区域中除关键角点A所在边缘线条(L1和L4)之外的边缘线条，因此边缘线条L2与椭圆状遮挡物之间的交点B2及与手部遮挡物之间的交点C2、边缘线条L3与块状遮挡物之间的交点D1及与手部遮挡物之间的交点C1均可作为关联关键点，不同目标角点对应的关键交点可以相同或不同，诸如，左下角顶点D对应的关键交点为D1，右上角顶点B对应的关键交点为B2，而右下角顶点C对应的关键交点可以为D1和B2，也可以为C1和C2。

步骤B，从关键点信息中提取关联关键点对应的信息，并利用关联关键点对应的信息预测目标角点的位置信息。诸如，提取关联关键点对应的位置信息、关联关键点所在的边缘线条的斜率信息等，从而基于提取出的信息对目标角点的位置进行预测。目标角点不同，关联关键点的信息也不同，采用的预测方式也相应不同。示例性地，以下分别进行阐述说明：

在目标角点的数量为一个的情况下，或者，在目标角点的数量为两个且两个目标角点不位于相同的边缘线条上的情况下，每个目标角点对应的关联关键点包括该目标角点所在的两条边缘线条上已检测到的角点；或者，在目标角点的数量为两个，两个目标角点共同位于目标边缘线条上，且目标边缘线条被部分遮挡的情况下，每个目标角点对应的关联关键点包括该目标角点所在的边缘线条上已检测到的一个角点，以及目标边缘线条与目标图像中遮挡物区域之间的一个交点。也即对应于前述图3～图5所示的情况，步骤B在具体执行时，可以参照如下步骤(1)～步骤(2)执行：

步骤(1)，基于关联关键点的位置信息以及每个关联关键点所在的边缘线条的斜率信息，确定不同关联关键点所在的边缘线条之间的交点信息。

步骤(2)，基于交点信息确定目标角点的位置信息。实质上，不同关联关键点所在的边缘线条的交点即为目标角点的位置。

也即，对于每个目标角点而言，关联关键点的位置信息和关联关键点所在的边缘线条的斜率信息已知时，关联关键点所在的边缘线条可唯一确定，通过不同关联关键点所在的边缘线条之间的交点即可准确确定目标角度的位置。以图3中目标角点是右下角顶点C为例：

假设边缘线条L2上的右上角顶点B位置坐标为(x1，y1)，且边缘线条L2的斜率为m1，则边缘线条L2可通过方程y-y1＝m1(x-x1)表征；

假设边缘线条L3上的左下角顶点D位置坐标为(x2，y2)，且边缘线条L3的斜率为m2，则边缘线条L3可通过方程y-y2＝m2(x-x2)表征。

通过联立边缘线条L2和边缘线条L3的方程，令y1+m1(x-x1)＝y2+m2(x-x2)，即可求解出两条边缘线条的交点C的坐标(x，y)。

其余目标角点的位置坐标也都类似上述方式进行计算，在此不再逐一赘述。

在目标角点的数量为两个，两个目标角点共同位于目标边缘线条上，且目标边缘线条被完全遮挡的情况下，每个目标角点对应的关联关键点均包括目标区域中已检测到的第一角点和第二角点。也即，对应于前述图6所示的情况，步骤B在具体执行时，可以参照如下步骤1～步骤3执行：

步骤1，根据第一角点和第二角点各自的位置信息，以及第一角点和第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定第一角点对应的第一目标比例以及第二角点对应的第二目标比例。在一些实施示例中，可以根据预设的多种四边形信息、第一角点和第二角点各自的位置信息，以及第一角点和第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定第一角点对应的第一目标比例以及第二角点对应的第二目标比例；其中，四边形信息用于指示目标矩形的长宽比例信息以及畸变后的目标矩形的不同边之间的夹角信息与长度比例信息。可以理解的是，由于拍摄角度的问题，目标区域可能会出现畸变，也即目标区域的实际形状可能与目标区域的成像形状不一致，诸如，原本为矩形的卡牌被拍摄后所得的卡牌区域呈现为梯形。本公开实施例可以考虑到目标矩形的长宽比例，以及考虑到不同角度拍摄所得的畸变后的目标矩形呈现的各个边之间的夹角以及长度比例等信息，其中，目标矩形可基于目标区域对应的对象确定，诸如，目标区域为卡牌区域，则目标矩形即为卡牌；通过上述方式，可以较为可靠地估测不同边之间的长度比例。为了进一步提升准确性，可以根据第一角点和第二角点各自的位置信息，以及第一角点和第二角点共同所在的公共边缘线条的斜率信息及长度信息、第一角点所在的除公共边缘线条之外的第一边缘线条的斜率信息、第二角点所在的除公共边缘线条之外的第二边缘线条的斜率信息，可靠地确定第一角点对应的第一目标比例以及第二角点对应的第二目标比例。

步骤2，基于第一目标比例和公共边缘线条的长度信息，确定第一角点所在的除公共边缘线条之外的第一边缘线条的长度信息，并根据第一边缘线条的斜率信息及长度信息，确定位于第一边缘线条上的目标角点的位置信息。

步骤3，基于第二目标比例和公共边缘线条的长度信息，确定第二角点所在的除公共边缘线条之外的第二边缘线条的长度信息，并根据第二边缘线条的斜率信息及长度信息，确定位于第二边缘线条上的目标角点的位置信息。

通过上述方式，即便一条边缘线条(诸如L2)完全被遮挡，其余边缘线条(诸如L1和L3)部分被遮挡，也可以根据已检测到的左上角顶点A、左下角顶点D、以及左上角顶点A和左下角顶点D共同所在的边缘线条L4(也即公共边缘线条)的斜率及长度、边缘线条L1的斜率、边缘线条L3的斜率，合理可靠地推断出边缘线条L1与边缘线条L4之间的长度比例(第一目标比例)、边缘线条L3与边缘线条L4之间的长度比例(第二目标比例)，然后结合已知的边缘线条L4的长度，即可确定边缘线条L1和边缘线条L3的长度，将已检测到的部分边缘线条L1和部分边缘线条L3按照各自预测的长度进行延长，即可确定右上角顶点B和右下角顶点C，此时边缘线条L2也可唯一确定。通过上述方式，也可以准确可靠地确定目标区域。

在目标角点的数量为三个，且目标区域的边缘线条被部分遮挡的情况下，每个目标角点对应的关联关键点包括目标区域未被遮挡的关键角点，以及目标区域中的关键边缘线条与目标图像中遮挡物区域之间的至少一个关键交点；其中，关键边缘线条是目标区域中除关键角点所在边缘线条之外的边缘线条，也即对应于前述图7所示的情况，步骤B在具体执行时，可以参照如下步骤a～步骤b执行：

步骤a，对于与关键角点共同位于第一目标边缘线条的第一目标角点，根据关键角点的位置信息、第一目标边缘线条的斜率信息、与第一目标角点共同位于第二目标边缘线条的关键交点的位置信息、以及第二目标边缘线条的斜率信息，确定该第一目标角点的位置信息。在图7中，左上角顶点A即为关键角点，与左上角顶点A共同位于边缘线条L1(也即第一目标边缘线条)的右上角顶点B也即第一目标角点，与右上角顶点B共同位于边缘线条L2(也即第二目标边缘线条)的关键交点为交点B2，此时对于右上角顶点B而言，可根据已检测到的左上角顶点A的位置信息、边缘线条L1的斜率、交点B2的位置信息、边缘线条L2的斜率信息，即可唯一确定边缘线条L1和L2，从而基于边缘线条L1和L2之间的交点准确得到右上角顶点B的位置。同理，左下角顶点D也为第一目标角点，参照前述方式，可以通过已检测到的信息唯一确定边缘线条L3和L4，从而基于边缘线条L3和L4之间的交点准确得到左下角顶点D的位置。

步骤b，对于三个目标角点中除第一目标角点之外的第二目标角点，利用第一目标角点的位置信息和第一目标角点所在的边缘线条的斜率信息，确定该第二目标角点的位置信息。

在图7中，右上角顶点B和左下角顶点D均为第一目标角点，右下角顶点C即为第二目标角点，此时可利用前述步骤a预测所得的右上角顶点B和左下角顶点D的位置信息以及检测到的边缘线条L2和L3的斜率，即可确定边缘线条L2与L3的交点，也即准确可靠地得到右下角顶点C的位置信息。

通过上述方式，即便目标区域的多个角点都被遮挡，也可以合理可靠地进行推理，从而有效提升目标区域的检测成功率，极大降低了相关技术中存在的因目标区域被遮挡而导致检测失败，后续操作无法执行的问题。

在实际应用中，在目标角点的数量为三个，且目标区域中至少有两条边缘线条完全被遮挡的情况下，发起无法检测的提示信息。通过上述方式，可以提醒用户移开遮挡物，以便进一步对目标区域进行检测。

综上所述，通过本公开实施例提供的图像处理方法，在目标区域存在遮挡的情况下，也可以利用已检测到的关键点信息对目标区域被遮挡的角点的位置进行预测，从而能够较准确地确定目标区域，进一步有效保障针对目标区域执行目标操作的可靠性。

对应于前述图像处理方法，本公开实施例还提供了一种图像处理装置，图8为本公开实施例提供的一种图像处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图8所示，图像处理装置800包括：

图像获取模块802，用于获取待处理的目标图像；

关键点检测模块804，用于检测目标图像中的目标区域的关键点信息；关键点信息包括关键点的位置信息以及关键点所在边缘线条的信息；

目标角点预测模块806，用于在目标区域当前存在被遮挡的目标角点的情况下，根据目标角点的数量和关键点信息预测目标角点的位置信息；

操作执行模块808，用于基于检测到的目标区域的关键点的位置信息以及预测到的目标角点的位置信息，针对目标区域执行目标操作。

上述装置在目标区域存在遮挡的情况下，也可以利用已检测到的关键点信息对目标区域被遮挡的角点的位置进行预测，从而能够较准确地确定目标区域，进一步有效保障针对目标区域执行目标操作的可靠性。

在一些实施方式中，所述目标角点预测模块806具体用于：根据所述目标角点的数量，确定所述目标角点对应的关联关键点；从所述关键点信息中提取所述关联关键点对应的信息，并利用所述关联关键点对应的信息预测所述目标角点的位置信息。

在一些实施方式中，所述目标区域为四边形，且所述关联关键点与所述目标角点共同位于所述目标区域中的一条边缘线条上。

在一些实施方式中，在所述目标角点的数量为一个的情况下，或者，在所述目标角点的数量为两个且两个所述目标角点不位于相同的边缘线条上的情况下，每个所述目标角点对应的关联关键点包括该目标角点所在的两条边缘线条上已检测到的角点。

在一些实施方式中，在所述目标角点的数量为两个，两个所述目标角点共同位于目标边缘线条上，且所述目标边缘线条被部分遮挡的情况下，每个所述目标角点对应的关联关键点包括该目标角点所在的边缘线条上已检测到的一个角点，以及所述目标边缘线条与所述目标图像中遮挡物区域之间的一个交点。

在一些实施方式中，所述目标角点预测模块806具体用于：基于所述关联关键点的位置信息以及每个所述关联关键点所在的边缘线条的斜率信息，确定不同所述关联关键点所在的边缘线条之间的交点信息；基于所述交点信息确定所述目标角点的位置信息。

在一些实施方式中，在所述目标角点的数量为两个，两个所述目标角点共同位于目标边缘线条上，且所述目标边缘线条被完全遮挡的情况下，每个所述目标角点对应的关联关键点均包括所述目标区域中已检测到的第一角点和第二角点。

在一些实施方式中，所述目标角点预测模块806具体用于：根据所述第一角点和所述第二角点各自的位置信息，以及所述第一角点和所述第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定所述第一角点对应的第一目标比例以及所述第二角点对应的第二目标比例；基于所述第一目标比例和所述公共边缘线条的长度信息，确定所述第一角点所在的除所述公共边缘线条之外的第一边缘线条的长度信息，并根据所述第一边缘线条的斜率信息及长度信息，确定位于所述第一边缘线条上的目标角点的位置信息；基于所述第二目标比例和所述公共边缘线条的长度信息，确定所述第二角点所在的除所述公共边缘线条之外的第二边缘线条的长度信息，并根据所述第二边缘线条的斜率信息及长度信息，确定位于所述第二边缘线条上的目标角点的位置信息。

在一些实施方式中，所述目标角点预测模块806具体用于：根据预设的多种四边形信息、所述第一角点和所述第二角点各自的位置信息，以及所述第一角点和所述第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定所述第一角点对应的第一目标比例以及所述第二角点对应的第二目标比例；其中，所述四边形信息用于指示目标矩形的长宽比例信息以及畸变后的所述目标矩形的不同边之间的夹角信息与长度比例信息。

在一些实施方式中，在所述目标角点的数量为三个，且所述目标区域的边缘线条被部分遮挡的情况下，每个所述目标角点对应的关联关键点包括所述目标区域未被遮挡的关键角点，以及所述目标区域中的关键边缘线条与所述目标图像中遮挡物区域之间的至少一个关键交点；其中，所述关键边缘线条是所述目标区域中除所述关键角点所在边缘线条之外的边缘线条。

在一些实施方式中，所述目标角点预测模块806具体用于：对于与所述关键角点共同位于第一目标边缘线条的第一目标角点，根据所述关键角点的位置信息、所述第一目标边缘线条的斜率信息、与所述第一目标角点共同位于第二目标边缘线条的关键交点的位置信息、以及所述第二目标边缘线条的斜率信息，确定该第一目标角点的位置信息；对于三个所述目标角点中除所述第一目标角点之外的第二目标角点，利用所述第一目标角点的位置信息和所述第一目标角点所在的边缘线条的斜率信息，确定该第二目标角点的位置信息。

在一些实施方式中，所述装置还包括提示模块，用于在所述目标角点的数量为三个，且所述目标区域中至少有两条边缘线条完全被遮挡的情况下，发起无法检测的提示信息。

在一些实施方式中，所述关键点检测模块804具体用于：利用预设的检测模型检测所述目标图像中的目标区域的关键点信息；所述检测模型包括依次连接的多尺度特征提取网络和路径聚合网络。

在一些实施方式中，所述操作执行模块808具体用于：基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息进行映射变换处理，以将所述目标区域矫正为矩形。

本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置实施例的具体工作过程，可以参考方法实施例中的对应过程，在此不再赘述。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。

本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的图像处理方法。所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

参考图9，现将描述可以作为本公开的服务器或客户端的电子设备900的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906、输出单元907、存储单元908以及通信单元909。输入单元906可以是能向电子设备900输入信息的任何类型的设备，输入单元906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元908可以包括但不限于磁盘、光盘。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMa9设备、蜂窝通信设备和/或类似物。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到电子设备900上。在一些实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种图像处理方法，包括：

获取待处理的目标图像；

检测所述目标图像中的目标区域的关键点信息；所述关键点信息包括所述关键点的位置信息以及所述关键点所在边缘线条的信息；

在所述目标区域当前存在被遮挡的目标角点的情况下，根据所述目标角点的数量和所述关键点信息预测所述目标角点的位置信息；

基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息，针对所述目标区域执行目标操作。

2.如权利要求1所述的图像处理方法，其中，所述根据所述目标角点的数量和所述关键点信息预测所述目标角点的位置信息的步骤，包括：

根据所述目标角点的数量，确定所述目标角点对应的关联关键点；

从所述关键点信息中提取所述关联关键点对应的信息，并利用所述关联关键点对应的信息预测所述目标角点的位置信息。

3.如权利要求2所述的图像处理方法，其中，所述目标区域为四边形，且所述关联关键点与所述目标角点共同位于所述目标区域中的一条边缘线条上。

4.如权利要求3所述的图像处理方法，其中，

在所述目标角点的数量为一个的情况下，或者，在所述目标角点的数量为两个且两个所述目标角点不位于相同的边缘线条上的情况下，每个所述目标角点对应的关联关键点包括该目标角点所在的两条边缘线条上已检测到的角点。

5.如权利要求3所述的图像处理方法，其中，

在所述目标角点的数量为两个，两个所述目标角点共同位于目标边缘线条上，且所述目标边缘线条被部分遮挡的情况下，每个所述目标角点对应的关联关键点包括该目标角点所在的边缘线条上已检测到的一个角点，以及所述目标边缘线条与所述目标图像中遮挡物区域之间的一个交点。

6.如权利要求4或5所述的图像处理方法，其中，所述利用所述关联关键点对应的信息预测所述目标角点的位置信息的步骤，包括：

基于所述关联关键点的位置信息以及每个所述关联关键点所在的边缘线条的斜率信息，确定不同所述关联关键点所在的边缘线条之间的交点信息；

基于所述交点信息确定所述目标角点的位置信息。

7.如权利要求3所述的图像处理方法，其中，在所述目标角点的数量为两个，两个所述目标角点共同位于目标边缘线条上，且所述目标边缘线条被完全遮挡的情况下，每个所述目标角点对应的关联关键点均包括所述目标区域中已检测到的第一角点和第二角点。

8.如权利要求7所述的图像处理方法，其中，所述利用所述关联关键点对应的信息预测所述目标角点的位置信息的步骤，包括：

根据所述第一角点和所述第二角点各自的位置信息，以及所述第一角点和所述第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定所述第一角点对应的第一目标比例以及所述第二角点对应的第二目标比例；

基于所述第一目标比例和所述公共边缘线条的长度信息，确定所述第一角点所在的除所述公共边缘线条之外的第一边缘线条的长度信息，并根据所述第一边缘线条的斜率信息及长度信息，确定位于所述第一边缘线条上的目标角点的位置信息；

基于所述第二目标比例和所述公共边缘线条的长度信息，确定所述第二角点所在的除所述公共边缘线条之外的第二边缘线条的长度信息，并根据所述第二边缘线条的斜率信息及长度信息，确定位于所述第二边缘线条上的目标角点的位置信息。

9.如权利要求8所述的图像处理方法，其中，所述根据所述第一角点和所述第二角点各自的位置信息，以及所述第一角点和所述第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定所述第一角点对应的第一目标比例以及所述第二角点对应的第二目标比例，包括：

根据预设的多种四边形信息、所述第一角点和所述第二角点各自的位置信息，以及所述第一角点和所述第二角点共同所在的公共边缘线条的斜率信息及长度信息，确定所述第一角点对应的第一目标比例以及所述第二角点对应的第二目标比例；其中，所述四边形信息用于指示目标矩形的长宽比例信息以及畸变后的所述目标矩形的不同边之间的夹角信息与长度比例信息。

10.如权利要求3所述的图像处理方法，其中，

在所述目标角点的数量为三个，且所述目标区域的边缘线条被部分遮挡的情况下，每个所述目标角点对应的关联关键点包括所述目标区域未被遮挡的关键角点，以及所述目标区域中的关键边缘线条与所述目标图像中遮挡物区域之间的至少一个关键交点；其中，所述关键边缘线条是所述目标区域中除所述关键角点所在边缘线条之外的边缘线条。

11.如权利要求10所述的图像处理方法，其中，所述利用所述关联关键点对应的信息预测所述目标角点的位置信息的步骤，包括：

对于与所述关键角点共同位于第一目标边缘线条的第一目标角点，根据所述关键角点的位置信息、所述第一目标边缘线条的斜率信息、与所述第一目标角点共同位于第二目标边缘线条的关键交点的位置信息、以及所述第二目标边缘线条的斜率信息，确定该第一目标角点的位置信息；

对于三个所述目标角点中除所述第一目标角点之外的第二目标角点，利用所述第一目标角点的位置信息和所述第一目标角点所在的边缘线条的斜率信息，确定该第二目标角点的位置信息。

12.如权利要求1所述的图像处理方法，其中，所述方法还包括：

在所述目标角点的数量为三个，且所述目标区域中至少有两条边缘线条完全被遮挡的情况下，发起无法检测的提示信息。

13.如权利要求1所述的图像处理方法，其中，所述检测所述目标图像中的目标区域的关键点信息的步骤，包括：

利用预设的检测模型检测所述目标图像中的目标区域的关键点信息；所述检测模型包括依次连接的多尺度特征提取网络和路径聚合网络。

14.如权利要求1所述的图像处理方法，其中，所述基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息，针对所述目标区域执行目标操作的步骤，包括：

基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息进行映射变换处理，以将所述目标区域矫正为矩形。

15.一种图像处理装置，包括：

图像获取模块，用于获取待处理的目标图像；

关键点检测模块，用于检测所述目标图像中的目标区域的关键点信息；所述关键点信息包括所述关键点的位置信息以及所述关键点所在边缘线条的信息；

目标角点预测模块，用于在所述目标区域当前存在被遮挡的目标角点的情况下，根据所述目标角点的数量和所述关键点信息预测所述目标角点的位置信息；

操作执行模块，用于基于检测到的所述目标区域的关键点的位置信息以及预测到的所述目标角点的位置信息，针对所述目标区域执行目标操作。