CN111179166B - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、设备及计算机可读存储介质，该方法包括：获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像。本申请涉及图像处理，可提高作业图像的清晰度，使得模糊的作业图像变得清晰。

Description

图像处理方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及图像处理的技术领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术

目前，越来越多的学校使用智能线上批改作业的方式对学生的作业进行批改。学生或家长通过智能手机对作业进行拍照，得到作业图像，并将作业图像上传到服务器，教师可以通过电子设备从服务器中获取学生或家长上传的作业图像进行批改。

然而，在拍摄作业图像的过程中，需要学生或家长在作业的正上方进行拍摄，才能拍摄得到符合要求的作业图像。另外，由于智能手机的相机分辨率参差不齐，且拍照过程中的干扰因素较多，如相机抖动、周围环境亮度和聚焦缓慢等，导致拍摄得到的作业图像的清晰度较低，拍摄者往往需要进行多次拍摄才能得到清晰度较高的图像。因此，如何提高作业图像的拍摄便利性和清晰度是目前亟待解决的问题。

发明内容

本申请的主要目的在于提供一种图像处理方法、装置、设备及计算机可读存储介质，旨在提高作业图像的拍摄便利性和清晰度。

第一方面，本申请提供一种图像处理方法，所述图像处理方法包括以下步骤：

获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像。

第二方面，本申请还提供一种图像处理装置，所述图像处理装置包括：

角点确定模块，用于获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

透视变换模块，用于根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

高清化处理模块，用于基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像。

第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的图像处理方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的图像处理方法的步骤。

本申请提供一种图像处理方法、装置、设备及计算机可读存储介质，本申请通过预设的角点检测规则可准确获取的作业图像的角点信息，通过对作业图像进行透视变换处理，得到正置的目标作业图像，同时基于预设的超分辨率神经网络模型，对目标作业图像进行高清化处理，可得到高清化作业图像，本申请可提高作业图像的清晰度，使得模糊的作业图像变得清晰。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像处理方法的流程示意图；

图2为图1中的图像处理方法的子步骤流程示意图；

图3为实施本实施例提供的图像处理方法的一场景示意图；

图4为本申请实施例提供的另一种图像处理方法的流程示意图；

图5为本申请实施例提供的一种图像处理装置的示意性框图；

图6为图5中的图像处理装置的子模块的示意性框图；

图7为本申请实施例提供的另一种图像处理装置的示意性框图；

图8为本申请一实施例涉及的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。

本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质。其中，该图像处理方法可应用于终端设备或者服务器中，该终端设备可以手机、学习机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。服务器，该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。以下以该图像处理方法应用于服务器为例进行解释说明。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种图像处理方法的流程示意图。

如图1所示，该图像处理方法包括步骤S101至步骤S103。

步骤S101、获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息。

当用户需要获取作业图像时，可以通过终端设备对作业进行拍照，并将拍照得到的作业图像上传至服务器，服务器在接收到终端设备上传的作业图像之后，实时检测作业图像中的角点信息，或者先存储作业图像，之后再统一检测作业图像中的角点信息。

具体地，在通过终端设备对作业进行拍照时，终端设备显示作业图像上传页面，该图像上传页面显示有作业提醒信息，用于提醒用户拍摄的作业均在作业图像中。用户应当注意调整拍摄的角度及拍摄的距离，使得拍摄得到的作业图像中的四角完整，便于服务器更准确地进行后续的角点检测。当用户基于该作业图像上传页面触发拍摄指令时，终端设备监测到该拍摄指令，并基于该拍摄指令对作业进行拍摄，得到作业图像。

在一实施例中，将拍照得到的作业图像上传至服务器时，通过终端设备触发作业图像高清化请求，服务器监测到该触发的作业图像高清化请求，此时，服务器从该作业图像高清化请求中获取作业图像，或者从该作业图像高清化请求中获取图像标识符，并从数据库中获取与该图像标识符对应的作业图像。需要说明的是，该作业图像高清化请求可以实时触发，也可以定时触发，上述定时触发的定时时间可基于实际情况进行设置，本申请对此不作具体限定。

其中，作业图像高清化请求的实时触发方式具体为：终端设备显示作业图像选择页面，其中，作业图像选择页面显示有待选择的作业图像；获取用户基于作业图像选择页面选择的作业图像，并获取选择的作业图像的图像标识符；生成携带有该图像标识符的作业图像高清化请求，且将该作业图像高清化请求发送至服务器。

服务器获取作业图像之后，通过预设的角点检测规则对作业图像进行角点检测，获取作业图像中的角点信息。其中，预设的角点检测规则包括预设的角点检测策略，该角点检测策略用于检测作业图像中的角点信息，该角点信息包括作业图像上的作业图像角点，该作业图像角点为作业图像中作业的四个角点，通过连接上述四个角点可得到作业图像中作业的边缘信息。

在一实施例中，如图2所示，步骤S101包括：子步骤S1011至子步骤S1012。

子步骤S1011、获取作业图像，并通过所述边缘提取模型对所述作业图像进行处理，得到所述作业图像对应的边缘图。

其中，预设的角点检测规则包括预设的边缘提取模型和预设的角点检测策略。服务器获取作业图像，并通过边缘提取模型对作业图像进行处理，以得到与作业图像对应的边缘图。其中，该边缘提取模型为基于深度学习的语义分割网络实现，通过基于深度学习的语义分割网络检测对作业图像进行边缘提取后得到的图像，即可确定作业图像中作业的边缘图，该边缘图为对作业图像进行边缘提取后得到的图像。

需要说明的是，该边缘提取模型通过训练样本对深度学习的语义分割网络进行迭代训练得到，该训练样本为作业图像中的作业内容，通过作业图像中的作业内容对深度学习的语义分割网络进行训练，直到深度学习的语义分割网络收敛，即可得到边缘提取模型，该边缘提取模型经过训练后可准确获得作业图像中作业的边缘位置信息。其中，训练边缘提取模型时的损失函数为：

loss＝-β*y_true*log(sigmoid(y))-(1-β)*(1-y_true)*log(1-sigmoid(y))

其中，β＝(非边缘位置像素个数)/(作业图像总像素个数)，y_ture为训练样本中边缘位置像素的初始值，y为边缘图中对应位置像素的预测值。

在一实施例中，边缘提取模型包括预设数量的卷积池化层，得到作业图像对应的边缘图的具体方式为：通过预设数量的卷积池化层中的每个卷积池化层，分别对作业图像进行卷积池化处理，得到预设数量的特征图；根据每个特征图各自对应的预设上采样比例，分别对每个特征图进行上采样处理，使得经过上采样处理后的每个特征图的尺寸与作业图像的尺寸相同；将经过上采样处理后的每个特征图进行拼接，得到拼接特征图，并对拼接特征图进行卷积，得到作业图像对应的边缘图。其中，卷积池化层包括级联的卷积层和池化层。

需要说明的是，上述预设数量的卷积池化层可基于实际情况进行设置，本申请对此不作具体限定，可选为5个卷积池化层；上述预设数量的特征图与预设数量的卷积池化层的数量相同，但每个特征图之间的尺寸比例不同，例如，若预设5个卷积池化层，则得到5个特征图，每个特征图之间的尺寸比例分别为1、1/2、1/4、1/8和1/16；上述预设上采样比例与根据每个特征图之间的尺寸比例进行设置，每个特征图的上采样比例为每个特征图的尺寸比例的倒数，使得经过上采样处理后的每个特征图的尺寸与作业图像的尺寸相同，例如，若得到5个特征图，每个特征图之间的尺寸比例分别为1、1/2、1/4、1/8和1/16，则每个特征图之间的上采样比例为1、2、4、8和16；通过边缘提取模型中的特征拼接层将经过上采样处理后的每个特征图拼接在一起，得到拼接特征图，并对拼接特征图进行卷积，得到1个通道的特征图，即得到作业图像对应的边缘图。

子步骤S1012、通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息。

得到作业图像对应的边缘图之后，通过角点检测规则中的角点检测策略对边缘图进行处理，以获取所述作业图像的角点信息。其中，该角点检测策略通过预设的角点确定条件来获取作业图像的角点信息，该角点信息包括作业图像中作业的四个角点，需要说明的是，该预设的角点确定条件根据实际情况进行设置，本申请在此不做具体限定，可选为根据作业图像中的角点之间的距离是否满足预设的距离阀值进行设置。

在一实施例中，角点检测策略包括骨架提取算法、直线检测算法、直线方程约束条件和角点确定条件，获取所述作业图像的角点信息的具体方式为：根据骨架提取算法对边缘图进行骨骼化处理，得到骨骼化图像；根据直线检测算法和骨骼化图像中各点的直角坐标，获取骨骼化图像中的全部直线，并获取每个直线的直线方程；将每四个直线的直线方程进行组合，得到直线方程组集，其中，直线方程组集包括至少一个直线方程组；根据直线方程约束条件，对直线方程组集中的每个直线方程组求解，得到每个直线方程组的直线方程解；根据每个直线方程组的直线方程解和角点确定条件，获取作业图像的角点信息。

需要说明的是，该骨架提取算法用于边缘图的特征提取，即将边缘图的连通域宽度转换成单一像素宽度，而不改变连通域的位置和形状，骨架提取算法包括但不限于Skeletonize函数和medial_axis函数；该直线检测算法用于检测获取作业图像中的直线，直线检测算法包括但不限于霍夫曼直线检测算法和拉东变换直线检测算法；该直线方程约束条件为在同一方程组中，两两直线有唯一交点，且对边的直线斜率同号；该角点确定条件用于确定该作业图像中的四个角点。通过骨架提取算法和直线检测算法，更容易检测到作业图像中的角点。

其中，根据直线检测算法和骨骼化图像中各点的直角坐标，获取骨骼化图像中的全部直线，并获取每个直线的直线方程的具体方式为：以该骨骼化图像的中心为原点，向上方向为Y轴，向右方向为X轴建立直角坐标系，基于霍夫曼直线检测算法通过该直角坐标系中各点的直角坐标，获取该骨骼化图像中的全部直线，并从全部直线中，获取每个直线的直线方程。

其中，根据每个直线方程组的直线方程解和角点确定条件，获取作业图像的角点信息的具体方式为：获取四个直角坐标集，四个直角坐标集包括骨骼化图像的第一预设区域、第二预设区域、第三预设区域和第四预设区域各自对应的直角坐标集；根据每个直线方程组的直线方程解的直角坐标和四个直角坐标集，对每个直线方程组进行筛选，得到候选直线方程组；根据候选直线方程组的直线方程解的直角坐标和角点确定条件，获取作业图像的角点信息。需要说明的是，该第一预设区域、第二预设区域、第三预设区域和第四预设区域可基于实际情况进行设置，本申请对此不作具体限定。可选地，第一预设区域、第二预设区域、第三预设区域和第四预设区域分别为骨骼化图像中的右上区域、右下区域、左上区域和左下区域。

在一实施例中，对直线方程组进行筛选的方式具体为：确定直线方程组的各直线方程解的直角坐标是否均位于四个直角坐标集，且一个直线方程解的直角坐标仅位于一个直角坐标集；如果该直线方程组的各直线方程解的直角坐标均位于四个直角坐标集，且一个直线方程解的直角坐标仅位于一个直角坐标集，则保留该直线方程组，反之，如果该直线方程组的至少一个直线方程解的直角坐标不位于四个直角坐标集，则清除该直线方程组。对于每个直线方程组均执行上述筛选操作即可得到符合条件的直线方程组，通过对直线方程组进行筛选，使得后续获取的作业图像的角点信息更加准确。

在一实施例中，根据候选直线方程组的直线方程解的直角坐标和角点确定条件，获取作业图像的角点信息的具体方式为：如果四个直线方程解的直角坐标均位于四个直角坐标集，且一个直线方程解的直角坐标仅位于一个直角坐标集，则在同一区域内两个直线方程解之间的距离小于或等于预设距离阀值时，将两个直线方程解的中点作为作业图像角点，而在同一区域内两个直线方程解之间的距离大于预设距离阀值时，将两个直线方程解中距离原点最近的一个直线方程解作为作业图像角点，从而确定四个作业图像角点。其中，作业图像角点为作业图像中作业的四个角点，需要说明的是，预设距离阀值可根据实际情况进行设置，本申请对此不做具体限定，可选为10个像素。

步骤S102、根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像。

服务器根据角点信息和预设的图像尺寸，对作业图像进行透视变换处理，得到目标作业图像，其中，该目标作业图像为作业图像中仅显示作业的图像，需要说明的是，预设的图像尺寸可根据实际情况进行设置，本申请对此不做具体限定，可选为作业图像的拍摄尺寸。

在一实施例中，得到目标作业图像的具体方式为：根据角点信息中的四个作业图像角点，从作业图像中获取四个作业图像角点对应的作业图像区域；通过四个作业图像角点的直角坐标，确定透视变换的变换矩阵，并通过变换矩阵对作业图像区域进行透视变换；按照预设的图像尺寸，对经过透视变换的作业图像区域的尺寸进行调整，得到目标作业图像。其中，该作业图像角点为作业图像中作业的角点，该目标作业图像为作业图像中仅显示作业的图像，预设的图像尺寸可选为作业图像的拍摄尺寸，该调整包括放大调整和缩小调整，可基于实际情况进行设置。通过透视变换和尺寸调整，使得目标作业图像显示为作业内容清晰的正投影形状，便于后续对目标作业图像进行高清化处理。

步骤S103、基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像。

得到目标作业图像之后，基于预设的超分辨率神经网络模型，对目标作业图像进行高清化处理，得到高清化作业图像。其中，预设的超分辨率神经网络模型包括通道分离层，该通道分离层用于对上述目标作业图像进行通道分离，需要说明的是，通过通道分离，可得到若干颜色通道，对若干颜色通道进行高清化处理，可得到高清化作业图像。

请参照图3，图3为实施本实施例提供的图像处理方法的一场景示意图。

如图3所示，用户通过终端设备对作业进行拍照，得到作业图像。可将该作业图像上传至服务器进行处理，服务器将处理得到的高清化作业图像发回终端设备进行显示。此外，也可直接在终端设备上对该作业图像进行处理，并将处理得到的高清化作业图像进行显示。

上述实施例提供的图像处理方法，通过预设的角点检测规则可准确获取的作业图像的角点信息，通过对作业图像进行透视变换处理，得到正置的目标作业图像，同时基于预设的超分辨率神经网络模型，对目标作业图像进行高清化处理，可得到高清化作业图像，本申请可提高作业图像的清晰度，使得模糊的作业图像变得清晰。

请参照图4，图4为本申请实施例提供的另一种图像处理方法的流程示意图。

如图4所示，该图像处理方法包括步骤S201至205。

步骤S201、获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息。

服务器获取作业图像之后，通过预设的角点检测规则对作业图像进行角点检测，获取作业图像中的角点信息。其中，预设的角点检测规则包括预设的角点检测策略，该角点检测策略用于检测作业图像中的角点信息，该角点信息包括作业图像上的作业图像角点，该作业图像角点为作业图像中作业的四个角点。

步骤S202、根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像。

服务器根据角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像，其中，该目标作业图像为作业图像中仅显示作业的图像，需要说明的是，预设的图像尺寸可根据实际情况进行设置，本申请对此不做具体限定，可选为作业图像的拍摄尺寸。

步骤S203、基于预设的超分辨率神经网络模型，对所述目标作业图像进行颜色通道分离，得到第一颜色通道、第二颜色通道和第三颜色通道各自对应的图像。

基于预设的超分辨率神经网络模型中的通道分离层，对所述目标作业图像进行颜色通道分离，可得到三个颜色通道各自对应的图像，即第一颜色通道、第二颜色通道和第三颜色通道各自对应的图像。其中，该通道分离层可选为HSV通道分离层，该HSV通道分离层可以将目标作业图像分离为HSV三个颜色通道各自对应的图像，其中，H为色调、S为饱和度和V为明度，第一颜色通道可选为V(明度)通道。

在一实施例中，对目标作业图像进行颜色通道分离的实施方式为：对目标作业图像进行尺寸缩小，对进行尺寸调整后的目标作业图像进行颜色通道分离。需要说明的是，该尺寸缩小的比例可根据具体情况进行设置，本申请对此不做具体限定，可选为尺寸缩小为原尺寸的四分之一。通过对目标作业图像进行尺寸缩小，使得目标作业图像中的作业字迹变得清晰，保证对目标作业图像进行高清化处理效果更好。

步骤S204、基于所述超分辨率神经网络模型，对所述第一颜色通道对应的图像进行高清化处理。

对第一颜色通道对应的图像进行高清化处理的具体方式包括：基于该超分辨率神经网络模型中的深度卷积神经网络层，对第一颜色通道对应的图像进行特征提取，得到第一特征图；根据超分辨率神经网络模型中的预设数量的池化层，对第一特征图进行池化处理，得到预设数量的第二特征图；根据超分辨率神经网络模型中的卷积层，将每个第二特征图进行合并，得到第三特征图；通过超分辨率神经网络模型中的反卷积层，将第三特征图的尺寸进行调整，得到第一颜色通道对应的目标特征图，使得目标特征图的尺寸与上述特征图的尺寸相同。

其中，该深度卷积神经网络层采用空洞卷积形式，保持上述特征提取过程中第一特征图的尺寸大小保持不变；该预设数量的池化层可根据具体情况进行设置，本申请对此不做具体限定，可选为5个池化层，该池化层可选为atrous空间金字塔池化层；上述预设数量的第二特征图与预设数量的池化层的数量相同，但每个第二特征图之间的尺寸比例不同，例如，若预设5个atrous空间金字塔池化层，卷积核大小为1x1和3x3，atrous空间金字塔池化层的每个分支采用的尺寸比例分别为1、6、12、18和24，则通过对第一特征图进行池化处理，得到5个第二特征图；上述卷积层的卷积核为1x1，将每个第二特征图进行合并拼接，得到1个通道的第三特征图；通过反卷积层可以将第三特征图的尺寸进行调整，该调整包括尺寸放大调整，使得第一颜色通道对应的目标特征图的尺寸与特征图的尺寸相同，便于后续该目标特征图对应的第一颜色通道的图像与其他颜色通道对应的图像进行合并。

步骤S205、将经过高清化处理后的所述第一颜色通道对应的图像、所述第二颜色通道对应的图像和所述第三颜色通道对应的图像进行合并，得到高清化作业图像。

通过该超分辨率神经网络模型中的合并层，将经过高清化处理后的第一颜色通道对应的图像、第二颜色通道对应的图像和第三颜色通道对应的图像进行合并，得到高清化作业图像。其中，该合并层用于合并不同的图像。

具体地，通过该超分辨率神经网络模型中的合并层，将第一颜色通道的图像对应的上述目标特征图、第二颜色通道的图像对应的特征图和第三颜色通道的图像对应的特征图进行合并，得到合并后的特征图，该合并后的特征图即为高清化作业图像。其中，预设的合并层用于合并不同的特征图。

上述实施例提供的图像处理方法，通过预设的角点检测规则，获取作业图像的角点信息，然后基于角点信息和预设的图像尺寸对作业图像进行透视变换，得到正置的目标作业图像，同时通过超分辨率神经网络模型，对该目标作业图像进行颜色通道分离，得到不同的颜色通道各自对应的图像，对第一颜色(亮度)通道对应的图像进行高清化处理，并将经过高清化处理后的第一颜色通道对应的图像、第二颜色通道对应的图像和所三颜色通道对应的图像进行合并，得到高清化作业图像，可以有效的提高作业图像的清晰度。

请参照图5，图5为本申请实施例提供的一种图像处理装置的示意性框图。

如图5所示，该图像处理装置300，包括：角点确定模块301、透视变换模块302和高清化处理模块303。

角点确定模块301，用于获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

透视变换模块302，用于根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

高清化处理模块303，用于基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像。

在一个实施例中，如图6所示，所述角点确定模块301包括：

边缘提取模块3011，用于获取作业图像，并通过所述边缘提取模型对所述作业图像进行处理，得到所述作业图像对应的边缘图；

角点检测模块3012，用于通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息。

在一个实施例中，边缘提取模块3011，还用于：

通过预设数量的卷积池化层中的每个卷积池化层，分别对作业图像进行卷积池化处理，得到预设数量的特征图；

根据每个特征图各自对应的预设上采样比例，分别对每个特征图进行上采样处理，使得经过上采样处理后的每个特征图的尺寸与作业图像的尺寸相同；

将经过上采样处理后的每个特征图进行拼接，得到拼接特征图，并对拼接特征图进行卷积，得到作业图像对应的边缘图。

在一个实施例中，角点检测模块3012，还用于：

根据骨架提取算法对边缘图进行骨骼化处理，得到骨骼化图像；

根据直线检测算法和骨骼化图像中各点的直角坐标，获取骨骼化图像中的全部直线，并获取每个直线的直线方程；

将每四个直线的直线方程进行组合，得到直线方程组集，其中，直线方程组集包括至少一个直线方程组；

根据直线方程约束条件，对直线方程组集中的每个直线方程组求解，得到每个直线方程组的直线方程解；

根据每个直线方程组的直线方程解和角点确定条件，获取作业图像的角点信息。

在一个实施例中，角点检测模块3012，还用于：

获取四个直角坐标集，四个直角坐标集包括骨骼化图像的第一预设区域、第二预设区域、第三预设区域和第四预设区域各自对应的直角坐标集；

根据每个直线方程组的直线方程解的直角坐标和四个直角坐标集，对每个直线方程组进行筛选，得到候选直线方程组；

根据候选直线方程组的直线方程解的直角坐标和角点确定条件，获取作业图像的角点信息。

在一个实施例中，透视变换模块302，还用于：

根据角点信息中的四个作业图像角点，从作业图像中获取四个作业图像角点对应的作业图像区域；

通过四个作业图像角点的直角坐标，确定透视变换的变换矩阵，并通过变换矩阵对作业图像区域进行透视变换；

按照预设的图像尺寸，对经过透视变换的作业图像区域的尺寸进行调整，得到目标作业图像。

请参照图7，图7为本申请实施例提供的另一种图像处理装置的示意性框图。

如图7所示，该图像处理装置400，包括：角点确定模块401、透视变换模块402、通道分离模块403、高清化处理模块404和合并模块405。

角点确定模块401，用于获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

透视变换模块402，用于根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

通道分离模块403，用于基于预设的超分辨率神经网络模型，对所述目标作业图像进行颜色通道分离，得到第一颜色通道、第二颜色通道和第三颜色通道各自对应的图像；

高清化处理模块404，用于基于所述超分辨率神经网络模型，对所述第一颜色通道对应的所述图像进行高清化处理；

合并模块405，用于将经过高清化处理后的所述第一颜色通道对应的图像、所述第二颜色通道对应的图像和所述第三颜色通道对应的图像进行合并，得到高清化作业图像。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述图像处理方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。

请参阅图8，图8为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器或终端。

如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种图像处理方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种图像处理方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像。

在一个实施例中，所述处理器在实现所述角点检测规则包括边缘提取模型和角点检测策略；所述获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息时，用于实现：

获取作业图像，并通过所述边缘提取模型对所述作业图像进行处理，得到所述作业图像对应的边缘图；

通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息。

在一个实施例中，所述处理器在实现所述边缘提取模型包括预设数量的卷积池化层；所述通过所述边缘提取模型对所述作业图像进行处理，得到所述作业图像对应的边缘图时，用于实现：

通过预设数量的卷积池化层中的每个卷积池化层，分别对所述作业图像进行卷积池化处理，得到预设数量的特征图；

根据每个所述特征图各自对应的预设上采样比例，分别对每个所述特征图进行上采样处理，使得经过上采样处理后的每个所述特征图的尺寸与所述作业图像的尺寸相同；

将经过上采样处理后的每个所述特征图进行拼接，得到拼接特征图，并对所述拼接特征图进行卷积，得到所述作业图像对应的边缘图。

在一个实施例中，所述处理器在实现所述角点检测策略包括骨架提取算法、直线检测算法、直线方程约束条件和角点确定条件；所述通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息时，用于实现：

根据所述骨架提取算法对所述边缘图进行骨骼化处理，得到骨骼化图像；

根据所述直线检测算法和所述骨骼化图像中各点的直角坐标，获取所述骨骼化图像中的全部直线，并获取每个所述直线的直线方程；

将每四个所述直线的直线方程进行组合，得到直线方程组集，其中，所述直线方程组集包括至少一个直线方程组；

根据所述直线方程约束条件，对所述直线方程组集中的每个直线方程组求解，得到每个所述直线方程组的直线方程解；

根据每个所述直线方程组的直线方程解和所述角点确定条件，获取所述作业图像的角点信息。

在一个实施例中，所述处理器在实现所述根据每个所述直线方程组的直线方程解和所述角点确定条件，获取所述作业图像的角点信息时，用于实现：

获取四个直角坐标集，所述四个直角坐标集包括所述骨骼化图像的第一预设区域、第二预设区域、第三预设区域和第四预设区域各自对应的直角坐标集；

根据每个所述直线方程组的直线方程解的直角坐标和所述四个直角坐标集，对每个所述直线方程组进行筛选，得到候选直线方程组；

根据所述候选直线方程组的直线方程解的直角坐标和所述角点确定条件，获取所述作业图像的角点信息。

在一个实施例中，所述处理器在实现所述根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像时，用于实现：

根据所述角点信息中的四个作业图像角点，从所述作业图像中获取所述四个作业图像角点对应的作业图像区域；

通过所述四个作业图像角点的直角坐标，确定透视变换的变换矩阵，并通过所述变换矩阵对所述作业图像区域进行透视变换；

按照预设的图像尺寸，对经过透视变换的所述作业图像区域的尺寸进行调整，得到目标作业图像。

在一个实施例中，所述处理器在实现所述基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像时，用于实现：

基于预设的超分辨率神经网络模型，对所述目标作业图像进行颜色通道分离，得到第一颜色通道、第二颜色通道和第三颜色通道各自对应的图像；

基于所述超分辨率神经网络模型，对所述第一颜色通道对应的图像进行高清化处理；

将经过高清化处理后的所述第一颜色通道对应的图像、所述第二颜色通道对应的图像和所述第三颜色通道对应的图像进行合并，得到高清化作业图像。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述计算机设备的具体工作过程，可以参考前述文本处理方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请图像处理方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像；

其中，所述角点检测规则包括边缘提取模型和角点检测策略，所述边缘提取模型包括预设数量的卷积池化层，所述通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息，包括：

通过预设数量的卷积池化层中的每个卷积池化层，分别对所述作业图像进行卷积池化处理，得到预设数量的特征图；

根据每个所述特征图各自对应的预设上采样比例，分别对每个所述特征图进行上采样处理，使得经过上采样处理后的每个所述特征图的尺寸与所述作业图像的尺寸相同；

将经过上采样处理后的每个所述特征图进行拼接，得到拼接特征图，并对所述拼接特征图进行卷积，得到所述作业图像对应的边缘图；

通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息。

2.如权利要求1所述的图像处理方法，其特征在于，所述角点检测策略包括骨架提取算法、直线检测算法、直线方程约束条件和角点确定条件；所述通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息，包括：

根据所述骨架提取算法对所述边缘图进行骨骼化处理，得到骨骼化图像；

根据所述直线检测算法和所述骨骼化图像中各点的直角坐标，获取所述骨骼化图像中的全部直线，并获取每个所述直线的直线方程；

将每四个所述直线的直线方程进行组合，得到直线方程组集，其中，所述直线方程组集包括至少一个直线方程组；

根据所述直线方程约束条件，对所述直线方程组集中的每个直线方程组求解，得到每个所述直线方程组的直线方程解；

根据每个所述直线方程组的直线方程解和所述角点确定条件，获取所述作业图像的角点信息。

3.如权利要求2所述的图像处理方法，其特征在于，所述根据每个所述直线方程组的直线方程解和所述角点确定条件，获取所述作业图像的角点信息，包括：

获取四个直角坐标集，所述四个直角坐标集包括所述骨骼化图像的第一预设区域、第二预设区域、第三预设区域和第四预设区域各自对应的直角坐标集；

根据每个所述直线方程组的直线方程解的直角坐标和所述四个直角坐标集，对每个所述直线方程组进行筛选，得到候选直线方程组；

根据所述候选直线方程组的直线方程解的直角坐标和所述角点确定条件，获取所述作业图像的角点信息。

4.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像，包括：

根据所述角点信息中的四个作业图像角点，从所述作业图像中获取所述四个作业图像角点对应的作业图像区域；

通过所述四个作业图像角点的直角坐标，确定透视变换的变换矩阵，并通过所述变换矩阵对所述作业图像区域进行透视变换；

按照预设的图像尺寸，对经过透视变换的所述作业图像区域的尺寸进行调整，得到目标作业图像。

5.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像，包括：

基于预设的超分辨率神经网络模型，对所述目标作业图像进行颜色通道分离，得到第一颜色通道、第二颜色通道和第三颜色通道各自对应的图像；

基于所述超分辨率神经网络模型，对所述第一颜色通道对应的图像进行高清化处理；

将经过高清化处理后的所述第一颜色通道对应的图像、所述第二颜色通道对应的图像和所述第三颜色通道对应的图像进行合并，得到高清化作业图像。

6.一种图像处理装置，其特征在于，所述图像处理装置包括：

角点确定模块，用于获取作业图像，并通过预设的角点检测规则对所述作业图像进行角点检测，以获取所述作业图像的角点信息；

透视变换模块，用于根据所述角点信息和预设的图像尺寸，对所述作业图像进行透视变换处理，得到目标作业图像；

高清化处理模块，用于基于预设的超分辨率神经网络模型，对所述目标作业图像进行高清化处理，得到高清化作业图像；

其中，所述角点检测规则包括边缘提取模型和角点检测策略，所述边缘提取模型包括预设数量的卷积池化层，所述角点确定模块包括：

边缘提取模块，用于通过所述边缘提取模型对所述作业图像进行处理，得到所述作业图像对应的边缘图，所述通过所述边缘提取模型对所述作业图像进行处理，得到所述作业图像对应的边缘图包括：通过预设数量的卷积池化层中的每个卷积池化层，分别对作业图像进行卷积池化处理，得到预设数量的特征图；根据每个特征图各自对应的预设上采样比例，分别对每个特征图进行上采样处理，使得经过上采样处理后的每个特征图的尺寸与作业图像的尺寸相同；将经过上采样处理后的每个特征图进行拼接，得到拼接特征图，并对拼接特征图进行卷积，得到作业图像对应的边缘图；

角点检测模块，用于通过所述角点检测策略对所述边缘图进行处理，以获取所述作业图像的角点信息。

7.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至5中任一项所述的图像处理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的图像处理方法的步骤。

Images