CN110705554B - 图像的处理方法和装置 - Google Patents

Abstract

本发明公开了一种图像的处理方法和装置。其中，该方法包括：提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域；根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵；基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。本发明解决了现有技术中在进行图纸的辅助校对时准确度较低的技术问题。

Description

图像的处理方法和装置

技术领域

本发明涉及图像的处理领域，具体而言，涉及一种图像的处理方法和装置。

背景技术

图纸矫正是房地产开发行业中的重要任务。通常情况下，从项目的开始到项目结束，直至楼盘的交付，至少需要两年时间，而在整个周期中，图纸可能会被不断的更新和改动，因此图纸具有很强的不确定性。图纸的每一次改动，相关工作人员都要重新进行一次校对，确定出图纸中被改动的部分，因此该过程非常复杂，给楼盘建设，统筹和营销等带来诸多不便。

基于上述情况，可以采用图像比对的方法对图纸的改动进行辅助校对，即将改动前的图像和改动后的图像进行比对，来确定修改的部分。在图像比对中，两张图纸的定位准确性，是比对结果的决定性前提因素，如果两张图纸的定位不准确，则比对结果必然不准确。

针对现有技术中在进行图纸的辅助校对时准确度较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像的处理方法和装置，以至少解决现有技术中在进行图纸的辅助校对时准确度较低的技术问题。

根据本发明实施例的一个方面，提供了一种图像的处理方法，包括：提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域；根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵；基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。

进一步地，对第一图像进行形态学操作，得到目标区域的第一提取结果；获取第一提取结果的中心，并基于中心获取第一图像的感兴趣区域；基于感兴趣区域通过语义分割网络获取目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识；根据第一图像基于掩码图进行还原，得到第一图像的目标区域。

进一步地，确定第一提取结果的重心为中心；根据中心提取预设尺寸的区域为感兴趣区域。

进一步地，将感兴趣区域输入至语义分割网络，其中，语义分割网络通过预设的训练数据得到，预设的训练数据包括：样本图像和样本图像的掩码图；获取语义分割网络输出的掩码图。

进一步地，在根据第一图像基于掩码图进行还原之后，对通过还原掩码图得到的目标区域的边缘进行梯度分析，得到不符合目标区域的边缘特性的边缘像素；对不符合目标区域的边缘特性的边缘像素进行处理。

进一步地，第一图像为建筑图纸，目标区域为第一图像中表示剪力墙的区域，目标区域的边缘特性为直线，对凹陷区域的像素进行补充；以及对突出区域的像素进行清除。

进一步地，获取第一图像的多个第一特征点；获取第二图像中与第一特征点匹配的多个第二特征点；根据多个第一特征点和多个第二特征点确定第一图像和第二图像之间的转换矩阵。

根据本发明实施例的一个方面，提供了一种图像的处理方法，包括：对图像进行形态学操作，以从图像中提取目标区域，得到第一提取结果；获取第一提取结果的中心，并基于中心获取图像的感兴趣区域；基于感兴趣区域通过语义分割网络获取图像的目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识；根据图像基于掩码图进行还原，得到图像的目标区域。

根据本发明实施例的一个方面，提供了一种图像的处理装置，包括：提取模块，用于提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域；确定模块，用于根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵；转换模块，用于基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。

根据本发明实施例的一个方面，提供了一种图像的处理装置，包括：操作模块，用于对图像进行形态学操作，以从图像中提取目标区域，得到第一提取结果；第一获取模块，用于获取第一提取结果的中心，并基于中心获取图像的感兴趣区域；第二获取模块，用于基于感兴趣区域通过语义分割网络获取图像的目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识；还原模块，用于根据图像基于掩码图进行还原，得到图像的目标区域。

根据本发明实施例的一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的图像的处理方法。

根据本发明实施例的一个方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的图像的处理方法。

在本发明实施例中，提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域；根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵；基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。上述方案通过从第一图像和第二图像中提取目标区域，根据两个图像中的目标区域确定二者之间的转换矩阵，并通过将任意一个图像根据转换矩阵进行转换后，与另一个图像进行比对，从而能够便捷的对图纸的改动进行辅助校对，并由于通过两个图像之间的转换矩阵对图像进行转换后再与其他图像进行比对，因此还能够提高辅助比对的准确度，解决了现有技术中在进行图纸的辅助校对时准确度较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本申请实施例的一种图像的处理方法的流程图；

图2是一种建筑图纸的示意图；

图3是根据本申请实施例的一种从图2中提取剪力墙信息的示意图；

图4是根据本申请实施例的一种进行图像比对的示意图；

图5是根据本申请实施例的一种语义分割网络的示意图；

图6是根据本申请实施例的另一种图像的处理方法的流程图；

图7是根据本申请实施例的一种图像的处理装置的示意图；以及

图8是根据本申请实施例的一种图像的处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种图像的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的图像的处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域。

具体的，上述第一图像和上述第二图像为同一类型的图像，例如，第一图像和第二图像可以为建筑图纸，建筑图纸中的目标区域可以是剪力墙。需要说明的是，目标区域是第一图像和第二图像中相同的区域。

在一种可选的实施例中，第一图像为原建筑图纸，第二图像为修改后建筑图纸。通常在对建筑图纸进行修改时，不会对剪力墙进行修改，因此可以确定建筑图纸中的目标区域为剪力墙。当然，也可以确定建筑图纸中的其他不会改变的区域为目标区域。

从第一图像中提取目标区域的方式和从第二图像中提取目标区域的方式可以相同，例如，仍以建筑图纸为例，图2是一种建筑图纸的示意图，由于建筑图纸的剪力墙的表示方式与图纸中其他位置的表示方式有明显的区别，因此可以通过建筑图纸中不同位置的绘制方式来提取目标区域。图3是根据本申请实施例的一种从图2中提取剪力墙信息的示意图，结合图3所示，图2中的剪力墙被作为目标区域提取了出来。

步骤S104，根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵。

具体的，上述转换矩阵可以是单应性矩阵，通过转换矩阵，能够使处于不同缩放程度、不同大小等参数下的第一图像和第二图像进行相互的转换，例如，可以将第一图像转换至与第二图像相同的参数下，也可以将第二图像转换至与第一图像相同的参数下。

在一种可选的实施例中，可以分别从第一图像和第二图像中提取多对匹配的特征点，匹配的特征点指的是第一图像和第二图像中处于完全相同的位置的点。然后根据多对匹配的特征点即可求取两个图像之间的转换矩阵。

步骤S106，基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。

在上述方案中，在进行第一图像和第二图像的比对时，提供了两种方案。

在第一种方案中，通过转换矩阵将第一图像转换至与第二图像相同的参数（此处的参数包括缩放参数、尺寸等），得到第三图像，然后通过第三图像所表示的第一图像与第二图像进行比对，由于第三图像和第二图像具有相同的参数，因此可以通过将二者进行叠加等方式，方便的看出二者的区别。

在第二种方案中，通过转换矩阵将第二图像转换至与第一图像相同的参数（此处参数的意义与上述的参数相同），得到第四图像，然后通过第四图像所表示的第二图像与第一图像进行比对，由于第四图像和第一图像具有相同的参数，因此可以很方便的看出二者的区别。

在一种可选的实施例中，设计师将原始的建筑图纸交给建筑人员进行施工，建筑人员在施工过程中可能会对建筑图纸进行修改，而设计师需要通过校对来明确建筑工人具体修改了哪些部分。在该场景下，可以应用本申请上述实施例提供的方案，将原始的建筑图纸作为第一图像，将建筑工人修改后的图纸作为第二图像，通过上述实施例提供的方式获取第一图像和第二图像之间的转换矩阵，从而将第一图像转换为与第二图像的尺寸等参数相同的第三图像后，直接叠加在第二图像上即可方便的观察出二者的区别。

由上可知，本申请上述实施例提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域；根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵；基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。上述方案通过从第一图像和第二图像中提取目标区域，根据两个图像中的目标区域确定二者之间的转换矩阵，并通过将任意一个图像根据转换矩阵进行转换后，与另一个图像进行比对，从而能够便捷的对图纸的改动进行辅助校对，并由于通过两个图像之间的转换矩阵对图像进行转换后再与其他图像进行比对，因此还能够提高辅助比对的准确度，解决了现有技术中在进行图纸的辅助校对时准确度较低的技术问题。

作为一种可选的实施例，提取第一图像的目标区域，包括：

步骤S1021，对第一图像进行形态学操作，得到目标区域的第一提取结果。

具体的，形态学操作是基于形状的一系列图像处理操作的集合，主要是基于集合理论基础上的形态学数学。形态学操作主要包括四个操作：腐蚀、膨胀、开环、闭环。下面具体说明。

膨胀操作与卷积操作类似，指的是通过定义的结构元素，在图像上进行逐点移动，定义结构元素的中心点，计算结构元素覆盖在图像上的最大像素值，并用最大像素值来替代中心点的像素。腐蚀操作和膨胀操作类似，区别在于其使用最小像素值替代中心点的像素。开环操作指的是对图像先使用结构元素腐蚀操作，再进行膨胀操作，而闭环操作指的是先对图像使用结构元素膨胀操作，再进腐蚀操作。

上述形态写操作用于基于第一图像中目标区域和非目标区域的线条的区别，通过对第一图像中的线条进行膨胀或腐蚀等处理，从第一图像中提取出目标区域。

上述形态学操作可以针对的是二值图像，因此，在第一图像为二值图像的时候，可以直接进行形态学操作，例如对于仅有黑白两色的建筑图纸，即可以直接进行形态学操作，而当第一图像并非二值图像时，还可以将其进行二值化处理后再进行形态学操作。

步骤S1023，获取第一提取结果的中心，并基于中心获取第一图像的感兴趣区域。

具体的，上述感兴趣区域可以为ROI（region of interest）。第一提取结果的中心可以是第一提取结果的中心位置，也可以是第一提取结果所表示的实体的重心位置。例如，在一种可选的实施例中，以第一图像为建筑图纸为例，第一提取结果所表示的实体可以为剪力墙，因此可以采用剪力墙的重心作为第一提取结果的中心。

上述感兴趣区域指的是第一图像整体的感兴趣区域，显然的，第一图像的感兴趣区域即为目标区域，因此可以根据第一提取结果的中心提取预设尺寸的区域作为感兴趣区域。

步骤S1025，基于感兴趣区域通过语义分割网络获取目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识。

具体的，上述掩码图用于通过在像素上进行标识的方式来体现识别结果。例如，掩码图中，可以对属于目标区域的像素标识为1，对属于背景区域的像素标识为0，从而得到了掩码图。

上述语义分割网络可以是经过训练的神经网络模型，通过输入的感兴趣区域，可以识别出感兴趣区域中的目标区域，从而对目标区域进行进一步提取。

需要说明的是，第一图像中可以包括多个目标区域，因此会具有多个第一提取结果，从而具有对应的多个感兴趣区域。在第一图像具有多个感兴趣区域的情况下，可以构成感兴趣区域序列，同时输入至语义分割网络，从而得到语义分割网络输出的与每个感兴趣区域对应的掩码图。

步骤S1027，根据第一图像基于掩码图进行还原，得到第一图像的目标区域。

上述步骤中，将掩码图还原至与第一图像相同的尺寸，从而得到了第一图像的目标区域。

需要说明的是，本申请实施例中仅描述了对第一图像中的目标区域的提取，但对第二图像中的目标区域的提取与对第一图像中的目标区域的提取的方式相同，且也在本申请的保护范围内，因此此处不再赘述。

图4是根据本申请实施例的一种进行图像比对的示意图，下面，以第一图像为图纸A1，第二图像为图纸B1为了，结合图4,对上述步骤进行举例说明。

S41，对原始图纸A1和比对图纸B1进行形态学操作，粗提取特征较为明显的剪力墙，得到A2和B2。

S42、对A2和B2分别进行外轮廓的提取，以进行剪力墙的粗定位。

将每一个剪力墙进按照任意顺序排序，并对每一个剪力墙，以剪力墙的重心为中心，截取512X512的图像ROI区域，得到A3=[a1,a2,……，an]和B3=[b1,b2,……，bn]，并将其输入到语义分割网络中。

S43，将A3和B3分别输入至语义分割网络，经过语义分割网络的处理，输出一序列关于剪力墙的掩码图，并将其还原到原图上，得到A4和B4。

经过上述几个步骤，即得到了提取的目标区域，下面基于提取得到的目标区域，计算A1和A2之间的转换矩阵。

S44，像素统计分析。

将得到的A4和B4，提取每一个像素块的轮廓，对每一个像素块进行边缘梯度分析，根据剪力墙的特性进行像素补充，并求出重心、中心和最小外接矩形。将得到的所有特征信息记为A5和B5。

S45，关键点匹配。

S46，根据A5和B5的信息进行匹配转换矩阵的计算，得到A1和A2之间的转换矩阵。

作为一种可选的实施例，获取第一提取结果的中心，并基于中心获取第一图像的感兴趣区域，包括确定第一提取结果的重心为中心；根据中心提取预设尺寸的区域为感兴趣区域。

具体的，第一提取结果的中心用于表示目标区域所表示的实体的中心。在一种可选的实施例中，以第一图像为建筑图纸为例，目标区域为建筑图纸中的剪力墙，因此可以剪力墙的重心作为中心提取感兴趣区域。例如，可以以剪力墙的重心为中心，截取512*512的图像作为感兴趣区域。

作为一种可选的实施例，基于感兴趣区域通过语义分割网络获取目标区域的掩码图，包括：将感兴趣区域输入至语义分割网络，其中，语义分割网络通过预设的训练数据得到，预设的训练数据包括：样本图像和样本图像的掩码图；获取语义分割网络输出的掩码图。

图5是根据本申请实施例的一种语义分割网络的示意图，结合图5所示，将提取的感兴趣区域作为语义分割网络的输入，经过卷积编码器(Convolutional Encoder)和卷机解码器(Convolutional Decoder)，其中编码网络的特征信息将会与解码网络的特征进行融合，最后输出一张关于剪力墙的掩码图，该掩码图将剪力墙所在的位置记为数值1，其他地方记为数值0。在训练阶段，该输出的掩码图将与样本的掩码图进行损失的计算，损失函数采用focal loss：

；

其中，y为样本图像的掩码图中目标区域所在坐标位置的数值，y´表示语义分割网络输出的掩码在该位置是标注信息的概率，γ和α为可调整的超参数。

作为一种可选的实施例，在根据第一图像基于掩码图进行还原之后，方法还包括：对通过还原掩码图得到的目标区域的边缘进行梯度分析，得到不符合目标区域的边缘特性的边缘像素；对不符合目标区域的边缘特性的边缘像素进行处理。

具体的，目标区域的边缘特性与目标区域本身的特性相关，该特征可以包括：目标区域的边缘为直线、目标区域的边缘呈一定的弧度等。

上述步骤对目标区域的边缘进行梯度分析，来确定目标区域的边缘是否符合其边缘特征，以便对不符合其边缘特征的像素进行处理。

不符合边缘特征的像素通常是由于噪声等影响导致语义分割网络预测错误的像素，因此上述步骤用于在语义分割网络输出掩码图的基础上，进一步通过目标区域的边缘特性对目标区域的边缘像素进行处理，此处的处理可以包括清除多余的像素和补充缺少的像素，从而使得提取的目标区域更加准确。

作为一种可选的实施例，第一图像为建筑图纸，目标区域为第一图像中表示剪力墙的区域，目标区域的边缘特性为直线，对不符合目标区域的边缘特性的边缘像素进行处理，包括：对凹陷区域的像素进行补充；以及对突出区域的像素进行清除。

在上述方案中，第一图像为建筑图纸，目标区域为第一图像中表示剪力墙的线条，剪力墙的边缘通常为直线，因此可以以此作为目标区域的边缘特征对边缘像素进行处理。

在查找不符合边缘特征的边缘像素时，可以对目标区域的像素进行行扫描或列扫描，以确定每行或每列的边缘像素是否符合其边缘特征。在对边缘像素进行处理时，可以进行如下两种处理方式：

对凹陷区域的像素进行补充。具体的，凹陷区域可以指的是与根据边缘特性确定的预设边缘相比出现凹陷的区域，例如，剪力墙的边缘特征为直线，如果目标区域边缘的某个像素出现凹陷，不与其他位置的边缘构成直线，则对其进行补充，以使其能够与其他像素构成剪力墙的直线边缘。

对突出区域的像素进行清除。具体的，突出区域可以指的是与根据边缘特性确定的预设边缘相比出现突出的区域，例如，剪力墙的边缘特征为直线，如果目标区域边缘的某个像素出现突出的情况，不与其他位置的边缘构成直线，则对其进行清除，以使其能够与其他像素构成剪力墙的直线边缘。

作为一种可选的实施例，根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵，包括：获取第一图像的多个第一特征点；获取第二图像中与第一特征点匹配的多个第二特征点；根据多个第一特征点和多个第二特征点确定第一图像和第二图像之间的转换矩阵。

具体的，上述第一特征点和第二特征点具有匹配关系，形成多对匹配特征点，基于多对匹配特征点，即可得到二者之间的转换矩阵。

上述方案中，由于语义分割网络得到的剪力墙存在像素级别的误差，无法直接进行利用，因此通过统计分割得到的剪力墙的像素，得到每一个独立的剪力墙的重要特征信息，即上述特征点，并经过全局分析，找到两张图纸对应的匹配关系，进而计算转换矩阵。

实施例2

根据本发明实施例，提供了一种图像的处理方法的实施例，图6是根据本申请实施例的另一种图像的处理方法的流程图，如图6所示，该方法包括如下步骤：

步骤S61，对图像进行形态学操作，以从图像中提取目标区域，得到第一提取结果。

具体的，形态学操作是基于形状的一系列图像处理操作的集合，主要是基于集合理论基础上的形态学数学。形态学操作主要包括四个操作：腐蚀、膨胀、开环、闭环。下面具体说明。

膨胀操作与卷积操作类似，指的是通过定义的结构元素，在图像上进行逐点移动，定义结构元素的中心点，并计算结构元素覆盖在图像上的最大像素值，并用最大像素值来替代中心点的像素。腐蚀操作和膨胀操作类似，区别在于其使用最小像素值替代中心点的像素。开环操作指的是对图像先使用结构元素腐蚀操作，再进行膨胀操作，而闭环操作指的是先对图像使用结构元素膨胀操作，再进腐蚀操作。

上述形态写操作用于基于图像中目标区域和非目标区域的线条的区别，通过对图像中的线条进行膨胀或腐蚀等处理，从图像中提取出目标区域。

上述形态学操作可以针对的是二值图像，因此，在图像为二值图像的时候，可以直接进行形态学操作，例如对于仅有黑白两色的建筑图纸，即可以直接进行形态学操作，而当图像并非二值图像时，还可以将其进行二值化处理后再进行形态学操作。

步骤S63，获取第一提取结果的中心，并基于中心获取图像的感兴趣区域。

具体的，上述感兴趣区域可以为ROI（region of interest）。第一提取结果的中心可以是第一提取结果的中心位置，也可以是第一提取结果所表示的实体的重心位置。例如，在一种可选的实施例中，以图像为建筑图纸为例，第一提取结果所表示的实体可以为剪力墙，因此可以采用剪力墙的重心作为第一提取结果的中心。

上述感兴趣区域指的是图像整体的感兴趣区域，显然的，图像的感兴趣区域即为目标区域，因此可以根据第一提取结果的中心提取预设尺寸的区域作为感兴趣区域。

步骤S65，基于感兴趣区域通过语义分割网络获取图像的目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识。

具体的，上述掩码图用于通过在像素上进行标识的方式来体现识别结果。例如，掩码图中，可以对属于目标区域的像素标识为1，对属于背景区域的像素标识为0，从而得到了掩码图。

上述语义分割网络可以是经过训练的神经网络模型，通过输入的感兴趣区域，可以识别出感兴趣区域中的目标区域，从而对目标区域进行进一步提取。

需要说明的是，图像中可以包括多个目标区域，因此会具有多个第一提取结果，从而具有对应的多个感兴趣区域。在图像具有多个感兴趣区域的情况下，可以构成感兴趣区域序列，同时输入至语义分割网络，从而得到语义分割网络输出的与每个感兴趣区域对应的掩码图。

步骤S67，根据图像基于掩码图进行还原，得到图像的目标区域。

上述步骤中，将掩码图还原至与图像相同的尺寸，从而得到了图像的目标区域。

需要说明的是，本实施例中的图像处理方法还包括实施例1中对提取第一图像的目标区域的其他步骤，此处不再赘述。

由此可知，本申请上述实施例对图像进行形态学操作，以从图像中提取目标区域，得到第一提取结果；获取第一提取结果的中心，并基于中心获取图像的感兴趣区域；基于感兴趣区域通过语义分割网络获取图像的目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识；根据图像基于掩码图进行还原，得到图像的目标区域。上述方案先对图像中的目标区域进行粗提取，再通过语义分割网络进行细提取，从而提高了图像定位的准确度，进而提高了能够提高辅助校准的准确度，解决了现有技术中在进行图纸的辅助校对时准确度较低的技术问题。

实施例3

根据本发明实施例，提供了一种实施实施例1中的图像的处理方法的图像的处理装置的实施例，图7是根据本申请实施例的一种图像的处理装置的示意图，如图7所示，该装置包括如：

提取模块70，用于提取第一图像和第二图像的目标区域，其中，目标区域为第一图像和第二图像中相同的区域。

确定模块72，用于根据第一图像和第二图像中的目标区域确定第一图像和第二图像之间的转换矩阵。

转换模块74，用于基于转换矩阵对第一图像进行转换得到第三图像，并将第三图像与第二图像进行比对；或基于转换矩阵对第二图像进行转换得到第四图像，并将第四图像与第一图像进行比对。

作为一种可选的实施例，提取模块包括：操作子模块，用于对第一图像进行形态学操作，得到目标区域的第一提取结果；第一获取子模块，用于获取第一提取结果的中心，并基于中心获取第一图像的感兴趣区域；第二获取子模块，用于基于感兴趣区域通过语义分割网络获取目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识；还原子模块，用于根据第一图像基于掩码图进行还原，得到第一图像的目标区域。

作为一种可选的实施例，第一获取子模块包括：确定单元，用于确定第一提取结果的重心为中心；提取单元，用于根据中心提取预设尺寸的区域为感兴趣区域。

作为一种可选的实施例，第二获取子模块包括：输入单元，用于将感兴趣区域输入至语义分割网络，其中，语义分割网络通过预设的训练数据得到，预设的训练数据包括：样本图像和样本图像的掩码图；获取单元，用于获取语义分割网络输出的掩码图。

作为一种可选的实施例，装置还包括：在根据第一图像基于掩码图进行还原之后，分析模块，用于对通过还原掩码图得到的目标区域的边缘进行梯度分析，得到不符合目标区域的边缘特性的边缘像素；处理模块，用于对不符合目标区域的边缘特性的边缘像素进行处理。

作为一种可选的实施例，第一图像为建筑图纸，目标区域为第一图像中表示剪力墙的区域，目标区域的边缘特性为直线，处理模块包括：补充子模块，用于对凹陷区域的像素进行补充；以及清除子模块，用于对突出区域的像素进行清除。

作为一种可选的实施例，确定模块包括：第三获取子模块，用于获取第一图像的多个第一特征点；第四获取子模块，用于获取第二图像中与第一特征点匹配的多个第二特征点；确定子模块，用于根据多个第一特征点和多个第二特征点确定第一图像和第二图像之间的转换矩阵。

实施例4

根据本发明实施例，提供了一种实施实施例2中的图像的处理方法的图像的处理装置的实施例，图8是根据本申请实施例的一种图像的处理装置的示意图，如图8所示，该装置包括如：

操作模块80，用于对图像进行形态学操作，以从图像中提取目标区域，得到第一提取结果。

第一获取模块82，用于获取第一提取结果的中心，并基于中心获取图像的感兴趣区域。

第二获取模块84，用于基于感兴趣区域通过语义分割网络获取图像的目标区域的掩码图，其中，掩码图包括用于表示像素是否为目标区域的标识。

还原模块86，用于根据图像基于掩码图进行还原，得到图像的目标区域。

实施例5

根据本发明实施例，提供了一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行实施例1或实施例2所述的图像的处理方法。

实施例6

根据本发明实施例，提供了一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行实施例1或实施例2所述的图像的处理方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种图像的处理方法，其特征在于，包括：

提取第一图像和第二图像的目标区域，其中，所述目标区域为所述第一图像和所述第二图像中相同的区域，所述第一图像为建筑图纸，所述目标区域为所述第一图像中表示重力墙的区域；所述提取第一图像的目标区域，包括：

对所述第一图像进行形态学操作，得到所述目标区域的第一提取结果；

获取所述第一提取结果的中心，并基于所述中心获取所述第一图像的感兴趣区域；

基于所述感兴趣区域通过语义分割网络获取所述目标区域的掩码图，其中，所述掩码图包括用于表示像素是否为目标区域的标识；

根据所述第一图像基于所述掩码图进行还原，对通过还原所述掩码图得到的目标区域的边缘进行梯度分析，得到不符合所述目标区域的边缘特性的边缘像素；

对不符合所述目标区域的边缘特性的边缘像素进行处理，得到所述第一图像的目标区域；

根据所述第一图像和所述第二图像中的目标区域确定所述第一图像和所述第二图像之间的单应性矩阵；

基于所述单应性矩阵对所述第一图像进行转换得到第三图像，并将所述第三图像与所述第二图像进行比对；或

基于所述单应性矩阵对所述第二图像进行转换得到第四图像，并将所述第四图像与所述第一图像进行比对；

获取所述第一提取结果的中心，并基于所述中心获取所述第一图像的感兴趣区域，包括：

确定所述第一提取结果的重心为所述中心；

根据所述中心提取预设尺寸的区域为所述感兴趣区域；

其中，所述目标区域的边缘特性为直线，对不符合所述目标区域的边缘特性的边缘像素进行处理，包括：

对凹陷区域的像素进行补充；以及对突出区域的像素进行清除。

2.根据权利要求1所述的方法，其特征在于，基于所述感兴趣区域通过语义分割网络获取所述目标区域的掩码图，包括：

将所述感兴趣区域输入至所述语义分割网络，其中，所述语义分割网络通过预设的训练数据得到，所述预设的训练数据包括：样本图像和所述样本图像的掩码图；

获取所述语义分割网络输出的掩码图。

3.根据权利要求1所述的方法，其特征在于，根据所述第一图像和所述第二图像中的目标区域确定所述第一图像和所述第二图像之间的单应性矩阵，包括：

获取所述第一图像的多个第一特征点；

获取所述第二图像中与所述第一特征点匹配的多个第二特征点；

根据多个所述第一特征点和多个所述第二特征点确定所述第一图像和所述第二图像之间的单应性矩阵。

4.一种图像的处理方法，其特征在于，包括：

对图像进行形态学操作，以从所述图像中提取目标区域，得到第一提取结果，所述图像为建筑图纸，所述目标区域为所述第一图像中表示重力墙的区域；

获取所述第一提取结果的中心，并基于所述中心获取所述图像的感兴趣区域；

基于所述感兴趣区域通过语义分割网络获取所述图像的目标区域的掩码图，其中，所述掩码图包括用于表示像素是否为目标区域的标识；

根据所述图像基于所述掩码图进行还原，对通过还原所述掩码图得到的目标区域的边缘进行梯度分析，得到不符合所述目标区域的边缘特性的边缘像素；

对不符合所述目标区域的边缘特性的边缘像素进行处理，得到所述图像的目标区域；

获取所述第一提取结果的中心，并基于所述中心获取所述图像的感兴趣区域，包括：

确定所述第一提取结果的重心为所述中心；

根据所述中心提取预设尺寸的区域为所述感兴趣区域；

其中，所述目标区域的边缘特性为直线，对不符合所述目标区域的边缘特性的边缘像素进行处理，包括：

对凹陷区域的像素进行补充；以及对突出区域的像素进行清除。

5.一种图像的处理装置，其特征在于，包括：

提取模块，用于提取第一图像和第二图像的目标区域，其中，所述目标区域为所述第一图像和所述第二图像中相同的区域，所述第一图像为建筑图纸，所述目标区域为所述第一图像中表示重力墙的区域，所述提取第一图像的目标区域，包括：

对所述第一图像进行形态学操作，得到所述目标区域的第一提取结果；

获取所述第一提取结果的中心，并基于所述中心获取所述第一图像的感兴趣区域；

基于所述感兴趣区域通过语义分割网络获取所述目标区域的掩码图，其中，所述掩码图包括用于表示像素是否为目标区域的标识；

根据所述第一图像基于所述掩码图进行还原，对通过还原所述掩码图得到的目标区域的边缘进行梯度分析，得到不符合所述目标区域的边缘特性的边缘像素；

对不符合所述目标区域的边缘特性的边缘像素进行处理，得到所述第一图像的目标区域；

确定模块，用于根据所述第一图像和所述第二图像中的目标区域确定所述第一图像和所述第二图像之间的单应性矩阵；

转换模块，用于基于所述单应性矩阵对所述第一图像进行转换得到第三图像，并将所述第三图像与所述第二图像进行比对；或基于所述单应性矩阵对所述第二图像进行转换得到第四图像，并将所述第四图像与所述第一图像进行比对；

获取所述第一提取结果的中心，并基于所述中心获取所述第一图像的感兴趣区域，包括：确定所述第一提取结果的重心为所述中心；根据所述中心提取预设尺寸的区域为所述感兴趣区域；

其中，所述装置还包括：处理模块，所述处理模块包括：补充子模块，用于对凹陷区域的像素进行补充；以及清除子模块，用于对突出区域的像素进行清除。

6.一种图像的处理装置，其特征在于，包括：

操作模块，用于对图像进行形态学操作，以从所述图像中提取目标区域，得到第一提取结果，所述图像为建筑图纸，所述目标区域为所述第一图像中表示重力墙的区域；

第一获取模块，用于获取所述第一提取结果的中心，并基于所述中心获取所述图像的感兴趣区域；

第二获取模块，用于基于所述感兴趣区域通过语义分割网络获取所述图像的目标区域的掩码图，其中，所述掩码图包括用于表示像素是否为目标区域的标识；

还原模块，用于根据所述图像基于所述掩码图进行还原，对通过还原所述掩码图得到的目标区域的边缘进行梯度分析，得到不符合所述目标区域的边缘特性的边缘像素，对不符合所述目标区域的边缘特性的边缘像素进行处理，得到所述图像的目标区域；所述还原模块还用于对凹陷区域的像素进行补充；以及对突出区域的像素进行清除；

获取所述第一提取结果的中心，并基于所述中心获取所述图像的感兴趣区域，包括：确定所述第一提取结果的重心为所述中心；根据所述中心提取预设尺寸的区域为所述感兴趣区域。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的图像的处理方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中任意一项所述的图像的处理方法。

Images