CN110874591B - 一种图像定位方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像定位方法、装置、设备及存储介质，其中，图像定位方法包括：获取目标全局图像和目标局部图像；分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置；其中，目标图像定位模型包括特征提取模型，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征。本发明实施例的技术方案克服了人工定位出错率高且费时费力的不足，提高了图像定位的准确性以及图像定位的效率。

Description

一种图像定位方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像定位方法、装置、设备及存储介质。

背景技术

近年来，国内房地产事业蓬勃发展。通常情况下，在整个楼盘开发过程中户型图纸可能会被单独改动，因此，需要将改动过的户型图纸和原始整体图纸进行校对，确定出户型图纸被改动的位置，以更新原始整体图纸。

在将户型图纸与原始整体图纸进行校对之前，通常需要先确定出户型图纸在原始整体图纸中的精确位置。现有的图纸定位方法多依靠人工进行手动定位，由于图纸中包含大量的精细线条和组成部件，因此图纸定位是一项机械而繁琐的工作，人工定位出错率高且费时费力。

发明内容

本发明提供一种图像定位方法、装置、设备及存储介质，提高了图像定位的准确性以及图像定位的效率。

第一方面，本发明实施例提供了一种图像定位方法，所述方法包括：

获取目标全局图像和目标局部图像；

分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取所述目标全局图像的全局图像特征和所述目标局部图像的局部图像特征。

第二方面，本发明实施例还提供了一种图像定位装置，所述装置包括：

图像获取模块，用于获取目标全局图像和目标局部图像；

特征提取模块，用于分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取所述目标全局图像的全局图像特征和所述目标局部图像的局部图像特征。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的图像定位方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一实施例所述的图像定位方法。

本发明实施例通过获取目标全局图像和目标局部图像；分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置；其中，目标图像定位模型包括特征提取模型，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征，克服了人工定位出错率高且费时费力的不足，提高了图像定位的准确性以及图像定位的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中的一种图像定位方法的流程图；

图2是本发明实施例二中的一种图像定位方法的流程图；

图3是本发明实施例三中的一种图像定位方法的流程图；

图4a为本发明实施例四中的一种整体户型图纸样本的示意图；

图4b为本发明实施例四中的一种利用最大外接矩形去除边缘干扰区域的整体户型图纸样本的示意图；

图4c为本发明实施例四中的一种训练自编码卷积网络模型的示意图；

图4d为本发明实施例四中的一种待训练的图像定位模型的示意图；

图4e为本发明实施例四中的一种利用最大外接矩形去除边缘干扰区域的单个户型图纸样本的示意图；

图4f为本发明实施例四中的一种网格化后的整体户型图纸样本的示意图；

图4g为本发明实施例四中的一种预设位置标签的示意图；

图4h为本发明实施例四中的一种目标整体户型图纸的示意图；

图4i为本发明实施例四中的一种目标单个户型图纸的示意图；

图4j为本发明实施例四中的一种确定差异后的示意图；

图5是本发明实施例五中的一种图像定位装置的结构示意图；

图6是本发明实施例六中的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图像定位方法的流程图，本实施例可适用于需要在全局图像中确定局部图像的具体位置的情况，该方法可以由图像定位装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于计算机设备中。如图1所示，该方法具体可以包括如下步骤：

S110、获取目标全局图像和目标局部图像。

其中，目标局部图像中的场景与目标全局图像中的部分场景相对应，目标局部图像中的场景可以与目标全局图像中的部分场景相同，也可以是在目标全局图像中的部分场景的基础上，对细节进行调整后的场景。示例性的，目标全局图像和目标局部图像可以是医学图像，其中，目标全局图像可以是包括目标部位的整体标准医学图像（标准医学图像可以是不包括病灶的医学图像），目标局部图像可以是受检物体的目标部位图像（该目标部位可以包括病灶，也可以不包括病灶）；目标全局图像和目标局部图像还可以是户型图纸，其中，目标全局图像可以是楼层的整体户型图纸，目标局部图像可以是单个户型图纸。

本实施例中，目标全局图像和目标局部图像的存储位置可以相同，也可以不同，在此不作特殊限定。示例性的，可以分别从第一存储位置获取目标全局图像以及从第二存储位置获取目标局部图像，也可以从同一个存储位置获取目标全局图像和目标局部图像。

S120、分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征。

优选的，可以利用全局图像样本集合、相应的局部图像样本集合以及局部图像样本在相应的全局图像样本中的位置标注，预先对目标图像定位模型进行训练。

上述预先训练好的目标图像定位模型可以输出目标局部图像在目标全局图像中的对应位置。优选的，目标图像定位模型输出的目标局部图像在目标全局图像中的对应位置的输出形式可以与位置标注相同。示例性的，位置标注可以是在全局图像样本中，局部图像样本对应的位置的数值标注为1，其余位置的数值标注为0，相应的，目标图像定位模型输出的目标局部图像在目标全局图像中的对应位置可以是在目标全局图像中，目标局部图像对应的位置的数值标注为1，其余位置的数值标注为0。在此需要说明的是，此处位置标注和对应位置的输出形式仅为举例说明，并不对其构成限定作用。

本实施例中，特征提取模型可以用于提取输入图像的图像特征，并输出该图像特征。若输入图像为目标全局图像，则特征提取模型提取目标全局图像的全局图像特征并输出，若输入图像为目标局部图像，则特征提取模型提取目标局部图像的局部图像特征并输出。优选的，特征提取模型可以基于相同的降采样倍数，分别提取目标全局图像的全局图像特征和目标局部图像的局部图像特征。

由于图像特征丰富，利用现有图像特征提取方法很难提取出图像中所包含的所有特征，因此，本实施例中的特征提取模型优选并不是直接利用输入图像以及输入图像对应的特征进行训练得到的，而是借助包含特征提取模型的中间模型，通过对中间模型进行训练间接获取特征提取模型。

优选的，中间模型可以是自编码网络模型，自编码网络模型可以包括编码型网络模型和解码型网络模型，其中，编码型网络模型可以将高维图像数据编码成低维特征向量。相应的，特征提取模型可以是自编码网络模型中的编码型网络模型。示例性的，自编码网络模型可以是自编码对称型深度神经网络，例如可以是U-Net深度卷积神经网络、V-Net深度卷积神经网络和HourglassNet深度卷积神经网络等，自编码网络模型还可以是自编码非对称型深度神经网络。本实施例中可以利用全局图像样本集合对自编码网络模型进行预训练，得到目标自编码网络模型。

本实施例提供的一种图像定位方法，通过获取目标全局图像和目标局部图像；分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置；其中，目标图像定位模型包括特征提取模型，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征，克服了人工定位出错率高且费时费力的不足，提高了图像定位的准确性以及图像定位的效率。

在上述各实施例的基础上，进一步的，在得到目标局部图像在目标全局图像中的对应位置之后，还包括：

确定目标局部图像与对应位置处的原始局部图像之间的差异。

本实施例中，在确定目标局部图像在目标全局图像中的对应位置之后，可以确定在目标全局图像中，与目标局部图像的场景相匹配的原始局部图像。优选的，可以利用图像差异确定算法，对目标局部图像和原始局部图像进行差异计算，确定目标局部图像与原始局部图像之间的差异；还可以对标局部图像和原始局部图像进行特征比对，以确定二者之间的差异。

实施例二

图2为本发明实施例二提供的一种图像定位方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，在分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型之前，还包括：

基于所述全局图像样本集合和预设第一损失函数，训练得到所述目标自编码网络模型；

提取所述目标自编码网络模型中的编码网络，并将所述编码网络作为所述特征提取模型。

如图2所示，本实施例的方法具体包括：

S210、获取目标全局图像和目标局部图像。

S220、基于全局图像样本集合和预设第一损失函数，训练得到目标自编码网络模型。

优选的，预设第一损失函数可以是用于进行分布逼近的损失函数，例如可以是交叉熵损失函数、对数熵损失函数或相对熵损失函数中的任何一个。

本实施例中，可以将用于本次训练的全局图像样本输入上一次训练得到的自编码网络模型中，得到与本次训练的全局图像对应的重构全局图像。其中，上一次训练得到的自编码网络模型为基于用于上一次训练的全局图像样本和预设第一损失函数训练得到的。利用第一预设损失函数确定全局图像样本和重构全局图像之间的第一损失函数值，通过不断调整自编码网络模型的参数对第一损失函数值进行迭代，最终得到收敛的第一损失函数值（此时，重构全局图像逼近于全局图像样本），优选的，收敛的第一损失函数值对应的自编码网络模型即为本次训练得到的自编码网络模型。上述不断调整自编码网络模型的参数对第一损失函数值进行迭代的过程可以是每调整一次自编码网络模型的参数，对应输出一个新的重构全局图像，相应的，可以得到一个新的第一损失函数值。对全局图像样本集合中的每个全局图像样本执行上述操作，得到目标自编码网络模型。

S230、提取目标自编码网络模型中的编码网络，并将编码网络作为特征提取模型。

S240、分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征。

本实施例提供的一种图像定位方法，通过获取目标全局图像和目标局部图像；基于全局图像样本集合和预设第一损失函数，训练得到目标自编码网络模型；提取目标自编码网络模型中的编码网络，并将编码网络作为特征提取模型；分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置；其中，目标图像定位模型包括特征提取模型，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征，克服了人工定位出错率高且费时费力的不足，通过自编码网络模型中的编码网络提高了图像特征提取的准确性，进一步提高了图像定位的准确性以及图像定位的效率。

在上述各实施例的基础上，进一步的，目标图像定位模型还可以包括卷积网络，其中，卷积网络的输入为特征提取模型（即编码网络）的输出，优选的，卷积网络可以用于将特征提取模型输出的多维特征矩阵转换为二维特征矩阵，以减少后续目标图像定位模型的计算量。卷积网络可以包括卷积层、BN（Batch Normalization，批量标准化）层和激活函数层。

在上述各实施例的基础上，进一步的，在基于全局图像样本集合和预设损失函数，训练得到目标自编码网络模型之前，还包括：

确定每个全局图像样本的最大外接矩形；

利用最大外接矩形确定每个全局图像的感兴趣区域，并将每个感兴趣区域作为全局图像样本集合。

一般的，全局图像样本中可能会包含非感兴趣的边界信息，优选的，可以通过确定全局图像样本的最大外接矩形，来得到去除非感兴趣的边界信息之后的全局图像样本。

示例性的，本实施中的最大外接矩形可以是全局图像样本中感兴趣区域的边界。其中，感兴趣区域可以是全局图像样本中的有效信息区域，以全局图像样本为楼层的整体户型图纸样本为例，感兴趣区域可以是户型对应的线条区域，而位于户型对应的线条区域外围且用于标注户型尺寸的线条以及空白区域均为非感兴趣区域。

本实施例中，优选可以基于像素梯度值，分别确定全局图像样本的上边界、下边界、左边界和右边界等。

实施例三

图3为本发明实施例三提供的一种图像定位方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，在分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型之前，还包括：

利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到所述目标图像定位模型；其中，所述图像样本对包括全局图像样本和与所述全局图像样本对应的局部图像样本，所述预设位置标签用于表示局部图像样本在全局图像样本中的对应位置，所述目标图像定位模型还包括差值运算模块，所述差值运算模块的输入为所述卷积模型的输出，所述差值运算模块的输出为所述目标局部图像在所述目标全局图像中的对应位置。

在利用全局图像样本集合、局部图像样本集合、每个局部图像样本对应的预设位置标签、所述特征提取模型和预设第二损失函数，训练得到所述目标图像定位模型之前，还包括：

根据预设位置标签确定规则，确定所述预设位置标签。

如图3所示，本实施例的方法具体包括：

S310、获取目标全局图像和目标局部图像。

S320、根据预设位置标签确定规则，确定预设位置标签。

示例性的，根据预设位置标签确定规则，确定预设位置标签可以包括在全局图像样本中，将相应的局部图像样本在全局图像样本中的对应位置处的各像素值设置为1，将其余位置处的各像素值设置为0。根据预设位置标签确定规则，确定预设位置标签也可以包括在全局图像样本中，将相应的局部图像样本在全局图像样本中的对应位置处的边缘像素值设置为1，将其余位置处的各像素值设置为0。本实施例中，根据预设位置标签确定规则，确定预设位置标签还可以包括：

根据预设降采样倍数，将每个全局图像样本网格化，得到每个全局图像样本对应的网格图像，其中，预设降采样倍数与特征提取模型的降采样倍数相同；

将每个网格图像中的第一网格赋值为第一数值，将每个网格图像中除第一网格之外的其他网格赋值为第二数值，将赋值后的网格图像作为预设位置标签；其中，第一网格为第一位置对应的网格，第一位置为局部图像样本在对应的全局图像样本中的对应位置。

示例性的，若预设降采样倍数为8，则一个网格对应的像素点的个数为8×8。若全局图像样本的尺寸为256×256，则全局图像样本对应的网格图像中的网格数目为32×32。在此需要说明的是，经过本实施例中的特征提取模型和卷积网络得到的二维特征矩阵，其包含的特征数目也为32×32，其可以与网格图像中的网格一一对应。

若第一位置对应的第一网格的网格坐标分别是(10,8)（该坐标表示网格图像中位于第10行第8列的网格）、(10,9)、(10,10)、(10,11)、(11,9)、(11,10)、(11,11)、(12,9)、(12,10)、(12,11)和(12,12)，则将上述坐标对应的网格的数值设置为1（即本实施例中的第一数值），将网格图像中除上述坐标对应的第一网格之外的其他网格的数值设置为0（即本实施例中的第二数值）。

S330、利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到目标图像定位模型；其中，图像样本对包括全局图像样本和与全局图像样本对应的局部图像样本，预设位置标签用于表示局部图像样本在与局部图像样本对应的全局图像样本中的对应位置，目标图像定位模型还包括差值运算模块，差值运算模块的输入为卷积模型的输出，差值运算模块的输出为目标局部图像在目标全局图像中的对应位置。

优选的，利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到目标图像定位模型可以包括：

针对每个图像样本对，执行如下操作：分别将全局图像样本和局部图像样本输入预先建立的第一图像定位模型中，得到第一相对位置特征图，所述第一相对位置特征图为在所述差值运算模块中，局部图像样本对应的局部图像样本特征对相应的全局图像样本对应的全局图像样本特征进行遍历做差运算得到的；

基于所述第一相对位置特征图、所述图像样本对所对应的预设位置标签和第二损失函数，对所述第一图像定位模型的模型参数进行调整，得到所述目标图像定位模型。

优选的，预设第二损失函数可以是用于进行距离逼近的损失函数，例如可以是均方误差损失函数等。

本实施例中，可以将用于本次训练的图像样本对（全局图像样本和对应的局部图像样本）输入上一次训练得到的第一图像定位模型中。其中，上一次训练得到的第一图像定位模型为基于用于上一次训练的图像样本对、图像样本对所对应的预设位置标签和预设第二损失函数训练得到的。用于本次训练的图像样本对经过第一图像定位模型中的特征提取模型和卷积网络，得到全局图像样本对应的二维全局图像样本特征和局部图像样本对应的二维局部图像样本特征；之后在差值运算模块中，二维局部图像样本特征对相应的二维全局图像样本特征进行遍历做差运算，得到第一相对位置特征图。利用第二预设损失函数确定第一相对位置特征图和预设位置标签之间的第二损失函数值，通过不断微调第一图像定位模型的参数（特征提取模型和卷积模型中的参数）对第二损失函数值进行迭代，最终得到收敛的第二损失函数值（此时，相对位置特征图逼近似预设位置标签），优选的，收敛的第二损失函数值对应的图像定位模型即为本次训练得到的第一图像定位模型。上述不断调整图像定位模型的参数对第二损失函数值进行迭代的过程可以是每微调一次第一图像定位模型的参数，对应输出一个新的第一相对位置特征图，相应的，可以得到一个新的第二损失函数值。

对每个图像样本对执行上述过程，得到目标图像定位模型。

S340、分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置；其中，目标图像定位模型包括特征提取模型，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，特征提取模型用于提取得到目标全局图像的全局图像特征和目标局部图像的局部图像特征。

本实施例提供的一种图像定位方法，通过获取目标全局图像和目标局部图像；分别将目标全局图像和目标局部图像输入预先训练好的特征提取模型，得到目标全局图像的全局图像特征和目标局部图像的局部图像特征，其中，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定；根据预设位置标签确定规则，确定预设位置标签；利用全局图像样本集合、局部图像样本集合、每个局部图像样本对应的预设位置标签、特征提取模型和预设第二损失函数，训练得到目标图像定位模型；其中，预设位置标签用于表示局部图像样本在与局部图像样本对应的全局图像样本中的对应位置；将全局图像特征和局部图像特征同时输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置，克服了人工定位出错率高且费时费力的不足，进一步提高了图像定位的准确性以及图像定位的效率。

实施例四

本实施例在上述各实施例的基础上提供了一种优选实施例，本实施例中，目标全局图像为楼层的整体户型图纸，目标局部图像为楼层单个户型图纸。具体的，确定单个户型图纸在整体户型图纸中的对应位置可以包括：

图4a为本发明实施例四提供的一种整体户型图纸样本的示意图，图4b为本发明实施例四提供的一种利用最大外接矩形去除边缘干扰区域的整体户型图纸样本的示意图。获取整体户型图纸样本集合（整体户型图纸样本集合中的每个整体户型图纸样本如图4a所示），利用最大外接矩形去除每个整体户型图纸样本中的边缘干扰区域，得到每个感兴趣区域图纸，将每个感兴趣区域图纸作为整体户型图纸样本集合（整体户型图纸样本集合中的每个整体户型图纸样本如图4b所示）。

图4c为本发明实施例四提供的一种训练自编码卷积网络模型的示意图，如图4c所示，利用整体户型图纸样本集合中的每个整体户型图纸样本和交叉熵损失函数，通过不断迭代最小化损失函数，训练得到自编码卷积网络模型，自编码网络具有特征提取能力，能够识别图纸的特征。自编码卷积网络模型中包括编码网络和解码网络，其中，编码网络能够将图纸的特征进行表征，并且其使用步长为2的卷积核对图像进行降采样（此处可以确定降采样倍数），解码网络使用转置卷积对特征进行重构。

图4d为本发明实施例四提供的一种待训练的图像定位模型的示意图，如图4d所示，可以将自编码卷积网络模型中的编码网络提取出来，增加一个卷积模块，卷积模块可以将整体户型图纸的特征矩阵维度以及单个户型图纸的特征矩阵维度均调整为二维。卷积模块包含卷积层、BN层和激活函数层。在卷积层后面增加一个差值运算模块，用于单个户型图纸的特征矩阵对整体户型图纸的特征矩阵进行遍历做差运算。将上述编码网络、卷积网络和差值运算模块作为待训练的图像定位模型。

图4e为本发明实施例四提供的一种利用最大外接矩形去除边缘干扰区域的单个户型图纸样本的示意图。获取单个户型图纸样本集合，并利用最大外接矩形去除每个单个户型图纸样本中的边缘干扰区域，得到每个感兴趣区域图纸，将每个感兴趣区域图纸作为单个户型图纸样本集合（单个户型图纸样本集合中的每个单个户型图纸样本如图4e所示）。

图4f为本发明实施例四提供的一种网格化后的整体户型图纸样本的示意图。基于降采样倍数，分别将每个整体户型图纸样本网格化，得到网格化后的每个整体户型图纸样本，如图4f所示，其中，黑色虚线构成的四边形即为网格。

图4g为本发明实施例四提供的一种预设位置标签的示意图，基于网格化后的整体户型图纸样本集合，确定每个图纸样本对（整体户型图纸样本和单个户型图纸样本）所对应的预设位置标签，具体的，分别为每个网格化后的整体户型图纸样本中的网格赋值，其中，将单个户型图纸样本对应的网格赋值为1，将其余网格赋值为0，得到每个图纸样本对对应的预设位置标签。

将整体户型图纸样本集合中的整体户型图纸样本和单个户型图纸样本集合中的单个户型图纸样本分别输入待训练的图像定位模型，得到经过遍历做差运算后的位置相关特征图，利用位置相关特征图、预设位置标签和均方误差（MSE）损失函数，计算位置相关特征图和预设位置标签之间的损失，通过微调待训练的图像定位模型参数，不断迭代损失函数，直到损失稳定模型达到收敛，得到目标图像定位模型。

图4h为本发明实施例四提供的一种目标整体户型图纸的示意图，图4i为本发明实施例四提供的一种目标单个户型图纸的示意图。获取目标整体户型图纸（如图4h所示）和目标单个整体户型图纸（如图4i所示），利用最大外接矩形去除目标整体户型图纸和目标单个整体户型图纸中的边缘干扰区域，得到相应的感兴趣区域图纸，并将相应的感兴趣区域图纸作为目标整体户型图纸和目标单个整体户型图纸。

分别将目标整体户型图纸和目标单个整体户型图纸输入目标图像定位模型中，得到目标单个整体户型图纸在目标整体户型图纸中的相应位置。

图4j为本发明实施例四提供的一种确定差异后的示意图，如图4j所示，在得到目标单个整体户型图纸在目标整体户型图纸中的相应位置之后，可以通过分析运算，确定目标单个整体户型图纸与目标整体户型图纸相应位置处的原始单个整体户型图纸之间的差异（图4j中圆圈圈出大部分为存在差异的位置）。

实施例五

图5是本发明实施例五中的一种图像定位装置的结构示意图。如图5所示，本实施例的装置包括：

图像获取模块510，用于获取目标全局图像和目标局部图像；

位置确定模块520，用于分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征。

本实施例提供的一种图像定位装置，通过利用图像获取模块获取目标全局图像和目标局部图像；利用位置确定模块分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征，克服了人工定位出错率高且费时费力的不足，提高了图像定位的准确性以及图像定位的效率。

在上述各技术方案的基础上，可选的，图像定位装置还可以包括图像差异确定模块，用于在得到目标局部图像在目标全局图像中的对应位置之后，确定目标局部图像与对应位置处的原始局部图像之间的差异。

在上述各技术方案的基础上，可选的，图像定位装置还可以包括目标自编码网络模型训练模块，用于在分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型之前，基于全局图像样本集合和预设第一损失函数，训练得到目标自编码网络模型；

编码网络提取模块，用于提取目标自编码网络模型中的编码网络，并将编码网络作为预先训练好的特征提取模型。

在上述各技术方案的基础上，可选的，所述目标图像定位模型还可以包括卷积网络，其中，卷积网络的输入为特征提取模型的输出，卷积网络用于将特征提取模型输出的多维特征矩阵转换为二维特征矩阵。

在上述各技术方案的基础上，可选的，图像定位装置还可以包括最大外接矩形确定模块，用于在基于全局图像样本集合和预设第一损失函数，训练得到目标自编码网络模型之前，确定每个全局图像样本的最大外接矩形；

感兴趣区域确定模块，用于利用最大外接矩形确定每个全局图像的感兴趣区域，并将每个感兴趣区域作为全局图像样本集合。

在上述各技术方案的基础上，可选的，图像定位装置还可以包括目标图像定位模型训练模块，用于在分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型之前，利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到目标图像定位模型；其中，图像样本对包括全局图像样本和与全局图像样本对应的局部图像样本，预设位置标签用于表示局部图像样本在全局图像样本中的对应位置，目标图像定位模型还包括差值运算模块，差值运算模块的输入为卷积模型的输出，差值运算模块的输出为目标局部图像在目标全局图像中的对应位置。

在上述各技术方案的基础上，可选的，图像定位装置还可以包括预设位置标签确定模块，用于在利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到目标图像定位模型之前，根据预设位置标签确定规则，确定预设位置标签。

在上述各技术方案的基础上，可选的，预设位置标签确定模块可以包括：

网格图像确定单元，用于根据预设降采样倍数，将每个全局图像样本网格化，得到每个全局图像样本对应的网格图像，其中，所述预设降采样倍数与所述特征提取模型的降采样倍数相同；

预设位置标签确定单元，用于将每个网格图像中的第一网格赋值为第一数值，将每个网格图像中除第一网格之外的其他网格赋值为第二数值，将赋值后的网格图像作为预设位置标签；其中，第一网格为第一位置对应的网格，第一位置为局部图像样本在对应的全局图像样本中的对应位置。

在上述各技术方案的基础上，可选的，目标图像定位模型训练模块可以包括：

第一相对位置特征图确定单元，用于针对每个图像样本对，执行如下操作：分别将全局图像样本和局部图像样本输入预先建立的第一图像定位模型中，得到第一相对位置特征图，所述第一相对位置特征图为在所述差值运算模块中，局部图像样本对应的局部图像样本特征对相应的全局图像样本对应的全局图像样本特征进行遍历做差运算得到的。

目标图像定位模型确定单元，用于基于所述第一相对位置特征图、所述图像样本对所对应的预设位置标签和第二损失函数，对所述第一图像定位模型的模型参数进行调整，得到所述目标图像定位模型。

本发明实施例所提供的图像定位装置可执行本发明任意实施例所提供的图像定位方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例五提供的计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备612的框图。图6显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备612以通用计算设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器616，存储器628，连接不同系统组件（包括存储器628和处理器616）的总线618。

总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）630和/或高速缓存存储器632。计算机设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置634可以用于读写不可移动的、非易失性磁介质（图6未显示，通常称为“硬盘驱动器”）。尽管图6中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储器628可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备612也可以与一个或多个外部设备614（例如键盘、指向设备、显示器624等，其中，显示器624可根据实际需要决定是否配置）通信，还可与一个或者多个使得用户能与该计算机设备612交互的设备通信，和/或与使得该计算机设备612能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。

处理器616通过运行存储在存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像定位方法。

实施例七

本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的图像定位方法，包括：

获取目标全局图像和目标局部图像；

分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型，得到目标局部图像在目标全局图像中的对应位置；其中，目标图像定位模型包括特征提取模型，特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，特征提取模型用于提取目标全局图像的全局图像特征和目标局部图像的局部图像特征。

当然，本发明实施例所提供的计算机可读存储介质，其上存储的计算机程序不限于执行如上所述的方法操作，还可以执行本发明任意实施例所提供的基于计算机设备的图像定位方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像定位方法，其特征在于，包括：

获取目标全局图像和目标局部图像；

分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取所述目标全局图像的全局图像特征和所述目标局部图像的局部图像特征；

其中，在分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型之前，还包括：

基于所述全局图像样本集合和预设第一损失函数，训练得到所述目标自编码网络模型；

提取所述目标自编码网络模型中的编码网络，并将所述编码网络作为所述特征提取模型；

所述目标图像定位模型还包括卷积网络，其中，所述卷积网络的输入为所述特征提取模型的输出，所述卷积网络用于将所述特征提取模型输出的多维特征矩阵转换为二维特征矩阵；

在分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型之前，还包括：

利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到所述目标图像定位模型；其中，所述图像样本对包括全局图像样本和与所述全局图像样本对应的局部图像样本，所述预设位置标签用于表示局部图像样本在全局图像样本中的对应位置，所述目标图像定位模型还包括差值运算模块，所述差值运算模块的输入为所述卷积网络的输出，所述差值运算模块的输出为所述目标局部图像在所述目标全局图像中的对应位置，所述预设第二损失函数用于确定所述差值运算模块的输出与所述预设位置标签之间的第二损失函数值。

2.根据权利要求1所述的方法，其特征在于，在得到所述目标局部图像在所述目标全局图像中的对应位置之后，还包括：

确定所述目标局部图像与所述对应位置处的原始局部图像之间的差异。

3.根据权利要求1所述的方法，其特征在于，在基于所述全局图像样本集合和预设第一损失函数，训练得到所述目标自编码网络模型之前，还包括：

确定每个全局图像样本的最大外接矩形；

利用所述最大外接矩形确定每个全局图像的感兴趣区域，并将每个感兴趣区域作为所述全局图像样本集合。

4.根据权利要求1所述的方法，其特征在于，在利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到所述目标图像定位模型之前，还包括：

根据预设位置标签确定规则，确定所述预设位置标签。

5.根据权利要求4所述的方法，其特征在于，根据预设位置标签确定规则，确定所述预设位置标签，包括：

根据预设降采样倍数，将每个全局图像样本网格化，得到每个全局图像样本对应的网格图像，其中，所述预设降采样倍数与所述特征提取模型的降采样倍数相同；

将每个所述网格图像中的第一网格赋值为第一数值，将每个所述网格图像中除第一网格之外的其他网格赋值为第二数值，将赋值后的网格图像作为预设位置标签；其中，所述第一网格为第一位置对应的网格，所述第一位置为局部图像样本在对应的全局图像样本中的对应位置。

6.根据权利要求4或5所述的方法，其特征在于，利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到所述目标图像定位模型，包括：

针对每个图像样本对，执行如下操作：分别将全局图像样本和局部图像样本输入预先建立的第一图像定位模型中，得到第一相对位置特征图，所述第一相对位置特征图为在所述差值运算模块中，局部图像样本对应的局部图像样本特征对相应的全局图像样本对应的全局图像样本特征进行遍历做差运算得到的；

基于所述第一相对位置特征图、所述图像样本对所对应的预设位置标签和第二损失函数，对所述第一图像定位模型的模型参数进行调整，得到所述目标图像定位模型。

7.一种图像定位装置，其特征在于，包括：

图像获取模块，用于获取目标全局图像和目标局部图像；

位置确定模块，用于分别将所述目标全局图像和所述目标局部图像输入预先训练好的目标图像定位模型，得到所述目标局部图像在所述目标全局图像中的对应位置；其中，所述目标图像定位模型包括特征提取模型，所述特征提取模型由基于全局图像样本集合预训练得到的目标自编码网络模型确定，所述特征提取模型用于提取所述目标全局图像的全局图像特征和所述目标局部图像的局部图像特征；

目标自编码网络模型训练模块，用于在分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型之前，基于全局图像样本集合和预设第一损失函数，训练得到目标自编码网络模型；

编码网络提取模块，用于提取目标自编码网络模型中的编码网络，并将编码网络作为预先训练好的特征提取模型；

所述目标图像定位模型还包括卷积网络，其中，卷积网络的输入为特征提取模型的输出，卷积网络用于将特征提取模型输出的多维特征矩阵转换为二维特征矩阵；

目标图像定位模型训练模块，用于在分别将目标全局图像和目标局部图像输入预先训练好的目标图像定位模型之前，利用全局图像样本集合、局部图像样本集合、每个图像样本对所对应的预设位置标签和预设第二损失函数，训练得到目标图像定位模型；其中，图像样本对包括全局图像样本和与全局图像样本对应的局部图像样本，预设位置标签用于表示局部图像样本在全局图像样本中的对应位置，目标图像定位模型还包括差值运算模块，差值运算模块的输入为卷积网络的输出，差值运算模块的输出为目标局部图像在目标全局图像中的对应位置，所述预设第二损失函数用于确定所述差值运算模块的输出与所述预设位置标签之间的第二损失函数值。

8.一种计算机设备，其特征在于，包括：

一个或多个处理装置；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如权利要求1-6中任一所述的图像定位方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的图像定位方法。

Images