CN114155304A - 空间平面图像比较方法、装置和计算机可读存储介质 - Google Patents
空间平面图像比较方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114155304A CN114155304A CN202010922708.8A CN202010922708A CN114155304A CN 114155304 A CN114155304 A CN 114155304A CN 202010922708 A CN202010922708 A CN 202010922708A CN 114155304 A CN114155304 A CN 114155304A
- Authority
- CN
- China
- Prior art keywords
- image
- plane image
- spatial plane
- sub
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供空间平面图像比较方法、装置和计算机可读存储介质。该比较方法包括：获取第一空间平面图像和第二空间平面图像；在第一空间平面图像上进行角点检测，并基于多个角点确定多个第一图像块；将多个第一图像块中的每一个与第二空间平面图像进行模板匹配，以获得在第二空间平面图像上的匹配到的第二图像块；根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的第一空间平面图像和第二空间平面图像；以及比较对齐后的第一空间平面图像和第二空间平面图像在对应位置处的像素的像素类别，以获得第一空间平面图像和第二空间平面图像的比较结果。
Description
技术领域
本申请涉及空间平面图像处理领域，尤其涉及一种空间平面图像比较方法、装置和计算机可读存储介质。
背景技术
当前在虚拟现实(Virtual Reality，VR)、城市规划、房地产等领域，通常需要获得反映整个三维空间的二维布局情况的空间平面图像，以便实现快速导航、规划设计或户型筛选等目的。例如，在虚拟漫游(其为虚拟现实技术的重要分支)的过程中，漫游者可以利用覆盖各个三维场景的空间平面图像来选择图像上的不同导览点，以实现快速跳转到希望漫游的下一场景。又例如，在房地产行业中，通常需要生成整个房屋的空间平面图像(在此情况下，可以被称为户型图或房屋平面图)，以便顾客进行户型筛选。
此外，深度学习等技术的发展实现了利用拍摄三维场景而获得的多个图像来自动地生成空间平面图像。在此情况下，往往需要对生成的图像的准确度进行评估，以便对算法进行评测及调整。为此，可以将手动获得(例如，通过软件绘制)的准确的目标图像与利用算法生成的图像进行比较。然而，现有的空间平面图像比较方法均衡量的是图像中的子区域分割状况、形状或面积等粗粒度标准，由此获得的比较结果较为粗糙，无法精确地衡量空间平面图像的准确度。
可见，需要构建一种能够获得更加精确的空间平面图像比较结果的方法和装置。
发明内容
为解决上述技术问题，根据本发明的一个方面，提供了一种空间平面图像比较方法，所述空间平面图像包括多个互不重叠的子区域并且各个子区域类别与相应的像素类别相关联，所述方法包括：获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像具有相同的分辨率；在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
根据本发明的另一个方面，提供了一种空间平面图像比较装置，所述空间平面图像包括多个互不重叠的子区域并且各个子区域类别与相应的像素类别相关联，所述装置包括：获取单元，配置为获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像关联于同一三维空间并具有相同的分辨率；检测单元，配置为在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；匹配单元，配置为将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；对齐单元，配置为根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及比较单元，配置为比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
根据本发明的另一个方面，提供了一种空间平面图像比较装置，所述空间平面图像包括多个互不重叠的子区域并且各个子区域类别与相应的像素类别相关联，所述装置包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像关联于同一三维空间并具有相同的分辨率；在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现如上所述的空间平面图像比较方法。
根据本发明的上述空间平面图像比较方法、装置和计算机可读存储介质，能够利用角点检测及模板匹配将两个空间平面图像对齐并对图像上的各个像素进行比较，从而获得像素级别的空间平面图像比较结果。这种空间平面图像比较方法、装置和计算机可读存储介质能够获得更加精确的达到像素级别的比较结果，并且便于利用比较结果对图像生成算法进行改进，以提高空间平面图像的生成质量。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出了根据本发明一个实施例的空间平面图像比较方法的流程图；
图2示出了根据本发明一个实施例的获取第一空间平面图像和第二空间平面图像的示意图；
图3示出了根据本发明一个实施例的对第一空间平面图像进行角点检测的示意图；
图4示出了根据本发明一个实施例的将第一图像块与第二空间平面图像进行模板匹配所获得的准确匹配和不准确匹配的结果的示意图；
图5示出了根据本发明一个实施例的以重叠方式示出的对齐后的第一空间平面图像和第二空间平面图像的示意图；
图6示出了根据本发明实施例的空间平面图像比较装置600的框图；
图7示出了根据本发明实施例的空间平面图像比较装置700的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的空间平面图像比较方法、装置和计算机可读存储介质。在附图中，相同的附图标记自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
在本发明实施例中，空间平面图像可以被用于描述三维空间的二维布局情况，并且可以包括多个互不重叠的子区域。例如，当空间平面图像为户型图时，其可以示出房屋内部的各个房间、门、墙体等结构的位置、形状、尺寸等二维布局，并且所述多个互不重叠的子区域可以代表不同的房间、门、墙体等。
此外，在本发明实施例中，所述空间平面图像的各个子区域类别可以与相应的像素类别相关联，从而便于区分图像上的不同子区域并进行像素比较。在一个示例中，可以根据像素颜色来定义像素类别，从而使各个子区域类别与不同的像素颜色相关联。例如，当所述空间平面图像为户型图时，可以使具有4个顶点的房间子区域中包含的像素为红色，使具有6个顶点的房间子区域中包含的像素为绿色，使门所对应的子区域中包含的像素为蓝色，使墙体所对应的子区域中包含的像素为黑色等等。在另一个示例中，还可以根据像素灰度值来定义像素类别，从而使各个子区域类别与不同的像素灰度值相关联。在实际应用中，可以根据具体情况在空间平面图像上划分出更多或更少的子区域类别，在此不进行限制。
下面将参照图1描述根据本发明实施例的空间平面图像比较方法。图1示出了该空间平面图像比较方法100的流程图。
如图1所示，在步骤S101中，获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像具有相同的分辨率。
图2示出了根据本发明一个实施例的获取第一空间平面图像和第二空间平面图像的示意图。在此示例中，所述第一空间平面图像可以是用于作为比较基准的准确的目标图像，并且所述第二空间平面图像可以是将拍摄三维场景获得的多个图像输入到算法后所生成的图像。例如，所述第一空间平面图像可以经由直接绘制而获得。此外，还可以通过对实际的空间平面图像(例如，房屋户型图、建筑施工图纸等)进行标注来获得所述第一空间平面图像，例如，在实际的空间平面图像上去除多余细节以仅保留各个子区域的外轮廓，并利用相应像素类别对图像上的各个子区域的像素进行标注等。所述第二空间平面图像可以是使用诸如基于深度学习的方法(如HorizonNet方法、LayoutNet方法、RoomNet方法等)或基于CV模型的图像分割方法等之类的方法而生成的图像，并且可以使生成的第二空间平面图像上的各个子区域类别与相应的像素类别相关联。
在下文中，将以作为目标图像的第一空间平面图像和作为算法生成的图像的第二空间平面图像为例进行具体阐述，然而本发明并不限于此。在实际的应用中，第一空间平面图像可以是算法生成的图像且第二空间平面图像可以是目标图像，或者第一空间平面图像和第二空间平面图像可以是经由任意途径获得的需要进行比较的空间平面图像，在此不进行限制。
在此步骤中，当初始的第一空间平面图像和第二空间平面图像的分辨率不一致时，可以首先对第一空间平面图像和第二空间平面图像之一进行上采样或下采样处理，以获取具有相同分辨率的第一空间平面图像和第二空间平面图像，从而便于在其上进行后续的像素比较过程。
在步骤S102中，在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块。
图3示出了根据本发明一个实施例的对第一空间平面图像进行角点检测的示意图。在此步骤中，可以利用诸如Harris角点检测方法、Shi-Tomasi角点检测方法等之类的方法对第一空间平面图像进行处理，以获得在第一空间平面图像上检测到的多个角点。
在获得了检测到的多个角点后，可以基于所述多个角点确定第一空间平面图像上的多个第一图像块，以将多个第一图像块作为用于与第二空间平面图像进行模板匹配的多个模板。例如，可以将检测到的角点作为图像块的左上角、左下角、右上角或右下角顶点等，来定义对应于各个角点的第一图像块。可以根据整个第一空间平面图像的尺寸以及其中的各个子区域的尺寸等来选择合适的第一图像块的尺寸，例如8*8、16*16或32*32(单位为像素)等，在此不进行限制。
在一个示例中，所述基于所述多个角点确定所述第一空间平面图像上的多个第一图像块可以包括：将所述多个角点中的每一个作为图像块的中心点来确定所述多个第一图像块。如图3所示，由于检测到的各个角点通常位于各个子区域的交界处附近，因此将其作为图像块的中心点所构造出的第一图像块能够具备更多的像素差异，从而使得在利用其作为模板进行模板匹配时能够获得更加理想的模板匹配结果。
在步骤S103中，将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块。
在此步骤中，可以将多个第一图像块中的每一个作为模板在第二空间平面图像上进行滑动，并从第二空间平面图像截取出与该第一图像块相同尺寸的图像块进行像素比较运算，从而在第二空间平面图像上找到与该第一图像块最为匹配或接近的、匹配到的第二图像块。
图4示出了根据本发明一个实施例的将第一图像块与第二空间平面图像进行模板匹配所获得的准确匹配和不准确匹配的结果的示意图。在图4的上方示出了匹配结果较不理想的第一图像块401和匹配到的第二图像块402，而在图4的下方中示出了匹配结果较为准确的第一图像块403和匹配到的第二图像块404。也就是说，每个第一图像块与匹配到的第二图像块的组合并非均为准确匹配的组合，因此，需要对各个第一图像块和匹配到的第二图像块的组合进行进一步筛选，从而筛选出准确匹配的图像块组合来对齐第一空间平面图像和第二空间平面图像。
在步骤S104中，根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像。
在此步骤中，可以根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异来筛选出准确匹配的图像块组合以作为特定的第一图像块和匹配到的第二图像块，从而通过对齐该特定的第一图像块和匹配到的第二图像块来对齐第一空间平面图像和第二空间平面图像。
在一个示例中，可以将每个第一图像块上的特定点和匹配到的第二图像块上的对应点之间的距离作为所述位置差异。例如，所述位置差异可以包括每个第一图像块的中心点与匹配到的第二图像块的中心点之间的距离。在将角点作为图像块的中心点来确定第一图像块时，上述位置差异即相当于各个角点与匹配到的第二图像块的中心点之间的距离。可以通过比较每个第一图像块和匹配到的第二图像块在对应位置处的像素的像素类别来确定所述像素差异。例如，在根据像素颜色来定义像素类别的情况下，所述像素差异可以是每个第一图像块和匹配到的第二图像块在对应位置处具有不同像素颜色的像素的个数。此外，还可以对每个第一图像块和匹配到的第二图像块进行像素比较运算并获得诸如像素差值的平方和之类的运算结果作为所述像素差异，并且在此情况下，可以直接利用在模板匹配过程中所获得的像素比较运算结果，以进一步减小运算量。
在一个示例中，可以将具有最小的位置差异的第一图像块与匹配到的第二图像块进行对齐。在另一个示例中，还可以将具有最小的像素差异的第一图像块与匹配到的第二图像块进行对齐。此外，为了进一步筛选出匹配得最为准确的图像块组合以获得更好的对齐效果，可以综合考虑像素差异和位置差异两者。例如，所述根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐可以包括：确定每个第一图像块与匹配到的第二图像块之间的位置差异和像素差异之和，并将具有最小的位置差异和像素差异之和的第一图像块与匹配到的第二图像块对齐。
在表1中示出了根据本发明一个实施例的模板匹配所获得的实验结果的示例。如以下的表1中所示出的，针对各个第一图像块和匹配到的第二图像块的组合均计算出了其所对应的位置差异和像素差异，其中，组合5具有最小的位置差异，而组合2、3、4和7的像素差异均为0，然而由于组合4具有最小的位置差异和像素差异之和，因此在综合考虑了像素差异和位置差异之后，可以筛选出组合4作为匹配得最为准确的图像块组合，从而将组合4对应的特定的第一图像块和匹配到的第二图像块进行对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像。
表1
在步骤S105中，比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
由于通过上述步骤已经获得了对齐后的第一空间平面图像和第二空间平面图像，因此可以通过对两个图像上的对应位置处的像素进行比较，从而获得像素级别的空间平面图像比较结果。在一个示例中，由于对齐后的第一空间平面图像和第二空间平面图像可能并非是完全重合的，因此可以选择对齐后的两个图像的重合部分中的像素进行比较，并忽略两个图像中并未重合的部分中的像素。
在此步骤中，所述比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果可以包括：逐个像素地比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，并将具有相同或不同像素类别的像素的个数作为所述第一空间平面图像和所述第二空间平面图像的比较结果。例如，在根据像素颜色来定义像素类别的情况下，所述比较结果可以是第一空间平面图像和第二空间平面图像在对应位置处具有相同或不同像素颜色的像素的个数。
此外，在一个示例中，第一空间平面图像和第二空间平面图像可能并未被各个子区域完全覆盖，并且可能存在由透明类别的像素所组成的空白区域(例如，如图1中的第一空间平面图像和第二空间平面图像上的空白部分所示)。在此情况下，当判断所述第一空间平面图像和所述第二空间平面图像在对应位置处的两个像素是否具有相同的像素类别时，可以首先判断两个像素是否均为透明类别的像素：如果两个像素均为透明类别的像素，则可以判断出这两个像素均位于空白区域并认为其具有相同的像素类别；如果两个像素中的一个像素为透明类别的像素，而另一个像素并非透明类别的像素，则可以认为两个像素具有不同的像素类别；如果两个像素均不是透明类别的像素，则可以判断出这两个像素并非位于空白区域，并进一步比较这两个像素与子区域类别相关联的像素类别(例如，像素颜色或像素灰度值等)，以最终确定两个像素是否具有相同的像素类别。
图5示出了根据本发明一个实施例的以重叠方式示出的对齐后的第一空间平面图像和第二空间平面图像的示意图。其中，在图5的右上角中以最浅的颜色示出的部分表示该部分所对应的子区域仅存在于第一空间平面图像上，而在第二空间平面图像上缺失。造成这种缺失的原因可能在于，例如，在利用相机拍摄三维场景时，可能存在对场景中的某些局部区域漏拍的情况，从而使得生成的第二空间平面图像缺失了与该局部区域相对应的部分并出现了错误的空白区域。在此情况下，将整个第一空间平面图像与第二图像空间平面图像进行比较所获得的差异较大的比较结果可能无法真实地衡量用于生成第二空间平面图像的算法。
因此，根据本发明的一个实施例，可以仅比较特定的第一图像块所处的子区域和根据该特定的第一图像块匹配到的第二图像块所处的子区域中的像素，并将所获得的子区域像素比较结果用于衡量用于生成第二空间平面图像的算法。在将角点作为图像块的中心点来确定第一图像块的情况下，所述特定的第一图像块的中心点所处的子区域可以是第一子区域，根据所述特定的第一图像块匹配到的第二图像块的中心点所处的子区域可以是第二子区域，并且可以逐个像素地比较所述第一子区域和所述第二子区域在对应位置处的像素的像素类别，以获得具有相同或不同像素类别的像素的个数作为所述第一子区域和所述第二子区域的比较结果，从而将该比较结果用于衡量用于生成第二空间平面图像的算法。当该特定的第一图像块和匹配到的第二图像块覆盖了多个子区域时，可以任意地选择所述多个子区域中的一个或子区域的组合进行比较，在此不进行限制。
此外，根据本发明的另一个实施例，除了比较第一子区域和第二子区域以外，还可以基于第一子区域和第二子区域利用子区域连接关系找到其他相对应的用于比较的子区域。例如，所述获取第一空间平面图像和第二空间平面图像包括获取所述第一空间平面图像或第二空间平面图像的子区域连接关系，所述方法还包括：基于所述子区域连接关系以及所述第一子区域和所述第二子区域，分别确定所述第一空间平面图像上的第三子区域以及所述第二空间平面图像上的第四子区域，并且逐个像素地比较所述第三子区域和所述第四子区域在对应位置处的像素的像素类别，以获得具有相同或不同像素类别的像素的个数作为所述第三子区域和所述第四子区域的比较结果。
在此实施例中，所述子区域连接关系可以反映各个相互连接的子区域之间的位置关系。例如，所述子区域连接关系可以以列表的形式记录各个子区域在上、下、左和右四个方向上所连接的其他子区域。因此，在一个示例中，可以基于子区域连接关系，将所述第一子区域在特定方向上连接的一个子区域作为第三子区域，并且将所述第二子区域在同一方向上连接的一个子区域作为第四子区域，从而确定出相对应的第三子区域和第四子区域以进行比较。
在一个利用比较结果对图像生成算法进行改进的具体应用场景中，所述第一空间平面图像和所述第二空间平面图像可以关联于同一三维空间，其中，所述第一空间平面图像可以是对所述三维空间的平面图像进行预先标注而获得的训练图像，而所述第二空间平面图像可以是通过将所述三维空间的全景图像输入到用于生成空间平面图像的神经网络中而输出的图像。在此情况下，所述比较结果可以被用于构造用于训练所述神经网络的损失函数，从而利用所述损失函数对所述神经网络进行训练以调整所述神经网络的参数，并将所述损失函数收敛时的参数作为调整后的参数。
在此应用场景中，可以根据对齐后的整个第一空间平面图像和第二空间平面图像的比较结果来构造所述损失函数。此外，如上所述，由于基于整个第一空间平面图像与第二图像空间平面图像的比较结果可能无法很好地衡量用于生成第二空间平面图像的算法，因此，还可以基于一个或多个对应的子区域的比较结果来构造所述损失函数。损失函数的类型可以是交叉熵损失函数或Smooth L1损失函数，但也可以使用其他类型的损失函数，在此不进行限制。
根据本发明的上述空间平面图像比较方法，能够利用角点检测及模板匹配将两个空间平面图像对齐并对图像上的各个像素进行比较，从而获得像素级别的空间平面图像比较结果。这种空间平面图像比较方法能够获得更加精确的达到像素级别的比较结果，并且便于利用该比较结果对图像生成算法进行改进，以提高空间平面图像的生成质量。
下面，参照图6来描述根据本发明实施例的空间平面图像比较装置。图6示出了根据本发明实施例的空间平面图像比较装置600的框图。如图6所示，空间平面图像比较装置600包括获取单元610、检测单元620、匹配单元630、对齐单元640、比较单元650和训练单元660。除了这些单元以外，空间平面图像比较装置600还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。
图6中的获取单元610获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像具有相同的分辨率。
图2示出了根据本发明一个实施例的获取第一空间平面图像和第二空间平面图像的示意图。在此示例中，获取单元610所获取的第一空间平面图像可以是用于作为比较基准的准确的目标图像，并且所获取的第二空间平面图像可以是将拍摄三维场景获得的多个图像输入到算法后所生成的图像。例如，所述第一空间平面图像可以经由直接绘制而获得。此外，还可以通过对实际的空间平面图像(例如，房屋户型图、建筑施工图纸等)进行标注来获得所述第一空间平面图像，例如，在实际的空间平面图像上去除多余细节以仅保留各个子区域的外轮廓，并利用相应像素类别对图像上的各个子区域的像素进行标注等。所述第二空间平面图像可以是使用诸如基于深度学习的方法(如HorizonNet方法、LayoutNet方法、RoomNet方法等)或基于CV模型的图像分割方法等之类的方法而生成的图像，并且可以使生成的第二空间平面图像上的各个子区域类别与相应的像素类别相关联。
在下文中，将以作为目标图像的第一空间平面图像和作为算法生成的图像的第二空间平面图像为例进行具体阐述，然而本发明并不限于此。在实际的应用中，获取单元610所获取的第一空间平面图像可以是算法生成的图像且所获取的第二空间平面图像可以是目标图像，或者所获取的第一空间平面图像和第二空间平面图像可以是经由任意途径获得的需要进行比较的空间平面图像，在此不进行限制。
其中，当获取单元610所获取的初始的第一空间平面图像和第二空间平面图像的分辨率不一致时，获取单元610可以首先对第一空间平面图像和第二空间平面图像之一进行上采样或下采样处理，以获取具有相同分辨率的第一空间平面图像和第二空间平面图像，从而便于在其上进行后续的像素比较过程。
检测单元620在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块。
图3示出了根据本发明一个实施例的对第一空间平面图像进行角点检测的示意图。其中，检测单元620可以利用诸如Harris角点检测方法、Shi-Tomasi角点检测方法等之类的方法对第一空间平面图像进行处理，以获得在第一空间平面图像上检测到的多个角点。
在获得了检测到的多个角点后，检测单元620基于所述多个角点确定第一空间平面图像上的多个第一图像块，以将多个第一图像块作为用于与第二空间平面图像进行模板匹配的多个模板。例如，检测单元620可以将检测到的角点作为图像块的左上角、左下角、右上角或右下角顶点等，来定义对应于各个角点的第一图像块。检测单元620可以根据整个第一空间平面图像的尺寸以及其中的各个子区域的尺寸等来选择合适的第一图像块的尺寸，例如8*8、16*16或32*32(单位为像素)等，在此不进行限制。
在一个示例中，所述检测单元620基于所述多个角点确定所述第一空间平面图像上的多个第一图像块可以包括：将所述多个角点中的每一个作为图像块的中心点来确定所述多个第一图像块。如图3所示，由于检测单元620检测到的各个角点通常位于各个子区域的交界处附近，因此将其作为图像块的中心点所构造出的第一图像块能够具备更多的像素差异，从而使得在利用其作为模板进行模板匹配时能够获得更加理想的模板匹配结果。
匹配单元630将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块。
其中，匹配单元630可以将多个第一图像块中的每一个作为模板在第二空间平面图像上进行滑动，并从第二空间平面图像截取出与该第一图像块相同尺寸的图像块进行像素比较运算，从而在第二空间平面图像上找到与该第一图像块最为匹配或接近的、匹配到的第二图像块。
图4示出了根据本发明一个实施例的将第一图像块与第二空间平面图像进行模板匹配所获得的准确匹配和不准确匹配的结果的示意图。在图4的上方示出了匹配结果较不理想的第一图像块401和匹配到的第二图像块402，而在图4的下方中示出了匹配结果较为准确的第一图像块403和匹配到的第二图像块404。也就是说，匹配单元630所获得的每个第一图像块与匹配到的第二图像块的组合并非均为准确匹配的组合，因此，需要对各个第一图像块和匹配到的第二图像块的组合进行进一步筛选，从而筛选出准确匹配的图像块组合来对齐第一空间平面图像和第二空间平面图像。
对齐单元640根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像。
其中，对齐单元640可以根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异来筛选出准确匹配的图像块组合以作为特定的第一图像块和匹配到的第二图像块，从而通过对齐该特定的第一图像块和匹配到的第二图像块来对齐第一空间平面图像和第二空间平面图像。
在一个示例中，对齐单元640可以将每个第一图像块上的特定点和匹配到的第二图像块上的对应点之间的距离作为所述位置差异。例如，所述位置差异可以包括每个第一图像块的中心点与匹配到的第二图像块的中心点之间的距离。在将角点作为图像块的中心点来确定第一图像块时，上述位置差异即相当于各个角点与匹配到的第二图像块的中心点之间的距离。对齐单元640可以通过比较每个第一图像块和匹配到的第二图像块在对应位置处的像素的像素类别来确定所述像素差异。例如，在根据像素颜色来定义像素类别的情况下，所述像素差异可以是每个第一图像块和匹配到的第二图像块在对应位置处具有不同像素颜色的像素的个数。此外，对齐单元640还可以对每个第一图像块和匹配到的第二图像块进行像素比较运算并获得诸如像素差值的平方和之类的运算结果作为所述像素差异，并且在此情况下，可以直接利用在模板匹配过程中所获得的像素比较运算结果，以进一步减小运算量。
在一个示例中，对齐单元640可以将具有最小的位置差异的第一图像块与匹配到的第二图像块进行对齐。在另一个示例中，对齐单元640还可以将具有最小的像素差异的第一图像块与匹配到的第二图像块进行对齐。此外，为了进一步筛选出匹配得最为准确的图像块组合以获得更好的对齐效果，对齐单元640可以综合考虑像素差异和位置差异两者。例如，所述根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐可以包括：确定每个第一图像块与匹配到的第二图像块之间的位置差异和像素差异之和，并将具有最小的位置差异和像素差异之和的第一图像块与匹配到的第二图像块对齐。
比较单元650比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
由于对齐单元640已经获得了对齐后的第一空间平面图像和第二空间平面图像，因此可以通过比较单元650对两个图像上的对应位置处的像素进行比较，从而获得像素级别的空间平面图像比较结果。在一个示例中，由于对齐后的第一空间平面图像和第二空间平面图像可能并非是完全重合的，因此比较单元650可以选择对齐后的两个图像的重合部分中的像素进行比较，并忽略两个图像中并未重合的部分中的像素。
在此步骤中，所述比较单元650比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果可以包括：逐个像素地比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，并将具有相同或不同像素类别的像素的个数作为所述第一空间平面图像和所述第二空间平面图像的比较结果。例如，在根据像素颜色来定义像素类别的情况下，所述比较结果可以是第一空间平面图像和第二空间平面图像在对应位置处具有相同或不同像素颜色的像素的个数。
此外，在一个示例中，第一空间平面图像和第二空间平面图像可能并未被各个子区域完全覆盖，并且可能存在由透明类别的像素所组成的空白区域(例如，如图1中的第一空间平面图像和第二空间平面图像上的空白部分所示)。在此情况下，当判断所述第一空间平面图像和所述第二空间平面图像在对应位置处的两个像素是否具有相同的像素类别时，比较单元650可以首先判断两个像素是否均为透明类别的像素：如果两个像素均为透明类别的像素，则比较单元650可以判断出这两个像素均位于空白区域并认为其具有相同的像素类别；如果两个像素中的一个像素为透明类别的像素，而另一个像素并非透明类别的像素，则比较单元650可以认为两个像素具有不同的像素类别；如果两个像素均不是透明类别的像素，则比较单元650可以判断出这两个像素并非位于空白区域，并进一步比较这两个像素与子区域类别相关联的像素类别(例如，像素颜色或像素灰度值等)，以最终确定两个像素是否具有相同的像素类别。
图5示出了根据本发明一个实施例的以重叠方式示出的对齐后的第一空间平面图像和第二空间平面图像的示意图。其中，在图5的右上角中以最浅的颜色示出的部分表示该部分所对应的子区域仅存在于第一空间平面图像上，而在第二空间平面图像上缺失。造成这种缺失的原因可能在于，例如，在利用相机拍摄三维场景时，可能存在对场景中的某些局部区域漏拍的情况，从而使得生成的第二空间平面图像缺失了与该局部区域相对应的部分并出现了错误的空白区域。在此情况下，比较单元650将整个第一空间平面图像与第二图像空间平面图像进行比较所获得的差异较大的比较结果可能无法真实地衡量用于生成第二空间平面图像的算法。
因此，根据本发明的一个实施例，比较单元650可以仅比较特定的第一图像块所处的子区域和根据该特定的第一图像块匹配到的第二图像块所处的子区域中的像素，并将所获得的子区域像素比较结果用于衡量用于生成第二空间平面图像的算法。在将角点作为图像块的中心点来确定第一图像块的情况下，所述特定的第一图像块的中心点所处的子区域可以是第一子区域，根据所述特定的第一图像块匹配到的第二图像块的中心点所处的子区域可以是第二子区域，并且比较单元650可以逐个像素地比较所述第一子区域和所述第二子区域在对应位置处的像素的像素类别，以获得具有相同或不同像素类别的像素的个数作为所述第一子区域和所述第二子区域的比较结果，从而将该比较结果用于衡量用于生成第二空间平面图像的算法。当该特定的第一图像块和匹配到的第二图像块覆盖了多个子区域时，比较单元650可以任意地选择所述多个子区域中的一个或子区域的组合进行比较，在此不进行限制。
此外，根据本发明的另一个实施例，除了比较第一子区域和第二子区域以外，比较单元650还可以基于第一子区域和第二子区域利用子区域连接关系找到其他相对应的用于比较的子区域。例如，所述获取单元610还可以获取所述第一空间平面图像或第二空间平面图像的子区域连接关系，所述比较单元650还可以基于所述子区域连接关系以及所述第一子区域和所述第二子区域，分别确定所述第一空间平面图像上的第三子区域以及所述第二空间平面图像上的第四子区域，并且逐个像素地比较所述第三子区域和所述第四子区域在对应位置处的像素的像素类别，以获得具有相同或不同像素类别的像素的个数作为所述第三子区域和所述第四子区域的比较结果。
在此实施例中，所述子区域连接关系可以反映各个相互连接的子区域之间的位置关系。例如，所述子区域连接关系可以以列表的形式记录各个子区域在上、下、左和右四个方向上所连接的其他子区域。因此，在一个示例中，比较单元650可以基于子区域连接关系，将所述第一子区域在特定方向上连接的一个子区域作为第三子区域，并且将所述第二子区域在同一方向上连接的一个子区域作为第四子区域，从而确定出相对应的第三子区域和第四子区域以进行比较。
在一个利用比较结果对图像生成算法进行改进的具体应用场景中，所述第一空间平面图像和所述第二空间平面图像可以关联于同一三维空间，其中，所述第一空间平面图像可以是对所述三维空间的平面图像进行预先标注而获得的训练图像，而所述第二空间平面图像可以是通过将所述三维空间的全景图像输入到用于生成空间平面图像的神经网络中而输出的图像。在此情况下，所述比较结果可以被训练单元660用于构造用于训练所述神经网络的损失函数，从而利用所述损失函数对所述神经网络进行训练以调整所述神经网络的参数，并将所述损失函数收敛时的参数作为调整后的参数。
在此应用场景中，训练单元660可以根据对齐后的整个第一空间平面图像和第二空间平面图像的比较结果来构造所述损失函数。此外，如上所述，由于基于整个第一空间平面图像与第二图像空间平面图像的比较结果可能无法很好地衡量用于生成第二空间平面图像的算法，因此，训练单元660还可以基于一个或多个对应的子区域的比较结果来构造所述损失函数。损失函数的类型可以是交叉熵损失函数或Smooth L1损失函数，但也可以使用其他类型的损失函数，在此不进行限制。
根据本发明的上述空间平面图像比较装置，能够利用角点检测及模板匹配将两个空间平面图像对齐并对图像上的各个像素进行比较，从而获得像素级别的空间平面图像比较结果。这种空间平面图像比较装置能够获得更加精确的达到像素级别的比较结果，并且便于利用该比较结果对图像生成算法进行改进，以提高空间平面图像的生成质量。
下面，参照图7来描述根据本发明实施例的空间平面图像比较装置。其中，所述空间平面图像可以包括多个互不重叠的子区域并且各个子区域类别可以与相应的像素类别相关联。图7示出了根据本发明实施例的空间平面图像比较装置700的框图。如图7所示，该装置700可以是计算机或服务器。
如图7所示，空间平面图像比较装置700包括一个或多个处理器710以及存储器720，当然，除此之外，空间平面图像比较装置700还可能包括多传感器成像系统以及输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图7所示的空间平面图像比较装置700的组件和结构只是示例性的，而非限制性的，根据需要，空间平面图像比较装置700也可以具有其他组件和结构。
处理器710可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器720中所存储的计算机程序指令以执行期望的功能，可以包括：获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像关联于同一三维空间并具有相同的分辨率；在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
存储器720可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器710可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现如上所述的空间平面图像比较方法。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软盘等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不希望被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不希望将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种空间平面图像比较方法，所述空间平面图像包括多个互不重叠的子区域并且各个子区域类别与相应的像素类别相关联，所述方法包括：
获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像具有相同的分辨率；
在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；
将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；
根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及
比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
2.如权利要求1所述的方法，其中，所述基于所述多个角点确定所述第一空间平面图像上的多个第一图像块包括：将所述多个角点中的每一个作为图像块的中心点来确定所述多个第一图像块。
3.如权利要求2所述的方法，其中，
所述位置差异包括每个第一图像块的中心点与匹配到的第二图像块的中心点之间的距离；
所述根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐包括：确定每个第一图像块与匹配到的第二图像块之间的位置差异和像素差异之和，并将具有最小的位置差异和像素差异之和的第一图像块与匹配到的第二图像块对齐。
4.如权利要求1-3中任一项所述的方法，其中，所述比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果包括：
逐个像素地比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，并将具有相同或不同像素类别的像素的个数作为所述第一空间平面图像和所述第二空间平面图像的比较结果。
5.如权利要求2或3所述的方法，其中，所述特定的第一图像块的中心点所处的子区域为第一子区域，根据所述特定的第一图像块匹配到的第二图像块的中心点所处的子区域为第二子区域，所述方法还包括：
逐个像素地比较所述第一子区域和所述第二子区域在对应位置处的像素的像素类别，以获得具有相同或不同像素类别的像素的个数作为所述第一子区域和所述第二子区域的比较结果。
6.如权利要求4所述的方法，其中，所述获取第一空间平面图像和第二空间平面图像包括获取所述第一空间平面图像或第二空间平面图像的子区域连接关系，所述方法还包括：
基于所述子区域连接关系以及所述第一子区域和所述第二子区域，分别确定所述第一空间平面图像上的第三子区域以及所述第二空间平面图像上的第四子区域，并且逐个像素地比较所述第三子区域和所述第四子区域在对应位置处的像素的像素类别，以获得具有相同或不同像素类别的像素的个数作为所述第三子区域和所述第四子区域的比较结果。
7.如权利要求1至3中任一项所述的方法，其中，所述第一空间平面图像和所述第二空间平面图像关联于同一三维空间，所述第一空间平面图像为对所述三维空间的平面图像进行预先标注而获得的训练图像，所述第二空间平面图像为通过将所述三维空间的全景图像输入到用于生成空间平面图像的神经网络中而输出的图像，
其中，所述比较结果被用于构造用于训练所述神经网络的损失函数，所述方法还包括利用所述损失函数对所述神经网络进行训练以调整所述神经网络的参数。
8.一种空间平面图像比较装置，所述空间平面图像包括多个互不重叠的子区域并且各个子区域类别与相应的像素类别相关联，所述装置包括：
获取单元，配置为获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像关联于同一三维空间并具有相同的分辨率；
检测单元，配置为在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；
匹配单元，配置为将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；
对齐单元，配置为根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及
比较单元，配置为比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
9.一种空间平面图像比较装置，所述空间平面图像包括多个互不重叠的子区域并且各个子区域类别与相应的像素类别相关联，所述装置包括：
处理器；
和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取第一空间平面图像和第二空间平面图像，其中所述第一空间平面图像和所述第二空间平面图像关联于同一三维空间并具有相同的分辨率；
在所述第一空间平面图像上进行角点检测以获得多个角点，并基于所述多个角点确定所述第一空间平面图像上的多个第一图像块；
将所述多个第一图像块中的每一个与所述第二空间平面图像进行模板匹配，以获得在所述第二空间平面图像上的匹配到的第二图像块；
根据每个第一图像块与匹配到的第二图像块之间的位置差异和/或像素差异将特定的第一图像块与匹配到的第二图像块对齐，以获得对齐后的所述第一空间平面图像和所述第二空间平面图像；以及
比较对齐后的所述第一空间平面图像和所述第二空间平面图像在对应位置处的像素的像素类别，以获得所述第一空间平面图像和所述第二空间平面图像的比较结果。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010922708.8A CN114155304A (zh) | 2020-09-04 | 2020-09-04 | 空间平面图像比较方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010922708.8A CN114155304A (zh) | 2020-09-04 | 2020-09-04 | 空间平面图像比较方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155304A true CN114155304A (zh) | 2022-03-08 |
Family
ID=80460595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010922708.8A Pending CN114155304A (zh) | 2020-09-04 | 2020-09-04 | 空间平面图像比较方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155304A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364310A (zh) * | 2017-01-26 | 2018-08-03 | 三星电子株式会社 | 立体匹配方法和设备、图像处理设备及其训练方法 |
| CN109313809A (zh) * | 2017-12-26 | 2019-02-05 | 深圳配天智能技术研究院有限公司 | 一种图像匹配方法、装置及存储介质 |
| JP2019102007A (ja) * | 2017-12-08 | 2019-06-24 | 株式会社東芝 | 勾配推定装置、勾配推定方法、プログラムおよび制御システム |
| CN110060255A (zh) * | 2017-12-28 | 2019-07-26 | 达索系统公司 | 利用逐像素分类器来对2d平面图进行语义分割 |
| US20200134845A1 (en) * | 2018-10-30 | 2020-04-30 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image registration method, image registration device and storage medium |
| US20200226762A1 (en) * | 2019-01-15 | 2020-07-16 | Nvidia Corporation | Graphical fiducial marker identification suitable for augmented reality, virtual reality, and robotics |
| CN111612063A (zh) * | 2020-05-20 | 2020-09-01 | 济南浪潮高新科技投资发展有限公司 | 一种图像匹配方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-09-04 CN CN202010922708.8A patent/CN114155304A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364310A (zh) * | 2017-01-26 | 2018-08-03 | 三星电子株式会社 | 立体匹配方法和设备、图像处理设备及其训练方法 |
| JP2019102007A (ja) * | 2017-12-08 | 2019-06-24 | 株式会社東芝 | 勾配推定装置、勾配推定方法、プログラムおよび制御システム |
| CN109313809A (zh) * | 2017-12-26 | 2019-02-05 | 深圳配天智能技术研究院有限公司 | 一种图像匹配方法、装置及存储介质 |
| CN110060255A (zh) * | 2017-12-28 | 2019-07-26 | 达索系统公司 | 利用逐像素分类器来对2d平面图进行语义分割 |
| US20200134845A1 (en) * | 2018-10-30 | 2020-04-30 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image registration method, image registration device and storage medium |
| US20200226762A1 (en) * | 2019-01-15 | 2020-07-16 | Nvidia Corporation | Graphical fiducial marker identification suitable for augmented reality, virtual reality, and robotics |
| CN111612063A (zh) * | 2020-05-20 | 2020-09-01 | 济南浪潮高新科技投资发展有限公司 | 一种图像匹配方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| LING WAN等: "A Post-Classification Comparison Method for SAR and Optical Images Change Detection", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, 31 July 2019 (2019-07-31), pages 1026 - 1030, XP011731864, DOI: 10.1109/LGRS.2019.2892432 * |
| 刘超;: "基于显著性检测的图像匹配", 北京信息科技大学学报(自然科学版), no. 03, 15 June 2016 (2016-06-15), pages 95 - 101 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| US10346720B2 (en) | Rotation variant object detection in Deep Learning | |
| CN103503025B (zh) | 基于对对象的模型进行变换来确定模型参数 | |
| CN110189322B (zh) | 平整度检测方法、装置、设备、存储介质及系统 | |
| KR20170019359A (ko) | 국부적 적응형 히스토그램 등화 | |
| JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
| KR102199094B1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
| WO2014045508A1 (ja) | 検査装置、検査方法、および検査プログラム | |
| CN112270719B (zh) | 相机标定方法、装置及系统 | |
| WO2018072334A1 (zh) | 一种电子元件定位方法及装置 | |
| CN113688846B (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别系统 | |
| CN106062824A (zh) | 边缘检测装置、边缘检测方法和程序 | |
| CN112634201B (zh) | 目标检测方法、装置和电子设备 | |
| CN113901972A (zh) | 遥感图像建筑物的检测方法、装置、设备及存储介质 | |
| Yilmazturk et al. | Geometric evaluation of mobile‐phone camera images for 3D information | |
| CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
| CN109804731B (zh) | 基板检查装置及利用其的基板检查方法 | |
| CN113781414A (zh) | 一种镜头解像力测试方法、装置和电子设备 | |
| CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
| CN114155304A (zh) | 空间平面图像比较方法、装置和计算机可读存储介质 | |
| US11978197B2 (en) | Inspection method for inspecting an object and machine vision system | |
| CN113160259B (zh) | 边缘检测方法、装置、计算机设备及存储介质 | |
| CN115170907A (zh) | 一种样本图像生成方法、装置及自动驾驶装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |