CN111527517A

CN111527517A - 图像处理装置及其控制方法

Info

Publication number: CN111527517A
Application number: CN201880084133.8A
Authority: CN
Inventors: 岩渊康平; 穴吹真秀; 桑原伸明
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-12-25
Filing date: 2018-11-06
Publication date: 2020-08-11
Anticipated expiration: 2038-11-06
Also published as: JP7058585B2; US20200302595A1; EP3734540A1; CN111527517B; JP2019114238A; US11416978B2; EP3734540A4

Abstract

本发明的目的是生成使得能够更合适地检测变化的图像。图像处理装置获取从第一视点位置拍摄包括对象的场景的第一图像、以及从不同于所述第一视点位置的第二视点位置拍摄包括所述对象的场景的第二图像；并将所述第一图像上与所述对象的特征的位置相对应的坐标位置，同所述第二图像上与所述对象的特征的位置相对应的坐标位置相映射。该图像处理装置基于所述关联，确定所述第二图像中与所述第一图像中的给定区域相对应的部分区域；通过使用所确定的部分区域的图像替换所述第一图像中的所述给定区域的图像，来生成合成图像；并且通过将表示在所述对象中发生的变化的变化数据叠加在所述合成图像上，来显示所述变化数据。

Description

图像处理装置及其控制方法

技术领域

本发明涉及合成拍摄图像的技术。

背景技术

传统上，当检验桥梁、大坝、隧道等的混凝土墙面时，检验工程师接近混凝土墙面并且视觉上检查诸如裂缝的变化。然而，这种称为近距离视觉检验的检验工作具有操作成本高的问题。PTL1公开了一种技术，其中使用相机拍摄隧道中的混凝土墙，并且基于所获得的拍摄图像来检测裂缝。

引用列表

专利文献

PTL1：日本特开2002-310920号公报

发明内容

技术问题

然而，在上述现有技术中，当在诸如混凝土墙面的检验对象与进行拍摄的相机之间存在障碍物时，存在无法获得被障碍物遮挡的部分的图像的问题。因此，有可能忽略该部分的混凝土墙面上的诸如裂缝的变化。

考虑到这些问题而做出了本发明，并且本发明提供了一种能够在检验对象与相机之间存在障碍物的情况下生成更合适地检测变化的图像的技术。

解决问题的技术方案

为了解决上述问题，根据本发明的图像处理装置包括以下描述的布置。也就是说，该图像处理装置包括：

获取部，用于获取从第一视点位置拍摄包括对象的场景的第一图像、以及从不同于所述第一视点位置的第二视点位置拍摄包括所述对象的场景的第二图像；

关联部，用于将所述第一图像上与所述对象的特征的位置相对应的坐标位置，同所述第二图像上与所述对象的特征的位置相对应的坐标位置相关联；

确定部，用于基于所述关联部的关联，确定所述第二图像中与所述第一图像中的给定区域相对应的部分区域；

生成部，用于通过使用由所述确定部确定的所述部分区域的图像替换所述第一图像中的所述给定区域的图像，来生成合成图像；以及

显示控制部，用于通过将表示在所述对象中发生的变化的变化数据叠加在由所述生成部生成的所述合成图像上，来显示所述变化数据。

本发明的有利效果

根据本发明，可以提供一种生成使得能够更合适地检测变化的图像的技术。

通过下文中参照附图所提供的描述，本发明的其他特征和优点将变得清楚。注意，在附图中，相同的附图标记表示相同或相似的部件。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与文字说明一起用来解释本发明的原理。

图1是示例性地示出当从桥梁的下方观察时楼板的样子的图；

图2是示例性地示出从不同视点位置拍摄的同一楼板区域的图像的图；

图3是示出图像处理装置的功能布置的示例的框图；

图4是示出图像处理装置的硬件布置的示例的框图；

图5是用于说明图像处理装置的操作的流程图；

图6是用于说明合成图像的生成的图；

图7是用于说明图像处理装置的操作的流程图；

图8是示例性地示出用于接受来自用户的对替换区域的指定的GUI的图；

图9是示例性地示出用于接受来自用户的对合成图像的修改的GUI的图；

图10是示出拍摄楼板的环境的示例的示意图；

图11是示意性地示出在对合成图像进行变化检测之后的画面的图；

图12是示出在对合成图像进行变化检测时的图像处理装置的操作的流程图；

图13是示出图像处理装置的功能布置的示例的框图；

图14是用于说明图像处理装置的操作的流程图；

图15A是逐步地示出校正主图像与剪切图像之间的位置偏移的处理的图；

图15B是逐步地示出校正主图像与剪切图像之间的位置偏移的处理的图；

图15C是逐步地示出校正主图像与剪切图像之间的位置偏移的处理的图；

图15D是逐步地示出校正主图像与剪切图像之间的位置偏移的处理的图；

图16A是示出混合主图像与剪切图像之间的边界部分的方法的示例的图；

图16B是示出混合主图像与剪切图像之间的边界部分的方法的示例的图；

图16C是示出混合主图像与剪切图像之间的边界部分的方法的示例的图；并且

图16D是示出混合主图像与剪切图像之间的边界部分的方法的示例的图。

具体实施方式

下文中将参照附图详细说明本发明的实施例的示例。注意，以下实施例仅是示例，并不意图限制本发明的范围。

(第一实施例)

作为根据本发明的图像处理装置的第一实施例，下面将作为示例来描述如下图像处理装置，该图像处理装置合成通过从两个不同的视点位置拍摄桥梁的楼板而获得的两个图像。

<拍摄桥梁的楼板>

图1是示例性地示出当从桥梁的下方观察时楼板100的样子的图。注意，楼板是用于将在桥梁上通过的车辆等的重量传递至桥主梁和桥墩的结构。这里，混凝土楼板100由格子状的钢桥主梁110支撑，并且在钢桥主梁110的不与楼板100接触的一侧布置有对角构件120。因此，当从下方观察时，对角构件120在楼板100的前方横穿楼板100。

相机拍摄由钢桥主梁形成的格子所围绕的楼板区域。特别地，为了描述简单起见，下面假设使用相机从由各个格子围绕的楼板区域正下方的视点位置进行拍摄。另外，假设在各个拍摄图像中，相邻楼板区域的图像与中心楼板区域一起被拍摄。注意，这里假设通过移动相机从不同视点位置进行摄像。

图10是示出拍摄楼板的环境的示例的示意图。变化1001是诸如出现在楼板100的表面上的裂缝的变化，并且是要包括在拍摄图像中的对象。由灰色矩形指示的空间1002是当安装在变化1001正下方的视点位置处的相机1003a向正上方拍摄时，对角构件120阻挡视野的空间区域。即，变化1001没有出现在由相机1003a拍摄的图像中。相机1003a通过被固定到例如三脚架或相机平台上而使用，并且被固定在离地面约1m的高度。在图10所示的示例中，相机1003a位于楼板100下方10m处。如图10所示，当楼板100和对角构件120处于相距大约2m的位置关系时，仅需要在水平方向上将拍摄的视点位置移动大约2.5m以拍摄变化1001。相机1003b表示将相机1003a安装于在水平方向上移动了大约2.5m的位置处的状态。相机1003b相对于楼板以一定角度(从倾斜方向)拍摄楼板，使得变化1001出现在所拍摄的图像中。注意，这里假设通过移动相机从不同的视点位置进行拍摄，但是可以使用多个相机进行拍摄。

图1中的范围130a和130b分别示例性地示出了当分别从楼板区域100a和100b正下方的视点位置拍摄时的场景的拍摄范围。从图1可以理解，楼板区域100a和100b包括在范围130a和130b二者中。

图2是示例性地示出从不同视点位置拍摄的相同楼板区域100a的图像的图。图像200a示例性地示出了当从楼板区域100a正下方的视点位置拍摄时的楼板区域100a的图像。裂缝210a出现在图像200a中。另一方面，图像200b示例性地示出了当从楼板区域100b正下方的视点位置拍摄时的楼板区域100a的图像。裂缝210b出现在图像200b中。如以下将描述的，裂缝210a和裂缝210b被描述为裂缝210，因为它们实际上示出了相同的裂缝。

从图1和图2可以理解，图像200a对应于从正面拍摄的楼板区域100a的图像，并且图像200b对应于从左斜对角拍摄的楼板区域100a的图像。因此，在图像200a与图像200b之间，对角构件120与裂缝210之间的位置关系不同。另外，竖直钢桥主梁110在图像200a和图像200b中不同地出现。

也就是说，由于视差，在图像200a与图像200b之间，被对角构件遮挡的楼板区域不同，使得裂缝210在这些图像中不同地出现。因此，在第一实施例中，通过合成图像200a和图像200b来生成具有小的遮挡区域的楼板区域100a的图像。这使得可以获得使得能够更合适地检测诸如裂缝210的变化的图像。

<图像处理装置的布置>

图3是示出图像处理装置300的功能布置的框图。图4是示出图像处理装置300的硬件布置的框图。这里，示出了图像处理装置300由通用个人计算机(PC)形成的示例。

在下面的描述中，将描述如下模式，其中图3所示的图像处理装置300的各个功能单元由执行软件程序的CPU实现。然而，图3所示的图像处理装置300的一些或全部功能单元可以被构造为由诸如专用集成电路(ASIC)或FPGA的硬件来处理。这里，FPGA是现场可编程门阵列的缩写。

CPU 320全面地控制图像处理装置300。CPU 320通过执行存储在例如ROM 322或硬盘驱动器(HDD)326中的控制程序来实现图3所示的各个功能单元。

HDD 326存储例如图像处理装置300中使用的应用程序或各种类型的控制程序。HDD 326还存储如上所述由相机拍摄的图像(例如，由范围130a和130b指示的拍摄图像)和稍后将描述的设计图。此外，HDD 326还存储与应用程序或各种类型的控制程序有关的各种类型的信息。RAM 321还用于临时存储各种类型的信息。键盘325和鼠标324中的各个是接受来自用户的指令输入的功能单元。显示器323是视觉上向用户提供各种类型的信息的功能单元。

图像数据存储模块301由例如HDD 326、SSD(固态驱动器)或其组合形成。如上所述，其存储由相机从多个视点位置拍摄的图像。另外，其存储设计图，该设计图是如从桥梁的下方观察到的基于对象桥梁的设计图等而创建的正交投影图。

注意，在以下描述中，由范围130a和130b指示的拍摄图像被假设为拍摄图像，但是各个拍摄图像可以是多个拍摄图像(单拍拍摄图像)的拼接合成图像。即，为了进行精确的裂缝检测，需要以高分辨率来拍摄楼板(例如，拍摄图像的一个像素对应于楼板上的0.5mm)。此时，当使用例如具有2400万像素(横向6000像素×纵向4000像素)的相机进行拍摄时，一个拍摄图像包括横向3m×纵向2m的范围，因此无法满足上述拍摄图像条件(＝包括相邻的楼板图像的图像)。因此，优选通过拼接合成等来将多个单拍图像合成，以生成满足上述拍摄图像条件的图像。

图像数据管理模块302管理上述HDD 326中存储的图像数据。例如，其管理对多个拍摄图像中的各个进行拍摄的视点位置。另外，其管理由稍后描述的对准模块303导出的图像之间的关联信息。

对准模块303是确定两个(或更多个)图像之间的位置坐标的关联的功能单元。例如，在显示器323上显示两个图像作为图形用户界面(GUI)，并且经由键盘325和/或鼠标324从用户接受对两个图像中要彼此关联的坐标的指定。然后，导出用于在图像之间将坐标彼此关联的坐标转换参数。这里，假设导出已知的单应矩阵作为坐标转换参数，但是可以计算其他坐标转换参数。注意，这里假设楼板区域可以由二维平面近似。还假设钢主梁的围绕楼板区域的部分(该部分与楼板接触)存在于与楼板区域大致相同的平面上。

通常，需要指定四对坐标以导出单应矩阵。然而，可以指定更多对坐标以导出单应矩阵。在那种情况下，例如，进行计算误差的总和并且优化参数以使总和最小的处理，误差中的各个是作为各对坐标的坐标值的坐标转换的结果而获得的。实际上，随着坐标对数量的增加，精度趋于提高。

替换区域指定模块304是功能单元，其接受要合成的两个图像的基本图像(在下文中称为主图像)中的区域，因此楼板被遮挡的区域没有出现。即，指定要被合成的两个图像中的另一个图像(在下文中称为子图像)替换的区域。例如，主图像被作为GUI显示在显示器323上，并且经由键盘325和/或鼠标324从用户接受将主图像中包括的对角构件的图像区域指定为诸如多边形、圆形或椭圆形的任意形状的区域。注意，替换区域不仅可以被指定为一个区域，而且可以被指定为两个或更多个区域的组合。在这种情况下，进一步指定用于组合的逻辑和(OR)或逻辑积(AND)。

注意，在检测裂缝等的处理中，期望从正对楼板的位置拍摄图像。因此，在下面的描述中，通过从正面拍摄楼板区域100a而获得的图像200a(范围130a)被用作主图像，并且通过从左斜对角拍摄楼板区域100a而获得的图像200b(范围130b)被用作子图像。然而，在图像处理时，就可以使用任何图像作为主图像，只要待处理的楼板区域出现在图像中即可。

图8是示例性地示出用于接受来自用户的对替换区域的指定的GUI的图。这些GUI由进行对诸如显示器323的显示单元的显示控制的替换区域指定模块304显示。GUI 801是布置并显示主图像(图像200a)和子图像(图像200b)的GUI。当经由鼠标光标810在主图像中指定了替换区域时，与替换区域相对应的区域被同步地显示在子图像中。

另一方面，GUI 802是叠加并显示主图像和子图像的GUI。这里，示出了其中子图像以“80％”的透明度叠加在主图像上的状态。注意，可以指定子图像的透明度。当存在多个子图像时，要显示的子图像可以是可切换的。此外，可以将经过了半透明处理的多个子图像叠加并显示在主图像上。

通过构造这样的GUI，可以直观地知道子图像中与主图像中指定的替换区域相对应的区域。注意，GUI 801和GUI 802中的各个配设有用于从用户接收操作的按钮等。例如，提供了用于选择主图像的按钮、用于选择子图像的下拉列表、用于开始在主图像上指定替换区域的按钮、以及用于剪切子图像上与替换区域相对应的区域的按钮。

图像剪切模块305是功能单元，其剪切子图像中与由替换区域指定模块304指定的替换区域相对应的区域的图像。例如，使用由对准模块303导出的坐标转换参数将由替换区域指定模块304指定的替换区域的坐标转换为子图像中的坐标，并且从子图像中剪切与通过转换获得的坐标相对应的区域的图像。

图像合成模块306是功能单元，其用由图像剪切模块305剪切的剪切图像覆盖由替换区域指定模块304指定的替换区域，以生成合成图像。例如，其生成通过将从子图像剪切的剪切图像叠加并显示在主图像上而获得的图像。

注意，由于各种因素，在主图像与剪切图像之间可能发生未对准。因此，可以在GUI中将剪切图像显示为可编辑的对象图像，并且可以经由键盘325和/或鼠标324从用户接受对剪切图像的编辑(诸如缩放的变形)。

图9是示例性地示出用于接受来自用户的对合成图像的修改的GUI的图。在窗口900中，剪切图像被作为可编辑的对象图像叠加并显示在主图像上。用户可以经由鼠标光标901进行变形操作，例如缩放或移动剪切图像。

变化检测模块307是功能单元，其对由图像合成模块306生成的合成图像进行变化检测处理。这里，变化检测处理是检测图像中的变化(裂缝等)并记录检测到的变化的处理。例如，其在GUI上显示合成图像，通过使用鼠标等的跟踪操作从用户接受裂缝的位置，并且将表示跟踪位置或跟踪轨迹的位置数据记录为裂缝数据(变化数据)。另选地，通过使用诸如机器学习的算法的图像分析处理来自动检测裂缝，并且将检测到的裂缝位置记录为裂缝数据。注意，为了便于处理，优选将裂缝数据记录为表示裂缝的轨迹的矢量数据。

在该实施例中，裂缝数据可以用作独立的图形数据。例如，可以提供能够打开/关闭合成图像上的裂缝数据的叠加显示的用户界面。以这种方式，通过在打开/关闭叠加显示的同时检查合成图像，用户可以更容易地检查变化检测处理的正确性并进行补充工作。另外，裂缝检测数据被存储，并且在经过预定时段之后，被叠加并显示在通过拍摄相同桥梁的相同楼板而获得的合成图像上。这使得用户易于视觉上检查裂缝是否扩展。此时，可以构造为可以打开/关闭裂缝检测数据的叠加。特别地，根据本实施例，可以将被遮挡物隐藏的区域已经被补充的合成图像用作变化检测处理的对象，使得可以更容易地进行变化检测处理。即，不需要复杂的工作，诸如对从不同的拍摄位置拍摄的多个图像中的各个图像进行变化检测处理，以及根据从多个图像获得的结果来区分交叠部分和非交叠部分。

图11是示出画面的示例的图，画面中由变化检测模块307检测到的变化被叠加并显示在合成图像上。在窗口1100中，显示与同窗口900所示的部分不同的部分有关的合成图像。粗线1101是由变化检测模块307检测到的楼板100上的裂缝数据的一部分(对应于一个裂缝)。以此方式，优选的是，用粗线、虚线或彩色线突出显示裂缝数据，使得可以容易识别裂缝数据并将其与合成图像中出现的裂缝1102进行比较。

<图像处理装置的操作>

图5是用于说明根据第一实施例的图像处理装置的操作的流程图。注意，在以下描述中，将描述将范围130a的拍摄图像用作主图像并且将范围130b的拍摄图像用作子图像的示例。更具体地，将描述生成如下合成图像的示例，在该合成图像中，图像200a中的对角构件的图像区域被替换为楼板的出现在图像200b中的对应位置的部分图像。

在步骤S501中，对准模块303从图像数据存储模块301获取要合成的主图像和一个或多个子图像。例如，从图像数据存储模块301中读出通过从正面(正下方)拍摄要处理的楼板区域100a而获得的拍摄图像作为主图像。然后，向图像数据管理模块302查询通过从正面拍摄与楼板区域100a横向相邻的楼板区域而获得的拍摄图像，并且从图像数据存储模块301中读出对应的拍摄图像作为子图像。这里，从正面拍摄的左相邻楼板区域100b的拍摄图像被读出为子图像。

在步骤S502中，对准模块303从图像数据存储模块301中读出设计图。如上所述，设计图是如从桥梁下方观察到的正交投影图，并且例如是如图1所示的图像。

在步骤S503中，对准模块303从用户接受主图像与设计图之间的坐标的关联关系，并导出单应矩阵作为主图像与设计图之间的坐标转换参数。另外，从用户接受子图像与设计图的坐标之间的关联关系，并且导出作为子图像与设计图之间的坐标转换参数的单应矩阵。因此，可以将主图像和子图像(由相机拍摄的中心投影图像)转换成正交投影图像(正交转换)。另外，结果是在主图像与子图像之间关联了坐标关系。

这里，用户将图像200a中的楼板区域100a的四个角的四个顶点(作为特征点)与设计图上的楼板区域100a的四个角的四个顶点(作为特征点)相关联。另外，图像200b中的楼板区域100a的四个顶点与设计图上的楼板区域100a的四个角的四个顶点相关联。然而，预期图像200b中的两个左顶点被钢桥主梁遮挡。因此，考虑到这一点，优选指定两个顶点。例如，代替楼板区域100a的四个角，可以指定被假设存在于与楼板区域基本相同的平面上的桥主梁的角。另外，例如，可以通过基于剩余的两个可见顶点、桥梁的角等来绘制辅助线来指定图像上的桥主梁后面的隐藏的两个顶点的位置，并且可以指定所指定的点。如果有的话，则可以指定顶点以外的特征点。注意，期望特征点存在于与楼板基本相同的平面上。

在步骤S504中，替换区域指定模块304从用户接受对主图像中的替换区域的指定。如上所述，替换区域是如下区域，在该区域中，楼板被遮挡从而楼板不出现在主图像中。这里，指定图像200a中的对角构件的区域。注意，假设在进行合成之后可能需要图像编辑，则可以指定比对角构件的区域更大的区域。可以接受对替换区域的图像特征(纹理等)的指定，代替直接指定替换区域。在这种情况下，替换区域指定模块304在主图像中选择与指定图像特征相似的区域，并将该区域指定为替换区域。

在步骤S505中，图像剪切模块305剪切子图像中与步骤S504中指定的替换区域(给定区域)相对应的区域的图像。这里，使用由对准模块303导出的坐标转换参数，将主图像中的替换区域的坐标转换为子图像中的坐标，并且从子图像中剪切与通过转换获得的坐标相对应的剪切区域的图像。注意，假设在进行合成之后可能需要图像编辑，则可以剪切比从替换区域导出的剪切区域更大的区域。然而，如果基于图像特征等确定楼板以外的部分出现在扩展区域中，则可以将该区域从剪切对象中排除。

在步骤S506中，图像合成模块306用在步骤S505中剪切的剪切图像覆盖(替换)主图像中在步骤S504指定的替换区域，以生成合成图像。注意，当将剪切图像与主图像合成时，基于在步骤S503中导出的单应矩阵，将剪切图像转换为主图像中的坐标位置，然后进行合成。生成的合成图像被保持在图像数据存储模块301中。

图12是示出对通过将剪切图像与主图像合成而获得的合成图像应用变化检测处理的操作的流程图。在步骤S1201中，变化检测模块307从图像数据存储模块301获取要作为变化检测对象的合成图像。在S1202中，变化检测模块307对在步骤S1201中获取的合成图像应用变化检测处理。在该实施例中，变化检测模块307使用机器学习自动从图像中检测裂缝，并将检测到的位置记录为裂缝数据。

图6是用于说明通过将剪切图像叠加在主图像上来生成合成图像的图。如图6所示，生成的合成图像600包括包含整个对象楼板区域的楼板图像。当然，这不是存在既未出现在主图像中也未出现在子图像中的部分区域的情况。在这种情况下，可以通过使用从其他不同视点拍摄的一个或多个图像的合成处理来生成包括对象楼板区域的较大范围的一个合成图像，并将该合成图像用作变化检测处理的对象。注意，如上所述，为了能够校正主图像与剪切图像之间的位置偏移，可以将剪切图像显示为可编辑的对象图像，并且可以从用户接受诸如缩放的变形操作。

如上所述，根据第一实施例，合成了从两个不同视点位置拍摄的图像。通过该处理，即使在检验对象(楼板)与相机之间存在障碍物(对角构件)的情况下，也能够生成适合于变化检测处理的图像。

注意，在以上描述中，已经描述了针对一个主图像使用一个子图像的模式，但是可以使用两个或更多个子图像。例如，除了通过从正面拍摄左相邻的楼板区域而获得的拍摄图像(图像200b)之外，通过从正面拍摄右相邻的楼板区域而获得的拍摄图像也可以用作子图像。

(变型例1)

在变型例1中，将描述从多个视点位置拍摄的多个图像彼此直接关联的模式。注意，装置布置与第一实施例中的装置布置基本相同，因此将省略其描述。

<图像处理装置的操作>

图7是用于说明根据变型例1的图像处理装置的操作的流程图。注意，在下面的描述中，与第一实施例中一样，将描述如下示例，其中范围130a的拍摄图像用作主图像并且范围130b的拍摄图像用作子图像。

在步骤S701中，对准模块303从图像数据存储模块301中读出要合成的主图像和一个或多个子图像。在步骤S702中，对准模块303从用户接受主图像与子图像之间的坐标的关联关系，并导出单应矩阵作为图像之间的坐标转换参数。

这里，用户将图像200a中的楼板区域100a的四个角的四个顶点与图像200b中的楼板区域100a的四个角的四个顶点相关联。然而，预期图像200b中的两个左顶点被钢桥主梁遮挡。因此，考虑到这一点，优选指定两个顶点。如果有，则可以指定顶点以外的特征点。注意，期望特征点存在于与楼板基本相同的平面上。

步骤S703至S705与第一实施例中的步骤S504至S506相似，因此将省略其描述。

如上所述，根据变型例1，可以合成从两个不同视点位置拍摄的拍摄图像，而无需使用设计图。通过该处理，即使在检验对象(楼板)与相机之间存在障碍物(对角构件)的情况下，也能够生成适合于变化检测处理的图像。

(变型例2)

在第一实施例中，当在主图像与从子图像剪切的图像之间发生位置偏移时，用户可以使用如图9所示的GUI进行诸如缩放或移动的编辑。然而，主图像与剪切图像之间的偏移不能总是仅通过借助缩放或移动的编辑来进行补偿。在变型例2中，将描述校正当根据第一实施例或变型例1将剪切图像叠加并显示在主图像上时(以及当它们被合成时)在边界部分中发生的变化或纹理的位置偏移的处理。

图13是示出图像处理装置300的功能布置的框图。关于功能布置，将省略与第一实施例中相似的部分的描述。剪切图像校正模块1301是功能单元，其对剪切图像应用图像处理以校正主图像与剪切图像之间的边界部分中的变化、纹理或颜色的偏移。

图14是用于说明根据变型例2的图像处理装置的操作的示例的流程图。该处理作为图5(步骤S506)或图7(步骤S705)所示的图像合成处理的预处理而进行。另选地，进行该处理作为优化要在图12(步骤S1202)所示的变化检测处理中处理的合成图像的处理。注意，在下面的描述中，与在第一实施例中一样，将描述将范围130a的拍摄图像用作主图像并且将范围130b的拍摄图像用作子图像的示例。

在步骤S1401中，变化检测模块307对主图像和剪切图像进行裂缝检测处理。图15A是示出将剪切图像叠加在主图像上的状态的图。在主图像1501和剪切图像1502的各个中检测到裂缝1503。在步骤S1402中，剪切图像校正模块1301获取在由替换区域指定模块304指定的区域的边界上的裂缝的端点。图15B是示出指定了主图像1501与剪切图像1502之间的边界上的裂缝的端点的状态的图。这里，由点来指示八个指定的端点。在步骤S1403中，剪切图像校正模块1301创建在步骤S1402中获取的主图像中的裂缝的端点和剪切图像中的裂缝的端点的对，使得落入预定范围内的端点配对。图15C是示出将主图像1401上的裂缝的端点与剪切图像1402上的裂缝的端点配对的状态的图。这里，各对两个端点被通过虚线指示的圆1504围绕，并且示出了设置了四个端点的状态。在步骤S1404中，剪切图像校正模块1301确定是否存在各自包括主图像中的裂缝的端点和剪切图像中的裂缝的端点的四对或更多对。如果对的数量小于四，则处理进入步骤S1405。如果对的数量是四或更多，则处理进入步骤S1406。

在步骤S1405中，剪切图像校正模块1301从用户接受剪切图像与主图像之间的坐标的关联关系，并根据两个输入坐标创建对。这是补充对的处理，使得可以基于总共四个或更多对来执行稍后描述的几何转换。例如，可以使用由对准模块303确定并彼此关联以对准主图像和子图像的一对坐标(步骤S503或S702)。另选地，可以使用通过用户新选择主图像和剪切图像中的各个中的任意位置而关联的一对坐标。注意，在剪切图像上指定的坐标期望是用户想要抑制在稍后描述的步骤S1406中进行的剪切图像的几何转换中的转换的影响的区域上的坐标。另外，即使在步骤S1403中已经生成了四对或更多对，也可以接受一对的用户输入，以指定用户想要抑制转换的影响的区域。注意，这里在假设使用单应矩阵的几何转换的情况下在步骤S1403中确定对的数量是否为“四个或更多”。然而，当使用其他几何转换时，该数字可以是几何转换所需的任何数字，并且可以不是“四个或更多”。

在步骤S1406中，剪切图像校正模块1301使用主图像上的坐标和剪切图像上的坐标的对来导出单应矩阵。然后，将基于导出的单应矩阵的几何转换应用于剪切图像。图15D是示出在步骤S1406中应用了几何转换的剪切图像被叠加并显示在主图像上的状态的图。如上所述进行了几何转换的剪切图像例如被覆盖在合成图像上，并且可以在变化检测处理中使用。另外，例如，可以提供如下用户界面，该用户界面能够在合成图像上叠加和显示经几何转换的剪切图像或打开/关闭叠加的显示。例如，可以将叠加在合成图像(或主图像)上的剪切图像显示为可编辑对象图像，并且可以通过接受来自用户的诸如缩放的变形操作来进一步校正位置偏移。

注意，在主图像与剪切图像之间的边界部分中，不仅可能发生变化或纹理的位置偏移，而且还会发生颜色的偏移(颜色偏移)。下面将描述校正边界部分中的颜色偏移的两种方法。一种是使用直方图匹配的方法，该方法将剪切图像的颜色直方图的分布与主图像的颜色直方图的分布进行匹配。另一种是通过在剪切图像的边界部分附近设置从中心到外部连续改变的透明度来将剪切图像与主图像混合的方法。

图16A至图16D是示出混合主图像与剪切图像之间的边界部分的方法的图。图16A至图16D中的各个包括示出当从侧面观察和从上方观察时主图像与剪切图像之间的位置关系的示意图。图16A是示出剪切图像1603被叠加于在主图像1601中出现的对角构件区域1602(即，替换区域)上的状态的图。图像1611示例性地示出了在边界部分中出现颜色偏移。

图16B是示出其中剪切图像的中心部分的透明度被设置为0％并且朝着外边界部分连续地改变为100％的状态的图。请注意，在这种情况下，剪切图像边缘处的透明度设置为100％。因此，当剪切图像1603的宽度与对角构件区域1602的宽度基本相同时，通过剪切图像1603可以看到出现在主图像1601中的对角构件区域1602。图像1612示例性地示出了其中通过剪切图像1603看到对角构件区域1602的状态。因此，当从子图像对剪切图像1603进行剪切时，优选剪切大于对角构件区域1602的范围的区域。通过针对这样的剪切图像1603设置从0％连续变化到100％的透明度，可以进行混合，而不会允许通过剪切图像1603看到对角材料。

图16C是示出当对子图像中与替换区域相对应的图像区域进行剪切时剪切包括外围区域1604的剪切图像1603的状态的图。即，图16C示出了剪切大于替换区域的经扩展部分区域的状态。在这种情况下，图像1613示例性地示出了在外围区域1604与主图像之间的边界部分中发生颜色偏移。图16D是示出了如下状态的图，其中，在较大的剪切图像(经扩展部分区域)中，与对角构件区域1602(即，替换区域)相对应的部分的透明度被设置为0％，并且周边区域1604的透明度被改变。这里，示出了如下示例，其中，从与剪切图像1603接触的一侧到外部(朝向与主图像的边界)，外围区域1604的透明度从0％连续地改变为100％。图像1614示例性地示出了边界部分中的颜色偏移由于该处理而不明显的状态。

如果在主图像与剪切图像之间的边界部分发生变化或纹理的位置偏移或颜色偏移，则在变化检测处理中可能会发生错误检测，诸如错误计数裂缝数量或将边界视为裂缝。根据变型例2，可以减少这种错误检测的发生。注意，在变型例2中，已经描述了校正位置偏移的方法和校正颜色偏移的方法，但是图像处理不限于此。类似地，基于主图像和子图像中的一个图像中的色调、饱和度和亮度中的任何一者或全部，可以调整另一图像中的部分区域的色调、饱和度和亮度中的任何一者，并将其反映在合成图像上。这可以提高随后执行的变化检测处理的精度。

(其他实施例)

可以通过经由网络或存储介质向系统或装置供给实现上述实施例的一个或更多功能的程序、并且该系统或装置中的计算机的一个或更多个处理器读出并执行该程序，来实现本发明。还可以通过实现一个或更多功能的电路(例如，ASIC)来实现本发明。

本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和变型。因此，为了使公众获悉本发明的范围，做出了所附权利要求。

本申请要求2017年12月25日提交的日本专利申请第2017-248005号以及2018年10月10日提交的日本专利申请第2018-192136号的优先权，该申请的全部内容通过引用并入本文。

Claims

1.一种图像处理装置，其特征在于包括：

2.根据权利要求1所述的图像处理装置，其特征在于所述图像处理装置还包括：

检测部，用于基于对所述合成图像的分析，检测在所述对象中发生的变化，

其中，所述显示控制部通过将表示由所述检测部检测到的变化的所述变化数据叠加在所述合成图像上，来显示所述变化数据。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述获取部还获取所述对象的设计图，并且

所述关联部将所述第一图像上与所述对象的特征的位置相对应的坐标位置，同所述设计图上与所述对象的特征的位置相对应的坐标位置相关联，并且将所述第二图像上与所述对象的特征的位置相对应的坐标位置相关联，同所述设计图上与所述对象的特征的位置相对应的坐标位置相关联。

4.根据权利要求1至3中的任一项所述的图像处理装置，其特征在于所述图像处理装置还包括：

指定部，用于指定所述第一图像中的所述给定区域。

5.根据权利要求4所述的图像处理装置，其特征在于所述图像处理装置还包括：

接受部，用于从用户接受对所述第一图像中的任意形状的区域的指定，

其中，所述指定部将所述任意形状的区域指定为所述给定区域。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述接受部被构造为能够接受多个任意形状的区域，并且

所述指定部指定通过所述多个任意形状的区域的逻辑和或逻辑积而获得的区域，作为所述给定区域。

7.根据权利要求4所述的图像处理装置，其特征在于所述图像处理装置还包括：

接受部，用于从用户接受对图像特征的指定，

其中，所述指定部指定所述第一图像中与所述图像特性类似的区域，作为所述给定区域。

8.根据权利要求1至7中的任一项所述的图像处理装置，其特征在于包括：

显示控制部，用于将所述第一图像和所述第二图像布置并显示在显示单元上，

其中，所述显示控制部进行控制，以将所述确定部在所述第二图像中确定的所述部分区域与所述给定区域同步显示。

9.根据权利要求1至7中的任一项所述的图像处理装置，其特征在于包括：

显示控制部，用于在显示单元中，将经过半透明处理的所述第二图像叠加并显示在所述第一图像上，

其中，所述显示控制部进行控制，以基于所述关联部的关联，将经过所述半透明处理的所述第二图像叠加并显示在所述第一图像上。

10.根据权利要求9所述的图像处理装置，其特征在于还包括：

透明度指定部，用于指定所述半透明处理中的透明度。

11.根据权利要求1至10中的任一项所述的图像处理装置，其特征在于所述图像处理装置还包括：

校正部，用于进行图像处理，以在所述合成图像中校正在所述部分区域与所述第一图像之间发生的偏移。

12.根据权利要求11所述的图像处理装置，其特征在于，所述校正部通过基于从所述给定区域的边界指定的坐标与从所述部分区域的边界指定的坐标之间的关联关系使所述部分区域的图像变形，来校正在所述部分区域与所述第一图像之间发生的位置偏移。

13.根据权利要求12所述的图像处理装置，其特征在于，

在所述对象中发生的变化是在结构中发生的变化，并且

所述校正部指定所述给定区域的边界上的从所述第一图像中检测到的裂缝的端点和所述部分区域的边界上的从所述第二图像中检测到的裂缝的端点，并基于所指定的端点中的落入预定范围内的端点的关联，使所述部分区域变形。

14.根据权利要求11所述的图像处理装置，其特征在于，所述校正部通过基于所述第一图像的色调、饱和度和亮度中的任何一者或全部调整所述部分区域的色调、饱和度和亮度中的任何一者或全部，来校正所述部分区域与所述第一图像之间发生的颜色偏移。

15.根据权利要求11所述的图像处理装置，其特征在于，所述校正部通过基于所述部分区域的色调、饱和度和亮度中的任何一者或全部调整所述第一图像的色调、饱和度和亮度中的任何一者或全部，来校正所述部分区域与所述第一图像之间发生的颜色偏移。

16.根据权利要求11所述的图像处理装置，其特征在于，

所述生成部通过将设置了透明度的所述部分区域的图像叠加在所述第一图像中的所述给定区域上，来生成所述合成图像，并且

所述校正部通过设置从所述部分区域的中心向外部连续增大的透明度，来校正所述部分区域与所述第一图像之间发生的颜色偏移。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述生成部通过将比由所述确定部确定的所述部分区域更大的扩展部分区域的图像叠加在所述第一图像中的所述给定区域上，来生成所述合成图像，并且

所述校正部通过在从所述部分区域扩展的所述扩展部分区域的区域中设置从与所述部分区域接触的一侧向所述扩展部分区域的外部连续增大的透明度，来校正所述部分区域与所述第一图像之间发生的颜色偏移。

18.根据权利要求1至17中的任一项所述的图像处理装置，其特征在于所述图像处理装置还包括：

导出部，用于基于所述关联部的关联，导出将所述第一图像中包括的所述对象的坐标位置与所述第二图像中包括的所述对象的坐标位置相互转换的坐标转换参数，

其中，所述确定部基于所述坐标转换参数，确定所述第二图像中与所述第一图像中的所述给定区域相对应的所述部分区域。

19.一种图像处理装置中的控制方法，其特征在于包括：

获取步骤，获取从第一视点位置拍摄包括对象的场景的第一图像、以及从不同于所述第一视点位置的第二视点位置拍摄包括所述对象的场景的第二图像；

关联步骤，将所述第一图像上与所述对象的特征的位置相对应的坐标位置，同所述第二图像上与所述对象的特征的位置相对应的坐标位置相关联；

确定步骤，基于所述关联步骤中的关联，确定所述第二图像中与所述第一图像中的给定区域相对应的部分区域；

生成步骤，通过使用在所述确定步骤中确定的所述部分区域的图像替换所述第一图像中的所述给定区域的图像，来生成合成图像；以及

显示控制步骤，通过将表示在所述对象中发生的变化的变化数据叠加在所述合成图像上，来显示所述变化数据。

20.一种使计算机用作根据权利要求1至18中的任一项所述的图像处理装置的各部的程序。