CN111684267A

CN111684267A - 图像处理装置及图像处理方法

Info

Publication number: CN111684267A
Application number: CN201880088379.2A
Authority: CN
Inventors: 堀田修平
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2018-02-02
Filing date: 2018-12-27
Publication date: 2020-09-18
Anticipated expiration: 2038-12-27
Also published as: JPWO2019150872A1; US11972550B2; JP7050824B2; EP3748341A1; EP3748341A4; WO2019150872A1; CN111684267B; US20200349695A1

Abstract

本发明的目的在于提供一种用户能够有效地确认及修正损伤的检测结果的图像处理装置及图像处理方法。本发明的一方面的图像处理装置具备：图像输入部，其输入对被摄体进行分割拍摄而得的多个图像；损伤检测部，其从构成多个图像的各个图像即单个图像中检测被摄体的损伤；图像判断部，其判断是否将单个图像设为使用户确认对于单个图像的检测的结果的确认对象图像；显示控制部，其将使确认对象图像或确认对象图像的一部分区域与显示装置的显示区域对齐并切出的局部图像与确认对象图像或局部图像中的检测的结果相关联对应地在显示装置显示；以及检测结果修正部，其基于用户的指示输入来修正检测的结果。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及从拍摄被摄体而得的图像检测被摄体的损伤的图像处理装置及图像处理方法。

背景技术

在图像处理领域，从通过拍摄建筑物、建造物等被摄体而获得的图像中检测被摄体的损伤(裂纹、腐蚀、剥离等)的技术是公知的。在损伤的检测中，根据被摄体(例如桥梁、公路、大楼等)，基于通过拍摄而获取的大量图像制作表示大范围(整个检查范围或其一部分)的合成图像。例如在专利文献l中记载有一种从通过拍摄桥梁而获得的图像中检测裂纹，并制作裂纹的大范围分布图的技术。

以往技术文献

专利文献

专利文献1：日本特开2001-99784号公报

发明内容

发明要解决的技术课题

从图像中检测损伤时，由于被摄体的特征、拍摄条件等原因，可能存在漏检和/或误检，有时需要用户确认及修正检测结果。在这样的确认及修正中，根据被摄体的大小、检查范围等条件要拍摄大量的图像。但是，在确认及修正所有图像时，连确认及修正的必要性低的图像(例如，正确检测到损伤的图像)都成为对象，成为一项非常费时的工作。

另外，如果在确认及修正中将表示大范围的合成图像作为对象，可能会产生以下问题。例如在以全尺寸显示并放大合成图像，并通过放大、滚动等对其进行确认时，用户不知道能够确认到何处，有可能引起确认遗漏、确认的重复(多次确认了相同区域)等。另外，根据被摄体的大小，可能引起合成图像的图像尺寸(图像处理装置的内存使用量)变大，从而导致画面显示变慢、或者无法显示等问题。另一方面，将合成图像缩小进行确认时，有分辨率可能降低，损伤的确认可能变得困难，另外，由于合成时的图像处理(在多个图像重复的区域中的叠加、倾斜校正等)，可能无法在合成图像中确认在合成之前的图像中可确认的损伤。

然而，在上述专利文献1中，仅针对每个子部分进行输出显示的情况及缩小或放大各子部分的情况进行了描述，对于减少确认及修正的麻烦的情况没有考虑。

这样，以往的技术无法有效地确认及修正损伤的检测结果。

本发明是鉴于这样的情况而制作的，目的在于提供用户能够有效地确认及修正损伤的检测结果的图像处理装置及图像处理方法。

用于解决技术课题的手段

为了实现上述目的，本发明第一方面的图像处理装置具备：图像输入部，其输入对被摄体进行分割拍摄而得的多个图像；损伤检测部，其从构成多个图像的各个图像即单个图像中检测被摄体的损伤；图像判断部，其判断是否将单个图像设为使用户确认对于单个图像的检测的结果的确认对象图像；显示控制部，其将使确认对象图像或确认对象图像的一部分区域与显示装置的显示区域对齐并切出的局部图像与确认对象图像或局部图像中的检测的结果相关联对应并在显示装置显示；以及检测结果修正部，其基于用户的指示输入来修正检测的结果。

在第一方面中，在显示装置显示对于单个图像中判断为“使用户确认检测结果”的确认对象图像或切出确认对象图像的一部分区域的局部图像的检测结果，并使用户确认，基于用户的指示输入进行修正。因此，应确认检测结果的图像清晰，通过基于用户的指示输入来修正对于这样的图像的检测结果，能够减少确认及修正的麻烦。此外，作为检测结果的“修正”，图像处理装置例如能够进行追加(添加漏检的损伤信息)、订正(将不适当的检测结果改正为适当的结果)、删除(删除误检的损伤信息)。图像处理装置基于用户的指示输入进行这些“修正”。

图像处理装置(显示控制部)能够对照显示区域的分辨率从确认对象图像切出局部图像。例如，当确认对象图像的像素数(分辨率)为显示区域的像素数(分辨率)以下时可显示确认对象图像，当确认对象图像的像素数超过显示区域的像素数时可切出确认对象图像的一部分作为局部图像。由此，显示的图像的像素数(分辨率)不会降低，不会由于图像的缩小而难以确认或者不能确认损伤。因此，用户能够准确地进行检测结果的确认及修正。

此外，在第一方面中，显示控制部将图像(确认对象图像或局部图像)和检测结果“相关联对应地显示”包括将图像和表示该图像中的检测的结果的信息(文字、数字、图形、记号等)叠加显示。显示控制部也可以根据损伤的程度以不同的色彩和/或明亮度来显示表示检测结果的信息。也可以根据用户的指示，打开/关闭表示检测结果的信息的显示。

这样，根据第一方面，用户能够有效地确认及修正损伤的检测结果。

第二方面的图像处理装置是在第一方面的基础上，显示控制部将多个图像中的非确认对象图像及非确认对象图像中的检测的结果识别为确认对象图像及确认对象图像中的检测的结果并在显示装置显示。在第二方面中，因为显示控制部识别并显示确认对象图像和非确认对象图像及这些图像中的检测的结果，所以用户可容易地掌握确认对象图像及其检测结果，并且能够有效地进行检测结果的确认及修正。此外，在第二方面及以下的各方面中，能够将拍摄被摄体的多个图像中的、不是确认对象图像的图像设为“非确认对象图像”。

第三方面的图像处理装置是在第一或第二方面的基础上，显示控制部根据表示用户确认和/或修正一个确认对象图像中的检测的结果的指示输入，显示其他确认对象图像及其他确认对象图像中的检测的结果。在第三方面中，因为显示控制部根据表示一个确认对象图像中的检测的结果的确认和/或修正的指示输入显示其他图像的结果，所以能够减少产生漏确认的可能性。

第四方面的图像处理装置是在第一至第三方面中的任一方面的基础上，在对一个确认对象图像的所有区域确认和/或修正检测的结果之后，显示控制部显示其他确认对象图像及其他确认对象图像中的检测的结果。在第四方面中，因为显示控制部在对一个确认对象图像的所有区域确认和/或修正检测的结果之后，显示其他确认对象图像及对于该图像的检测结果，所以能够减少产生漏确认的可能性。

第五方面的图像处理装置是在第一至第四方面中的任一方面的基础上，图像判断部基于单个图像的画质、检测的结果、拍摄条件及被摄体的结构中的至少一项进行判断。第五方面表示是否将单个图像设为确认对象图像的具体判断基准。

第六方面的图像处理装置是在第五方面的基础上，图像判断部基于由机器学习构成的画质评价器的评价结果、单个图像的空间频谱及单个图像的密度直方图中至少一项求出画质。第六方面表示画质的具体判断基准。

第七方面的图像处理装置是在第一至第六方面中的任一方面的基础上，图像判断部基于单个图像中的、实际损伤的置信度为阈值以上的检测结果的数量和/或密度进行判断。在第七方面中，图像判断部例如能够将置信度为阈值以上的检测结果的数量少的图像和/或置信度为阈值以上的检测结果的密度低的图像判断为确认对象图像。因为在这样的图像中产生漏检、误检等的可能性高，所以通过判断为确认对象图像，用户能够有效地确认及修正检测结果。

第八方面的图像处理装置是在第七方面的基础上，显示控制部根据置信度识别并显示检测的结果。根据第八方面，用户能够通过识别显示容易地掌握检测结果的置信度，并且能够采取有选择地、有重点地确认置信度低的检测结果等措施。因此，用户能够有效地确认及修正检测结果。此外，在第八方面中，检测结果的识别显示例如可以通过显示控制部使表示检测结果的文字、数字、图形、记号、色彩、明亮度等根据置信度而变化来进行。

第九方面的图像处理装置是在第七或第八方面的基础上，显示控制部在确认对象图像或局部图像中识别并显示存在置信度为阈值以上的检测结果的区域。根据第九方面，用户可以通过识别显示容易地识别检测结果的置信度高的(阈值以上)区域和置信度低(低于阈值)的区域，由此，例如能够采取有选择地或者有重点地确认及修正置信度低的检测结果等的措施。

第十方面的图像处理装置是在第一至第九方面中的任一项的基础上，图像判断部具备计算单个图像的景深的景深计算部，在单个图像包括景深范围以外的区域的情况下，图像判断部判断为将单个图像设为确认对象图像。景深范围以外(例如，对焦度低于阈值)的区域由于图像的模糊而产生漏检、误检等的可能性高，因此，确认和/或修正的必要性高。从这样的观点来看，在第十方面中，图像判断部在单个图像包括景深范围以外的区域的情况下将其判断为确认对象图像，由此用户能够有效地确认及修正检测结果。

第十一方面的图像处理装置是在第十方面的基础上，景深计算部基于确认对象图像中的被摄体的拍摄角度及确认对象图像中的对焦位置来计算景深。由于在与被摄体的角度变化方向上远离对焦位置的区域超出了景深且变得模糊，因此优选像第十一方面那样计算景深。

第十二方面的图像处理装置是在第十或第十一方面的基础上，景深计算部基于被摄体的拍摄角度、被摄体的拍摄距离、拍摄确认对象图像时的光圈值及允许弥散圆直径计算景深。

第十三方面的图像处理装置是在第十至第十二方面中的任一方面的基础上，显示控制部在确认对象图像或局部图像中识别并显示景深范围以外的区域。根据第十三方面，用户可通过识别显示容易地识别景深范围内的区域(正确检测损伤的可能性高的区域)和范围以外的区域(产生模糊并且产生误检、漏检的可能性高的区域)，从而能够有效地确认及修正检测结果。此外，可通过显示控制部针对景深范围内的区域和超出范围的区域标注不同的文字、数字、图形、记号、色彩等，或者通过改变这些字符的程度来进行识别显示。

第十四方面的图像处理装置是在第十至第十三方面中的任一方面的基础上，显示控制部在确认对象图像中识别并显示根据拍摄光学系统的像面弯曲及对焦位置所设定的确认对象区域。当由于拍摄光学系统(拍摄镜头)的特性而产生像面弯曲时，如果在图像的中心部对焦，则周边部模糊，如果在周边部对焦，则中心部模糊。然而，通过显示控制部像第十四方面那样进行识别显示，用户可容易地识别对焦度高的区域和低的区域，从而能够有效地确认及修正检测结果。此外，因为成为对焦区域的范围根据拍摄光学系统的特性而不同，所以优选的是，预先制作数据库，获取并使用实际用于拍摄的拍摄光学系统的数据。

第十五方面的图像处理装置是在第一至第十四方面中的任一方面的基础上，发出频闪光拍摄单个图像时，在单个图像包括低亮度区域的情况下，图像判断部判断为将单个图像设为确认对象图像，该低亮度区域是基于由于频闪光的光源及拍摄光学系统的配置引起的亮度的变化而设定的。在图像中，远离频闪光的发光方向的区域(例如，图像的周边部分)变暗(亮度低)，产生漏检、误检等的可能性高。从这样的观点来看，在第十五方面中，在单个图像包括低亮度区域的情况下，图像判断部将其判断为确认对象图像，由此，用户能够有效地确认及修正检测结果。

第十六方面的图像处理装置是在第十五方面的基础上，低亮度区域是基于拍摄距离所设定的区域。如果拍摄距离近，则暗区(低亮度的区域)加宽，如果拍摄距离远，则暗区缩窄。如果更远，则亮度接近相同，暗区消失。在第十六方面中，优选预先将这样的拍摄距离与暗区的关系制作数据库。

第十七方面的图像处理装置是在第十五或第十六方面的基础上，显示控制部在确认对象图像或局部图像中识别并显示低亮度区域。在低亮度区域中，产生漏检、误检等的可能性高，因此，确认及修正的必要性高。然而，在第十七方面中，显示控制部识别并显示低亮度区域，从而用户能够有效地确认及修正检测结果。

第十八方面的图像处理装置是在第一至第十七方面中任一方面的基础上，具备结构信息获取部，该结构信息获取部获取表示被摄体的结构的结构信息，在参照结构信息判定为单个图像的拍摄范围包括容易发生损伤的区域的情况下，图像判断部判断为将单个图像设为确认对象图像。因为容易发生损伤的区域是确认及修正的必要性高的区域，所以在第十八方面中，图像判断部在单个图像包括容易发生损伤的区域的情况下将其判断为确认对象图像。此外，作为“容易发生损伤的区域”，例如可举出施加大的负荷的区域、构件的接合部分、中间部分、构件的形状变化的部位等，但不限于此。

第十九方面的图像处理装置是在第一至第十八方面中任一方面的基础上，具备：参数计算部，其计算用于对多个图像进行全景合成的参数；以及重叠计算部，其基于参数求出多个单个图像的重叠区域，当已经在任一图像中确认重叠区域时，或者当所述重叠区域是具有画质最高的区域以外的区域时，显示控制部识别并显示重叠区域。在已经确认了重叠区域的情况下，再次确认的必要性低，另一方面，在所述重叠区域是具有画质最高的区域以外的区域的情况下，因为检测结果的可靠性(相对)低，所以优选确认及修正“具有画质最高的区域”中的检测结果。根据第十九方面，用户能够参照识别显示有效地确认及修正重叠区域中的检测结果。

第二十方面的图像处理装置是在第十九方面的基础上，具备图像合成部，其按照参数从多个图像中生成全景合成图像，显示控制部在全景合成图像中识别并显示确认对象图像示出的范围。根据第二十方面，用户能够容易地掌握确认对象图像在整体(全景合成图像)中占据的范围。

第二十一方面的图像处理装置是在第二十方面的基础上，显示控制部在全景合成图像中识别并显示已被确认和/或修正的范围。在第二十一方面中，通过识别并显示已被确认和/或修正的范围，能够降低确认和/或修正的遗漏、重复等可能性。

第二十二方面的图像处理装置是在第二十或第二十一方面的基础上，图像合成部计算表示全景合成图像与多个图像的对应关系的信息，显示控制部基于信息在显示装置显示多个图像中与在全景合成图像中指定的范围对应的图像。在第二十二方面中，因为显示控制部基于表示对应关系的信息显示全景图像中与指定的范围对应的图像(及检测结果)，所以用户能够指定期望的范围并有效地确认及修正检测结果。

第二十三方面的图像处理装置是在第一至第二十二方面中任一方面的基础上，具备拍摄部，其通过拍摄光学系统和成像元件拍摄被摄体的图像，所述成像元件通过拍摄光学系统成像被摄体的光学图像，图像输入部输入由拍摄部拍摄的多个图像作为多个图像。在第二十三方面中，能够通过图像输入部输入由成像部拍摄的图像并进行损伤检测等。

为了实现上述目的，本发明的第二十四方面的图像处理方法具备：图像输入工序，输入对被摄体进行分割拍摄而得的多个图像；损伤检测工序，从构成多个图像的各个图像即单个图像检测被摄体的损伤；图像判断工序，判断是否将单个图像设为使用户确认对于单个图像的检测的结果的确认对象图像；显示控制工序，将使确认对象图像或确认对象图像的一部分区域与显示装置的显示区域对齐并切出的局部图像与确认对象图像或局部图像中的检测的结果相关联对应地在显示装置显示；以及检测结果修正工序，基于用户的指示输入来修正检测的结果。根据第二十四方面，与第一方面同样，用户能够有效地确认及修正损伤的检测结果。此外，在第二十四方面中，还可以具备与第二至第二十三方面同样的结构。另外，也可举出在计算机、图像处理装置中执行这些方面的图像处理方法的程序及记录该程序的计算机可读代码的非暂时性记录介质作为本发明的一个方面。

发明效果

如上所述，根据本发明的图像处理装置及图像处理方法，用户能够有效地确认及修正损伤检测结果。

附图说明

图1是从底侧观察的桥梁的外观图。

图2是表示第一实施方式的图像处理装置的结构的框图。

图3是表示处理部的结构的图。

图4是表示存储于存储部的信息的图。

图5是表示第一实施方式的图像处理方法的处理的流程图。

图6是表示桥面板的拍摄过程的例子的图。

图7是表示格间的拍摄过程的例子的图。

图8是表示拍摄图像的图。

图9是表示修正前后的损伤的检测结果的表。

图10是表示切出局部图像的情形的图。

图11是表示图像的显示顺序的例子的图。

图12是表示图像的显示顺序的另一个例子的图。

图13是表示在桥面板中产生的裂纹的图。

图14是表示确认对象图像的画面显示的情形的图。

图15是表示局部图像的识别显示的情形的图。

图16是表示指定图像的情形的图。

图17是表示修正损伤的漏检的情形的图。

图18是表示修正损伤的误检的情形的图。

图19是表示直方图的例子的图。

图20是表示与检测结果的置信度相应的显示的例子的图。

图21是表示与检测结果的特征相应的显示的例子的图。

图22是表示改变拍摄方向进行拍摄的情形的图。

图23是表示散焦发生的情形的图。

图24是表示由于像面弯曲而产生模糊的情形的图。

图25表示由于像面弯曲而产生模糊的情形的另一张图。

图26是表示使用频闪装置拍摄的情形的图。

图27是表示在桥面板中产生裂纹的情形的图。

图28表示在桥墩中产生裂纹的情形的图。

图29是表示第二实施方式的处理部的结构的图。

图30是表示在第二实施方式中存储于存储部的信息的图。

图31是表示第二实施方式的图像处理方法的处理的流程图。

图32是表示全景合成图像的例子的图。

图33是表示全景合成图像中的识别显示及图像指定的情形的图。

图34是表示重叠区域中的识别显示的例子的图。

具体实施方式

以下，参照附图，对本发明的图像处理装置及图像处理装置的实施方式详细地进行说明。

<桥梁的结构>

图1是表示从下方观察作为建造物之一的桥梁1的状态的立体图。图1所示的桥梁1具有包括主梁2、横梁3、横向联结系(sway bracing)4、纵向联结系(lateral bracing)5、桥面板(floor slab)6以及桥墩7的立体结构，这些构件通过螺栓、铆钉、焊接等连接而构成。在主梁2等的上部打设有用于车辆等行驶的桥面板6。桥面板6通常由钢筋混凝土制成。主梁2是架在桥墩7之间并支撑桥面板6上的车辆等载荷的构件，另外，具有与桥面板6的面(水平面)正交的面(垂直方向的面)。横梁3是为了用多个主梁2支承载荷而连接主梁2的构件。横向联结系4及纵向联结系5分别是为了克服风及地震的横向载荷而将主梁2相互连接的构件。此外，在本实施方式中，对以桥梁1为对象(被摄体)的情况进行说明，但作为对象的建造物不限于桥梁，也可以是隧道、大楼等、公路等。

<图像的获取>

在拍摄桥梁1的图像来检测损伤的情况下，检查人员使用数码相机100(参照图2)拍摄桥梁1，对于检查范围通过分割获取多个拍摄图像(分别拍摄桥梁1的不同的部分而获得的多个图像)。在沿桥梁1的延伸方向及其正交方向适当地移动的同时进行拍摄。此外，在检查人员由于桥梁1的周边状况而难以移动的情况下，也可以将数码相机100设置在能够沿着桥梁1移动的移动体上进行拍摄。在这样的移动体上，也可以设置数码相机100的升降机构、旋转机构(进行摇摄和/或俯仰的机构)。此外，作为移动体的例子，可举出车辆、机器人及飞行物(无人机等)，但不限于此。

<第一实施方式>

<图像处理装置的结构>

图2是表示图像处理装置10(图像处理装置)的概略结构的框图。图像处理装置10是具备数码相机100及图像处理装置主体200，并对分割拍摄被摄体而获取的多个图像进行损伤检测、检测结果的合成等的系统。在图像处理装置10中，可以将个人计算机、平板电脑终端、智能手机等设备(信息终端)用作图像处理装置主体200。图像处理装置10的各要素可以收纳于一个框体中，也可以收纳于独立的框体中。另外，各要素也可以配置于分开的位置并经由网络连接。

<数码相机的结构>

数码相机100通过拍摄部110获取图像，该拍摄部110具备未图示的拍摄镜头(拍摄光学系统)及通过拍摄镜头成像被摄体的光学图像的成像元件(成像元件)。作为成像元件的例子，可举出CCD(Charge Coupled Device)型成像元件及CMOS(Complementary Metal-Oxide Semiconductor)型成像元件。在成像元件的受光面上设置有R(红色)、G(绿色)或B(蓝色)的彩色滤光片，能够基于各色信号获取被摄体的彩色图像。数码相机100经由无线通信部130及天线132进行与图像处理装置主体200的无线通信，并在将拍摄的图像输入处理部210之后进行后述的处理。此外，数码相机100可以与图像处理装置主体200组装到不同的框体中，或者也可以一体化。

<图像处理装置主体的整体结构>

图像处理装置主体200具备处理部210、存储部220、显示部230及操作部240，这些各部相互连接，收发所需信息。另外，图像处理装置主体200经由天线212在其与数码相机100之间进行无线通信，获取由数码相机100拍摄的拍摄图像。

<处理部的结构>

图3是表示处理部210的结构的图。处理部210具备图像输入部210A、损伤检测部210B、图像判断部210C、显示控制部210D、结构信息获取部210E、检测结果修正部210F及通信控制部210G，进行由数码相机100获取的拍摄图像的接收、损伤检测及修正、在监视器232上显示处理结果的显示控制等。

图像输入部210A(图像输入部)从数码相机100(或记录介质、网络等)输入桥梁1的拍摄图像(对桥梁1进行分割拍摄而得的多个图像)。损伤检测部210B(损伤检测部)从构成拍摄图像的各个图像即单个图像检测桥梁1(被摄体)的损伤。图像判断部210C(图像判断部)判断是否将单个图像设为使用户确认对于该单个图像的检测结果的确认对象图像。另外，图像判断部210C具备计算单个图像的景深的景深计算部211(景深计算部)。显示控制部210D(显示控制部)进行在监视器232上显示获取的图像、损伤检测结果等的显示控制。显示控制包括使图像(使确认对象图像或确认对象图像的一部分区域与显示装置的显示区域对齐并切出的局部图像)和该图像中的检测的结果相关联对应地在监视器232(显示装置)上显示。在进行显示时，根据需要识别并显示图像和/或检测结果(后述)。结构信息获取部210E获取表示被摄体的结构的结构信息。结构信息可以经由记录介质获取，也可以经由通信控制部210G从网络上的服务器、数据库等中获取。检测结果修正部210F(检测结果修正部)基于用户的指示输入来修正损伤检测结果。通信控制部210G经由天线212在其与数码相机100之间收发图像、信息。另外，通信控制部210G经由未图示的网络在其与外部服务器、数据库等之间收发数据(图像、处理结果等)。

此外，处理部210的功能的一部分或全部由网络上的服务器实现，图像处理装置主体200也可以进行数据的输入、通信控制以及结果的显示等。在这种情况下，构建包括网络上的服务器的Application Service Provider(应用服务提供商)类型的系统。

上述的处理部210的功能可使用各种处理器(processor)来实现。在各种处理器中，包括例如通过执行软件(程序)来实现各种功能的通用处理器即CPU(CentralProcessing Unit)。另外，在上述的各种处理器中，也包括专门用于图像处理的处理器即GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。此外，具有为了执行ASIC(Application Specific Integrated Circuit)等特定的处理而专门设计的电路结构的处理器即专用电路等也包括在上述的各种处理器中。

各部功能可以由一个处理器实现，也可以由相同种类或不同种类的多个处理器(例如，多个FPGA、或CPU与FPGA的组合，或CPU与GPU的组合)实现。另外，也可以由一个处理器实现多个功能。作为由一个处理器构成多个功能的例子，第一，有如下方式：以图像处理装置主体、服务器等计算机为代表，由一个以上的CPU与软件的组合构成一个处理器，该处理器以多个功能来实现。第二，有如下方式：以片上系统(System On Chip：SoC)等为代表，例如使用由一个IC(Integrated Circuit)芯片实现整个系统的功能的处理器。这样，将一个以上的上述的各种处理器用作硬件结构来构成各种功能。另外，更具体来说，这些各种处理器的硬件结构是将半导体元件等电路元件组合成的电路(circuitry)。

在上述的处理器或电路执行软件(程序)时，将执行的软件的处理器(计算机)可读的代码预先存储于ROM(Read Only Memory)等非暂时性记录介质中，处理器参照该软件。预先存储于非暂时性记录介质中的软件包括用于执行图像的输入及被摄体的测定的程序。也可以不将代码存储于ROM，而是存储于各种磁光记录装置、半导体存储器等非暂时性记录介质中。在使用软件进行处理的情况下，例如将RAM(Random Access Memory)用作暂时性存储区域，另外，例如也可以参照存储于未图示的EEPROM(Electronically Erasable andProgrammable Read Only Memory)中的数据。

处理部210除了上述各部以外还具备ROM214(ROM：Read Only Memory，非暂时性记录介质)。在ROM214中记录有图像获取、损伤的检测、数据的收发等处理所需的程序(包括用于执行本发明的图像处理方法的程序)的计算机可读代码。

<存储部的结构>

存储部220由CD(Compact Disk)、DVD(Digital Versatile Disk)、硬盘(HardDisk)、各种半导体存储器等非暂时性记录介质及其控制部构成，图4所示的图像及信息相互关联地存储。拍摄图像220A是由数码相机100对被摄体即桥梁1(桥面板6、桥墩7、主梁2的部分等)进行分割拍摄并由图像输入部210A输入的多个图像。此外，也可以不存储由数码相机100拍摄的图像，而是存储经由网络、记录介质获取的图像。拍摄条件220B是拍摄图像220A的拍摄条件(日期和时间、位置、曝光等)。拍摄条件220B可以记录为拍摄图像220A的一部分(例如标题部分)，也可以记录于另一文件中并与拍摄图像220A附加关联。检测结果220C包括对构成拍摄图像220A的单个图像的损伤的检测结果(参照图9)。可基于用户的指示输入来修正检测结果220C(后述)。结构信息220D是由结构信息获取部210E获取的表示被摄体的结构的信息。光学系统信息220E是表示成像光学系统的特性的信息(视角、焦距、光圈、各种像差等)。

<显示部及操作部的结构>

显示部230具备监视器232(显示装置)，能够显示输入的图像、处理结果、存储于存储部220的数据等。操作部240包括作为输入装置和/或指示装置的键盘242及鼠标244，用户可经由这些装置及监视器232的画面，进行图像的拍摄指示、损伤的检测指示、检测结果的修正指示等执行本发明的图像处理方法所需的操作(后述)。

<图像处理的过程>

对图像处理装置10进行的图像处理进行说明。图5是表示图像处理的过程的流程图。

<图像的输入>

图像输入部210A输入对桥梁1(被摄体)进行分割拍摄而获取的多个图像(步骤S100；图像输入工序)。下面，对由数码相机100拍摄桥面板6的图像及输入所拍摄的图像的情况进行说明，但拍摄对象不限于桥面板6，也可以是其它部分(例如主梁2、横梁3、桥墩7等)。另外，也可以经由网络、记录介质等输入非数码相机100拍摄的图像。图6是表示桥面板6的拍摄过程的例子的图。图6中示出了如下情形：以包括由主梁2(沿x方向延伸的构件)及横梁3(沿y方向延伸的构件)限定的格间GO的区域A为单位进行拍摄，在沿y方向及x方向(沿箭头的方向)依次移动拍摄区域的同时重复拍摄。也可以按照其它过程进行拍摄，只要可以获取整个拍摄范围的图像即可。此外，在图6中，将桥梁1(桥面板6)的延伸方向设为x，将在桥面板6的平面内与x正交的方向设为y，将与桥面板6正交的方向(垂直向下的方向)设为z，由(x、y、z)构成右手坐标系。

图7是表示在一个格间GO的拍摄过程的例子的图。在图7的例子中，从格间GO的+x侧端部的区域A1开始直至到达-x方向端部的区域Ai一边移动一边拍摄，再次返回到+x侧端部，从区域Aj开始直至到达-x方向端部的区域An，共拍摄n张(n为2以上的整数)图像。也可以按照与此不同的模式(例如区域A1～Ai～An～Aj的顺序)拍摄。拍摄时，可以每拍摄一张图像便移动拍摄位置，始终拍摄正对面的图像，也可以在一个拍摄位置在改变拍摄方向的同时拍摄多个图像(在这种情况下，包括从倾斜方向拍摄的图像)。另外，在拍摄中，优选通过适当地设定拍摄位置及拍摄方向而在相邻的图像中产生足够的(例如，30％左右)重复。

图8是表示拍摄图像的例子(图像i1～i10)的图。在图8中图示出格间GO的框架F(由主梁2及横梁3限定的矩形)，省略在其它构件及桥面板6中产生的损伤的图示。

<损伤的检测>

损伤检测部210B从单个图像(在步骤S100中输入的构成多个图像的各个图像)中检测损伤(步骤S110；损伤检测工序)。作为损伤的分类，可举出剥离、漏水、裂纹、生锈等，但具体检测的损伤的种类也可以根据建造物(被摄体)的种类、特征、检查的目的等条件进行设定。另外，作为检测的项目，举出了位置、大小、方向、范围、形状等，但对于检测项目来说，也可以根据损伤的分类进行设定，另外，可以根据建造物的种类、特征、检查的目的等条件进行设定。另外，损伤的检测方法没有特别限制，可使用各种方法。例如可以使用记载于专利4006007号公报中的裂纹检测方法、记载于特表2010-538258号公报中的生锈及剥离的检测方法等。另外，例如，也可以赋予标有“损伤”这样的标签的图像作为教师数据，通过机器学习生成学习器，并使用生成的学习器检测损伤。此外，下面，作为损伤对检测并显示裂纹的情况进行说明。

在损伤的检测中，损伤检测部210B将检测结果(检测的结果)矢量化，可用具有起点及终点的线段或其集合(裂纹等线状的损伤的情况)、或者由这样的线段构成的多边形等图形(如剥离、腐蚀那样存在扩展的损伤的情况)表示。图9的(a)部分是表示检测结果的表的例子(修正、确认之前)，对于各图像示出裂纹的检测结果(起点及终点、长度、宽度)、是否设为确认对象图像的判断、检测方法(图像处理装置10是否已从图像中检测、或者是否被用户修正)、确认与否(未确认/已确认)。

<确认对象图像的判断>

图像判断部210C判断是否将上述的单个图像设为使用户确认检测结果的确认对象图像(步骤S120；图像判断工序)。图像判断部210C可基于单个图像的画质、检测的结果、拍摄条件及被摄体的结构中的至少一项进行判断，根据需要使用存储于存储部220的信息(参照图4)。对于具体的判断的例子，其详情后述。

<图像及检测结果的显示>

在步骤S120中判断设为确认对象图像的图像之后，显示控制部210D将图像与该图像中的损伤检测结果相关联对应地在监视器232(显示装置)上显示(步骤S130；显示控制工序)。如下所作说明，对确认对象图像或局部图像进行显示。

<对于确认对象图像或局部图像的显示>

所谓“局部图像”是指使确认对象图像的一部分区域与监视器232(显示装置)的显示区域对齐并切出的图像。例如，显示控制部210D能够在确认对象图像的像素数(分辨率)为显示区域的像素数(分辨率)以下的情况下显示确认对象图像，在确认对象图像的像素数超过显示区域的像素数的情况下将确认对象图像的一部分切出作为局部图像。在图10中示出局部图像的切出例(从图像i1切出六个局部图像i1A～i1F的例子)。通过像这样使确认对象图像的一部分区域与监视器232(显示装置)的显示区域对齐并切出，显示的图像的像素数(分辨率)不会降低，另外，不会由于图像的缩小而难以确认损伤(或者无法确认)。因此，用户能够准确地进行检测结果的确认及修正。

<图像及检测结果的显示模式>

步骤S130中的图像及检测结果的显示例如可以通过以下模式进行。

<显示模式(其一)>

在显示模式(其一)中，显示控制部210D仅对于判断为“确认对象图像”的图像显示图像及检测结果。例如，如图11那样相关联对应地显示图像i1、i3、i4、i6、i8、i9(将这些图像判断为“确认对象图像”)及对于这些图像的检测结果。不对图像i2、i5、i7、i10(非确认对象图像；拍摄被摄体而获得的多个图像中的不是确认对象图像的图像)显示图像及检测结果(跳过)。此外，图11及以下说明的图12是表示图像之间的显示的顺序的图，省略了损伤的检测结果的图示。另外，图11及图12中的括号中的数字表示图像的显示顺序。后述图像及检测结果的具体的显示例。

<显示模式(其二)>

在显示模式(其二)中，显示控制部210D不仅对于判断为确认对象图像的图像显示图像及检测结果，而且对于非确认对象图像也显示图像及检测结果。但是，对于非确认对象图像，将其识别为确认对象图像及其检测结果来显示。例如，如图12那样相关联对应地显示图像i1～i10(全图像)及对于这些图像的检测结果(在图12中省略图示)，但对图像i2、i5、i7、i10(非确认对象图像)进行灰显(识别显示的一例)。也可以通过文字、数字、图形、记号等的标注、着色等取代灰显进行识别显示。

根据上述的显示模式(其一)、(其二)，应确认检测结果的图像(确认对象图像)清晰，通过基于用户的指示输入修正对于确认对象图像的检测结果，可减少确认及修正的麻烦。此外，关于检测结果的修正，后述其详情。

<图像及检测结果的画面显示例>

在图14中示出在如图13那样产生裂纹(损伤)的情况下将图像与裂纹的检测结果相关联对应地进行画面显示的例子。在图14所示的例子中，显示控制部210D将着色的粗线(矩形)叠加在图像的裂纹部分来显示，并且对裂纹的宽度进行数值显示，由此，将图像与检测结果相关联对应(此外，在之后的图中省略宽度的数值显示)。图像与检测结果的相关联对应包括如图14那样的例子，可通过与检测结果相应的文字、数字、图形、记号、色彩等进行关联。另外，也可以根据损伤的程度(裂纹的长度、宽度等)改变着色的明亮度和/或饱和度。另外，显示控制部210D也可以根据用户经由操作部240发出的指示打开/关闭叠加显示、宽度的显示。另外，在图14中，显示为矩形的文本(例如，“识别显示的设定”)表示执行与各文本对应的处理的按钮。当指定各按钮时，如以下所作说明执行按钮所显示的处理。

<图像及检测结果的依次显示>

在图14中，当用户指定“前”或“后”的按钮时，显示控制部210D分别显示之前的、或之后的确认对象图像及检测结果。此时，当从确认对象图像切出局部图像时，显示之前的、或之后的局部图像及检测结果。图15的(a)部分是图像i1(确认对象图像)中的局部图像的显示顺序的例子，以局部图像i1A～i1F的顺序显示(省略检测结果的图示)。由于是在对一个确认对象图像的所有区域确认和/或修正检测的结果之后，显示控制部210D显示另一个确认对象图像及检测结果(图5的步骤S150、S160)，所以可减少产生确认遗漏的可能性。例如在图14的显示中被指定“向后”，“保存”，“保存并结束”的情况下，处理部210(检测结果修正部210F)可判断为“已确认和/或修正对于显示中的图像的检测结果(已输入表示用户已确认和/或修正了检测结果的指示)”。另外，检测结果修正部210F对已确认的图像标注“确认完成”的标记(参照图9的(b)部分)。

<对于整个图像的显示>

在图14中，当用户指定“显示整个图像”的按钮时，显示控制部210D显示整个确认对象图像和在该确认对象图像中局部图像所占的区域。例如，当在显示局部图像i1A的状态下指定“显示整个图像”的按钮时，如图15的(b)部分所示，显示作为整个确认对象图像的图像i1，并且在图像i1中对当前显示中的局部图像i1A进行灰显。灰显是识别显示的一例，也可以通过文字、数字、图形、记号的标注、着色等进行识别显示。也可以在与图14这样的显示不同的窗口进行显示。另外，也可以如图15的(c)部分所示，对检测结果已被确认和/或修正的区域进行灰显(识别显示的一例)。通过这样的显示，用户能够容易地掌握确认和/或修正的情况，从而能够有效地进行作业。此外，因为由确认对象图像或局部图像进行检测结果的确认，这些图像以未缩小的方式显示，所以在显示整个图像的情况下，也可以根据需要(例如，在整个图像的像素数大于监视器232的显示像素数的情况下)进行缩小。

<指定区域的显示>

当如上述的例子那样用户在显示确认对象图像的状态下指定确认对象图像中的区域时，如图14所示，显示控制部210D显示与指定的区域对应的局部图像及对于该局部图像的检测结果。例如，当如图16那样用户在图像i1中指定局部图像i1F时，如图14所示，显示控制部210D显示局部图像i1F及对于局部图像ilF的检测结果。由此，用户能够对期望的区域确认检测结果。

<检测结果的修正>

检测结果修正部210F基于用户经由操作部240输入的指示修正检测结果(步骤S140：检测结果修正工序)。作为检测结果的“修正”，例如可进行追加(添加漏检的损伤的信息)、订正(将不适当的检测结果改正为适当的结果)、删除(删除误检的损伤的信息)。此外，在修正时，如图14那样，在画面上显示确认对象图像。

<对漏检的追加>

图17是表示对漏检的修正(追加)的例子。图17的(a)部分表示裂纹C1被检测(粗线叠加)但裂纹C2漏检(粗线未叠加)的状态。在这种情况下，用户在如图14那样的画面显示中指定“追加”，接下来如图17的(b)部分所示用鼠标244点击裂纹的起点及终点(点P1～P5)进行指定。检测结果修正部210F根据该操作追加裂纹。图9的(b)部分是表示追加了具有R001-3-2这一ID的裂纹的状态(确认、修正后的状态)的例子。在这种情况下，可从起点及终点计算裂纹的长度。用户可通过目视测定宽度并用键盘242输入。在用户通过目视测定裂纹的宽度时，显示控制部210D和/或检测结果修正部210F也可以显示作为测定的指标的记号的图像(例如，包括与裂纹的实际尺寸宽度对应的粗细的多条线段的图像)。另外，例如也可以是：结构信息获取部210E获取格间的尺寸、每一像素的尺寸等信息(可使用结构信息220D、拍摄条件220B)，损伤检测部210B对目视测定的结果进行实际尺寸换算并计算裂纹的长度、宽度等。

<对误检的删除>

图18是表示对误检的修正(删除)的例子的图。图18的(a)部分表示错误地检测出不存在的裂纹C2A的状态。在这种情况下，当用户在如图14那样的画面显示中指定“删除”，并选择裂纹C2A时，如图18的(b)部分所示，所选择的裂纹被删除。检测结果修正部210F根据该操作从检测结果的列表(参照图9)中删除裂纹。

<不适当的检测结果的订正>

除了追加、修正，还可订正不适当的检测结果。例如，订正裂纹的宽度时，用户在如图14那样的画面显示中用“选择”指定想要订正的检测结果，输入正确的宽度。检测结果修正部210F根据输入操作订正检测结果(参照图9)。在订正的情况下，也可以与追加的情况同样地对目视测定的结果进行实际尺寸换算。

在对一个确认对象图像的所有区域(所有局部图像)确认和/或修正检测结果之后，显示控制部210D显示另一个确认对象图像及该确认对象图像中的检测的结果。即，如果在步骤S150中为YES，则进入步骤S160，对另一个图像重复处理(显示、确认和/或修正)。

<确认对象图像的判断>

在图5的步骤S120中，图像判断部210C基于单个图像的画质、检测的结果、拍摄条件、被摄体的结构中的至少一项判断是否将单个图像设为确认对象图像。例如，可基于以下说明的项目中的至少一项进行判断。

<通过机器学习判定画质>

画质的判定也可以利用机器学习(深度学习等)的结果来进行。例如，每当将新的图像存储于存储部220(或每当拍摄新的图像)，图像判断部210C通过进行图像分析处理分析画质，构成画质评价器，图像分析处理基于深度学习算法并使用深度学习(DeepLearning)来进行。深度学习算法是经由公知的卷积神经网络(convolutional neuralnetwork)的方法，即卷积层及池化层的重复、全连接层、输出层来判定画质的算法。也可以通过用户经由操作部240的操作设定“是否进行这样的机器学习”、和/或“是否利用学习结果”。图像判断部210C可基于这样的画质评价器的评价结果来判定画质，将判定为“画质差”(例如“评价值低于阈值”)的图像判断为确认对象图像。

<基于空间频谱的判断>

可用图像中的区域的空间频谱中的高频区域的光谱最大值、平均值或光谱的之和等将画质定量化。具体来说，因为从空间频谱图像(通过对拍摄图像进行快速傅立叶变换(FFT：fast Fourier transform)而获得)的四个角特定的像素数半径内(r像素半径)的成分的最大值、平均值或和越大，高频成分越强(越多)，所以模糊、抖动少，画质更好。图像判断部210C可将高频成分弱(少)且画质差的图像判断为确认对象图像，而不将这样的画质好的图像设为确认对象图像。

<基于直方图的判断>

在基于直方图(表示画质的指标的一例)的判断中，图像判断部210C将单个图像(由R、G、B成分构成的彩色图像)转换成灰度图像。例如，灰度(密度)＝R×0.30+G×0.59+B×0.11(R、G、B分别是红色信号、绿色信号、蓝色信号的值)。图像判断部210C计算转换的灰度图像的直方图(密度直方图；参照图19的例子)。也可以对一部分区域而非所有单个图像进行直方图的计算及以下的判断。图像判断部210C将G(i){i＝0，1，…，255}设为各密度值(越接近0越暗，越接近255越亮)的直方图，通过下式(1)、(2)判定单个图像是否过亮或者是否过暗。判定的阈值(kb、hb、kd、hd)可以是预设值(例如，kb＝205，hb＝0.5，kd＝50，hd＝0.5)，也可以是图像判断部210C根据用户经由操作部240的输入来设定。

[数学式1]

[数学式2]

如果在上述的式(1)中密度值为kb以上的比例为整体的hb以上，图像判断部210C则判定为“过亮”。在这种情况下，图像判断部210C判断为“(由于过亮)画质低”，将单个图像设为确认对象图像。同样地，如果在式(2)中密度值为kd以下的比例为整体的hd以上，图像判断部210C则判断为“(由于过暗)画质低”，将单个图像设为确认对象图像。

基于直方图，还可判定灰阶是否崩溃。例如，图像判断部210C将G(i){i＝0，1，…，255}设为各密度值的直方图，在G(0)＞Td的情况下，判定为“阴影侧的灰阶崩溃”。另外，在G(255)＞Tb的情况下，判断为“明亮侧的灰阶崩溃”。在这些情况下，图像判断部210C判断为“画质低”，将单个图像设为确认对象图像。判定的阈值(Td、Tb)可以是预设值(例如，Td＝0，Tb＝0)，也可以是图像判断部210C根据用户经由操作部240的输入来设定。

<基于检测结果的置信度的判断>

损伤检测部210B也可以计算检测结果的置信度(例如，检测的损伤是实际损伤的置信度)，根据置信度进行判断和/或识别显示。例如，因为对置信度高的检测结果的数量多和/或密度高的图像进行确认的必要性低，所以认为显示控制部210D在显示时进行识别显示(文字、数字、图形、记号的标注、着色等)，以表示不需要确认。另一方面，因为对置信度低的检测结果的数量多和/或密度高的图像进行确认的必要性高，所以优选如图14那样显示为确认对象图像。此外，可通过对置信度、检测结果的数量和/或密度设定一个或多个阈值，并将检测结果与阈值进行比较，进行识别显示等的判断。另外，在进行使用了置信度的处理时，也可以在检测结果的列表(参照图9)中设置置信度栏。在这样的处理中，损伤检测部210B例如可通过按每一种损伤设定特征量(例如，裂纹的长度、宽度、间隔、密度等)的阈值，并为所有特征量添加根据检测结果与阈值的关系(检测结果是否在阈值的范围内、如果超出范围，超出多少)计算出的权重系数来计算置信度。然而，置信度的计算不限于这样的方式。

另外，例如，也可以如图20的(a)部分所示，显示控制部210D根据置信度将裂纹着色进行显示(识别显示的一例)。例如，考虑将置信度高(第一阈值以上)的检测结果设为红色，将中程度(第二阈值以上且低于第一阈值)的检测结果设为黄色，将置信度低(低于第二阈值)的检测结果设为无色的方式。此外，在图20的(a)部分中，为了方便，标注了灰色的浓淡(灰色越浓的检测结果，置信度越高)而不是颜色的差异。置信度可分为两个等级(高/低)、三个等级(高/中/低)或更多，并可设定与等级数相应的着色、浓淡的种类(在图20的(a)部分中分成三个等级)。另外，也可以如图20的(b)部分所示，对只存在置信度高的检测结果(裂纹C4、C5、C6、C7：三个等级的分类中置信度为“高”或“中”)的区域进行灰显，表示不需要确认。灰显是识别显示的一例，也可以通过文字、数字、图形、记号的标注、着色等进行识别显示。

<基于检测结果的特征的判断>

间断的裂纹、短裂纹、细裂纹等有时会被漏检或误检。因此，显示控制部210D也可以识别并显示这些间断的裂纹等。另外，也可以是，图像判断部210C判断为将存在这些裂纹的图像设为确认对象图像，用户能够有效地确认检测结果。例如，在裂纹的端点(起点或终点)的周围的恒定像素(例如50像素)或恒定距离(例如20mm)以内存在另一裂纹的端点的情况下，图像判断部210C可判断为“因为产生了间断的裂纹，所以将该图像设为确认对象图像”。另外，可获取格间的尺寸、每一像素的尺寸等信息(可使用结构信息220D、拍摄条件220B)，进行实际尺寸换算并判定短裂纹、细裂纹。

图21是表示基于这样的检测结果的特征进行的识别显示的例子的图。在图21的(a)部分中，显示控制部210D对有连续性的裂纹及厚裂纹(裂纹C110)着色较深，对细裂纹、短裂纹及间断的裂纹(裂纹C11、C12、C13)着色较浅。另外，图21的(b)部分是对仅存在有连续性的裂纹及厚裂纹的区域即确认必要性低的区域进行灰显的例子。灰显是识别显示的一例，也可以通过文字、数字、图形、记号的标注、着色等进行识别显示。通过这样的识别显示，用户可有效地确认损伤的检测结果。

<基于拍摄条件的判断>

在拍摄被摄体而获得的图像中，与被摄体在角度变化方向远离对焦位置的区域成为景深范围以外而模糊。在一个拍摄位置中改变拍摄方向(摇摄、俯仰等)拍摄大的范围的情况下明显发生这样的问题。例如，如图22的(a)部分所示将数码相机100的拍摄位置固定，且上下(垂直方向)改变拍摄方向来拍摄桥墩7时，在获取的图像中，上下方向端部中的任一侧或两侧模糊(对焦在图像的中央的情况下，两侧模糊，在对焦位置是图像的上侧/下侧的情况下，下侧/上侧模糊。)。如果拍摄角度(与正面方向所成的角)较大，则这样的模糊区域变宽。例如，在沿A方向(正面方向)拍摄的图像iA中，模糊的区域窄，但在沿B方向拍摄的图像iB中，上下方向端部中的任一侧或两侧模糊。在沿C方向拍摄的图像iC中，模糊的区域比图像iB的宽。在例如如图22的(b)部分所示从一个拍摄位置使拍摄方向变为水平方向(前后和/或左右)来拍摄桥面板6的情况下，同样发生这种情况。

图像判断部210C能够将包括这种模糊区域(景深范围以外的区域)的图像判断为确认对象图像，另外，显示控制部210D能够识别并显示对焦区域和/或模糊区域。可通过对对焦区域和模糊区域标注不同的文字、数字、图形、记号、色彩等，或者通过改变这些字符的程度来进行识别显示。可以在任一方的区域实施显示(例如，对对焦区域进行灰显)，也可以在双方的区域实施显示。由此，用户能够容易地识别容易产生误检、漏检等的区域，从而能优选够有效地确认和/或修正损伤的检测结果。此外，优选拍摄角度与模糊区域的关系预先制作成数据库并存储于存储部220。

<基于散焦量的判断>

如图23所示，当存在拍摄角度时，被摄体面的方向与对焦面的方向不同，发生散焦。由于当该散焦超过景深时产生模糊，所以显示控制部210D可在图像中识别并显示散焦量为景深范围内的区域和/或范围外的区域。另外，图像判断部210C能够将包括散焦量超过景深范围的区域的图像判断为确认对象图像。显示控制部210D能够通过对景深范围内的区域与超出范围的区域标注不同的文字、数字、图形、记号、色彩等，或者通过改变这些字符的程度来进行识别显示。可以在任一方的区域实施显示(例如，对景深内的区域进行灰显)，也可以在双方的区域实施显示。由此，用户能够容易地识别容易产生误检、漏检等的区域(散焦量超过景深范围的区域)，从而能够有效地确认和/或修正损伤的检测结果。此外，由于散焦而导致的模糊的区域在对焦位置是图像的中心时，为上下方向的两端部，在对焦位置是图像的上侧时为下侧，在对焦位置是图像的下侧时为上侧。

景深计算部211可通过下式(3)～(5)计算景深。

[数学式3]

前方景深(mm)＝{允许弥散圆直径(mm)×光圈值×被摄体距离(mm)^2}/{焦距(mm)^2+允许弥散圆直径(mm)×光圈值×被摄体距离(mm)}···(3)

[数学式4]

后方景深(mm)＝{允许弥散圆直径(mm)×光圈值×被摄体距离(mm)^2}/{焦距(mm)^2-允许弥散圆直径(mm)×光圈值×被摄体距离(mm)}···(4)

[数学式5]

景深(mm)＝前方景深(mm)+后方景深(mm)···(5)

此外，在式(3)～(5)中，允许弥散圆直径＝成像元件的像素尺寸。另外，可通过下式(6)、(7)计算纵向及横向的拍摄范围。

[数学式6]

拍摄范围(纵向)＝被摄体距离×传感器尺寸(纵向)/焦距···(6)

[数学式7]

拍摄范围(横向)＝被摄体距离×传感器尺寸(横向)/焦距···(7)

<基于像面弯曲导致的模糊的判断>

在由于成像光学系统的特性而存在像面弯曲的情况下，当在图像的中心部对焦时周边部模糊，当在周边部对焦时中心部模糊。例如，在如图24的(a)部分所示在图像的中心部对焦(对焦度高)的情况下，如图24的(b)部分所示，图像的周边部模糊(对焦度低)。另外，在如图25的(a)部分所示在图像的周边部对焦的情况下，如图25的(b)部分所示，图像的中心部模糊。显示控制部210D能够识别并显示对焦区域和/或模糊区域(确认对象区域)，图像判断部210C能够将包括模糊区域(确认对象区域)的图像判断为确认对象图像。可通过对对焦区域与模糊区域标注不同的文字、数字、图形、记号、色彩等，或者通过改变这些字符的程度来进行识别显示。可以在任一方的区域实施显示(例如，对对焦区域进行灰显)，也可以在双方的区域实施显示。由此，用户能够容易地识别容易产生误检、漏检等的区域(模糊区域)，从而能够有效地确认和/或修正损伤的检测结果。此外，根据成像光学系统的特性，对焦区域有时成为如图24的(c)部分所示的形状。因此，优选将对焦位置与对焦范围的关系预先制作数据库并存储于存储部220。

<根据频闪光的发光的判断>

使用频闪光进行拍摄时，根据频闪光的亮度、拍摄范围等条件，图像的一部分变暗(亮度低)，容易产生漏检和/或误检，因此，优选将变暗的区域设为确认对象。例如，在如图26的(a)部分所示将频闪装置101安装在数码相机100的上方进行拍摄的情况下，如图26的(a)部分及(b)部分所示，拍摄图像中的亮度根据频闪装置(频闪光的光源)和拍摄光学系统的配置而变化(图像的下侧容易变暗)。另外，当拍摄距离近时暗的区域增加，当拍摄距离远时暗的区域变窄。因此，优选基于拍摄距离设定低亮度区域并将该低亮度区域存储于存储部220。显示控制部210D能够识别并显示这种亮的区域(高亮度区域)和/或暗的区域(低亮度区域)，图像判断部210C能够将包括暗的区域的图像判断为确认对象图像。可通过对亮的区域和暗的区域标注不同的文字、数字、图形、记号、色彩等，或者通过改变这些字符的程度来进行识别显示。可以在任一方的区域实施显示(例如，对亮的区域进行灰显)，也可以在双方的区域实施显示。由此，用户能够容易地识别容易产生误检、漏检等的区域(暗的区域)，从而能够有效地确认及修正损伤的检测结果。

<基于被摄体的结构的判断>

根据被摄体的结构，存在容易产生损伤的部位。例如，在对每个格间考虑桥面板6的情况下，如图27的(a)部分～(e)部分所示，在中央部容易产生裂纹(图27是以时间序列表示桥面板6的一个格间中的裂纹的产生情况的例子的图)。另外，在桥墩7的情况下，如图28所示，在水平方向的中心轴L的附近、中心轴L和端部的中间附近以及形状变化部分等容易产生裂纹。显示控制部210D能够识别并显示不易产生裂纹的区域(例如，图27的(c)部分的区域i20)，图像判断部210C能够将包括容易产生裂纹的区域(区域i21)的图像判断为确认对象图像。显示控制部210D可以通过对容易产生裂纹的区域和不易产生裂纹的区域标注不同的文字、数字、图形、记号、色彩等或者通过改变这些字符的程度来进行识别显示。可以在任一方的区域实施显示(例如，对不易产生裂纹的区域进行灰显)，也可以在双方的区域实施显示。

此外，因为是否容易产生裂纹(损伤)取决于被摄体的结构，所以优选的是，获取表示被摄体的结构的结构信息(结构信息220D)并将其存储于存储部220，在处理时参照。由此，用户能够容易地识别容易产生误检、漏检等的区域，从而能够有效地确认和/或修正损伤的检测结果。

<第二实施方式>

<图像处理装置的结构>

对本发明的图像处理装置及图像处理方法的第二实施方式进行说明。第二实施方式在计算多个单个图像的合成参数并用于处理的这一点上与第一实施方式不同。图29是表示第二实施方式的图像处理装置的处理部(处理部213)的结构的图。处理部213除了图3所示的处理部210的结构之外，还具备参数计算部210H(参数计算部)、重叠计算部210I(重叠计算部)及图像合成部210J(图像合成部)。与图3所示的结构同样，参数计算部210H、重叠计算部210I及图像合成部210J的功能也能够使用各种处理器来实现。此外，因为图像处理装置的其它结构与第一实施方式相同，所以相同的结构以相同的附图标记来参照，并且省略详细说明。

<存储于存储部的信息>

图30是表示在第二实施方式中存储于存储部220的信息的图。在第二实施方式中，除了在第一实施方式中存储的信息之外，还存储有全景合成参数220F、全景合成图像220G及对应信息220H。

<图像处理的过程>

参照图31的流程图对第二实施方式的图像处理(图像处理方法)的过程进行说明。此外，对进行与第一实施方式相同的处理的步骤标注相同的参考符号，并且省略详细的说明。

<合成参数的计算及全景合成图像的生成>

参数计算部210H通过根据图像彼此的对应点求出射影变换矩阵来计算合成参数(表示合成时的图像的移动、旋转、变形的参数)(步骤S122：参数计算工序)。重叠计算部210I基于合成参数求得图像(多个单个图像)彼此的重叠区域(步骤S124：重叠区域计算工序)，图像合成部210J基于合成参数从拍摄图像(多个图像)中生成全景合成图像(步骤S126：图像合成工序)。另外，图像合成部210J计算表示全景合成图像与拍摄图像(多个图像)的对应关系的信息(表示各拍摄图像与全景合成图像的哪个部分对应的信息；对应信息)。将在步骤S122中计算的合成参数作为全景合成参数220F，将在步骤S126中生成的全景合成图像(例如，图30所示的全景合成图像i30)作为全景合成图像220G，将对应信息作为对应信息220H存储于存储部220(参照图30)。

图32是表示从图8所示的图像i1～i10中生成全景合成图像i30(全景合成图像)的情形的图(图示格间的框架F；损伤未图示)。此外，因为检测结果的确认由确认对象图像或局部图像进行，而这些图像以未缩小的方式显示，所以在显示全景合成图像时也可以根据需要进行缩小(在第一实施方式中，关于显示整个拍摄图像的情况，与上述的情况相同)。

<损伤的检测、检测结果的确认/修正等>

在第二实施方式中，也能够与上述的第一实施方式同样地进行损伤的检测、检测结果的确认和/或修正。另外，在如全景合成图像i30这样的全景合成图像中，也能够与第一实施方式同样地进行图像和/或检测结果的识别显示。图33是表示显示控制部210D在全景合成图像i30中识别并显示检测的结果已确认和/或修正的区域(局部图像i1A～i1C)及当前确认中的区域(局部图像i1D)的情形的图，是与第一实施方式中的图15的(c)部分对应的图。另外，当用户在全景合成图像i30中指定期望的范围(例如局部图像i2D的范围)时，显示控制部210D基于对应信息(对应信息220H)，如图14那样在监视器232上显示与指定的范围对应的图像及该图像中的检测的结果。通过这样的显示，在第二实施方式中也能够容易地掌握已确认和/或修正了检测结果的区域，从而用户能够有效地进行检测结果的确认及修正。

<对于重叠区域的识别显示>

分割拍摄被摄体以获取多个图像时，根据拍摄范围的重复，产生多个图像重叠的重叠区域。在这样的情况下对于各个图像确认和/或修正检测结果时，用户对重叠区域要多次确认检测结果，作业效率不高。另外，在重叠区域中，画质根据各图像的拍摄条件而不同，因此，损伤的检测精度不同，所以可能在画质低(检测精度低)的图像中确认和/或修正检测结果。在检查范围广且获取的图像数量多的情况下，这样的问题比较明显。因此，在第二实施方式中，如以下所作说明识别并显示重叠区域(步骤S130)。

具体来说，当在任一图像中已经确认处理对象的重叠区域时，或者是画质最高的重叠区域以外的重叠区域时，显示控制部210D识别并显示该重叠区域。图34是表示这样的识别显示的例子的图，图34的(a)部分表示在图像i1与图像i2中存在重叠区域OA的状态。在该状态下，在图像i1中确认重叠区域OA的检测结果时，或者图像i1中的重叠区域OA的画质比图像i2中的重叠区域OA的画质高的情况下(即，图像i2中的重叠区域OA是画质最高的重叠区域以外的重叠区域时)，显示控制部210D在显示图像i2时对重叠区域OA进行灰显(识别显示的一例)(参照图34的(b)部分)。也可以通过文字、图形、记号的标注、着色等取代灰显进行识别显示。通过这样的识别显示，用户能够容易地掌握识别并显示的重叠区域不需要确认(或确认的必要性低)的情况，从而能够有效地进行检测结果的确认及修正。此外，因为通过重叠区域的识别显示可掌握确认的必要性，所以显示控制部210D也可以不对检测结果进行识别显示。另外，也可以跳过显示，而不是“识别显示”重叠区域。

此外，例如可通过检测结果修正部210F对“确认完成”的检测结果标注标记，且显示控制部210D参照该标记来对“是否已经在任一图像中确认了重叠区域”进行判断(参照图9)。另外，例如可通过图像判断部210C对于第一实施方式利用上述方法计算画质及将其数值化并与检测结果相关联对应(例如，在图9的表中设置“画质”栏)，且显示控制部210D在图像彼此之间比较画质来对“重叠区域是否是画质最高的重叠区域以外的重叠区域”进行判断。此外，如果能够计算合成参数，则能够进行重叠区域的识别显示，因此，在必要时(例如，用户想在全景图像中确认显示中的图像所占的范围时)生成并存储全景合成图像即可。

以上对本发明的实施方式进行了说明，但本发明不限于上述的实施方式，在不脱离本发明的精神的范围内可进行各种变形。

符号说明

1 桥梁

2 主梁

3 横梁

4 横向联结系

5 纵向联结系

6 桥面板

7 桥墩

10 图像处理装置

100 数码相机

101 频闪装置

110 拍摄部

130 无线通信部

132 天线

200 图像处理装置主体

210 处理部

210A 图像输入部

210B 损伤检测部

210C 图像判断部

210D 显示控制部

210E 结构信息获取部

210F 检测结果修正部

210G 通信控制部

210H 参数计算部

210I 重叠计算部

210J 图像合成部

211 景深计算部

212 天线

213 处理部

214 ROM

220 存储部

220A 拍摄图像

220B 拍摄条件

220C 检测结果

220D 结构信息

220E 光学系统信息

220F 全景合成参数

220G 全景合成图像

220H 对应信息

230 显示部

232 监视器

240 操作部

242 键盘

244 鼠标

A 区域

A1 区域

Ai 区域

Aj 区域

An 区域

F 框架

GO 格间

i1 图像

i2 图像

i3 图像

i4 图像

i5 图像

i6 图像

i7 图像

i8 图像

i9 图像

i10 图像

i1A 局部图像

i1B 局部图像

i1C 局部图像

i1D 局部图像

i1E 局部图像

i1F 局部图像

i20 区域

i21 区域

i2D 局部图像

i30 全景合成图像

iA 图像

iB 图像

iC 图像

L 中心轴

OA 重叠区域

S100～S160 图像处理方法的各步骤。

Claims

1.一种图像处理装置，具备：

图像输入部，所述图像输入部输入对被摄体进行分割拍摄而得的多个图像；

损伤检测部，所述损伤检测部从构成所述多个图像的各个图像即单个图像中检测所述被摄体的损伤；

图像判断部，所述图像判断部判断是否将所述单个图像设为使用户确认针对所述单个图像的所述检测的结果的确认对象图像；

显示控制部，所述显示控制部将使所述确认对象图像或所述确认对象图像的一部分区域与显示装置的显示区域对齐并切出的局部图像与所述确认对象图像或所述局部图像中的所述检测的结果相关联对应地在所述显示装置显示；以及

检测结果修正部，所述检测结果修正部基于用户的指示输入来修正所述检测的结果。

2.根据权利要求1所述的图像处理装置，其中，

所述显示控制部将所述多个图像中的非确认对象图像及所述非确认对象图像中的所述检测的结果识别为所述确认对象图像及所述确认对象图像中的所述检测的结果并在所述显示装置显示。

3.根据权利要求1或2所述的图像处理装置，其中，

所述显示控制部根据表示用户确认和/或修正了一个确认对象图像中的所述检测的结果的指示输入，显示其他确认对象图像及所述其他确认对象图像中的所述检测的结果。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，

在对一个确认对象图像的所有区域确认和/或修正所述检测的结果之后，所述显示控制部显示其他确认对象图像及所述其他确认对象图像中的所述检测的结果。

5.根据权利要求1至4中任一项所述的图像处理装置，其中，

所述图像判断部基于所述单个图像的画质、所述检测的结果、拍摄条件及所述被摄体的结构中的至少一项进行所述判断。

6.根据权利要求5所述的图像处理装置，其中，

所述图像判断部基于由机器学习构成的画质评价器的评价结果、所述单个图像的空间频谱及所述单个图像的密度直方图中至少一项求出所述画质。

7.根据权利要求1至6中任一项所述的图像处理装置，其中，

所述图像判断部基于所述单个图像中的、实际损伤的置信度为阈值以上的所述检测的结果的数量和/或密度进行所述判断。

8.根据权利要求7所述的图像处理装置，其中，

所述显示控制部根据所述置信度识别并显示所述检测的结果。

9.根据权利要求7或8所述的图像处理装置，其中，

所述显示控制部在所述确认对象图像或所述局部图像中识别并显示存在所述置信度为所述阈值以上的所述检测的结果的区域。

10.根据权利要求1至9中任一项所述的图像处理装置，其中，

所述图像判断部具备计算所述单个图像的景深的景深计算部，

在所述单个图像包括所述景深范围以外的区域的情况下，所述图像判断部判断为将所述单个图像设为所述确认对象图像。

11.根据权利要求10所述的图像处理装置，其中，

所述景深计算部基于所述确认对象图像中的所述被摄体的拍摄角度及所述确认对象图像中的对焦位置来计算所述景深。

12.根据权利要求10或11所述的图像处理装置，其中，

所述景深计算部基于所述被摄体的拍摄角度、所述被摄体的拍摄距离、拍摄所述确认对象图像时的光圈值及允许弥散圆直径来计算所述景深。

13.根据权利要求10至12中任一项所述的图像处理装置，其中，

所述显示控制部在所述确认对象图像或所述局部图像中识别并显示所述景深范围以外的区域。

14.根据权利要求10至13中任一项所述的图像处理装置，其中，

所述显示控制部在所述确认对象图像中识别并显示根据拍摄光学系统的像面弯曲及对焦位置所设定的确认对象区域。

15.根据权利要求1至14中任一项所述的图像处理装置，其中，

发出频闪光拍摄所述单个图像时，在所述单个图像包括低亮度区域的情况下，所述图像判断部判断为将所述单个图像设为所述确认对象图像，所述低亮度区域是基于由于所述频闪光的光源及拍摄光学系统的配置引起的亮度变化而设定的。

16.根据权利要求15所述的图像处理装置，其中，

所述低亮度区域是基于拍摄距离所设定的区域。

17.根据权利要求15或16所述的图像处理装置，其中，

所述显示控制部在所述确认对象图像或所述局部图像中识别并显示所述低亮度区域。

18.根据权利要求1至17中任一项所述的图像处理装置，其中，

具备结构信息获取部，所述结构信息获取部获取表示所述被摄体的结构的结构信息，

在参照所述结构信息判定为所述单个图像的拍摄范围包括容易发生损伤的区域的情况下，所述图像判断部判断为将所述单个图像设为所述确认对象图像。

19.根据权利要求1至18中任一项所述的图像处理装置，其中，

具备：

参数计算部，所述参数计算部计算用于对所述多个图像进行全景合成的参数；以及

重叠计算部，所述重叠计算部基于所述参数求出多个所述单个图像的重叠区域，

当已经在任一图像中确认所述重叠区域时，或者当所述重叠区域是画质最高的区域以外的区域时，所述显示控制部识别并显示所述重叠区域。

20.根据权利要求19所述的图像处理装置，其中，

具备图像合成部，所述图像合成部按照所述参数从所述多个图像中生成全景合成图像，

所述显示控制部在所述全景合成图像中识别并显示所述确认对象图像示出的范围。

21.根据权利要求20所述的图像处理装置，其中，

所述显示控制部在所述全景合成图像中识别并显示已被确认和/或修正的范围。

22.根据权利要求20或21所述的图像处理装置，其中

所述图像合成部计算表示所述全景合成图像与所述多个图像的对应关系的信息，

所述显示控制部基于所述信息，在所述显示装置显示所述多个图像中与在所述全景合成图像中指定的范围对应的图像。

23.根据权利要求1至22中任一项所述的图像处理装置，其中，

具备拍摄部，所述拍摄部通过拍摄光学系统和成像元件拍摄所述被摄体的图像，所述成像元件通过所述拍摄光学系统成像所述被摄体的光学图像，

所述图像输入部输入由所述拍摄部拍摄的多个图像作为所述多个图像。

24.一种图像处理方法，其包括：

图像输入工序，输入对被摄体进行分割拍摄而得的多个图像；

损伤检测工序，从构成所述多个图像的各个图像即单个图像检测所述被摄体的损伤；

图像判断工序，判断是否将所述单个图像设为使用户确认针对所述单个图像的所述检测的结果的确认对象图像；

显示控制工序，将使所述确认对象图像或所述确认对象图像的一部分区域与显示装置的显示区域对齐并切出的局部图像与所述确认对象图像或所述局部图像中的所述检测的结果相关联对应地在所述显示装置显示；以及

检测结果修正工序，基于用户的指示输入来修正所述检测的结果。