CN111758025A - 检查装置及检查方法 - Google Patents

检查装置及检查方法 Download PDF

Info

Publication number
CN111758025A
CN111758025A CN201980014651.7A CN201980014651A CN111758025A CN 111758025 A CN111758025 A CN 111758025A CN 201980014651 A CN201980014651 A CN 201980014651A CN 111758025 A CN111758025 A CN 111758025A
Authority
CN
China
Prior art keywords
crack
inspection
images
unit
safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980014651.7A
Other languages
English (en)
Inventor
今川太郎
日下博也
野田晃浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN111758025A publication Critical patent/CN111758025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/08—Testing mechanical properties
    • G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

检查具有龟裂的构造物的检查装置(120)具备：取得部(121)，取得当作用于构造物的载荷变化时在相互不同的时刻被摄影的构造物的多个图像；龟裂检测部(122)，在多个图像的各自中检测构造物的表面上的龟裂；运动估算部(123)，在多个图像中以检测到的龟裂的规定位置为基准进行构造物的表面的局部性的运动估算，从而导出多个运动向量；以及检查部(124)，基于相对于龟裂对称的位置间的运动向量的差异，判定构造物的安全性。

Description

检查装置及检查方法
技术领域
本发明涉及被从外部施加的载荷变化的构造物的检查。
背景技术
由于移动体的经过等而载荷变化的构造物(例如桥等)当随着时间经过而劣化时倒塌或崩溃的可能性增加。即，随着老化而构造物的安全性下降。为了防止构造物的因劣化造成的倒塌或崩溃，需要将构造物定期地检查，根据需要而进行修补及加强。
作为这样的构造物的定期性的检查之一，有外观检查。在外观检查中，评价构造物的外部的状态，判断修补及加强的必要性或精密检查的必要性等。
通常，构造物的外观检查通过检查员的目视来进行的情况较多。但是，在目视检查中，因为依存于检查员的主观，所以难以得到客观性的检查结果，需要长时间的检查。
在专利文献1中，公开了为了使外观检查自动化、得到客观性的检查结果而根据通过照相机得到的构造物的原影像来测量龟裂宽度的技术。
现有技术文献
专利文献
专利文献1：日本特开2008－139285号公报
发明内容
发明要解决的课题
但是，龟裂的宽度是微小的，其时间变化也是微小的。因而，难以根据龟裂的宽度来检查构造物。
所以，本发明提供一种能够实现构造物的检查时间的减少及检查精度的提高的检查装置及检查方法。
用来解决课题的手段
有关本发明的一技术方案的检查装置，是检查具有龟裂的构造物的检查装置，具备：取得部，取得当作用于上述构造物的载荷变化时在相互不同的时刻被摄影的上述构造物的多个图像；龟裂检测部，在上述多个图像的各自中检测上述构造物的表面上的龟裂；运动估算部，通过在上述多个图像中以检测到的上述龟裂的规定位置为基准进行上述构造物的表面的局部性的运动估算，导出多个运动向量；以及检查部，基于相对于上述龟裂对称的位置间的运动向量的差异，判定上述构造物的安全性。
另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
有关本发明的一技术方案的检查装置能够实现构造物的检查时间的减少及检查精度的提高。
附图说明
图1是表示有关实施方式1的检查系统的结构例的外观图。
图2是表示有关实施方式1的检查装置的功能结构的框图。
图3是表示有关实施方式1的检查装置的处理的整体情况的流程图。
图4是表示实施方式1的多个图像的一例的图。
图5是用来在实施方式1中说明图像内的龟裂的图。
图6是用来在实施方式1中说明龟裂周边的运动向量的图。
图7是表示有关实施方式1的检查装置的安全性的判定处理的流程图。
图8是用来在实施方式1中说明安全性的判定处理的放大图。
图9是表示有关实施方式2的检查装置的功能结构的框图。
图10是表示有关实施方式2的检查装置的处理的整体情况的流程图。
图11是表示有关实施方式3的检查装置的功能结构的框图。
图12是表示有关实施方式3的检查装置的处理的整体情况的流程图。
图13是表示实施方式3的参照图像及多个图像的一例的图。
图14是表示有关实施方式3的检查装置的安全性的判定处理的详细情况的流程图。
具体实施方式
(本发明的概要)
有关本发明的一技术方案的检查装置，是检查具有龟裂的构造物的检查装置，具备：取得部，取得当作用于上述构造物的载荷变化时在相互不同的时刻被摄影的上述构造物的多个图像；龟裂检测部，在上述多个图像的各自中检测上述构造物的表面上的龟裂；运动估算部，在上述多个图像中以检测到的上述龟裂的规定位置为基准进行上述构造物的表面的局部性的运动估算，从而导出多个运动向量；以及检查部，基于相对于上述龟裂对称的位置间的运动向量的差异，判定上述构造物的安全性。
由此，能够基于相对于龟裂对称的位置间的运动向量的差异来判定构造物的安全性。龟裂的伸展依存于龟裂周边的应力，特别是依存于作用于龟裂的应力。因而，通过基于相对于龟裂对称的位置间的运动向量的差异判定构造物的安全性，能够更正确地判定因龟裂的伸展带来的构造物的安全性的下降，能够使检查的精度提高。进而，由于能够根据图像判定构造物的安全性，所以还能够省略目视检查，还能够实现检查时间的减少。
此外，在有关本发明的一技术方案的检查装置中，也可以是，上述检查部计算上述龟裂的方向，将相对于沿计算出的上述龟裂的方向延伸的上述龟裂上的线呈线对称的位置，决定为相对于上述龟裂对称的位置。
由此，能够将相对于沿计算出的龟裂的方向延伸的龟裂上的线呈线对称的位置决定为相对于龟裂对称的位置。因而，能够在与龟裂垂直的方向上将夹着龟裂的位置间的运动向量的差异用于安全性的判定，能够更正确地判定由龟裂的伸展带来的构造物的安全性的下降。
此外，在有关本发明的一技术方案的检查装置中，也可以是，上述检查部基于上述运动向量的差异估算上述龟裂的宽度的变化量，基于估算出的上述宽度的变化量，判定上述构造物的安全性。
由此，能够基于估算出的龟裂的宽度的变化量来判定构造物的安全性。作用于构造物的载荷变化时的龟裂的宽度的变化量对于龟裂的伸展的影响较大，但是是微小的，所以难以根据图像直接地导出。所以，通过使用基于相对于龟裂对称的位置间的运动向量的差异估算出的龟裂的宽度的变化量，也能够更正确地预测龟裂的伸展，能够使构造物的检查的精度提高。
此外，在有关本发明的一技术方案的检查装置中，也可以是，还具备通过进行被导出的上述多个运动向量的主成分分析、从上述多个运动向量中提取多个主成分的提取部；上述检查部使用提取出的上述多个主成分中的、除了固有值降序排列中的最低侧的1个以上的主成分以外的主成分，判定上述构造物的安全性。
由此，能够使用除了固有值降序排列的最低侧的1个以上的主成分以外的主成分判定构造物的安全性。因而，能够从运动向量将噪声成分除去，还能够使构造物的检查的精度提高。
此外，在有关本发明的一技术方案的检查装置中，也可以是，上述取得部还取得比上述多个图像在时间上靠前被摄影的参照图像；上述龟裂检测部还在上述参照图像中检测上述构造物的表面上的龟裂；上述检查部还基于上述参照图像与上述多个图像的某个之间的龟裂的变化量，判定上述构造物的安全性。
由此，能够除了运动向量的差异以外，还基于在比多个图像靠前摄影的参照图像与多个图像的某个的龟裂的变化量，判定构造物的安全性。因而，还能够更正确地预测龟裂的伸展，能够使构造物的检查的精度提高。
此外，在有关本发明的一技术方案的检查装置中，也可以还具备将上述多个图像摄影的摄影部。
由此，能够在检查装置中具备摄影部，能够简单地进行构造物的检查。
此外，在有关本发明的一技术方案的检查装置中，上述规定位置也可以是前端。
由此，能够以龟裂的前端为基准进行构造物的表面的局部性的运动估算。因而，能够以距龟裂较近的特征性的位置为基准，能够更精细地估算龟裂周边的运动。
另外，这些概况性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图对实施方式具体地进行说明。
另外，以下说明的实施方式均表示概括性或具体的例子。因而，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示本发明的最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。此外，各图并不一定严密地图示。在各图中，对于实质上相同的结构赋予相同的标号，将重复的说明省略或简略化。
(实施方式1)
[检查系统的结构]
首先，参照图1对有关实施方式1的检查系统的结构例具体地进行说明。图1是表示有关实施方式1的检查系统的结构例的外观图。检查系统100具备摄像装置110和检查装置120。
摄像装置110例如是具备图像传感器的数码摄像机或数码静态照相机。摄像装置110随着时间经过而摄影构造物99的图像。具体而言，摄像装置110当作用于构造物99的载荷变化时，摄影构造物的多个图像。例如如果构造物99是铁路桥，当列车在铁路桥上行驶时摄影多个图像。
多个图像是构造物99的相同部分的图像，是在相互不同的时刻被摄影的图像。具体而言，多个图像例如是影像中包含的多个帧。此外，作为构造物99的部分，例如利用预先在表面上发生了龟裂的部分。
检查装置120例如是计算机，具备处理器(未图示)和保存有软件程序或指令的存储器(未图示)。通过处理器执行软件程序，检查装置120实现后述的多个功能。此外，检查装置120也可以由专用的电子电路(未图示)构成。在此情况下，后述的多个功能既可以由不同的电子电路实现，也可以由集成的1个电子电路实现。
检查装置120与摄像装置110可通信地连接，基于由摄像装置110摄影的多个图像进行构造物99的检查。在本实施方式中，所述的构造物99的检查，是指评价构造物99的表面上的龟裂，判定构造物99的安全性或危险性。作为安全性或危险性的判定的具体例，例如有龟裂周边的详细点检的必要性的判定、今后的监视的时期及间隔的重新审视、以及修补的必要性的判定等。
[检查装置的功能结构]
接着，参照图2对有关实施方式1的检查装置120的功能结构进行说明。图2是表示有关实施方式1的检查装置120的功能结构的框图。如图2所示，检查装置120具备取得部121、龟裂检测部122、运动估算部123和检查部124。
取得部121取得当作用于构造物99的载荷变化时在相互不同的时刻被摄影的构造物99的多个图像。例如，取得部121从摄像装置110通过无线通信取得多个图像。此外，例如取得部121也可以经由可拆装的存储器(例如USB(通用串行总线Universal Serial Bus)存储器)从摄像装置110取得多个图像。
龟裂检测部122在多个图像的各自中检测构造物99的表面上的龟裂。龟裂的检测方法没有被特别限定，例如可以使用边缘检测。
运动估算部123通过在多个图像中以检测出的龟裂的前端为基准进行构造物99的表面的局部性的运动估算，导出运动向量。运动估算方法没有被特别限定，例如可以使用块匹配(block matching)。
在此情况下，例如，运动估算部123按每个图像，分割为预先设定的尺寸的块(例如8×8像素或16×16像素等)。并且，运动估算部123按每个块，在与包含该块的图像在时间上相邻的图像内探索与该块类似的块。以下，将该块称作当前块，将与当前块类似的块称作类似块。进而，将包含当前块的图像称作当前图像，将与当前图像在时间上相邻的图像称作相邻图像。
运动估算部123基于当前图像中的当前块相对于龟裂的前端的相对位置与相邻图像中的类似块相对于龟裂的前端的相对位置之间的位置关系，导出当前块的运动向量。另外，用来计算运动向量的参照图像并不需要限定于相邻图像，也可以使用不与当前图像相邻的图像作为参照图像。
检查部124基于相对于龟裂对称的位置间的运动向量的差异来判定构造物的安全性。相对于龟裂对称的位置，是指以龟裂为基准在空间上对称的位置。关于具体例，使用附图在后面叙述。
[检查装置的处理]
接着，对如以上那样构成的检查装置120的各种处理进行说明。
[检查处理的整体情况]
首先，参照图3～图6具体地说明检查装置的处理的整体情况。图3是表示有关实施方式1的检查装置120的处理的整体情况的流程图。图4是表示实施方式1的多个图像的一例的图。图5是用来说明在实施方式1中图像内的龟裂的图。图6是用来说明在实施方式1中龟裂周边的运动向量的图。
首先，取得部121取得由摄像装置110摄影的构造物99的多个图像(S101)。例如，如图4所示，取得部121取得包含构造物的相同部分、在相互不同的时刻被摄影的图像11～14。
龟裂检测部122在多个图像的各自中检测龟裂(S102)。例如，如图5所示，龟裂检测部122在图像11中检测龟裂21。
运动估算部123通过在多个图像中以检测到的龟裂的前端为基准进行构造物99的表面的局部性的运动估算，导出运动向量(S103)。例如，运动估算部123通过在图像11与图像12之间进行块匹配，如图6所示，导出以图像11内的龟裂21的前端22为基准的运动向量23。具体而言，运动估算部123以龟裂的前端为原点，决定图像11及图像12各自的像素的坐标，导出使用所决定的坐标表现出的运动向量23。
检查部124基于相对于龟裂对称的位置间的运动向量的差异来判定构造物的安全性(S104)。关于该处理的详细情况，使用图7在后面叙述。
最后，检查部124输出判定结果(S105)。例如，检查部124在显示器(未图示)上显示判定结果。此外，例如检查部124也可以向其他装置(例如智能电话或平板计算机等)发送判定结果。
[安全性的判定处理的详细情况]
接着，参照图7对构造物99的安全性的判定处理(图3的步骤S104)的详细情况具体地进行说明。图7是表示有关实施方式1的检查装置120的安全性的判定处理的流程图。图8是用来说明在实施方式1中安全性的判定处理的放大图。
首先，检查部124从所取得的多个图像中选择未选择的图像(S111)。例如，检查部124从图4的图像11～14中以时间顺序选择图像(例如最初的图像11)。
检查部124从龟裂上的多个像素中选择像素(S112)。例如，在图8中检查部124以预先设定的像素间隔，从龟裂21的前端22起依次选择龟裂21上的像素。
检查部124计算所选择的像素的龟裂的方向(S113)。例如在图8中，检查部124基于所选择的像素及其附近的龟裂21上的像素，计算龟裂21的方向31。
检查部124决定相对于沿计算出的方向延伸的龟裂上的线处于线对称的位置的两个区域(S114)。例如，在图8中，检查部124决定与所选择的龟裂21的前端22的像素相邻的规定的大小的两个区域32、33、该两个区域32、33在与龟裂21的方向31垂直的方向上相邻。该两个区域32、33是相对于龟裂对称的区域(位置)的一例。
检查部124计算所决定的区域32及区域33这两个区域的运动(S115)。并且，检查部124计算两个区域间的运动向量的差异(S116)。例如，检查部124对于两个区域32、33各自计算区域中包含的运动向量的算术上的代表运动向量(例如平均运动向量、最大运动向量等)。并且，检查部124计算区域32的代表运动向量与区域33的代表运动向量之间的差分运动向量。
检查部124判定龟裂上的像素的选择是否已结束(S117)。这里，在判定为龟裂上的像素的选择没有结束的情况下(S117的否)，向步骤S112返回。另一方面，在判定为龟裂上的像素的选择已结束的情况下(S117的是)，检查部124判定图像的选择是否已结束(S118)。这里，在判定为图像的选择没有结束的情况下(S118的否)，向步骤111返回。另一方面，在判定为图像的选择已结束的情况下(S118的是)，检查部124基于在步骤S115中计算出的运动向量的差异，判定构造物99的安全性(S119)。例如，在图像11～13中的差分运动向量的大小的算术的代表值(例如平均值或中位数等)比预先设定的阈值大的情况下，检查部124判定为构造物99的安全性较低，在不是这样的情况下，判定为构造物99的安全性较高。
[效果等]
如以上这样，根据有关本实施方式的检查装置120，能够基于相对于龟裂对称的位置间的运动向量的差异来判定构造物的安全性。龟裂的伸展依存于龟裂周边的应力，特别是依存于作用于龟裂的应力。因而，通过基于相对于龟裂对称的位置间的运动向量的差异来判定构造物的安全性，能够更正确地判定因龟裂的伸展造成的构造物的安全性的下降，能够使检查的精度提高。进而，由于能够根据图像来判定构造物的安全性，所以也能够将目视检查省略，也能够实现检查时间的减少。
此外，根据有关本实施方式的检查装置120，能够将相对于沿计算出的龟裂的方向延伸的龟裂上的线呈线对称的位置决定为相对于龟裂对称的位置。因而，能够将在与龟裂垂直的方向上夹着龟裂的位置间的运动向量的差异用于安全性的判定，能够更正确地判定因龟裂的伸展带来的构造物的安全性的下降。
另外，在本实施方式中，作为运动向量的差异而使用差分运动向量，但并不限定于此。例如，也可以从运动向量中提取与龟裂的方向垂直的成分，使用提取出的成分的差值作为运动向量的差异。
进而，也可以根据提取出的成分来估算龟裂的宽度的变化量，基于估算出的宽度的变换量来判定构造物的安全性。作用于构造物的载荷变化时的龟裂的宽度的变化量对于龟裂的伸展的影响较大，但由于是微小的，所以难以根据图像直接导出。所以，通过使用基于相对于龟裂对称的位置间的运动向量的差异估算出的龟裂的宽度的变化量，也能够更正确地预测龟裂的伸展，能够使构造物的检查的精度提高。
(实施方式2)
接着，对实施方式2进行说明。在本实施方式中，在不是将通过局部运动估算得到的运动向量以原样用于检查、而是将通过主成分分析而提取出的运动向量的主成分用于检查这一点与上述实施方式1不同。以下，以与上述实施方式1不同的点为中心对本实施方式进行说明。
[检查装置的功能结构]
参照图9对有关实施方式2的检查装置220的功能结构进行说明。图9是表示有关实施方式2的检查装置220的功能结构的框图。如图9所示，检查装置220具备取得部121、龟裂检测部122、运动估算部123、提取部221和检查部222。
提取部221通过进行多个运动向量的主成分分析(PCA：Principal ComponentAnalysis)，从多个运动向量中提取多个主成分。
检查部222在所提取的多个主成分中，使用固有值或贡献率降序排列中的除了最低侧的1个以上的主成分以外的主成分，判定构造物的安全性。即，检查部222使用固有值或贡献率的降序中的较高的主成分，判定构造物的安全性。
[检查装置的处理]
接着，对如以上那样构成的检查装置220的各种处理进行说明。图10是表示有关实施方式2的检查装置220的处理的整体情况的流程图。
在与实施方式1同样地进行步骤S101～步骤S103后，提取部221通过进行多个运动向量的主成分分析，从多个运动向量中提取多个主成分(S201)。
提取部221使用提取出的多个主成分中的固有值降序排列中的除了最低侧的1个以上的主成分以外的主成分，再构成多个运动向量(S202)。具体而言，提取部221在多个主成分中，提取具有比预先设定的阈值贡献率大的累积贡献率的较高主成分。即，提取部221从多个主成分中将较低主成分除去。提取部221使用这样得到的主成分，再构成多个运动向量。
并且，检查部222使用再构成的多个运动向量，判定构造物的安全性(S203)。即，检查部222代替实施方式1的多个运动向量而使用再构成的多个运动向量，判定构造物的安全性。
[效果等]
如以上这样，根据有关本实施方式的检查装置220，能够使用固有值降序排列中的除了最低侧的1个以上的主成分以外的主成分，判定构造物的安全性。因而，能够从运动向量将噪声成分除去，进而能够使构造物的检查的精度提高。
(实施方式3)
接着，对实施方式3进行说明。在本实施方式中，在除了基于处于相对于龟裂对称的位置处的区域之间的表示短期的运动的运动向量的差异以外、还基于长期性的龟裂的变化来检查构造物这一点与上述各实施方式不同。以下，以与上述实施方式1不同的点为中心对本实施方式进行说明。
[检查装置的功能结构]
参照图11对有关实施方式3的检查装置320的功能结构进行说明。图11是表示有关实施方式3的检查装置320的功能结构的框图。如图11所示，检查装置320具备取得部321、龟裂检测部322、运动估算部123和检查部323。
取得部321除了取得在作用于构造物99的载荷变化时在相互不同的时刻被摄影的构造物99的多个图像以外，还取得比多个图像在时间上靠前被摄影的参照图像。
龟裂检测部322除了多个图像以外，还在参照图像中检测构造物99的表面上的龟裂。
检查部323除了基于处于相对于龟裂对称的位置的区域之间的运动向量的差异以外，还基于参照图像与多个图像的某个之间的龟裂的变化量来判定构造物的安全性。具体而言，检查部323计算参照图像与从多个图像中选择的1个图像(以下称作选择图像)之间的龟裂的变化量。
[检查装置的处理]
接着，对如以上那样构成的检查装置320的各种处理对进行说明。图12是表示有关实施方式3的检查装置320的处理的整体情况的流程图。
首先，取得部321取得当作用于构造物99的载荷变化时在相互不同的时刻被摄影的构造物99的多个图像、和比多个图像在时间上靠前被摄影的参照图像(S301)。具体而言，取得部321例如如图13所示，取得参照图像41及多个图像11～14。这里，参照图像41和多个图像11～14中的最初的图像11间的第1时间间隔比多个图像间的第2时间间隔大。
第1时间间隔是用来观察龟裂的物理性的变化(例如伸展)的时间间隔，例如是1周、1个月或1年等。另一方面，第2时间间隔是用来观察伴随着载荷的变化的构造物的表面的微小的变动的时间间隔，例如是1/60秒、1/30秒或1/15秒等。
龟裂检测部322在多个图像及参照图像的各自中检测龟裂(S302)。
运动估算部123与实施方式1同样，通过在多个图像中以检测到的龟裂的前端为基准进行构造物99的表面的局部性的运动估算，导出运动向量(S103)。
检查部323除了基于处于相对于龟裂对称的位置的区域之间的运动向量的差异以外，还基于参照图像与多个图像的某个之间的龟裂的变化量来判定构造物的安全性(S303)。
这里，参照图14具体地说明步骤S303。图14是表示有关实施方式3的检查装置320的安全性的判定处理的详细情况的流程图。
在与实施方式1同样地进行步骤S111～步骤S118后，在判定为图像的选择已结束的情况下(S118的是)，检查部323从多个图像中选择1个图像(S311)。例如，检查部323从多个图像中选择在时间顺序上为最初的图像。此外，例如检查部323也可以从多个图像中选择在时间顺序上为最后的图像。
检查部323在选择图像及参照图像之间计算龟裂的变化量(S312)。具体而言，检查部323以龟裂以外的特征点为原点，决定参照图像及选择图像各自的像素的坐标，使用所决定的坐标，计算龟裂的变化量。例如，在参照图像内的龟裂的前端的像素的坐标是(10，10)、选择图像内的龟裂的前端的像素的坐标是(10，25)的情况下，变化量被计算为15个像素。
检查部323基于在步骤S115中计算出的运动向量的差异和在步骤S312中计算出的龟裂的变化量，判定构造物99的安全性(S313)。例如，在差分运动向量的大小比预先设定的阈值大、并且龟裂的变化量比预先设定的阈值变化量大的情况下，检查部323判定为构造物99的安全性较低，在不是这样的情况下判定为构造物99的安全性较高。
[效果等]
如以上这样，根据有关本实施方式的检查装置320，除了运动向量的差异以外，还能够基于比多个图像靠前被摄影的参照图像和多个图像的某个的龟裂的变化量，来判定构造物的安全性。因而，也能够更正确地预测龟裂的伸展，能够使构造物的检查的精度提高。
(其他实施方式)
以上，基于实施方式对有关本发明的1个或多个技术方案的检查装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式施以了本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也可以也包含在有关本发明的1个或多个技术方案的范围内。
例如，在上述各实施方式中，以二维图像为例进行了说明，但也可以使用三维图像。在此情况下，能够使用三维运动向量来判定构造物的安全性。
另外，在上述各实施方式中，检查装置不包括摄像装置，但也可以包括摄像装置。此外，检查装置中包含的多个功能结构(取得部、龟裂检测部、运动估算部及检查部等)也可以通过分布式计算或云计算来实现。
另外，在上述各实施方式中，说明了在运动估算中使用块匹配的例子，但并不限定于此。例如，也可以通过匹配其他的局部图像特征量(例如HOG(方向梯度直方图Histogramof Oriented Gradients)、SIFT(尺度不变特征转换Scaled Invariance FeatureTransform))来进行运动估算。
另外，在上述各实施方式中，说明了作为相对于龟裂对称的位置间的运动向量的差异而使用处于相对于龟裂对称的位置的区域间的代表运动向量的差异的例子，但并不限定于此。例如，也可以不使用区域，而使用各个位置间的运动向量的差异。此外，例如也可以使用相对于龟裂对称的位置间的运动向量的时间频率成分的差异。
另外，局部运动估算不需要在图像整体中进行，也可以仅在被限定的区域中进行。例如，也可以仅在龟裂的周边区域中进行局部运动估算。周边区域例如可以基于距龟裂的距离来定义。
另外，在上述各实施方式中，按照龟裂上的每个像素来计算龟裂的方向，但并不限定于此。龟裂的方向也可以仅用龟裂的代表性的像素来计算。在此情况下，对于1个龟裂计算1个方向，基于计算出的方向来决定处于相对于龟裂对称的位置处的区域。
另外，在上述各实施方式中，以龟裂的前端为基准进行构造物的表面的局部性的运动估算，但并不需要限定于龟裂的前端。也可以代替龟裂的前端而使用龟裂上的其他的特征性的位置(规定位置)作为基准点。例如，也可以使用龟裂的分支点或弯曲点等作为用于运动估算的基准点。
此外，上述各实施方式的检查装置具备的构成要素的一部分或全部也可以由1个系统LSI(大规模集成电路Large Scale Integration)构成。例如，检查装置120也可以由具有取得部121、龟裂检测部122、运动估算部123和检查部124的系统LSI构成。
系统LSI是将多个结构部集成到1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM(只读存储器Read Only Memory)、RAM(随机存取存储器Random AccessMemory)等而构成的计算机系统。在ROM中存储有计算机程序。通过微处理器按照计算机程序动作，系统LSI实现其功能。
另外，这里设为系统LSI，但根据集成度的差异，也有被称作IC、LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(现场可编辑门阵列Field ProgrammableGate Array)或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
进而，如果通过半导体技术的进步或派生的其他技术而出现替代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
此外，本发明的一形态不仅是这样的检查装置，也可以是以检查装置所包含的特征性的构成部为步骤的检查方法。此外，本发明的一形态也可以是使计算机执行检查方法中包含的特征性的各步骤的计算机程序。此外，本发明的一形态也可以是记录有这样的计算机程序的计算机可读取的非暂时性的记录介质。
另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。这里，实现上述各实施方式的检查装置等的软件是以下这样的程序。
即，该程序使计算机执行检查具有龟裂的构造物的检查方法：取得当作用于上述构造物的载荷变化时在相互不同的时刻被摄影的上述构造物的多个图像；在上述多个图像的各自中检测上述构造物的表面上的龟裂；通过在上述多个图像中以检测到的上述龟裂的规定位置为基准进行上述构造物的表面的局部性的运动估算，导出多个运动向量；基于相对于上述龟裂对称的位置间的运动向量的差异，判定上述构造物的安全性。
产业上的可利用性
本发明能够用于为了防止由龟裂造成的安全性的下降而检查构造物的检查装置。
标号说明
11、12、13、14 图像
21 龟裂
22 前端
23 运动向量
31 龟裂的方向
32、33 区域
41 参照图像
99 构造物
100 检查系统
110 摄像装置
120、220、320 检查装置
121、321 取得部
122、322 龟裂检测部
123 运动估算部
124、222、323 检查部
221 提取部

Claims (8)

1.一种检查装置，检查具有龟裂的构造物，
具备：
取得部，取得当作用于上述构造物的载荷变化时在相互不同的时刻被摄影的上述构造物的多个图像；
龟裂检测部，在上述多个图像的各自中检测上述构造物的表面上的龟裂；
运动估算部，在上述多个图像中以检测到的上述龟裂的规定位置为基准进行上述构造物的表面的局部性的运动估算，从而导出多个运动向量；以及
检查部，基于相对于上述龟裂对称的位置间的运动向量的差异，判定上述构造物的安全性。
2.如权利要求1所述的检查装置，
上述检查部计算上述龟裂的方向，
并将相对于沿计算出的上述龟裂的方向延伸的上述龟裂上的线呈线对称的位置，决定为相对于上述龟裂对称的位置。
3.如权利要求1或2所述的检查装置，
上述检查部基于上述运动向量的差异估算上述龟裂的宽度的变化量，基于估算出的上述宽度的变化量，判定上述构造物的安全性。
4.如权利要求1～3中任一项所述的检查装置，
还具备通过进行被导出的上述多个运动向量的主成分分析、从上述多个运动向量中提取多个主成分的提取部；
上述检查部使用提取出的上述多个主成分中的、除了固有值降序排列中的最低侧的1个以上的主成分以外的主成分，判定上述构造物的安全性。
5.如权利要求1～4中任一项所述的检查装置，
上述取得部还取得比上述多个图像在时间上靠前被摄影的参照图像；
上述龟裂检测部还在上述参照图像中检测上述构造物的表面上的龟裂；
上述检查部还基于上述参照图像与上述多个图像的某个之间的龟裂的变化量，判定上述构造物的安全性。
6.如权利要求1～5中任一项所述的检查装置，
还具备将上述多个图像摄影的摄影部。
7.如权利要求1～6中任一项所述的检查装置，
上述规定位置是前端。
8.一种检查方法，检查具有龟裂的构造物，
取得当作用于上述构造物的载荷变化时在相互不同的时刻被摄影的上述构造物的多个图像；
在上述多个图像的各自中检测上述构造物的表面上的龟裂；
在上述多个图像中以检测到的上述龟裂的规定位置为基准进行上述构造物的表面的局部性的运动估算，从而导出多个运动向量；
基于相对于上述龟裂对称的位置间的运动向量的差异，判定上述构造物的安全性。
CN201980014651.7A 2018-02-22 2019-02-08 检查装置及检查方法 Pending CN111758025A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018030189 2018-02-22
JP2018-030189 2018-02-22
PCT/JP2019/004559 WO2019163556A1 (ja) 2018-02-22 2019-02-08 検査装置及び検査方法

Publications (1)

Publication Number Publication Date
CN111758025A true CN111758025A (zh) 2020-10-09

Family

ID=67687960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014651.7A Pending CN111758025A (zh) 2018-02-22 2019-02-08 检查装置及检查方法

Country Status (4)

Country Link
US (1) US11796481B2 (zh)
JP (1) JP7325020B2 (zh)
CN (1) CN111758025A (zh)
WO (1) WO2019163556A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7399729B2 (ja) * 2020-01-31 2023-12-18 株式会社東芝 設備診断システム

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247961A (ja) * 1995-03-15 1996-09-27 Nissan Motor Co Ltd 表面欠陥検査装置
JPH09172644A (ja) * 1995-10-18 1997-06-30 Sharp Corp アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
JP2001281099A (ja) * 2000-03-28 2001-10-10 Olympus Optical Co Ltd 光学素子成形装置
CN1725862A (zh) * 2004-07-23 2006-01-25 联发科技股份有限公司 视频编码中的运动预测方法
JP2008010958A (ja) * 2006-06-27 2008-01-17 Canon Inc 撮像装置及び撮像方法
JP2008139285A (ja) * 2006-11-29 2008-06-19 Korea Research Inst Of Standards & Science 映像処理技法を利用した構造物及び製品のクラック幅測定方法
JP2009217583A (ja) * 2008-03-11 2009-09-24 Toshiba Corp パターン認識装置及びその方法
JP2011027493A (ja) * 2009-07-23 2011-02-10 Toshiba Corp 配管の破壊評価装置、方法、及びプログラム
US20110188733A1 (en) * 2007-08-30 2011-08-04 Bt Imaging Pty Ltd. Photovoltaic Cell Manufacturing
US20120120246A1 (en) * 2009-05-15 2012-05-17 Pasco Corporation Method for detecting damage to a deck of a bridge
JP2012196597A (ja) * 2011-03-18 2012-10-18 Meidensha Corp 画像処理によるろ過膜板検査装置
CN102792673A (zh) * 2010-03-10 2012-11-21 松下电器产业株式会社 图像模糊补偿装置
US8547428B1 (en) * 2006-11-02 2013-10-01 SeeScan, Inc. Pipe mapping system
CN104949985A (zh) * 2014-03-31 2015-09-30 株式会社日立制作所 构造物的表面检查装置以及表面检查方法
CN105050473A (zh) * 2013-03-27 2015-11-11 奥林巴斯株式会社 图像处理装置、内窥镜装置、程序以及图像处理方法
US20160061748A1 (en) * 2014-08-28 2016-03-03 The Boeing Company Systems and methods for detecting crack growth
WO2016142965A1 (ja) * 2015-03-10 2016-09-15 日本電気株式会社 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
WO2016152075A1 (ja) * 2015-03-20 2016-09-29 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
JP2016176806A (ja) * 2015-03-20 2016-10-06 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
CN106415248A (zh) * 2013-10-24 2017-02-15 飞利浦灯具控股公司 缺陷检查系统和方法
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
WO2018025336A1 (ja) * 2016-08-02 2018-02-08 日本電気株式会社 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898320B2 (ja) 2006-06-28 2012-03-14 Ｊｆｅスチール株式会社 構造物の欠陥検出方法および装置、ならびに欠陥検出機能を備えた荷役機械
JP5097765B2 (ja) 2009-12-14 2012-12-12 株式会社ネクスコ東日本エンジニアリング 計測方法および計測プログラムならびに計測装置
JP5326174B2 (ja) 2010-08-26 2013-10-30 独立行政法人日本原子力研究開発機構 亀裂開口幅と亀裂形状の同時測定方法及び装置
JP6559476B2 (ja) 2015-06-19 2019-08-14 日本信号株式会社 検査装置
CN108431584B (zh) * 2015-12-25 2021-04-27 富士胶片株式会社 损伤信息处理装置及损伤信息处理方法
JP6173655B1 (ja) * 2016-01-07 2017-08-02 三菱電機株式会社 検出装置および検出方法
WO2019097578A1 (ja) * 2017-11-14 2019-05-23 日本電気株式会社 変位成分検出装置、変位成分検出方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247961A (ja) * 1995-03-15 1996-09-27 Nissan Motor Co Ltd 表面欠陥検査装置
JPH09172644A (ja) * 1995-10-18 1997-06-30 Sharp Corp アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
JP2001281099A (ja) * 2000-03-28 2001-10-10 Olympus Optical Co Ltd 光学素子成形装置
CN1725862A (zh) * 2004-07-23 2006-01-25 联发科技股份有限公司 视频编码中的运动预测方法
JP2008010958A (ja) * 2006-06-27 2008-01-17 Canon Inc 撮像装置及び撮像方法
US8547428B1 (en) * 2006-11-02 2013-10-01 SeeScan, Inc. Pipe mapping system
JP2008139285A (ja) * 2006-11-29 2008-06-19 Korea Research Inst Of Standards & Science 映像処理技法を利用した構造物及び製品のクラック幅測定方法
US20110188733A1 (en) * 2007-08-30 2011-08-04 Bt Imaging Pty Ltd. Photovoltaic Cell Manufacturing
JP2009217583A (ja) * 2008-03-11 2009-09-24 Toshiba Corp パターン認識装置及びその方法
US20120120246A1 (en) * 2009-05-15 2012-05-17 Pasco Corporation Method for detecting damage to a deck of a bridge
JP2011027493A (ja) * 2009-07-23 2011-02-10 Toshiba Corp 配管の破壊評価装置、方法、及びプログラム
CN102792673A (zh) * 2010-03-10 2012-11-21 松下电器产业株式会社 图像模糊补偿装置
JP2012196597A (ja) * 2011-03-18 2012-10-18 Meidensha Corp 画像処理によるろ過膜板検査装置
CN105050473A (zh) * 2013-03-27 2015-11-11 奥林巴斯株式会社 图像处理装置、内窥镜装置、程序以及图像处理方法
CN106415248A (zh) * 2013-10-24 2017-02-15 飞利浦灯具控股公司 缺陷检查系统和方法
CN104949985A (zh) * 2014-03-31 2015-09-30 株式会社日立制作所 构造物的表面检查装置以及表面检查方法
US20160061748A1 (en) * 2014-08-28 2016-03-03 The Boeing Company Systems and methods for detecting crack growth
WO2016142965A1 (ja) * 2015-03-10 2016-09-15 日本電気株式会社 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
WO2016152075A1 (ja) * 2015-03-20 2016-09-29 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
JP2016176806A (ja) * 2015-03-20 2016-10-06 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
WO2018025336A1 (ja) * 2016-08-02 2018-02-08 日本電気株式会社 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈娟 等: "基于加权运动估计多层次检测的帧率转换算法", 南京理工大学学报, vol. 40, no. 01, 28 February 2016 (2016-02-28), pages 41 - 49 *
胡勇 等: "基于多尺度布朗运动模型的路面破损检测", 计算机工程与应用, vol. 44, no. 03, 21 January 2008 (2008-01-21), pages 234 - 235 *

Also Published As

Publication number Publication date
US20200378900A1 (en) 2020-12-03
US11796481B2 (en) 2023-10-24
JPWO2019163556A1 (ja) 2021-02-12
WO2019163556A1 (ja) 2019-08-29
JP7325020B2 (ja) 2023-08-14

Similar Documents

Publication Publication Date Title
EP2457499B1 (en) Line-of-sight estimation device
KR20190059639A (ko) 콘크리트 표면 균열 측정 장치 및 방법
US20200250806A1 (en) Information processing apparatus, information processing method, and storage medium
CN112352148A (zh) 检查装置以及检查方法
US20120076438A1 (en) Visual line estimating apparatus
JP2011007728A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
US11796481B2 (en) Inspection device and inspection method
JP6248706B2 (ja) 応力分布計測装置及び応力分布計測方法
JP2010193178A5 (zh)
CN116430069A (zh) 机器视觉流体流速测量方法、装置、计算机设备及存储介质
JP6818263B2 (ja) 破面解析装置および破面解析方法
WO2019176464A1 (ja) 検査装置及び検査方法
JP2016012311A (ja) 物体検出装置
US20220180494A1 (en) Wire shape measurement device, wire three-dimensional image generation method, and wire shape measurement method
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
JP2016217913A (ja) Ｘ線検査装置
CN112334732B (zh) 预测装置及预测方法
JPWO2021112205A5 (zh)
KR101793091B1 (ko) 불량화소의 검출방법 및 검출장치
JP2010063670A (ja) 画像処理方法、画像処理装置および画像処理のためのプログラム
US11972554B2 (en) Bearing displacement detection device and method
JP2009265998A (ja) 画像処理システム、画像処理方法及び画像処理プログラム
KR101658221B1 (ko) 전처리한 열화상 이미지를 이용한 실러 도포 품질 검사 장치 및 방법
CN117571721B (zh) 一种电路板焊盘表面缺陷检测方法、装置及存储介质
KR101288856B1 (ko) 카메라 영상을 이용한 회전체의 진원도 측정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination