CN112352148A - 检查装置以及检查方法 - Google Patents

检查装置以及检查方法 Download PDF

Info

Publication number
CN112352148A
CN112352148A CN201980044178.7A CN201980044178A CN112352148A CN 112352148 A CN112352148 A CN 112352148A CN 201980044178 A CN201980044178 A CN 201980044178A CN 112352148 A CN112352148 A CN 112352148A
Authority
CN
China
Prior art keywords
displacement
image
bolt
fastening
bolts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044178.7A
Other languages
English (en)
Inventor
今川太郎
野田晃浩
丸山悠树
日下博也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112352148A publication Critical patent/CN112352148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

检查装置(30)是对紧固构造物(110)的多个紧固部件(130)进行检查的检查装置(30)，具备：获得部(31)，获得多个图像，该多个图像包括以相互不同的时刻拍摄了多个紧固部件(130)的第1图像(P1)以及第2图像(P2)；检测部(32)，根据第1图像(P1)以及第2图像(P2)，检测第1位移，第1位移是多个紧固部件(130)的每一个的位移；以及确定部(33)，根据第1位移，从多个紧固部件(130)中确定关注紧固部件，该关注紧固部件是与其他的紧固部件(130)的动作不同的紧固部件。

Description

检查装置以及检查方法
技术领域
本公开涉及对紧固构造物的多个紧固部件进行检查的检查装置以及检查方法。
背景技术
以往，桥梁等基础设施构造物的螺栓连接部分的检查，通过工作人员定期地对桥梁等螺栓连接部分进行目测检查或者敲击检查来进行。然而，螺栓的数量庞大，此外按照螺栓的设置位置，确认操作存在困难，给工作人员造成负担。于是在专利文献1公开了利用摄像头自动检查螺栓松动的螺栓松动检查方法。
现有技术文献
专利文献
专利文献1∶日本特开平8－278116号公报
发明内容
发明要解决的课题
然而，在专利文献1的方法中，针对1个螺栓，通过过去的螺栓的计测数据与当前的螺栓的计测数据来判断螺栓的松动，所以需要作为参考的过去的计测数据。
于是，本公开的目的在于，提供一种能够对紧固构造物的多个紧固部件简便地进行检查的检查装置以及检查方法。
用于解决课题的手段
本公开的一个方式涉及的检查装置，对紧固构造物的多个紧固部件进行检查，所述检查装置具备：获得部，获得多个图像，所述多个图像包括以相互不同的时刻拍摄了所述多个紧固部件的第1图像以及第2图像；检测部，根据所述第1图像以及所述第2图像，检测第1位移，所述第1位移是所述多个紧固部件的每一个的位移；以及确定部，根据所述第1位移，从所述多个紧固部件中确定关注紧固部件，所述关注紧固部件是与其他的紧固部件的动作不同的紧固部件。
本公开的一个方式涉及的检测方法，是对紧固构造物的多个紧固部件进行检查的检查装置的检查方法，所述检查方法包括：获得步骤，获得多个图像，所述多个图像包括以相互不同的时刻拍摄了所述多个紧固部件的第1图像以及第2图像；检测步骤，根据所述第1图像以及所述第2图像，检测第1位移，所述第1位移是所述多个紧固部件的每一个的位移；以及确定步骤，根据所述第1位移，在所述多个紧固部件中确定关注紧固部件，所述关注紧固部件是与其他的紧固部件的动作不同的紧固部件。
发明的效果
通过本公开的一个方式涉及的检查装置以及检查方法，能够对紧固构造物的多个紧固部件简便地进行检查。
附图说明
图1是示出实施方式涉及的检查系统的概略构成的图。
图2是示出实施方式涉及的检查装置的功能构成的图。
图3是示出实施方式涉及的检查装置的动作的流程图。
图4A是示出在对构造物没有施加荷载时由摄像装置拍摄的图像的图。
图4B是示出在对构造物施加了荷载时由摄像装置拍摄的图像的图。
图5A是示出实施方式涉及的螺栓的位移的时间序列数据的图。
图5B是示出实施方式涉及的螺栓中的位移相对于平均值的差的图。
图6是实施方式涉及的存储部存储的包括螺栓的尺寸的表。
图7A是摄像装置拍摄的紧固部分的其他的一例。
图7B是摄像装置拍摄的紧固部分的另外的其他的一例。
图8A是示出在构造物整体动作之前由摄像装置拍摄的图像的图。
图8B是示出在构造物整体动作时由摄像装置拍摄的图像的图。
具体实施方式
(本公开的概要)
本公开的一个方式涉及的检查装置，对紧固构造物的多个紧固部件进行检查，所述检查装置具备：获得部，获得多个图像，所述多个图像包括以相互不同的时刻拍摄了所述多个紧固部件的第1图像以及第2图像；检测部，根据所述第1图像以及所述第2图像，检测第1位移，所述第1位移是所述多个紧固部件的每一个的位移；以及确定部，根据所述第1位移，从所述多个紧固部件中确定关注紧固部件，所述关注紧固部件是与其他的紧固部件的动作不同的紧固部件。
从而，检查装置根据多个紧固部件中的相对的动作，能够确定有异常的可能性的紧固部件。换言之，检查装置，即使没有预先获得的作为参考的数据，也能够确定有异常的可能性的紧固部件即关注紧固部件。因此，检查装置，即使没有明确的判断基准，也能够确定关注紧固部件，该明确的判断基准例如是旋转5°以上就判断为有异常的可能性等。因而，本公开的一个方式涉及的检查装置，能够对紧固构造物的多个紧固部件简便地进行检查。
此外可以是，所述第1图像以及所述第2图像的至少一方是，在对所述构造物施加了荷载时拍摄的图像。
从而，有异常的可能性的紧固部件与没有异常的可能性的紧固部件的位移的差，显著地呈现，所以检查装置，能够更简便地进行检查。
此外可以是，所述检测部，还检测第2位移，所述第2位移是所述多个紧固部件的每一个的位移的代表值，所述确定部，还根据所述第2位移，确定所述关注紧固部件。
从而，确定部，根据第1位移以及第2位移的关系，能够确定关注紧固部件，所以能够高精度地确定关注紧固部件。
此外可以是，所述多个图像包括3个以上的图像，所述3个以上的图像包括所述第1图像以及所述第2图像，所述检测部，根据所述多个图像，检测多个时刻的所述第1位移以及所述第2位移，所述确定部，根据所述多个时刻的所述第1位移以及所述第2位移，确定所述关注紧固部件。
从而，能够减少确定部在确定关注紧固部件时的误差以及噪声的影响，所以能够更高精度地确定关注紧固部件。
此外可以是，所述多个紧固部件，隔着垫板来紧固所述构造物，所述多个图像的每一个图像是，还包括所述垫板的图像，所述检测部，在所述多个紧固部件以及所述垫板的整体发生了位移的情况下，按照所述垫板的位移，对所述第1位移进行校正。
从而，能够根据多个紧固部件自身的位移来确定关注紧固部件，所以能够进一步提高确定精度。
此外可以是，所述确定部，从所述多个紧固部件中，将所述第1位移相对于所述第2位移发生了规定值以上的位移的紧固部件，确定为所述关注紧固部件。
从而，能够以第1位移相对于第2位移的差与规定值进行比较的简单的方法，确定关注紧固部件。
此外可以是，所述第2位移是所述多个紧固部件的每一个的所述第1位移的平均值或者中值，所述规定值，根据所述多个紧固部件的每一个的所述第1位移的标准偏差而被决定。
从而，第2位移不需要进行复杂的计算就能容易地求出。这将使检测部的处理量降低。
此外可以是，所述第2位移是所述多个紧固部件的每一个的所述第1位移的平均值或者中值，所述规定值，根据所述多个紧固部件的尺寸而被决定。
从而，根据紧固部件的尺寸而决定规定量。在规定量是对于移动距离的值的情况下，移动距离根据紧固部件的尺寸而决定，所以能够按照该紧固部件的尺寸的规定量来确定关注紧固部件。从而，检查装置，能够按照紧固部件的尺寸恰当地确定关注紧固部件。
此外可以是，所述平均值或者所述中值，通过抗差估计而被算出。
从而，根据排除了异常值的第1位移，算出平均值以及中值，所以能够容易确定关注紧固部件。
此外可以是，所述第1位移包括所述多个紧固部件的每一个的旋转角以及移动距离中的一方，所述第2位移包括所述多个紧固部件的每一个的旋转角以及移动距离中的所述一方的代表值。
从而，比起利用了旋转角以及移动距离的双方的情况，能够减少检测部以及确定部的处理量。
此外可以是，所述第1位移包括所述多个紧固部件的每一个的旋转角以及移动距离，所述第2位移包括所述多个紧固部件的每一个的旋转角以及移动距离的代表值，所述确定部，从所述关注紧固部件中，进一步确定是在所述旋转角以及所述移动距离的哪一方与所述其他的紧固部件的动作不同。
从而，确定部，能够将旋转角以及移动距离的一方与其他的紧固部件进行了不同的动作的螺栓，确定为关注紧固部件。此外，确定部，能够确定在旋转角以及移动距离中的哪一方与其他的紧固部件不同，所以检查员能够根据该结果来估计异常模式。从而，比起利用了旋转角以及移动距离的一方的情况，能够更高精度地确定关注紧固部件。
此外可以是，所述多个图像是构成运动图像的图像，所述运动图像由一次的拍摄动作而被拍摄。
从而，能够通过以一次的拍摄动作来拍摄的多个图像，来确定关注紧固部件。
此外可以是，所述检查装置还具备摄像部，该摄像部用于拍摄所述多个图像。
从而，检查装置，即使不从外部获得图像，也能够对紧固构造物的多个紧固部件进行检查。
本公开的一个方式涉及的检测方法，对紧固构造物的多个紧固部件进行检查的检查装置的检查方法，所述检查方法包括：获得步骤，获得多个图像，所述多个图像包括以相互不同的时刻拍摄了所述多个紧固部件的第1图像以及第2图像；检测步骤，根据所述第1图像以及所述第2图像，检测第1位移，所述第1位移是所述多个紧固部件的每一个的位移；以及确定步骤，根据所述第1位移，从所述多个紧固部件中确定关注紧固部件，所述关注紧固部件是与其他的紧固部件的动作不同的紧固部件。
从而，在检查方法中，根据多个紧固部件中的相对的动作，能够确定有异常的可能性的紧固部件。换言之，检查方法，即使没有预先获得的作为参考的数据，也能够确定有异常的可能性的紧固部件即关注紧固部件。因此，检查方法，即使没有例如明确的判断基准即旋转几度以上就判断为有异常的可能性等，也能够确定关注紧固部件。因而，本公开的一个方式涉及的检查方法，能够对紧固构造物的多个紧固部件简便地进行检查。
另外，这些概括或者具体的方案，可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等非暂时的记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。程序，可以预先存储在记录介质，也可以经由包括因特网等广域通信网而提供给记录介质。
以下，针对实施方式等，参考附图进行说明。
另外，以下说明的实施方式以及变形例都是示出本公开的概括或者具体的例子。以下的实施方式以及变形例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等均为一个例子，其主旨并非是对本公开进行限定。此外，以下的实施方式的构成要素中，示出最上位概念的技术方案没有记载的构成要素，作为任意的构成要素来说明。
此外，各图是示意图，并非是严谨的图示。此外，在各图中，对实质上相同的构成赋予相同的符号，有时省略或简化重复说明。
此外，在本说明书中，平行等示出要素之间的关系性的用语、矩形等示出要素的形状的用语、以及数值，不仅是表示严格意义的表现，还包括实际上同等范围例如包括百分之几左右的差异的表现。
此外，以下的说明书中关于图像是以静止图像为例子进行说明。运动图像是由多个静止图像来构成的。
(实施方式)
以下，关于本实施方式涉及的检查装置等，参考图1至图7B来说明。
[1.检查系统的结构]
首先，关于包括本实施方式涉及的检查装置30的检查系统10，参考图1以及图2进行说明。图1是示出本实施方式涉及的检查系统10的概略构成的图。
如图1所示，检查系统10具备摄像装置20和检查装置30。检查系统10是在构造物110的紧固部分100(例如，螺栓连接部分)中，对用于紧固构造物110的多个螺栓130(紧固部件的一例)的位移进行检查的系统为例子进行说明。在本实施方式中，检查装置30是用于检查紧固构造物110的多个螺栓130的松动的装置。另外，紧固构造物110是表示，对构成构造物110的各个构成部之间进行连接及固定的意思。在图1中示出将位于构造物110中的靠前侧的部分，与位于构造物110中的靠里侧的部分进行紧固的例子。
构造物110，例如可以是桥梁等基础设施的构造物。此外，构造物110可以是钢构造物。在本实施方式中，构造物110被说明为对汽车或者电车等车辆行驶的道路或者铁路等进行支撑的构造物(例如桥)的情况。另外，螺栓130的位移，例如至少包括螺栓130的旋转角以及移动距离中的至少一方。另外，旋转角包括旋转方向以及旋转的角度，移动距离包括移动方向以及移动的距离。此外，这里的移动距离，不仅指现实移动的距离，还指与现实移动的距离对应的值。移动距离，例如是与现实移动的距离对应的、在图像内的像素数。
构造物110，例如利用隔着1张垫板120而被安装的多个螺栓130来紧固。多个螺栓130，例如在垫板120上以二维状有规则地正确地配置。在图1中，垫板120是矩形状，但是形状没有特别限定。另外，垫板120也可以不设置。
此外，紧固构造物110的紧固部件，不限定为螺栓130。构造物110，由螺栓130与螺母紧固。因而，紧固部件也可以是螺母。此外，紧固部件，只要是紧固构造物110的部件就可以，例如也可以是铆钉，也可以是其他的部件。紧固部件也可以是紧固构造物110的部件中，例如检查员有义务定期检查的部件。此外，多个螺栓130，例如是全部相同种类的螺栓。
摄像装置20，例如是具备图像传感器的数字摄像机或者数字相机。摄像装置20，拍摄运动图像，该运动图像用于检查紧固构造物110的多个螺栓130的松动。具体而言，摄像装置20，拍摄多个螺栓130的运动图像。
摄像装置20，同时拍摄在1个垫板120上安装的3个以上的螺栓130。在本实施方式中，摄像装置20，同时对安装在1个垫板120上的多个螺栓130全部进行拍摄。即多个螺栓130的全部，均为摄像装置20的拍摄对象。摄像装置20针对在相同的状况下设置的多个螺栓130同时进行拍摄，该形同的状况是例如被安装在1个垫板120等。摄像装置20，例如以能够知道多个螺栓130、以及垫板120的外形的程度的视角来进行拍摄。即多个图像(运动图像)是包括被配置在垫板120的多个螺栓130的图像。
摄像装置20拍摄的螺栓130的运动图像中例如包括向构造物110施加的荷载有变化的期间。摄像装置20，例如在构造物110是桥时，拍摄包括车辆在桥上行驶的期间的运动图像。
运动图像是对构造物110的相同的部分(换言之，紧固部分100)进行拍摄的运动图像。运动图像由多个图像(多个帧)构成。摄像装置20，例如同时拍摄紧固部分100的多个螺栓130的全部。
另外，摄像装置20在拍摄的1个以上的图像包括车辆的情况下，该1个以上的图像可以是构造物110被施加了荷载时的图像。即，摄像装置20，可以以包括紧固部分100与在构造物110行驶的车辆的视角来拍摄。此外，摄像装置20，可以存储车辆(例如电车)通过构造物110的时刻，在运动图像中该时刻拍摄的1个以上的图像，视为在构造物110施加了荷载时的图像。
检查装置30，例如是计算机，具备处理器(未图示)、以及保存有软件程序的存储器(未图示)。通过由处理器执行软件程序，检查装置30实现后述的多个功能。此外，检查装置30可以由专用的电子电路(未图示)来构成。在这个情况下，后述的多个功能，可以由各个电子电路分别实现，也可以由集成的1个电子电路来实现。
检查装置30，以与摄像装置20能够通信的方式连接，根据由摄像装置20拍摄的运动图像，对紧固部分100的多个螺栓130进行检查。在本实施方式中，检查是指，对多个螺栓130的松动以及移动进行评价。作为松动的评价的具体例子，例如是在多个螺栓130中确定发生了松动的螺栓130、以及在多个螺栓130中确定发生了螺栓移动的螺栓130等。
这里关于检查装置30的构成，进一步参考图2来说明。图2是示出本实施方式涉及的检查装置30的概略构成的图。
如图2所示，检查装置30具备获得部31、检测部32、确定部33、输出部34、以及存储部35。
获得部31获得多个螺栓130的运动图像，该运动图像是在包括对构造物110施加的荷载发生变化的期间，连续拍摄多个螺栓130的图像。获得部31，例如获得多个图像，该多个图像包括在相互不同的时刻拍摄了多个螺栓130的第1图像以及第2图像。获得部31获得的运动图像，是拍摄了紧固构造物110的多个螺栓130的全部的运动图像。此外，运动图像，例如是由摄像装置20以一次的摄像动作来拍摄的运动图像。即，多个图像是构成运动图像的图像，该运动图像是由一次的摄像动作而被拍摄的图像。另外，摄像动作是由摄像装置20获得开始摄像的操作到获得停止该摄像的操作为止，在摄像装置20中进行的用于摄像的动作。摄像动作，例如包括快门的开闭等。
获得部31的运动图像的获得方法，没有特别限定。获得部31，可以通过无线通信从摄像装置20获得运动图像，也可以经由能够装拆的存储器(例如USB(Universal SerialBus)存储器)从摄像装置20获得运动图像。
另外，获得部31获得的数据不限定于运动图像。获得部31，可以获得以相互不同时刻拍摄了多个螺栓130的第1图像以及第2图像。获得部31获得的第1图像以及第2图像的至少一方，是在对构造物110施加了荷载时拍摄的图像。例如，第1图像以及第2图像的至少一方是在车辆通过构造物110时拍摄的图像。
检测部32，根据第1图像以及第2图像，检测出多个螺栓130的每一个的位移即第1位移、以及多个螺栓130的每一个的位移的代表值即第2位移。在多个图像包括具有第1图像以及第2图像的3个以上的图像的情况下，检测部32，根据多个图像，检测多个时刻的第1位移以及第2位移。在多个图像包括第1图像～第3图像的情况下，检测部32，将第1图像～第3图像的一个图像为基准，检测两个第1位移以及两个第2位移。另外，从提高确定与其他不同的动作的精确度的观点上，多个图像可以包括很多图像。多个图像可以构成包括对构造物110施加了荷载的期间、以及在之前后的没有施加荷载的期间的至少一方的运动图像。另外，检测部32，可以至少检测第1位移。
检测部32对螺栓130的旋转以及移动的检测方法没有特别限定，可以由周知的方法来检测。检测部32，例如通过周知的图像分析方法来分析第1图像以及第2图像，检测第1图像以及第2图像中包含的多个螺栓130的每一个的角度以及位置。检测部32，根据第1图像包含的多个螺栓130的每一个的角度以及第2图像包含的多个螺栓130的每一个的角度，检测多个螺栓130的每一个的旋转角。此外，检测部32，根据第1图像包含的多个螺栓130的每一个的位置以及第2图像包含的多个螺栓130的每一个的位置，检测多个螺栓130的每一个的移动距离。
检测部32，例如可以根据第1图像以及第2图像的每一个图像检测多个螺栓130的外形，从而检测多个螺栓130的每一个的角度以及位置。图像解析方法，例如是特征点提取(例如边缘抽取)等，只要能够检测螺栓130的形状的方法，也可以是其他的方法。
另外，螺栓130旋转的意思是例如以与轴部延伸的方向平行的方向为旋转轴，螺栓130转动，该轴部是通过螺栓130的中心(在图4A中示出的中心c)形成有螺纹的部分。此外，螺栓130的移动的意思是例如螺栓130的中心c，在与轴部延伸的方向正交的面上移动。
检测部32，例如以在规定时刻拍摄的图像中包含的多个螺栓130的每一个的角度以及位置为基准，检测位移。检测部32，例如在规定的时刻拍摄的图像中包含的多个螺栓130的每一个的角度以及位置的差分作为位移来检测。
另外，检测部32，也可以检测螺栓130的脱落。检测部32，例如可以通过在存储部35存储的与紧固部分100的多个螺栓130的数量以及排列的至少一方有关的基准信息，与根据运动图像检测出的包括螺栓130的数量以及配置的至少一方的对象信息，来检测出螺栓130的脱落。检测部32，例如在基准信息包括的螺栓130的数量或排列，与对象信息包括的螺栓130的数量或排列不一致的情况下，可以检测为螺栓130脱落。
确定部33，从多个螺栓130中确定有松动的可能性的螺栓130。确定部33，不仅针对1个螺栓130，根据过去以及当前的图像的位移来确定有松动的可能性的螺栓130，而且通过多个螺栓130的相对的位移来确定有松动的可能性的螺栓130。换句话说，确定部33，从多个螺栓130中确定与其他的螺栓130的动作不同的螺栓130。另外，以后将与其他的螺栓130动作不同的螺栓130记载为关注螺栓(关注紧固部件的一例)。关注螺栓是有发生了异常(例如，松动)的可能性的螺栓130，是成为检查员通过目测检查或者锤击检查的对象的螺栓130。
确定部33，例如利用统计性指标，确定关注螺栓。确定部33，例如根据多个螺栓130的位移的代表值(第2位移的一例)，与多个螺栓130的每一个的位移(第1位移的一例)，确定关注螺栓。确定部33，例如可以根据多个螺栓130的每一个的位移与代表值的差，来确定关注螺栓。确定部33，也可以从多个螺栓130中，将第1位移相对于第2位移发生了规定值以上的不同的螺栓130,确定为关注螺栓。确定部33，在存在多个时刻的第1位移以及第2位移的情况下，可以根据该多个时刻的第1位移以及第2位移，确定关注螺栓。
规定值，例如可以是标准偏差的定数倍(例如1倍或者2倍)。例如，确定部33，可以将位移相对于代表值发生了标准偏差的定数倍以上的不同的螺栓130确定为关注螺栓。此外，代表值可以是多个螺栓130的位移的平均值，也可以是中值(median)，也可以是抗差估计值。作为抗差估计值，有RANSAC(RANdom SAmple Consensus：随机抽样一致算法)估计值以及M估计值等。RANSAC估计值是指，从多个第1位移中通过RANSAC估计排除了异常值的影响的第1位移来算出的平均值或者中值。检测部32，从第1位移算出平均值或者中值，从而检测代表值。另外，在以后说明代表值是平均值的例子。
确定部33，可以在旋转角以及移动距离的每一个，确定关注螺栓。也就是，确定部33，例如根据多个螺栓130的旋转角的平均值(第2位移的一例)，与多个螺栓130的每一个的旋转角(第1位移的一例)，确定针对旋转的关注螺栓。此外确定部33，例如根据多个螺栓130的移动距离的平均值(第2位移的一例)，与多个螺栓130的每一个的移动距离(第1位移的一例)，确定针对移动的关注螺栓。换句话说，确定部33，针对关注螺栓，确定是在旋转角以及移动距离的哪一方与其他的螺栓130的动作不同。
确定部33，例如将确定关注螺栓的信息、和示出通过旋转以及移动的哪一方来确定为关注螺栓的信息，输出到输出部34。另外，平均值是指，将在同一时刻拍摄的多个螺栓130的位移进行了平均的值。在这个情况下，第1位移包括多个螺栓130的每一个的旋转角以及移动距离，第2位移包括多个螺栓130的每一个的旋转角以及移动距离的代表值。
针对旋转与其他的螺栓130的动作不同，且针对移动与其他的螺栓130的动作没有不同的螺栓130，是针对旋转的关注螺栓，例如该螺栓130有松动的可能性。此外，针对旋转与其他的螺栓130的动作没有不同、且针对移动与其他的螺栓130的动作不同的螺栓130，是针对移动的关注螺栓，例如，螺栓130没有松动，但是螺栓130与构造物110或者垫板120之间有可能产生了缝隙。换言之，螺栓130没有松动，但是螺栓130的垫板有可能发生了异常。此外针对旋转以及移动与其他的螺栓130的动作不同的螺栓130，例如是螺栓130松动、并且螺栓130的垫板有可能发生了异常。
这样，通过由确定部33分别对螺栓130的旋转以及移动进行检测，从而能够区分关注螺栓的异常模式(螺栓的松动或者垫板的异常等)。
确定部33，例如可以将位移相对于平均值、中值、以及抗差估计值(例如RANSAC估计值)的差大的1个以上的螺栓130确定为关注螺栓。确定部33，例如可以将位移相对于平均值的差最大的螺栓130确定为关注螺栓，也可以将位移相对于平均值的差大的规定数(例如3个)的螺栓130确定为关注螺栓。
另外，确定部33，并不限定于例如相对于平均值，中值、以及抗差估计值(例如，RANSAC估计值)的差来确定关注螺栓。确定部33，例如可以根据平均值、中值、抗差估计值与多个螺栓130的每一个的位移的比率来确定关注螺栓。确定部33，可以将比率最大或者最小的螺栓130确定为关注螺栓。此外，确定部33，也可以通过螺栓130的旋转方向或者移动方向的不同来确定关注螺栓。确定部33，例如可以将多个螺栓130中与其他的螺栓130的旋转方向不同的螺栓130，确定为关注螺栓。此外，确定部33，可以通过从3个以上的图像获得的第1位移以及第2位移的时间序列数据的比较，来确定关注螺栓。此外，确定部33，也可以通过所述确定方法的组合，从多个螺栓130中确定关注螺栓。
此外，确定部33，例如在垫板120上配置一样在相同的状况下配置的多个螺栓130中，确定关注螺栓。从而，与不是在相同的状况下配置的多个螺栓130确定关注螺栓的情况比较，能够提高确定部33的确定精度。
输出部34，输出由确定部33确定的结果。输出部34，以能够在多个螺栓130中知道有规定的位移的螺栓130的方式，输出结果。输出部34，可以向检查装置30的外部的装置(例如，显示装置)输出结果，检查装置30具备显示器等显示部的情况下，可以向该显示部输出结果。
输出部34，例如利用第1图像或者第2图像，以能够知道有规定的位移的螺栓130的方式输出结果。输出部34，可以在第1图像或者第2图像中重叠了示出多个螺栓130的每一个的异常程度的显示的图像，作为结果来输出。输出部34，例如可以将多个螺栓130的异常程度，用不同的颜色来显示。输出部34，例如将多个螺栓130的异常程度，作为围着螺栓130的框的颜色、或者螺栓130的透过色的不同来显示。另外，输出部34输出的结果不仅限于此，只要是能够知道有规定的位移的螺栓130的结果就可以。
存储部35是存储由检查装置30具备的各个处理部(例如检测部32以及确定部33)执行的控制程序的存储装置。此外，存储部35，也可以存储经由获得部31获得的运动图像等。存储部35，例如可以由半导体存储器等来实现。
如上所述，检查装置30，根据第1位移以及第2位移，换言之根据多个螺栓130的每一个的动作(旋转以及移动)的时间序列数据，从多个螺栓130中将与其他的螺栓的动作不同的螺栓确定为关注螺栓。也就是，检查装置30，针对螺栓130的旋转以及移动，不需要使用过去的数据(例如在现在之前拍摄的图像等)，通过现在拍摄的运动图像(或者第1图像以及第2图像)来确定关注螺栓。
[2.检查装置的动作]
下面关于检查装置30的动作，参考图3～图6进行说明。图3是示出本实施方式涉及的检查装置30的动作的流程图。另外，作为检查系统10的动作，在图3示出的步骤S10之前，包括摄像装置20拍摄多个螺栓130的摄像步骤。在摄像步骤中，例如拍摄包括对构造物110施加了荷载的期间的运动图像。
如图3所示，检查装置30，经由获得部31从摄像装置20获得拍摄了多个螺栓130的运动图像(S10)。检查装置30，可以从摄像装置20依次获得图像从而获得运动图像，也可以获得在规定的期间拍摄的运动图像。即，在步骤S10中，检查装置30，获得包括以相互不同的时刻拍摄了多个螺栓130的第1图像以及第2图像的多个图像。另外，检查装置30，也可以在摄像装置2 0的拍摄结束之后，从摄像装置20获得多个图像。
接着，检测部32，从运动图像中检测多个螺栓130的每一个的位移(S20)。关于检测部32进行的位移的检测，参考图4A以及图4B进行说明。图4A是示出在对构造物没有施加荷载时由摄像装置20拍摄的图像P1的图。在图4A示出的图像P1，例如是第1图像的一例。图4B是示出在对构造物110施加了荷载时由摄像装置20拍摄的图像P2的图。在图4B示出的图像P2，例如是第2图像的一例。换言之，图4A以及图4B示出构成获得部31获得的运动图像的多个图像中的第1图像以及第2图像。作为检测部32进行的检测位移的一例，利用第1图像以及第2图像进行说明。另外，在图像P1中的包括螺栓130b的横方向配置为一排的4个螺栓130，设为在纵方向(纸面上的上下方向)的位置相同。
检测部32，以图4A示出的图像P1中的多个螺栓130的每一个的角度(倾斜)以及位置为基准，检测图像P2中的多个螺栓130的每一个的角度以及位置的位移。即，检测部32，根据图像P1以及P2，检测多个螺栓130的每一个的旋转角以及移动距离。
在图4B示出的例子中，位于区域R1的螺栓130a，与图4A中的对应于区域R1的位置的螺栓130a相比，旋转了旋转角θ°。此外，位于区域R2的螺栓130b，与图4A中的对应于区域R2的位置的螺栓130b相比，移动了移动距离d。检测部32，作为螺栓130a的位移，检测旋转角θ，作为螺栓130b的位移，检测移动距离d。检测部32，以图像P1示出的多个螺栓130的角度以及位置为基准，在图像P2以外的时刻拍摄的图像中也检测位移。即，检测部32，根据图像P1以及P2，检测在多个时刻的多个螺栓130的每一个的旋转角以及移动距离。另外，移动距离d，例如以图像内的像素数来示出。此外，移动距离d与图4A以及图4B中的螺栓130b的中心c移动的距离相对应。
这里关于螺栓130的位移的时间序列数据参考图5A进行说明。图5是示出本实施方式涉及的螺栓130的位移的时间序列数据的图。图5A示出1个运动图像中的4个螺栓130c～130f的旋转角(位移的一例)的时间序列数据。此外，图5A示出的“有荷载”的期间表示对构造物110施加了荷载的时候，例如电车200通过构造物110的期间。另外，以下在不区分螺栓130c～130f进行说明的情况下，记为螺栓130。
如图5A所示，有荷载时的旋转角的位移产生了很大的差异。螺栓130c，在有荷载的期间，与其他的3个螺栓130d～130f的动作不同。在这样螺栓130c松动的情况下，在有荷载的期间，旋转角容易出现差。因此，检测部32，可以至少利用在有荷载时拍摄的图像(例如图像P2)，检测位移。从容易确定与其他的螺栓130的动作不同的螺栓130的观点上，运动图像优选的是在包括有荷载的期间进行拍摄。另外，检测部32，针对螺栓130的位移，也可以不包括在有荷载的期间拍摄的运动图像(或图像)来进行检测。螺栓130的位移，例如由电车200通过构造物110之前、以及通过之后拍摄的运动图像(或者图像)来进行检测。
检测部32，以图5A示出的运动图像中的某个时刻的图像为基准，检测多个螺栓130的每一个的位移。而且，检测部32，按每个时刻算出螺栓130c～130f的每一个的位移以及位移的平均值，从而检测第1位移以及第2位移。
再次参考图3，确定部33，根据位移，从多个螺栓130中确定与其他的动作不同的螺栓130(S30)。确定部33，例如在多个螺栓130中的1个螺栓130的位移，与多个螺栓130的位移的代表值即平均值的差为规定值以上的情况下，将该螺栓130确定为与其他的螺栓130的动作不同的螺栓130。确定部33，针对多个螺栓130的每一个，进行所述处理。
在此，关于由确定部33从多个螺栓130中确定与其他的螺栓130的动作不同的螺栓130，参考图5B进行说明。图5B是本实施方式涉及的螺栓130中的位移相对于平均值的差的图。具体而言，图5B是示出螺栓130c～130f中，螺栓130c的旋转角的位移相对于平均值的差的时间序列数据的图。另外，图5B示出的旋转角的位移的平均值是，将螺栓130c～螺栓130f的每一个的旋转角的位移按时刻进行平均的值。此外，图5B示出的上限基准值是将平均值和标准偏差的定数倍相加的值，下限基准值是从平均值减去标准偏差的定数倍的值。标准偏差，按每个时刻由该时刻的螺栓130c～130f的旋转角而被算出。另外，为了方便说明，平均值、上限基准值和下限基准值，用直线来示出。
如图5B所示可以知道在施加了荷载的期间，螺栓130c的旋转角，比起平均值有很大的不同。在有荷载的期间，螺栓130c，比起其他的螺栓130d～130f旋转得比较大。换言之，螺栓130c在有荷载的期间，与其他的螺栓130d～130f的动作不同。
确定部33，在超过上限基准值以及下限基准值的至少一方，换言之位移相对于平均值的差不在上限基准值以及下限基准值之间的情况下，将该螺栓130(在图5B中是螺栓130c)确定为与其他的螺栓130(图5A示出的螺栓130d～130f)的动作不同的关注螺栓。
确定部33，将在步骤S30确定的结果，换言之与螺栓130c有关的信息输出到输出部34。确定部33，例如可以在摄像装置20拍摄的图像包含的多个螺栓130中，在步骤S30确定的螺栓130c附上规定的记号的图像输出到输出部34，也可以将示出在步骤S30确定的螺栓130c在多个螺栓130中的位置的信息输出到输出部34。此外，确定部33，也可以将示出与其他的动作不同的螺栓130c存在的信息输出到输出部34。另外，确定部33，可以将输出到输出部34的信息存储在存储部35。
而且，输出部34，对在步骤S30中由确定部33确定的结果进行输出(S40)。输出部34，可以在检查装置30具备显示部的情况下向该显示部输出确定的结果，也可以向检查装置30的外部的显示装置输出确定的结果。
另外，在上述中说明了检测部32检测第1位移以及第2位移的双方的例子，但是不限于此。检测部32，至少检测第1位移就可以。而且，确定部33，可以根据第1位移来确定关注螺栓。确定部33，例如可以从第1位移中将位移与其他的螺栓130的位移不同的螺栓130确定为关注螺栓。在第1位移是旋转角的情况下，确定部33，例如可以从第1位移中，将旋转角最大的螺栓130确定为关注螺栓。
如上所述，检查装置30，是对紧固构造物110的多个螺栓130(紧固部件的一例)进行检查的检查装置。检查装置30具备：获得部31，获得以相互不同的时刻拍摄了多个紧固部件130的图像P1(第1图像的一例)以及图像P2(第2图像的一例)；检测部32，根据图像P1以及图像P2，检测第1位移，所述第1位移是多个紧固部件的每一个的位移；以及确定部33，根据第1位移，从多个螺栓130中确定螺栓130a和130b(参考图4A以及图4B)，该螺栓130a和130b是与其他的螺栓130的动作不同的螺栓。
从而，检查装置30根据多个螺栓130中的相对的动作，确定有异常的可能性的螺栓130(例如松动的螺栓130)。换言之，检查装置30，即使没有预先获得成为参考的数据，也能够确定有异常的可能性的螺栓130。因此，检查装置30，即使没有例如旋转几度以上就有异常的可能性等明确的判断基准，也能够确定有异常的可能性的螺栓130。因而，本公开的一个方式涉及的检查装置30，能够简便地检查紧固构造物110的多个螺栓130。
所述检查装置30，即使没有针对多个螺栓130的每一个的位移进行绝对值判断的基准(参考)，也能够确定发生了松动的关注螺栓。换言之，检查装置30，即使没有根据绝对值的判断基准(例如旋转5°以及移动5mm以上等的判断基准)，也能够确定发生了松动的关注螺栓。
另外，说明了检测部32以图像P1为基准，换言之对构造物110没有施加荷载时由摄像装置20拍摄的图像(例如第1图像)为基准的例子，但是不限于此。检测部32，例如可以以图像P2为基准，换言之对构造物110施加了荷载时由摄像装置20拍摄的图像(例如第2图像)为基准来检测位移。检测部32，例如以构成摄像装置20拍摄的运动图像的多个图像中的1个图像为基准，检测位移。
另外以上说明了确定部33通过利用标准偏差而决定的规定值，来确定与其他的螺栓130的动作不同的螺栓130的例子，但是规定值不限定于利用标准偏差来决定。规定值，可以按照螺栓130的形状来决定。规定值，例如可以根据螺栓130的尺寸来决定。在规定值的决定时使用的螺栓130的尺寸，例如可以是形成螺栓130的螺纹的轴部、以及设置在该轴部的一端的头部中，摄像装置20拍摄的部分的尺寸。在摄像装置20拍摄螺栓130的头部的情况下(参考图4A等)，规定值可以按照螺栓130的头部的尺寸来决定。图6是本实施方式涉及的存储部35存储的包括螺栓130的尺寸的表T。
如图6所示，存储部35，将螺栓130的种类、螺栓130的尺寸、以及规定值建立了对应来存储。关于螺栓130的种类(图6中示出的A，B)，在螺栓130是六角螺栓的情况下，可以是螺栓130的规格名(例如M33等)。关于螺栓130的尺寸(图6中示出的50mm，70mm)，在螺栓130是六角螺栓的情况下，例如是头部对边尺寸。规定值例如是根据螺栓130的尺寸预先设定的值(图6中示出的5mm，7mm)。另外，表T只要包括螺栓的种类以及螺栓的尺寸中的至少一方就可以。
检测部32，在摄像装置20拍摄的运动图像中，根据构成螺栓130的像素数与存储在存储部35的表T，作为螺栓130的位移，检测螺栓130移动的移动距离d、换言之螺栓130在实际设置的空间中移动的距离(例如，实际尺寸距离)。检测部32，基于按照多个螺栓130的每一个检测出的实际尺寸距离，算出平均值。
确定部33，从存储部35读出基于由摄像装置20拍摄的螺栓130的种类的规定值，根据读出的规定值与平均值，设定上限基准值以及下限基准值。上限基准值，例如将平均值与读出的规定值相加来设定。此外，下限基准值，例如从平均值减去读出的规定值来设定。
确定部33，关于螺栓130的移动，确定与其他的螺栓130的动作不同的螺栓130的情况下，通过上限基准值，将螺栓130的上方向(例如铅直上方)的移动与其他的螺栓130的动作不同的螺栓130，确定为关注螺栓。此外，确定部33，通过下限基准值，将螺栓130的下方向(例如铅直下方)的移动与其他的螺栓130的动作不同的螺栓130，确定为关注螺栓。另外，检查装置30，例如可以从检查员获得螺栓130的种类，也可以对拍摄了螺栓130的图像进行图像分析，从而根据设置在螺栓130的用于确定该螺栓130的信息(例如在头部设置的示出螺栓130的种类等的凹凸)，来获得螺栓130的种类。
如上所述，检查装置30，通过螺栓130的实际尺寸值信息，能够检测出螺栓130的移动距离的实际尺寸。确定部33，利用按照螺栓130的尺寸而设定的上限基准值以及下限基准值，能够确定与其他的动作不同的螺栓130。换言之，提高确定部33确定关注螺栓的精度。此外，检查装置30，即使根据从摄像装置20获得的运动图像不知道实际尺寸的情况下，能够通过所述方法利用实际尺寸来确定动作与其他的螺栓不同的螺栓130。
另外，确定部33，只要根据螺栓130的尺寸能够确定动作与其他不同的螺栓130就可以，也可以利用螺栓130的尺寸进行规定的运算从而算出规定值。
另外，在上述中多个螺栓130隔着1张垫板120来紧固构造物110，但是不限于此。关于螺栓130紧固构造物110的方法，参考图7A以及图7B进行说明。图7A是摄像装置20拍摄的紧固部分100的其他的一例。图7B是摄像装置20拍摄的紧固部分100的另外的其他的一例。
如图7A所示，构造物110，例如可以不隔着垫板120来紧固多个螺栓130(紧固部件的一例)。而且，摄像装置20例如拍摄不隔着垫板120来紧固构造物110的多个螺栓130。换言之，摄像装置20拍摄在相同的状况下被设置的多个螺栓130。
检查装置30，从摄像装置20获得拍摄了不包含垫板120的紧固部分100的多个图像。检查装置30，从没有隔着垫板120紧固构造物110的多个螺栓130中，将与其他的螺栓130的动作不同的螺栓130，确定为关注螺栓。
此外，例如图7B所示，在紧固部分100中，构造物110也可以隔着多个垫板(例如第1垫板120a和第2垫板120b)由多个螺栓130来紧固。而且，摄像装置20，例如拍摄隔着多个垫板紧固构造物110的多个螺栓130。换言之，摄像装置20，拍摄被设置在相同的状况下的多个螺栓130。
检查装置30，从摄像装置20获得拍摄了包括多个垫板的紧固部分100的多个图像。检查装置30，从隔着多个垫板紧固构造物110的多个螺栓130中，将与其他的螺栓130的动作不同的螺栓130，确定为关注螺栓。
在这个情况下，检查装置30，可以按多个垫板的每一个，从在该垫板上配置的多个螺栓130中，将与其他的螺栓130的动作不同的螺栓130，确定为关注螺栓，也可以在多个垫板的每一个上设置的多个螺栓130的全部中，将与其他的螺栓130的动作不同的螺栓130，确定为关注螺栓。另外，第1垫板120a以及第2垫板120b的形状，可以相同，也可以不同。
(实施方式的变形例)
以下，关于本变形例涉及的检查装置30等，参考图8A以及图8B进行说明。另外，检查装置30的构成与实施方式相同，所以省略说明。在本变形例中说明如图8A以及图8B所示的构造物110的整体，换言之紧固部分100整体进行动作的一例即旋转的情况。图8A是示出在构造物110整体动作之前由摄像装置20拍摄的图像P3的图。图8B是示出在构造物110整体动作时由摄像装置20拍摄的图像P4的图。图像P3例如是第1图像的一例，图像P4例如是第2图像的一例。在图8B中示出，从图8A的状态，紧固部分100的整体动作(旋转)的样子。
另外，紧固部分100的整体动作，例如由于向构造物110施加荷载(例如电车200通过构造物110时的荷载)从而构造物110弯曲、或者摄像装置20振动等而产生。
获得部31，从摄像装置20获得包括垫板120的图像。换言之，多个图像的每一个图像是，包括垫板120的图像。
检测部32，以图8A示出的图像P3中的多个螺栓130的每一个的角度(倾斜)以及位置作为基准，对图8B示出的图像P4中的多个螺栓130的每一个的角度以及位置的位移进行检测。此时，根据图像P3以及P4检测出的位移，包括由于紧固部分100整体的动作而引起的位移。于是检测部32，不让紧固部分100的整体的动作，给螺栓130的位移的检测带来影响。检测部32，通过对紧固部分100的整体的动作进行校正，从而不使紧固部分100的整体的动作给位移的检测带来影响。
检测部32，例如根据图像P3的垫板120与图像P4的垫板120，检测紧固部分100整体的支配性动作(旋转以及移动)，通过将该支配性动作针对多个螺栓130的每一个的位移进行运算，从而检测螺栓130本身的位移。这里说的运算是指，例如从多个螺栓130的每一个的位移，除去紧固部分100整体的位移的处理。
检测部32对紧固部分100整体的动作进行检测的方法，没有特别限定，可以适用抖动校正(例如手抖动校正)中使用的技术。检测部32，可以例如根据图像P3的垫板120与图像P4的垫板120的差分算出运动矢量，按照算出的运动矢量，对多个螺栓130的每一个的位移进行校正。
运动矢量，例如可以将1帧的图像分为多个窗(比1帧的图像小的小区域)，以窗单位来获得。多个窗的每一个是包括垫板120的至少一部分的区域。换言之，运动矢量可以在1张图像中被设定多个。从而，检测部32，即使在多个螺栓130中，由于紧固部分100整体的移动引起的位移有不同的情况下，也能够恰当地进行校正。
此外，运动矢量，可以是根据多个窗的每一个获得的运动矢量算出的1个运动矢量。换言之，运动矢量，可以在1张图像中设定1个。从而，检测部32，能够对紧固部分100整体的支配性动作进行校正。
如上所述，检测部32，在多个螺栓130(紧固部件的一例)以及垫板120的整体(例如紧固部分100整体)移动的情况下，按照垫板120的移动，对多个螺栓130的每一个的位移进行校正。换言之，对第1位移以及第2位移进行校正。
从而，确定部33，即使在紧固部分100整体动作的情况下，也能够进一步在其中确定与其他的螺栓130的动作不同的螺栓130。
另外，在紧固部分100整体的动作，与螺栓130自身的动作中，紧固部分100整体的动作较大。因此，对紧固部分100整体的动作进行校正的情况下，从抑制S/N的低下的观点上，可以使用3张以上的图像。也就是使用基于被校正了紧固部分100整体的动作的3张以上的图像的、位移的时间序列数据，从而即使对紧固部分100整体的动作进行校正的情况下，也能够高精度地确定关注螺栓。
(其他实施方式)
以上针对本公开的1个或多个方案涉及的检查装置以及检查方法，基于实施方式以及变形例(以后也记为实施方式等)进行了说明，但是本公开不限定于这些实施方式等。在不超出本公开的宗旨的范围内，将本领域技术人员想出的各种变形实施在本实施方式、或者将不同实施方式中的构成要素进行组合构筑的形式，也包括在本公开的一个或多个方案的范围内。
例如，在所述实施方式等，检查装置不具有摄像装置，但是也可以具有摄像装置。在这个情况下摄像装置，可以作为检查装置的一部分即摄像部来发挥作用。此外，检查装置包括的多个功能构成(获得部、检测部、确定部以及输出部等)，可以由分布式计算或者云计算来实现。
此外，在所述实施方式等说明了上限基准值与平均值的差分(也记为第1规定值)，以及下限基准值与平均值的差分(也记为第2规定值)相等的例子，但是第1规定值与第2规定值可以是不同的值。
此外，在所述变形例中说明了在多个螺栓以及垫板的整体(例如紧固部分整体)移动的情况下，对第1位移以及第2位移的双方进行校正的例子，但是至少校正第1位移就可以。第2位移可以从被校正的第1位移来算出。
此外，上述实施方式等的检查装置具备的构成要素的一部分或者全部，可以由1个系统LSI(Large Scale Integration：大规模集成电路)来构成。例如，检查装置可以由具有获得部、检测部、确定部、输出部的系统LSI构成。
系统LSI是将多个构成部集成在1个芯片上来制造的超多功能LSI，具体而言是包括微处理机，ROM(Read Only Memory)，RAM(Random Access Memory)等构成的计算机系统。ROM记录有计算机程序。微处理机，按照计算机程序动作，从而系统LSI达成其功能。
此外，在这里称为系统LSI，但是根据集成度的不同，也可以称为IC、LSI、超大LSI、特大LSI。此外，集成电路化的方法不限于LSI，可以用专用电路或者通用处理器来实现。也可以使用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者可重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而，随着半导体技术的进步或者派生出的别的技术，出现能够替代LSI的集成电路化技术时，当然可以使用该技术进行功能块的集成化。有可能适用生物技术等。
此外，本公开的一个方案可以不是这样的检查装置，也可以是以检查装置包括的有特征的构成部作为步骤的检查方法。此外，本公开的一个方案，也可以是使计算机执行检查方法包括的有特征的各个步骤的计算机程序。此外，本公开的一个方案，也可以是记录了那样的计算机程序的计算机可读取的非暂时记录介质。
另外，在所述各个实施方式等，各个构成要素可以由专用的硬件来构成，或者通过执行适合各个构成要素的软件程序来实现。各个构成要素，可以由CPU或处理器等程序执行部，读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。
产业上的可利用性
本公开可以广泛利用于对构造物的连接部分进行检查的检查装置。
符号说明
10 检查系统
20 摄像装置
30 检查装置
31 获得部
32 检测部
33 确定部
34 输出部
35 存储部
100 紧固部分
110 构造物
120 垫板
120a 第1垫板
120b 第2垫板
130，130a～130f 螺栓(紧固部件)
200 电车
θ 旋转角
c 中心
d 移动距离
P1，P3 图像(第1图像)
P2，P4 图像(第2图像)
R1，R2 区域

Claims (14)

1.一种检查装置，对紧固构造物的多个紧固部件进行检查，所述检查装置具备：
获得部，获得多个图像，所述多个图像包括以相互不同的时刻拍摄了所述多个紧固部件的第1图像以及第2图像；
检测部，根据所述第1图像以及所述第2图像，检测第1位移，所述第1位移是所述多个紧固部件的每一个的位移；以及
确定部，根据所述第1位移，从所述多个紧固部件中确定关注紧固部件，所述关注紧固部件是与其他的紧固部件的动作不同的紧固部件。
2.如权利要求1所述的检查装置，
所述第1图像以及所述第2图像的至少一方是，在对所述构造物施加了荷载时拍摄的图像。
3.如权利要求1或2所述的检查装置，
所述检测部，还检测第2位移，所述第2位移是所述多个紧固部件的每一个的位移的代表值，
所述确定部，还根据所述第2位移，确定所述关注紧固部件。
4.如权利要求3所述的检查装置，
所述多个图像包括3个以上的图像，所述3个以上的图像包括所述第1图像以及所述第2图像，
所述检测部，根据所述多个图像，检测多个时刻的所述第1位移以及所述第2位移，
所述确定部，根据所述多个时刻的所述第1位移以及所述第2位移，确定所述关注紧固部件。
5.如权利要求3或4所述的检查装置，
所述多个紧固部件，隔着垫板来紧固所述构造物，
所述多个图像的每一个图像是，还包括所述垫板的图像，
所述检测部，在所述多个紧固部件以及所述垫板的整体发生了位移的情况下，按照所述垫板的位移，对所述第1位移进行校正。
6.如权利要求3至5的任一项所述的检查装置，
所述确定部，从所述多个紧固部件中，将所述第1位移相对于所述第2位移发生了规定值以上的位移的紧固部件，确定为所述关注紧固部件。
7.如权利要求6所述的检查装置，
所述第2位移是所述多个紧固部件的每一个的所述第1位移的平均值或者中值，
所述规定值，根据所述多个紧固部件的每一个的所述第1位移的标准偏差而被决定。
8.如权利要求6所述的检查装置，
所述第2位移是所述多个紧固部件的每一个的所述第1位移的平均值或者中值，
所述规定值，根据所述多个紧固部件的尺寸而被决定。
9.如权利要求7或8所述的检查装置，
所述平均值或者所述中值，通过抗差估计而被算出。
10.如权利要求3至9的任一项所述的检查装置，
所述第1位移包括所述多个紧固部件的每一个的旋转角以及移动距离中的一方，
所述第2位移包括所述多个紧固部件的每一个的旋转角以及移动距离中的所述一方的代表值。
11.如权利要求3至9的任一项所述的检查装置，
所述第1位移包括所述多个紧固部件的每一个的旋转角以及移动距离，
所述第2位移包括所述多个紧固部件的每一个的旋转角以及移动距离的代表值，
所述确定部，在所述关注紧固部件中，进一步确定是在所述旋转角以及所述移动距离的哪一方与所述其他的紧固部件的动作不同。
12.如权利要求1至11的任一项所述的检查装置，
所述多个图像是构成运动图像的图像，所述运动图像由一次的拍摄动作而被拍摄。
13.如权利要求1至12的任一项所述的检查装置，
所述检查装置还具备摄像部，该摄像部用于拍摄所述多个图像。
14.一种检查方法，对紧固构造物的多个紧固部件进行检查的检查装置的检查方法，所述检查方法包括：
获得步骤，获得多个图像，所述多个图像包括以相互不同的时刻拍摄了所述多个紧固部件的第1图像以及第2图像；
检测步骤，根据所述第1图像以及所述第2图像，检测第1位移，所述第1位移是所述多个紧固部件的每一个的位移；以及
确定步骤，根据所述第1位移，从所述多个紧固部件中确定关注紧固部件，所述关注紧固部件是与其他的紧固部件的动作不同的紧固部件。
CN201980044178.7A 2018-08-30 2019-06-12 检查装置以及检查方法 Pending CN112352148A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018161683 2018-08-30
JP2018-161683 2018-08-30
PCT/JP2019/023209 WO2020044725A1 (ja) 2018-08-30 2019-06-12 検査装置及び検査方法

Publications (1)

Publication Number Publication Date
CN112352148A true CN112352148A (zh) 2021-02-09

Family

ID=69644177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044178.7A Pending CN112352148A (zh) 2018-08-30 2019-06-12 检查装置以及检查方法

Country Status (5)

Country Link
US (1) US20210104033A1 (zh)
EP (1) EP3845889A4 (zh)
JP (1) JPWO2020044725A1 (zh)
CN (1) CN112352148A (zh)
WO (1) WO2020044725A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627059A (zh) * 2022-02-27 2022-06-14 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法
CN117036360A (zh) * 2023-10-10 2023-11-10 深圳市磐锋精密技术有限公司 基于图像分析的螺丝视觉定位方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220178399A1 (en) * 2019-03-26 2022-06-09 Salunda Limited Fastener assembly sensor unit
CN112419299B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院（深圳）有限公司 一种螺栓缺失检测方法、装置、设备及存储介质
JP7506006B2 (ja) 2021-02-22 2024-06-25 東海旅客鉄道株式会社 ボルトの緩み判定システム
CN113639685B (zh) * 2021-08-10 2023-10-03 杭州申昊科技股份有限公司 位移检测方法、装置、设备和存储介质
JP7381708B1 (ja) * 2022-12-23 2023-11-15 楽天グループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132215A (ja) * 1997-10-27 1999-05-18 Nippon Signal Co Ltd:The 締結具の締結確認装置
JP2006317288A (ja) * 2005-05-12 2006-11-24 Central Japan Railway Co ボルト高さ測定方法、ボルト緩み判定方法、ボルト高さ測定装置、およびボルト緩み検出装置
JP2008224631A (ja) * 2007-03-15 2008-09-25 Kawasaki Heavy Ind Ltd 鉄道レール締結ボルト緩み検査装置
JP2009210276A (ja) * 2008-02-29 2009-09-17 Mitsubishi Heavy Ind Ltd 締結具の緩み検出システム及び緩み検出方法
CN202166619U (zh) * 2011-07-26 2012-03-14 武汉点线科技有限公司 一种钢板表面质量检测装置
JP2012103009A (ja) * 2010-11-05 2012-05-31 Panasonic Electric Works Sunx Co Ltd 位置変動監視装置およびこれを含む位置変動監視システム
CN106683075A (zh) * 2016-11-22 2017-05-17 广东工业大学 一种输电线杆塔横担处螺栓缺陷检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278116A (ja) 1995-04-07 1996-10-22 Central Japan Railway Co ボルト緩み検査方法及びボルト緩み検査装置
JP4134352B2 (ja) * 1996-05-27 2008-08-20 西日本旅客鉄道株式会社 レール締結緩み等の検知装置及び検知方法
JP2004132881A (ja) * 2002-10-11 2004-04-30 Mitsubishi Heavy Ind Ltd 配列構造物の検査方法
JP5283548B2 (ja) * 2009-03-27 2013-09-04 川崎重工業株式会社 鉄道レール締結緩み検査装置及び方法
JP5751630B2 (ja) * 2011-12-27 2015-07-22 Kddi株式会社 検査補助装置及び方法
JP6032812B2 (ja) * 2013-02-19 2016-11-30 Kddi株式会社 検査補助装置
CN114034265B (zh) * 2015-10-06 2024-03-15 实耐宝公司 具有提高的便携性的自校准车轮对准器
US10062176B2 (en) * 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
JP6687969B2 (ja) * 2016-07-28 2020-04-28 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132215A (ja) * 1997-10-27 1999-05-18 Nippon Signal Co Ltd:The 締結具の締結確認装置
JP2006317288A (ja) * 2005-05-12 2006-11-24 Central Japan Railway Co ボルト高さ測定方法、ボルト緩み判定方法、ボルト高さ測定装置、およびボルト緩み検出装置
JP2008224631A (ja) * 2007-03-15 2008-09-25 Kawasaki Heavy Ind Ltd 鉄道レール締結ボルト緩み検査装置
JP2009210276A (ja) * 2008-02-29 2009-09-17 Mitsubishi Heavy Ind Ltd 締結具の緩み検出システム及び緩み検出方法
JP2012103009A (ja) * 2010-11-05 2012-05-31 Panasonic Electric Works Sunx Co Ltd 位置変動監視装置およびこれを含む位置変動監視システム
CN202166619U (zh) * 2011-07-26 2012-03-14 武汉点线科技有限公司 一种钢板表面质量检测装置
CN106683075A (zh) * 2016-11-22 2017-05-17 广东工业大学 一种输电线杆塔横担处螺栓缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TUAN-CUONG NGUYENA: "Bolt-loosening identification of bolt connections by vision image-based technique", SPIE, vol. 9804, 8 April 2016 (2016-04-08), pages 1 - 17 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627059A (zh) * 2022-02-27 2022-06-14 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法
CN114627059B (zh) * 2022-02-27 2022-12-13 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法
CN117036360A (zh) * 2023-10-10 2023-11-10 深圳市磐锋精密技术有限公司 基于图像分析的螺丝视觉定位方法及系统
CN117036360B (zh) * 2023-10-10 2024-01-16 深圳市磐锋精密技术有限公司 基于图像分析的螺丝视觉定位方法及系统

Also Published As

Publication number Publication date
EP3845889A1 (en) 2021-07-07
JPWO2020044725A1 (ja) 2021-08-12
EP3845889A4 (en) 2021-10-27
US20210104033A1 (en) 2021-04-08
WO2020044725A1 (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
CN112352148A (zh) 检查装置以及检查方法
JP6737638B2 (ja) 鉄道車両の外観検査装置
WO2018043251A1 (ja) 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体
US20150055754A1 (en) X-ray inspection method and x-ray inspection device
US10909365B2 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
KR101018518B1 (ko) 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법
JP2019003574A (ja) 変化検出装置及び鉄道設備部品の保守管理方法
EP4015990A1 (en) Image processing device
US11796481B2 (en) Inspection device and inspection method
US20220082460A1 (en) Stress analysis device for moving body
KR20190079317A (ko) 머신 비전 장치 및 머신 비전을 이용한 제품 검사 방법
JP6410459B2 (ja) 画像検査方法、および画像検査装置
US11913889B2 (en) Prediction device for predicting a growth direction of a crack in a subject and prediction method
WO2019176464A1 (ja) 検査装置及び検査方法
KR20160067303A (ko) 실러 도포 품질 검사 장치 및 이를 이용한 실러 도포 품질 검사 방법
JP7382604B2 (ja) 検出装置及び検出方法
JP5846093B2 (ja) 形状測定装置
JP4983617B2 (ja) コンテナ車両危険度検査装置
CN116007518A (zh) 基于机器视觉的隔震结构支座形变监测方法、装置及计算机设备
JP5742595B2 (ja) 動き検出装置
JP2020064465A (ja) 画像評価方法、画像評価装置、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination