CN112513564A - 信息处理设备、系统、方法和计算机可读介质 - Google Patents

信息处理设备、系统、方法和计算机可读介质 Download PDF

Info

Publication number
CN112513564A
CN112513564A CN201980049947.2A CN201980049947A CN112513564A CN 112513564 A CN112513564 A CN 112513564A CN 201980049947 A CN201980049947 A CN 201980049947A CN 112513564 A CN112513564 A CN 112513564A
Authority
CN
China
Prior art keywords
information processing
motion
displacement
processing apparatus
measurement target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980049947.2A
Other languages
English (en)
Inventor
太田雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN112513564A publication Critical patent/CN112513564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0008—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of bridges
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0041—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress
    • G01M5/005—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems
    • G01M5/0058—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems of elongated objects, e.g. pipes, masts, towers or railways
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Image Analysis (AREA)
  • Bridges Or Land Bridges (AREA)

Abstract

目的在于以低成本提供有助于确定对结构进行支撑的支撑构件的稳固性的信息。信息处理设备(10)包括位移计算装置(11)和运动估计装置(12)。位移计算装置(11)获取通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像。位移计算装置(11)根据所获取的时间序列图像，计算测量对象区域的三维位移。运动估计装置(12)基于测量对象区域的三维位移，估计结构中的支撑构件的运动。

Description

信息处理设备、系统、方法和计算机可读介质
技术领域
本公开涉及信息处理设备、系统、方法和计算机可读介质，更具体地，涉及可以用于通过使用捕获的图像来掌握对象的状况的信息处理设备、系统、方法和计算机可读介质。
背景技术
在桥梁中，被构造为轴承、接头(伸缩接头)、固定端部等的大梁端部构件是损伤容易集中的地方，因此需要适当的操作和维护。根据检验手册，有必要进行目视检验并且确定轴承、接头等的功能是否得到维护。
当进行目视检验时，工人需要靠近大梁端部，并且在某些情况下需要高空作业车辆或桥梁检验车辆以使工人靠近大梁端部。因此，对于大梁端部的操作和维护，在成本方面存在待解决的问题，例如车辆和操作员布置成本、车道关闭的文书工作、车道关闭成本以及收入机会的损失。对于大梁端部的操作和维护，在安全方面也存在待解决的问题，例如工人的安全。
专利文献1公开了一种通过使用接触传感器来确定轴承的稳固性的方法。在专利文献1中，接触传感器被置于轴承的多个预定位置处，并且收集由接触传感器测量的移动量。具体而言，通过四个应变仪收集滚子轴承中的上板的沿桥轴方向的移动量、滚子轴的沿桥轴方向的移动量、下板的沿桥轴方向的移动量以及上板与下板之间的变动距离。在专利文献1中，通过计算这些测得的移动量之间的差和各个差的比例来确定轴承的稳固性。
专利文献2公开了一种用于结构的状况确定设备。在专利文献2公开的状况确定设备中，位移计算单元根据在结构表面上施加载荷之前和之后的时间序列图像，来计算时间序列图像的位移的二维空间分布。校正量计算单元根据时间序列图像的位移的二维空间分布来计算校正量，该校正量是基于由施加载荷引起的结构表面上的沿法线方向的移动量的。位移校正单元从时间序列图像的二维空间分布中减去校正量，从而提取结构表面上的位移的二维空间分布。异常确定单元基于结构表面上的位移的二维空间分布与预先给定的位移的空间分布之间的比较来识别结构的缺陷。
引用列表
专利文献
专利文献1：第2893018号日本专利
专利文献2：WO2016/152075号国际专利公开
发明内容
专利文献1允许无需目视检验而确定轴承的稳固性。但是，由于在专利文献1中接触传感器是安装在轴承上的，因此必须靠近轴承至少一次。因此，在专利文献1中，在某些情况下需要高空作业车辆等，在成本和安全方面仍然存在问题。
专利文献2使用由成像设备捕获的时间序列图像，不需要使用高空作业车辆等。然而，尽管在专利文献2中可以识别出诸如在结构内部发生的空腔和在表面上发生的裂纹等的缺陷，但是难以直接捕获诸如轴承之类的对结构进行支撑的支撑构件的图像，并且无法确定支撑构件的稳固性。
本公开的目的在于提供信息处理设备、系统、方法和计算机可读介质，其能够以低成本提供有助于确定对结构进行支撑的支撑构件的稳固性的信息。
为了解决上述问题，本公开提供了一种信息处理设备，该信息处理设备包括：位移计算装置，用于根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算测量对象区域的三维位移；以及运动估计装置，用于基于测量对象区域的三维位移，估计结构中的支撑构件的运动。
此外，本公开提供了一种信息处理系统，该信息处理系统包括：信息处理设备，被配置为根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算测量对象区域的三维位移，并且基于计算出的测量对象区域的三维位移，估计结构中的支撑构件的运动；信息存储设备，被配置为从信息处理设备获取所估计的结构的运动并且存储该运动；以及信息显示设备，被配置为从信息存储设备获取所估计的结构的运动并且显示该运动。
本公开提供了一种信息处理方法，该信息处理方法包括：根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算测量对象区域的三维位移；以及基于测量对象区域的三维位移，估计结构中的支撑构件的运动。
本公开提供了一种存储程序的计算机可读介质，该程序使计算机执行以下处理：根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算测量对象区域的三维位移；以及基于测量对象区域的三维位移，估计结构中的支撑构件的运动。
根据本公开的信息处理设备、系统、方法和计算机可读介质能够以低成本提供有助于确定对结构进行支撑的支撑构件的稳固性的信息。
附图说明
图1是示意性地示出根据本公开的信息处理设备的框图。
图2是示出根据本公开的第一示例实施例的信息处理设备的框图。
图3是示出结构与成像设备之间的位置关系的图。
图4是示出桥梁与两个成像设备之间的位置关系的图。
图5是示出根据时间序列图像计算出的各个时刻的位移的图。
图6是示出根据时间序列图像计算出的各个时刻的位移的图。
图7是示出桥梁旋转的状态的图。
图8是示出信息处理设备中的操作过程的流程图。
图9是示出根据本公开的第二示例实施例的信息处理系统的框图。
图10是示出根据变形例的信息处理系统的框图。
图11是示出计算机设备的框图。
具体实施方式
在描述本公开的示例实施例之前，将描述本公开的概要。图1示意性地示出了根据本公开的信息处理设备。信息处理设备10包括位移计算装置11和运动估计装置12。
通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像被输入到位移计算装置11。位移计算装置11根据时间序列图像来计算测量对象区域的三维位移。运动估计装置12基于由位移计算装置11计算出的测量对象区域的三维位移，估计结构中的支撑构件的运动。
在本公开中，基于根据时间序列图像计算出的三维位移来估计结构中的支撑构件的运动。所估计的支撑构件的运动可以作为有助于确定对结构进行支撑的支撑构件的稳固性的信息而提供。在本公开中，使用时间序列图像来估计结构的支撑构件的运动，与专利文献1不同，不需要将接触传感器安装在支撑构件上。因此，根据本公开的信息处理设备能够以低成本提供有助于确定对结构进行支撑的部分的稳固性的信息。
以下参考附图来描述本公开的示例实施例。图2示出根据本公开的第一示例实施例的信息处理设备。信息处理设备100包括位移计算单元101、运动估计单元104和状况确定单元105。信息处理设备100连接到成像设备200。信息处理设备100从成像设备200获取通过捕获结构250的测量对象区域的图像而获得的时间序列图像。在该示例实施例中，结构250例如是基础设施结构，诸如以桥梁为代表的梁结构、道路、建筑物或设备等。
图3示出了结构250与成像设备200之间的位置关系。结构250例如包括桥梁的主梁。结构(桥梁)250通过支撑构件271至273由下部结构(桥台或桥墩)261至263支撑。此外，桥梁250的上表面侧通过接头(伸缩接头)281和282连接到两端的下部结构(桥台)261和263。支撑构件271至273是诸如线轴承、轴承板、销轴承、枢轴轴承或橡胶轴承之类的轴承。支撑构件271至273中的至少一个可以固定到桥梁的下部结构。
在该示例实施例中，成像设备200被置于桥梁250下方并且捕获下表面(例如，桥梁的大梁或平板)的指定区域(测量对象区域)的图像。例如，成像设备200被置于距桥台261的端部距离a1处。例如，在安装成像设备200之后测量距离a1。可替代地，可以通过使用夹具将成像设备200置于距桥台261的端部预定距离a1处。当从桥台261的端部到支撑构件(轴承)271的中心位置的距离是a2时，沿桥轴方向从成像设备200到轴承271的中心的距离是a1+a2。例如，距离a2根据设计图等来计算。可替代地，可以根据轴承271被置于其上的桥台或桥墩的宽度来设置距离a2。例如，在连续大梁的情况下，距离a2可以被设置为桥墩等的宽度的1/2。在大梁端部的情况下，距离a2可以被设置为桥墩等的宽度的1/3。
此外，假设从成像设备200的透镜的主点到测量对象区域的距离是距离L。当某种外力施加到桥梁250上时或当车辆在桥梁250上驶过时，桥梁250中会发生弯曲等。还假设桥梁250存在于景深的范围内，即使当桥梁250在竖直方向上位移时，也会在成像设备200的图像传感器上形成桥梁250的图像。
例如，通过使用诸如三脚架之类的固定夹具将成像设备200安装在地面上。可替代地，可以通过使用固定夹具将成像设备200安装在桥台261上。成像设备200的安装方法、成像方向等没有特别限制，只要已知从成像设备200到地面或桥墩的距离以及与地面或桥墩的角度即可。
在下文中，假设以这样的方式放置成像设备200，即成像方向平行于竖直方向，并且光接收表面平行于测量对象区域。在这种情况下，成像设备200中包括的图像传感器的光接收表面的法线平行于测量对象区域的法线，并且所捕获的时间序列图像中的二维方向(时间序列图像的水平方向和时间序列图像的垂直方向)平行于测量对象区域的平面方向。测量对象区域的平面方向是指与构成桥梁250上的测量对象区域的平面平行的方向。在下面的描述中，时间序列图像的水平方向被称为X方向，时间序列图像的垂直方向被称为Y方向，测量对象区域的法线方向(竖直方向)被称为Z方向。X方向平行于桥轴方向，Y方向平行于与桥轴方向垂直的方向(桥轴垂直方向)，Z方向平行于竖直方向。
注意，在该示例实施例中，结构250不限于基础设施结构，只要它涉及在三维方向上的运动即可。此外，尽管图2和图3中示出了要由成像设备200捕获其图像的测量对象区域是垂直于竖直方向的区域的示例，但是不限于此。例如，成像设备200可以捕获平行于竖直方向的区域(例如桥梁栏杆)的图像。
位移计算单元101从成像设备200获取时间序列图像，并且基于所获取的时间序列图像计算桥梁250的测量对象区域的三维位移。位移计算单元101计算沿桥梁250的法线方向(Z方向)的位移和沿垂直于法线方向的平面中彼此正交的两个方向(X方向和Y方向)的位移。位移计算单元101等效于图1中的位移计算装置11。
位移计算单元101包括平面内位移计算单元102和法线方向位移计算单元103。平面内位移计算单元102计算测量对象区域沿X方向的位移和沿Y方向的位移。法线方向位移计算单元103计算测量对象区域沿Z方向的位移。
在该示例实施例中，平面内位移计算单元102在所获取的时间序列图像中，将任一给定时间的图像用作参考图像，并且将其余图像用作处理图像。例如，参考图像优选是当没有外力施加到桥梁250上并且主梁等中未发生弯曲时的图像。平面内位移计算单元102在参考图像中设置关注区域，该关注区域是测量对象区域中包括的某一区域(以下也被称为特定区域)。特定区域例如包括图案、表面上的凹凸等。特定区域的数量可以是一个或多个。针对每个处理图像，平面内位移计算单元102搜索与参考图像的特定区域相对应的区域。针对每个处理图像，平面内位移计算单元102计算参考图像中的特定区域的坐标与处理图像中的特定区域的坐标之间的差，以作为沿平面内方向的位移(d1x，d1y)。
更具体地，平面内位移计算单元102首先将处理图像与参考图像进行比较并且执行基于区域的匹配，并且针对每个处理图像识别与参考图像中的特定区域具有最高匹配度的区域的位置。平面内位移计算单元102计算识别出的位置与参考图像中的特定区域的位置之间的差，以作为沿X方向的位移d1x和沿Y方向的位移d1y。平面内位移计算单元102通过使用诸如SAD(绝对差之和)、SSD(平方差之和)、NCC(归一化互相关)或ZNCC(零均值归一化互相关)之类的相似度相关函数，搜索与特定区域具有最高相关性的区域的坐标。当存在多个特定区域时，可以选择多个特定区域中的与处理图像中的对应区域具有最高匹配度的特定区域，并且可以计算所选择的特定区域的位置与处理图像中的对应区域的位置之间的差以作为沿平面内方向的位移(d1x，d1y)。
平面内位移计算单元102可以通过使用拟合来搜索与特定区域具有最高匹配度的区域的位置。具体而言，平面内位移计算单元102在每个处理图像中搜索与特定区域具有最高匹配度的区域的位置(坐标)，然后计算该位置(坐标)的前、后、左和右的位置(坐标)的相似度，从而计算相似度相关函数。平面内位移计算单元102将诸如直线拟合、曲线拟合或抛物线拟合之类的方法应用于计算出的相似度相关函数，并且在坐标之中搜索与特定区域具有最高匹配度的区域的位置。这样，以亚像素精度计算出处理图像中与特定区域相似的区域的位置(坐标)。
法线方向位移计算单元103通过以多个缩放因子对参考图像进行放大或缩小来创建图像组(以下也被称为参考图像组)，以便计算特定区域沿法线方向的位移d1z。此时，法线方向位移计算单元103通过相对于中心位置对参考图像进行放大或缩小来创建参考图像组，该中心位置是从参考图像的中心偏离由平面内位移计算单元102计算出的沿平面内方向的位移(d1x，d1y)的位置。
法线方向位移计算单元103对照放大图像和缩小图像检查每个处理图像，并且针对每个处理图像识别具有最高匹配度的放大图像或缩小图像。法线方向位移计算单元103例如通过使用诸如SAD、SSD、NCC或ZNCC之类的上述相似度相关函数来识别具有高度匹配度的放大图像或缩小图像。法线方向位移计算单元103从参考图像组中的图像中识别具有最高相似度(即，具有最高相关性)的图像，并且使用识别出的图像的放大因子或缩小因子(以下也被称为缩放因子)作为指示特定区域沿法线方向的位移的量(d1z)。
在识别出具有最高匹配度的图像之后，法线方向位移计算单元103可以从参考图像组中选择缩放因子刚好大于或小于识别出的图像的图像，并且计算所识别的图像与所选择的图像之间的相似度相关函数。法线方向位移计算单元103可以通过使用计算出的相似度相关函数来应用诸如直线拟合或曲线拟合之类的方法，并且计算缩放因子，该缩放因子作为指示沿法线方向的位移的量(d1z)。这使得能够以更高的精度计算指示沿法线方向的位移的缩放因子(d1z)。
注意，平面内位移计算单元102和法线方向位移计算单元103可以多次执行上述处理，以便提高计算出的位移的精度。具体而言，考虑到法线方向位移计算单元103计算出的缩放因子d1z的影响，平面内位移计算单元102可以从参考图像组中的图像中选择与缩放因子d1z相对应的图像，并且将所选择的图像用作新的参考图像。在执行上述拟合的情况下，平面内位移计算单元102可以利用通过应用拟合而获得的缩放因子来对参考图像进行放大或缩小，并且生成新的参考图像。平面内位移计算单元102可以将处理图像与新的参考图像进行比较，识别与新的参考图像最相似的相似部分并且检测相似部分的位移(d2x，d2y)。
此外，法线方向位移计算单元103可以基于由平面内位移计算单元102新检测到的位移(d2x，d2y)来设置参考图像组中的每个图像的放大或缩小的中心位置，并且创建新的参考图像组。法线方向位移计算单元103可以计算处理图像与新的参考图像组中的每个图像之间的相似度，并且识别新的参考图像组中的图像中具有最高相似度的图像。法线方向位移计算单元103可以将所识别的图像的缩放因子用作指示特定区域沿法线方向的位移的量(d2z)。
在第一次处理中，平面内位移计算单元102在不考虑指示沿法线方向的位移的缩放因子d1z的情况下计算位移(d1x，d1y)。另一方面，在第二次处理中，平面内位移计算单元102考虑到缩放因子d1z来计算位移(d2x，d2y)。在这种情况下，平面内位移计算单元102在第二次处理中能够比在第一次处理中更精确地计算沿平面内方向的位移(d2x，d2y)。
注意，上述重复次数不特别限于两次。如果多次重复上述处理，则会提高位移的精度。重复次数可以是预设次数，或者可以根据结果适当地设置。此外，平面内位移计算单元102可以计算上次计算的位移的值与本次计算的位移的值之间的差，并且重复上述处理，直到该差减小至预定阈值以下。
在下面的描述中，在重复处理中由平面内位移计算单元102最终计算出的平面内位移由dnx和dny指示。此外，由法线方向位移计算单元103最终计算出的、指示沿法线方向的位移的量的缩放因子由dnz指示。平面内位移计算单元102针对每个时间t的处理图像计算平面内位移dnx和dny。此外，法线方向位移计算单元103针对每个时间t的处理图像计算缩放因子dnz。在下面的描述中，时间t处的平面内位移由dnx(t)和dny(t)指示，时间t处的缩放因子由dnz(t)指示。
平面内位移计算单元102通过使用拍摄信息，将计算出的平面内位移dnx(t)和dny(t)转换为桥梁250沿X方向的位移(移动量)Δx(t)和沿Y方向的位移(移动量)Δy(t)。拍摄信息包含关于拍摄距离、拍摄角度和被摄对象上的每像素的尺寸的信息。此外，法线方向位移计算单元103通过使用拍摄信息中包含的拍摄距离，将计算出的缩放因子dnz(t)转换为桥梁250沿Z方向的位移(移动量)Δz(t)。
具体而言，以像素为单位计算特定区域沿平面方向的位移dnx(t)和dny(t)。当成像设备200的图像传感器沿X方向和Y方向的每像素的长度分别是Dx和Dy[mm/像素]时，分别沿X方向和Y方向的移动量Δx(t)和Δy(t)[mm]由以下等式1和2表示。
Δx(t)＝Dx·dnx(t) (1)
Δy(t)＝Dy·dny(t) (2)
通过以下等式3和4计算成像设备200的图像传感器的每像素的长度Dx和Dy[mm/像素]，其中，图像传感器的像素间距为px和py[mm]，透镜的焦距为f[mm]，从透镜的主点到测量对象区域的距离为L[mm]。
Dx＝px·(L/f) (3)
Dy＝py·(L/f) (4)
可以基于图像传感器的像素数量和成像设备200的视角来计算图像传感器的每像素的长度Dx和Dy。具体而言，可以通过以下等式5和6来计算图像传感器的每像素的长度Dx和Dy，其中，图像传感器的像素数量为pnx和pny，成像设备200的视角为FOVx和FOVy。
Dx＝L/pnx×tan-1(FOVx/2) (5)
Dy＝L/pny×tan-1(FOVy/2) (6)
此外，将特定区域沿法线方向的位移计算为缩放因子。可以通过使用从透镜的主点到特定区域的距离L[mm]经由以下等式7来表示沿Z方向的移动量z(t)[mm]。
Δz(t)＝L·dnz(t) (7)
对于通过捕获时间序列图像而获得的每个帧，可以获得以上获得的测量对象区域的三维移动量(三维位移)Δx(t)、Δy(t)和Δz(t)。因此，针对每个时间序列图像而获得的每个移动量表示测量对象区域的振动分量，其中，拍摄帧率的倒数是采样间隔。因此，针对每个时间序列图像而获得的每个移动量可以被视为测量对象区域沿各自的X方向、Y方向和Z方向的振动信息(振动波形)。
注意，尽管以上每个位移是基于Z方向平行于竖直方向的假设来计算的，但是存在Z方向不平行于竖直方向的情况。具体而言，存在图像传感器的光接收表面的法线与测量对象区域的法线不平行并且存在拍摄角度的情况。在这种情况下，可以通过使用三角函数运算来校正与拍摄角度相对应的角度并且计算沿竖直方向和垂直于竖直方向的两个方向的位移，从而估计支撑结构的运动。由于三角函数运算的特性，如果拍摄角度小，则可以认为校正前沿Z方向的移动量和校正后沿Z方向的移动量大致相同。
根据充当支撑点的支撑构件(轴承)271的类型不同，其所承担的功能也不同，因此由车辆的驶过引起的活动载荷所导致的上部结构(桥梁250)的位移在移动方式上是不同的。在轴承271是橡胶轴承的桥梁中和轴承271是轴承板(可移动)的桥梁中，本发明人将接触传感器安装在轴承271上时由接触传感器测量的位移与由位移计算单元101计算出的桥梁250的测量对象区域的位移进行了比较。结果发现，通过利用成像设备200捕获由轴承271支撑的桥梁250的端部周围的图像并且观察桥梁250在三轴方向上的移动量，可以以与使用接触传感器时相同的方式测量轴承271的位移(运动分量)。
图4示出了桥梁与两个成像设备之间的位置关系。在图4中，成像设备200A捕获轴承271周围的图像，成像设备200B捕获桥台261与桥墩262之间的中点周围(跨度的中心周围)的图像。图5示出了在轴承271是橡胶轴承的情况下根据时间序列图像计算出的每个时间的位移。图5中的(a)至(c)示出了根据成像设备200A中捕获的时间序列图像计算出的每个时间的位移。图5中的(d)至(f)示出了根据由成像设备200B捕获的时间序列图像计算出的每个时间的位移。图5中的(a)和(d)示出了沿Z方向的位移，图5中的(b)和(e)示出了沿X方向的位移，图5中的(c)和(f)示出了沿Y方向的位移。
在轴承271是橡胶轴承的情况下，由车辆的驶过引起的活动载荷导致轴承271中的橡胶变形，并且认为上模座相对于下模座的位置会在竖直方向和水平方向上移动。当接触传感器被安装在轴承271上时，可以使用接触传感器来测量轴承271中沿竖直方向的位移和沿水平方向的位移。本发明人将使用接触传感器获取的沿竖直方向和水平方向的位移，与根据通过由成像设备200A捕获轴承271周围的测量对象区域的图像而获得的时间序列图像计算出的沿X方向、Y方向和Z方向的位移(参见图5中的(a)至(c))进行了比较。结果，本发明人发现在由接触传感器测量的位移的时间变化与根据时间序列图像计算的测量对象区域的位移的时间变化之间存在相关性。这使得能够根据由成像设备200A捕获的时间序列图像来测量轴承271的运动分量，而无需将接触传感器直接安装在轴承271上。
图6示出了当轴承271是轴承板(可移动)时根据时间序列图像计算出的每个时间的位移。图6中的(a)至(c)示出了根据由成像设备200A捕获的时间序列图像计算出的每个时间的位移。图6中的(d)至(f)示出了根据由成像设备200B捕获的时间序列图像计算出的每个时间的位移。图6中的(a)和(d)示出了沿Z方向的位移，图6中的(b)和(e)示出了沿X方向的位移，图6中的(c)和(f)示出了沿Y方向的位移。
在轴承271是轴承板的情况下，由车辆的驶过引起的活动载荷导致轴承271旋转。此外，由于轴承271是可移动的，因此它也沿桥轴线方向(X方向)位移。同样对于轴承板，本发明人将使用接触传感器时获取的位移，与根据使用成像设备200A捕获的时间序列图像计算出的沿X方向、Y方向和Z方向的位移(参见图6中的(a)至(c))进行了比较。结果，本发明人发现同样在支承板的情况下，在由接触传感器测量的位移的时间变化与根据时间序列图像计算的测量对象区域的位移的时间变化之间存在相关性。这使得能够根据成像设备200A中捕获的时间序列图像来测量轴承271的运动分量，而无需将接触传感器直接安装在轴承271上。
在该示例实施例中，运动估计单元104基于位移计算单元101中计算出的测量对象区域的三维位移，估计桥梁250中的轴承271的部分的运动。由运动估计单元104估计的运动包括桥梁250围绕桥梁250的支撑点(支撑构件(轴承)271的位置)的旋转。运动估计单元104通过使用测量对象区域与轴承271之间的距离来估计桥梁250围绕轴承271的位置的旋转。
图7示出了桥梁250旋转的状态。位移计算单元101计算桥梁250在测量对象区域的中心处的沿Z方向的位移Δz。在位移之前，沿桥轴方向的从测量对象区域的中心到轴承271的距离A基本上等于从桥台261的端部到成像设备200的距离a1(参见图3)与从桥台261的端部到轴承271的距离a2之和。由于桥梁250的旋转角度θ小，因此sinθ≈tanθ≈θ[rad]成立。使用该近似，旋转角度θ可以由θ＝Δz/A[rad]表示。具体而言，θ＝Δz/A×180/π[度]成立。
运动估计单元104可以根据对桥梁250进行支撑的支撑构件的类型，估计桥梁250中的由支撑构件支撑的部分的运动。例如，用户将标识支撑构件的类型的信息输入到信息处理设备100。例如，当支撑构件是轴承时，轴承的可移动方向和旋转方向取决于所使用的轴承的类型而不同。运动估计单元104基于指示轴承的类型的输入信息和由位移计算单元101计算出的三维位移(三维位移信息)，估计桥梁250的水平移动分量(XY平面中的移动分量)、旋转分量等。
具体而言，在轴承271是橡胶轴承的情况下，运动估计单元104根据三维位移信息计算剪切方向移动分量(竖直移动分量+水平移动分量)。注意，在橡胶轴承的情况下，实际上包括旋转分量。然而，仅通过对一个位置的测量难以分离竖直移动分量和旋转分量。因此，在橡胶轴承的情况下，运动估计单元104可以使用由位移计算单元101计算出的三维位移作为剪切方向移动分量，而不特别地分离竖直移动分量和旋转分量。
在轴承271是销轴承或枢轴轴承的情况下，运动估计单元104根据三维位移信息计算旋转分量。在销轴承和枢轴轴承中，在结构上不会发生沿水平方向的位移。因此，运动估计单元104基于沿Z方向的位移Δz和从成像设备200到轴承271的沿水平方向的距离A(参见图7)，计算桥梁250围绕轴承271的位置的旋转角度。
在轴承271是滚子轴承、销滚子轴承、线轴承(可移动)或轴承板(可移动)的情况下，运动估计单元104根据三维位移信息计算沿水平方向的移动分量和旋转分量。在这种情况下，运动估计单元104使用沿X方向和Y方向的位移Δx和Δy作为桥梁250沿水平方向的位移。此外，运动估计单元104基于沿Z方向的位移Δz和从成像设备200到轴承271的沿水平方向的距离A，计算桥梁250围绕轴承271的位置的旋转角度。
轴承根据其结构不同而具有不同的功能(可移动/受限制、可旋转/不可旋转)。例如，运动估计单元104针对如上所述的每种轴承结构，根据三维位移信息来估计桥梁250在轴承271的位置处的运动。这允许针对具有不同结构的轴承基于由运动估计单元104所估计的运动来确定载荷支撑功能、移动功能、旋转功能等是否运行正常。
作为上述的对桥梁250在轴承271的位置处的运动的估计的代替或补充，运动估计单元104可以估计通过伸缩接头281或282连接到桥台261或263的桥梁250的端部的运动。在这种情况下，运动估计单元104可以估计沿与伸缩接头的类型相对应的方向的运动。
桥梁的轴承、伸缩接头和固定端部中发生的位移的量、方向和频率取决于它们的类型和振动方向而不同。此外，故障模式也不同。定量地测量它们使得能够确定功能的劣化程度。
轴承具有衰减由于车辆的驶过、风等施加于上部结构的外力的分量并且将该分量传递给桥墩的功能，并且上部结构受该功能保护。轴承还具有衰减来自地面的振动(例如，地震)并且将该振动传递给上部结构的功能。轴承的可移动方向根据其类型而确定。当由运动估计单元104估计的运动是沿可移动方向在可接受范围内的运动时，确定轴承正常。另一方面，当由运动估计单元104估计的运动是沿可移动方向在可接受范围之外的运动或是沿与可移动方向不同的方向的运动时，或者当沿旋转方向的运动等于或大于阈值时，确定轴承异常。当尽管施加了外力但在运动估计单元104中却根本没有测量到运动时，对固定等产生疑虑，并且确定轴承失去了其功能。如果轴承有故障，则不能释放力，这会引起其他构件等发生畸变并且导致异常变形和损坏。
伸缩接头是放置在与另一结构的连接部分处的连接构件，其具有使在桥梁的接缝处行驶的车辆能够顺利地通过桥梁与地面之间以及桥梁与另一桥梁之间的功能。伸缩接头还具有减轻对大梁端部的冲击的功能，从而减少对桥梁的损坏。伸缩接头的可移动方向根据其类型而确定。当由运动估计单元104估计的沿可移动方向的运动在可接受范围内或具有在可接受范围内的振动时，确定伸缩接头正常。另一方面，当由运动估计单元104估计的运动是沿可移动方向在可接受范围之外的大的运动或振动时，确定伸缩接头的使振动衰减的功能减弱。此外，当运动沿着与可移动方向不同的方向或者沿旋转方向的运动等于或大于阈值时，确定伸缩接头异常。当尽管施加了外力但在运动估计单元104中却根本没有测量到运动时，对固定等产生疑虑，并且确定需要对伸缩接头的清洁等。
注意，固定端部不会移动。因此，由运动估计单元104估计的运动非常小。当通过运动估计单元104估计出超出可接受水平的运动或振动或者沿旋转方向的运动时，确定固定端部没有正常工作。
状况确定单元105基于由运动估计单元104估计的运动确定桥梁250的状况。由于轴承271在桥梁250中的位置的运动取决于轴承271的功能，因此状况确定单元105主要确定轴承271的状况。状况确定单元105通过确定由运动估计单元104估计的运动的对称性、连续性和相关性中的至少一项是否在可接受范围内，来确定轴承271的状况。可替代地，状况确定单元105可以基于由运动估计单元104估计的运动的振幅、相位和频率，来确定轴承271的状况。
例如，考虑位移的曲线图，其中，水平轴指示桥轴方向或桥轴垂直方向，竖直轴指示竖直方向。该曲线图具有位移的时间序列变化的形状/轨迹，在该曲线图中，当轴承没有正常工作时，出现了在轴承正常工作时观察不到的斜率的快速变化或滞后形状。可替代地，产生残余分量，并且与轴承正常工作时相比，曲线图中的对称性、连续性和相关性中的至少一项发生改变。因此，通过确定它们是否在各自的预定可接受范围内，可以确定轴承功能是否正常。
例如，当由运动估计单元104估计的运动与预先存储的轴承位移与外力之间的关系图中所示的运动偏离时，状况确定单元105可以确定轴承状况不佳。换句话说，状况确定单元105可以确定轴承退化或轴承中发生异常。可替代地，当观察到在由运动估计单元估计的运动中沿桥轴方向和竖直方向的位移受限制时，状况确定单元105可以确定轴承状况不佳。状况确定单元105可以通过使用振动分量(振幅、相位和频率)或其时间变化来确定初始冲击、冲击的衰减等。这些指标也可以用于确定轴承功能是否正常。状况确定单元105可以通过确定振动振幅的水平(冲击的水平)、与沿竖直方向的位移的相关值、以及可移动范围(沿竖直方向和水平方向的位移)是否受限制来确定伸缩接头的状况。
在下文中描述操作过程。图8示出了信息处理设备100中的操作过程。位移计算单元101从成像设备200获取结构250的测量对象区域的时间序列图像(步骤S1)。使用时间序列图像的图像数据，位移计算单元101的平面内位移计算单元102计算图像数据中的测量对象区域中包括的特定区域沿平面方向的位移d1x和d1y(步骤S2)。平面内位移计算单元102将时间序列图像的图像数据和计算出的沿平面方向的位移发送给法线方向位移计算单元103。
法线方向位移计算单元103基于时间序列图像的图像数据和在步骤S2中计算出的沿平面方向的位移，计算特定区域沿法线方向的位移d1z(步骤S3)。法线方向位移计算单元103确定步骤S2的执行次数是否已经达到预定的执行次数(步骤S4)。预定的执行次数根据预先进行的实验等的结果来适当地设置。预定的执行次数可以是“1”。
当法线方向位移计算单元103在步骤S4中确定执行次数尚未达到预定的执行次数时，其指示平面内位移计算单元102执行步骤S2。此时，法线方向位移计算单元103将在步骤S3中计算出的沿法线方向的位移d1z通知给平面内位移计算单元102。平面内位移计算单元102在步骤S2中重新计算沿平面方向的位移d2x和d2y。此后，法线方向位移计算单元103在步骤S3通过使用新计算的沿平面方向的位移来计算沿法线方向的位移d2z。
重复步骤S2和步骤S3，直到在步骤S4中确定执行次数已经达到预定的执行次数。当预定的执行次数为2或更多时，可以在最后的重复中省略步骤S3。
当法线方向位移计算单元103在步骤S4中确定执行次数已经达到预定的执行次数时，其确定进行了位移计算的处理图像的数量是否小于预定数量m(步骤S4)。换句话说，法线方向位移计算单元103确定是否已经处理了预定数量m的处理图像。预定数量m的值根据预先进行的实验等的结果来适当地设置。当在步骤S4中确定尚未处理预定数量m的处理图像时，处理返回到步骤S1，并且对新获取的时间序列图像执行从步骤S1到步骤S5的处理。
当在步骤S5中确定已经处理了预定数量的处理图像时，位移计算单元101将在步骤S2中计算出的沿平面方向的位移和在步骤S3中计算出的沿法线方向的位移转换为桥梁250在三轴方向上的移动量(三维位移信息)。位移计算单元101将三维位移输出到运动估计单元104。运动估计单元104基于三维位移信息估计桥梁250中轴承271的位置的运动(步骤S6)。状况确定单元105基于在步骤S6中估计的运动，确定轴承271的状况(步骤S7)。
在该示例实施例中，信息处理设备100从放置在桥梁250下方、桥梁250的下部结构等中的成像设备200，获取大梁端部周围的主梁的时间序列图像。信息处理设备100对时间序列图像执行图像处理，从而估计诸如桥梁250在置于大梁端部的轴承271等的位置处的三维位移和旋转之类的运动。在该示例实施例中，根据图像来估计桥梁250在轴承271等的位置处的运动，因此无需预先在桥梁250上安装标志器等。因此，工人无需通过使用高空作业车辆等来靠近桥梁250，这允许以合理的成本定量地评估诸如轴承之类的构件的功能的劣化程度。
信息处理设备100通过使用如上所述地估计的运动来确定诸如轴承271等的退化和稳固性之类的状况。例如，当桥梁250受到诸如地震之类的巨大外力时，易于损坏的部分是轴承及其附近。在该示例实施例中，通过确定轴承部分的退化和稳固性，也确定了整个桥梁的稳固性。例如，在大地震的情况下，通过估计多个桥梁中的轴承部分的位置处的运动来确定每个桥梁的稳固性，并且可以通过确定损坏最严重的桥梁来进一步设置紧急度的优先级。
在该示例实施例中，运动估计单元104根据所使用的支撑构件，根据三维位移信息来估计桥梁250中支撑构件的位置处的运动。因此，与支撑构件(主要是轴承)的结构无关，基于使用相同的测量方法测得的三维位移信息来估计支撑构件的运动。在使用接触传感器的情况下，如果支撑构件的结构变化，则要测量的支撑构件的运动的项目也相应地变化。例如，当使用某种结构的支撑构件时，需要使用用于检测旋转分量的传感器，而当使用另一种结构的支撑构件时，需要使用用于检测沿水平方向的位移的传感器。在该示例实施例中，即使当支撑构件的结构变化时，也可以通过使用相同的测量设备根据时间序列图像计算相同测量位置(测量对象区域)的三维位移，来估计支撑构件的运动，这使得测量工作更加容易，从而提高了效率。
此外，在该示例实施例中，运动估计单元104估计桥梁250围绕轴承271的位置的旋转。通过估计围绕轴承271的旋转，直接评估轴承的重要功能之一。旋转分量的测量通常需要特殊的传感器，例如倾斜传感器。但是，倾斜传感器对振动等敏感，并且无法测量诸如平行位移之类的位移分量。此外，倾斜传感器不适用于测量微小旋转的用途，难以通过使用倾斜传感器来测量当施加载荷时以轴承为中心的旋转。该示例实施例使得能够通过使用图像来估计围绕轴承的旋转，具有不需要使用倾斜传感器的优点。
注意，在该示例实施例中，信息处理设备100不必构造在一个设备中。例如，位移计算单元101、运动估计单元104和状况确定单元105可以被构造为单独的设备。在信息处理设备100中，状况确定单元105不是必要的。由运动估计单元104估计的运动可以作为曲线图等显示在信息处理设备100的显示设备等上，而观看该曲线图的人可以确定桥梁250的状况。
此外，尽管图3中示出了成像设备200捕获桥梁250靠桥台261侧的端部附近的部分的图像的示例，但是该示例实施例不限于此。例如，成像设备200可以被置于桥墩262附近，并且成像设备200可以捕获桥梁250的中心附近的部分的图像。在这种情况下，运动估计单元104可以估计桥梁250中的沿围绕桥墩262上的轴承272的旋转方向的运动。通过改变要使用成像设备200捕获图像的桥梁250的位置，能够使用所捕获的时间序列图像确定任何位置处的轴承状况。
下面描述本公开的第二示例实施例。图9示出了根据本公开的第二示例实施例的信息处理系统。信息处理系统150包括信息处理设备151、信息存储设备152和信息显示设备153。信息处理设备151的配置可以与图2所示的根据第一示例实施例的信息处理设备100的配置相同。对于信息处理设备151和信息显示设备153，可以例如使用诸如笔记本PC(个人计算机)或平板计算机设备之类的便携式设备。
在该示例实施例中，例如，成像设备200、信息处理设备151和信息显示设备153被置于桥梁250(参见图3)等所在的现场中。信息存储设备152被配置为远离现场的远程服务器或云服务器。信息处理设备151和信息存储设备152通过诸如互联网之类的网络连接。此外，信息存储设备152和信息显示设备153通过诸如互联网之类的网络连接。信息处理设备151和信息显示设备153不必物理地分离，并且同一设备可以用作信息处理设备151和信息显示设备153。
信息处理设备151从成像设备200获取由桥台261等支撑的结构250的测量对象区域的时间序列图像。信息处理设备151根据时间序列图像来计算测量对象区域的三维位移，并且基于计算出的测量对象区域的三维位移来估计桥梁250中轴承271的部分的运动。信息处理设备151可以进一步基于所估计的桥梁250的运动来确定桥梁250(轴承271)的状况。
信息处理设备151通过网络将所估计的桥梁250的运动和状况确定结果发送到信息存储设备152。信息存储设备152例如被配置为数据库服务器，并且存储从信息处理设备151接收的信息。信息处理设备151可以将从成像设备200获取的时间序列图像发送到信息存储设备152。在这种情况下，信息存储设备152还可以存储从信息处理设备151接收的时间序列图像。
信息显示设备153向信息存储设备152请求由信息处理设备151估计的桥梁250的运动和桥梁250的状况确定结果。信息显示设备153可以请求在任何给定时间点的桥梁250的运动和桥梁250的状况确定结果。响应于该请求，信息存储设备152将所估计的桥梁250的运动和桥梁250的状况确定结果发送到信息显示设备153。信息显示设备153在其显示设备上显示从信息存储设备152接收的信息。现场处的用户可以通过使用信息显示设备153确认桥梁250的状况确定结果，该状况确认结果是关于桥梁250的运动是否存在异常或不规则情况的。
在该示例实施例中，由信息处理设备151估计的桥梁250的运动和桥梁250的状况确定结果被存储在信息存储设备152中。信息显示设备153可以从信息存储设备152接收在过去的任何给定时间点的桥梁的运动等并且进行显示。这样，用户可以将桥梁250的当前运动等与过去的任何给定时间点的桥梁250的运动等进行比较。
图10示出了根据变形例的信息处理系统。在根据该变形例的信息处理系统150a中，信息处理设备151通过网络连接到成像设备200。在该变形例中，信息处理设备151例如被配置为远程服务器或云服务器。成像设备200通过网络将时间序列图像的图像数据发送到信息处理设备151。信息处理设备151从远程的成像设备200获取时间序列图像。这样，即使当信息处理设备151位于远程时，也会获得与根据第二示例实施例的信息处理系统150的效果相同的效果。在该变形例中，信息处理设备151和信息存储设备152不必物理地分离，并且同一设备可以用作信息处理设备151和信息存储设备152。
在下文中描述能够用作信息处理设备100等的计算机设备。图11示出了能够通过执行程序而用作信息处理设备100的计算机设备。计算机设备110包括CPU(中央处理单元)111、主存储器112、存储设备113、输入接口114、显示控制器115、数据读取器/写入器116和通信接口117。在计算机设备110中，这些元件通过总线121彼此连接以进行数据通信。
CPU 111通过将存储设备113中存储的程序(代码)加载到主存储器112中并且以预定顺序执行它们来执行各种计算。主存储器112通常是易失性存储设备，例如DRAM(动态随机存取存储器)。使计算机设备110用作信息处理设备100的程序以被存储在计算机可读记录介质120中的状态来提供。可以通过经由通信接口117连接的网络(例如，互联网)来提供该程序。
可以使用任何类型的非暂时性计算机可读介质来存储上述程序并且将其提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括诸如软盘、磁带或硬盘之类的磁存储介质、诸如磁光盘之类的光磁存储介质、诸如CD(光盘)或DVD(数字通用光盘)之类的光盘介质、以及诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM或RAM(随机存取存储器)之类的半导体存储器。可以使用任何类型的暂时性计算机可读介质将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路将程序提供给计算机。
例如，存储设备113被配置为诸如硬盘驱动器之类的磁盘设备或诸如闪存之类的半导体存储设备。输入接口114对CPU 111与输入设备118(例如，键盘和鼠标)之间的数据传输进行中继。显示控制器115连接到显示设备119并且控制显示设备119上的显示。
数据读取器/写入器116对CPU 111与记录介质120之间的数据传输进行中继，并且从记录介质120中读取程序以及将计算机设备110中的处理结果写入到记录介质120。通信接口117对CPU 111与另一计算机之间的数据传输进行中继。
尽管已经参考本公开的示例实施例描述了本公开，但是本公开不限于这些示例实施例。在本公开的范围内，可以对本公开的配置和细节进行本领域技术人员可以理解的各种改变。
例如，以上公开的示例实施例的全部或部分可以被描述为但不限于以下补充说明。
[补充说明1]
一种信息处理设备，包括：
位移计算装置，用于根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移；以及
运动估计装置，用于基于所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动。
[补充说明2]
根据补充说明1所述的信息处理设备，其中，由所述运动估计装置估计的运动包括所述结构围绕所述支撑构件的旋转。
[补充说明3]
根据补充说明2所述的信息处理设备，其中，
所述位移计算装置计算所述结构沿竖直方向的位移和沿与所述竖直方向垂直的平面中彼此正交的两个方向的位移，并且
所述运动估计装置通过使用所述测量对象区域与支撑点之间的距离，估计所述结构围绕所述支撑点的旋转。
[补充说明4]
根据补充说明1至3中任一项所述的信息处理设备，其中，所述运动估计装置根据所述支撑构件的类型，估计所述结构中由所述支撑构件支撑的部分的运动。
[补充说明5]
根据补充说明1所述的信息处理设备，其中，
所述结构包括放置在与另一结构的连接部分处的连接构件，并且
所述运动估计装置估计所述结构中通过所述连接构件与另一结构连接的端部的运动。
[补充说明6]
根据补充说明1至5中任一项所述的信息处理设备，还包括：
状况确定装置，用于基于由所述运动估计装置估计的运动，确定所述结构的支撑构件和连接构件之一或两者的状况。
[补充说明7]
根据补充说明1至5中任一项所述的信息处理设备，还包括：
状况确定装置，用于基于由所述运动估计装置估计的运动，确定所述结构的状况。
[补充说明8]
根据补充说明7所述的信息处理设备，其中，所述状况确定装置通过确定由所述运动估计装置估计的运动的对称性、连续性和相关性中的至少一项是否在可接受范围内，来确定所述结构的状况。
[补充说明9]
根据补充说明7所述的信息处理设备，其中，所述状况确定装置基于由所述运动估计装置估计的运动的振幅、相位和频率，来确定所述结构的状况。
[补充说明10]
根据补充说明1至9中任一项所述的信息处理设备，其中，所述位移计算装置通过使用拍摄信息，根据所述时间序列图像计算所述测量对象区域的三维位移。
[补充说明11]
根据补充说明10所述的信息处理设备，其中，所述拍摄信息包括拍摄距离、拍摄角度和被摄对象上的每像素的尺寸。
[补充说明12]
根据补充说明1至11中任一项所述的信息处理设备，其中，所述结构包括桥梁的主梁。
[补充说明13]
一种信息处理系统，包括：
信息处理设备，被配置为根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移，并且基于计算出的所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动；
信息存储设备，被配置为从所述信息处理设备获取所估计的所述结构的运动并且存储所述运动；以及
信息显示设备，被配置为从所述信息存储设备获取所估计的所述结构的运动并且显示所述运动。
[补充说明14]
根据补充说明13所述的信息处理系统，其中，
所述信息处理设备还基于所估计的所述结构的运动确定所述结构的状况，
所述信息存储设备还从所述信息处理设备获取关于所述结构的状况的确定结果并且存储所述确定结果，并且
所述信息显示设备还从所述信息存储设备获取关于所述结构的状况的确定结果并且显示所述确定结果。
[补充说明15]
根据补充说明13或14所述的信息处理系统，其中，所述信息处理设备通过网络从被配置为捕获测量对象区域的图像的成像设备获取所述时间序列图像。
[补充说明16]
根据补充说明13至15中任一项所述的信息处理系统，其中，所述信息处理设备和所述信息存储设备通过网络彼此连接。
[补充说明17]
根据补充说明13至16中任一项所述的信息处理系统，其中，所述信息存储设备和所述信息显示设备通过网络彼此连接。
[补充说明18]
一种信息处理方法，包括：
根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移；以及
基于所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动。
[补充说明19]
根据补充说明18所述的信息处理方法，还包括：
基于所估计的运动确定所述结构的状况。
[补充说明20]
一种存储程序的计算机可读介质，所述程序使计算机执行以下处理：
根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移；以及
基于所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动。
本申请基于2018年7月27日提交的第2018-141234号日本专利申请并且要求该专利申请的优先权益，其全部公开内容通过引用合并于此。
附图标记列表：
10 信息处理设备
11 位移计算装置
12 运动估计装置
100 信息处理设备
101 位移计算单元
102 平面内位移计算单元
103 法线方向位移计算单元
104 运动估计单元
105 状况确定单元
150 信息处理系统
151 信息处理设备
152 信息存储设备
153 信息显示设备
200 成像设备
250结构(桥梁)
261至263 下部结构(桥台或桥墩)
271至273 支撑构件(轴承)
281，282 接头(伸缩接头)。

Claims (20)

1.一种信息处理设备，包括：
位移计算装置，用于根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移；以及
运动估计装置，用于基于所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动。
2.根据权利要求1所述的信息处理设备，其中，由所述运动估计装置估计的运动包括所述结构围绕所述支撑构件的旋转。
3.根据权利要求2所述的信息处理设备，其中，
所述位移计算装置计算所述结构沿竖直方向的位移和沿与所述竖直方向垂直的平面中彼此正交的两个方向的位移，并且
所述运动估计装置通过使用所述测量对象区域与支撑点之间的距离，估计所述结构围绕所述支撑点的旋转。
4.根据权利要求1至3中任一项所述的信息处理设备，其中，所述运动估计装置根据所述支撑构件的类型，估计所述结构中由所述支撑构件支撑的部分的运动。
5.根据权利要求1所述的信息处理设备，其中，
所述结构包括放置在与另一结构的连接部分处的连接构件，并且
所述运动估计装置估计所述结构中通过所述连接构件与另一结构连接的端部的运动。
6.根据权利要求1至5中任一项所述的信息处理设备，还包括：
状况确定装置，用于基于由所述运动估计装置估计的运动，确定所述结构的支撑构件和连接构件之一或两者的状况。
7.根据权利要求1至5中任一项所述的信息处理设备，还包括：
状况确定装置，用于基于由所述运动估计装置估计的运动，确定所述结构的状况。
8.根据权利要求7所述的信息处理设备，其中，所述状况确定装置通过确定由所述运动估计装置估计的运动的对称性、连续性和相关性中的至少一项是否在可接受范围内，来确定所述结构的状况。
9.根据权利要求7所述的信息处理设备，其中，所述状况确定装置基于由所述运动估计装置估计的运动的振幅、相位和频率，来确定所述结构的状况。
10.根据权利要求1至9中任一项所述的信息处理设备，其中，所述位移计算装置通过使用拍摄信息，根据所述时间序列图像计算所述测量对象区域的三维位移。
11.根据权利要求10所述的信息处理设备，其中，所述拍摄信息包括拍摄距离、拍摄角度和被摄对象上的每像素的尺寸。
12.根据权利要求1至11中任一项所述的信息处理设备，其中，所述结构包括桥梁的主梁。
13.一种信息处理系统，包括：
信息处理设备，被配置为根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移，并且基于计算出的所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动；
信息存储设备，被配置为从所述信息处理设备获取所估计的所述结构的运动并且存储所述运动；以及
信息显示设备，被配置为从所述信息存储设备获取所估计的所述结构的运动并且显示所述运动。
14.根据权利要求13所述的信息处理系统，其中，
所述信息处理设备还基于所估计的所述结构的运动确定所述结构的状况，
所述信息存储设备还从所述信息处理设备获取关于所述结构的状况的确定结果并且存储所述确定结果，并且
所述信息显示设备还从所述信息存储设备获取关于所述结构的状况的确定结果并且显示所述确定结果。
15.根据权利要求13或14所述的信息处理系统，其中，所述信息处理设备通过网络从被配置为捕获测量对象区域的图像的成像设备获取所述时间序列图像。
16.根据权利要求13至15中任一项所述的信息处理系统，其中，所述信息处理设备和所述信息存储设备通过网络彼此连接。
17.根据权利要求13至16中任一项所述的信息处理系统，其中，所述信息存储设备和所述信息显示设备通过网络彼此连接。
18.一种信息处理方法，包括：
根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移；以及
基于所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动。
19.根据权利要求18所述的信息处理方法，还包括：
基于所估计的运动确定所述结构的状况。
20.一种存储程序的计算机可读介质，所述程序使计算机执行以下处理：
根据通过捕获由支撑构件支撑的结构的测量对象区域的图像而获得的时间序列图像，计算所述测量对象区域的三维位移；以及
基于所述测量对象区域的三维位移，估计所述结构中的所述支撑构件的运动。
CN201980049947.2A 2018-07-27 2019-04-09 信息处理设备、系统、方法和计算机可读介质 Pending CN112513564A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018141234 2018-07-27
JP2018-141234 2018-07-27
PCT/JP2019/015416 WO2020021778A1 (ja) 2018-07-27 2019-04-09 情報処理装置、システム、方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
CN112513564A true CN112513564A (zh) 2021-03-16

Family

ID=69181998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980049947.2A Pending CN112513564A (zh) 2018-07-27 2019-04-09 信息处理设备、系统、方法和计算机可读介质

Country Status (4)

Country Link
US (1) US11790511B2 (zh)
JP (1) JP7047914B2 (zh)
CN (1) CN112513564A (zh)
WO (1) WO2020021778A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111902691B (zh) * 2018-03-26 2022-09-06 松下知识产权经营株式会社 计测装置及计测方法
JP7429594B2 (ja) 2020-04-27 2024-02-08 株式会社免制震ディバイス 建築物用免震装置の損傷診断方法
CN114087983B (zh) * 2021-10-29 2024-04-26 深圳大学 墩-梁支承连接部位安全状态监测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2893018B1 (ja) * 1998-04-24 1999-05-17 東エン株式会社 支承の健全性判定方法およびその判定装置
CN1687728A (zh) * 2005-05-24 2005-10-26 浙江大学 轴承微载荷摩擦力测量方法及装置
CN102449333A (zh) * 2009-05-28 2012-05-09 法科股份有限公司 可调整预加载类型线性导引系统
CN104990935A (zh) * 2015-07-27 2015-10-21 南阳理工学院 一种桥梁、建筑物健康状况监测装置
US20160171309A1 (en) * 2014-12-11 2016-06-16 Jeffrey R. Hay Non-contacting monitor for bridges and civil structures
WO2017167260A1 (zh) * 2016-03-31 2017-10-05 上海微电子装备（集团）股份有限公司 同轴掩模对准装置、光刻设备及对准方法
WO2017221965A1 (ja) * 2016-06-23 2017-12-28 日本電気株式会社 状態判定装置、状態判定方法、及びプログラムを記憶する記憶媒体
CN107538380A (zh) * 2016-06-28 2018-01-05 江阴吉爱倍万达精工有限公司 一种轴承跳动率检测用夹具
US20180052117A1 (en) * 2015-03-20 2018-02-22 Nec Corporation Structure status determination device, status determination system, and status determination method
CN207502197U (zh) * 2017-12-01 2018-06-15 中国铁道科学研究院铁道建筑研究所 面向大跨铁路桥梁球型支座病害的监测系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088448B2 (ja) 2002-01-21 2008-05-21 日本総合住生活株式会社 外壁検査装置および外壁検査方法並びに外壁検査診断システム
KR20080021300A (ko) * 2006-09-04 2008-03-07 연세대학교 산학협력단 라이다를 이용한 구조물 건전성 진단방법
DE102007037726B4 (de) * 2007-08-09 2010-07-08 Lavision Gmbh Verfahren zur berührungslosen Messung von Verformungen einer Oberfläche eines Messobjektes
CN101782372B (zh) 2010-02-04 2011-08-03 东南大学 基于梁端纵向位移的桥梁伸缩缝损伤诊断智能方法
JP2012107679A (ja) 2010-11-16 2012-06-07 Bridgestone Corp 免震装置の検査方法
US10006886B2 (en) * 2014-07-09 2018-06-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Energy analysis method for hidden damage detection
AU2016308995B2 (en) * 2015-08-19 2019-02-14 National Institute Of Advanced Industrial Science And Technology Method, device, and program for measuring displacement and vibration of object by single camera
JP2017167098A (ja) 2016-03-18 2017-09-21 三井住友建設株式会社 建物用層間変位解析装置
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2893018B1 (ja) * 1998-04-24 1999-05-17 東エン株式会社 支承の健全性判定方法およびその判定装置
CN1687728A (zh) * 2005-05-24 2005-10-26 浙江大学 轴承微载荷摩擦力测量方法及装置
CN102449333A (zh) * 2009-05-28 2012-05-09 法科股份有限公司 可调整预加载类型线性导引系统
US20160171309A1 (en) * 2014-12-11 2016-06-16 Jeffrey R. Hay Non-contacting monitor for bridges and civil structures
US20180052117A1 (en) * 2015-03-20 2018-02-22 Nec Corporation Structure status determination device, status determination system, and status determination method
CN104990935A (zh) * 2015-07-27 2015-10-21 南阳理工学院 一种桥梁、建筑物健康状况监测装置
WO2017167260A1 (zh) * 2016-03-31 2017-10-05 上海微电子装备（集团）股份有限公司 同轴掩模对准装置、光刻设备及对准方法
WO2017221965A1 (ja) * 2016-06-23 2017-12-28 日本電気株式会社 状態判定装置、状態判定方法、及びプログラムを記憶する記憶媒体
CN107538380A (zh) * 2016-06-28 2018-01-05 江阴吉爱倍万达精工有限公司 一种轴承跳动率检测用夹具
CN207502197U (zh) * 2017-12-01 2018-06-15 中国铁道科学研究院铁道建筑研究所 面向大跨铁路桥梁球型支座病害的监测系统

Also Published As

Publication number Publication date
JPWO2020021778A1 (ja) 2021-08-19
US20210350520A1 (en) 2021-11-11
JP7047914B2 (ja) 2022-04-05
WO2020021778A1 (ja) 2020-01-30
US11790511B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
Feng et al. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review
CN112513564A (zh) 信息处理设备、系统、方法和计算机可读介质
US11585721B2 (en) Displacement component detection apparatus, displacement component detection method, and computer-readable recording medium
JP6472894B2 (ja) メンテナンス計画立案支援システム、方法およびプログラム
CN108476282B (zh) 摄影辅助装置及摄影辅助方法
Winkler et al. Improved structural health monitoring of London’s docklands light railway bridges using digital image correlation
Maksymenko et al. Multilaser spot tracking technology for bridge structure displacement measuring
CN112637553A (zh) 一种基于监控视频的桥梁结构模态分析方法
US11519780B2 (en) Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium
WO2019186984A1 (ja) 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
US20200393289A1 (en) Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium
US11391621B2 (en) Vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
CN112419287A (zh) 一种建筑挠度确定方法、装置及电子设备
WO2019186985A1 (ja) 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
JP7156529B2 (ja) 変位測定装置、変位測定方法、およびプログラム
Barros et al. Displacement monitoring of crossbeams in an airport runway extension using digital image correlation
Alipour et al. Digital image and video-based measurements
Detchev et al. Structural 3D monitoring using a new sinusoidal fitting adjustment
Popescu et al. Structural health monitoring of a buttress dam using digital image correlation
WO2019145992A1 (ja) 振動信頼度算出装置、振動信頼度算出方法、及びコンピュータ読み取り可能な記録媒体
JP7147984B2 (ja) 負荷検知装置、負荷検知方法、及びプログラム
CN117392106B (zh) 一种基于视觉增强的桥梁振动视觉检测方法及系统
Xu et al. Tracking deflection in the field using optical system: a case study
JP7316173B2 (ja) 鉄塔基礎変位の観測装置及び観測方法
JP7287463B2 (ja) データ符号化装置、データ通信システム、データ通信方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210316