CN116391104A - 信息处理方法、信息处理装置以及信息处理系统 - Google Patents

信息处理方法、信息处理装置以及信息处理系统 Download PDF

Info

Publication number
CN116391104A
CN116391104A CN202180070885.0A CN202180070885A CN116391104A CN 116391104 A CN116391104 A CN 116391104A CN 202180070885 A CN202180070885 A CN 202180070885A CN 116391104 A CN116391104 A CN 116391104A
Authority
CN
China
Prior art keywords
camera
image
images
vibration
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180070885.0A
Other languages
English (en)
Inventor
今川太郎
丸山悠树
日下博也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN116391104A publication Critical patent/CN116391104A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

取得相机通过拍摄对象点而生成的学习用图像、以及与学习用图像被拍摄时的相机的位置以及姿势相关的多个学习用参数(S1),生成将多个学习用参数作为输入,并输出学习用图像显示的对象点所对应的对象块相对于学习用图像中的基准位置的第一位移量的模型(S2),取得相机通过拍摄对象点而生成的测量用图像、以及与测量用图像被拍摄时的相机的位置以及姿势相关的多个测量用参数(S3),取得通过向上述模型输入多个测量用参数而输出的、测量用图像显示的对象点所对应的对象块相对于测量用图像中的基准位置的第二位移量(S4),输出从测量用图像中的对象块的位移减去第二位移量而得到的位移(S5、S6)。

Description

信息处理方法、信息处理装置以及信息处理系统
技术领域
本发明涉及信息处理方法、信息处理装置以及信息处理系统。
背景技术
存在使用拍摄桥梁等结构物而得到的图像来测量该结构物的位移的技术(参照专利文献1)。
现有技术文献
专利文献
专利文献1:国际公开第2019/097576号
发明内容
发明要解决的课题
然而,存在如果拍摄所使用的相机振动,则会在拍摄图像中产生模糊或者位移,导致对结构物的位移的测量造成障碍的问题。
因此,本发明提供更加适当地进行结构物的位移的测量的信息处理方法等。
用于解决课题的手段
本发明的一方式的信息处理方法是如下的信息处理方法:取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块的、相对于该第一图像中的基准位置的第一位移量的生成模型,取得所述相机通过拍摄所述对象点而生成的多个第二图像、以及与所述多个第二图像各自被拍摄时的所述相机的位置以及姿势相关的多个第二参数,取得通过向所述模型输入关于所述多个第二图像各自的所述多个第二参数而输出的、该第二图像显示的所述对象点所对应的对象块的、相对于该第二图像中的基准位置的第二位移量,输出从所述多个第二图像中的所述对象块的位移减去所述第二位移量而得到的位移。
另外,这些总括性或具体的方式,可以由系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现,也可以由系统、装置、集成电路、计算机程序以及记录介质的任意组合实现。
发明的效果
本发明的信息处理方法能够更加适当地进行结构物的位移的测量。
附图说明
图1是表示实施方式中的基于处理装置的结构物的位移的测量的情形的示意图。
图2是表示实施方式中的处理装置的功能构成的框图。
图3是表示实施方式中的拍摄图像的第一例的说明图。
图4是表示实施方式中的模型的生成方法的说明图。
图5是表示实施方式中的拍摄图像的第二例的说明图。
图6是表示实施方式中的校正对象块的位置的处理的流程图。
图7是表示实施方式的变形例1中的基于处理装置的结构物的位移的测量的情形的示意图。
图8是表示实施方式的变形例1中的拍摄图像的例子的示意图。
图9是表示实施方式的变形例2中的固定有传感器的相机的示意图。
图10是表示实施方式的变形例2中的模型的生成方法的说明图。
具体实施方式
(作为本发明的基础的知识)
关于“背景技术”一栏中记载的测量结构物的位移的技术,本发明人发现会产生以下的问题。
存在在桥梁等结构物的检查中使用从远方利用高精度的相机拍摄该结构物而得到图像的技术。使用了图像的位移测量具有能够非接触地并且同时测量多个点的优点,可以对用于基础设施的维持以及管理的测量作业的省力化、测量作业所需要的设备以及电力的减少、以及需要的时间的缩短化等起到贡献。
由于相机或者支承着该相机的支承体(例如,三脚架)被物体或者流体(液体或者气体)碰撞或推动,会在相机产生振动或者位置偏移(以后,称作振动等)。在这样的振动等产生时,使用相机拍摄到的图像显示的被摄体的位置从使用没有振动等的情况的相机拍摄的情况下的位置偏移。如果使用这样的图像来测量结构物的位移,那么测量的结果将不正确。
如此,存在如果拍摄所使用的相机振动,则会在拍摄图像中产生位置偏移,并导致对结构物的位移的测量造成障碍这一问题。
因此,本发明提供更加适当地进行结构物的位移的测量的信息处理方法等。
本发明的一方式的信息处理方法是如下的信息处理方法:取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块相对于该第一图像中的基准位置的第一位移量的生成模型,取得所述相机通过拍摄所述对象点而生成的多个第二图像、以及与所述多个第二图像各自被拍摄时的所述相机的位置以及姿势相关的多个第二参数,取得通过向所述模型输入关于所述多个第二图像各自的所述多个第二参数而输出的、该第二图像显示的所述对象点所对应的对象块相对于该第二图像中的基准位置的第二位移量,输出从所述多个第二图像中的所述对象块的位移减去所述第二位移量而得到的位移。
根据上述方式,能够使用相机实际上拍摄到的图像以及该拍摄时的参数生成模型,并使用生成的模型,校正并输出对象点所对应的对象块的位置。对象点是成为位移的测量的对象的点。上述模型是在拍摄时的相机的位置以及姿势被确定的情况下,输出相机基于该确定的位置以及姿势而进行了拍摄的情况下的对象块的位移量的模型。上述模型的生成处理以及使用了上述模型的位移量的输出处理不需要考虑相机的位置以及姿势的复杂的几何计算,例如,可以以比较的简单的代数计算实现。由此,可以对与对象块的位移量的取得等相关的计算机的资源以及消耗电力的减少起到贡献。如此,根据上述信息处理方法,能够更加适当地进行结构物的位移的测量。
例如,也可以是,所述多个第一图像各自显示有多个参照点,所述多个第一图像各自包含与该第一图像显示的所述多个参照点一对一地对应的多个参照块,所述多个第一参数包含该第一图像中的所述多个参照块的位移,所述第二图像显示有所述多个参照点,所述第二图像包含该第二图像显示的所述多个参照点所对应的多个参照块,所述多个第二参数包含该第二图像中的所述多个参照块的位移。
根据上述方式,能够将与对象点一同显示于图像的参照点所对应的参照块的位置用作参数,校正对象块的位移量。参照点是在位移的测量时成为基准的点。由此,在对象块的位移量的校正中,除图像之外不需要取得信息,即,能够减少校正所需要的信息。由此,根据上述信息处理方法,能够基于更少的信息,更加适当地进行结构物的位移的测量。
例如,也可以是,所述多个第一参数包含从固定于所述相机的位移传感器或者陀螺仪传感器的输出值获得的、所述多个第一图像各自被拍摄时的所述相机的位移数据或者角速度数据,所述多个第二参数包含从所述位移传感器或者所述陀螺仪传感器的输出值获得的、所述第二图像被拍摄时的所述相机的位移数据或者角速度数据。
根据上述方式,能够将通过传感器测量的相机的位移量或者角速度用作参数,来校正对象块的位移量。在这种情况下的对象块的位移量的校正中,不使用参照点,因此,具有即使是在图像中不能设定适当的参照点的情况下,也能够执行的优点。由此,根据上述信息处理方法,即使是在图像中不能设定适当的参照点的情况下,也能够更加适当地进行结构物的位移的测量。
例如,也可以是,在取得所述多个第一图像时,通过在位置相对于所述相机的基准位置在规定距离以内变化时、或者姿势相对于所述相机的基准姿势在规定角度以内变化时,按顺序拍摄所述对象点来生成所述多个第一图像,从而取得所述多个第一图像。
根据上述方式,能够使用在相机的位置以及姿势变化时由该相机按顺序拍摄到的图像以及该拍摄时的参数来生成模型。此时,相机的位置以及姿势分别相对于基准位置以及基准姿势在规定以内,因此,能够将图像中的对象点的位置的偏移抑制地较小,并能够提高模型所输出的位移量的精度。由此,根据上述信息处理方法,能够以更高精度适当地进行结构物的位移的测量。
例如,也可以是,在生成所述多个第一图像时,通过在所述相机的位置以及姿势正在振动时,按顺序拍摄所述对象点来生成所述多个第一图像。
根据上述方式,能够使用在相机的位置以及姿势正在振动时由该相机按顺序拍摄到的图像以及该拍摄时的参数来生成模型。此时,相机的位置以及姿势正在振动,因此,能够将图像中的对象点的位置的偏移抑制地较小,并且能够提高再现性,并能够提高模型所输出的位移量的精度。由此,根据上述信息处理方法,能够以更高精度更加适当地进行结构物的位移的测量。
例如,也可以是,通过固定于所述相机的起振装置对所述相机赋予振动,在基于对所述相机赋予的所述振动而所述相机的位置以及姿势正在振动时,拍摄所述对象点,从而生成所述多个第一图像。
根据上述方式,能够通过起振装置来赋予相机的位置以及姿势的振动。因此,不需要通过其他手段使相机振动,因此,能够更容易地并且有效地使相机振动,并能够进行对象块的位移量的校正。由此,根据上述信息处理方法,能够更容易地更加适当地进行结构物的位移的测量。
例如,也可以是,在所述起振装置对所述相机赋予振动时,赋予包含相互正交的3个方向的移动的分量、以及绕相互正交的3轴旋转的分量的振动。
根据上述方式,通过起振装置对相机赋予包含所有可以在三维空间中产生的移动以及旋转的分量的振动,因此,能够生成可以输出产生了各种振动的情况下的对象块的位移量的模型,能够以更高精度进行对象块的位移量的校正。由此,根据上述信息处理方法,能够以更高精度更加适当地进行结构物的位移的测量。
例如,也可以是,在取得所述多个第一参数时,不取得没有通过所述起振装置对所述相机赋予振动时的所述多个第一参数,而取得通过所述起振装置对所述相机赋予振动时的所述多个第一参数。
根据上述方式,通过不取得对模型的生成的贡献较小的、没有通过起振装置对相机赋予振动时的参数,能够减少取得的信息量,并能够减少存储装置需要的存储容量。由此,根据上述信息处理方法,能够使用更小的存储装置来实现结构物的位移的测量。
例如,也可以是,在通过所述起振装置对所述相机赋予振动时,赋予具有确定振幅或者确定频率的振动,在取得所述多个第一参数时,提取并取得所述相机的位置的振动以及姿势的振动中的所述确定振幅或者所述确定频率的位置的振动以及姿势的振动。
根据上述方式,能够生成可以使用确定振幅或者确定频率的振动来输出对象块的位移量的模型。假设,即使在结构物或者相机中产生了与确定振幅或者确定频率不同的振动,也能够不受该振动的影响而生成进行对象块的位移量的校正的模型。由此,根据上述信息处理方法,即使在结构物或者相机正在振动的情况下,也能够更加适当地进行结构物的位移的测量。
例如,也可以是,所述多个第一图像各自显示有多个参照点候选,所述多个第一图像各自包含该第一图像显示的所述多个参照点候选所对应的多个参照块候选,在生成所述模型时,使用包含从所述多个参照块候选中基于多个选择模式选择的多个试用参照块组作为所述多个参照块的所述多个第一图像,生成作为所述模型的多个试用模型,将生成的多个所述试用模型中的输出的所述第一位移量所含的误差更小的试用模型生成为所述模型作。
根据上述方式,能够预先设定比实际上使用的参照点多的参照点候选,在模型生成时选择并使用误差更小的模型,进行对象块的位移量的校正。由此,根据上述信息处理方法,能够以更高精度更加适当地进行结构物的位移的测量。
例如,也可以是,位置以及姿势与作为所述相机的第一相机一体地变化的第二相机与所述第一相机进行的多个第一图像的拍摄同时地拍摄的多个第三图像各自显示有多个参照点,所述多个第三图像各自包含与该第三图像显示的所述多个参照点一对一地对应的多个参照块,所述多个参数包含所述多个参照块在该第三图像中的位置,所述第二图像显示有所述多个参照点,所述第二图像包含该第二图像显示的所述多个参照点所对应的多个参照块,所述多个第二参数包含该第二图像中的所述多个参照块的位置。
根据上述方式,能够使用位置以及姿势一体地变化的多个相机,并使用该多个相机所生成的图像中包含的参照块,生成可以输出对象块的位移量的模型。多个相机的拍摄参数可以不同。因此,通过有效地使用多个相机,能够在各种位置设定参照点,能够使精度提高。由此,根据上述信息处理方法,能够以更高精度更加适当地进行结构物的位移的测量。
此外,本发明的一方式的信息处理方法是如下的信息处理方法:取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块相对于该第一图像中的基准位置的第一位移量的生成模型,取得所述相机通过拍摄所述对象点而生成的多个第二图像、以及与所述多个第二图像各自被拍摄时的所述相机的位置以及姿势相关的多个第二参数,取得通过向所述模型输入所述多个第二参数而输出的、所述第二图像显示的所述对象点所对应的对象块相对于该第二图像中的基准位置的第二位移量,输出从所述第二图像中的所述对象块的位置减去所述第二位移量而得到的位置。
根据上述方式,能够使用相机实际上拍摄到的图像以及该拍摄时的参数生成模型,并使用生成的模型,校正并输出对象点所对应的对象块的位置。对象点是成为位移的测量的对象的点。上述模型是在拍摄时的相机的位置以及姿势被确定的情况下,输出相机基于该确定的位置以及姿势而进行了拍摄的情况下的对象块的位移量的模型。上述模型的生成处理以及使用了上述模型的位移量的输出处理不需要考虑相机的位置以及姿势的复杂的几何计算,例如,可以以比较的简单的代数计算实现。由此,可以对与对象块的位移量的取得等相关的计算机的资源以及消耗电力的减少起到贡献。如此,根据上述信息处理方法,能够更加适当地进行结构物的位置的测量。
此外,本发明的一方式的信息处理装置是如下的信息处理装置,具备:取得部;生成部;以及输出部,所述取得部取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,所述生成部生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块在该第一图像中的第一位移量的模型,所述取得部,进而,取得所述相机通过拍摄所述对象点而生成的第二图像、以及与所述第二图像被拍摄时的所述相机的位置以及姿势相关的多个第二参数,所述输出部取得通过向所述模型输入所述多个第二参数而输出的、所述第二图像显示的所述对象点所对应的对象块在该第二图像中的第二位移量,输出从所述第二图像中的所述对象块的位移减去所述第二位移量而得到的位移。
根据上述方式实现上述信息处理方法相同的效果。
此外,本发明的一方式的信息处理系统是如下的信息处理系统,包含:上述信息处理装置;所述相机,生成所述多个第一图像以及所述多个第二图像;以及起振装置,固定于所述相机,对所述相机赋予振动。
根据上述方式,通过起振装置对相机赋予振动,从而,实现与上述信息处理方法相同的效果。
另外,这些总括性或具体的方式,也可以由系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现,也可以由系统、装置、集成电路、计算机程序以及记录介质的任意组合实现。
以下,参照附图具体地说明实施方式。
另外,以下说明的实施方式,均示出总括性或具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一个例子,并非旨在限定本发明。并且,对于以下的实施方式的构成要素中的示出最上位概念的实施方案中没有记载的构成要素,作为任意的构成要素进行说明。
(实施方式)
在本实施方式中,对更加适当地进行结构物的位移的测量的信息处理装置等进行说明。
图1是表示本实施方式中的结构物的位移的测量的情形的示意图。
图1是示出了桥梁1、从远方拍摄桥梁1的相机21、以及处理装置10。另外,远方是指距离桥梁1例如数10m~数100m左右的地点,但并不限定于此。
桥梁1是固定地设置于地面的桥梁,是结构物的一个例子。桥梁1具备从地下向地上延伸的桥支脚、以及被桥支脚支承的桥桁架。桥梁1是通过本实施方式中的处理装置10来测量位移的对象。另外,作为通过本实施方式中的处理装置10来测量位移的对象的结构物并不限定于桥梁1、也可以是大楼、铁塔、雕像或者塔等建造物。
桥梁1中的相对于地面固定的部分(例如,桥支脚)假定为相对于地面不位移,但与地面分离的部分(例如,桥桁架)假定为相对于地面相对地位移。例如由于对于桥梁1施加外力,在构成桥梁1的钢筋或者水泥等产生变形(具体而言,挠曲或者挠度等),从而产生桥桁架相对于地面的相对的位移量。例如,在汽车或者电车通过桥桁架之上时,由于汽车或者电车的重量,作用使桥桁架向下方向位移的外力。此外,由于地震或者强风,作用使桥桁架向各种方向位移的力。
这里,将桥梁1中的成为位移的测量的对象的点称作对象点。此外,将桥梁1中的假定为相对于地面不位移的点称作参照点。在图1中,设定了一个对象点31以及五个参照点33、34、35、36以及37。另外,参照点需要设定多个,参照点的个数越多,对象点的位移的测量的精度越高。对象点可以设定为一个以上的任意个数。一个以上的对象点各自的位移利用多个参照点来测量。
相机21是通过拍摄桥梁1来生成显示有桥梁1的图像的拍摄装置。相机21被固定地载置于地面的三脚架23支承。三脚架23的材质是合成树脂或者金属等。相机21进行的拍摄的时间间隔例如是0.1秒左右以下。相机21向处理装置10提供生成的图像。
在相机21拍摄桥梁1时,若对于相机21或者三脚架23施加外力,则基于三脚架23的挠曲以及振动等,会在相机21产生振动等。若在拍摄时相机21振动,则在生成的图像中显示的桥梁1产生位移,因此,阻碍准确地测量桥梁1的位移。因此,需要抑制基于在拍摄时相机21产生的振动等的、图像中的桥梁1的位移对测量结果造成的影响。
在相机21固定地设置有起振装置25以及26。起振装置25以及26是分别对相机21施加振动的装置。起振装置25以及26例如是使用了螺线管线圈的起振装置。
起振装置25以及26对相机21施加的振动可以包含各种方向的移动的分量、或者绕各种轴的旋转的分量。起振装置25以及26对相机21施加的振动,例如,包含相互正交的三个方向的移动的分量、以及绕相互正交的三个轴的旋转的分量。起振装置25以及26可以在处理装置10执行的、用于抑制相机21产生的振动等的影响的处理中使用。另外,以设置的起振装置为两个情况为例进行说明,但设置的起振装置也可以是一个,还可以是三个以上。
另外,并不一定需要起振装置25以及26。取代起振装置25以及26而能够使相机21产生振动即可,也可以通过使适当的物体或者流体与相机21碰撞来使相机21产生振动。也可以通过人的手指轻敲相机21来使相机21产生振动。
处理装置10是测量桥梁1的位移的信息处理装置。处理装置10取得相机21通过拍摄而生成的图像,基于取得的图像测量桥梁1的位移。此时,处理装置10利用图像显示的对象点以及参照点的位移量,进行对基于拍摄时的相机21的振动等的、图像中的对象点的位移进行抑制的校正处理。由此,处理装置10测量被抑制了基于拍摄时的相机21的振动等的位移的对象点、即桥梁1的位移。
以下,对处理装置10的功能更详细地进行说明。
图2是表示本实施方式中的处理装置10的功能构成的框图。
如图2所示,处理装置10具备取得部11、生成部12、以及输出部13。上述的各功能部可以通过处理装置10所具备的处理器(例如,CPU(Central Processing Unit),未图示)使用存储器(未图示)执行规定的程序来实现。
取得部11是取得通过拍摄桥梁1而生成的图像、以及与该图像被拍摄时的相机21的位置以及姿势相关的多个参数的功能部。取得部11在学习期间与测量期间取得上述图像与上述多个参数。这里,学习期间是用于对在测量期间进行的校正处理所使用的、对象点的位移量进行计算的期间。此外,测量期间是用于测量对象点的位移,并使用在学习期间计算的对象点的位移量来校正测量的位移的期间。
此外,在取得的图像中,取得部11将显示有对象点的规定尺寸的部分确定为对象块,此外,将显示有参照点的规定尺寸的部分确定为参照块。在图像中确定对象块的处理,通过基于拍摄到的图像中显示的对象点的周围的特征来确定显示有对象点的点,并确定包含该点的规定尺寸的部分来完成,可以通过公知技术实现。对于参照点以及参照块也相同。
具体而言,取得部11在学习期间,取得相机21通过基于多个位置以及姿势拍摄对象点而生成的多个图像(也称作学习用图像或者第一图像)、以及与上述多个学习用图像各自被拍摄时的相机21的位置以及姿势相关的多个参数(也称作学习用参数或者第一参数)。多个学习用图像以相机21拍摄的多个图像中的一部分的情况为例进行说明,但多个学习用图像也可以是相机21拍摄的多个图像的全部。多个学习用图像被拍摄的时刻的间隔例如是0.1秒~0.01秒左右。
这里,多个学习用图像各自显示有多个参照点。多个学习用图像各自包含与该学习用图像显示的多个参照点一对一地对应的多个参照块。并且,多个学习用参数包含该学习用图像中的多个参照块的位置。学习用图像中的参照块的位置例如是x以及y的二维坐标系中的坐标。以下也相同。
在相机21取得多个学习用图像时,三脚架23固定于地面上的相同的位置。将未对相机21以及三脚架23施加外力的状态下的相机21的位置以及姿势分别称作相机21的基准位置以及基准姿势。并且,例如通过在位置相对于相机21的基准位置在规定距离以内变化时、或者姿势相对于相机21的基准姿势在规定角度以内变化时,相机21按顺序拍摄对象点来生成多个学习用图像,从而取得多个学习用图像。上述表达中,也包含在位置相对于相机21的基准位置在规定距离以内变化,并且姿势相对于相机21的基准姿势在规定角度以内变化时进行拍摄的情况。
更具体而言,在生成多个学习用图像时,通过在相机21的位置以及姿势正在振动时,相机21按顺序拍摄对象点来生成多个学习用图像。
作为一个例子,相机21的位置以及姿势的振动是通过起振装置25以及26而被施加的振动。即,相机21在生成多个学习用图像时,通过固定于相机21的起振装置25以及26对相机21赋予振动,基于对相机21赋予的振动,在相机21的位置以及姿势正在振动时,拍摄对象点,从而进行生成。这里,以对相机21赋予振动的起振装置是起振装置25以及26的情况为例进行说明,但是并不局限于此,也可以仅是起振装置25以及26中的一方,在具备三个以上起振装置的情况下,也可以是三个以上的起振装置对相机21赋予振动。此外,也可以是不取决于起振装置的振动。
另外,也可以是,取得部11不取得没有通过起振装置25以及26对相机21赋予振动时的多个学习用参数,而取得通过起振装置25以及26对相机21赋予振动时的多个学习用参数。换言之,也可以是,取得部11仅在通过起振装置25以及26对相机21赋予振动时,取得多个学习用参数。
此外,取得部11在测量期间取得相机21通过拍摄对象点而生成的多个图像(也称作测量用图像或者第二图像)、以及与测量用图像各自被拍摄时的相机21的位置以及姿势相关的多个测量用参数。
这里,多个测量用图像各自显示有多个参照点。测量用图像包含该测量用图像显示的多个参照点所对应的多个参照块。并且,多个测量用参数包含该测量用图像中的多个参照块的位置。
在相机21进行测量用图像的拍摄时,三脚架23固定于与进行多个学习用图像的拍摄时相同的位置。另外,相机21进行测量用图像的拍摄的定时可以是多个学习用图像的拍摄之前,也可以是多个学习用图像的拍摄之后,还可以是多个学习用图像的拍摄之间。
生成部12是生成模型15的功能部。模型15是将多个学习用参数作为输入,并输出多个学习用图像各自显示的对象点所对应的对象块相对于该学习用图像中的基准位置的位移量(也称作第一位移量)模型15。
输出部13是校正测量用图像中的对象块的位移,并输出校正后的位移的功能部。具体而言,输出部13取得通过向模型15输入多个测量用参数而输出的、该测量用图像中的相机21的振动所引起的测量用图像显示的对象点所对应的对象块相对于基准位置的位移量(也称作第二位移量)。第二位移量是测量用图像中的对象点相对于基准位置的位移量,示出了假设相机21基于测量用图像被拍摄时的相机21的位置以及姿势进行拍摄,而推测的对象块将会位移的位移的位移量。
此外,输出部13输出从测量用图像中的对象块的位移减去第二位移量而得到的位移。这里,从测量用图像中的对象块的位移减去第二位移量的操作相当于校正。通过从测量用图像中的对象块的位移减去第二位移量,可以获得相当于实际的桥梁1的位移量的、测量用图像中的位移量。另外,通过对如上述那样获得的测量用图像中的位移量实施公知的运算处理(例如,乘以规定的系数等处理),能够计算出实际的桥梁1的位移量。
以下,对处理装置10具备的各功能部的处理的详细情况进行说明。
图3是表示本实施方式中的作为拍摄图像的第一例的图像40的说明图。图像40是在学习期间由相机21生成的图像的一个例子。在图像40的拍摄时,桥梁1视为静止,并认为对于相机21施加了基于起振装置25以及26等的振动。将这种情况下的桥梁1的位置称作“桥梁1的通常的位置”。同样,将在这种情况下的桥梁1的对象点以及参照点的位置分别称作对象点的通常的位置以及参照点的通常的位置。
如图3所示,图像40显示了桥梁1、对象点31、以及参照点33~37。例如,设图像40中的右方向为x轴正方向,下方向为y轴正方向,但并不限定于此。
在图像40中,对象块41与对象点31对应。此外,参照块43~47各自与参照点33~37对应。
另外,将对象点31以及参照点33~37设定在哪里通过适当的方法而确定。例如,可以通过向用户提示图像40,从用户取得受理的指定,来设定对象点31以及参照点33~37。此外,也可以设定为,使用通过向以图像为输入来确定适当的对象点以及参照点的机器学习模型输入图像40而得到的对象点31以及参照点33~37。
图4是表示本实施方式中的模型15的生成方法的说明图。
图4是表示学习期间的参照块43~47以及对象块41各自的位移量的时间变化的图表。在各图表中,取位移量为纵轴,取时间为横轴。纵轴的1刻度例如是1mm(或者像素)左右,横轴的1刻度例如是1秒左右,但并不限定于此。图4所示的位移量的时间变化与相机21生成的所有的图像中的参照块43~47的位置对应。图4所示的参照块43~47以及对象块41的位移量振动是由于该拍摄时相机21正在振动。
图4的位移量R1x示出了图像40中的参照块43的x方向的位移量(换言之,位移的x分量)。图4的位移量R1y示出了图像40中的参照块43的y方向的位移量(换言之,位移的y分量)。
同样,图4的位移量R2x、R2y、R3x、R3y、R4x、R4y、R5x以及R5y分别示出了参照块44的x方向以及y方向的位移量、参照块45的x方向以及y方向的位移量、参照块46的x方向以及y方向的位移量、以及参照块47的x方向以及y方向的位移量。
此外,图4的位移量Tx以及Ty分别示出了图像40中的对象块41的x方向以及y方向的位移量。
首先,生成部12生成以位移量R1x~R5y作为输入,并输出位移量Tx的模型15。模型15例如通过以位移量R1x~R5y为自变量,以位移量Tx为因变量的函数fx来表现(参照下述(式1))。函数fx也可以以任何形式的数学式表现。
Tx=fx(R1x、R1y、R2x、R2y、R3x、R3y、
R4x、R4y、R5x、R5y)(式1)
生成部12通过使用图4所示的位移量R1x~R5y来具体地决定函数fx,从而生成模型15。
以函数fx通过作为自变量的位移量R1x~R5y的线性结合来表现的情况为例,对模型15的生成处理进行说明。
在这种情况下,函数fx表现为下述(式2)。
Tx=p1×R1x+p2×R1y+p3×R2x+p4×R2y
+p5×R3x+p6×R3y+p7×R4x+p8×R4y
+p9×R5x+p10×R5y(式2)
这里,p1、p2、···、p10是不取决于位移量R1x~R5y及Tx以及Ty的系数。
取得部11取得相机21生成的图像中的具有适当的时间间隔(例如,0.01秒~0.1秒左右)的图像作为多个学习用图像。生成部12取得取得部11取得的多个学习用图像各自的位移量R1x~R5y。
接着,生成部12使用多个学习用图像各自的位移量R1x~R5y通过最小二乘法来决定系数p1~p10。取得的位移量R1x~R5y的值的个数越多,越能够高精度地决定系数p1~p10。
另外,作为模型15,除上述函数fx之外,还能够使用表示位移量R1x~R5y与位移量Tx的关系的各种信息。
生成部12与上述的模型15的生成处理同样地,生成将位移量R1x~R5y作为输入而输出位移量Ty的模型15。输出位移量Ty的模型15与位移量Tx的情况同样,例如,通过以位移量R1x~R5y为自变量,以位移量Ty为因变量的函数fy来表现。函数fy的具体的决定方法与函数fx的情况相同。
如此,生成部12生成将图像40中的多个参照块43~47的位移量R1x~R5y作为输入,并输出图像40中的对象块41的位移量Tx以及Ty的模型15。
图5是表示本实施方式中的作为拍摄图像的第二例的图像50的说明图。图像50是在测量期间由相机21生成的图像的一个例子。在图5的图像50的拍摄完成时,通过由于桥梁1之上存在电车而作用将桥梁1向下方向推动的外力从而产生的桥梁1的挠曲,对象点31从对象点31的通常的位置向下方向位移。由此,在图像50中,设为对象块41向y轴正方向位移。另一方面,设为参照点33~37分别位于该参照点的通常的位置(即,没有位移)。另外,桥梁1向下方向的位移量例如是数mm(或者像素)左右,但并不限定于此。
如图5所示,图像50显示有桥梁1、对象点31、以及参照点33~37。此外,与图3的情况同样,设定了对象块41以及参照块43~47。
输出部13从取得部11取得图像50中的对象块41以及参照块43~47的位置。此外,输出部13取得通过向生成部12生成的模型15输入参照块43~47的位置而输出的、对象块41的位移量Tx以及Ty。此时,取得的对象块41的位移量Tx以及Ty示出了在假定不对桥梁1施加外力的情况下的对象块41的位移量。
实际上,由于电车在桥梁1上行驶,作为外力而施加将桥梁1向下方向推动的力,因此,对象块41与上述假定的情况下的对象块41的位置相比向y轴正方向位移。
输出部13将从由取得部11取得的对象块41的位置减去使用模型15计算的对象块41的位移量而得到的值作为对象块41的位置而输出。输出的值是相当于外力引起的桥梁1向下方向的位移量的、图像50中的位移量。
图6是表示本实施方式中的校正对象块41的位置的处理的流程图。
在步骤S1中,取得部11在学习期间取得多个学习用图像以及多个学习用图像各自被拍摄时的多个学习用参数。
在步骤S2中,生成部12使用步骤S1中取得部11取得的多个学习用图像以及多个学习用参数,生成输出学习用图像各自显示的对象点31所对应的对象块41在该学习用图像中的位移量(即,第一位移量)的模型15。
在步骤S3中,取得部11在测量期间,取得多个测量用图像以及多个测量用图像各自被拍摄时的多个测量用参数。
在步骤S4中,输出部13使用步骤S3中取得的测量用图像以及多个测量用参数,取得相机21的振动引起的对象块41的位移量(即,第二位移量)。
在步骤S5中,输出部13使用步骤S4中取得的对象块41的位移量,校正测量用图像中的对象块41的位移。
在步骤S6中,输出部13输出步骤S5中校正后的对象块41的位移。
通过以上的一系列的处理,处理装置10能够更加适当地进行结构物的位移的测量。
另外,起振装置25以及26对相机21赋予的振动也可以是具有确定振幅或者确定频率的振动。在这种情况下,取得部11在取得多个学习用参数时,也可以提取并取得相机21的位置的振动以及姿势的振动中的确定振幅或者确定频率的位置的振动以及姿势的振动。
如此,在学习期间,即使在桥梁1或者相机21产生与确定振幅或者确定频率不同的振动,生成部12也能够不受到该振动的影响而生成模型15。
这里,确定振幅或者确定频率能够使用任意的振幅或者频率,特别地,可以是与会在桥梁1产生的振动的振幅或者频率不同的频率。如此,在提取确定振幅或者确定频率的振动的处理中,具有能够排除自然地在相机21产生的振动,并能够生成表示对象块与参照块的关系的更准确的模型的优点。另外,会在桥梁1产生的振动的振幅或者频率可以根据桥梁1的尺寸、重量、材质或者强度、或者吹到桥梁1的风的强度等来计算。
另外,参照点也可以通过从预先确定的参照点候选中选择适当的参照点候选来决定。更具体而言,也可以是,多个学习用图像各自显示有多个参照点候选,多个学习用图像各自包含该学习用图像显示的多个参照点候选所对应的多个参照块候选。该情况下,在生成部12生成模型15时,使用包含基于多个选择模式从多个参照块候选中选择的多个试用参照块组作为多个参照块的多个学习用图像,生成作为模型15的多个试用模型。并且,生成部12将生成的多个试用模型中的输出的第一位移量所含的误差更小的试用模型生成为模型15。
(实施方式的变形例1)
在本变形例中,对于更加适当地进行结构物的位移的测量的信息处理装置等,对与上述实施方式不同的构成进行说明。本变形例的信息处理装置使用多个相机生成的图像来更加适当地进行结构物的位移的测量。
图7是表示本变形例中的基于处理装置10的结构物的位移的测量的情形的示意图。
图7中示出了桥梁1、从远方拍摄桥梁1的相机21以及22、以及处理装置10。
桥梁1与上述实施方式中的相同。
相机21以及22是相当于上述实施方式中的相机21的相机。相机21以及22向处理装置10提供生成的图像。
相机21以及22一同被三脚架23支承。相机21以及22被固定为相互的相对位置不变化。因此,若对相机21或22或者三脚架23施加外力,相机21以及22作为一体而位置以及姿势变化。此外,相机21以及22同时地进行拍摄。相机21以及22的拍摄参数(透镜、F值、焦距以及快门速度等)可以不同。此外,相机21以及22生成的图像的像素数可以不同。相机21相当于第一相机,相机22相当于第二相机。
在相机21以及22固定地设置有起振装置25以及26。另外,在图7中,示出了在相机22设置起振装置25以及26的情形,但也可以在相机21设置起振装置25以及26,还可以在相机21设置起振装置25并且在相机22设置起振装置26。在起振装置为三个以上的情况下,可以将任意的个数的起振装置设置于相机21或者22。
在相机21以及22通过拍摄而生成的图像中,显示有对象点31以及多个参照点33~37。这里,对象点31以及多个参照点33~37可以以任意的方式分配给相机21生成的图像以及相机22生成的图像。这里,以相机21生成的图像显示对象点31,相机22生成的图像显示多个参照点33~37的情况为例进行说明。相机22生成的图像相当于第三图像。多个测量用参数包含多个参照块在该第三图像中的位置。
但是,更一般来说,可以是,相机21以及22中的一方生成的图像显示对象点以及a个参照点,相机21以及22中的另一方生成的图像显示(N-a)个参照点。这里,N是多个参照点的个数,a是0以上N以下的整数。
另外,以相机21以及22朝向相同的方向地设置,一同拍摄桥梁1的情况为例进行说明,但相机21以及22的朝向也可以不是相同的方向。例如,相机22也可以设置为拍摄与相机21拍摄的朝向相反的方向的朝向。
图8是表示本变形例中的作为拍摄图像的例子的图像60A以及60B的示意图。图像60A以及60B是在学习期间由相机21生成的图像的例子。
图8的(a)所示的图像60A以及图8的(b)所示的图像60B分别是相机21以及22同时生成的图像的例子。图像60A与图像60B基于透镜或者像素数等不同而显示的被摄体的比例尺不同。
图像60A中显示有桥梁1的对象点31,设定了对象点31所对应的对象块41。
图像60B显示有桥梁1的参照点33A、34A、35A、36A以及37A,设定了参照点33A~37A各自所对应的参照块43A~47A。
取得部11取得对象块41以及参照块43A~47A的位置。生成部12使用取得部11取得的对象块41以及参照块43A~47A的位置来生成模型15。之后,取得部11在测量期间,通过相机21以及22进行的拍摄来生成图像。输出部13使用取得部11生成的图像并与上述实施方式同样地使用模型15计算对象块41的位移量,输出从测量的对象块41的位置减去上述位移量而得到的值。
另外,图8中,以拍摄到对象点31的图像60A的放大率较小,拍摄到参照点33A~37A的图像60B的放大率较大的情况为例进行了说明。通过设为这样的放大率,能够提高对象点31的位移的测定精度。然而,放大率的大小并不限定于图8所示的例子。具体而言,也可以是拍摄到对象点31的图像60A的放大率较大,拍摄到参照点33A~37A的图像60B的放大率较小的情况。通过设为这样的放大率,提高参照点33A~37A的位移的测定精度,其结果,能够使对象点31的测定的误差降低。
进而,也可以将拍摄到对象点31的图像60A的放大率与拍摄到参照点33A~37A的图像60B的放大率一同设为与图8所示的图像60B相同程度。如此,可以获得上述那样的测定精度的提高以及测定的误差的降低的优点。
(实施方式的变形例2)
在本变形例中,对于更加适当地进行结构物的位移的测量的信息处理装置等,对与上述实施方式以及上述变形例不同的构成进行说明。
本变形例的信息处理装置,使用固定于相机的传感器的输出值作为多个参数来更加适当地进行结构物的位移的测量。
图9是表示本变形例中的固定有传感器71以及72的相机21的示意图。
如图9所示,在相机21固定地设置有传感器71以及72。
这里,以传感器71是位移传感器,传感器72是陀螺仪传感器情况为例进行说明。即,传感器71例如感知相互正交的3轴方向的位移量,并输出感知到的位移量。传感器72例如感知绕相互正交的3轴的角速度,并输出感知到的角速度。另外,设置于相机21的传感器的种类、个数或者位置并不限定于上述。
在相机21的位置或者姿势变化时,根据该变化,传感器71以及72输出的位移量以及角速度变化。
取得部11将传感器71以及传感器72输出的输出值,即,位移量以及角速度用作参数。即,取得部11将在学习期间取得的位移量以及角速度用作学习用参数。此外,取得部11将在测量期间取得的位移量以及角速度用作测量用参数。
即,多个学习用参数包含从固定于相机21的位移传感器或者陀螺仪传感器的输出值获得的、多个学习用图像各自被拍摄时的相机21的位移数据或者角速度数据。此外,多个测量用参数包含从位移传感器或者陀螺仪传感器的输出值获得的、测量用图像被拍摄时的相机21的位移数据或者角速度数据。
图10是表示本变形例中的模型的生成方法的说明图。
图10示出了学习期间的传感器71以及72各自的输出值的时间变化。在图10中,取输出值为纵轴,取时间为横轴。纵轴的1刻度例如对位移传感器即传感器71为1mm左右,对于陀螺仪传感器传感器72为1deg/s左右,横轴的1刻度例如是1秒左右,但并不限定于此。
图10所示的位移量D1、D2以及D3示出了传感器71输出的3轴中的各个轴的方向的位移量。图10的角速度G1、G2以及G3示出了传感器72输出的绕3轴中的各个轴的角速度。
生成部12与上述实施方式的情况同样地,生成将位移量D1、D2以及D3及角速度G1、G2以及G3作为输入,并输出对象块的x方向的位移量Tx的模型。模型例如通过函数gx表现(参照式3)。
Tx=gx(D1、D2,D3,G1、G2,G3) (式3)
并且,在函数gx例如通过位移量D1、D2以及D3及角速度G1、G2以及G3各自的时间积分值D4、D5以及D6的线性结合来表现的情况下(参照(式4)),通过使用最小二乘法来决定各系数q1等,从而生成上述模型。Tx=q1×D1+q2×D2+q3×D3+q4×D4+q5×D5+q6×D6(式4)
如果使用本变形例所示的方法,那么不使用参照块,基于相机21的位置以及姿势的变化,就能够校正对象块的位置。
(实施方式的变形例3)
在本变形例中,对更加适当地进行结构物的位置的测量的处理装置进行说明。
本变形例的处理装置通过进行与上述实施方式中的进行结构物的位移的测量的处理类似的处理,来更加适当地进行结构物的位置的测量。
本变形例的处理装置与上述实施方式中的处理装置的不同在于输出部13的处理。取得部11与生成部12的处理与上述实施方式中的处理装置10相同,因此省略说明。
本变形例中的处理装置的输出部13取得通过向模型15输入多个测量用参数而输出的、测量用图像显示的对象点所对应的对象块在该测量用图像中的第二位移量,来输出从测量用图像中的对象块的位置减去上述第二位移量而得到的位置。
通过如此,本变形例中的处理装置能够更加适当地进行结构物的位置的测量。
另外,在上述实施方式以及上述变形例中,各构成要素也可以通过专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。也可以是,各结构要素通过CPU或者处理器等程序执行部读出并执行记录于硬盘或者半导体存储器等记录介质中的软件程序来实现。这里,实现上述实施方式以及上述变形例的信息处理装置等的软件是如下所述的程序。
即,该程序,计算机,相机基于多个位置以及姿势拍摄对象点生成的多个第一图像,所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数取得,所述多个第一参数作为输入,所述多个第一图像各自显示的所述对象点所对应的对象块的、该第一图像中的基准位置的第一位移量输出的生成模型,所述相机拍摄所述对象点生成的多个第二图像,所述多个第二图像各自被拍摄时的所述相机的位置以及姿势相关的多个第二参数取得,所述多个第二图像各自所述多个第二参数所述模型输入输出的、该第二图像显示的所述对象点所对应的对象块的、该第二图像中的基准位置的第二位移量取得,所述多个第二图像中的所述对象块的位移所述第二位移量差引而得到的位移输出的信息处理方法执行程序。
以上,基于实施方式对一个或者多个方式的信息处理装置等进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,本领域技术人员对本实施方式执行想到的各种变形、或组合不同的实施方式中的构成要素而构成的方式,也可以均包含在一个或多个方式的范围内。
工业上的可利用性
本发明能够利用于测量结构物的位移的测量装置。
附图标记说明
1桥梁
10处理装置
11取得部
12生成部
13输出部
15模型
21、22相机
23三脚架
25,26起振装置
31对象点
33、33A、34,34A、35、35A、36、36A、37、37A参照点
40、50、60A、60B图像
41对象块
43、43A、44、44A、45、45A、46、46A、47、47A参照块
71、72传感器
D1、D2、D3,R1x、R1y、R2x、R2y、R3x、R3y、R4x、R4y、R5x、R5y、Tx、Ty位移量
G1、G2、G3角速度

Claims (14)

1.一种信息处理方法,其中,
取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,
生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块相对于该第一图像中的基准位置的第一位移量的模型,
取得所述相机通过拍摄所述对象点而生成的多个第二图像、以及与所述多个第二图像各自被拍摄时的所述相机的位置以及姿势相关的多个第二参数,
取得通过向所述模型输入关于所述多个第二图像各自的所述多个第二参数而输出的、该第二图像显示的所述对象点所对应的对象块相对于该第二图像中的基准位置的第二位移量,
输出从所述多个第二图像中的所述对象块的位移减去所述第二位移量而得到的位移。
2.根据权利要求1所述的信息处理方法,其中,
所述多个第一图像各自显示有多个参照点,
所述多个第一图像各自包含与该第一图像显示的所述多个参照点一对一地对应的多个参照块,
所述多个第一参数包含该第一图像中的所述多个参照块的位移,
所述第二图像显示有所述多个参照点,
所述第二图像包含该第二图像显示的所述多个参照点所对应的多个参照块,
所述多个第二参数包含该第二图像中的所述多个参照块的位移。
3.根据权利要求1或2所述的信息处理方法,其中,
所述多个第一参数包含从固定于所述相机的位移传感器或者陀螺仪传感器的输出值获得的、所述多个第一图像各自被拍摄时的所述相机的位移数据或者角速度数据,
所述多个第二参数包含从所述位移传感器或者所述陀螺仪传感器的输出值获得的、所述第二图像被拍摄时的所述相机的位移数据或者角速度数据。
4.根据权利要求1至3中任一项所述的信息处理方法,其中,
在取得所述多个第一图像时,通过在位置相对于所述相机的基准位置在规定距离以内变化时、或者姿势相对于所述相机的基准姿势在规定角度以内变化时,按顺序拍摄所述对象点来生成所述多个第一图像,从而取得所述多个第一图像。
5.根据权利要求4所述的信息处理方法,其中,
在生成所述多个第一图像时,通过在所述相机的位置以及姿势正在振动时,按顺序拍摄所述对象点来生成所述多个第一图像。
6.根据权利要求5所述的信息处理方法,其中,
通过固定于所述相机的起振装置对所述相机赋予振动,在基于对所述相机赋予的所述振动而所述相机的位置以及姿势正在振动时,拍摄所述对象点,从而生成所述多个第一图像。
7.根据权利要求6所述的信息处理方法,其中,
在所述起振装置对所述相机赋予振动时,赋予包含相互正交的3个方向的移动的分量、以及绕相互正交的3轴的旋转的分量的振动。
8.根据权利要求6或7所述的信息处理方法,其中,
在取得所述多个第一参数时,
不取得没有通过所述起振装置对所述相机赋予振动时的所述多个第一参数,而取得通过所述起振装置对所述相机赋予振动时的所述多个第一参数。
9.根据权利要求6至8中任一项所述的信息处理方法,其中,
在通过所述起振装置对所述相机赋予振动时,赋予具有确定振幅或者确定频率的振动,
在取得所述多个第一参数时,
提取并取得所述相机的位置的振动以及姿势的振动中的所述确定振幅或者所述确定频率的位置的振动以及姿势的振动。
10.根据权利要求2所述的信息处理方法,其中,
所述多个第一图像各自显示有多个参照点候选,
所述多个第一图像各自包含该第一图像显示的所述多个参照点候选所对应的多个参照块候选,
在生成所述模型时,
使用包含从所述多个参照块候选中基于多个选择模式选择的多个试用参照块组作为所述多个参照块的所述多个第一图像,生成作为所述模型的多个试用模型,
将生成的多个所述试用模型中的输出的所述第一位移量所含的误差更小的试用模型生成为所述模型。
11.根据权利要求1所述的信息处理方法,其中,
位置以及姿势与作为所述相机的第一相机一体地变化的第二相机与所述第一相机进行的多个第一图像的拍摄同时地拍摄的多个第三图像各自显示有多个参照点,
所述多个第三图像各自包含与该第三图像显示的所述多个参照点一对一地对应的多个参照块,
所述多个参数包含所述多个参照块在该第三图像中的位置,
所述第二图像显示有所述多个参照点,
所述第二图像包含该第二图像显示的所述多个参照点所对应的多个参照块,
所述多个第二参数包含该第二图像中的所述多个参照块的位置。
12.一种信息处理方法,其中,
取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,
生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块相对于该第一图像中的基准位置的第一位移量的模型,
取得所述相机通过拍摄所述对象点而生成的多个第二图像、以及与所述多个第二图像各自被拍摄时的所述相机的位置以及姿势相关的多个第二参数,
取得通过向所述模型输入所述多个第二参数而输出的、所述第二图像显示的所述对象点所对应的对象块相对于该第二图像中的基准位置的第二位移量,
输出从所述第二图像中的所述对象块的位置减去所述第二位移量而得到的位置。
13.一种信息处理装置,其中,具备:
取得部;
生成部;以及
输出部,
所述取得部取得相机通过基于多个位置以及姿势拍摄对象点而生成的多个第一图像、以及与所述多个第一图像各自被拍摄时的所述相机的位置以及姿势相关的多个第一参数,
所述生成部生成将所述多个第一参数作为输入,并输出所述多个第一图像各自显示的所述对象点所对应的对象块在该第一图像中的第一位移量的模型,
所述取得部,进而,取得所述相机通过拍摄所述对象点而生成的第二图像、以及与所述第二图像被拍摄时的所述相机的位置以及姿势相关的多个第二参数,
所述输出部取得通过向所述模型输入所述多个第二参数而输出的、所述第二图像显示的所述对象点所对应的对象块在该第二图像中的第二位移量,输出从所述第二图像中的所述对象块的位移减去所述第二位移量而得到的位移。
14.一种信息处理系统,其中,包含:
权利要求13所述的信息处理装置;
所述相机,生成所述多个第一图像以及所述多个第二图像;以及
起振装置,固定于所述相机,对所述相机赋予振动。
CN202180070885.0A 2020-10-26 2021-04-23 信息处理方法、信息处理装置以及信息处理系统 Pending CN116391104A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-178620 2020-10-26
JP2020178620 2020-10-26
PCT/JP2021/016537 WO2022091458A1 (ja) 2020-10-26 2021-04-23 情報処理方法、情報処理装置および情報処理システム

Publications (1)

Publication Number Publication Date
CN116391104A true CN116391104A (zh) 2023-07-04

Family

ID=81383929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180070885.0A Pending CN116391104A (zh) 2020-10-26 2021-04-23 信息处理方法、信息处理装置以及信息处理系统

Country Status (4)

Country Link
US (1) US20230252650A1 (zh)
JP (1) JPWO2022091458A1 (zh)
CN (1) CN116391104A (zh)
WO (1) WO2022091458A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5857858B2 (ja) * 2012-04-13 2016-02-10 新日鐵住金株式会社 形状計測装置及び形状計測方法
US20200393289A1 (en) * 2017-11-14 2020-12-17 Nec Corporation Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium

Also Published As

Publication number Publication date
WO2022091458A1 (ja) 2022-05-05
US20230252650A1 (en) 2023-08-10
JPWO2022091458A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
JP6350923B2 (ja) 変位検出装置および変位検出方法
CN111157200B (zh) 刚性测定装置以及刚性测定方法
CN108633303B (zh) 刚性测定装置以及刚性测定方法
US10733751B2 (en) Displacement detecting apparatus and displacement detecting method
US9258484B2 (en) Image pickup apparatus and control method for same
JP2015022027A5 (zh)
JP2012202694A (ja) カメラ校正方法
JP2017129942A (ja) 情報処理装置、情報処理方法およびプログラム
Ryall et al. Determination of structural modes of vibration using digital photogrammetry
CN116391104A (zh) 信息处理方法、信息处理装置以及信息处理系统
JP2013185898A (ja) 状態推定装置
JP2019011995A (ja) 剛性検出装置、剛性検出方法、及びプログラム
CN112015269A (zh) 头显设备的显示校正方法、设备及存储介质
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
EP4129584A1 (en) Calibration system, information processing system, robot control system, calibration method, information processing method, robot control method, calibration program, information processing program, calibration device, information processing device, and robot control device
JP7389825B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024151481A (ja) 情報生成装置、情報生成方法、およびコンピュータプログラム
JP2006195758A (ja) ステレオマッチング装置、方法およびこの方法のプログラム
RU2546714C2 (ru) Способ бесконтактного оптического измерения параметров вибрации механизмов, конструкций и биологических объектов
JPH08237541A (ja) カメラぶれ補正機能付き画像処理装置
US20230409126A1 (en) Information processing device, information processing method, non-transitory computer readable medium
JP2007299219A (ja) 撮影画像におけるゆがみの較正方法
JP7005987B2 (ja) ゴルフスイング表示システム、情報処理装置及び方法
JP2022038917A (ja) 車重計測装置及び車重計測方法
JP2022038699A (ja) 変位計測装置及び変位計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination