JP2023037848A - 変位量算出装置 - Google Patents

Abstract

【課題】撮影した画像に基づいて正確に観測対象物の変位量を算出することができる変位量算出装置を提供することを目的とする。【解決手段】変位量算出装置１００は、観測対象部分であるマーカ４０１を含んだ複数の画像データを取得する動画像取得部１０１と、複数の画像データのそれぞれのマーカ４０１の変位量を算出する変位量算出モデル１００ａと、を備える。この構成により、変位量算出モデル１００ａを用いて、画像データから変位量を求めることができる。特に２値化などの画像処理を行うことなく、画像データのＲＧＢ変化をみることで変位量を求めることができる。【選択図】図２

Description

特許法第３０条第２項適用申請有り ウェブサイトの掲載日 令和２年９月９日 ウエブサイトのアドレス ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓｃｅ２０２０／ｓｅｓｓｉｏｎ／３Ｉ－２２９－３７／ａｄｖａｎｃｅｄ ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓｃｅ２０２０／ｓｕｂｊｅｃｔ／Ｉ－４０９／ａｄｖａｎｃｅｄ？ｃｒｙｐｔｏＩｄ＝

本発明は、観測対象物の変位量を算出する変位量算出装置に関する。

特許文献１には、ビデオカメラが観測対象物を撮影し、当該観測対象物を認識して画素単位での変位を算定することで、観測対象物の変位観測を行う技術が記載されている。

特開２０１３－７６２４号公報

しかしながら、特許文献１に記載の発明のように、２値化処理など画像処理により、観測対象物を認識する場合、環境に応じた条件でケース分けした処理を構築する必要があり、その処理が複雑になるという問題がある。

また、観測したい箇所にセンサを取り付けて橋梁上に負荷をかけデータを観測して解析する方法もあるが、複数点観測したい箇所にセンサを設置する必要がある。したがって、その設置に時間がかかったり、コスト面に課題がある。

そこで、上述した課題を解決するために、センサ等を用いることなく、観測対象物の変位量を簡易な処理で算出することができる変位量算出装置を提供することを目的とする。

本発明の変位量算出装置は、観測対象部分を含んだ複数の画像データを取得する画像データ取得部と、前記複数の画像データから前記観測対象物の変位量を算出する変位量算出モデルと、を備える。

本発明によると、観測対象物の変位量を正確に算出することができる。

本開示における変位量算出装置１００を含む構造物判定システム１０を示すシステム構成図を示す。 変位量算出装置１００の機能構成を示すブロック図である。 変位量算出装置１００の動作を示すフローチャートである。 処理Ｓ１０４における詳細処理を示すフローチャートである。 処理Ｓ１０４を模式的に示した図である。 処理Ｓ１０４の変形例を模式的に示した図である。 変位量算出モデル１００ａの学習処理を模式的に示した図である。 本開示の一実施の形態に係る変位量算出装置１００のハードウェア構成の一例を示す図である。

添付図面を参照しながら本開示の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本開示における変位量算出装置１００を含む構造物判定システム１０を示すシステム構成図を示す。この構造物判定システム１０は、変位量算出装置１００および構造物判定装置２００を含む。

橋梁４００が、構造物判定システム１０による判定対象の構造物である。この橋梁４００の柱には、マーカ４０１が添付されている。このマーカ４０１は、所定の模様が付されており、ＲＧＢ値の変化の検出を容易にするための画像である。この模様は、例えば、市松模様のように黒と白の矩形の組合せからなるものである。なお、本開示において、マーカ４０１は橋梁４００の柱に添付されているが、これに限らず、橋梁４００の構造状態を判定するために適した箇所であればよい。マーカ４０１は、橋梁４００の側面または底面などに添付されてもよい。

橋梁４００の上には、車両が走行しており、その走行に応じて、橋梁４００は振動する。構造物判定システム１０は、カメラ３００が撮影したマーカ４０１の画像データを取得することとで、橋梁４００の振動による変位量を算出し、その構造物の状態を判定する。

すなわち、変位量算出装置１００は、カメラ３００が撮影した動画データと変位量算出モデル１００ａとを用いて、橋梁４００の変位量を算出する。なお、図１においては、カメラ３００一台につき、マーカ４０１が対応付けられているが、これに限るものではない。一台のカメラ３００が、複数のマーカ４０１を撮影してもよい。

構造物判定装置２００は、変位量に基づいて橋梁４００の状態を判定する。構造物判定装置２００は、変位量算出装置１００が算出した変位量と、所定の閾値に基づいて、構造物の状態を判定してもよいし、予め公知の機械学習により学習していた状態推定モデルを用いて、構造物の状態を判定してもよい。状態推定モデルは、例えば、複数の時系列の変位量を説明変数とし、構造物の状態を目的変数として学習される。目的変数となる構造物の状態については、予め目視など人手によりなされてもよいし、その他機械的な手法により得られた学習データとしてもよい。

また、本発明者により出願された特願２０２０－０７６５９４号に記載の発明により判定されてもよい。この発明においては、構造物判定装置２００は、抽出された情報に基づいて判定対象の構造物である橋梁３０の状態を判定する機能部である。判定部１３は、抽出された変位量の情報をオートエンコーダによって圧縮して、圧縮した情報に基づいて橋梁３０の状態を判定する。即ち、構造物判定装置２００は、ＡＩ（人工知能）によって橋梁３０の状態を判定する。構造物判定装置２００は、橋梁４００の所定の状態における当該橋梁４００の時系列の変位を示す情報に基づいて予め設定された基準を用いて、橋梁３０の状態を判定する。

つぎに、変位量算出装置１００について説明する。図２は、変位量算出装置１００の機能構成を示すブロック図である。図に示されるとおり、変位量算出装置１００は、動画像取得部１０１、トリミング部１０２、変位量算出部１０３、算出結果出力部１０４、および変位量算出モデル１００ａを含んで構成されている。

動画像取得部１０１は、カメラ３００が撮影したマーカ４０１を含んだ静止画像データを取得する部分（画像データ取得部）である。すなわち、動画像取得部１０１は、カメラ３００から動画像データをネットワークを介して受信する。動画像データは、複数のフレームごとの静止画像データからなるものである。動画像取得部１０１は、この複数のフレームの静止画像データを取得する。

トリミング部１０２は、動画像取得部１０１が取得した複数のフレームの静止画像データからマーカ４０１の部分を切り取る処理を行う部分である。このとき、トリミング部１０２は、マーカ４０１外の画像を含まないように内側を切り取る。トリミング部１０２は、複数の静止画像データに対して、それぞれ切り取り処理を行う。

変位量算出部１０３は、切り取ったマーカ４０１の複数の画像データにおけるＲＧＢ値の変化に基づいて、画像データに含まれているマーカの動きを算出する部分である。具体的には、変位量算出部１０３は、マーカ４０１の画像データである複数の静止画像データそれぞれに対して、画素ごとにＲＧＢ値を算出する。そして、変位量算出部１０３は、変位量算出モデル１００ａに画素ごとのＲＧＢ値を入力し、変位量算出モデル１００ａから変位量を受け取る。

算出結果出力部１０４は、変位量算出部１０３が算出した変位量を構造物判定装置２００に出力する部分である。

変位量算出モデル１００ａは、変位量算出部１０３が、静止画像ごとにおけるその画素ごとのＲＧＢ値を説明変数とし、その変位量を目的変数として学習された機械学習モデルである。本開示においては、静止画像データは、複数枚（複数のフレーム）用意されており、変位量算出モデル１００ａは、その画素ごと（座標ごと）のＲＧＢ値の変化を見ることにより、観測対象物の変位量を出力することができる。変位量算出モデル１００ａの学習については、後述する。

つぎに、本開示の変位量算出装置１００の動作について説明する。図３は、その動作を示すフローチャートである。本開示においては、例えば、２０秒間の動画データ（静止画像データが６００フレーム）およびその変位量を算出する処理を示す。この動画データは、車両が橋梁４００に進入したタイミングで撮影が開始され、２０秒後にその車両が通過したものとするが、後述する通り、長時間撮影し続けて、車両の進入タイミングおよび退出タイミングを計測することによりその静止画像データの先頭位置を逐一リセットするようにしてもよい。

カメラ３００は、橋梁４００の観測対象部分（例えば、柱）に貼り付けられている二次元マーカ４０１を拡大して撮影する。動画像取得部１０１は、カメラ３００が撮影した動画像データを取得する（Ｓ１０１）。上述したとおり、動画像取得部１０１は、複数フレーム（例えば６００フレーム／２０秒間）の静止画像データを取得する。

トリミング部１０２は、静止画像データからマーカ４０１の画像データを切り取る処理を行う（Ｓ１０２）。例えば２次元マーカの中から１辺２５６ピクセル以上の正方形で切り取る。なお、２５６ピクセルは、例示であり、それ以外のピクセル数で切り取ってもよい。

変位量算出部１０３は、マーカサイズが画像データ内で何ピクセルで描画されているかの情報から、ピクセル単位からｍｍ単位への変換式を構築する（Ｓ１０３）。ここでは、変位量算出部１０３は、マーカ４０１のサイズを事前に把握（記憶）している。

変位量算出部１０３は、トリミングした画像データを変位量算出モデル１００ａに入力し、当該変位量算出モデル１００ａからその結果となる出力値を得る（Ｓ１０４）。ここでは、変位量算出モデル１００ａは、２フレームずつ画像データを入力し、その変位量を出力する。変位量算出部１０３は、動画像データから得た６００フレームの画像データから順次2フレームずつ取り出して入力することにより、垂直／水平方向の時間軸方向における観測対象物の変位量（ピクセル単位）を取得する。この詳細処理については後述する。

変位量算出部１０３は、事前に構築したピクセルからｍｍ単位への変換式を適用して、ピクセル単位の変位量からｍｍ単位の変位量を算出する（Ｓ１０５）。

ここまでが、２０秒間の動画データに対する処理である。これを動画像データをかえて繰り返し行うことで、複数の変位量を算出することができる。

このようにして、変位量算出装置１００は、動画像データから微少に変動する変位量を正確に算出することができる。画像データにおけるＲＧＢ値の変化によってその変位を見ることにより、画像処理を行うことなく、観測対象物の外郭等を正確に認識する必要が無く、その処理を簡易なものにすることができる。また、逆光やそのほか天候等の外乱による影響を考慮した処理を考える必要が無い。

ここで、処理Ｓ１０４における詳細処理について説明する。図４は、その詳細処理を示すフローチャートである。変位量算出モデル１００ａは、基準画像データｔと、対象画像データｔｎとを入力し（Ｓ２０１）、その変位量Ｄｎを算出する（Ｓ２０２）。対象画像ｔｎがなくなるまで（例えば、入力された静止画像データが終わるまで）、これら処理を繰り返す（Ｓ２０３、Ｓ２０４）。すべてのフレームに対して変位量Ｄｎを算出すると、時系列の変位量Ｄを算出する（Ｓ２０５）。

図５は、処理Ｓ１０４を模式的に示した図である。図５（ａ）に示される通り、変位量算出部１０３は、基準画像データｔ１を基準とし、その基準画像データｔ１と対象画像データｔｎの間の変位量を求める。例えば、変位量算出部１０３は、基準画像データｔ１と対象画像データｔ２とを変位量算出モデル１００ａに入力し、変位量ｎ１を算出する。同様に、基準画像データｔ１と対象画像データｔ３とを変位量算出モデル１００ａに入力し、変位量ｎ２を算出する。以降、同様に基準画像データｔ１と対象画像データｔｎ（ｎは２～６００）との間の変位量が求められ、図５（ｂ）に示される時系列の変位量Ｄが求められる。

図５（ｂ）に示される時系列の変位量Ｄの横軸は、時間軸であり、観測対象となる観測時間である。縦軸は、ピクセル単位の変位量を示す。このように、基準画像データｔ１を基準とし、それとの変位量を求めることにより、図５（ｂ）に示されるように、メリハリのついた時系列の変位量Ｄを求めることができる。

図６は、処理Ｓ１０４の変形例を示す。図６においては、隣接する画像データ間の変位量を求める例である。図６（ａ）に示される通り、画像データｔ１から画像データｔ６００が示されている。変位量ｎ１は、画像データｔ１と画像データｔ２とが変位量算出モデル１００ａに入力されることにより算出される。変位量ｎ２は、画像データｔ２と画像データｔ３とが、変位量算出モデル１００ａに入力されることにより算出される。以降、同様に隣接する画像データとの間の変位量が求められ、図６（ｂ）に示される時系列の変位量Ｄが求められる。図６（ｂ）に示される時系列の変位量Ｄの横軸は、時間軸であり、観測対象となる観測時間である。縦軸は、ピクセル単位の変位量を示す。

なお、図６のように、隣接する画像データ間の変位量を求める場合には、学習時においても、隣接する画像データおよびその変位量を用いる。一方で、図５のように、基準となる基準画像データとの間の変位量を求める場合には、基準画像データ、比較対象となる画像データおよびその変位量を学習時に用いる。

つぎに、本開示における変位量算出モデル１００ａの学習処理について説明する。図７は、その学習処理を模式的に示した図である。図に示されるとおり、初期学習部２０１は、学習用動画データおよびその変位量（教師データ）に基づいて、機械学習を行うことにより、初期算出モデル１００ｂを学習する。本開示においては、ＦｌｏｗＮｅｔ２．０と呼ばれるアルゴリズムを用いて学習される。ＦｌｏｗＮｅｔ２．０は、オプティカルフローと呼ばれる隣接する画像データ間の物体の移動を推定するアルゴリズムのひとつである。ＦｌｏｗＮｅｔ２．０においては、隣接する２枚の画像データに含まれる物体（椅子）の画像並びにその移動方向および変位量を入力することで、二枚の画像データからその変位量を推定するためのモデルを構築することができる。

本開示においては、この初期算出モデル１００ｂをファインチューニング（Fine Tuning）することにより、変位量算出モデル１００ａを学習する。すなわち、学習部２０２は、センサ値データと学習用マーカデータとを用いて変位量算出モデル１００ａを学習する。例えば、まず学習部２０２は、画像データ（２フレーム分の静止画像データ）を説明変数として入力する。一方で、学習部２０２は、その２フレームに対応するセンサ値データを取得する。学習部２０２は、センサ値データに基づいて実際の変位量を算出し（または与えられ）、それを目的変数（教師データ）として入力する。例えば、学習部２０２は、橋梁４００にセンサを配置し、そのセンサのセンサ値データから公知の技術により変位量を求める。

このようにして、実際の橋梁４００の振動における変位量に基づいて、ファインチューニングを行うことにより、より精度のよい変位量算出モデル１００ａを学習することができる。

なお、上述した通り、学習部２０２が、基準画像データを用いて変位量を算出する場合には（図５に示した方法）、隣接した２枚の画像データを用いることなく、一つの基準となる基準画像データと、それとの比較対象であるｍ枚目（ｍは２～６００とする）の画像データおよびそのセンサ値データとを順次取り出し、学習する。

ところで、ＦｌｏｗＮｅｔは、隣接する画像データ間の変位量に基づいて学習されている。一方で、本開示においては、基準画像データを一つに決めて、その基準画像データと比較対象となる画像データとの間の変位量に基づいて、さらに学習（ファインチューニング）する。ファインチューニング前の学習データと、ファインチューニングをするための学習データとは、変位量を算出するための比較対象となる２つ画像データが異なっているが、データの変位量を求める点では同じであり、その精度に影響はないと考えられている。

初期学習部２０１および学習部２０２は、ピクセル単位で変位量を扱っている。一方で、教師データに相当するセンサ値データは、ｍｍ単位である。そのため、ｍｍ単位からピクセル単位に事前に変換しておく必要がある。

つぎに、図５に示される基準となる基準画像データを更新するときの処理について説明する。カメラ３００が橋梁４００の観測対象部分（二次元マーカ）を撮影するが、車両の通行によってカメラ３００が傾いたり、ズレたりすることが考えられる。そのため、変位量算出モデル１００ａに基準となる基準画像データを入力する場合、その車両の通行にあわせて基準となる基準画像データを変えてもよい。上述図３の処理フローでは、動画データの開始位置に基準画像データとなるよう調整したことを前提にしたものであるが、以下に示すとおり、それを事前に基準画像データの位置（時間）を登録しておくことで、自動的に切り替えることもできる。

カメラ３００による観測対象部分の撮影時において、撮影オペレータは、車両通行時の時間（撮影開始からの経過時間）を車両が通行する度に計測している。例えば、撮影オペレータは、撮影開始から１０秒後に車両が橋梁４００に進入したら、その１０秒を記録する。同様に、撮影開始から４０秒後に車両が進入したら、４０秒と記録する。なお、橋梁４００から車両が通過し終わった時間も合わせて計測してもよい。

撮影終了後、変位量算出装置１００は、計測した時間とともに、撮影した画像データを取得する。そして、変位量算出装置１００は、計測した時間ごとに、基準画像データをリセットする。例えば、図３に示す処理フローが、長時間にわたって撮影した動画データを処理する場合を想定する。

その場合、処理Ｓ１０４において、変位量算出モデル１００ａに画像データを入力する際、計測した経過時間（車両の進入時間）に対応する画像データを基準画像データとして入力する。そして、変位量算出モデル１００ａは、その基準画像データおよび対象画像データを用いて、変位量を算出する。

例えば、事前準備として、撮影オペレータが、撮影開始の操作をしてから、車両が通行する度に、１０秒、１００秒・・・などと計測して、その経過時間をメモ帳などに記録していたとする。そして、変位量算出装置１００に撮影した動画像データを処理させる際、その経過時間を合わせて登録する。登録は、変位量算出装置１００の動作処理を実行するためのプログラムに経過時間を書き込むことにより行われる。

変位量算出装置１００は、経過時間を開始位置とする動画像データ（静止画像データ）を取得する。そして、その開始位置における基準画像データ（静止画像データ）を基準とし、その次のフレームである画像データ（静止画像データ）を比較対象である対象画像データとして、変位量算出モデル１００ａに入力する。比較対象となる対象画像データのみを順次代えていって、基準画像データとの変位量を求めるために変位量算出モデル１００ａに入力する。これを所定時間分の画像データ、または車両が通行し終えたタイミングまで繰り返し行う。

動画像データが、長時間にわたって、撮影されて得られた場合、これら処理を車両が通行する経過時間ごとに（登録した時間）、基準画像データを入替えることで、通行に際して発生するカメラ３００のズレ等を考慮した変位量を求めることができる。

なお、図３の処理フローでは、車両通行にあわせて２０秒間動画を撮影することとして説明した。その場合には、２０秒間の動画像データから得られた複数の静止画像データのうち、一番目のフレームを基準画像データとし、順次フレームを代えた画像データを対象画像データとなる。

つぎに、本開示における変位量算出装置１００の作用効果について説明する。本開示における変位量算出装置１００は、観測対象部分であるマーカ４０１を含んだ複数の画像データを取得する動画像取得部１０１と、複数の画像データのそれぞれのマーカ４０１の変位量を算出する変位量算出モデル１００ａと、を備える。

ここで、動画像取得部１０１は、動画データから複数の静止画像である画像データを取得する。本開示においては、２０秒間に６００フレームからなる動画像データであることから、６００枚の画像データを取得するが、当然にこれに限定されるものではない。また、動画像取得部１０１が動画データを得てそこから静止画像を得ているが、これに限らず、カメラ３００が連射機能を備え、連射されて得られた静止画像をそのまま取得してもよい。

この構成により、画像データを変位量算出モデル１００ａに入力して、画像データから変位量を求めることができる。２画像データを変位量算出モデル１００ａに入力することで、２値化などの画像処理を行うことなく、画像データのＲＧＢ変化をみることで変位量を求めることができる。このような変位量算出モデル１００ａを用いる場合、天候等の変化による軽微なＲＧＢ値の変化に対して有効である。すなわち、変位量算出モデル１００ａに対しては、天候または環境に応じた処理のためのパラメータ設定およびソースコードによる制御への考慮をする必要が無い。本開示のように変位量算出モデル１００ａを利用したいわゆる深層学習系の手法は、対応した天候または環境下での撮影のみで済むため相対的に観測コストをかけることなく、正確に変位量の算出を可能にする。

また、センサ等を利用することなく、その設置に時間またはコストをかけることなく、観測対象物における変位量を求めることができる。

また、本開示において、観測対象部分は、当該観測対象物（橋梁４００の柱）に対して予め定められた模様が付されたマーカ４０１が添付された部分である。動画データは、ビデオカメラが観測対象物を撮影することにより得られる。

このように、マーカ４０１を用いることでその変位量の算出を容易にすることができる。

また、本開示において、変位量算出モデル１００ａは、予め定められた複数の学習用画像データにより学習された機械学習モデルを含み、この機械学習モデルは、複数の学習用画像データにおける画素単位における変化情報を説明変数とし、予め指定された変位量を目的変数として、学習される。例えば、学習用画像データは、ＦｌｏｗＮｅｔなどにおいて用いられた画像データであったり、実際の橋梁４００を撮影して得られたデータである。機械学習モデルは、このＦｌｏｗＮｅｔにより提供されるモデルであるが、当然にこれに限るものではなく、他の学習用データを利用してもよい。本開示において、変化情報とは、ＲＧＢ値の変化を示しているが、白黒処理の場合、その白黒の変化に基づいてもよい。また、これら変化情報以外のものを含んでもよい。例えば、画像に何が写っているかの情報を含めてもよい。その場合、そのような何が写っているかの情報を含めて学習する必要がある。

また、本開示において、変位量算出モデル１００ａは、観測対象物（橋梁４００の柱）に対して添付されたマーカ４０１を含む画像データと、観測対象物に対して付されたセンサ（図示せず）より計測されたセンサ値と、に基づいてさらに学習されたモデルとしてもよい。すなわち、上記機械学習モデルを、実際のセンサ値等を利用してファインチューニングしてもよい。なお、ファインチューニングではなく、実際のセンサ値等を用いて変位量算出モデル１００ａを学習してもよいが、ＦｌｏｗＮｅｔにより提供される初期算出モデル１００ｂは、数十万フレームからなる画像データを利用して学習されたものである。よって、これを利用する方が学習処理を簡易することができる。

また、本開示において、センサ値に基づいて、目的変数となる変位量が求められ、変位量算出モデル１００ａは、当該変位量に基づいて学習される。

ここでは、学習用データとしてセンサを利用している。このセンサによるセンサ値は、ｍｍ単位の変位量を示しており、必要に応じて、ピクセル単位に変換する等の処理を行う。

本開示において、図５に示されるように、変位量算出モデル１００ａは、動画像データから取り出された画像データにおいて、基準となる一の基準画像データと、当該一の基準画像データ以降の画像データとの変位量を目的変数として学習される。また、図６に示されるように、変位量算出モデル１００ａは、動画像データから取り出された画像データにおいて、隣接する画像データ同士の変位量を目的変数として学習されてもよい。

図５に示されるように基準画像データとの対比を行うことでその変位量を大きくすることができる。

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェアおよびソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した１つの装置を用いて実現されてもよいし、物理的または論理的に分離した２つ以上の装置を直接的または間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における変位量算出装置１００などは、本開示の変位量算出方法の処理を行うコンピュータとして機能してもよい。図８は、本開示の一実施の形態に係る変位量算出装置１００のハードウェア構成の一例を示す図である。上述の変位量算出装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。変位量算出装置１００のハードウェア構成は、図に示した各装置を１つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

変位量算出装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２およびストレージ１００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述のトリミング部１０２、変位量算出部１０３などは、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３および通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、変位量算出装置１００のトリミング部１０２および変位量算出部１０３は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時または逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る変位量算出方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２およびストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワークおよび無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）および時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の動画像取得部１０１、算出結果出力部１０４などは、通信装置１００４によって実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５および出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、変位量算出装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号またはこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC Connection Reconfiguration）メッセージなどであってもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）および無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語および本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。例えば、チャネルおよびシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」または「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において、「含む（include）」、「含んでいる（including）」およびそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, anおよびtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０…構造物判定システム、１００…変位量算出装置、２００…構造物判定装置、４００…橋梁、４０１…マーカ、３００…カメラ、１００ａ…変位量算出モデル、１０１…動画像取得部、１０２…トリミング部、１０３…変位量算出部、１０４…出力部。

Claims (10)

1. 観測対象部分を含んだ複数の画像データを取得する画像データ取得部と、
   前記複数の画像データから前記観測対象部分の変位量を算出する変位量算出モデルと、
   を備える変位量算出装置。
2. 前記画像データ取得部は、動画データから複数の静止画像である画像データを取得する、請求項１に記載の変位量算出装置。
3. 前記観測対象部分は、観測対象物に対して予め定められた模様が付されたマーカが添付された部分であり、
   前記動画データは、ビデオカメラが前記観測対象物を撮影することにより得られる、
   請求項２に記載の変位量算出装置。
4. 前記変位量算出モデルは、
   予め定められた複数の学習用画像データにより学習された機械学習モデルを含み、
   前記械学習モデルは、前記複数の学習用画像データにおける画素単位における変化情報を説明変数とし、予め指定された変位量を目的変数として学習される、
   請求項１～３のいずれか一項に記載の変位量算出装置。
5. 前記変位量算出モデルは、
   予め定められた複数の学習用画像データにより学習された機械学習モデルに基づいて学習されており、
   前記変位量算出モデルは、前記複数の学習用画像データにおける画素単位における変化情報を説明変数とし、予め指定された変位量を目的変数として学習される、
   請求項４に記載の変位量算出装置。
6. 前記変位量算出モデルは、
   前記画像データと、前記観測対象部分に対して付されたセンサにより計測されたセンサ値と、に基づいてさらに学習された、
   請求項５に記載の変位量算出装置。
7. 前記センサ値に基づいて、目的変数となる変位量が求められ、
   前記変位量算出モデルは、当該変位量に基づいて学習された、
   請求項６に記載の変位量算出装置。
8. 前記変位量算出モデルは、
   動画像データから取り出された複数の画像データにおいて、基準となる一の基準画像データと、当該一の基準画像データ以降の画像データとの変位量を目的変数として学習される、
   請求項５～７のいずれか一項に記載の変位量算出装置。
9. 前記機械学習モデルは、
   動画像データから取り出された複数の画像データにおいて、隣接する画像データ同士の変位量を目的変数として学習される、
   請求項４～８のいずれか一項に記載の変位量算出装置。
10. 前記変位量算出モデルは、
    動画像データから取り出された複数の画像データにおいて、隣接する画像データ同士の変位量を目的変数として学習される、
    請求項４に記載の変位量算出装置。
    

Images