JP2020140336A - 構造物検出装置、構造物検出方法及び構造物検出プログラム - Google Patents

Abstract

【課題】道路沿いの構造物を効率よく点検可能にする。【解決手段】静止画取得部１１が、複数の撮影動画のそれぞれから一定距離ごとに静止画（フレーム）を取得し、構造物検出部１３が、検出対象の構造物の写ったフレームを検出し、同一構造物判定部１４が、撮影動画ごとに、フレーム間の同一構造物を判定し、同一構造物判定部１５が、撮影動画間で同一構造物を判定し、出力部１６が、同一の構造物の写った複数の撮影動画から取得したフレームを並べて表示する。【選択図】図１

Description

本発明は、構造物の撮影画像を解析処理して、構造物の異常を検出する技術に関する。

公共インフラは産業や生活の基盤である。道路沿いに設置された公共インフラの一例として、信号機、電灯、および電柱などの構造物が挙げられる。公共インフラの点検・保守は重要である。例えば、信号機の灯器が汚れていたり、樹木が灯器を隠していたりすると、信号機が見えにくくなり、大きな事故につながる可能性がある。

「通信インフラのメンテナンスサイクルを革新するデジタルトランスフォーメーション」、ＮＴＴ技術ジャーナル、日本電信電話株式会社、２０１９年１月、第３１巻、第１号、pp. 32-35

従来、徒歩または自転車により、道路沿いの構造物の異常を目視で確認し、点検・保守を行ってきた。しかしながら、道路沿いの構造物は長距離にわたって点在しており、量も非常に多く、効率的な点検方法が望まれていた。

道路に沿って車を走らせ、車載カメラで道路沿いの構造物を撮影し、撮影した動画を見て構造物の異常を発見する方法が考えられる。しかしながら、撮影した動画において目的の構造物が写っているフレームは全体のごくわずかであり、動画をコマ送りして対象のフレームを探し出すことは困難である。また、動画からフレームを切り出すと、同一の構造物が複数のフレームに出現する。複数のフレームに出現する同一の構造物を正確に特定することは困難である。

信号機などの背の高い構造物を対象とする場合、チルト角の異なる複数のカメラで構造物を撮影することが考えられる。しかしながら、信号機の頭頂部は真横から見上げるよりも遠くから撮影するほうが点検に適切な画像が得られ、下部は、横から撮影すると銘板等をより鮮明に撮影できる。そのためチルト角だけでなく車両の進行方向に対するパン角もカメラに応じて変えたほうがよい。しかしながら、複数のカメラのパン角を異ならせると、構造物の撮影タイミングがカメラごとに異なるため、各カメラで撮影したフレームに写った同一の構造物の特定がより困難になる。

本発明は、上記に鑑みてなされたものであり、道路沿いの構造物を効率よく点検可能にすることを目的とする。

本発明に係る構造物検出装置は、複数のカメラで撮影した複数の撮影画像群から目的の構造物を検出する構造物検出装置であって、前記複数の撮影画像群のそれぞれから前記構造物を検出する構造物検出部と、前記複数の撮影画像群のそれぞれから同一の前記構造物の写る撮影画像を抽出する同一構造物判定部と、前記同一の構造物の写る複数の前記撮影画像を並べて表示する表示部と、を備えることを特徴とする。

本発明によれば、道路沿いの構造物を効率よく点検可能にすることができる。

本実施形態における構造物検出装置の構成を示す機能ブロック図である。 車両に設置した複数のカメラの設置状況を説明するための図である。 車両に設置した複数のカメラの設置状況を説明するための図である。 撮影動画から一定距離ごとに切り出したフレームの例を示す図である。 フレーム内で検出対象の構造物を検出した様子を示す図である。 フレーム内で構造物の位置が移動する様子を示す図である。 複数カメラの撮影動画から切り出したフレームに、同一の構造物が写った様子を示す図である。 出力画面例を示す図である。 構造物検出装置のメインルーチンのフローチャートである。 単一カメラ内での構造物の同一判定処理の流れを示すフローチャートである。 誤検出された検出枠の例を示す図である。 １つの構造物を複数回検出した重複する検出枠の例を示す図である。 複数の構造物が重なった場合の重複する検出枠の例を示す図である。 単一カメラで撮影した撮影動画における同一構造物の判定処理の流れを示すフローチャートである。 フレーム内に新たな構造物が出現する例を示す図である。 フレーム内に新たな構造物が出現する別の例を示す図である。 フレーム内での構造物の検出位置の変化を示す図である。 フレーム外へ構造物の検出位置が移動する例を示す図である。 残りの構造物の割り振り処理の流れを示すフローチャートである。 現フレームで検出された構造物の数が増えた例を示す図である。 現フレームで検出された構造物の数が減った例を示す図である。 複数カメラで撮影した撮影動画間における同一構造物の判定処理の流れを示すフローチャートである。 基準位置に代表フレームが存在する例を示す図である。 基準位置からずれた位置に代表フレームが存在する例を示す図である。 許容範囲内に複数の代表フレームが存在する例を示す図である。 ＬＩＤＡＲの測定例を示す図である。 構造物が撮影される位置のズレの算出を説明するための図である。 ＧＰＳとカメラとの時刻のズレの算出を説明するための図である。

本発明の実施の形態の一つを以下で説明する。

［構造物検出装置の構成］
本実施形態の構造物検出装置１は、道路沿いの構造物を車両に設置した複数のカメラで撮影した複数の撮影動画から、検出対象の構造物が写っているフレームを抽出し、複数の撮影動画において同一の構造物が写っているフレームを関連付けて統合的に表示する装置である。本実施形態では、検出対象の構造物として信号機を例に説明する。検出対象の構造物は、道路沿いに設置されたものであれば、電灯、電柱、もしくは街路樹であってもよいし、看板、標識、自動販売機、あるいはポストなどの高さの低いものであってもよい。検出対象は、カメラを下方向に向けて撮影した路面標示等であってもよい。

図１に示す構造物検出装置１は、静止画取得部１１、記憶部１２、構造物検出部１３、カメラ毎の同一構造物判定部１４、カメラ間の同一構造物判定部１５、出力部１６、および異常検出部１７を備える。構造物検出装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは構造物検出装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

静止画取得部１１は、構造物を検出するために用いる静止画を取得する。本実施形態では、市販カメラおよび市販ＧＰＳロガーを車両に搭載して走行しながら道路沿いの構造物を撮影するとともに、車両の位置情報を取得する。撮影された撮影動画は記録媒体１０１に格納され、車両の位置情報は記録媒体１０２に格納される。静止画取得部１１は、撮影動画が格納されたメモリカードなどの記録媒体１０１から撮影動画を読み込み、位置情報を記録したファイルが格納された記録媒体１０２から位置情報を取得し、一定距離ごとに静止画を取得する。静止画取得部１１は、一定距離ごとに取得した静止画に記録媒体１０２から取得した位置情報を関連付けて記憶部１２に格納する。本実施形態では、複数台のカメラを用いて構造物を撮影するので、複数の撮影動画のそれぞれから静止画を取得し、撮影動画ごとに静止画群を記憶部１２に格納する。静止画取得部１１は、ネットワークを介して、撮影動画および位置情報を取得してもよい。静止画取得部１１は、動画に限らず、所定の間隔で撮影された静止画を読み込んでもよい。

図２，３に示すように、本実施形態では、車両の進行方向に対してパン角およびチルト角を変えた複数台のカメラを車両に搭載して同時に撮影する。例えば、図２，３のカメラ１は、パン角が９０度、チルト角が０度となるように設置し、車両の横方向を撮影する。カメラ２〜４は、順に、パン角が小さく、チルト角が大きくなるように設置する。４台のカメラ１〜４で、例えば信号機などの長尺の構造物の全体が撮影できるようにパン角およびチルト角を調節する。具体的には、カメラ１で構造物の下部を撮影し、カメラ４で構造物の頭頂部を撮影する。カメラ２，３で構造物の中間部を撮影する。複数台のカメラのパン角またはチルト角のいずれかを変えてもよい。

構造物の下部を撮影するカメラ１は、車両の進行方向に対して真横向きとなるように設置するとよい。これにより、構造物の下部に取り付けられた銘板または看板などをより鮮明に撮影できる。構造物の頭頂部を撮影するカメラ４は、パン角を小さくして斜め前方を撮影するように設置するとよい。車両の横から見上げて構造物の頭頂部を撮影すると、街路樹などにより頭頂部が撮影できないことがある。パン角を小さくし、頭頂部を少し離れた位置から撮影するとよい。

斜め前方を撮影するカメラだけでなく、斜め後方を撮影するカメラを設置してもよい。前後方向を撮影するカメラを設置することで、前方のカメラが逆光であっても、後方のカメラが順光となる。前方（進行方向）を撮影するカメラや後方を撮影するカメラを設置してもよい。

静止画取得部１１は、ＧＰＳロガーで取得した位置情報に基づき、一定距離ごとに撮影動画から静止画（以下、「フレーム」と称することもある）を取得する。フレームを取得する際、図４に示すように、１つの構造物が３〜５のフレームに写っているように切り出し距離を調整する。図４の例では、１０ｃｍごとに撮影動画からフレームを切り出している。図４のフレームの下に付与した番号はフレーム番号である。静止画取得部１１は、フレームを切り出した順にフレーム番号を付与する。切り出し距離は、撮影動画のカメラのパン角つまりカメラから構造物までの距離によって変えてもよい。具体的には、車両の進行方向に対するパン角が小さいカメラで撮影した撮影動画では、車両の横向きに設置された（パン角が大きい）カメラで撮影した撮影動画よりも、長い時間構造物が写っているので、切り出し距離を長くする。例えば、横向きのカメラ１の撮影動画の切り出し距離を１０ｃｍとすると、カメラ２の切り出し距離を２０ｃｍ、カメラ３の切り出し距離を３０ｃｍ、カメラ４の切り出し距離を５０ｃｍとする。切り出し距離は、車両と構造物との間の距離によって適切な値が異なる。したがって、撮影状況に応じて、構造物が適切な枚数内に写るように設定する。路肩が広い道路では、車両と構造物との距離が長くなるので切り出し距離を長くする。

記憶部１２は、静止画取得部１１の取得したフレームを撮影動画ごとに格納する。例えば、静止画取得部１１が４つの撮影動画からフレームを取得した場合、記憶部１２には、撮影動画のそれぞれから切り出された４つの静止画群が格納される。記憶部１２は、記録媒体１０１から読み込んだ撮影動画を格納してもよい。

構造物検出部１３は、記憶部１２に格納された静止画群のそれぞれに含まれるフレームから検出対象の構造物の写ったフレームを検出しフレーム内における構造物の位置を記憶部１２に格納する。構造物検出部１３は、例えば、検出対象の構造物の画像を学習させた人工知能を用いて構造物の写ったフレームを検出する。図５の例では、構造物検出部１３は信号機ＴＬの下部を検出した。構造物検出部１３は、信号機ＴＬを検出した検出枠Ｄのフレーム内での位置情報を記憶部１２に格納する。例えば、検出枠Ｄのフレーム上での座標、横幅、高さ、検出結果の確信度を記憶部１２に格納する。

カメラ毎の同一構造物判定部１４（以下、単に「同一構造物判定部１４」と称する）は、連続する複数のフレームで検出された構造物のフレーム内での位置の変化に基づき、フレーム間での同一構造物を判定する。具体的には、同一構造物判定部１４は、フレーム内でフレーム内の風景の移動方向と同じ方向に移動する構造物は同一構造物であると判定する。連続する複数のフレームは、静止画取得部１１が一定距離ごとに撮影動画から切り出した一連のフレームである。車両の進行方向に対して左側を撮影した場合、図６に示すように、構造物はフレーム内で右から左に移動する。同一構造物判定部１４は、連続する複数のフレームにおいて、検出位置（検出枠）が右から左に移動する構造物を同一の構造物と判定する。車両の進行方向に対して右側を撮影した場合は、構造物はフレーム内で左から右に移動する。車両の前方または後方に設置したカメラで撮影したフレームでは、構造物はフレーム内で上から下または下から上に移動する。つまり、同一構造物判定部１４は、フレーム内の風景の移動方向と同じ方向に移動する構造物を同一構造物として判定する。

同一構造物判定部１４は、同一構造物が写ったと判定した複数のフレームを抽出後、複数のフレームのなかから構造物が最もよく写っているフレームを代表フレームとして選定する。前方および後方を撮影するカメラを設置した場合、代表フレームとして順光のフレームを自動的に選定してもよい。

同一構造物判定部１４は、静止画群つまり撮影動画ごとに、上記の同一構造物の判定処理を行う。

同一構造物判定部１４の判定処理により、撮影動画から一定距離ごとに切り出した静止画群から、同一構造物が写ったフレームを抽出することができる。

カメラ間の同一構造物判定部１５（以下、単に「同一構造物判定部１５」と称する）は、各カメラの撮影方向および静止画群の切り出し間隔（距離）に基づき、同一の構造物が写った代表フレームを静止画群間で関連付ける。

同一構造物判定部１５の判定処理により、図７に示すように、別々のカメラの撮影動画から切り出した静止画群から同一構造物が写ったフレームを抽出することができる。

同一構造物判定部１５は、複数の静止画群から検出して同一の構造物として判定した構造物の位置情報を記憶部１２に登録してもよい。例えば、構造物に対してＩＤを付与し、そのＩＤにその構造物が写っているフレームを関連付けるとともに、その構造物の位置情報を関連付ける。構造物の位置情報は、ＧＰＳロガーから得られた車両の位置情報を利用できる。例えば、車両の進行方向に対して横向きに設置したカメラで撮影した代表フレームの位置情報をその構造物の位置情報として利用する。このとき、車両の進行方向およびカメラの設置向きに基づいてカメラの撮影方向を特定し、位置情報を撮影方向に移動した位置を構造物の位置情報としてもよい。ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）により車両から構造物までの距離を測定しておき、構造物の位置をより正確に求めてもよい。また、前方および後方を撮影するカメラを設置した場合、同一構造物判定部１５は、構造物の同一位置を撮影する前方ならびに後方のカメラから得られた同一構造物を撮影したフレームのうちいずれか一方のフレームを選定してもよく、特に、前記撮影したフレームのうち順光のフレームを選定してもよい。例えば、フレームの検出枠内の明るさに基づいて順光または逆光と判定してもよいし、ＧＰＳロガーから得られた情報を元に車の向きを求めてカメラの設置角度に基づいてカメラの撮影方向を割り出し、時刻に応じた太陽の向きと照合して逆光かどうかを判定してもよい。

異常検出部１７は、構造物が写っているフレームから構造物の異常（例えばヒビ、欠け、錆等）を検出する。異常検出部１７は、代表フレームだけでなく、構造物が写っているフレームの全てから構造物の異常を検出してもよい。異常検出部１７は、例えば、検出したい構造物の異常を学習させた人工知能を用いて構造物の写っているフレームから構造物の異常を検出する。前記人工知能としては、例えば、画像ディープラーニング技術を用いて、事前に構造物のヒビあるいは欠けあるいは錆の画像を学習させることによって入力画像中におけるヒビあるいは欠けあるいは錆の画像部分を検出可能とした学習済み人工知能を異常検出部１７として用いることによって、構造物に発生したヒビあるいは欠けあるいは錆の異常を検出してもよい。

出力部１６は、同一の構造物を異なるカメラで写した複数の静止画を並べて出力する。構造物検出部１３および同一構造物判定部１４，１５の処理により、複数の撮影動画から切り出したフレームに写る構造物の同一性が判定され、その構造物の位置も特定されている。出力部１６は、例えば、構造物を検出した位置を地図上にプロットし、地図上で構造物の選択を受け付けて、選択された構造物の写る静止画を表示する。

図８に、出力画面例を示す。同図に示す出力画面１００は、上段に地図領域１１０、情報領域１２０、動画領域１３０を備え、下段に構造物を写した静止画１４１〜１４４を表示している。

地図領域１１０では、撮影動画から検出された構造物を地図上にプロットする。構造物の不具合の有無および程度に応じてプロットの色および形状を変更してもよい。例えば、不具合の無い構造物は青色でプロットする。不具合の程度に応じて黄色、赤色でプロットする。構造物を示すマークが地図上で選択されると、下段に選択された構造物が写っている静止画１４１〜１４４が表示される。表示される静止画１４１〜１４４は、同一構造物判定部１４の選定した代表フレームである。

図８の地図領域１１０では、道路上に構造物のマークを表示しているが、道路の右側または左側に寄せて構造物のマークを表示してもよい。例えば、車両の進行方向に対して左側を撮影した場合は、進行方向の左側に構造物のマークを表示する。あるいは、車両の進行方向を道路上に矢印等で図示してもよい。

情報領域１２０では、選択された構造物の情報等を表示する。例えば、構造物を写した撮影日時および位置情報等を表示する。また、図８の例では、後述の異常検出部１７によって検出されたヒビおよび欠けを表示するか否かを選択可能にしている。チェックされた異常が静止画内に存在する場合、図８の静止画１４２に示すように、異常の検出された位置等を示してもよい。代表フレーム以外の表示されていない静止画（同じ構造物の写っているもの）において異常が検知されている場合は、その旨を情報領域１２０または静止画１４１〜１４４上に表示してよい。

時期をずらして撮影した構造物の静止画が存在する場合、撮影日時を選択可能にして、選択された撮影日時の構造物の静止画を表示してもよい。例えば、選択された構造物について、２０１４年に撮影された静止画と２０１８年に撮影された静止画が存在する場合、情報領域１２０の撮影日時を２０１４年または２０１８年のいずれかに選択可能とする。出力画面１００の下段には、選択された時期に撮影された静止画を表示する。また、新たに異常を検知した構造物だけを地図領域１１０に表示したり、区別できるように異なるマークを表示したりしてもよい。

動画領域１３０では、カメラのいずれかで撮影した撮影動画を再生する。表示する撮影動画は選択可能である。図８の例では、４つの撮影動画から再生する撮影動画を選択できる。例えば、静止画１４１〜１４４のいずれかを選択すると、対応する撮影動画が動画領域１３０に表示される。撮影動画を再生する際、撮影動画のタイムスタンプに合わせて地図領域１１０に車両の位置を図示してもよい。撮影動画に検出された構造物が写っている間は、撮影動画をスロー再生してもよい。

出力画面１００の下段には、複数のカメラで撮影された構造物の静止画１４１〜１４４が表示される。静止画１４１〜１４４のいずれかを選択すると、同一構造物判定部１４で同一の構造物が写っていると判定された複数の静止画を並べて表示してもよい。例えば、静止画１４２を選択すると、静止画１４２を含む前後数枚の同一構造物が写っている静止画（同じカメラで撮影したもの）が表示される。

さらに、構造物の保守の際に高所作業車が利用可能か否かを判断するために、構造物の周囲の画像を表示してもよい。例えば、構造物の下部を撮影した静止画に構造物の周囲の静止画をつなげてパノラマ画像を生成して表示する。

［構造物検出装置の動作］
次に、構造物検出装置１の動作について説明する。図９は、構造物検出装置１のメインルーチンのフローチャートである。

構造物検出装置１が処理を開始すると、ステップＳ１において、静止画取得部１１は、記録媒体１０１から撮影動画を読み取るとともに、記録媒体１０２から位置情報が記録されたファイルを読み取る。静止画取得部１１は、撮影動画から一定距離ごとにフレームを取得し、フレームに位置情報を関連付けて記憶部１２に格納する。静止画取得部１１は、複数の記録媒体１０１のそれぞれから撮影動画を取得し、取得した撮影動画のそれぞれについてステップＳ１の処理を行う。

ステップＳ２において、構造物検出部１３は、静止画取得部１１が取得したフレームから検出対象の構造物が写っているフレームを検出し、フレーム内における構造物の位置を記憶部１２に格納する。

ステップＳ３において、同一構造物判定部１４は、同一の撮影動画から取得した静止画群ごとに、フレーム内での構造物の検出位置の変化に基づいて、構造物の同一性を判定するとともに、同一の構造物が写っているフレームの中から代表フレームを選定する。同一構造物判定部１４は、撮影動画のそれぞれから取得した静止画群のそれぞれについてステップＳ３の処理を行う。ステップＳ３の単一カメラ内での構造物の同一性判定の詳細については後述する。

ステップＳ４において、同一構造物判定部１５は、撮影動画の撮影方向および切り出し間隔に基づき、同一の構造物が写った代表フレームを静止画群間で関連付ける。ステップＳ４の複数カメラ間での構造物の同一性判定の詳細については後述する。

ステップＳ５において、出力部１６は、同一の構造物を異なるカメラで写した複数の代表フレームを並べて表示する。

［単一カメラ内での構造物の同一性判定］
続いて、単一カメラ内での構造物の同一性判定処理について説明する。図１０は、単一カメラ内での構造物の同一判定処理の流れを示すフローチャートである。

ステップＳ３１にて、同一構造物判定部１４は、構造物検出部１３が誤検出した検出枠を削除する。例えば、図１１に示すように、フレームｎにおいて構造物検出部１３は構造物を検出したが、前後の数フレームｎ−１，ｎ＋１では構造物が検出されていない場合、フレームｎの検出枠Ｄ０は誤検出であると判定し、検出枠Ｄ０を削除する。

ステップＳ３２にて、同一構造物判定部１４は、１つのフレーム内において検出領域が重複する検出枠をマージする。例えば、図１２に示すように、フレーム内には１つの構造物のみ写っているが、構造物検出部１３がその構造物について領域が重複する複数の検出枠Ｄ１，Ｄ２を出力した場合、同一構造物判定部１４は、検出枠Ｄ１，Ｄ２をマージする。検出枠Ｄ１，Ｄ２のどちらかを削除してもよい。

また、図１３に示すように、フレーム内で複数の構造物が重なって写っており、複数の検出枠Ｄ３，Ｄ４が重複する場合も考えられる。検出枠の重複度合いに応じて重複する検出枠を処理するか否か判定してもよい。例えば、検出枠の重複度合いが所定の閾値以上の場合は、検出枠の重複処理を行う。検出対象の構造物が重複してフレーム内に写らないものであれば、検出対象に応じて検出枠をマージするか削除するかを判定してもよい。

同一構造物判定部１４は、静止画群の各フレームについて、フレーム番号順にステップＳ３３の処理を行い、同一構造物の写っているフレームの集合（以下、「同一構造物の集合」と称する）を求める。ステップＳ３３では、同一構造物判定部１４は、連続する複数のフレームで検出された構造物のフレーム内での位置の変化に基づき、フレーム間での同一構造物を判定する。ステップＳ３３の処理の詳細は後述する。

ステップＳ３４にて、同一構造物判定部１４は、同一構造物の集合の要素の数（フレーム数）が一定以下の集合は誤検出として削除する。静止画取得部１１は、同一構造物が所定の数以上のフレームに写っているようにフレームを切り出すので、同一構造物判定部１４は、同一構造物が写っていると判定されたフレーム数が一定以下（例えば、同一構造物が５フレーム程度に写っているように切り出した場合は１〜２フレーム）の集合は、構造物を誤検出したものと推定する。例えば、車両の前方左側を撮影するカメラで撮影した撮影動画では、車両が左折時に左折する方向に対して右側にある構造物は、撮影動画内で左側から右側に移動する。同一構造物判定部１４は、撮影動画内で右側から左側に移動する構造物を同一構造物として判定するので、撮影動画内で左側から右側に移動する構造物は、撮影動画から切り出したフレームのそれぞれで新たに検出された構造物として扱われる。そのため、その構造物のフレームの集合の要素の数は１もしくは２程度となり、誤検出として削除できる。

ステップＳ３５にて、同一構造物判定部１４は、同一構造物の集合の中から代表フレームを選定する。同一構造物の集合に含まれるフレームの中で構造物が最もよく写っているフレームを代表フレームとする。最もよく写っているフレームとは、例えば、同一構造物の集合に含まれるフレームをフレーム番号順に並べたときの真ん中のフレームを代表フレームとしてもよい。もしくは、最も中央に構造物が写っている１つのフレームをその構造物の代表フレームとして選定してもよい。もしくは、前方および後方を撮影するカメラを設置した場合、代表フレームとして順光のフレームを自動的に選定してもよく、例えば、フレームの検出枠内の明るさに基づいて順光または逆光と判定してもよい。もしくは、ピンボケ、ブレなどの撮影不良を判定して、そのようなフレーム以外の中から代表フレームを選定してもよい。

以上の処理により、撮影動画から切り出した静止画群ごとに、同一の構造物が写っているフレームの集合およびその構造物の代表フレームが求められる。

続いて、図１０のステップＳ３３の同一構造物の判定処理について説明する。図１４は、単一カメラで撮影した撮影動画における同一構造物の判定処理の流れを示すフローチャートである。

ステップＳ３３１にて、同一構造物判定部１４は、処理対象の現フレームから検出対象の構造物が検出されているか否か判定する。

現フレームから構造物が検出された場合、ステップＳ３３３にて、同一構造物判定部１４は、同一候補構造物が存在するか否か判定する。同一候補構造物とは、前フレームｎ−１までに検出された構造物（検出枠）であって同一の構造物と推定される構造物である。同一候補構造物の集合は、同一の構造物と推定される構造物の集合である。同一候補構造物の集合は、複数個存在することもある。同一候補構造物の集合には、現フレームｎ以降で検出される構造物が追加される可能性がある。

同一候補構造物が存在しない場合、ステップＳ３３４にて、新しい同一候補構造物の集合を作成し、現フレームｎから検出された構造物をその同一候補構造物の集合に登録する。現フレームｎから複数の構造物が検出された場合、検出された構造物の数だけ新しい同一候補構造物の集合が作られる。

同一候補構造物が存在する場合、ステップＳ３３５にて、同一構造物判定部１４は、現フレームｎにおいて、同一候補構造物のなかで最も右側の構造物の座標より右側で検出された構造物を新しい同一候補構造物の集合に登録する。フレームに写る同一の構造物の位置は右側から左側に移動するので、前フレームｎ−１までに検出された構造物よりも右側で検出された構造物は新たな別の構造物であると推定する。

同一構造物判定部１４は、構造物を検出した検出枠のフレーム内での位置を比較して右側または左側を判定する。例えば、検出枠の縦の中心線のフレーム内でのｘ座標を基準とする。

図１５の例では、前フレームｎ−１において検出枠Ｄ５の構造物が検出された。前フレームｎ−１の処理において、検出枠Ｄ５は、いずれかの同一候補構造物の集合に登録される。検出枠Ｄ５は、同一候補構造物のなかで最も右側であるとする。現フレームｎでは、検出枠Ｄ６の構造物と検出枠Ｄ７の構造物が検出された。検出枠Ｄ６のフレーム内での位置は、検出枠Ｄ５のフレーム内での位置より左側であり、検出枠Ｄ７のフレーム内での位置は、検出枠Ｄ５のフレーム内での位置より右側である。検出枠Ｄ７は、同一候補構造物のなかで最も右側の検出枠Ｄ５よりも右側に出現したので、検出枠Ｄ７を新しい同一候補構造物の集合に登録する。

図１６の例では、現フレームｎにおいて、検出枠Ｄ７の構造物と検出枠Ｄ８の構造物が検出された。検出枠Ｄ７，Ｄ８のフレーム内での位置は、両方とも検出枠Ｄ５のフレーム内での位置より右側である。検出枠Ｄ７，Ｄ８は、同一候補構造物のなかで最も右側の検出枠Ｄ５よりも右側で検出されたので、検出枠Ｄ７，Ｄ８のそれぞれを新しい同一候補構造物の集合のそれぞれに登録する。つまり、同一候補構造物の集合が新たに２つ作成される。

撮影動画から切り出す一定距離が短い場合、車両が一時停止しているときなど、ＧＰＳロガーの誤差により、同じ位置に構造物の写るフレームが切り出されることがある。例えば、図１７のフレームｎ−１とフレームｎは、構造物のフレーム内での位置は同じである。このとき、構造物検出部１３が違う位置で構造物を検出することがある。図１７の例では、フレームｎ−１では左寄りの検出枠Ｄ９で構造物を検出し、フレームｎでは右寄りの検出枠Ｄ１０で構造物を検出している。検出枠Ｄ９，Ｄ１０は同一の構造物を検出しているが、現フレームｎの検出枠Ｄ１０は検出枠Ｄ９より右側に存在するので、同一構造物判定部１４は、検出枠Ｄ１０を新しい同一候補構造物として登録してしまう。そこで、同一構造物判定部１４は、ズレ許容範囲をピクセル単位で設定し、検出枠Ｄ１０が検出枠Ｄ９よりも右側であってもズレ許容範囲内であれば、検出枠Ｄ１０を検出枠Ｄ９の同一候補構造物とする。

ステップＳ３３５において、現フレームｎで検出された構造物のうち同一候補構造物の集合に登録された構造物は、以降のステップＳ３３６，Ｓ３３７の処理対象としない。具体的には、図１５の例では、現フレームｎで検出された検出枠Ｄ７は、新しい同一候補構造物の集合に登録されたので、ステップＳ３３６，Ｓ３３７の処理対象としない。現フレームｎで検出された検出枠Ｄ６は、まだ同一候補構造物の集合に登録されていないので、ステップＳ３３６，Ｓ３３７の処理対象である。

ステップＳ３３５において、現フレームｎで検出された構造物の全てが新しい同一候補構造物の集合に登録された場合（図１６の例）、前フレームｎ−１以前に作成された同一候補構造物の集合の確定確認をする。確定確認とは、現フレームｎ以降で同一候補構造物と同一の構造物が出現しないと推定し、同一候補構造物の集合に含まれる構造物を同一構造物として確定することである。確定確認の際、検出漏れ許容枚数を設定しておき、許容枚数を超えて同一候補構造物の集合に変化が無い場合に、その同一候補構造物の集合を同一構造物として確定してもよい。同一の構造物は連続したフレームに出現するはずである。あるフレームで構造物が検出されず、前後の許容枚数内のフレームにおいて右から左に移動する構造物が検出されているのであれば、構造物が検出されなかったフレームは検出漏れであると推定する。

ステップＳ３３６にて、同一構造物判定部１４は、現フレームｎにおいて最も左側で検出された構造物よりも左側の同一候補構造物の集合を同一構造物として確定する。

図１８の例では、前フレームｎ−１では、検出枠Ｄ１２，Ｄ１３の構造物が検出されている。つまり、前フレームｎ−１の時点では、検出枠Ｄ１２を含む同一候補構造物の集合と検出枠Ｄ１３を含む同一候補構造物の集合の２つが存在する。現フレームｎでは、検出枠Ｄ１４の構造物が検出された。検出枠Ｄ１４は、検出枠Ｄ１２よりも右側で、検出枠Ｄ１３よりも左側である。検出枠Ｄ１２の構造物が次のフレームｎで検出枠Ｄ１４の位置に移動することは無く、検出枠Ｄ１２の構造物が移動したと推定できる構造物は現フレームｎで検出されていない。したがって、検出枠Ｄ１２と同一の構造物は現フレームｎ以降出現しないと推定できるので、検出枠Ｄ１２を含む同一候補構造物の集合を同一構造物として確定する。

図１８の前フレームｎ−１の検出枠Ｄ１３は、現フレームｎの検出枠Ｄ１４よりも左側であるので、検出枠Ｄ１３の構造物は、検出枠Ｄ１４の構造物と同一の可能性がある。検出枠Ｄ１４は、次のステップＳ３３７で処理される。

なお、ステップＳ３３６においても、同一構造物判定部１４は、構造物の位置の判定にズレ許容範囲を適用してもよい。

ステップＳ３３７にて、同一構造物判定部１４は、現フレームｎで検出された残りの構造物の同一候補構造物への割り振りを行う。残りの構造物とは、現フレームｎで検出された構造物のうち、同一候補構造物の集合に登録されてないものである。ステップＳ３３７の処理の詳細は後述する。

ステップＳ３３７までの処理により、現フレームｎで検出された全ての構造物が同一候補構造物の集合のいずれかに登録される。また、連続するフレームについて上記ステップＳ３３１〜Ｓ３３７の処理することにより、結果として、構造物の検出位置が連続するフレームに写った風景の移動方向と同じ方向（本実施形態では左方向）に移動する場合に、フレームに写っている構造物は同一構造物と判定される。

一方、ステップＳ３３１の処理において現フレームｎから構造物が検出されなかった場合、ステップＳ３３２にて、同一構造物判定部１４は、前フレームｎ−１以前に作成された同一候補構造物の確定確認をする。

なお、ステップＳ３３１の処理において現フレームｎから検出された構造物の大きさ（検出枠の大きさ）が、同一候補構造物の大きさと極端に異なる場合は、現フレームｎで検出された構造物を対象外として除去してもよい。例えば、対象外の遠い位置の構造物を検出した検出枠は、検出対象とする道路沿いの構造物の検出枠よりも極端に小さくなる。

続いて、図１４のステップＳ３３７の残りの構造物の割り振り処理について説明する。図１９は、残りの構造物の割り振り処理の流れを示すフローチャートである。

ステップＳ３３７１にて、同一構造物判定部１４は、現フレームｎで検出された残りの構造物の数は、同一候補構造物の集合の数より多いか否か判定する。

残りの構造物の数が同一候補構造物の集合よりも多い場合、ステップＳ３３７２にて、同一候補構造物の集合の数より多い数だけ新しい同一候補構造物の集合を作成し、残りの構造物の右側から順番に新しい同一候補構造物の集合のそれぞれに登録する。

例えば、図２０に示すように、同一候補構造物の集合は、前フレームｎ−１で検出された検出枠Ｄ１５を含む集合だけであり、現フレームｎでは、２つの検出枠Ｄ１６，Ｄ１７の構造物が検出された場合を考える。検出枠Ｄ１６，Ｄ１７の位置は、いずれも検出枠Ｄ１５よりも左側であるから、検出枠Ｄ１５の構造物は、検出枠Ｄ１６，Ｄ１７のいずれの構造物と同一か確定できない。そこで、同一構造物判定部１４は、現フレームｎにおいて最も右側の検出枠Ｄ１７を新しい同一候補構造物の集合に登録する。

ステップＳ３３７３にて、同一構造物判定部１４は、現フレームｎで検出された残りの構造物の数は、同一候補構造物の集合の数より少ないか否か判定する。

残りの構造物の数が同一候補構造物の集合の数よりも少ない場合、ステップＳ３３７４にて、残りの構造物の数より多い数だけ、左側の同一候補構造物の集合から順番に、同一候補構造物の集合を同一構造物として確定する。

例えば、図２１に示すように、前フレームｎ−１で検出された検出枠Ｄ１８，Ｄ１９をそれぞれ含む２つの同一候補構造物の集合が存在し、現フレームｎでは、検出枠Ｄ２０の構造物が１つだけ検出された場合を考える。検出枠Ｄ１８，Ｄ１９の位置は、いずれも検出枠Ｄ２０よりも右側であるから、検出枠Ｄ２０の構造物は、検出枠Ｄ１８，Ｄ１９のいずれの構造物と同一か確定できない。そこで、同一構造物判定部１４は、前フレームｎ−１において最も左側の検出枠Ｄ１８の構造物は現フレームｎ以降出現しないと推定し、検出枠Ｄ１８を含む同一候補構造物の集合を同一構造物として確定する。

以上のステップＳ３３７１〜Ｓ３３７４の処理により、同一候補構造物の集合の数と残りの構造物の数は同数となっている。

ステップＳ３３７５にて、同一構造物判定部１４は、残りの構造物を順番に同一候補構造物の集合に割り当てる。

以上の処理により、現フレームｎで検出された構造物は、全て同一候補構造物に割り当てられる。

なお、図１９の処理の開始前に、残りの構造物に、構造物の特徴が一致する同一候補構造物があれば、その残りの構造物を同一候補構造物の集合に登録してもよい。例えば、ディープラーニングを用いると、構造物の特徴により、構造物の写る位置が異なっていても同一と判定できる場合もある。例えば、同一の構造物であれば異常検出部１７は同じ異常を検出すると考えられるので、異常検出部１７が検出した構造物の異常に関する情報を記憶部１２に格納しておき、構造物の異常に関する情報を用いて構造物の同一候補構造物を判定してもよい。また、同一の構造物である場合、構造物検出部１３の検出した検出枠の確信度が近くなる傾向があるので、検出枠の確信度を用いて構造物の同一候補構造物を判定してもよい。この前処理で、残りの構造物が全て同一候補構造物に割り当てられた場合は、同一候補構造物の集合の確定確認を行い、図１９の処理は行わない。

［複数カメラ間での構造物の同一性判定］
続いて、複数カメラ間での構造物の同一性判定処理について説明する。

複数カメラ間の構造物の同一性は、撮影時刻と撮影方向に基づいて決めることができる。

カメラ１のフレーム切り出し間隔（距離）をｓ１とし、カメラ２のフレーム切り出し間隔をｓ２とする。カメラ１の撮影動画から切り出したフレームには通し番号（０，１，２，・・・）が付与され、カメラ２の撮影動画から切り出したフレームにも通し番号（０，１，２，・・・）が付与される。カメラ１，２のフレーム０番の切り出し時刻が同じだとすると、カメラ１のフレームｉと同じ時刻のカメラ２のフレームｊ０はｊ０＝ｉ＊（ｓ１／ｓ２）で求められる。

また、カメラ１は車両の真横を撮影し、カメラ２は車両の斜め前方を撮影しているとする。カメラ１のフレームｉに構造物が写っていたとすると、カメラ２では、上記のフレームｊ０よりもｆ２フレーム前に構造物が写っている。カメラ１，２間の構造物の撮影タイミングのズレ（ｆ２）は、パン角および車両と構造物との間の距離によって定まる。カメラ１のフレームｉに写っていた構造物は、カメラ２のフレームｊ＝ｉ＊（ｓ１／ｓ２）＋ｆ２に写っていた構造物と同一である。

このように、複数のカメラ間で同一の構造物が写っているフレームは一意に定められる。しかしながら、カメラを搭載した車両と構造物との間の距離が一定でなかったり、ＧＰＳ誤差やカメラの時間設定誤差により正確に切り出せなかったり、構造物検出部１３の誤検出、検出漏れがあったりするので、複数のカメラ間で対応するフレームは計算で求めた基準位置（フレームｊ）からずれることがある。

そこで、本実施形態の同一構造物判定部１５は、誤差、誤検出、および検出漏れを考慮しつつ、複数カメラ間での構造物の同一性を判定する。

図２２は、複数カメラで撮影した撮影動画間における同一構造物の判定処理の流れを示すフローチャートである。

同一構造物判定部１５は、各カメラの撮影動画から切り出した静止画群ごとに、その静止画群に含まれる全ての代表フレームについて、ステップＳ４１〜Ｓ４３の処理を繰り返す。

ステップＳ４１にて、同一構造物判定部１５は、処理対象の代表フレームに対応する他の静止画群内の代表フレームを抽出する。

例えば、カメラ１の撮影動画から切り出したフレームｉが処理対象の代表フレームであるとする。カメラ１〜４の撮影動画からのフレームの切り出し距離とカメラ１〜４の向きを考慮した構造物の撮影タイミングのズレに基づき、カメラ１のフレームｉに対応するカメラ２〜４のフレームｊ，ｋ，ｌ（基準位置）は一意に求まる。

図２３に、各静止画群の代表フレームが最も理想的な場合を示す。図２３の例では、計算で求められたフレームｉに対応するフレームｊ，ｋ，ｌが代表フレームである。この場合、同一構造物判定部１５は、フレームｉに対応する候補として、静止画群のそれぞれからフレームｊ，ｋ，ｌを抽出する。

しかしながら、計算で求められたフレームｊ，ｋ，ｌが代表フレームでないことがある。図２４の例では、フレームｋおよびフレームｌは代表フレームではない。そこで、同一構造物判定部１５は、基準位置からの前後のズレの許容範囲ｍ１〜ｍ４をカメラ１〜４ごとに設定し、処理対象のフレームｉに対応する候補として、許容範囲内の代表フレームを抽出する。図２４の例では、カメラ３については基準位置から許容範囲ｍ３内に代表フレームｋ−３が存在し、カメラ４については基準位置から許容範囲ｍ４内に代表フレームｌ＋２が存在する。同一構造物判定部１５は、フレームｉに対応する候補として、静止画群のそれぞれからフレームｊ，ｋ−３，ｌ＋２を抽出する。

また、許容範囲内に複数の代表フレームが存在することもある。同一構造物判定部１５は、処理対象のフレームに対応する候補として、許容範囲内の全ての代表フレームを抽出する。図２５の例では、カメラ３については許容範囲ｍ３内に、フレームｋとフレームｋ−３の２つの代表フレームが存在し、カメラ４については許容範囲ｍ４内に、フレームｌとフレームｌ＋２の２つの代表フレームが存在する。同一構造物判定部１５は、フレームｉに対応する候補として、静止画群のそれぞれからフレームｊ，ｋ，ｋ−３，ｌ，ｌ＋２を抽出する。

許容範囲内に代表フレームが存在しない場合は、基準位置のフレームを抽出しておく。後述の信頼度の計算では、許容範囲内に代表フレームが存在しないカメラについては信頼度を０とする。

ステップＳ４２にて、同一構造物判定部１５は、抽出した代表フレームについて全ての組み合わせを作成する。

図２３の例では、フレームｉに対応する候補としてフレームｊ，ｋ，ｌが抽出されたので、同一構造物の候補としてフレームｉ，ｊ，ｋ，ｌの組み合わせを作成する。以下では、同一構造物判定部１５の作成したフレームｉ，ｊ，ｋ，ｌの組み合わせを（ｉ，ｊ，ｋ，ｌ）のように表す。

図２４の例では、（ｉ，ｊ，ｋ−３，ｌ＋２）の組み合わせが得られる。

図２５の例では、カメラ３についてフレームｋ，ｋ−３、カメラ４についてフレームｌ，ｌ＋２を抽出したので、（ｉ，ｊ，ｋ−３，ｌ），（ｉ，ｊ，ｋ−３，ｌ＋２），（ｉ，ｊ，ｋ，ｌ），（ｉ，ｊ，ｋ，ｌ＋２）の組み合わせが得られる。

ステップＳ４３にて、同一構造物判定部１５は、全ての組み合わせについて信頼度を計算する。同一構造物判定部１５は、カメラ１〜４ごとに基準となる信頼度ｄ１〜ｄ４を決めておき、基準位置から離れた距離（フレーム数）に応じて信頼度を下げる。具体的には、次式（１）を用いてそれぞれの組み合わせの信頼度を計算する。

信頼度＝ｄ１＋ｄ２＊ｘ＾（ｖ２ａ）＋ｄ３＊ｘ＾（ｖ３ａ）＋ｄ４＊ｘ＾（ｖ４ａ）
ｘは信頼度を下げるための１より小さい係数であり、例えばｘ＝０．９９とする。カメラごとにｘを設定してもよい。ｖ２ａ，ｖ３ａ，ｖ４ａは、基準位置から離れたフレーム数である。基準となる信頼度ｄ１〜ｄ４については、例えば、ｄ１＝０．３５，ｄ２＝０．４，ｄ３＝０．４５，ｄ４＝０．５とする。検出対象の構造物が信号機であれば、上のカメラは信号機の特徴を捉えやすいので、上のカメラの信頼度を高くする。なお、後述のＬＩＤＡＲによる測距で構造物の位置が推定できる場合または予め位置情報がわかっている構造物の場合、その情報に基づいて信頼度ｄ１〜ｄ４を補正してもよい。

許容範囲内に代表フレームが存在しないカメラについては信頼度を０として計算する。例えば、カメラ２では許容範囲内に代表フレームが存在しなかった場合、ｄ２＝０として計算する。カメラ１，３，４の信頼度を合計した値が後述の閾値ｃ以上であれば、カメラ２の検知漏れを防ぐことができる。

静止画群の全ての代表フレームについて上記のステップＳ４１〜Ｓ４３の処理を行い、さらに、静止画群のそれぞれについて行う。つまり、カメラ１の代表フレームを基準するだけでなく、カメラ２〜４のそれぞれの代表フレームを基準として組み合わせを作成するとともに、その組み合わせの信頼度を計算する。

ステップＳ４４にて、同一構造物判定部１５は、全ての組み合わせの中から信頼度の高い順に複数のカメラ間の同一構造物を確定する。

例えば、（ｉ，ｊ，ｋ−３，ｌ），（ｉ，ｊ，ｋ−３，ｌ＋２），（ｉ，ｊ，ｋ，ｌ），（ｉ，ｊ，ｋ，ｌ＋２）の組み合わせについては、（ｉ，ｊ，ｋ，ｌ）の組み合わせが最も信頼度が高い。したがって、フレームｉ，フレームｊ，フレームｋ，フレームｌに写っている構造物を同一構造物として確定する。同一構造物判定部１５は、構造物にＩＤを付与し、そのＩＤにフレームｉ，フレームｊ，フレームｋ，フレームｌを関連付ける。出力部１６において構造物のＩＤが指定されると、そのＩＤに関連付けられたフレームｉ，フレームｊ，フレームｋ，フレームｌが表示される。

同一構造物として確定した組み合わせに含まれるフレームは、他の組み合わせから除外する。除外されたフレームを含む組み合わせについては、除外されたフレームの信頼度を０として、組み合わせの信頼度を再計算する。例えば（ｉ，ｊ，ｋ−３，ｌ＋２）の組み合わせの新たな信頼度は０＋０＋ｄ３＊ｘ＾３＋ｄ４＊ｘ＾２となる。

同一構造物判定部１５は、閾値ｃ以上の信頼度を持つ組み合わせがなくなるまで、同一構造物の確定を行う。例えば、閾値ｃ＝１とする。

なお、同一構造物として確定した組み合わせに含まれるフレームを除外する代わりに、確定したフレームの信頼度を下げてもよい。例えば、確定したフレームの信頼度を１／１０とする場合、（ｉ，ｊ，ｋ−３，ｌ＋２）の組み合わせの新たな信頼度はｄ１＊１／１０＋ｄ２＊１／１０＋ｄ３＊ｘ＾３＋ｄ４＊ｘ＾２となる。

なお、カメラ間で構造物が写るタイミングのズレ（基準位置を求める際に補正したフレーム数ｆ２）を自動で算出してもよい。例えば、カメラ１，２のフレーム数ｆ２を算出する場合、フレーム数ｆ２を少しずつ変えながら、カメラ１の代表フレームに対応するカメラ２の基準位置を求め、基準位置にカメラ２の代表フレームが最も多くなるようなフレーム数ｆ２を求める。

［ＬＩＤＡＲの利用］
ＬＩＤＡＲや簡易なレーザー測距計などを利用すると対象物までの距離を正確に測定できる。

図２６に、ＬＩＤＡＲの測定例を示す。図２６のグラフは、横軸は走行距離を表し、縦軸は構造物までの距離を表す。車両にＬＩＤＡＲを載せて撮影方向の物体までの距離を測定すると、図２６に示すように、道路沿いの円柱形の構造物までの距離を正確に測定できる。

車両に載せたＧＰＳロガーを用いると、ＧＰＳロガーで得られた位置情報は車両の位置情報であり、構造物の位置から少し離れている。ＬＩＤＡＲで車両から構造物までの距離を測定することで、構造物のより正確な位置情報を得ることができる。

また、複数カメラ間での構造物の同一性判定処理で用いる構造物の撮影タイミングのズレの算出および補正にＬＩＤＡＲを利用できる。複数カメラ間での構造物の同一性判定処理では、カメラ間の構造物の撮影タイミングのズレを予め設定して対応するフレーム（基準位置）を決定している。図２７を参照して具体的に説明する。位置ＴＬ０に構造物が存在していると想定すると、パン角がθのカメラは、位置Ｐ２で位置ＴＬ０の構造物を撮影し、パン角が９０度のカメラは、位置Ｐ１で位置ＴＬ０の構造物を撮影することになると想定される。位置Ｐ１と位置Ｐ２の間の距離Ｌ０に基づいてカメラ間で構造物が撮影されるフレーム数のズレを決定する。

ところが、実際には構造物は位置ＴＬに存在している場合、パン角がθのカメラは、位置Ｐ３で位置ＴＬの構造物を撮影することになる。本来ならば、位置Ｐ１と位置Ｐ３の間の距離Ｌ１に基づいてカメラ間で構造物が撮影されるフレーム数のズレを決定しなければならない。

ＬＩＤＡＲを用いて位置Ｐ１の車両から位置ＴＬの構造物までの位置を正確に測定すると、パン角がθのカメラで構造物を撮影できる位置Ｐ３および位置Ｐ１と位置Ｐ３との間の距離Ｌ１が計算でき、距離Ｌ１に基づいてカメラ間で構造物が撮影されるフレーム数のズレを正確に決定することができる。構造物の位置を測定できるたびに、撮影位置から構造物までの距離を算出して、基準位置となるフレームを推定してもよい。

［ＧＰＳと撮影動画との間の誤差の修正］
カメラが管理する時間とＧＰＳロガーが管理する時間がズレている場合、撮影動画から切り出したフレームの位置情報に誤差が生じる。本実施形態では、処理開始前に、ＧＰＳと撮影動画との間の誤差を修正する。

図２８の構造物ＴＬは、位置がわかっているものとする。車両の進行方向に対して９０度の角度で設置したカメラで構造物ＴＬを撮影するとともに、ＧＰＳロガーで位置情報を取得する。

カメラの撮影動画からフレームを切り出し、構造物ＴＬが中央に写っているフレームを選択する。図２８の例では、位置Ｐ２で撮影したフレームを選択する。フレームを切り出す時間単位は、撮影動画の時間単位（例えば３０ｆｐｓであれば１秒あたり３０枚）もしくはＧＰＳロガーの計測単位（例えば０．２秒）とする。

ＧＰＳロガーで計測した位置情報のうち、位置のわかっている構造物ＴＬに最も近い位置情報を選択する。図２８の例では、位置Ｐ２が最も構造物ＴＬに近い。

選択したフレームの時刻と選択した位置情報の時刻に基づいてＧＰＳと撮影動画の時刻をあわせる。例えば、フレームの時刻が１２：００：００：４００であり、位置情報の時刻が１２：００：００：０００であった場合、この時刻の差０．４秒を考慮して処理を行う。

以上説明したように、本実施形態によれば、静止画取得部１１が、複数の撮影動画のそれぞれから一定距離ごとに静止画（フレーム）を取得し、構造物検出部１３が、検出対象の構造物の写ったフレームを検出し、カメラ毎の同一構造物判定部１４が、撮影動画ごとに、フレーム間の同一構造物を判定し、カメラ間の同一構造物判定部１５が、撮影動画間で同一構造物を判定し、出力部１６が、同一の構造物の写った複数の撮影動画から取得したフレームを並べて表示することにより、構造物を効率よく点検可能になる。

複数のカメラを用いてチルト角やパン角を変えて撮影すると、高い構造物や逆光に対応できる。撮影動画から短い間隔でフレームを切り出すと目的の構造物の切り出し漏れを抑制できる。しかしながら、ある構造物の写っているフレームを見たい場合、膨大な数のフレームから探さなくてはならない。また、パン角を変えると複数の撮影動画間で構造物の写るタイミングが変わるので、複数のカメラで同じ時刻に同一構造物が写らないこともあり、それぞれから同一構造物を探さなくてはならない。本実施形態の構造物検出装置１を用いることで、同一構造物の写っている画像がまとめられ、見たい構造物を地図上で指定するだけで、様々なアングルで撮影した構造物の画像を一覧できる。また、構造物検出装置１は、構造物が最もよく写っているフレームを代表フレームとして並べて表示する。その結果、構造物を効率よく点検可能になる。

本実施形態によれば、構造物検出部１３が、検出対象の構造物の写ったフレームを検出し、カメラ毎の同一構造物判定部１４が、連続するフレームｎ−１，ｎ間における構造物の検出枠の位置の変化に基づいて、フレームｎ−１とフレームｎに写っている構造物が同一構造物であるか否かを判定することにより、連続するフレーム間で同一の構造物を判定できる。具体的には、フレーム内の風景の移動方向と同じ方向に移動する検出枠の構造物は同一構造物であると判定する。

本実施形態によれば、カメラ間の同一構造物判定部１５が、フレームの切り出し距離とカメラ１〜４の向きを考慮した構造物の撮影タイミングのズレに基づき、カメラ１の代表フレームｉに対応するカメラ２〜４のフレームｊ，ｋ，ｌ（基準位置）を推定し、カメラ２〜４について、基準位置から許容範囲内の代表フレームを抽出することにより、パン角の異なる複数の撮影画像間で同一の構造物を判定できる。

１…構造物検出装置
１１…静止画取得部
１２…記憶部
１３…構造物検出部
１４…カメラ毎の同一構造物判定部
１５…カメラ間の同一構造物判定部
１６…出力部
１７…異常検出部
１０１，１０２…記録媒体

Claims (11)

1. 複数のカメラで撮影した複数の撮影画像群から目的の構造物を検出する構造物検出装置であって、
   前記複数の撮影画像群のそれぞれから前記構造物を検出する構造物検出部と、
   前記複数の撮影画像群のそれぞれから同一の前記構造物の写る撮影画像を抽出する同一構造物判定部と、
   前記同一の構造物の写る複数の前記撮影画像を並べて表示する表示部と、を備える
   ことを特徴とする構造物検出装置。
2. 請求項１に記載の構造物検出装置であって、
   前記目的の構造物は一定以上の鉛直方向の高さを有する構造物であり、
   前記複数のカメラは、進行方向に対するパン角もしくはチルト角のうちの少なくとも一方を互いに異ならせて車両に設置した
   ことを特徴とする構造物検出装置。
3. 請求項２に記載の構造物検出装置であって、
   前記複数のカメラは、斜め前方および斜め後方を撮影するカメラを含む
   ことを特徴とする構造物検出装置。
4. 請求項３に記載の構造物検出装置であって、
   前記表示部は、前記斜め前方のカメラの撮影画像または前記斜め後方のカメラの撮影画像のうちの順光の撮影画像を表示する
   ことを特徴とする構造物検出装置。
5. 請求項１ないし４のいずれかに記載の構造物検出装置であって、
   前記表示部は、同一の前記構造物の写る撮影画像のうち前記構造物が最もよく写っている撮影画像を表示する
   ことを特徴とする構造物検出装置。
6. 請求項１ないし５のいずれかに記載の構造物検出装置であって、
   前記構造物の写る撮影画像から当該構造物の異常を検出する異常検出部を備え、
   前記表示部は、前記撮影画像に前記異常検出部の検出した異常に関する情報を表示する
   ことを特徴とする構造物検出装置。
7. 請求項１ないし６のいずれかに記載の構造物検出装置であって、
   前記構造物検出部は、前記撮影画像を撮影した位置情報に基づいて前記構造物の位置を推定し、
   前記表示部は、前記構造物の位置を示した地図を表示し、前記地図上で前記構造物が選択されたときに、選択された前記構造物の写る前記複数の撮影画像を表示する
   ことを特徴とする構造物検出装置。
8. 請求項７に記載の構造物検出装置であって、
   撮影時に前記カメラから前記構造物までの距離および方向を測定しておき、
   前記同一構造物判定部は、前記距離および方向に基づいて前記構造物の位置を補正する
   ことを特徴とする構造物検出装置。
9. 請求項７または８に記載の構造物検出装置であって、
   位置のわかっている構造物に最も近い前記位置情報を取得した第１時刻と前記位置のわかっている構造物が最も中央に写る撮影画像を撮影した第２時刻との差に基づいて前記位置情報の取得時刻と前記撮影画像の撮影時刻との誤差を修正する
   ことを特徴とする構造物検出装置。
10. 複数のカメラで撮影した複数の撮影画像群から目的の構造物を検出する構造物検出方法であって、
    コンピュータによる、
    前記複数の撮影画像群のそれぞれから前記構造物を検出するステップと、
    前記複数の撮影画像群のそれぞれから同一の前記構造物の写る撮影画像を抽出するステップと、
    前記同一の構造物の写る複数の前記撮影画像を並べて表示するステップと、を有する
    ことを特徴とする構造物検出方法。
11. 請求項１ないし９のいずれかに記載の構造物検出装置の各部としてコンピュータを動作させることを特徴とする構造物検出プログラム。

Images