JP2021028813A - 情報処理装置及び方法 - Google Patents

Abstract

【課題】全方位カメラを移動車両に搭載して撮影し、既存の実装技術、データセット、最新の研究成果を活用したディープラーニングによる物体検知を行い、メンテナンス等に用いるとともに、全天球パノラマ動画像を再生できるようにする。【解決手段】全方位カメラ２０を用いて得られる全方位動画像から全方位フレーム画像を順に取り出す手段４１と、順に取り出される全方位フレーム画像をキューブマップに変換する手段４２と、変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行う手段４３と、検出された物体を当該要素画像の方位及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて記憶手段５１のレコードに格納する４７と、物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定する手段４９と、を有する全方位動画像処理装置。【選択図】図１

Description

本発明は、全方位カメラを用いた撮影により得られる全方位動画像から、所望の対象物が存在するフレーム画像とその方位を検出して、当該の対象物を当該の全方位フレーム画像や方位等に対応付けて記録する、全方位動画像処理装置と処理方法に関する。

ＧＰＳ受信機とカメラを自動車や列車に搭載して走行しつつ撮影することにより、日時刻情報と位置（緯度・経度）情報とに対応付けて道路や線路及び近辺の構造物やその状態の映像を録画しておき、後日のメンテナンス等に用いる業務が行われている。
全方位カメラを移動車両に搭載して撮影することにより、全天球３６０°のパノラマ動画像を得て、適宜に再生することが行われている。

ディープラーニングによる物体検知はオブジェクト・ディテクションと称され、２０１６年頃から海外の論文（非特許文献１，２）に掲載され、オープンソースソフトウェアでの実装も行われるようになり、２０１８年春には、既存のコンピュータによるリアルタイム処理（３０［ｆｐｓ］以上）が可能となっている。
ディープラーニングによる物体検知に於いて、比較的知られた実装であるＳＳＤやＹＯＬＯでは、膨大な教師画像を用いた学習済モデルを使った転移学習によって、最小限の計算量で、オリジナルデータによるモデル構築が可能となっている。

物体認識に基づいて興味領域を抽出する場合は、物体ごとにモデルを用意する必要があることが、特開２０１８−０２２３６０号公報（特許文献１）に記載されている。
入力パターンから所定の物体及びその下位カテゴリに於ける特定物体を区別して認識する技術が特開２０１０−２６２６０１号公報（特許文献２）に記載されており、同公報には、走行シーンから道路標識及び看板を認識して強調表示するアプリケーションに於いて特定の看板を区別して強調表示することも記載されている。
表示画像に対して、適切な位置に付加画像を挿入できる画像処理システムが、特開２０１９−１０２０９１号公報（特許文献３）に記載されている。また、同公報には、エクイレクタングラー形式の画像からキューブ投影を行うことについても記載されている。
複数の全天球パノラマ画像から、ユーザ所望の検索条件を満たす画像を検索し得る技術が、特開２０１７−１３８７１９号公報（特許文献４）に記載されている。

特開２０１８−０２２３６０号公報 特開２０１０−２６２６０１号公報 特開２０１９−１０２０９１号公報 特開２０１７−１３８７１９号公報 YOLOv3: An Incremental Improvement / Joseph Redmon, Ali Farhadi / University of Washington SSD: Single Shot MultiBox Detector / Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg

全方位カメラを移動車両に搭載して撮影することにより道路又は線路及び近辺の構造物を録画し、ディープラーニングによる物体検知により所望の構造物等やその状態を検出して状況を観察し、メンテナンス等に用いるとともに、全天球３６０°のパノラマ動画像を再生できるようにしたいという要望がある。

ディープラーニングによる物体検知では、既存のデータセット、実装技術、最新の研究成果を活用することが望ましく、そのためには、できるだけ汎用的なデータセットや画像のフォーマットを前提として、これらの成果を取り入れることが望まれる。
しかし、全方位カメラによって記録される写像方式（エクイレクタングラー形式等）では、ＸＹ方向の位置によって変形量が異なるため、そのままでは、パターンマッチングや物体検出等の画像処理に於いて、既存の実装技術、汎用的で蓄積量の大きなデータセットや、最新の研究成果を活用することが困難であった。

本発明は、全天球３６０°のパノラマ動画像を生成可能な全方位カメラを移動車両に搭載して撮影し、既存の実装技術、汎用的なデータセットや画像のフォーマット、最新の研究成果を活用したディープラーニングによる物体検知を行い、メンテナンス等に用いるとともに、全天球３６０°のパノラマ動画像を再生できるようにすることを目的とする。

本発明の構成を、下記［１］〜［５］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。

［１］構成１
全方位カメラ２０を用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出す画像取得手段４１と、
前記画像取得手段４１により順に取り出される全方位フレーム画像をキューブマップに変換する画像形式変換手段４２と、
前記画像形式変換手段４２により変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行う物体検出手段４３と、
前記物体検出手段４３により検出された物体を、当該要素画像の方位及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて、所定の記憶手段５１のレコードに格納するデータ制御手段４７と、
前記物体検出手段４３による物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定する動画像復元手段４９と、
を有することを特徴とする全方位動画像処理装置。
全方位動画像は、例えば、ドームマスター形式の動画像や、エクイレクタングラー形式の動画像等の公知の全天球動画像である。
キューブマップは、一般に、前、後、左、右、上、下の６方位の要素画像（図２内・右欄，参照）から成るが、例えば、ドームマスター形式の動画像の場合等、下画像が無い５方位の要素画像で構成されてもよい。
検出された物体の位置（要素画像内の座標値）は、例えば、当該の物体が前方の要素画像（例：図２・右欄内の前画像，参照）にて検出された場合は、当該「前画像」での座標値であるが、動画像復元手段４９により復元される際に、全方位フレーム画像での座標値に変換されて、この座標値も同様に格納されてもよい。
データ制御手段４７は、検出された物体の名称も併せて記録するものとする。ディープラーニングによる物体検出では、検出対象の物体が何であるかを示す情報を持っているため、その名称（又は名称に対応するＩＤ）も併せて記録するものとする。
［２］構成２
構成１に於いて、
前記物体検出手段４３は、キューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行うとともに当該物体の状態を検出し、
前記データ制御手段４７は、検出された物体の状態を併せて格納する、
ことを特徴とする全方位動画像処理装置。
物体の状態とは、例えば、橋梁等の構造物の止め具（ボルト等）の破損状態、錆びの状態、錆びが壁面上で垂れている状態、ひび割れ、等である。

［３］構成３
構成１又は２に於いて、
さらに、前記全方位カメラ２０と同期するＧＰＳ受信機１０から入力されるＧＰＳデータと、前記全方位動画像のフレームレートとに基づいて、前記画像取得手段４１により順に取り出される全方位フレーム画像の各々に対応する時刻データ及び位置データを求めるＧＰＳ情報演算手段４５を有し、
前記データ制御手段４７は、前記ＧＰＳ情報演算手段４５により求めた時刻データ及び位置データを、当該の全方位フレーム画像に対応付けて当該のレコードに格納する、
ことを特徴とする全方位動画像処理装置。
例えば、全方位動画像のフレームレートが３０［ｆｐｓ］であれば、３０枚の全方位フレーム画像の各々について、時刻データ及び位置データ（緯度・経度）が求められ、対応付けて格納される。
［４］構成４
構成１〜３の何れかに於いて、
前記ディープラーニングが基づく教師データは、道路及び／又は線路に関連する構造物とその状態の画像である、
ことを特徴とする全方位動画像処理装置。
ディープラーニングによる物体検知は、キューブマップの要素画像に対して行われるため、汎用的なデータセットや画像のフォーマット、実装技術、最新の研究成果が、活用され得る。
道路及び／又は線路に関連する構造物とは、例えば、橋梁及びその構成部材各部、トンネルの天井や壁面、路面や線路の状態、各種の標識や路程、等である。
また、状態とは、構造物の止め具（ボルト等）の破損状態、錆びの状態、錆びが壁面上で垂れている状態、ひび割れ、等である。

［５］構成５
全方位カメラ２０を用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出すステップと、
順に取り出される全方位フレーム画像をキューブマップに変換するステップと、
変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行うステップと、
検出された物体を当該の方位の要素画像及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて、所定の記憶手段５１のレコードに格納するステップと、
物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定するステップと、
を順に実行することを特徴とする全方位動画像処理方法。

構成１は、全方位カメラ２０を用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出す画像取得手段４１と、前記画像取得手段４１により順に取り出される全方位フレーム画像をキューブマップに変換する画像形式変換手段４２と、前記画像形式変換手段４２により変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行う物体検出手段４３と、前記物体検出手段４３により検出された物体を、当該要素画像の方位及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて、所定の記憶手段５１のレコードに格納するデータ制御手段４７と、前記物体検出手段４３による物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定する動画像復元手段４９と、を有することを特徴とする全方位動画像処理装置であるため、全方位カメラ２０で撮影した全方位動画像に基づいて、つまり、全方位動画像から得るキューブマップを用いることにより、汎用的なデータセットや画像のフォーマット、実装技術、最新の研究成果を活用して、ディープラーニングにより精度良く所望の物体を検出することができ、さらに、全方位動画像として再生できるため、メンテナンス等に好適に用いることができる。
構成２は、構成１に於いて、前記物体検出手段４３は、キューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行うとともに当該物体の状態を検出し、前記データ制御手段４７は、検出された物体の状態を併せて格納する、ことを特徴とする全方位動画像処理装置であるため、さらに良好且つ的確に、メンテナンスを行うことができる。
構成３は、構成１又は２に於いて、さらに、前記全方位カメラ２０と同期するＧＰＳ受信機１０から入力されるＧＰＳデータと、前記全方位動画像のフレームレートとに基づいて、前記画像取得手段４１により順に取り出される全方位フレーム画像の各々に対応する時刻データ及び位置データを求めるＧＰＳ情報演算手段４５を有し、前記データ制御手段４７は、前記ＧＰＳ情報演算手段４５により求めた時刻データ及び位置データを、当該の全方位フレーム画像に対応付けて当該のレコードに格納する全方位動画像処理装置であるため、高速移動中に撮影した映像であっても、所望の物体の検出位置を正確に知ることができ、メンテナンス等に有用である。また、同一場所の同一物体の状況を、例えば１カ月後等の時間をおいて比較できるため、メンテナンス等に有用である。つまり、同一場所の同一物体の経時的な状態変化を観察できるため、メンテナンス等に有用である。
構成４は、構成１〜３の何れかに於いて、前記ディープラーニングが基づく教師データは、道路及び／又は線路に関連する構造物とその状態の画像である、ことを特徴とする全方位動画像処理装置であるため、公知のデータセットを大量に用いることができ、さらに良好且つ的確にメンテナンスに活用することができる。

実施の形態の全方位動画像処理装置各部の機能と各部での信号処理の流れを示すブロック図。 全方位フレーム画像（エクイレクタングラー形式のフレーム画像）を、キューブマップに変換する様子を例示する説明図。 実施の形態の全方位動画像処理により取得したデータを用いて所望の物体が存在するキューブマップの要素画像を検索する過程を示す説明図。 実施の形態の全方位動画像処理により取得されるデータベースの説明図。

図面を参照して、本発明の実施の形態を説明する。図１は、実施の形態の全方位動画像処理装置の各部の機能と、各部間でのデータの流れを示す。
図示の全方位動画像処理装置は、ＧＰＳ受信機１０と、全方位カメラ２０と、制御装置４０と、記憶装置５０を有する。

ＧＰＳ受信機１０は、一般に市販されている機器であり、４個のＧＰＳ衛星から受信される信号に基づいて、時刻データ（ＵＴＣ，協定世界時）や、位置（緯度・経度）データ等を生成する。また、ＧＰＳロガー１５としての機能を有する。ＧＰＳ受信機１０は、これらのデータを、制御装置４０へ送る。

全方位カメラ（３６０カメラ）２０は、撮影によって全天球パノラマ動画像を生成する装置である。本実施の形態では、エクイレクタングラー形式の動画像が生成されて、制御装置４０へ送られる。この全方位カメラ２０は、例えば、自動車の屋根から突出するように設けられて、上下１８０°、前後左右３６０°の範囲を撮影する。
ＧＰＳ受信機１０と全方位カメラ２０とは、同期して駆動される。即ち、ＧＰＳ受信機１０がＧＰＳ衛星をＦＩＸしたときに出力開始されるデータが、全方位カメラ２０から出力される動画像の最初のフレームに対応するように、制御される。

制御装置４０は、一般的なコンピュータ装置である。一般的なコンピュータ装置のハードウェア構成は既知であるため、説明は割愛する。
全方位カメラ２０から前述のように出力されて、制御装置４０へ入力される全方位動画像（エクイレクタングラー形式の動画像）は、まず、画像取得部４１にて処理されて、順に、全方位フレーム画像（静止画像）が取り出される。
本実施の形態では、３０［ｆｐｓ］のフレームレートであるため、１秒当たり３０枚の全方位フレーム画像が順に取り出される。

画像取得部４１にて取り出された全方位フレーム画像（静止画像）は、次に、画像形式変換部４２へ送られて、エクイレクタングラー形式から、キューブマップ形式に変換される。即ち、３６０°画像がキューブマップに展開される。エクイレクタングラー形式とキューブマップ形式の相互間の変換処理は公知であるため、説明は割愛する。
図２に、エクイレクタングラー形式からキューブマップ形式に変換される様子を例示する。エクイレクタングラー形式の画像（全方位フレーム画像）は、ディスプレイ上では３６０°ぐるりと一周され得るが、図２の左欄の画像は、プリントアウトされたものであるため、歪んだ状態で描かれている。

画像形式変換部４２にてキューブマップに変換された静止画像は、次に、物体検出部４３へ送られて、各方位の要素画像（前、後、左、右、上、下の各要素画像）について、各々ディープラーニングによる物体検出が行われる。
このディープラーニングでは、対象の画像が要素画像であるため、ＸＹ方向の位置によって変形量が異なるという問題が無い。このため、既存の実装技術や、汎用的であり、したがって蓄積量が非常に大きく、且つ、その蓄積量が増加中のデータセット、最新の研究成果を活用することができる。先述のように、２０１８年春頃から、一般的なコンピュータ装置によるリアルタイム処理（３０［ｆｐｓ］以上）が可能となっているため、これを利用することができ、短時間で精度の高い検出が可能となる。
物体としては、ここでは、橋梁、橋梁を構成する各部の部材、トンネル、トンネルの壁部、天井、その構成部材、標識等、道路に於いてメンテナンスが必要とされる各部が対象とされる。線路の場合も同様である。また、これら各部の状態も併せて検出される。例えば、橋梁等の各部材を固定するボルト等の破損状況や錆びの状態、ボルト等の錆びが壁面上を伝って垂れ下がっている模様、道路面や壁面のひび割れ等も検出される。言い換えれば、教師データとして、これら各部及びその状態の画像が用いられる。

物体検出部４３で検出された物体についての情報、例えば、検出された物体の位置（当該方位の要素画像上での座標値（例：（Ｘ１Ｙ１，Ｘ２Ｙ２）／実施の形態では物体が存在する矩形の左上と右下の座標で表されている）、エクイレクタングラー形式の場合の座標値）、エクイレクタングラー動画像内での当該フレーム画像（全方位フレーム画像）の位置（フレーム番号）、物体の種別（橋梁の部材であれば、その部材の名称やＩＤ）、状態（破損状態や錆びの状態及びそれらの程度）等は、データ制御手段４７に渡されて、データ制御手段４７により相互に対応付けられて検索キーワードとされ、記憶装置５０のデータベース５１の当該のレコードに格納される。図４にその一例を示す。なお、図４には単一のテーブルが示されているが、これは例示であり、複数のテーブルを相互に連繋させて構成してもよい。また、図４では、物体の状態を示すデータは略されているが、実際は、状態を示すデータ等も対応つけて格納される。
上述のように、検出された物体の位置（座標値）も保持されるため、図１内の下欄右に示すように、検出された物体の位置に、当該物体の名称等を併せて表示することが可能となる。この表示は、適宜、例えば、ハイライト表示等の強調表示としてもよい。なお、％表示されている数値は、当該の物体である確率を示す。

一方、ＧＰＳ受信機１０から制御装置４０へ入力されるデータ（時刻データ，位置（緯度・経度）データ，等）は、ＧＰＳ情報演算部４５にて、全方位動画像のフレームレートに応じて細分されたデータが求められ、全方位フレーム画像（静止画像）の各々に順に割り当てられる。本実施の形態では全方位動画像のフレームレートが３０［ｆｐｓ］であるため、１秒間隔で入力されるデータ（時刻データ，位置（緯度・経度）データ等）について、隣接する入力データ間で１／３０に等分された値が求められ、順番に各静止画像（全方位フレーム画像）に割り当てられる。

各全方位フレーム画像（静止画像）へのＧＰＳデータの割り当て（１／３０に等分されたデータの割り当て）は、動画像復元部４９にて行われる。
即ち、物体検出部４３にてディープラーニングによる物体検出が行われたキューブマップの各要素画像（前、後、左、右、上、下の各画像）は、次に、動画像復元部４９へ送られて、まず、全方位フレーム画像（静止画像）に変換され、さらに、元のエクイレクタングー形式の動画像（全方位動画像）に復元される。
この復元された全方位動画像のフレーム（全方位フレーム画像）の各々に、対応する日時刻データ・位置データ（緯度・経度）が、それぞれ対応付けられる。また、こうして対応付けられた日時刻データ・位置データ（緯度・経度）は、記憶装置５０のデータベース５１の対応するレコードに、図４の如く格納される。

このようにしてデータベースが作成されるため、このデータベースを用いて、所望の物体やその所望の状態が写っているキューブマップの要素画像（前、後、左、右、上、下の要素画像）を検索して、名称等の所望の情報とともに表示することができる。
また、日時刻データと位置データも併せて記録されるため、例えば、１月等の間を空けて同一場所の同一物体を比較した場合、その状態の変化（ボルト等の破損が拡大しているか否か，錆びが増加しているか否か，路面や壁面のひび割れが拡大しているか否か等）を容易に知ることができ、メンテナンス等に役立てることができる。

図３に、この検索の様子を例示する。
例えば、或る検索キーワード（物体の名称及び／又は日，物体とその状態等）を入力すると、（当該の日に）当該の物体が写っている場所が、地図上に表示される。或いは、物体の名称とその状態を入力すると、当該の物体に当該の状態が生じている場所が、地図上に表示される。
また、地図上の場所を選択する操作入力等に応じて、その要素画像（キューブマップの前／後／左／右／上／下の要素画像）が表示され、当該の要素画像中に当該の物体やその状態が表示される。さらに、所要の操作入力等に応じて、当該の物体の強調表示や拡大表示が行われる。強調表示とは、例えば、当該の物体の名称を、当該の物体の位置に表示して、見易くする等である。必要に応じて、ハイライト表示としてもよい。
なお、上記の表示は、操作入力により指定された場合に行ってもよく、操作入力が無くとも、予め定めた順番に表示するように制御してもよい。また、これらをユーザが適宜に選択可能にしてもよい。

１０ ＧＰＳ受信機
１５ ＧＰＳロガー
２０ 全方位カメラ
４０ 制御装置
４１ 画像取得手段
４２ 画像形式変換手段
４３ 物体検出手段
４５ ＧＰＳ情報演算手段
４７ データ制御手段
４９ 動画像復元手段
５０ 記憶装置
５１ データベース

本発明の構成を、下記［１］〜［３］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。

［１］構成１
移動車両に搭載した全方位カメラ２０及びＧＰＳ受信機１０から得られるデータに基づいてデータベース５１を作成する情報処理装置であって、
前記全方位カメラ２０を用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出して前記移動車両から見た各方位（前，後，左，右，上，下）の要素画像から成るキューブマップに変換する画像処理手段４１，４２と、
前記画像処理手段４２により変換されたキューブマップの前記各方位の要素画像に対して各々ディープラーニングによる物体検出を行う物体検出手段４３と、
前記ＧＰＳ受信機１０から得られるＧＰＳデータと前記全方位動画像のフレームレートに基づいて、前記画像処理手段４１により順に取り出される全方位フレーム画像の各々に対応する時刻データ及び位置データを求めるＧＰＳ情報演算手段４５と、
前記物体検出手段４３により検出された物体及びその状態と、当該物体が検出された要素画像の方位（前／後／左／右／上／下）と、当該要素画像が基づく全方位フレーム画像と、当該全方位フレーム画像に対応する時刻データ及び位置データを、相互に対応付けて所定のデータベース５１のレコードに格納するデータ制御手段４７と、
を有することを特徴とする情報処理装置。
全方位動画像は、例えば、ドームマスター形式の動画像や、エクイレクタングラー形式の動画像等の公知の全天球動画像である。
キューブマップは、一般に、前、後、左、右、上、下の６方位の要素画像（図２内・右欄，参照）から成るが、例えば、ドームマスター形式の動画像の場合等、下画像が無い５方位の要素画像で構成されてもよい。
データ制御手段４７は、検出された物体の位置（要素画像内の座標値）をも、データベース５１に格納してもよい。例えば、当該の物体が前方の要素画像（例：図２・右欄内の前画像，参照）にて検出された場合は、当該「前画像」での座標値をも格納してよい。動画像復元手段４９により復元される際に、全方位フレーム画像での座標値に変換して、この座標値も同様に格納してもよい。
データ制御手段４７は、検出された物体の名称も併せて記録する。ディープラーニングによる物体検出では、検出対象の物体が何であるかを示す情報を持っているため、その名称（又は名称に対応するＩＤ）も併せて記録する。
物体の状態とは、例えば、橋梁等の構造物の止め具（ボルト等）の破損状態、錆びの状態、錆びが壁面上で垂れている状態、ひび割れ、等である。

前記ＧＰＳ情報演算手段４５は、例えば、全方位動画像のフレームレートが３０［ｆｐｓ］であれば、毎秒３０枚の全方位フレーム画像の各々について、時刻データ及び位置データ（緯度・経度）を求める。
［２］構成２
構成１に於いて、
前記ディープラーニングが基づく教師データは、道路又は線路を走行する移動車両から見た前記各方位の何れかに位置するべき物体とその状態の画像である、
ことを特徴とする情報処理装置。
ディープラーニングによる物体検知は、キューブマップの要素画像に対して行われるため、汎用的なデータセットや画像のフォーマット、実装技術、最新の研究成果が、活用され得る。
道路又は線路を走行する移動車両から見た前記各方位の何れかに位置するべき物体とは、例えば、橋梁及びその構成部材各部、トンネルの天井や壁面、路面や線路の状態、各種の標識や路程、等である。
また、状態とは、構造物の止め具（ボルト等）の破損状態、錆びの状態、錆びが壁面上で垂れている状態、ひび割れ、等である。

［３］構成３
移動車両に搭載した全方位カメラ２０及びＧＰＳ受信機１０から得られるデータに基づいてデータベース５１を作成する情報処理方法であって、
前記全方位カメラ２０を用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出して前記移動車両から見た各方位の要素画像から成るキューブマップに変換する画像処理ステップと、
前記画像処理ステップで変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行う検出ステップと、
前記ＧＰＳ受信機１０から得られるＧＰＳデータと前記全方位動画像のフレームレートに基づいて、前記画像処理ステップにより順に取り出される全方位フレーム画像の各々に対応する時刻データ及び位置データを求める演算ステップと、
前記検出ステップで検出された物体及びその状態と、当該物体が検出された要素画像の方位と、当該要素画像が基づく全方位フレーム画像と、当該全方位フレーム画像に対応する時刻データ及び位置データを、相互に対応付けて所定のデータベース５１のレコードに格納する格納ステップと、
を実行することを特徴とする情報処理方法。

構成１は、移動車両に搭載した全方位カメラ２０及びＧＰＳ受信機１０から得られるデータに基づいてデータベース５１を作成する情報処理装置であって、前記全方位カメラ２０を用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出して前記移動車両から見た各方位（前，後，左，右，上，下）の要素画像から成るキューブマップに変換する画像処理手段４１，４２と、前記画像処理手段４２により変換されたキューブマップの前記各方位の要素画像に対して各々ディープラーニングによる物体検出を行う物体検出手段４３と、前記ＧＰＳ受信機１０から得られるＧＰＳデータと前記全方位動画像のフレームレートに基づいて、前記画像処理手段４１により順に取り出される全方位フレーム画像の各々に対応する時刻データ及び位置データを求めるＧＰＳ情報演算手段４５と、前記物体検出手段４３により検出された物体及びその状態と、当該物体が検出された要素画像の方位（前／後／左／右／上／下）と、当該要素画像が基づく全方位フレーム画像と、当該全方位フレーム画像に対応する時刻データ及び位置データを、相互に対応付けて所定のデータベース５１のレコードに格納するデータ制御手段４７と、を有することを特徴とする情報処理装置であるため、
全方位カメラ２０で撮影した全方位動画像に基づいて、つまり、全方位動画像から得るキューブマップを用いることにより、汎用的なデータセットや画像のフォーマット、実装技術、最新の研究成果を活用して、ディープラーニングにより精度良く所望の物体を検出することができ、メンテナンス等に好適に用いることができる。
また、高速移動中に撮影した映像であっても、所望の物体の検出位置を正確に知ることができ、メンテナンス等に有用である。また、同一場所の同一物体の状況を、例えば１カ月後等の時間をおいて比較できるため、メンテナンス等に有用である。つまり、同一場所の同一物体の経時的な状態変化を観察できるため、メンテナンス等に有用である。
構成２は、構成１に於いて、前記ディープラーニングが基づく教師データは、道路又は線路を走行する移動車両から見た前記各方位の何れかに位置するべき物体とその状態の画像であることを特徴とする情報処理装置であるため、公知のデータセットを大量に用いることができ、さらに良好且つ的確にメンテナンスに活用することができる。

Claims (5)

1. 全方位カメラを用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出す画像取得手段と、
   前記画像取得手段により順に取り出される全方位フレーム画像をキューブマップに変換する画像形式変換手段と、
   前記画像形式変換手段により変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行う物体検出手段と、
   前記物体検出手段により検出された物体を、当該要素画像の方位及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて、所定の記憶手段のレコードに格納するデータ制御手段と、
   前記物体検出手段による物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定する動画像復元手段と、
   を有することを特徴とする全方位動画像処理装置。
2. 請求項１に於いて、
   前記物体検出手段は、キューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行うとともに当該物体の状態を検出し、
   前記データ制御手段は、検出された物体の状態を併せて格納する、
   ことを特徴とする全方位動画像処理装置。
3. 請求項１又は請求項２に於いて、
   さらに、前記全方位カメラと同期するＧＰＳ受信機から入力されるＧＰＳデータと、前記全方位動画像のフレームレートとに基づいて、前記画像取得手段により順に取り出される全方位フレーム画像の各々に対応する時刻データ及び位置データを求めるＧＰＳ情報演算手段を有し、
   前記データ制御手段は、前記ＧＰＳ情報演算手段により求めた時刻データ及び位置データを、当該の全方位フレーム画像に対応付けて当該のレコードに格納する、
   ことを特徴とする全方位動画像処理装置。
4. 請求項１〜請求項３の何れかに於いて、
   前記ディープラーニングが基づく教師データは、道路及び／又は線路に関連する構造物とその状態の画像である、
   ことを特徴とする全方位動画像処理装置。
5. 全方位カメラを用いた撮影により得られる全方位動画像から全方位フレーム画像を順に取り出すステップと、
   順に取り出される全方位フレーム画像をキューブマップに変換するステップと、
   変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行うステップと、
   検出された物体を当該の方位の要素画像及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて、所定の記憶手段のレコードに格納するステップと、
   物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定するステップと、
   を順に実行することを特徴とする全方位動画像処理方法。

Images