JP2021068240A - 路面画像管理システム及びその路面画像管理方法 - Google Patents

路面画像管理システム及びその路面画像管理方法 Download PDF

Info

Publication number
JP2021068240A
JP2021068240A JP2019193764A JP2019193764A JP2021068240A JP 2021068240 A JP2021068240 A JP 2021068240A JP 2019193764 A JP2019193764 A JP 2019193764A JP 2019193764 A JP2019193764 A JP 2019193764A JP 2021068240 A JP2021068240 A JP 2021068240A
Authority
JP
Japan
Prior art keywords
image
images
road surface
original image
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019193764A
Other languages
English (en)
Other versions
JP7102383B2 (ja
Inventor
陽子 米川
Yoko Yonekawa
陽子 米川
友里 木谷
Yuri Kitani
友里 木谷
信行 熊倉
Nobuyuki Kumakura
信行 熊倉
正樹 白築
Masaki Shiratsuki
正樹 白築
恭彦 山崎
Yasuhiko Yamazaki
恭彦 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019193764A priority Critical patent/JP7102383B2/ja
Priority to US17/078,798 priority patent/US11256930B2/en
Publication of JP2021068240A publication Critical patent/JP2021068240A/ja
Application granted granted Critical
Publication of JP7102383B2 publication Critical patent/JP7102383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】同一地点の新旧画像を高精度に抽出して比較等を容易に行うことのできる路面画像管理システムを提供する。【解決手段】実施形態によれば、路面画像管理システムは、道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力して第1の記録部に記録し、記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行い、紐付け処理結果を第2記録部に記録し、記録された紐付け処理結果に基づいて前記第1記憶部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する。【選択図】図1

Description

この発明の実施形態は、路面画像管理システム及びその路面画像管理方法に関する。
近年、撮影の都度、その場所の位置情報を取得可能なGPS(Global Positioning System)機能付きカメラが普及し、位置情報が付与された画像が手軽に取得できるようになっている。例えば、GPS機能付きカメラで路面を撮影した場合には、位置情報付きの路面画像を取得することができる。そこで、路面画像管理システムでは、GPS機能付きカメラで同一地点で路面を定期的に撮影し、それらの新旧画像を比較して経年変化を確認する等の利用が検討されている。
しかしながら、GPS機能付きカメラを利用する場合には、同一地点の新旧画像を比較する際に、GPSで得られた位置情報を基に同一地点の画像を抽出しようとしても、GPSの測定誤差が原因で、同一地点の画像を高精度に抽出することができないという課題がある。
なお、新旧映像の座標を統合する場合に、新旧映像間での対応点を効果的かつ高い一致度で求めることを可能とする手法が提案されている。この手法は、動画映像の複数のフレーム画像から、充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、当該動画映像のカメラ位置と回転角を示すCV値データを求め、両映像の座標を統合するというものである。その特徴は、カメラや天候、撮影条件、視点方向が異なる場合でもこれらに影響されずに新旧映像間で対応点を求めることができ、両者を同一の3次元座標系で表現することができることにある。ただし、本手法は充分な数の特徴点を自動検出することが前提となっている。
特開2007−114916号公報
以上のように、GPS機能付きカメラを利用した路面画像管理システムでは、同一地点で路面を撮影した新旧画像を比較する際に、GPSの測定誤差が原因で、同一地点の画像を高精度に抽出することができないという課題がある。
この発明の実施形態の課題は、同一地点の新旧画像を高精度に抽出して比較等を容易に行うことのできる路面画像管理システム及びその路面画像管理方法を提供することにある。
実施形態によれば、路面画像管理システムは、道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力して第1の記録部に記録し、記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行い、紐付け処理結果を第2記録部に記録し、記録された紐付け処理結果に基づいて前記第1記憶部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する。
図1は、実施形態に係る路面画像管理システムの概略構成を示すブロック図である。 図2は、図1に示すシステムに用いられる路面画像収集車両と撮影された路面画像群を示す図である。 図3は、図1に示すシステムにおいて、同一地点の新旧画像を抽出する処理内容をイメージで示す概念図である。 図4は、図1に示すシステムの第1の実施例に係る機能ブロック構成を示すブロック図である。 図5は、図4に示す第1の実施例の全体の処理の流れを示すフローチャートである。 図6は、図4に示す第1の実施例において、元画像の特徴量を算出する処理の流れを示すフローチャートとサンプル画像である。 図7は、図4に示す第1の実施例において、画像の類似度から同一地点の画像の紐付けを行う処理の流れを示すフローチャートとサンプル画像である。 図8は、図4に示す第1の実施例において、同じ類似度の画像が複数ある場合の同一地点の画像の紐付けを行う処理の流れを示すフローチャートである。 図9は、図8に示す処理フローに従って、同じ類似度の画像が複数ある場合の処理例を示す概念図である。 図10は、図9に示す処理例において、元画像とターゲット画像との類似度を計算した例を示す図である。 図11は、図9に示す処理例において、同一地点の紐付け結果を示す概念図である。 図12は、図4に示す第1の実施例において、走行方向の判別結果から画像の紐付けを行う様子を示す概念図である。 図13は、図4に示す第1の実施例において、収集した画像の位置及び画像を示す画面表示例を示す図である。 図14は、図1に示すシステムの第2の実施例に係る機能ブロック構成を示すブロック図である。 図15は、図14に示す第2の実施例において、ステータスが未確認の画面表示例を示す図である。 図16は、図14に示す第2の実施例において、ステータスが確認済の画面表示例を示す図である。 図17は、図5に示す画像紐付け処理の新旧画像の類似度を算出する部分の実現方法について、別の例を示すフローチャートである。
以下、図面を参照しながら、本実施形態について説明する。
図1は、実施形態に係る路面画像管理システムの概略構成を示すブロック図である。図2は、図1に示すシステムに用いられる路面画像収集車両と撮影された路面画像群を示す図である。この路面画像管理システムは、図2(a)に示すように、車両に搭載されたGPS及びビデオカメラによるGPS機能付き搭載カメラ(搭載対象は、車両に限らず、走行ロボットでもよい。また、GPS内蔵ビデオカメラでもよい。)で同一ルートの道路の路面を、図2(b)に示すように一定の距離または時間間隔で繰り返し撮影して収集された路面画像群とそれぞれの収集位置及び日時情報を入力する。そして、入力された路面画像群及び収集位置・日時情報を蓄積し、同一地点の路面画像を検索して紐付け処理を行い、路面画像の同一地点の紐付け結果を出力し、要求に応じて任意の地点の新旧路面画像を抽出して比較表示する。
なお、上記搭載カメラの画像撮影条件として、動画あるいは連続的に撮影された静止画像(15枚/秒、数m間隔など)を取得する。また、搭載カメラは前向き、または後向きとし、斜め上から路面を撮影する(真上は除く)。また、GPSで取得した位置情報は画像にリンク付けされるものとする。
図3は、図1に示すシステムにおいて、同一地点の新旧画像を抽出する処理内容をイメージで示す概念図である。図3において、(a)はGPS機能付きカメラで得られた各画像の緯度経度情報をベースに、元画像(旧)とターゲット画像(新)との紐付けを行う一般的な手法を示し、(b)及び(c)は本実施形態に係る手法であって、(b)は元画像群の中から特徴量の大きい元画像を指定し、指定した元画像の位置情報とほぼ同じ位置情報のターゲット画像群を抽出する様子を示し、(c)は(b)で指定された元画像と抽出されたターゲット画像群の各画像それぞれの特徴量を算出し、特徴量が同じ元画像とターゲット画像とを紐付けする様子を示している。
すなわち、各画像の緯度経度情報をベースに紐付けする一般的な手法では、図3(a)に示すように、GPSの誤差によって異なる場所の画像が紐付けされてしまう場合がある。この例では、元画像の横断歩道1が示される元画像3がターゲット画像の横断歩道1が示される画像4から外れたターゲット画像6と紐付けされている。これに対して、本実施形態では、まず、図3(b)に示すように、元画像群の中から特徴量の大きい元画像(この例では横断歩道1が示される画像3)を指定し、指定した元画像(3)の位置情報とほぼ同じ位置情報のターゲット画像群(1−11)を抽出する。次に、図3(c)に示すように、指定された元画像(3)と抽出されたターゲット画像群(1−11)の各画像それぞれの特徴量を算出し、特徴量が同じ元画像(3)とターゲット画像(4)とを紐付けする。元画像群、ターゲット画像群は、一定の距離間隔で撮影されているため、特徴量に基づく複数の紐付画像と同じ並びで紐付けすることにより、同一地点の新旧画像を高精度に抽出することができる。
(第1の実施例)
図4は、図1に示すシステムの第1の実施例に係る機能ブロック構成を示すブロック図である。
図4に示す第1の実施例の路面画像管理システムは、入力部11、入力情報記憶部12、画像紐付け部13、画像紐付け結果記憶部14、表示制御部15、表示部16を備える。本システムは、入力部11より入力された元画像(旧画像)、ターゲット画像(新画像)それそれの画像データ、カメラ位置情報(撮影日時、カメラ向きを含む)を入力情報記憶部12に保存する。画像紐付け部13は、入力情報記憶部12に保存された新旧画像の位置情報及び画像の特徴を用いて、同一地点画像またはその候補となる画像の紐付け処理を行い、その結果を画像紐付け結果記憶部14に保存する。表示制御部15は、入力画像記憶部12及び画像紐付け結果記憶部14に保存された画像及び画像紐付けデータに基づいて任意の元画像と紐付けされたターゲット画像を抽出し、抽出結果を表示部16の画面に比較表示する。
図5は、図4に示す第1の実施例の全体の処理の流れを示すフローチャートである。図5において、入力部11に入力画像があると(ステップS11)、元画像として入力情報記憶部12に登録する(ステップS12)。続いて、入力部11にn(=1〜N)回入力画像があると(ステップS13)、ターゲット画像nとして入力情報記憶部12に登録する(ステップS14)。画像登録後、画像紐付け部13において、元画像の特徴量を算出し、特徴量の最も大きい画像を選択し(ステップS15)、選択された特徴量の大きい画像と同じ緯度・経度の画像をターゲット画像nから10枚程度(3m間隔の場合)の画像を抽出する(ステップS16)。次に、特徴の大きい画像と抽出された10枚程度の画像の類似度を算出する(ステップS17)。次に、類似度が最も高いターゲット画像nの画像と特徴量の大きい画像を紐付ける(ステップS18)。表示制御部15及び表示部16では、紐付け情報を用いて、元画像とターゲット画像nを画面表示する(ステップS19)。
図6は、図4に示す第1の実施例で、元画像の特徴量を算出する処理の流れを示すもので、(a)はフローチャート、(b)は各処理段階でのサンプル画像である。図6(a)において、元画像の入力があると(ステップS21)、透視投影変換を行い(ステップS22,サンプル画像A1)、画像を縮小し(ステップS23,サンプル画像A2)、中央部分を切り出して元画像の特徴部分とする(ステップS24,サンプル画像A3)。次に、図6のサンプル画像A4に示すように横方向エッジの画素数(量)が最多の範囲の探索するためのテンプレートを選択し(ステップS25)、画素数>閾値を判定する(ステップS26)。ここで、画素数>閾値であれば、特徴部分の画素数を特徴量として出力し、画素数>閾値でなければ次の元画像を入力して特徴量の算出処理を行う。このように、特徴量が大きい元画像を抽出し、特徴量を計算する処理に、AI等を利用して、横断歩道や停止線、橋のジョイント、マンホールなど、特徴的な画像を予め自動抽出し、その路面画像の特徴量を算出するようにしてもよい。算出した特徴量の中で、特徴量が最も大きい元画像を抽出する。
図7は、図4に示す第1の実施例において、画像の類似度から同一地点の画像の紐付けを行う処理の流れを示すもので、(a)はフローチャート、(b)はマッチング処理でのサンプル画像である。図7(a)において、元画像とほぼ同じ位置情報を持つターゲット画像(画像取得間隔を考慮して10枚程度)の入力があると(ステップS31)、透視投影変換を行い(ステップS32)、画像を縮小し(ステップS33)、中央部分を切り出してターゲット画像の特徴部分とする(ステップS34)。ここで、図7(b)に示すように、元画像の特徴部分とターゲット画像の特徴部分とを比較して正規化相関によるマッチングを図って類似度を計算し(ステップS35)、類似度が閾値を超えるか否かを判断する(ステップS36)。類似度が閾値を超えない場合には、次のターゲット画像を入力して特徴部分を切り出し、元画像の特徴部分との類似度を算出し、類似度が閾値を超えた場合には、そのターゲット画像を元画像と同一地点の画像として紐付けする。
図8は、図4に示す第1の実施例において、同じ類似度の画像が複数ある場合の同一地点の画像の紐付けを行う処理の流れを示すフローチャートである。図8において、入力部11に入力画像があると(ステップS41)、元画像として入力情報記憶部12に登録する(ステップS42)。続いて、入力部11にn(=1〜N)回入力画像があると(ステップS43)、ターゲット画像nとして入力情報記憶部12に登録する(ステップS44)。画像登録後、画像紐付け部13において、元画像の特徴量を算出し、特徴量の大きい画像を複数枚選択し(ステップS45)、選択された特徴量の大きい複数枚の元画像それぞれと同じ緯度・経度の画像をターゲット画像nから10枚程度(3m間隔の場合)の画像をそれぞれ抽出する(ステップS46)。次に、特徴の大きい画像と抽出された10枚程度の画像の類似度をそれぞれ算出し、紐付け候補画像を選定する(ステップS47)。次に、特徴量の大きい画像(複数枚)の画像間の距離と紐付け候補画像(複数枚)の間の距離を比較し、位置関係が同じ画像を同一地点画像として紐付ける(ステップS48)。表示制御部15及び表示部16では、紐付け情報を用いて、元画像とターゲット画像nを画面表示する(ステップS49)。
図9は、図8に示す処理フローに従って、同じ類似度の画像が複数ある場合の処理例を示す概念図であり、図9(a)は元画像(旧)、図9(b)はターゲット画像(新)を示している。また、図10は、図9に示す処理例において、元画像とターゲット画像との類似度を計算した例を示す図、図11は、図9に示す処理例において、同一地点の紐付け結果を示す概念図である。
手順1:まず、元画像から特徴量が最も大きい画像を抽出する。ここでは、NO.6が抽出されたとする。
手順2:NO.6とターゲット画像の類似度を算出する(図10参照)。
手順3:元画像から特徴量が大きい画像(例えば閾値以上)を抽出する。ここでは、NO.3,NO.9が抽出されたとする。
手順4:NO.3,NO.9について、手順2と同様に類似度を算出し(図10参照)、最も類似度の高い画像を紐付け対象とする。これにより、元画像NO.3の紐付け対象はターゲット画像NO.4に決定し、元画像NO.9の紐付け対象はターゲット画像NO.10に決定する。
手順5:元画像No.3、NO.6、NO.9の位置関係から元画像それぞれに対応するターゲット画像を決定する(図11参照)。
このように、画像紐付け部13において、同じ類似度の画像が複数ある場合には、元画像において特徴量が最も大きい画像だけでなく、特徴量が大きい複数枚に対して類似度を算出し、紐付け処理を行い、特徴量が大きい複数枚の画像の位置関係(フレーム間の距離やフレーム枚数)から紐付け先の画像を特定する。この処理は、紐付け処理の精度向上にもつながる。
図12は、図4に示す第1の実施例において、走行方向の判別結果から画像の紐付けを行う様子を示す概念図で、画像紐付け部13の補足機能として、大凡の走行方向を自動判別する機能を示している。本システムの画像紐付け部13の走行方向判別機能は、画像の付帯情報である撮影日時と位置情報から走行方向判別処理を行い、各画像に対して走行方向情報を付与し、その情報を画像紐づけ結果記憶部14に保存するものとする。走行方向の判別は、複数枚の画像(連続、1秒間隔など)の緯度経度情報の差分から移動方向を算出し、例えば、進行方向を8方位等の分類に分類する。
図13は、図4に示す第1の実施例において、収集した画像の位置及び画像を示す画面表示例を示す図で、(a)は画像の収集位置を示す地図情報、(b)はクリックした位置の画像(元画像、ターゲット画像)である。この画面表示例は、ユーザが画面操作(地図上の該当箇所をクリック)した場合だが、位置情報の指定により、該当箇所の画像を検索表示するようにしてもよい。
(第2の実施例)
図14は、図1に示すシステムの第2の実施例に係る機能ブロック構成を示すブロック図である。図14において、図4と同一部分には同一符号を付して示してその説明は省略するものとし、ここでは異なる部分を説明する。図14に示すシステムは、表示制御部15A、表示部16Aにフィードバック機能を搭載する。表示部16Aのフィードバック機能とは、ユーザが画面操作により同一地点画像を選択登録した場合に、その情報を新旧の画像紐付け結果を記憶するための記憶部14に記録する機能である。この機能は、前述の画像紐付け処理がうまくいかなかった場合や、紐付け候補が複数抽出された場合に使用する。
図15は、図14に示す第2の実施例において、ステータスが未確認の画面表示例を示す図である。また、図16は、図14に示す第2の実施例において、ステータスが確認済の画面表示例を示す図である。図15及び図16において、(a)は画像の収集位置を示す地図情報、(b)はクリックした位置の画像(元画像、ターゲット画像)である。すなわち、画像紐付け処理がうまくいかなかった場合や、紐付け候補が複数抽出された場合には、ステータスを未確認として紐付け結果に登録し、図15に示すように、ステータスが未確認と判定した位置の元画像と紐付け候補のターゲット画像を順次提示してユーザに選択指示を促す。ユーザが元画像と同じ位置の画像であると判定入力した場合には、そのターゲット画像を元画像に紐付けするように、画像紐付け結果記憶部14に記憶されているステータス未確認の画像紐付け結果を修正(反映)する。これにより、上記ステータスは確認済となり、図16に示すように、ステータス確認済として、該当位置の元画像とターゲット画像を比較表示することができる。
なお、等間隔(数m間隔)で撮影された連続画像の場合は、1回のユーザの選択により、その前後の一連の画像は自動的に紐付けされる。
図17は、図5に示す画像紐付け処理の新旧画像の類似度を算出する部分の実現方法において、別の例を示すフローチャートである。なお、図17において、図5と同一部分については同一符号を付して示し、ここでは異なる部分を説明する。
図17において、画像紐付け処理部では、新旧画像の類似度を算出する部分に深層学習を用いて、画像同士を比較路面部分のみの比較、あるいは、背景も含む画像全体を比較して類似度を算出し、その算出結果に基づいて新旧画像の紐づけをする方法を採用する。具体的には、元画像の特徴を学習し(路面部分のみ、または画像全体)(ステップS20)、学習により作成した辞書(モデル)を用いて、元画像とターゲット画像nの特徴を比較する(ステップS21)。そして、元画像と最も特徴が似ているターゲット画像を元画像と紐付けて(ステップS22)、表示制御部及び表示部に処理を移行させる。このように、新旧画像の類似度を算出する部分に深層学習を用いる方法でも、類似度が最も高いターゲット画像nの画像と特徴量の大きい画像を紐付けることができる。
以上のように、本実施例に係る路面画像管理システムによれば、フィードバック機能により、ユーザが路面画像の表示内容から同一地点を容易に確認し、その比較表示によって路面状況の変化劣を簡単に把握することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
11…入力部、12…入力情報記憶部、13…画像紐付け部、14…画像紐付け結果記憶部、15,15A…表示制御部、16,16A…表示部。

Claims (9)

  1. 道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力する入力部と、
    前記入力部から入力される路面画像及び撮影情報を記録する第1記録部と、
    前記第1記録部に記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行う紐付け処理部と、
    前記紐付け処理部の紐付け処理結果を記録する第2記録部と、
    前記第2記録部に記録された紐付け処理結果に基づいて前記第1記憶部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する出力部と
    を具備し、
    前記紐付け処理部は、前記第1記録部から前記元画像のうち特徴量の大きい元画像と当該元画像の位置情報とほぼ同じ位置情報のターゲット画像群を抽出し、前記元画像と前記ターゲット画像群の各画像それぞれの特徴量を算出し、特徴量が同程度の元画像とターゲット画像とを紐付けし、その特徴量に基づく紐付け結果に合わせて他の元画像とターゲット画像との紐付けを行う路面画像管理システム。
  2. 前記紐付け処理部は、前記元画像の特徴量を算出して特徴量の最も大きい画像を選択し、選択された特徴量の大きい画像と同程度の緯度・経度のターゲット画像を複数枚抽出し、前記選択された元画像と抽出された複数枚のターゲット画像との類似度を算出し、類似度が最も高いターゲット画像を前記選択された元画像に紐付ける請求項1記載の路面画像管理システム。
  3. 前記紐付け処理部は、前記元画像の特徴量を算出して特徴量の大きい画像を複数枚選択し、選択された特徴量の大きい複数枚の元画像それぞれと同程度の緯度・経度の複数のターゲット画像を複数枚抽出し、前記選択された複数枚の元画像についてそれぞれ抽出された複数枚のターゲット画像との類似度を算出して紐付け候補画像を選定し、特徴量の大きい複数枚の元画像の画像間の距離と紐付け候補の複数枚のターゲット画像の画像間の距離とを比較し、位置関係が同じ画像を同一地点画像として紐付ける請求項1記載の路面画像管理システム。
  4. 前記紐付け処理部は、入力画像に対して透視投影変換を行い、その変換結果の画像を縮小し、その縮小画像の中央部分を切り出して元画像の特徴部分とし、横方向エッジの画素数が最多の範囲の探索するためのテンプレートを選択し、前記テンプレートに基づく画素数>閾値が成立するとき、特徴部分の画素数を特徴量として出力する請求項1記載の路面画像管理システム。
  5. 前記紐付け処理部は、前記元画像の特徴部分と前記ターゲット画像の特徴部分とを比較して正規化相関によるマッチングを図って類似度を計算する請求項2または3記載の路面画像管理システム。
  6. 前記紐付け処理部は、前記撮影情報に含まれる撮影位置と日時の情報から走行方向判別処理を行い、各画像に対して走行方向情報を付与する請求項1記載の路面画像管理システム。
  7. 前記出力部は、前記第1記録部から任意の位置の元画像と紐付けされたターゲット画像を抽出し、抽出結果を表示画面に比較表示する請求項1記載の路面画像管理システム。
  8. さらに、前記表示画面の比較表示から、ユーザが画面操作により同一地点の画像を選択指示した場合に、その情報を新旧の画像紐付け結果を記憶する第2記憶部の記録内容に反映するフィードバック手段を備える請求項7記載の路面画像管理システム。
  9. 道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力する入力部と、前記入力部から入力される路面画像及び撮影情報を記録する第1記録部と、前記第1記録部に記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行う紐付け処理部と、前記紐付け処理部の紐付け処理結果を記録する第2記録部と、前記第2記録部に記録された紐付け処理結果に基づいて前記第1記憶部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する出力部とを具備する路面画像管理システムに用いられ、
    前記元画像のうち特徴量の大きい元画像と当該元画像の位置情報とほぼ同じ位置情報のターゲット画像群を抽出し、
    前記元画像と前記ターゲット画像群の各画像それぞれの特徴量を算出し、
    特徴量が同程度の元画像とターゲット画像とを紐付けし、
    その特徴量に基づく紐付け結果に合わせて他の元画像とターゲット画像との紐付けを行う路面画像管理システムの路面画像管理方法。
JP2019193764A 2019-10-24 2019-10-24 路面画像管理システム及びその路面画像管理方法 Active JP7102383B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019193764A JP7102383B2 (ja) 2019-10-24 2019-10-24 路面画像管理システム及びその路面画像管理方法
US17/078,798 US11256930B2 (en) 2019-10-24 2020-10-23 Road surface management system and road surface management method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019193764A JP7102383B2 (ja) 2019-10-24 2019-10-24 路面画像管理システム及びその路面画像管理方法

Publications (2)

Publication Number Publication Date
JP2021068240A true JP2021068240A (ja) 2021-04-30
JP7102383B2 JP7102383B2 (ja) 2022-07-19

Family

ID=75587101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019193764A Active JP7102383B2 (ja) 2019-10-24 2019-10-24 路面画像管理システム及びその路面画像管理方法

Country Status (2)

Country Link
US (1) US11256930B2 (ja)
JP (1) JP7102383B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7102383B2 (ja) * 2019-10-24 2022-07-19 株式会社東芝 路面画像管理システム及びその路面画像管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251667A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 画像検索装置
JP2011215052A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 風景画像認識を用いた自車位置検出システム
WO2017014288A1 (ja) * 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US8046330B2 (en) * 2003-11-11 2011-10-25 Fujifilm Corporation Image accumulation device and image accumulation method
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4773794B2 (ja) 2005-10-19 2011-09-14 株式会社岩根研究所 新旧映像座標統合装置
JP4870546B2 (ja) 2006-12-27 2012-02-08 株式会社岩根研究所 レイヤー生成・選択機能を備えたcvタグ映像表示装置
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP4568845B2 (ja) 2007-04-26 2010-10-27 三菱電機株式会社 変化領域認識装置
US8379989B2 (en) 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
JP5057184B2 (ja) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 画像処理システム及び車両制御システム
US8791996B2 (en) * 2010-03-31 2014-07-29 Aisin Aw Co., Ltd. Image processing system and position measurement system
JP5062498B2 (ja) * 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
JP5505723B2 (ja) * 2010-03-31 2014-05-28 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム
US9581431B1 (en) * 2014-03-18 2017-02-28 Jeffrey M. Sieracki Method and system for parallactically synced acquisition of images about common target
JP6322126B2 (ja) 2014-12-02 2018-05-09 株式会社日立製作所 変化検出装置、変化検出方法、および、変化検出プログラム
JP6203208B2 (ja) * 2015-02-18 2017-09-27 株式会社東芝 道路構造物管理システム、及び道路構造物管理方法
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US11450026B2 (en) * 2017-12-27 2022-09-20 Sony Corporation Information processing apparatus, information processing method, and mobile object
JP7102383B2 (ja) * 2019-10-24 2022-07-19 株式会社東芝 路面画像管理システム及びその路面画像管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251667A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 画像検索装置
JP2011215052A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 風景画像認識を用いた自車位置検出システム
WO2017014288A1 (ja) * 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム

Also Published As

Publication number Publication date
US11256930B2 (en) 2022-02-22
US20210124958A1 (en) 2021-04-29
JP7102383B2 (ja) 2022-07-19

Similar Documents

Publication Publication Date Title
JP4380838B2 (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム
CN107563419B (zh) 图像匹配和二维码相结合的列车定位方法
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US7917286B2 (en) Database assisted OCR for street scenes and other images
CN111445526B (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
JP4717760B2 (ja) 物体認識装置および映像物体測位装置
JP7456536B2 (ja) 移動体追跡システム、移動体追跡方法及びプログラム
US20070070069A1 (en) System and method for enhanced situation awareness and visualization of environments
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
US20100328462A1 (en) Detecting Common Geographic Features in Images Based on Invariant Components
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
KR100971778B1 (ko) 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP7147753B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7240573B2 (ja) 施工支援システムおよび施工支援装置
JP2006330908A (ja) 位置記録装置及び位置記録方法
WO2017046838A1 (ja) 特定人物検知システムおよび特定人物検知方法
JP4517003B2 (ja) 道路標識自動認識システム
JP4606318B2 (ja) 映像メタデータ補正装置及びプログラム
JP2011039974A (ja) 画像検索方法およびシステム
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
WO2012133371A1 (ja) 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム
JP7102383B2 (ja) 路面画像管理システム及びその路面画像管理方法
CN111159459A (zh) 地标定位方法、装置、计算机设备以及存储介质
JP7001149B2 (ja) データ提供システムおよびデータ収集システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220706

R150 Certificate of patent or registration of utility model

Ref document number: 7102383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150