JP2022003335A - 劣化診断装置、劣化診断システム、劣化診断方法、プログラム - Google Patents

劣化診断装置、劣化診断システム、劣化診断方法、プログラム Download PDF

Info

Publication number
JP2022003335A
JP2022003335A JP2021150296A JP2021150296A JP2022003335A JP 2022003335 A JP2022003335 A JP 2022003335A JP 2021150296 A JP2021150296 A JP 2021150296A JP 2021150296 A JP2021150296 A JP 2021150296A JP 2022003335 A JP2022003335 A JP 2022003335A
Authority
JP
Japan
Prior art keywords
road surface
captured image
photographed image
deterioration
deterioration diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021150296A
Other languages
English (en)
Other versions
JP2022003335A5 (ja
JP7444148B2 (ja
Inventor
奈々 十文字
Nana JUMONJI
英徳 塚原
Hidenori Tsukahara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2022003335A publication Critical patent/JP2022003335A/ja
Publication of JP2022003335A5 publication Critical patent/JP2022003335A5/ja
Application granted granted Critical
Publication of JP7444148B2 publication Critical patent/JP7444148B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00Investigating resistance of materials to the weather, to corrosion, or to light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Road Repair (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】車両等の移動体の走行する走行路の劣化診断においては、さらに精度良く劣化の有無を判定する必要がある。【解決手段】劣化診断装置は、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、を備える。【選択図】図1

Description

本発明は、劣化診断装置、劣化診断システム、劣化診断方法、プログラムに関する。
道路の路面や、路側に設置されている案内標識などの公共設備は経年劣化する。行政は経年劣化する公共設備の劣化を診断し劣化した公共設備の整備を行う。このような公共設備の劣化の診断には多大な労力を要する。
特許文献1には舗装のひび割れを解析する装置の技術が開示されている。特許文献1の段落0011には、車両のライトで路面を照射することにより、太陽光による影響のない夜間に路面を撮影してひび割れの検出精度を向上させることが記載されている。
また特許文献2には舗装のポットホールの発生を早期に発見するための技術が開示されている。特許文献2の段落0044〜0045には、アスファルトの経年劣化の評価において、ひび割れが鮮明に確認できるよう、予め定められた照度環境下である夜間に調査を実施することが記載されている。
特開2018−21375号公報 特開2018−28486号公報
上述のような車両等の移動体の走行する走行路の劣化診断においては、さらに精度良く劣化の有無を判定する必要がある。
そこでこの発明は、上述の課題を解決する劣化診断装置、劣化診断システム、劣化診断方法、プログラムを提供することを目的としている。
本発明の第1の態様によれば、劣化診断装置は、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、撮影時刻に基づいて、撮影画像を抽出する撮影画像抽出手段と、前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、を備える。
本発明の第2の態様によれば、劣化診断システムは、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、撮影時刻に基づいて、撮影画像を抽出する撮影画像抽出手段と、前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、を備える。
本発明の第3の態様によれば、劣化診断方法は、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、撮影時刻に基づいて、撮影画像を抽出し、前記抽出された撮影画像を用いて前記路面が劣化しているか診断することを含む。
本発明の第4の態様によれば、プログラムは、コンピュータに、路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、撮影時刻に基づいて、撮影画像を抽出し、前記抽出された撮影画像を用いて前記路面が劣化しているか診断することを実行させる。
本発明の実施形態によれば、路面の劣化の有無の判定精度をさらに高めることができる。
本発明の第1の実施形態による劣化診断システムの概要を示す図である。 本発明の第1の実施形態による劣化診断装置のハードウェア構成図である。 本発明の第1の実施形態による劣化診断装置の機能ブロックを示す第一の図である。 本発明の第1の実施形態による劣化診断装置の機能ブロックを示す第二の図である。 本発明の第1の実施形態によるドライブレコーダのハードウェア構成を示す図である。 本発明の第1の実施形態によるドライブレコーダに備わる制御装置の機能ブロック図である。 本発明の第1の実施形態によるドライブレコーダの処理フローを示す第一の図である。 本発明の第1の実施形態によるドライブレコーダの処理フローを示す第二の図である。 本発明の第1の実施形態による劣化診断装置の処理フローを示す第一の図である。 本発明の第1の実施形態による制御装置の機能ブロックを示す第二の図である。 本発明の第2の実施形態による劣化診断装置を示す図である。 本発明の第2の実施形態による劣化診断装置による処理フローを示す図である。
以下、本発明の実施形態による劣化診断装置1を図面を参照して説明する。
図1は第1の実施形態による劣化診断装置を含む劣化診断システム100の概要を示す図である。
図1で示すように劣化診断システム100は劣化診断装置1とドライブレコーダ2とが無線通信ネットワークや有線通信ネットワークを介して接続されることにより構成される。劣化診断装置1は例えば劣化診断を行う事業者が設置し通信ネットワークに接続したコンピュータサーバ(クラウドサーバ)である。ドライブレコーダ2は複数の移動体にそれぞれ設けられている。図1では、移動体が車両20である例を用いて説明している。移動体には自動運転車両が含まれてよい。ドライブレコーダ2はカメラを有しており車両20の外部を撮影した撮影画像を劣化診断装置1へ送信する。
図2は劣化診断装置1のハードウェア構成図である。
図2が示すように劣化診断装置1はCPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、通信モジュール105等の各ハードウェアを備えたコンピュータである。
図3は劣化診断装置1の機能ブロックを示す第一の図である。
劣化診断装置1は電源が投入されると起動し、予め記憶する劣化診断プログラムを実行する。これにより劣化診断装置1は、制御部(制御手段)11、取得部(取得手段)12、撮影画像抽出部(撮影画像抽出手段)13、劣化診断部(劣化診断手段)14、診断結果生成部(診断結果生成手段)15、出力部(出力手段)16の各機能を発揮する。
制御部11は、劣化診断装置1の各機能部を制御する。
取得部12は、車両20に取り付けられたドライブレコーダ2の撮影した撮影画像や、車両20や他の装置が各種センサによりセンシングして生成したセンシング情報を取得する。センシング情報には、車両の位置情報(緯度、経度)、時刻、照度、照明装置のオンオフの情報、などが含まれる。
撮影画像抽出部13は、撮影画像のうち夜間に撮影された撮影画像であって、路面に対して照明が当たる撮影画像を抽出する。すなわち、撮影画像抽出部13は、夜間、かつ、路面に対して照明が当たっている状況で撮影された撮影画像を抽出する。
劣化診断部14は、路面に対して照明が当たっている状況撮影画像を用いて路面の劣化診断を行う。
診断結果生成部15は、劣化診断の結果に基づいて診断結果情報を生成する。
出力部16は、診断結果情報などを所定の出力先に出力する。出力先の一例としては、例えば公共設備の劣化を診断して点検、整備を行う行政の担当者の利用するコンピュータ等であってよい。
図4は劣化診断装置1の機能ブロックを示す第二の図である。
上述の撮影画像抽出部13は、第一撮影画像抽出部(第一撮影画像抽出手段)131と、第二撮影画像抽出部(第二撮影画像抽出手段)132の機能を発揮する。
第一撮影画像抽出部131は、ドライブレコーダ2から受信した撮影画像のうち、夜間に撮影された撮影画像を抽出する。より具体的には、第一撮影画像抽出部131は、撮影時刻に基づいて夜間に撮影された撮影画像を抽出する。または第一撮影画像抽出部131は、照度情報に基づいて夜間に撮影された撮影画像を抽出する。または第一撮影画像抽出部131は、車両20に設けられた路面を照らす照明装置の動作状態に基づいて夜間に撮影された撮影画像を抽出する。
第二撮影画像抽出部132は、夜間に撮影された撮影画像のうち路面に対して照明が当っている状況で撮影された撮影画像を抽出する。
図5はドライブレコーダ2のハードウェア構成を示す図である。
ドライブレコーダ2は、センサ21、通信装置22、カメラ23、制御装置24、記憶装置25などを含む。
センサ21は、GPSセンサ等のセンシング装置である。センサ21は他の情報をセンシングする装置であってよい。例えば、センサ21は、さらにヘッドライトのオンまたはオフの動作状態を検知する装置であってよい。
通信装置22は劣化診断装置1と通信接続する。
カメラ23は車両20の走行する前方の路面を撮影して、その動画像、静止画像を生成する。
制御装置24はドライブレコーダ2の各機能を制御する。
記憶装置25は動画像や静止画像、ドライブレコーダ2の送信したセンシング情報を記憶する。ドライブレコーダ2は基地局等を介して劣化診断装置1と通信接続する。なおドライブレコーダ2の制御装置24は、CPU、ROM、RAM等を備えたコンピュータである。
図6はドライブレコーダ2に備わる制御装置の機能ブロックを示す第一の図である。
制御装置24はドライブレコーダ2が起動すると制御プログラムを実行する。これにより制御装置24は、車両情報取得部(車両情報取得手段)241、位置情報取得部(位置情報取得手段)242、照度情報取得部(照度情報取得手段)243、画像生成部(画像生成手段)245、センシング情報送信部(センシング情報送信手段)246、画像送信部(画像送信手段)248の各機能を発揮する。
車両情報取得部241は、ドライブレコーダ2に挿入されたメモリに記録されている車両20に関する情報(運転者ID、車両種別、車両ID)やタイマが出力した時刻情報などを含む車両情報を取得する。車両情報には、ヘッドライトの動作状態(オンまたはオフ)を示す情報が含まれてもよい。
位置情報取得部242は車両の時刻に応じた位置情報(緯度情報、経度情報)の情報をセンサ213などから取得する。
照度情報取得部243は、車両20において車内のフロントガラス近傍に設けられた照度計から得られた照度を取得する。照度計は、センサ21の一態様であり、路面に対して照明が当たっていることを検知するために車両20に設けられている。
画像生成部245はカメラ23の撮影によりカメラ23から動画像、静止画像の何れか一つを少なくとも含む画像データを取得し、その画像データに基づいてアップロード用の撮影画像を所定の間隔毎で生成して出力する。画像生成部245は一例としては、所定の生成速度で撮影画像の生成を行う。
センシング情報送信部246は、車両情報や位置情報などのセンシング情報の送信を通信装置22へ指示する。
画像送信部248は画像生成部245の生成した撮影画像の送信を通信装置22へ指示する。
上述のような劣化診断システム100において、劣化診断装置1は、路面を走行する移動体に設けられ路面を撮影する撮影装置から撮影画像を取得し、撮影画像のうち夜間に撮影された撮影画像であって、路面に対して照明が当たっている状況で撮影された撮影画像を抽出する。そして劣化診断装置1は、路面に対して照明が当たっている状況で撮影された撮影画像を用いて路面の劣化診断を行う。これにより、劣化診断装置1は、走行路の劣化の有無の判定精度を高めることができる。また劣化診断装置1は、多数の車両20から取得した撮影画像やセンシング情報に基づいて、多くの走行路の劣化状態を判定することができる。
図7はドライブレコーダ2の処理フローを示す第一の図である。
次にドライブレコーダ2の処理フローについて順を追って説明する。
まずドライブレコーダ2におけるセンシング情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ2が動作を始動する(ステップS101)。ドライブレコーダ2のセンサ21は、ドライブレコーダ2の始動後に各種センシングを開始する(ステップS102)。またカメラ23は撮影を開始する(ステップS103)。
そしてドライブレコーダ2の動作中、制御装置24の車両情報取得部241は車両情報(運転者ID、車両種別、車両ID)を取得する(ステップS104)。また位置情報取得部242はセンサ21から位置情報(緯度情報、経度情報)を所定の時間間隔毎に取得する(ステップS105)。また照度情報取得部243は、照度情報を取得する(ステップS106)。センシング情報送信部246は、車両情報、位置情報(緯度情報、経度情報)、照度情報を取得し、それらの情報と、現在時刻、ドライブレコーダ2のID等を含むセンシング情報を生成する(ステップS107)。センシング情報送信部246はセンシング情報の劣化診断装置1への送信を通信装置22へ要求する。通信装置22はセンシング情報を劣化診断装置1へ送信する(ステップS108)。制御装置24は処理終了かを判定し(ステップS109)、処理終了までステップS102からの処理を繰り返す。
図8はドライブレコーダ2の処理フローを示す第二の図である。
次にドライブレコーダ2が撮影画像を劣化診断装置1へ送信する処理について説明する。画像生成部245はカメラ23の撮影によりカメラ23から動画像、静止画像の何れか一つを少なくとも含む画像データを取得する(ステップS301)。画像生成部145は取得した画像データに基づいてアップロード用の撮影画像を所定の間隔毎に生成する(ステップS302)。画像生成部145は生成した撮影画像の送信を画像送信部248に指示する。画像生成部145は撮影画像が示すデータに属性情報として生成時刻(または撮影時刻)、車両の位置情報(緯度情報、経度情報)、ドライブレコーダ2のID(識別子)、運転者ID、等の情報を含めてよい。画像送信部248は通信装置22を介して撮影画像を劣化診断装置1へ送信する(ステップS303)。
図9は劣化診断装置1の処理フローを示す第一の図である。
劣化診断装置1において、取得部12は車両20の通信装置22が送信したセンシング情報を、通信モジュール105を介して取得する(ステップS401)。また取得部12は車両20の通信装置22が送信した撮影画像を取得する(ステップS402)。取得部12は、撮影画像を、撮影画像抽出部13へ出力する。また取得部12はセンシング情報を撮影画像抽出部13と劣化診断部14へ出力する。
撮影画像抽出部13において、第一撮影画像抽出部131は、センシング情報から照度情報を取得する。第一撮影画像抽出部131は、センシング情報に含まれる時刻情報を取得する。第一撮影画像抽出部131は、時刻情報によって示される時刻が夜間を示す時刻であるかを判定する(ステップS403)。第一撮影画像抽出部131は、時刻情報によって示されるが夜間を示す時刻である場合には、第二撮影画像抽出部132へ処理開始を指示する。夜間とは、日の入りから日の出までの期間であってもよい。日の入りとは、太陽の上縁が西の地平線に接する時であってもよい。日の出とは、太陽の上縁が東の地平線に接する時であってもよい。
第二撮影画像抽出部132は、時刻情報によって示される時刻が夜間を示す時刻である場合に、センシング情報に含まれる照度情報を取得する。第二撮影画像抽出部132は、照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれるかを判定する(ステップS404)。この判定は、劣化診断に必要な照度条件を満たすかどうかの判定の一態様である。第二撮影画像抽出部132は、照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれる場合(照度が所定値以上の場合)、その時刻に撮影された撮影画像を抽出する(ステップS405)。すなわち、第二撮影画像抽出部132は、照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれる場合、その照度情報(センシング情報)に関連付けられた撮影画像を抽出する。
第二撮影画像抽出部132は、劣化診断に必要な照度条件を満たすかどうかの判定において時刻情報を用いずに、センシング情報から取得した照度情報によって示される照度が、路面に対して照明が当たる環境である場合の照度の範囲に含まれるかを判定する処理を行ってもよい。撮影画像抽出部13は、照度情報がその範囲に含まれる場合に、同様に撮影画像を抽出する。
または第二撮影画像抽出部132は、劣化診断に必要な照度条件を満たすかどうかの判定において、路面を照らす照明装置の動作状態の情報を用いてもよい。例えば、照明装置の一態様である車両20のヘッドライトがオンになっていることを示す情報を、例えばヘッドライトのオンオフの状態を含む車両情報を取得する装置が、直接、劣化診断装置1へ送信する。または、照明装置の一態様である車両20のヘッドライトがオンになっていることを示す情報を、そのオンオフを検知するセンサからドライブレコーダ2が取得し、ドライブレコーダ2が車両情報に格納して劣化診断装置1へ送信してもよい。この場合、劣化診断装置1の第二撮影画像抽出部132は、その車両情報に基づいてヘッドライトがオンになっていることを検知する。第二撮影画像抽出部132は、ヘッドライトがオンになっていることを検知すると、その車両情報に含まれる時刻情報と一致、またはその時刻を基準とする所定の時間範囲で前後する時刻情報を含む撮影画像を、ステップS402において取得した撮影画像の中から抽出する。夜間に撮影された撮影画像を抽出する際の照明装置の動作状態として、ヘッドライトのオンであることを条件とする他、さらに/または、ヘッドライトのハイビームがオンであることや、フォグランプがオンであることを条件としてもよい。この場合、車両情報に、ハイビームのオンまたはオフの情報や、フォグランプのオンまたはオフの情報が含まれるものとする。
第二撮影画像抽出部132は、劣化診断に必要な照度条件を満たすかどうかの判定において、街路灯の動作状態を用いてもよい。この場合、第二撮影画像抽出部132は、街路灯の動作状態を、他の装置から受信した情報や、撮影画像から検出して、街路灯の動作状態を判定する。例えば劣化診断装置1は、通信接続された街路灯の管理サーバから街路灯の動作状態を含む街路灯管理情報を受信する。街路灯管理情報には、各街路灯の位置情報と、現在の動作状態(点灯、消灯)の少なくとも一つが含まれる。第二撮影画像抽出部132は、街路灯管理情報から各街路灯の位置情報と、現在の動作状態(点灯、消灯)の少なくとも一つの情報を取得する。第二撮影画像抽出部132は、各街路灯の位置情報に基づいて、車両20の現在位置を基準として所定の範囲(半径10mなどの範囲)に街路灯が有る場合には、その街路灯の動作状態を取得する。第二撮影画像抽出部132は街路灯の動作状態が点灯を示す場合、その近傍で取得した撮影画像をステップS402において取得した撮影画像の中から抽出する。または第二撮影画像抽出部132は、街路灯の動作状態を撮影画像から検出する場合、撮影画像に写る街路灯の明かりの点灯または消灯を画像解析により検出して、その結果を用いて、同様に点灯している街路灯の近傍で取得した撮影画像をステップS402において取得した撮影画像の中から抽出する。
第二撮影画像抽出部132は、劣化診断に必要な照度条件を満たすかどうかの判定において、撮影画像の輝度を用いて判定を行ってもよい。例えば、第二撮影画像抽出部132は、撮影画像の輝度が、路面に対して照明が当たる環境である場合の撮影画像中の輝度範囲に含まれるかを判定する。撮影画像抽出部13は、撮影画像中の輝度がその範囲に含まれる場合に、同様に撮影画像を抽出する。
撮影画像抽出部13はさらに天候に基づいて、劣化診断に適した環境であるかを判定してもよい。この場合、撮影画像抽出部13は、天候情報の配信要求を通信接続された天候情報配信サーバへ送信する。配信要求には撮影画像抽出部13が検出した車両20の位置情報が含まれる。そして天候情報配信サーバは当該要求に基づいて天候情報を劣化診断装置1へ送信する。撮影画像抽出部13は、劣化診断装置1が天候情報配信サーバから受信した天候情報を取得する。撮影画像抽出部13は天候情報が、晴れ、曇りの場合には撮影画像を抽出すると判定する。撮影画像抽出部13は天候情報が、雨、雪の場合には撮影画像の抽出を停止すると判定してよい。
そして、撮影画像抽出部13は、抽出した撮影画像を劣化診断部14へ出力する。劣化診断部14は、撮影画像抽出部13から受け取った撮影画像を用いて路面の劣化診断を行う。具体的には、劣化診断部14は、撮影画像抽出部13から受け取った撮影画像に検査対象物の一例である路面が含まれているか否かを判定する(ステップS406)。劣化診断部14は路面が撮影画像に含まれているかを画像のパターンマッチングや機械学習処理、AI(Artificial Intelligence)解析を用いて行う。撮影画像における路面の認識は公知の技術を用いればよい。劣化診断部14は撮影画像において路面が含まれると判定した場合、路面の劣化診断を開始する。
劣化診断の具体例について説明する。
劣化診断部14は、撮影画像に写る路面に発生した亀裂により劣化診断を行う場合には、その亀裂の大きさ(長さ、幅、亀裂を含む範囲の撮影画像中の割合)を撮影画像から特定し、その亀裂の大きさに基づいて劣化度を算出する。亀裂の大きさが大きいほど、劣化度は高い。
また劣化診断部14は、撮影画像に写る路面に発生した穴により劣化診断を行う場合には、その穴の大きさ(直径、幅)を撮影画像から特定し、その穴の大きさに基づいて劣化度を算出する。穴の大きさが大きいほど、劣化度は高い。
また劣化診断部14は、撮影画像に写る路面に発生したわだちにより劣化診断を行う場合には、そのわだちの大きさ(長さ、幅)を撮影画像から特定し、そのわだちの大きさに基づいて劣化度を算出する。わだちの大きさが大きいほど、劣化度は高い。
劣化診断部14は劣化度が閾値以上であれば劣化していると判定してよい。そして劣化診断部14は、劣化していると判定した場合、その劣化種別(亀裂、穴、わだち)と、劣化位置とを診断結果生成部15へ出力する。診断結果生成部15は、劣化種別(亀裂、穴、わだち)と、劣化位置とを少なくとも含む診断結果情報を生成する(ステップS407)。診断結果情報は、例えば、路面の劣化位置と、その位置における劣化種別を示すアイコン画像とを地図に表示する地図データであってもよい。診断結果生成部15は診断結果情報を出力部16へ出力する(ステップS408)。出力部16は診断結果情報を所定の装置へ出力する。または出力部16は診断結果情報を所定の記憶装置に記録してもよい。劣化診断装置1は上述の処理を繰り返す。
以上の処理によれば、劣化診断装置1は、劣化診断に必要な照度条件を満たした撮影画像を用いて路面の劣化診断を行うことができる。例えば劣化診断装置1は、照度が低すぎることにより劣化診断に必要な照度条件を満たさない撮影画像を、劣化診断に利用しないことで、走行路の劣化の有無の判定精度を高めることができる。
昼間の太陽光の照射強度の強い時間帯の路面の撮影画像を用いる場合、その路面には電線の細い影などが投影されることで、劣化診断装置1がその細い影を、亀裂と誤って認識する可能性が有る。上述の処理によれば、劣化診断装置1は夜間の撮影画像を用いることで、撮影画像に写る影による誤った劣化診断を低減することができる。
図10はドライブレコーダ2に備わる制御装置の機能ブロックを示す第二の図である。
上述の説明においては、劣化診断装置1が撮影画像の抽出処理、劣化診断処理、診断結果情報の生成処理を行う場合について説明したが、これらの処理はドライブレコーダ2で行われてもよい。この場合、ドライブレコーダ2が劣化診断装置1となる。ドライブレコーダ2が劣化診断装置1として機能する場合、ドライブレコーダ2の制御装置24は、センシング情報出力部(センシング情報出力手段)250、画像取得部(画像取得手段)251、撮影画像抽出部(撮影画像抽出手段)252、劣化診断部(劣化診断手段)253、診断結果生成部(診断結果生成手段)254の機能を発揮する。そしてドライブレコーダ2の制御装置24において、センシング情報出力部250がセンシング情報を撮影画像抽出部252へ出力し、画像取得部251が撮影画像を撮影画像抽出部252へ出力する。そして、図1〜図9を参照して説明した劣化診断装置1と同様、制御装置24の撮影画像抽出部252が撮影画像の抽出処理を行い、劣化診断部253が劣化診断処理を同様に行い、診断結果生成部254が診断結果情報の生成処理を同様に行う。そして診断結果生成部254は、生成した診断結果情報を、通信装置22を用いて所定の外部装置へ送信する。
図11は第2の実施形態による劣化診断装置1を示す図である。
図12は第2の実施形態による劣化診断装置1による処理フローを示す図である。
図11が示すように劣化診断装置1は少なくとも、撮影画像取得部111と、撮影画像抽出部112、劣化診断部113の機能を発揮する。
撮影画像取得部111は、路面を走行する移動体に設けられ路面を撮影するカメラ23から撮影画像を取得する(ステップS501)。
撮影画像抽出部112は、撮影画像のうち夜間に撮影された撮影画像であって、路面に対して照明が当たっている状況で撮影された撮影画像を抽出する(ステップS502)。
劣化診断部113は、路面に対して照明が当たっている状況で撮影された撮影画像を用いて路面の劣化診断を行う(ステップS503)。
上述の劣化診断装置1やドライブレコーダ2の制御装置24や端末装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
この出願は、2019年1月30日に出願された日本国特願2019−014330を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、劣化診断装置、劣化診断システム、劣化診断方法、記録媒体に適用してもよい。
1・・・劣化診断装置
2・・・ドライブレコーダ
11・・・制御部
12・・・取得部
14・・・劣化診断部
13・・・撮影画像抽出部
15・・・診断結果生成部
16・・・出力部
21・・・センサ
22・・・通信装置
23・・・カメラ
24・・・制御装置
25・・・記憶装置
131・・・第一撮影画像抽出部
132・・・第二撮影画像抽出部
241・・・車両情報取得部
242・・・位置情報取得部
243・・・照度情報取得部
245・・・画像生成部
246・・・センシング情報送信部
248・・・画像送信部
250・・・センシング情報出力部
251・・・画像取得部
252・・・撮影画像抽出部
253・・・劣化診断部
254・・・診断結果生成部

Claims (10)

  1. 路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、
    前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、
    前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、
    を備える劣化診断装置。
  2. 前記撮影画像抽出手段は、前記取得された撮影画像が撮影された時刻に基づいて、前記取得された撮影画像から前記夜間に撮影された撮影画像を抽出し、また、前記抽出された夜間に撮影された撮影画像から前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    請求項1に記載の劣化診断装置。
  3. 前記撮影画像抽出手段は、前記取得された撮影画像が撮影された時刻と略一致する時刻おいて測定された照度に基づいて、前記抽出された夜間に撮影された撮影画像から前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    請求項1または請求項2に記載の劣化診断装置。
  4. 前記撮影画像抽出手段は、前記取得された撮影画像が撮影された時刻と略一致する時刻おいて測定された照度に基づいて、前記取得された撮影画像から、前記夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    請求項1に記載の劣化診断装置。
  5. 前記撮影画像抽出手段は、前記移動体に設けられた前記路面を照らす照明装置の動作状態に基づいて、前記取得された撮影画像から、前記夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する
    請求項1に記載の劣化診断装置。
  6. 撮影画像抽出手段は、
    前記取得された撮影画像から、前記夜間に撮影された撮影画像を抽出する第一撮影画像抽出手段と、
    前記抽出された夜間に撮影された撮影画像から、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する第二撮影画像抽出手段と、
    を備える請求項1から請求項3の何れか一項に記載の劣化診断装置。
  7. 前記劣化の診断の結果に基づいて診断結果を示す情報を生成する診断結果生成手段と、
    をさらに備える請求項1から請求項5の何れか一項に記載の劣化診断装置。
  8. 路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得する撮影画像取得手段と、
    前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出する撮影画像抽出手段と、
    前記抽出された撮影画像を用いて前記路面が劣化しているか診断する劣化診断手段と、
    を備える劣化診断システム。
  9. 路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、
    前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出し、
    前記抽出された撮影画像を用いて前記路面が劣化しているか診断する
    ことを含む劣化診断方法。
  10. コンピュータに、
    路面を走行する移動体に設けられ前記路面を撮影する撮影装置から、撮影画像を取得し、
    前記取得された撮影画像から、夜間に撮影され、かつ、前記路面に対して照明が当たっている状況で撮影された撮影画像を抽出し、
    前記抽出された撮影画像を用いて前記路面が劣化しているか診断する
    ことを実行させるプログラム。
JP2021150296A 2019-01-30 2021-09-15 情報処理装置、情報処理方法、プログラム Active JP7444148B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019014330 2019-01-30
JP2019014330 2019-01-30
JP2020569451A JP6947316B2 (ja) 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020569451A Division JP6947316B2 (ja) 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、プログラム

Publications (3)

Publication Number Publication Date
JP2022003335A true JP2022003335A (ja) 2022-01-11
JP2022003335A5 JP2022003335A5 (ja) 2022-11-21
JP7444148B2 JP7444148B2 (ja) 2024-03-06

Family

ID=71840903

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020569451A Active JP6947316B2 (ja) 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
JP2021150296A Active JP7444148B2 (ja) 2019-01-30 2021-09-15 情報処理装置、情報処理方法、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020569451A Active JP6947316B2 (ja) 2019-01-30 2019-12-24 劣化診断装置、劣化診断システム、劣化診断方法、プログラム

Country Status (3)

Country Link
US (1) US20220101509A1 (ja)
JP (2) JP6947316B2 (ja)
WO (1) WO2020158262A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223427A1 (ja) * 2022-05-17 2023-11-23 三菱電機株式会社 道路異状推定システム、道路異状推定方法、およびプローブ車両

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6947316B2 (ja) 2019-01-30 2021-10-13 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JPH1074297A (ja) * 1996-08-30 1998-03-17 Toyota Motor Corp 車両位置検出装置
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
US7697727B2 (en) * 2005-05-23 2010-04-13 Board Of Regents, The University Of Texas System Automated surface distress measurement system
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
JP5372680B2 (ja) 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
JP5427198B2 (ja) 2011-03-14 2014-02-26 株式会社日立製作所 設備劣化診断装置、設備劣化診断方法および設備劣化診断プログラム
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
JP2014089513A (ja) 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
JP6594039B2 (ja) 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
JP5948465B1 (ja) * 2015-06-04 2016-07-06 株式会社ファンクリエイト 映像処理システム及び映像処理方法
EP3327198B1 (en) * 2015-07-21 2021-04-21 Kabushiki Kaisha Toshiba Crack analyzer, crack analysis method, and crack analysis program
JP6582055B2 (ja) * 2015-10-22 2019-09-25 京セラ株式会社 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法
JP6654018B2 (ja) 2015-11-06 2020-02-26 コイト電工株式会社 画像判定装置及びこれを用いた処理装置
JP6713368B2 (ja) * 2016-07-29 2020-06-24 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム
JP6704817B2 (ja) 2016-08-18 2020-06-03 西日本高速道路エンジニアリング四国株式会社 排水性舗装におけるポットホール発生リスクを定量分析する方法
JP6468568B2 (ja) 2016-09-06 2019-02-13 本田技研工業株式会社 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
JP6947316B2 (ja) 2019-01-30 2021-10-13 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
US20230135985A1 (en) * 2020-03-31 2023-05-04 Nec Corporation Road deterioration diagnosing device, road deterioration diagnosing method, and recording medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223427A1 (ja) * 2022-05-17 2023-11-23 三菱電機株式会社 道路異状推定システム、道路異状推定方法、およびプローブ車両

Also Published As

Publication number Publication date
JPWO2020158262A1 (ja) 2021-09-09
JP6947316B2 (ja) 2021-10-13
WO2020158262A1 (ja) 2020-08-06
JP7444148B2 (ja) 2024-03-06
US20220101509A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP7444148B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7070683B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
WO2019136491A3 (en) Map and environment based activation of neural networks for highly automated driving
CN204882391U (zh) 一种基于图像处理的车载式路面破损自动识别装置
JP6398501B2 (ja) 車載カメラ診断装置
CN109767637A (zh) 倒计时信号灯识别及处理的方法和装置
CN114332815B (zh) 交通灯状态检测方法、装置、车辆及存储介质
CN104884898A (zh) 确定车辆位置的导航系统和方法
CN104427255A (zh) 车载相机的图像处理方法和使用该方法的图像处理设备
CN111582255A (zh) 车辆超限检测方法、装置、计算机设备和存储介质
JP2022538097A (ja) ナビゲート可能なネットワークに関するユーザ提供データの収集
CN110399672B (zh) 无人驾驶车辆的街景仿真方法、装置和电子设备
US20210231457A1 (en) Apparatus and method for collecting data for map generation, and vehicle
KR101705027B1 (ko) 야간 도로 시인성 조사 평가 시스템 및 방법
US20200018608A1 (en) Method and device for operating a vehicle
CN106289280A (zh) 目标检测装置
Bayerl et al. Following Dirt Roads at Night Time: Sensors and Features for Lane Recognition and Tracking
CN117291864A (zh) 能见度估计装置及方法、以及记录介质
JP7367849B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、及び、プログラム
CN113269977B (zh) 地图生成用数据收集装置以及地图生成用数据收集方法
US20240127604A1 (en) Road surface information collecting device, road surface deterioration detecting system, and road surface information collecting method
CN110427911A (zh) 一种道路检测方法、装置、设备及存储介质
JP6299630B2 (ja) 警告装置、警告方法及び警告プログラム
JP7327355B2 (ja) 地図更新装置及び地図更新方法
CN111091066B (zh) 一种自动驾驶汽车地面状态评定方法及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R151 Written notification of patent or utility model registration

Ref document number: 7444148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151