JP2020170314A - 道路異常検知装置、道路異常検知方法および道路異常検知プログラム - Google Patents

道路異常検知装置、道路異常検知方法および道路異常検知プログラム Download PDF

Info

Publication number
JP2020170314A
JP2020170314A JP2019070776A JP2019070776A JP2020170314A JP 2020170314 A JP2020170314 A JP 2020170314A JP 2019070776 A JP2019070776 A JP 2019070776A JP 2019070776 A JP2019070776 A JP 2019070776A JP 2020170314 A JP2020170314 A JP 2020170314A
Authority
JP
Japan
Prior art keywords
road
equipment
image
abnormality
abnormality detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019070776A
Other languages
English (en)
Other versions
JP7358762B2 (ja
Inventor
和晃 竹村
Kazuaki Takemura
和晃 竹村
真人 松下
Masato Matsushita
真人 松下
多恵 杉村
Tae Sugimura
多恵 杉村
英男 長谷川
Hideo Hasegawa
英男 長谷川
智光 梅木
Tomomitsu Umeki
智光 梅木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019070776A priority Critical patent/JP7358762B2/ja
Priority to US16/812,483 priority patent/US11491992B2/en
Priority to CN202010192489.2A priority patent/CN111797669A/zh
Publication of JP2020170314A publication Critical patent/JP2020170314A/ja
Priority to US17/961,296 priority patent/US11827228B2/en
Priority to US18/378,489 priority patent/US20240034327A1/en
Application granted granted Critical
Publication of JP7358762B2 publication Critical patent/JP7358762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Road Repair (AREA)
  • Image Analysis (AREA)

Abstract

【課題】道路設備の異常を早期に検知することができる道路異常検知装置、道路異常検知方法および道路異常検知プログラムを提供すること。【解決手段】道路異常検知装置は、メモリと、ハードウェアを有するプロセッサと、を備え、プロセッサが、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、道路画像が撮像された位置を示す撮像位置情報とを受信し、道路画像および撮像位置情報に基づいて、道路画像に含まれる道路設備と、道路設備の位置とを認識し、道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、道路設備の異常の有無を判定し、道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記メモリに蓄積する。【選択図】図1

Description

本発明は、道路異常検知装置、道路異常検知方法および道路異常検知プログラムに関する。
特許文献1には、路面に施工された道路標示を斜め上方から撮影し、撮影した画像をホモグラフィ変換により俯瞰図状に補正し、その補正画像から道路標示の劣化状態を判別する方法が開示されている。
特開2017−20303号公報
ここで、例えば自動運転時や白線等を検知する必要のある走行(例えば同一車線走行)において、白線が薄くなっていたり消えていたりすると、走行の正確性が低下する。そのため、白線等の道路設備に異常がある場合、早期に検知して補修を行う必要がある。しかしながら、特許文献1で開示された技術では、道路設備の異常を早期に検知することが困難であった。
本発明は、上記に鑑みてなされたものであって、道路設備の異常を早期に検知することができる道路異常検知装置、道路異常検知方法および道路異常検知プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る道路異常検知装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサが、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記メモリに蓄積する。
これにより、道路異常検知装置は、走行中の車両から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前記プロセッサが、前記道路画像において、隣接する画素同士の画素値を比較することにより、前記道路画像に含まれる道路設備を認識してもよい。
これにより、道路異常検知装置は、道路画像の画像処理を行う際に、隣接する画素同士の画素値、例えば各画素の輝度値を比較することにより、道路画像に含まれる道路設備を認識することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前記プロセッサが、前記道路設備の異常があると判定した場合、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像を前記メモリに蓄積してもよい。
これにより、道路異常検知装置は、異常のあった道路設備の位置に加えて、道路設備の画像を収集することにより、道路設備に発生している異常の詳細を確認することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前記プロセッサが、同一の道路設備についての前記設備位置情報が、前記メモリに所定量以上蓄積された場合、前記設備位置情報を、道路管理者が管理するサーバに送信してもよい。
これにより、道路異常検知装置は、異常のあった道路設備の位置を道路管理者側に通知することにより、当該道路設備を早期に補修することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前前記道路設備が、道路上に表示された道路標示と、道路上または道路周辺に設けられた構造物とを含んでもよい。
これにより、道路異常検知装置は、道路上に表示された道路標示および道路上または道路周辺に設けられた構造物に発生した異常を早期に検知することができる。
上述した課題を解決し、目的を達成するために、本発明に係る道路異常検知方法は、道路異常検知装置が実行する道路異常検知方法であって、前記道路異常検知装置のプロセッサが、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記道路異常検知装置のメモリに蓄積する。
これにより、道路異常検知方法は、走行中の車両から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。
上述した課題を解決し、目的を達成するために、本発明に係る道路異常検知プログラムは、道路異常検知装置に実行させる道路異常検知プログラムであって、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記道路異常検知装置のメモリに蓄積する。
これにより、道路異常検知プログラムは、走行中の車両から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。
本発明によれば、走行中の車両から収集した道路画像に基づいて、道路設備の異常を早期に検知することができる。
図1は、本発明の実施形態に係る道路異常検知装置を適用可能な道路異常検知システムを概略的に示すブロック図である。 図2は、本発明の実施形態に係る道路異常検知装置が対象とする道路設備の一例を示す概略図である。 図3は、本発明の実施形態に係る道路異常検知方法の処理手順を示すフローチャートである。 図4は、本発明の実施形態に係る道路異常検知方法の処理手順の変形例を示すフローチャートである。
実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムについて、図面を参照しながら説明する。なお、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
(道路異常検知システム)
まず、実施形態に係る道路異常検知装置を適用可能な道路異常検知システムについて、図1を参照しながら説明する。道路異常検知システムは、処理サーバ1と、車両2と、道路管理者サーバ3と、を有している。本実施形態に係る道路異常検知装置は、具体的には処理サーバ1によって構成されている。また、車両2は、道路を走行している一台の車両2でもよく、あるいは複数台の車両2であってもよい。
処理サーバ1、車両2および道路管理者サーバ3は、ネットワークNWを通じて相互に通信可能である。このネットワークNWは、例えばインターネット回線網や携帯電話回線網等から構成される。
(処理サーバ)
次に、処理サーバ1の構成について、図1および図2を参照しながら説明する。処理サーバ1は、車両2から受信した画像(道路画像)を処理するものであり、制御部11と、通信部12と、記憶部13と、を備えている。
制御部11は、具体的には、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)等からなるプロセッサと、RAM(Random Access Memory)やROM(Read Only Memory)等からなるメモリ(主記憶部)と、を備えている(いずれも図示省略)。
制御部11は、記憶部13に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。制御部11は、プログラムの実行を通じて、画像認識部111として機能する。なお、画像認識部111の詳細については後記する。
通信部12は、例えばLAN(Local Area Network)インターフェースボード、無線通信のための無線通信回路等から構成される。通信部12は、公衆通信網であるインターネット等のネットワークNWに接続されている。そして、通信部12は、当該ネットワークNWに接続することにより、処理サーバ1および道路管理者サーバ3との間で通信を行う。
記憶部13は、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(HDD、Hard Disk Drive)およびリムーバブルメディア等の記録媒体から構成される。リムーバブルメディアとしては、例えばUSB(Universal Serial Bus)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)のようなディスク記録媒体が挙げられる。また、記憶部13には、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベース等が格納可能である。
記憶部13は、正解情報DB131と、異常情報DB132と、を備えている。これらのデータベース(DB)は、前記したプロセッサによって実行されるデータベース管理システム(Database Management System:DBMS)のプログラムが、記憶部13に記憶されるデータを管理することによって構築される。
正解情報DB131は、例えば、複数の正解情報が索出可能に格納されたリレーショナルデータベースによって構成されている。この正解情報は、車両2から送信される道路画像に含まれている道路設備に異常があるかないかを判定するための基準となる情報である。
ここで、「道路画像」とは、道路上または道路周辺を撮像した画像を示している。また、「道路設備」とは、道路上に表示された道路標示と、道路上または道路周辺に設けられた構造物と、を含んでいる。
前記した「道路標示」としては、例えば図2に示すように、実線からなる中央線Rs1、破線からなる中央線Rs2、外側線Rs3、停止線Rs4、横断歩道Rs5、横断歩道予告標示Rs6、速度規制標示Rs7、右折矢印Rs8等や、外国の道路に設けられているボッツドッツ等の道路区画線等が挙げられる。
前記した「構造物」としては、例えば道路周辺に設けられたガードレールRs9や、案内標識、警戒標識、規制標識および指示標識等の道路標識が挙げられる。なお、道路標示および建造物は、同図に示したものには限定されず、交通法規等に基づいて道路上または道路周辺に設置されるもの全てが含まれる。
正解情報DB131に格納された正解情報は、例えばその場所にあるべき道路設備の種類や、当該道路設備の形状等を含む情報であり、地図情報や画像データ等の種々の情報として格納されている。これらの正解情報は、制御部11によって、ネットワークNWを通じて外部から収集されたり、あるいは作業者によって手動で入力されたりすることにより、正解情報DB131として構築される。なお、正解情報の収集方法は、これらの方法に限定されない。
異常情報DB132は、例えば、複数の異常情報が索出可能に格納されたリレーショナルデータベースによって構成されている。この異常情報は、異常のあった道路設備に関する情報であり、例えば後記するように、異常のあった道路設備の位置を示す設備位置情報と、当該道路設備を含む道路画像と、当該道路設備の異常の原因と、が含まれる。
(車両)
次に、車両2の構成について、図1を参照しながら説明する。車両2は、外部と通信可能な移動体であり、制御部21と、通信部22と、記憶部23と、測位部24と、撮像部25と、を備えている。制御部21および記憶部23は、物理的には前記した制御部11および記憶部13と同様である。
制御部21は、車両2に搭載される各種構成要素の動作を統括的に制御する。また、制御部21は、撮像部25から入力された道路画像に対して、測位部24から入力された車両2の位置情報を関連付けて記憶部23に格納する。すなわち、制御部21は、撮像部25が撮像した道路画像に対して、当該道路画像が撮像された位置を示す撮像位置情報を関連付けて記憶部23に格納する。
通信部22は、例えばDCM(Data Communication Module)等から構成され、ネットワークNWを介した無線通信により、処理サーバ1との間で通信を行う。記憶部23は、道路画像DB231を備えている。道路画像DB231は、撮像部25によって撮像された道路画像が索出可能に格納された例えばリレーショナルデータベース(RDB)である。なお、これらの道路画像には、撮像位置情報が関連付けられている。
測位部24は、GPS(Global Positioning System)衛星(図示せず)からの電波を受信して、車両2の現在の位置を検出する。そして、測位部24は、検出した現在の車両2の位置に関する情報(以下、「車両位置情報」という)を、制御部21に対して出力する。なお、車両2の現在の位置を検出する方法として、例えばLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)と3次元デジタル地図とを組み合わせた方法を利用してもよい。
撮像部25は、例えば車両2の車体前方に取り付けられた撮像カメラ等であり、車両2の走行中に車両2の前方の道路画像を撮像し、撮像した道路画像を制御部21に対して出力する。なお、「道路画像」は、静止画データであっても、動画データであってもよく、あるいは時間的に連続した静止画データを複数用いて生成された動画データであってもよい。
(道路管理者サーバ)
次に、道路管理者サーバ3の構成について、図1を参照しながら説明する。道路管理者サーバ3は、道路管理者が管理するサーバである。この道路管理者は、道路設備の補修義務を負っている者であり、例えば東京23区、都道府県、市町村等の地方公共団体や、公安委員会等が含まれる。
(道路異常検知方法)
次に、道路異常検知装置が実行する道路異常検知方法について、図3を参照しながら説明する。
まず、車両2は、撮像部25によって走行中の道路を撮像する(ステップS1)。続いて、車両2は、撮像した道路画像と、当該道路画像の撮像位置情報とを、処理サーバ1に対して所定のタイミングで定期的に送信する(ステップS2)。なお、所定のタイミングとしては、例えば所定時間間隔の周期的なタイミングや、車両2が所定位置を通過するタイミング等の、種々のタイミングを設定可能である。
続いて、処理サーバ1は、車両2から道路画像および撮像位置情報を受信した後、画像認識部111によって道路画像の画像認識処理を行う(ステップS3)。画像認識部111は、道路画像および撮像位置情報に基づいて、公知の画像認識処理技術を利用して、道路画像に含まれる道路設備と、当該道路設備の位置を認識する。なお、「道路設備の位置」とは、当該道路設備が設置されている座標(経度、緯度)のことを示している。
画像認識部111は、具体的には、道路画像において、隣接する画素同士の画素値、例えば各画素の輝度値を比較することにより、道路画像に含まれている道路設備の種類を認識する。また、画像認識部111は、例えば道路画像に含まれる道路設備の奥行距離を推定する等の方法により、道路設備の位置を認識する。
続いて、画像認識部111は、道路設備の異常の有無を判定する(ステップS4)。画像認識部111は、具体的には、道路画像に含まれる道路設備と、予め用意され、かつ正解情報DB131に格納された正解情報とを比較することにより、道路設備の異常の有無を判定する。
ステップS4において、道路設備に異常なしと判定した場合(ステップS4でNo)、画像認識部111は、ステップS3に戻る。一方、ステップS4において、道路設備に異常ありと判定した場合(ステップS4でYes)、画像認識部111は、異常の原因を特定する(ステップS5)。
ここで、道路設備の異常としては、破損、摩耗、泥による汚れ、枯葉やゴミ等の体積等が考えられる。例えば道路設備が道路中央に引かれた中央線Rs1(図2参照)である場合を考える。この場合、画像認識部111は、中央線Rs1が欠損しており、ステップS4で「異常あり」と判定した場合、公知の画像認識処理技術を利用して、例えばその異常が破損、摩耗、泥による汚れ、枯葉やゴミ等の、いずれの理由によるものなのかを特定する。
続いて、処理サーバ1の制御部11は、画像認識処理結果のデータを蓄積する(ステップS6)。本ステップにおいて、制御部11は、少なくとも異常のあった道路設備の位置を示す設備位置情報を、異常情報として記憶部13の異常情報DB132に格納する。また、本ステップにおいて、制御部11は、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像と、当該道路設備の異常の原因とを、異常情報として異常情報DB132に格納してもよい。このように、異常のあった道路設備の位置に加えて、道路設備の画像や異常の原因を収集することにより、道路設備に発生している異常の詳細を確認することができる。
続いて、制御部11は、道路設備の異常の発生を道路管理者に通知する(ステップS7)。制御部11は、具体的には、異常情報DB132に蓄積した異常情報を道路管理者サーバ3に送信することにより、道路設備の異常の発生を道路管理者に通知する。なお、道路管理者サーバ3に送信する異常情報は、少なくとも異常のあった道路設備の設備位置情報を含み、好ましくは異常のあった道路設備を含む道路画像と、当該道路設備の異常の原因とを含む。このように、異常のあった道路設備の位置を道路管理者側に通知することにより、当該道路設備を早期に補修することができる。
なお、制御部11は、同一の道路設備についての異常情報が異常情報DB132に所定量蓄積された場合に、異常情報を道路管理者サーバ3に送信してもよい。すなわち、制御部11は、例えば複数の車両2によって撮像された同一の道路設備を含む道路画像についてそれぞれ画像認識処理(ステップS4参照)を行った結果、いずれも「異常あり」と判定した場合にのみ、道路設備の異常の発生を道路管理者に通知してもよい。これにより、道路設備に異常が発生した可能性が高い場合にのみ、道路設備の異常の発生を道路管理者に通知することができる。
以上説明したような実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムによれば、走行中の車両2から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。また、実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムによれば、複数の車両2から道路画像を収集し、当該道路画像に含まれる道路設備の異常の有無を判定することができるため、広範囲に設置された道路設備の異常の有無を検知することができる。また、実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムによれば、例えば道路設備の異常情報を、道路の補修を担う道路管理者(地方公共団体や公安委員会等)に販売することもできる。
(変形例)
ここで、図3で説明した道路異常検知方法では、車両2側で道路画像の撮像のみを行い、処理サーバ1側で画像認識処理を行っていたが、車両2側で画像認識処理までを行ってもよい。以下、実施形態に係る道路異常検知方法の変形例について、図4を参照しながら説明する。なお、同図のステップS1,S6,S7の内容は、図3に示した道路異常検知方法のステップS1,S6,S7の内容と同様であるため、説明を省略する。
車両2の制御部21は、ステップS1に続いて、道路画像の画像認識処理を行う(ステップS13)。制御部21は、道路画像および撮像位置情報に基づいて、公知の画像認識処理技術を利用して、道路画像に含まれる道路設備と、当該道路設備の位置を認識する。
制御部21は、具体的には、道路画像において、隣接する画素同士の画素値、例えば各画素の輝度値を比較することにより、道路画像に含まれている道路設備の種類を認識する。また、制御部21は、例えば道路画像に含まれる道路設備の奥行距離を推定する等の方法により、道路設備の位置を認識する。
続いて、制御部21は、道路設備の異常の有無を判定する(ステップS14)。制御部21は、具体的には、道路画像に含まれる道路設備と、予め用意された正解情報とを比較することにより、道路設備の異常の有無を判定する。なお、前記した正解情報は、車両2の記憶部23に予め格納しておいてもよく、あるいは処理サーバ1の正解情報DB131からその都度取得してもよい。
ステップS14において、道路設備に異常なしと判定した場合(ステップS14でNo)、制御部21は、ステップS13に戻る。一方、ステップS14において、道路設備に異常ありと判定した場合(ステップS14でYes)、制御部21は、異常の原因を特定する(ステップS15)。
続いて、制御部21は、画像認識処理結果のデータを処理サーバ1に送信する(ステップS16)。本ステップにおいて、制御部21は、少なくとも異常のあった道路設備の位置を示す設備位置情報を、異常情報として処理サーバ1に送信する。また、本ステップにおいて、制御部21は、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像と、当該道路設備の異常の原因とを、異常情報として処理サーバ1に送信してもよい。
以上説明したような実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムの変形例によれば、車両2側で画像認識処理を行うことにより、処理サーバ1側の負担を減らすことができる。
以上、本発明に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 処理サーバ
11 制御部
111 画像認識部
12 通信部
13 記憶部
131 正解情報DB
132 異常情報DB
2 車両
21 制御部
22 通信部
23 記憶部
231 道路画像DB
24 測位部
25 撮像部
3 道路管理者サーバ
NW ネットワーク
Rs1,Rs2 中央線
Rs3 外側線
Rs4 停止線
Rs5 横断歩道
Rs6 横断歩道予告標示
Rs7 速度規制標示
Rs8 右折矢印
Rs9 ガードレール

Claims (7)

  1. メモリと、
    ハードウェアを有するプロセッサと、
    を備え、
    前記プロセッサは、
    走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、
    前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、
    前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、
    前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記メモリに蓄積する、
    道路異常検知装置。
  2. 前記プロセッサは、前記道路画像において、隣接する画素同士の画素値を比較することにより、前記道路画像に含まれる道路設備を認識する請求項1に記載の道路異常検知装置。
  3. 前記プロセッサは、前記道路設備の異常があると判定した場合、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像を前記メモリに蓄積する請求項1または請求項2に記載の道路異常検知装置。
  4. 前記プロセッサは、同一の道路設備についての前記設備位置情報が、前記メモリに所定量以上蓄積された場合、前記設備位置情報を、道路管理者が管理するサーバに送信する請求項1に記載の道路異常検知装置。
  5. 前記道路設備は、道路上に表示された道路標示と、道路上または道路周辺に設けられた構造物とを含む請求項1から請求項4のいずれか一項に記載の道路異常検知装置。
  6. 道路異常検知装置が実行する道路異常検知方法であって、
    前記道路異常検知装置のプロセッサが、
    走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、
    前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、
    前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、
    前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記道路異常検知装置のメモリに蓄積する、
    道路異常検知方法。
  7. 道路異常検知装置に実行させる道路異常検知プログラムであって、
    走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、
    前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、
    前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、
    前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記道路異常検知装置のメモリに蓄積する、
    道路異常検知プログラム。
JP2019070776A 2019-04-02 2019-04-02 道路異常検知装置、道路異常検知方法および道路異常検知プログラム Active JP7358762B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019070776A JP7358762B2 (ja) 2019-04-02 2019-04-02 道路異常検知装置、道路異常検知方法および道路異常検知プログラム
US16/812,483 US11491992B2 (en) 2019-04-02 2020-03-09 Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program
CN202010192489.2A CN111797669A (zh) 2019-04-02 2020-03-18 道路异常检测设备、道路异常检测方法和计算机可读介质
US17/961,296 US11827228B2 (en) 2019-04-02 2022-10-06 Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program
US18/378,489 US20240034327A1 (en) 2019-04-02 2023-10-10 Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019070776A JP7358762B2 (ja) 2019-04-02 2019-04-02 道路異常検知装置、道路異常検知方法および道路異常検知プログラム

Publications (2)

Publication Number Publication Date
JP2020170314A true JP2020170314A (ja) 2020-10-15
JP7358762B2 JP7358762B2 (ja) 2023-10-11

Family

ID=72662877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019070776A Active JP7358762B2 (ja) 2019-04-02 2019-04-02 道路異常検知装置、道路異常検知方法および道路異常検知プログラム

Country Status (3)

Country Link
US (3) US11491992B2 (ja)
JP (1) JP7358762B2 (ja)
CN (1) CN111797669A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022090169A (ja) * 2020-12-07 2022-06-17 宮川興業株式会社 横断歩道標示の健全度可視化コンピュータシステム
JPWO2022215182A1 (ja) * 2021-04-07 2022-10-13
WO2022255033A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー 地図更新システム、地図更新装置及び記憶媒体
JP7241834B1 (ja) 2021-09-27 2023-03-17 三菱電機株式会社 道路情報収集装置、および道路情報収集システム
WO2023166555A1 (ja) * 2022-03-01 2023-09-07 日本電気株式会社 路面標示劣化分析装置、方法、及びコンピュータ可読媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702568B (zh) * 2020-12-14 2023-11-24 广东荣文科技集团有限公司 异常检测方法及相关装置
CN113223295B (zh) * 2021-05-11 2024-01-12 深圳聚瑞云控科技有限公司 一种基于互联网的自动报警监控装置及方法
CN114170301B (zh) * 2022-02-09 2022-05-17 城云科技(中国)有限公司 异常市政设施的定位方法、装置及其应用
CN114758322B (zh) * 2022-05-13 2022-11-22 安徽省路通公路工程检测有限公司 基于机器识别的道路质量检测系统
CN115984806B (zh) * 2023-03-20 2023-06-13 四川京炜数字科技有限公司 道路标线破损动态检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002357557A (ja) * 2001-06-04 2002-12-13 Riosu Corp:Kk 道路や周辺施設等の管理システム
JP2013156835A (ja) * 2012-01-30 2013-08-15 Kajima Corp 運搬車両運行支援システム及び運搬車両運行支援方法
JP2014164492A (ja) * 2013-02-25 2014-09-08 Denso Corp 区画線認識装置
JP2016151967A (ja) * 2015-02-18 2016-08-22 株式会社東芝 情報処理装置、道路構造物管理システム、及び道路構造物管理方法
JP2017181168A (ja) * 2016-03-29 2017-10-05 株式会社デンソー 路面状態検出システム
JP2018072893A (ja) * 2016-10-24 2018-05-10 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム
CN102741900B (zh) * 2010-03-03 2014-12-10 松下电器产业株式会社 道路状况管理系统及道路状况管理方法
JP6408434B2 (ja) 2015-07-14 2018-10-17 株式会社キクテック 道路標示体劣化検出方法
WO2017145928A1 (ja) * 2016-02-25 2017-08-31 株式会社村田製作所 検知装置および路面情報システム、並びに車両
CN107392139B (zh) * 2017-07-18 2020-10-20 海信集团有限公司 一种基于霍夫变换的车道线检测方法及终端设备
CN107895151A (zh) * 2017-11-23 2018-04-10 长安大学 一种强光照条件下基于机器视觉的车道线检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002357557A (ja) * 2001-06-04 2002-12-13 Riosu Corp:Kk 道路や周辺施設等の管理システム
JP2013156835A (ja) * 2012-01-30 2013-08-15 Kajima Corp 運搬車両運行支援システム及び運搬車両運行支援方法
JP2014164492A (ja) * 2013-02-25 2014-09-08 Denso Corp 区画線認識装置
JP2016151967A (ja) * 2015-02-18 2016-08-22 株式会社東芝 情報処理装置、道路構造物管理システム、及び道路構造物管理方法
JP2017181168A (ja) * 2016-03-29 2017-10-05 株式会社デンソー 路面状態検出システム
JP2018072893A (ja) * 2016-10-24 2018-05-10 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022090169A (ja) * 2020-12-07 2022-06-17 宮川興業株式会社 横断歩道標示の健全度可視化コンピュータシステム
JP7315909B2 (ja) 2020-12-07 2023-07-27 宮川興業株式会社 横断歩道標示の健全度可視化コンピュータシステム
JPWO2022215182A1 (ja) * 2021-04-07 2022-10-13
WO2022215182A1 (ja) * 2021-04-07 2022-10-13 三菱電機株式会社 路面情報収集装置、路面劣化検知システム、および、路面情報収集方法
JP7433517B2 (ja) 2021-04-07 2024-02-19 三菱電機株式会社 路面情報収集装置、路面劣化検知システム、および、路面情報収集方法
WO2022255033A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー 地図更新システム、地図更新装置及び記憶媒体
JP7497781B2 (ja) 2021-06-03 2024-06-11 株式会社デンソー 地図更新システム及び地図更新装置
JP7241834B1 (ja) 2021-09-27 2023-03-17 三菱電機株式会社 道路情報収集装置、および道路情報収集システム
JP2023047644A (ja) * 2021-09-27 2023-04-06 三菱電機株式会社 道路情報収集装置、および道路情報収集システム
WO2023166555A1 (ja) * 2022-03-01 2023-09-07 日本電気株式会社 路面標示劣化分析装置、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
US20200317201A1 (en) 2020-10-08
US20240034327A1 (en) 2024-02-01
US20230026281A1 (en) 2023-01-26
US11827228B2 (en) 2023-11-28
CN111797669A (zh) 2020-10-20
US11491992B2 (en) 2022-11-08
JP7358762B2 (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
JP7358762B2 (ja) 道路異常検知装置、道路異常検知方法および道路異常検知プログラム
US11361556B2 (en) Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program
KR102094341B1 (ko) 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
US9365217B2 (en) Mobile pothole detection system and method
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
US20190172345A1 (en) System and method for detecting dangerous vehicle
US20190295241A1 (en) Inspection device, control method and control apparatus for the same
JP4858761B2 (ja) 衝突危険性判定システム及び警告システム
JP2006112127A (ja) 道路管理システム
JP3466169B2 (ja) 道路や周辺施設等の管理システム
WO2022009272A1 (ja) 劣化診断システム、劣化診断装置、劣化診断方法、及び、記録媒体
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム
WO2023166555A1 (ja) 路面標示劣化分析装置、方法、及びコンピュータ可読媒体
JP7203648B2 (ja) 情報送信制御装置及び情報送信システム
KR20210030819A (ko) 센서 융합과 인공지능을 통한 도로 낙하물 인식 및 관리 시스템
JP2021077072A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7391557B2 (ja) 通知装置、通知方法および通知プログラム
KR20230143318A (ko) 자율주행 기술 기반 도로명주소를 이용한 도로문제통합관리 시스템 및 방법
CN111028517B (zh) 目标位置动态监测平台
CN111833636B (zh) 目标位置动态监测方法
JP2024047160A (ja) 情報登録支援装置、方法及びプログラム
JP2023064793A (ja) 路面劣化検出装置および路面劣化検出方法
JP2023036320A (ja) 異常通知システム
JP2023162007A (ja) イベント映像提供システム、管理装置、イベント映像提供方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R151 Written notification of patent or utility model registration

Ref document number: 7358762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151