JP2020126359A - 情報処理装置、サーバ、及び交通管理システム - Google Patents

情報処理装置、サーバ、及び交通管理システム Download PDF

Info

Publication number
JP2020126359A
JP2020126359A JP2019017383A JP2019017383A JP2020126359A JP 2020126359 A JP2020126359 A JP 2020126359A JP 2019017383 A JP2019017383 A JP 2019017383A JP 2019017383 A JP2019017383 A JP 2019017383A JP 2020126359 A JP2020126359 A JP 2020126359A
Authority
JP
Japan
Prior art keywords
traffic sign
image
vehicle
server
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019017383A
Other languages
English (en)
Other versions
JP7206968B2 (ja
Inventor
祐平 鈴木
Yuhei Suzuki
祐平 鈴木
義博 大栄
Yoshihiro Daiei
義博 大栄
文菜 竹下
Fumina Takeshita
文菜 竹下
俊介 谷森
Shunsuke Tanimori
俊介 谷森
亮介 谷村
Ryosuke Tanimura
亮介 谷村
宏光 藤井
Mitsuhiro Fujii
宏光 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019017383A priority Critical patent/JP7206968B2/ja
Priority to US16/745,578 priority patent/US20200250443A1/en
Priority to CN202010075505.XA priority patent/CN111523368B/zh
Publication of JP2020126359A publication Critical patent/JP2020126359A/ja
Application granted granted Critical
Publication of JP7206968B2 publication Critical patent/JP7206968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Road Signs Or Road Markings (AREA)
  • Image Analysis (AREA)

Abstract

【課題】視認性が劣化し、何らかの対応処置を行わなければならない交通標識を特定することができる、情報処理装置、サーバ、及び交通管理システムを提供する。【解決手段】複数の車両及びサーバを備える交通管理システムであって、前記車両は、走行中に交通標識を含む画像を生成し、前記交通標識を含む画像を前記サーバに送信し、前記サーバは、前記車両から送信された前記交通標識の画像と、基準となる前記交通標識の画像とを比較して、前記交通標識の視認性を評価した評価結果を蓄積し、蓄積された複数の評価結果に基づいて、前記交通標識の状態を判定する、ことを特徴とする。【選択図】図１

Description

本発明は、情報処理装置、サーバ、及び交通管理システムに関し、特に、道路標識の経年劣化等を検出するための情報処理装置、サーバ、及び交通管理システムに関する。
一般に、屋外に設置された道路標識は、設置時は極めて視認性が高いが、経年変化により塗料の劣化や汚れの付着等が進み、視認性の劣化が生じる。近年は、道路標識を車両の撮像部で取得した映像に基づいて自動認識する技術が研究されており、経年劣化が進んだ道路標識の種別・内容を確実に認識する標識識別装置が提案されている。
例えば、特許文献１には、可視光領域及び近赤外領域に感度を有して車両の進行方向前方の画像を撮像する撮像部と、近赤外光照射部とを有する車両用道路標識認識装置が記載されており、近赤外映像を利用して道路標識が写っているか否かを判定し、道路標識が写っていると判定されたときは、近赤外映像とカラー映像を合成した映像により、道路標識の種別、内容を認識することが開示されている。
特開２０１６−１９６２３３号公報
道路標識の認識し難さの要因は経年劣化だけではなく、標識に隣接する樹木の枝葉などが視認を阻害している場合、或いは道路標識の破損等により、標識の向きが変わる場合等が考えられる。このうち、視認を阻害する物が生じたときや交通標識が破損したとき等は、直ちに阻害物を取り除く作業、或いは、破損の修理が必要である。また、要因が経年劣化であっても、その度合いによっては、標識を取り替えざるを得ない。しかしながら、何らかの処置を行わなければならない標識を特定することは、従来手段が無く、困難であった。
従って、上記のような問題点に鑑みてなされた本発明の目的は、視認性が劣化した交通標識（道路標識、道路標示、信号機等）を特定することができる、情報処理装置、サーバ、及び交通管理システムを提供することにある。
本発明の一実施形態に係る交通管理システムは、複数の車両及びサーバを備える交通管理システムであって、前記車両は、走行中に交通標識を含む画像を生成し、前記交通標識を含む画像を前記サーバに送信し、前記サーバは、前記車両から送信された前記交通標識の画像と、基準となる前記交通標識の画像とを比較して、前記交通標識の視認性を評価した評価結果を蓄積し、蓄積された複数の前記評価結果に基づいて、前記交通標識の状態を判定する、ことを特徴とする。
本発明の一実施形態に係る情報処理装置は、撮像部を有する車両の情報処理装置であって、少なくとも交通標識の設置位置を含む地図情報を記憶する記憶部と、前記地図情報における交通標識の設置位置と車両の位置情報とを比較し、前記車両が前記交通標識を視認できる位置に達したとき、前記交通標識を含む画像を前記撮像部により撮影する制御を行う制御部と、前記交通標識を含む画像と当該画像を撮影したときの車両の位置情報をサーバに送信する通信部と、を備えることを特徴とする。
本発明の一実施形態に係る情報処理装置は、撮像部を有する車両の情報処理装置であって、走行中に前記撮像部で撮影した画像を分析して、前記画像中に交通標識が存在するかを判断する制御部と、前記画像中に交通標識が存在するとき、前記交通標識を含む画像と当該画像を撮影したときの車両の位置情報をサーバに送信する通信部と、を備えることを特徴とする。
また、本発明の一実施形態に係るサーバは、記憶部と制御部とを備えたサーバであって、複数の車両から送信された交通標識を含む画像を蓄積し、基準となる前記交通標識の画像を読み出し、また、前記交通標識の視認性を評価した評価結果を蓄積する記憶部と、送信された前記交通標識の画像と、基準となる前記交通標識の画像とを比較して、前記交通標識の視認性を評価し、蓄積された複数の視認性の前記評価結果に基づいて、前記交通標識の状態を判定する制御部と、を備えることを特徴とする。
本発明における情報処理装置、サーバ、及び交通管理システムによれば、視認性が劣化した交通標識を特定することできる。
交通標識の状態を判定するための実施形態を説明する図である。 一実施形態の交通管理システムの一例を説明する図である。 交通標識の視認性の変化について説明する図である。 一実施形態の情報処理装置の動作を示すフローチャートである。 一実施形態の情報処理装置の別の動作を示すフローチャートである。 一実施形態の交通管理システムのサーバの動作を示すフローチャートである。
以下、本発明の実施の形態について説明する。
（実施の形態）
図１は、交通標識の状態を判定するための実施形態を説明する図である。
図１には、交差点に近づく車両１０とセンター（サーバ）２０が示されている。本発明の交通管理システムが管理する対象としては、例えば、道路沿いに支柱等を用いて設置された道路標識１、道路に直接描かれた停止線等の道路標示２、信号機３等を含み、交通に関連する情報を表示する各種標識・標示である。本明細書では、交通に関連する情報を表示する各種標識・標示等をまとめて、「交通標識」ということとする。なお、交通標識を認識する場所は、交差点に限らず、任意の道路の任意の場所に設けられた交通標識を対象とすることができる。
また、図１では、道路標識１として、最高速度制限を表示する標識が例示されているが、交通標識の表示する内容に制限は無く、また、このような丸型の標識のみならず、進行方向別通行区分等の四角形の標識、一時停止等の三角形の標識等、任意の形状の標識であってよい。
車両１０は、走行中に、撮像部（車載カメラ）により交通標識（道路標識１、停止線２、信号機３等）の画像を取得し、車両１０の位置情報とともに、画像データをサーバ２０に送信する。なお、図１では、車両１０が１台のみ記載されているが、車両１０は複数であってよく、各車両１０が、取得した交通標識の画像データをサーバ２０に送信する。なお、車両はガソリン車に限られず、電気自動車、ＨＶ車（hybrid vehicle）、ＦＣＶ車（Fuel Cell Vehicle）等であってもよい。
サーバ２０は、車両１０からの画像データを受信する。サーバ２０は、複数の車両１０からの交通標識を含む画像を収集するとともに、これらをデータベース（記憶部）に蓄積する。さらに、サーバ２０は、同じ交通標識の過去の画像データとの比較等を行い、交通標識の視認性（視認性の劣化度）の評価を行い、複数の評価結果から交通標識の状態を判定し、その判定結果もデータベースに記録する。このデータベースに蓄積された交通標識の状態の判定結果は、その後、交通標識の管理データとして外部に送信されてもよいし、また、交通標識の管理部署からのデータベースへのアクセスに対応して、データ（判定結果）を提供してもよい。
次に、交通標識の状態の判定を行う交通管理システムについて説明する。図２は、本発明の一実施形態の交通管理システム１００の一例の全体図である。交通管理システム１００は、センター（サーバ）２０を備えており、サーバ２０は、複数の車両１０（第１車両１０1、・・・第ｎ車両１０n）からの情報を受信する。
車両１０（１０1、・・・１０n）は、撮像部１１と、位置情報取得部１２と、情報処理装置１３とを備えている。情報処理装置１３は、記憶部１４と、制御部１５と、通信部１６を有する。各車両１０の構成は同じであるので、第１車両１０1のみ説明する。
撮像部１１は、いわゆる車載カメラであり、ここでは車両前方（外部）の画像を撮像するカメラを含む。撮像部１１は、運転中及び停車中に車両前方の連続的な映像を生成し、生成した映像を記憶部１４に記録するドライブレコーダであることが望ましい。本実施形態では、撮像部１１は、交通標識（道路標識１、道路標示２、信号機３等）に近づくとき交通標識を含む映像を生成（撮影）する。
位置情報取得部１２は、任意の衛星測位システムに対応する１つ以上の受信機を含む。例えば、位置情報取得部１２は、ＧＰＳ（Global Positioning System）受信機を含んでもよい。位置情報取得部１２は、自車両１０の位置情報（特に、交通標識の画像を取得した画像取得位置）を検出する。
情報処理装置１３は、車両１０に搭載されて、車両１０の制御及び交通標識の映像の取得・送信等の処理を行う。情報処理装置１３は、記憶部１４、制御部１５、通信部１６を備える。
記憶部１４は、各種情報を記録・格納する装置であり、１つ以上のメモリを含む。「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１４に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１４は、車両１０の動作に関連する任意の情報を記憶する。例えば、記憶部１４は、撮像部１１で生成した映像や、位置情報取得部１２で取得した位置情報を、その生成時の時間情報と関連付けて記憶する。本実施形態では、交通標識の設置位置及び交通標識の内容を示す地図情報を記憶することも有益である。また、生成した映像を制御部１５で分析・処理した結果の情報を記憶してもよい。さらに、記憶部１４は、自車両の車両制御プログラムの記憶等、車両の動作・制御に関する各種情報を蓄積する。
制御部１５は１つ以上のプロセッサを備える。「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであってよい。例えば、車両１０に搭載されたＥＣＵ（Electronic Control Unit）が、制御部１５として機能してもよい。制御部１５は、第１車両全体の動作を制御する。例えば、制御部１５は、撮像部１１、位置情報取得部１２、記憶部１４、通信部１６の制御を行うとともに、自車両の走行・動作に関する全ての制御を行う。制御部１５は画像分析を行うことができ、本実施形態では、例えば、撮像部１１で生成した映像を解析し、交通標識を検出することができる。
通信部１６は、自車両１０とサーバ２０との間の通信を行う通信モジュールを含む。通信部１６は、ネットワークに接続する通信モジュール、或いは、４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応する通信モジュールを含んでもよい。例えば、車両１０に搭載されたＤＣＭ（Data Communication Module）等の車載通信機が、通信部１６として機能してもよい。本実施形態では、通信部１６は、車両の位置情報に加え、生成した交通標識の映像をサーバ２０に送信することができる。
センター（サーバ）２０は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３を備えている。
サーバ通信部２１は、サーバ２０と車両１０との間の通信を行う通信モジュールを含む。サーバ通信部２１は、ネットワークに接続する通信モジュールを含んでもよい。サーバ通信部２１は、車両１０（第１車両１０1、・・・第ｎ車両１０n）から送信される情報（交通標識の検出位置情報、交通標識の映像データ等）を受信することができる。また、交通標識の状態の判定結果について、外部に情報を送信（提供）することができる。
サーバ記憶部２２は、各種情報を記録・格納する装置であり１つ以上のメモリを含む。「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、例えば、各車両１０（第１車両１０1、・・・第ｎ車両１０n）から送信された情報（交通標識の検出位置情報、交通標識の映像データ等）を蓄積する。また、サーバ記憶部２２は、受信した情報をサーバ制御部２３で分析・処理した結果の情報を記憶することも行う。さらに、サーバ及びシステム全体の動作・制御に関する各種情報を蓄積する。
サーバ制御部２３は１つ以上のプロセッサを備える。「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであってよい。サーバ制御部２３は、サーバ通信部２１、サーバ記憶部２２の制御を行うとともに、サーバ及びシステム全体の動作に関する全ての制御を行う。また、本実施形態では、各車両１０（第１車両１０1、・・・第ｎ車両１０n）から送信される情報（交通標識の検出位置情報、交通標識の映像データ等）を分析して、交通標識の視認性の評価、及び交通標識の状態の判定等を行う判定部として機能する。
図３は、交通標識の視認性の変化について説明する図である。
図３（Ａ）は、設置したばかりの交通標識の例であり、視認性の良好な状態である。図３（Ｂ）は、経年劣化した交通標識の例であり、風雨により塗料の劣化・剥がれ等が生じて、標識の視認性が劣化している状態である。また、図３（Ｃ）は、支柱の破損等により、交通標識の向き等が変わり、道路を通行する車両からは、表示内容が視認し難くなった状態の例である。
図４は、車両１０の情報処理装置１３の動作を示すフローチャートである。図４は、車両１０の情報処理装置１３が、交通標識の設置位置を示す地図情報を備えている場合の処理である。図４のフローチャートに基づいて、車両１０の情報処理装置１３の処理を詳細に説明する。
ステップ１１（Ｓ１１）：まず、情報処理装置１３は、記憶部１４から、交通標識の設置位置及びその交通標識の内容が示された地図情報を読み出す。なお、この地図情報は、任意のタイミングでサーバ２０から通信部１６を介してダウンロードしたものであってよい。
ステップ１２（Ｓ１２）：情報処理装置１３は、位置情報取得部１２により、走行中の自車両１０の位置情報を取得する。
ステップ１３（Ｓ１３）：情報処理装置１３は、取得した位置情報と地図情報を対応させて、走行中の道路の前方に交通標識が設置されているか、すなわち、車両が交通標識を視認できる位置にいるかを、制御部１５で判断する。設置されている場合（交通標識を視認できる位置に達した場合）はステップ１４に進み、設置されていない場合は、ステップ１２に戻る。
ステップ１４（Ｓ１４）：情報処理装置１３は、撮像部１１を制御し、地図情報に基づいて、交通標識が設置されている場所の画像を生成する。この場合は、情報処理装置１３の制御部１５が画像から交通標識の認識を行う必要はなく、制御部１５の処理が軽減される。また、仮に交通標識が認識し難い状態にあったとしても、地図情報に基づいて、交通標識を含む画像が確実に取得できる。なお、撮像部１１により常に映像が生成されて記憶部１４に蓄積されている場合は、蓄積された映像から、交通標識が設置されている場所の画像を抽出してもよい。
ステップ１５（Ｓ１５）：情報処理装置１３は、通信部１６を用いて、ステップ１２で取得した車両位置情報と、ステップ１４で生成した交通標識を含む画像データを、サーバ２０に送信する。その後、情報処理装置１３は処理を終了する。
図５は、車両１０の情報処理装置１３の別の動作を示すフローチャートである。図５は、車両１０の情報処理装置１３が、交通標識の設置位置を示す地図情報を備えていない場合の処理である。なお、交通管理システム１００としては、図４と図５のどちらの処理も採用することができる。図５のフローチャートに基づいて、車両１０の情報処理装置１３の処理を詳細に説明する。
ステップ２１（Ｓ２１）：まず、情報処理装置１３は、走行中に撮像部１１を制御し、撮像部１１により車両前方の映像（画像）を生成する。
ステップ２２（Ｓ２２）：次に、情報処理装置１３は、撮像部１１により生成された映像（画像）を分析し、映像中に、交通標識が存在するか判断する。この判断は、制御部１５により、生成された映像に対して、所定の画像処理を行うことで可能である。例えば、撮像された画像の中から、エッジで囲まれた閉領域を探索して、見つかった閉領域のサイズ、位置、色階調、平均画素値等を求めることにより、道路標識１であるか否かを判断することができる。また、道路に描かれた図形のサイズ、形状、色階調、輝度等を求めることにより、道路標示２であるか否かを判断することができる。信号機３も同様に画像から判断可能である。交通標識が存在すると判断された場合はステップ２３に進み、交通標識が存在しないと判断された場合はステップ２２に戻る。
ステップ２３（Ｓ２３）：情報処理装置１３は、位置情報取得部１２により、走行中の自車両の位置情報（画像を撮影したときの車両位置情報）を取得する。
ステップ２４（Ｓ２４）：情報処理装置１３は、通信部１６を用いて、ステップ２３で取得した車両位置情報と、ステップ２２で交通標識が存在すると判断した画像データを、サーバ２０に送信する。その後、情報処理装置１３は処理を終了する。
図６は、交通管理システム１００のサーバ２０の動作を説明するフローチャートである。図６のフローチャートに基づいて、サーバ２０の処理を詳細に説明する。
ステップ３１（Ｓ３１）：まず、サーバ２０は、サーバ通信部２１により、車両１０（情報処理装置１３）から送信された画像データを受信する。なお、画像データを取得したときの車両位置情報も併せて受信する。
ステップ３２（Ｓ３２）：サーバ２０は、受信した画像データを、車両位置情報及び時刻情報とともに、サーバ記憶部（データベース）２２に記憶する。なお、時刻情報は、サーバ２０側で受信時刻をもとに付加することができるが、車両１０側で画像データを取得した時刻を当該画像データに付加して送信することにより、より正確な時刻情報が得られる。
ステップ３３（Ｓ３３）：サーバ２０は、受信した画像データに含まれる交通標識に対応する、基準標識画像（基準となる交通標識の画像）をサーバ記憶部２２から読み出す。この基準標識画像は、画像データ中の交通標識の劣化度を評価するための基準となる画像である。基準標識画像は、理想的な交通標識を示す画像データであってもよいし、過去（劣化が進む前）に同じ場所で同じ時間帯に撮影された実際の交通標識の画像であってもよい。比較対象が一定の基準標識画像であれば、安定した評価を行うことができる。
ステップ３４（Ｓ３４）：サーバ２０は、車両１０より受信した画像データと、ステップ３３で読み出した基準標識画像とを比較して、交通標識の視認性（視認性の劣化度）を評価する。例えば、車両１０より受信した画像データ中の交通標識の画像と、基準標識画像とを画素値のレベルで比較し、両者の形状、色階調、輝度等の差分を求める。この差分を分析し（例えば、基準標識画像からの多次元距離を求め）、基準標識画像からの視認性の劣化度として評価することができる。
なお、この視認性の劣化の評価に際しては、交通標識自体の劣化（内的要因）以外に、周囲の状況による視認性劣化（外的要因）も評価することが望ましい。例えば、交通標識の周囲の樹木が成長し、標識を覆い隠す場合がある。また、交通標識の背景若しくは近接した場所に、標識と同系色の構造物が設置され、交通標識が視認し難くなることがある。
このうち、標識を覆い隠す遮蔽物（視認の阻害物）が生じたときは、交通標識の画像の形状変化、又は、色階調・輝度の変化に阻害物の存在が現れるから、前述の視認性の劣化度の評価の一環として把握できる。しかしながら、背景や周囲の変化による視認性の劣化は、交通標識の画像比較だけでは評価できない。したがって、受信した画像データにおいて、交通標識とその周囲の色階調、輝度等の近似度を調べ、周囲と色階調、輝度等が近似している場合は視認性が悪いとの評価を加えることも、より正確な評価を行うために、有効である。
ステップ３５（Ｓ３５）：サーバ２０は、ステップ３４で得られた視認性の評価結果を、画像データに対応させて、サーバ記憶部２２に記憶する。
ステップ３６（Ｓ３６）：サーバ２０は、一つの交通標識について、多くの車両１０から送信された画像データに基づく視認性の評価結果を、サーバ記憶部２２に蓄積している。そこで、サーバ２０のサーバ制御部２３は、蓄積された複数の評価結果に基づき、これらを総合的に評価して、当該交通標識の状態を判定する。これは、例えば視認性の評価結果の悪いデータが１つあったとしても、交通標識が劣化したのか、その画像を取得した車両１０の撮像部１１が劣化していたのか、１つのデータのみでは判断できないからである。例えば、時間経過とともに視認性が次第に劣化していることが多数のデータから裏付けられる場合は、交通標識が経年劣化していると判定することができる。また、視認性が良好であった標識が、あるときから急激に視認性が劣化し、その状態がつづいているときは、何らかの要因で交通標識が破損した疑いがあると判定することができる。このように、複数の評価結果に基づいて、交通標識の状態を判定する。
ステップ３７（Ｓ３７）：サーバ２０は、ステップ３６で得られた交通標識の状態の判定結果を、サーバ記憶部２２に蓄積する。その後、処理を終了する。
サーバ記憶部（データベース）２２に蓄積された交通標識の状態の判定結果は、その後、外部に（例えば、交通標識の維持管理をする部署に）情報提供され、状態の悪い交通標識から順に補修を行う等、効率的な補修作業を行う一助となり得る。
以上のとおり、本発明によれば、視認性が劣化し、状態の悪い交通標識を特定することができ、交通標識の修復を効率的に行うことができる。
上記の実施の形態では、車両の情報処理装置における、画像中に交通標識が存在するかの判断、或いは、サーバにおける、交通標識の視認性の評価において、画像処理方法の一例を示したが、画像処理方法は例示のものに限られない。例えば、パターンマッチング、特徴点抽出、及び機械学習等、任意の画像認識アルゴリズムが採用可能である。
上記の実施の形態では、交通管理システム１００の構成と動作について説明したが、本発明はこれに限らず、複数の車両から送信された交通標識を含む画像を蓄積し、基準となる標識画像を読み出し、送信された交通標識の画像と基準となる標識画像とを比較して、視認性を評価した評価結果を蓄積し、蓄積された複数の評価結果に基づいて、交通標識の状態を判定する、交通管理方法として構成されてもよい。
なお、上述した車両１０の情報処理装置１３又はサーバ２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、情報処理装置１３又はサーバ２０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１ 道路標識
２ 道路標示
３ 信号機
１０ 車両
１１ 撮像部
１２ 位置情報取得部
１３ 情報処理装置
１４ 記憶部
１５ 制御部
１６ 通信部
２０ サーバ
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部
１００ 交通管理システム

Claims (6)

  1. 複数の車両及びサーバを備える交通管理システムであって、
    前記車両は、走行中に交通標識を含む画像を生成し、前記交通標識を含む画像を前記サーバに送信し、
    前記サーバは、前記車両から送信された前記交通標識の画像と、基準となる前記交通標識の画像とを比較して、前記交通標識の視認性を評価した評価結果を蓄積し、蓄積された複数の前記評価結果に基づいて、前記交通標識の状態を判定する、
    ことを特徴とする交通管理システム。
  2. 請求項１に記載の交通管理システムにおいて、
    前記サーバは、さらに、前記交通標識の状態の判定結果を蓄積し、前記判定結果を外部に情報提供する、
    ことを特徴とする交通管理システム。
  3. 請求項１又は２に記載の交通管理システムにおいて、
    前記サーバは、前記車両から送信された前記交通標識の画像を蓄積しており、前記基準となる前記交通標識の画像は、過去に蓄積された前記交通標識の画像である
    ことを特徴とする交通管理システム。
  4. 撮像部を有する車両の情報処理装置であって、
    少なくとも交通標識の設置位置を含む地図情報を記憶する記憶部と、
    前記地図情報における交通標識の設置位置と車両の位置情報とを比較し、前記車両が前記交通標識を視認できる位置に達したとき、前記交通標識を含む画像を前記撮像部により撮影する制御を行う制御部と、
    前記交通標識を含む画像と当該画像を撮影したときの車両の位置情報をサーバに送信する通信部と、
    を備えることを特徴とする車両の情報処理装置。
  5. 撮像部を有する車両の情報処理装置であって、
    走行中に前記撮像部で撮影した画像を分析して、前記画像中に交通標識が存在するかを判断する制御部と、
    前記画像中に交通標識が存在するとき、前記交通標識を含む画像と当該画像を撮影したときの車両の位置情報をサーバに送信する通信部と、
    を備えることを特徴とする車両の情報処理装置。
  6. 記憶部と制御部とを備えたサーバであって、
    複数の車両から送信された交通標識を含む画像を蓄積し、基準となる前記交通標識の画像を読み出し、また、前記交通標識の視認性を評価した評価結果を蓄積する記憶部と、
    送信された前記交通標識の画像と、基準となる前記交通標識の画像とを比較して、前記交通標識の視認性を評価し、蓄積された複数の視認性の前記評価結果に基づいて、前記交通標識の状態を判定する制御部と、
    を備えることを特徴とするサーバ。
JP2019017383A 2019-02-01 2019-02-01 サーバ及び交通管理システム Active JP7206968B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019017383A JP7206968B2 (ja) 2019-02-01 2019-02-01 サーバ及び交通管理システム
US16/745,578 US20200250443A1 (en) 2019-02-01 2020-01-17 Information processing device, server, and traffic management system
CN202010075505.XA CN111523368B (zh) 2019-02-01 2020-01-22 信息处理装置、服务器以及交通管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019017383A JP7206968B2 (ja) 2019-02-01 2019-02-01 サーバ及び交通管理システム

Publications (2)

Publication Number Publication Date
JP2020126359A true JP2020126359A (ja) 2020-08-20
JP7206968B2 JP7206968B2 (ja) 2023-01-18

Family

ID=71836561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019017383A Active JP7206968B2 (ja) 2019-02-01 2019-02-01 サーバ及び交通管理システム

Country Status (3)

Country Link
US (1) US20200250443A1 (ja)
JP (1) JP7206968B2 (ja)
CN (1) CN111523368B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220138894A (ko) * 2021-04-06 2022-10-14 한국교통대학교산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071945A (zh) * 2021-10-29 2023-05-05 通用汽车环球科技运作有限责任公司 交通灯可见性检测和增强显示

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172262A (ja) * 2004-12-17 2006-06-29 Nissan Motor Co Ltd 車両用道路標示検出装置
JP2009266136A (ja) * 2008-04-29 2009-11-12 Mitsubishi Electric Corp 道路構造物異常検知装置
JP2016196233A (ja) * 2015-04-03 2016-11-24 クラリオン株式会社 車両用道路標識認識装置
JP2018072893A (ja) * 2016-10-24 2018-05-10 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105835A (ja) * 1998-07-28 2000-04-11 Hitachi Denshi Ltd 物体認識方法及び物体追跡監視装置
JP4180715B2 (ja) * 1998-12-14 2008-11-12 株式会社東芝 印刷物の汚損度判別装置
JP2002041013A (ja) * 2000-07-21 2002-02-08 Mitsubishi Electric Corp 画像加工装置
JP2004030484A (ja) * 2002-06-28 2004-01-29 Mitsubishi Heavy Ind Ltd 交通情報提供システム
JP4707605B2 (ja) * 2006-05-16 2011-06-22 三菱電機株式会社 画像検査方法およびその方法を用いた画像検査装置
JP2008269087A (ja) * 2007-04-17 2008-11-06 Pugas Co Ltd 車両状態の評価システム
US8315456B2 (en) * 2008-04-10 2012-11-20 The Nielsen Company Methods and apparatus for auditing signage
CN101382486B (zh) * 2008-08-18 2012-02-08 姜廷顺 一种能满足交通安全需求的能见度检测系统及运行方法
CN201269758Y (zh) * 2008-09-22 2009-07-08 交通部公路科学研究所 一种交通标志车载全自动检测记录系统
US20150010353A1 (en) * 2013-07-05 2015-01-08 Alexander Povoli Cover for a Concrete Parking Block
FR3015036B1 (fr) * 2013-12-18 2016-01-22 Michelin & Cie Methode de detection acoustique de l'etat de la route et du pneumatique
JP5866498B2 (ja) * 2014-05-07 2016-02-17 パナソニックＩｐマネジメント株式会社 表示制御装置、投影装置、表示制御プログラム、および記録媒体
KR102207190B1 (ko) * 2015-05-28 2021-01-25 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와, 그를 이용한 표시 장치
JP6317315B2 (ja) * 2015-12-22 2018-04-25 本田技研工業株式会社 標識情報表示装置及び方法
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172262A (ja) * 2004-12-17 2006-06-29 Nissan Motor Co Ltd 車両用道路標示検出装置
JP2009266136A (ja) * 2008-04-29 2009-11-12 Mitsubishi Electric Corp 道路構造物異常検知装置
JP2016196233A (ja) * 2015-04-03 2016-11-24 クラリオン株式会社 車両用道路標識認識装置
JP2018072893A (ja) * 2016-10-24 2018-05-10 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220138894A (ko) * 2021-04-06 2022-10-14 한국교통대학교산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
KR102562757B1 (ko) * 2021-04-06 2023-08-02 한국교통대학교 산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법

Also Published As

Publication number Publication date
CN111523368A (zh) 2020-08-11
US20200250443A1 (en) 2020-08-06
CN111523368B (zh) 2023-11-14
JP7206968B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
CN101510356B (zh) 视频检测系统及其数据处理装置、视频检测方法
US9185402B2 (en) Traffic camera calibration update utilizing scene analysis
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
CN110298300B (zh) 一种检测车辆违章压线的方法
US8199971B2 (en) Object detection system with improved object detection accuracy
GB2511612A (en) Apparatus and method for detecting vehicle weave
US20180158327A1 (en) Method for generating a digital record and roadside unit of a road toll system implementing the method
JP2008158958A (ja) 路面判別方法および路面判別装置。
CN105046966A (zh) 即停即离区域的违章停车行为自动检测系统和方法
CN111382735B (zh) 夜间车辆检测方法、装置、设备及存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
US20130128044A1 (en) Vision-based scene detection
US11997252B2 (en) Validation of a camera cleaning system
CN111523368B (zh) 信息处理装置、服务器以及交通管理系统
CN110533921B (zh) 车辆的触发抓拍方法及系统
CN204856897U (zh) 一种机动车即停即离区域的违章检测装置
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
CN111899521A (zh) 一种高速公路的车辆违规行为检测方法
CN112585655A (zh) 基于5g的无人驾驶电子交警执勤系统
CN109948698A (zh) 车辆特征确定方法、装置、设备和存储介质
CN114882709A (zh) 车辆拥堵检测方法、装置及计算机存储介质
CN202854837U (zh) 一种汽车车道标识线检测装置
Alunjati et al. Road Damage Detection System Using Canny Edge Detection Algorithm for Time Efficiency in Road Condition Survey
CN117115097B (zh) 基于异常检测的teds检测方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R151 Written notification of patent or utility model registration

Ref document number: 7206968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151