JP2022124993A - 識別装置、識別プログラム、および識別方法 - Google Patents
識別装置、識別プログラム、および識別方法 Download PDFInfo
- Publication number
- JP2022124993A JP2022124993A JP2021155233A JP2021155233A JP2022124993A JP 2022124993 A JP2022124993 A JP 2022124993A JP 2021155233 A JP2021155233 A JP 2021155233A JP 2021155233 A JP2021155233 A JP 2021155233A JP 2022124993 A JP2022124993 A JP 2022124993A
- Authority
- JP
- Japan
- Prior art keywords
- damage
- identification
- unit
- road surface
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000010365 information processing Effects 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】路面の損傷の有無の検出を精度よく行うことができる識別装置、識別方法、および識別プログラムを提供する。【解決手段】本開示の識別装置は、端末装置、および情報処理サーバを備える識別装置であって、端末装置は、車両に搭載され、路面の画像を撮影する撮影部と、撮影部が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別する識別部と、画像のうち、識別部が損傷を検出した検出画像を、情報処理サーバに送信する送信部と、を備え、情報処理サーバは、送信部から送信された複数の検出画像に撮影された路面の損傷が、同一箇所であるかどうかを判定する位置判定部と、損傷判定部により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する評価部と、を備える。【選択図】図9
Description
本開示は、識別装置、識別プログラム、および識別方法に関する。
近年、カメラで道路の状態を撮影し、路面の損傷の有無を検出するシステムが知られている。
例えば特許文献1には、点検車両を路面上で走行させながら路面をカメラで撮像し、撮像画像から、点検装置の影、路面上のペイントされた表示案内、および路面の汚れ等の検出対象である損傷箇所ではない部分を除去するシステムが開示されている。
路面の状態は、撮影される時間帯により、異なった様子として撮影されることがある。例えば早朝や夕方のように、日射による影ができる向きが異なると、異なる画像として撮影される。また、路面の状態は経時的に変化していくものである。このため、一時的な状態を撮影した撮影画像を用いて損傷の有無を判断すると、損傷の検出精度がばらつくことがあった。
本開示では、路面の損傷の有無の検出を精度よく行うことができる識別装置、識別方法、および識別プログラムを提供することを目的とする。
本開示の識別装置は、端末装置、および情報処理サーバを備える識別装置であって、端末装置は、車両に搭載され、路面の画像を撮影する撮影部と、撮影部が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別する識別部と、画像のうち、識別部が損傷を検出した検出画像を、情報処理サーバに送信する送信部と、を備え、情報処理サーバは、送信部から送信された複数の検出画像に撮影された路面の損傷が、同一箇所であるかどうかを判定する位置判定部と、損傷判定部により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する評価部と、を備える。
本開示の識別装置、識別プログラム、および識別方法によれば、撮影を行う端末装置からのデータの通信量を大きく抑えながら、路面の損傷の有無の検出を精度よく行うことができる。
以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
(実施形態)
<概要>
本開示の識別装置1の実施形態の概要について説明する。
本実施形態に係る識別装置1は、車両が走行する道路における路面の損傷を識別して、損傷の有無を検出する装置である。
<概要>
本開示の識別装置1の実施形態の概要について説明する。
本実施形態に係る識別装置1は、車両が走行する道路における路面の損傷を識別して、損傷の有無を検出する装置である。
<1.システム構成>
まず、図1を用いて本実施形態に係る識別装置1の構成について説明する。図1は、本実施形態に係る識別装置1の構成例を表すブロック図である。図1に示される識別装置1は、端末装置10と、情報処理サーバ20と、を備えている。
端末装置10と情報処理サーバ20とは、ネットワーク30を介して相互に通信可能に接続されている。ネットワーク30は、有線又は無線ネットワークにより構成される。
まず、図1を用いて本実施形態に係る識別装置1の構成について説明する。図1は、本実施形態に係る識別装置1の構成例を表すブロック図である。図1に示される識別装置1は、端末装置10と、情報処理サーバ20と、を備えている。
端末装置10と情報処理サーバ20とは、ネットワーク30を介して相互に通信可能に接続されている。ネットワーク30は、有線又は無線ネットワークにより構成される。
端末装置10及び情報処理サーバ20は、無線基地局31、又は無線LAN規格32を用いて、ネットワーク30と接続する。なお、端末装置10及び情報処理サーバ20は、有線通信により、ネットワーク30と接続されてもよい。
ここで、識別装置1を構成する各装置(例えば、端末装置10と情報処理サーバ20)の集合体を、1つの「情報処理装置」として把握することができる。すなわち、複数の装置の集合体として識別装置1を実現し、識別装置1を実現するための複数の機能の配分を、各装置のハードウェアの処理能力に基づき適宜決定することとしてもよい。
ここで、識別装置1を構成する各装置(例えば、端末装置10と情報処理サーバ20)の集合体を、1つの「情報処理装置」として把握することができる。すなわち、複数の装置の集合体として識別装置1を実現し、識別装置1を実現するための複数の機能の配分を、各装置のハードウェアの処理能力に基づき適宜決定することとしてもよい。
<2.端末装置10の構成>
端末装置10は、車両に搭載される端末である。端末装置10は、例えば、スマートフォン、タブレット端末、又はラップトップパソコン等の汎用の携帯端末である。端末装置10として、複数のスマートフォン、タブレット端末、及びラップトップパソコン等を使用してもよい。このような携帯端末は、運転中の車両の走行経路の確認を目的として車両に搭載される端末であってもよい。
また、端末装置10は、事故発生時の状況記録を目的として車両に搭載される汎用のドライブレコーダに、後述する端末装置10としての各機能を搭載した機器を用いてもよい。
すなわち、本発明において路面の状態を撮影する端末装置10は、路面の撮影のためにのみ用いられる専用の装置に限られず、他の目的で搭載される端末装置10が有する撮影機能を利用して、付帯的に路面を撮影する兼用の装置であってもよい。
端末装置10は、車両に搭載される端末である。端末装置10は、例えば、スマートフォン、タブレット端末、又はラップトップパソコン等の汎用の携帯端末である。端末装置10として、複数のスマートフォン、タブレット端末、及びラップトップパソコン等を使用してもよい。このような携帯端末は、運転中の車両の走行経路の確認を目的として車両に搭載される端末であってもよい。
また、端末装置10は、事故発生時の状況記録を目的として車両に搭載される汎用のドライブレコーダに、後述する端末装置10としての各機能を搭載した機器を用いてもよい。
すなわち、本発明において路面の状態を撮影する端末装置10は、路面の撮影のためにのみ用いられる専用の装置に限られず、他の目的で搭載される端末装置10が有する撮影機能を利用して、付帯的に路面を撮影する兼用の装置であってもよい。
端末装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信IF14と、入出力IF15とを含んで構成される。
プロセッサ11は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
プロセッサ11は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
メモリ12は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
ストレージ13は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)、SSD(Solid State Drive)である。
通信IF14は、識別装置1が外部の装置と通信するため、信号を入出力するためのインタフェースである。
入出力IF15は、ユーザからの入力操作を受け付けるための入力装置(例えば、マウス等のポインティングデバイス、キーボード)、及び、ユーザに対し情報を提示するための出力装置(ディスプレイ、スピーカ等)とのインタフェースとして機能する。
情報処理サーバ20は、プロセッサ21と、メモリ22と、ストレージ23と、通信IF24と、入出力IF25とを含んで構成される。プロセッサ21と、メモリ22と、ストレージ23と、通信IF24と、入出力IF25とは、それぞれ、プロセッサ11と、メモリ12と、ストレージ13と、通信IF14と、入出力IF15と同様であるため、説明を省略する。
情報処理サーバ20は、コンピュータ、及びメインフレーム等により実現される。なお、情報処理サーバ20は、1台のコンピュータにより実現されてもよいし、複数台のコンピュータが組み合わされて実現されてもよい。
<1.端末装置10の構成>
図2は、端末装置10の機能的な構成を示すブロック図である。図2に示すように、端末装置10は、複数のアンテナ(アンテナ111、アンテナ112)と、各アンテナに対応する無線通信部(第1無線通信部121、第2無線通信部122)と、操作受付部130と、音声処理部140(マイク141及びスピーカ142を含む)と、撮影部150と、記憶部160と、制御部170と、GPSアンテナ180と、を備えている。なお、端末装置10は、操作受付部130として、キーボードを備えていてもよい。
図2は、端末装置10の機能的な構成を示すブロック図である。図2に示すように、端末装置10は、複数のアンテナ(アンテナ111、アンテナ112)と、各アンテナに対応する無線通信部(第1無線通信部121、第2無線通信部122)と、操作受付部130と、音声処理部140(マイク141及びスピーカ142を含む)と、撮影部150と、記憶部160と、制御部170と、GPSアンテナ180と、を備えている。なお、端末装置10は、操作受付部130として、キーボードを備えていてもよい。
端末装置10は、図2では特に図示していない機能及び構成(例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など)も有している。図2に示すように、端末装置10に含まれる各ブロックは、バス等により電気的に接続される。
アンテナ111は、端末装置10が発する信号を電波として放射する。また、アンテナ111は、空間から電波を受信して受信信号を第1無線通信部121へ与える。
アンテナ112は、端末装置10が発する信号を電波として放射する。また、アンテナ112は、空間から電波を受信して受信信号を第2無線通信部122へ与える。
第1無線通信部121は、端末装置10が他の無線機器と通信するため、アンテナ111を介して信号を送受信するための変復調処理などを行う。第2無線通信部122は、端末装置10が他の無線機器と通信するため、アンテナ112を介して信号を送受信するための変復調処理などを行う。第1無線通信部121と第2無線通信部122とは、チューナー、RSSI(Received Signal Strength Indicator)算出回路、CRC(Cyclic Redundancy Check)算出回路、高周波回路などを含む通信モジュールである。第1無線通信部121と第2無線通信部122とは、端末装置10が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部170へ与える。
操作受付部130は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部130は、ディスプレイ131を含む。なお、操作受付部130は静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成されている。
ディスプレイ132は、制御部170の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ132は、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイによって実現される。
音声処理部140は、音声信号の変復調を行う。音声処理部140は、マイク141から与えられる信号を変調して、変調後の信号を制御部170へ与える。また、音声処理部140は、音声信号をスピーカ142へ与える。音声処理部140は、例えば音声処理用のプロセッサによって実現される。
マイク141は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部140へ与える。スピーカ142は、音声処理部140から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。
マイク141は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部140へ与える。スピーカ142は、音声処理部140から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。
撮影部150は、車両に搭載され、路面の画像を撮影する装置である。具体的には、撮影部150は、受光素子により光を受光して、撮影画像161として出力するカメラである。
撮影部150は、例えば、撮影部150から撮影対象までの距離を検出できる深度カメラである。撮影部150は、静止画のみならず、動画を撮影することができる。撮影部150により動画を撮影する場合には、動画を構成する1フレーム毎の画像が撮影画像161として扱われる。図3は端末装置10を車両に搭載した状態を説明する図である。
撮影部150は、例えば、撮影部150から撮影対象までの距離を検出できる深度カメラである。撮影部150は、静止画のみならず、動画を撮影することができる。撮影部150により動画を撮影する場合には、動画を構成する1フレーム毎の画像が撮影画像161として扱われる。図3は端末装置10を車両に搭載した状態を説明する図である。
図3Aは、車両に搭載した端末装置10の外観を示す図である。図3Bは、車両に搭載した端末装置10に表示される撮影画像161の例を示す図である。
図3Aに示すように、端末装置10は、撮影部150が車両の前方を向く姿勢で車両に搭載される。撮影部150は、車両の前方の路面の状態を所定の時間ごとに断続的に撮影する。
図3Aに示すように、端末装置10は、撮影部150が車両の前方を向く姿勢で車両に搭載される。撮影部150は、車両の前方の路面の状態を所定の時間ごとに断続的に撮影する。
図3Bに示すように、撮影画像161には、路面の損傷を囲むバウンディングボックスBを出力する。このように、損傷を囲むバウンディングボックスBを出力することで、路面の損傷の有無のみならず、損傷の位置が識別され、損傷の状態についてより詳細な情報が得られる。また、バウンディングボックスBによって損傷の位置が強調され、識別結果の確認が容易となる。
GPS(Global Positioning System)アンテナ180は、車両の位置を検出し、車両が走行した経路に関する情報を取得する。GPSアンテナ180は、取得した車両の位置、および走行経路に関する情報を制御部170の送受信部172に送信する。送受信部172は、受信した車両の位置、および走行経路に関する情報を、情報処理サーバ20に送信する。
図4は、本実施形態に係る情報処理サーバ20に表示される第1画面DP1の例を示す図である。第1画面DP1は、識別部173が損傷を検出した検出画像を受信した場合に表示されてよい。ここで、識別装置1は、GPSアンテナ180から取得した車両の走行経路に関する情報を、画像が撮影された位置に関する情報として、情報処理サーバ20に送信する。
本例では、地図DP11上に符号Rで示す走行経路が示されるとともに、符号Dで示すマーカーによって、路面の損傷が検出された検出画像2021(図5参照)が撮影された位置が示されている。これにより、どこでどのような損傷が生じているのかが明らかとなり、損傷が生じている場所に応じて適切な管理者へ通知することができる。
第1画面DP1は、画像が撮影された位置を示す地図DP11、画像が撮影された路面の情報DP12 、画像を一意に特定するためのデータID DP13及び画像が撮影された日時を示すタイムスタンプDP14等を含む。
第1画面DP1は、画像が撮影された位置を示す地図DP11、画像が撮影された路面の情報DP12 、画像を一意に特定するためのデータID DP13及び画像が撮影された日時を示すタイムスタンプDP14等を含む。
図示の例では、画像が撮影された路面の情報DP12は、交通量(Traffic Volume 、車線数( Number of Lane)、幅員( Road Width)、法定の最高速度( Max Speed)およびタイプ( Road Type)を含むが、これら以外の情報が含まれてもよいし、これらのうちいずれかが含まれなくてもよい。
このように、データID DP13、およびタイムスタンプDP14が表示されていることにより、撮影画像161のデータを一意に特定した上で、いつどのような損傷が生じているのかを明らかにすることができ、修復を行うタイミング等の判断材料を提供することができる。
このように、データID DP13、およびタイムスタンプDP14が表示されていることにより、撮影画像161のデータを一意に特定した上で、いつどのような損傷が生じているのかを明らかにすることができ、修復を行うタイミング等の判断材料を提供することができる。
図2に示す記憶部160は、例えばフラッシュメモリ等により構成され、端末装置10が使用するデータ及びプログラムを記憶する。ある局面において、記憶部160は、撮影画像161、第1学習済みモデル162、および第2学習済みモデル163を記憶している。撮影画像161は、撮影部150により撮影された画像である。
制御部170は、記憶部160に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置10の動作を制御する。制御部170は、例えば予め端末装置10にインストールされているアプリケーションである。制御部170は、プログラムに従って動作することにより、入力操作受付部171と、送受信部172と、識別部173と、表示処理部174としての機能を発揮する。
入力操作受付部171は、入力装置に対するユーザの入力操作を受け付ける処理を行う。
送受信部172は、端末装置10が、情報処理サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。送受信部172は、撮影部150が撮影した撮影画像161のうち、識別部173が損傷を検出した画像である検出画像2021を、情報処理サーバ20に送信する処理を実行する。
識別部173は、端末装置10の撮影部150が路面を撮影した撮影画像161に対して、路面の損傷の有無の識別を行う。
本実施形態では、撮影部150は、所定の時間間隔で画像を撮影し、識別部173は、所定の時間間隔以内に、路面の損傷を識別する。ここで、所定の時間間隔は、例えば1.2秒である。1.2秒間隔で画像を撮影する場合、車両を40km/h(約11.1m/s)で走行させれば、約13m毎に路面が撮影されることとなり、路面を途切れることなく撮影することができる。
このように、識別部173によって、撮影部150の撮影間隔以内に路面の損傷が認識されるため、所定の時間間隔を車両の速度に応じて適切に選択することで、路面を途切れることなく撮影して損傷を識別することができる。
本実施形態では、撮影部150は、所定の時間間隔で画像を撮影し、識別部173は、所定の時間間隔以内に、路面の損傷を識別する。ここで、所定の時間間隔は、例えば1.2秒である。1.2秒間隔で画像を撮影する場合、車両を40km/h(約11.1m/s)で走行させれば、約13m毎に路面が撮影されることとなり、路面を途切れることなく撮影することができる。
このように、識別部173によって、撮影部150の撮影間隔以内に路面の損傷が認識されるため、所定の時間間隔を車両の速度に応じて適切に選択することで、路面を途切れることなく撮影して損傷を識別することができる。
識別部173は、第1学習済みモデル162を用いて、路面の損傷の有無を識別する。
第1学習済みモデル162は、例えば、予め記憶部160に記憶されている。第1学習済みモデル162は、撮影部150が撮影する撮影画像161に基づき、随時、生成および更新されることとしてもよい。
第1学習済みモデル162は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルである。
第1学習済みモデル162は、例えば、予め記憶部160に記憶されている。第1学習済みモデル162は、撮影部150が撮影する撮影画像161に基づき、随時、生成および更新されることとしてもよい。
第1学習済みモデル162は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルである。
第1学習済みモデル162は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第1学習済みモデル162は、入力される画像情報に対し、損傷の箇所および損傷の種類を出力するように学習されている。
このとき、学習用データは、例えば、過去に路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所に関する情報と、損傷の種類に関する情報と、を正解出力データとする。
このとき、学習用データは、例えば、過去に路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所に関する情報と、損傷の種類に関する情報と、を正解出力データとする。
具体的には、第1学習済みモデル162は、様々な種類の損傷を有する路面の画像の特徴量(基準特徴量)と、評価対象である撮影画像161の特徴量と、を比較して類似度を評価することで、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である撮影画像161の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷があると判断される。なお、様々な種類の損傷について、基準特徴量がそれぞれ設定されている。損傷の種類については後述する。
本実施形態に係る第1学習済みモデル162は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る第1学習済みモデル162は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のニューラルネットワークモデル(以下「多層化ネットワーク」という。)であるとする。多層化ネットワークを用いる第1学習済みモデル162は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層あるいは隠れ層とを有する。第1学習済みモデル162は、人工知能ソフトウェアの一部であるプログラムモジュールとしての使用が想定される。
本実施形態に係る多層化ネットワークとしては、例えば、深層学習(Deep Learning)の対象となる多層ニューラルネットワークである深層ニューラルネットワーク(Deep Neural Network:DNN)が用いられ得る。DNNとしては、例えば、画像を対象とする畳み込みニューラルネットワーク(Convolution Neural Network:CNN)を用いてもよい。
また識別部173は、第2学習済みモデル163を用いて、検出画像2021において検出された損傷が、道路領域内に位置するかどうかを判定する。
第2学習済みモデル163は、例えば、予め記憶部160に記憶されている。第2学習済みモデル163は、撮影部150が撮影する撮影画像161に基づき、随時、生成および更新されることとしてもよい。
第2学習済みモデル163は、画像中に検出された損傷箇所が、道路領域内にあるかどうかの識別を行うモデルである。
第2学習済みモデル163は、画像中に検出された損傷箇所が、道路領域内にあるかどうかの識別を行うモデルである。
第2学習済みモデル163は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第2学習済みモデル163は、入力される画像情報に対し、損傷の箇所が道路領域内にあるかどうかを出力するように学習されている。
このとき、学習用データは、例えば、過去に損傷のある路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所が道路領域内に位置するかどうかに関する情報を正解出力データとする。
このとき、学習用データは、例えば、過去に損傷のある路面の状態が撮影された路面の画像情報を入力データとし、入力された画像情報に対して損傷箇所が道路領域内に位置するかどうかに関する情報を正解出力データとする。
具体的には、第2学習済みモデル163は、道路領域内に損傷がある路面の画像の特徴量(基準特徴量)と、評価対象である検出画像2021の特徴量と、を比較して類似度を評価することで、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である検出画像2021の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷が道路領域内にあると判断される。
本実施形態に係る第2学習済みモデル163は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る第2学習済みモデル163は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層化ネットワークであるとする。多層化ネットワークを用いる第2学習済みモデル163は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層あるいは隠れ層とを有する。第2学習済みモデル163は、人工知能ソフトウェアの一部であるプログラムモジュールとしての使用が想定される。
識別部173は、撮影した位置および走行経路に関する情報を撮影した撮影画像161に関連付ける。識別部173は、撮影画像161を撮影した時刻、車両の位置、および車両の進行方向に関する情報を撮影画像161に関連付ける。
表示処理部174は、ユーザに対し情報を提示する処理を行う。表示処理部174は、表示画像をディスプレイ132に表示させる処理、音声をスピーカ142に出力させる処理等を行う。
<2.情報処理サーバ20の機能的な構成>
図5は、情報処理サーバ20の機能的な構成を示す図である。図3に示すように、情報処理サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。
図5は、情報処理サーバ20の機能的な構成を示す図である。図3に示すように、情報処理サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。
通信部201は、情報処理サーバ20が外部の装置と通信するための処理を行う。
記憶部202は、情報処理サーバ20が使用するデータ及びプログラムを記憶する。記憶部202は、検出画像2021と、第3学習済みモデル2022と、第4学習済みモデル2023と、評価データ2024と、を記憶する。
検出画像2021は、端末装置10から送信された画像情報である。すなわち、検出画像2021は、端末装置10の識別部173が、路面の損傷を検出した撮影画像161である。
第3学習済みモデル2022および評価データ2024については後述する。
第3学習済みモデル2022および評価データ2024については後述する。
制御部203は、情報処理サーバ20のプロセッサ21がプログラムに従って処理を行うことにより、送受信部2031、再識別部2032、位置判定部2033、および評価部2034としての機能を発揮する。
送受信部2031は、情報処理サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理、および情報処理サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
送受信部2031は、車両が走行する外部環境に関する情報を取得する。外部環境に関する情報には、天気に関する情報、時刻に関する状況、明るさに関する情報が含まれる。
再識別部2032は、端末装置10から送信された複数の検出画像2021に対して、第3学習済みモデル2022を用いた識別を行うことで、路面の損傷の有無の識別を再度行う。
第3学習済みモデル2022は、例えば、予め記憶部202に記憶されている。第3学習済みモデル2022は、撮影部150が撮影する撮影画像161に基づき、随時、生成および更新されることとしてもよい。
第3学習済みモデル2022は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルであり、識別における判断基準以外は、第1学習済みモデル162と同様の構成を備えている。
第3学習済みモデル2022は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルであり、識別における判断基準以外は、第1学習済みモデル162と同様の構成を備えている。
情報処理サーバ20の再識別部2032が用いる第3学習済みモデル2022による識別の基準は、端末装置10の識別部173が用いる第1学習済みモデル162による識別の基準とは異なっている。例えば、第1学習済みモデル162による識別の方が、第3学習済みモデル2022により識別よりも緩い判断基準となっている。
具体的には、第3学習済みモデル2022において設定されている基準特徴量に対する閾値は、第1学習済みモデル162において設定されている基準特徴量に対する閾値よりも許容される数値幅が狭くなっている。すなわち、第3学習済みモデル2022では、第1学習済みモデル162よりも特徴量の類似度が高い場合において、当該撮影画像161に損傷があると判断される。
また、再識別部2032は、路面の損傷が、道路領域内に位置するかどうかの判定を再度行う。再識別部2032は、第4学習済みモデル2023を用いて、検出画像2021において検出された損傷が、道路領域内に位置するかどうかを判定する。
第4学習済みモデル2023は、例えば、予め記憶部202に記憶されている。第4学習済みモデル2023は、撮影部150が撮影する撮影画像161に基づき、随時、生成および更新されることとしてもよい。
第4学習済みモデル2023は、画像中に検出された損傷箇所が道路領域内にあるかどうかの識別を行うモデルであり、識別における判断基準以外は、第2学習済みモデル163と同様の構成を備えている。
第4学習済みモデル2023は、画像中に検出された損傷箇所が道路領域内にあるかどうかの識別を行うモデルであり、識別における判断基準以外は、第2学習済みモデル163と同様の構成を備えている。
情報処理サーバ20の再識別部2032が用いる第4学習済みモデル2023による識別の基準は、端末装置10の識別部173が用いる第2学習済みモデル163による識別の基準とは異なっている。例えば、第2学習済みモデル163による識別の方が、第4学習済みモデル2023により識別よりも緩い判断基準となっている。
具体的には、第4学習済みモデル2023において設定されている基準特徴量に対する閾値は、第2学習済みモデル163において設定されている基準特徴量に対する閾値よりも許容される数値幅が狭くなっている。すなわち、第4学習済みモデル2023では、第2学習済みモデル163よりも特徴量の類似度が高い場合において、検出された路面の損傷が、道路領域内にあると判定する。
位置判定部2033は、端末装置10の送受信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定する。具体的には、位置判定部2033は、検出画像2021、および検出画像2021が撮影された位置情報を用いて、複数の検出画像2021に撮影された前記路面の損傷が、同一箇所かどうかを判定する。
また、位置判定部2033は、車両の走行経路に関する情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定してもよい。
また、位置判定部2033は、車両の走行経路に関する情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定してもよい。
評価部2034は、位置判定部2033により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する。具体的には、評価部2034は、時系列に沿って路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する。
ここで、路面の損傷に関する情報とは、検出画像2021が撮影された位置における損傷の有無に関する情報、および検出画像2021のうちの少なくとも一方を含む。
ここで、路面の損傷に関する情報とは、検出画像2021が撮影された位置における損傷の有無に関する情報、および検出画像2021のうちの少なくとも一方を含む。
評価部2034は、外部環境に関する情報を用いて、存在確率への重み付けを行ってもよい。例えば、視界の悪い雨天時の検出結果よりも、視界が良い晴天時の検出結果に対して高い重みづけを行ってもよい。また、外が暗い夕方よりも、外が明るい昼間の検出結果に高い重みづけを行ってもよい。
評価部2034は、座標の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。
評価部2034は、座標の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。
図6は、本実施形態に係る情報処理サーバ20に表示される第2画面DP2の例を示す図である。
第2画面DP2は、情報処理サーバ20の再識別部2032が損傷を検出した検出画像2021および識別結果を受信した場合に表示されてよく、第1画面DP1と並べて表示されてもよい。情報処理サーバ20は、第2画面DP2を表示して、識別結果が正しいか管理者に確認させ、誤っている場合には管理者から識別結果の訂正を受け付けてよい。
第2画面DP2は、情報処理サーバ20の再識別部2032が損傷を検出した検出画像2021および識別結果を受信した場合に表示されてよく、第1画面DP1と並べて表示されてもよい。情報処理サーバ20は、第2画面DP2を表示して、識別結果が正しいか管理者に確認させ、誤っている場合には管理者から識別結果の訂正を受け付けてよい。
第2画面DP2には、撮影部150により撮影された検出画像2021、チェック済みフェーズDP22、タイムスタンプDP23、対応状況DP24、損傷種類DP25が含まれている。第2画面DP2には、識別部173により識別された損傷を囲むバウンディングボックスBが表示されている。
チェック済みフェーズDP22には、損傷のチェック作業の進捗状況が表示されている。図示の例において、符号DP221に示す携帯端末のアイコンは、端末装置10での損傷の識別が完了していることを示す。符号DP222に示すディスプレイのアイコンは、情報処理サーバ20での損傷の識別が完了していることを示す。符号DP223に示す眼のアイコンは、その後に行われるクラウドソーシングによるチェック処理が完了していることを示す。
第2画面DP2におけるタイムスタンプDP23には、検出画像2021を撮影した際に付与された日時に関する情報が示されている。すなわち、検出画像2021を撮影した日時および時刻を示す情報である。
第2画面DP2における対応状況DP24は、当該損傷に対して行われる対応に関する情報が記載されている。対応に関する情報としては、例えば、経過観察、管理者への報告予定、管理者への報告済み、修繕予定、等が挙げられる。
第2画面DP2における対応状況DP24は、当該損傷に対して行われる対応に関する情報が記載されている。対応に関する情報としては、例えば、経過観察、管理者への報告予定、管理者への報告済み、修繕予定、等が挙げられる。
第2画面DP2における損傷種類DP25には、損傷の種類が記載されている。ここで、損傷の種類について、図7よび図8を用いて説明する。
図7は、識別装置1により識別される損傷の種類の第1例を示す図である。図8は、識別装置1により識別される損傷の種類の第2例を示す図である。
図7は、識別装置1により識別される損傷の種類の第1例を示す図である。図8は、識別装置1により識別される損傷の種類の第2例を示す図である。
図7Aに示すD00で識別される損傷の種類は、縦方向(進行方向)に沿って延びる線状のひび割れであり、車輪走行部に発生する損傷を指す。
図7Bに示すD01で識別される損傷の種類は、縦方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。施工ジョイント部とは、アスファルト舗装のつなぎ目を意味する。
図7Bに示すD01で識別される損傷の種類は、縦方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。施工ジョイント部とは、アスファルト舗装のつなぎ目を意味する。
図7Cに示すD10で識別される損傷の種類は、横方向(道路の幅方向)に沿って延びる線状のひび割れであり、車輪走行部に発生する損傷を指す。
図7Dに示すD11で識別される損傷の種類は、横方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。
図7Dに示すD11で識別される損傷の種類は、横方向に沿って延びる線状のひび割れであり、施工ジョイント部に発生する損傷を指す。
図8Aに示すD20で識別される損傷の種類は、亀甲状のひび割れを指す。
図8Bに示すD40で識別される損傷の種類は、段差、ポットホール、および剥離を指す。
図8Cで示すD43で識別される損傷の種類は、横断歩道のかすれを指す。
図8Dで示すD44で識別される損傷の種類は、白線のかすれを指す。
図8Bに示すD40で識別される損傷の種類は、段差、ポットホール、および剥離を指す。
図8Cで示すD43で識別される損傷の種類は、横断歩道のかすれを指す。
図8Dで示すD44で識別される損傷の種類は、白線のかすれを指す。
なお、上記の損傷の種類はあくまで例示であり、その他の損傷の種類を含んでもよい。このように、路面の損傷の有無のみならず、損傷の種類が識別され、損傷の状態について詳細な情報を得ることができる。
<3.識別装置1の制御処理>
次に、識別装置1の制御処理について説明する。図9は、識別装置1により実行される処理のフローを説明する図である。
図9に示すように、まず、撮影部150が所定の時間間隔で画像を撮影する(ステップS110)。撮影部150は、撮影した撮影画像161を記憶部160に記憶させる。
ステップS110の後に、識別部173は、撮影画像161に撮影された路面における損傷の有無を識別する(ステップS111)。具体的には、識別部173は、第1学習済みモデル162に撮影画像161を入力することで、損傷の有無に関する出力を得る。
次に、識別装置1の制御処理について説明する。図9は、識別装置1により実行される処理のフローを説明する図である。
図9に示すように、まず、撮影部150が所定の時間間隔で画像を撮影する(ステップS110)。撮影部150は、撮影した撮影画像161を記憶部160に記憶させる。
ステップS110の後に、識別部173は、撮影画像161に撮影された路面における損傷の有無を識別する(ステップS111)。具体的には、識別部173は、第1学習済みモデル162に撮影画像161を入力することで、損傷の有無に関する出力を得る。
ステップS111において、損傷が確認されない場合(ステップS112のNo)には、識別装置1による当該撮影画像161に対する識別処理を終了し、次のフレームに対応する撮影画像161の識別を行う。
ステップS111において、損傷が確認された場合(ステップS112のYes)には、識別部173が、損傷が道路領域内かどうかを判定する(ステップS113)。具体的には、識別部173は、撮影画像161を第2学習済みモデル163に入力することで、損傷が道路領域内かどうかの出力を得る。
ステップS113において、損傷が道路領域内ではないと出力された場合(ステップS114のNo)、具体的には損傷が歩道や周囲の建物等に位置する場合には、識別装置1による当該撮影画像161に対する識別処理を終了し、次のフレームに対応する撮影画像161の識別を行う。
ステップS113において、損傷が道路領域内であると出力された場合(ステップS114のYes)には、識別部173は、撮影位置に関する情報を関連付ける(ステップS115)。
ステップS115の後に、端末装置10の送受信部172が、検出画像2021を情報処理サーバ20に送信する(ステップS116)。これにより、情報処理サーバ20の送受信部2031が、検出画像2021を受信し、記憶部202に記憶させる。
ステップS115の後に、端末装置10の送受信部172が、検出画像2021を情報処理サーバ20に送信する(ステップS116)。これにより、情報処理サーバ20の送受信部2031が、検出画像2021を受信し、記憶部202に記憶させる。
ステップS116の後に、情報処理サーバ20の再識別部2032が、検出画像2021に対して損傷の有無を再度識別する(ステップS117)。具体的には、再識別部2032は、第3学習済みモデル2022に撮影画像161を入力することで、損傷の有無に関する出力を得る。
ステップS117において、損傷が確認されない場合(ステップS118のNo)には、識別装置1による当該撮影画像161に対する識別処理を終了し、次のフレームに対応する撮影画像161の識別を行う。
ステップS117において、損傷が確認された場合(ステップS118のYes)には、再識別部2032が、損傷が道路領域内かどうかを判定する(ステップS119)。
具体的には、再識別部2032は、撮影画像161を第4学習済みモデル2023に入力することで、損傷が道路領域内かどうかの出力を得る。
具体的には、再識別部2032は、撮影画像161を第4学習済みモデル2023に入力することで、損傷が道路領域内かどうかの出力を得る。
ステップS119において、損傷が道路領域内ではないと出力された場合(ステップS120のNo)、具体的には損傷が歩道や周囲の建物等に位置する場合には、識別装置1による当該撮影画像161に対する識別処理を終了し、次のフレームに対応する撮影画像161の識別を行う。
ステップS119において、損傷が道路領域内であると出力された場合(ステップS120のYes)には、クラウドソーシングによる目視チェックを実行する(ステップS121)。具体的には、不特定多数のチェッカーに対して検出画像2021を送信し、チェックを受ける。この結果において、損傷であるという回答数が一定の数を超えた場合に、損傷があるものとして扱う。
ステップS121の後に、位置判定部2033は、検出画像2021の位置を判定する。すなわち、損傷が確認された検出画像2021について、同一箇所であるかどうかの判定を行う。具体的には、情報処理サーバ20の記憶部202には、撮影した日時の異なる多数の検出画像2021が記憶されている。位置判定部2033は、これらの多数の検出画像2021に対して、緯度、経度等の座標を用いて、同一箇所として識別する。
ステップS122の後に、評価部2034は、損傷の確率分布を算出する(ステップS123)。具体的には、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する。この時の評価結果を図10で説明する。図10は、評価データ2024の一例を示す図である。
図10に示すように、評価部2034は、車両の走行経路における出発点(start)から目的地(Goal)までの座標位置毎に、時系列に沿って、路面の損傷に関する情報を統合する。具体的には、評価部2034は、時間を変数とする確率を算出する。図10に示す評価データ2024の例では、クラウドソーシングによる目視チェックにおいて損傷があると判断された検出画像2021の評価指標を1とし、クラウドソーシングによる目視チェックまでのいずれかの工程で損傷がないと判断された検出画像2021の評価指標を0として集計している。そして、存在確率は、全標本数に対して1と検出された確率を算出する。
評価部2034は、最終的な判断として、存在確率の閾値を設定する。例えば閾値を80%と設定した場合には、存在確率が80%以上の座標に対して、損傷があると判断する。この際、評価部2034は、撮影された地点における外部環境(天候、時刻、明るさ)により、重みづけを行ってもよい。例えば、悪天候時には傷の誤認が想定される。このため、12月1日の座標(x1、y1)が悪天候であった場合には、評価指標に×0.9と
する。同様に、夕方や暗い環境で撮影された検出画像2021の評価指標に予め設定され
た重み係数を乗じてもよい。このような重み係数の値は、外部環境の条件の影響度に応じ
て任意に設定することができる。
する。同様に、夕方や暗い環境で撮影された検出画像2021の評価指標に予め設定され
た重み係数を乗じてもよい。このような重み係数の値は、外部環境の条件の影響度に応じ
て任意に設定することができる。
以上説明したように、本実施形態に係る識別装置1によれば、端末装置10の撮影部150が撮影した撮影画像161に対して、端末装置10の識別部173が損傷の有無を識別する。そして、撮影画像161のうち、端末装置10において損傷が検出された検出画像2021のみを情報処理サーバ20に送信する。
このため、撮影された膨大な量の撮影画像161のうち、全ての撮影画像161を端末装置10から情報処理サーバ20に送信する必要がなく、一部の撮影画像161に相当する、損傷が検出された検出画像2021のみを、端末装置10から情報処理サーバ20に送信すれば足りる。これにより、撮影を行う端末装置10からのデータの通信量を大きく抑えることができる。
このため、撮影された膨大な量の撮影画像161のうち、全ての撮影画像161を端末装置10から情報処理サーバ20に送信する必要がなく、一部の撮影画像161に相当する、損傷が検出された検出画像2021のみを、端末装置10から情報処理サーバ20に送信すれば足りる。これにより、撮影を行う端末装置10からのデータの通信量を大きく抑えることができる。
また、情報処理サーバ20の位置判定部2033が、撮影された損傷の位置が同一箇所であるかどうかを判定し、評価部2034が、路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する。
このため、一枚の撮影画像161による判定ではなく、多数の撮影画像161から総合的に損傷の有無を判断することができ、路面の損傷の有無の検出を精度よく行うことができる。
このため、一枚の撮影画像161による判定ではなく、多数の撮影画像161から総合的に損傷の有無を判断することができ、路面の損傷の有無の検出を精度よく行うことができる。
また、評価部2034が、時系列に沿って、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する。これにより、損傷の識別における誤判定を吸収しながら、統計的に損傷の有無を判断することができる。
また、評価部2034が、外部環境に関する情報を用いて、存在確率への重み付けを行うので、撮影時の条件の違いを考慮して、精度の高い識別を行うことができる。
また、位置判定部2033が、検出画像2021、および検出画像2021が撮影された位置情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定する。これにより、大量の撮影画像161を用いて同一箇所の損傷がどのように推移するのかを確認することができる。
また、位置判定部2033が、車両の走行経路に関する情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定する。これにより、車両の進行方向を考慮して、撮影された時点に対する損傷の位置を正確に把握することができる。
また、識別部173が、検出画像2021において検出された損傷が、道路領域内に位置するかどうかを判定する。このため、歩道や周囲の設備の損傷をノイズとして除外することができる。
また、情報処理サーバ20が、検出画像2021に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無の識別、および路面の損傷が、道路領域内に位置するかどうかの判定を再度行う再識別部2032をさらに備えている。このため、損傷の識別をより高精度に行うことができる。
また、再識別部2032は、識別部173と異なる識別基準に従って、路面の損傷の有無を再度識別する。このため、例えば再識別部2032による識別基準を識別部173による識別基準よりも高くすることで、端末装置10での一次的な識別では損傷がありそうな撮影画像161を拾い上げ、情報処理サーバ20での二次的な識別ではノイズを除外するというように、多様な識別を行うことができる。
(変形例)
上述の実施形態においては、評価部2034が時系列に沿って統合する路面の損傷に関する情報が、検出画像2021が撮影された位置における損傷の有無に関する情報である例を示したが、この限りではない。例えば、評価部2034は、検出画像2021を路面の損傷に関する情報として、時系列に沿って統合してもよい。この場合には、時系列に沿って成長する損傷の様子が描写された画像の集合(動画)を得ることができる。
上述の実施形態においては、評価部2034が時系列に沿って統合する路面の損傷に関する情報が、検出画像2021が撮影された位置における損傷の有無に関する情報である例を示したが、この限りではない。例えば、評価部2034は、検出画像2021を路面の損傷に関する情報として、時系列に沿って統合してもよい。この場合には、時系列に沿って成長する損傷の様子が描写された画像の集合(動画)を得ることができる。
また、上述の実施形態では、1台の車両に搭載される端末装置10により撮影された撮影画像161を評価する例を示したが、このような態様に限られない。例えば、多数の車両により撮影された撮影画像161の評価をおこなってもよい。
具体的には、事前に登録された多数のユーザが撮影した撮影画像161に対して、それぞれの端末装置10において損傷の有無の識別を行う。そして、複数の撮影画像161のうち、損傷が検出された検出画像2021が、それぞれの端末装置10から情報処理サーバ20に送信され、情報処理サーバ20において、前述したそれぞれの評価処理が行われてもよい。このような構成を採用すれば、端末装置10として、汎用の携帯端末やドライブレコーダのような兼用の装置を採用することにより、様々な走行経路における膨大な数の撮影地点において撮影された、大量の検出画像2021を容易に取得することができる。これにより、算出された路面の損傷の存在確率の精度を確保することができる。
具体的には、事前に登録された多数のユーザが撮影した撮影画像161に対して、それぞれの端末装置10において損傷の有無の識別を行う。そして、複数の撮影画像161のうち、損傷が検出された検出画像2021が、それぞれの端末装置10から情報処理サーバ20に送信され、情報処理サーバ20において、前述したそれぞれの評価処理が行われてもよい。このような構成を採用すれば、端末装置10として、汎用の携帯端末やドライブレコーダのような兼用の装置を採用することにより、様々な走行経路における膨大な数の撮影地点において撮影された、大量の検出画像2021を容易に取得することができる。これにより、算出された路面の損傷の存在確率の精度を確保することができる。
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
<付記>
実施形態で説明した事項を、以下に付記する。
実施形態で説明した事項を、以下に付記する。
(付記1)
端末装置10、および情報処理サーバ20を備える識別装置1であって、
端末装置10は、
車両に搭載され、路面の画像を撮影する撮影部150と、
撮影部150が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別する識別部173と、
画像のうち、識別部173が損傷を検出した検出画像2021を、情報処理サーバ20に送信する送信部172と、を備え、
情報処理サーバ20は、
送信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定する位置判定部2033と、
位置判定部2033により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する評価部2034と、を備える識別装置1。
端末装置10、および情報処理サーバ20を備える識別装置1であって、
端末装置10は、
車両に搭載され、路面の画像を撮影する撮影部150と、
撮影部150が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別する識別部173と、
画像のうち、識別部173が損傷を検出した検出画像2021を、情報処理サーバ20に送信する送信部172と、を備え、
情報処理サーバ20は、
送信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定する位置判定部2033と、
位置判定部2033により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価する評価部2034と、を備える識別装置1。
(付記2)
評価部2034は、時系列に沿って、路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する、(付記1)に記載の識別装置1。
評価部2034は、時系列に沿って、路面の損傷に関する情報を統合することで、路面の損傷の存在確率を算出する、(付記1)に記載の識別装置1。
(付記3)
情報処理サーバ20は、
車両が走行する外部環境に関する情報を取得し、
評価部2034は、
外部環境に関する情報を用いて、存在確率への重み付けを行う、(付記2)に記載の識別装置1。
情報処理サーバ20は、
車両が走行する外部環境に関する情報を取得し、
評価部2034は、
外部環境に関する情報を用いて、存在確率への重み付けを行う、(付記2)に記載の識別装置1。
(付記4)
識別部173は、
撮影した位置に関する情報を検出画像2021に関連付け、
路面の損傷に関する情報は、検出画像2021が撮影された位置における損傷の有無に関する情報、および検出画像2021のうちの少なくとも一方を含む、(付記1)から(付記3)のいずれかに記載の識別装置1。
識別部173は、
撮影した位置に関する情報を検出画像2021に関連付け、
路面の損傷に関する情報は、検出画像2021が撮影された位置における損傷の有無に関する情報、および検出画像2021のうちの少なくとも一方を含む、(付記1)から(付記3)のいずれかに記載の識別装置1。
(付記5)
識別部173は、
撮影した位置に関する情報を検出画像2021に関連付け、
位置判定部2033は、
検出画像2021、および検出画像2021が撮影された位置情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定する、(付記1)から(付記4)のいずれかに記載の識別装置1。
識別部173は、
撮影した位置に関する情報を検出画像2021に関連付け、
位置判定部2033は、
検出画像2021、および検出画像2021が撮影された位置情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定する、(付記1)から(付記4)のいずれかに記載の識別装置1。
(付記6)
情報処理サーバ20は、
車両の走行経路に関する情報を取得し、
位置判定部2033は、
車両の走行経路に関する情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定する、(付記1)から(付記5)のいずれかに記載の識別装置1。
情報処理サーバ20は、
車両の走行経路に関する情報を取得し、
位置判定部2033は、
車両の走行経路に関する情報を用いて、複数の検出画像2021に撮影された路面の損傷が、同一箇所かどうかを判定する、(付記1)から(付記5)のいずれかに記載の識別装置1。
(付記7)
識別部173は、
検出画像2021において検出された損傷が、道路領域内に位置するかどうかを判定する、(付記1)から(付記6)のいずれかに記載の識別装置1。
識別部173は、
検出画像2021において検出された損傷が、道路領域内に位置するかどうかを判定する、(付記1)から(付記6)のいずれかに記載の識別装置1。
(付記8)
情報処理サーバ20は、
送信部172から送信された複数の検出画像2021に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無の識別、および路面の損傷が、道路領域内に位置するかどうかの判定を再度行う再識別部2032をさらに備えている、(付記1)から(付記7)のいずれかに記載の識別装置1。
情報処理サーバ20は、
送信部172から送信された複数の検出画像2021に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無の識別、および路面の損傷が、道路領域内に位置するかどうかの判定を再度行う再識別部2032をさらに備えている、(付記1)から(付記7)のいずれかに記載の識別装置1。
(付記9)
再識別部2032は、識別部173と異なる識別基準に従って、路面の損傷の有無を再度識別する、(付記8)に記載の識別装置1。
再識別部2032は、識別部173と異なる識別基準に従って、路面の損傷の有無を再度識別する、(付記8)に記載の識別装置1。
(付記10)
情報処理サーバ20は、
車両の走行経路に関する情報を取得し、
評価部2034は、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する、(付記1)から(付記9)のいずれかに記載の識別装置1。
情報処理サーバ20は、
車両の走行経路に関する情報を取得し、
評価部2034は、路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する、(付記1)から(付記9)のいずれかに記載の識別装置1。
(付記11)
プロセッサを備えた識別システムに実行させる識別プログラムであって、
プロセッサに、
車両に搭載された撮影部150が、路面の画像を撮影するステップ(ステップS110)と、
撮影部150が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別するステップ(ステップS111)と、
画像のうち、識別部173が損傷を検出した検出画像2021を、情報処理サーバ20に送信するステップ(ステップS116)と、
送信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定するステップ(ステップS122)と、
同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価するステップ(ステップS123)と、を実行させるプログラム。
プロセッサを備えた識別システムに実行させる識別プログラムであって、
プロセッサに、
車両に搭載された撮影部150が、路面の画像を撮影するステップ(ステップS110)と、
撮影部150が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別するステップ(ステップS111)と、
画像のうち、識別部173が損傷を検出した検出画像2021を、情報処理サーバ20に送信するステップ(ステップS116)と、
送信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定するステップ(ステップS122)と、
同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価するステップ(ステップS123)と、を実行させるプログラム。
(付記12)
プロセッサを備えた識別装置1が実行する方法であって、
プロセッサが、
車両に搭載された撮影部150が、路面の画像を撮影するステップ(ステップS110)と、
撮影部150が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別するステップ(ステップS111)と、
画像のうち、識別部173が損傷を検出した検出画像2021を、情報処理サーバ20に送信するステップ(ステップS116)と、
送信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定するステップ(ステップS122)と、
位置判定部2033により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価するステップ(ステップS123)と、を実行する方法。
プロセッサを備えた識別装置1が実行する方法であって、
プロセッサが、
車両に搭載された撮影部150が、路面の画像を撮影するステップ(ステップS110)と、
撮影部150が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、路面の損傷の有無を識別するステップ(ステップS111)と、
画像のうち、識別部173が損傷を検出した検出画像2021を、情報処理サーバ20に送信するステップ(ステップS116)と、
送信部172から送信された複数の検出画像2021に撮影された路面の損傷が、同一箇所であるかどうかを判定するステップ(ステップS122)と、
位置判定部2033により同一箇所と判定された路面の損傷に関する情報を、時系列に沿って統合して、路面の損傷の有無を評価するステップ(ステップS123)と、を実行する方法。
1…識別装置
10…端末装置
150…撮影部
170…制御部
171…入力操作受付部
172…送受信部
173…識別部
174…表示処理部
20…情報処理端末
203…制御部
2031…送受信部
2032…再識別部
2033…位置判定部
2034…評価部
10…端末装置
150…撮影部
170…制御部
171…入力操作受付部
172…送受信部
173…識別部
174…表示処理部
20…情報処理端末
203…制御部
2031…送受信部
2032…再識別部
2033…位置判定部
2034…評価部
Claims (12)
- 端末装置、および情報処理サーバを備える識別装置であって、
前記端末装置は、
車両に搭載され、路面の画像を撮影する撮影部と、
前記撮影部が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、前記路面の損傷の有無を識別する識別部と、
前記画像のうち、前記識別部が損傷を検出した検出画像を、前記情報処理サーバに送信する送信部と、を備え、
前記情報処理サーバは、
前記送信部から送信された複数の前記検出画像に撮影された前記路面の損傷が、同一箇所であるかどうかを判定する位置判定部と、
前記位置判定部により同一箇所と判定された前記路面の損傷に関する情報を、時系列に沿って統合して、前記路面の損傷の有無を評価する評価部と、を備える識別装置。 - 前記評価部は、時系列に沿って、前記路面の損傷に関する情報を統合することで、前記路面の損傷の存在確率を算出する、請求項1に記載の識別装置。
- 前記情報処理サーバは、
車両が走行する外部環境に関する情報を取得し、
前記評価部は、
前記外部環境に関する情報を用いて、前記存在確率への重み付けを行う、請求項2に記載の識別装置。 - 前記識別部は、
撮影した位置に関する情報を前記検出画像に関連付け、
前記路面の損傷に関する情報は、前記検出画像が撮影された位置における損傷の有無に関する情報、および前記検出画像のうちの少なくとも一方を含む、請求項1から3のいずれか1項に記載の識別装置。 - 前記識別部は、
撮影した位置に関する情報を前記検出画像に関連付け、
前記位置判定部は、
前記検出画像、および前記検出画像が撮影された位置情報を用いて、複数の前記検出画像に撮影された前記路面の損傷が、同一箇所かどうかを判定する、請求項1から4のいずれか1項に記載の識別装置。 - 前記情報処理サーバは、
前記車両の走行経路に関する情報を取得し、
前記位置判定部は、
前記車両の走行経路に関する情報を用いて、複数の前記検出画像に撮影された前記路面の損傷が、同一箇所かどうかを判定する、請求項1から5のいずれか1項に記載の識別装置。 - 前記識別部は、
前記検出画像において検出された損傷が、道路領域内に位置するかどうかを判定する、請求項1から6のいずれか1項に記載の識別装置。 - 前記情報処理サーバは、
前記送信部から送信された複数の前記検出画像に対して、学習済みモデルを用いた識別を行うことで、前記路面の損傷の有無の識別、および前記路面の損傷が、道路領域内に位置するかどうかの判定を再度行う再識別部をさらに備えている、請求項1から7のいずれか1項に記載の識別装置。 - 前記再識別部は、前記識別部と異なる識別基準に従って、前記路面の損傷の有無を再度識別する、請求項8に記載の識別装置。
- 前記情報処理サーバは、
前記車両の走行経路に関する情報を取得し、
前記評価部は、前記路面の損傷が撮影された座標位置毎に、任意の期間における路面の損傷の有無に関する情報を統合する、請求項1から9のいずれか1項に記載の識別装置。 - プロセッサを備えた識別システムに実行させる識別プログラムであって、
プロセッサに、
車両に搭載された撮影部が、路面の画像を撮影するステップと、
前記撮影部が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、前記路面の損傷の有無を識別するステップと、
前記画像のうち、前記識別部が損傷を検出した検出画像を、情報処理サーバに送信するステップと、
前記送信部から送信された複数の前記検出画像に撮影された前記路面の損傷が、同一箇所であるかどうかを判定するステップと、
同一箇所と判定された前記路面の損傷に関する情報を、時系列に沿って統合して、前記路面の損傷の有無を評価するステップと、を実行させるプログラム。 - プロセッサを備えた識別装置が実行する方法であって、
プロセッサが、
車両に搭載された撮影部が、路面の画像を撮影するステップと、
前記撮影部が撮影した画像に対して、学習済みモデルを用いた識別を行うことで、前記路面の損傷の有無を識別するステップと、
前記画像のうち、前記識別部が損傷を検出した検出画像を、情報処理サーバに送信するステップと、
前記送信部から送信された複数の前記検出画像に撮影された前記路面の損傷が、同一箇所であるかどうかを判定するステップと、
前記位置判定部により同一箇所と判定された前記路面の損傷に関する情報を、時系列に沿って統合して、前記路面の損傷の有無を評価するステップと、を実行する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155233A JP2022124993A (ja) | 2021-02-16 | 2021-09-24 | 識別装置、識別プログラム、および識別方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021022428A JP6955295B1 (ja) | 2021-02-16 | 2021-02-16 | 識別装置、識別プログラム、および識別方法 |
JP2021155233A JP2022124993A (ja) | 2021-02-16 | 2021-09-24 | 識別装置、識別プログラム、および識別方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021022428A Division JP6955295B1 (ja) | 2021-02-16 | 2021-02-16 | 識別装置、識別プログラム、および識別方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022124993A true JP2022124993A (ja) | 2022-08-26 |
Family
ID=78119269
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021022428A Active JP6955295B1 (ja) | 2021-02-16 | 2021-02-16 | 識別装置、識別プログラム、および識別方法 |
JP2021155233A Pending JP2022124993A (ja) | 2021-02-16 | 2021-09-24 | 識別装置、識別プログラム、および識別方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021022428A Active JP6955295B1 (ja) | 2021-02-16 | 2021-02-16 | 識別装置、識別プログラム、および識別方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6955295B1 (ja) |
WO (1) | WO2022176303A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024089849A1 (ja) * | 2022-10-27 | 2024-05-02 | 日本電気株式会社 | 路面診断システム、路面診断方法及びプログラムを非一時的に記録する記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015208429A1 (de) * | 2015-05-06 | 2016-11-10 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen |
JP6710605B2 (ja) * | 2016-08-09 | 2020-06-17 | 株式会社東芝 | 情報処理装置、情報処理方法、および移動体 |
JP2019045922A (ja) * | 2017-08-30 | 2019-03-22 | 株式会社ネクスコ・エンジニアリング北海道 | 変状箇所検出装置、変状箇所検出プログラムおよび変状箇所検出方法 |
JP2021002162A (ja) * | 2019-06-20 | 2021-01-07 | 矢崎総業株式会社 | 画像処理装置及び画像処理用プログラム |
JP6795064B1 (ja) * | 2019-08-27 | 2020-12-02 | トヨタ自動車株式会社 | 表示処理装置、表示処理方法、プログラム |
JP2021071919A (ja) * | 2019-10-31 | 2021-05-06 | 三菱電機株式会社 | 道路監視装置 |
-
2021
- 2021-02-16 JP JP2021022428A patent/JP6955295B1/ja active Active
- 2021-09-24 JP JP2021155233A patent/JP2022124993A/ja active Pending
- 2021-11-26 WO PCT/JP2021/043492 patent/WO2022176303A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2022124663A (ja) | 2022-08-26 |
WO2022176303A1 (ja) | 2022-08-25 |
JP6955295B1 (ja) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110174093B (zh) | 定位方法、装置、设备和计算机可读存储介质 | |
US10223816B2 (en) | Method and apparatus for generating map geometry based on a received image and probe data | |
US9070305B1 (en) | Traffic light detecting system and method | |
CN109935077A (zh) | 用于为自动驾驶车辆构建车辆与云端实时交通地图的系统 | |
WO2015129045A1 (ja) | 画像取得システム、端末、画像取得方法および画像取得プログラム | |
JP6758160B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
CN107957258B (zh) | 道路标记识别装置 | |
CN110164164B (zh) | 利用摄像头拍摄功能增强手机导航软件识别复杂道路精准度的方法 | |
JP2008065087A (ja) | 静止物地図生成装置 | |
CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
WO2022176303A1 (ja) | 識別装置、識別プログラム、および識別方法 | |
JP2023174747A (ja) | 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム | |
CN111369760A (zh) | 一种基于无人机的夜间行人安全预警装置及方法 | |
JP2012215442A (ja) | 自位置特定システム、自位置特定プログラム及び自位置特定方法 | |
JP2017188164A (ja) | 画像取得装置、端末および画像取得システム | |
JP2018017668A (ja) | 情報処理装置、及び情報処理プログラム | |
JP2024026588A (ja) | 画像認識装置、及び画像認識方法 | |
JP6916975B2 (ja) | 標識位置特定システム及びプログラム | |
WO2023021736A1 (ja) | 識別装置、識別プログラム、および識別方法 | |
CN113269977B (zh) | 地图生成用数据收集装置以及地图生成用数据收集方法 | |
US20230081098A1 (en) | Deterioration diagnosis device, deterioration diagnosis method, and recording medium | |
CN111766601B (zh) | 识别装置、车辆控制装置、识别方法及存储介质 | |
JP2006331058A (ja) | 画像修正装置、地物認識装置及び地物認識方法 |