JP2015090679A - 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム - Google Patents
車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム Download PDFInfo
- Publication number
- JP2015090679A JP2015090679A JP2013231411A JP2013231411A JP2015090679A JP 2015090679 A JP2015090679 A JP 2015090679A JP 2013231411 A JP2013231411 A JP 2013231411A JP 2013231411 A JP2013231411 A JP 2013231411A JP 2015090679 A JP2015090679 A JP 2015090679A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- trajectory
- region
- time difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims description 67
- 238000000034 method Methods 0.000 title claims description 57
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 230000002123 temporal effect Effects 0.000 claims abstract description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 14
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 14
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 238000009825 accumulation Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 13
- 238000002372 labelling Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 11
- 238000012795 verification Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】周囲の明るさに影響されず、交通流動画像から車両領域の軌跡その他を抽出する。
【解決手段】道路上の一定の場所を撮影する撮像装置から、時間差のある複数の画像を取得し、複数の画像から、時間的に相前後する任意の2画像間で、輝度変化の点から2値化された時間差分画像を取得し、時間差分画像を累積し、かつ、その際に、相対的に輝度変化の小さい画像部分を除去することによって累積時間差分画像を取得し、累積時間差分画像をさらに時間方向に重ね合わせることで影領域が除去された車両領域の軌跡を抽出する。この軌跡から逆に、車両領域や車両速度を求めることができる。
【選択図】図3
【解決手段】道路上の一定の場所を撮影する撮像装置から、時間差のある複数の画像を取得し、複数の画像から、時間的に相前後する任意の2画像間で、輝度変化の点から2値化された時間差分画像を取得し、時間差分画像を累積し、かつ、その際に、相対的に輝度変化の小さい画像部分を除去することによって累積時間差分画像を取得し、累積時間差分画像をさらに時間方向に重ね合わせることで影領域が除去された車両領域の軌跡を抽出する。この軌跡から逆に、車両領域や車両速度を求めることができる。
【選択図】図3
Description
本発明は、道路を走行する車両を撮影した画像(交通流動画像)から車両が走行した軌跡を抽出し、抽出した軌跡に基づいて、ある時点の車両領域を抽出し、また、車両速度を推定する技術に関する。
交通渋滞や交通事故発生の状況を素早く把握し、対策を講じるため、我が国の国道事務所や高速道路会社では幹線道路にビデオカメラを設定し、動画像を取得している。例えば事故が発生している状況においては、動画像から得られる車両の走行速度や停止位置等の状況を監視員が総合的に勘案して事故と判断し、現場に作業員を派遣する業務が実際に行われている。
しかし、多数のビデオカメラ画像を同時に見ながら24時間対応するのは困難である。コンピュータを用いた自動処理によって、動画像からある時刻における各車両の位置を抽出し、そこから派生して各車両の軌跡や速度を求められれば、そのような基礎データと事故との関係を示す交通事故発生モデルを通じて、一定時間内の交通流や事故状況を把握することが可能になる。交通事故発生モデルを適用せずに最終的に人間が判定する場合であっても、大量のビデオ画像に対応するためには、その判断の材料となる走行車両に関するデータを自動抽出することが求められている。
交通情報工学の分野に限らず、広く画像処理の分野では、動画像を通じて自動車やオートバイの交通流を把握する研究がなされてきた(例えば、非特許文献1,2参照。)。高速道路上等、自動車を主とした交通流については、動画像による交通流からの車両台数の自動推定がなされつつある。
S.Kamijo, Y.Matsushita,K.Ikeuchi, M.Sakauchi, 「Traffic Monitoring and Accident Detection at Intersections」,IEEE Trans. ITS, Vol.1 No.2, pp108−118, 2000
上條俊介、松下康之、池内克史、坂内正夫、「時空間Markov Random Filedモデルによる隠れにロバストな車両トラッキング」、電子情報通信学会論文誌 D−II、Vol.J83−D−II、No.12、pp.2597−2609、2000
廣田隼、田口亮、保黒政大、梅崎太造:グラウンドを対象とした動体検出システムの開発、第18回画像センシングシンポジウム論文集、IS2−13,2012
久徳遙矢、出口大輔、高橋友和、目加田慶人、井手一郎、村瀬洋:過去の車載カメラ映像との時空間差分による不特定障害物検出、画像の認識・理解シンポジウム論文集(MIRU2012)、IS2−70,2012
野中陽介、島田敬士、長原一、谷口倫一郎:多様な背景変動環境における事例ベース背景モデルの設計とその評価、画像の認識・理解シンポジウム論文集(MIRU2012)、IS2−36,2012
村崎和彦、数藤恭子、島村潤、森本正志:物体領域とその隣接関係獲得のための境界情報を考慮したトピックモデル、画像の認識・理解シンポジウム論文集(MIRU2012)、OS8−01,2012
しかしながら、従来の画像処理では、車両の精確な輪郭ではなく大まかな矩形で位置を表示するものが多く、実際の3次元空間はおろか画像空間上での位置の把握が困難である。道路行政の実務では、道路政策の実施に伴う車両の停止位置や軌跡、速度の変化を動画像から自動的に把握することが望まれている。そのためには、まず画像空間上で精確な車両領域を把握し、次に画像空間から現実の3次元空間に投影変換して、位置や速度等を定量的に評価する必要がある。
一方、昼間の動画像において太陽光による建物や車両の影が発生する場合、画像空間上で車両領域を抽出しようとすると影が混入してしまう。また太陽光の強度は常に一定とは限らず、急激な日照変化が生じることもある。しかしながら、影の混入や日照変化に頑健な手法は存在しないといえる。さらに実務上問題であるのが、昼間だけでなく夜間も運用可能なアルゴリズムがほとんど存在しない点である。夜間は車両のヘッドライトやテールライトだけでなく、街灯や建物からの光等、車両抽出においてノイズとなる要素が多数存在する。
動画像からの交通流解析では、大別すると背景差分法と時間差分法が広く用いられてきた。背景差分法は、一定時間内の画像輝度値の平均値や中央値を採用して背景を作成し、当該フレーム画像との差分を生成する手法が基本的である。より高度な方法として、学習を通じて更新頻度を決定する方法(非特許文献3)、過去に作成された背景画像との差分を取る方法(非特許文献4)、観測された特徴量に着目して背景モデルを生成する方法(非特許文献5)等が提案されてきた。また領域分割と類似画像の検索を併用することで、移動体そのものを直接抽出する方法(非特許文献6)も報告されている。
一方、時間差分(またはフレーム間差分)法は単純に異なるフレーム画像の輝度値の差を採用する方法で、時間間隔の設定によって得られる結果が変わってくる。
急激な日照変化に対しては背景差分画像を採用する手法では背景画像が安定せず、車両が欠損して抽出されたり、あるいは車両や建物の影が除去されない状態で抽出されたりする。いずれも車両の精確な位置が推定できなくなるだけでなく、領域が小さすぎて車両領域と認識されなくなったり、あるいは反対に過剰な領域抽出のために複数の車両が誤って一体して抽出されたりする。影領域を除去するために、画像上の各画素あるいは空間的にサンプリングした画素に対して予め影の輝度値を指定する方法も考えられる。しかし日照条件が変化する環境下では影の輝度値が変化するため、予め影の輝度値を指定する方法では頑健に車両を抽出することが困難になると予想される。
急激な日照変化に対しては背景差分画像を採用する手法では背景画像が安定せず、車両が欠損して抽出されたり、あるいは車両や建物の影が除去されない状態で抽出されたりする。いずれも車両の精確な位置が推定できなくなるだけでなく、領域が小さすぎて車両領域と認識されなくなったり、あるいは反対に過剰な領域抽出のために複数の車両が誤って一体して抽出されたりする。影領域を除去するために、画像上の各画素あるいは空間的にサンプリングした画素に対して予め影の輝度値を指定する方法も考えられる。しかし日照条件が変化する環境下では影の輝度値が変化するため、予め影の輝度値を指定する方法では頑健に車両を抽出することが困難になると予想される。
かかる課題に鑑み、本発明は、周囲の明るさに影響されず、交通流動画像から車両領域の軌跡その他を抽出する技術を提供することを目的とする。
(1)本発明は、道路上の一定の場所を撮像装置によって撮影した画像に基づいて、コンピュータを用いて実行する車両軌跡抽出方法であって、(a)前記撮像装置から、時間差のある複数の画像を取得し、(b)前記複数の画像から、時間的に相前後する任意の2画像間で、輝度変化の点から2値化された時間差分画像を取得し、(c)前記時間差分画像を累積し、かつ、その際に、相対的に輝度変化の小さい画像部分を除去することによって累積時間差分画像を取得し、(d)前記累積時間差分画像をさらに時間方向に重ね合わせることで車両領域の軌跡を抽出する、というものである。
このような車両軌跡抽出方法では、時間差分画像の取得により、周囲の明るさの変化による影響を低減することができる。特に、時間差を十分に小さくすることで、周囲の明るさの変化による影響を実質的に排除することができる。一方、時間差分画像では車両領域が欠損するが、累積時間差分画像の取得により、車両領域の全貌を捉えることができる。また、車両領域に比べて影領域は相対的に輝度変化が少ないことに基づき、相対的に輝度変化の小さい画像部分を除去することで、影領域を除去することができる。但し、この段階では、車両領域に若干の欠損がある。そこで、累積時間差分画像をさらに時間方向に重
ね合わせて欠損を低減し、車両軌跡を抽出する。
ね合わせて欠損を低減し、車両軌跡を抽出する。
(2)また、(1)において、前記車両領域の軌跡は、前記累積時間差分画像に対応する領域が画像上の端部にある場合を初期値として、時間を遡るように前記累積時間差分画像を重ね合わせてもよい。
この場合、車両領域の軌跡を抽出する起点を画一化することができる。なお、「累積時間差分画像に対応する領域」とは例えば、累積時間差分画像へのラベリングでラベル付けされた領域である。
この場合、車両領域の軌跡を抽出する起点を画一化することができる。なお、「累積時間差分画像に対応する領域」とは例えば、累積時間差分画像へのラベリングでラベル付けされた領域である。
(3)また、(1)又は(2)の車両軌跡抽出方法によって得た前記軌跡に基づく車両領域抽出方法としては、時間的な変化の無い背景画像と、車両領域を抽出しようとする時点の画像との差分である2値化された背景差分画像を取得し、前記軌跡と、当該背景差分画像との論理積をとることによって、前記時点の車両領域を抽出するものである。
この場合、背景差分画像には車両領域と影領域とが含まれている。一方、軌跡には、影領域が含まれていない。従って、軌跡と背景差分画像との論理積により、車両領域のみが抽出される。背景差分画像は、車両領域を欠損しにくいので、この方法は、精確な車両領域の抽出に好適である。
この場合、背景差分画像には車両領域と影領域とが含まれている。一方、軌跡には、影領域が含まれていない。従って、軌跡と背景差分画像との論理積により、車両領域のみが抽出される。背景差分画像は、車両領域を欠損しにくいので、この方法は、精確な車両領域の抽出に好適である。
(4)また、(1)又は(2)の車両軌跡抽出方法によって得た前記軌跡に基づく車両領域抽出方法としては、車両領域を抽出しようとする時点において、車両の影領域を除去しない程度に前記2値化の閾値を調整した第2の累積時間差分画像を取得し、前記軌跡と、当該第2の累積時間差分画像との論理積をとることによって、前記時点の車両領域を抽出する車両領域抽出方法であってもよい。
この場合、第2の累積時間差分画像には車両領域と影領域とが含まれている。一方、軌跡には、影領域が含まれていない。従って、軌跡と第2の累積時間差分画像との論理積により、車両領域のみが抽出される。車両領域を抽出しようとする時点において周囲の急激な明るさの変化がある場合には、この方法が好適である。
この場合、第2の累積時間差分画像には車両領域と影領域とが含まれている。一方、軌跡には、影領域が含まれていない。従って、軌跡と第2の累積時間差分画像との論理積により、車両領域のみが抽出される。車両領域を抽出しようとする時点において周囲の急激な明るさの変化がある場合には、この方法が好適である。
(5)また、(3)又は(4)の車両領域抽出方法によって抽出した車両領域に基づく車両速度推定方法としては、前記車両領域を鳥瞰画像に変換した場合の位置と、その時刻とについて、2地点での差分をとることにより、車両速度を推定するものである。
この場合、撮影が真上からでなく斜めからであっても、車両速度を推定することができる。
この場合、撮影が真上からでなく斜めからであっても、車両速度を推定することができる。
(6)また、車両軌跡抽出プログラムとしては、(1)又は(2)の車両軌跡抽出方法を、コンピュータによって実現させるためのものである。
(7)また、車両領域抽出プログラムとしては、(3)又は(4)の車両領域抽出方法を、コンピュータによって実現させるためのものである。
(8)また、車両速度推定プログラムとしては、(5)の車両速度推定方法を、コンピュータによって実現させるためのものである。
(7)また、車両領域抽出プログラムとしては、(3)又は(4)の車両領域抽出方法を、コンピュータによって実現させるためのものである。
(8)また、車両速度推定プログラムとしては、(5)の車両速度推定方法を、コンピュータによって実現させるためのものである。
(9)また、車両軌跡抽出システムとしては、道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて(1)又は(2)の車両軌跡抽出方法を実行するコンピュータと、を備えたものである。
(10)また、車両領域抽出システムとしては、道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて(3)又は(4)の車両領域抽出方法を実行するコンピュータと、を備えたものである。
(11)また、車両速度推定システムとしては、道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて(5)の車両速度推定方法を実行するコンピュータと、を備えたものである。
(10)また、車両領域抽出システムとしては、道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて(3)又は(4)の車両領域抽出方法を実行するコンピュータと、を備えたものである。
(11)また、車両速度推定システムとしては、道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて(5)の車両速度推定方法を実行するコンピュータと、を備えたものである。
本発明によれば、周囲の明るさに影響されず、かつ、影領域を排除して、交通流動画像から車両軌跡を精確に抽出することができる。また、車両軌跡は、影領域を伴わない車両領域の時間的な重ね合わせであるため、当該車両軌跡に基づいて、逆に、ある時点の車両領域や、車両速度を求めることも可能となる。
以下、本発明の一実施形態について図面を参照して説明する。本発明は、車両軌跡抽出、車両領域抽出、及び、車両速度推定についての、方法/プログラム/システムである。なお、プログラムは、これを記憶した媒体としても成立し得る。
《システム構成例》
図1は、システム構成の一例を示すブロック図である。車両軌跡抽出システム(車両領域抽出システム、車両速度推定システムでもある。)1は、撮像装置としてのビデオカメラ2と、コンピュータ3とによって構成される。コンピュータ3は、CPU31と、バス32を介してCPU31と接続されたメモリ33と、ハードディスク等の補助記憶装置34と、インターフェース35,36,37と、インターフェース36及び37にそれぞれ接続されたドライブ38及びディスプレイ39とを含むものである。インターフェース35には、ビデオカメラ2が接続される。車両軌跡抽出プログラム(車両領域抽出プログラム、車両速度推定プログラムでもある。)は、例えば、これを記憶した媒体4をドライブ38に装着して補助記憶装置34に予めインストールされているか、又は、通信回線を介して補助記憶装置34にダウンロードし、インストールされている。
図1は、システム構成の一例を示すブロック図である。車両軌跡抽出システム(車両領域抽出システム、車両速度推定システムでもある。)1は、撮像装置としてのビデオカメラ2と、コンピュータ3とによって構成される。コンピュータ3は、CPU31と、バス32を介してCPU31と接続されたメモリ33と、ハードディスク等の補助記憶装置34と、インターフェース35,36,37と、インターフェース36及び37にそれぞれ接続されたドライブ38及びディスプレイ39とを含むものである。インターフェース35には、ビデオカメラ2が接続される。車両軌跡抽出プログラム(車両領域抽出プログラム、車両速度推定プログラムでもある。)は、例えば、これを記憶した媒体4をドライブ38に装着して補助記憶装置34に予めインストールされているか、又は、通信回線を介して補助記憶装置34にダウンロードし、インストールされている。
以下、方法(車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法)を主体に説明するが、実施形態の要旨としては、少なくとも[課題を解決するための手段]において述べた方法/プログラム/システムを含む。
《撮影場所》
交通流動画像の撮影場所としては交通量の多い交差点を選定し、歩道橋上にビデオカメラ2を設置した。そして、29.97フレーム/sで撮影された動画像から29.97フレーム/sの枚数で出力した画像を使用した。撮影中に雲が太陽に架かり、撮影していた道路空間全体の太陽照度が変化することもあり、安定した背景画像を生成するには条件が厳しい状況であった。取得画像は1920×1080画素の大きさであったが、そのままの大きさの画像を取り扱うと領域へのラベリング等の処理で時間を要した。そのため、480×270画素に縮小して処理を進めた。
交通流動画像の撮影場所としては交通量の多い交差点を選定し、歩道橋上にビデオカメラ2を設置した。そして、29.97フレーム/sで撮影された動画像から29.97フレーム/sの枚数で出力した画像を使用した。撮影中に雲が太陽に架かり、撮影していた道路空間全体の太陽照度が変化することもあり、安定した背景画像を生成するには条件が厳しい状況であった。取得画像は1920×1080画素の大きさであったが、そのままの大きさの画像を取り扱うと領域へのラベリング等の処理で時間を要した。そのため、480×270画素に縮小して処理を進めた。
《基本的な考え方》
使用する画像は、太陽光を受けて建物や車両の影が発生しており、また数秒間で急激に照度が変化する様子も記録されている。日照変化への対応という点では背景を逐次更新する枠組み等が多数提唱されている。しかし、その場合でも車両の影を十分に除去できるとは言えない。影を十分に除去しない場合、異なる車線を並走する左右の車両で、あるいは同一車線間を走行する前後の車両が連結して同一車両として抽出される結果が生じやすい。従って不精確な車両軌跡が得られることになる。
使用する画像は、太陽光を受けて建物や車両の影が発生しており、また数秒間で急激に照度が変化する様子も記録されている。日照変化への対応という点では背景を逐次更新する枠組み等が多数提唱されている。しかし、その場合でも車両の影を十分に除去できるとは言えない。影を十分に除去しない場合、異なる車線を並走する左右の車両で、あるいは同一車線間を走行する前後の車両が連結して同一車両として抽出される結果が生じやすい。従って不精確な車両軌跡が得られることになる。
図2は、背景差分画像の処理(左半分)と、時間差分画像の処理(右半分)とを、同一の原画像で比較した図である。まず、左側の(a)がビデオカメラからの、あるフレーム画像、(b)は、フレーム間で時間的な変化の無い背景画像、そして(c)が、(a)と(b)との差分をとった背景差分画像である。背景差分画像は日照条件が安定している限り、車両領域を精確に捉えており、影領域の分離ができないという問題以外には大きな問題は生じない。
しかし、この影領域だけでも十分に大きな課題である。影領域の輝度値は一定しないため、単純に特定の輝度値を指定しても十分に分離できない。また、複雑な色彩(例えば、車体に広告が付いたバスや種々の物資を荷台に積載したトラック等)や複雑な形状(例えば、高所作業車やクレーン車等)を有する車両に対しては、車両と道路の境界線をエッジとして抽出し、分離する手法が全く効果をなさない。
図2の(d)は、(a)と同じ画像、(e)は、(d)よりも微少な時間差のあるフレーム画像、そして(f)は、(d)と(e)との時間差分画像である。このように、時間差分画像は車両の欠損が大きく全体を把握するのは困難であるが、短時間における時間差分画像では日照変化の影響を受けにくい。
そこで、図3に示す車両軌跡/車両領域の抽出アルゴリズム及び図4に示す車両速度推定のアルゴリズムを用意した。これらの要部を概説すると、まず、図3において、時間差分画像を基本に考え、時間差分画像を累積して「累積時間差分画像」と呼ぶ画像を生成する(図3の(1))。その際、累積時間差分画像における影領域の特性を利用して影領域を除去し、車両領域を特定する(但しこの時点では車両の欠損領域がある。)。そして、累積時間差分画像をさらに重ね合わせることで、車両領域の軌跡を先に決定する(図3の(4))。この軌跡には、ほぼ欠損領域が含まれない。
次に、影領域が含まれない車両軌跡と、影領域を含む背景差分画像(図3の(2))との論理積を計算することで車両領域を決定する(図3の(5)(6))。背景差分画像が異常値を示す場合には、代わりに累積時間差分画像(図3の(3))を用いて車両領域を決定する。
また、図4において、軌跡画像、車両領域画像を、鳥瞰画像に変換し、車両領域の移動量を求めることで車両速度を決定する。
この方法の大きな特徴は、欠損がある車両領域を連結することで車両軌跡を先に決定し、そこから遡って車両位置を決定することである。この発想の転換によって、日照変化にも頑健に、車両軌跡、車両領域を推定し、車両速度を推定することが可能となる。
この方法の大きな特徴は、欠損がある車両領域を連結することで車両軌跡を先に決定し、そこから遡って車両位置を決定することである。この発想の転換によって、日照変化にも頑健に、車両軌跡、車両領域を推定し、車両速度を推定することが可能となる。
《累積時間差分画像を用いた軌跡の推定》
(a)昼間画像
まず、人間が移動物体を識別する状況を想定してみる。車両がどのような複雑な形状や色彩であっても、移動速度が一定であれば事前の知識が十分でなくても同一の移動物体として認識することができる。ある時刻と次の時刻の間で生じた相対的な変化箇所を把握する能力によって、移動物体を認識できていると考えて差し支えない。
(a)昼間画像
まず、人間が移動物体を識別する状況を想定してみる。車両がどのような複雑な形状や色彩であっても、移動速度が一定であれば事前の知識が十分でなくても同一の移動物体として認識することができる。ある時刻と次の時刻の間で生じた相対的な変化箇所を把握する能力によって、移動物体を認識できていると考えて差し支えない。
次に、時間差分画像の特徴を考えてみる。例えば、特定の画素において時刻tでは車両であったが微小時間t秒後の時刻t+Δtには道路に変化する場合、あるいはその逆である場合、一部の例外を除いては(車両の端と道路の画像輝度値が極めて類似している場合等)、輝度値の変化の絶対値を計算することでそのような変化領域を確実に把握できる。また時刻t、t+Δt共に車両であっても、走行中であれば両時刻における車両の位置は異なり、画像輝度値も異なる可能性が高まる。その場合にも時間差分画像に表れる可能性が高い。その一方で日照変化に対しては、1/30秒程度の極短い時間間隔で作成される場合には、日照変化の影響は大きく緩和できると考えられる。よって、日照変化の影響にも頑健な車両抽出という観点から、時間差分画像の活用が有効であると考えられる。
一方で、例えば屋根やボンネットが同一色で、画像上で同様の輝度値を示す場合には、時間差分画像上では欠損してしまう。しかし、時間差分画像を一定時間内で順次重ね合わせると(以下、「累積時間差分画像」と呼ぶ。)、欠損した領域の大半は埋め合わされる。よって累積差分画像を作成することで、時間差分画像における領域欠損の問題は大きく解消される。
ここで、時間差分画像における影領域の特徴を考える。車両や建物の影領域は、短時間内ではその影を生成する元となる物体の輝度値に関係なく、同一の輝度値を有する。そのため、影の時間差分画像は影の輪郭部分だけが残ることになる。他方、車両領域では上述のように、車両を構成する各部位の輝度値が異なるために、時間差分画像上では車両の輪郭以外の領域も多数含まれる結果になる。仮に車両本体やタイヤを含めて全てが同一輝度値で構成されている場合でも、太陽光の反射成分のために画像上では同一輝度値とならないことが多い。
この特性を踏まえて、影領域を除去する方法を述べる。輝度値に対する一定の閾値を設けた上で、時間差分画像を2値化する。輝度値の変化が大きな画素は白色、そうでない場合には黒色が便宜上割り当てられる。一定時間内の2値化時間差分画像を重ねて累積時間差分画像を作成する際に、白色である回数を計数する。影領域では大半が1回、多くても2回であるのに対し、車両領域は大半が2回以上となる。そこで計数回数が2回以下の場合にその画素を車両領域ではないと判定して、ラベリング処理を適用し、連結された領域にラベルを付与する。
図5は、累積時間差分画像の作成処理を示す図である。(a)は原画像、(b)は累積時間差分画像、(c)はラベリング処理を適用した累積時間差分画像である。(c)により明らかなように、影領域の大半を除去することができる。その反面、車両の一部を欠損してしまう。
そこで、欠損した車両領域が含まれる累積積分画像を、さらに時間方向に重ね合わせることで車両領域の欠損がなくなり車両軌跡が決定される。
そこで、欠損した車両領域が含まれる累積積分画像を、さらに時間方向に重ね合わせることで車両領域の欠損がなくなり車両軌跡が決定される。
以上定性的に述べたことを、数式を用いて記述する。使用する動画像のフレームレートをN枚/秒とすると、ここでは、N枚/秒の静止画像を利用するものとする。以下の式で”t+1”は時刻t+1/N秒を意味する。また、画素を単位とする任意の2次元画像座標を(x,y)と仮定する。
まず時間差分画像の生成を考える。時刻tにおける時間差分画像Itm(x,y,t)は式(1)で与えられる。なお、数式では英字フォントを斜体で表しているが、その意味するところは、標準体と同じである(以下同様)。
まず時間差分画像の生成を考える。時刻tにおける時間差分画像Itm(x,y,t)は式(1)で与えられる。なお、数式では英字フォントを斜体で表しているが、その意味するところは、標準体と同じである(以下同様)。
ここで、Ttmは時間差分画像生成における輝度値の閾値とする。
次にNtm枚の時間差分画像を用いて、累積時間差分画像を生成することを考える。累積時間差分画像I’tm(x,y,t|Ntm)は式(2)で与えられる。
次にNtm枚の時間差分画像を用いて、累積時間差分画像を生成することを考える。累積時間差分画像I’tm(x,y,t|Ntm)は式(2)で与えられる。
このI’tm(x,y,t|Ntm)に対し、通過回数で2値化することを考える。2値化後の画像をIsd(x,y,t|Ntm)と表現すると、式(3)と表せる。
ここで、Tsdは影領域の特性を考慮した影領域除去のための閾値(単位は回数)とする。昼間画像の場合、Tsd=3とする。
この2値化した累積時間差分画像の各領域に対してラベリングを実施する。fはラベリングを表す写像とし、ラベリングの結果、以下の写像が行われたと考える。
この2値化した累積時間差分画像の各領域に対してラベリングを実施する。fはラベリングを表す写像とし、ラベリングの結果、以下の写像が行われたと考える。
ここで,l(t)は時刻tの2値化した累積時間差分画像において生成されたラベルIDとする。生成される領域数は時刻tに依存する。
時刻tでの領域l(t)が追跡対象の初期条件を満たす(本例では縦の交通流を想定し、画像の下端あるいは右端に領域が接しているという条件を利用している。)として、過去に遡って追跡していくことを考える。時刻tでの領域l(t)と同一の可能性が最も高い時刻t−Δtでの領域のラベルIDl(t−Δt)は式(5)に従い決定される。
時刻tでの領域l(t)が追跡対象の初期条件を満たす(本例では縦の交通流を想定し、画像の下端あるいは右端に領域が接しているという条件を利用している。)として、過去に遡って追跡していくことを考える。時刻tでの領域l(t)と同一の可能性が最も高い時刻t−Δtでの領域のラベルIDl(t−Δt)は式(5)に従い決定される。
但し、式(6)が満たされなければ追跡は終了するものとする。
ここで、Tsrは領域間の重なりを表す割合を表す閾値とする。
時刻tのラベルIDl(t)に対する領域を初期値として追跡した結果、式(7)のようにnlb個のラベルIDの集合が得られたとする。
時刻tのラベルIDl(t)に対する領域を初期値として追跡した結果、式(7)のようにnlb個のラベルIDの集合が得られたとする。
これを用いて同一領域の和集合を取ることで、l(t)を初期値とする車両軌跡を表す領域Str(l(t))が、式(8)を用いて得られる。
(b)夜間画像
前項では昼間の日照変化にも頑健な車両軌跡抽出に焦点を当てて説明した。一方、夜間画像ではそもそも車両領域が背景の暗闇に紛れることが多く、車両自体が上述の影と同様に通過回数が1〜2回に留まってしまう。昼間と同様に2回以下を除去すると車両の大半が除去されることになるため、夜間画像ではこの通過回数による除去判定を行わないものとする。つまり、式(3)において、Tsd=1と設定して処理を行う。
前項では昼間の日照変化にも頑健な車両軌跡抽出に焦点を当てて説明した。一方、夜間画像ではそもそも車両領域が背景の暗闇に紛れることが多く、車両自体が上述の影と同様に通過回数が1〜2回に留まってしまう。昼間と同様に2回以下を除去すると車両の大半が除去されることになるため、夜間画像ではこの通過回数による除去判定を行わないものとする。つまり、式(3)において、Tsd=1と設定して処理を行う。
(c)生成画像の時間間隔
影領域の除去においては日照変化の影響を極力抑えるために、時間差分画像生成での時間間隔は最小限に設定した方がいいと考えられる。そのため時間差分画像の生成では、29.97フレーム/秒の静止画像全てを用いることを前提とする。一方で車両位置や軌跡は1秒間に数地点把握できれば十分と考えられる。例えば5フレーム間隔で生成する場合には、時速60km/hの車両は約2.8m移動することになり、1画像あたり0.1mの解像度に設定した画像では約28画素の移動量に過ぎない。そのため累積時間差分画像や後に説明する背景差分画像は、全フレームに対して処理するのではなく、一定のフレーム間隔fで行う。
影領域の除去においては日照変化の影響を極力抑えるために、時間差分画像生成での時間間隔は最小限に設定した方がいいと考えられる。そのため時間差分画像の生成では、29.97フレーム/秒の静止画像全てを用いることを前提とする。一方で車両位置や軌跡は1秒間に数地点把握できれば十分と考えられる。例えば5フレーム間隔で生成する場合には、時速60km/hの車両は約2.8m移動することになり、1画像あたり0.1mの解像度に設定した画像では約28画素の移動量に過ぎない。そのため累積時間差分画像や後に説明する背景差分画像は、全フレームに対して処理するのではなく、一定のフレーム間隔fで行う。
(d)軌跡抽出の対象とする初期領域
ここでは縦方向の交通流を想定していることから、累積時間差分画像へのラベリングでラベル付けされた領域が、画像下端(直進車)あるいは右端(左折車)に接している場合に軌跡抽出対象の初期値として利用する。その初期値から時間を遡って同一領域の可能性が高い領域を逐次検出していく。
ここでは縦方向の交通流を想定していることから、累積時間差分画像へのラベリングでラベル付けされた領域が、画像下端(直進車)あるいは右端(左折車)に接している場合に軌跡抽出対象の初期値として利用する。その初期値から時間を遡って同一領域の可能性が高い領域を逐次検出していく。
累積時間差分画像で得られる領域は、影領域の除去を優先しているために車両の一部も欠損している。そのため、単純にフレーム間隔tで同一領域の検出を行う際に、t枚の時間差分画像を用いて生成された累積時間差分画像を利用すると、追跡能力が低下する。そこで、安定した車両領域の追跡のために、累積時間差分画像の生成において、Ntm≒2Δt程度の時間差分画像を用いることとする。例えばt=5で時間差分画像をNtm=11と仮定する。累積時間差分画像における対象時間の設定の仕方は様々であるが、例えば[t−5:t+5],[t:t+10],[t+5,t+15]という対象時間を設定できる。このように時間的に互いに重なり合うように累積時間差分画像を生成することで軌跡の抽出、その結果、車両領域や速度の推定も安定してくる。
《軌跡を用いた車両領域の抽出》
(a)背景差分画像の利用
背景差分画像から得られる影を含む車両領域と影を含まない軌跡領域の積(論理積)を取ることで、影なしの車両領域が決定される。日照変化の激しい昼間への応用も念頭に置いて、一定間隔で背景画像を更新し、背景差分画像を作成する。以下、数式を用いて説明する。
まず、時刻tにおける背景差分画像を生成する。画像座標(x,y)において、Nbk(奇数とする)枚の輝度値から構成される集合をI(t|Nbk)を式(9)のように表す。
(a)背景差分画像の利用
背景差分画像から得られる影を含む車両領域と影を含まない軌跡領域の積(論理積)を取ることで、影なしの車両領域が決定される。日照変化の激しい昼間への応用も念頭に置いて、一定間隔で背景画像を更新し、背景差分画像を作成する。以下、数式を用いて説明する。
まず、時刻tにおける背景差分画像を生成する。画像座標(x,y)において、Nbk(奇数とする)枚の輝度値から構成される集合をI(t|Nbk)を式(9)のように表す。
I(t|Nbk)を昇順(または降順)に並び替えた輝度値の集合をI’(t|Nbk)とし、式(10)のように表せるとする。
I(t|Nbk)もI’(t|Nbk)も、本来は(x,y)を引数に持ち、I(x,y,t|Nbk)もI’(x,y,t|Nbk)と表現すべきだが、スペースの都合で割愛している。
背景画像Ibk(x,y,t|Nbk)は単純にI’(x,y,t|Nbk)の中央値を採用して生成する。
背景画像Ibk(x,y,t|Nbk)は単純にI’(x,y,t|Nbk)の中央値を採用して生成する。
背景差分画像Ibk(x,y,t|Nbk)は背景画像Ibk(x,y,t|Nbk)を利用して、式(12)で得られるとする。
ここで、Tbkは背景差分画像生成における輝度値の閾値とする。
累積時間差分画像と同様に、2値化した背景差分画像の各領域に対してもラベリングを実施する。fはラベリングを表す写像とし、ラベリングの結果、以下の写像が行われたと考える。
累積時間差分画像と同様に、2値化した背景差分画像の各領域に対してもラベリングを実施する。fはラベリングを表す写像とし、ラベリングの結果、以下の写像が行われたと考える。
ここで、b(t)は時刻tの2値化した背景差分画像において生成されたラベルIDとする。生成される領域数は時刻tに依存する。
生成された領域の中で、累積時間差分画像中で注目している領域l(t)と合致する可能性が最も高い領域IDは式(14)で与えられる。最終的に、時刻tにおける車両領域vvh(t,l(t))は式(15)を用いて決定される。
生成された領域の中で、累積時間差分画像中で注目している領域l(t)と合致する可能性が最も高い領域IDは式(14)で与えられる。最終的に、時刻tにおける車両領域vvh(t,l(t))は式(15)を用いて決定される。
(b)累積時間差分画像の利用
前項では背景差分画像を利用した車両領域の推定を説明したが、昼間の短時間での日照変化が生じる場合には背景画像が安定せず、その結果として背景差分画像での影付き車両領域が過大あるいは過小に推定されることがある。また夜間画像でも車両のヘッドライトで背景画像が安定しないだけでなく、背景画像が安定していても照度不足のために背景差分画像上では車両が欠損した状態で現れることが多い。そのため、背景差分画像が使えない時の代替手段を考える必要がある。
前項では背景差分画像を利用した車両領域の推定を説明したが、昼間の短時間での日照変化が生じる場合には背景画像が安定せず、その結果として背景差分画像での影付き車両領域が過大あるいは過小に推定されることがある。また夜間画像でも車両のヘッドライトで背景画像が安定しないだけでなく、背景画像が安定していても照度不足のために背景差分画像上では車両が欠損した状態で現れることが多い。そのため、背景差分画像が使えない時の代替手段を考える必要がある。
そこで、累積時間差分画像を活用する。例えば、[t−10,t]と[t,t+10]の時間帯で、通過回数1回以上の画素を残して作成した2つの累積時間差分画像が存在すると仮定する。通過回数1回以上を対象にしているため、その累積時間差分画像には昼間撮影時の場合には影が含まれることもあるが、車両の欠損は生じない。その両者の積を取れば、時刻t における車両領域の候補が生成される。
背景差分画像を用いて車両領域を確定する際に信頼性が低いと判定する方法を述べる。式(3)に示すように、昼間画像に対しては通過回数Tsd=3として累積時間差分画像を生成する。この画像上の車両に相当する領域面積と、当該領域に対応する背景差分画像上の領域面積を比較する。背景差分画像が安定的に生成されていれば、両者の差は影領域や一部の車両自体の欠損に留まり、大きな差にはならない。両者の領域面積を比較することで背景差分画像の信頼性を自動的に判定できる。
この累積時間差分画像を用いれば、前項の背景差分画像を使用する必要がないようにも思える。しかしながら、実画像に適用して確認した結果、特に昼間画像では隣接する車線を並走する2台の車両が影を通じて1台として抽出されることがあった。影なしの軌跡との積を計算しても、他の車両の一部が当該車両の領域と誤認識される事例が複数確認された。従って、昼間画像においては累積時間差分画像を用いて車両領域を確定する方法は、背景差分画像を用いて確定する方法を補完するものとする。夜間画像においては、背景差分画像自体の信頼性が低いことから、最初から累積時間差分画像を用いて車両領域を確定する方法を適用する。
(c)車両領域の補正
前項で累積時間差分画像を用いた車両領域推定方法について述べた。しかしながら、この場合でも車両領域が安定しないことがある。そのため、暫定的に車両領域を推定する際に領域の上下限を記録しておく。この上下限に限定された軌跡領域面積と暫定的な車両領域面積との比を計算する。この比が一定値を下回れば車両領域には欠損が生じている可能性もあると仮定して、車両の輪郭を精確に推定することはあきらめて、推定された上下限で囲まれた軌跡領域を車両領域として利用する。
前項で累積時間差分画像を用いた車両領域推定方法について述べた。しかしながら、この場合でも車両領域が安定しないことがある。そのため、暫定的に車両領域を推定する際に領域の上下限を記録しておく。この上下限に限定された軌跡領域面積と暫定的な車両領域面積との比を計算する。この比が一定値を下回れば車両領域には欠損が生じている可能性もあると仮定して、車両の輪郭を精確に推定することはあきらめて、推定された上下限で囲まれた軌跡領域を車両領域として利用する。
《鳥瞰画像への変換による3次元空間上での軌跡,位置の推定》
画像空間上で車両領域や軌跡を抽出しても、例えば実空間に対応した車両間距離を知ることはできない。そこで、鳥瞰画像を活用して、実空間の3次元座標系に変換する。鳥瞰画像とは本来は任意の天頂角から見た斜め画像を意味するが、画像処理の分野では天頂角0°の真上から見下ろす角度で生成された画像を指すことが多い。そのため、鳥瞰画像とは、真下を見下ろす画像と位置付けるものとする。
画像空間上で車両領域や軌跡を抽出しても、例えば実空間に対応した車両間距離を知ることはできない。そこで、鳥瞰画像を活用して、実空間の3次元座標系に変換する。鳥瞰画像とは本来は任意の天頂角から見た斜め画像を意味するが、画像処理の分野では天頂角0°の真上から見下ろす角度で生成された画像を指すことが多い。そのため、鳥瞰画像とは、真下を見下ろす画像と位置付けるものとする。
画像上の識別可能な点を一定数以上選び、画像での二次元座標と、地上測量で得られた地上の三次元空間上の三次元座標との組合せを用意する。三次元座標空間の座標系として地上座標系(X,Y,Z)とカメラ座標系(x,y,z)を想定し、また(xi,yi)を二次元の画像座標とする。座標系が右手系でも左手系でも、また画像座標の原点に関わらず本質的には変わらない。三次元空間内の点Piの地上座標(Xi,Yi,Zi)と画像座標(xi,yi)との間に、式(16)の関係が成り立つ。
射影投影式には未知のパラメータ(b11,・・・,b33)が11個存在し、各点につき式(16)に示す2式が得られるので、6点以上の地上座標と画像座標を対応させてパラメータを推定する。目的関数を式(17)のように設定し、計測点の画像座標と地上座標から推定された画像座標との残差の2乗和が最小となるように、非線形最適化手法を用いて各パラメータの推定値を決定する。
画像座標のある点(xj,yj)から地上座標(Xj,Yj,Zj)を推定するには、道路面の高さZを与えとして与え、式(17)を解くことで求められる。つまり鳥瞰画像上の二次元座標は、実空間に対応した、実空間の特定の高さにおける座標系といえる。但し、座標原点や軸の設定といった実空間の三次元座標の設定の仕方は任意であり、あくまでも画像座標から得られる距離が実空間における距離に容易に変換できるために利用している。
《車両位置の移動量を利用した速度の推定》
既に述べたように、斜めに撮影された2次元画像と測量データを用いて鳥瞰画像に変換でき、実空間に対応した3次元空間上で評価が可能となる。この画像上に写る車両領域に含まれる同一地点の位置の差分を計算することで、車両速度を推定できる。また同一地点の検出が困難な場合には、例えば進行方向に対する車両領域の先端位置の変化量を算出することで、厳密な方向は分からないものの、速さを求めることができる。
既に述べたように、斜めに撮影された2次元画像と測量データを用いて鳥瞰画像に変換でき、実空間に対応した3次元空間上で評価が可能となる。この画像上に写る車両領域に含まれる同一地点の位置の差分を計算することで、車両速度を推定できる。また同一地点の検出が困難な場合には、例えば進行方向に対する車両領域の先端位置の変化量を算出することで、厳密な方向は分からないものの、速さを求めることができる。
《検証結果》
鳥瞰画像への変換に必要な測量作業を2012年11月2日に実施した。写真に写っている位置を特定しやすい地物(道路上の白線の隅)に対し、SOKKIA社製(SOKKIAは登録商標)ノンプリズム対応型トータルステーション(TS)CX107Fを用いて、TSを原点とする座標系における三次元座標を計測した。図6は、ノンプリズム型TSを用いた測量での計測対象点を示す図である。ノンプリズム型TSを用いると反射ターゲットは不要であるものの、大きな誤差が含まれることがあるため、反射ターゲットも追加して計測した。
鳥瞰画像への変換に必要な測量作業を2012年11月2日に実施した。写真に写っている位置を特定しやすい地物(道路上の白線の隅)に対し、SOKKIA社製(SOKKIAは登録商標)ノンプリズム対応型トータルステーション(TS)CX107Fを用いて、TSを原点とする座標系における三次元座標を計測した。図6は、ノンプリズム型TSを用いた測量での計測対象点を示す図である。ノンプリズム型TSを用いると反射ターゲットは不要であるものの、大きな誤差が含まれることがあるため、反射ターゲットも追加して計測した。
動画像撮影時には反射ターゲットは写っておらず、そのため実際に計測した反射ターゲットの中心の座標とその近辺の目標物の座標との間には約3cmのずれがあった。但し、そのずれは許容できるとして、処理を進めた。画像座標は最適と思われる画素を目視により画素単位で定めた。
次に、各地物の三次元座標と画像上の二次元座標との対応関係から、式(1)のパラメータ(b11,・・・,b33)を決定し、射影変換式を決定した。式(2)の最適化においては、準ニュートン法を用いた。この変換式を用いて、撮影画像から鳥瞰画像を作成した。その際に、道路面の高さをZ=−7.800mとして0.1m解像度と設定した。14点を計測したがそのうち2点に対しては、異常値と判断できる残差を確認できた。その2点を除外した12点のデータを用いて射影変換した結果、RMSE(root mean square of errors)は0.43画素であった。
時間差分画像の生成では29.97フレーム/sの静止画像全てを用いた。各閾値の値は、以下に示す値に設定した。またラベリングの際にノイズによって生じる車両以外の領域を除去するために、最低領域面積Tareaと最低長さTlengの閾値も設定した。時間差分画像作成用輝度値の閾値Ttmに対しては昼間画像と夜間画像とで異なる値を設定した。
<検証データ1>
(実験に用いた各閾値の値)
時間差分画像作成用輝度値(昼間) Ttm=30
時間差分画像作成用輝度値(夜間) Ttm=20
累積時間差分画像作成用時間差分画像使用枚数 Ntm=11
領域間の重なりを表す割合 Tsr=0.2
背景差分画像作成用原画像使用枚数 Nbk=31
背景差分画像生成用輝度値 Tbk=20
領域の最低面積(画素) Tarea=800
領域の最低長さ(画素) Tleng=10
車両領域推定時の暫定的な車両領域面積と上下限に限定された軌跡領域面積との比
Tarearatio=0.7
(実験に用いた各閾値の値)
時間差分画像作成用輝度値(昼間) Ttm=30
時間差分画像作成用輝度値(夜間) Ttm=20
累積時間差分画像作成用時間差分画像使用枚数 Ntm=11
領域間の重なりを表す割合 Tsr=0.2
背景差分画像作成用原画像使用枚数 Nbk=31
背景差分画像生成用輝度値 Tbk=20
領域の最低面積(画素) Tarea=800
領域の最低長さ(画素) Tleng=10
車両領域推定時の暫定的な車両領域面積と上下限に限定された軌跡領域面積との比
Tarearatio=0.7
また、縦方向の交通流が撮影された昼間の2つの異なる時間帯、及び夜間の1つの時間帯を選定した。各々約60秒間で、以下「時間帯A」〜「時間帯C」と呼ぶ。
図7の(a)〜(e)に時間帯Aで抽出した車両領域を示し、図8の(a)〜(e)には時間帯Aに通過した車両領域の軌跡を示す。なお、図7は、実際には抽出した車両領域を赤く色づけしているが、白黒の図ではわかりにくくなっている。同様に図9の(a)〜(e)に時間帯Cで抽出した車両領域を、図10の(a)〜(e)には時間帯Cに通過した車両領域の軌跡を示す。図8,図9で示される車両軌跡は、最初に車両領域を検出した画像上に示されている。
図7の(a)〜(e)に時間帯Aで抽出した車両領域を示し、図8の(a)〜(e)には時間帯Aに通過した車両領域の軌跡を示す。なお、図7は、実際には抽出した車両領域を赤く色づけしているが、白黒の図ではわかりにくくなっている。同様に図9の(a)〜(e)に時間帯Cで抽出した車両領域を、図10の(a)〜(e)には時間帯Cに通過した車両領域の軌跡を示す。図8,図9で示される車両軌跡は、最初に車両領域を検出した画像上に示されている。
ここで、車両台数、軌跡、速度の推定精度を検証した。以下の各項で、各々の検証内容と結果を示す。
(1)台数
縦方向の交通流を想定していることから、直進車と左折車を対象に車両並びに軌跡の抽出を試みた。車両時間帯A〜Cにおける抽出台数の検証結果を以下に示す。
(1)台数
縦方向の交通流を想定していることから、直進車と左折車を対象に車両並びに軌跡の抽出を試みた。車両時間帯A〜Cにおける抽出台数の検証結果を以下に示す。
<検証データ2>
(抽出台数の検証結果)
A(昼間)の結果:TP=52,FP=0,TN=1
Precision=1.00,Recall=0.98,F値=0.99
B(昼間)の結果:TP=40,FP=2,TN=0
Precision=0.95,Recall=1.00,F値=0.98
C(夜間)の結果:TP=35,FP=0,TN =1
Precision=1.00,Recall=0.97,F値=0.99
(抽出台数の検証結果)
A(昼間)の結果:TP=52,FP=0,TN=1
Precision=1.00,Recall=0.98,F値=0.99
B(昼間)の結果:TP=40,FP=2,TN=0
Precision=0.95,Recall=1.00,F値=0.98
C(夜間)の結果:TP=35,FP=0,TN =1
Precision=1.00,Recall=0.97,F値=0.99
TP:True Positive
FP:False Positive
FN:False Negative
Precision=TP/(TP+FP)
Recall=TP/(TP+FN)
F値=2*Precision*Recall/(Precision+Recall)
FP:False Positive
FN:False Negative
Precision=TP/(TP+FP)
Recall=TP/(TP+FN)
F値=2*Precision*Recall/(Precision+Recall)
(2)軌跡
軌跡自体の三次元空間上での評価は困難であると考え、2台の並走する四輪車の車間距離を以って軌跡の推定精度として評価する方針を採った。2台の並走する車両が映る鳥瞰画像において、抽出した車間距離と実際の車間距離との誤差を評価した。
時間帯Aの結果(図7)のうち、左右にほぼ並走した2台の車両が写り、左側車両の道路との接地面が写っている画像から左右の車間距離を計測した。図11に鳥瞰画像の例を示す。(a)〜(j)は、時系列で並んでいる。
軌跡自体の三次元空間上での評価は困難であると考え、2台の並走する四輪車の車間距離を以って軌跡の推定精度として評価する方針を採った。2台の並走する車両が映る鳥瞰画像において、抽出した車間距離と実際の車間距離との誤差を評価した。
時間帯Aの結果(図7)のうち、左右にほぼ並走した2台の車両が写り、左側車両の道路との接地面が写っている画像から左右の車間距離を計測した。図11に鳥瞰画像の例を示す。(a)〜(j)は、時系列で並んでいる。
<検証データ3>
その結果、左右の車間距離の推定誤差は、サンプル数87で、絶対誤差0.18m、相対誤差11.6%であった。
その結果、左右の車間距離の推定誤差は、サンプル数87で、絶対誤差0.18m、相対誤差11.6%であった。
(3)速度
時間帯Aの推定速さのうち、左折する四輪車を除外し、縦方向に走行する四輪車を対象に速さを検証した。速さの推定において、同一車両であっても速さが大きく変動する結果が見られた。そのため、速さを推定した後に、平均速さから大きく乖離している場合には異常値として除去することにした。今回、平均速さとの絶対値の差が10.0km/h以上である場合には異常値として自動的に除外した。同一車両であっても異なる時刻に推定された速度を別サンプルとして、鳥瞰画像から目視で得た速度と比較した。
時間帯Aの推定速さのうち、左折する四輪車を除外し、縦方向に走行する四輪車を対象に速さを検証した。速さの推定において、同一車両であっても速さが大きく変動する結果が見られた。そのため、速さを推定した後に、平均速さから大きく乖離している場合には異常値として除去することにした。今回、平均速さとの絶対値の差が10.0km/h以上である場合には異常値として自動的に除外した。同一車両であっても異なる時刻に推定された速度を別サンプルとして、鳥瞰画像から目視で得た速度と比較した。
<検証データ4>
その結果は、サンプル数298で、絶対誤差4.4m、相対誤差8.9%であった。
その結果は、サンプル数298で、絶対誤差4.4m、相対誤差8.9%であった。
《考察》
(1)昼間画像からの車両の抽出
図7に示すように、車両の抽出は良好であった。特に、影領域を自動的に消去する点において、車両の輪郭を概ね精確に抽出できていることが分かる。また<検証データ1>が示すように昼間の動画像に対しては、車両の抽出漏れはほとんどなかった。大型トラックが走行する際にトラックの前後が別々の領域として認識され、同一車両を2回計数する事例が2回あったが、これ以外には過剰推定は生じなかった。
(1)昼間画像からの車両の抽出
図7に示すように、車両の抽出は良好であった。特に、影領域を自動的に消去する点において、車両の輪郭を概ね精確に抽出できていることが分かる。また<検証データ1>が示すように昼間の動画像に対しては、車両の抽出漏れはほとんどなかった。大型トラックが走行する際にトラックの前後が別々の領域として認識され、同一車両を2回計数する事例が2回あったが、これ以外には過剰推定は生じなかった。
本技術では、特に影領域や日照変化への頑健性に重点を置いている。図11に示すように500フレーム間(約16.7秒間)の画像において、急激に太陽照度が低下し、交差点全体が暗くなり、さらに元の太陽照度に回復した。このような状況下でも本アルゴリズムは車両領域、軌跡を良好に抽出できている。偶然にも大型トラックが過剰に計数される時間帯と合致している。しかし、上述の通りこの過剰推定は車両の大きさに起因するもので、日照変化に対応できていないためではないことが、他の車両の抽出状況から判断できる。
この提案方法で除去できる影は、建物の影のように移動しない影に加えて、式(1)が意味するように車両の影の中でも複数フレーム画像において観測される影である。今回使用した画像においては、車両が縦方向に流れるのに対し、車両の横方向に影が発生していた。この場合には、図7が示すように車両の進行方向に発生する影は複数回観測されにくく、有効に除去できていない。但し、観測場所や観測時間帯によっては車両の縦方向に影が発生することも考えられ、その場合には複数回観測される影は除去できる。
(2)夜間画像からの車両の抽出
夜間に対しては昼間に比べて車両領域の欠損が増える。図9に示すように補正処理が行われている。夜間画像における処理では、車両のヘッドライトが示す高い輝度値が手掛かりとなる。ヘッドライトから離れた車両の部位では背景の暗闇とほぼ同化し、人間でも車両の輪郭を精確に抽出するのが困難な状況が容易に発生する。そのため夜間画像において、車両領域全体を抽出できない事例が増えるのは仕方がないと言える。その結果、軌跡や速度の精度も低下する。
夜間に対しては昼間に比べて車両領域の欠損が増える。図9に示すように補正処理が行われている。夜間画像における処理では、車両のヘッドライトが示す高い輝度値が手掛かりとなる。ヘッドライトから離れた車両の部位では背景の暗闇とほぼ同化し、人間でも車両の輪郭を精確に抽出するのが困難な状況が容易に発生する。そのため夜間画像において、車両領域全体を抽出できない事例が増えるのは仕方がないと言える。その結果、軌跡や速度の精度も低下する。
また左折車の場合、左折途中まではヘッドライトの高い輝度値が画像に写るものの、途中からはヘッドライトが写らなくなり、画像右端に移動する頃には時間差分画像には全く何も残らなくなる。左折車に対しては、軌跡抽出の際には画像右端に接している領域を初期値として遡って追跡するため、左折車を抽出できない結果となった。夜間の左折車を抽出するには、この前提の変更が必要である。このように、夜間画像の処理においては昼間画像とは異なる困難が存在するが、昼間と同じように軌跡や速度に対しても抽出精度を要求せず、あくまでも台数に焦点を絞る限りでは、この提案方法でも十分に有効である。
(3)軌跡
本来は軌跡の抽出精度も評価すべきであるが困難であるため、<検証データ3>の通り左右の車線を並走する2台の車両間距離のRMSEを以って軌跡推定の妥当性を評価した。RMSEが0.18mであり、1.8画素に相当する。左右の車間距離を推定するには十分な精度であると言える。
本来は軌跡の抽出精度も評価すべきであるが困難であるため、<検証データ3>の通り左右の車線を並走する2台の車両間距離のRMSEを以って軌跡推定の妥当性を評価した。RMSEが0.18mであり、1.8画素に相当する。左右の車間距離を推定するには十分な精度であると言える。
提案方法では式(6)に示す条件を満足する限り、該当領域の追跡を、時間を遡って行っている。仮に特定の時刻で十分な大きさの領域が抽出できていないと、その前後には十分な大きさの車両領域が存在していても軌跡の追跡が終了する可能性がある。そこで、車両領域の追跡における時間間隔t/N秒は累積時間積分Ntm/N秒の約半分を想定している。このように領域が約半分程度重なるような状態で同一領域を検出することで、領域抽出時に欠損があっても頑健に追跡ができるように設計されている。
また、図12には、時間帯A〜Dとは異なる別の時間帯Eの動画像に対する軌跡抽出結果を示している。縦方向の交通流から横方向の交通流に移行する前に走行する右折車が写っている。画像の右端に接する領域を遡って追跡するという点では、時間帯A〜Dに走行する左折車両と同じ原理で右折車を追跡できた。図12からは、右折車両に対しても提案アルゴリズムは良好に軌跡を抽出できていることが分かる。
(4)速度
<検証データ4>に示すように、絶対誤差が4.4km/hと、提案方法は良好に速さを抽出できていることが分かる。また、図13に速度の推定例を示している。抽出した車両領域は車両前方の影を含んだままであるが、影を含んだ領域が安定して得られているため、速さの推定精度には大きな影響を与えていないと考えられる。今回は単純に速さの仮の平均値を計算し、その値と大きく異なる速さを異常値として取り除いた。異常値の除去方法や経験的に適用した閾値(10km/h)に関しては、一例に過ぎない。
<検証データ4>に示すように、絶対誤差が4.4km/hと、提案方法は良好に速さを抽出できていることが分かる。また、図13に速度の推定例を示している。抽出した車両領域は車両前方の影を含んだままであるが、影を含んだ領域が安定して得られているため、速さの推定精度には大きな影響を与えていないと考えられる。今回は単純に速さの仮の平均値を計算し、その値と大きく異なる速さを異常値として取り除いた。異常値の除去方法や経験的に適用した閾値(10km/h)に関しては、一例に過ぎない。
(5)二輪車の抽出
四輪車以外に二輪車も自動抽出の対象としたい要求が考えられる。提案方法において車両領域抽出に関連する閾値を緩めることで抽出される移動物体の対象が広がり、図14の(a)〜(d)に示すように二輪車を抽出することができた。二輪車の場合、四輪車に比べて除去できる影の割合が小さく、軌跡領域に影が含まれている。この際に四輪車の軌跡を見てみると、四輪車においても除去できない影が多数含まれるようになり、軌跡に影の領域が含まれていることが分かる。二輪車を抽出しようと閾値を緩めることで、四輪車の車両や軌跡の抽出が不精確になってしまう。よって、四輪車と二輪車を同一の閾値で処理するのではなく、四輪車を先行して処理し、その後で緩めた閾値を適用して二輪車を処理する段階的な処理が有効である可能性が考えられる。
四輪車以外に二輪車も自動抽出の対象としたい要求が考えられる。提案方法において車両領域抽出に関連する閾値を緩めることで抽出される移動物体の対象が広がり、図14の(a)〜(d)に示すように二輪車を抽出することができた。二輪車の場合、四輪車に比べて除去できる影の割合が小さく、軌跡領域に影が含まれている。この際に四輪車の軌跡を見てみると、四輪車においても除去できない影が多数含まれるようになり、軌跡に影の領域が含まれていることが分かる。二輪車を抽出しようと閾値を緩めることで、四輪車の車両や軌跡の抽出が不精確になってしまう。よって、四輪車と二輪車を同一の閾値で処理するのではなく、四輪車を先行して処理し、その後で緩めた閾値を適用して二輪車を処理する段階的な処理が有効である可能性が考えられる。
一方で、閾値の設定次第では、二輪車だけを抽出することも可能であると考えられる。その閾値の設定は撮影角度や画像内での二輪車・四輪車の大きさに大きく依存するが、二輪車を抽出し、四輪車を除外するような範囲の閾値を設定することで二輪車のみを抽出可能になる。最初に閾値の設定に時間を要するが、二輪車だけを抽出して統計量を得たいという要望に対応できる可能性が含まれている。
1 車両軌跡抽出システム(車両領域抽出システム、車両速度推定システム)
2 ビデオカメラ(撮像装置)
3 コンピュータ
4 媒体
31 CPU
32 バス
33 メモリ
34 補助記憶装置
35〜37 インターフェース
38 ドライブ
39 ディスプレイ
2 ビデオカメラ(撮像装置)
3 コンピュータ
4 媒体
31 CPU
32 バス
33 メモリ
34 補助記憶装置
35〜37 インターフェース
38 ドライブ
39 ディスプレイ
Claims (11)
- 道路上の一定の場所を撮像装置によって撮影した画像に基づいて、コンピュータを用いて実行する車両軌跡抽出方法であって、
前記撮像装置から、時間差のある複数の画像を取得し、
前記複数の画像から、時間的に相前後する任意の2画像間で、輝度変化の点から2値化された時間差分画像を取得し、
前記時間差分画像を累積し、かつ、その際に、相対的に輝度変化の小さい画像部分を除去することによって累積時間差分画像を取得し、
前記累積時間差分画像をさらに時間方向に重ね合わせることで車両領域の軌跡を抽出する、
車両軌跡抽出方法。 - 前記車両領域の軌跡は、前記累積時間差分画像に対応する領域が画像上の端部にある場合を初期値として、時間を遡るように前記累積時間差分画像を重ね合わせる請求項1に記載の車両軌跡抽出方法。
- 請求項1又は請求項2に記載の車両軌跡抽出方法によって得た前記軌跡に基づく車両領域抽出方法であって、
時間的な変化の無い背景画像と、車両領域を抽出しようとする時点の画像との差分である2値化された背景差分画像を取得し、前記軌跡と、当該背景差分画像との論理積をとることによって、前記時点の車両領域を抽出する車両領域抽出方法。 - 請求項1又は請求項2に記載の車両軌跡抽出方法によって得た前記軌跡に基づく車両領域抽出方法であって、
車両領域を抽出しようとする時点において、車両の影領域を除去しない程度に前記2値化の閾値を調整した第2の累積時間差分画像を取得し、前記軌跡と、当該第2の累積時間差分画像との論理積をとることによって、前記時点の車両領域を抽出する車両領域抽出方法。 - 請求項3又は請求項4に記載の車両領域抽出方法によって抽出した車両領域に基づく車両速度推定方法であって、
前記車両領域を鳥瞰画像に変換した場合の位置と、その時刻とについて、2地点での差分をとることにより、車両速度を推定する車両速度推定方法。 - 請求項1又は請求項2に記載の車両軌跡抽出方法を、コンピュータによって実現させるための車両軌跡抽出プログラム。
- 請求項3又は請求項4に記載の車両領域抽出方法を、コンピュータによって実現させるための車両領域抽出プログラム。
- 請求項5に記載の車両速度推定方法を、コンピュータによって実現させるための車両速度推定プログラム。
- 道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて請求項1又は請求項2に記載の車両軌跡抽出方法を実行するコンピュータと、を備えた車両軌跡抽出システム。
- 道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて請求項3又は請求項4に記載の車両領域抽出方法を実行するコンピュータと、を備えた車両領域抽出システム。
- 道路上の一定の場所を撮影する撮像装置と、当該撮像装置によって撮影した画像に基づいて請求項5に記載の車両速度推定方法を実行するコンピュータと、を備えた車両速度推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013231411A JP2015090679A (ja) | 2013-11-07 | 2013-11-07 | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013231411A JP2015090679A (ja) | 2013-11-07 | 2013-11-07 | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015090679A true JP2015090679A (ja) | 2015-05-11 |
Family
ID=53194150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013231411A Pending JP2015090679A (ja) | 2013-11-07 | 2013-11-07 | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015090679A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082742A1 (ja) * | 2017-10-25 | 2019-05-02 | 株式会社Ihi | 情報生成装置 |
JP2020149132A (ja) * | 2019-03-11 | 2020-09-17 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
CN113554866A (zh) * | 2021-06-03 | 2021-10-26 | 广东未来智慧城市科技有限公司 | 3d车辆轨迹计算分析显示系统 |
CN115512536A (zh) * | 2022-08-09 | 2022-12-23 | 浙江大有实业有限公司杭州科技发展分公司 | 一种基于人车画像的智能车辆管理系统 |
JP2023039282A (ja) * | 2021-09-08 | 2023-03-20 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
US11644331B2 (en) | 2020-02-28 | 2023-05-09 | International Business Machines Corporation | Probe data generating system for simulator |
US11702101B2 (en) | 2020-02-28 | 2023-07-18 | International Business Machines Corporation | Automatic scenario generator using a computer for autonomous driving |
US11814080B2 (en) | 2020-02-28 | 2023-11-14 | International Business Machines Corporation | Autonomous driving evaluation using data analysis |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06180756A (ja) * | 1992-12-14 | 1994-06-28 | Toshiba Corp | 移動物体の移動軌跡判別装置 |
JP2001351107A (ja) * | 2000-06-05 | 2001-12-21 | Mitsubishi Electric Corp | 交通監視装置および交通監視方法 |
JP2002150295A (ja) * | 2000-11-09 | 2002-05-24 | Oki Electric Ind Co Ltd | 物体検出方法及び物体検出装置 |
JP2011174648A (ja) * | 2010-02-24 | 2011-09-08 | Toshiba Corp | 画像処理装置、画像処理方法および空調制御装置 |
-
2013
- 2013-11-07 JP JP2013231411A patent/JP2015090679A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06180756A (ja) * | 1992-12-14 | 1994-06-28 | Toshiba Corp | 移動物体の移動軌跡判別装置 |
JP2001351107A (ja) * | 2000-06-05 | 2001-12-21 | Mitsubishi Electric Corp | 交通監視装置および交通監視方法 |
JP2002150295A (ja) * | 2000-11-09 | 2002-05-24 | Oki Electric Ind Co Ltd | 物体検出方法及び物体検出装置 |
JP2011174648A (ja) * | 2010-02-24 | 2011-09-08 | Toshiba Corp | 画像処理装置、画像処理方法および空調制御装置 |
Non-Patent Citations (2)
Title |
---|
北原巧章, 外1名: ""累積差分画像による歩行者の軌跡生成"", 電子情報通信学会技術研究報告, vol. 第108巻, 第263号, JPN6017036297, 16 October 2008 (2008-10-16), JP, pages 43 - 48, ISSN: 0003646673 * |
金山憲司: ""道路交通システムにおける画像認識の現状と技術課題"", 電子情報通信学会技術研究報告, vol. 第97巻, 第41号, JPN6017036298, 16 May 1997 (1997-05-16), JP, pages 57 - 64, ISSN: 0003646674 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082742A1 (ja) * | 2017-10-25 | 2019-05-02 | 株式会社Ihi | 情報生成装置 |
US11934746B2 (en) | 2017-10-25 | 2024-03-19 | Ihi Corporation | Information generation device |
JP2020149132A (ja) * | 2019-03-11 | 2020-09-17 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
JP7290961B2 (ja) | 2019-03-11 | 2023-06-14 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
US11644331B2 (en) | 2020-02-28 | 2023-05-09 | International Business Machines Corporation | Probe data generating system for simulator |
US11702101B2 (en) | 2020-02-28 | 2023-07-18 | International Business Machines Corporation | Automatic scenario generator using a computer for autonomous driving |
US11814080B2 (en) | 2020-02-28 | 2023-11-14 | International Business Machines Corporation | Autonomous driving evaluation using data analysis |
CN113554866A (zh) * | 2021-06-03 | 2021-10-26 | 广东未来智慧城市科技有限公司 | 3d车辆轨迹计算分析显示系统 |
JP2023039282A (ja) * | 2021-09-08 | 2023-03-20 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
JP7295181B2 (ja) | 2021-09-08 | 2023-06-20 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
CN115512536A (zh) * | 2022-08-09 | 2022-12-23 | 浙江大有实业有限公司杭州科技发展分公司 | 一种基于人车画像的智能车辆管理系统 |
CN115512536B (zh) * | 2022-08-09 | 2024-05-21 | 浙江大有实业有限公司杭州科技发展分公司 | 一种基于人车画像的智能车辆管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
CN109284674B (zh) | 一种确定车道线的方法及装置 | |
KR100969995B1 (ko) | 영상처리기법을 이용한 신호교차로의 교통상충 판단 시스템및 방법 | |
Jog et al. | Pothole properties measurement through visual 2D recognition and 3D reconstruction | |
Negru et al. | Image based fog detection and visibility estimation for driving assistance systems | |
US20200082182A1 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
US9965690B2 (en) | On-vehicle control device | |
CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
Dai et al. | A vision-based method for on-road truck height measurement in proactive prevention of collision with overpasses and tunnels | |
JP4940177B2 (ja) | 交通流計測装置 | |
JP4674179B2 (ja) | 影認識方法及び影境界抽出方法 | |
CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
JP2015064752A (ja) | 車両監視装置、および車両監視方法 | |
US20200193174A1 (en) | Section line recognition device | |
Nguyen et al. | Real-time validation of vision-based over-height vehicle detection system | |
Mertz et al. | City-wide road distress monitoring with smartphones | |
KR101134857B1 (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
Janda et al. | Road boundary detection for run-off road prevention based on the fusion of video and radar | |
Wei et al. | Damage inspection for road markings based on images with hierarchical semantic segmentation strategy and dynamic homography estimation | |
CN111160132B (zh) | 障碍物所在车道的确定方法、装置、电子设备和存储介质 | |
CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
CN112149471A (zh) | 一种基于语义点云的回环检测方法及装置 | |
Philipsen et al. | Day and night-time drive analysis using stereo vision for naturalistic driving studies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180320 |