JP2021149951A

JP2021149951A - 道路認識装置及び方法、電子機器

Info

Publication number: JP2021149951A
Application number: JP2021020095A
Authority: JP
Inventors: 昊康; Hao Kang; タヌ・ジミン; Tan Zhiming
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2020-03-13
Filing date: 2021-02-10
Publication date: 2021-09-27
Also published as: CN113392680B; CN113392680A

Abstract

【課題】複数の類型の車道を迅速且つ正確に認識する道路認識装置及び方法、電子機器を提供する。
【解決手段】道路認識装置は、第一ニューラルネットワークを用いて画像中の車線を検出し、車線の第一検出結果を取得する第一検出ユニット、第二ニューラルネットワークを用いて画像中の車両及び／又は道路方向標識を検出し、車両の第二検出結果及び／又は道路方向標識の第三検出結果を取得する第二検出ユニット、第二検出結果に基づいて車両の表示方向に対して分類を行い、表示方向の第一分類結果を取得し、道路方向標識の第三検出結果に基づいて道路方向標識の方向に対して分類を行い、道路方向標識の方向の第二分類結果を取得する分類ユニット及び車両の表示方向の第一分類結果と道路方向標識の方向の第二分類結果のうちの少なくとも１つと、車線の第一検出結果とに基づいて、画像中の前方向車道及び／又は逆方向車道を認識する第１認識ユニット１０４を含む。
【選択図】図１

Description

本発明は、情報技術分野に関する。

様々な種類の道路を認識することは有用な技術であり、これはドライバーが正確な車道上で運転するようにさせることができる。歩道が存在するときに、道路認識はドライバーに、車両の速度を落とすように促すことができ、緊急停止する必要のある場合、道路認識はドライバーに、路側帯があるときに一時的な駐車スペースを選択するように促すことができる。また、道路認識は、車載カメラヘッド又は監視カメラヘッドに基づいて交通事故情報を取得するのに役立つことができる。さらに、道路認識は自動運転にも大変有用である。

今のところ、人々が主に車線の検出に注目している。人々は一般に前方向の車線、即ち、自分の運転している車両と同じ方向の車線を気にする。

しかしながら、発明者が次のようなことを発見した。即ち、幾つかの複雑な道路シーン、特に、シティ（ｃｉｔｙ）シーンについて、前行の車道を考慮するだけでは不十分であり、これらのシーンでは一般に複数の車道が同時に存在する。今のところ、複数のタイプの車道を認識し得る有効な方法が未だに無い。

上述の問題のうちの少なくとも１つを解決するために、本発明の実施例は道路認識装置及び方法、電子機器を提供し、これにより、複数の類型の車道を迅速且つ正確に認識することができる。

本発明の実施例の第一側面によれば、道路認識装置が提供され、前記装置は、
車載撮像装置が取得した画像について、第一ニューラルネットワークを用いて前記画像中の車線を検出し、前記車線の第一検出結果を取得する第一検出ユニット；
前記車載撮像装置が取得した前記画像について、第二ニューラルネットワークを用いて前記画像中の車両及び／又は道路方向標識を検出し、前記車両の第二検出結果及び／又は前記道路方向標識の第三検出結果を取得する第二検出ユニット；
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得する分類ユニット；及び
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識する第一認識ユニットを含む。

本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は本発明の実施例の第一側面に記載の装置を含む。

本発明の実施例の第三側面によれば、道路認識方法が提供され、前記方法は、
車載撮像装置が取得した画像について、第一ニューラルネットワークを用いて前記画像中の車線を検出し、前記車線の第一検出結果を取得し；
前記車載撮像装置が取得した前記画像について、第二ニューラルネットワークを用いて前記画像中の車両及び／又は道路方向標識を検出し、前記車両の第二検出結果及び／又は前記道路方向標識の第三検出結果を取得し；
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得し；及び
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識することを含む。

本発明の実施例の有利な効果は次のとおりであり、即ち、車両の表示方向の第一分類結果及び道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び車線の第一検出結果に基づいて、画像中の前方向車道及び／又は逆方向車道を認識することにより、複数の類型の車道を迅速且つ正確に認識することができる。

本発明の実施例１における道路認識装置を示す図である。本発明の実施例１において車載撮像装置が取得した画像を示す図である。本発明の実施例１における様々な車両の表示方向を示す図である。本発明の実施例１における各種の道路方向標識を示す図である。本発明の実施例２における電子機器を示す図である。本発明の実施例２における電子機器のシステム構成を示すブロック図である。本発明の実施例３における道路認識方法を示す図である。

以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。

本発明の実施例は道路認識装置を提供する。図１は本発明の実施例１における道路認識装置を示す図である。

図１に示すように、道路認識装置１００は以下のようなものを含む。

第一検出ユニット１０１：車載撮像装置が取得した画像について、第一ニューラルネットワークを使用して該画像中の車線を検出し、該車線の第一検出結果を取得し；
第二検出ユニット１０２：該車載撮像装置が取得した該画像について、第二ニューラルネットワークを使用して該画像中の車両及び／又は道路方向標識を検出し、該車両の第二検出結果及び／又は該道路方向標識の第三検出結果を取得し；
分類ユニット１０３：該車両の第二検出結果に基づいて該車両の表示方向に対して分類を行い、該車両の表示方向の第一分類結果を取得し、及び／又は、該道路方向標識の第三検出結果に基づいて該道路方向標識の方向に対して分類を行い、該道路方向標識の方向の第二分類結果を取得し；及び
第一認識ユニット１０４：該車両の表示方向の第一分類結果及び該道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び該車線の第一検出結果に基づいて、該画像中の前方向車道及び／又は逆方向車道を認識する。

本発明の実施例の１つの実施方式において、道路認識装置１００が検出する対象（ターゲット）は車載撮像装置が取得した画像である。

例えば、該車載撮像装置は車載カメラヘッドであり、車載カメラヘッドは運転の視点から撮像したビデオの各フレームを記録し得る。この場合、道路認識装置１００は各フレームに対してフレーム毎に処理を行うことができ、また、カレントフレームの認識結果に基づいて前の認識結果を更新することもできる。

第一検出ユニット１０１は車載撮像装置が取得した画像について、第一ニューラルネットワークを使用して該画像中の車線を検出し、該車線の第一検出結果を取得し、第一ニューラルネットワークは車線を検出し得る各種のニューラルネットワークであっても良い。

例えば、第一ニューラルネットワークは深層学習方法により訓練されたものである。

第一ニューラルネットワークは例えば、ＬａｎｅＮｅｔネットワークに基づくものである。例えば、Ｔｕｓｉｍｐｌｅモデルを予備訓練（ｐｒｅ−ｔｒａｉｎｉｎｇ）のモデルとして使用し、また、事前採集した訓練データ集を用いて該モデルに対して修正を行うことで訓練を行い、訓練完了後に第一ニューラルネットワークを得ることができる。該第一ニューラルネットワークを用いることにより、画像中の車線を正確に検出することができる。

図２は本発明の実施例１において車載撮像装置が取得した画像を示す図である。図２に示すように、第一ニューラルネットワークの検出により、車線２０１及び車線２０２を取得している。

本発明の実施例の１つの実施方式において、第二検出ユニット１０２は該車載撮像装置が取得した該画像について、第二ニューラルネットワークを使用して該画像中の車両及び／又は道路方向標識を検出し、該車両の第二検出結果及び／又は該道路方向標識の第三検出結果を取得する。

第二検出ユニット１０２は、第一検出ユニット１０１が処理する同一の画像について、第二ニューラルネットワークを使用して検出を行い、検出するターゲット（対象）は、該画像中の車両及び道路方向標識のうちの少なくとも１つである。

第二ニューラルネットワークは車両及び道路方向標識を検出し得る各種のニューラルネットワークであっても良い。例えば、第二ニューラルネットワークは深層学習方法により訓練されたものである。

第二ニューラルネットワークは例えば、ＦＰＮ（ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）であり、ＦＰＮはパフォーマンスが良い、マルチシーンマルチターゲットの検出に適したニューラルネットワークであり、該ネットワークを用いることにより比較的高い検出精度を得ることができる。

本発明の実施例の１つの実施方式において、分類ユニット１０３は該車両の第二検出結果に基づいて該車両の表示方向に対して分類を行い、該車両の表示方向の第一分類結果を取得し、及び／又は、該道路方向標識の第三検出結果に基づいて該道路方向標識の方向に対して分類を行い、該道路方向標識の方向の第二分類結果を取得する。

例えば、分類ユニット１０３は、第一分類器を使用して、検出した該車両の表示方向に対して分類を行い、該第一分類結果を取得し、及び／又は、第二分類器を用いて、検出した該道路方向標識の方向に対して分類を行い、該第二分類結果を取得し、該第一分類器及び該第二分類器は同じの分類器であっても良く、異なる分類器であっても良く、また、該第一分類器及び該第二分類器は深層学習方法により訓練された分類器である。

本発明の実施例の１つの実施方式において、車両の表示方向とは、該画像において、検出した車両が表示される方向を指し、又は、検出した車両の表示される車両の部位を指すと言っても良い。例えば、該画像では、車両の前部が表示されているから、該車両の表示方向は“前方”である。

本発明の実施例の１つの実施方式において、該第一分類器が出力する類別の数量は実際のニーズに応じて確定されても良い。例えば、該第一分類器が出力し得る類別は８つある。

図３は本発明の実施例１における様々な車両の表示方向を示す図である。図３に示すように、上の一列では、左から右へ順に“前方（ｆｒｏｎｔ）”、“右前方（ｒｉｇｈｔｆｒｏｎｔ）”、“左前方（ｌｅｆｔｆｒｏｎｔ）”及び“右方（ｒｉｇｈｔ）”であり、下の一列では、左から右へ順に“後方（ｂａｃｋ）”、“右後方（ｒｉｇｈｔｂａｃｋ）”、“左後方（ｌｅｆｔｂａｃｋ）”及び“左方（ｌｅｆｔ）”である。

本発明の実施例の１つの実施方式において、道路方向標識の方向とは、該画像において、検出した道路方向標識の指向と指し、例えば、前方向を指す矢印を含む道路方向標識は前方向の道路方向標識と言い、逆方向を指す矢印を含む道路方向標識は逆方向の道路方向標識と言う。

本発明の実施例の１つの実施方式において、前方向とは、車載撮像装置の所在する車両の走行方向、即ち、正方向の走行方向を指し；逆方向とは、車載撮像装置の所在する車両の走行方向と相反する方向、即ち、逆方向の走行方向を指す。

本発明の実施例の１つの実施方式において、該第二分類器が出力する類別の数量は実際のニーズに応じて確定されても良い。

例えば、該第二分類器が出力し得る類別は２つあり、即ち、前方向の道路方向標識及び逆方向の道路方向標識である。

図４は本発明の実施例１における各種の道路方向標識を示す図である。図４に示すように、上の一列の道路方向標識はすべて、前方向を指す矢印を含む道路方向標識であるから、前方向の道路方向標識と分類され、下の一列の道路方向標識はすべて、逆方向を指す矢印を含む道路方向標識であるので、逆方向の道路方向標識と分類される。

本発明の実施例の１つの実施方式において、第一認識ユニット１０４は該車両の表示方向の第一分類結果及び該道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び該車線の第一検出結果に基づいて、該画像中の前方向車道及び／又は逆方向車道を認識する。

本発明の実施例の１つの実施方式において、前方向車道は、該画像を撮像する車載撮像装置の所在する車両の走行方向と同じの車道であり、逆方向車道は、該画像を撮像する車載撮像装置の所在する車両の走行方向と逆の方向の車道である。

本発明の実施例の１つの実施方式において、車線の第一検出結果に基づいて車道を確定することができ、例えば、２つの車線の間に１つの車道があり、又は、１つの車線の一方側に車道が存在する。

例えば、１つの車道にいて表示方向が前方である車両が存在し又は逆方向の道路方向標識が存在するときに、該車道が逆方向車道であると確定し；及び／又は、１つの車道において表示方向が後方である車両が存在し又は前方向の道路方向標識があるときに、該車道を前方向車道と確定する。

このように、画像中の車道が正方向車道であるか、それとも、逆方向車道であるかを認識することができ、また、道路構造及び道路状況などの情報を得ることもできるため、様々な応用に有用な情報を提供することができ、例えば、該情報に基づいて運転を案内し、又は、該情報を自動運転及び交通事故評価などに用いることができる。

本発明の実施例の１つの実施方式において、装置１００はさらに以下のようなものを含んでも良い。

第三検出ユニット１０５：該第二ニューラルネットワークを用いて該画像中の路側参照物を検出し、該路側参照物の第四検出結果を取得し；及び
第二認識ユニット１０６：該車線の第一検出結果及び該路側参照物の第四検出結果に基づいて、該画像中の歩道及び／又は路側帯を認識する。

このように、画像中の歩道及び／又は路側帯をさらに認識することで、様々な応用に、より多くの有用な情報を提供することができる。

本発明の実施例の１つの実施方式において、第三検出ユニット１０５は該第二ニューラルネットワークを用いて該画像中の路側参照物を検出し、上述のように、例えば、第二ニューラルネットワークはＦＰＮ（ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）であり、ＦＰＮはパフォーマンスが良い、マルチシーンマルチターゲットの検出に適したニューラルネットワークであり、該ネットワークを使用することにより比較的高い検出精度を得ることができる。

本発明の実施例の１つの実施方式において、路側帯とは、道路のサイドにおいて一時駐車するスペース又は他の特定用途の領域を指す。

本発明の実施例の１つの実施方式において、路側参照物は、歩道及び路側帯を認識するための特定の物体であり、例えば、縁石（ｃｕｒｂ）、ガードレール（ｇｕａｒｄｒａｉｌ）、フェンス（ｆｅｎｃｅ）及びインプラント（ｉｍｐｌａｎｔ）のうちの少なくとも１つである。

例えば、第二認識ユニット１０６は、左側寄り走行する車道について、１つの車道の左側に路側参照物を検出したときに、該画像に歩道があると確定し；及び、右側寄り走行する車道について、１つの車道の右側に路側参照物を検出したときに、該画像に歩道が存在すると確定する。

例えば、第二認識ユニット１０６は、左側寄り走行する車道について、１つの車道の左側に路側参照物を検出できず、且つ該車載撮像装置の所在する車両の左側に少なくとも１つの車線が存在するときに、該画像に路側帯があると確定し；及び、右側寄り走行する道路について、１つの車道の右側に路側参照物を検出できず、且つ該車載撮像装置の所在する車両の右側に少なくとも１つの車線が存在するときに、該画像に路側帯があると確定する。

例えば、図２に示す画像について、それが左側寄り走行する道路に属し、該画像を撮像する車載撮像装置の所在する車両が走行する車道が前方向車道であり、車線２０２の右側の車道において表示方向が前方である車両２０３が存在し、この場合、該車道は逆方向車道である。また、車載撮像装置の所在する車両が走行する車道即ち前方向車道の左側にガードレール２０４及びフェンス２０５の路側参照物が検出されているから、該画像に歩道があると確定する。

本発明の実施例の１つの実施方式において、第一検出結果、第二検出結果、第三検出結果及び第四検出結果は記載上、各検出結果を区別するためのものに過ぎず、各検出結果について限定することがない。

上述の実施例から分かるように、車両の表示方向の第一分類結果及び道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び車線の第一検出結果に基づいて、画像中の前方向車道及び／又は逆方向車道を検出することにより、複数の類型の車道を迅速且つ正確に認識することができる。

本発明の実施例はさらに１つの電子機器を提供する、図５は本発明の実施例２における電子機器を示す図である。図５に示すように、電子機器５００は道路認識装置５０１を含み、道路認識装置５０１の構造及び機能が実施例１中の記載と同じであるから、ここではその詳しい説明を省略する。

本発明の実施例の１つの実施方式において、電子機器５００は各種の類型の電子機器、例えば、車載端末、移動端末又はコンピュータであっても良い。

図６は本発明の実施例２における電子機器のシステム構成を示すブロック図である。図６に示すように、電子機器６００は処理器６０１及び記憶器６０２を含んでも良く；該記憶器６０２は処理器６０１に接続される。なお、該図は例示に過ぎず、さらに他の類型の構造を用いて、該構造に対して補充又は代替を行うことで、電気通信機能又は他の機能を実現しても良い。

図６に示すように、電子機器６００はさらに、入力ユニット６０３、顕示器６０４、電源６０５を含んでも良い。

本発明の実施例の１つの実施方式において、実施例１に記載の道路認識装置の機能が処理器６０１に統合されて良い。そのうち、処理器６０１は次のように構成されても良く、即ち、車載撮像装置が取得した画像について、第一ニューラルネットワークを使用して該画像中の車線を検出し、該車線の第一検出結果を取得し；該車載撮像装置が取得した該画像について、第二ニューラルネットワークを使用して該画像中の車両及び／又は道路方向標識を検出し、該車両の第二検出結果及び／又は該道路方向標識の第三検出結果を取得し；該車両の第二検出結果に基づいて該車両の表示方向に対して分類を行い、該車両の表示方向の第一分類結果を取得し、及び／又は、該道路方向標識の第三検出結果に基づいて該道路方向標識の方向に対して分類を行い、該道路方向標識の方向の第二分類結果を取得し；及び、該車両の表示方向の第一分類結果及び該道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び該車線の第一検出結果に基づいて、該画像中の前方向車道及び／又は逆方向車道を認識する。

例えば、処理器６０１はさらには次のように構成されても良く、即ち、該第二ニューラルネットワークを使用して該画像中の路側参照物を検出し、該路側参照物の第四検出結果を取得し；及び、該車線の第一検出結果及び該路側参照物の第四検出結果に基づいて、該画像中の歩道及び／又は路側帯を認識する。

例えば、該第一ニューラルネットワーク及び該第二ニューラルネットワークは深層学習方法により訓練されたものである。

例えば、該第一ニューラルネットワークはＬａｎｅＮｅｔネットワークであり、該第二ニューラルネットワークはＦＰＮ（ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）である。

例えば、該車両の第二検出結果に基づいて該車両の表示方向に対して分類を行い、該車両の表示方向の第一分類結果を取得し、及び／又は、該道路方向標識の第三検出結果に基づいて該道路方向標識の方向に対して分類を行い、該道路方向標識の方向の第二分類結果を取得することは、第一分類器を用いて、検出した該車両の表示方向に対して分類を行い、該第一分類結果を取得し、及び／又は、第二分類器を用いて、検出した該道路方向標識の方向に対して分類を行い、該第二分類結果を取得することを含み、該第一分類器及び該第二分類器は同じであり、又は異なる分類器であり、且つ該第一分類器及び該第二分類器は深層学習方法により訓練された分類器である。

例えば、該車両の表示方向の第一分類結果及び該道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び該車線の第一検出結果に基づいて、該画像中の前方向車道及び／又は逆方向車道を認識することは、１つの車道上で表示方向が前方である車両が存在し又は逆方向の道路方向標識が存在するときに、該車道を逆方向車道と確定し；及び／又は、１つの車道上で表示方向が後方である車両が存在し又は前方向の道路方向標識が存在するときに、該車道を前方向車道と確定することを含む。

例えば、該車線の第一検出結果及び該路側参照物の第四検出結果に基づいて、該画像中の歩道を認識することは、左側寄り走行する車道について、１つの車道の左側に路側参照物を検出したときに、該画像に歩道があると確定し；及び、右側寄り走行する車道について、１つの車道の右側に路側参照物を検出したときに、該画像に歩道があると確定することを含む。

例えば、該車線の第一検出結果及び該路側参照物の第四検出結果に基づいて、該画像中の路側帯を認識することは、左側寄り走行する車道について、１つの車道の左側に路側参照物が検出せず、且つ該車載撮像装置の所在する車両の左側に少なくとも１つの車線が存在するときに、該画像に路側帯があると確定し；及び、右側寄り走行する道路について、１つの車道の右側に路側参照物を検出せず、且つ該車載撮像装置の所在する車両の右側に少なくとも１つの車線が存在するときに、該画像に路側帯があると確定することを含む。

本発明の実施例のもう１つの実施方式において、実施例１に記載の道路認識装置が該処理器６０１と独立して配置されても良く、例えば、該道路認識装置を処理器６０１に接続されるチップとして構成し、処理器６０１の制御により該道路認識装置の機能を実現しても良い。

本発明の実施例の１つの実施方式において、電子機器６００は図６に示す全部の部品を含む必要がない。

図６に示すように、処理器６０１は制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、処理器６０１は、入力を受信して電子機器６００の各部品の操作を制御することができる。

該記憶器６０２は、例えば、バッファ、フレッシュメモリ、ＨＤＤ、可移動媒体、揮発性記憶器、非揮発性記憶器又は他の適切な装置のうちの１つの又は複数であっても良い。該処理器６０１は該記憶器６０２に記憶の該プログラムを実行して情報の記憶又は処理などを実現することができる。なお、他の部品の機能が従来と同様であるから、ここではその詳しい説明を省略する。また、電子機器６００の各部品は専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、そのすべては、本発明の範囲に属する。

上述の実施例から分かるように、車両の表示方向の第一分類結果及び道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び車線の第一検出結果に基づいて、画像中の前方向車道及び／又は逆方向車道を認識することにより、複数の類型の車道を迅速且つ正確に認識することができる。

本発明の実施例はさらに１つの道路認識方法を提供し、該方法は実施例１における道路認識装置に対応する。図７は本発明の実施例３における道路認識方法を示す図である。図７に示すように、該方法は以下のようなステップを含む。

ステップ７０１：車載撮像装置が取得した画像について、第一ニューラルネットワークを使用して該画像中の車線を検出し、該車線の第一検出結果を取得し；
ステップ７０２：該車載撮像装置が取得した該画像について、第二ニューラルネットワークを使用して該画像中の車両及び／又は道路方向標識を検出し、該車両の第二検出結果及び／又は該道路方向標識の第三検出結果を取得し；
ステップ７０３：該車両の第二検出結果に基づいて該車両の表示方向に対して分類を行い、該車両の表示方向の第一分類結果を取得し、及び／又は、該道路方向標識の第三検出結果に基づいて該道路方向標識の方向に対して分類を行い、該道路方向標識の方向の第二分類結果を取得し；及び
ステップ７０４：該車両の表示方向の第一分類結果及び該道路方向標識の方向の第二分類結果のうちの少なくとも１つ、及び該車線の第一検出結果に基づいて、該画像中の前方向車道及び／又は逆方向車道を認識する。

本発明の実施例の１つの実施方式において、上述の各ステップの具体的な実現方法が実施例１中の記載と同じであるので、ここでは重複説明を省略する。

本発明の実施例の１つの実施方式において、ステップ７０１及びステップ７０２の執行順序について限定せず、並列実行しても良く、順次実行しても良い。

本発明の実施例はさらにコンピュータ可読プログラムを提供し、そのうち、道路認識装置又は電子機器中で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記道路認識装置又は電子機器中で実施例３に記載の道路認識方法を実行させる。

本発明の実施例はさらにコンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムはコンピュータに道路認識装置又は電子機器中で実施例３に記載の道路認識方法を実行させる。

また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。

また、上述の実施例などに関し、さらに以下の付記を開示する。

（付記１）
道路認識装置であって、
車載撮像装置が取得した画像について、第一ニューラルネットワークを用いて前記画像中の車線を検出し、前記車線の第一検出結果を取得する第一検出ユニット；
前記車載撮像装置が取得した前記画像について、第二ニューラルネットワークを用いて前記画像中の車両及び／又は道路方向標識を検出し、前記車両の第二検出結果及び／又は前記道路方向標識の第三検出結果を取得する第二検出ユニット；
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得する分類ユニット；及び
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識する第一認識ユニットを含む、装置。

（付記２）
付記１に記載の装置であって、さらに、
前記第二ニューラルネットワークを用いて前記画像中の路側参照物を検出し、前記路側参照物の第四検出結果を得る第三検出ユニット；及び
前記車線の第一検出結果及び前記路側参照物の第四検出結果に基づいて、前記画像中の歩道及び／又は路側帯を認識する第二認識ユニットを含む、装置。

（付記３）
付記１に記載の装置であって、
前記第一ニューラルネットワーク及び前記第二ニューラルネットワークは深層学習方法により訓練されたものである、装置。

（付記４）
付記３に記載の装置であって、
前記第一ニューラルネットワークはＬａｎｅＮｅｔネットワークであり、前記第二ニューラルネットワークはＦＰＮ（ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）である、装置。

（付記５）
付記１に記載の装置であって、
前記分類ユニットは第一分類器を用いて、検出した前記車両の表示方向に対して分類を行い、前記第一分類結果を取得し、及び／又は、第二分類器を用いて、検出した前記道路方向標識の方向に対して分類を行い、前記第二分類結果を取得し、
前記第一分類器及び前記第二分類器は同じである又は異なる分類器であり、且つ前記第一分類器及び前記第二分類器は深層学習方法により訓練された分類器である、装置。

（付記６）
付記１に記載の装置であって、
前記第一認識ユニットは１つの車道に表示方向が前方である車両が存在し又は逆方向の道路方向標識が存在するときに、前記車道を逆方向車道と確定し；及び／又は、１つの車道に表示方向が後方である車両が存在し又は前方向の道路方向標識が存在するときに、前記車道を前方向車道と確定する、装置。

（付記７）
付記２に記載の装置であって、
前記第二認識ユニットは左側寄り走行する車道について、１つの車道の左側に路側参照物を検出したときに、前記画像に歩道があると確定し；及び、右側寄り走行する車道について、１つの車道の右側に路側参照物を検出したときに、前記画像に歩道があると確定する、装置。

（付記８）
付記２に記載の装置であって、
前記第二認識ユニットは左側寄り走行する車道について、１つの車道の左側に路側参照物を検出しておらず且つ前記車載撮像装置の所在する車両の左側に少なくとも１つの車線が存在するときに、前記画像に路側帯があると確定し；及び、右側寄り走行する道路について、１つの車道の右側に路側参照物を検出しておらず且つ前記車載撮像装置の所在する車両の右側に少なくとも１つの車線が存在するときに、前記画像に路側帯があると確定する、装置。

（付記９）
電子機器であって、
前記電子機器は付記１に記載の装置を含む、電子機器。

（付記１０）
道路認識方法であって、
車載撮像装置が取得した画像について、第一ニューラルネットワークを用いて前記画像中の車線を検出し、前記車線の第一検出結果を取得し；
前記車載撮像装置が取得した前記画像について、第二ニューラルネットワークを用いて前記画像中の車両及び／又は道路方向標識を検出し、前記車両の第二検出結果及び／又は前記道路方向標識の第三検出結果を取得し；
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得し；及び
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識することを含む、方法。

（付記１１）
付記１０に記載の方法であって、さらに、
前記第二ニューラルネットワークを用いて前記画像中の路側参照物を検出し、前記路側参照物の第四検出結果を取得し；及び
前記車線の第一検出結果及び前記路側参照物の第四検出結果に基づいて、前記画像中の歩道及び／又は路側帯を認識することを含む、方法。

（付記１２）
付記１０に記載の方法であって、
前記第一ニューラルネットワーク及び前記第二ニューラルネットワークは深層学習方法により訓練されたものである、方法。

（付記１３）
付記１２に記載の方法であって、
前記第一ニューラルネットワークはＬａｎｅＮｅｔネットワークであり、前記第二ニューラルネットワークはＦＰＮ（ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）である、方法。

（付記１４）
付記１０に記載の方法であって、
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得することは、
第一分類器を用いて、検出した前記車両の表示方向に対して分類を行い、前記第一分類結果を取得し、及び／又は、第二分類器を用いて、検出した前記道路方向標識の方向に対して分類を行い、前記第二分類結果を取得することを含み、
前記第一分類器及び前記第二分類器は同じである又は異なる分類器であり、且つ前記第一分類器及び前記第二分類器は深層学習方法により訓練された分類器である、方法。

（付記１５）
付記１０に記載の方法であって、
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識することは、
１つの車道に表示方向が前方である車両が存在し又は逆方向の道路方向標識が存在するときに、前記車道を逆方向車道と確定し；及び／又は
１つの車道に表示方向が後方である車両が存在し又は前方向の道路方向標識が存在するときに、前記車道を前方向車道と確定することを含む、方法。

（付記１６）
付記１１に記載の方法であって、
前記車線の第一検出結果及び前記路側参照物の第四検出結果に基づいて、前記画像中の歩道を認識することは、
左側寄り走行する車道について、１つの車道の左側に路側参照物を検出したときに、前記画像に歩道があると確定し；及び
右側寄り走行する車道について、１つの車道の右側に路側参照物を検出したときに、前記画像に歩道があると確定することを含む、方法。

（付記１７）
付記１１に記載の方法であって、
前記車線の第一検出結果及び前記路側参照物の第四検出結果に基づいて、前記画像中の路側帯を認識することは、
左側寄り走行する車道について、１つの車道の左側に路側参照物を検出できず且つ前記車載撮像装置の所在する車両の左側に少なくとも１つの車線が存在するときに、前記画像に路側帯があると確定し；及び
右側寄り走行する道路について、１つの車道の右側に路側参照物を検出できず且つ前記車載撮像装置の所在する車両の右側に少なくとも１つの車線が存在するときに、前記画像に路側帯があると確定することを含む、方法。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims

道路認識装置であって、
車載撮像装置が取得した画像について、第一ニューラルネットワークを用いて前記画像中の車線を検出し、前記車線の第一検出結果を取得する第一検出ユニット；
前記車載撮像装置が取得した前記画像について、第二ニューラルネットワークを用いて前記画像中の車両及び／又は道路方向標識を検出し、前記車両の第二検出結果及び／又は前記道路方向標識の第三検出結果を取得する第二検出ユニット；
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得する分類ユニット；及び
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識する第一認識ユニットを含む、道路認識装置。
請求項１に記載の道路認識装置であって、さらに、
前記第二ニューラルネットワークを用いて前記画像中の路側参照物を検出し、前記路側参照物の第四検出結果を得る第三検出ユニット；及び
前記車線の第一検出結果及び前記路側参照物の第四検出結果に基づいて、前記画像中の歩道及び／又は路側帯を認識する第二認識ユニットを含む、道路認識装置。
請求項１に記載の道路認識装置であって、
前記第一ニューラルネットワーク及び前記第二ニューラルネットワークは深層学習方法により訓練されたものである、道路認識装置。
請求項３に記載の道路認識装置であって、
前記第一ニューラルネットワークはＬａｎｅＮｅｔネットワークであり、前記第二ニューラルネットワークはＦＰＮ（ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）である、道路認識装置。
請求項１に記載の道路認識装置であって、
前記分類ユニットは第一分類器を用いて、検出した前記車両の表示方向に対して分類を行い、前記第一分類結果を取得し、及び／又は、第二分類器を用いて、検出した前記道路方向標識の方向に対して分類を行い、前記第二分類結果を取得し、
前記第一分類器及び前記第二分類器は同じであり又は異なり、且つ前記第一分類器及び前記第二分類器は深層学習方法により訓練されたものである、道路認識装置。
請求項１に記載の道路認識装置であって、
前記第一認識ユニットは１つの車道に表示方向が前方である車両が存在し又は逆方向の道路方向標識が存在するときに、前記車道を逆方向車道と確定し；及び／又は、１つの車道に表示方向が後方である車両が存在し又は前方向の道路方向標識が存在するときに、前記車道を前方向車道と確定する、道路認識装置。
請求項２に記載の道路認識装置であって、
前記第二認識ユニットは左側寄り走行する車道について、１つの車道の左側に路側参照物を検出したときに、前記画像に歩道があると確定し；及び、右側寄り走行する車道について、１つの車道の右側に路側参照物を検出したときに、前記画像に歩道があると確定する、道路認識装置。
請求項２に記載の道路認識装置であって、
前記第二認識ユニットは左側寄り走行する車道について、１つの車道の左側に路側参照物を検出できず且つ前記車載撮像装置の所在する車両の左側に少なくとも１つの車線が存在するときに、前記画像に路側帯があると確定し；及び、右側寄り走行する道路について、１つの車道の右側に路側参照物を検出できず且つ前記車載撮像装置の所在する車両の右側に少なくとも１つの車線が存在するときに、前記画像に路側帯があると確定する、道路認識装置。
請求項１に道路認識記載の装置を含む、電子機器。
道路認識方法であって、
車載撮像装置が取得した画像について、第一ニューラルネットワークを用いて前記画像中の車線を検出し、前記車線の第一検出結果を取得し；
前記車載撮像装置が取得した前記画像について、第二ニューラルネットワークを用いて前記画像中の車両及び／又は道路方向標識を検出し、前記車両の第二検出結果及び／又は前記道路方向標識の第三検出結果を取得し；
前記車両の第二検出結果に基づいて前記車両の表示方向に対して分類を行い、前記車両の表示方向の第一分類結果を取得し、及び／又は、前記道路方向標識の第三検出結果に基づいて前記道路方向標識の方向に対して分類を行い、前記道路方向標識の方向の第二分類結果を取得し；及び
前記車両の表示方向の第一分類結果及び前記道路方向標識の方向の第二分類結果のうちの少なくとも１つと、前記車線の第一検出結果とに基づいて、前記画像中の前方向車道及び／又は逆方向車道を認識することを含む、道路認識方法。