JP2022516183A - 指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体 - Google Patents

Abstract

本発明は、指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体に関する。前記方法は、収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得ることと、前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることと、前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定することと、を含み、前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む。【選択図】図１

Description

＜関連出願の相互引用＞
本発明は、出願日が２０１９年７月３１日であり、出願番号がＣＮ２０１９１０７０３７６３５であり、発明名称が「指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。
本発明は、コンピュータ視覚技術の分野に関し、特に、指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体に関する。

指示灯の検出は、車両の自動運転、および、ロボットの自律運転において非常に重要な部分である。車両の自動運転やロボット自律走行中には，カメラが捉えた道路画像から指示灯を検出し、その状態や表示の意味を判断する必要があり、そして、交通ルールに応じた正確な意思決定を行い，安全走行を行うことができる。

関連技術で存在する問題を克服するために、本発明は、指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体を提供する。

第１態様によると、指示灯検出方法を提供し、当該方法は、収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得ることと、前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることと、前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定することと、を含み、前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む。

第２態様によると、指示灯検出装置を提供し、当該装置は、収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得るための認識ユニットと、前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得るための予測ユニットと、前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定するための決定ユニットと、を備え、前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む。

第３態様によると、指示灯検出デバイスを提供し、前記デバイスは、メモリと、プロセッサと、を備え、前記メモリは、プロセッサ上で運行可能なコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、上記に記載の方法を実現する。

第４態様によると、コンピュータプログラムが記憶されているコンピュータ可読記録媒体を提供し、前記プログラムがプロセッサによって実行されるときに、上記に記載の方法が実現される。

第５態様によると、コンピュータ可読コードを含むコンピュータプログラムを提供し、
前記コンピュータ可読コードがコンピュータによって実行されるときに、本発明の実施例に記載の方法が実現される。

本発明の１つまたは複数の実施例の指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体によると、高精度のセンサなどに依存する必要なしに、カメラによって収集された道路画像を利用して指示灯の検出と分類を実行することによって、指示灯の検出に必要なデバイスハードウェアのコストを効果的に削減することができる。道路画像内の指示灯の候補境界ボックスに対応する画像領域を認識する過程において、指示灯に対して明確な分類論理の分割を実行することによって、複数の側面および複数の次元から指示灯を分類し、得られた複数の分類の予測結果が可能な限りそれぞれの場合の指示灯をカバーするようにし、様々な状況の指示灯の表示状態の判断に有利であるため、指示灯検出の包括性と正確性を効果的に向上させることができる。

上記の一般的な説明、および、以下の詳細な説明は、例示的、および、解釈的なものに過ぎず、本発明を限定するものではないことを理解すベきである。

ここでの図面は、明細書に組み込まれて、本明細書の一部を構成する。これらの図面は、本発明に合致する実施例を示し、明細書ともに本発明の実施例を説明するために用いられる。
本発明の例示的な１実施例に係る指示灯検出方法のフローを示す模式図である。 本発明の例示的な１実施例に係る指示灯分類論理を示す模式図である。 本発明の例示的な１実施例に係るニューラルネットワークモデルの構成を示す模式図である。 図３Ａ中のニューラルネットワークモデルを利用して実行する指示灯の複数の分類予測方法のフローを示す模式図である。 本発明の例示的な１実施例に係る指示灯検出結果を示す模式図である。 本発明の例示的な１実施例に係る検出された指示灯同一の位置の指示灯であるか否かを判断する方法のフローを示す模式図である。 本発明の例示的な１実施例に係るニューラルネットワークモデルのトレーニング方法のフローを示す模式図である。 本発明の例示的な１実施例に係る指示灯検出装置の構成を示す模式図である。 本発明の例示的な１実施例に係る指示灯検出デバイスを示す構成図である。

ここで、例示的な実施例を詳細に説明し、その例を図面に示す。以下の説明が図面を言及している場合、特に明記しない限り、異なる図面での同じ符号は同じまたは類似の要素を表す。以下の例示的な実施例で説明する実施形態は、本発明と一致するすベての実施形態を表すわけではない。逆に、それらは、添付の特許請求の範囲に詳述されているように、本発明のいくつかの態様と一致する装置と方法の単なる例である。

本明細書中の「および／または」という用語は、ただ、関連対象の関連関係を叙述し、例えば、Ａおよび／またはＢは、Ａが単独的に存在すること、ＡとＢが同時に存在すること、および、Ｂが単独的に存在することのような、３種の関係が存在することができることを意味する。また、本明細書中の「少なくとも１種」という用語は、複数種の中の任意の１種、または、複数種の中の少なくとも２種の任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃの中の少なくとも１種を含むことは、Ａ、Ｂ、および、Ｃから構成されたセットの中から選択した任意１つまたは複数の要素を意味する。

図１は、本発明の実施例に係る指示灯検出方法の１つのフローを示す模式図である。図１に示すように、当該実施例方法は、ステップ１１０～ステップ１３０を含む。

ステップ１１０において、収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得る。

車両またはロボットなどの知能デバイスの走行過程において、知能デバイスまたは知能デバイスの周囲に設置された少なくとも１つの画像収集装置（たとえばカメラなど）を利用して、知能デバイスの周囲の道路画像を収集する。

収集した道路画像の認識によって、たとえば収集した道路画像を事前にトレーニングしたニューラルネットワークモデルに入力して、前記道路画像内の指示灯の候補境界ボックスを得ることができる。前記指示灯は、たとえば交通信号灯、鉄道信号灯などを含み、本発明は指示灯のタイプに対して限定しない。

ステップ１２０において、前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得る。

前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む。

前記複数の分類とは、複数の側面および複数の次元から指示灯を分類することを指す。指示灯分類論理を設計することによって、指示灯の分類が様々なタイプの指示灯をカバーするようにする。

本発明の実施例において、少なくとも前記複数の分類の中の２つの分類を予測し、当該２つの分類の中の各サブ分類に対していずれも類別予測を実行する必要がある。

ステップ１３０において、前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定する。

各分類の予測結果が異なる状況に対応して、前記指示灯の異なる表示状態を決定することができる。

本発明の実施例において、少なくとも２つの分類の中の各分類の予測結果に基づいて指示灯の表示状態を決定する。

本実施例によると、高精度のセンサなどに依存する必要なしに、カメラによって収集された道路画像を利用して指示灯の検出と分類を実行することによって、指示灯の検出に必要なデバイスハードウェアのコストを効果的に削減することができる。道路画像内の指示灯の候補境界ボックスに対応する画像領域を認識する過程において、指示灯に対して明確な分類論理の分割を実行することによって、複数の側面および複数の次元から指示灯を分類し、得られた複数の分類の予測結果が可能な限り様々な状況の指示灯をカバーするようにし、様々な状況の指示灯の表示状態の判断に有利であるため、指示灯検出の包括性と正確性を効果的に向上させることができる。

以下の説明において、指示灯検出方法をさらに詳細に説明する。

図２は、例示的な指示灯分類論理を示す。図２に示すように、用途分類は、たとえば、当該指示灯が歩行者を指示するために使用されること／当該指示灯が車両を指示するために使用されることを含み得る。指示灯が車両を指示するために使用される場合、形状分類は、たとえば、当該指示灯がフルスクリーンライト（円形灯とも呼ばれる）に属すること／アローライトに属することを含み得、配列分類は、たとえば、当該指示灯が水平配列に属すること／垂直配列に属すること／単独の指示灯に属することを含み得、機能分類は、たとえば、当該指示灯が通常の指示灯に属すること／警告灯に属すること／電子料金収受（Ｅｌｅｃｔｒｏｎｉｃ Ｔｏｌｌ Ｃｏｌｌｅｃｔｉｏｎ、 ＥＴＣ）指示灯に属することを含み得、色分類は、たとえば、当該指示灯が赤色灯に属すること／黄色灯に属すること／緑色灯に属すること／不明色（点灯されていない状況に対応する）に属することを含み得る。当該指示灯がアローライトである場合、指向分類は、たとえば、左／右／前／左前／右前を含み得る。当業者は、指示灯の分類は上記に限定されず、さらに他の側面または次元の分類を含み得ることを理解すベきである。

指示灯の複数の分類の予測結果を得るために、事前にラベリング情報付きの道路画像（サンプル画像と呼ばれる）を利用してニューラルネットワークモデルをトレーニング（トレーニング過程は後で詳細に説明する）することができ、トレーニング後のニューラルネットワークモデルは、入力された道路画像内で指示灯を認識し、認識された指示灯の複数の分類を予測して複数の分類の予測結果を得ることができる。

いくつかの実施例において、ニューラルネットワークモデル中に含まれている複数のサブネットワークブランチを利用して、それぞれ前記指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることができ、その中で、前記複数のサブネットワークブランチの数は、前記複数の分類の数と同一であり、各サブネットワークブランチは、前記複数の分類の中の１つの分類のサブ類別を認識するために使用される。

図３Ａは、本発明の少なくとも１つの実施例によって提供されるニューラルネットワークモデルのネットワーク構成の模式図であり、図３Ａに示すように、当該ニューラルネットワークモデルは、特徴抽出層３０１と、領域候補（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）層３０２と、プーリング層３０３と、全結合層３０４と、を含む。その中で、全結合層３０４は、回帰ブランチ３０４１と、複数のサブネットワークブランチ３０４２と、を含む。

オプションの１実施形態において、全結合層３０４は、畳み込み層をさらに含み、当該畳み込み層は、プーリング層３０３に接続される。

図３Ｂは、図３Ａ中のニューラルネットワークモデルを利用して指示灯の複数の分類予測を実行する方法のフローを示す模式図であり、図３Ｂに示すように、当該方法は、ステップ３１０～３４０を含む。

ステップ３１０において、前記特徴抽出層を利用して前記道路画像の特徴マップを得る。

特徴抽出層３０１は、入力された道路画像の特徴を抽出するためのものであり、畳み込みニューラルネットワークであり得、たとえば、既存のビジュアルジオメトリグループ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ、ＶＧＧ）ネットワーク、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ、ＲｅｓＮｅｔ）、高密度接続ネットワーク（Ｄｅｎｓｅ Ｃｏｎｎｅｃｔｉｏｎ Ｎｅｔｗｏｒｋ、ＤｅｎｓｅＮｅｔ）などを採用することができ、さらに、他の畳み込みニューラルネットワークを採用してもよい。本発明は、特徴抽出層３０１の具体的な構成に対して限定しない。オプションの１実施形態において、特徴抽出層３０１は、畳み込み層、活性化層、プーリング層などのネットワークユニットを含み得、上述したネットワークユニットは一定の方式に従って積み重ねられる。その中で、畳み込み層は、複数の畳み込みカーネルを利用してそれぞれ入力された道路画像内の異なる特徴を抽出して、複数の特徴マップを得ることができ、プーリング層は、畳み込み層の後に位置し、特徴マップに対してローカル平均化とダウンサンプリングの操作を実行して、特徴マップの解像度を下げることができる。畳み込み層とプーリング層の数の増加につれて、特徴マップの数がますます多くなり、特徴マップの解像度がますます低下する。

ステップ３２０において、前記領域候補層を利用して前記特徴マップに対した処理を実行して、前記道路画像内の指示灯の候補境界ボックスを生成する。

領域候補層３０２は、指示灯の候補境界ボックスを予測するために使用され、すなわち候補境界ボックスの予測情報を生成する。領域候補層３０２は、領域候補ネットワーク（ＲＰＮ、Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）であり得、本発明は、領域候補層３０２の具体的な構成に対して限定しない。オプションの１実施形態において、領域候補層３０２は、畳み込み層、分類層、回帰層などのネットワークユニットを含み得、上述したネットワークユニットを一定の方式に従って積み重ねて生成する。その中で、畳み込み層は、スライディングウィンドウ（たとえば、３＊３である）を利用して入力した特徴マップに対して畳み込みを実行して、各ウィンドウは複数のアンカー（ａｎｃｈｏｒ）ボックスに対応し、各ウィンドウは１つの分類層および回帰層と完全接続するためのベクトルを生成する。当該分類層は、アンカーフレームによって生成された候補境界ボックス内の画像領域が前景であると背景であるかを判断するために使用され、回帰層は、候補境界ボックスのおおよその位置を得るために使用され、分類層および回帰層の出力結果に基づいて、指示灯を含む候補境界ボックスを予測し、当該候補境界ボックス内の画像領域が前景である確率または背景である確率および当該候補境界ボックスの位置パラメータを出力する。

当該ステップにおいて、生成された候補境界ボックスは、Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌと呼ばれ得、後続のステップにおいて、当該領域は、関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）と呼ばれ得る。

ステップ３３０において、前記プーリング層を利用して、前記候補境界ボックスの、特徴マップにおける対応する所定の大きさの画像特徴を得る。

本ステップにおいて、プーリング層３０３を採用して各ＲＯＩに対して所定の大きさ（固定サイズであり、たとえば７×７である）の特徴マップを抽出し、すなわちステップ３２０で得られた大きさが異なるＲＯＩを、大きさが同一である領域にマッピングし、当該過程をＲＯＩ プーリング（ＲＯＩ Ｐｏｌｌｉｎｇ）と呼ばれ得る。プーリング層３０３を採用して大きさが同一である領域に対して特徴抽出を実行することによって、当該ＲＯＩに対応する画像特徴を得ることができる。

ステップ３４０において、前記全結合層３０４を介して前記指示灯の複数の分類の予測結果を得る。当該全結合層３０４は、回帰ブランチ３０４１と複数のサブネットワークブランチ３０４２とを含む。回帰ブランチ３０４１と各サブネットワークブランチ３０４２とは、それぞれ１×１の畳み込みカーネルを利用してさらなる特徴抽出を実行する。当該１×１の畳み込みカーネルは、各チャネルに対して異なるパラメータを有し、完全接続の機能に相当する。

その中で、回帰ブランチ３０４１は、上述した候補境界ボックスに対して回帰を実行して、候補境界ボックスの位置を補正することによって、指示灯の境界ボックスに対してより正確に位置決めを行う。回帰ブランチ３０４１は、トレーニング過程において学習で得られた候補境界ボックスと真の境界ボックスとの間の変換関係を利用して、指示灯の境界ボックスを予測して得、すなわち指示灯境界ボックスの位置情報を予測して得る。当該位置情報は、（ｘ１，ｙ１，ｘ２，ｙ２）に表すことができ、その中で、ｘ１、ｙ１は予測された境界ボックスの左上隅点の座標であり、ｘ２、ｙ２は予測された境界ボックス右下隅点の座標である。当該位置情報は、（ｘ，ｙ，ｗ，ｈ）に表してもよく、その中で、ｘ、ｙは、予測された境界ボックス中心点の座標を示し、ｗ、ｈは、それぞれ予測された境界ボックスの幅および高さを示す。

その中で、各サブネットワークブランチ３０４２は、上述した複数の分類の中の１つの分類のサブ類別を認識するために使用される。

１つの例において、前記サブネットワークブランチは、以下の方式によって指示灯の複数の分類の予測結果を得ることができ、当該方式は、前記候補境界ボックスに対応する画像特徴、および、前記複数のサブネットワークブランチの中の第１サブネットワークブランチを利用して、前記指示灯の複数の分類の中の第１分類を予測して、第１分類に対応する少なくとも２つのサブ類別の予測確率を得ることと、前記少なくとも２つのサブ類別の中の前記予測確率が最も高いサブ類別を、前記指示灯の前記第１分類におけるサブ類別としてマークすることと、を含む。

その中で、前記第１サブネットワークブランチは、複数のサブネットワークブランチ中の任意の１つであり得、前記第１分類は、複数の分類の中の任意の１つの分類であり得る。

たとえば、第１サブネットワークブランチは、形状分類を実行するためのサブネットワークブランチであり得、形状分類に対応する２つのサブ類別（フルスクリーンライトおよびアローライト）の予測確率を得ることができ、たとえは、フルスクリーンライトの予測確率は９０％であり、アローライトの予測確率は１０％である。この場合、当該サブネットワークブランチは、予測確率が最も高いサブ類別すなわちフルスクリーンライトを形状分類のサブ類別にマークする。

前記指示灯の複数の分類間は、階層的であり、すなわち論理関係があるため、指示灯の複数の分類の予測結果に基づいて共同で指示灯の表示状態を決定する必要がある。

いくつかの実施例において、以下の方式を利用して指示灯の表示状態を決定する。

前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯が円形灯であることを示す場合、前記配列分類、前記機能分類、および、前記色分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第１表示状態を得る。

前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯がアローライトであることを示す場合、前記色分類および前記指向分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第２表示状態を得る。

前記複数の分類が前記用途分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が歩行者を指示するために使用されることである場合、前記指示灯の第３表示状態を得る。

図４は、指示灯検出の例示的な出力結果を示し、図４に示すように、当該検出結果は、予測して得られた指示灯の境界ボックス、および、当該指示灯の複数の分類の予測結果を含み、また、当該予測して得られた境界ボックスの信頼度評価をさらに含み得る。当該信頼度評価は、当該予測して得られた境界ボックスに指示灯が存在する可能性、および、予測して得られた境界ボックス位置の正確性を総合的に反映する。

図４に示すように、当該道路画像内に（出力する予測結果を明確に表示するために、一部の道路画像のみを表示する）、予測して得られた３つの指示灯の境界ボックスを出力する。その中で、黒色の長方形の境界ボックス内の指示灯の分類予測結果は、「赤色、水平」（ｒｅｄ ｈｏｒｉｚｏｎ）であり、当該指示灯が水平に配列され、赤色の通常の指示灯であることを示し、当該予測して得られた境界ボックスの信頼度評価が１．０である。通常の指示灯の分類予測結果は、表示しない（非表示）と設定されているため、当該指示灯の表示状態は第１表示状態に対応する。

黒色の正方形の境界ボックス内の指示灯の分類予測結果は、「不明色、単独」であり、すなわち、当該指示灯は、単独であり、点灯されていない指示灯であり、この２つの分類予測結果は、非表示に設定されているため、画像に表示しないし、第１表示状態に対応する。当該予測して得られた境界ボックスの信頼度評価は、０．９８である。

白色の正方形内の指示灯の分類予測結果は、「緑色、矢印、左」（ｇｒｅｅｎ ａｒｒｏｗ ｌｅｆｔ）であり、当該指示灯が、単独の矢印形状の指示灯であり、色が緑色であり、指向が左でることを示し、当該予測して得られた境界ボックスの信頼度評価は０．９９である。当該指示灯の表示状態は、第２表示状態に対応する。

指示灯の表示状態を決定することは、指示灯が常時点灯の状態であるかまたは点滅の状態であるかを判断することをさらに含み、したがって、知能デバイスが自動的に走行するように案内することができ、知能デバイスが交通ルールを順守し、安全運転を実現するようにする。

いくつかの実施例において、所定の時間内で収集した複数の道路画像内の同一の位置の前記指示灯および前記指示灯の複数の分類の予測結果を得、前記複数の道路画像内の同一の位置の前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を判断する。

１つのオプションの実施形態において、連続したフレームの道路画像を収集して、前記複数の道路画像内の同一の位置の前記指示灯を得ることができる。前記連続したフレームの画像は、連続的に撮影した複数のフレームの画像であり得、また、連続的に撮影した複数のフレームの画像の中から数フレームおきに１つの目標フレームを選択し、連続して選択した複数の目標フレームを連続したフレームと見なすこともできる。

図５は、検出された指示灯が同一の位置の指示灯であるか否かを判断する方法のフローを示す模式図であり、図５に示すように、当該方法は、以下のステップを含む。

ステップ５１０において、前記指示灯の前記連続したフレームの道路画像の第１フレームの画像における位置を得る。

すなわち、所定の時間内の開始フレームによって予測して得られた指示灯の位置を得る。

上述した指示灯検出方法によって、道路画像内の指示灯を検出した後に、ニューラルネットワークモデルを利用して指示灯の画像における位置を得ることができ、すなわち予測して得られた指示灯の境界ボックスの位置パラメータを得ることができる。さらに、画像処理の方式に従って、検出された指示灯の画像における位置を得ることができる。

ステップ５２０において、前記指示灯の前記第１フレームの画像における位置と、前記道路画像を撮影するデバイスの運動速度および撮影頻度とに基づいて、前記指示灯の前記連続したフレームの道路画像の中の前記第１フレームの画像以外の他の各フレーム画像における第１位置を計算する。

前記道路画像を撮影するデバイスが画像収集装置（たとえばカメラなど）であり、当該デバイスの運動速度は自動的に走行する知能デバイスの運動速度と同一であり、撮影頻度は予め設定されるかまたは読み取りデバイスの構成によって取得される。開始フレーム内の指示灯の画像における位置が既知である場合、当該デバイスの運動速度および撮影頻度に基づいて、後続の各フレーム（他のフレーム、すなわち連続したフレームの画像の中の前記第１フレーム以外の画像）内の、当該指示灯の画像における理論上の位置を計算して得ることができる。当該位置を第１位置と呼ぶことで、後続のステップでの位置と区別する。

ステップ５３０において、前記指示灯の前記連続したフレームの画像の中の前記他の各フレーム画像における第２位置を得る。

後続の各フレームに対して、ニューラルネットワークモデルを利用して検出された指示灯の画像における位置を予測して得るか、または画像処理の方式に従って検出された指示灯の画像における位置を得ることができ、当該位置を第２位置と呼ぶ。

ステップ５４０において、前記他のフレーム画像の中の各フレームの画像ごとに、前記第２位置と第１位置との差異が所定の値未満であると、前記連続したフレームの道路画像内で検出された指示灯が同一の位置の指示灯であると決定する。

同一の位置の指示灯に対して、ステップ５３０で検出された指示灯の画像における第２位置と、ステップ５２０で計算得られた第１位置とは、接近しているはずである。したがって、後続の各フレームに対して、第２位置と第１位置との差異が所定の値未満であると、前記連続したフレームの道路画像内で検出された指示灯が同一の位置の指示灯であると決定し、そうではないと、同一の位置の指示灯ではないと判断する。検出された指示灯が同一の位置の指示灯ではないと、後続の指示灯状態を判断するステップを実行する必要がない。当業者は、上述した所定の値は必要な検出正確度に応じて設定することができることを了解すベきである。

複数の道路画像内の同一の位置の前記指示灯を得た後に、複数の道路画像内の同一の位置の指示灯の複数の分類予測結果がそのまま維持されているか変化が発生したかを比較することによって、前記指示灯が常時点灯状態にあるか点滅状態にあるかを判断することができる。

１つのオプションの実施形態において、前記複数の道路画像内の同一の位置の指示灯の色分類予測結果が同一である場合、前記指示灯の表示状態を常時点灯として判断する。

前記複数の画像内の同一の位置の指示灯の色分類予測結果が間隔を置いて変化する場合、前記指示灯の表示状態を点滅として判断する。

たとえば、上述した複数の道路画像のうち、同一の位置の指示灯の色分類の予測結果が同一であると、所定の時間（たとえば３秒）内で、当該指示灯の色が変化していないことを意味するため、当該指示灯が常時点灯状態にあると判断することができる。ここでの予測結果が同一である色分類は不明色を含まないことに注意する必要がある。

上述した複数の道路画像のうち、同一の位置の指示灯の色分類の予測結果が間隔を置いて変化すると、たとえば、一定の期間内で色分類の予測結果が緑色であり、一定の期間内で色分類の予測結果が不明色（またはここに灯があることが検出できない）であり、さらにこの２つの状況が交互に現れると、所定の時間内で、当該指示灯の色に交互な変化が発生したことを意味するため、当該指示灯が点滅状態にあると判断することができる。

以下の説明においては、ニューラルネットワークモデルをどのようにトレーニングするかを説明する。図６は、本発明の実施例のニューラルネットワークモデルのトレーニング方法の１つのフローを示す模式図である。図６に示すように、当該実施例方法は、以下のステップを含む。

ステップ６１０において、指示灯を含むサンプル画像を前記ニューラルネットワークモデルに入力して、指示灯の複数の分類予測結果および境界ボックス予測結果を得る。

トレーニングを実行する前に、まず、ニューラルネットワークモデルに対して初期化を実行し、初期化されたネットワークパラメータを決定する。

ニューラルネットワークモデルに入力するサンプル画像は、指示灯を含む道路画像であり得、当該サンプル画像内に指示灯のラベリング情報が事前にラベリングされており、当該ラベリング情報は、指示灯の真の境界ボックス情報を含み、たとえば、当該境界ボックスの左上頂点の座標および左下頂点の座標がラベリングされており、また、当該ラベリング情報には指示灯の複数の分類情報がさらに含まれる。

前記サンプル画像を、初期化されたニューラルネットワークモデルに入力して、前記サンプル画像内の指示灯の複数の分類予測結果、および、境界ボックス予測結果を予測して得ることができる。

ステップ６２０において、前記複数の分類予測結果および前記境界ボックス予測結果と、前記複数の分類情報および前記真の境界ボックス情報とに基づいて、損失関数の損失値を計算する。

当該損失関数の損失値は、予測して得られた複数の分類結果および予測して得られた境界ボックスと、予めラベリングした複数の分類情報および真の境界ボックス情報と、の間の差異を示す。

ステップ６３０において、前記損失値に基づいて前記ニューラルネットワークモデルのネットワークパラメータを調整する。

オプションの１実施形態において、当該損失関数に基づいて決定した損失値を、当該ニューラルネットワークモデルにバックプロパゲーションすることによって、ネットワークパラメータを調整し、たとえば各層の畳み込みカーネルの値、各層の重みパラメータなどを調整する。

ニューラルネットワークモデルをトレーニングするときに、トレーニングサンプルを複数の画像サブセット（ｂａｔｃｈ）に分割し、毎回の反復トレーニングでニューラルネットワークモデルに順次に１つの画像サブセットを入力し、当該画像サブセットに含まれているトレーニングサンプルの中の各サンプルの予測結果の損失値を組み合わせ、ネットワークパラメータの調整を実行する。今回の反復トレーニングが完了された後に、ニューラルネットワークモデルに次の１つの画像サブセットを入力することによって、次の１回の反復トレーニングを実行する。異なる画像サブセットに含まれているトレーニングサンプルは、少なくとも一部が異なる。所定の終了条件に達した場合、ニューラルネットワークモデルのトレーニングを完了することができる。前記所定のトレーニング終了条件は、たとえば損失値が一定の閾値に低下したこと、または、所定のニューラルネットワークモデル反復回数に達したことを含み得る。

本実施例のニューラルネットワークモデルトのレーニング方法によると、指示灯の分類情報および真の境界ボックスを予めラベリングしたサンプル画像を利用して、ニューラルネットワークモデルをトレーニングすることによって、当該トレーニングされたニューラルネットワークモデルが入力した画像内の指示灯を検出し、前記指示灯の複数の分類を予測することができるようにする。

トレーニングされたニューラルネットワークモデルが、上述した指示灯検出方法の実施例で採用したニューラルネットワークモデルであり、その構成はたとえば図３Ａに示したとおりであり、区別は、入力した画像がラベリング情報を含むサンプル画像であることのみにある。図３Ａに示されたニューラルネットワークモデルの場合、サンプル画像に基づいて指示灯の予測結果を得ることは、前記特徴抽出層を利用して前記サンプル画像の特徴マップを得ることと、前記領域候補層を利用して前記特徴マップに対して処理を実行して、前記サンプル画像内の指示灯の候補境界ボックスを生成することと、前記プーリング層を利用して前記候補境界ボックスの特徴マップにおける対応する所定の大きさの画像特徴を得ることと、前記全結合層を利用して前記指示灯の複数の分類の予測結果および境界ボックスの予測結果を得ることと、を含む。

トレーニングでの指示灯予測過程は、上述した指示灯検出方法中の指示灯の予測過程と類似であり、詳細な過程は指示灯検出方法の実施例の説明を参照することができる

図７は、指示灯検出装置を提供し、図７に示すように、当該装置は、認識ユニット７０１と、予測ユニット７０２と、決定ユニット７０３と、を備え得る。

その中で、認識ユニット７０１は、収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得、予測ユニット７０２は、前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得、決定ユニット７０３は、前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定し、その中で、前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む。

別の実施例において、予測ユニット７０２は、ニューラルネットワークモデルを利用して、前記候補境界ボックスに対応する画像領域に対して特徴抽出を実行して、前記候補境界ボックスに対応する画像特徴を得、また、前記候補境界ボックスに対応する画像特徴、および、前記ニューラルネットワークモデルに含まれている複数のサブネットワークブランチを利用して、それぞれ前記指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得、前記複数のサブネットワークブランチの数は、前記複数の分類の数と同一であり、各サブネットワークブランチは、前記複数の分類の中の１つの分類のサブ類別を認識するために使用される。

別の実施例において、予測ユニット７０２は、前記候補境界ボックスに対応する画像特徴、および、前記複数のサブネットワークブランチの中の第１サブネットワークブランチを利用して、前記指示灯の複数の分類の中の第１分類を予測して、第１分類に対応する少なくとも２つのサブ類別の予測確率を得、また、前記少なくとも２つのサブ類別の中の前記予測確率が最も高いサブ類別を、前記指示灯の前記第１分類におけるサブ類別としてマークする。

別の実施例において、決定ユニット７０３は、前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯が円形灯であることを示す場合、前記配列分類、前記機能分類、および、前記色分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第１表示状態を得、または、前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯がアローライトであることを示す場合、前記色分類および前記指向分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第２表示状態を得、または、前記複数の分類が前記用途分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が歩行者を指示するために使用されることである場合、前記指示灯の第３表示状態を得る。

別の実施例において、決定ユニット７０３は、所定の時間内で収集した複数の道路画像内の同一の位置の前記指示灯および前記指示灯の複数の分類の予測結果を得、また、前記複数の道路画像内の同一の位置の前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を判断する。

別の実施例において、前記複数の道路画像は、連続したフレームの道路画像であり、決定ユニット７０３は、前記指示灯の前記連続したフレームの道路画像の第１フレームの画像における位置を得、また、前記指示灯の前記第１フレームの画像における位置と、前記道路画像を撮影するデバイスの運動速度および撮影頻度とに基づいて、前記指示灯の前記連続したフレームの道路画像の中の前記第１フレームの画像以外の他の各フレーム画像における第１位置を計算し、また、前記指示灯の前記連続したフレームの画像の中の前記他の各フレーム画像における第２位置を得、前記他のフレーム画像の中の各フレームの画像ごとに、前記第２位置と第１位置との差異が所定の値未満であると、前記連続したフレームの道路画像内で検出された指示灯が同一の位置の指示灯であると決定する。

別の実施例において、前記指示灯の表示状態は、常時点灯または点滅を含み、決定ユニット７０３は、前記複数の道路画像内の同一の位置の指示灯の色分類予測結果が同一である場合、前記指示灯の表示状態を常時点灯として判断し、また、前記複数の画像内の同一の位置の指示灯の色分類予測結果が間隔を置いて変化する場合、前記指示灯の表示状態を点滅として判断する。

図８は，本発明少なくとも１つの実施例によって提供される指示灯検出デバイスであり、前記デバイスは、メモリと、プロセッサと、を備え、前記メモリは、プロセッサ上で運行可能なコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、本明細書の任意の実施例に記載の指示灯検出方法を実現する。

本明細書の少なくとも１つの実施例は、コンピュータプログラムが格納されているコンピュータ可読記録媒体をさらに提供し、前記プログラムがプロセッサによって実行されるときに、本明細書の任意の実施例に記載の指示灯検出方法が実現される。

本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードがコンピュータによって実行されるときに、本発明の任意の実施例に記載の指示灯検出方法が実現される。

上記の各実施例の説明は、各実施例間の相違点を強調する傾向があり、その同一または類似な部分は互いに参照することができ、簡素化のために本明細書では繰り返して説明しない。

当業者は、具体的な実施形態の上記方法において、各ステップの書き込み順序は厳密な実行順序を意味するものではなく、実施過程を限定しない。各ステップの具体的な実行順序は、その機能および可能な内部ロジックによって決定される。

いくつかの実施例において、本発明の実施例によって提供される装置の機能またはモジュールは、上記の方法の実施例に説明した方法を実行し、その具体的な実現は上記の方法の実施例の説明を参照でき、簡素化のためにここで繰り返して説明しない。

本発明の実施例において、コンピュータ可読記録媒体は、複数の形態があり、たとえば、異なる例において、前記機械可読記録媒体は、ＲＡＭ（Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、揮発性メモリ、不揮発性メモリ、フラッシュ メモリ、記憶ドライブ（たとえば、ハードディスクドライブ）、固体ハードディスク、いかなるタイプの記憶ディスク（たとえば光ディスク、ｄｖｄなど）、類似な記録媒体、または、それらの組み合わせであり得る。特に、前記のコンピュータ可読媒体は、紙またはプログラムを印刷することができる他の適当な媒体であり得る。これらの媒体を使用して、これらのプログラムを電気的な方式によって取得することができ（たとえば、光走査）、適当な方式によってコンパイル、解釈、および処理することができ、コンピュータ媒体に保存することができる。

以上前記は、本発明の一部の実施例に過ぎず、本発明を限定しない。本発明の精神と原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも、本発明が保護する範囲に含まれるベきである。

Claims (17)

1. 指示灯検出方法であって、
   収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得ることと、
   前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることと、 前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定することと、を含み、
   前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む
   ことを特徴とする指示灯検出方法。
2. 前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることは、
   ニューラルネットワークモデルを利用して、前記候補境界ボックスに対応する画像領域に対して特徴抽出を実行して、前記候補境界ボックスに対応する画像特徴を得ることと、
   前記候補境界ボックスに対応する画像特徴、および、前記ニューラルネットワークモデルに含まれている複数のサブネットワークブランチを利用して、それぞれ前記指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることと、を含み、
   前記複数のサブネットワークブランチの数は、前記複数の分類の数と同一であり、各サブネットワークブランチは、前記複数の分類の中の１つの分類のサブ類別を認識するために使用される
   ことを特徴とする請求項１に記載の指示灯検出方法。
3. 前記候補境界ボックスに対応する画像特徴、および、前記ニューラルネットワークモデルに含まれている複数のサブネットワークブランチを利用して、それぞれ前記指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得ることは、
   前記候補境界ボックスに対応する画像特徴、および、前記複数のサブネットワークブランチの中の第１サブネットワークブランチを利用して、前記指示灯の複数の分類の中の第１分類を予測して、第１分類に対応する少なくとも２つのサブ類別の予測確率を得ることと、
   前記少なくとも２つのサブ類別の中の前記予測確率が最も高いサブ類別を、前記指示灯の前記第１分類におけるサブ類別としてマークすることと、を含む
   ことを特徴とする請求項２に記載の指示灯検出方法。
4. 前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定することは、
   前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯が円形灯であることを示す場合、前記配列分類、前記機能分類、および、前記色分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第１表示状態を得ること、または、
   前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯がアローライトであることを示す場合、前記色分類および前記指向分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第２表示状態を得ること、または、
   前記複数の分類が前記用途分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が歩行者を指示するために使用されることである場合、前記指示灯の第３表示状態を得ることを含む
   ことを特徴とする請求項１～３のいずれか１項に記載の指示灯検出方法。
5. 前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定することは、
   所定の時間内で収集した複数の道路画像内の同一の位置の前記指示灯および前記指示灯の複数の分類の予測結果を得ることと、
   前記複数の道路画像内の同一の位置の前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を判断することと、を含む
   ことを特徴とする請求項１～４のいずれか１項に記載の指示灯検出方法。
6. 前記複数の道路画像は、連続したフレームの道路画像であり、
   所定の時間内で収集した複数の道路画像内の同一の位置の前記指示灯を得ることは、
   前記指示灯の前記連続したフレームの道路画像の第１フレームの画像における位置を得ることと、
   前記指示灯の前記第１フレームの画像における位置と、前記道路画像を撮影するデバイスの運動速度および撮影頻度とに基づいて、前記指示灯の前記連続したフレームの道路画像の中の前記第１フレームの画像以外の他の各フレーム画像における第１位置を計算することと、
   前記指示灯の前記連続したフレームの画像の中の他の各フレーム画像における第２位置を得ることと、
   前記他のフレーム画像の中の各フレームの画像ごとに、前記第２位置と第１位置との差異が所定の値未満であると、前記連続したフレームの道路画像内で検出された指示灯が同一の位置の指示灯であると決定することと、を含む
   ことを特徴とする請求項５に記載の指示灯検出方法。
7. 前記指示灯の表示状態は、常時点灯または点滅を含み、
   前記複数の道路画像内の同一の位置の前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を判断することは、
   前記複数の道路画像内の同一の位置の指示灯の色分類予測結果が同一である場合、前記指示灯の表示状態を常時点灯として判断することと、
   前記複数の画像内の同一の位置の指示灯の色分類予測結果が間隔を置いて変化する場合、前記指示灯の表示状態を点滅として判断することと、を含む
   ことを特徴とする請求項５または６に記載の指示灯検出方法。
8. 指示灯検出装置であって、
   収集した道路画像を認識して、前記道路画像内の指示灯の候補境界ボックスを得るための認識ユニットと、
   前記道路画像内の前記候補境界ボックスに対応する画像領域に基づいて、指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得るための予測ユニットと、
   前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を決定するための決定ユニットと、を備え、
   前記複数の分類は、用途分類、形状分類、配列分類、機能分類、色分類、および、指向分類の中の少なくとも２つを含む
   ことを特徴とする請求項に記載の指示灯検出装置。
9. 前記予測ユニットは、
   ニューラルネットワークモデルを利用して、前記候補境界ボックスに対応する画像領域に対して特徴抽出を実行して、前記候補境界ボックスに対応する画像特徴を得、
   前記候補境界ボックスに対応する画像特徴、および、前記ニューラルネットワークモデルに含まれている複数のサブネットワークブランチを利用して、それぞれ前記指示灯の複数の分類を予測して、前記指示灯の複数の分類の予測結果を得、
   前記複数のサブネットワークブランチの数は、前記複数の分類の数と同一であり、各サブネットワークブランチは、前記複数の分類の中の１つの分類のサブ類別を認識するために使用される
   ことを特徴とする請求項８に記載の指示灯検出装置。
10. 前記予測ユニットは、
    前記候補境界ボックスに対応する画像特徴、および、前記複数のサブネットワークブランチの中の第１サブネットワークブランチを利用して、前記指示灯の複数の分類の中の第１分類を予測して、第１分類に対応する少なくとも２つのサブ類別の予測確率を得、
    前記少なくとも２つのサブ類別の中の前記予測確率が最も高いサブ類別を、前記指示灯の前記第１分類におけるサブ類別としてマークする
    ことを特徴とする請求項９に記載の指示灯検出装置。
11. 前記決定ユニットは、
    前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯が円形灯であることを示す場合、前記配列分類、前記機能分類、および、前記色分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第１表示状態を得、または、
    前記複数の分類が前記用途分類および前記形状分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が車両を指示するために使用されることであり、前記形状分類の予測結果が、前記指示灯がアローライトであることを示す場合、前記色分類および前記指向分類にそれぞれ対応する予測結果を組み合わせて、前記指示灯の第２表示状態を得、または、
    前記複数の分類が前記用途分類を含み、かつ、前記用途分類の予測結果が、前記指示灯が歩行者を指示するために使用されることである場合、前記指示灯の第３表示状態を得る
    ことを特徴とする請求項８～１０のいずれか１項に記載の指示灯検出装置。
12. 前記決定ユニットは、
    所定の時間内で収集した複数の道路画像内の同一の位置の前記指示灯および前記指示灯の複数の分類の予測結果を得、
    前記複数の道路画像内の同一の位置の前記指示灯の複数の分類の予測結果に基づいて、前記指示灯の表示状態を判断する
    ことを特徴とする請求項８～１１のいずれか１項に記載の指示灯検出装置。
13. 前記複数の道路画像は、連続したフレームの道路画像であり、
    前記決定ユニットは、
    前記指示灯の前記連続したフレームの道路画像の第１フレームの画像における位置を得、
    前記指示灯の前記第１フレームの画像における位置と、前記道路画像を撮影するデバイスの運動速度および撮影頻度とに基づいて、前記指示灯の前記連続したフレームの道路画像の中の前記第１フレームの画像以外の他の各フレーム画像における第１位置を計算し、
    前記指示灯の前記連続したフレームの画像の中の他の各フレーム画像における第２位置を得、
    前記他のフレーム画像の中の各フレームの画像ごとに、前記第２位置と第１位置との差異が所定の値未満であると、前記連続したフレームの道路画像内で検出された指示灯が同一の位置の指示灯であると決定する
    ことを特徴とする請求項１２に記載の指示灯検出装置。
14. 前記指示灯の表示状態は、常時点灯または点滅を含み、
    前記決定ユニットは、
    前記複数の道路画像内の同一の位置の指示灯の色分類予測結果が同一である場合、前記指示灯の表示状態を常時点灯として判断し、
    前記複数の画像内の同一の位置の指示灯の色分類予測結果が間隔を置いて変化する場合、前記指示灯の表示状態を点滅として判断する
    ことを特徴とする請求項１２または１３に記載の指示灯検出装置。
15. 指示灯検出デバイスであって、
    メモリと、プロセッサと、を備え、
    前記メモリは、プロセッサ上で運行可能なコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、請求項１から７のいずれか１項に記載の方法を実現する
    ことを特徴とする指示灯検出デバイス。
16. コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１から７のいずれか１項に記載の方法が実現される
    ことを特徴とするコンピュータ可読記録媒体。
17. コンピュータ可読コードを含むコンピュータプログラムであって、
    前記コンピュータ可読コードがコンピュータによって実行されるときに、請求項１から７のいずれか１項に記載の方法が実現される
    ことを特徴とするコンピュータプログラム。

Images