JP2022500739A - 表示灯の指示情報認識方法及び装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本開示は、表示灯の指示情報認識方法及び装置、電子機器並びに記憶媒体に関する。前記表示灯の指示情報認識方法は、入力画像を取得することと、前記入力画像に基づいて、目標対象物の検出結果を決定することと、前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることと、を含む。前記目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、前記検出結果に前記目標対象物のタイプ、前記入力画像において前記目標対象物が存在する目標領域の位置が含まれる。【選択図】図１

Description

関連出願の相互参照
本開示は、２０１９年６月２７日に中国特許局に提出された、出願番号がＣＮ２０１９１０５６９８９６．８で、出願の名称が「表示灯の指示情報認識方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、当該出願の全体内容は参照により本開示に組み込まれる。

本開示は、コンピュータビジョン技術分野に関し、特に、表示灯の指示情報認識方法及び装置、電子機器並びに記憶媒体に関する。

交通信号機は、車両や歩行者に案内信号を提供するために道路上に設置される装置である。道路の道路状況は非常に複雑で、いつでも突然の状況や事故が発生する可能性がある。交通信号機は、異なる対象の通過時間を調節することで、多くの矛盾を調節することと不測の発生を予防することができる。例えば交差点では、異なる車線の車両が先に通過するために交差点を先取りことにより紛争が引き起こす。

実際の適用では、交通信号機は、異なるシーンに適用でき、異なる形状及びタイプを有し、複雑な受承関係を有する。

本開示は、表示灯の指示情報認識の技術方案を提案する。

本開示の一つの方面によれば、
入力画像を取得することと、
前記入力画像に基づいて、目標対象物の検出結果を決定することと、
前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることと、を含み、
前記目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、前記検出結果に前記目標対象物のタイプ、前記入力画像において前記目標対象物が存在する目標領域の位置が含まれる表示灯の指示情報認識方法。

いくつかの可能な実施形態では、前記入力画像に基づいて、目標対象物の検出結果を決定することは、
前記入力画像の画像特徴を抽出することと、
前記入力画像の画像特徴に基づいて、前記目標対象物の少なくとも１つの候補領域のそれぞれの第１位置を決定することと、
前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することと、
少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することと、を含み、
前記中間検出結果に前記目標対象物の予測タイプと、前記目標対象物が前記予測タイプである予測確率が含まれ、前記予測タイプが表示灯台座、Ｎ種類の点灯状態の表示灯のいずれかであり、Ｎが正の整数である。

いくつかの可能な実施形態では、前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することは、
候補領域ごとに、該候補領域に対応する第１位置の画像特徴に基づいて、該候補領域内の前記目標対象物を分類し、前記目標対象物が前記少なくとも１つのプリセットタイプのそれぞれである予測確率を得ることと、
前記少なくとも１つのプリセットタイプのうち予測確率が最も高いプリセットタイプを、該候補領域内における前記目標対象物の予測タイプとし、前記予測タイプの予測確率を得ることと、を含み、
前記プリセットタイプに表示灯台座、Ｎ種類の点灯状態の表示灯のうちの少なくとも１つが含まれ、Ｎが正の整数である。

いくつかの可能な実施形態では、少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定する前に、
前記入力画像の画像特徴に基づいて、各候補領域の第１位置の位置偏差を決定することと、
各候補領域に対応する位置偏差を用いて、各候補領域の第１位置を調整することと、をさらに含む。

いくつかの可能な実施形態では、少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することは、
前記目標対象物の候補領域が少なくとも２つであることに応じて、少なくとも２つの候補領域のそれぞれの中間検出結果に基づいて、あるいは、各候補領域の中間検出結果及び各候補領域の第１位置に基づいて、前記少なくとも２つの候補領域から目標領域を選別することと、
前記目標領域内の前記目標対象物の予測タイプを前記目標対象物のタイプとし、前記目標領域の第１位置を前記目標対象物が存在する目標領域の位置とし、前記目標対象物の検出結果を得ることと、を含む。

いくつかの可能な実施形態では、前記入力画像に基づいて、目標対象物の検出結果を決定した後、前記方法は、
前記目標対象物の検出結果に表示灯台座に対応する検出結果のみが含まれることに応じて、前記表示灯が故障状態であると決定することと、
前記目標対象物の検出結果に点灯状態の表示灯に対応する検出結果のみが含まれることに応じて、前記入力画像を収集するシーンの状態が暗状態であると決定することと、のうちの少なくとも１つをさらに含む。

いくつかの可能な実施形態では、前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
前記目標対象物の検出結果における前記目標対象物のタイプに基づいて、前記目標対象物にマッチングする分類器を決定することと、
マッチングする分類器を用いて、前記入力画像における前記目標領域の画像特徴を認識し、前記目標対象物の指示情報を得ることと、を含む。

いくつかの可能な実施形態では、前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
前記目標対象物のタイプが表示灯台座であることに応じて、マッチングする分類器に前記表示灯台座における表示灯の配列方式を認識するための第１分類器が含まれると決定し、前記第１分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯台座における表示灯の配列方式を決定すること、及び／又は、
マッチングする分類器に前記表示灯が存在するシーンを認識するための第２分類器が含まれると決定し、前記第２分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯が存在するシーンの情報を決定することを含む。

いくつかの可能な実施形態では、前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
前記目標対象物のタイプがラウンドスポットランプ又は歩行者用ランプであることに応じて、マッチングする分類器にラウンドスポットランプ又は歩行者用ランプの色属性を認識するための第３分類器が含まれると決定することと、
前記第３分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記ラウンドスポットランプ又は歩行者用ランプの色属性を決定することと、を含む。

いくつかの可能な実施形態では、前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
前記目標対象物のタイプが矢印ランプであることに応じて、マッチングする分類器に矢印ランプの色属性を認識するための第４分類器及び方向属性を認識するための第５分類器が含まれると決定することと、
前記第４分類器及び前記第５分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記矢印ランプの色属性及び方向属性をそれぞれ決定することと、を含む。

いくつかの可能な実施形態では、前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
前記目標対象物のタイプがデジタルランプであることに応じて、マッチングする分類器にデジタルランプの色属性を認識するための第６分類器及び数値属性を認識するための第７分類器が含まれると決定することと、
前記第６分類器及び前記第７分類器に基づいて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記デジタルランプの色属性及び数値属性をそれぞれ決定することと、を含む

いくつかの可能な実施形態では、前記入力画像に少なくとも２つの表示灯台座が含まれることに応じて、前記方法は、
前記少なくとも２つの表示灯台座のうちの１つである第１表示灯台座に対して、前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することと、
前記第１表示灯台座の指示情報と、前記第１表示灯台座にマッチングする点灯状態の表示灯の指示情報とを組み合わせて、組み合わせ後の指示情報を得ることと、をさらに含む。

いくつかの可能な実施形態では、前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することは、
前記目標対象物の検出結果における目標対象物が存在する目標領域の位置に基づいて、前記少なくとも１つの点灯状態の表示灯が存在する目標領域と前記第１表示灯台座が存在する目標領域とが交差する第１面積、及び、前記少なくとも１つの点灯状態の表示灯が存在する目標領域の第２面積を決定することと、
点灯状態の第１表示灯と前記第１表示灯台座との間の前記第１面積と、前記点灯状態の第１表示灯の第２面積との比が設定された面積閾値よりも大きいことに応じて、前記点灯状態の第１表示灯が前記第１表示灯台座にマッチングすると決定することと、を含み、
前記点灯状態の第１表示灯は前記少なくとも１つの点灯状態の表示灯のうちの１つである。

本開示の第２方面によれば、
スマート運転装置の画像収集装置を用いて走行画像を収集することと、
前記走行画像に対して請求項１〜１３のいずれか一項に記載の表示灯の指示情報認識方法を実行し、前記走行画像の指示情報を得ることと、
前記指示情報を用いて、前記スマート運転装置の制御命令を生成することと、を含む運転制御方法。

本開示の第３方面によれば、
入力画像を取得するための取得モジュールと、
前記入力画像に基づいて、目標対象物の検出結果を決定するための決定モジュールと、
前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得るための認識モジュールと、を含み、
前記目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、前記検出結果に前記目標対象物のタイプ、前記入力画像において前記目標対象物が存在する目標領域の位置が含まれる表示灯の指示情報認識装置

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
前記入力画像の画像特徴を抽出することと、
前記入力画像の画像特徴に基づいて、前記目標対象物の少なくとも１つの候補領域のそれぞれの第１位置を決定することと、
前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することと、
少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することと、に用いられ、
前記中間検出結果に前記目標対象物の予測タイプと、前記目標対象物が前記予測タイプである予測確率が含まれ、前記予測タイプが表示灯台座、Ｎ種類の点灯状態の表示灯のいずれかであり、Ｎが正の整数である。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
候補領域ごとに、該候補領域に対応する第１位置の画像特徴に基づいて、該候補領域内の前記目標対象物を分類し、前記目標対象物が前記少なくとも１つのプリセットタイプのそれぞれである予測確率を得ることと、
前記少なくとも１つのプリセットタイプのうち予測確率が最も高いプリセットタイプを、該候補領域内における前記目標対象物の予測タイプとし、前記予測タイプの予測確率を得ることと、に用いられ、
前記プリセットタイプに表示灯台座、Ｎ種類の点灯状態の表示灯のうちの少なくとも１つが含まれ、Ｎが正の整数である。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定する前に、前記入力画像の画像特徴に基づいて、各候補領域の第１位置の位置偏差を決定することと、
各候補領域に対応する位置偏差を用いて、各候補領域の第１位置を調整することと、に用いられる。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
前記目標対象物の候補領域が少なくとも２つである場合、少なくとも２つの候補領域のそれぞれの中間検出結果に基づいて、あるいは、各候補領域の中間検出結果及び各候補領域の第１位置に基づいて、前記少なくとも２つの候補領域から目標領域を選別することと、
前記目標領域内の前記目標対象物の予測タイプを前記目標対象物のタイプとし、前記目標領域の第１位置を前記目標対象物が存在する目標領域の位置とし、前記目標対象物の検出結果を得ることと、に用いられる。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
前記目標対象物の検出結果に表示灯台座に対応する検出結果のみが含まれる場合、前記表示灯が故障状態であると決定することと、
前記目標対象物の検出結果に点灯状態の表示灯に対応する検出結果のみが含まれる場合、前記入力画像を収集するシーンの状態が暗状態であると決定することと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物の検出結果における前記目標対象物のタイプに基づいて、前記目標対象物にマッチングする分類器を決定することと、
マッチングする分類器を用いて、前記入力画像における前記目標領域の画像特徴を認識し、前記目標対象物の指示情報を得ることと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプが表示灯台座である場合、マッチングする分類器に前記表示灯台座における表示灯の配列方式を認識するための第１分類器が含まれると決定し、前記第１分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯台座における表示灯の配列方式を決定すること、及び／又は、
マッチングする分類器に前記表示灯が存在するシーンを認識するための第２分類器が含まれると決定し、前記第２分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯が存在するシーンの情報を決定することに用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプがラウンドスポットランプ又は歩行者用ランプである場合、マッチングする分類器にラウンドスポットランプ又は歩行者用ランプの色属性を認識するための第３分類器が含まれると決定することと、
前記第３分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記ラウンドスポットランプ又は歩行者用ランプの色属性を決定することと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプが矢印ランプである場合、マッチングする分類器に矢印ランプの色属性を認識するための第４分類器及び方向属性を認識するための第５分類器が含まれると決定することと、
前記第４分類器及び前記第５分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記矢印ランプの色属性及び方向属性をそれぞれ決定することと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプがデジタルランプである場合、マッチングする分類器にデジタルランプの色属性を認識するための第６分類器及び数値属性を認識するための第７分類器が含まれると決定することと、
前記第６分類器及び前記第７分類器に基づいて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記デジタルランプの色属性及び数値属性をそれぞれ決定することと、に用いられる。

いくつかの可能な実施形態では、前記装置は、
前記入力画像に少なくとも２つの表示灯台座が含まれる場合、前記少なくとも２つの表示灯台座のうちの１つである第１表示灯台座に対して、前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することと、
前記第１表示灯台座の指示情報と、前記第１表示灯台座にマッチングする点灯状態の表示灯の指示情報とを組み合わせて、組み合わせ後の指示情報を得ることと、に用いられるマッピングモジュールをさらに含む。

いくつかの可能な実施形態では、前記マッピングモジュールは、さらに、
前記目標対象物の検出結果における目標対象物が存在する目標領域の位置に基づいて、前記少なくとも１つの点灯状態の表示灯が存在する目標領域と前記第１表示灯台座が存在する目標領域とが交差する第１面積、及び、前記少なくとも１つの点灯状態の表示灯が存在する目標領域の第２面積を決定することと、
点灯状態の第１表示灯と前記第１表示灯台座との間の前記第１面積と、前記点灯状態の第１表示灯の第２面積との比が設定された面積閾値よりも大きい場合、前記点灯状態の第１表示灯が前記第１表示灯台座にマッチングすると決定することと、に用いられ、
前記点灯状態の第１表示灯は前記少なくとも１つの点灯状態の表示灯のうちの１つである。

本開示の第４方面によれば、
スマート運転装置に設けられ、前記スマート運転装置の走行画像を収集するための画像収集モジュールと、
前記走行画像に対して第1方面のうちのいずれか一項に記載の表示灯の指示情報認識方法を実行し、前記走行画像の指示情報を得るための画像処理モジュールと、
前記指示情報を用いて、前記スマート運転装置の制御命令を生成するための制御モジュールと、を含む運転制御装置。

本開示の第５方面によれば、
プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して第1方面または第2方面のうちのいずれか一項に記載の方法を実行させるように配置される電子機器。

本開示の第６方面によれば、
コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、第1方面または第2方面のうちのいずれか一項に記載の方法を実行させるコンピュータ可読記憶媒体。

本開示の第７方面によれば、
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器において動作すると、前記電子機器のプロセッサに第1方面または第2方面のうちのいずれか一項に記載の方法を実行させるための命令を実行させるコンピュータプログラム。

本開示の実施例は、まず入力画像に対して目標検出処理を行って、目標対象物検出結果を得る。ここで、目標対象物の検出結果に目標対象物の位置及びタイプなどの情報が含まれてもよい。さらに、目標対象物の検出結果に基づいて目標対象物の指示情報の認識を実行することができる。本開示は、目標対象物の検出過程を、表示灯台座と点灯状態の表示灯の２つの検出過程に分けることで、検出過程において目標対象物の最初の区別を実現した。次に目標対象物の検出結果に基づいてさらなる認識を行うとき、目標対象物の指示情報を認識する過程における認識複雑度を低減し、認識難度を低減するのに有利であり、異なる状況下での各タイプの表示灯に対する検出認識を簡単かつ便利に実現することができる。

以上の一般な説明と以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないことを理解すべきである。

以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明確になる。
明細書の一部として含まれる図面は、本開示の実施例を示し、明細書と共に本開示の技術的手段を説明するものである。

本開示の実施例に係る表示灯の指示情報認識方法のフローチャートを示す。 交通信号機の異なる表示状態を示す。 交通信号機台座の異なる配列方式を示す。 交通信号機の異なる適用シーンを示す。 複数種類の交通信号機のタイプを示す。 異なる状況で組み合わされた交通信号機の模式図を示す。 本開示の実施例に係る表示灯の指示情報認識方法におけるステップＳ２０のフローチャートを示す。 本開示の実施例に係る領域候補ネットワークにより目標検出を実行する模式図を示す。 本開示の実施例に係る表示灯の指示情報認識方法におけるステップＳ３０のフローチャートを示す。 本開示の実施例に係る異なる目標対象物の分類検出の模式図を示す。 複数の台座の交通信号機の構造概略図を示す。 本開示の実施例に係る表示灯の指示情報認識方法の別のフローチャートを示す。 本開示の実施例に係る運転制御方法のフローチャートを示す。 本開示の実施例に係る表示灯の指示情報認識装置のブロック図を示す。 本開示の実施例に係る運転制御装置のブロック図を示す。 本開示の実施例に係る電子機器のブロック図を示す。 本開示の実施例に係る電子機器の別のブロック図を示す。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴及び方面を詳細に説明する。図面において、同じ符号が同じ又は類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に説明がない限り、比例に従って図面を描く必要がない。

ここの用語「例示的」とは、「例、実施例とするもの又は説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣで構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素及び回路について、詳細な説明を省略する。

本開示の実施例で提供される表示灯の指示情報認識方法は、異なるタイプの表示灯の指示情報検出を実行するために用いられてもよい。ここで、該表示灯の指示情報認識方法は、画像処理機能を有する任意の電子機器により実行されてもよい。例えば、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置などの端末装置、サーバ又は他の処理装置により実行されてもよい。あるいは、いくつかの可能な実施形態では、表示灯の指示情報認識方法は、スマート飛行装置、スマート車両、ブラインドガイド装置などのようなスマート運転装置にも適用されてもよく、スマート運転装置のスマート制御に用いられる。また、いくつかの可能な実施形態では、該表示灯の指示情報認識方法は、プロセッサによりメモリに記憶されているコンピュータ可読な命令を呼び出すことで実現されてもよい。本開示の実施例で提供される表示灯の指示情報認識方法は、表示灯の指示情報認識、検出などのシーンに適用されてもよく、例えば、自動運転、監視などの適用シーンにおける表示灯の指示情報認識に適用されてもよく、本開示は具体的な適用シーンについて限定しない。

図１は、本開示の実施例に係る表示灯の指示情報認識方法のフローチャートを示し、図１に示すように、表示灯の指示情報認識方法は、以下のステップを含む。

Ｓ１０、入力画像を取得する。

いくつかの可能な実施形態では、入力画像は、表示灯に関する画像であってもよく、表示灯は、交通表示灯（例えば信号ランプ）、緊急表示灯（例えば点滅状態の表示灯）、方向表示灯のうちの少なくとも１つを含んでもよく、他の実施例では、他のタイプの表示灯であってもよい。

本開示は、入力画像における表示灯の指示情報の認識を実現することができる。ここで、入力画像は、画像収集装置によって収集された画像であってもよく、例えば車両に設けられた画像収集装置によって収集された路面走行画像であってもよく、あるいは、布設されたカメラによって収集された画像であってもよく、あるいは、他の実施例では手持ちの端末装置又は他の装置によって収集された画像であってもよく、あるいは、入力画像は、取得されたビデオストリームから選択された画像フレームであってもよく、本開示はこれについて特に限定しない。

Ｓ２０、入力画像に基づいて、目標対象物の検出結果を決定し、目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、検出結果に目標対象物のタイプ、入力画像において目標対象物が存在する目標領域の位置が含まれる。

いくつかの可能な実施形態では、入力画像が得られた場合に、入力画像における目標対象物を検出及び認識して、目標対象物に関する検出結果を得ることができる。ここで、検出結果には、目標対象物のタイプ及び位置情報が含まれてもよい。本開示の実施例は、ニューラルネットワークにより入力画像における目標対象物の目標検出を実現し、検出結果を得ることができる。該ニューラルネットワークにより入力画像における表示灯台座タイプ、点灯状態の表示灯タイプ、及び台座位置、点灯状態の表示灯位置のうちの少なくとも１種類の情報の検出を実現することができる。ここで、目標対象物の検出及び分類を実現できる任意のニューラルネットワークにより入力画像の検出結果を得ることができる。ここで、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。

実際の適用では、収集された入力画像に含まれる表示灯の形態は多様であるが、交通表示灯（以下、交通信号機と略称）を例として、交通信号機の形態は様々であり、交通信号機のタイプがラウンドスポットランプである場合、図２（ａ）〜図２（ｅ）に示すように、交通信号機の複数の表示状態の模式図をそれぞれ示し、ここで、図２（ａ）は、交通信号機の異なる表示状態、交通信号機台座の形状を示し、本開示はこれについて限定しない。

実際の生活では、表示灯台座には複数の色状態の表示灯が含まれている場合があるため、対応する表示灯の表示状態も様々になる。図２（ａ）の交通信号機を例として説明する。第１組の交通信号機を例として説明すると、Ｌは交通信号機を示し、Ｄは交通信号機台座を示し、図２（ａ）から分かるように、第１組は交通信号機における赤黄緑の３灯がいずれも消灯された状態であり、この時故障状態となる可能性がある。第２組の交通信号機は赤色灯が点灯された状態であり、第３組の交通信号機は黄色灯が点灯された状態であり、第４組の交通信号機は緑色灯が点灯された状態である。目標対象物を認識する過程において、点灯状態にあるか否かの表示灯及び点灯状態の表示灯の色を認識することができる。ここで、赤、黄、緑の文字は、該当する色の交通信号機が点灯状態にあることを模式的に示すものに過ぎない。

図２（ｂ）は、交通信号機台座の異なる配列方式を示し、一般的に、交通信号機又は他のタイプの表示灯はいずれも表示灯台座に装設されてもよい。図２（ｂ）に示すように、台座上の交通信号機の配列方式は、横方向配列、縦方向配列又は単一のランプを含むことができる。したがって、目標対象物を認識する過程において、表示灯の配列方式を認識することもできる。以上は、台座上の交通信号機の配列方式の例示的な説明に過ぎず、他の実施例では、台座上の表示灯の配列方式は他のタイプの配列方式を含むこともできる。

図２（ｃ）は、交通信号機の異なる適用シーンを示し、実際の適用では、交通信号機などの表示灯は、道路の交差点、高速道路交差点、急カーブ交差点、安全警報位置、又は走行通路に設けられてもよい。したがって、表示灯の認識については表示灯の適用シーンを判断して認識することも可能であり、図２（ｃ）において実際の適用シーンは「電子料金収受システム（Ｅｌｅｃｔｒｏｎｉｃ Ｔｏｌｌ Ｃｏｌｌｅｃｔｉｏｎ、ＥＴＣ）」の標識が表示された高速道路交差点、「警告信号」などの警告標識が表示された急カーブ交差点又はその他の危険なシーン及び一般的なシーンの順に示すシーンである。上記シーンは例示であり、本開示はこれについて特に限定しない。

図２（ｄ）は、複数種類の交通信号機のタイプを示し、一般的には、需要又はシーンのニーズに応じて、交通信号機又は他の表示灯の形状もそれぞれ異なっており、例えば図２（ｄ）に順次示される矢印形状を含む矢印ランプ、ラウンドスポット形状を含むラウンドスポットランプ、歩行者標識を含む歩行者用ランプ、又はデジタル数値を含むデジタルランプが挙げられる。その同時に各タイプのランプは異なる色を有してもよく、本開示はこれについて限定しない。

図２（ｅ）は、異なる状況で組み合わされた交通信号機の模式図を示す。ここで、例えば異なる矢印方向の矢印ランプの組み合わせ、デジタルランプと歩行者用ランプとの組み合わせがあり、その中には色などの指示情報もある。以上のように、実際の適用では、様々な表示灯が存在するが、本開示は様々な表示灯の指示情報の認識を実現することができる。

上記の状況の複雑性に鑑みて、本開示の実施例はまず入力画像に対して目標対象物の検出を行うことにより、入力画像における目標対象物の検出結果を決定して、該検出結果に基づいてさらに目標対象物の指示情報を得ることができる。例えば、入力画像に対して目標検出を実行することにより、入力画像における目標対象物のタイプ及び位置を検出することができ、あるいは、検出結果に目標対象物のタイプの確率が含まれてもよい。上記検出結果が得られた場合、さらに検出された目標対象物のタイプに応じて分類検出を実行し、目標対象物の指示情報、例えば点灯色、数値、方向、シーンなどの情報を得る。

本開示の実施例は、検出目標（即ち目標対象物）のタイプを表示灯台座と点灯状態の表示灯の２つの部分に分けることができ、ここで、点灯状態の表示灯は、Ｎ種類のタイプを含んでもよく、例えば表示灯のタイプは上記デジタルランプ、歩行者用ランプ、矢印ランプ及びラウンドスポットランプのうちの少なくとも１つを含むことができる。したがって、目標対象物の検出を実行する際には、入力画像に含まれる各目標対象物がＮ＋１種類のタイプ（台座及びＮ種類の点灯表示灯）のいずれかであることを決定することができる。あるいは、他の実施形態では、他のタイプの表示灯を含んでもよく、本開示はこれについて特に限定しない。

例示的には、本開示において、消灯状態の表示灯については検出を実行しなくてもよい。表示灯台座及び点灯状態の表示灯が検出されなかった場合、入力画像内に表示灯が存在しないと見なすことができるので、Ｓ３０では目標対象物の指示情報をさらに認識する過程を実行する必要はない。また、表示灯台座が検出されたが、点灯状態の表示灯が検出されなかった場合、消灯状態の表示灯が存在すると見なすこともでき、この場合も目標対象物の指示情報の認識を行う必要はない。

Ｓ３０、目標対象物の検出結果に基づいて、入力画像において目標対象物が存在する目標領域を認識し、目標対象物の指示情報を得る。

いくつかの可能な実施形態では、目標対象物の検出結果が得られた場合、目標対象物の関連属性を記述するための、目標対象物の指示情報をさらに検出することができる。スマート運転の分野では、目標対象物の指示情報は、指示情報に基づいて制御命令を生成するようにスマート運転装置に指示するために用いることができる。例えばタイプが台座である目標対象物については、表示灯の配列方式及び適用シーンのうちの少なくとも１つを認識することができ、タイプが点灯状態の表示灯である目標対象物については、表示灯の点灯色、矢印の表示方向、デジタルの数値などの情報のうちの少なくとも１つを認識することができる。

本開示の実施例に基づいて、まず台座及び点灯状態の表示灯を検出し、得られた検出結果に基づいて目標対象物の指示情報をさらに分類認識することができ、即ち、目標対象物のタイプ、位置、及び各種指示情報などの情報をまとめて分類器で分類認識するのではなく、目標対象物のタイプなどの検出結果に基づいて指示情報の分類認識を実行することができるため、目標対象物の指示情報を認識する過程での認識複雑度を低減し、認識難度を低減するのに有利であるとともに、異なる状況下での各タイプの表示灯に対する検出認識を簡単かつ便利に実現することができる。

以下、本開示の実施例の具体的な過程について図面を参照して個別に説明する。図３は、本開示の実施例に係る表示灯の指示情報認識方法におけるステップＳ２０のフローチャートを示す。ここで、入力画像に基づいて、目標対象物の検出結果を決定すること（ステップＳ２０）は、以下のステップを含んでもよい。

Ｓ２１、入力画像の画像特徴を抽出する。

いくつかの可能な実施形態では、入力画像が得られた場合、入力画像に対して特徴抽出処理を実行して、入力画像の画像特徴を得ることができる。ここで、特徴抽出アルゴリズムにより入力画像中の画像特徴を得ることができ、訓練により特徴抽出を実現可能なニューラルネットワークで画像特徴を抽出することができる。例えば本開示の実施例は、畳み込みニューラルネットワークを使用して入力画像の画像特徴を得ることができ、入力画像に対して少なくとも１層の畳み込み処理を実行することにより対応する画像特徴を得ることができる。ここで畳み込みニューラルネットワークは視覚幾何グループ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ、ＶＧＧ）ネットワーク、残差ネットワーク、ピラミッド特徴ネットワークのうちの少なくとも１つを含んでもよいが、本開示を特に限定するものではなく、他の方法で画像特徴を得ることもできる。

Ｓ２２、入力画像の画像特徴に基づいて、目標対象物の少なくとも１つの候補領域のそれぞれの第１位置を決定する。

いくつかの可能な実施形態では、入力画像の画像特徴に基づいて、入力画像において目標対象物が存在する位置領域を検出することができ、即ち各目標対象物の候補領域の第１位置を得ることができる。ここで、目標対象物ごとに、少なくとも１つの候補領域を得ることができ、それに応じて各候補領域の第１位置を得ることができ、本開示の実施例の第１位置は、候補領域の対角頂点位置の座標で表すことができるが、本開示はこれについて特に限定しない。

図４は、本開示の実施例に係る目標検出を実行する模式図を示す。ここで、目標検出を実行するために使用される目標検出ネットワークは、ベースネットワーク（ｂａｓｅ ｎｅｔｗｏｒｋ）モジュール、領域候補ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、ＲＰＮ）モジュール、分類モジュールを含んでもよい。ここで、ベースネットワークモジュールは、入力画像（ｉｍａｇｅ）の特徴抽出処理を実行して、入力画像の画像特徴を得るために使用される。領域候補ネットワークモジュールは、入力画像の画像特徴に基づいて、入力画像における目標対象物の候補領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）を検出するために使用され、分類モジュールは、候補領域の画像特徴に基づいて候補領域内の目標対象物のタイプを判断し、入力画像の目標領域（Ｂｏｘ）における目標対象物の検出結果を得るために使用される。例示的には、目標対象物の検出結果には、目標対象物のタイプ及び目標領域の位置が含まれ、目標対象物のタイプは例えば台座、点灯状態の表示灯（例えばラウンドスポットランプ、矢印ランプ、歩行者用ランプ、デジタルランプ）、背景（ｂａｃｋｇｒｏｕｎｄ）のいずれかである。ここで、背景とは、入力画像のうち、台座、点灯状態の表示灯が存在する領域を除く画像領域であると理解することができる。

いくつかの可能な実施形態では、領域候補ネットワークは、入力画像における各目標対象物について少なくとも１つのＲＯＩを得ることができ、後続の後処理によって、その中から最も精度の高いＲＯＩを選択することができる。

Ｓ２３、入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定する。中間検出結果には、目標対象物の予測タイプと、目標対象物が予測タイプである予測確率が含まれる。予測タイプは、表示灯台座、Ｎ種類の点灯状態の表示灯のいずれかであり、Ｎは正の整数である。

各目標対象物の少なくとも１つの候補領域（例えば第１候補領域又は第２候補領域）が得られた場合、候補領域内の目標対象物のタイプ情報をさらに分類認識することができ、即ち候補領域内の目標対象物の予測タイプ及び該予測タイプに対する予測確率を得ることができる。ここで、予測タイプは、上記Ｎ＋１種類のタイプのいずれであってもよく、例えば台座、ラウンドスポットランプ、矢印ランプ、歩行者用ランプ、デジタルランプのいずれであってもよい。つまり、候補領域内の目標対象物のタイプが台座であるか、Ｎ種類の点灯状態の表示灯の１つであるかを予測することができる。

ここで、ステップＳ２３は、候補領域ごとに、該候補領域に対応する第１位置の画像特徴に基づいて、該候補領域内の目標対象物を分類し、目標対象物が少なくとも１つのプリセットタイプのそれぞれである予測確率を得ることと、少なくとも１つのプリセットタイプのうち予測確率が最も高いプリセットタイプを、該候補領域内における目標対象物の予測タイプとし、予測タイプの予測確率を得ることと、を含んでもよい。ここで、プリセットタイプに表示灯台座、Ｎ種類の点灯状態の表示灯のうちの少なくとも１つが含まれ、Ｎが正の整数である。

いくつかの可能な実施形態では、各目標対象物の少なくとも１つの候補領域が得られた場合、候補領域の第１位置に基づいて入力画像の画像特徴のうち、該第１位置に対応する画像特徴を得て、得られた該画像特徴を候補領域の画像特徴として決定することができる。さらに、各候補領域の画像特徴に基づいて該候補領域内の目標対象物が各プリセットタイプである予測確率を予測することができる。

ここで、候補領域ごとに、候補領域内の画像特徴に対して分類認識を実行することができ、それに応じて各候補領域の各プリセットタイプに対する予測確率を得ることができ、ここでプリセットタイプは上記Ｎ＋１種類のタイプ、例えば台座及びＮ種類の表示灯タイプである。あるいは、他の実施例ではプリセットタイプはＮ＋２種類のタイプであってもよく、Ｎ＋１種類のタイプの場合に対して背景タイプもさらに含まれるが、本開示はこれについて特に限定しない。

候補領域内の目標対象物が各プリセットタイプである予測確率が得られた場合、予測確率が最も高いプリセットタイプを該候補領域内の目標対象物の予測タイプとして決定することができ、それに応じて該最も高い予測確率は対応する予測タイプの予測確率である。

いくつかの可能な実施形態では、候補領域の目標対象物に対してタイプ分類検出を実行する前に、各候補領域の画像特徴に対してプーリング処理を行うことができるため、各候補領域の画像特徴のスケールを同一にすることができる。例えばＲＯＩごとに、画像特徴の寸法を７＊７にスケーリングすることができるが、本開示はこれについて特に限定しない。プーリング処理後、プーリング処理後の画像特徴を分類処理して、目標対象物ごとの各候補枠に対応する中間検出結果を得ることができる。

いくつかの可能な実施形態では、ステップＳ２３における各候補領域の画像特徴に対する分類処理は、１つの分類器を用いて実現されてもよいし、複数の分類器を用いて実現されてもよい。例えば１つの分類器から、プリセットタイプごとの候補領域の予測確率を得る。または、Ｎ＋１又はＮ＋２個の分類器を用いて、タイプごとの候補領域の予測確率をそれぞれ検出することもできる。該Ｎ＋１又はＮ＋２個の分類器は、プリセットタイプに１対１に対応し、即ち各分類器は、対応するプリセットタイプのプリセット結果を得るために使用され得る。

いくつかの可能な実施形態では、候補領域に対して分類処理を実行する際に、畳み込み層を用いて候補領域の画像特徴（又はプーリング後の画像特徴）を第１畳み込み層に入力して畳み込み処理を実行し、次元がａ×ｂ×ｃの第１特徴図を得ることもできる。ここで、ｂ及びｃはそれぞれ第１特徴図の長さ及び幅を示し、ａは第１特徴図のチャネル数を示し、ａの数値はプリセットタイプの総数（例えばＮ＋１）である。そして、第１特徴図に対してグローバルプーリング処理を実行して第１特徴図に対応する、次元がａ×ｄである第２特徴図を得る。同様に、該第２特徴図をｓｏｆｔｍａｘ関数に入力すると、ａ×ｄ次元の第３特徴図を得ることができる。ここでｄは１以上の整数である。一例では、ｄは第３特徴図の列数を示し、例えば１であってもよい。それに応じて得られた第３特徴図の要素は、候補領域内の目標対象物が各プリセットタイプである予測確率を示す。各要素に対応する数値は、該予測確率の確率値であってもよい。該確率値の順序は設定されたプリセットタイプの順序に対応し、あるいは、第３特徴図の各要素は、プリセットタイプの標識及び対応する予測確率で構成されてもよい。これにより、プリセットタイプと予測確率との対応関係を容易に決定することができる。

別の例では、ｄは１よりも大きい他の整数値であってもよく、第３特徴図の第１プリセット列数の要素からプリセットタイプに対応する予測確率を得ることができる。該第１プリセット列数は予め設定された値であってもよく、例えば１であってもよいが、本開示を特に限定するものではない。

以上の配置により、各目標対象物の各候補領域の中間検出結果を得ることができる。さらに、中間検出結果を用いて各目標対象物検出結果を得ることができる。

Ｓ２４、少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、目標対象物の検出結果を決定する。

上記の実施例に記載のように、各目標対象物の全ての候補領域に対応する中間検出結果（例えば候補領域の第１位置、候補領域内の目標対象物の予測タイプ及び予測確率）を得ることができる。さらに、目標対象物の各候補領域の中間検出結果に基づいて目標対象物の最終検出結果、即ち目標対象物の候補領域の位置、タイプなどの情報を決定することができる。

なお、本開示の実施例は、各目標対象物の候補領域の第１位置を該候補領域の位置としてもよいし、より正確な第１位置が得られるように第１位置を最適化してもよい。ここで、本開示の実施例は、各候補領域の画像特徴から対応する候補領域の位置偏差を得て、該位置偏差に応じて候補領域の第１位置を調整することができる。ここで、各目標対象物の候補領域の画像特徴を第２畳み込み層に入力し、次元がｅ×ｂ×ｃである第４特徴図を得ることができる。ここで、ｂ及びｃはそれぞれ第４特徴図及び第３特徴図の長さ及び幅を示すとともに、ｂ及びｃは候補領域の画像特徴の長さ及び幅であってもよく、ｅは第４特徴図のチャネル数を示し、ｅは１以上の整数であってもよく、例えばｅは４であってもよい。さらに、第４特徴図に対してグローバルプーリング処理を実行することにより、第５特徴図を得ることができる。該第５特徴図は長さがｅの特徴ベクトルであってもよく、例えばｅは４に等しい。このとき第５特徴図における要素が、対応する候補領域に対応する位置偏差である。あるいは、他の実施例では、第５特徴図の次元はｅ×ｆであってもよい。ｆは１以上の数値であり、第５特徴図の列数を示す。このとき第３特徴図におけるプリセット位置領域内の要素から候補領域の位置偏差を得ることができる。ここでプリセット位置領域は予め設定された位置領域であってもよく、例えば第１〜４行第１列の要素であってもよいが、本開示を特に限定するものではない。

例示的には、候補領域の第１位置は、２つの対角の頂点位置の横縦座標値として表してもよく、第５特徴図の要素は、該２つの頂点の横縦座標値の位置オフセットであってもよい。第５特徴図が得られた後、候補領域の第１位置を該第５特徴図における対応する位置偏差に従って調整し、より精度の高い第１位置を得ることができる。ここで、第１畳み込み層及び第２畳み込み層は２つの異なる畳み込み層である。

目標対象物の検出を実行する過程において、入力画像における各目標対象物に対して少なくとも１つの候補領域を検出することができるため、本開示の実施例はその少なくとも１つの候補領域から目標対象物の目標領域を選別することができる。

入力画像のいずれかの目標対象物に対して１つの候補領域のみが検出された場合、該候補領域に基づいて決定された目標対象物の予測タイプの予測確率が確率閾値よりも大きいか否かを判断することができる。確率閾値よりも大きければ、該候補領域を該目標対象物の目標領域として決定し、該候補領域に対応する予測タイプを目標対象物のタイプとして決定することができる。該候補領域に基づいて決定された目標対象物の予測タイプの予測確率が確率閾値よりも小さければ、該候補領域を破棄し、該候補領域内の対象には検出対象となる目標対象物のいずれかも存在しないと決定する。

あるいは、入力画像の１つ以上の目標対象物に対して複数の候補領域が検出された場合、各候補領域の中間検出結果に基づいて、又は各候補領域の中間検出結果における各候補領域の第１位置に基づいて、該複数の候補領域から目標領域を選別し、目標領域内の目標対象物の予測タイプを目標対象物のタイプとし、目標領域の第１位置を目標対象物が存在する目標領域の位置とし、目標対象物の検出結果を得ることができる。

例示的には、候補領域の中間検出結果に基づいて目標領域を選別するステップは、目標対象物の複数の候補領域から対応する予測確率が最も高い候補領域を選択し、該最も高い予測確率が確率閾値よりも大きい場合、最も高い予測確率に対応する候補領域の第１位置（又は調整後の第１位置）を該目標対象物の目標領域とし、及び該最も高い予測確率に対応する予測タイプを目標対象物のタイプとして決定することを含んでもよい。

例示的には、候補領域の第１位置に基づいて目標対象物の目標領域を選別するステップは、以下を含んでもよい。非極大値抑制アルゴリズム（Ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ、ＮＭＳ）を用いて複数の候補領域から目標対象物の目標領域を選択する。ここで、入力画像における目標対象物の複数の候補領域から予測確率が最も高い候補領域を選択することができ、以下、第１候補領域という。それとともに、第１候補領域の第１位置及び残りの候補領域の第１位置に基づいて、残りの候補領域のそれぞれと第１候補領域との間の重複領域値（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、ＩＯＵ）を決定する。残りの候補領域のうちいずれかの候補領域と第１候補領域との間のＩＯＵが面積閾値よりも大きい場合、該いずれかの候補領域を破棄する。ＩＯＵを比較した後、残りの候補領域が全て破棄された場合、第１候補領域は目標対象物の目標領域となる。同時に、第１候補領域に基づいて得られた目標対象物の予測タイプは該目標対象物のタイプであってもよい。残りの候補領域のうち少なくとも１つの第２候補領域と第１候補領域との間のＩＯＵ値が面積閾値未満であれば、第２候補領域のうち予測確率が最も高い候補領域を新たな第１候補領域とし、第２候補領域のうち残りの候補領域と該新しい第１候補領域のＩＯＵを継続して得ることができる。同様にＩＯＵが面積閾値よりも大きい第２候補領域を、第１候補領域（又は新しい候補領域）とのＩＯＵが面積閾値よりも大きい候補領域が存在しなくなるまで破棄する。このようにして得られた各第１候補領域を、各目標対象物の目標領域として決定することができる。

あるいは、他の可能な実施形態では、確率閾値によって各目標対象物の候補領域から予測確率が確率閾値よりも大きい候補領域を選別し、そして上記ＮＭＳアルゴリズムによって各目標対象物の目標領域を得るとともに、目標領域内における目標対象物に対する予測タイプを得て、即ち目標対象物の検出結果を決定することができる。

なお、上述した第１位置により検出結果の決定過程を実行することは、調整後の第１位置により目標対象物の検出結果の決定を実行してもよく、具体的な原理は同様であり、ここでは重複説明を省略する。

上記実施例に基づいて、入力画像に存在する目標対象物の検出結果を得ることができ、即ち目標対象物のタイプ及び対応する位置を容易に決定することができる。ここで、上記目標検出により、目標対象物（例えば点灯状態の表示灯、表示灯台座）ごとの検出枠（候補領域）を得ることができる。例えば点灯状態の表示灯については、検出結果には入力画像における点灯状態の表示灯の位置及び該表示灯のタイプが含まれてもよく、例えば検出結果は（ｘ１，ｙ１，ｘ２，ｙ２，ｌａｂｅｌ１，ｓｃｏｒｅ１）と表すことができる。ここで、（ｘ１，ｙ１）、（ｘ２，ｙ２）は点灯状態の表示灯の目標領域の位置座標（２つの対角の点の座標）であり、ｌａｂｅｌ１は点灯状態の表示灯のタイプ標識を示し（１からＮ＋１のいずれかであり、例えば２であり、デジタルランプとして表すことができる）、ｓｃｏｒｅ１は該検出結果の信頼度（即ち、予測確率）を示す。

表示灯台座の場合、検出結果は（ｘ３，ｙ３，ｘ４，ｙ４，ｌａｂｅｌ２，ｓｃｏｒ１２）として表される。ここで、（ｘ３，ｙ３）、（ｘ４，ｙ４）は台座の目標領域の位置座標（２つの対角の点の座標）であり、ｌａｂｅｌ２は台座のタイプ標識（１からＮのいずれかであり、例えば１）を示し、ｓｃｏｒｅ２は該検出結果の信頼度を示す。ここで台座の標識は１であってもよく、残りのＮ個の標識は点灯状態の表示灯のＮ種類のタイプであってもよい。いくつかの可能な実施形態では、背景の目標領域を示すためにＮ＋２として標識することができ、本開示はこれについて特に限定しない。

以上により、目標対象物に対する検出結果を簡単かつ便利に得ることができる。また、検出結果に表示灯又は台座のタイプ情報が既に含まれているため、後続の分類器の分類圧力を低減することができる。

いくつかの可能な実施形態では、入力画像における目標対象物の検出結果が得られた場合、さらに、該検出結果に基づいて表示灯が故障しているか否かを決定し、あるいは、入力画像を収集する収集環境などの情報を決定することができる。ここで、入力画像の目標対象物の結果には、検出された目標対象物のタイプに表示灯台座のみが含まれ、いずれかのタイプの点灯状態の表示灯が含まれない。この場合、表示灯が故障状態であると決定することができる。例えば、交通信号機において、いずれかの交通信号機が点灯された状態であることが検出されない場合、該交通信号機が故障ランプであると決定することができる。この際に入力画像に関する収集時間、収集場所などの情報に基づいて、故障警報操作を実行することができる。例えば、表示灯が点灯されていない故障状況、及び故障ランプの位置情報（上記収集場所に基づいて決定される）を含み得る故障情報をサーバ又は他の管理装置に送信する。

あるいは、いくつかの実施例では、入力画像に対して検出された目標対象物の検出結果には、点灯状態の表示灯のみが含まれ、該点灯状態の表示灯に対応する台座が含まれていなければ、このとき、入力画像を収集する収集環境が、輝度がプリセット輝度よりも小さい環境である暗環境又は暗状態であると決定することができる。プリセット輝度は、場所や天候に応じて設定することができ、本開示はこれについて特に限定しない。

図５は、本開示の実施例に係る表示灯の指示情報認識方法におけるステップＳ３０のフローチャートを示す。ここで、目標対象物の検出結果に基づいて、入力画像において目標対象物が存在する目標領域を認識し、目標対象物の指示情報を得ること（ステップＳ３０）は、
目標対象物の検出結果における目標対象物のタイプに基づいて、目標対象物にマッチングする分類器を決定するＳ３１と、
マッチングする分類器を用いて、入力画像における目標領域の画像特徴を認識し、目標対象物の指示情報を得るＳ３２と、を含んでもよい。

例示的には、目標対象物にマッチングする分類器は、少なくとも１種類を含み、各種類の分類器は、１つ以上のタイプの目標対象物に対応してもよい。

いくつかの可能な実施形態では、入力画像における目標対象物の検出結果が得られた後、指示情報の分類検出、例えば台座におけるシーン情報、表示灯配列方式、表示灯の色、説明、表示方向のうちの少なくとも１つの情報の分類認識を実行することができる。ここで、本開示の実施例は、異なる分類器を用いて異なる指示情報の分類認識を実行することができるので、分類認識を実行する分類器を最初に決定することができる。

図６は、本開示の実施例に係る異なる目標対象物の分類検出模式図を示す。

いくつかの可能な実施形態では、認識された目標対象物のタイプが表示灯台座である場合、台座タイプの目標対象物に対して指示情報の分類認識をさらに実行し、表示灯の配列方式及び表示灯が存在するシーンにおける少なくとも１つの指示情報を得ることができる。ここで、配列方式は、横方向配列、縦方向配列及び単一の表示灯の配列方式などを含んでもよい。シーンは、高速道路交差点、急カーブ交差点、一般的なシーンなどを含んでもよい。上記は配列方式及びシーンの例示に過ぎず、他の配列方式又はシーンを含んでもよく、本開示はこれについて特に限定しない。

いくつかの可能な実施形態では、認識された目標対象物のタイプが点灯状態のラウンドスポットランプである場合、該ラウンドスポットランプの点灯色を分類認識し、点灯色（例えば赤、緑、黄）の指示情報を得ることができる。認識された目標対象物のタイプが点灯状態のデジタル表示灯である場合、数値（例えば１、２、３など）及び点灯色を分類認識し、点灯色及び数値の指示情報を得ることができる。認識された目標対象物のタイプが点灯状態の矢印表示灯である場合、矢印の表示方向（例えば前向き、左向き、右向きなど）及び点灯色を分類認識し、点灯色及び表示方向の指示情報を得ることができる。認識された目標対象物のタイプが歩行者標識の表示灯（歩行者用ランプ）である場合、点灯色を認識し、点灯色の指示情報を得ることができる。

つまり、本開示の実施例は目標対象物の検出結果のうち、異なるタイプの目標対象物に対して、異なる指示情報の認識を実行することができ、より容易かつより正確に表示灯の指示情報を得ることができる。ここで、指示情報の認識を実行する際に、対応するタイプの目標対象物が存在する目標領域に対応する画像特徴をマッチングする分類器内に入力して、分類結果を得て、即ち対応する指示情報を得る。

例示的には、入力画像における目標対象物の検出結果に対して、少なくとも１つの目標対象物のタイプが台座であることが得られた場合、マッチングする分類器に第１分類器及び第２分類器のうちの少なくとも１つが含まれると決定する。ここで第１分類器は台座における表示灯の配列方式を分類認識するために用いられ、第２分類器は表示灯が存在するシーンを分類認識するために用いられる。該台座タイプの目標対象物の目標領域に対応する画像特徴を第１分類器に入力すると、台座における表示灯の配列方式を得ることができる。該台座タイプの目標対象物の目標領域に対応する画像特徴を第２分類器に入力すると、表示灯のシーンを得ることができ、例えばテキスト認識の方式で該シーン情報を得ることができる。

いくつかの可能な実施形態では、認識された目標対象物のタイプが点灯状態のラウンドスポットランプ又は歩行者用ランプである場合、マッチングする分類器にラウンドスポットランプ又は歩行者用ランプの色属性を認識するための第３分類器が含まれると決定する。このときラウンドスポットランプタイプ又は歩行者用ランプタイプの目標対象物に対応する目標領域の画像特徴をマッチングされた第３分類器に入力し、表示灯の色属性を得ることができる。

いくつかの可能な実施形態では、認識された目標対象物のタイプが点灯状態の矢印ランプである場合、マッチングする分類器に矢印ランプの色属性を認識するための第４分類器及び方向属性を認識するための第５分類器が含まれると決定する。このとき矢印ランプタイプの目標対象物に対応する目標領域の画像特徴をマッチングされた第４分類器及び第５分類器に入力し、第４分類器及び第５分類器を用いて、目標対象物が存在する目標領域の画像特徴を認識し、矢印ランプの色属性及び矢印ランプの方向属性をそれぞれ得ることができる。

いくつかの可能な実施形態では、認識された目標対象物のタイプが点灯状態のデジタルランプである場合、マッチングする分類器にデジタルランプの色属性を認識するための第６分類器及びデジタルランプの数値属性を認識するための第７分類器が含まれると決定する。このときデジタルランプタイプの目標対象物に対応する目標領域の画像特徴をマッチングされた第６分類器及び第７分類器に入力し、第６分類器及び第７分類器に基づいて、目標対象物が存在する目標領域の画像特徴を認識し、デジタルランプの色属性及び数値方向属性をそれぞれ得ることができる。

なお、上記色属性の分類認識を実行する第３分類器、第４分類器及び第６分類器は、同一の分類器であってもよいし、異なる分類器であってもよく、本開示はこれについて特に限定しない。

また、いくつかの可能な実施形態では、上記目標領域の画像特徴の取得方法としては、入力画像に対して特徴抽出を行って得られた入力画像の画像特徴、及び目標領域の位置情報に基づいて目標領域の画像特徴を決定することができる。つまり、目標領域の画像特徴として、入力画像の画像特徴から目標領域の位置情報に対応する特徴を直接得ることができる。あるいは、入力画像において、目標領域に対応するサブ画像を取得し、そして、該サブ画像に対して特徴抽出、例えば畳み込み処理を実行し、サブ画像の画像特徴を得ることにより、目標領域の画像特徴を決定することもできる。以上は例示に過ぎず、他の実施例においても、他の方法で目標領域の画像特徴を得ることができるが、本開示はこれについて特に限定しない。

上記実施例により、各目標領域内の目標対象物の指示情報を得ることができる。ここで、分類結果がより正確になるように、異なる分類器によって異なる指示情報の検出を実行することができる。また、目標対象物のタイプを得たうえで、さらに、全ての分類器を用いて認識するのではなく、マッチングする分類器を用いて分類認識を行うことで、分類器リソースを効果的に利用し、分類速度を上げることができる。

いくつかの可能な実施形態では、入力画像には、複数の表示灯台座、複数の点灯状態の表示灯が含まれる可能性があり、図７は、複数の台座の交通信号機の構造模式図を示す。得られた検出結果が複数の表示灯台座及び複数の点灯状態の表示灯を含む場合、このとき、台座及び点灯状態の表示灯をマッチングすることができる。例えば、図７において、２つの表示灯台座Ｄ１及びＤ２を含むとともに、各表示灯台座にはその台座に対応する表示灯を含んでもよく、指示情報の認識を実行する過程において、３つの点灯された表示灯、即ちＬ１、Ｌ２及びＬ３を決定することができ、表示灯台座及び点灯状態の表示灯をマッチングすることにより、点灯状態の表示灯Ｌ１が表示灯台座Ｄ１にマッチングされるとともに、同時に表示灯Ｌ２及びＬ３が台座Ｄ２にマッチングされることを決定することができる。

図８は、本開示の実施例に係る表示灯の指示情報認識方法の別のフローチャートを示す。ここで、表示灯の指示情報認識方法は表示灯台座と点灯状態の表示灯とのマッチング過程をさらに含み、具体的には以下のとおりである。

Ｓ４１、少なくとも２つの表示灯台座のうちの１つである第１表示灯台座に対して、第１表示灯台座にマッチングする点灯状態の表示灯を決定する。

ここで、得られた目標対象物の検出結果には、台座タイプの目標対象物に対する目標領域の第１位置と、点灯状態の表示灯が存在する目標領域の第２位置とが含まれてもよい。本開示の実施例は、各台座の第１位置及び各表示灯の第２位置に基づいて台座と点灯状態の表示灯がマッチングするか否かを決定することができる。

ここで、目標対象物の検出結果における目標対象物が存在する目標領域の位置に基づいて、少なくとも１つの点灯状態の表示灯が存在する目標領域と第１表示灯台座が存在する目標領域とが交差する第１面積、及び、少なくとも１つの点灯状態の表示灯が存在する目標領域の第２面積を決定し、点灯状態の第１表示灯に対応する第１面積と、点灯状態の第１表示灯の第２面積との比が設定された面積閾値よりも大きいことに応じて、点灯状態の第１表示灯が第１表示灯台座にマッチングすると決定し、ここで、点灯状態の第１表示灯は少なくとも１つの点灯状態の表示灯のうちの１つである。

つまり、第１表示灯台座ごとに、第１表示灯台座の目標領域の第１位置と、各点灯状態の表示灯の目標領域の第２位置とに基づいて、各台座と各表示灯の目標領域とが交差又は重複する第１面積Ｓ１を決定し、点灯状態の表示灯（第１表示灯）と表示灯台座との間の第１面積Ｓ１と、点灯状態の表示灯の目標領域の第２面積Ｓ２との比（Ｓ１／Ｓ２）が面積閾値よりも大きい場合、該第１表示灯が第１表示灯台座にマッチングされることを決定することができる。第１表示灯台座にマッチングされた複数の第１表示灯を決定できれば、該複数の第１表示灯を、第１表示灯台座にマッチングされた表示灯と同時にすることができ、あるいは、比が最も大きい第１表示灯を、第１表示灯台座にマッチングされた点灯状態の表示灯として決定することができる。あるいは、第１表示灯台座との間の上記Ｓ１／Ｓ２比が最大となるプリセット個数の表示灯を第１表示灯台座にマッチングされた表示灯として決定することができる。プリセット個数が２であってもよいが、本開示を特に限定するものではない。また、面積閾値は、予め設定された値、例えば０．８であってもよいが、本開示を特に限定するものではない。

Ｓ４２、第１表示灯台座の指示情報と、第１表示灯台座にマッチングする点灯状態の表示灯の指示情報とを組み合わせて、組み合わせ後の指示情報を得る。

表示灯台座にマッチングされた点灯状態の表示灯を得た後、表示灯台座と、マッチングされた点灯状態の表示灯からそれぞれ得られた指示情報を組み合わせて、表示灯の指示情報を得ることができる。図７に示すように、表示灯台座Ｄ１と点灯状態の表示灯Ｌ１の指示情報を組み合わせることができ、決定された指示情報は、シーンが一般的なシーンであり、表示灯の配列方式が横方向配列であり、点灯状態の表示灯がラウンドスポットランプであり、色が赤であることを含む。同時に表示灯台座Ｄ２と点灯状態の表示灯Ｌ２及びＬ３の指示情報を組み合わせて、決定された指示情報は、シーンが一般的なシーンであり、表示灯の配列方式が横方向配列であり、点灯状態の表示灯が矢印ランプであり、右向きの矢印ランプ及び前向きの矢印ランプを含み、ここで右向きの矢印ランプの色が赤であり、前向きの矢印ランプの色が緑であることを含む。

また、対応してマッチングされた点灯状態の表示灯が見つからない表示灯台座については、台座を消灯状態と決定することができる。即ち該台座に対応する表示灯が故障ランプであると決定することができる。マッチングされた表示灯台座が見つからない点灯状態の表示灯については、該点灯状態の表示灯に対応する指示情報を個別に出力する。このような場合は、台座の視覚的特徴が目立たないことが原因であることが多く、例えば夜になると台座を検出することが困難になる場合がある。

また、スマート運転の分野では、得られた入力画像は、リアルタイムで収集された車両前方又は後方の画像であってもよい。入力画像における表示灯に対応する指示情報が得られた場合、該得られた指示情報に基づいて運転速度、運転方向、制御モード、停止などの運転状態を含み得る運転装置の運転パラメータの制御命令をさらに生成することができる。

本開示の実施例をより明確に反映するために、以下、例を挙げて本開示の実施例に係る指示情報の取得過程を説明する。本開示の実施例に用いられるアルゴリズムモデルは、図４に示される目標検出を実行する目標検出ネットワークと、指示情報の分類認識を実行する分類ネットワークとの２つの部分を含んでもよい。ここで、図４に示すように、目標検出ネットワークは、ベースネットワーク（ｂａｓｅ ｎｅｔｗｏｒｋ）モジュール、領域候補ネットワーク（ＲＰＮ）モジュール、分類モジュールを含んでもよい。ここで、ベースネットワークモジュールは入力画像の特徴抽出処理を実行し、入力画像の画像特徴を得るために用いられる。領域候補ネットワークモジュールは、入力画像の画像特徴に基づいて、入力画像における目標対象物の候補領域（ＲＯＩ）を検出するために用いられ、分類モジュールは、候補領域の画像特徴に基づいて候補領域内の目標対象物のタイプを判断し、入力画像の目標対象物の検出結果を得るために用いられる。

ここで、目標検出ネットワークの入力は入力画像であり、出力は複数の目標対象物の２Ｄ検出枠（即ち目標対象物の目標領域）であり、各検出枠は（ｘ１，ｙ１，ｘ２，ｙ２，ｌａｂｅｌ，ｓｃｏｒｅ）と表すことができる。ここでｘ１、ｙ１、ｘ２、ｙ２は検出枠の位置座標であり、ｌａｂｅｌはカテゴリである（値の範囲は１からＮ＋１であり、第１カテゴリは台座を表し、他のカテゴリは各種点灯状態の表示灯を表す）。

目標検出の過程は以下を含んでもよい。入力画像をＢａｓｅ Ｎｅｔｗｏｒｋに入力し、入力画像の画像特徴を得る。領域候補ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、ＲＰＮ）を使用して表示灯の候補枠ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を生成する。ここで台座の候補枠及び点灯状態の表示灯の候補枠を含む。そして、プーリング層を利用して固定寸法の候補枠の特徴図を得ることができる。例えばＲＯＩごとに、特徴図の寸法を７＊７にスケーリングし、そして分類モジュールによりＮ＋２種類のカテゴリの判定（ｂａｃｋｇｒｏｕｎｄ背景カテゴリを追加）を行い、入力画像における各目標対象物の候補枠の予測タイプ及び位置を得る。そしてＮＭＳや閾値などの後処理を行い、目標対象物の最終的な検出枠（目標領域に対応する候補枠）を得る。

ここで、本開示の実施例は検出された目標対象物において点灯状態の表示灯をＮ種類に分類する合理的な説明を行う。
１、点灯状態の表示灯の種類によって意味が異なり、常に各タイプの検出結果を個別に検討する必要があり、例えば、歩行者用ランプと車両ラウンドスポットランプを混合してはならない。
２、異なる種類の点灯状態の表示灯の間に深刻なサンプル数不均衡の問題があり、点灯状態の表示灯をＮ個の異なるカテゴリに細分し、モデルのパラメータを調節し、それぞれ調節して最適化するのに便利である。

各目標対象物の検出結果が得られた場合、目標対象物の指示情報をさらに認識することができる。ここでマッチングする分類器によって指示情報を分類認識することができる。ここで複数の分類器を含む分類モジュールを用いて目標対象物の指示情報に対する認識を実行することができる。ここで、分類モジュールは異なる指示情報の分類認識を実行するための複数種類のタイプの分類器を含んでもよいし、特徴を抽出するための畳み込み層を含んでもよく、本開示はこれについて特に限定しない。

分類モジュールの入力は検出された目標対象物の目標領域に対応する画像特徴であってもよく、出力は目標領域の目標対象物のそれぞれに対応する指示情報である。

具体的な過程は以下を含んでもよい。目標対象物の目標領域の検出枠を入力し、検出枠内の目標対象物のタイプ（１からＮ＋１）にマッチングする分類器を選択し、対応する分類結果を得る。表示灯台座の検出枠であれば、表示灯台座が単純な全体として見なすことができるため、表示灯台座の分類器が全てアクティブになり、例えばシーン及び配列方式を認識するための分類器が全てアクティブになり、シーン属性及び配列方式属性を認識するために用いられる。点灯状態の表示灯の検出枠であれば、異なるタイプの点灯状態の表示灯は異なる分類器を選択する必要があり、例えば、矢印ランプは「色」及び「矢印方向」の２つの分類器に対応し、ラウンドスポットランプは「色」分類器に対応するなど。また、他の属性判定の必要性が増加すれば、さらに他の分類器を追加することも可能であり、本開示はこれについて特に限定しない。

以上説明したように、本開示の実施例は、まず入力画像に対して目標検出処理を行って、目標対象物検出結果を得る。ここで、目標対象物の検出結果に目標対象物の位置及びタイプなどの情報が含まれてもよい。さらに、目標対象物の検出結果に基づいて目標対象物の指示情報の認識を実行することができる。

本開示は、目標対象物の検出過程を、台座と点灯状態の表示灯の２つの検出過程に分けることで、検出過程において目標対象物の最初の区別を実現した。次に目標対象物の検出結果に基づいてさらなる認識を行うとき、目標対象物の指示情報を認識する過程における認識複雑度を低減し、認識難度を低減するのに有利であり、異なる状況下での各タイプの表示灯に対する検出認識を簡単かつ便利に実現することができる。

また、本開示の実施例は、他のセンサを用いることなく、単に画像情報を用いるだけで、表示灯の検出と指示情報判定を実現するとともに、本開示の実施例は異なるタイプの表示灯に対して検出を行うことができ、よりよい適用性を有する。

図９は、本開示の実施例に係る運転制御方法のフローチャートを示す。該運転制御方法は、スマート車両、スマート航空機、玩具などの制御命令に応じて運転パラメータを調節可能な装置に適用することができる。前記運転制御方法は以下を含んでもよい。

Ｓ１００、スマート運転装置の画像収集装置を用いて走行画像を収集する。

スマート運転装置の走行中に、スマート運転装置に設けられた画像収集装置は走行画像を収集してもよいし、他の装置によって収集された走行位置の走行画像を受信してもよい。

Ｓ２００、前記走行画像に対して前記表示灯の指示情報認識方法を実行し、前記走行画像の指示情報を得る。

該走行画像に対して指示情報の検出処理を実行し、即ち上記実施例に記載の表示灯の指示情報の認識方法を実行し、走行画像における表示灯の指示情報を得る。

Ｓ３００、前記指示情報を用いて、スマート運転装置の制御命令を生成する。

得られた指示情報に基づいて運転装置の運転パラメータをリアルタイムで制御することができ、即ち得られた指示情報に基づいてスマート運転装置を制御するための制御命令を生成することができる。該制御命令は、スマート運転装置の運転パラメータを制御するために用いられてもよく、運転パラメータは、運転速度、運転方向、運転モード又は運転状態のうちの少なくとも１つを含んでもよい。運転装置のパラメータ制御又は制御命令のタイプについては、当業者が従来技術の手段及び必要に応じて設定することができ、本開示はこれについて特に限定しない。

本開示の実施例に基づいて、スマート運転装置のスマート制御を実現することができ、指示情報の取得過程が簡単で迅速、かつ精度が高いという特徴を有するため、スマート運転装置の制御効率と精度を向上させることができる。

当業者には理解されるように、具体的な実施形態の上記方法において、各ステップの記載順序は、厳密な実行順序を意味して実施過程を何ら限定するものではなく、各ステップの具体的な実行順序は、その機能及び可能な内在的論理によって決定されるべきである。論理を違反しない限り、本開示で提供される異なる実施形態は、相互に組み合わせることができる。

本開示で言及された上記各方法の実施例は、原理と論理を違反しない限り、相互に組み合わせることで組み合わせられた実施例を形成することができることが理解すべきである。紙幅に限りがあるので、本開示では詳細な説明を省略する。

また、本開示は、表示灯の指示情報認識装置、運転制御装置、電子機器、コンピュータ可読記憶媒体、プログラムをさらに提供し、これはいずれも本開示に係わる表示灯の指示情報認識方法及び／又は運転制御方法のいずれか一つを実現するために利用できる。対応する技術的解決手段及び説明は、方法の部分の対応する記載を参照すればよく、詳細な説明を省略する。

図１０は、本開示の実施例に係る表示灯の指示情報認識装置のブロック図を示す。図１０に示すように、前記表示灯の指示情報認識装置は、
入力画像を取得するための取得モジュール１０と、
前記入力画像に基づいて、目標対象物の検出結果を決定するための決定モジュール２０と、
前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得るための認識モジュール３０と、を含み、前記目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、前記検出結果に前記目標対象物のタイプ、前記入力画像において前記目標対象物が存在する目標領域の位置が含まれる。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
前記入力画像の画像特徴を抽出することと、
前記入力画像の画像特徴に基づいて、前記目標対象物の少なくとも１つの候補領域のそれぞれの第１位置を決定することと、
前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することと、
少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することと、に用いられる。前記中間検出結果に前記目標対象物の予測タイプと、前記目標対象物が前記予測タイプである予測確率が含まれ、前記予測タイプが表示灯台座、Ｎ種類の点灯状態の表示灯のいずれかであり、Ｎが正の整数である。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
候補領域ごとに、該候補領域に対応する第１位置の画像特徴に基づいて、該候補領域内の前記目標対象物を分類し、前記目標対象物が前記少なくとも１つのプリセットタイプのそれぞれである予測確率を得ることと、
前記少なくとも１つのプリセットタイプのうち予測確率が最も高いプリセットタイプを、該候補領域内における前記目標対象物の予測タイプとし、前記予測タイプの予測確率を得ることと、に用いられる。前記プリセットタイプに表示灯台座、Ｎ種類の点灯状態の表示灯のうちの少なくとも１つが含まれ、Ｎが正の整数である。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定する前に、前記入力画像の画像特徴に基づいて、各候補領域の第１位置の位置偏差を決定することと、
各候補領域に対応する位置偏差を用いて、各候補領域の第１位置を調整することと、に用いられる。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
前記目標対象物の候補領域が少なくとも２つである場合、少なくとも２つの候補領域のそれぞれの中間検出結果に基づいて、あるいは、各候補領域の中間検出結果及び各候補領域の第１位置に基づいて、前記少なくとも２つの候補領域から目標領域を選別することと、
前記目標領域内の前記目標対象物の予測タイプを前記目標対象物のタイプとし、前記目標領域の第１位置を前記目標対象物が存在する目標領域の位置とし、前記目標対象物の検出結果を得ることと、に用いられる。

いくつかの可能な実施形態では、前記決定モジュールは、さらに、
前記目標対象物の検出結果に表示灯台座に対応する検出結果のみが含まれる場合、前記表示灯が故障状態であると決定することと、
前記目標対象物の検出結果に点灯状態の表示灯に対応する検出結果のみが含まれる場合、前記入力画像を収集するシーンの状態が暗状態であると決定することと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物の検出結果における前記目標対象物のタイプに基づいて、前記目標対象物にマッチングする分類器を決定することと、
マッチングする分類器を用いて、前記入力画像における前記目標領域の画像特徴を認識し、前記目標対象物の指示情報を得ることと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプが表示灯台座である場合、マッチングする分類器に前記表示灯台座における表示灯の配列方式を認識するための第１分類器が含まれると決定し、前記第１分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯台座における表示灯の配列方式を決定すること、及び／又は、
マッチングする分類器に前記表示灯が存在するシーンを認識するための第２分類器が含まれると決定し、前記第２分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯が存在するシーンの情報を決定することに用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプがラウンドスポットランプ又は歩行者用ランプである場合、マッチングする分類器にラウンドスポットランプ又は歩行者用ランプの色属性を認識するための第３分類器が含まれると決定することと、
前記第３分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記ラウンドスポットランプ又は歩行者用ランプの色属性を決定することと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプが矢印ランプである場合、マッチングする分類器に矢印ランプの色属性を認識するための第４分類器及び方向属性を認識するための第５分類器が含まれると決定することと、
前記第４分類器及び前記第５分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記矢印ランプの色属性及び方向属性をそれぞれ決定することと、に用いられる。

いくつかの可能な実施形態では、前記認識モジュールは、さらに、
前記目標対象物のタイプがデジタルランプである場合、マッチングする分類器にデジタルランプの色属性を認識するための第６分類器及び数値属性を認識するための第７分類器が含まれると決定することと、
前記第６分類器及び前記第７分類器に基づいて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記デジタルランプの色属性及び数値属性をそれぞれ決定することと、に用いられる。

いくつかの可能な実施形態では、前記装置は、
前記入力画像に少なくとも２つの表示灯台座が含まれる場合、前記少なくとも２つの表示灯台座のうちの１つである第１表示灯台座に対して、前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することと、
前記第１表示灯台座の指示情報と、前記第１表示灯台座にマッチングする点灯状態の表示灯の指示情報とを組み合わせて、組み合わせ後の指示情報を得ることと、に用いられるマッピングモジュールをさらに含む。

いくつかの可能な実施形態では、前記マッピングモジュールは、さらに、
前記目標対象物の検出結果における目標対象物が存在する目標領域の位置に基づいて、前記少なくとも１つの点灯状態の表示灯が存在する目標領域と前記第１表示灯台座が存在する目標領域とが交差する第１面積を決定し、及び、前記少なくとも１つの点灯状態の表示灯が存在する目標領域の第２面積を決定することと、
点灯状態の第１表示灯と前記第１表示灯台座との間の前記第１面積と、前記点灯状態の第１表示灯の第２面積との比が設定された面積閾値よりも大きい場合、前記点灯状態の第１表示灯が前記第１表示灯台座にマッチングすると決定することと、に用いられ、
前記点灯状態の第１表示灯は前記少なくとも１つの点灯状態の表示灯のうちの１つである。

また、図１１は、本開示の実施例に係る運転制御装置のブロック図を示す。前記運転制御装置は、
スマート運転装置に設けられ、前記スマート運転装置の走行画像を収集するための画像収集モジュール１００と、
前記走行画像に対して第１方面のいずれか一項に記載の表示灯の指示情報認識方法を実行し、前記走行画像の指示情報を得るための画像処理モジュール２００と、
前記指示情報を用いて、前記スマート運転装置の制御命令を生成するための制御モジュール３００と、を含む。

いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現については、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。

本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよく、または揮発性のコンピュータ可読記憶媒体であってもよい。

本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、上記の方法を実行するように構成される電子機器がさらに提供される。

本開示の実施例では、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器において動作すると、前記電子機器のプロセッサに上記の方法を実現するための命令を実行させるコンピュータプログラムがさらに提供される。

電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。

図１２は本開示の実施例に係る電子機器のブロック図を示す。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。

図１２を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、及び電子機器８００のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャを検出するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検出するのみならず、前記タッチまたはスライド操作に関する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラ及び／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラ及び／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び背面カメラは、固定された光学レンズ系、または焦点距離及び光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードまたは音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速及び電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

例示的な実施例では、さらに、不揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。

図１３は本開示の実施例に係る電子機器の別のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図１３を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、及び、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源をさらに含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

例示的な実施例では、さらに、不揮発性のコンピュータ可読記憶媒体または揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な実体のある装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去・プログラマブル可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、一時的な信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号であると解釈されるものではない。

ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び／またはブロック図の各ブロック、及びフローチャート及び／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現させるように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／または他の機器を決定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び／またはフローチャートにおける各ブロック、及びブロック図及び／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (31)

1. 入力画像を取得することと、
   前記入力画像に基づいて、目標対象物の検出結果を決定することと、
   前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることと、を含み、
   前記目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、前記検出結果に前記目標対象物のタイプ、前記入力画像において前記目標対象物が存在する目標領域の位置が含まれることを特徴とする表示灯の指示情報認識方法。
2. 前記入力画像に基づいて、目標対象物の検出結果を決定することは、
   前記入力画像の画像特徴を抽出することと、
   前記入力画像の画像特徴に基づいて、前記目標対象物の少なくとも１つの候補領域のそれぞれの第１位置を決定することと、
   前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することと、
   少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することと、を含み、
   前記中間検出結果に前記目標対象物の予測タイプと、前記目標対象物が前記予測タイプである予測確率が含まれ、前記予測タイプが表示灯台座、Ｎ種類の点灯状態の表示灯のいずれかであり、Ｎが正の整数であることを特徴とする請求項１に記載の方法。
3. 前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することは、
   候補領域ごとに、該候補領域に対応する第１位置の画像特徴に基づいて、該候補領域内の前記目標対象物を分類し、前記目標対象物が前記少なくとも１つのプリセットタイプのそれぞれである予測確率を得ることと、
   前記少なくとも１つのプリセットタイプのうち予測確率が最も高いプリセットタイプを、該候補領域内における前記目標対象物の予測タイプとし、前記予測タイプの予測確率を得ることと、を含み、
   前記プリセットタイプに表示灯台座、Ｎ種類の点灯状態の表示灯のうちの少なくとも１つが含まれ、Ｎが正の整数であることを特徴とする請求項２に記載の方法。
4. 少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定する前に、
   前記入力画像の画像特徴に基づいて、各候補領域の第１位置の位置偏差を決定することと、
   各候補領域に対応する位置偏差を用いて、各候補領域の第１位置を調整することと、をさらに含むことを特徴とする請求項２又は３に記載の方法。
5. 少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することは、
   前記目標対象物の候補領域が少なくとも２つであることに応じて、少なくとも２つの候補領域のそれぞれの中間検出結果に基づいて、あるいは、各候補領域の中間検出結果及び各候補領域の第１位置に基づいて、前記少なくとも２つの候補領域から目標領域を選別することと、
   前記目標領域内の前記目標対象物の予測タイプを前記目標対象物のタイプとし、前記目標領域の第１位置を前記目標対象物が存在する目標領域の位置とし、前記目標対象物の検出結果を得ることと、を含むことを特徴とする請求項２〜４のいずれか一項に記載の方法。
6. 前記入力画像に基づいて、目標対象物の検出結果を決定した後、
   前記目標対象物の検出結果に表示灯台座に対応する検出結果のみが含まれることに応じて、前記表示灯が故障状態であると決定することと、
   前記目標対象物の検出結果に点灯状態の表示灯に対応する検出結果のみが含まれることに応じて、前記入力画像を収集するシーンの状態が暗状態であると決定することと、のうちの少なくとも１つをさらに含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
7. 前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
   前記目標対象物の検出結果における前記目標対象物のタイプに基づいて、前記目標対象物にマッチングする分類器を決定することと、
   マッチングする分類器を用いて、前記入力画像における前記目標領域の画像特徴を認識し、前記目標対象物の指示情報を得ることと、を含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
8. 前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
   前記目標対象物のタイプが表示灯台座であることに応じて、マッチングする分類器に前記表示灯台座における表示灯の配列方式を認識するための第１分類器が含まれると決定し、前記第１分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯台座における表示灯の配列方式を決定すること、及び／又は、
   マッチングする分類器に前記表示灯が存在するシーンを認識するための第２分類器が含まれると決定し、前記第２分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯が存在するシーンの情報を決定することを含むことを特徴とする請求項７に記載の方法。
9. 前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
   前記目標対象物のタイプがラウンドスポットランプ又は歩行者用ランプであることに応じて、マッチングする分類器にラウンドスポットランプ又は歩行者用ランプの色属性を認識するための第３分類器が含まれると決定することと、
   前記第３分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記ラウンドスポットランプ又は歩行者用ランプの色属性を決定することと、を含むことを特徴とする請求項７又は８に記載の方法。
10. 前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
    前記目標対象物のタイプが矢印ランプであることに応じて、マッチングする分類器に矢印ランプの色属性を認識するための第４分類器及び方向属性を認識するための第５分類器が含まれると決定することと、
    前記第４分類器及び前記第５分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記矢印ランプの色属性及び方向属性をそれぞれ決定することと、を含むことを特徴とする請求項７〜９のいずれか一項に記載の方法。
11. 前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得ることは、
    前記目標対象物のタイプがデジタルランプであることに応じて、マッチングする分類器にデジタルランプの色属性を認識するための第６分類器及び数値属性を認識するための第７分類器が含まれると決定することと、
    前記第６分類器及び前記第７分類器に基づいて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記デジタルランプの色属性及び数値属性をそれぞれ決定することと、を含むことを特徴とする請求項７〜１０のいずれか一項に記載の方法。
12. 前記入力画像に少なくとも２つの表示灯台座が含まれることに応じて、
    前記少なくとも２つの表示灯台座のうちの１つである第１表示灯台座に対して、前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することと、
    前記第１表示灯台座の指示情報と、前記第１表示灯台座にマッチングする点灯状態の表示灯の指示情報とを組み合わせて、組み合わせ後の指示情報を得ることと、をさらに含むことを特徴とする請求項１〜１１のいずれか一項に記載の方法。
13. 前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することは、
    前記目標対象物の検出結果における目標対象物が存在する目標領域の位置に基づいて、前記少なくとも１つの点灯状態の表示灯が存在する目標領域と前記第１表示灯台座が存在する目標領域とが交差する第１面積、及び、前記少なくとも１つの点灯状態の表示灯が存在する目標領域の第２面積を決定することと、
    点灯状態の第１表示灯と前記第１表示灯台座との間の前記第１面積と、前記点灯状態の第１表示灯の第２面積との比が設定された面積閾値よりも大きいことに応じて、前記点灯状態の第１表示灯が前記第１表示灯台座にマッチングすると決定することと、を含み、
    前記点灯状態の第１表示灯は前記少なくとも１つの点灯状態の表示灯のうちの１つであることを特徴とする請求項１２に記載の方法。
14. スマート運転装置の画像収集装置を用いて走行画像を収集することと、
    前記走行画像に対して請求項１〜１３のいずれか一項に記載の表示灯の指示情報認識方法を実行し、前記走行画像の指示情報を得ることと、
    前記指示情報を用いて、前記スマート運転装置の制御命令を生成することと、を含むことを特徴とする運転制御方法。
15. 入力画像を取得するための取得モジュールと、
    前記入力画像に基づいて、目標対象物の検出結果を決定するための決定モジュールと、
    前記目標対象物の検出結果に基づいて、前記入力画像において前記目標対象物が存在する目標領域を認識し、前記目標対象物の指示情報を得るための認識モジュールと、を含み、
    前記目標対象物に表示灯台座、点灯状態の表示灯のうちの少なくとも１つが含まれ、前記検出結果に前記目標対象物のタイプ、前記入力画像において前記目標対象物が存在する目標領域の位置が含まれることを特徴とする表示灯の指示情報認識装置。
16. 前記決定モジュールは、さらに、
    前記入力画像の画像特徴を抽出することと、
    前記入力画像の画像特徴に基づいて、前記目標対象物の少なくとも１つの候補領域のそれぞれの第１位置を決定することと、
    前記入力画像における各候補領域に対応する第１位置の画像特徴に基づいて、各候補領域の中間検出結果を決定することと、
    少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定することと、に用いられ、
    前記中間検出結果に前記目標対象物の予測タイプと、前記目標対象物が前記予測タイプである予測確率が含まれ、前記予測タイプが表示灯台座、Ｎ種類の点灯状態の表示灯のいずれかであり、Ｎが正の整数であることを特徴とする請求項１５に記載の装置。
17. 前記決定モジュールは、さらに、
    候補領域ごとに、該候補領域に対応する第１位置の画像特徴に基づいて、該候補領域内の前記目標対象物を分類し、前記目標対象物が前記少なくとも１つのプリセットタイプのそれぞれである予測確率を得ることと、
    前記少なくとも１つのプリセットタイプのうち予測確率が最も高いプリセットタイプを、該候補領域内における前記目標対象物の予測タイプとし、前記予測タイプの予測確率を得ることと、に用いられ、
    前記プリセットタイプに表示灯台座、Ｎ種類の点灯状態の表示灯のうちの少なくとも１つが含まれ、Ｎが正の整数であることを特徴とする請求項１６に記載の装置。
18. 前記決定モジュールは、さらに、
    少なくとも１つの候補領域のそれぞれの中間検出結果及び各候補領域の第１位置に基づいて、前記目標対象物の検出結果を決定する前に、前記入力画像の画像特徴に基づいて、各候補領域の第１位置の位置偏差を決定することと、
    各候補領域に対応する位置偏差を用いて、各候補領域の第１位置を調整することと、に用いられることを特徴とする請求項１６又は１７に記載の装置。
19. 前記決定モジュールは、さらに、
    前記目標対象物の候補領域が少なくとも２つである場合、少なくとも２つの候補領域のそれぞれの中間検出結果に基づいて、あるいは、各候補領域の中間検出結果及び各候補領域の第１位置に基づいて、前記少なくとも２つの候補領域から目標領域を選別することと、
    前記目標領域内の前記目標対象物の予測タイプを前記目標対象物のタイプとし、前記目標領域の第１位置を前記目標対象物が存在する目標領域の位置とし、前記目標対象物の検出結果を得ることと、に用いられることを特徴とする請求項１６〜１８のいずれか一項に記載の装置。
20. 前記決定モジュールは、さらに、
    前記目標対象物の検出結果に表示灯台座に対応する検出結果のみが含まれる場合、前記表示灯が故障状態であると決定することと、
    前記目標対象物の検出結果に点灯状態の表示灯に対応する検出結果のみが含まれる場合、前記入力画像を収集するシーンの状態が暗状態であると決定することと、に用いられることを特徴とする請求項１５〜１９のいずれか一項に記載の装置。
21. 前記認識モジュールは、さらに、
    前記目標対象物の検出結果における前記目標対象物のタイプに基づいて、前記目標対象物にマッチングする分類器を決定することと、
    マッチングする分類器を用いて、前記入力画像における前記目標領域の画像特徴を認識し、前記目標対象物の指示情報を得ることと、に用いられることを特徴とする請求項１５〜２０のいずれか一項に記載の装置。
22. 前記認識モジュールは、さらに、
    前記目標対象物のタイプが表示灯台座である場合、マッチングする分類器に前記表示灯台座における表示灯の配列方式を認識するための第１分類器が含まれると決定し、前記第１分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯台座における表示灯の配列方式を決定すること、及び／又は、
    マッチングする分類器に前記表示灯が存在するシーンを認識するための第２分類器が含まれると決定し、前記第２分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記表示灯が存在するシーンの情報を決定することに用いられることを特徴とする請求項２１に記載の装置。
23. 前記認識モジュールは、さらに、
    前記目標対象物のタイプがラウンドスポットランプ又は歩行者用ランプである場合、マッチングする分類器にラウンドスポットランプ又は歩行者用ランプの色属性を認識するための第３分類器が含まれると決定することと、
    前記第３分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記ラウンドスポットランプ又は歩行者用ランプの色属性を決定することと、に用いられることを特徴とする請求項２１又は２２に記載の装置。
24. 前記認識モジュールは、さらに、
    前記目標対象物のタイプが矢印ランプである場合、マッチングする分類器に矢印ランプの色属性を認識するための第４分類器及び方向属性を認識するための第５分類器が含まれると決定することと、
    前記第４分類器及び前記第５分類器を用いて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記矢印ランプの色属性及び方向属性をそれぞれ決定することと、に用いられることを特徴とする請求項２１〜２３のいずれか一項に記載の装置。
25. 前記認識モジュールは、さらに、
    前記目標対象物のタイプがデジタルランプである場合、マッチングする分類器にデジタルランプの色属性を認識するための第６分類器及び数値属性を認識するための第７分類器が含まれると決定することと、
    前記第６分類器及び前記第７分類器に基づいて、前記目標対象物が存在する目標領域の画像特徴を認識し、前記デジタルランプの色属性及び数値属性をそれぞれ決定することと、に用いられることを特徴とする請求項２１〜２４のいずれか一項に記載の装置。
26. 前記装置は、
    前記入力画像に少なくとも２つの表示灯台座が含まれる場合、前記少なくとも２つの表示灯台座のうちの１つである第１表示灯台座に対して、前記第１表示灯台座にマッチングする点灯状態の表示灯を決定することと、
    前記第１表示灯台座の指示情報と、前記第１表示灯台座にマッチングする点灯状態の表示灯の指示情報とを組み合わせて、組み合わせ後の指示情報を得ることと、に用いられるマッピングモジュールをさらに含むことを特徴とする請求項１５〜２５のいずれか一項に記載の装置。
27. 前記マッピングモジュールは、さらに、
    前記目標対象物の検出結果における目標対象物が存在する目標領域の位置に基づいて、前記少なくとも１つの点灯状態の表示灯が存在する目標領域と前記第１表示灯台座が存在する目標領域とが交差する第１面積、及び、前記少なくとも１つの点灯状態の表示灯が存在する目標領域の第２面積を決定することと、
    点灯状態の第１表示灯と前記第１表示灯台座との間の前記第１面積と、前記点灯状態の第１表示灯の第２面積との比が設定された面積閾値よりも大きい場合、前記点灯状態の第１表示灯が前記第１表示灯台座にマッチングすると決定することと、に用いられ、
    前記点灯状態の第１表示灯は前記少なくとも１つの点灯状態の表示灯のうちの１つであることを特徴とする請求項２６に記載の装置。
28. スマート運転装置に設けられ、前記スマート運転装置の走行画像を収集するための画像収集モジュールと、
    前記走行画像に対して請求項１〜１３のいずれか一項に記載の表示灯の指示情報認識方法を実行し、前記走行画像の指示情報を得るための画像処理モジュールと、
    前記指示情報を用いて、前記スマート運転装置の制御命令を生成するための制御モジュールと、を含むことを特徴とする運転制御装置。
29. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
    前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１〜１３のいずれか一項に記載の方法を実行させるか、又は請求項１４に記載の方法を実行させるように配置されることを特徴とする電子機器。
30. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１〜１３のいずれか一項に記載の方法を実現させるか、又は請求項１４に記載の方法を実現させることを特徴とするコンピュータ可読記憶媒体。
31. コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器において動作すると、前記電子機器のプロセッサに請求項１〜１３のいずれか一項に記載の方法を実現するか、又は請求項１４に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。

Images