JP2022043192A - 車両運転の制御方法、車両運転の制御装置及び電子機器 - Google Patents

Abstract

【課題】信号機信号送信機器に依存することなく、信号機の認識を実現でき、コストが低く普及性が高いだけでなく、処理すべき画像データ量を減らすことができ、これにより信号機認識の速度を高め、運転体験を改善する。【解決手段】車両の運転中に取得された画像に対して車線認識を行うことにより、画像に含まれる車線情報を決定し、いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、いずれかの画像における指定されたタイプの車線の位置に基づいて、いずれかの画像に含まれる検出対象領域を決定し、検出対象領域の信号機を検出することにより、いずれかの画像に含まれるインジケータライト情報を決定し、いずれかの画像に含まれるインジケータライト情報及び車両の現在の運転状態に基づいて、車両の現在の運転モードを決定する。【選択図】図１

Description

本願は、画像処理技術分野に関し、具体的には、インテリジェント交通、深層学習技術分野に関し、特に、車両運転の制御方法、車両運転の制御装置、電子機器、記憶媒体及びコンピュータプログラム製品に関する。

現在、インテリジェント交通は新しいインフラ建設の重要な一環であり、その中で信号機の認識は、インテリジェント交通、安全出かけにとって重要な意義があるため、信号機を認識してインテリジェント交通を実現する技術は、特に重要である。

本願は、車両運転の制御方法、車両運転の制御装置及び電子機器を提供する。

本願の第１態様は、前記車両の運転中に取得された画像に対して車線認識を行うことにより、前記画像に含まれる車線情報を決定するステップと、いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる検出対象領域を決定するステップと、前記検出対象領域の信号機を検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップと、前記いずれかの画像に含まれるインジケータライト情報及び前記車両の現在の運転状態に基づいて、前記車両の現在の運転モードを決定するステップとを含む、車両運転の制御方法である。

本願の第２態様は、前記車両の運転中に取得された画像に対して車線認識を行うことにより、前記画像に含まれる車線情報を決定するように構成される第１決定モジュールと、いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる検出対象領域を決定するように構成される第２決定モジュールと、前記検出対象領域の信号機を検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するように構成される第３決定モジュールと、前記いずれかの画像に含まれるインジケータライト情報及び前記車両の現在の運転状態に基づいて、前記車両の現在の運転モードを決定するように構成される第４決定モジュールとを備える、車両運転の制御装置である。

本願の第３態様は、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されたメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが上記第１態様に記載の車両運転の制御方法を実行できる電子機器である。

本願の第４態様は、コンピュータに上記第１態様に記載の車両運転の制御方法を実行させるためのコンピュータ命令を記憶している、非一時的なコンピュータ読み取り可能な記憶媒体である。

本願の第５態様は、プロセッサによって実行される場合上記第１態様に記載の車両運転の制御方法を実現するコンピュータプログラムを含むコンピュータプログラム製品である。
本願の第６態様は、プロセッサによって実行される場合上記第１態様に記載の車両運転の制御方法を実現するコンピュータプログラムである。

なお、この概要部分に記載されている内容は、本願の実施例の肝心な又は重要な特徴を特定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の実施例に係る車両運転の制御方法の概略フローチャートである。 本願の実施例に係る検出対象領域を決定する概略フローチャートである。 本願の実施例に係るインジケータライト情報を決定する概略フローチャートである。 本願の実施例に係る初期インジケータライトをチェックすることによりインジケータライト情報を決定する概略フローチャートである。 本願の実施例に係るインジケータライト情報を決定する別の概略図である。 本願の実施例に係る信号機認識の原理を示す概略図である。 本願の実施例に係る車両運転の制御装置の概略構成図である。 本願の実施例に係る車両運転の制御方法を実現するための電子機器のブロック図である。

以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構成の説明を省略する。

インテリジェント交通は、インテリジェント輸送システムとも呼ばれ、先進的な科学技術（情報技術、コンピュータ技術、データ通信技術、センサ技術、電子制御技術、自動制御理論、人工知能など）を交通輸送、サービス制御及び車両製造に効果的且つ統合的に適用し、車両、道路、利用者の三者間の連絡を強化することにより、安全を保障し、効率を高め、環境を改善し、エネルギーを節約する総合輸送システムを形成する。

深層学習は、機械学習の分野における新たな研究方向であり、機械学習に導入されて最初の目標である人工知能に近づいている。深層学習は、サンプルデータの内的法則や表示階層を学習するもので、これらの学習過程で得られた情報は、文字や画像、音声などのデータの解釈に大きな助けとなり、機械が人間のように分析学習能力を持ち、文字や画像、音声などのデータを認識できるようにすることが最終目標である。

現在、インテリジェント交通は、新しいインフラ建設の重要な一環であり、その中で信号機認識は、インテリジェント交通、安全出かけにとって重要な意義があるため、信号機を認識してインテリジェント交通を実現する技術は、特に重要である。

関連技術では、信号機の認識は、主に信号機信号送信機器が情報を対応する地理的フェンス内の車両に無線信号で伝送することに依存しており、当該技術は、機器コストが高く、既存の信号機機器を改造する必要があり、アクセスの難易度が高く、且つ普及性が不足している。関連技術では、高精度地図及びカメラパラメータを利用して、信号機の画像空間位置を正確に測位し、それから信号機信号を認識する。当該技術は高精度地図を必要とするが、高精度地図データの更新が遅く、コストが高く、普及性が低い。

このため、本願の実施例は、車両運転の制御方法、車両運転の制御装置及び電子機器を提供する。本願の実施例は、車線情報に基づいて信号機検出を行うことにより、インジケータライト情報を決定し、さらに、インジケータライト情報に基づいて車両の現在の運転モードを決定し、信号機信号送信機器及び高精度地図に依存することなく、信号機の認識を実現でき、コストが低く、普及性が高いだけでなく、処理すべき画像データ量を減らすことができ、これにより信号機認識の速度が向上し、安全運転に有利になる。

以下、図面を参照して、本願の実施例に係る車両運転の制御方法、車両運転の制御装置及び電子機器を説明する。

図１は、本願の実施例に係る車両運転の制御方法の概略フローチャートである。

なお、本願の実施例に係る車両運転の制御方法の実行主体は、電子機器（車載機器であってもよい）であってもよく、具体的には、電子機器は、サーバ、端末であってもよいがこれらに限定されず、端末は、パーソナルコンピュータ、インテリジェントフォン、ｉＰａｄ（登録商標）などであってもよいがこれらに限定されない。

本願の実施例は、車両運転の制御方法が車両運転の制御装置に配置されることを例として説明し、当該装置は、電子機器に適用可能であり、これにより当該電子機器が車両運転の制御方法を実行できる。

図１に示すように、当該車両運転の制御方法は、以下のステップＳ１０１～ステップ１０４を含む。

Ｓ１０１において、車両の運転中に取得された画像に対して車線認識を行うことにより、画像に含まれる車線情報を決定する。

本願の実施例は、車載カメラ機器（インテリジェントバックミラー、携帯電話、フロントカメラなど）により車両の運転中に画像をリアルタイムで取得することができ、当該画像は、運転中の車両周囲の路面情報（路面上の車線を含む）及び車両情報（前方車両の運転状況及び後方車両の運転状況を含む）を反映することができる。なお、取得した画像の数は少なくとも１つであってもよく、各画像に車線が含まれていなくてもよいので、車線の認識を行う必要がある。

ここで、車線は、車両の運転を指示するための道路交通指示線であってもよく、ゼブラゾーン、停止線などを含んでいてもよい。

具体的には、車両運転中に、車載カメラにより画像をリアルタイムで取得して、少なくとも１つの画像を取得し、且つ各画像に対してグレースケール処理などの画像処理を行った後、車線認識を行うことにより、画像に車線が含まれているか否かを決定し、即ち画像に車線が含まれている場合、その中の車線情報を認識し、ここで、車線情報は、車線のタイプ、車線の色、車線の形状、車線の数などを含むことができる。

なお、本願の実施例における車線情報の決定方式は、ステップＳ１０１が実現可能であれば、関連技術における他の方式であってもよく、本願の実施例はこれを限定するものではない。

Ｓ１０２において、いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、いずれかの画像における指定されたタイプの車線の位置に基づいて、いずれかの画像に含まれる検出対象領域を決定する。

本願の実施例では、「いずれか」とは、「その中の１つか又はある１つ」を意味し、「それぞれ」の意味ではない。

本願の実施例は、車両が所在する現在の位置が道路分岐点（例えば交差点）であることを示すための任意の車線のタイプを、ゼブラゾーンや停止線などの指定されたタイプと呼ぶことができる。

本願の実施例は、車両にとってインジケータライト（交通ライト）の認識のために信号機の検出が必要な領域を検出対象領域と呼ぶことができる。

なお、通常、道路交差口に信号機標識板が設けられているので、本願の実施例は、車線情報に基づいて、車両が道路交差点まで運転したことを検出した場合、検出対象領域を決定することにより、信号機検出を行うことができる。

具体的には、画像に基づいて車線情報を決定した後、各車線に対応するタイプを決定することができ、タイプが指定されたタイプである（指定されたタイプに対応する車線が指定されたタイプの車線である）場合、指定されたタイプの車線の所在する画像における位置を決定することができ、さらに当該位置に基づいて、指定されたタイプの車線の所在する画像に含まれる検出対象領域を決定することにより、その後の信号機検出を行う。

Ｓ１０３において、検出対象領域の信号機を検出することにより、いずれかの画像に含まれるインジケータライト情報を決定する。

ここで、インジケータライト情報は、車両の運転方向（直進、左折、右折、Ｕターンなど）や、運転を継続するか否かなどの運転状態を示すための信号機インジケータ情報であってもよく、インジケータライトの色（赤、黄、青）、インジケータライトの数、インジケータライトの形状（タイプ）などを含むことができる。

具体的には、いずれかの（ある）画像に含まれる検出対象領域が決定された後、検出対象領域の信号機情報を検出することにより、当該画像に含まれるインジケータライト情報を決定する。

上記ステップＳ１０１～ステップＳ１０３について具体的に説明する。例えば、車両運転中に、画像１、画像２、画像３及び画像４が取得され、画像１、画像２及び画像３のそれぞれには車線が含まれる場合、画像１に含まれる車線情報１、画像２に含まれる車線情報２及び画像３に含まれる車線情報３がそれぞれ決定され、３つの車線がすべてゼブラゾーンである場合、画像１におけるゼブラゾーンの位置に基づいて画像１に含まれる検出対象領域を決定し、画像２におけるゼブラゾーンの位置に基づいて画像２に含まれる検出対象領域を決定し、画像３におけるゼブラゾーンの位置に基づいて画像３に含まれる検出対象領域を決定し、さらに、３つの検出対象領域のすべてに対して信号機検出を行うことにより、画像１に含まれるインジケータライト情報、画像２に含まれるインジケータライト情報及び画像３に含まれるインジケータライト情報が検出される。

Ｓ１０４において、いずれかの画像に含まれるインジケータライト情報及び車両の現在の運転状態に基づいて、車両の現在の運転モードを決定する。

本願の実施例は、車両の運転中に、車両の運転状態、例えば運転車速、運転方向などをリアルタイムで検出することができる。

具体的には、いずれかの画像に含まれるインジケータライト情報を決定した後、車両の現在の運転状態を取得し、さらに、インジケータライト情報及び車両の現在の運転状態に基づいて、車両の現在の運転モードを決定することができる。

例えば、画像１に含まれるインジケータライトが左折のインジケータライト（左側インジケータライトとも呼ばれる）であり且つ色が青であり、画像２に含まれるインジケータライトが右折のインジケータライトであり且つ色が青であり、及び画像３に含まれるインジケータライトが直進のインジケータライト（車両に対しての正面インジケータライトとも呼ばれる）であり且つ色が赤であり、しかも車両が現在高速で運転しており、このとき車両を減速運転するように制御するとともに、信号無視警報を行うことができる。

なお、本願の実施例は、インジケータライトに対応するカウントダウン時間を取得することもでき、これにより車両の現在の運転モードを決定する際に、インジケータライト情報、車両の現在の運転状態及びインジケータライトのカウントダウン時間に基づいて車両の現在の運転モードを決定する。

なお、取得した画像に対して、その中のグリーンウェーブ車速を認識することにより、グリーンウェーブ車速がある場合、車両の現在の運転モードを決定する際にグリーンウェーブ車速を考慮することができ、車両の後続の円滑な運転を確保することができる。

つまり、本願の実施例は視覚的方法により信号機の測位及び認識を行い、既存の信号機機器を改造する必要がなく、また高精度地図も必要とせず、車載機器に信号機を認識するソフトウェアをインストールするだけで上記ステップの実行を実現できる。上記ステップを実行することにより、地上の車線のみで信号機の認識が可能となり、車線が地上にあるため、車線を認識することにより、車両前方に信号機及び信号機情報があるか否かを決定し、これにより処理すべき画像データ量（一部の画像を認識するだけでよい）を減らすことができるだけでなく、認識の速度を高めることができる。

本願の実施例に係る車両運転の制御方法は、車線情報に基づいて信号機検出を行うことにより、インジケータライト情報を決定し、さらにインジケータライト情報に基づいて車両の現在の運転モードを決定し、信号機信号送信機器に依存することなく、信号機の認識を実現でき、コストが低く、普及性が高いだけでなく、処理すべき画像データ量を減らすことができ、信号機認識の速度を高め、運転体験を改善することができる。

上記ステップＳ１０２では検出対象領域を決定する際に、検出対象領域の有効性を確保するために、車両と車線との間の距離に基づいて検出対象領域を決定してもよいし、画像のイメージング距離に基づいて検出対象領域を決定してもよい。

つまり、本願の一実施例では、図２に示すように、いずれかの画像における指定されたタイプの車線の位置に基づいて、いずれかの画像に含まれる検出対象領域を決定する上記ステップＳ１０２は、以下のステップＳ２０１及びステップＳ２０２を含むことができる。

Ｓ２０１において、いずれかの画像のイメージング距離に基づいて、いずれかの画像における検出対象領域と車線位置との間の間隔の画素数を決定する。

具体的には、少なくとも１つの画像に対して車線認識を行い且ついずれかの画像に含まれる車線情報を決定した後、ここで、車線情報は車線の所在する画像における位置を含むことができ、当該いずれかの画像を撮影するカメラのイメージング距離を決定することができ、即ちいずれかの画像のイメージング距離を決定することができ、さらに当該イメージング距離に基づいて当該いずれかの画像における検出対象領域（不明）と車線位置との間の間隔の画素数を決定する。

Ｓ２０２において、間隔の画素数及びいずれかの画像における指定されたタイプの車線の位置に基づいて、いずれかの画像に含まれる検出対象領域を決定する。

具体的には、間隔の画素数を決定した後、いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、当該いずれかの画像における指定されたタイプの車線の位置が決定されているので、間隔の画素数を決定した際に、当該間隔の画素数（既知）及び画像における指定されたタイプの車線の位置（既知）に基づいて、当該画像に含まれる検出対象領域を決定することができる。

なお、通常、自動車の信号機の高さは一般に１．５メートルであるが、本願の実施例では、５０メートルの距離において、信号機の画素サイズが約５＊１５画素であり、撮像サイズが距離に反比例することに基づいて、任意の大きさの信号機と車両との距離を知ることができ、これにより信号機が所在する検出対象領域を得る。

例えば、画像２のイメージング距離が５０メートルである場合、画像２における決定すべき検出対象領域と車線位置との間の間隔の画素数が約５＊１５画素であると決定することができ、画像２には指定されたタイプの車線が含まれている場合、５＊１５画素及び画像２における指定されたタイプの車線の位置に基づいて、指定されたタイプの車線のイメージング距離を決定し、例えば４８メートルであると決定し、これにより当該イメージング距離に基づいて、検出対象領域が車両から約４８メートルの位置にあることを得ることができる。

これにより、画像のイメージング距離に基づいて検出対象領域を決定することにより、検出対象領域の精度及び信頼性を向上させ、信号機認識の精度をさらに向上させることができる。

上記ステップＳ１０３では検出対象領域の信号機を検出することにより、いずれかの画像に含まれるインジケータライト情報を決定する際に、信号機の検出率を向上させ、誤検出率を低下させるために、信号機検出を複数回行なってもよいし、最初に決定したインジケータライト情報をチェックしてもよい。これにより精度の高いインジケータライト情報を得ることができ。ここで、車線情報及び／又は車両の位置情報に基づいてインジケータライト情報をチェックすることができ、以下、２つの実施例を用いて説明する。

本願の一実施例では、図３に示すように、上記ステップＳ１０３は、以下のステップＳ３０１及びステップＳ３０２を含むことができる。

Ｓ３０１において、検出対象領域を事前に検出することにより、いずれかの画像に含まれる初期インジケータライト情報を決定する。

なお、信号機のサイズが小さく、且つ集光効果があるため、先に簡素な信号機検出モデルを用いて信号機の検出及び測位を行うことにより、インジケータライトの数、インジケータライトのタイプなどの初期インジケータライト情報を決定する。

なお、深層学習に基づいて簡素な信号機検出モデルを事前にトレーニングすることができ、当該モデルは画像を入力として、信号機情報を出力とするものであってもよい。

具体的には、いずれかの（ある）画像に含まれる検出対象領域を決定した後、簡素な信号機検出モデルを用いて検出対象領域の信号機を検出し、いずれかの画像に含まれる初期インジケータライト情報を決定することができる。つまり、検出対象領域を簡素な信号機モデルに入力し、さらに簡素な信号機モデルから初期インジケータライト情報を出力する。

Ｓ３０２において、いずれかの画像に含まれる車線情報に基づいて、初期インジケータライト情報をチェックすることにより、いずれかの画像に含まれるインジケータライト情報を決定する。

具体的には、いずれかの画像に含まれる初期インジケータライト情報を決定した後、いずれかの画像に含まれる車線情報に基づいて、初期インジケータライト情報をチェックする。具体的には、いずれかの画像における車線情報と初期インジケータライト情報とを比較し、両者が一致するか否かを判断することができ、一致しない場合にさらにチェックすることにより、インジケータライト情報の精度を確保する。

これにより、車線情報に基づいて初期インジケータライト情報をチェックすることにより、信号機の検出率を向上させ、誤検出率を低下させることができ、これによりインジケータライト情報の精度及び信頼性を向上させる。

なお、上記ステップＳ３０２では初期インジケータライト情報をチェックする際に、効果的なチェックを行うために、インジケータライトの数及びタイプに基づいてチェックすることができる。

即ち、本願の一実施例では、インジケータライト情報はインジケータライトの数及びタイプを含み、ここで、インジケータライトのタイプは、歩行者用ライト、非自動車用ライト、側面インジケータライト（左側信号機及び右側）、背面インジケータライト及び正面インジケータライトなどを含むことができる。

図４に示すように、上記ステップＳ３０２は、以下のステップＳ４０１～ステップＳ４０３を含むことができる。

Ｓ４０１において、いずれかの画像に含まれる車線情報に基づいて、いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定する。

本願の実施例は、いずれかの画像に含まれる車線情報に対応するインジケータライトの数及びタイプを目標インジケータライトの数及び目標タイプと呼ぶことができる。車線情報は車線の数を含むことができ、理解できるように、車線の数が多いほど、交差点が広く、信号機のタイプが多いことを表すことができる。

具体的には、いずれかの画像に含まれる初期インジケータライト情報を決定した後、初期インジケータライト情報におけるインジケータライトの数及びタイプを決定することができ、例えば３つのインジケータライトであり、且つそれぞれ左側インジケータライト、正面インジケータライト及び右側インジケータライトであってもよい。同時に、いずれかの画像に含まれる車線情報に基づいて、当該いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定することもでき、例えば車線に横断歩道（ゼブラゾーン）又は停止線及び車両に平行な２本の白い実線が含まれている場合、目標インジケータライトの数が３つで、その目標タイプがそれぞれ左側インジケータライト、正面インジケータライト及び右側インジケータライトであると決定することができる。

Ｓ４０２において、初期インジケータライト情報におけるインジケータライトの数及びタイプが、それぞれ目標インジケータライトの数及び目標タイプと一致しない場合、検出対象領域を拡張することにより、拡張された検出対象領域を生成する。

具体的には、インジケータライト情報におけるインジケータライトの数及びタイプ、並びにいずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定した後、インジケータライトの数と目標インジケータライトの数、インジケータライトのタイプと目標タイプをそれぞれ比較することにより、インジケータライトの数が目標インジケータライトの数と一致するか否か、インジケータライトのタイプが目標タイプと一致するか否かを決定することができ、インジケータライトの数が目標インジケータライトの数と一致せず、及び／又はインジケータライトのタイプが目標タイプと一致しない場合、検出対象領域を拡張し、つまり検出対象領域の範囲を増大することにより、拡張された検出対象領域を生成する。ここで、拡張する程度は、具体的な状況に応じて実際に決定することができる。

例えば、インジケータライトの数が３つであるが、目標インジケータライトの数が２つであり、両者が一致しない場合、検出対象領域を拡張し、インジケータライトのタイプが左側インジケータライトであるが、目標タイプが正面インジケータライトであり、両者が一致しない場合、検出対象領域を拡張する。

Ｓ４０３において、拡張された検出対象領域のインジケータライトを検出することにより、いずれかの画像に含まれるインジケータライト情報を決定する。

なお、深層学習に基づいて高精度な信号機検出モデルを事前にトレーニングすることができ、当該モデルは画像を入力として、高精度な信号機情報を出力とするものであってもよい。

具体的には、拡張された検出対象領域が生成された後、高精度な信号機検出モデルを用いて拡張された検出対象領域のインジケータライトを検出することにより、いずれかの画像に含まれるインジケータライト情報を決定することができる。

具体的には、拡張された検出対象領域を高精度な信号機検出モデルに入力し、さらに高精度な信号機検出モデルから、いずれかの画像に含まれるインジケータライト情報を出力することができる。

これにより、まず簡素なモデルを用いて信号機の検出及び測位を行い、その後、車線情報に基づいて検出された信号機領域を拡張し、その後、高精度なモデルを用いて信号機の２次検出を行い、これにより、信号機の検出率をさらに向上させ、且つ誤検出率を低下させるだけでなく、コストが低いという利点があり、普及しやすい。

なお、本願の実施例は、関連技術における他の方式に従ってインジケータライト情報をチェック又は補正することも可能であり、本願の上記実施例は、例にすぎない。

以上のように、車線情報に基づいて検出対象領域をチェックすることにより、精度の高い検出対象領域を得る。なお、このほかに、車両の位置に基づいて検出対象領域をチェックすることにより、精度の高い検出対象領域を得ることも可能であり、以下、１つの実施例を用いて説明する。

本願の別の実施例では、図５に示すように、上記ステップＳ１０３は、以下のステップＳ５０１～ステップＳ５０４を含むことができる。

Ｓ５０１において、検出対象領域を事前に検出することにより、いずれかの画像に含まれる初期インジケータライトの数及びタイプを決定する。

具体的には、いずれかの（ある）画像に含まれる検出対象領域を決定した後、検出対象領域を事前に検出することにより、初期インジケータライト情報におけるインジケータライトの数及びタイプを決定することができ、例えば３つのインジケータライトであり、それぞれ左側インジケータライト、正面インジケータライト及び右側インジケータライトであってもよい。同時に、車両の現在位置をナビゲーション又は測位することにより、車両の位置情報を得ることもでき、例えば、車両の現在位置はゼブラゾーンから２メートルの位置にある。

Ｓ５０２において、車両の位置情報に基づいて、いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定する。

具体的には、車両の位置情報を決定した後、車両の位置情報に基づいて、目標インジケータライトの数及び目標タイプを決定する。例えば、車両の現在の位置がゼブラゾーンから２メートルの位置にあり且つ道路の中央に位置する場合、インジケータライトの数が３つであり、且つその目標タイプが正面インジケータライトであると決定することができる。

Ｓ５０３において、初期インジケータライトの数及びタイプがそれぞれ目標インジケータライトの数及び目標タイプと一致しない場合、検出対象領域を拡張することにより、拡張された検出対象領域を生成する。

具体的には、目標インジケータライトの数及び目標タイプ、初期インジケータライトの数及びタイプを決定した後、初期インジケータライトの数と目標インジケータライトの数、初期インジケータライトのタイプと目標タイプをそれぞれ比較することにより、初期インジケータライトの数が目標インジケータライトの数と一致するか否か、初期インジケータライトのタイプが目標タイプと一致するか否かを決定することができ、初期インジケータライトの数が目標インジケータライトの数と一致せず、及び／又は初期インジケータライトのタイプが目標タイプと一致しない場合、検出対象領域を拡張し、つまり検出対象領域の範囲を増大することにより、拡張された検出対象領域を生成する。ここで、拡張する程度は、具体的な状況に応じて実際に決定することができる。

例えば、初期インジケータライトの数が３つであるが、目標インジケータライトの数が２つであり、両者が一致しない場合、検出対象領域を拡張し、初期インジケータライトのタイプが左側インジケータライトであるが、目標タイプが正面インジケータライトであり、両者が一致しない場合、検出対象領域を拡張する。

Ｓ５０４において、拡張された検出対象領域のインジケータライトを検出することにより、いずれかの画像に含まれるインジケータライト情報を決定する。

高精度な信号機検出モデルを用いて拡張された検出対象領域のインジケータライトを検出することにより、いずれかの画像に含まれるインジケータライト情報を決定することができ、例えば２つのインジケータライトであり且つそれぞれ横断歩道インジケータライト、正面インジケータライトなどであってもよい。

これにより、車両の位置に基づいて検出された信号機を拡張した後、信号機の２次検出を行うことにより、信号機の検出率をさらに向上させ、誤検出率を低下させる。

なお、本願の実施例では上記ステップＳ１０２を実行した後、車両の周囲にある他の車両、例えば車両の前方にある車両（先行車両と略称される）に基づいて検出対象領域を補正することもできる。

即ち、本願の一実施例では、上記ステップＳ１０２の後、さらに、いずれかの画像に先行車両が含まれている場合、取得した、いずれかの画像に隣接する各他の画像に基づいて、先行車両の現在の運転状態を決定するステップと、先行車両が現在停止状態にある場合、先行車両の位置に基づいて、検出対象領域を補正するステップと、を含むことができる。

ここで、先行車両とは、現在の車両の真正面の車両であってもよく、その数は少なくとも１台であってもよい。

具体的には、いずれかの画像に含まれる検出対象領域を決定した後、当該いずれかの画像に少なくとも１台の先行車両が含まれているか否かを判定することができ、少なくとも１台の先行車両が含まれている場合、いずれかの画像に隣接する各他の画像を取得し、各他の画像に基づいて、少なくとも１台の先行車両の現在の運転状態を決定し、先行車両の運転状態が停止状態にある場合、先行車両の現在位置を取得し、且つ先行車両の現在位置に基づいて、検出対象領域を補正することができる。

具体的には、先行車両の位置に対応する上方位置を取得し、且つ当該上方位置が決定された検出対象領域と一致するか否かを判断することができ、一致しないか、又は一致度が高くない場合、先行車両の上方位置に基づいて検出対象領域を補正することができる。通常、信号機標識板は現在の車線及び先行車両の上方位置に位置するので、検出対象領域を補正する際に、検出対象領域を、先行車両の上方位置を含む領域に補正することができる。

これにより、先行車両がある場合、先行車両の位置に基づいて検出対象領域を補正することにより、補正の有効性を確保するだけでなく、検出対象領域の精度をさらに向上させる。

以上の実施例により、より確実で正確なインジケータライト情報を決定した後、上記ステップＳ１０４を実行し、即ち、いずれかの画像に含まれるインジケータライト情報及び車両の現在の運転状態に基づいて、車両の現在の運転モードを決定する。

本願の一実施例では、インジケータライト情報はインジケータライトのタイプ及び色を含み、車両の現在の運転モードを決定する上記ステップＳ１０４は、車両の現在の運転方向、インジケータライトのタイプ及び色に基づいて、車両の現在対応する目標インジケータライト及び色を決定するステップと、目標インジケータライトの色、いずれかの画像のイメージング距離及び車両の現在の運転速度に基づいて、車両の現在の運転モードを決定するステップと、を含むことができる。

具体的には、いずれかの画像に含まれるインジケータライト情報を決定した後、車両の現在の運転方向を取得することができ、インジケータライト情報におけるインジケータライトのタイプ及び色を取得することもでき、運転方向に基づいてインジケータライトのタイプ及び色から車両の現在対応する目標インジケータライト及び色を決定した後、目標インジケータライトの色、いずれかの画像のイメージング距離及び車両の現在の運転速度に基づいて、車両の現在の運転モード、例えば車両が信号機を通過するまで運転を継続するか否か、又は車両が停車してどれだけの時間停車するかなどの車両のさらなる運転モードを決定することにより、車両が現在の運転モードで運転する場合、安全係数が高くなり、且つ運転体験感が良好になる。

なお、自動車の信号機の高さは一般に１．５メートルであり、信号機と車両との間の距離が５０メートルである場合、信号機の画素サイズが約５＊１５画素であり、撮像サイズが距離に反比例することに基づいて、任意の大きさの信号機と車両との距離を知ることができる。

例えば、目標インジケータライトが正面インジケータライトであり且つ赤であり、いずれかの画像のイメージング距離が４０メートルであり且つ車両の現在の運転速度が速い場合、信号無視警報通知を行うことができ、また、現在の信号機の最低グリーンウェーブ車速から現在の適切な車速を算出することにより、現在の車両が適切な車速で運転し続け、これにより信号機交差点でちょうど青信号に遭遇して通過し、あるいは、前方の先行車両が停止状態にある場合、現在の車両が運転を停止する必要があると決定することができる。

なお、現在の運転モードを決定した際に、運転モードに応じて信号無視警報通知や信号機カウントダウン通知を行うことができ、グリーンウェーブ車速通知を行うこともできる。

例えば、現在の車両の運転速度が６０ｋｍ／ｈ（キロメートル／時間）であり、画像を認識した後に現在のリンクのグリーンウェーブ車速が５０ｋｍ／ｈであると決定した場合、現在車速を５０ｋｍ／ｈに下げるようにドライバーにタイムリーに通知ことができ、又は現在車速を５０ｋｍ／ｈに自動調整することにより、車両が現在の道路区間を円滑に運転する。

これにより、目標インジケータライトの色、画像のイメージング距離及び車両の現在の運転速度に基づいて、車両の現在の運転モードを決定することにより、安全係数を向上させるだけでなく、運転体験を改善することもできる。

まとめると、本願の実施例は、車線を取得するために車載カメラのみを必要とし、そして車線位置及び／又は先行車両の位置に合わせて信号機が所在する検出対象領域を取得し（高精度地図及びカメラパラメータによって検出対象領域を推定するのではなく）、その後、信号機のタイプ、形状及び色の認識を行い、信号機情報に基づいて信号無視警報及びグリーンウェーブ車速通知を行う。以下、図６を参照してさらに説明する。

図６に示すように、まず交差点の車線測位情報及び先行車両の検出情報に基づいて信号機検出領域を決定し、ここで、交差点の車線情報（例えばゼブラゾーン又は停止線）に基づいて信号機検出領域を測位又は縮小することができ、先行車両の動作（例えば停車動作）に合わせて、信号機信号の認識を開始することができ、これにより負荷を低減させ、その後、信号機信号の変化を追跡し続けることができ、信号機検出領域と車両との間の距離をさらに決定することにより、信号機検出領域の信号機の色、形状、タイプなどの情報を検出し、信号機情報に基づいて車両の現在の運転モードを決定することにより、車両が当該運転モードで運転する場合の安全係数が高くなる。

なお、本願の実施例は、関連技術における他の方式に従ってインジケータライト情報に基づいて車両の運転モードを決定することも可能であり、本願の上記実施例は例にすぎない。

本願の実施例は、車両運転の制御装置をさらに提供し、図７は、本願の実施例に係る車両運転の制御装置の概略構成図である。

図７に示すように、当該車両運転の制御装置７００は、第１決定モジュール７１０と、第２決定モジュール７２０と、第３決定モジュール７３０と、第４決定モジュール７４０とを備える。

ここで、第１決定モジュール７１０は、車両の運転中に取得された画像に対して車線認識を行うことにより、画像に含まれる車線情報を決定するように構成される。第２決定モジュール７２０は、いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、いずれかの画像における指定されたタイプの車線の位置に基づいて、いずれかの画像に含まれる検出対象領域を決定するように構成される。第３決定モジュール７３０は、検出対象領域の信号機を検出することにより、いずれかの画像に含まれるインジケータライト情報を決定するように構成される。第４決定モジュール７４０は、いずれかの画像に含まれるインジケータライト情報及び車両の現在の運転状態に基づいて、車両の現在の運転モードを決定するように構成される。

本願の一実施例では、第２決定モジュール７２０は、いずれかの画像のイメージング距離に基づいて、いずれかの画像における検出対象領域と車線位置との間の間隔の画素数を決定するように構成される第１決定ユニットと、間隔の画素数及びいずれかの画像における指定されたタイプの車線の位置に基づいて、いずれかの画像に含まれる検出対象領域を決定するように構成される第２決定ユニットと、を備えることができる。

本願の一実施例では、第３決定モジュール７３０は、検出対象領域を事前に検出することにより、いずれかの画像に含まれる初期インジケータライト情報を決定するように構成される第３決定ユニットと、いずれかの画像に含まれる車線情報に基づいて初期インジケータライト情報をチェックすることにより、いずれかの画像に含まれるインジケータライト情報を決定するように構成される第４決定ユニットと、を備えることができる。

本願の一実施例では、インジケータライト情報はインジケータライトの数及びタイプを含み、第４決定ユニット７４０は、いずれかの画像に含まれる車線情報に基づいて、いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定するように構成される第１決定サブユニットと、初期インジケータライト情報におけるインジケータライトの数及びタイプがそれぞれ目標インジケータライトの数及び目標タイプと一致しない場合、検出対象領域を拡張することにより、拡張された検出対象領域を生成するように構成される第１生成サブユニットと、拡張された検出対象領域のインジケータライトを検出することにより、いずれかの画像に含まれるインジケータライト情報を決定するように構成される第２決定サブユニットと、を備えることができる。

本願の一実施例では、第３決定モジュール７３０は、検出対象領域を事前に検出することにより、いずれかの画像に含まれる初期インジケータライトの数及びタイプを決定するように構成される第５決定ユニットと、車両の位置情報に基づいて、いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定するように構成される第６決定ユニットと、初期インジケータライトの数及びタイプがそれぞれ目標インジケータライトの数及び目標タイプと一致しない場合、検出対象領域を拡張することにより、拡張された検出対象領域を生成するように構成される第１生成ユニットと、拡張された検出対象領域のインジケータライトを検出することにより、いずれかの画像に含まれるインジケータライト情報を決定するように構成される第７決定ユニットと、を備えることができる。

本願の一実施例では、車両運転の制御装置７００は、いずれかの画像に先行車両が含まれている場合、取得されたいずれかの画像に隣接する他の各画像に基づいて、先行車両の現在の運転状態を決定するように構成される第５決定モジュールと、先行車両が現在停止状態にある場合、先行車両の位置に基づいて、検出対象領域を補正するように構成される第１補正モジュールと、をさらに備えることができる。

本願の一実施例では、インジケータライト情報はインジケータライトのタイプ及び色を含み、第４決定モジュール７４０は、車両の現在の運転方向、インジケータライトのタイプ及び色に基づいて、車両の現在対応する目標インジケータライト及び色を決定するように構成される第８決定ユニットと、目標インジケータライトの色、いずれかの画像のイメージング距離及び車両の現在の運転速度に基づいて、車両の現在の運転モードを決定するように構成される第９決定ユニットと、を備えることができる。

なお、本願の実施例に係る車両運転の制御装置の他の具体的な実施形態は、前述した車両運転の制御方法の具体的な実施形態を参照することができ、冗長性を避けるためにここでは説明を省略する。

本願の実施例に係る車両運転の制御装置は、信号機信号送信機器に依存することなく、信号機の認識を実現でき、コストが低く、普及性が高いだけでなく、処理すべき画像データ量を減らすことができ、これにより信号機認識の速度を高め、運転体験を改善することができる。

本願の実施例によれば、本願は、車両運転の制御方法を実行するための電子機器、読み取り可能な記憶媒体及びコンピュータプログラム製品をさらに提供する。以下、図８と併せて説明する。

図８に示すように、本願の実施例に係る車両運転の制御方法を実行するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、インテリジェントフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本願の実現を制限することを意図したものではない。

図８に示すように、機器８００は算出ユニット８０１を備え、それは読み取り専用メモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる。ＲＡＭ８０３には、また機器８００の操作に必要な種々のプログラム及びデータを記憶することができる。算出ユニット８０１、ＲＯＭ８０２及びＲＡＭ８０３はバス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース８０５もバス８０４に接続されている。

機器８００における複数のコンポーネントはＩ／Ｏインタフェース８０５に接続されており、キーボード、マウスなどの入力ユニット８０６と、各種タイプのディスプレイ、スピーカなどの出力ユニット８０７と、磁気ディスク、光ディスクなどの記憶ユニット８０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット８０９とを備える。通信ユニット８０９は、機器８００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

算出ユニット８０１は、処理及び算出能力を有する様々な汎用及び／又は専用処理コンポーネントであってもよい。算出ユニット８０１のいくつかの例には、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、様々な専用の人工知能（ＡＩ）算出チップ、機械学習モデルアルゴリズムを実行する様々な算出ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定されない。算出ユニット８０１は、車両運転の制御方法など、上述した様々な方法や処理を実行する。例えば、いくつかの実施例では、車両運転の制御方法は、記憶ユニット８０８などの機械読み取り可能な媒体に有形で含まれているコンピュータソフトウェアプログラムとして実現されることができる。いくつかの実施例では、コンピュータプログラムの一部又は全部は、ＲＯＭ８０２及び／又は通信ユニット８０９を介して機器８００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ８０３にロードされ且つ算出ユニット８０１により実行されると、上述した車両運転の制御方法の１つ以上のステップを実行してもよい。任意選択的に、他の実施例では、算出ユニット８０１は、他の任意の適切な方式によって（例えば、ファームウェアの助けを借りて）車両運転の制御方法を実行するように構成されてもよい。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、現場でプログラム可能なゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、プログラム可能な複合論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

本願の方法を実施するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図に規定された機能／操作が実行されるようにする。プログラムコードは、機械上で完全に実行され、部分的に機械上で実行され、スタンドアロンのソフトウェアパッケージとして部分的に機械上で実行され且つ部分的に遠隔機械上で実行され、又は遠隔機械又はサーバ上で完全に実行されてもよい。

本願の文脈では、機械読み取り可能な媒体は有形媒体であってもよく、それは、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と組み合わせて使用するためのプログラムを含むか、又は記憶することができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、限定されないが、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上記の任意の適切な組み合わせを含むことができる。機械読み取り可能な記憶媒体のより具体的な例としては、１つ以上のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含むことができる。

ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他のタイプの装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークとを含む。

コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムのホスト製品であり、従来の物理ホストとＶＰＳ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ、仮想専用サーバ）サービスでは、管理が難しく、業務の拡張性が弱いという欠点を解決する。サーバは、分散システムのサーバであってもよいし、ブロックチェーンを組み合わせたサーバであってもよい。

上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。

上記の具体的な実施方式は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本開示の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (18)

1. 車両の運転中に取得された画像に対して車線認識を行うことにより、前記画像に含まれる車線情報を決定するステップと、
   いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる検出対象領域を決定するステップと、
   前記検出対象領域の信号機を検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップと、
   前記いずれかの画像に含まれるインジケータライト情報及び前記車両の現在の運転状態に基づいて、前記車両の現在の運転モードを決定するステップと、
   を含む、車両運転の制御方法。
2. 前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる検出対象領域を決定するステップが、
   前記いずれかの画像のイメージング距離に基づいて、前記いずれかの画像における前記検出対象領域と前記車線の位置との間の間隔の画素数を決定するステップと、
   前記間隔の画素数及び前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる前記検出対象領域を決定するステップと、
   を含む請求項１に記載の車両運転の制御方法。
3. 前記検出対象領域の信号機を検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップが、
   前記検出対象領域を事前に検出することにより、前記いずれかの画像に含まれる初期インジケータライト情報を決定するステップと、
   前記いずれかの画像に含まれる車線情報に基づいて、前記初期インジケータライト情報をチェックすることにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップと、
   を含む請求項１に記載の車両運転の制御方法。
4. 前記インジケータライト情報はインジケータライトの数及びタイプを含み、前記いずれかの画像に含まれる車線情報に基づいて、前記初期インジケータライト情報をチェックすることにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップが、
   前記いずれかの画像に含まれる車線情報に基づいて、前記いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定するステップと、
   前記初期インジケータライト情報におけるインジケータライトの数及びタイプが、それぞれ前記目標インジケータライトの数及び目標タイプと一致しない場合、前記検出対象領域を拡張することにより、拡張された検出対象領域を生成するステップと、
   前記拡張された検出対象領域のインジケータライトを検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップと、
   を含む請求項３に記載の車両運転の制御方法。
5. 前記検出対象領域の信号機を検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップが、
   前記検出対象領域を事前に検出することにより、前記いずれかの画像に含まれる初期インジケータライトの数及びタイプを決定するステップと、
   前記車両の位置情報に基づいて、前記いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定するステップと、
   前記初期インジケータライトの数及びタイプが、それぞれ前記目標インジケータライトの数及び目標タイプと一致しない場合、前記検出対象領域を拡張することにより、拡張された検出対象領域を生成するステップと、
   前記拡張された検出対象領域のインジケータライトを検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するステップと、
   を含む請求項１に記載の車両運転の制御方法。
6. 前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる検出対象領域を決定するステップの後に、
   前記いずれかの画像に先行車両が含まれている場合、取得された前記いずれかの画像に隣接する各他の画像に基づいて、前記先行車両の現在の運転状態を決定するステップと、
   前記先行車両が現在停止状態にある場合、前記先行車両の位置に基づいて、前記検出対象領域を補正するステップと、
   を含む請求項１に記載の車両運転の制御方法。
7. 前記インジケータライト情報はインジケータライトのタイプ及び色を含み、前記車両の現在の運転モードを決定するステップが、
   前記車両の現在の運転方向、前記インジケータライトのタイプ及び色に基づいて、前記車両の現在対応する目標インジケータライト及び色を決定するステップと、
   前記目標インジケータライトの色、前記いずれかの画像のイメージング距離及び前記車両の現在の運転速度に基づいて、前記車両の現在の運転モードを決定するステップと、
   を含む請求項１から６のいずれか一項に記載の車両運転の制御方法。
8. 車両の運転中に取得された画像に対して車線認識を行うことにより、前記画像に含まれる車線情報を決定するように構成される第１決定モジュールと、
   いずれかの画像に含まれる車線のタイプが指定されたタイプである場合、前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる検出対象領域を決定するように構成される第２決定モジュールと、
   前記検出対象領域の信号機を検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するように構成される第３決定モジュールと、
   前記いずれかの画像に含まれるインジケータライト情報及び前記車両の現在の運転状態に基づいて、前記車両の現在の運転モードを決定するように構成される第４決定モジュールと、
   を備える、車両運転の制御装置。
9. 前記第２決定モジュールが、
   前記いずれかの画像のイメージング距離に基づいて、前記いずれかの画像における前記検出対象領域と前記車線の位置との間の間隔の画素数を決定するように構成される第１決定ユニットと、
   前記間隔の画素数及び前記いずれかの画像における前記指定されたタイプの車線の位置に基づいて、前記いずれかの画像に含まれる前記検出対象領域を決定するように構成される第２決定ユニットと、
   を備える、請求項８に記載の車両運転の制御装置。
10. 前記第３決定モジュールが、
    前記検出対象領域を事前に検出することにより、前記いずれかの画像に含まれる初期インジケータライト情報を決定するように構成される第３決定ユニットと、
    前記いずれかの画像に含まれる車線情報に基づいて、前記初期インジケータライト情報をチェックすることにより、前記いずれかの画像に含まれるインジケータライト情報を決定するように構成される第４決定ユニットと、
    を備える請求項８に記載の車両運転の制御装置。
11. 前記インジケータライト情報はインジケータライトの数及びタイプを含み、前記第４決定ユニットが、
    前記いずれかの画像に含まれる車線情報に基づいて、前記いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定するように構成される第１決定サブユニットと、
    前記初期インジケータライト情報におけるインジケータライトの数及びタイプが、それぞれ前記目標インジケータライトの数及び目標タイプと一致しない場合、前記検出対象領域を拡張することにより、拡張された検出対象領域を生成するように構成される第１生成サブユニットと、
    前記拡張された検出対象領域のインジケータライトを検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するように構成される第２決定サブユニットと、
    を備える請求項１０に記載の車両運転の制御装置。
12. 前記第３決定モジュールが、
    前記検出対象領域を事前に検出することにより、前記いずれかの画像に含まれる初期インジケータライトの数及びタイプを決定するように構成される第５決定ユニットと、
    前記車両の位置情報に基づいて、前記いずれかの画像に含まれる目標インジケータライトの数及び目標タイプを決定するように構成される第６決定ユニットと、
    前記初期インジケータライトの数及びタイプが、それぞれ前記目標インジケータライトの数及び目標タイプと一致しない場合、前記検出対象領域を拡張することにより、拡張された検出対象領域を生成するように構成される第１生成ユニットと、
    前記拡張された検出対象領域のインジケータライトを検出することにより、前記いずれかの画像に含まれるインジケータライト情報を決定するように構成される第７決定ユニットと、
    を備える請求項８に記載の車両運転の制御装置。
13. 前記いずれかの画像に先行車両が含まれている場合、取得した前記いずれかの画像に隣接する各他の画像に基づいて、前記先行車両の現在の運転状態を決定するように構成される第５決定モジュールと、
    前記先行車両が現在停止状態にある場合、前記先行車両の位置に基づいて、前記検出対象領域を補正するように構成される第１補正モジュールと、
    を備える請求項８に記載の車両運転の制御装置。
14. 前記インジケータライト情報はインジケータライトのタイプ及び色を含み、前記第４決定モジュールが、
    前記車両の現在の運転方向、前記インジケータライトのタイプ及び色に基づいて、前記車両の現在対応する目標インジケータライト及び色を決定するように構成される第８決定ユニットと、
    前記目標インジケータライトの色、前記いずれかの画像のイメージング距離及び前記車両の現在の運転速度に基づいて、前記車両の現在の運転モードを決定するように構成される第９決定ユニットと、
    を備える請求項８から１３のいずれか一項に記載の車両運転の制御装置。
15. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信可能に接続されたメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが請求項１から７のいずれか一項に記載の車両運転の制御方法を実行できる電子機器。
16. コンピュータに請求項１から７のいずれか一項に記載の車両運転の制御方法を実行させるためのコンピュータ命令を記憶している、非一時的なコンピュータ読み取り可能な記憶媒体。
17. プロセッサによって実行される場合に、請求項１から７のいずれか一項に記載の車両運転の制御方法を実現するコンピュータプログラムを含むコンピュータプログラム製品。
18. プロセッサによって実行される場合請求項１から７のいずれか一項に記載の車両運転の制御方法を実現するコンピュータプログラム。
    

Images