JP2021504856A - 前方衝突制御方法および装置、電子機器、プログラムならびに媒体 - Google Patents

Abstract

本開示の実施例は前方衝突制御方法および装置、電子機器、プログラムならびに媒体を開示し、前記前方衝突制御方法は、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することと、現在走行対象と前記疑似衝突対象との衝突時間を予測することと、前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うことと、を含む。本開示の実施例は目標対象検出結果の正確性および精度を向上させ、衝突警報の正確性を向上させ、道路交通事故の低減に寄与する。

Description

（関連出願の相互参照）
本開示は２０１８年０４月２０日に中国特許局に提出された、出願番号がＣＮ２０１８１０３６０８４４５であり、発明の名称が「前方衝突制御方法および装置、電子機器、プログラムならびに媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。

本開示はコンピュータビジョン技術に関し、特に前方衝突制御方法および装置、電子機器、プログラムならびに媒体に関する。

前方衝突警報システムは走行中の危険を予測して衝突の危険が発生する前に一定時間（例えば２〜３秒）で早めに運転者にアラームを出し、それによって交通事故の発生を予防することができ、「疲れることない第三の眼」と呼ばれている。自動車交通事故の一分析結果によると、発生した交通事故のうち、８０％程度の交通事故は、運転者の反応が迅速ではないこと、操作が適切でないことによるものである。ここで、６５％程度の事故は自動車の追突によって引き起こされ、残りは側方衝突、擦りによって引き起こされるものである。Ｄａｉｍｌｅｒ Ｂｅｎｚの一調査結果によると、０．５秒早めにアラームを出せば６０％程度の追突事故を防止でき、１．５秒早めにアラームを出せば９０％程度の追突事故を防止できる。

従って、自動車に自動車衝突警報システムを装着することは、交通事故を低減するための効果的な技術的措置である。

本開示の実施例は前方衝突制御の解決手段を提供する。

本開示の実施例の一態様によれば、
ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することと、
現在走行対象と前記疑似衝突対象との衝突時間を予測することと、
前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うことと、を含む前方衝突制御方法が提供される。

本開示の実施例の別の態様によれば、
ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出するように構成される第一検出モジュールと、
現在走行対象と前記疑似衝突対象との衝突時間を予測するように構成される第一予測モジュールと、
前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うように構成される制御モジュールと、を含む前方衝突制御装置が提供される。

本開示の実施例のさらに別の態様によれば、
コンピュータプログラムを記憶するように構成されるメモリと、
前記メモリに記憶される、実行される時に本開示の上記いずれかの実施例に記載の前方衝突制御方法を実現するコンピュータプログラムを実行するように構成されるプロセッサと、を含むことを特徴とする電子機器が提供される。

本開示の実施例のさらに別の態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムはプロセッサにより実行される時、本開示の上記いずれかの実施例に記載の前方衝突制御方法を実現するコンピュータ読み取り可能記憶媒体が提供される。

本開示の実施例のさらに別の態様によれば、コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサに実行される時、本開示の上記いずれかの実施例に記載の前方衝突制御方法を実現するコンピュータプログラムが提供される。

本開示の上記実施例が提供する前方衝突警報方法および装置、電子機器、プログラムならびに媒体は、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出し、深層学習の方式で疑似衝突対象（例えば、車両、歩行者、軽車両、ロボット、障害物など）を検出し、検出結果の正確性および精度を向上させ、現在走行対象と疑似衝突対象との衝突時間を予測し、衝突時間に基づいて現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行い、それにより現在走行対象の前方衝突警報および／または運転制御を実現し、前方衝突警報および運転制御の正確性を向上させ、道路交通事故の低減に寄与する。

以下に図面および実施例により、本開示の技術的解決手段をさらに詳しく説明する。

本開示の前方衝突制御方法の一実施例のフローチャートである。 本開示の前方衝突制御方法の別の実施例のフローチャートである。 本開示の前方衝突制御方法のさらに別の実施例のフローチャートである。 本開示の前方衝突制御装置の一実施例の構成模式図である。 本開示の前方衝突制御装置の別の実施例の構成模式図である。 本開示の前方衝突制御装置のさらに別の実施例の構成模式図である。 本開示の電子機器の一応用例の構成模式図である。

明細書の一部を構成する図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈することに用いられる。

図面を参照し、以下の詳細な説明により本開示をより明瞭に理解することができる。

ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材およびステップの相対的配置、数式および値は本開示の範囲を限定するものではないことに注意すべきである。

また、本開示の実施例では、「複数の」とは二つ以上を指してもよく、「少なくとも一つの」とは一つ、二つまたは二つ以上を指してもよいことを理解すべきである。

当業者であれば、本開示の実施例における「第一」、「第二」などの用語は異なるステップ、機器またはモジュールなどを区別するためのものに過ぎず、なんらの特定の技術的意味も有さず、またそれらの間の必然的な論理的順序を表すものでもないことを理解できる。

また、本開示の実施例で言及された任意の部材、データまたは構造は、明確に限定されまたは明細書の前後で反対的に示唆された場合でなければ、一般的には一つ以上と理解してもよいことを理解すべきである。

また、本開示は各実施例間の相違点を重点に説明し、その同じまたは類似の部分は互いに参照すればよいことを理解すべきであり、その説明を簡潔にするために、ここでは説明を省略する。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本開示およびその適用または使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。

なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

また、本開示における用語「および／または」とは、関連対象の関連関係を記述するためのものに過ぎず、三つの可能な関係を表すことができ、例えば、Ａおよび／またはＢとは、Ａが単独で存在する場合、ＡおよびＢが同時に存在する場合、Ｂが単独で存在する場合という三つの場合を表すことができる。また、本開示における符号「／」とは、一般的には前後の関連対象が「または」という関係にあることを表す。

本開示の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。

本開示を実現する過程で、発明者は研究によって、既存の前方衝突警報システムは従来のビジョン技術に基づいて障害物を検出しており、このような処理で最初から識別率および目標マッチング率が低くなり、システムの前方衝突警報性能および効果が低下することを発見した。

図１は本開示の前方衝突制御方法の一実施例のフローチャートである。図１に示すように、該実施例の前方衝突制御方法は下記の操作を含む。

１０２において、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出する。

本開示の各実施例のいくつかの実施形態では、現在走行対象の種類は、例えば車両、ロボットなどを含んでもよいが、これらに限定されない。疑似衝突対象の種類は、例えば人、車両、軽車両、ロボット、障害物などのいずれか一つまたは複数を含んでもよいが、これらに限定されない。ここの車両は、例えば自動車、電気自動車、自動車玩具などの任意の走行対象であってもよい。

本開示の各実施例のいくつかの実施形態では、ニューラルネットワークはＲＦＣＮ、ＳＳＤ、ＲＣＮＮ、ＦａｓｔＲＣＮＮ、ＦａｓｔｅｒＲＣＮＮ、ＳＰＰＮｅｔ、ＤＰＭ、ＯｖｅｒＦｅａｔ、ＹＯＬＯなどのアーキテクチャ方式に基づき、フレーム画像における目標対象を検出し、それにより疑似衝突対象を得ることができる。

任意選択的な一例では、該操作１０２はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一検出モジュールによって実行してもよい。

１０４において、現在走行対象と疑似衝突対象との衝突時間を予測する。

任意選択的な一例では、該操作１０４はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一予測モジュールによって実行してもよい。

１０６において、現在走行対象と疑似衝突対象との衝突時間に基づいて現在走行対象に対して前方衝突制御を行い、前方衝突制御が前方衝突警報および／または運転制御を含んでもよいがこれらに限定されない。

本開示の実施例では、例えば聴覚形式、視覚形式などで前方衝突警報を行ってもよいが、これらに限定されない。そのうち、聴覚形式では、例えばブザーによって音を出すなどの方式で前方衝突警報を行ってもよく、視覚形式では、例えば表示灯の点滅などの方式で前方衝突警報を行ってもよい。

任意選択的な一例では、該操作１０６はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される制御モジュールによって実行してもよい。

本開示の実施例における運転制御とは、現在走行対象の運動状態および／または運動方向を変えるための制御動作をいい、例えば現在走行対象に対する加速、制動減速、走行方向変更など現在走行対象の運動方向および／または運動状態を変えることが可能な制御動作を含んでもよい。例えば、実際の一応用シーンでは、現在車両は元々その走行している車線内において直行するままの運動方向にあるが、衝突時間に基づいて現在車両は前方の疑似衝突対象に衝突することになる場合、運転制御によって現在車両の走行方向を変えて、現在車両の車線を変更し、衝突を回避することができ、また、この過程で前方の疑似衝突対象が加速して離れる場合、運転制御によって現在車両の走行方向を変えて現在車両を元の運動方向に維持し、その走行している車線内に維持するように直行させることができる。

本開示の上記実施例が提供する前方衝突制御方法に基づき、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出し、深層学習の方式で疑似衝突対象（例えば、車両、歩行者、軽車両、ロボット、障害物など）を検出し、検出結果の正確性および精度を向上させ、現在走行対象と疑似衝突対象との衝突時間を予測し、衝突時間に基づいて現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行い、それにより現在走行対象の前方衝突警報および／または運転制御を実現し、前方衝突警報および運転制御の正確性を向上させ、道路交通事故の低減に寄与する。

本開示の各実施例のいくつかの実施形態では、操作１０２で、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することは、下記の操作を含んでもよい。

道路上の区画線に対する検出結果を取得する。いくつかの任意選択的な例では、例えば、ニューラルネットワークに基づいてフレーム画像における道路上の区画線を検出し、つまり、区画線も一つの目標対象として検出し、区画線に対する検出結果を得るか、または、先進運転支援システム（ＡＤＡＳ）から区画線に対する検出結果を直接取得し、ＡＤＡＳにおける区画線検出結果を利用するように、道路上の区画線に対する検出結果を取得してもよい。

区画線に対する検出結果に基づいて道路上の少なくとも一部の目標対象を疑似衝突対象として特定する。

いくつかの任意選択的な例では、区画線に対する検出結果は、検出された、例えばフレーム画像において区画線に属する画素点ラベルまたは画素点位置であってもよい区画線情報である場合、該区画線情報に基づいて現在走行対象の所在する車線内の少なくとも一部の目標対象を疑似衝突対象として選択する。逆に、区画線に対する検出結果として区画線が検出されていない場合、現在走行対象との距離が予め設定された範囲（例えば、５メートル）内にある目標対象を疑似衝突対象として選択してもよい。

図２は本開示の前方衝突制御方法の別の実施例のフローチャートである。図２に示すように、該実施例の前方衝突制御方法は下記の操作を含む。

２０２において、道路上の区画線に対する検出結果を取得する。

任意選択的な一例では、該操作２０２はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一検出モジュールまたはその中の取得ユニットによって実行してもよい。

２０４において、区画線に対する検出結果に基づいて道路上の少なくとも一部の目標対象を疑似衝突対象として特定する。

任意選択的な一例では、該操作２０４はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一検出モジュールまたはその中の特定ユニットによって実行してもよい。

２０６において、現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測し、該運動情報が、位置、運動速度および運動加速度を含む。

任意選択的な一例では、該操作２０６はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一予測モジュールまたはその中の予測ユニットによって実行してもよい。

２０８において、各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算する。

いくつかの実施形態では、現在フレーム画像における各疑似衝突対象の検出ボックス情報および運動情報をカメラ座標系からワールド座標系へ変換し、そしてから現在走行対象と各疑似衝突対象との衝突時間を計算するようにしてもよい。例えば、区画線を検出した場合、現在走行対象の所在する車線内の目標対象を疑似衝突対象として特定し、各疑似衝突対象の検出ボックス情報および運動情報をカメラ座標系からワールド座標系へ変換し、そしてから現在走行対象と各疑似衝突対象との衝突時間を計算するようにしてもよい。区画線を検出できない場合、現在フレーム画像における各目標対象の検出ボックス情報および運動情報をカメラ座標系からワールド座標系へ変換し、そしてから現在走行対象との距離が予め設定された範囲（例えば、５メートル）内にある目標対象を疑似衝突対象としてスクリーニングし、現在走行対象と各疑似衝突対象との衝突時間を計算するようにしてもよい。

任意選択的な一例では、該操作２０８はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一予測モジュールまたはその中の計算ユニットによって実行してもよい。

２１０において、現在走行対象と疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較する。

任意選択的な一例では、該操作２１０はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される制御モジュールまたはその中の比較ユニットによって実行してもよい。

２１２において、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行い、前方衝突制御が、例えば前方衝突警報および／または運転制御を含んでもよいがこれらに限定されない。

任意選択的な一例では、該操作２１２はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される制御モジュールまたはその中の制御ユニットによって実行してもよい。

本開示の上記実施例は、各疑似衝突対象の前のＮフレーム画像および現在フレーム画像における検出ボックス情報に同時に基づき、各疑似衝突対象の運動情報を予測し、各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算し、衝突時間の正確性および精度を向上させ、衝突制御の正確性のさらなる向上に寄与する。

ニューラルネットワークにより現在フレーム画像における目標対象を検出し、現在フレーム画像における目標対象の検出ボックスを得て、現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含む前のＮフレームの画像における目標対象の検出ボックスに基づき、目標対象の現在フレーム画像における物体ボックスを予測し、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定し、検出ボックス情報に基づいて衝突警報を行う。本開示の実施例は深層学習の方式で目標対象（例えば、車両、歩行者、軽車両）を検出し、検出結果の正確性および精度を向上させ、深層学習の方式で目標対象の動的検出および追跡マッチングを実現し、目標対象の検出結果をさらに正確に、安定的にし、また検出漏れも回避でき、検出結果の正確性をさらに向上させ、それにより道路交通事故の低減に寄与する。

いくつかの実施形態では、予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加してもよい。本実施例では、複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加し、現在走行対象と疑似衝突対象との衝突時間によって、対応する前方衝突制御方法を採用して現在走行対象の前方衝突警報および／または運転制御を行うことが可能であり、より高い前方衝突制御効果を達成する。

いくつかの実施形態では、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突警報を行うステップは、現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことを含んでもよく、ここで、第一の予め設定された閾値および第二の予め設定された閾値はそれぞれ０よりも大きい値とし、かつ第一の予め設定された閾値は第二の予め設定された閾値よりも小さく、例えば、第一の予め設定された閾値および第二の予め設定された閾値はそれぞれ３秒、５秒とする。

例えば、衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい第一疑似衝突対象に対して、第一疑似衝突対象の運動情報に基づいて第一疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、第一疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報によって衝突警報を行う。ここで、衝突警報は、例えば前方Ｘメートルに歩行者、障害物があるように知らせるなどのような衝突知らせであってもよい。第一疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報を行わない。

別のいくつかの実施形態では、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突警報を行うステップは、現在走行対象との衝突時間が第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報、および／または、運転制御を行うことを含んでもよく、ここでの運転制御は、例えば制動減速、走行方向変更のいずれか一つまたは複数を含んでもよいがこれらに限定されない。

例えば、衝突時間が第一の予め設定された閾値以下である第二疑似衝突対象に対して、第二疑似衝突対象の運動情報に基づいて第二疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、第二疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報によって衝突警報、および／または、運転制御を行い、運転制御が、例えば制動減速、走行方向変更のいずれか一つまたは複数を含んでもよいがこれらに限定されない。そのうち、衝突警報は、例えば音、光、電気などの方式による衝突アラームであってもよい。第二疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報、および／または、運転制御を行うことがなく、運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むがこれらに限定されない。

上記実施形態では、衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きいという予め設定された条件を満たすことから、衝突時間が第一の予め設定された閾値以下であるという予め設定された条件を満たすことまで、そのそれぞれ対応する前方衝突制御の程度は段階的に増加し、衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きいという予め設定された条件を満たす場合には衝突知らせを行い、衝突時間が第一の予め設定された閾値以下であるという予め設定された条件を満たす場合には、衝突警報および／または運転制御を行い、それによって前方衝突を回避する。

また、本開示のいずれかの実施例の前方衝突制御方法ではさらに、いずれかの実施例における疑似衝突対象を含む目標対象の現在フレーム画像における検出ボックス情報を特定する操作を含んでもよい。例えば、ニューラルネットワークにより現在フレーム画像における目標対象を検出し、現在フレーム画像における目標対象の検出ボックスを得て、前のＮフレームの画像における目標対象の検出ボックスに基づき、目標対象の現在フレーム画像における物体ボックスを予測し、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定するように、目標対象の現在フレーム画像における検出ボックス情報を特定してもよく、ここで、前のＮフレームの画像は現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数である。

実際の応用では、取得されたフレーム画像の精細度が低いなどの品質上の原因、および目標対象が運動しているなどの原因によって、ニューラルネットワークは現在フレーム画像における目標対象を検出する時、現在フレーム画像の検出結果のみを考慮すると、同一目標対象の検出ボックスは異なるフレーム画像において一定程度のブレおよびロスが発生し得る。上記問題を解決するために、本実施例では、目標追跡アルゴリズムを使用し、連続フレーム画像における目標対象を追跡し、目標対象の現在フレーム画像における検出ボックス情報を特定するときに、前のＮフレームの画像における目標対象の検出ボックスに基づき、目標対象の現在フレーム画像における物体ボックスを予測し、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定し、目的対象の動的検出を実現し、現在フレーム画像における目標対象の検出結果（即ち、検出ボックス情報）をより安定的に、より正確にし、それにより衝突警報の正確性を向上させる。

図３は本開示の前方衝突制御方法のさらに別の実施例のフローチャートである。図３に示すように、該実施例の前方衝突制御方法は下記の操作を含む。

３０２において、ニューラルネットワークにより現在フレーム画像における目標対象を検出し、現在フレーム画像における目標対象の検出ボックスを得る。

任意選択的な一例では、該操作３０２はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第二検出モジュールによって実行してもよい。

３０４において、前のＮフレームの画像における目標対象の検出ボックスに基づき、目標対象の現在フレーム画像における物体ボックスを予測する。

ここで、前のＮフレームの画像は現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数である。

任意選択的な一例では、該操作３０４はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第二予測モジュールによって実行してもよい。

３０６において、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定する。

任意選択的な一例では、該操作３０６はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される特定モジュールによって実行してもよい。

３０８において、道路上の区画線に対する検出結果を取得する。

任意選択的な一例では、該操作３０８はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一検出モジュールまたはその中の取得ユニットによって実行してもよい。

３１０において、区画線に対する検出結果および目標対象の現在フレーム画像における検出ボックス情報に基づき、道路上の少なくとも一部の目標対象を疑似衝突対象として特定する。

区画線に対する検出結果が検出された区画線情報である場合、該区画線情報および各目標対象の現在フレーム画像における検出ボックス情報に基づき、現在走行対象の所在する車線内の目標対象を疑似衝突対象として選択する。逆に、区画線に対する検出結果として区画線が検出されていない場合、各目標対象の現在フレーム画像における検出ボックス情報に基づき、現在走行対象との距離が予め設定された範囲内にある目標対象を疑似衝突対象として選択する。

任意選択的な一例では、該操作３１０はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一検出モジュールまたはその中の特定ユニットによって実行してもよい。

３１２において、現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測する。

任意選択的な一例では、該操作３１２はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一予測モジュールまたはその中の予測ユニットによって実行してもよい。

３１４において、各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算する。

任意選択的な一例では、該操作３１４はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される第一予測モジュールまたはその中の計算ユニットによって実行してもよい。

３１６において、現在走行対象と疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較する。

任意選択的な一例では、該操作３１６はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される制御モジュールまたはその中の比較ユニットによって実行してもよい。

３１８において、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行い、前方衝突制御が、例えば前方衝突警報および／または運転制御を含んでもよいがこれらに限定されない。

任意選択的な一例では、該操作３１８はプロセッサによってメモリに記憶される対応する命令を呼び出して実行してもよいし、プロセッサに実行される制御モジュールまたはその中の制御ユニットによって実行してもよい。

本開示の上記実施例に基づき、深層学習の方式で目標対象（例えば、車両、歩行者、軽車両）を検出し、検出結果の正確性および精度を向上させ、深層学習の方式で目標対象の動的検出および追跡マッチングを実現し、目標対象の検出結果をより正確に、安定的にし、また検出漏れも回避でき、検出結果の正確性をさらに向上させ、それにより衝突制御の正確性を向上させ、道路交通事故の低減に寄与する。

そのうち、本開示の各実施例の任意選択的な一例では、ニューラルネットワークにより現在フレーム画像における目標対象を検出し、現在フレーム画像における目標対象の検出ボックスを得るステップは、ニューラルネットワークにより現在フレーム画像の特徴を抽出することと、ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定することと、を含んでもよい。

運転支援分野では、目標対象（例えば、対象物）の検出は深層学習ネットワークにより目標対象の外観特徴に対してモデリングし、作成された深層学習モデル（特徴抽出ユニットと呼ばれてもよい）によって自然シーンのうち該目標対象が出現し得るシーンを判別する。本実施例のいくつかの任意選択的な例では、まず、ニューラルネットワークにおける深層学習モデルを利用して現在フレーム画像の特徴を抽出し、次に抽出された特徴に基づいて現在フレーム画像に含まれ得る目標対象の候補ボックスを候補領域抽出器によって算出し、そしてから目標対象分類器を用いて各候補ボックスをスコアリングし、スコアが最も高い候補ボックスを該目標対象の検出ボックスとして出力する。本実施例は深層学習ネットワークにより目的対象（例えば、車両、歩行者、軽車両、障害物など）を検出し、目的対象の検出精度を向上させ、それにより検出結果の正確性を向上させる。

いくつかの任意選択的な例では、ニューラルネットワークは、異なるネットワーク深さにそれぞれ位置する複数の特徴層を含んでもよい。こうして、ニューラルネットワークにより現在フレーム画像の特徴を抽出するステップは、
ニューラルネットワークに入力される現在フレーム画像に対して、順にニューラルネットワークの各特徴層によって特徴を抽出し、ネットワーク深さがｉである第一特徴層により出力される第一特徴とネットワーク深さがｊである第二特徴層により出力される第二特徴とを融合し、融合特徴をネットワーク深さがｊ＋１である第三特徴層の入力特徴またはニューラルネットワークにより出力される現在フレーム画像の特徴として得ることを含んでもよく、ここで、１≦ｉ＜ｊであり、かつｉ、ｊの値は整数とする。

ニューラルネットワークが照明、遮蔽、目標対象の遠近や大きさ、道路状況、変形などに対して高いロバスト性を有するよう、本実施例では層間接続によるマルチサイズのネットワーク構造を提案する。深層学習モデル（即ち、ニューラルネットワークにおける特徴抽出ユニット）は異なるネットワーク深さにそれぞれ位置する複数の特徴層を含み、ネットワークの深さ方向において、ネットワーク深さ方向における第一特徴層以外、他のいずれの特徴層の入力が上の特徴層の出力であるため、ネットワークの深さの増加に伴い、各特徴層から抽出された情報の抽象度が異なる。ネットワーク深さが浅い特徴層から抽出された特徴は、一般的には具体的な詳細であり、物体のエッジ、色、照度などが挙げられる。そしてネットワーク深さが深い特徴層から抽出された特徴は、例えば物体の変形、属性（例えば、車両の車種、大きさなど）などのように、一般的にはより抽象的である。本実施例の層間接続によるネットワーク構造によって、異なるネットワーク深さの特徴層により出力される特徴を融合して融合特徴を得て、さらに次の特徴抽出または出力を行い、特徴融合の方式でニューラルネットワークが最終的に抽出する特徴を、異なる程度の情報を総合可能にし、それによってニューラルネットワークを自然シーンにおける様々な状況を効果的に処理可能にする。

いくつかの任意選択的な例では、ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定するステップは、
ニューラルネットワークにより、抽出された特徴に基づいて目標対象を含む候補ボックスを特定することと、
ニューラルネットワークにより、各候補ボックスの特徴にそれぞれ基づいて各候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得ることと、
各候補ボックスの確率スコアのうちの値が最も大きい確率スコアの対応する種類をそれぞれ該候補ボックスにおける目標対象の、例えば車両、歩行者、軽車両、建築物などを含んでもよいがこれらに限定されない種類とすることと、
重畳率が予め設定された閾値よりも大きくかつ目標対象の種類（値が最も大きい確率スコアの対応する種類）が同じである候補ボックスを１セットの候補ボックスとしてそれぞれ選択し、１セットの候補ボックスから目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックス（即ち、該候補ボックスは対応する目標対象の種類と判定される確率が最も大きい）を、目標対象の検出ボックスとして選択し、かつ該セットの候補ボックスのうちの他の候補ボックスを抑制することと、を含む。

本実施例に基づき、目標対象を含む候補ボックスを特定した後、候補ボックス同士には被包含と包含の関係がありまたは複数の候補ボックスが交差するという状況が存在し得、各候補ボックスの特徴にそれぞれ基づいて候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得て、重畳率が予め設定された閾値よりも大きくかつ目標対象の種類が同じである候補ボックスを１セットの候補ボックスとして選択し、１セットの候補ボックスから目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックスを目標対象の検出ボックスとして選択し、他の候補ボックスを抑制し、非最大値抑制（ｎｏｎ ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ、ＮＭＳ）の方式で余分な候補ボックスを取り除き、最適な目標対象検出ボックスの位置を探し出す。

本開示の各実施例のいくつかの実施形態では、ニューラルネットワークにより現在フレーム画像における目標対象を検出するステップは、
現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像である場合、ニューラルネットワークにより現在フレーム画像における目標対象を検出すること、および／または、
現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像ではない場合、フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、現在フレーム画像における目標対象の検出ボックスを回帰することを含み、
ここのフレームシーケンスは、画像採集順に並ぶＭフレームの画像を含み、ここで、Ｍは１よりも大きい整数である。

いくつかの任意選択的な例では、フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、現在フレーム画像における目標対象の検出ボックスを回帰するステップは、
１フレーム目の画像中の検出ボックス情報に基づき、１フレーム目の画像中の検出ボックス情報で特定した検出ボックスの中心点を中心点とし、現在フレーム画像において、例えば長さおよび／または幅が上記特定した検出ボックスの長さおよび／または幅のそれぞれの２倍である領域画像を切り出すように、特定した検出ボックスの長さおよび／または幅より大きい領域に対応する領域画像を切り出すことと、
ニューラルネットワークにより領域画像における目標対象を検出し、目標対象の領域画像における検出ボックスを得ることと、
目標対象の領域画像における検出ボックス、および領域画像の現在フレーム画像における位置に基づき、目標対象の現在フレーム画像における検出ボックス情報を特定することと、を含む。

上記実施例では、ビデオにおけるフレーム画像の目標対象検出を行う必要がある場合、事前にビデオを複数のフレームシーケンスに分割するか、または一つのフレームシーケンスを仮に分割してもよい。例えば、１〜５フレーム目の画像、および６〜９フレーム目の画像をそれぞれ一つのフレームシーケンスとして分割し、１〜５フレーム目の画像を含むフレームシーケンスに対して、１フレーム目の画像のみを目標対象を検出し、１フレーム目の画像における目的対象の検出ボックス情報に基づいて２〜５フレーム目の画像における同一目標対象の検出ボックスを回帰し、６〜９フレーム目の画像を含むフレームシーケンスに対して、６フレーム目の画像のみを目標対象を検出し、６フレーム目の画像における目的対象の検出ボックス情報に基づいて７〜９フレーム目の画像における同一目標対象の検出ボックスを回帰するなどのようにしてもよい。

上記実施例に基づき、フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報で、該フレームシーケンスにおける後続のフレーム画像中の同一目標対象の検出ボックスを回帰すると、領域画像が元のフレーム画像よりも小さいので、全フレーム画像範囲内での検出に比べ、目標の検出範囲が縮小され、検出時間が短縮され、それによって該フレームシーケンスにおける後続のフレーム画像中の同一目標対象の検出ボックスをより高速に検出し、検出効果および検出結果の正確性を向上させることができる。

いくつかの任意選択的な例では、前のＮフレームの画像における目標対象の検出ボックスに基づき、目標対象の現在フレーム画像における物体ボックスを予測するステップは、それぞれ前のＮフレームの画像における各同一目標対象に対して、
同一目標対象の現在より前のＮフレームの画像における検出ボックスの大きさおよび位置に基づき、前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度をフィッティングすることと、
前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度に基づき、同一目標対象の現在フレーム画像における物体ボックスの大きさおよび位置を予測することと、を含む。

本開示の実施例では、例えば単一目標追跡アルゴリズムおよび／または多目標追跡アルゴリズムを採用して、上記前のＮフレームの画像における目標対象を追跡し、各目標対象のそれぞれ上記前のＮフレームの画像における検出ボックスを得てもよい。単一目標追跡アルゴリズムおよび多目標追跡アルゴリズムを同時に採用して上記前のＮフレームの画像における目標対象を追跡すると、得られた目標追跡結果はより安定する。

実際の応用では、取得されたフレーム画像の解像度が低いなどの品質上の問題、および目標対象の運動などの問題によって、ニューラルネットワークは現在フレーム画像における目標対象を検出する時、現在フレーム画像の検出結果のみを考慮すると、同一目標対象の検出ボックスは異なるフレーム画像において一定程度のブレおよびロスが発生し得る。上記問題を解決するために、本実施例では、目標追跡アルゴリズムを使用し、連続フレーム画像における目標対象を追跡し、目標対象の現在フレーム画像における検出ボックス情報を特定するときに、ニューラルネットワークにより検出された現在フレーム画像における目標対象の検出ボックスの大きさおよび位置を利用し、同時に前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度によって予測して得られた現在フレーム画像における物体ボックスの大きさおよび位置と組み合わせて、目標対象の現在フレーム画像における検出ボックス情報を特定し、目的対象の動的検出を実現し、現在フレーム画像における目標対象の検出結果（即ち、検出ボックス情報）をより安定的に、より正確にし、それにより衝突警報の正確性を向上させる。

いくつかの実施形態では、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定するステップは、
各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が予め設定された閾値以上である第一目標対象に対して、該第一目標対象の検出ボックスと物体ボックスとの大きさおよび位置のそれぞれにおける平均値を、該第一目標対象の現在フレーム画像における、検出ボックスの大きさおよび位置を含む検出ボックス情報として取得することを含んでもよい。

本実施例により、複数のフレーム画像における同一目標対象の検出ボックスの平滑化、即ち同一目標対象の２次元検出ボックスに対する位置および大きさの両者の平滑化を実現し、目標対象の検出結果をより安定的にする。

さらなる実施形態では、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定するステップは、
各目標対象のうち、検出ボックスと物体ボックスとの重畳率が予め設定された閾値よりも小さい第二目標対象に対して、予測された該第二目標対象の物体ボックスの大きさおよび位置を、該第二目標対象の現在フレーム画像における検出ボックス情報とすることをさらに含んでもよい。

さらなる実施形態では、目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定するステップは、
各目標対象のうち、現在フレーム画像に物体ボックスの対応する検出ボックスが存在していない第三目標対象、即ち、前のＮフレームの画像において検出ボックスが存在しているが、現在フレーム画像においてそれが検出されていない目標対象に対して、予測された該第三目標対象の物体ボックスの大きさおよび位置を、該第三目標対象の現在フレーム画像における検出ボックス情報とすることをさらに含んでもよい。

２次元検出ボックスの中心点は位置情報を表現し、２次元検出ボックスの長さおよび幅は目標対象の大きさの変化を表現し、本開示の上記実施例は、過去フレーム画像における同一目標対象の２次元検出ボックスの長さおよび幅の変化の速度および加速度をフィッティングすることで、現在フレーム画像における該目標対象の検出ボックスが有するべき大きさを予測し、過去フレーム画像における同一目標対象の２次元検出ボックスの位置変化の速度および加速度をフィッティングすることで、現在フレーム画像における該目標対象の検出ボックスが存在すべき位置を予測する。直接検出された現在フレーム画像における同一目標対象の検出ボックスと過去フレーム画像に基づいて予測して得られた物体ボックスとが基本的に一致する（重畳率が予め設定された閾値に達する）場合、両者の平均値を最終の検出ボックス情報とし、それによって検出結果をより安定的にし、直接検出された現在フレーム画像における同一目標対象の検出ボックスと過去フレーム画像に基づいて予測して得られた物体ボックスとの重畳率が予め設定された閾値よりも小さい場合、過去フレーム画像に基づいて予測して得られた物体ボックスを最終の検出ボックス情報とし、それによって検出結果をより安定的にし、現在フレーム画像において同一目標対象が検出されていない場合、過去フレーム画像に基づいて予測して得られた物体ボックスを該目的対象の現在フレーム画像における検出ボックス情報とし、目標対象の検出漏れを回避する。本実施例は同一ビデオにおけるフレーム画像のタイミングの連続性に基づき、ニューラルネットワークにより検出された現在フレーム画像における目標対象の検出ボックスの大きさおよび位置を総合的に利用し、前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度で予測して得られた現在フレーム画像における物体ボックスの大きさおよび位置と組み合わせて、目標対象の現在フレーム画像における検出ボックス情報を特定し、複数のフレーム画像における同一目標対象の検出ボックスの平滑化および補間を実現し、目的対象の動的検出を実現し、現在フレーム画像における目標対象の検出結果をより安定的に、より正確にし、それにより衝突警報の正確性を向上させる。

本開示の各上記実施例のいくつかの実施形態では、疑似衝突対象が人またはロボットである場合、現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測するステップは、
ニューラルネットワークにより、現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、各人またはロボットの現在フレーム画像における予測行為情報を得、前記予測行為情報が、運動方向、運動状態および動き分類情報を含むことと、
各人またはロボットの予測行為情報、および各人またはロボットの現在より前のＮフレームの画像および現在フレーム画像における検出ボックス情報にそれぞれ基づき、各人またはロボットの運動情報を特定することと、を含んでもよい。

いくつかの任意選択的な例では、現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、各人またはロボットの現在フレーム画像における予測行為情報を得るステップは、
現在フレーム画像中の検出ボックス情報に基づき、対応する人またはロボットのキーポイントを検出し、キーポイント検出結果に基づいて対応する人またはロボットの頭部方向および身体方向を取得し、対応する人またはロボットの頭部方向および身体方向に基づいて対応する人またはロボットの運動方向を取得することと、キーポイント検出結果に基づいて対応する人またはロボットの動きを分類し、対応する人の動き分類情報を得ることと、キーポイント検出結果に基づいて対応する人またはロボットの運動状態を分類し、対応する人またはロボットの運動状態情報を得ることと、を含む。

いくつかの任意選択的な例では、上記ニューラルネットワークは、例えば砂時計（ｈｏｕｒｇｌａｓｓ）型ネットワーク構造を採用して、人またはロボットのキーポイントを検出してもよく、検出されたキーポイントに基づいて人またはロボットの頭部方向および身体方向を特定し、それにより人またはロボットの運動方向を分析することができる。

いくつかの任意選択的な例では、上記ニューラルネットワークにおいてＧｏｏｇｌｅＮｅｔネットワークを用いて、検出されたキーポイントに基づいて人またはロボットの動きを分類し、人またはロボットの、例えば電話をかけているかどうか、携帯電話を使用しているかどうか、傘を差しているかどうかなどを含んでもよい動き分類情報を得るようにしてもよい。

いくつかの任意選択的な例では、ニューラルネットワークにおいてＧｏｏｇｌｅＮｅｔネットワークを用いて、検出されたキーポイントに基づいて人またはロボットの運動状態を分類し、人またはロボットの、例えば歩き、走り、佇みなどを含んでもよい運動状態情報を得るようにしてもよい。

上記実施例に基づき、人またはロボットの現在フレーム画像における予測行為情報、例えば、運動方向、動き分類、運動状態などを予測し、それによって人またはロボットの予測行為情報、およびそれの現在より前のＮフレームの画像および現在フレーム画像における検出ボックス情報に基づき、各人またはロボットの、位置、運動速度、運動加速度を含む運動情報を特定して、後続の前方衝突警報および／または運転制御に用いることができる。深層学習アーキテクチャに基づくニューラルネットワークにより各目標対象の行為を予測し、行為予測結果をより正確にする。

本開示の実施例が提供するいずれかの前方衝突制御方法は、端末機器およびサーバなどに限られないデータ処理能力を有する任意の適当な機器によって実行できる。または、本開示の実施例が提供するいずれかの前方衝突制御方法は、例えばプロセッサがメモリに記憶される対応する命令を呼び出すことで本開示の実施例で言及されたいずれかの前方衝突制御方法を実行するように、プロセッサによって実行できる。以下は説明を省略する。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図４は本開示の前方衝突制御装置の一実施例の構成模式図である。該実施例の前方衝突制御装置は本開示のいずれかの実施例の前方衝突制御方法を実現するために用いることができる。図４に示すように、該実施例の前方衝突制御装置は、
ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出するように構成される第一検出モジュールと、
現在走行対象と疑似衝突対象との衝突時間を予測するように構成される第一予測モジュールと、
衝突時間に基づいて現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うように構成される制御モジュールと、を含む。

本開示の各実施例のいくつかの実施形態では、現在走行対象の種類は、例えば車両、ロボットなどを含んでもよいが、これらに限定されない。疑似衝突対象の種類は、例えば人、車両、軽車両、ロボット、障害物などのいずれか一つまたは複数を含んでもよいが、これらに限定されない。ここの車両は、例えば自動車、電気自動車、自動車玩具などの任意の走行対象であってもよい。

本開示の実施例における運転制御とは、現在走行対象の運動状態および／または運動方向を変えるための制御動作をいい、例えば現在走行対象に対する加速、制動減速、走行方向変更など現在走行対象の運動方向および／または運動状態を変えることが可能な制御動作を含んでもよい。例えば、実際の一応用シーンでは、現在車両は元々その走行している車線内に維持するように直行する運動方向であるが、衝突時間に基づいて現在車両は前方の疑似衝突対象に衝突することになる場合、運転制御によって現在車両の走行方向を変えて、現在車両の車線を変更し、衝突を回避することができ、この過程で前方の疑似衝突対象が加速して離れていった場合、運転制御によって現在車両の走行方向を変えて現在車両を元の運動方向に維持し、その走行している車線内に維持するように直行させることができる。

本開示の上記実施例が提供する前方衝突制御装置に基づき、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出し、深層学習の方式で疑似衝突対象（例えば、車両、歩行者、軽車両、ロボット、障害物など）を検出し、検出結果の正確性および精度を向上させ、現在走行対象と疑似衝突対象との衝突時間を予測し、衝突時間に基づいて現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行い、それにより現在走行対象の前方衝突警報および／または運転制御を実現し、前方衝突警報および運転制御の正確性を向上させ、道路交通事故の低減に寄与する。

いくつかの実施形態では、第一検出モジュールは、道路上区画線に対する検出結果を取得するように構成される取得ユニットと、区画線に対する検出結果に基づいて道路上の少なくとも一部の目標対象を疑似衝突対象として特定するように構成される特定ユニットと、を含む。

いくつかの任意選択的な例では、取得ユニットは、ニューラルネットワークによって道路上の区画線を検出し、区画線に対する検出結果を得ること、または、先進運転支援システムから区画線に対する検出結果を取得することを実行するように構成される。

いくつかの任意選択的な例では、特定ユニットは、区画線に対する検出結果が検出された区画線情報である場合、区画線情報に基づいて現在走行対象の所在する車線内の少なくとも一部の目標対象を疑似衝突対象として特定するように構成される。

あるいは、別のいくつかの任意選択的な例では、特定ユニットは、区画線に対する検出結果として区画線が検出されていない場合、現在走行対象との距離が予め設定された範囲内にある目標対象を疑似衝突対象として選択するように構成される。

いくつかの実施形態では、第一予測モジュールは、現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の、位置、運動速度および運動加速度を含む運動情報を予測するように構成される予測ユニットと、各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算するように構成される計算ユニットと、を含む。

いくつかの実施形態では、制御モジュールは、現在走行対象と疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較するように構成される比較ユニットと、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行うように構成される制御ユニットと、を含む。

そのうち、予め設定された条件が複数ある場合、該複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加してもよい。

図５は本開示の前方衝突制御装置の別の実施例の構成模式図である。図５に示すように、いくつかの実施例では、制御ユニットは、衝突時間に基づいて現在走行対象の前方衝突警報を行うように構成される警報ユニット、および／または、衝突時間に基づいて現在走行対象の運転制御を行うように構成される運転制御ユニットを含んでもよい。

いくつかの実施形態では、警報ユニットは、現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うように構成され、ここで、第一の予め設定された閾値は第二の予め設定された閾値よりも小さい。

いくつかの任意選択的な例では、警報ユニットは、衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい第一疑似衝突対象に対して、第一疑似衝突対象の運動情報に基づいて第一疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、第一疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報を行うように構成される。または、警報ユニットはさらに、第一疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報を行わないように構成される。

いくつかの実施形態では、警報ユニットはさらに、現在走行対象との衝突時間が第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報、および／または、運転制御を行うように構成され、運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含む。

いくつかの任意選択的な例では、警報ユニットは衝突時間が第一の予め設定された閾値以下である第二疑似衝突対象に対して、第二疑似衝突対象の運動情報に基づいて第二疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、第二疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報、および／または、運転制御を行うように構成され、運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含む。あるいは、警報ユニットはさらに、第二疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報、および／または、運転制御を行うように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含む。

図６は本開示の前方衝突制御装置のさらに別の実施例の構成模式図である。図６に示すように、本開示のいずれかの実施例の前方衝突制御装置に比べ、該実施例の前方衝突制御装置はさらに、
ニューラルネットワークにより現在フレーム画像における目標対象を検出し、現在フレーム画像における目標対象の検出ボックスを得るように構成される第二検出モジュールと、
前のＮフレームの画像における目標対象の検出ボックスに基づき、目標対象の現在フレーム画像における物体ボックスを予測するように構成される第二予測モジュールと、
目標対象の検出ボックスおよび物体ボックスに基づき、目標対象の現在フレーム画像における検出ボックス情報を特定するように構成される特定モジュールと、を含み、
ここで、前のＮフレームの画像は現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数である。

いくつかの実施形態では、第二検出モジュールは、ニューラルネットワークにより現在フレーム画像の特徴を抽出するように構成される特徴抽出ユニットと、抽出された特徴に基づいて目標対象の検出ボックスを特定するように構成される特定ユニットと、を含む。

そのうち、ニューラルネットワークは、異なるネットワーク深さにそれぞれ位置する複数の特徴層を含んでもよい。いくつかの任意選択的な例では、特徴抽出ユニットは、ニューラルネットワークに入力される現在フレーム画像に対して、順にニューラルネットワークの各特徴層によって特徴を抽出し、ネットワーク深さがｉである第一特徴層により出力される第一特徴とネットワーク深さがｊである第二特徴層により出力される第二特徴とを融合し、融合特徴をネットワーク深さがｊ＋１である第三特徴層の入力特徴またはニューラルネットワークにより出力される現在フレーム画像の特徴として得るように構成され、ここで、１≦ｉ＜ｊであり、かつｉ、ｊの値は整数とする。

いくつかの任意選択的な例では、特定ユニットは、ニューラルネットワークにより、抽出された特徴に基づいて目標対象を含む候補ボックスを特定し、ニューラルネットワークにより各候補ボックスの特徴にそれぞれ基づいて各候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得て、各候補ボックスの確率スコアのうちの値が最も大きい確率スコアの対応する種類をそれぞれ該候補ボックスにおける目標対象の種類とし、重畳率が予め設定された閾値よりも大きくかつ目標対象の種類が同じである候補ボックスを１セットの候補ボックスとしてそれぞれ選択し、１セットの候補ボックスから、目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックスを、目標対象の検出ボックスとして選択するように構成される。

いくつかの実施形態では、第二検出モジュールは、現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像である場合、ニューラルネットワークにより現在フレーム画像における目標対象を検出するように構成される検出ユニット、および／または、現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像ではない場合、フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、現在フレーム画像における目標対象の検出ボックスを回帰するように構成される回帰ユニットを含んでもよく、ここで、フレームシーケンスは画像採集順に並ぶＭフレームの画像を含み、Ｍは１よりも大きい整数である。

いくつかの任意選択的な例では、回帰ユニットは、１フレーム目の画像中の検出ボックス情報に基づき、１フレーム目の画像中の検出ボックス情報で特定した検出ボックスの中心点を中心点とし、現在フレーム画像において、長さおよび／または幅が特定した検出ボックスの長さおよび／または幅より大きい領域に対応する領域画像を切り出し、ニューラルネットワークにより領域画像における目標対象を検出し、目標対象の領域画像における検出ボックスを得て、目標対象の領域画像における検出ボックス、および領域画像の現在フレーム画像における位置に基づき、目標対象の現在フレーム画像における検出ボックス情報を特定するように構成される。

いくつかの実施形態では、第二予測モジュールは、それぞれ前のＮフレームの画像における各同一目標対象に対して、同一目標対象の現在より前のＮフレームの画像における検出ボックスの大きさおよび位置に基づき、前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度をフィッティングし、前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度に基づき、同一目標対象の現在フレーム画像における物体ボックスの大きさおよび位置を予測するように構成される。

いくつかの任意選択的な例では、特定モジュールは、各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が予め設定された閾値以上である第一目標対象に対して、第一目標対象の検出ボックスと物体ボックスとの大きさおよび位置のそれぞれにおける平均値を、第一目標対象の現在フレーム画像における、検出ボックスの大きさおよび位置を含む検出ボックス情報として取得するように構成される。

いくつかの任意選択的な例では、特定モジュールは、各目標対象のうち、検出ボックスと物体ボックスとの重畳率が予め設定された閾値よりも小さい第二目標対象に対して、予測された第二目標対象の物体ボックスの大きさおよび位置を、第二目標対象の現在フレーム画像における検出ボックス情報とするように構成される。

いくつかの任意選択的な例では、特定モジュールは、各目標対象のうち、現在フレーム画像に物体ボックスの対応する検出ボックスが存在していない第三目標対象に対して、予測された第三目標対象の物体ボックスの大きさおよび位置を、第三目標対象の現在フレーム画像における検出ボックス情報とするように構成される。

いくつかの任意選択的な例では、疑似衝突対象が人またはロボットである場合、予測ユニットは、ニューラルネットワークにより、現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、各人またはロボットの現在フレーム画像における予測行為情報を得、前記予測行為情報が、運動方向、運動状態および動き分類情報を含み、各人またはロボットの予測行為情報、および各人またはロボットの現在より前のＮフレームの画像および現在フレーム画像における検出ボックス情報にそれぞれ基づき、各人またはロボットの運動情報を特定するように構成される。

いくつかの任意選択的な例では、予測ユニットは、現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、各人またはロボットの現在フレーム画像における予測行為情報を得るときに、
現在フレーム画像中の検出ボックス情報に基づき、対応する人またはロボットのキーポイントを検出し、キーポイント検出結果に基づいて対応する人またはロボットの頭部方向および身体方向を取得し、対応する人またはロボットの頭部方向および身体方向に基づいて対応する人またはロボットの運動方向を取得し、キーポイント検出結果に基づいて対応する人またはロボットの動きを分類し、対応する人の動き分類情報を得て、キーポイント検出結果に基づいて人またはロボットの運動状態を分類し、対応する人またはロボットの運動状態情報を得るように構成される。

本開示の実施例は本開示の上記いずれかの実施例の前方衝突制御装置を含む電子機器をさらに提供する。

本開示の実施例は、実行可能命令を記憶するためのメモリ、およびメモリと通信して実行可能命令を実行することで本開示の上記いずれかの実施例の前方衝突制御方法の動作を完了するためのプロセッサを含む別の電子機器をさらに提供する。

図７は本開示の電子機器の一応用例の構成模式図である。以下に図７を参照すると、本開示の実施例の端末機器またはサーバの実現に適する電子機器の構成模式図が示される。図７に示すように、該電子機器は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）、および／または一つ以上の画像処理装置（ＧＰＵ）などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）に記憶されている実行可能命令または記憶部分からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信部はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、プロセッサは読み取り専用メモリおよび／またはランダムアクセスメモリと通信して実行可能命令を実行し、バスを介して通信部と接続し、通信部によって他の目標機器と通信し、それにより本開示の実施例が提供するいずれかの前方衝突制御方法の対応する動作、例えば、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することと、現在走行対象と前記疑似衝突対象との衝突時間を予測することと、前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うことと、を完了することができる。

また、ＲＡＭには、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ、ＲＯＭおよびＲＡＭはバスを介して互いに接続される。ＲＡＭが存在する場合、ＲＯＭは任意選択的なモジュールとなる。ＲＡＭは実行可能命令を記憶するか、または動作時にＲＯＭへ実行可能命令を書き込み、実行可能命令によってプロセッサは本開示の上記いずれかの前方衝突制御方法の対応の動作を実行する。入力／出力（Ｉ／Ｏ）インタフェースもバスに接続される。通信部は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。

キーボード、マウスなどを含む入力部分、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分、ハードディスクなどを含む記憶部分、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分といった部品は、Ｉ／Ｏインタフェースに接続される。通信部分はインターネットのようなネットワークによって通信処理を行う。ドライバも必要に応じてＩ／Ｏインタフェースに接続される。取り外し可能な媒体、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバに取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分にインストールされる。

なお、図７に示すアーキテクチャは任意選択的な一実施形態に過ぎず、実践では、実際の必要に応じて上記図７の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信部は分離設置するか、またＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

また、本開示の実施例は、コンピュータ読み取り可能な命令を記憶するように構成されるコンピュータ記憶媒体であって、該命令は実行される時に本開示の上記いずれかの実施例の前方衝突制御方法の動作を実現するコンピュータ記憶媒体をさらに提供する。

また、本開示の実施例は、コンピュータ読み取り可能な命令を含むコンピュータプログラムであって、該コンピュータ読み取り可能な命令が機器に実行される時、該機器内のプロセッサは本開示の上記いずれかの実施例の前方衝突制御方法におけるステップを実現するように構成される実行可能命令を実行するコンピュータプログラムをさらに提供する。

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

本開示の方法および装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本開示の方法および装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読命令を含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。

本開示の説明は、例示および説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正および変形を加えることができるのは明らかであろう。実施例は本開示の原理および実際の適用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した様々な修正を加えた様々な実施例を設計可能にするように選択され説明されたものである。

本開示の上記実施例が提供する前方衝突警報方法および装置、電子機器、プログラムならびに媒体は、ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出し、深層学習の方式で疑似衝突対象（例えば、車両、歩行者、軽車両、ロボット、障害物など）を検出し、検出結果の正確性および精度を向上させ、現在走行対象と疑似衝突対象との衝突時間を予測し、衝突時間に基づいて現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行い、それにより現在走行対象の前方衝突警報および／または運転制御を実現し、前方衝突警報および運転制御の正確性を向上させ、道路交通事故の低減に寄与する。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することと、
現在走行対象と前記疑似衝突対象との衝突時間を予測することと、
前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うことと、を含むことを特徴とする前方衝突制御方法。
（項目２）
前記現在走行対象は、車両またはロボットを含み、および／または、
前記疑似衝突対象は、人、車両、軽車両、ロボット、障害物のいずれか一つまたは複数を含むことを特徴とする項目１に記載の方法。
（項目３）
前記ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することは、
前記道路上の区画線に対する検出結果を取得することと、
前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定することと、を含むことを特徴とする項目１または２に記載の方法。
（項目４）
前記道路上の区画線に対する検出結果を取得することは、
ニューラルネットワークに基づいて前記道路上の区画線を検出し、前記区画線に対する検出結果を得ること、または、
先進運転支援システムから前記区画線に対する検出結果を取得することを含むことを特徴とする項目３に記載の方法。
（項目５）
前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定することは、
前記区画線に対する検出結果が検出された区画線情報である場合、前記区画線情報に基づいて、前記現在走行対象の所在する車線内の少なくとも一部の目標対象を疑似衝突対象として選択することを含むことを特徴とする項目３または４に記載の方法。
（項目６）
前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定することは、
前記区画線に対する検出結果として区画線が検出されていない場合、前記現在走行対象との距離が予め設定された範囲内にある目標対象を疑似衝突対象として選択することを含むことを特徴とする項目３または４に記載の方法。
（項目７）
前記現在走行対象と前記疑似衝突対象との衝突時間を予測することは、
現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測することと、
各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算することと、を含むことを特徴とする項目１から６のいずれか一項に記載の方法。
（項目８）
前記衝突時間に基づいて前記現在走行対象に対して前方衝突警報を行うことは、
現在走行対象と前記疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較することと、
比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行うことと、を含むことを特徴とする項目１から７のいずれか一項に記載の方法。
（項目９）
前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加することを特徴とする項目８に記載の方法。
（項目１０）
前記比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突警報を行うことは、
現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことを含み、ここで、第一の予め設定された閾値は第二の予め設定された閾値よりも小さいことを特徴とする項目８に記載の方法。
（項目１１）
前記現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことは、
衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい第一疑似衝突対象に対して、前記第一疑似衝突対象の運動情報に基づいて前記第一疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測することと、
前記第一疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報を行うことと、を含むことを特徴とする項目１０に記載の方法。
（項目１２）
前記現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことはさらに、
前記第一疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報を行わないことを含むことを特徴とする項目１０に記載の方法。
（項目１３）
前記比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突警報を行うことはさらに、
現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報、および／または、運転制御を行うことを含み、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする項目１０から１２のいずれか一項に記載の方法。
（項目１４）
前記現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報を行うことは、
衝突時間が前記第一の予め設定された閾値以下である第二疑似衝突対象に対して、前記第二疑似衝突対象の運動情報に基づいて前記第二疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測することと、
前記第二疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報、および／または、運転制御を行い、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことと、を含むことを特徴とする項目１３に記載の方法。
（項目１５）
前記現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報を行うことはさらに、
前記第二疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報、および／または、運転制御を行わないことを含み、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする項目１３または１４に記載の方法。
（項目１６）
さらに、
ニューラルネットワークにより現在フレーム画像における目標対象を検出し、前記現在フレーム画像における目標対象の検出ボックスを得ることと、
前のＮフレームの画像における目標対象の検出ボックスに基づき、前記現在フレーム画像における目標対象の物体ボックスを予測することと、
目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することと、を含み、
ここで、前記前のＮフレームの画像は、前記現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数であることを特徴とする項目７から１５のいずれか一項に記載の方法。
（項目１７）
前記ニューラルネットワークにより現在フレーム画像における目標対象を検出し、前記現在フレーム画像における目標対象の検出ボックスを得ることは、
ニューラルネットワークにより前記現在フレーム画像の特徴を抽出することと、
前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定することと、を含むことを特徴とする項目１６に記載の方法。
（項目１８）
前記ニューラルネットワークは、異なるネットワーク深さにそれぞれ位置する複数の特徴層を含み、
前記ニューラルネットワークにより前記現在フレーム画像の特徴を抽出することは、
前記ニューラルネットワークに入力される現在フレーム画像を、順に前記ニューラルネットワークの各特徴層によって特徴を抽出し、ネットワーク深さがｉである第一特徴層により出力される第一特徴とネットワーク深さがｊである第二特徴層により出力される第二特徴とを融合し、融合特徴を、ネットワーク深さがｊ＋１である第三特徴層の入力特徴または前記ニューラルネットワークにより出力される前記現在フレーム画像の特徴として得ることを含み、ここで、１≦ｉ＜ｊであることを特徴とする項目１７に記載の方法。
（項目１９）
前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定することは、
前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象を含む候補ボックスを特定することと、
前記ニューラルネットワークにより、各候補ボックスの特徴にそれぞれ基づいて各候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得ることと、
各候補ボックスの確率スコアのうちの値が最も大きい確率スコアの対応する種類をそれぞれ該候補ボックスにおける目標対象の種類とすることと、
重畳率が予め設定された閾値よりも大きくかつ目標対象の種類が同じである候補ボックスを１セットの候補ボックスとしてそれぞれ選択し、１セットの候補ボックスから、目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックスを、目標対象の検出ボックスとして選択することと、を含むことを特徴とする項目１７または１８に記載の方法。
（項目２０）
前記ニューラルネットワークにより現在フレーム画像における目標対象を検出することは、
現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像である場合、ニューラルネットワークにより現在フレーム画像における目標対象を検出すること、および／または、
現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像ではない場合、前記フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、前記現在フレーム画像における目標対象の検出ボックスを回帰することを含み、
ここで、前記フレームシーケンスは、画像採集順に並ぶＭフレームの画像を含み、Ｍは１よりも大きい整数であることを特徴とする項目１６から１９のいずれか一項に記載の方法。
（項目２１）
前記フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、前記現在フレーム画像における目標対象の検出ボックスを回帰することは、
前記１フレーム目の画像中の検出ボックス情報に基づき、前記１フレーム目の画像中の検出ボックス情報で特定した検出ボックスの中心点を中心点とし、前記現在フレーム画像において、長さおよび／または幅が前記特定した検出ボックスの長さおよび／または幅より大きい領域に対応する領域画像を切り出すことと、
前記ニューラルネットワークにより前記領域画像における目標対象を検出し、前記領域画像における目標対象の検出ボックスを得ることと、
前記前記領域画像における目標対象の検出ボックス、および前記現在フレーム画像における前記領域画像の位置に基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することと、を含むことを特徴とする項目２０に記載の方法。
（項目２２）
前記前のＮフレームの画像における目標対象の検出ボックスに基づき、前記現在フレーム画像における目標対象の物体ボックスを予測することは、
それぞれ前記前のＮフレームの画像における各同一目標対象に対して、
前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置に基づき、前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度をフィッティングすることと、
前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度に基づき、前記現在フレーム画像における同一目標対象の物体ボックスの大きさおよび位置を予測することと、を含むことを特徴とする項目１６から２１のいずれか一項に記載の方法。
（項目２３）
前記目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することは、
各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が予め設定された閾値以上である第一目標対象に対して、前記第一目標対象の検出ボックスと物体ボックスとの大きさおよび位置のそれぞれにおける平均値を、前記現在フレーム画像における前記第一目標対象の検出ボックス情報として取得し、前記検出ボックス情報が、検出ボックスの大きさおよび位置を含むことを含むことを特徴とする項目２２に記載の方法。
（項目２４）
前記目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することはさらに、
各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が前記予め設定された閾値よりも小さい第二目標対象に対して、予測された前記第二目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第二目標対象の検出ボックス情報とすることを含むことを特徴とする項目２２または２３に記載の方法。
（項目２５）
前記目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することはさらに、
各目標対象のうちの、前記現在フレーム画像に物体ボックスの対応する検出ボックスが存在していない第三目標対象に対して、予測された前記第三目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第三目標対象の検出ボックス情報とすることを含むことを特徴とする項目２２から２４のいずれか一項に記載の方法。
（項目２６）
前記疑似衝突対象が人またはロボットである場合、現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測することは、
ニューラルネットワークにより、前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得、前記予測行為情報が、運動方向、運動状態および動き分類情報を含むことと、
各人またはロボットの前記予測行為情報、および前記前のＮフレームの画像および前記現在フレーム画像における各人またはロボットの検出ボックス情報にそれぞれ基づき、各人またはロボットの運動情報を特定することと、を含むことを特徴とする項目７から２５のいずれか一項に記載の方法。
（項目２７）
前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得ることは、
前記現在フレーム画像中の検出ボックス情報に基づき、対応する人またはロボットのキーポイントを検出し、キーポイント検出結果に基づいて対応する人またはロボットの頭部方向および身体方向を取得し、対応する人またはロボットの頭部方向および身体方向に基づいて対応する人またはロボットの運動方向を取得することと、前記キーポイント検出結果に基づいて対応する人またはロボットの動きを分類し、対応する人の動き分類情報を得ることと、前記キーポイント検出結果に基づいて対応する人またはロボットの運動状態を分類し、対応する人またはロボットの運動状態情報を得ることと、を含むことを特徴とする項目２６に記載の方法。
（項目２８）
ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出するように構成される第一検出モジュールと、
現在走行対象と前記疑似衝突対象との衝突時間を予測するように構成される第一予測モジュールと、
前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うように構成される制御モジュールと、を含むことを特徴とする前方衝突制御装置。
（項目２９）
前記現在走行対象は、車両またはロボットを含み、および／または、
前記疑似衝突対象は、人、車両、軽車両、ロボット、障害物のいずれか一つまたは複数を含むことを特徴とする項目２８に記載の装置。
（項目３０）
前記第一検出モジュールは、
前記道路上の区画線に対する検出結果を取得するように構成される取得ユニットと、
前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定するように構成される特定ユニットと、を含むことを特徴とする項目２８または２９に記載の装置。
（項目３１）
前記取得ユニットは、ニューラルネットワークに基づいて前記道路上の区画線を検出し、前記区画線に対する検出結果を得ること、または、先進運転支援システムから前記区画線に対する検出結果を取得することを実行するように構成されることを特徴とする項目３０に記載の装置。
（項目３２）
前記特定ユニットは、前記区画線に対する検出結果が検出された区画線情報である場合、前記区画線情報に基づいて、前記現在走行対象の所在する車線内の少なくとも一部の目標対象を疑似衝突対象として選択するように構成されることを特徴とする項目３０または３１に記載の装置。
（項目３３）
前記特定ユニットは、前記区画線に対する検出結果として区画線が検出されていない場合、前記現在走行対象との距離が予め設定された範囲内にある目標対象を疑似衝突対象として選択するように構成されることを特徴とする項目３０または３１に記載の装置。
（項目３４）
前記第一予測モジュールは、
現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測するように構成される予測ユニットと、
各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算するように構成される計算ユニットと、を含むことを特徴とする項目２８から３３のいずれか一項に記載の装置。
（項目３５）
前記制御モジュールは、
現在走行対象と前記疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較するように構成される比較ユニットと、
比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行うように構成される制御ユニットと、を含むことを特徴とする項目２８から３４のいずれか一項に記載の装置。
（項目３６）
前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加することを特徴とする項目３５に記載の装置。
（項目３７）
前記制御ユニットは、
前記衝突時間に基づいて前記現在走行対象に対して前方衝突警報を行うように構成される警報ユニット、および／または、
前記衝突時間に基づいて前記現在走行対象に対して運転制御を行うように構成される運転制御ユニットを含むことを特徴とする項目３５または３６に記載の装置。
（項目３８）
前記警報ユニットは、現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うように構成され、ここで、第一の予め設定された閾値は第二の予め設定された閾値よりも小さいことを特徴とする項目３７に記載の装置。
（項目３９）
前記警報ユニットは、衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい第一疑似衝突対象に対して、前記第一疑似衝突対象の運動情報に基づいて前記第一疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、
前記第一疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報を行うように構成されることを特徴とする項目３８に記載の装置。
（項目４０）
前記警報ユニットはさらに、
前記第一疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報を行わないように構成されることを特徴とする項目３８に記載の装置。
（項目４１）
前記警報ユニットはさらに、現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報、および／または、運転制御を行うように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする項目３８から４０のいずれか一項に記載の装置。
（項目４２）
前記警報ユニットは、衝突時間が前記第一の予め設定された閾値以下である第二疑似衝突対象に対して、前記第二疑似衝突対象の運動情報に基づいて前記第二疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、
前記第二疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報、および／または、運転制御を行うように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする項目４１に記載の装置。
（項目４３）
前記警報ユニットはさらに、前記第二疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報、および／または、運転制御を行わないように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする項目４１に記載の装置。
（項目４４）
さらに、
ニューラルネットワークにより現在フレーム画像における目標対象を検出し、前記現在フレーム画像における目標対象の検出ボックスを得るように構成される第二検出モジュールと、
前のＮフレームの画像における目標対象の検出ボックスに基づき、前記現在フレーム画像における目標対象の物体ボックスを予測するように構成される第二予測モジュールと、
目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定するように構成される特定モジュールと、を含み、
ここで、前記前のＮフレームの画像は、前記現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数であることを特徴とする項目３４から４３のいずれか一項に記載の装置。
（項目４５）
前記第二検出モジュールは、
ニューラルネットワークにより前記現在フレーム画像の特徴を抽出するように構成される特徴抽出ユニットと、
前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定するように構成される特定ユニットと、を含むことを特徴とする項目４４に記載の装置。
（項目４６）
前記ニューラルネットワークは、異なるネットワーク深さにそれぞれ位置する複数の特徴層を含み、
前記特徴抽出ユニットは、前記ニューラルネットワークに入力される現在フレーム画像を、順に前記ニューラルネットワークの各特徴層によって特徴を抽出し、ネットワーク深さがｉである第一特徴層により出力される第一特徴とネットワーク深さがｊである第二特徴層により出力される第二特徴とを融合し、融合特徴を、ネットワーク深さがｊ＋１である第三特徴層の入力特徴または前記ニューラルネットワークにより出力される前記現在フレーム画像の特徴として得るように構成され、ここで、１≦ｉ＜ｊであることを特徴とする項目４５に記載の装置。
（項目４７）
前記特定ユニットは、
ニューラルネットワークにより、抽出された特徴に基づいて目標対象を含む候補ボックスを特定し、
前記ニューラルネットワークにより、各候補ボックスの特徴にそれぞれ基づいて各候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得て、
各候補ボックスの確率スコアのうちの値が最も大きい確率スコアの対応する種類をそれぞれ該候補ボックスにおける目標対象の種類とし、
重畳率が予め設定された閾値よりも大きくかつ目標対象の種類が同じである候補ボックスを１セットの候補ボックスとしてそれぞれ選択し、１セットの候補ボックスから、目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックスを、目標対象の検出ボックスとして選択するように構成されることを特徴とする項目４５または４６に記載の装置。
（項目４８）
前記第二検出モジュールは、
現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像である場合、ニューラルネットワークにより現在フレーム画像における目標対象を検出するように構成される検出ユニット、および／または、
現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像ではない場合、前記フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、前記現在フレーム画像における目標対象の検出ボックスを回帰するように構成される回帰ユニットを含み、
ここで、前記フレームシーケンスは、画像採集順に並ぶＭフレームの画像を含み、Ｍは１よりも大きい整数であることを特徴とする項目４４から４７のいずれか一項に記載の装置。
（項目４９）
前記回帰ユニットは、
前記１フレーム目の画像中の検出ボックス情報に基づき、前記１フレーム目の画像中の検出ボックス情報で特定した検出ボックスの中心点を中心点とし、前記現在フレーム画像において、長さおよび／または幅が前記特定した検出ボックスの長さおよび／または幅より大きい領域に対応する領域画像を切り出し、
前記ニューラルネットワークにより前記領域画像における目標対象を検出し、前記領域画像における目標対象の検出ボックスを得て、
前記前記領域画像における目標対象の検出ボックス、および前記現在フレーム画像における前記領域画像の位置に基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定するように構成されることを特徴とする項目４８に記載の装置。
（項目５０）
前記第二予測モジュールは、
それぞれ前記前のＮフレームの画像における各同一目標対象に対して、
前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置に基づき、前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度をフィッティングし、
前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度に基づき、前記現在フレーム画像における同一目標対象の物体ボックスの大きさおよび位置を予測するように構成されることを特徴とする項目４４から４９のいずれか一項に記載の装置。
（項目５１）
前記特定モジュールは、
各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が予め設定された閾値以上である第一目標対象に対して、前記第一目標対象の検出ボックスと物体ボックスとの大きさおよび位置のそれぞれにおける平均値を、前記現在フレーム画像における前記第一目標対象の検出ボックス情報として取得するように構成され、前記検出ボックス情報が、検出ボックスの大きさおよび位置を含むことを特徴とする項目５０に記載の装置。
（項目５２）
前記特定モジュールは、各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が前記予め設定された閾値よりも小さい第二目標対象に対して、予測された前記第二目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第二目標対象の検出ボックス情報とするように構成されることを特徴とする項目５０または５１に記載の装置。
（項目５３）
前記特定モジュールは、各目標対象のうちの、前記現在フレーム画像に物体ボックスの対応する検出ボックスが存在していない第三目標対象に対して、予測された前記第三目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第三目標対象の検出ボックス情報とするように構成されることを特徴とする項目５０から５２のいずれか一項に記載の装置。
（項目５４）
前記疑似衝突対象が人またはロボットである場合、前記予測ユニットは、
ニューラルネットワークにより、前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得、前記予測行為情報が、運動方向、運動状態および動き分類情報を含み、
各人またはロボットの前記予測行為情報、および前記前のＮフレームの画像および前記現在フレーム画像における各人またはロボットの検出ボックス情報にそれぞれ基づき、各人またはロボットの運動情報を特定するように構成されることを特徴とする項目３４から５３のいずれか一項に記載の装置。
（項目５５）
前記予測ユニットは、前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得るときに、
前記現在フレーム画像中の検出ボックス情報に基づき、対応する人またはロボットのキーポイントを検出し、キーポイント検出結果に基づいて対応する人またはロボットの頭部方向および身体方向を取得し、対応する人またはロボットの頭部方向および身体方向に基づいて対応する人またはロボットの運動方向を取得し、前記キーポイント検出結果に基づいて対応する人またはロボットの動きを分類し、対応する人の動き分類情報を得て、前記キーポイント検出結果に基づいて対応する人またはロボットの運動状態を分類し、対応する人またはロボットの運動状態情報を得るように構成されることを特徴とする項目５４に記載の装置。
（項目５６）
コンピュータプログラムを記憶するように構成されるメモリと、
前記メモリに記憶される、実行される時に項目１から２７のいずれか一項に記載の方法を実現するコンピュータプログラムを実行するように構成されるプロセッサと、を含むことを特徴とする電子機器。
（項目５７）
コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムはプロセッサにより実行される時、項目１から２７のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能記憶媒体。
（項目５８）
コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサに実行される時、項目１から２７のいずれか一項に記載の方法を実現することを特徴とするコンピュータプログラム。

Claims (58)

1. ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することと、
   現在走行対象と前記疑似衝突対象との衝突時間を予測することと、
   前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うことと、を含むことを特徴とする前方衝突制御方法。
2. 前記現在走行対象は、車両またはロボットを含み、および／または、
   前記疑似衝突対象は、人、車両、軽車両、ロボット、障害物のいずれか一つまたは複数を含むことを特徴とする請求項１に記載の方法。
3. 前記ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出することは、
   前記道路上の区画線に対する検出結果を取得することと、
   前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定することと、を含むことを特徴とする請求項１または２に記載の方法。
4. 前記道路上の区画線に対する検出結果を取得することは、
   ニューラルネットワークに基づいて前記道路上の区画線を検出し、前記区画線に対する検出結果を得ること、または、
   先進運転支援システムから前記区画線に対する検出結果を取得することを含むことを特徴とする請求項３に記載の方法。
5. 前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定することは、
   前記区画線に対する検出結果が検出された区画線情報である場合、前記区画線情報に基づいて、前記現在走行対象の所在する車線内の少なくとも一部の目標対象を疑似衝突対象として選択することを含むことを特徴とする請求項３または４に記載の方法。
6. 前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定することは、
   前記区画線に対する検出結果として区画線が検出されていない場合、前記現在走行対象との距離が予め設定された範囲内にある目標対象を疑似衝突対象として選択することを含むことを特徴とする請求項３または４に記載の方法。
7. 前記現在走行対象と前記疑似衝突対象との衝突時間を予測することは、
   現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測することと、
   各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算することと、を含むことを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記衝突時間に基づいて前記現在走行対象に対して前方衝突警報を行うことは、
   現在走行対象と前記疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較することと、
   比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行うことと、を含むことを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加することを特徴とする請求項８に記載の方法。
10. 前記比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突警報を行うことは、
    現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことを含み、ここで、第一の予め設定された閾値は第二の予め設定された閾値よりも小さいことを特徴とする請求項８に記載の方法。
11. 前記現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことは、
    衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい第一疑似衝突対象に対して、前記第一疑似衝突対象の運動情報に基づいて前記第一疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測することと、
    前記第一疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報を行うことと、を含むことを特徴とする請求項１０に記載の方法。
12. 前記現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うことはさらに、
    前記第一疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報を行わないことを含むことを特徴とする請求項１０に記載の方法。
13. 前記比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突警報を行うことはさらに、
    現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報、および／または、運転制御を行うことを含み、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする請求項１０から１２のいずれか一項に記載の方法。
14. 前記現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報を行うことは、
    衝突時間が前記第一の予め設定された閾値以下である第二疑似衝突対象に対して、前記第二疑似衝突対象の運動情報に基づいて前記第二疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測することと、
    前記第二疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報、および／または、運転制御を行い、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことと、を含むことを特徴とする請求項１３に記載の方法。
15. 前記現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報を行うことはさらに、
    前記第二疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報、および／または、運転制御を行わないことを含み、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする請求項１３または１４に記載の方法。
16. さらに、
    ニューラルネットワークにより現在フレーム画像における目標対象を検出し、前記現在フレーム画像における目標対象の検出ボックスを得ることと、
    前のＮフレームの画像における目標対象の検出ボックスに基づき、前記現在フレーム画像における目標対象の物体ボックスを予測することと、
    目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することと、を含み、
    ここで、前記前のＮフレームの画像は、前記現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数であることを特徴とする請求項７から１５のいずれか一項に記載の方法。
17. 前記ニューラルネットワークにより現在フレーム画像における目標対象を検出し、前記現在フレーム画像における目標対象の検出ボックスを得ることは、
    ニューラルネットワークにより前記現在フレーム画像の特徴を抽出することと、
    前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定することと、を含むことを特徴とする請求項１６に記載の方法。
18. 前記ニューラルネットワークは、異なるネットワーク深さにそれぞれ位置する複数の特徴層を含み、
    前記ニューラルネットワークにより前記現在フレーム画像の特徴を抽出することは、
    前記ニューラルネットワークに入力される現在フレーム画像を、順に前記ニューラルネットワークの各特徴層によって特徴を抽出し、ネットワーク深さがｉである第一特徴層により出力される第一特徴とネットワーク深さがｊである第二特徴層により出力される第二特徴とを融合し、融合特徴を、ネットワーク深さがｊ＋１である第三特徴層の入力特徴または前記ニューラルネットワークにより出力される前記現在フレーム画像の特徴として得ることを含み、ここで、１≦ｉ＜ｊであることを特徴とする請求項１７に記載の方法。
19. 前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定することは、
    前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象を含む候補ボックスを特定することと、
    前記ニューラルネットワークにより、各候補ボックスの特徴にそれぞれ基づいて各候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得ることと、
    各候補ボックスの確率スコアのうちの値が最も大きい確率スコアの対応する種類をそれぞれ該候補ボックスにおける目標対象の種類とすることと、
    重畳率が予め設定された閾値よりも大きくかつ目標対象の種類が同じである候補ボックスを１セットの候補ボックスとしてそれぞれ選択し、１セットの候補ボックスから、目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックスを、目標対象の検出ボックスとして選択することと、を含むことを特徴とする請求項１７または１８に記載の方法。
20. 前記ニューラルネットワークにより現在フレーム画像における目標対象を検出することは、
    現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像である場合、ニューラルネットワークにより現在フレーム画像における目標対象を検出すること、および／または、
    現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像ではない場合、前記フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、前記現在フレーム画像における目標対象の検出ボックスを回帰することを含み、
    ここで、前記フレームシーケンスは、画像採集順に並ぶＭフレームの画像を含み、Ｍは１よりも大きい整数であることを特徴とする請求項１６から１９のいずれか一項に記載の方法。
21. 前記フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、前記現在フレーム画像における目標対象の検出ボックスを回帰することは、
    前記１フレーム目の画像中の検出ボックス情報に基づき、前記１フレーム目の画像中の検出ボックス情報で特定した検出ボックスの中心点を中心点とし、前記現在フレーム画像において、長さおよび／または幅が前記特定した検出ボックスの長さおよび／または幅より大きい領域に対応する領域画像を切り出すことと、
    前記ニューラルネットワークにより前記領域画像における目標対象を検出し、前記領域画像における目標対象の検出ボックスを得ることと、
    前記前記領域画像における目標対象の検出ボックス、および前記現在フレーム画像における前記領域画像の位置に基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することと、を含むことを特徴とする請求項２０に記載の方法。
22. 前記前のＮフレームの画像における目標対象の検出ボックスに基づき、前記現在フレーム画像における目標対象の物体ボックスを予測することは、
    それぞれ前記前のＮフレームの画像における各同一目標対象に対して、
    前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置に基づき、前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度をフィッティングすることと、
    前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度に基づき、前記現在フレーム画像における同一目標対象の物体ボックスの大きさおよび位置を予測することと、を含むことを特徴とする請求項１６から２１のいずれか一項に記載の方法。
23. 前記目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することは、
    各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が予め設定された閾値以上である第一目標対象に対して、前記第一目標対象の検出ボックスと物体ボックスとの大きさおよび位置のそれぞれにおける平均値を、前記現在フレーム画像における前記第一目標対象の検出ボックス情報として取得し、前記検出ボックス情報が、検出ボックスの大きさおよび位置を含むことを含むことを特徴とする請求項２２に記載の方法。
24. 前記目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することはさらに、
    各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が前記予め設定された閾値よりも小さい第二目標対象に対して、予測された前記第二目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第二目標対象の検出ボックス情報とすることを含むことを特徴とする請求項２２または２３に記載の方法。
25. 前記目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定することはさらに、
    各目標対象のうちの、前記現在フレーム画像に物体ボックスの対応する検出ボックスが存在していない第三目標対象に対して、予測された前記第三目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第三目標対象の検出ボックス情報とすることを含むことを特徴とする請求項２２から２４のいずれか一項に記載の方法。
26. 前記疑似衝突対象が人またはロボットである場合、現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測することは、
    ニューラルネットワークにより、前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得、前記予測行為情報が、運動方向、運動状態および動き分類情報を含むことと、
    各人またはロボットの前記予測行為情報、および前記前のＮフレームの画像および前記現在フレーム画像における各人またはロボットの検出ボックス情報にそれぞれ基づき、各人またはロボットの運動情報を特定することと、を含むことを特徴とする請求項７から２５のいずれか一項に記載の方法。
27. 前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得ることは、
    前記現在フレーム画像中の検出ボックス情報に基づき、対応する人またはロボットのキーポイントを検出し、キーポイント検出結果に基づいて対応する人またはロボットの頭部方向および身体方向を取得し、対応する人またはロボットの頭部方向および身体方向に基づいて対応する人またはロボットの運動方向を取得することと、前記キーポイント検出結果に基づいて対応する人またはロボットの動きを分類し、対応する人の動き分類情報を得ることと、前記キーポイント検出結果に基づいて対応する人またはロボットの運動状態を分類し、対応する人またはロボットの運動状態情報を得ることと、を含むことを特徴とする請求項２６に記載の方法。
28. ニューラルネットワークによって、現在走行対象の所在する道路の前方における疑似衝突対象を検出するように構成される第一検出モジュールと、
    現在走行対象と前記疑似衝突対象との衝突時間を予測するように構成される第一予測モジュールと、
    前記衝突時間に基づいて、前記現在走行対象に対して、前方衝突警報および／または運転制御を含む前方衝突制御を行うように構成される制御モジュールと、を含むことを特徴とする前方衝突制御装置。
29. 前記現在走行対象は、車両またはロボットを含み、および／または、
    前記疑似衝突対象は、人、車両、軽車両、ロボット、障害物のいずれか一つまたは複数を含むことを特徴とする請求項２８に記載の装置。
30. 前記第一検出モジュールは、
    前記道路上の区画線に対する検出結果を取得するように構成される取得ユニットと、
    前記区画線に対する検出結果に基づいて、前記道路上の少なくとも一部の目標対象を疑似衝突対象として特定するように構成される特定ユニットと、を含むことを特徴とする請求項２８または２９に記載の装置。
31. 前記取得ユニットは、ニューラルネットワークに基づいて前記道路上の区画線を検出し、前記区画線に対する検出結果を得ること、または、先進運転支援システムから前記区画線に対する検出結果を取得することを実行するように構成されることを特徴とする請求項３０に記載の装置。
32. 前記特定ユニットは、前記区画線に対する検出結果が検出された区画線情報である場合、前記区画線情報に基づいて、前記現在走行対象の所在する車線内の少なくとも一部の目標対象を疑似衝突対象として選択するように構成されることを特徴とする請求項３０または３１に記載の装置。
33. 前記特定ユニットは、前記区画線に対する検出結果として区画線が検出されていない場合、前記現在走行対象との距離が予め設定された範囲内にある目標対象を疑似衝突対象として選択するように構成されることを特徴とする請求項３０または３１に記載の装置。
34. 前記第一予測モジュールは、
    現在より前のＮフレームの画像および現在フレーム画像における各疑似衝突対象の検出ボックス情報にそれぞれ基づき、各疑似衝突対象の運動情報を予測するように構成される予測ユニットと、
    各疑似衝突対象の運動情報に基づき、現在走行対象と各疑似衝突対象との衝突時間を計算するように構成される計算ユニットと、を含むことを特徴とする請求項２８から３３のいずれか一項に記載の装置。
35. 前記制御モジュールは、
    現在走行対象と前記疑似衝突対象との衝突時間を少なくとも一つの予め設定された閾値と比較するように構成される比較ユニットと、
    比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する前方衝突制御を行うように構成される制御ユニットと、を含むことを特徴とする請求項２８から３４のいずれか一項に記載の装置。
36. 前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する前方衝突制御の程度は段階的に増加することを特徴とする請求項３５に記載の装置。
37. 前記制御ユニットは、
    前記衝突時間に基づいて前記現在走行対象に対して前方衝突警報を行うように構成される警報ユニット、および／または、
    前記衝突時間に基づいて前記現在走行対象に対して運転制御を行うように構成される運転制御ユニットを含むことを特徴とする請求項３５または３６に記載の装置。
38. 前記警報ユニットは、現在走行対象との衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい疑似衝突対象が存在する場合、衝突警報を行うように構成され、ここで、第一の予め設定された閾値は第二の予め設定された閾値よりも小さいことを特徴とする請求項３７に記載の装置。
39. 前記警報ユニットは、衝突時間が第二の予め設定された閾値以下かつ第一の予め設定された閾値よりも大きい第一疑似衝突対象に対して、前記第一疑似衝突対象の運動情報に基づいて前記第一疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、
    前記第一疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報を行うように構成されることを特徴とする請求項３８に記載の装置。
40. 前記警報ユニットはさらに、
    前記第一疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報を行わないように構成されることを特徴とする請求項３８に記載の装置。
41. 前記警報ユニットはさらに、現在走行対象との衝突時間が前記第一の予め設定された閾値以下である疑似衝突対象が存在する場合、衝突警報、および／または、運転制御を行うように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする請求項３８から４０のいずれか一項に記載の装置。
42. 前記警報ユニットは、衝突時間が前記第一の予め設定された閾値以下である第二疑似衝突対象に対して、前記第二疑似衝突対象の運動情報に基づいて前記第二疑似衝突対象が衝突領域から離れる傾向があるかどうかを予測し、
    前記第二疑似衝突対象が衝突領域から離れる傾向がない場合、衝突警報、および／または、運転制御を行うように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする請求項４１に記載の装置。
43. 前記警報ユニットはさらに、前記第二疑似衝突対象が衝突領域から離れる傾向がある場合、衝突警報、および／または、運転制御を行わないように構成され、前記運転制御が、制動減速、走行方向変更のいずれか一つまたは複数を含むことを特徴とする請求項４１に記載の装置。
44. さらに、
    ニューラルネットワークにより現在フレーム画像における目標対象を検出し、前記現在フレーム画像における目標対象の検出ボックスを得るように構成される第二検出モジュールと、
    前のＮフレームの画像における目標対象の検出ボックスに基づき、前記現在フレーム画像における目標対象の物体ボックスを予測するように構成される第二予測モジュールと、
    目標対象の検出ボックスおよび物体ボックスに基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定するように構成される特定モジュールと、を含み、
    ここで、前記前のＮフレームの画像は、前記現在フレーム画像よりも前の、画像採集順に並ぶＮフレームの画像を含み、Ｎは０よりも大きい整数であることを特徴とする請求項３４から４３のいずれか一項に記載の装置。
45. 前記第二検出モジュールは、
    ニューラルネットワークにより前記現在フレーム画像の特徴を抽出するように構成される特徴抽出ユニットと、
    前記ニューラルネットワークにより、抽出された特徴に基づいて目標対象の検出ボックスを特定するように構成される特定ユニットと、を含むことを特徴とする請求項４４に記載の装置。
46. 前記ニューラルネットワークは、異なるネットワーク深さにそれぞれ位置する複数の特徴層を含み、
    前記特徴抽出ユニットは、前記ニューラルネットワークに入力される現在フレーム画像を、順に前記ニューラルネットワークの各特徴層によって特徴を抽出し、ネットワーク深さがｉである第一特徴層により出力される第一特徴とネットワーク深さがｊである第二特徴層により出力される第二特徴とを融合し、融合特徴を、ネットワーク深さがｊ＋１である第三特徴層の入力特徴または前記ニューラルネットワークにより出力される前記現在フレーム画像の特徴として得るように構成され、ここで、１≦ｉ＜ｊであることを特徴とする請求項４５に記載の装置。
47. 前記特定ユニットは、
    ニューラルネットワークにより、抽出された特徴に基づいて目標対象を含む候補ボックスを特定し、
    前記ニューラルネットワークにより、各候補ボックスの特徴にそれぞれ基づいて各候補ボックスを分類し、各候補ボックスが各種類の目標対象にそれぞれ属する確率スコアを得て、
    各候補ボックスの確率スコアのうちの値が最も大きい確率スコアの対応する種類をそれぞれ該候補ボックスにおける目標対象の種類とし、
    重畳率が予め設定された閾値よりも大きくかつ目標対象の種類が同じである候補ボックスを１セットの候補ボックスとしてそれぞれ選択し、１セットの候補ボックスから、目標対象の種類とする確率スコアのうちの最大値の対応する候補ボックスを、目標対象の検出ボックスとして選択するように構成されることを特徴とする請求項４５または４６に記載の装置。
48. 前記第二検出モジュールは、
    現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像である場合、ニューラルネットワークにより現在フレーム画像における目標対象を検出するように構成される検出ユニット、および／または、
    現在フレーム画像が、それの所在するフレームシーケンスにおける１フレーム目の画像ではない場合、前記フレームシーケンスにおける１フレーム目の画像中の検出ボックス情報に基づき、前記現在フレーム画像における目標対象の検出ボックスを回帰するように構成される回帰ユニットを含み、
    ここで、前記フレームシーケンスは、画像採集順に並ぶＭフレームの画像を含み、Ｍは１よりも大きい整数であることを特徴とする請求項４４から４７のいずれか一項に記載の装置。
49. 前記回帰ユニットは、
    前記１フレーム目の画像中の検出ボックス情報に基づき、前記１フレーム目の画像中の検出ボックス情報で特定した検出ボックスの中心点を中心点とし、前記現在フレーム画像において、長さおよび／または幅が前記特定した検出ボックスの長さおよび／または幅より大きい領域に対応する領域画像を切り出し、
    前記ニューラルネットワークにより前記領域画像における目標対象を検出し、前記領域画像における目標対象の検出ボックスを得て、
    前記前記領域画像における目標対象の検出ボックス、および前記現在フレーム画像における前記領域画像の位置に基づき、前記現在フレーム画像における目標対象の検出ボックス情報を特定するように構成されることを特徴とする請求項４８に記載の装置。
50. 前記第二予測モジュールは、
    それぞれ前記前のＮフレームの画像における各同一目標対象に対して、
    前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置に基づき、前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度をフィッティングし、
    前記前のＮフレームの画像における同一目標対象の検出ボックスの大きさおよび位置変化の速度および加速度に基づき、前記現在フレーム画像における同一目標対象の物体ボックスの大きさおよび位置を予測するように構成されることを特徴とする請求項４４から４９のいずれか一項に記載の装置。
51. 前記特定モジュールは、
    各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が予め設定された閾値以上である第一目標対象に対して、前記第一目標対象の検出ボックスと物体ボックスとの大きさおよび位置のそれぞれにおける平均値を、前記現在フレーム画像における前記第一目標対象の検出ボックス情報として取得するように構成され、前記検出ボックス情報が、検出ボックスの大きさおよび位置を含むことを特徴とする請求項５０に記載の装置。
52. 前記特定モジュールは、各目標対象のうちの、検出ボックスと物体ボックスとの重畳率が前記予め設定された閾値よりも小さい第二目標対象に対して、予測された前記第二目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第二目標対象の検出ボックス情報とするように構成されることを特徴とする請求項５０または５１に記載の装置。
53. 前記特定モジュールは、各目標対象のうちの、前記現在フレーム画像に物体ボックスの対応する検出ボックスが存在していない第三目標対象に対して、予測された前記第三目標対象の物体ボックスの大きさおよび位置を、前記現在フレーム画像における前記第三目標対象の検出ボックス情報とするように構成されることを特徴とする請求項５０から５２のいずれか一項に記載の装置。
54. 前記疑似衝突対象が人またはロボットである場合、前記予測ユニットは、
    ニューラルネットワークにより、前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得、前記予測行為情報が、運動方向、運動状態および動き分類情報を含み、
    各人またはロボットの前記予測行為情報、および前記前のＮフレームの画像および前記現在フレーム画像における各人またはロボットの検出ボックス情報にそれぞれ基づき、各人またはロボットの運動情報を特定するように構成されることを特徴とする請求項３４から５３のいずれか一項に記載の装置。
55. 前記予測ユニットは、前記現在フレーム画像中の検出ボックス情報に基づいて各人またはロボットの行為を予測し、前記現在フレーム画像における各人またはロボットの予測行為情報を得るときに、
    前記現在フレーム画像中の検出ボックス情報に基づき、対応する人またはロボットのキーポイントを検出し、キーポイント検出結果に基づいて対応する人またはロボットの頭部方向および身体方向を取得し、対応する人またはロボットの頭部方向および身体方向に基づいて対応する人またはロボットの運動方向を取得し、前記キーポイント検出結果に基づいて対応する人またはロボットの動きを分類し、対応する人の動き分類情報を得て、前記キーポイント検出結果に基づいて対応する人またはロボットの運動状態を分類し、対応する人またはロボットの運動状態情報を得るように構成されることを特徴とする請求項５４に記載の装置。
56. コンピュータプログラムを記憶するように構成されるメモリと、
    前記メモリに記憶される、実行される時に請求項１から２７のいずれか一項に記載の方法を実現するコンピュータプログラムを実行するように構成されるプロセッサと、を含むことを特徴とする電子機器。
57. コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムはプロセッサにより実行される時、請求項１から２７のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能記憶媒体。
58. コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサに実行される時、請求項１から２７のいずれか一項に記載の方法を実現することを特徴とするコンピュータプログラム。