JP2022520544A - 車両インテリジェント運転制御方法及び装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本開示は、車両インテリジェント運転制御方法及び装置、電子機器並びに記憶媒体に関する。上記方法は、車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集することと、前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定することと、前記走行可能領域に基づいて前記目標対象物の検出枠を調整することと、調整された検出枠に基づいて前記車両のインテリジェント運転制御を行うことと、を含む。走行可能領域に基づいて調整された目標対象物の検出枠によれば、目標対象物の位置をより正確にマーキングすることができ、目標対象物の実際の位置をより正確に決定することができ、これによって車両のインテリジェント運転制御をより正確に行うことができる。【選択図】図１

Description

本開示は画像処理技術分野に関し、特に車両インテリジェント運転制御方法及び装置、電子機器並びに記憶媒体に関する。

道路において、自動運転又はアシスト運転などの機能を実現するため、車両に搭載されたカメラで道路情報を撮像し、距離テストを行うようにしてよい。道路において、車両が密集しており、かつ互いに深刻に遮蔽されるので、車両の検出枠でマーキングされた車両の位置が実際の位置から大きく外れているため、従来の距離テスト方法が不正確になってしまう。

本開示は、車両インテリジェント運転制御技術を提供する。

本開示の一方面によれば、
車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集することと、
前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定することと、
前記走行可能領域に基づいて前記目標対象物の検出枠を調整することと、
調整された検出枠に基づいて前記車両のインテリジェント運転制御を行うことと、を含む車両インテリジェント運転制御方法を提供する。

本開示の一方面によれば、
車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集するビデオストリーム取得モジュールと、
前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定する走行可能領域決定モジュールと、
前記走行可能領域に基づいて前記目標対象物の検出枠を調整する検出枠調整モジュールと、
調整された検出枠に基づいて前記車両のインテリジェント運転制御を行う制御モジュールと、を含む車両インテリジェント運転制御装置を提供する。

本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサが、上記のいずれか一項に記載の方法を実行させるように配置される電子機器を提供する。

本開示の一方面によれば、プロセッサによって実行されると、上記のいずれか一項に記載の方法を実現させるコンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を提供する。

本開示の実施例では、車両の車載カメラで車両があるシーンの道路の画像のビデオストリームを収集し、道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定し、前記走行可能領域に基づいて前記目標対象物の検出枠を調整し、調整された検出枠に基づいて前記車両のインテリジェント運転制御を行う。走行可能領域に基づいて調整された目標対象物の検出枠によれば、目標対象物の位置をより正確にマーキングすることができ、目標対象物の実際の位置をより正確に決定することができ、これによって車両のインテリジェント運転制御をより正確に行うことができる。

以上の一般な説明と以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないと理解すべきである。以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。

明細書の一部として含まれる図面は、本開示の実施例を示し、明細書と共に本開示の技術的手段を説明するものである。
本開示の実施例に係る車両インテリジェント運転制御方法のフローチャートを示す。 本開示の実施例に係る車両インテリジェント運転制御方法における道路走行可能領域の模式図を示す。 本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ２０のフローチャートを示す。 本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ２０のフローチャートを示す。 本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ３０のフローチャートを示す。 本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ４０のフローチャートを示す。 本開示の実施例に係る車両インテリジェント運転制御方法のフローチャートを示す。 本開示の実施例に係る車両インテリジェント運転制御装置のブロック図を示す。 例示的な一実施例に基づいて示した電子機器のブロック図である。 例示的な一実施例に基づいて示した電子機器のブロック図である。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴及び方面を詳細に説明する。図面において、同じ符号が同じ又は類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に説明がない限り、比例に従って図面を描く必要がない。

ここの用語「例示的」とは、「例、実施例とするもの又は説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣで構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素及び回路について、詳細な説明を省略する。

図１は、本開示の実施例に係る車両インテリジェント運転制御方法のフローチャートを示す。図１に示すように、前記車両インテリジェント運転制御方法は、ステップＳ１０、ステップＳ２０、ステップＳ３０及びステップＳ４０を含む。

ステップＳ１０では、車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集する。

可能な一実施形態では、車両は、リアルな有人車両、貨物車、玩具車、無人車両などであってもよく、仮想シーンにおける車型ロボット、レースカーなど移動可能な対象物であってもよい。車両に車載カメラを設けてもよい。リアルな車両について、車載カメラは、単眼カメラ、ＲＧＢカメラ、赤外線カメラ、双眼カメラなど画像を撮像する様々な視覚センサであってよい。ニーズ、環境、現在オブジェクトのタイプ、コストなどに応じて、異なる撮影機器を選んでよい。本開示は、これについて限定しない。仮想環境における車両について、車両において車載カメラに対応する機能を設け、車両がある環境の道路の画像を取得してよい。本開示は、これについて限定しない。車両があるシーンの道路は、都市道路、田舎道路など様々な道路を含んでよい。車載カメラで撮像されたビデオストリームは、任意の時間帯のビデオストリームを含んでよい。

ステップＳ２０では、前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定する。

可能な一実施形態では、目標対象物は、車両、歩行者、建築物、障害物、動物など種々の対象物タイプを含む。目標対象物は、１つの対象物タイプのうちの１つ以上の目標対象物であってもよく、複数の対象物タイプのうちの複数の目標対象物であってもよい。例えば、車両のみを目標対象物としてよく、目標対象物は１つの車両であってもよく、複数の車両であってもよい。車両と歩行者とともに目標対象物としてもよく、目標対象物は複数の車両と複数の歩行者である。ニーズに応じて、設定された対象物タイプを目標対象物としてもよく、設定された対象物個体を目標対象物としてもよい。

可能な一実施形態では、画像検出技術により、車載カメラで撮像された画像のうちの目標対象物の検出枠を検出してよい。検出枠は、矩形枠であってもよく、他の形状の枠であってもよい。検出枠の大きさは、画像中の目標対象物が占める画像面積の大きさによって異なるようにしてよい。例えば、画像中の目標対象物は、３台の自動車と２人の歩行者を含む。画像検出技術により、画像において５つの検出枠で各目標対象物をマーキングしてよい。

可能な一実施形態では、走行可能領域は、道路において占有されていない、車両が走行可能な領域を含んでよい。例えば、車両前方の道路に３台の自動車がある場合、３台の自動車によって占有されていない道路の領域は走行可能領域である。道路の走行可能領域がマーキングされたサンプル画像を用いて走行可能領域ニューラルネットワークモデルをトレーニングしてよい。トレーニングされた走行可能領域ニューラルネットワークモデルに道路の画像を入力して処理を行い、道路の画像における走行可能領域を得るようにしてよい。

図２は本開示の実施例に係る車両インテリジェント運転制御方法における道路走行可能領域の模式図を示す。図２に示すように、車両で撮像された道路の画像において、車両前方に２台の乗用車があり、図２中の２つの白い矩形枠が乗用車の検出枠である。図２中の黒い線分の下方の領域は、車両の走行可能領域である。

可能な一実施形態では、道路の画像において１つまたは複数の走行可能領域を決定してよい。異なるレーンを区分せず、道路において１つの走行可能領域を決定してもよい。レーンを区分し、各レーンにおいてそれぞれ走行可能領域を決定し、複数の走行可能領域を得るようにしてもよい。図２中の走行可能領域では、車線線が区分されていない。

ステップＳ３０では、前記走行可能領域に基づいて前記目標対象物の検出枠を調整する。

可能な一実施形態では、目標対象物の実際の位置の正確性は、車両のインテリジェント運転制御にとって非常に重要である。道路において、車両や歩行者など種々の目標対象物の数が多く、各目標対象物同士が互いに遮蔽されやすいので、遮蔽された目標対象物の検出枠と目標対象物の実際の位置との偏差がある。目標対象物が遮蔽されていない場合においても、検出アルゴリズムなどの原因で、目標対象物の検出枠と目標対象物の実際の位置との偏差がある。車両のインテリジェント運転制御を行うため、目標対象物の検出枠の位置を調整することによって、より正確な目標対象物の実際の位置を得るようにしてよい。

可能な一実施形態では、目標対象物の検出枠の底辺上の中心点に基づいて、車両と目標対象物との距離を決定してよい。目標対象物の検出枠の底辺は、検出枠の道路側の辺である。目標対象物の検出枠の底辺は、通常、道路の路面に平行する。目標対象物の検出枠の底辺に対応する走行可能領域のエッジの位置に基づいて、目標対象物の検出枠の位置を調整してよい。

図２に示すように、乗用車のタイヤが位置する辺は、検出枠の底辺であり、検出枠の底辺に対応する走行可能領域のエッジは、検出枠の底辺に平行する。調整された検出枠でマーキングされた目標対象物の位置が目標対象物の実際の位置とより一層一致するように、検出枠の底辺に対応するエッジ上の画素点の座標に基づいて、目標対象物の検出枠の横方向位置及び／又は垂直位置を調整してよい。

ステップＳ４０では、調整された検出枠に基づいて前記車両のインテリジェント運転制御を行う。

可能な一実施形態では、走行可能領域に基づいて調整された目標対象物の検出枠でマーキングされた目標対象物の位置は、目標対象物の実際の位置とより一層一致する。調整された目標対象物の検出枠の底辺の中心点に基づいて、道路における目標対象物の実際の位置を決定してよい。目標対象物の実際の位置及び車両の実際の位置に基づいて、目標対象物と車両との距離を算出してよい。

インテリジェント運転制御は、オートパイロット制御または補助運転制御及び両者の切り替えを含んでよい。インテリジェント運転制御は、自動ナビゲーション運転制御、自動運転制御及び手動介入自動運転制御などを含んでよい。インテリジェント運転制御では、インテリジェント運転制御における運転制御について、車両の走行方向における目標対象物と車両との距離は非常に重要である。調整された検出枠に基づいて目標対象物の実際の位置を決定し、目標対象物の実際の位置に基づいて車両に対して対応のインテリジェント運転制御を行ってよい。本開示は、インテリジェント運転制御の制御内容及び制御方法について限定しない。

本実施例では、車両の車載カメラで車両があるシーンの道路の画像のビデオストリームを収集し、道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定し、前記走行可能領域に基づいて前記目標対象物の検出枠を調整し、調整された検出枠に基づいて前記車両のインテリジェント運転制御を行う。走行可能領域に基づいて調整された目標対象物の検出枠によれば、目標対象物の位置をより正確にマーキングすることができ、目標対象物の実際の位置をより正確に決定することができ、これによって車両のインテリジェント運転制御をより正確に行うことができる。

図３は、本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ２０のフローチャートを示す。図３に示すように、上記車両インテリジェント運転制御方法のステップＳ２０は、ステップＳ２１、ステップＳ２２及びステップＳ２３を含む。

ステップＳ２１では、前記道路の画像を画像分割し、前記道路の画像から前記目標対象物がある分割領域を抽出する。

可能な一実施形態では、サンプル画像において目標対象物の輪郭線をマーキングしてよい。２つの目標対象物が互いに遮蔽される場合、各目標対象物の遮蔽されていない部分の輪郭線をマーキングしてよい。画像分割に利用可能な第１画像分割ニューラルネットワークを得るために、目標対象物の輪郭線がマーキングされたサンプル画像を用いて、第１画像分割ニューラルネットワークをトレーニングしてよい。目標対象物が車両である場合、第１画像分割ニューラルネットワークで得られた車両の分割領域は、車両自体のシルエットである。第１画像分割ニューラルネットワークで得られた各目標対象物の分割領域は、各対象領域の完全なシルエットであり、完全な目標対象物の分割領域が得られる。

可能な一実施形態では、サンプル画像において目標対象物を目標対象物が占める路面部分とともにマーキングしてよい。２つの目標対象物が互いに遮蔽される場合、各目標対象物の遮蔽されていない部分が占める路面をマーキングしてよい。画像分割に利用可能な第２画像分割ニューラルネットワークを得るために、目標対象物及び目標対象物が占める路面がマーキングされたサンプル画像を用いて、第２画像分割ニューラルネットワークをトレーニングしてよい。第２画像分割ニューラルネットワークに道路の画像を入力して、各目標対象物がある分割領域を抽出ようにしてよい。目標対象物が車両である場合、第２画像分割ニューラルネットワークで得られた車両の分割領域は、車両自体のシルエット及び車両が占める路面部分の領域である。第２画像分割ニューラルネットワークで得られた目標対象物の分割領域には、目標対象物が占める路面部分の領域が含まれているので、目標対象物の分割結果に基づいて得られた走行可能領域は一層正確になる。

ステップＳ２２では、前記道路の画像に対して車線線検出を行う。

可能な一実施形態では、車線線がマーキングされたサンプル画像で車線線識別ニューラルネットワークをトレーニングして、トレーニングされた車線線識別ニューラルネットワークを得るようにしてよい。トレーニングされた車線線識別ニューラルネットワークに道路の画像を入力して車線線を識別してよい。車線線は、一本実線、二本実線など種々の車線線を含んでよい。本開示は、車線線の種類について限定しない。

ステップＳ２３では、前記車線線の検出結果及び前記分割領域に基づいて前記道路の画像において前記車両の走行可能領域を決定する。

可能な一実施形態では、車線線に基づいて道路の画像における道路領域を決定してよい。道路領域のうち車両の分割領域以外の領域を走行可能領域として決定してよい。

可能な一実施形態では、最も外側の２本の車線線に基づいて、道路の画像において１つの道路領域を決定してよい。決定された１つの道路領域から車両の分割領域を除いて１つの走行可能領域を得るようにしてよい。

可能な一実施形態では、各車線線に基づいて異なるレーンを決定し、道路の画像において各レーンに対応する道路領域を決定してよい。各道路領域から車両の分割領域を除いて各レーン領域に対応する走行可能領域を得るようにしてよい。

本実施例では、道路の画像を画像分割し、道路の画像から目標対象物がある分割領域を抽出し、道路の画像に対して車線線検出を行い、車線線の検出結果及び分割領域に基づいて前記道路の画像において前記車両の走行可能領域を決定する。画像分割により目標対象物がある分割領域を抽出した後、車線線に基づいて道路領域を決定する。道路領域から分割領域を除いた走行可能領域は、目標対象物が道路に実際に占める状況を正確に反映することができ、得られた走行可能領域は、目標対象物の検出枠が当該目標対象物の実際の位置をより正確にマーキングして車両インテリジェント運転制御に利用可能となるように、目標対象物の検出枠を調整することができる。

図４は、本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ２０のフローチャートを示す。図４に示すように、上記車両インテリジェント運転制御方法のステップＳ２０は、ステップＳ２４、ステップＳ２５及びステップＳ２６を含む。

ステップＳ２４では、前記道路の画像における前記目標対象物の全体投影領域を決定する。

可能な一実施形態では、目標対象物の全体投影領域は、目標対象物が遮蔽された部分の投影領域と、遮蔽されていない部分の投影領域と、を含む。道路の画像において目標対象物を識別することができる。目標対象物が遮蔽されている場合、遮蔽されていない部分に基づいて目標対象物を識別することができる。識別された遮蔽されていない一部の目標対象物及び予め設定された目標対象物の実際のアスペクト比などの情報に基づいて、遮蔽された一部の目標対象物を補足により得ることができる。遮蔽されていない一部の目標対象物及び補足により得られた遮蔽された一部の目標対象物に基づいて、道路の画像において各目標対象物の道路における全体投影領域を決定する。

ステップＳ２５では、前記道路の画像に対して車線線検出を行う。

可能な一実施形態では、上記実施例のステップＳ２２についての説明と同じであるため、ここで説明を省略する。

ステップＳ２６では、前記車線線の検出結果及び前記全体投影領域に基づいて前記道路の画像において前記車両の走行可能領域を決定する。

可能な一実施形態では、各目標対象物の全体投影領域に基づいて車両の走行可能領域を決定してよい。最も外側の２本の車線線に基づいて、道路の画像において１つの道路領域を決定してよい。決定された道路領域から各目標対象物の全体投影領域を除いて車両の走行可能領域を得るようにしてよい。

本実施例では、道路の画像における目標対象物の全体投影領域を決定し、道路の画像に対して車線線検出を行い、車線線の検出結果及び全体投影領域に基づいて道路の画像における車両の走行可能領域を決定する。目標対象物の全体投影領域に基づいて決定された走行可能領域は、各目標対象物の実際の位置を正確に反映することができる。

可能な一実施形態では、前記目標対象物は車両であり、前記目標対象物の検出枠は車両の前部又は後部の検出枠である。

可能な一実施形態では、目標対象物が向こうの車両である場合、車両の検出枠は車両の前部の検出枠であってよい。目標対象物が前方の車両である場合、車両の検出枠は車両後部の検出枠であってよい。

図５は、本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ３０のフローチャートを示す。図５に示すように、上記の車両インテリジェント運転制御方法のステップＳ３０は、ステップＳ３１、ステップＳ３２を含む。

ステップＳ３１では、前記検出枠の底辺に対応する前記走行可能領域のエッジを参照エッジとして決定する。

可能な一実施形態では、目標対象物の検出枠の底辺は、目標対象物の、道路路面と接触する一方側が位置する検出枠の辺である。検出枠の底辺に対応する走行可能領域のエッジは、検出枠の底辺に平行な走行可能領域のエッジであってよい。例えば、目標対象物が前方の車両である場合、参照エッジは、車両の後部に対応する走行可能領域のエッジである。図２に示すように、検出枠の底辺に対応する走行可能領域のエッジは、参照エッジである。

ステップＳ３２では、前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整する。

可能な一実施形態では、参照エッジ上の中心点の位置を決定してよい。検出枠を、検出枠の底辺の中心点と参照エッジ上の中心点とが重なるように調整してよく、参照エッジ上の各画素点の位置に基づいて検出枠の位置を調整してもよい。

可能な一実施形態では、ステップＳ３２は、画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の高さ方向における第１座標値を決定することと、各前記第１座標値の平均値を算出して第１位置平均値を得ることと、前記第１位置平均値に基づいて、前記目標対象物の高さ方向において、前記目標対象物の検出枠の、前記道路の画像における位置を調整することと、を含む。

可能な一実施形態では、画像座標系において、目標対象物の幅方向をＸ軸方向とし、目標対象物の高さ方向をＹ軸方向としてよい。目標対象物の高さ方向は、地面から離れる方向である。目標対象物の幅方向は、地面に平行な方向である。道路の画像における走行可能領域のエッジは、ジグザグ状又は他の形状であってよい。参照エッジ上の各画素点のＹ軸方向における第１座標値を決定してよい。各画素点の第１座標値の第１位置平均値を算出し、算出された第１位置平均値に基づいて、目標対象物の高さ方向における検出枠の位置を調整してよい。

可能な一実施形態では、ステップＳ３２は、画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の幅方向における第２座標値を決定することと、各前記第２座標値の平均値を算出して第２位置平均値を得ることと、前記第２位置平均値に基づいて、前記目標対象物の幅方向において前記目標対象物の検出枠の、前記道路の画像における位置を調整することと、を含む。

可能な一実施形態では、参照エッジ上の各画素点のＸ軸方向における第２座標値を決定してよい。各第２座標値の平均値を算出して第２位置平均値を得た後、第２位置平均値に基づいて、目標対象物の幅方向における検出枠の位置を調整してよい。

可能な一実施形態では、必要に応じて、目標対象物の高さ方向又は幅方向における検出枠の位置のみを調整してもよく、目標対象物の高さ方向及び幅方向における検出枠の位置を同時に調整してもよい。

本実施例では、前記検出枠の底辺に対応する前記走行可能領域のエッジを参照エッジとして決定し、前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整する。参照エッジに基づいて検出枠の位置を調整することによって、検出枠でマーキングされた目標対象物の位置を実際の位置に一層近接させることができる。

図６は、本開示の実施例に係る車両インテリジェント運転制御方法のステップＳ４０のフローチャートを示す。図６に示すように、上記の車両インテリジェント運転制御方法のステップＳ４０は、ステップＳ４１、ステップＳ４２、ステップＳ４３を含む。

ステップＳ４１では、調整された検出枠に基づいて前記目標対象物の検出縦横比を決定する。

可能な一実施形態では、道路は、上り坂道路と下り坂道路とを含む可能性がある。目標対象物が上り坂道路又は下り坂道路に位置する場合に、目標対象物の検出枠に基づいて目標対象物の実際の位置を決定してよい。目標対象物が上り坂道路又は下り坂道路に位置する場合の目標対象物の検出縦横比は、目標対象物が平面道路に位置する場合の正常の縦横比とは異なるので、目標対象物の実際の位置の偏差を減少しひいては回避するために、調整された検出枠に基づいて目標対象物の検出縦横比を算出してよい。

ステップＳ４２では、前記検出縦横比と前記目標対象物の所定の縦横比との差分が差分閾値よりも大きい場合に、高さ調整値を決定する。

可能な一実施形態では、目標対象物の検出縦横比と実際の縦横比とを比較し、高さ方向における検出枠の位置を調整するための高さ値を決定してよい。検出縦横比が実際の縦横比よりも大きい場合、目標対象物の位置は車両が位置する平面よりも高いと言え、目標対象物は上り坂道路に位置する可能性がある。このとき、決定された高さ値に基づいて目標対象物の実際の位置を調整することができる。

検出縦横比が実際の縦横比よりも小さい場合、目標対象物の位置は車両が位置する平面よりも低いと言え、目標対象物は下り坂道路に位置する可能性がある。検出縦横比と実際の縦横比との差分に基づいて高さ調整値を決定し、決定された高さ調整値に基づいて目標対象物の検出枠を調整してよい。検出縦横比と実際の縦横比との差分は、高さ調整値に比例する値にしてよい。

ステップＳ４３では、前記高さ調整値及び前記検出枠に基づいて前記車両のインテリジェント運転制御を行う。

可能な一実施形態では、車両が位置する平面に対する道路における目標対象物の高さ値を高さ調整値で表してよい。検出枠の底辺上の中心点を目標対象物の検出位置として決定してよい。高さ調整値及び検出決定位置に基づいて、道路における目標対象物の実際の位置を決定してよい。

本実施例では、調整された検出枠に基づいて前記目標対象物の検出縦横比を決定し、前記検出縦横比と前記目標対象物の所定の縦横比との差分が差分閾値よりも大きい場合に、高さ調整値を決定し、前記高さ調整値及び前記検出枠に基づいて前記車両のインテリジェント運転制御を行う。目標対象物の検出縦横比及び実際の縦横比に基づいて、目標対象物が上り坂道路又は下り坂道路に位置するか否かを決定できるので、目標対象物が上り坂道路又は下り坂道路に位置する場合に目標対象物の検出枠に基づいて決定された実際の位置に偏差が生じることを回避することができる。

可能な一実施形態では、ステップＳ４０は、調整された検出枠に基づいて、前記車載カメラの、キャリブレーションの距離範囲が互いに異なる複数のホモグラフィーマトリックスを用いて、道路における前記目標対象物の実際の位置を決定することを含む。

可能な一実施形態では、ホモグラフィーマトリックスは、リアルな世界中の１つの平面と他の画像との間の透視変換を表すものとして利用してよい。車両がある環境に基づいて車載カメラのホモグラフィーマトリックス（Ｈｏｍｏｇｒａｐｈｙ ｍａｔｒｉｘ）を構築し、需要に応じてキャリブレーションの距離範囲が異なる複数のホモグラフィーマトリックスを決定してよい。測距点の画像における対応する位置を車両がある環境にマッピングすることによって、目標対象物と車両との距離を決定してよい。ホモグラフィーマトリックスにより、車両で撮像された画像中の測距点と目標対象物との距離情報を得るようにしてよい。距離測定前に、車両がある環境に基づいてホモグラフィーマトリックスを構築してよい。例えば、自動運転車両に配置された単眼カメラでリアルな路面画像を撮像し、路面画像上の点セット、およびリアルな路面における路面画像上の点セットに対応する点セットを利用してホモグラフィーマトリックスを構築してよい。具体的な方法は、以下のステップを含み得る。（1）座標系作成：自動運転車両の左前輪を原点とし、運転者の視角から右へ向く方向をＸ軸の正方向とし、前方へ向く方向をＹ軸の正方向とし、車体座標系を作成する。（2）点選択：車体座標系での点を選択し、点セットを得る（例えば、（０,５）、（０,１０）、（０,１５）、（１.８５,５）、（１.８５,１０）、（１.８５,１５））。各点の単位がメートルである。必要に応じて、距離が一層遠い点を選択してもよい。（3）マーキング：選択した点をリアルな路面においてマーキングし、リアルな点セットを得る。（4）キャリブレーション：キャリブレーションプレート及びキャリブレーションプログラムを用いて撮像画像におけるリアルな点セットに対応する画素位置を得る。（5）対応する画素位置に基づいてホモグラフィーマトリックスを作成する。

可能な一実施形態では、必要に応じて、異なる距離範囲に基づいてホモグラフィーマトリックスを作成してよい。例えば、１００ｍの距離範囲でホモグラフィーマトリックスを作成してよく、１０ｍの距離範囲でホモグラフィーマトリックスを作成してもよい。距離範囲が小さいほど、ホモグラフィーマトリックスに基づいて決定された距離の精度が高い。複数のホモグラフィーマトリックスを用いて正確な目標対象物の実際の距離を得ることができる。

本実施例では、調整された検出枠に基づいて、前記車載カメラの、キャリブレーションの距離範囲が互いに異なる複数のホモグラフィーマトリックスを用いて、道路における目標対象物の実際の位置を決定する。複数のホモグラフィーマトリックスによって、より正確な目標対象物の実際の位置を得ることができる。

図７は、本開示の実施例に係る車両インテリジェント運転制御方法のフローチャートを示す。図７に示すように、上記の車両インテリジェント運転制御方法は、前記車両の危険領域を決定するステップＳ５０と、前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の危険レベルを決定するステップＳ６０と、前記危険レベルが危険閾値を満たす場合に、危険レベル提示情報を送信するステップＳ７０と、をさらに含む。

可能な一実施形態では、車両の進行方向における設定領域を危険領域として決定してよい。車両の進行方向において、車両の前方において長さ及び幅が設定された領域を危険領域として決定してよい。例えば、車両の前方において、車両のフロントカバーの中心を円心とし、半径５メートルの扇形領域を危険領域として決定し、又は車両の前方において、長さ５メートル、幅３メートルの領域を危険領域として決定する。必要に応じて、危険領域の大きさ及び形状を決定してよい。

可能な一実施形態では、目標対象物の実際の位置が危険領域内にある場合、目標対象物の危険レベルを「重大危険」と決定してよい。目標対象物の実際の位置が危険領域外にある場合、目標対象物の危険レベルを「通常危険」と決定してよい。

可能な一実施形態では、目標対象物の実際の位置が危険領域外にあり、かつ目標対象物が遮蔽されていない場合、目標対象物の危険レベルを「通常危険」と決定してよい。目標対象物の実際の位置が危険領域外にあり、かつ目標対象物が遮蔽されている場合、目標対象物の危険レベルを「危険無し」と決定してよい。

可能な一実施形態では、目標対象物の危険レベルに応じて、応答する危険レベル提示情報を送信してよい。危険レベル提示情報として、音声、振動、光、文字など様々な表現形式を利用してよい。本開示は、危険レベル提示情報の具体的な内容及び表現形式を限定しない。

可能な一実施形態では、前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の危険レベルを決定することは、前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の第１危険レベルを決定することと、前記目標対象物の第１危険レベルが最高危険レベルである場合に、前記ビデオストリーム内の前記道路の画像の隣接画像において、前記目標対象物の隣接位置を決定することと、前記隣接位置及び前記目標対象物の実際の位置に基づいて、前記目標対象物の危険レベルを決定することと、を含む。

可能な一実施形態では、車両で撮像された道路の画像は、ビデオストリーム内の１枚の画像であってよい。目標対象物の危険レベルが「重大危険」と決定される場合、現在の道路の画像及びそれ以前の画像に基づいて、本開示の上記実施例の方法を利用し、現在の道路の画像以前の画像における目標対象物の隣接位置を決定してよい。現在の道路の画像とそれ以前の画像との目標対象物の重合度を算出してもよい。算出された重合度が重合度閾値よりも大きい場合、目標対象物の隣接位置を決定してよい。現在の道路の画像以前の画像中の当該目標対象物と車両との間の履歴距離を算出し、当該履歴距離と、現在の道路の画像のうちの目標対象物と車両との距離の差分を算出してもよい。距離の差分が距離閾値よりも小さい場合、目標対象物の隣接位置を決定してよい。

決定された隣接位置及び目標対象物の実際の位置に基づいて、目標対象物の危険レベルを決定してよい。

本実施例では、前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の第１危険レベルを決定し、前記目標対象物の第１危険レベルが最高危険レベルである場合に、前記ビデオストリーム内の前記道路の画像の隣接画像において、前記目標対象物の隣接位置を決定し、前記隣接位置及び前記目標対象物の実際の位置に基づいて、前記目標対象物の危険レベルを決定する。隣接画像における目標対象物の隣接位置及び目標対象物の実際の位置によって、目標対象物の危険レベルをより正確に確認することができる。

可能な一実施形態では、上記方法は、前記目標対象物と前記車両との距離、前記目標対象物の移動情報及び前記車両の移動情報に基づいて、衝突時間を取得することと、前記衝突時間及び時間閾値に基づいて衝突警告情報を決定することと、前記衝突警告情報を送信することと、をさらに含む。

可能な一実施形態では、目標対象物と車両との距離、目標対象物の移動速度及び移動方向、車両の移動速度及び移動方向に基づいて、目標対象物と車両との衝突時間を算出してよい。時間閾値を予め設定し、時間閾値及び衝突時間に基づいて衝突警告情報を取得してよい。例えば、時間閾値を５秒と予め設定し、算出された前方の対象車両と現在車両との衝突時間が５秒未満である場合に、対象車両が現在車両と衝突すれば、車両の運転者がリアルタイムな処理を行えず、危険が発生する恐れがあり、衝突警告情報を送信する必要があると判断できる。音声、振動、光、文字など様々な表現形式で衝突警告情報を送信してよい。本開示は、衝突警告情報の具体的な内容及び表現形式を限定しない。

本実施例では、目標対象物と前記車両との距離、目標対象物の移動情報及び車両の移動情報に基づいて、衝突時間を取得し、衝突時間及び時間閾値に基づいて衝突警告情報を決定し、衝突警告情報を送信する。目標対象物と車両との実際の距離及び移動情報に基づいて得られた衝突警告情報は、車両インテリジェント運転における安全運転分野に利用可能であり、安全性を向上させることができる。

可能な一実施形態では、前記衝突警告情報を送信することは、送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在しない場合に、前記衝突警告情報を送信すること、及び／又は、送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在する場合に、前記衝突警告情報を送信しないこと、を含む。

可能な一実施形態では、車両において１つの目標対象物に対する衝突警告情報が生成された後、送信済みの衝突警告情報の送信履歴から、当該目標対象物の衝突警告情報の有無を探し、当該衝突警告情報が存在する場合、それを送信しない。これによって、ユーザ体験を向上させることができる。

可能な一実施形態では、前記衝突警告情報を送信することは、前記車両の、ブレーキ情報及び／又は操舵情報を含む運転状態情報を取得することと、前記運転状態情報に基づいて前記車両が対応のブレーキ及び／又は操舵処理を行っていないと判断する場合に、バス情報に基づいて前記衝突警告情報を送信するか否かを決定することと、を含む。

可能な一実施形態では、車両が現在の移動情報に従って移動すると衝突する可能性がある場合、車両の運転者は、ブレーキ減速及び／又は操舵などの操作を行う可能性がある。車両のバス情報に基づいて、車両のブレーキ情報及び操舵情報を取得してよい。バス情報に基づいてブレーキ情報及び／又は操舵情報を取得した場合、衝突警告情報の送信を行わないか、または停止してよい。

本実施例では、ブレーキ情報及び／又は操舵情報を含む車両のバス情報を取得し、バス情報に基づいて衝突警告情報を送信するか否かを決定する。バス情報に基づいて、衝突警告情報の送信を行わないか、または停止すると決定できるため、衝突警告情報の送信をより柔軟にし、ユーザ体験を向上させることができる。

可能な一実施形態では、前記衝突警告情報を送信することは、前記車両の、ブレーキ情報及び／又は操舵情報を含む運転状態情報を取得することと、前記運転状態情報に基づいて前記車両が対応のブレーキ及び／又は操舵処理を行っていないと判断する場合に、前記衝突警告情報を送信することと、を含む。

可能な一実施形態では、車両のＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａ Ｎｅｔｗｏｒｋ）バスから運転状態情報を取得してよい。運転状態情報に基づいて、ブレーキ及び／又は操舵などの操作が行われたか否かを判断してよい。運転状態情報に基づいて、車両の運転者又はインテリジェント運転システムが関連操作を行ったと判断する場合、衝突警告情報を送信しなくてもよく、これによってユーザ体験を向上させることができる。

可能な一実施形態では、前記目標対象物は、車両である。上記方法は、前記道路の画像において前記車両のナンバープレート及び／又はロゴを検出することと、前記ナンバープレート及び／又はロゴの検出結果に基づいて、前記目標対象物の参照距離を決定することと、前記参照距離に基づいて前記目標対象物と前記車両との距離を調整することと、をさらに含む。

可能な一実施形態では、道路において、車両同士の遮蔽によって、前車両の検出枠が全車検出枠ではない可能性があり、あるいは、両車間の距離が近くて、前車の後部が車載カメラのブラインドゾーンにあり、道路の画像において視認できない可能性があり、あるいは、他の類似する場合に、車両の検出枠が前車両の位置を正確に特定できない可能性がある。検出枠に基づいて算出された対象車両と現車両との距離の誤差が大きいからである。このとき、ニューラルネットワークを利用して車両のナンバープレート及び／又はロゴの検出枠を識別し、ナンバープレート及び／又はロゴの検出枠を利用して対象車両と現車両との距離を修正してよい。

車両のナンバープレート及び／又はロゴが識別されたサンプル画像を利用して、車両ロゴニューラルネットワークをトレーニングしてよい。道路の画像をトレーニングされた車両ロゴニューラルネットワークに入力して車両のナンバープレート及び／又はロゴを得るようにしてよい。図２に示すように、図２中の前車両の後部のナンバープレートは、矩形枠でマッキングされている。ロゴは、車両後部又は車両前部の車両タイプのロゴであってよい。図２には、ロゴの検出枠が図示されていない。ロゴは通常、ナンバープレートに近い位置、例えばナンバープレートに隣接する上方位置に設けられている。

ナンバープレート及び／又はロゴの検出結果に基づいて決定できる目標対象物の参照距離と、目標対象物の車両後部又は全体に基づいて決定された目標対象物と車両との距離とは、差があるかもしれない。参照距離は、目標対象物の車両後部又は全体に基づいて決定された距離よりも大きく又は小さくしてよい。

可能な一実施形態では、前記参照距離に基づいて前記目標対象物と前記車両との距離を調整することは、前記参照距離と、前記目標対象物と前記車両との距離との差分が差分閾値よりも大きい場合に、前記目標対象物と前記車両との距離を前記参照距離に調整すること、又は、前記目標対象物と前記車両との距離と、前記参照距離との差分を算出し、前記差分に基づいて前記目標対象物と前記車両との距離を決定すること、を含む。

可能な一実施形態では、車両のナンバープレート及び／又はロゴは、目標対象物と前記車両との間の参照距離を決定するために利用できる。必要に応じて、差分閾値を予め設定し、前記参照距離と、前記目標対象物と前記車両との距離との差分が差分閾値よりも大きい場合に、目標対象物と前記車両との距離を参照距離に調整してよい。参照距離と、算出された目標対象物と車両との距離との差分が大きい場合、２つの距離の平均値を算出し、算出された平均値を目標対象物と前記車両との間の調整された距離として決定してもよい。

本実施例では、道路の画像において目標対象物の、ナンバープレート及び／又はロゴを含む識別情報を検出し、識別情報に基づいて目標対象物の参照距離を決定し、参照距離に基づいて目標対象物と前記車両との距離を調整する。目標対象物の識別情報に基づいて目標対象物と車両との間の調整された距離を調整することによって、調整された距離をより正確にすることができる。

可能な一実施形態では、前記参照距離に基づいて前記目標対象物と前記車両との距離を調整することは、前記目標対象物と前記車両との距離を前記参照距離に調整すること、又は、前記目標対象物と前記車両との距離と、前記参照距離との差分を算出し、前記差分に基づいて前記目標対象物と前記車両との距離を決定すること、を含む。

可能な一実施形態では、参照距離に基づいて目標対象物と車両との距離を調整することは、目標対象物と前記車両との距離を参照距離に直接調整すること、又は、両者の差分を算出することを含む。参照距離が目標対象物と車両との距離よりも大きい場合、目標対象物と車両との距離に差分を加算してよい。参照距離が目標対象物と車両との距離未満の場合、目標対象物と車両との距離から差分を減算してよい。

本開示で言及された上記各方法の実施例は、原理と論理を違反しない限り、相互に組み合わせて組み合わせて実施例を形成することができることが理解すべきである。紙幅に限りがあるので、本開示では詳細な説明を省略する。

また、本開示は、車両インテリジェント運転制御装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムをさらに提供すし、これらはいずれも本開示に係る車両インテリジェント運転制御方法のいずれか一つを実現するために利用できる。対応する技術的解決手段及び説明は、方法の部分の対応する記載を参照すればよく、詳細な説明を省略する。

また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。

図８は、本開示の実施例に係る車両インテリジェント運転制御装置のブロック図を示す。図８に示すように、上記の車両インテリジェント運転制御装置は、車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集するビデオストリーム取得モジュール１０と、前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定する走行可能領域決定モジュール２０と、前記走行可能領域に基づいて前記目標対象物の検出枠を調整する検出枠調整モジュール３０と、調整された検出枠に基づいて前記車両のインテリジェント運転制御を行う制御モジュール４０と、を含む。

可能な一実施形態では、前記走行可能領域決定モジュールは、前記道路の画像を画像分割し、前記道路の画像から前記目標対象物がある分割領域を抽出する画像分割サブモジュールと、前記道路の画像に対して車線線検出を行う第１車線線検出サブモジュールと、前記車線線の検出結果及び前記分割領域に基づいて前記道路の画像において前記車両の走行可能領域を決定する第１走行可能領域決定サブモジュールと、を含む。

可能な一実施形態では、前記走行可能領域決定モジュールは、前記道路の画像における前記目標対象物の全体投影領域を決定する全体投影領域決定サブモジュールと、前記道路の画像に対して車線線検出を行う第２車線線検出サブモジュールと、前記車線線の検出結果及び前記全体投影領域に基づいて前記道路の画像において前記車両の走行可能領域を決定する第２走行可能領域決定サブモジュールと、を含む。

可能な一実施形態では、前記目標対象物は車両であり、前記目標対象物の検出枠は車両の前部又は後部の検出枠である。

可能な一実施形態では、前記検出枠調整モジュールは、前記検出枠の底辺に対応する前記走行可能領域のエッジを参照エッジとして決定する参照エッジ決定サブモジュールと、前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整する検出枠調整サブモジュールと、を含む。

可能な一実施形態では、前記検出枠調整サブモジュールは、画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の高さ方向における第１座標値を決定し、各前記第１座標値の平均値を算出して第１位置平均値を得て、前記第１位置平均値に基づいて、前記目標対象物の高さ方向において、前記目標対象物の検出枠の、前記道路の画像における位置を調整する。

可能な一実施形態では、前記検出枠調整サブモジュールは、さらに、画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の幅方向における第２座標値を決定し、各前記第２座標値の平均値を算出して第２位置平均値を得て、前記第２位置平均値に基づいて、前記目標対象物の幅方向において前記目標対象物の検出枠の、前記道路の画像における位置を調整する。

可能な一実施形態では、前記制御モジュールは、調整された検出枠に基づいて前記目標対象物の検出縦横比を決定する検出縦横比決定サブモジュールと、前記検出縦横比と前記目標対象物の所定の縦横比との差分が差分閾値よりも大きい場合に、高さ調整値を決定する高さ調整値決定サブモジュールと、前記高さ調整値及び前記検出枠に基づいて前記車両のインテリジェント運転制御を行う第１制御サブモジュールと、を含む。

可能な一実施形態では、前記制御モジュールは、調整された検出枠に基づいて、前記車載カメラの、キャリブレーションの距離範囲が互いに異なる複数のホモグラフィーマトリックスを用いて道路における前記目標対象物の実際の位置を決定する実際位置決定サブモジュールと、道路における前記目標対象物の実際の位置に基づいて、前記車両のインテリジェント運転制御を行う第２制御サブモジュールと、を含む。

可能な一実施形態では、前記装置は、前記車両の危険領域を決定する危険領域決定モジュールと、前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の危険レベルを決定する危険レベル決定モジュールと、前記危険レベルが危険閾値を満たす場合に、危険レベル提示情報を送信する第１提示情報送信モジュールと、をさらに含む。

可能な一実施形態では、前記危険レベル決定モジュールは、前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の第１危険レベルを決定する第１危険レベル決定サブモジュールと、前記目標対象物の第１危険レベルが最高危険レベルである場合に、前記ビデオストリーム内の前記道路の画像の隣接画像において、前記目標対象物の隣接位置を決定する隣接位置決定サブモジュールと、前記隣接位置及び前記目標対象物の実際の位置に基づいて、前記目標対象物の危険レベルを決定する第２危険レベル決定サブモジュールと、を含む。

可能な一実施形態では、前記装置は、前記目標対象物と前記車両との距離、前記目標対象物の移動情報及び前記車両の移動情報に基づいて、衝突時間を取得する衝突時間取得モジュールと、前記衝突時間及び時間閾値に基づいて衝突警告情報を決定する衝突警告情報決定モジュールと、前記衝突警告情報を送信する第２提示情報送信モジュールと、をさらに含む。

可能な一実施形態では、前記第２提示情報送信モジュールは、送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在しない場合に、前記衝突警告情報を送信する、及び／又は送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在する場合に、前記衝突警告情報を送信しない第２提示情報送信サブモジュールを含む。

可能な一実施形態では、前記第２提示情報送信モジュールは、前記車両の、ブレーキ情報及び／又は操舵情報を含む運転状態情報を取得する運転状態情報取得サブモジュールと、前記運転状態情報に基づいて前記車両が対応のブレーキ及び／又は操舵処理を行っていないと判断する場合に、前記衝突警告情報を送信する第３提示情報送信サブモジュールと、を含む。

可能な一実施形態では、前記装置は、前記目標対象物と前記車両との距離を決定する距離決定装置をさらに備え、前記距離決定装置は、前記道路の画像において前記車両のナンバープレート及び／又はロゴを検出するナンバープレート・ロゴ検出サブモジュールと、前記ナンバープレート及び／又はロゴの検出結果に基づいて、前記目標対象物の参照距離を決定する参照距離決定サブモジュールと、前記参照距離に基づいて前記目標対象物と前記車両との距離を調整する距離決定サブモジュールと、を含む。

可能な一実施形態では、前記距離決定サブモジュールは、前記参照距離と、前記目標対象物と前記車両との距離との差分が差分閾値よりも大きい場合に、前記目標対象物と前記車両との距離を前記参照距離に調整し、又は、前記目標対象物と前記車両との距離と、前記参照距離との差分を算出し、前記差分に基づいて前記目標対象物と前記車両との距離を決定する。

いくつかの実施例では、本開示の実施例で提供された装置に備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。

本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体において、前記コンピュータプログラム命令がプロセッサによって実行されると、上記方法を実現させるコンピュータ可読な記憶媒体を更に提供する。コンピュータ可読記憶媒体は非揮発性コンピュータ可読記憶媒体であってよい。

本開示の実施例は、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行させるように配置される電子機器を更に提供する。

電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。

図９は例示的な一実施例に基づいて示した電子機器８００のブロック図である。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってよい。

図９を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、及び電子機器８００のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャを検出するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検出するのみならず、前記タッチまたはスライド操作に関する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラ及び／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラ及び／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び背面カメラは、固定された光学レンズ系、または焦点距離及び光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードまたは音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速及び電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体又は揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。

図１０は例示的な一実施例に基づいて示した電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図１０を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、及び、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源をさらに含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体又は揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な実体のある装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去・プログラマブル可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、一時的な信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号であると解釈されるものではない。

ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び／またはブロック図の各ブロック、及びフローチャート及び／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現させるように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／または他の機器を決定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び／またはフローチャートにおける各ブロック、及びブロック図及び／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (34)

1. 車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集することと、
   前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定することと、
   前記走行可能領域に基づいて前記目標対象物の検出枠を調整することと、
   調整された検出枠に基づいて前記車両のインテリジェント運転制御を行うことと、を含むことを特徴とする車両インテリジェント運転制御方法。
2. 前記道路の画像において前記車両の走行可能領域を決定することは、
   前記道路の画像を画像分割し、前記道路の画像から前記目標対象物がある分割領域を抽出することと、
   前記道路の画像に対して車線線検出を行うことと、
   前記車線線の検出結果及び前記分割領域に基づいて、前記道路の画像において前記車両の走行可能領域を決定することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記道路の画像において前記車両の走行可能領域を決定することは、
   前記道路の画像における前記目標対象物の全体投影領域を決定することと、
   前記道路の画像に対して車線線検出を行うことと、
   前記車線線の検出結果及び前記全体投影領域に基づいて、前記道路の画像において前記車両の走行可能領域を決定することと、を含むことを特徴とする請求項１に記載の方法。
4. 前記目標対象物は車両であり、前記目標対象物の検出枠は車両の前部又は後部の検出枠であることを特徴とする請求項１～３のいずれか一項に記載の方法。
5. 前記走行可能領域に基づいて前記目標対象物の検出枠を調整することは、
   前記検出枠の底辺に対応する前記走行可能領域のエッジを参照エッジとして決定することと、
   前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整することと、を含むことを特徴とする請求項１～４のいずれか一項に記載の方法。
6. 前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整することは、
   画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の高さ方向における第１座標値を決定することと、
   各前記第１座標値の平均値を算出して第１位置平均値を得ることと、
   前記第１位置平均値に基づいて、前記目標対象物の高さ方向において、前記目標対象物の検出枠の、前記道路の画像における位置を調整することと、を含むことを特徴とする請求項５に記載の方法。
7. 前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整することは、
   画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の幅方向における第２座標値を決定することと、
   各前記第２座標値の平均値を算出して第２位置平均値を得ることと、
   前記第２位置平均値に基づいて、前記目標対象物の幅方向において、前記目標対象物の検出枠の、前記道路の画像における位置を調整することと、を含むことを特徴とする請求項５又は６に記載の方法。
8. 調整された検出枠に基づいて前記車両のインテリジェント運転制御を行うことは、
   調整された検出枠に基づいて前記目標対象物の検出縦横比を決定することと、
   前記検出縦横比と前記目標対象物の所定の縦横比との差分が差分閾値よりも大きい場合に、高さ調整値を決定することと、
   前記高さ調整値及び前記検出枠に基づいて前記車両のインテリジェント運転制御を行うことと、を含むことを特徴とする請求項１～７のいずれか一項に記載の方法。
9. 調整された検出枠に基づいて前記車両のインテリジェント運転制御を行うことは、
   調整された検出枠に基づいて、前記車載カメラの、キャリブレーションの距離範囲が互いに異なる複数のホモグラフィーマトリックスを用いて、道路における前記目標対象物の実際の位置を決定することと、
   道路における前記目標対象物の実際の位置に基づいて、前記車両のインテリジェント運転制御を行うことと、を含むことを特徴とする請求項１～８のいずれか一項に記載の方法。
10. 前記車両の危険領域を決定することと、
    前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の危険レベルを決定することと、
    前記危険レベルが危険閾値を満たす場合に、危険レベル提示情報を送信することと、をさらに含むことを特徴とする請求項９に記載の方法。
11. 前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の危険レベルを決定することは、
    前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の第１危険レベルを決定することと、
    前記目標対象物の第１危険レベルが最高危険レベルである場合に、前記ビデオストリーム内の前記道路の画像の隣接画像において、前記目標対象物の隣接位置を決定することと、
    前記隣接位置及び前記目標対象物の実際の位置に基づいて、前記目標対象物の危険レベルを決定することと、を含むことを特徴とする請求項１０に記載の方法。
12. 前記目標対象物と前記車両との距離、前記目標対象物の移動情報及び前記車両の移動情報に基づいて、衝突時間を取得することと、
    前記衝突時間及び時間閾値に基づいて衝突警告情報を決定することと、
    前記衝突警告情報を送信することと、をさらに含むことを特徴とする請求項１～１１のいずれか一項に記載の方法。
13. 前記衝突警告情報を送信することは、
    送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在しない場合に、前記衝突警告情報を送信すること、及び／又は
    送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在する場合に、前記衝突警告情報を送信しないこと、を含むことを特徴とする請求項１２に記載の方法。
14. 前記衝突警告情報を送信することは、
    前記車両の、ブレーキ情報及び／又は操舵情報を含む運転状態情報を取得することと、
    前記運転状態情報に基づいて前記車両が対応のブレーキ及び／又は操舵処理を行っていないと判断する場合に、前記衝突警告情報を送信することと、を含むことを特徴とする請求項１～１３のいずれか一項に記載の方法。
15. 前記目標対象物と前記車両との距離を決定することは、
    前記道路の画像において前記車両のナンバープレート及び／又はロゴを検出することと、
    前記ナンバープレート及び／又はロゴの検出結果に基づいて、前記目標対象物の参照距離を決定することと、
    前記参照距離に基づいて前記目標対象物と前記車両との距離を調整することと、を含むことを特徴とする請求項１２～１４のいずれか一項に記載の方法。
16. 前記参照距離に基づいて前記目標対象物と前記車両との距離を調整することは、
    前記参照距離と、前記目標対象物と前記車両との距離との差分が差分閾値よりも大きい場合に、前記目標対象物と前記車両との距離を前記参照距離に調整すること、又は、
    前記目標対象物と前記車両との距離と、前記参照距離との差分を算出し、前記差分に基づいて前記目標対象物と前記車両との距離を決定すること、を含むことを特徴とする請求項１５に記載の方法。
17. 車両の車載カメラで前記車両があるシーンの道路の画像のビデオストリームを収集するビデオストリーム取得モジュールと、
    前記道路の画像において目標対象物を検出して、前記目標対象物の検出枠を取得し、前記道路の画像において前記車両の走行可能領域を決定する走行可能領域決定モジュールと、
    前記走行可能領域に基づいて前記目標対象物の検出枠を調整する検出枠調整モジュールと、
    調整された検出枠に基づいて前記車両のインテリジェント運転制御を行う制御モジュールと、を含むことを特徴とする車両インテリジェント運転制御装置。
18. 前記走行可能領域決定モジュールは、
    前記道路の画像を画像分割し、前記道路の画像から前記目標対象物がある分割領域を抽出する画像分割サブモジュールと、
    前記道路の画像に対して車線線検出を行う第１車線線検出サブモジュールと、
    前記車線線の検出結果及び前記分割領域に基づいて、前記道路の画像において前記車両の走行可能領域を決定する第１走行可能領域決定サブモジュールと、を含むことを特徴とする請求項１７に記載の装置。
19. 前記走行可能領域決定モジュールは、
    前記道路の画像における前記目標対象物の全体投影領域を決定する全体投影領域決定サブモジュールと、
    前記道路の画像に対して車線線検出を行う第２車線線検出サブモジュールと、
    前記車線線の検出結果及び前記全体投影領域に基づいて、前記道路の画像において前記車両の走行可能領域を決定する第２走行可能領域決定サブモジュールと、を含むことを特徴とする請求項１７に記載の装置。
20. 前記目標対象物は車両であり、前記目標対象物の検出枠は車両の前部又は後部の検出枠であることを特徴とする請求項１７～１９のいずれか一項に記載の装置。
21. 前記検出枠調整モジュールは、
    前記検出枠の底辺に対応する前記走行可能領域のエッジを参照エッジとして決定する参照エッジ決定サブモジュールと、
    前記参照エッジに基づいて、前記目標対象物の検出枠の、前記道路の画像における位置を調整する検出枠調整サブモジュールと、を含むことを特徴とする請求項１７～２０のいずれか一項に記載の装置。
22. 前記検出枠調整サブモジュールは、
    画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の高さ方向における第１座標値を決定し、
    各前記第１座標値の平均値を算出して第１位置平均値を得て、
    前記第１位置平均値に基づいて、前記目標対象物の高さ方向において、前記目標対象物の検出枠の、前記道路の画像における位置を調整することを特徴とする請求項２１に記載の装置。
23. 前記検出枠調整サブモジュールは、さらに、
    画像座標系において、前記参照エッジに含まれる画素点の、前記目標対象物の幅方向における第２座標値を決定し、
    各前記第２座標値の平均値を算出して第２位置平均値を得て、
    前記第２位置平均値に基づいて、前記目標対象物の幅方向において、前記目標対象物の検出枠の、前記道路の画像における位置を調整することを特徴とする請求項２１又は２２に記載の装置。
24. 前記制御モジュールは、
    調整された検出枠に基づいて前記目標対象物の検出縦横比を決定する検出縦横比決定サブモジュールと、
    前記検出縦横比と前記目標対象物の所定の縦横比との差分が差分閾値よりも大きい場合に、高さ調整値を決定する高さ調整値決定サブモジュールと、
    前記高さ調整値及び前記検出枠に基づいて前記車両のインテリジェント運転制御を行う第１制御サブモジュールと、を含むことを特徴とする請求項１７～２３のいずれか一項に記載の装置。
25. 前記制御モジュールは、
    調整された検出枠に基づいて、前記車載カメラの、キャリブレーションの距離範囲が互いに異なる複数のホモグラフィーマトリックスを用いて、道路における前記目標対象物の実際の位置を決定する実際位置決定サブモジュールと、
    道路における前記目標対象物の実際の位置に基づいて、前記車両のインテリジェント運転制御を行う第２制御サブモジュールと、を含むことを特徴とする請求項１７～２４のいずれか一項に記載の装置。
26. 前記車両の危険領域を決定する危険領域決定モジュールと、
    前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の危険レベルを決定する危険レベル決定モジュールと、
    前記危険レベルが危険閾値を満たす場合に、危険レベル提示情報を送信する第１提示情報送信モジュールと、をさらに含むことを特徴とする請求項２５に記載の装置。
27. 前記危険レベル決定モジュールは、
    前記目標対象物の実際の位置及び前記危険領域に基づいて、前記目標対象物の第１危険レベルを決定する第１危険レベル決定サブモジュールと、
    前記目標対象物の第１危険レベルが最高危険レベルである場合に、前記ビデオストリーム内の前記道路の画像の隣接画像において、前記目標対象物の隣接位置を決定する隣接位置決定サブモジュールと、
    前記隣接位置及び前記目標対象物の実際の位置に基づいて、前記目標対象物の危険レベルを決定する第２危険レベル決定サブモジュールと、を含むことを特徴とする請求項２６に記載の装置。
28. 前記目標対象物と前記車両との距離、前記目標対象物の移動情報及び前記車両の移動情報に基づいて、衝突時間を取得する衝突時間取得モジュールと、
    前記衝突時間及び時間閾値に基づいて衝突警告情報を決定する衝突警告情報決定モジュールと、
    前記衝突警告情報を送信する第２提示情報送信モジュールと、をさらに含むことを特徴とする請求項１７～２７のいずれか一項に記載の装置。
29. 前記第２提示情報送信モジュールは、
    送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在しない場合に、前記衝突警告情報を送信する、及び／又は
    送信された衝突警告情報に前記目標対象物の衝突警告情報の送信履歴が存在する場合に、前記衝突警告情報を送信しない第２提示情報送信サブモジュールを含むことを特徴とする請求項２８に記載の装置。
30. 前記第２提示情報送信モジュールは、
    前記車両の、ブレーキ情報及び／又は操舵情報を含む運転状態情報を取得する運転状態情報取得サブモジュールと、
    前記運転状態情報に基づいて前記車両が対応のブレーキ及び／又は操舵処理を行っていないと判断する場合に、前記衝突警告情報を送信する第３提示情報送信サブモジュールと、を含むことを特徴とする請求項１７～２９のいずれか一項に記載の装置。
31. 前記目標対象物と前記車両との距離を決定する距離決定装置をさらに備え、
    前記距離決定装置は、
    前記道路の画像において前記車両のナンバープレート及び／又はロゴを検出するナンバープレート・ロゴ検出サブモジュールと、
    前記ナンバープレート及び／又はロゴの検出結果に基づいて、前記目標対象物の参照距離を決定する参照距離決定サブモジュールと、
    前記参照距離に基づいて前記目標対象物と前記車両との距離を調整する距離決定サブモジュールと、を含むことを特徴とする請求項２８～３０のいずれか一項に記載の装置。
32. 前記距離決定サブモジュールは、
    前記参照距離と、前記目標対象物と前記車両との距離との差分が差分閾値よりも大きい場合に、前記目標対象物と前記車両との距離を前記参照距離に調整し、又は、
    前記目標対象物と前記車両との距離と、前記参照距離との差分を算出し、前記差分に基づいて前記目標対象物と前記車両との距離を決定することを特徴とする請求項３１に記載の装置。
33. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
    前記プロセッサは、請求項１～１６のいずれか一項に記載の方法を実行させるように配置されることを特徴とする電子機器。
34. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体において、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～１６のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ可読記憶媒体。

Images