JP2021140822A - 車両制御方法、車両制御装置及び車両 - Google Patents

Abstract

【課題】本出願は、車両制御方法、車両制御装置及び車両を開示し、自動運転及び深層学習技術の分野に関する。【解決手段】具体的な解決手段は、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得し、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得し、現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得し、勾配情報に基づいて、車両の縦加速度を決定し、縦加速度に基づいて車両を制御する。この解決手段により、車両が勾配を取得するコストは削減される。【選択図】図１

Description

本出願は、車両制御技術の分野に関し、具体的には、自動運転及び深層学習技術の分野に関し、特に車両制御方法、車両制御装置及び車両に関する。

自動車支援運転技術の発展に伴い、自動車インテリジェンスの発展傾向が急速になっている。インテリジェントパーキングを実現し、運転者が自動的に駐車することを支援するために、自律駐車システムは登場している。

自動駐車システム（Ａｕｔｏｍａｔｉｃ Ｐａｒｋｉｎｇ Ｓｙｓｔｅｍ、ＡＰＳ）は、主に感知ユニット、中央制御装置、ステアリングアクチュエータ及びヒューマンコンピュータインタラクションモジュールで構成され、ユーザの命令に応じて車両を指定された駐車スペースに自動的に駐車することができる。車両の制御プロセスでは、車両の前方の道路区間の勾配情報は、車両の自動制御にとって非常に重要である。

本出願は、車両制御方法、車両制御装置、車両及び記憶媒体を提供する。

第１の態様では、本出願の実施例は、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得するステップと、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得するステップと、現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得するステップと、勾配情報に基づいて、車両の縦加速度を決定するステップと、縦加速度に基づいて、車両を制御するステップと、を含む車の制御方法を提供する。

第２の態様では、本出願の実施例は、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得するように構成される第１の取得モジュールと、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得するように構成される第２の取得モジュールと、現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得するように構成される第３の取得モジュールと、勾配情報に基づいて、車両の縦加速度を決定するように構成される第１の決定モジュールと、縦加速度に基づいて、車両を制御するように構成される制御モジュールと、を含む車両制御装置を提供スる。

第３の態様では、本出願の実施例は、少なくとも一つのプロセッサと、少なくともつのプロセッサに通信可能に接続されたメモリとを含み、メモリには少なくとも１つのプロセッサで実行可能な命令が記憶されており、命令が少なくとも１つのプロセッサに実行される場合、少なくとも１つのプロセッサが本出願の第１の態様に記載の車両制御方法を実行可能である車両を提供する。

第４の態様では、本出願の実施例は、コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、コンピュータ命令は、コンピュータに本出願の第１の態様に記載の車両制御方法を実行させる非一時的コンピュータ読み取り可能な記憶媒体を提供する。
第５の態様では、本出願の実施例は、コンピュータに本出願の第１の態様に記載の車両制御方法を実行させるコンピュータプログラムを提供する。

この概要部分で説明される内容は、本開示の実施例の肝心な特徴又は重要な特徴を標識することを意図しておらず、本開示の範囲を限定するものでもないことを理解されたい。本開示の他の特徴は、以下の説明により理解されやすくなる。

図面は、この解決手段をよりよく理解するために使用され、本出願を限定するものではない。
本出願の第１の実施例による概略図である。 本出願の第２の実施例による概略図である。 本出願の第３の実施例による概略図である。 本出願の第４の実施例による概略図である。 本出願の第５の実施例による概略図である。 本出願の第６の実施例による概略図である。 本出願の実施例による車両制御方法を実現するための車両のブロック図である。

以下に図面を参照して本出願の例示的な実施例を説明し、理解を容易にするために、その中には本出願の実施例の様々な詳細が含まれており、それらは、単なる例示的なものとみなされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、公知の機能及び構造ついての説明を省略する。

従来の自動駐車システムでは、通常、車両に慣性計測ユニット（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）又は高精度マップを搭載することで勾配を取得し、勾配に基づいて車両を制御する。しかし、ＩＭＵのコストは、駐車システム全体に比べて高く、高精度マップは、駐車システム全体に比べてコストがより高くかつメンテナンスコストも高い。

以下に図面を参照して本出願の実施例による車両制御方法、車両制御装置、車両及び記憶媒体を説明する。

図１は、本出願の１つの実施例による車両制御方法のフローチャートである。なお、本出願の実施例による車両制御方法は、本出願の実施例による車両制御装置に適用されてもよく、この装置が車両に設けられてもよいし、車両と通信してそれを制御する電子機器に適用されてもよく、電子機器が端末機器又はサーバーを含むことができる。

Ｓ１０１において、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得する。

本出願の実施例では、車両の使用中に、ユーザが自動的に駐車する必要がある場合、ユーザは、車両内の自動駐車機能に対応する制御コンポーネントをトリガーすることにより、車両の自動駐車機能をトリガーすることができ、これに応じて、車両の自動駐車機能がトリガーされた後、車両内の画像収集モジュールによって車両の前方の現在の画像を収集することができ、例えば、画像収集モジュールは、カメラであり、車両内のカメラは、車両のフロントガラスに取り付けられてもよく、車両のフロントガラス上のカメラによって車両の前方の現在の画像をリアルタイムで収集して、車両の前方の現在の画像を取得することができる。

本出願の別の実施例では、ユーザが、車両が指定された駐車スペースから指定された場所まで自動運転することを必要とするとき、ユーザは、インテリジェント端末を介して対応する制御命令を車両に送信することができ、これに応じて、車両は、制御命令を受信し、この制御命令に応答して、車両内の画像収集モジュールによって車両の前方の現在の画像を収集し、取得された現在の画像に基づいて後続の制御を実行する。

ここで、車両の前方の現在の画像は、撮影された写真画像であってもよいし、撮影されたビデオ画像であってもよい。

ここで、本実施例において、車両は、フロントガラスに取り付けられたカメラに加えて、車両の前部、側面、さらには後部など、車両の他の位置に設けられたカメラも使用できることを理解されたい。

本出願の実施例では、駐車軌跡経路については、現在の車両とマッチングする車両データを収集した後、車両データに基づいて駐車軌跡経路を生成する。

具体的には、現在の車両とマッチングする車両データを収集し、その内部の軌跡計画アルゴリズムにより駐車軌跡経路を生成して、車両の駐車軌跡を取得することができる。

ここで、現在の車両とマッチングする車両データを収集することは、車両上のカメラや超音波レーダーなどのセンサーによって収集された車両データを収集することを指す。

本出願の一つの実施例では、車両内の画像収集モジュールによって車両の走行ビデオをリアルタイムで収集することができ、走行ビデオから車両の駐車軌跡ビデオを取得して、駐車軌跡ビデオから駐車軌跡経路を決定することができる。

Ｓ１０２において、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得する。

本実施例では、保存された、各駐車軌跡経路と深層畳み込みニューラルネットワークモデルとの対応関係に応じて、当該駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得することができる。

ここで、本実施例における駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルは、駐車軌跡経路における各サンプル軌跡点に対応する画像及び各サンプル軌跡点の勾配情報に基づいて、初期ニューラルネットワークモデルをトレーニングすることによって得られる。

Ｓ１０３において、現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得する。

ここで、勾配情報は、勾配タイプ及び勾配値を含むがこれらに限定されず、勾配タイプは、上り坂、下り坂などを含む。

例えば、車両が自動駐車するプロセスでは、車両の現在の画像をリアルタイムで取得し、車両の現在の画像を駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルに入力し、深層畳み込みニューラルネットワークモデルにより、軌跡経路に対応する勾配情報に基づいて車両の前方の道路区間の勾配情報を取得することができる。

Ｓ１０４において、勾配情報に基づいて、車両の縦加速度を決定する。

具体的には、車両の前方の道路区間の勾配情報が取得された後、車両に対応する初期縦加速度を使用することができ、ここで、車両に対応する初期縦加速度がリアルタイムで取得されてもよいし、周期的に取得されてもよく、勾配情報に基づいて車両の初期縦加速度を調整して、車両の縦加速度を取得する。

ここで、初期縦加速度とは、勾配のある道路区間に入る直前方の車両の縦加速度、即ち、勾配のある道路区間に入るときの車両の対応する加速度値を指す。

勾配情報のうちの勾配タイプ及び勾配値に基づいて車両の初期加速度を調整することができることを理解されたい。ここで、上り坂区間に対して、それに対応する勾配が大きいほど、車両の縦加速度が大きい。下り坂区間に対して、下り坂区間に対応する勾配が大きいほど、車両の縦加速度が小さい。

Ｓ１０５において、縦加速度に基づいて、車両を制御する。

具体的には、前方の道路区間の勾配情報に基づいて車両の縦加速度を決定した後、決定された縦加速度に基づいて車両の運転制御を行うことができ、その結果、車両は、決定された縦加速度に基づいて車両の前方の道路区間を通過する。

本出願の実施例による車両制御方法では、車両の制御プロセスにおいて、車両の前方の現在の画像をリアルタイムで取得し、かつ車両の駐車軌跡経路を取得し、次に駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得し、次に現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得し、勾配情報に基づいて、車両の縦加速度を決定し、最後に、縦加速度に基づいて、車両を制御する。現在の画像を駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルに入力して、勾配情報を取得し、勾配情報に基づいて縦加速度を決定し、縦加速度に基づいて車両の制御を実現する。これにより、慣性計測ユニット又は高精度マップより勾配情報を取得することによって勾配取得コストが高くかつメンテナンスコストが高いという問題が回避され、車両が勾配を取得するコストは削減される。

当業者に本出願をより容易に理解させるために、図２は、本出願の１つの具体的な実施例による車両制御方法のフローチャートである。図２に示すように、当該車両制御方法は、以下のステップＳ２０１〜ステップＳ２１０を含むことができる。

Ｓ２０１において、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得する。

例えば、車両内の画像収集モジュールは、車両のフロントガラスのカメラ内に取り付けられてもよい。自動駐車要求を受信する場合、車両のフロントガラスに取り付けられたカメラによって、車両の前方の現在の画像をリアルタイムで収集することができ、これにより、車両は、車両の前方の現在の画像を取得することができる。

例えば、自動駐車ボタンをクリックするか、「自動駐車してください」という音声命令を入力することにより、自動駐車要求を受信することができる。

本出願の実施例では、車両の現在の位置を取得し、現在の位置に基づいて車両の駐車軌跡経路を決定することができる。

ここで、車両内の測位システムにより車両の現在の位置を測位して、車両の現在の位置を取得することができる。

具体的には、車両の現在の位置が取得された場合、車両の現在の位置の属する駐車軌跡経路を決定し、車両の現在の位置の属する駐車軌軌跡経路を現在の駐車軌跡経路として使用することができる。
ここで、駐車軌跡経路は、車両の現在の位置から駐車スペースの位置までの経路として理解されてもよい。

ここで、本出願の実施例では、駐車スペースは、予め設定されてもよい。

１つの可能な実現形態として、車両内の収集モジュールによって車両の走行軌跡ビデオを収集することができ、走行軌跡ビデオから、駐車軌跡の特徴に基づいて駐車軌跡ビデオを取得し、駐車軌跡ビデオ内の駐車軌跡経路を取得することができる。

別の可能な実現形態として、車載ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、全地球測位システム）システムによって車両の走行軌跡をリアルタイムで収集して保存することができ、保存された走行軌跡をｋｍｌ又はｇｐｘフォーマットのデータに変換して仮想地図ソフトウェアにロードすることで、車両の駐車軌跡経路を取得することができる。

ここで、仮想地図ソフトウェアは、衛星写真、航空写真、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ、地理情報システム）を地球の３次元モデルに配置することで構成され、例えば、仮想地図ソフトウェアは、Ｇｏｏｇｌｅ Ｅａｒｔｈ（グーグルアース）であってもよい。

Ｓ２０２において、駐車軌跡経路内の複数のサンプル軌跡点のそれぞれに対応する画像フレームを取得する。

ここで、駐車軌跡経路には、複数の経路が含まれてもよく、各経路には、対応する区間、例えば、上り坂区間、下り坂区間などがあり、各区間には複数の軌跡点が含まれる。

つまり、車両の駐車軌跡経路が取得され、駐車軌跡経路に複数の軌跡点が含まれ、車両軌跡経路内の複数のサンプル軌跡点のそれぞれに対応する画像フレームを取得することができる。ここで、画像フレームは、車両の走行シーン情報を示している。

Ｓ２０３において、各サンプル軌跡点に基づいて、各画像フレームのそれぞれに対応する勾配情報を取得する。

本出願の実施例では、複数のサンプル軌跡点のそれぞれに対応する画像フレームが取得された後、各画像フレームに対応するカメラパラメータを取得し、次に各画像フレーム及び各画像フレームに対応すカメラパラメータに基づいて３次元モデリングを行って、３次元モデルを取得し、次に各画像フレームに対応するカメラパラメータに基づいて、各サンプル軌跡点の３次元モデルにおける空間位置をそれぞれ決定し、各サンプル軌跡点の３次元モデルにおける空間位置に基づいて、各サンプル軌跡点の勾配情報を決定し、次に各サンプル軌跡点の勾配情報を対応する画像フレームに対応する勾配情報として使用することができる。具体的な実現プロセスは、後続の実施例を参照することができる。

Ｓ２０４において、各画像フレーム及び対応する勾配情報に基づいて、初期深層畳み込みニューラルネットワークモデルをトレーニングして、深層畳み込みニューラルネットワークモデルを取得する。

例えば、画像フレームに対応する勾配情報をラベルとして使用し、各画像フレーム及び勾配情報ラベルに基づいて、初期深層畳み込みニューラルネットワークモデルをトレーニングし、トレーニングされた深層畳み込みニューラルネットワークモデルを取得することができる。

本実施例では、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルが、収集された現在の画像に基づいて、車両の前方の道路区間の勾配情報を正確に決定することができるように、当該深層畳み込みニューラルネットワークモデルを使用する前に、この駐車軌跡経路上の複数のサンプル軌跡点の画像フレーム及び画像フレームに対応する勾配情報を組み合わせて、初期深層畳み込みニューラルネットワークモデルをトレーニングすることにより、トレーニングされた深層畳み込みニューラルネットワークモデルは、その後で画像に基づいて車両の前方の道路区間の勾配情報を正確に決定することができる。

Ｓ２０５において、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得する。

Ｓ２０６において、現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得する。

具体的には、車両の現在の画像を、トレーニングされた深層畳み込みニューラルネットワークモデルに入力することができ、ここで、車両の現在の画像には、複数の道路区間が含まれてもよく、各道路区間が複数の画像フレームを含み、深層畳み込みニューラルネットワークモデルは、画像フレームに対応する勾配情報に基づいて、複数の画像フレームに対応する勾配情報を出力することができ、車両の前方の道路区間の勾配情報を取得することができる。

Ｓ２０７において、車両に対して設定された目標速度を取得し、かつ車両の現在の速度を取得する。

ここで、車両の目標速度を予め設定することができ、車両の走行中の履歴速度のうち、出現回数が多い速度を車両の目標速度として使用することもできる。

例えば、車両が駐車モードに入ったことが検出された場合、車両の現在の速度を取得することができる。

ここで、駐車ボタンが押されたという情報が検出された場合、この情報をＣＡＮ命令を介して駐車コントローラーに送信し、車両の駐車コントローラーが駐車モードに入るように車両を制御し、車両が駐車モードに入ったことを検出した場合、車両の現在の速度を取得する。

ここで、車速センサによって車両の現在の速度をリアルタイムで直接取得することができ、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、コントローラエリアネットワーク）バスを介して車両エンジンのデータを読み取って、車両の現在の速度を取得することもでき、ダッシュボード画像データを取得し、このダッシュボード画像データから車両の現在の速度を抽出するなど、ダッシュボード画像データを読み取って、車両の現在の速度を取得することもできる。

Ｓ２０８において、目標速度と現在の速度に基づいて、車両の初期縦加速度を決定する。

例えば、ａ_ｘ＝Δｖ／Δｔ＝（ｖ_ｎ−ｖ_ｎ−１）／Δｔの式により、車両の縦加速度ａ_ｘを取得することができる。ここで、Δｔが現在の速度から目標速度まで走行するのに必要な時間であり、ｖ_ｎが事前走行経路の目標速度であり、ｖｎ−１が事前走行経路の現在の速度である。

Ｓ２０９において、勾配情報に基づいて、初期縦加速度を修正して、車両の縦加速度を取得する。

例えば、勾配タイプが上り坂である場合、必要な加速度は大きく、即ち、初期縦加速度を修正し、修正された縦加速度を取得し、勾配タイプが下り坂である場合、必要な加速度は小さく、即ち、初期縦加速度を修正し、修正された縦加速度を取得する。

Ｓ２１０において、縦加速度に基づいて、車両を制御する。

具体的には、前方の道路区間の勾配情報に基づいて車両の縦加速度を決定した後、決定された縦加速度に基づいて車両の運転制御を行うことができ、これにより、車両は、決定された縦加速度に基づいて車両の前方の道路区間を通過する。

本出願の実施例による車両制御方法では、車両の自動駐車プロセスにおいて、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得し、次に駐車軌跡経路内の複数のサンプル軌跡点のそれぞれに対応する画像フレームを取得し、各サンプル軌跡点に基づいて、各画像フレームのそれぞれに対応する勾配情報を取得し、各画像フレームと対応する勾配情報とに基づいて、初期深層畳み込みニューラルネットワークモデルをトレーニングして、深層畳み込みニューラルネットワークモデルを取得し、次に現在の画像を層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得し、次に車両の縦加速度を決定することで、車両への制御を実現する。この方法は、３次元モデリングに基づいて、深層畳み込みニューラルネットワークモデルのトレーニングを実現し、現在の画像をトレーニングされた深層畳み込みニューラルネットワークモデルに入力して、勾配情報を取得し、目標速度と現在の速度とに基づいて、車両の初期縦加速度を決定し、かつ初期縦加速度を修正し、縦加速度に基づいて車両の制御を実現する。慣性計測ユニット又は高精度マップによって勾配情報を取得するため、勾配取得コストが高くかつメンテナンスコストが高いという問題が回避され、取得された勾配情報はより精確になり、車両が勾配を取得するコストは削減される。

ここで、本出願の実施例では、図３に示すように、各サンプル軌跡点に基づいて、各画像フレームのそれぞれに対応する勾配情報を取得する具体的な実施形態は、次のとおりである。

Ｓ３０１において、各画像フレームに対応するカメラパラメータを取得する。

ここで、カメラパラメータ情報は、外部パラメータ、内部パラメータ、歪みパラメータの少なくとも１つを含む。

本出願の実施例では、各画像フレームの少なくとも１つの特徴点を取得し、各画像フレームの特徴点をマッチングして、各画像フレームとマッチングする少なくとも１つの他の画像フレームを取得して、画像ペアを形成し、次に画像ペア内の各画像フレーム内の特徴点の位置情報に基づいて、基本マトリックスを解くことにより、各画像フレームに対応するカメラパラメータを取得することができる。

具体的には、特徴点は、画像フレーム内のいくつかの特殊な点であり、いくつかの特殊な属性を有し、特徴点を使用して画像内の重要な情報を説明する。画像特徴は、主に線特徴、コーナーポイント特徴などを含み、異なる特徴は、異なる特徴記述子で記述することができる。異なる特徴抽出アルゴリズムを使用して、画像フレーム内の特徴点を検出し、例えばＳＩＦＴアルゴリズムを使用して画像フレーム内のＳＩＦＴ（英語のフルネームはＳｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、中国語のフルネームはスケール不変特徴変換）特徴点を取得することができる。ＳＩＦＴ特徴点は、ロバスト性が優れ、スケールと回転の不変性を有する。

次に、各画像フレームの特徴点が抽出された後、各画像フレームの特徴点に基づいてマッチングし、１つの画像フレーム内の特徴点の別の画像フレームおける対応する特徴点を見つけることができ、これらの画像フレームを画像ペアに形成することができる。

次に、上記の特徴点のマッチングを行った後、形成された画像ペアについて、画像ペアの各画像フレーム内の特徴点の位置情報に基づいてマトリックス計算を行い、例えば、内部パラメータマトリックス計算及び外部パラメータマトリックス計算を行い、各画像フレームに対応する外部パラメータ及び内部パラメータを取得することができる。

Ｓ３０２において、各画像フレーム及び各画像フレームに対応するカメラパラメータに基づいて３次元モデリングを行って、３次元モデルを取得する。

各画像フレームに基づいて、走行シーンを３次元再構成するプロセスでは、既存の３次元再構成方法、例えばＳＦＭ（英語のフルネーム：Ｓｔｒｕｃｔ Ｆｒｏｍ Ｍｏｔｉｏｎ、中国語のフルネーム：モーション回復構造）アルゴリズムに基づく３次元再構成方法を使用することができる。当然、他の３次元再構成アルゴリズムも使用することができ、本実施例では、これらに限定されない。本実施例では、ＳＦＭに基づく３次元再構成プロセスのみを例として説明する。

ここで、ＳＦＭアルゴリズムは、特徴抽出、特徴マッチング、マトリックス計算、３次元再構成などのステップを含む。

各画像フレーム内の各特徴点について、画像ペア内の各画像フレーム内のこの特徴点の位置情報、及び各画像フレームの外部パラメータ、内部パラメータに基づいて、この特徴点に対応する３次元点の位置を計算し、複数の３次元点は、３次元モデルを構成する。

Ｓ３０３において、各画像フレームに対応するカメラパラメータに基づいて、各サンプル軌跡点の３次元モデルにおける空間位置をそれぞれ決定する。

具体的には、３次元モデル、及び各画像フレームに対応するカメラパラメータに基づいて、各サンプル軌跡点の３次元モデルにおける区間位置を決定することができる。

別の選択可能な実施形態では、計算プロセスを簡略化するために、３次元モデルにおけるカメラ位置は、車両の３次元モデルにおける位置として路面の位置に垂直に投影されてもよい。具体的には、３次元モデル及び各画像フレームのカメラパラメータに基づいて、３次元モデルにおけるこの画像フレームの撮影時点の位置を取得した後、３次元モデルで路面の位置を見つけ、カメラの３次元モデルにおける位置を路面に垂直に移動させて、車両の３次元モデルにおける位置を取得する。

Ｓ３０４において、各サンプル軌跡点の３次元モデルにおける空間位置に基づいて、各サンプル軌跡点の勾配情報を決定する。

本実施例では、各サンプル軌跡点の３次元モデルにおける空間位置が決定された後、各サンプル軌跡点の３次元モデルにおける空間位置に基づいて、各サンプル軌跡点の勾配情報を決定することができる。

Ｓ３０５において、各サンプル軌跡点の勾配情報を対応する画像フレームに対応する勾配情報として使用する。

これにより、本実施例では、３次元モデリングにより、各画像フレームのそれぞれに対応する勾配情報を取得することができ、取得された勾配情報はより精確になり、さらに、この勾配情報に基づいてトレーニングされた深層畳み込みニューラルネットワークの精度を向上させることができ、これにより、その後この深層畳み込みニューラルネットワークモデルに基づいて対応する画像に対応する勾配情報を正確に決定することは容易になる。

上記のいくつかの実施例による車両制御方法に対応して、本出願の実施例は、車両制御装置をさらに提供する。本出願の実施例による車両制御装置が上記のいくつかの実施例による車両制御方法に対応するため、車両制御方法の実施形態も本実施例による車両制御装置に適用するため、本実施例では詳細な説明を省略する。図４〜図６は、本出願の１つの実施例による車両制御装置の構成図である。

図４に示すように、この車両制御装置４００は、第１の取得モジュール４０１、第２の取得モジュール４０２、第３の取得モジュール４０３、第１の決定モジュール４０４及び制御モジュール４０５を含む。

第１の取得モジュール４０１は、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得するように構成され、一例として、第１の取得モジュール４０１は、車両の現在の位置を取得するように構成される第１の取得ユニットと、現在の位置に基づいて、車両の駐車軌跡経路を決定するように構成される第１の決定ユニットとを含む。

第２の取得モジュール４０２は、駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得するように構成される。

第３の取得モジュール４０３は、現在の画像を前記深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得するように構成される。

第１の決定モジュール４０４は、勾配情報に基づいて、車両の縦加速度を決定するように構成され、一例として、第１の決定モジュール４０４は、勾配情報に基づいて、初期縦加速度を修正して、車両の縦加速度を取得するように構成される。

制御モジュール４０５は、縦加速度に基づいて車両を制御するように構成される。

本出願の実施例による車両制御装置は、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得し、次に駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得し、次に現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得し、勾配情報に基づいて、車両の縦加速度を決定し、最後に、縦加速度に基づいて車両を制御する。現在の画像を駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルに入力して、勾配情報を取得し、勾配情報に基づいて縦加速度を決定し、縦加速度に基づいて車両の制御を実現する。慣性計測ユニット又は高精度マップにより勾配情報を取得するため、勾配取得コストが高くかつメンテナンスコストが高いという問題が回避され、車両が勾配を取得するコストは削減される。

本出願の１つの実施例によれば、図５の５０１〜５０５が図４の４０１〜４０５と同じ機能及び構成を備え、図５に示すように、第２の取得モジュール５０２の前に、装置は、駐車軌跡経路内の複数のサンプル軌跡点のそれぞれに対応する画像フレームを取得するように構成される第５の取得モジュール５０６と、各サンプル軌跡点に基づいて、各画像フレームのそれぞれに対応する勾配情報を取得するように構成される第６の取得モジュール５０７と、各画像フレーム及び対応する勾配情報に基づいて、初期深層畳み込みニューラルネットワークモデルをトレーニングして、深層畳み込みニューラルネットワークモデルを取得するように構成される第７の取得モジュール５０８とをさらに含む。

本出願の実施例では、第６の取得モジュール５０７は、各画像フレームに対応するカメラパラメータを取得するように構成される第２の取得ユニットと、各画像フレーム及び各画像フレームに対応するカメラパラメータに基づいて３次元モデリングを行って、３次元モデルを取得するように構成される第３の取得ユニットと、各画像フレームに対応するカメラパラメータに基づいて、各サンプル軌跡点の３次元モデルにおける空間位置をそれぞれ決定するように構成される第２の決定ユニットと、各サンプル軌跡点の３次元モデルにおける空間位置に基づいて、各サンプル軌跡点の勾配情報を決定するように構成される第３の決定ユニットと、各サンプル軌跡点の勾配情報を対応する画像フレームに対応する勾配情報として使用するように構成される第４の決定ユニットとを含む。

本出願の１つの実施例によれば、図６の６０１〜６０８は図５の５０１〜５０８と同じ機能及び構成を備え、図６に示すように、第１の決定モジュール６０４の前に、装置は、車両に対して設定された目標速度を取得し、かつ車両の現在の速度を取得するように構成される第４の取得モジュール６０９と、目標速度と現在の速度とに基づいて、車両の初期縦加速度を決定するように構成される第２の決定モジュール６１０とをさらに含む。

本出願の実施例によれば、本出願は、車両と読み取り可能な記憶媒体とをさらに提供する。

図７は、本出願の実施例による車両制御方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピューター及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、さらにパーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似するコンピューティングデバイスなどの様々な形態の移動装置を表すこともできる。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は、例だけであり、かつ本明細書での説明及び／又は要求される本出願の実現を制限することを意図するものではない。

図７に示すように、この車両は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インターフェース及び低速インターフェースを含む、各コンポーネントを接続するためのインタフェースとを含む。各コンポーネントは、異なるバスで相互に接続され、かつ共通のマザーボードに取り付けられてもよいか、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力／出力装置（インタフェースに結合された表示装置など）にＧＵＩのグラフィック情報を表示するためにメモリ内又はメモリ上に記憶される命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要の場合、複数のプロセッサ及び／又は複数のバスを複数のプロセッサと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、部分の必要な操作（例えば、サーバーアレイ、１組のブレードサーバーグ、又はマルチプロセッサシステムとする）を提供することができる。図７では、一つのプロセッサ７０１は例として挙げられる。

メモリ７０２は、本出願による非一時的コンピュータ読み取り可能な記憶媒体である。ここで、メモリは、少なくとも１つのプロセッサで実行可能な命令を記憶しており、前記少なくとも１つのプロセッサに本出願による車両制御方法を実行させる。本出願の非一時的コンピュータ読み取り可能な記憶媒体は、コンピュータに本出願による車両制御方法を実行させるためのコンピュータ命令を記憶する。

メモリ７０２は、非一時的コンピュータ読み取り可能な記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム及びモジュール、例えば本出願の実施例における車両制御方法に対応するプログラム命令／モジュール（例えば、図４に示す第１の取得モジュール４０１、第２の取得モジュール４０２、第３の取得モジュール、第１の決定モジュール４０４及び制御モジュール４０５）を記憶するために使用されてもよい。プロセッサ７０１は、メモリ７０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバーの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例ににおける車両制御方法を実現する。

メモリ７０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域がオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域が、車両制御が行わる車両の使用に応じて作成されたデータを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを含むことができ、非一時的メモリ、例えば少なくとも一つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的ソリッドステートストレージデバイスをさらに含むことができる。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に設けられたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して車両制御が行われる車両に接続されてもよい。上記ネットワークの実施例は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。

車両制御方法を実現するための車両は、入力装置７０３と出力装置７０４とをさらに含むことができる。プロセッサ７０１、メモリ７０２、入力装置７０３と出力装置７０４は、バス又は他の方式で接続されてもよく、図７ではバスで接続されることが例として挙げられる。

入力装置７０３は、入力された数字又は文字情報を受信し、車両の制御が行われる車両のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置７０４は、表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイとプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置は、タッチスクリーンであってもよい。

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、この一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能システムで実行及び／又は解釈されてもよく、このプログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令をこの記憶システム、この少なくとも一つの入力装置及びこの少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、かつ高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語で実現されてもよい。本明細書で使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、本明細書で説明されるシステム及び技術をコンピュータで実施することができ、このコンピュータは、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、このキーボード及びこのポインティングデバイスによって入力をコンピュータに提供することができる。
他の種類の装置は、ユーザとのインタラクションを提供するために使用されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かつ任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

本明細書で説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは当該グラフィカルユーザインタフェース又は当該ウェブブラウザによって本明細書で説明されるシステム及び技術の実施形態とのインタラクションを行う）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施されてもよい。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般的に、互いに離れており、通常、通信ネットワークを介してインタラクションを行う。
クライアントとサーバとの関係は、対応するコンピュータ上で実行されかつ相互にクライアント−サーバー関係を有するコンピュータプログラムによって生成される。

本出願の実施例の技術的解決手段によれば、車両の前方の現在の画像を取得し、かつ車両の駐車軌跡経路を取得し、次に駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得し、次に現在の画像を深層畳み込みニューラルネットワークモデルに入力して、車両の前方の道路区間の勾配情報を取得し、勾配情報に基づいて、車両の縦加速度を決定し、最後に、縦加速度に基づいて、車両を制御する。現在の画像を駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルに入力し、勾配情報を取得し、勾配情報に基づいて縦加速度を決定し、縦加速度に基づいて車両の制御を実現する。慣性計測ユニット又は高精度マップにより勾配情報を取得するため、勾配取得コストが高くかつメンテナンスコストが高いという問題が回避され、車両が勾配を取得するコストは削減される。

上記に示される様々な形態のフローを使用して、ステップを再並べ替え、追加、又は削除することができることを理解すべきである。例えば、本出願に記載されている各ステップは、本出願で開示されている技術案の所望の結果さえ達成すれば、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本明細書では限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するためのものではない。当業者は、設計要件及び他の要因に従って、様々な修正、組み合わせ、サブコンビネーション及び置換を行うことができることを理解すべきである。本出願の精神及び原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも本出願の範囲内に含まれるべきである。

Claims (13)

1. 車両の前方の現在の画像を取得し、かつ前記車両の駐車軌跡経路を取得するステップと、
   前記駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得するステップと、
   前記現在の画像を前記深層畳み込みニューラルネットワークモデルに入力して、前記車両の前方の道路区間の勾配情報を取得するステップと、
   前記勾配情報に基づいて、前記車両の縦加速度を決定するステップと、
   前記縦加速度に基づいて、前記車両を制御するステップとを含む、
   ことを特徴とする車両制御方法。
2. 前記車両の駐車軌跡経路を取得するステップは、
   前記車両の現在の位置を取得するステップと、
   前記現在の位置に基づいて、前記車両の駐車軌跡経路を決定するステップとを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記勾配情報に基づいて、前記車両の縦加速度を決定するステップの前に、前記方法は、
   前記車両に対して設定された目標速度を取得し、かつ前記車両の現在の速度を取得するステップと、
   前記目標速度と前記現在の速度とに基づいて、前記車両の初期縦加速度を決定するステップとをさらに含み、
   前記勾配情報に基づいて、前記車両の縦加速度を決定するテップは、
   前記勾配情報に基づいて、前記初期縦加速度を修正して、前記車両の縦加速度を取得するステップを含む、
   ことを特徴とする請求項１に記載の方法。
4. 前記駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得するステップの前に、前記方法は、
   前記駐車軌跡経路内の複数のサンプル軌跡点のそれぞれに対応する画像フレームを取得するステップと、
   各前記サンプル軌跡点に基づいて、各前記画像フレームのそれぞれに対応する勾配情報を取得するステップと、
   各前記画像フレーム及び対応する勾配情報に基づいて、初期深層畳み込みニューラルネットワークモデルをトレーニングして、前記深層畳み込みニューラルネットワークモデルを取得するステップとをさらに含む、
   ことを特徴とする請求項１に記載の方法。
5. 各前記サンプル軌跡点に基づいて、各前記画像フレームのそれぞれに対応する勾配情報を取得するステップは、
   各前記画像フレームに対応するカメラパラメータを取得するステップと、
   各前記画像フレーム及び各前記画像フレームに対応するカメラパラメータに基づいて３次元モデリングを行って、３次元モデルを取得するステップと、
   各前記画像フレームに対応するカメラパラメータに基づいて、各前記サンプル軌跡点の前記３次元モデルにおける空間位置をそれぞれ決定するステップと、
   各前記サンプル軌跡点の前記３次元モデルにおける空間位置に基づいて、各前記サンプル軌跡点の勾配情報を決定するステップと、
   各前記サンプル軌跡点の勾配情報を対応する画像フレームに対応する勾配情報として使用するステップとを含む、
   ことを特徴とする請求項４に記載の方法。
6. 車両の前方の現在の画像を取得し、かつ前記車両の駐車軌跡経路を取得するように構成される第１の取得モジュールと、
   前記駐車軌跡経路に対応する深層畳み込みニューラルネットワークモデルを取得するように構成される第２の取得モジュールと、
   前記現在の画像を前記深層畳み込みニューラルネットワークモデルに入力して、前記車両の前方の道路区間の勾配情報を取得するように構成される第３の取得モジュールと、
   前記勾配情報に基づいて、前記車両の縦加速度を決定するように構成される第１の決定モジュールと、
   前記縦加速度に基づいて、前記車両を制御するように構成される制御モジュールとを含む、
   ことを特徴とする車両制御装置。
7. 第１の取得モジュールは、
   前記車両の現在の位置を取得するように構成される第１の取得ユニットと、
   前記現在の位置に基づいて、前記車両の駐車軌跡経路を決定するように構成される第１の決定ユニットとを含む、
   ことを特徴とする請求項６に記載の装置。
8. 第１の決定モジュールの前に、前記装置は、
   前記車両に対して設定された目標速度を取得し、かつ前記車両の現在の速度を取得するように構成される第４の取得モジュールと、
   前記目標速度と前記現在の速度とに基づいて、前記車両の初期縦加速度を決定するように構成される第２の決定モジュールとをさらに含み、
   前記第１の決定モジュールは、前記勾配情報に基づいて、前記初期縦加速度を修正して、前記車両の縦加速度を取得するように構成される、
   ことを特徴とする請求項６に記載の装置。
9. 第２の決定モジュールの前に、前記装置は、
   前記駐車軌跡経路内の複数のサンプル軌跡点のそれぞれに対応する画像フレームを取得するように構成される第５の取得モジュールと、
   各前記サンプル軌跡点に基づいて、各前記画像フレームのそれぞれに対応する勾配情報を取得するように構成される第６の取得モジュールと、
   各前記画像フレーム及び対応する勾配情報に基づいて、初期深層畳み込みニューラルネットワークモデルをトレーニングして、前記深層畳み込みニューラルネットワークモデルを取得するように構成される第７の取得モジュールとをさらに含む、
   ことを特徴とする請求項６に記載の装置。
10. 第６の取得モジュールは、
    各前記画像フレームに対応するカメラパラメータを取得するように構成される第２の取得ユニットと、
    各前記画像フレーム及び各前記画像フレームに対応するカメラパラメータに基づいて３次元モデリングを行って、３次元モデルを取得するように構成される第３の取得ユニットと、
    各前記画像フレームに対応するカメラパラメータに基づいて、各前記サンプル軌跡点の前記３次元モデルにおける空間位置をそれぞれ決定するように構成される第２の決定ユニットと、
    各前記サンプル軌跡点の前記３次元モデルにおける空間位置に基づいて、各前記サンプル軌跡点の勾配情報を決定するように構成される第３の決定ユニットと、
    各前記サンプル軌跡点の勾配情報を対応する画像フレームに対応する勾配情報として使用するように構成される第４の決定ユニットとを含む、
    ことを特徴とする請求項９に記載の装置。
11. 車両であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
    前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが請求項１〜５のいずれか一項に記載の車両制御方法を実行可能である、
    ことを特徴とする車両。
12. コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項１〜５のいずれか一項に記載の車両制御方法を実行させる、
    ことを特徴とする非一時的コンピュータ読み取り可能な記憶媒体。
13. コンピュータに請求項１〜５のいずれか一項に記載の車両制御方法を実行させる、
    ことを特徴とするコンピュータプログラム。

Images