JP2020125102A

JP2020125102A - ライダ、レーダ及びカメラセンサのデータを使用する強化学習に基づく自律走行時の最適化されたリソース割当てのための方法及び装置

Info

Publication number: JP2020125102A
Application number: JP2020004217A
Authority: JP
Inventors: 金桂賢; Kye-Hyeon Kim; 金鎔重; Yongjoong Kim; 金寅洙; Insu Kim; 金鶴京; Hak-Kyoung Kim; 南雲鉉; Woonhyun Nam; 夫碩▲くん▼; Sukhoon Boo; 成明哲; Myungchul Sung; 呂東勳; Donghun Yeo; 柳宇宙; Wooju Ryu; 張泰雄; Taewoong Jang
Original assignee: Stradvision Inc
Current assignee: Stradvision Inc
Priority date: 2019-01-31
Filing date: 2020-01-15
Publication date: 2020-08-20
Anticipated expiration: 2040-01-15
Also published as: EP3690708A1; US10503174B1; JP6982897B2; KR102277531B1; CN111507157B; KR20200096096A; CN111507157A

Abstract

【課題】強化学習による自律走行時に効率的にリソースの割当てを行って、自律走行車両の電力消耗を減らす。【解決手段】強化学習により自律走行時に効率的にリソースの割当てを遂行する方法において、（ａ）コンピューティング装置が、少なくとも１つのアテンションセンサデータを取得し、１つ以上のアテンションスコアを計算させる段階、（ｂ）前記コンピューティング装置が、少なくとも一つのビデオデータを取得させ、少なくとも一つの自律走行用判断データを生成させる段階、（ｃ）前記コンピューティング装置が、ドライブネットワークをもって、前記判断データを参照して前記自律走行車両を運行させ、周辺状況の変化を示す少なくとも一つの状況データを取得させる段階、（ｄ）前記コンピューティング装置が、前記ニューラルネットワーク演算に使用される一つ以上のパラメータの少なくとも一部を調整させる段階、を含む。【選択図】図１

Description

本発明は、自律走行車両に使用するための方法及び装置に関し、より詳しくは、強化学習による自律走行時に効率的にリソースの割当てを遂行する方法に関する。

自律走行システムは電力消耗が大きいため、電力を節約することが重要である。自律走行システムをなす構成要素のうち一つであるカメラは、その電力消耗が大きいが、特定の場合、すなわち閑散とした高速道路を走っていて周辺に障害物が存在しない場合又は特定の方向には障害物が存在しない場合、少数のカメラのみが必要となる。このような場合にすべてのカメラを動作させると、多くの電力が浪費する大きな問題がある。

したがって、このような電力浪費を減らし、電力のようなリソースを効率的に分配し得る技術が必要となるが、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）でこれを具現しようとすると、このような状況の原本正解を容易に定義することができず、従ってロスを明確に定義することが難しいことから学習が困難である。したがって、原本正解を必要としないディープラーニング方法のうち一つである強化学習が活用され得る。しかし、強化学習を通じてこのような機能を学習させようとすると、実際にモジュールを作動させながら学習しなければならない。例えば、自律走行の場合、強化学習を遂行するために車両が実際に走行しなければならないということである。ところが、実際に車両を走行しながら学習する場合、車両事故が発生する可能性が高い。

本発明は、前述した問題点を解決することを目的とする。

本発明は、強化学習による自律走行時に効率的にリソースの割当てを行って、自律走行車両の電力消耗を減らすことを目的とする。

本発明は、自律走行車両が強化学習によりリソースの割当てを最適化する仮想空間を提供することにより、学習過程における潜在的な危険要素を減らすことを目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。

本発明の一態様によると、強化学習により自律走行時に効率的にリソースの割当てを遂行する方法において、（ａ）コンピューティング装置が、少なくとも１つのアテンションセンサデータを取得すると、アテンションネットワークをもって、前記アテンションセンサデータを参照して少なくとも１つのニューラルネットワーク演算を遂行することにより１つ以上のアテンションスコアを計算させる段階；（ｂ）前記コンピューティング装置が、検出ネットワークをもって、前記アテンションスコアを参照して自律走行車両に設置された一つ以上のカメラのうち少なくとも一部により取得された少なくとも一つのビデオデータを取得させ、前記ビデオデータを参照して少なくとも一つの自律走行用判断データを生成させる段階；（ｃ）前記コンピューティング装置が、ドライブネットワークをもって、前記判断データを参照して前記自律走行車両を運行させ、運行中である前記自律走行車両の周辺状況の変化を示す少なくとも一つの状況データを取得させ、前記状況データを参照して少なくとも一つのリワードを生成させる段階；（ｄ）前記コンピューティング装置が、前記アテンションネットワークをもって、前記リワードを参照して前記ニューラルネットワーク演算に使用される一つ以上のパラメータの少なくとも一部を調整させる段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ａ）段階は、前記ニューラルネットワーク演算は、前記アテンションセンサデータが入力される少なくとも１つのコンボリューションレイヤと、少なくとも１つのプーリングレイヤと、少なくとも１つのＦＣレイヤと、前記アテンションスコアが出力される少なくとも１つのソフトマックスレイヤとの演算を含み、前記自律走行車両近傍の空間に含まれた各角度の範囲ごとに少なくとも１つの走行危険レベルを決定させることを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、前記検出ネットワークをもって、第１閾値以上の前記アテンションスコアを有する特定の角度範囲に対応する、前記自律走行車両に設置された特定カメラの特定ビデオデータを取得させることを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、前記検出ネットワークをもって、少なくとも一つの領域が少なくとも一つのＲＯＩとして設定された前記ビデオデータを使用することで前記判断データを生成させ、前記領域は第１閾値以上のアテンションスコアを有する特定の角度範囲に対応する領域であることを特徴とする方法が提供される。

一実施例において、前記（ｃ）段階は、前記状況データは、（ｉ）前記自律走行車両から所定の距離以内の少なくとも１つの隣接した周辺車両の少なくとも１つの車両警笛が使用中であるかに関する情報、（ｉｉ）前記少なくとも１つの隣接した周辺車両の速力変化情報、（ｉｉｉ）前記自律走行車両と前記隣接した周辺車両との少なくとも１つの事故情報のうち少なくとも一部を含むことを特徴とする方法が提供される。

一実施例において、前記（ａ）段階は、前記アテンションセンサデータはレーダを使用して取得されるか、ライダを使用して取得されるか、両方を使用して取得され、前記ライダを使用するか又は前記レーダ及び前記ライダをいずれも使用して前記アテンションセンサデータが取得された場合、前記コンピューティング装置が、前記アテンションネットワークをもって、前記アテンションセンサデータに含まれた各３次元座標を参照して少なくとも一つの希少デプスイメージ（ｓｐａｒｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記希少デプスイメージに少なくとも一つのスムージング（ｓｍｏｏｔｈｉｎｇ）演算を適用させて少なくとも一つの高密度デプスイメージ（ｄｅｎｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記高密度デプスイメージを参照して前記ニューラルネットワーク演算を遂行することで前記アテンションスコアを計算させることを特徴とする方法が提供される。

一実施例において、前記自律走行車両は仮想空間で具現されるようにし、前記仮想空間で前記自律走行車両が運行される過程を通じて前記パラメータの少なくとも一部が調整されることを特徴とする方法が提供される。

一実施例において、前記仮想空間で、前記自律走行車両から所定の距離以内に位置する一つ以上の仮想物体間の関係に関する情報を参照して前記アテンションセンサデータ、前記ビデオデータ、前記状況データが取得されるように前記アテンションセンサデータ、前記ビデオデータ、前記状況データの変形がプログラミングされていることを特徴とする方法が提供される。

一実施例において、前記仮想空間は、（ｉ）前記自律走行車両から所定の距離以内の周辺車両が第１臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記仮想空間にある少なくとも一つの前記周辺車両が警笛を鳴らすようにプログラミングされ、（ｉｉ）前記周辺車両が第２臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記周辺車両の速力を落とすようにプログラミングされ、前記第１臨界時間は前記第２臨界時間に比べて大きいか、同じであることを特徴とする方法が提供される。

本発明の他の態様によると、強化学習により自律走行時に効率的にリソースの割当てを遂行するコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）アテンションネットワークをもって、少なくとも一つのアテンションセンサデータを参照して少なくとも一つのニューラルネットワーク演算を遂行することにより一つ以上のアテンションスコアを計算させるプロセス；（ＩＩ）検出ネットワークをもって、前記アテンションスコアを参照して、自律走行車両に設置された一つ以上のカメラのうち少なくとも一部によって取得された少なくとも一つのビデオデータを取得させ、前記ビデオデータを参照して少なくとも一つの自律走行用判断データを生成させるプロセス；（ＩＩＩ）のドライブネットワークをもって、前記判断データを参照して前記自律走行車両を運行させ、運行中である前記自律走行車両の周辺状況の変化を示す少なくとも一つの状況データを取得させ、前記状況データを参照して少なくとも一つのリワードを生成させるプロセス；（ＩＶ）前記アテンションネットワークをもって、前記リワードを参照して前記ニューラルネットワーク演算に使用される一つ以上のパラメータの少なくとも一部を調整させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするコンピューティング装置が提供される。

一実施例において、前記（Ｉ）プロセスで、前記ニューラルネットワーク演算は、前記アテンションセンサデータが入力される少なくとも一つのコンボリューションレイヤと、少なくとも一つのプーリングレイヤと、少なくとも一つのＦＣレイヤと、前記アテンションスコアとが出力される少なくとも一つのソフトマックスレイヤの演算を含み、前記自律走行車両近傍の空間に含まれた各角度の範囲ごとに少なくとも一つの走行危険レベルを決定させることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記検出ネットワークをもって、第１閾値以上の前記アテンションスコアを有する特定の角度範囲に対応する、前記自律走行車両に設置された特定カメラの特定ビデオデータを取得させることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記検出ネットワークをもって、少なくとも一つの領域が少なくとも一つのＲＯＩとして設定された前記ビデオデータを使用することで前記判断データを生成させ、前記領域は第１閾値以上のアテンションスコアを有する特定の角度範囲に対応する領域であることを特徴とするコンピューティング装置が提供される。

一実施例において、前記（ＩＩＩ）プロセスで、前記状況データは、（ｉ）前記自律走行車両から所定の距離以内の少なくとも１つの隣接した周辺車両の少なくとも１つの車両警笛が使用中であるかに関する情報、（ｉｉ）前記少なくとも１つの隣接した周辺車両の速力変化情報、（ｉｉｉ）前記自律走行車両と前記隣接した周辺車両との少なくとも１つの事故情報のうち少なくとも一部を含むことを特徴とするコンピューティング装置が提供される。

一実施例において、前記（Ｉ）プロセスで、前記アテンションセンサデータはレーダを使用して取得されるか、ライダを使用して取得されるか、両方を使用して取得され、前記ライダを使用するか又は前記レーダ及び前記ライダをいずれも使用して前記アテンションセンサデータが取得された場合、前記プロセッサが、前記アテンションネットワークをもって、前記アテンションセンサデータに含まれた各３次元座標を参照して少なくとも一つの希少デプスイメージ（ｓｐａｒｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記希少デプスイメージに少なくとも一つのスムージング（ｓｍｏｏｔｈｉｎｇ）演算を適用させて少なくとも一つの高密度デプスイメージ（ｄｅｎｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記高密度デプスイメージを参照して前記ニューラルネットワーク演算を遂行することで前記アテンションスコアを計算させることを特徴とするコンピューティング装置が提供される。

一実施例において、前記自律走行車両は仮想空間で具現されるようにし、前記仮想空間で前記自律走行車両が運行される過程を通じて前記パラメータの少なくとも一部が調整されることを特徴とするコンピューティング装置が提供される。

一実施例において、前記仮想空間で、前記自律走行車両から所定の距離以内に位置する一つ以上の仮想物体間の関係に関する情報を参照して、前記アテンションセンサデータ、前記ビデオデータ、前記状況データが取得されるように前記アテンションセンサデータ、前記ビデオデータ、前記状況データの変形がプログラミングされていることを特徴とするコンピューティング装置が提供される。

一実施例において、前記仮想空間は、（ｉ）前記自律走行車両から所定の距離以内の周辺車両が第１臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記仮想空間にある少なくとも一つの前記周辺車両が警笛を鳴らすようにプログラミングされ、（ｉｉ）前記周辺車両が第２臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記周辺車両の速力を落とすようにプログラミングされ、前記第１臨界時間は前記第２臨界時間に比べて大きいか、同じであることを特徴とするコンピューティング装置が提供される。

本発明は、強化学習により自律走行時に効率的にリソースの割当てを遂行する方法を提供することにより、自律走行車両の電力消耗を減らすことができる効果がある。

本発明は、自律走行車両が強化学習によりリソースの割当てを最適化して仮想空間を提供することにより、学習過程における潜在的な危険要素を減らすことができる効果がある。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

本発明の一実施例にしたがって、強化学習による自律走行時の効率的なリソースの割当てを遂行するコンピューティング装置の構成を簡略に示した図面である。本発明の一実施例にしたがって、強化学習による自律走行時の効率的なリソースの割当てを遂行する過程を簡略に示した図面である。本発明の一実施例による効率的なリソースの割当てのために遂行されるニューラルネットワーク演算の一例を示した図面である。本発明の一実施例による効率的なリソースの割当てを遂行するために計算されたアテンションスコアの一例を示した図面である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、強化学習による自律走行時の効率的なリソースの割当てを遂行するコンピューティング装置の構成を簡略に示した図面である。

図１を参照すると、コンピューティング装置１００は、アテンションネットワーク１３０と、検出ネットワーク１４０と、ドライブネットワーク１５０とを含み得る。アテンションネットワーク１３０、検出ネットワーク１４０及びドライブネットワーク１５０の入出力及び演算の過程は、それぞれ通信部１１０とプロセッサ１２０とによって行われ得る。ただし、図１では通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この際、メモリ１１５は、後述する各インストラクションを格納した状態であり得、プロセッサ１２０はメモリ１１５に格納された各インストラクションを遂行するように設定され、プロセッサ１２０は追って説明するプロセスを遂行することにより本発明を遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、ミディアム（ｍｅｄｉｕｍ）または任意の他のコンピューティングコンポーネントの任意の組み合わせを含む統合装置を排除するわけではない。

コンピューティング装置１００の構成は前記のとおりであるところ、以下、それぞれの構成がどのように連動して作動するのかを図２を参照して概括的に検討するようにする。

図２は、本発明の一実施例にしたがって、強化学習による自律走行時の効率的なリソースの割当てを遂行する過程を簡略に示した図面である。

図２を参照すると、アテンションネットワーク１３０は、追って詳しく説明する少なくとも一つのアテンションセンサデータを取得するか、他の装置をもって取得するように支援し得る。アテンションネットワーク１３０は、アテンションセンサデータを利用して一つ以上のアテンションスコアを計算するか、他の装置をもって計算するように支援することができ、検出ネットワーク１４０は、アテンションスコアを参照して自律走行車両に設置された一つ以上のカメラのうち少なくとも一部によって取得された少なくとも一つのビデオデータを取得するプロセス、取得されたビデオデータを参照して少なくとも一つの自律走行用判断データを生成するプロセスを遂行するか、他の装置をもって遂行し得るように支援することができる。以後、ドライブネットワーク１５０は、自律走行用判断データを参照して自律走行車両を運行するプロセス、運行中である自律走行車両の周辺状況の変化を示す少なくとも一つの状況データを取得するプロセスを遂行するか、他の装置をもって遂行するように支援することができる。そして、ドライブネットワーク１５０は、状況データを参照して強化学習に使用された少なくとも一つのリワードを生成するか、他の装置をもって生成するように支援することができる。そして、アテンションネットワーク１３０は、リワードを参照してニューラルネットワーク演算で一つ以上のパラメータの少なくとも一部を調整するか、他の装置をもって調整するように支援することができる。

以上、概括的な本発明のチャートを図２を通じて検討したところ、本発明の具体的な遂行方式を以下にてさらに詳細に検討することにする。

まず、アテンションセンサデータが取得されると、コンピューティング装置１００は、アテンションネットワーク１３０をもって、アテンションセンサデータを参照してニューラルネットワーク演算を遂行させることができる。

ここで、アテンションセンサデータとは、自律走行車両に設置されたセンサから取得されるデータであるが、これはレーダを使用して取得されるか、ライダ（Ｌｉｄａｒ）を使用して取得されるか、レーダ及びライダをいずれも使用して取得され得る。ライダを使用せずにレーダのみを使用してアテンションセンサデータを取得した場合には、アテンションネットワーク１３０は直ちにこれを参照してニューラルネットワーク演算を遂行することができる。ところが、ライダを使用した場合、すなわちライダとレーダとをいずれも使用してアテンションセンサデータを取得した場合、又はレーダは使用せずにライダを使用してアテンションセンサデータを取得した場合、ニューラルネットワーク演算を遂行するにはデータが最適化された状態ではないので、これを前処理する過程が必要であるところ、前処理過程について見てみる。

ライダによって取得されたアテンションセンサデータは、レーザスキャンラインに沿ってレーザが反射される地点までの距離を測定して取得されたものであり、自律走行車両を中心とした同心円の形態に配列された３次元座標を含む。前処理はこのような３次元座標を利用し、３次元座標の投影（ｐｒｏｊｅｃｔｉｏｎ）及びスムージング（ｓｍｏｏｔｈｉｎｇ）する過程を含む。具体的に、３次元座標を仮想の平面上に投影すると、各ピクセルのそれぞれの距離に関する情報を含む希少デプスイメージが生成される。以後、希少デプスイメージの中間の空間部分を満たすために、希少デプスイメージに少なくとも一つのスムージング演算を適用することで高密度デプスイメージが生成され得る。アテンションネットワーク１３０は、このような高密度デプスイメージを参照してニューラルネットワーク演算を遂行することができる。

アテンションネットワーク１３０によって行われるニューラルネットワーク演算は、図３を通じて確認することができる。

図３は、本発明の一実施例による効率的なリソースの割当てのために遂行されるニューラルネットワーク演算の一例を示した図面である。

図３を参照すると、ニューラルネットワーク演算はアテンションセンサデータまたはこれを前処理した高密度デプスイメージが入力される一つ以上のコンボリューションレイヤと、コンボリューションレイヤの結果に少なくとも一つのプーリング演算を適用する少なくとも一つのプーリングレイヤと、プーリングレイヤの結果に一つ以上のＦＣ演算を適用する一つ以上のＦＣレイヤと、前記アテンションスコアが出力される少なくとも一つのソフトマックスレイヤとを含む。もちろん、図３に示された構成は一例示であって、それぞれのレイヤは一つ以上の他のレイヤに代替されるか、少なくとも一つの他のレイヤが本構成に追加されるか、特定のレイヤが削除されることもまた可能である。

このようなニューラルネットワーク演算は、自律走行車両を中心とする所定の空間に対して、それぞれの角度範囲ごとに走行時の危険度を点数化して判断する演算であって、アテンションスコアを出力するための演算である。危険度は、図４を参照して具体的に説明することにする。

図４は、本発明の一実施例による効率的なリソースの割当てを遂行するために、計算されたアテンションスコアの一例を示した図面である。

図４を参照すると、自律走行車両２００の周辺を表したパノラマイメージ２２０上で物体が多い一部の特定方向に対応するアテンションスコア２１０のうち一部が高く測定されたことが分かる。パノラマイメージ２２０は、理解の一助とするために配置したものであって、実際にはこのようなパノラマイメージ２２０ではなく、高密度デプスイメージまたはレーダから取得されたアテンションセンサデータを利用してアテンションスコアが生成される。図４の例示されたアテンションスコア２１０は、一部の特定方向である２２２方向と２２３方向に対応するアテンションスコアのうち一部は高く示されている。すなわち、特定方向に多くの物体が検出される場合、一つ以上の物体が自律走行車両２００に向かって移動したり、それから潜在的な危険が高まる可能性があるため、当該方向の走行危険レベルは高いものと決定され、その方向に対応する当該角度の範囲のアテンションスコアは高く計算されるのである。このようなアテンションスコア２１０が検出ネットワーク１４０によって計算されると、どのような効果が発生するのかは追って再度図４を参照して再び説明することにする。

このようにアテンションスコアが計算されると、コンピューティング装置１００が検出ネットワーク１４０をもって、アテンションスコアを参照して自律走行車両２００に設置された一つ以上のカメラのうち少なくとも一部によって取得された少なくとも一つのビデオデータを取得させ、ビデオデータを参照して少なくとも一つの自律走行用判断データを生成させることができる。

すなわち、自律走行車両に設置されたカメラのうち少なくとも一部を選択して、当該カメラのうち少なくとも一部によって撮影されたビデオを利用して計算が遂行されることにより、すべてのカメラを使用するのに比べてカメラに使用される電力消費を最小化することができる。この際、潜在的危険性が存在することから、それに備えなければならない一部の方向に対応するカメラのうち少なくとも一部のビデオを利用することが安全性向上に役立つので、そのためにアテンションスコアを使用するのである。

つまり、図４を再び参照すると、２２２及び２２３方向のアテンションスコアが高いところ、自律走行車両２００の２２２及び２２３方向を撮影するカメラによるビデオデータを取得するようになるのである。カメラを選択する基準となるアテンションスコアは、その値が第１閾値より大きいか否かによって決定され得る。つまり、検出ネットワーク１４０は、アテンションスコアが第１閾値以上である特定の角度範囲に対応する自律走行車両２００に設置された特定のカメラによって生成された特定のビデオデータを取得させることができるということである。

または、アテンションスコアは少なくとも一つのＲＯＩ、すなわちＲｅｇｉｏｎ−ｏｆ−Ｉｎｔｅｒｅｓｔを決定するのに使用することもできる。図４を再度例に挙げると、ビデオデータ自体はすべてのカメラを通じて取得し、実際に演算を適用するＲＯＩを決定する際に、ＲＯＩパノラマイメージ２３０に示されているように、走行危険レベルが高いものと判断される方向のイメージが一つ以上のＲＯＩのためのソースとして決定され得る。つまり、検出ネットワーク１４０は、アテンションスコアが第１閾値以上である特定の角度範囲に対応する一つ以上の領域をＲＯＩとして設定した状態で、以後のプロセスを遂行することができるということである。

本発明は、前記のようにカメラの少なくとも一部のビデオデータを選択するか、イメージのＲＯＩを設定することにより、検出ネットワーク１４０及びドライブネットワーク１５０の演算量を減らすことができる効果がある。このように演算量を減らすためのプロセスを経た後、検出ネットワーク１４０は、各カメラのうち少なくとも一部によって取得されたビデオデータを参照して自律走行用判断データを生成するか、ビデオデータのうち少なくとも一部に設定されたＲＯＩを参照して自律走行用判断データを生成することができる。

検出ネットワーク１４０は、ビデオデータに含まれたイメージ上の物体を検出し、自律走行用判断データとして機能する前記物体の距離及び／又は位置を計算した後、これに基づいて自律走行車両２００が進行する少なくとも一つの経路を決定することができるであろう。検出ネットワーク１４０は、このような自律走行用判断データを生成することができるが、本発明は効率的なリソース割当てのための強化学習方法をその主眼点としているので、自律走行用判断データの具体的な生成方法についての説明は省略することにする。

自律走行用判断データが生成されると、コンピューティング装置１００がドライブネットワーク１５０をもって、自律走行用判断データを参照して自律走行車両２００を運行させ、運行中である自律走行車両２００の周辺状況の変化を示す、少なくとも一つの状況データを取得させ、状況データを参照して強化学習による少なくとも一つのリワードを生成させることができる。

ドライブネットワーク１５０は、自律走行用判断データに含まれた、自律走行車両２００が進行する少なくとも一つの経路に沿って自律走行車両２００が運行されるようにすることができる。ドライブネットワーク１５０が自律走行車両２００を操縦する部分もやはり、本発明の主眼点とは異なる部分であるため、これについての具体的な説明は省略することにする。

自律走行車両２００は、運行しつつその周辺状況の変化を示す状況データを取得することができる。状況データは、（ｉ）前記自律走行車両から所定の距離内の少なくとも１つの隣接した周辺車両の少なくとも１つの車両警笛が使用中であるかに関する情報、（ｉｉ）前記少なくとも１つの隣接した周辺車両の速力変化情報、（ｉｉｉ）前記自律走行車両と前記隣接した周辺車両との少なくとも１つの事故情報のうち少なくとも一部を含み得る。ドライブネットワーク１５０は、状況データを参照してリワードを生成することができ、リワードはニューラルネットワーク演算に使用されるパラメータを調整することに関与するので、結局、上記のような情報を参照してパラメータを調整するというものである。

警笛を使用するか否かの情報、速力変化情報及び事故情報は、自律走行車両２００が安全に運行しているかを判断するための基準であり得る。自律走行車両２００が安全に走行しているのであれば周辺の車両は警笛を作動させないであろうし、速力を緩めないはずであり、自律走行車両２００と衝突しないからである。警笛の作動、速力の緩和、衝突などの事故が発生すると、ドライブネットワーク１５０はリワードを下げることで、自律走行車両２００がさらに安全に走行させるであろう。これについて、以下に具体的に説明される。

コンピューティング装置１００は、アテンションネットワーク１３０をもって、リワードを参照してニューラルネットワーク演算に使用されるパラメータを調整させることができる。アテンションネットワーク１３０は、リワードに応じてパラメータの変化方向を決定するものであるが、一例として、リワードが低ければ、アテンションネットワーク１３０はより多くのカメラのビデオデータを使用することができ、ＲＯＩをさらに広く設定することで、検出ネットワーク１４０がさらに広い範囲の領域に対して検査させて、より安全な走行をさせることができる。また他の例示として、アテンションスコアが全般的に高く導き出されるようにパラメータを調節することができるであろう。これは強化学習のアルゴリズム遂行方式であって、これを通じてカメラを効率的に使用しながらも安全に自律走行することができる。

前記のような本発明はいくつかの長所があるが、このような方式の学習過程は実際に道路を走行しながら行われなければならず、準備されたトレーニングイメージが単純に入力されるＣＮＮの一般的な学習過程と反対に遂行されなければならない。すなわち、本発明による前記例の場合、学習過程が十分に遂行されなければ、実際の道路走行過程において事故の確率が非常に高くなり得る。したがって、本発明はこれを解決するための方案として、仮想空間（ＶｉｒｔｕａｌＳｐａｃｅ）での学習を提案する。具体的な事項は以下の通りである。

自律走行車両２００及び自律走行車両２００から所定の距離以内にある少なくとも一つの周辺車両は、仮想空間に存在するようにプログラミングされ得る。この際、自律走行車両２００が取得し得るアテンションセンサデータ、ビデオデータ及び状況データは、仮想空間で自律走行車両２００の周辺に位置する仮想物体間の関係に関する情報を利用して取得されるようにプログラミングされ得る。アテンションセンサデータの場合、仮想空間上における自律走行車両２００とその周辺の仮想物体との間の距離を容易に計算することができるので、レーダまたはライダによって生成されたデータのフォーマットとほぼ同様にアテンションセンサデータが生成され得るであろうし、ビデオデータもやはり仮想空間内部における視点によってイメージを生成することにより、実際のデータとほぼ同様に生成され得る。状況データもやはりほぼ同様に生成され得るが、そのためには仮想周辺車両へのさらなるロジックが必要であるので、これについても検討してみる。

状況データが取得されるためには、各仮想周辺車両が警笛を鳴らし、速力を落とすロジックが予めプログラミングされていなければならない。具体的に、仮想空間は、（ｉ）前記自律走行車両２００から所定の距離以内の周辺車両が第１臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記仮想空間にある少なくとも一つの前記周辺車両が警笛を鳴らすようにプログラミングされ、（ｉｉ）前記周辺車両が第２臨界時間内に前記自律走行車両２００と衝突する可能性があるものと検出されると、前記周辺車両の速力を落とすようにプログラミングされ得る。ここで、前記第１臨界時間は、前記第２臨界時間に比べて大きいか同じであり得るが、これは警笛を鳴らすのは運転者が自らの速力を落としたくなくて鳴らす場合が多いからである。もちろん、これは一実施例であるだけであり、第１臨界時間と第２臨界時間との大きさの関係は任意に設定され得る。

このように仮想周辺車両のロジックが具現されている場合、状況データも現実世界（ｒｅａｌ−ｗｏｒｌｄ）とほぼ同じく取得され得るであろう。自律走行車両２００は、このように仮想空間で具現され得、その内部で運行される過程でニューラルネットワーク演算に使用されるパラメータが調整されることにより学習され得る。このように学習過程を具現すると、実際とほぼ同じ空間を仮想空間を通じて具現することができるため、仮想空間上での様々な状況、すなわち車両が多い渋滞状況、カーブの多い道を走行する状況、坂道が屈曲した道を走行する状況等について事故なしに安全に学習し得る長所がある。

以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ＦｌｏｐｔｉｃａｌＤｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−ＯｐｔｉｃａｌＭｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

[付記]
本発明は、自律走行車両に使用するための最適化されたリソース割当てのための方法及び装置｛ＭＥＴＨＯＤＡＮＤＤＥＶＩＣＥＦＯＲＯＰＴＩＭＩＺＥＤＲＥＳＯＵＲＣＥＡＬＬＯＣＡＴＩＯＮＩＮＡＵＴＯＮＯＭＯＵＳＤＲＩＶＩＮＧＯＮＴＨＥＢＡＳＩＳＯＦＲＥＩＮＦＯＲＣＥＭＥＮＴＬＥＡＲＮＩＮＧＵＳＩＮＧＤＡＴＡＦＲＯＭＬＩＤＡＲ，ＲＡＤＡＲ，ＡＮＤＣＡＭＥＲＡＳＥＮＳＯＲ｝に関する。

より詳細には、強化学習による自律走行時に効率的にリソースの割当てを実行する方法において、（ａ）コンピューティング装置が、少なくとも一つのアテンションセンサデータを取得すると、アテンションネットワークをもって、前記アテンションセンサデータを参照して少なくとも一つのニューラルネットワーク演算を遂行することにより一つ以上のアテンションスコアを計算させる段階：（ｂ）前記コンピューティング装置が、検出ネットワークをもって、前記アテンションスコアを参照して、自律走行車両に設置された一つ以上のカメラのうち少なくとも一部によって取得された少なくとも一つのビデオデータを取得させ、前記ビデオデータを参照して少なくとも一つの自律走行用判断データを生成させる段階：（ｃ）前記コンピューティング装置が、ドライブネットワークをもって、前記判断データを参照して前記自律走行車両を運行させ、運行中である前記自律走行車両の周辺状況の変化を示す少なくとも一つの状況データを取得させ、前記状況データを参照して少なくとも一つのリワードを生成させる段階：（ｄ）前記コンピューティング装置が、前記アテンションネットワークをもって、前記リワードを参照して前記ニューラルネットワーク演算に使用される一つ以上のパラメータの少なくとも一部を調整させる段階；を含むことを特徴とする方法及び装置に関する。

Claims

強化学習により自律走行時に効率的にリソースの割当てを遂行する方法において、
（ａ）コンピューティング装置が、少なくとも１つのアテンションセンサデータを取得すると、アテンションネットワークをもって、前記アテンションセンサデータを参照して少なくとも１つのニューラルネットワーク演算を遂行することにより１つ以上のアテンションスコアを計算させる段階；
（ｂ）前記コンピューティング装置が、検出ネットワークをもって、前記アテンションスコアを参照して自律走行車両に設置された一つ以上のカメラのうち少なくとも一部により取得された少なくとも一つのビデオデータを取得させ、前記ビデオデータを参照して少なくとも一つの自律走行用判断データを生成させる段階；
（ｃ）前記コンピューティング装置が、ドライブネットワークをもって、前記判断データを参照して前記自律走行車両を運行させ、運行中である前記自律走行車両の周辺状況の変化を示す少なくとも一つの状況データを取得させ、前記状況データを参照して少なくとも一つのリワードを生成させる段階；
（ｄ）前記コンピューティング装置が、前記アテンションネットワークをもって、前記リワードを参照して前記ニューラルネットワーク演算に使用される一つ以上のパラメータの少なくとも一部を調整させる段階；
を含むことを特徴とする方法。
前記（ａ）段階は、
前記ニューラルネットワーク演算は、前記アテンションセンサデータが入力される少なくとも１つのコンボリューションレイヤと、少なくとも１つのプーリングレイヤと、少なくとも１つのＦＣレイヤと、前記アテンションスコアが出力される少なくとも１つのソフトマックスレイヤとの演算を含み、前記自律走行車両近傍の空間に含まれた各角度の範囲ごとに少なくとも１つの走行危険レベルを決定させることを特徴とする請求項１に記載の方法。
前記（ｂ）段階は、
前記コンピューティング装置が、前記検出ネットワークをもって、第１閾値以上の前記アテンションスコアを有する特定の角度範囲に対応する、前記自律走行車両に設置された特定カメラの特定ビデオデータを取得させることを特徴とする請求項１に記載の方法。
前記（ｂ）段階は、
前記コンピューティング装置が、前記検出ネットワークをもって、少なくとも一つの領域が少なくとも一つのＲＯＩとして設定された前記ビデオデータを使用することで前記判断データを生成させ、前記領域は第１閾値以上のアテンションスコアを有する特定の角度範囲に対応する領域であることを特徴とする請求項１に記載の方法。
前記（ｃ）段階は、
前記状況データは、（ｉ）前記自律走行車両から所定の距離以内の少なくとも１つの隣接した周辺車両の少なくとも１つの車両警笛が使用中であるかに関する情報、（ｉｉ）前記少なくとも１つの隣接した周辺車両の速力変化情報、（ｉｉｉ）前記自律走行車両と前記隣接した周辺車両との少なくとも１つの事故情報のうち少なくとも一部を含むことを特徴とする請求項１に記載の方法。
前記（ａ）段階は、
前記アテンションセンサデータはレーダを使用して取得されるか、ライダを使用して取得されるか、両方を使用して取得され、
前記ライダを使用するか又は前記レーダ及び前記ライダをいずれも使用して前記アテンションセンサデータが取得された場合、前記コンピューティング装置が、前記アテンションネットワークをもって、前記アテンションセンサデータに含まれた各３次元座標を参照して少なくとも一つの希少デプスイメージ（ｓｐａｒｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記希少デプスイメージに少なくとも一つのスムージング（ｓｍｏｏｔｈｉｎｇ）演算を適用させて少なくとも一つの高密度デプスイメージ（ｄｅｎｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記高密度デプスイメージを参照して前記ニューラルネットワーク演算を遂行することで前記アテンションスコアを計算させることを特徴とする請求項１に記載の方法。
前記自律走行車両は仮想空間で具現されるようにし、前記仮想空間で前記自律走行車両が運行される過程を通じて前記パラメータの少なくとも一部が調整されることを特徴とする請求項１に記載の方法。
前記仮想空間で、前記自律走行車両から所定の距離以内に位置する一つ以上の仮想物体間の関係に関する情報を参照して、前記アテンションセンサデータ、前記ビデオデータ、前記状況データが取得されるように前記アテンションセンサデータ、前記ビデオデータ、前記状況データの変形がプログラミングされていることを特徴とする請求項７に記載の方法。
前記仮想空間は、（ｉ）前記自律走行車両から所定の距離以内の周辺車両が第１臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記仮想空間にある少なくとも一つの前記周辺車両が警笛を鳴らすようにプログラミングされ、（ｉｉ）前記周辺車両が第２臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記周辺車両の速力を落とすようにプログラミングされ、前記第１臨界時間は前記第２臨界時間に比べて大きいか、同じであることを特徴とする請求項７に記載の方法。
強化学習により自律走行時に効率的にリソースの割当てを遂行するコンピューティング装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）アテンションネットワークをもって、少なくとも一つのアテンションセンサデータを参照して少なくとも一つのニューラルネットワーク演算を遂行することにより一つ以上のアテンションスコアを計算させるプロセス；（ＩＩ）検出ネットワークをもって、前記アテンションスコアを参照して、自律走行車両に設置された一つ以上のカメラのうち少なくとも一部によって取得された少なくとも一つのビデオデータを取得させ、前記ビデオデータを参照して少なくとも一つの自律走行用判断データを生成させるプロセス；（ＩＩＩ）ドライブネットワークをもって、前記判断データを参照して前記自律走行車両を運行させ、運行中である前記自律走行車両の周辺状況の変化を示す少なくとも一つの状況データを取得させ、前記状況データを参照して少なくとも一つのリワードを生成させるプロセス；（ＩＶ）前記アテンションネットワークをもって、前記リワードを参照して前記ニューラルネットワーク演算に使用される一つ以上のパラメータの少なくとも一部を調整させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするコンピューティング装置。
前記（Ｉ）プロセスで、
前記ニューラルネットワーク演算は、前記アテンションセンサデータが入力される少なくとも一つのコンボリューションレイヤと、少なくとも一つのプーリングレイヤと、少なくとも一つのＦＣレイヤと、前記アテンションスコアとが出力される少なくとも一つのソフトマックスレイヤの演算を含み、前記自律走行車両近傍の空間に含まれた各角度の範囲ごとに少なくとも一つの走行危険レベルを決定させることを特徴とする請求項１０に記載のコンピューティング装置。
前記（ＩＩ）プロセスで、
前記プロセッサが、前記検出ネットワークをもって、第１閾値以上の前記アテンションスコアを有する特定の角度範囲に対応する、前記自律走行車両に設置された特定カメラの特定ビデオデータを取得させることを特徴とする請求項１０に記載のコンピューティング装置。
前記（ＩＩ）プロセスで、
前記プロセッサが、前記検出ネットワークをもって、少なくとも一つの領域が少なくとも一つのＲＯＩとして設定された前記ビデオデータを使用することで前記判断データを生成させ、前記領域は第１閾値以上のアテンションスコアを有する特定の角度範囲に対応する領域であることを特徴とする請求項１０に記載のコンピューティング装置。
前記（ＩＩＩ）プロセスで、
前記状況データは、（ｉ）前記自律走行車両から所定の距離以内の少なくとも１つの隣接した周辺車両の少なくとも１つの車両警笛が使用中であるかに関する情報、（ｉｉ）前記少なくとも１つの隣接した周辺車両の速力変化情報、（ｉｉｉ）前記自律走行車両と前記隣接した周辺車両との少なくとも１つの事故情報のうち少なくとも一部を含むことを特徴とする請求項１０に記載のコンピューティング装置。
前記（Ｉ）プロセスで、
前記アテンションセンサデータはレーダを使用して取得されるか、ライダを使用して取得されるか、両方を使用して取得され、
前記ライダを使用するか又は前記レーダ及び前記ライダをいずれも使用して前記アテンションセンサデータが取得された場合、前記プロセッサが、前記アテンションネットワークをもって、前記アテンションセンサデータに含まれた各３次元座標を参照して少なくとも一つの希少デプスイメージ（ｓｐａｒｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記希少デプスイメージに少なくとも一つのスムージング（ｓｍｏｏｔｈｉｎｇ）演算を適用させて少なくとも一つの高密度デプスイメージ（ｄｅｎｓｅｄｅｐｔｈｉｍａｇｅ）を生成させ、前記高密度デプスイメージを参照して前記ニューラルネットワーク演算を遂行することで前記アテンションスコアを計算させることを特徴とする請求項１０に記載のコンピューティング装置。
前記自律走行車両は仮想空間で具現されるようにし、前記仮想空間で前記自律走行車両が運行される過程を通じて前記パラメータの少なくとも一部が調整されることを特徴とする請求項１０に記載のコンピューティング装置。
前記仮想空間で、前記自律走行車両から所定の距離以内に位置する一つ以上の仮想物体間の関係に関する情報を参照して、前記アテンションセンサデータ、前記ビデオデータ、前記状況データが取得されるように前記アテンションセンサデータ、前記ビデオデータ、前記状況データの変形がプログラミングされていることを特徴とする請求項１６に記載のコンピューティング装置。
前記仮想空間は、（ｉ）前記自律走行車両から所定の距離以内の周辺車両が第１臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記仮想空間にある少なくとも一つの前記周辺車両が警笛を鳴らすようにプログラミングされ、（ｉｉ）前記周辺車両が第２臨界時間内に前記自律走行車両と衝突する可能性があるものと検出されると、前記周辺車両の速力を落とすようにプログラミングされ、前記第１臨界時間は前記第２臨界時間に比べて大きいか、同じであることを特徴とする請求項１６に記載のコンピューティング装置。