JP2023503527A - 軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム - Google Patents
軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2023503527A JP2023503527A JP2022532611A JP2022532611A JP2023503527A JP 2023503527 A JP2023503527 A JP 2023503527A JP 2022532611 A JP2022532611 A JP 2022532611A JP 2022532611 A JP2022532611 A JP 2022532611A JP 2023503527 A JP2023503527 A JP 2023503527A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- trajectory
- obtaining
- trajectory data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本開示の実施例は、軌跡予測方法、装置、電子機器及び媒体を提供する。該軌跡予測方法の一例によれば、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得、かつ前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することができる。次に、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることができる。【選択図】図1
Description
本開示は、機械学習の技術に関し、特に、軌跡予測に関する。
歩行者の歩行行動の分析及び理解は、コンピュータビジョン及びインテリジェントビデオ監視の分野における重要な研究方向である。歩行行動モデルは、現在多くの分野に重要な応用を有し、例えば歩行行動予測、歩行者検出及び追跡などである。人間の歩行行動に対するモデリングは、複雑な問題であり、内的及び外的要因などの多くの重要な要因を考慮する必要がある。例えば、歩行者と歩行者との間の相互関係は、歩行行動の理解と予測に対して非常に重要である。
現在、歩行者の歩行行動の予測タスクにおいて、多くの方法は、設計者が人為的で主観的に定義した事前知識に基づいて関係の強さを判断することを採用する。例えば、歩行者間の相対距離の遠さにより歩行者間の相互影響の程度をマッピングし、それにより歩行者間の相互作用をモデリングする。しかしながら、実際のシーンでは、歩行者は、自分に近い人に強い注目を与えないことが多い。このモデリング方法は、複雑なシーンにおける様々な歩行者の行為を扱うことが難しく、大きな制限がある。
本開示の実施例は、少なくとも軌跡予測方法、装置、電子機器及び媒体を提供する。
第1態様では、軌跡予測方法を提供し、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることと、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することと、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることとを含む。
一部の実施例において、前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示す。前記目標対象の履歴軌跡データは、前記目標対象の第1期間内の履歴軌跡データを含む。前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第2期間内の履歴軌跡データを含み、前記第2期間は、前記第1期間と少なくとも局所的に重なる。前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第1期間の後の第3期間内の予測軌跡を得ることを含む。
一部の実施例において、前記目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることは、前記目標対象に対応する環境情報のセットを取得することであって、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含むことと、前記環境情報のセットに基づいて、前記目標対象の環境特徴を得ることと、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることと、前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得ることとを含む。
一部の実施例において、前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含む。前記方法は、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とすることをさらに含む。
一部の実施例において、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることは、符号化ネットワークを介して前記目標対象の第1期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得ることを含む。ここで、前記符号化ネットワークは、双方向長短期記憶ネットワークLSTMを含む。
一部の実施例において、前記目標対象の履歴軌跡データと、前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することは、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得ることと、前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得ることと、前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得ることと、予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けることと、更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける2つずつの対象の間の相互関係値を得ることであって、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記2つずつの対象の間の歩行行動の関連度を表すために用いられることと、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することとを含む。
一部の実施例において、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することは、前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか2つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された2つのノードの間の相互関係値であり、前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得ることを含む。
一部の実施例において、前記目標対象の個体表現ベクトルを得ることは、第1符号化ネットワークを介して前記履歴軌跡データに基づいて個体表現ベクトルを得ることを含む。前記目標対象のグループ表現ベクトルを取得することは、第2符号化ネットワークを介して前記目標対象のグループ表現ベクトルを取得することを含む。目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、復号ネットワークに基づいて前記予測軌跡を得ることを含む。それに応じて、前記方法は、前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第1損失関数値を取得することであって、前記第1損失関数値が指数平均二乗誤差損失関数に基づいて得られることと、前記第1損失関数値に基づいて、前記復号ネットワーク、前記第1符号化ネットワーク及び前記第2符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整することとをさらに含む。
一部の実施例において、前記第2符号化ネットワークは、グラフ生成器をさらに含み、前記グラフ生成器は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、対象セットにおける2つずつの対象の間の相互関係値を得るために用いられる。それに応じて、前記方法は、前記相互関係値の予測値とラベル値との間の第2損失関数値を取得することであって、前記相互関係値のラベル値が前記相互関係値に対応する2つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられることと、前記第2損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整することと、をさらに含む。
一部の実施例において、前記方法は、前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定することをさらに含む。
一部の実施例において、前記方法は、前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うことをさらに含む。
第2態様では、軌跡予測装置を提供し、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るための個体表現モジュールと、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するためのグループ表現モジュールと、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るための予測処理モジュールと、を含む。
一部の実施例において、前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示す。前記目標対象の履歴軌跡データは、前記目標対象の第1期間内の履歴軌跡データを含む。前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第2期間内の履歴軌跡データを含み、前記第2期間は、前記第1期間と少なくとも局所的に重なる。前記予測処理モジュールは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第1期間の後の第3期間内の予測軌跡を得るために用いられる。
一部の実施例において、前記個体表現モジュールは、環境処理サブモジュールと軌跡処理サブモジュールと融合処理サブモジュールとを含み、前記環境処理サブモジュールは、前記目標対象に対応する環境情報のセットを取得し、且つ前記環境情報のセットに基づいて、前記目標対象の環境特徴を得、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含み、前記軌跡処理サブモジュールは、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得、前記融合処理サブモジュールは、前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得る。
一部の実施例において、前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含む。それに応じて、前記装置は、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とするための座標変換モジュールをさらに含む。
一部の実施例において、前記グループ表現モジュールは、関係取得サブモジュールと、相互作用取得サブモジュールと、表現処理サブモジュールと、を含む。ここで、関係取得サブモジュールは、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得、前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得、前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得、予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けるために用いられる。相互作用取得サブモジュールは、更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける2つずつの対象の間の相互関係値を得るために用いられる。前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記2つずつの対象の間の歩行行動の関連度を表すために用いられることに用いられる。表現処理サブモジュールは、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定するために用いられる。
一部の実施例において、前記表現処理サブモジュールは、具体的には前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動図が複数のノードを含み且ついずれか2つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された2つのノードの間の相互関係値であり、前記再帰社会行動図に畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得るために用いられる。
一部の実施例において、前記軌跡処理サブモジュールは、具体的には前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得るために用いられる。
一部の実施例において、前記個体表現モジュールは、具体的には第1符号化ネットワークを介して目標対象の履歴軌跡データに基づいて前記目標対象の個体表現ベクトルを得るために用いられ、前記第1符号化ネットワークは、双方向長短期記憶ネットワークLSTMを含む。前記グループ表現モジュールは、具体的には第2符号化ネットワークを介して前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するために用いられる。前記予測処理モジュールは、具体的には復号ネットワークを介して前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るために用いられる。それに応じて、前記装置は、前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第1損失関数値を取得し、前記第1損失関数値が指数平均二乗誤差損失関数に基づいて得られ、前記第1損失関数値に基づいて、前記復号ネットワーク、前記第1符号化ネットワーク及び前記第2符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整するためのネットワークトレーニングモジュールをさらに含むことができる。
一部の実施例において、前記第2符号化ネットワークは、グラフ生成器をさらに含み、前記グラフ生成器は、目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象と少なくとも一つの関連対象との2つずつの間の相互関係値を得るために用いられる。それに応じて、前記ネットワークトレーニングモジュールは、さらに前記相互関係値の予測値とラベル値との間の第2損失関数値を取得し、前記相互関係値のラベル値が前記相互関係値に対応する2つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられ、前記第2損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整するために用いられる。
一部の実施例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定するための異常決定モジュールをさらに含む。
一部の実施例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うための経路処理モジュールをさらに含む。
第3態様では、電子機器を提供し、前記機器は、メモリとプロセッサとを含み、前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータ可読命令を呼び出し、本開示のいずれかの実施例に記載の軌跡予測方法を実施するために用いられる。
第4態様において、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記録媒体を提供し、前記プログラムがプロセッサにより実行される場合に本開示のいずれかの実施例に記載の軌跡予測方法が実施される。
本開示の実施例が提供する軌跡予測方法、装置、電子機器及び媒体は、目標対象の個体表現ベクトルとグループ表現ベクトルとを総合して軌跡予測を行い、且つグループ表現ベクトルは、目標対象及び関連対象の履歴軌跡データに基づいて決定されるものであり、歩行者間の相互作用影響をより正確に表すことができ、軌跡予測結果の正確性を向上させる。
本開示の一つ又は複数の実施例又は関連技術における技術的解決手段をより明確に説明するために、以下、実施例又は関連技術の説明に必要な図面を簡単に紹介する。以下の説明における図面は、本開示の一つ又は複数の実施例に記載される一部の実施例である。当業者にとって、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面を取得することができる。
本開示の少なくとも一つの実施例が提供する軌跡予測方法のフローチャートを示す。
本開示の少なくとも一つの実施例が提供する他の軌跡予測方法のフローチャートを示す。
本開示の少なくとも一つの実施例が提供する環境情報の概略図を示す。
本開示の少なくとも一つの実施例が提供する軌跡予測のネットワークブロック図を示す。
本開示の少なくとも一つの実施例が提供する軌跡予測装置の構造概略図を示す。
本開示の少なくとも一つの実施例が提供する軌跡予測装置の構造概略図を示す。
本開示の少なくとも一つの実施例が提供する軌跡予測装置の構造概略図を示す。
当業者が本開示の一つ又は複数の実施例における技術的解決手段をよりよく理解するために、以下に、本開示の一つ又は複数の実施例における図面を参照しながら、本開示の一つ又は複数の実施例における技術的解決手段を明確で、完全に説明する。説明された実施例は、本開示の一部の実施例だけであり、全ての実施例ではない。本開示の一つ又は複数の実施例に基づいて、当業者が創造的労働をしない前提で取得した全ての他の実施例は、いずれも本開示の保護範囲に属するべきである。
本開示の実施例は、軌跡予測方法を提供し、該方法は、歩行者の歩行行動を予測するために用いられる。例えば、歩行者が歩いた経路に基づいて該歩行者の将来の歩行軌跡を予測することができる。
図1は、該軌跡予測方法のフローチャートを例示し、図1に示すように、該方法は、以下の処理を含むことができる。
ステップ100において、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得る。
前記目標対象は、軌跡予測を行う対象であってもよい。例えば、歩行者P1が歩いた経路に基づいて歩行者P1のこの先の歩行経路を予測すると、歩行者P1を目標対象と呼ぶことができる。
例示的には、前記目標対象の履歴軌跡データは、該目標対象の第1期間内の履歴軌跡データであってもよい。例えば、該履歴軌跡データは、歩行者P1の期間[1,Tobs]内の歩行経路に対応することができ、該期間[1,Tobs]を第1期間と呼ぶことができる。具体的には、目標対象の第1期間[1,Tobs]内の履歴軌跡データは、該目標対象の第1期間内の軌跡座標シーケンスを含むことができ、該軌跡座標シーケンスは、複数の軌跡座標を含むことができる。
例えば、軌跡座標
は、目標対象iの時刻tにおける座標を示し、横座標がxであり、縦座標がyである。前記第1期間内に複数の時刻tを含むことができ、対応する履歴軌跡データは、それぞれ各時刻tに対応する軌跡座標を含み、一つの軌跡座標シーケンスを形成する。
実際の実施において、一つのビデオ(Video)を取得し、該ビデオの持続時間は、前記第1期間に対応し、該ビデオは、複数の画像フレームを含み、そのうち少なくとも一部の画像フレームは、目標対象を含むことができる。各画像フレームがいずれも前記目標対象を含むことを例とする。検出追跡アルゴリズムにより該ビデオを前処理し、前記目標対象の各画像フレームにおける軌跡座標を抽出し、最終的に該目標対象の該ビデオにおける履歴軌跡データを得ることができる。
目標対象の第1期間内の履歴軌跡データに基づいて処理を行うことにより、目標対象の個体表現(individual representation)ベクトルを得ることができる。例えば、履歴軌跡データに基づいて符号化することにより、前記個体表現ベクトルを得る。
ステップ102において、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得する。
例示的には、少なくとも一つの関連対象は、第1期間内に目標対象と同じシーンにおける対象であってもよい。例えば、以上の一つのビデオを例として、該ビデオは、前記「シーン」であってもよい。該ビデオには、目標対象を含む以外に、他の対象を含む。例えば、目標対象は、歩行者P1である場合、上記ビデオにおいて、各画像フレームには該行者P1を含むのみならず、歩行者P2及び歩行者P3を含み、歩行者P2及びP3は、目標対象P1の関連対象と呼ぶことができる。これから分かるように、歩行者P2及びP3は、歩行者P1と同様に、いずれも前記ビデオの各画像フレームに存在し、この三つの歩行者の履歴軌跡データは、同じ第1期間に対応にしてもよい。関連対象の履歴軌跡データは、目標対象と同じであり、軌跡座標シーケンスでもある。
本ステップにおいて、目標対象及び関連対象の履歴軌跡データを符号化することにより、目標対象のグループ表現ベクトルを得ることができる。該グループ表現ベクトルは、前記少なくとも一つの関連対象が目標対象に与える行動影響を示すため用いられるができ、関連対象の履歴軌跡データが目標対象の軌跡予測に与える関連影響を含む。例えば、2人の歩行者が互いに向かって歩いて、ある箇所で集合しようとすると、この2人の歩行者の歩行経路は、関係があり、一方の歩行者の歩行経路に基づいて他方の歩行者の歩行経路を補助予測することができる。
ステップ104において、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を予測する。
ここで、目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、目標対象の将来の歩行軌跡を総合的に予測することができる。例えば、前記個体表現ベクトル及びグループ表現ベクトルは、いずれも符号化処理により得られるものであってもよく、本ステップは、個体表現ベクトル及びグループ表現ベクトルに復号処理を行うことにより、目標対象の軌跡を予測することができる。
例示的には、目標対象の履歴軌跡データは、目標対象の第1期間[1,Tobs]内の軌跡座標シーケンスを含むことができ、該目標対象の関連対象の履歴軌跡データは、該関連対象の第2期間内の軌跡座標シーケンスを含む。ここで、該第2期間は、前記第1期間と少なくとも局所的に重なり、即ち関連対象と目標対象は、同じシーンに出現した。
予測を行う場合、該目標対象である歩行者P1の第3期間[Tobs+1,Tobs+pred]内の歩行経路を予測してもよく、即ち目標対象の第1期間の後の第3期間内の予測軌跡を予測し、即ち目標対象の第1期間の後の一定時間の軌跡を予測する。
なお、図1は、例示的な実現方式に過ぎず、ステップ100及びステップ102の実行順序を限定するものではない。即ち実行過程において、まずステップ100を実行してからステップ102を実行してもよく、又はまずステップ102を実行してからステップ100を実行してもよく、当然のことながら、ステップ100とステップ102を同時に実行してもよい。
本実施例の軌跡予測方法は、目標対象の個体表現ベクトルとグループ表現ベクトルとを総合して軌跡予測を行い、且つグループ表現ベクトルは、目標対象及び関連対象の履歴軌跡データに基づいて決定されるものであり、歩行者間の相互作用影響をより正確に表すことができ、軌跡予測結果の正確性を向上させることに役立つ。
図2は、他の軌跡予測方法のフローチャートを例示する。図1に示すフローに対して、該方法は、個体表現ベクトルの取得過程を細分化し、目標対象の軌跡予測の影響要因をより正確で全面的に考慮する。図2に示すように、該方法は、以下の処理ステップ200、202、204、206、208、210を含むことができる。
ステップ200において、目標対象に対応する環境情報のセットを取得する。
前記セットには、異なる時刻にそれぞれ対応する複数の環境情報が含まれる。環境情報は、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域は、前記目標対象の前記画像フレームにおける軌跡座標を含む。例えば、所定領域は、目標対象の軌跡座標を中心とする周囲領域を指す。例示的には、該環境情報は、リアルタイム環境情報であってもよい。リアルタイム環境情報を利用して、シーン環境情報が目標対象に与える軌跡影響を予測することにより、軌跡予測をより正確にすることができる。以下の説明において、リアルタイム環境情報を例として説明する。
各リアルタイム環境情報は、目標対象の軌跡座標を含む画像パッチである。例えば、取得された目標対象の第1期間内の複数の画像フレームに対して、該複数の画像フレームは、それぞれ第1期間内の異なる時刻tに対応し、各画像フレームは、いずれも目標対象iの軌跡座標
を含み、該軌跡座標は、目標対象の該画像フレームにおける位置を示すことができ、該画像フレームから画像パッチを切り取り、該画像パッチは、該目標対象の軌跡座標を含み、該画像パッチは、時刻tで該目標対象に対応するリアルタイム環境情報と呼ばれる、と理解することができる。該画像パッチは、上記目標対象が位置する画像フレームにおける所定領域の画像コンテンツであり、目標対象の該画像フレームにおける軌跡座標も該所定領域に含まれる。
依然として以上の一つのビデオを例として、該ビデオの持続時間は、前記第1期間に対応し、かつ該ビデオは、8つの画像フレームを含み、各画像フレームは、一つの時刻t0、t1、t2、t3、t4、t5、t6、t7に対応し、そのうちの各時刻に対応する画像フレームは、目標対象を含む複数の対象を含んでもよい。該目標対象は、各画像フレームにいずれも対応する軌跡座標を有し、目標対象の該第1期間内の履歴軌跡データは、8つの軌跡座標を含むシーケンスである。
そのうちの一つの画像フレームでは、該目標対象が位置する軌跡座標
を中心として、該軌跡座標の周辺の所定領域の情報をリアルタイム環境情報と呼ぶことができる。例えば、前記軌跡座標を中心として100*100画素の画像パッチを画定することができ、この画像パッチ内の情報は、リアルタイム環境情報と呼ぶことができる。
図3を参照し、図3は、時刻t0に対応する画像フレームを示し、円形の軌跡座標31は、目標対象の該時点での軌跡座標であり、方形の軌跡座標32は、他の対象の該時点での軌跡座標であり、楕円形の軌跡座標33は、別の対象の該時点での軌跡座標である。軌跡座標31を中心として枠形領域Aを画定し、該領域Aは、目標対象の時刻t0に対応するリアルタイム環境情報であり、同様に、領域Bは、前記他の対象の該時刻t0に対応するリアルタイム環境情報であり、領域Cは、前記別の対象の該時刻t0に対応するリアルタイム環境情報である。ここで上記図3の枠形領域の大きさは、概略的であり、所定領域の大きさは、自由に設定することができる。ここで、上記異なる対象に対応する所定領域の大きさは、同じであり、同じ対象の異なる画像フレームにおける対応する所定領域の大きさも同じである。
以上のように、目標対象の履歴軌跡データにおいて、各軌跡座標は、該軌跡座標を中心とする一つの画像パッチ(image patch)に対応することができ、この画像パッチは、リアルタイム環境情報と呼ぶことができる。第1期間における各時刻に対応するリアルタイム環境情報は、セットを構成することができ、該セット(patch set)は、
に示すことができる。
ここで、
は、目標対象iの時刻tにおけるリアルタイム環境情報を示し、該時刻tは、前記第1期間内の一つの時刻であり、Siは、目標対象iの第1期間内のリアルタイム環境情報のセットを示し、該セットには、各時刻tにおける目標対象iに対応するリアルタイム環境情報を含む。
ステップ202において、前記環境情報のセットに基づいて、前記目標対象の環境特徴を得る。例えば、リアルタイム環境情報のセットを符号化することにより、該環境特徴を得ることができる。
ステップ204において、前記目標対象の第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る。
目標対象の履歴軌跡データがグローバル座標系での軌跡座標であれば、符号化を行う前に、該軌跡座標をグローバル座標系から個体相対座標系に変換することができ、該個体相対座標系は、前記履歴軌跡データにおける初期軌跡点を原点とする。このような座標変換方法は、個体の行動をよりよく注目し、統計学的にはより正確なフィッティングを行いやすい。
符号化ネットワークを介して目標対象の第1期間内の履歴軌跡データを符号化し、且つ得られた符号化結果を目標対象の軌跡特徴として扱うことができる。例示的には、歩行者の履歴期間の軌跡と将来期間の軌跡との間に互いに影響を与える可能性があることを考慮して、履歴軌跡データを符号化する過程において、該符号化ネットワークは、双方向長期記憶ネットワークLSTM(Bidirectional Long-Short-Term-Memory、Bi-LSTM)を採用することができる。Bi-LSTMにより目標対象の第1期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得る。該方法は、目標対象の履歴軌跡データをより正確で全面的に表すことができる。
例えば、目標対象の個体相対座標系での軌跡座標シーケンスを3層のBi-LSTMを用いて符号化し、長さが96の一次元テンソルを軌跡特徴として出力することができる。
ステップ206において、前記環境特徴と前記軌跡特徴を連結(concatenate)し、前記目標対象の個体表現ベクトルを得る。
ステップ208において、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得する。
ステップ210において、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を予測する。
本実施例の軌跡予測方法は、目標対象の個体表現ベクトルとグループ表現ベクトルを総合して軌跡予測を行うのみならず、グループ表現ベクトルは、目標対象及び関連対象の履歴軌跡データに基づいて決定されるものであり、歩行者の間の相互作用影響をより正確に表す。且つ、個体表現ベクトルの取得過程において対象のリアルタイム環境情報を総合することにより、軌跡予測への影響要因をより全面的に考慮し、軌跡予測の精度をさらに向上させる。
以下は、符号化-復号のネットワークフレームワークにより、本開示の実施例の軌跡予測方法を詳細に説明する。該ネットワークフレームワークにおいて、個体表現ベクトルを生成するための第1符号化ネットワークと、グループ表現ベクトルを生成するための第2符号化ネットワークと、軌跡予測のための復号ネットワークとを含む。
図4に示すとおり、図4におけるネットワークフレームワークは、第1符号化ネットワーク41と、第2符号化ネットワーク42と、復号ネットワーク43とを含む。第1符号化ネットワーク41は、目標対象の履歴軌跡データ及び対応するリアルタイム環境情報のセットに基づいて符号化し、目標対象の個体表現ベクトルを得ることができる。第2符号化ネットワーク42は、目標対象及び関連対象の履歴軌跡データに基づいて符号化し、目標対象のグループ表現ベクトルを得ることができる。該個体表現ベクトル及びグループ表現ベクトルは、いずれも復号ネットワーク43に入力され、復号ネットワーク43により復号処理され、予測される目標対象の軌跡を得る。
以下、第1符号化ネットワーク41、第2符号化ネットワーク42、及び復号ネットワーク43の処理について、それぞれ詳細に説明する。図4に示すように、まず、一つのシーンを提供し、該シーンは、一つのビデオであってもよく、ここで例示的に4人の歩行者(図中の各軌跡線a、b、c、dは、1人の歩行者の歩行軌跡を表す)を含み、該ビデオの各画像フレームにおいていずれも該4人の歩行者を含む。まず検出追跡アルゴリズムにより該シーンを前処理し、歩行者ごとの履歴軌跡データ及びリアルタイム環境情報のセットを抽出することができる。
以下、1人の歩行者を例として目標対象として、その軌跡予測の過程を説明する。他の3人の歩行者は、同様の方法で軌跡予測を行うことができ、説明を省略する。図4から分かるように、復号ネットワーク43から最終的に出力された結果において、これらの4人の歩行者の軌跡は、それぞれ元の軌跡に比べて1セグメントの予測結果が追加されている。例えば、軌跡線a(実線で示す)は、1セグメントの軌跡線a1(破線で示す)を前方に延長し続ける。軌跡線aは、歩行者の第1期間での履歴軌跡データに相当し、軌跡線a1は、上記第1符号化ネットワーク41、第2符号化ネットワーク42及び復号ネットワーク43の処理により、予測して得られた歩行軌跡に相当する。
第1符号化ネットワークによる個体表現ベクトルの符号化及び出力
図4に示すように、目標対象のシーンにおける履歴軌跡データ及びリアルタイム環境情報のセットを第1符号化ネットワーク41に入力する。ここで、第1符号化ネットワーク41は、第1サブネットワーク411と第2サブネットワーク412とを含むことができる。
図4に示すように、目標対象のシーンにおける履歴軌跡データ及びリアルタイム環境情報のセットを第1符号化ネットワーク41に入力する。ここで、第1符号化ネットワーク41は、第1サブネットワーク411と第2サブネットワーク412とを含むことができる。
ここで、第1サブネットワーク411は、目標対象の履歴軌跡データを符号化し、目標対象の軌跡特徴を得るために用いられる。該第1サブネットワーク411がBi-LSTMであることを例とする。例えば、該軌跡特徴は、出力長さが96の一次元テンソルであってもよい。実際の実施において、本実施例は、該軌跡特徴の出力長さを制限せず、96以外の他の数値であってもよい。
第2サブネットワーク412は、目標対象のリアルタイム環境情報のセットを符号化し、目標対象の環境特徴を得るために用いられる。該第2サブネットワーク412がCNNであることを例とし、CNNは、目標対象のリアルタイム環境情報のセットを符号化し、全結合層により各リアルタイム環境情報の符号化結果を統合し、長さが4の一次元テンソルを環境特徴として出力することができる。本実施例は、該環境特徴の出力長さを制限せず、4以外の他の数値であってもよい。
軌跡特徴と環境特徴に対して連結操作を行い、目標対象の個体表現ベクトルを得ることができる。
第2符号化ネットワークによるグループ表現ベクトルの符号化及び出力
図4に示すように、グラフ生成器421(RSBG Generator)は、目標対象及びその関連対象の履歴軌跡データを受信し、且つこれらの履歴軌跡データに基づいて再帰社会行動グラフ(Recursive Social Behavior Graph、RSBG)を生成するために用いられる。該RSBGは、目標対象とその関連対象との関係を示すためのグラフである。
図4に示すように、グラフ生成器421(RSBG Generator)は、目標対象及びその関連対象の履歴軌跡データを受信し、且つこれらの履歴軌跡データに基づいて再帰社会行動グラフ(Recursive Social Behavior Graph、RSBG)を生成するために用いられる。該RSBGは、目標対象とその関連対象との関係を示すためのグラフである。
シーンにN人の歩行者が含まれることを例として、該N人の歩行者に目標対象を含む。初期化の過程において、目標対象及び少なくとも一つの関連対象の履歴軌跡データ(グローバル座標系での軌跡座標であってもよい)に基づいて統合して特徴行列Fを得ることができる。該特徴行列Fは、N行でL列の行列であり、各行は、1人の歩行者の特徴を示し、L列は、各歩行者の特徴がL個の特徴を含むことを示す。該Lの値は、例えば2Tobsであってもよく、Tobsは、履歴軌跡データの長さである。2Tobsは例示的なものに過ぎず、本実施例は上記Lの具体的な値を限定しない。
以下の式(2)を参照すると、2つの異なる全結合層gs及びgoを使用して、それぞれ行列Fを2つの異なる関数空間にマッピングした後に関係取得処理を行い、該関係取得処理は、上記変換後の特徴行列に基づいて対象間の関係を計算することを含むことができる。例えば、該関係取得処理は、そのうちの一つの特徴行列を転置した後に他の特徴行列と乗算し、その後にsoftmax関数により正規化し、関係行列Rを得、該R行列の大きさは、N*Nであり、以下の式(2)に示すとおりである。実際の実施において、関係取得処理は、該式(2)の形式に限定されず、例えば、さらにsoftmax関数以外の他の正規化関数を採用することができる。
ここで、kは、再帰層の深さを示し、例えば、k=1の場合、Rkは、一回目の再帰演算により得られた関係行列を示し、k=2の場合、Rkは、2回目の再帰演算により得られた関係行列を示す。
上記式(3)のように、関係行列Rと特徴行列Fを融合し、より深い階層の特徴行列(更新後の特徴行列と呼ばれてもよい)を得ることができる。例えば、k層の関係行列Rkと特徴行列Fkを融合した後、k+1回の演算に用いられる特徴行列Fk+1を得る。ここで、fcは、融合時に使用された関数を示す。
次に、戻って式(2)及び式(3)を繰り返して実行し、即ち特徴行列Fk+1を式(2)に導入し、関係行列Rk+1を得、次に特徴行列Fk+1及び関係行列Rk+1を式(3)に導入して計算して特徴行列Fk+2を得る。このように繰り返し、説明を省略する。予め設定された更新停止条件に達すると、該関係行列の更新を停止する。例えば、該更新停止条件は、所定の反復回数に達することであってもよい。
上記更新プロセスにおいて複数の関係行列を得ることができ、例えば、一連のR1,…,Rkを抽出し、kが再帰層数である。本実施例において、これらの関係行列を算術平均し、総関係行列Rを得ることができる。該総関係行列RもN*Nであり、該行列における各値は、目標対象と少なくとも一つの関連対象との2つずつの間の相互関係値を示す。例えば、Nが4であることを例として、4人の歩行者P1、P2、P3及びP4のうちの歩行者P1は、目標対象であり、歩行者P2~P4は、目標対象の関連対象と呼ぶことができる。以下に4*4の関係行列Rを例示する。
ここで、該関係行列において、上から下への順序で4つの行を見ると、各行がそれぞれ「P1、P2、P3及びP4」に対応し、左から右への順序で4つの列を見ると、各列がそれぞれ「P1、P2、P3及びP4」に対応する。例えば、第1行第2列の値「0.8」は、歩行者P1と歩行者P2との間の相互関係値を示す。また例えば、第3行第4列の値「0.3」は、歩行者P3と歩行者P4との間の相互関係値を示す。
関係行列Rにおける各要素の値は、対象セットにおける2つずつの対象の間の歩行行動の関連度を表すことができ、相互関係値と呼ぶことができる。以上の関係行列の例のように、前記対象セットは、目標対象と少なくとも一つの関連対象とを含み、前記2つずつの対象の間は、目標対象と関連対象の間であってもよく、関連対象と関連対象の間であってもよい。前記歩行行動の関連度は、2つの対象の行動の間に関係がある確率を示すために用いられることができ、例えば、2つの対象の歩行行動の間に関係がある確率が80%であり、又は関係がある確率が20%だけである。前記行動関連は、様々な状況を含むことができ、例えば、類似する目的地、類似する運動軌跡、類似する運動などのうちの一つ又は複数の組み合わせである。例えば、2人が互いに向かって歩いて、同じ場所で集合すれば、この2人は、同じグループに属する。また例えば、数人の家族が外出し、歩行軌跡及び目的地が基本的に一致し、この家族は、同じグループと見なすことができる。また例えば、横断歩道を青信号で通行する場合、道路を横断する歩行者の大部分は、同じ歩行軌跡を示し、これらの人は、同じグループと見なすことができる。行動関連は、上述した例以外の他の例であってもよい。
上記相互関係値に基づいて2つの対象の行動関連を決定する場合、この2つの対象が同じグループ(group)に属すると呼ぶこともできる。例えば、以上に例示した関係行列における各要素の値は、相互関係値であり、2つの対象の行動関連度を示す。該相互関係の値がある閾値より大きい場合、同じグループであると考えることができる。例示的には、2つの対象の相互関係値が閾値0.7より大きい0.8であるとすれば、2つの対象が同じグループであると考えることができる。
上記得られた総関係行列Rに基づいて、目標対象のグループ表現ベクトルを決定することができる。
例えば、関係行列Rに基づいて再帰社会行動グラフを生成することができ、前記再帰社会行動グラフは、複数のノードを含み、且つ任意の2つのノードの間に接続辺を有する。ここで、各ノードは、前記対象セットにおける一つの対象に対応し、前記ノードの値は、該ノードに対応する対象の履歴軌跡データであり、前記接続辺の値は、前記接続辺により接続された2つのノードの間の相互関係値である。以下の式を参照する。
ここで、該再帰社会行動グラフRSBGは、頂点tiを有し、該頂点tiは、目標対象iの履歴軌跡データ(合計でN個の対象を有し、該歴軌跡データが個体相対座標系での軌跡座標であってもよい)であってもよく、該再帰社会行動グラフにおける接続辺の値は、Ra(i1,i2)であり、該接続辺Ra(i1,i2)は、総関係行列Rの第i1行第i2列での値を示し、対象i1とi2の相互関係値である。
RSBGを生成した後、該グラフにグラフ畳み込み処理を行い、目標対象に対応するノードの値を得ることができ、前記値を目標対象のグループ表現ベクトルとする。例えば、GCN(Graph Convolutional Network)によりグラフ畳み込み処理を行うことができ、関連する処理式は、以下の式7及び式8を参照することができる。
ここで、mは、GCNの層数を示し、fcは、全結合層の処理を示す。例えば、1つの2層のGCNネットワークを使用する場合、m=2であり、式(7)及び式(8)に応じて2回計算を行うことができる。例えば、mが1である場合に計算してベクトル
を得、次に該ベクトル
を式に代入してもう一回計算し、最終的にベクトル
を得、即ち目標対象iのグループ表現ベクトルである。
以上のような計算過程において、特徴行列及び関係行列の再帰計算及び融合により、最終的に総関係行列Rを得、且つグラフ構造をさらに利用してグラフ畳み込み処理により歩行者間の相互関係を得、得られたグループ表現ベクトルが歩行者間の相互作用への影響を表すことがより正確になっている。
復号ネットワークによる予測軌跡の復号及び出力
個体表現ベクトル及びグループ表現ベクトルを取得した後、この2つのベクトルを復号ネットワーク43に入力することができ、該復号ネットワーク43は、目標対象の個体表現ベクトル及びグループ表現ベクトルを連結して全体表現ベクトルを得ることができる。該全体表現ベクトルは、LSTMの入力とし、LSTMは、該目標対象の第2期間内の予測軌跡を出力することができる。
個体表現ベクトル及びグループ表現ベクトルを取得した後、この2つのベクトルを復号ネットワーク43に入力することができ、該復号ネットワーク43は、目標対象の個体表現ベクトル及びグループ表現ベクトルを連結して全体表現ベクトルを得ることができる。該全体表現ベクトルは、LSTMの入力とし、LSTMは、該目標対象の第2期間内の予測軌跡を出力することができる。
上記第1復号ネットワーク41、第2復号ネットワーク42及び復号ネットワーク43は、まずトレーニングされ、次に歩行者の軌跡予測に適用される。
ネットワークトレーニング段階において、目標対象の予測軌跡は、予測値及び真の値を有することができ、予測値及び真の値に基づいて第1損失関数を計算する。例えば、該第1損失関数の関数値は、以下の式(9)に基づいて得ることができる。
以上の式(9)は、指数L2 loss(Exponential L2 Loss)、即ち平均二乗誤差損失関数である。ここで、tは、予測時間ノードを示し、iは、歩行者idを示し、
は、真の値を示し、
は、予測値を示し、γは、ハイパーパラメータであり、実験において例えば20に設定することができる。該ハイパーパラメータγは、予測された第2期間の長さに応じて変化することができ、例えば、第2期間の持続時間が長いほど、該γの値が大きくてもよい。
指数L2 lossを用いて第1損失関数値を計算することにより、軌跡予測の時に、予測された時間ノードが遠いほど損失重みが漸次増加し、それにより監視トレーニングにおいて各軌跡座標の平均予測結果の正確性及び目的地予測の正確性を両立させ、軌跡予測をより正確にする。
上記計算して得られた第1損失関数値に基づいて、前記復号ネットワーク、第1符号化ネットワーク及び第2符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを逆方向に調整することができる。
トレーニング段階において、RSBGを用いてグラフ畳み込みを行う方式により歩行者の間の相互作用の影響を取得する場合、さらにシーンにおける歩行者の間の実際の相互関係値、即ち関係行列Rにおける各要素のラベル値を予め取得することができる。該ラベル値は、前記相互関係値に対応する2つの対象が同じグループに属するか否かを示すために用いられ、ここで、同じグループに属する2つの対象の間の歩行行動関連度が予め設定された関連条件を満たす。該予め設定された関連条件は、例えば以上に例示した相互関係値が予め設定された閾値より大きいことであってもよく、例えば、相互関係値が0.8であり、閾値0.7より大きい場合、該相互関係値に対応する2つの対象の歩行行動の関連度が予め設定された関連条件を満たすと考えられ、この2つの対象が同じグループに属すると考えられる。具体的な実施において、該ラベル値の決定は、専門家同定の方式を採用することができる。例えば、図4のシーンに4人の歩行者があり、専門家同定の方式によりこの4人の歩行者のうちの任意の2人の間の関係を決定することができ、即ち2人の歩行者が同じグループに属するか否かを決定し、同じグループに属すれば、Ra(i1,i2)のラベル値を1に設定すし、同じグループに属しなければ、Ra(i1,i2)のラベル値を0に設定する。
以上の説明で言及したグラフ生成器により再帰的方式で計算して得られた総関係行列R(例えば、再帰的過程における複数の関係行列を平均化した後に得られた関係行列R)は、相互関係値の予測値である。上記相互関係値の予測値とラベル値に基づいて第2損失関数値を計算することができる。例えば、クロスエントロピーを利用して該損失値を計算することができる。前記第2損失関数値に基づいて、グラフ生成器におけるネットワークパラメータを調整することができる。例えば、該グラフ生成器は、複数の全結合層を含み、これらの全結合層のネットワークパラメータを調整することができる。
本開示の実施例の軌跡予測方法は、予測された軌跡を得た後、様々なシーンに適用することができる。
例えば、目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定する。前記マッチングしないことは、実際の軌跡が予測軌跡と異なることであってもよく、実際の軌跡と予測軌跡との偏差が大きいことを含む。ADE(Average Displacement Error)又はFDE(Final Displacement Error)という指標により実際の軌跡と予測軌跡との間の距離を判断することができる。上記指標により一定の閾値を設定することにより、2つの軌跡偏差の程度が大きいか否かを判断することができる。実際の応用の一例として、ある歩行者P2が交差点を左折しようとすることを予測し、結果として実際に彼が交差点を右折する場合、該行者に行動異常のリスクが存在することを確定することができる。例えば、歩行者の行為が異常であると発見した後、該歩行者が不正者(例えば泥棒)である可能性があることを示す。
また例えば、目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に基づいて経路計画を行う。例えば、補助知能ロボットが自動的に歩行する時、向こうのある歩行者の軌跡を予測した後、ロボットは、予測された該歩行者の軌跡に基づいて自分の次の行動ルートを決定することができ、例えば、ロボットは、自分の歩行ルートを修正して上記予測された歩行者との衝突を防止することができる。また、該方法は、他の知能歩行装置にさらに適用することができ、該知能歩行装置は、予測された歩行者軌跡に基づいて、自身の次の歩行ルートを修正するか又は計画することにより、歩行者との衝突を回避することができる。
本開示の実施例は、軌跡予測装置を提供し、該装置は、本開示のいずれかの実施例の軌跡予測方法を実行することができる。以下に該装置を簡単に説明し、その各モジュールの具体的な処理は、方法の実施例を参照することができる。図5に示すように、該装置は、個体表現モジュール51と、グループ表現モジュール52と、予測処理モジュール53とを含むことができる。
ここで、個体表現モジュール51は、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るために用いられる。グループ表現モジュール52は、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するために用いられる。予測処理モジュール53は、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るために用いられる。
一例において、前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられる。前記目標対象の履歴軌跡データは、前記目標対象の第1期間内の履歴軌跡データを含む。前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第2期間内の履歴軌跡データを含み、前記第2期間は、前記第1期間と少なくとも局所的に重なる。
前記予測処理モジュール53は、具体的には前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の第1期間の後の第3期間内の予測軌跡を得るために用いられる。
一例において、図6に示すように、個体表現モジュール51は、環境処理サブモジュールと511、軌跡処理サブモジュール512と、融合処理サブモジュール513とを含むことができる。
ここで、環境処理サブモジュール511は、前記目標対象に対応する環境情報のセットを取得し、且つ前記環境情報のセットに基づいて前記目標対象の環境特徴を得るために用いられる。前記セットに異なる時刻にそれぞれ対応する複数の環境情報を含む。環境情報は、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域は、前記目標対象の前記画像フレームにおける軌跡座標を含む。軌跡処理サブモジュール512は、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得るために用いられる。融合処理サブモジュール513は、前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得るために用いられる。
一例において、前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含む。前記装置は、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とするための座標変換モジュール54をさらに含む。
一例において、前記グループ表現モジュール52は、関係取得サブモジュール521、相互作用取得サブモジュール522と、表現処理サブモジュール523とを含むことができる。
ここで、関係取得サブモジュール521は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得、前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得、前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得、予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けるために用いられる。
相互作用取得サブモジュール522は、更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける2つずつの対象の間の相互関係値を得るために用いられる。ここで、前記対象セットは、目標対象と少なくとも一つの関連対象とを含み、前記相互関係値が前記2つずつの対象の間の歩行行動の関連度を表すために用いられる。
表現処理サブモジュール523は、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定するために用いられる。一例において、表現処理サブモジュール523は、具体的には前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動図が複数のノードを含み且ついずれか2つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された2つのノードの間の相互関係値であり、前記再帰社会行動図に畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得るために用いられる。
一例において、前記個体表現モジュール51は、具体的には第1符号化ネットワークを介して目標対象の履歴軌跡データに基づいて前記目標対象の個体表現ベクトルを得るために用いられ、前記グループ表現モジュール52は、具体的には第2符号化ネットワークを介して前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するために用いられ、前記予測処理モジュール53は、具体的には復号ネットワークを介して前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るために用いられる。ここで、前記第1符号化ネットワークは、双方向長短期記憶ネットワークLSTMを含む。
一例において、図7に示すように、前記装置は、前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第1損失関数値を取得し、前記第1損失関数値が指数平均二乗誤差損失関数に基づいて得られ、前記第1損失関数値に基づいて、前記復号ネットワーク、前記第1符号化ネットワーク及び前記第2符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整するためのネットワークトレーニングモジュール55をさらに含むことができる。
一例において、前記第2符号化ネットワークは、グラフ生成器をさらに含み、前記グラフ生成器は、目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象と少なくとも一つの関連対象との2つずつの間の相互関係値を得るために用いられる。この場合、前記ネットワークトレーニングモジュール55は、さらに前記相互関係値の予測値とラベル値との間の第2損失関数値を取得し、前記相互関係値のラベル値が前記相互関係値に対応する2つの対象が同じグループに属するか否かを示すために用いられ、ここで、同じグループに属する2つの対象の間の歩行行動の関連度が予め設定された関連条件を満たし、前記第2損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整するために用いられる。
一例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定するための異常決定モジュール56をさらに含むことができる。
一例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うための経路処理モジュール57をさらに含む。
一部の実施例において、上記装置は、以上に記載の対応する任意の方法を実行するために用いられてもよく、簡潔のために、ここでは説明を省略する。
本開示の実施例は、電子機器をさらに提供し、前記機器は、メモリとプロセッサとを含み、前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータコマンドを呼び出し、本明細書のいずれかの実施例の軌跡予測方法を実施するために用いられる。
本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体をさらに提供し、前記プログラムがプロセッサにより実行される時に本明細書のいずれかの実施例の軌跡予測方法が実施される。
本願は、コンピュータプログラムをさらに提供し、該コンピュータプログラムは、記憶媒体に記憶され、プロセッサが該コンピュータプログラムを実行する時、前記プロセッサは、上記いずれかの実施例の上記軌跡予測方法を実行するために用いられる。
当業者に理解されるように、本開示の一つ又は複数の実施例は、方法、システム又はコンピュータプログラム製品として提供することができる。したがって、本開示の一つ又は複数の実施例は、完全なハードウェア実施例、完全なソフトウェア実施例又はソフトウェアとハードウェアを組み合わせる実施例の形式を採用することができる。且つ、本開示の一つ又は複数の実施例は、コンピュータ使用可能なプログラムコードを含む一つ又は複数のコンピュータ使用可能な記憶媒体(磁気ディスクメモリ、CD-ROM、光学メモリ等を含むがこれらに限定されない)で実施されたコンピュータプログラム製品の形式を採用することができる。
本開示の実施例は、コンピュータ読み取り可能な記録媒体をさらに提供し、該記憶媒体にコンピュータプログラムが記憶されてもよく、前記プログラムがプロセッサにより実行される時に本開示のいずれかの実施例に記載の軌跡予測のためのニューラルネットワークのトレーニング方法のステップが実施され、及び/又は本開示のいずれかの実施例に記載の軌跡予測方法のステップが実施される。
ここで、本開示の実施例に記載の「及び/又は」は、少なくとも両者のうちの一つを有することを示し、例えば、「A及び/又はB」は、A、B、及び「A及びB」という三種類の解決手段を含む。
本開示における各実施例は、いずれも漸進の方式で説明され、各実施例の同じで類似する部分は、互いに参照すればよく、各実施例は、他の実施例との相違点を重点として説明する。特に、データ処理装置の実施例に対して、それは、基本的に方法の実施例と類似するため簡単に説明され、関連する部分は、方法の実施例の部分の説明を参照すればよい。
以上、本開示の具体的な実施例について説明した。他の実施例は、添付の特許請求の範囲内にある。いくつかの場合、特許請求の範囲に記載の行為又はステップは、実施例と異なる順序で実行し且つ依然として所望の結果を実現することができる。また、図面に描かれたプロセスは、所望の結果を達成するために、示されている特定の順序又は連続した順序で行われる必ずしも必要としない。いくつかの実施形態において、マルチタスク処理及び並列処理も可能であるか又は有利である可能性がある。
本開示に記載の主題及び機能操作の実施例は、デジタル電子回路、実体的に具現化されたコンピュータソフトウェア又はファームウェア、本開示に開示された構造及びその構造的等価物を含むコンピュータハードウェア、又はそれらのうちの一つ又は複数の組み合わせにより実現することができる。本開示に記載の主題の実施例は、一つ又は複数のコンピュータプログラム、即ち有形の非一時的なプログラム担体にコーディングされてデータ処理装置に実行されるか又はデータ処理装置の操作を制御するコンピュータプログラムコマンドのうちの一つ又は複数のモジュールとして実現することができ。代わりに、またはこれに加えて、プログラムコマンドは、機械的に生成された電気、光又は電磁信号などの人工的に生成された伝播信号に符号化されてもよく、該信号が生成されて情報を符号化し且つ適切な受信機装置に伝送してデータ処理装置により実行される。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダム又はシリアルアクセスメモリ装置、又はそれらのうちの一つ又は複数の組み合わせであってもよい。
本開示に記載の処理及び論理フローは、一つ又は複数のコンピュータプログラムを実行する一つ又は複数のプログラム可能なコンピュータにより実行されてもよく、入力データに基づいて操作し且つ出力を生成することにより対応する機能を実行する。前記処理及び論理フローは、さらに例えばFPGマルチ(フィールドプログラマブルゲートアレイ)又はマルチSIC(専用集積回路)などの専用論理回路により実行されてもよく、且つ装置は、専用論理回路として実現されてもよい。
コンピュータプログラムの実行に適するコンピュータは、例えば汎用及び/又は専用マイクロプロセッサ、又は任意の他のタイプの中央処理ユニットを含む。一般的に、中央処理ユニットは、リードオンリーメモリ及び/又はランダムアクセスメモリからコマンド及びデータを受信する。コンピュータの基本的な構成要素は、コマンドを実施か実行するための中央処理ユニットとコマンド及びデータを記憶するための一つ又は複数の記憶装置とを含む。一般的に、コンピュータは、データを記憶するための一つ又は複数の大容量記憶装置をさらに含み、例えば磁気ディスク、光磁気ディスク又は光ディスク等であり、又はコンピュータは、この大容量記憶装置と操作可能に結合されてそれとデータの受送信を行い、又は2つの場合があるが、コンピュータは、必ずこのような装置を有する必要がない。また、コンピュータは、他の装置に埋め込むことができ、例えば携帯電話、パーソナルデジタルアシスタント(PDA)、移動オーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、又は例えばユニバーサルシリアルバス(USB)フラッシュメモリドライブなどのポータブル記憶装置であり、いくつかの例のみを挙げる。
コンピュータプログラムコマンド及びデータを記憶することに適するコンピュータ可読媒体は、全ての形式の不揮発性メモリ、媒体及びメモリ装置を含み、例えば半導体メモリ装置(例えばEPROM、EEPROM及びフラッシュメモリ装置)、磁気ディスク(例えば内部ハードディスク又はリムーバブルディスク)、光磁気ディスク、CDROM及びDVD-ROMディスクを含む。プロセッサ及びメモリは、専用論理回路によって補充されてもよく又は専用論理回路に組み込まれてもよい。
本開示は、具体的な実施詳細を多く含むが、これらが任意の開示された範囲又は保護を要求する範囲を限定するものと解釈されるべきではなく、主に特定の開示された具体的な実施例の特徴を説明するために用いられる。本開示における複数の実施例に記載された特徴のいくつかは、単一の実施形態の中で組み合わせて実施されてもよい。他方では、単一の実施例において説明された様々な特徴は、複数の実施例において分けて実施するか又は任意の適切なサブ組み合わせで実施することができる。また、特徴は、上記のようにいくつかの組み合わせにおいて作用し且つ最初にこのように保護を要求することができるが、保護を要求する組み合わせからの一つ又は複数の特徴は、いくつかの場合に該組み合わせから除去することができ、且つ保護を要求する組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を指すことができる。
同様に、図面において特定の順序で操作を描いたが、これは、これらの操作が示された特定の順序で実行されるか又は順次実行されることを要求し、又は全ての例示された操作が実行されることを要求して、所望の結果を実現すると理解されるべきではない。いくつかの場合に、マルチタスク及び並列処理は、有利である可能性がある。また、上記実施例における様々なシステムモジュール及びコンポーネントの分離は、全ての実施例においていずれもこのような分離を必要とすると理解されるべきではなく、且つ、説明されたプログラムコンポーネント及びシステムは、一般的に単一のソフトウェア製品に統合されてもよく、又は複数のソフトウェア製品にパッケージされてもよいと理解すべきである。
これにより、主題の特定の実施例が説明された。他の実施例は、添付の特許請求の範囲内にある。いくつかの場合、特許請求の範囲に記載の動作は、異なる順序で実行しても所望の結果を実現することができる。また、図面に示された処理は、必ずしも示された特定の順序又は順序で所望の結果を実現しない。いくつかの実現において、マルチタスク及び並列処理は、有利である可能性がある。
以上の記載は、本開示の一つ又は複数の実施例の好ましい実施例に過ぎず、本開示の一つ又は複数の実施例を限定するものではなく、本開示の一つ又は複数の実施例の精神及び原則内に行われた任意の修正、同等置換、改善等は、いずれも本開示の一つ又は複数の実施例の保護範囲内に含まれるべきである。
本願は、2020年3月13日に提出された出願番号が202010177302.1であり、発明名称が「軌跡予測方法、装置、電子機器及び媒体」の中国特許出願の優先権を主張し、以上の中国特許出願の全文は、引用の方式で本明細書に組み込まれる。
Claims (21)
- 目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることと、
前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することと、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることと、を含むことを特徴とする軌跡予測方法。 - 前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられ、
前記目標対象の履歴軌跡データは、前記目標対象の第1期間内の履歴軌跡データを含み、
前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第2期間内の履歴軌跡データを含み、前記第2期間は、前記第1期間と少なくとも局所的に重なり、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第1期間の後の第3期間内の予測軌跡を得ることを含むことを特徴とする請求項1に記載の方法。 - 目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることは、
前記目標対象に対応する環境情報のセットを取得することであって、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含むことと、
前記環境情報のセットに基づいて、前記目標対象の環境特徴を得ることと、
前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることと、
前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得ることと、を含むことを特徴とする請求項2に記載の方法。 - 前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含み、
前記方法は、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とすることをさらに含むことを特徴とする請求項3に記載の方法。 - 前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることは、
符号化ネットワークを介して前記目標対象の第1期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得ることを含むことを特徴とする請求項3に記載の方法。 - 前記符号化ネットワークは、双方向長短期記憶ネットワークLSTMを含むことを特徴とする請求項5に記載の方法。
- 前記目標対象の履歴軌跡データと、前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することは、
前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得ることと、
前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得ることと、
前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得ることと、
予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けることと、
更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける2つずつの対象の間の相互関係値を得ることであって、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記2つずつの対象の間の歩行行動の関連度を表すために用いられることと、
前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することと、を含むことを特徴とする請求項1~6のいずれか一項に記載の方法。 - 前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することは、
前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか2つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された2つのノードの間の相互関係値であり、
前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得ることを含むことを特徴とする請求項7に記載の方法。 - 前記目標対象の個体表現ベクトルを得ることは、第1符号化ネットワークを介して前記履歴軌跡データに基づいて個体表現ベクトルを得ることを含み、
前記目標対象のグループ表現ベクトルを取得することは、第2符号化ネットワークを介して前記目標対象のグループ表現ベクトルを取得することを含み、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、復号ネットワークに基づいて前記予測軌跡を得ることを含み、
前記方法は、
前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第1損失関数値を取得することであって、前記第1損失関数値が指数平均二乗誤差損失関数に基づいて得られることと、
前記第1損失関数値に基づいて、前記復号ネットワーク、前記第1符号化ネットワーク及び前記第2符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整することと、をさらに含むことを特徴とする請求項1~8のいずれか一項に記載の方法。 - 前記第2符号化ネットワークは、グラフ生成器を含み、前記グラフ生成器は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、対象セットにおける2つずつの対象の間の相互関係値を得るために用いられ、前記対象セットは、前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値は、前記2つずつの対象の間の歩行行動の関連度を表すために用いられ、
前記方法は、
前記相互関係値の予測値とラベル値との間の第2損失関数値を取得することであって、前記相互関係値のラベル値が前記相互関係値に対応する2つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられることと、
前記第2損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整することと、をさらに含むことを特徴とする請求項9に記載の方法。 - 前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定することをさらに含むことを特徴とする請求項1~10のいずれか一項に記載の方法。
- 前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うことをさらに含む請求項1~10のいずれか一項に記載の方法。
- 目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るための個体表現モジュールと、
前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するためのグループ表現モジュールと、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るための予測処理モジュールと、を含む軌跡予測装置。 - 前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられ、
前記目標対象の履歴軌跡データは、前記目標対象の第1期間内の履歴軌跡データを含み、
前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第2期間内の履歴軌跡データを含み、前記第2期間は、前記第1期間と少なくとも局所的に重なり、
前記予測処理モジュールは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第1期間の後の第3期間内の予測軌跡を得るために用いられることを特徴とする請求項13に記載の装置。 - 前記個体表現モジュールは、環境処理サブモジュールと軌跡処理サブモジュールと融合処理サブモジュールとを含み、
前記環境処理サブモジュールは、
前記目標対象に対応する環境情報のセットを取得し、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含み、
前記環境情報のセットに基づいて、前記目標対象の環境特徴を得るために用いられ、
前記軌跡処理サブモジュールは、
前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得るために用いられ、
前記融合処理サブモジュールは、
前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得るに用いられることを特徴とする請求項14に記載の装置。 - 前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含み、
前記装置は、前記目標対象の前記第1期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とするための座標変換モジュールをさらに含むことを特徴とする請求項15に記載の装置。 - 前記グループ表現モジュールは、関係取得サブモジュールと相互作用取得サブモジュールと表現処理サブモジュールとを含み、
前記関係取得サブモジュールは、
前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得、
前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得、
前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得、
予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けるために用いられ、
前記相互作用取得サブモジュールは、
更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける2つずつの対象の間の相互関係値を得、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記2つずつの対象の間の歩行行動の関連度を表す、ために用いられ、
前記表現処理サブモジュールは、
前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定するために用いられることを特徴とする請求項13~16のいずれか一項に記載の装置。 - 前記表現処理サブモジュールは、
前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか2つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された2つのノードの間の相互関係値であり、
前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得るために用いられることを特徴とする請求項17に記載の装置。 - コンピュータ可読命令を記憶するためのメモリと、
前記コンピュータ可読命令を呼び出し、請求項1~12のいずれか一項に記載の予測軌跡方法を実施するためのプロセッサと、を含むことを特徴とする電子機器。 - コンピュータプログラムが記憶されるコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサにより実行される場合に請求項1~12のいずれか一項に記載の予測軌跡方法が実施されるコンピュータ読み取り可能な記録媒体。
- 記憶媒体に記憶されるコンピュータプログラムであって、
プロセッサが前記コンピュータプログラムを実行する場合、前記プロセッサは、請求項1~12のいずれか一項に記載の予測軌跡方法を実行するために用いられるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010177302.1 | 2020-03-13 | ||
CN202010177302.1A CN111401233A (zh) | 2020-03-13 | 2020-03-13 | 轨迹预测方法、装置、电子设备及介质 |
PCT/CN2021/080016 WO2021180130A1 (zh) | 2020-03-13 | 2021-03-10 | 轨迹预测 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023503527A true JP2023503527A (ja) | 2023-01-30 |
Family
ID=71428717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022532611A Withdrawn JP2023503527A (ja) | 2020-03-13 | 2021-03-10 | 軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2023503527A (ja) |
KR (1) | KR20220087561A (ja) |
CN (1) | CN111401233A (ja) |
WO (1) | WO2021180130A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
CN111798492B (zh) * | 2020-07-16 | 2024-04-19 | 商汤国际私人有限公司 | 轨迹预测方法、装置、电子设备及介质 |
CN111783738A (zh) * | 2020-07-29 | 2020-10-16 | 中国人民解放军国防科技大学 | 一种通信辐射源异常运动轨迹检测方法 |
CN111942407B (zh) * | 2020-07-31 | 2022-09-23 | 商汤集团有限公司 | 轨迹预测方法、装置、设备及存储介质 |
CN112541449A (zh) * | 2020-12-18 | 2021-03-23 | 天津大学 | 一种基于无人机航拍视角的行人轨迹预测方法 |
CN112785075B (zh) * | 2021-01-31 | 2022-11-25 | 江苏商贸职业学院 | 一种基于rfid定位的行人行为预测方法及系统 |
CN113033364B (zh) * | 2021-03-15 | 2024-06-14 | 商汤集团有限公司 | 轨迹预测方法、行驶控制方法、装置、电子设备及存储介质 |
CN113177470B (zh) * | 2021-04-28 | 2022-11-01 | 华中科技大学 | 行人轨迹预测方法、装置、设备及存储介质 |
CN113360094B (zh) * | 2021-06-04 | 2022-11-01 | 重庆紫光华山智安科技有限公司 | 数据预测方法和装置、电子设备及存储介质 |
CN113715814B (zh) * | 2021-09-02 | 2023-03-21 | 北京百度网讯科技有限公司 | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 |
CN114154687A (zh) * | 2021-11-17 | 2022-03-08 | 泰康保险集团股份有限公司 | 一种轨迹预测方法、装置、电子设备及存储介质 |
CN114239974B (zh) * | 2021-12-21 | 2022-10-25 | 清华大学 | 多智能体的位置预测方法、装置、电子设备及存储介质 |
CN114379595B (zh) * | 2022-02-22 | 2023-04-07 | 无锡物联网创新中心有限公司 | 基于车辆行为特征与环境交互信息的车辆轨迹预测方法 |
CN114882426A (zh) * | 2022-04-06 | 2022-08-09 | 华中科技大学 | 一种基于语义一致性的轨迹预测方法及装置 |
CN114722232B (zh) * | 2022-04-18 | 2023-12-12 | 北京航迹科技有限公司 | 预测运动轨迹的方法、装置、设备和存储介质 |
CN115205330B (zh) * | 2022-06-17 | 2023-03-24 | 中关村科学城城市大脑股份有限公司 | 轨迹信息生成方法、装置、电子设备和计算机可读介质 |
CN115071762B (zh) * | 2022-08-22 | 2022-12-16 | 北京理工大学前沿技术研究院 | 面向城市场景下行人轨迹预测方法、模型及存储介质 |
CN115938053B (zh) * | 2022-12-06 | 2024-08-30 | 新疆天池能源有限责任公司 | 一种基于电子围栏的人员运动轨迹预测系统及其预测方法 |
CN117556376B (zh) * | 2024-01-11 | 2024-04-30 | 宁波朗达工程科技有限公司 | 一种基于多源数据融合的船舶动态轨迹预测及跟踪方法 |
CN118037764B (zh) * | 2024-02-01 | 2024-09-20 | 淮阴工学院 | 一种多摄像头的室内行人异常轨迹预警方法、装置及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7001067B2 (ja) * | 2017-01-23 | 2022-01-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
CN107168342B (zh) * | 2017-07-12 | 2020-04-07 | 哈尔滨工大智慧工厂有限公司 | 一种用于机器人路径规划的行人轨迹预测方法 |
CN109558961B (zh) * | 2017-09-25 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 确定位置信息的方法和系统、存储介质、处理器以及装置 |
CN108537818B (zh) * | 2018-03-07 | 2020-08-14 | 上海交通大学 | 基于集群压力lstm的人群轨迹预测方法 |
CN109300144B (zh) * | 2018-09-21 | 2021-12-24 | 中国矿业大学 | 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法 |
CN110516888B (zh) * | 2019-09-02 | 2020-12-22 | 重庆紫光华山智安科技有限公司 | 轨迹预测方法、装置、电子设备和计算机可读存储介质 |
CN110610271B (zh) * | 2019-09-17 | 2022-05-13 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
-
2020
- 2020-03-13 CN CN202010177302.1A patent/CN111401233A/zh active Pending
-
2021
- 2021-03-10 WO PCT/CN2021/080016 patent/WO2021180130A1/zh active Application Filing
- 2021-03-10 JP JP2022532611A patent/JP2023503527A/ja not_active Withdrawn
- 2021-03-10 KR KR1020227018513A patent/KR20220087561A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
WO2021180130A1 (zh) | 2021-09-16 |
CN111401233A (zh) | 2020-07-10 |
KR20220087561A (ko) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023503527A (ja) | 軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム | |
US11200696B2 (en) | Method and apparatus for training 6D pose estimation network based on deep learning iterative matching | |
US11556777B2 (en) | Continuous convolution and fusion in neural networks | |
Lyu et al. | Chipnet: Real-time lidar processing for drivable region segmentation on an fpga | |
WO2018059300A1 (zh) | 行走行为的预测方法和装置、数据处理装置和电子设备 | |
KR20210114952A (ko) | 목표대상물의 검출방법, 장치, 기기 및 기억매체 | |
US9195903B2 (en) | Extracting salient features from video using a neurosynaptic system | |
CN113139446B (zh) | 一种端到端自动驾驶行为决策方法、系统及终端设备 | |
CN111587408A (zh) | 机器人导航和对象跟踪 | |
KR20200095356A (ko) | 딥 뉴럴 네트워크(deep neural network) 기반의 다중 패치 조합(multiple patch combination)을 이용하여 얼굴을 인식하고, 극도의 상황에서 결함 허용 능력 및 흔들림에 강인한 성질을 향상시키는 방법 | |
EP3905139A1 (en) | Method for performing continual learning on classifier in client capable of classifying images by using continual learning server and continual learning server using the same | |
WO2022193497A1 (en) | Method and system for graph-based panoptic segmentation | |
KR20200075727A (ko) | 깊이 맵 산출 방법 및 장치 | |
Bae et al. | A set of control points conditioned pedestrian trajectory prediction | |
CN111008631B (zh) | 图像的关联方法及装置、存储介质和电子装置 | |
CN113139696B (zh) | 一种轨迹预测模型构建方法及轨迹预测方法、装置 | |
CN113096161A (zh) | 一种密集行人环境下强化学习移动机器人的导航方法及装置 | |
JP2023501690A (ja) | 群衆のダイナミックを予測する方法及びシステム | |
Wang et al. | Plug-and-play: Improve depth prediction via sparse data propagation | |
CN111798492A (zh) | 轨迹预测方法、装置、电子设备及介质 | |
CN115035158A (zh) | 目标跟踪的方法及装置、电子设备和存储介质 | |
Sun et al. | Bayesian fusion using conditionally independent submaps for high resolution 2.5 D mapping | |
CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
Hekmatian et al. | Conf-net: Toward high-confidence dense 3D point-cloud with error-map prediction | |
CN113119996A (zh) | 一种轨迹预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220531 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220531 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20221206 |