JP2022529337A - 交通道路用のデジタル復元方法、装置及びシステム - Google Patents

Abstract

本願は、交通道路用のデジタル復元方法を開示し、スマート輸送の分野に関係がある。方法は、交通道路に配置されているカメラによって撮影され、交通道路上の複数の目標物を記録しているビデオデータを取得することと、ビデオデータに基づき交通道路上の各目標物の走行行路を決定することと、交通道路のデジタルビューを構築することとを含む。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき、実行される。交通道路の構築されたデジタルビューは、交通道路の走行状態を便利にかつ忠実に反映することができ、そして、交通道路のデジタルビューは、大量のメモリ資源及び通信資源を消費する必要がない。

Description

本願は、スマート輸送の分野に、特に、交通道路用のデジタル復元方法、装置、及びシステムに関係がある。

スマートシティの重要な部分として、スマート輸送は、都市輸送の運用効率、サービスレベル、及び安全性保証を改善することにおいて重要な役割を果たす。交通道路は、交通事故及び交通例外が頻繁であるエリアである。交通道路の交通データ取得及び交通状態監視は、都市輸送管理にとって重要である。データは、スマート輸送の基本である。様々な交通情報の自動の解析、調査、及び判断は、大量データに基づく。現在、交通道路上には、監視カメラ、レーダ、及び磁気誘導コイルなどの多数の生データ収集デバイスが、道路輸送のための大量データ資源を収集するために配備されている。交通道路観測及び調査は、道路上の車両、歩行者、及び非モータ車の速度、行路、及び流れ方向のより良い理解をもたらすことができ、交通流監視、混雑緩和、及び交通違反監視にとって意義が大きい。

先行技術では、交通道路は、カメラによって撮影されたビデオデータを観察することによって主に監視される。ビデオデータは、大量のメモリを占有し、伝送効率が低くかつ可観測性が乏しい。

本願は、交通道路用のデジタル復元方法、及びシステムを提供する。物理世界における交通道路は、上記の方法を通じてデジタルで提示され得る。交通道路の走行状態は、本願で提供される方法により効率的にモニタされ得る。

第１の態様に従って、本願は、交通道路用のデジタル復元方法を提供する。方法は、交通道路に配置されているカメラによって撮影され、交通道路上の複数の目標物を記録しているビデオデータを取得することと、ビデオデータに基づき交通道路上の各目標物の走行行路を決定することと、交通道路のデジタルビューを構築することとを含む。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき、実行される。

上記の方法で、交通道路のデジタルビューは、ユーザ（例えば、車両所有者、又は交通管理部門の職員）が交通道路の走行状態を便利にかつ正確に知ることを助けるよう構成される。更に、生ビデオデータと比較して、構築されたデジタルビューは、メモリ占有が少なくてすみかつ伝送効率が高く、それにより、デジタルビューは、容易に記憶及び伝送され得る。

理解されるべきは、交通道路上の目標物は、車両、歩行者、若しくは動物などの移動物体、又は一時的に静止している移動物体であってよいことである。

第１の態様の可能な実施で、方法は、ビデオデータに基づき各目標物のタイプ情報を決定することを更に含む。相応して、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。異なるモデルは、異なるタイプの目標物を表すために使用され、それにより、交通道路の実際の状態は、デジタルビューに表示されている異なるモデルに基づきユーザが判断及び決定を行うことを助けるよう、よりありありと反映され得る。

第１の態様の可能な実施で、交通道路上には複数のカメラが配置されており、複数のカメラのうちの異なるカメラによって集められたビデオデータの視野角は異なっている。上記の方法で、交通道路は、遮断、視野角偏差、などによりユーザが判断を誤ることを回避するために、異なる視野角から複数のカメラによって撮影された交通道路のビデオデータを結合することによって、より包括的にかつ正確に表示され得る。

第１の態様の可能な実施で、方法は、デジタルビューを表示すること、又はデジタルビューを表示装置へ送ることを更に含む。表示されたデジタルビューの視野角は、ビデオデータの視野角と同じであるか又は異なっている。デジタルビューは、ユーザがデジタルビューに基づき交通道路の情報をより便利に取得することができるように表示される。

第１の態様の可能な実施で、方法は、各目標物の属性情報を取得することを更に含む。デジタルビューは、各目標物の属性情報を更に含む。属性情報は、ユーザが目標物についてより詳細に理解すること可能であるように交通道路の目標物について更に記載及び説明することができ、そして、デジタルビューに含まれている情報の量は、デジタルビューがより多くのシナリオに適用され得るように増大する。

第１の態様の可能な実施で、交通道路上の目標物は、車両であってよく、目標物の属性情報は、次の、車両の色、車両のナンバープレート番号、車両のモデル、車両の走行速度、車両所有者身元情報、並びに車両登録及びメンテナンス情報、のうちの１つ以上の情報を含む。

第１の態様の可能な実施で、ビデオデータは、第１時点でのビデオデータを含む。ビデオデータに基づき交通道路上の各目標物の走行行路を決定することは、第１時点でのビデオデータに基づき、第１時点での交通道路上の各目標物の地理座標を決定することと、第１時点での交通道路上の各目標物の地理座標と、第１時点より前の交通道路上の各目標物の地理座標とに基づき、交通道路上の各目標物の走行行路を決定することとを含む。

第１の態様の可能な実施で、方法は、交通道路上の各目標物の走行行路に基づき各目標物の姿勢を決定することを更に含む。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の姿勢及び走行行路に基づき実行される。

上記の方法で、デジタルビューは、ユーザが特定の時点でのデジタルビューから目標物の姿勢を直感的に取得し得るように、交通道路上の各目標物の走行をより忠実に示す。

第１の態様の可能な実施で、方法は、ビデオデータに基づき交通道路上の背景オブジェクトを認識することを更に含む。デジタルビューは、交通道路上の背景オブジェクトを表すモデルを更に含む。交通道路上の背景オブジェクトは、ユーザがデジタルビューにより交通道路の周囲環境及び背景状態をより明りょうに理解することができるように、モデリング及び提示される。これは、ユーザが判断及び決定を行うことを助ける。

第１の態様の可能な実施で、方法は、交通道路の地図を取得することを更に含む。交通道路のデジタルビューを構築することは、各目標物に対応するモデルを取得し、各目標物に対応するモデルを、交通道路上の各目標物の走行行路に基づき、交通道路の地図にマッピングして、交通道路のデジタルビューを取得することを含む。

理解されるべきは、いくつかの可能な実施で、地図は、交通道路の背景を含むリアルビューマップであってよいことである。

第１の態様の可能な実施で、方法は、交通道路上の目標物の運転情報を記録しているレーダデータを取得することと、レーダデータ及びビデオデータに基づき交通道路上の各目標物の走行行路を決定することとを更に含む。交通道路上の目標物の走行行路は、レーダデータ及びビデオデータを結合することによって決定され、それにより、目標物の決定された走行行路の精度は改善され得る。

第２の態様に従って、本願は、交通道路のデジタルビューを供給する方法を更に提供する。方法は、第１視野角から交通道路のデジタルビューをユーザに提示することであり、デジタルビューは複数のモデルを含み、各モデルは交通道路上の各目標物を表し、各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき実行され、交通道路上の各目標物の走行行路は、交通道路上のカメラによって撮影されたビデオデータに基づき計算により取得される、ことと、ユーザによって送られた視野角調整情報を受け取ることであり、視野角調整情報は、第２視野角からデジタルビューを見ることを要求するために使用される、ことと、視野角調整情報に基づき、第２視野角からデジタルビューをユーザに提示することとを含む。

デジタルビューは、ユーザの視野角調整情報に基づき、異なる視野角からの交通道路の走行状態をユーザに提示し得る。これは柔軟性を高め、より多くの情報をユーザに提供し得る。

第２の態様の可能な実施で、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。

第２の態様の可能な実施で、方法は、目標物の属性情報をユーザに提示することを更に含む。目標物の属性情報は、デジタルビュー内の、その目標物に対応するモデルに関連する。

第２の態様の可能な実施で、目標物の属性情報をユーザに提示することは、ユーザの命令情報を受け取ることと、ユーザの命令情報に基づき、第１視野角から、交通道路のデジタルビューで目標物の属性情報を表示することとを特に含む。

第２の態様の可能な実施で、方法は、デジタルビューで複数のモデルの走行行路をユーザに提示することを更に含む。

第２の態様の可能な実施で、デジタルビューは、交通道路上の背景を更に含み、背景は、交通道路上のマーキングライン及び交通道路の周りのオブジェクトを含む。

第２の態様の可能な実施で、交通道路は複数の交差点を含み、交通道路のデジタルビューは、各交差点と、各交差点を走る目標物に対応するモデルとを一貫して提示する。

第３の態様に従って、本願は、グラフィカルユーザインターフェースシステムを更に提供する。システムは、交通道路のデジタルビューを表示するよう構成されるデジタルビューウィンドウであり、デジタルビューは複数のモデルを含み、各モデルは交通道路上の各目標物を表し、デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき実行される、デジタルビューウィンドウと、ユーザによって選択可能なボタンを含む管理ウィンドウであり、ユーザによって選択可能なボタンは視野角調整ボタンを含む、管理ウィンドウとを含む。視野角調整ボタンがユーザによって選択された後に、デジタルビューウィンドウは、視野角調整ボタンに対応する視野角からの交通道路のデジタルビューを表示する。

第３の態様の可能な実施で、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。

第３の態様の可能な実施で、デジタルビューは、目標物の属性情報を更に含む。目標物の属性情報は、デジタルビュー内のその目標物に対応するモデルに関連する。

第３の態様の可能な実施で、デジタルビューは、各モデルの走行行路を更に含み、各モデルの走行行路は、交通道路上の各目標物の走行行路に基づき取得される。

第３の態様の可能な実施で、ユーザによって選択可能なボタンは、行路表示ボタンを更に含む。行路表示ボタンがユーザによって選択された後に、デジタルビューウィンドウは、各モデルの走行行路を表示する。

第３の態様の可能な実施で、各モデルの走行行路は、将来の時点での各モデルの走行経路を含む。

第３の態様の可能な実施で、デジタルビューは、交通道路上の背景を更に含み、背景は、交通道路上のマーキングライン及び交通道路の周りのオブジェクトを含む。

第３の態様の可能な実施で、交通道路は複数の交差点を含み、交通道路のデジタルビューは、各交差点と、各交差点を走る目標物に対応するモデルとを一貫して提示する。

第４の態様に従って、本願は装置を更に提供する。装置は、交通道路に配置されているカメラによって撮影され、交通道路上の複数の目標物を記録しているビデオデータを取得するよう構成されるデータ処理モジュールと、ビデオデータに基づき交通道路上の各目標物の走行行路を決定するよう構成されるデータ解析モジュールと、交通道路のデジタルビューを構築するよう構成されるデジタルモデリングモジュールとを含む。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき、実行される。

第４の態様の可能な実施で、データ処理モジュールは、ビデオデータに基づき各目標物のタイプ情報を決定するよう更に構成される。相応して、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。

第４の態様の可能な実施で、交通道路上には複数のカメラが配置されており、複数のカメラのうちの異なるカメラによって集められたビデオデータの視野角は異なっている。

第４の態様の可能な実施で、デジタルモデリングモジュールは、デジタルビューを表示するか、あるいは、デジタルビューを表示装置へ送るよう更に構成される。表示されたデジタルビューの視野角は、ビデオデータの視野角と同じであるか又は異なっている。

第４の態様の可能な実施で、データ処理モジュールは、各目標物の属性情報を取得するよう更に構成される。デジタルビューは、各目標物の属性情報を更に含む。

第４の態様の可能な実施で、交通道路上の目標物は、車両であってよく、目標物の属性情報は、次の、車両の色、車両のナンバープレート番号、車両のモデル、車両の走行速度、車両所有者身元情報、並びに車両登録及びメンテナンス情報、のうちの１つ以上の情報を含む。

第４の態様の可能な実施で、ビデオデータは、第１時点でのビデオデータを含む。データ解析モジュールは、第１時点でのビデオデータに基づき、第１時点での交通道路上の各目標物の地理座標を決定し、第１時点での交通道路上の各目標物の地理座標と、第１時点より前の交通道路上の各目標物の地理座標とに基づき、交通道路上の各目標物の走行行路を決定するよう特に構成される。

第４の態様の可能な実施で、データ処理モジュールは、交通道路上の各目標物の走行行路に基づき各目標物の姿勢を決定するよう更に構成される。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の姿勢及び走行行路に基づき実行される。

第４の態様の可能な実施で、データ処理モジュールは、ビデオデータに基づき交通道路上の背景オブジェクトを認識するよう更に構成される。デジタルビューは、交通道路上の背景オブジェクトを表すモデルを更に含む。

第４の態様の可能な実施で、デジタルモデリングモジュールは、交通道路の地図を取得し、各目標物に対応するモデルを取得し、各目標物に対応するモデルを、交通道路上の各目標物の走行行路に基づき、交通道路の地図にマッピングして、交通道路のデジタルビューを取得するよう特に構成される。

第５の態様に従って、本願は表示デバイスを更に提供する。表示デバイスは受信モジュール及び表示モジュールを含む。表示モジュールは、第１視野角から交通道路のデジタルビューをユーザに提示するよう構成される。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき実行される。交通道路上の各目標物の走行行路は、交通道路上のカメラによって撮影されたビデオデータに基づき計算により取得される。受信モジュールは、ユーザによって送られた視野角調整情報を受け取るよう構成される。視野角調整情報は、第２視野角からデジタルビューを見ることを要求するために使用される。表示モジュールは、視野角調整情報に基づき、第２視野角からデジタルビューをユーザに提示するよう更に構成される。

理解されるべきは、表示デバイスは端末デバイス、例えば、携帯電話機、タブレットコンピュータ、車載コンピュータ、又はポータブルコンピュータであってもよく、あるいは、エッジ側に又はデータセンターに置かれている視覚化デバイスであってもよいことである。

第６の態様に従って、本願はコンピューティングデバイスを更に提供する。コンピューティングデバイスはプロセッサ及びメモリを含む。メモリはコンピュータ命令を記憶している。プロセッサは、コンピューティングデバイスが第１の態様又は第１の態様のいずれかの可能な実施における方法を実行することを可能にするようコンピュータ命令を実行する。理解されるべきは、コンピューティングデバイスは、サーバ、車載コンピューティングデバイス、車両、などであってもよいことである。

第７の態様に従って、本願はコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体はコンピュータプログラムコードを記憶している。コンピュータプログラムコードがコンピューティングデバイスによって実行される場合に、コンピューティングデバイスは、第１の態様又は第１の態様のいずれかの可能な実施における方法を実行するか、あるいは、第２の態様又は第２の態様のいずれかの可能な実施における方法を実行する。コンピュータ可読記憶媒体は、ランダムアクセスメモリなどの揮発性メモリ、又はフラッシュメモリ、ハードディスクドライブ（英語：hard disk drive、略してＨＤＤ）、若しくはソリッドステートドライブ（英語：solid state drive、略してＳＳＤ）などの不揮発性メモリを含むがこれらに限られない。

第８の態様に従って、本願はコンピュータプログラム製品を更に提供する。コンピュータプログラム製品はコンピュータプログラムコードを含む。コンピュータプログラムコードがコンピューティングデバイスによって実行される場合に、コンピューティングデバイスは、第１の態様又は第１の態様のいずれかの可能な実施で提供される方法を実行するか、あるいは、第２の態様又は第２の態様のいずれかの可能な実施で提供される方法を実行する。コンピュータプログラム製品は、ソフトウェアインストールパッケージであってよい。第１の態様又は第１の態様のいずれかの可能な実施で提供される方法が使用される必要があるか、あるいは、第２の態様又は第２の態様のいずれかの可能な実施で提供される方法が使用される必要がある場合に、コンピュータプログラム製品は、コンピューティングデバイスでダウンロードされ実行されてよい。

第９の態様に従って、本願はシステムを更に提供する。システムは、第５の態様に従う表示デバイスと、第６の態様に従うコンピューティングデバイスとを含む。

本願の実施形態における技術的解決法についてより明りょうに記載するために、以下は、実施形態について、添付の図面を簡単に説明する

本願の実施形態に従うシステムアーキテクチャの概略図である。 本願の実施形態に従う他のシステムアーキテクチャの概略図である。 本願の実施形態に従うデジタル復元システム１００の略構造図である。 本願の実施形態に従うデジタル復元システム１００の概略図である。 本願の実施形態に従う交通道路用のデジタル復元方法の略フローチャートである。 本願の実施形態に従う目標物検出及び属性検出の略フローチャートである。 本願の実施形態に従う目標物の位置決めの略フローチャートである。 本願の実施形態に従う目標物の位置決めの略フローチャートである。 本願の実施形態に従うデジタルモデリングの略フローチャートである。 本願の実施形態に従う、異なる視野角からのデジタルビューのグラフィカルユーザインターフェースを示す。 本願の実施形態に従う他のデジタルビューのグラフィカルユーザインターフェースを示す。 本願の実施形態に従う装置８００の略構造図である。 本願の実施形態に従うコンピューティングデバイス９００の略構造図である。 本願の実施形態に従うコンピューティングデバイスシステムの略構造図である。

以下は、本願の添付の図面を参照して、本願で提供される実施形態の解決法について詳細に記載する。

交通道路は、歩行者及び車両が物理世界において通るエリアである。交通道路は、複数の交通交差点及び交通経路を含む。本願は、交通道路用のデジタル復元方法を提供する。方法は、デジタル復元システムによって実行される。交通道路のデジタルビューは、デジタル復元方法により構成され得、そして、デジタルビューは、リアルタイムで交通道路の走行状態を表示し得る。

図１に示されるように、デジタル復元システムは、クラウド環境でデプロイされてよく、具体的に、クラウド環境内の１つ以上のコンピューティングデバイス（例えば、中央サーバ）にデプロイされる。システムは、代替的に、エッジ環境でデプロイされてもよく、具体的に、エッジ環境内の１つ以上のコンピューティングデバイス（エッジコンピューティングデバイス）でデプロイされる。エッジコンピューティングデバイスはサーバであってよい。クラウド環境は、クラウドサービスプロバイダによって所有されて、計算、記憶、及び通信資源を提供するよう構成された中央コンピューティングデバイスクラスタを示す。エッジ環境は、計算、記憶、及び通信資源を提供するよう構成されており、生データ収集デバイスに地理的に近いエッジコンピューティングデバイスクラスタを示す。生データ収集デバイスは、デジタル復元システムによって必要とされている生データを収集するよう構成されたデバイスである。生データ収集デバイスは、カメラ、レーダ、赤外線カメラ、磁気誘導コイル、などを含むが、これらに限られない。生データ収集デバイスは、デバイスの視野角から交通道路上のリアルタイムの生データ（例えば、ビデオデータ、レーダデータ、及び赤外線データ）を収集するよう構成されており、交通道路上の固定位置に配置されたデバイスを含み、更には、ドローン、巡回読み込み車両、手動によるデータ収集のための動的デバイス（例えば、読み込みポール）などの、交通道路上でデータを動的に収集するデバイスを含む。

図２に示されるように、デジタル復元システムは、複数の部分を含む（例えば、複数のサブシステムを含み、各サブシステムが複数のユニットを含む）。従って、デジタル復元システムの部分はまた、分散様式で異なる環境でデプロイされてもよい。例えば、デジタル復元システムの一部は、３つの環境、すなわち、クラウド環境、エッジ環境、及び生データ収集デバイスで、あるいは、３つの環境のうちのいずれか２つで別々にデプロイされてもよい。

デジタル復元システムは、生データ収集デバイスによって収集された生データに基づき、物理世界における交通道路に対してデジタルモデリングを実行するよう構成される。デジタル復元システムにおけるサブシステム及びユニットのための複数の分割様式が存在し得る。これは本願で限定されない。図３は、例となる分割様式を示す。図３に示されるように、デジタル復元システム１００は、データ処理サブシステム１２０、データ解析サブシステム１４０、及びデジタルモデリングサブシステム１６０を含む。以下は、各サブシステムの機能と、各システムに含まれている機能ユニットの機能とについて別々にかつ簡潔に記載する。

データ処理サブシステム１２０は、少なくとも１つの生データ収集デバイスによって収集された生データを受け取るよう構成され、生データは、交通道路上に配置されているカメラによって撮影されたビデオデータを主に含む。実施形態で、受け取られたビデオデータは、交通道路の交通状態を記録しているリアルタイムのビデオストリームである。データ処理サブシステム１２０は更に、受け取られたデータを処理して、より多くのセマンティクスを持ったデータを取得する。データ処理サブシステムは複数の機能ユニットを含む。データアライメントユニット１２１は、交通道路上の固定位置に配置されている複数のカメラによって収集されたビデオデータを受け取り、複数のビデオデータに対して時間アライメントを実行し、すなわち、同じ時点での交通状態を記録しているビデオフレームを抽出し、そのビデオフレームを目標物検出ユニット１２２へ出力するよう構成される。目標物検出ユニット１２２は、目標物の位置情報及びタイプ情報を取得するために、ビデオフレームに存在している目標物の位置及びタイプを検出するよう構成される。目標物属性検出ユニット１２３は、目標物の属性情報を取得するために、各目標物のタイプに基づき各目標物タイプの属性を検出するよう構成される。データ記憶ユニット１２４は、目標物検出ユニット及び目標物属性検出ユニットによって取得されたデータを記憶するよう構成される。データは、データ解析サブシステム及びデジタルモデリングサブシステムにおける機能ユニットによって読み出されて使用されてよい。

任意に、データ処理サブシステムは、背景検出ユニット１２５を更に含む。背景検出ユニット１２５は、交通道路背景に関係がある、生データ収集デバイスによって収集された生データを受け取るよう構成される。生データは、交通道路上の固定位置に配置されているデバイスによって収集されるビデオデータ及び他のデータ（例えば、レーダデータ及び赤外線データ）であってよい。代替的に、生データは、データを動的に収集するドローン及び巡回読み込み車両によって収集されたビデオデータ又は他のデータであってもよい。背景検出ユニット１２５は、背景オブジェクトのタイプ情報及び位置情報を取得するために、受け取られた生データに基づき、交通道路上の背景オブジェクトを検出及び認識するよう構成される。

留意されるべきは、本願では、目標物は、交通道路を移動するオブジェクト、又は交通道路上にあって一定期間静止している移動可能なオブジェクト、例えば、モータ車、歩行者、非モータ車、又は動物を指すことである。目標物の属性情報は、目標物に関する情報を指し、目標物の属性情報は、直接属性情報及び間接属性情報を含む。直接属性情報は、目標物に基づき直接に計算され、認識され、取得される属性情報（例えば、車両の色、車両のナンバープレート番号、車両のモデル、及び車両の走行速度）である。間接属性情報は、目標物の直接属性を更に解析すること又は目標物の直接属性に基づき関連データベースにクエリすることによって取得される属性情報（例えば、車両所有者身元情報、並びに車両登録及びメンテナンス情報）である。各目標物は属性情報を有している。目標物のタイプ情報は、目標物の属性情報の１タイプであってよい。具体的に言えば、目標物のタイプ情報は、分類のために使用される目標物の属性情報の１タイプである。目標物のタイプ情報に基づき分類を通じて取得された異なる目標物タイプに対応する他の観測されるべき属性情報は、異なってもよい。本願で、背景オブジェクトは、道路マーキングライン、警告標識、交通信号ポール、ブース、周囲建物、街路樹、花壇、などを含む、交通道路上又は交通道路の周りの静止オブジェクトを指す。

データ解析サブシステム１４０は、データ処理サブシステム１２０によって処理されたデータを読み出し、データを更に処理及び解析するよう構成される。データ解析サブシステム１４０は、複数の機能ユニットを含む。位置決めユニット１４１は、現実世界の中の制御点の予め収集された地理座標と、ビデオフレームの中の制御点の予め収集されたピクセル座標とに基づき、各カメラによって撮影されたビデオ内の点のピクセル座標とその点の地理座標との間のマッピング関係を決定し、マッピング関係に基づき、物理世界の中の、目標物検出ユニットによって検出されている目標物の地理座標を取得するよう構成される。目標物追跡ユニット１４２は、２つの隣接ビデオフレーム内の同じ目標物の位置情報を決定し、各時点での目標物のピクセル座標を記録し、ビデオデータ内の目標物の移動行路を取得するよう構成される。データ解析ユニット１４３は、複数の異なる視野角によって形成されたパノラマ視野角での目標物のデータを取得するために、複数の異なる視野角でビデオデータから取得された処理済みデータの複数のグループを解析するよう構成される。

任意に、位置決めユニット１４１は、上記の方法で取得されたマッピング関係に基づき、物理世界にあって背景検出ユニットによって検出されている背景オブジェクトの地理座標を取得するよう更に構成されてもよい。

任意に、データ解析サブシステム１４０は、目標物属性情報解析ユニット１４４を更に含む。目標物属性情報解析ユニット１４４は、データ処理サブシステム１２０及びデータ解析サブシステム１４０によって取得されている目標物の属性又は位置などの情報に基づき、目標物の間接属性情報を取得するよう構成される。

デジタルモデリングサブシステム１６０は、デジタルビューを取得するために、データ処理サブシステム１２０及びデータ解析サブシステム１４０によって取得されたデータに基づき、物理世界の中の交通道路及び道路上の目標物に関するデジタル復元を実行するよう構成される。デジタルモデリングサブシステム１６０は、交通道路上の背景オブジェクトに対応するモデルを取得するために、交通道路及び交通道路の周りの背景オブジェクトに対してモデリングを実行するよう構成された背景モデリングユニット１６１を含む。他の実施形態では、デジタル復元システム１００は、背景モデリングユニット１６１を含まなくてもよく、デジタル復元システム１００は、他のデバイス又はシステムから、モデリングされている背景オブジェクトに対応するモデルを取得してもよい。目標物モデリングユニット１６２は、各目標物に対応するモデルを取得するために、データ処理サブシステム１２０及びデータ解析サブシステム１４０によって取得されている目標物のタイプ情報及び属性情報に基づき、目標物に対してモデリングを実行するよう構成される。目標物マッピングユニット１６３は、交通道路のデジタルビューを取得するために、各目標物に対応するモデルを地図にマッピングするよう構成される。目標物属性情報関連付けユニット１６４は、目標物の属性情報をデジタルビュー内の目標物の対応するモデルと関連付けるよう構成される。デジタルビュー出力ユニット１６５は、交通道路の復元されたデジタルビューを表示デバイス又は他のシステムへ出力するよう構成され、それにより、表示デバイスはデジタルビューを表示するか、あるいは、他のシステムはデジタルビューに基づき更なる操作を実行する。

本願で、デジタル復元システム１００は、ソフトウェアシステムであってもよく、デジタル復元システム１００に含まれているサブシステム及び機能ユニットは、比較的に柔軟な様態でハードウェアデバイスにデプロイされる。図１及び図２に示されるように、システム全体は、１つの環境において１つ以上のコンピューティングデバイスにデプロイされてもよく、あるいは、分散様式で２つ又は３つの環境において１つ以上のコンピューティングデバイスにデプロイされてもよい。例えば、図４は、本願に従うデジタル復元システム１００のデプロイメントの概略図である。デジタル復元システム１００のデータ処理サブシステム１２０は、エッジコンピューティングデバイス２２０にデプロイされる。エッジコンピューティングデバイス２２０は、コンピューティング機能を備えており、生データ収集デバイス２０１及び生データ収集デバイス２０２の近くに位置付けられたトラフィックボックスであってもよい。データ解析サブシステム１４０及びデジタルモデリングサブシステム１６０は、中央サーバ２４０２にデプロイされる。中央サーバは、クラウドデータセンサに位置してもよい。図４に示されるデプロイメント形式では、生データ収集デバイス２０１及び生データ収集デバイス２０２は、リアルタイムで交通道路の生データ（ビデオデータ及び他のデータを含む）を収集する。生データ収集デバイス２０１及び生データ収集デバイス２０２は、収集された生データをエッジコンピューティングデバイス２２０へ送る。エッジコンピューティングデバイス２２０は、生データを処理して処理済みデータを取得するよう、データ処理サブシステム１２０に含まれているソフトウェアコードを実行する。処理済みデータは、エッジコンピューティングデバイス２２０によって中央サーバ２４０へ送られる。中央サーバ２４０は、処理済みデータを受け取り、データ解析サブシステム１４０に含まれているソフトウェアコード及びデジタルモデリングサブシステム１６０に含まれているソフトウェアコードを実行して、交通道路のデジタルビューデータを生成する。更に、中央サーバ２４０は、デジタルビューデータを表示デバイスへ送ってもよく、表示デバイスは、交通道路のデジタルビューを表示する。更に、ユーザは、異なる視野角でのデジタルビュー、指定された目標物の属性情報、などを取得するよう、表示デバイスを通じてデジタルビューの表示を調整及び操作してもよい。表示デバイスは、端末デバイス、例えば、携帯電話機、タブレットコンピュータ、車載コンピュータ、又はポータブルコンピュータであってもよく、あるいは、エッジ側に又はデータセンターに置かれている視覚化デバイスであってもよい。

交通道路のデジタル復元
図５は、本願の実施形態に従う、交通道路用のデジタル復元方法の略フローチャートである。以下は、図５を参照して、交通道路用のデジタル復元方法のステップについて具体的に記載する。

Ｓ３０１：生データを取得する。具体的に、デジタル復元システムは、リアルタイムで生データ収集デバイスによって収集されている交通道路の生データを取得する。生データはビデオデータを含む。ビデオデータは、交通道路上の固定位置に配置されているカメラによって撮影されたビデオストリームであり、交通道路のリアルタイムの交通状態を反映している。一般に、交通道路上の各交差点又は道路区間は、異なる視野角から撮影している複数のカメラを配置されており、各カメラは、１つの視野角から交通道路の交通状態を撮影する。

任意に、ステップＳ３０１では、生データ収集デバイス（例えば、ミリメートル波レーダ、マイクロ波レーダ、又は光エレクトロニクスレーダ）によって収集されたレーダデータが更に取得されてもよく、交通道路上の目標物の位置及び走行速度などの情報が、レーダデータを解析することによって取得され得る。レーダデータは、目標物の位置及び走行速度を反映する際のレーダデータの高い精度により、ビデオデータへの補足として使用されてもよい。

留意されるべきは、ステップＳ３０１で、ビデオストリームは、リアルタイムで連続して取得されてもよく、続くステップＳ３０２からＳ３０６は、ある時点から、各時点で取得されたビデオフレームに対して実行されることである（図５に示されるように、ステップＳ３０２からＳ３０６は、交通道路の４つの方向、すなわち、東西南北に配置されたカメラによって各時点で収集されたビデオフレームに対して実行される）。理解されるべきは、ビデオデータのセグメントは、異なる時点でのビデオフレームを含み、ビデオデータ内のビデオフレームは、時間順に配列されていることである。各ビデオフレームは画像であり、ある時点で撮影された交通道路の交通状態を反映するために使用される。

Ｓ３０２：目標物検出及び属性検出を実行する。具体的に、目標物検出は、目標物の位置情報及びタイプ情報を取得するために、同じ時点にある各ビデオデータ内のビデオフレームに対して実行される（ここで、目標物の位置情報は、ビデオフレーム内の目標物のピクセル座標である）。更に、目標物属性検出が、目標物の属性情報を取得するために、検出された目標物に対して実行される。ビデオフレーム内の目標物のタイプが目標物検出で取得されるので、目標物属性検出で検出された属性タイプは、異なった目標物タイプに基づき異なってもよい。例えば、目標物の検出されたタイプがモータ車であるならば、そのモータ車の検出されるべき属性タイプは車両モデル、車両本体の色、ナンバープレート、などを含む。目標物の検出されたタイプが歩行者であるならば、その人物の検出されるべき属性タイプは性別、衣服の色、身体形状、などを含む。

留意されるべきは、複数のビデオデータが取得される場合に、時間アライメントが、目標検出中に複数のビデオデータに対して最初に実行され、すなわち、複数のビデオデータで同じ時点での交通状態を示すビデオフレームが取得され、次いで、目標物検出及び目標物属性検出が同じ時点での各ビデオフレームに対して実行されることである。

任意に、ステップＳ３０２では、ビデオフレームにおいて交通道路上の背景オブジェクトを検出して、その背景オブジェクトの位置情報及びタイプ情報を取得するために、背景検出が更に実行されてもよい。

Ｓ３０３：目標物位置決めを実行する。目標物位置決めは主に、ビデオフレーム内で検出された目標物に対応するピクセル座標を、物理世界における目標物の地理座標に変換することである。目標物のピクセル座標は、ビデオフレームにおいて目標物の位置にあるピクセルの座標であり、ピクセル座標は２次元座標である。目標物の地理座標は、物理世界におけるいずれかの座標系での目標物の座標である。例えば、本願では、交通道路上の目標物の位置に対応する経度、緯度、及び高度を含む３次元座標が、地理座標として使用される。目標物位置決めを実行するための具体的な方法は、続くステップで詳細に記載される。

任意に、ステップＳ３０３では、ビデオフレームにおける交通道路上の背景オブジェクトのピクセル座標を地理座標に変換するために、背景位置決めが更に実行されてもよい。

Ｓ３０４：目標物追跡を実行する。目標物追跡は、異なるビデオフレームにおいてビデオデータのセグメントに記録された目標物の位置を追跡することを指す。具体的に、ビデオデータにおいて、現在の時点でのビデオフレームに記録された目標物と、前の時点でのビデオフレームに記録された目標物とが、同じ目標物として決定される。その２つの目標物は同じ目標物ＩＤに対応し、現在の時点でのビデオフレーム内の目標物ＩＤのピクセル座標は、目標物行路テーブルに記録される。目標物行路テーブルは、カメラによって撮影されたエリア内の各目標物の現在の時点での及び過去の時点でのピクセル座標を記録している（目標物の移動行路は、現在の時点での目標物のピクセル座標と、過去の時点での目標物のピクセル座標とに基づき、フィッティングを通じて取得されてもよい）。目標物追跡が実行される場合に、ステップＳ３０２で取得されている、現在処理中のビデオフレーム内の目標物のタイプ、位置、及び属性が、前の時点でのキャッシュされた処理済みビデオフレーム内の目標物のタイプ、位置、及び属性と比較されてもよく、２つの隣接ビデオフレーム内の目標物どうしの関連付けが決定される。言い換えると、２つの隣接ビデオフレームにおいて同じ目標物として決定されている目標物は、同じ目標物ＩＤとしてマークされ、各目標物に対応する目標物ＩＤ及びビデオフレーム内の目標物ＩＤのピクセル座標が記録される。様々な目標物追跡法が存在する。本願では、目標物追跡法は、続くＳ６０１からＳ６０６で例として記載される。

Ｓ３０５：データ解析を実行する。処理済みデータ（目標物のタイプ情報、地理座標、及び属性情報などのデータを含む）の複数のグループが、前のステップで、同じ時点での複数のビデオフレームから取得される場合に、処理済みデータの複数のグループは、解析済みデータを取得するよう、このステップで解析される。具体的に、例えば、複数のデータグループの中の目標物のタイプ及び属性情報が同じであり、目標物の地理座標が類似している場合に、目標物の解析済み地理座標を取得するために、複数のデータグループの中の目標物の地理座標に対して加重平均が実行され、複数のデータグループの中の目標物のタイプ及び属性情報のグループと、目標物の解析済み地理座標とは、目標物の解析済みデータのグループを形成するよう組み合わされる。同じ時点での１つの視野角からのビデオフレームにしか存在せず、同じ時点での他のビデオフレームでは観測され得ない目標物については、そのビデオフレームに対応するデータのグループの中の地理座標、タイプ、及び属性などのデータは、地理座標、タイプ、及び属性などの解析済みデータから取得される。多方向データ解析を通じて、各目標物のデータ（例えば、目標物に対応する地理座標）はより正確になり、同じ時点で複数のカメラによって撮影されている交通道路上の全ての目標物のデータが取得され得る。目標物の解析済みデータは、その時点での交通道路上の目標物をより正確に示し、そして、車両遮断、視野角制限、光遮蔽、などによって引き起こされた単一カメラの視野角での不完全な目標物データを回避することができる。

任意に、ステップＳ３０５では、異なる生データ収集デバイスによって収集された生データから取得された処理済みデータも、解析されてもよい。例えば、データがより正確であるように、レーダデータが処理された後に取得された処理済みデータと、カメラによって収集された生データから取得された処理済みデータとが解析される。例えば、目標物の地理座標については、目標物検出、目標物位置決め、及び目標物地理座標解析がビデオデータに対して実行された後に取得された解析済み地理座標と、レーダデータに基づき計算により取得された目標物の地理座標とが、更に解析されてもよく（例えば、加重平均が実行される）、それにより、目標物の取得された最終的な地理座標は、より正確である。

Ｓ３０６：デジタル復元を実行する。各目標物に対応するモデルを取得するために、各目標物のタイプ情報及び属性情報に基づき、各目標物に対してモデリングが実行される。異なる目標物タイプは異なるモデルに対応し、目標物に対応するモデルは３次元モデルであってもよい。各目標物に対応するモデルは、（図５に示されるように）交通道路のデジタルビューを取得するために、各目標物に対応する、ステップＳ３０４で取得された解析済み地理座標に基づき、予め取得された地図にマッピングされる。交通道路のデジタルビューは、様々な視野角からカメラによって撮影されたエリアの和集合を表示し得る。地図は３次元地図である。異なるエリアは、ズームイン、ズームアウト、及び回転などの操作を実行することによって、地図上に表示され得る。地図上の各地点は、物理世界の中の地理座標に対応している。地理座標は（ｍ，ｎ，ｈ）であり、ｍは経度を表し、ｎは緯度を表し、ｈは高度を表し、ｍ、ｎ、及びｈは全て実数である。

地図は、地図プロバイダによって提供されても、あるいは、前もって構成されてもよい。地図は、交通道路上の背景オブジェクト（例えば、交通道路の周りの建物、花壇、交通道路上の交通マーキングライン、又は交通標識）を含む。

他の実施形態では、地図は、地図プロバイダによって提供されてもよく、地図は、交通道路上のいくつか又は全ての背景オブジェクトを含まない。この場合に、ステップＳ３６０は、各背景オブジェクトに対応するモデルを取得するために、上記の任意の背景検出プロセスで検出された交通道路上の背景オブジェクトのタイプに基づき、背景オブジェクトに対してモデリングを実行し、更には、各背景オブジェクトの取得された地理座標に基づき、各背景オブジェクトに対応するモデルを地図にマッピングすることを更に含む。

任意に、地図は、ドローン又は地図収集車両などのデバイスによって前もって収集されている交通道路の背景データに基づき、背景オブジェクトに対してデジタルモデリングを実行することによって取得されてもよい。このような地図はモデルマップであり、モデルマップには、小さいメモリ占有及び高速な構築速度という利点がある。

任意に、地図が前もって構成される場合に、交通道路の周囲建物及び交通道路は、リアルビュー画像を取得するよう、衛星又はレーザ点群技術によりスキャンされてもよく、リアルビューマップは、リアルビュー画像処理技術及び３次元レンダリング技術に基づき、交通道路及び交通道路の周囲環境について構築される。リアルビューマップは、物理世界の中の交通道路の背景状態を鮮明にかつ忠実に提示し得る。

任意に、ステップＳ３０２の後のいずれかの時点で、目標物の属性を解析する動作が更に実行されてもよい。具体的に、計算及び解析は、ステップＳ３０２で取得された目標物の直接属性情報（又はステップＳ２０２で取得された目標物若しくは背景オブジェクトの地理座標、ステップ３０４で取得された目標物の移動行路、ステップＳ３０５で取得された目標物の解析済みデータ、など）に対して実行されるか、あるいは、関連するデータベースが、目標物の間接属性情報を取得するために、データ内の１つ以上のデータタイプに基づきクエリされる。例えば、目標物の走行速度は、目標物の解析済み地理座標及び前の時点でのビデオフレーム内の目標物の解析済み地理座標に基づき計算され、目標物の姿勢は、目標物の移動行路に基づき解析され、目標物のタイプがモータ車又は非モータ車である場合には、関連するデータベースが、目標物に対応する車両所有者身元情報及び車両メンテナンス情報を取得するよう、目標物のナンバープレート情報に基づきクエリされる。

任意に、ステップＳ３０６では、目標物に対応する３次元モデルが、目標物の取得された属性情報（目標物の直接属性情報又は目標物の間接属性情報を含む）の全て又は一部と更に関連付けられ、そして、目標物の属性情報は表示デバイスへ送られ、それにより、目標物の属性情報は、表示デバイスに表示されているデジタル地図上の各目標物の位置の近くに表示される（あるいは、表示デバイスによって送られた命令が受け取られた後に、目標物の属性情報は、表示デバイスが目標物に対応する属性情報を表示するように、表示デバイスへ送られる）。

留意されるべきは、ステップＳ３０４及びステップＳ３５０の実行順序は、交換可能であることである。言い換えると、目標物追跡が最初に実行されてもよい。具体的に言えば、取得されたビデオフレーム内の目標物は、前の時点での処理されたビデオフレーム内の目標物と比較され、２つのビデオフレーム内の同じ目標物は、同じ目標物ＩＤとしてマークされ、ある期間内の各目標物ＩＤの走行行路が取得される。次いで、同じ時点での複数のビデオフレーム内の同じ目標物に対応するデータは、解析済み目標物ＩＤ及び解析済み目標物ＩＤに対応する解析済みデータを取得するよう解析される。代替的に、同じ時点での複数のビデオフレーム内の同じ目標物に対応するデータは、解析済み目標物ＩＤ及び解析済み目標物ＩＤに対応する解析済みデータを取得するよう最初に解析されてもよい。次いで、各ビデオフレーム内の目標物は、前の時点での処理されたビデオフレーム内の目標物と比較され、２つのビデオフレーム内の同じ目標物は、同じ解析済み目標物ＩＤとしてマークされる。目標物追跡がステップＳ３０４で実行された後に、ある期間内の各時点での交通道路上の同じ目標物も、デジタルビュー内の同じ解析済み目標物ＩＤであることができ、その目標物の使用された３次元モデル及び属性情報は同じである。

留意されるべきは、ステップＳ３０１は、リアルタイムで各カメラによって撮影されたビデオストリームを取得するよう、連続的に実行されることである。ステップＳ３０２からＳ３０６は、ステップＳ３０１で取得されたビデオデータ内の各ビデオフレームに対して実行される。それによって取得されたデジタルビュー内の目標物は、物理世界における交通道路上の目標物に従ってよく、デジタルビューは、リアルタイムで交通道路の交通状態を反映し得る。

図６を参照して、以下は、ビデオフレームに対して目標物検出及び属性検出を実行するステップＳ３０２について詳細に記載する。

Ｓ４０１：処理されるべきビデオフレームを取得する。具体的に、ステップＳ３０１で１つのビデオデータが取得される場合に、その取得されたビデオデータ内のビデオフレーム（例えば、最新のビデオフレーム）が、処理されるべきビデオフレームとして使用される。ステップＳ３０１で複数のビデオデータが取得される場合には、同じ時点での複数のビデオフレームが、取得された複数のビデオデータにおいて探される必要がある。同じ時点での複数のビデオフレームを取得するための複数の方法がある。例えば、方法１では、ネットワーク時間プロトコル（network time protocol，ＮＴＰ）が、複数のカメラにおけるクロックシステムのためのクロック同期を実行するために使用されるか、あるいは、時間同期のための水晶発振器ハードウェアがカメラにおいて形成される。このようにして、各カメラによって撮影されたビデオデータ内の各フレームに対応するタイムスタンプの時間は、より正確である。同じ時点での複数のビデオフレームは、この方法により取得される。具体的に言えば、複数のビデオデータに含まれて同じタイムスタンプを有しているビデオフレームが、取得される。方法２では、ホモグラフィ変換が、複数のビデオデータのビデオフレームを同じ平面にマッピングするよう、複数のビデオデータの取得されたビデオフレームに対して実行され、そして、複数の重なり合うビデオフレームが、同じ平面において探される。複数の重なり合うビデオフレームは、同じ時点でのビデオフレームである。あるカメラのある時点でのビデオフレームが予め選択されてもよく、ホモグラフィ変換は、そのビデオフレームに対して実行される。ホモグラフィ変換後に取得された画像は、重なり合う画像を照合するよう、他のカメラによって撮影されたビデオフレームに対してホモグラフィ変換を実行するための基準として使用される。その重なり合う画像に対応するビデオフレーム及び予め選択されたビデオフレームは、同じ時点にある。ホモグラフィ変換は、１つの平面から他の平面へのマッピングである。各カメラのある視野角でのビデオデータ内のビデオフレームの平面と同じ平面との間のマッピング関係は、事前計算を通じて取得される必要がある。

Ｓ４０２：取得されたビデオフレームにおいて目標物を検出する。このステップでは、訓練されたニューラルネットワークが、ビデオフレーム内の目標物を検出するために主に使用される。例えば、ＹｏＬｏ、ＳＳＤ、又は回帰型畳み込みニューラルネットワーク（recurrent convolutional neural network，ＲＣＮＮ）などのニューラルネットワークモデルが使用されてもよい。留意されるべきは、ニューラルネットワークモデルは、前もって訓練される必要があり、使用された訓練セット内の訓練画像のアノテーションは、認識されるべき複数の目標物のタイプ（例えば、モータ車、非モータ車、歩行者、及び動物）を含むべきであることであり、それにより、ニューラルネットワークモデルは、訓練セット内の各目標物タイプの特徴を学習する。ビデオフレーム内の目標物の位置情報及びタイプ情報は、目標物検出を通じて取得されてもよい。位置情報は、ビデオフレーム内の目標物のピクセル座標、つまり、ビデオフレーム内の目標物に対応する回帰ボックスのピクセル座標、例えば、ビデオフレーム内の回帰ボックスの斜辺の２つの端点のピクセル座標、又はビデオフレーム内の回帰ボックスのボックス輪郭のピクセル座標である。目標物検出を通じて取得されたデータは、構造化されたデータであってもよい。例えば、各目標物は、目標物ＩＤに対応する。目標物ＩＤ並びに目標物ＩＤの位置情報及びタイプ情報は、１つの構造化されたデータを形成する。同じ時点での複数のビデオフレームがＳ４０１で取得される場合に、ステップＳ４０２は、各ビデオフレームに対して実行される。

Ｓ４０３：目標物の検出されたタイプに基づき目標物に対して属性検出を実行する。目標物属性検出は、複数のニューラルネットワークモデル又は画像処理アルゴリズムの連携、例えば、ＲｅｓＮｅｔ分類モデル及びヒストグラム色統計量アルゴリズムに基づき、主に実行される。異なる目標物タイプの検出されるべき属性は異なってもよく、使用される目標物属性検出法も異なってもよい。例えば、属性検出は、目標物タイプがモータ車である目標物に対して実行される。検出されるべき主な属性には、モータ車のモデル、モータ車の色、ナンバープレート、などがある。複数の前もって訓練されたニューラルネットワークモデルが、目標物の車両モデル、色、及びナンバープレートを検出するために使用されてもよく、あるいは、複合型ニューラルネットワークモデルが使用されてもよい。目標物属性検出法は、本願で限定されない。先行技術で属性検出のために使用され得る方法、又は将来の研究を通じて生み出される、属性検出ために使用され得る方法が、本願に適用可能である。

任意に、ステップＳ４０３で、目標物の直接属性情報が、目標物属性検出を通じて検出される。目標物の間接属性情報が更に、目標物の検出された直接属性情報と、目標物の位置及びタイプ情報とに基づいて、解析及びクエリを通じて取得されてもよい。例えば、モータ車の所有者身元情報並びに登録及びメンテナンス情報は、モータ車のナンバープレートに基づき取得され得る。モータ車と交通マーキングラインとの間の距離、及びモータ車と交通信号灯との間の距離は、モータ車の位置情報を背景オブジェクトの位置と比較することによって取得される。

留意されるべきは、同じ時点での複数のビデオフレームがＳ４０１で取得される場合に、ステップＳ４０２及びＳ４０３は、各ビデオフレームに対して実行されることである。

Ｓ４０４：取得された処理済みデータを配列及び出力する。ここで、ステップＳ４０２及びＳ４０３で取得されたビデオフレームの処理済みデータは、構造化されたデータの形で他の処理ユニット又は記憶ユニットへ出力されてもよい。

以下は、図７を参照して、検出された目標物をステップＳ３０３で位置決めするための方法について詳細に記載する。

複数のビデオフレーム内の目標物の位置情報の決定は、ステップＳ３０２及びステップＳ３０２の詳述ステップＳ４０１からＳ４０４で取得され得る。位置情報のデータは、ビデオフレーム内の目標物のピクセル座標である。ステップＳ３０３で、目標物のピクセル座標は、物理世界における目標物の地理座標に変換される。目標物のピクセル座標を物理世界における目標物の地理座標に変換するために、複数の方法が使用されてよい。方法の例は、以下の通りに記載される。

Ｓ５０１：交通道路上の制御点の地理座標を前もって取得する。

目標物のピクセル座標と物理世界における目標物の地理座標との間のマッピング関係を取得するために、交通道路上のいくつかの制御点が前もって選択される必要があり、制御点の地理座標が取得され記録される必要がある。交通道路上の制御点は、通常は、交通道路上の背景オブジェクトの尖鋭な点であり、それにより、ビデオフレーム内の制御点のピクセルの位置は直感的に取得され得る。例えば、交通マーキングラインの直角をなす点、矢印の尖鋭な点、及び交通道路上の緑地帯のコーナー点が、制御点として使用される。制御点の地理座標（経度、緯度、及び高度）は、手動で収集されてもよく、あるいは、ドローンによって収集されてもよい。交通道路の選択された制御点は、少なくとも３つの制御点が各カメラの視野角から観測され得ることを確かにするために、交通道路上に等しく分布している必要がある。選択されるべき制御点の数は、実際の状況に依存する。

Ｓ５０２：各カメラの視野角でのビデオフレーム内の、収集された制御点のピクセル座標を取得する。

交通道路上に固定配置された各カメラによって撮影された交通道路の映像は、読み出され、そして、観測可能な制御点の対応するピクセル座標は、各カメラによって撮影されたいずれかのビデオフレームから取得される。ピクセル座標は、手動により取得されてもよく、あるいは、プログラムにより取得されてもよい。例えば、ビデオフレーム内の、交通道路上の制御点の対応するピクセル座標は、コーナー点検出、短時間フーリエ変換エッジ抽出アルゴリズム、及びサブピクセル座標フィッティング法を通じて取得される。少なくとも３つの制御点が、各カメラによって撮影された映像において可視的であるべきである。具体的に言えば、各カメラによって撮影された如何なるビデオフレームも、少なくとも３つの制御点に対応するピクセル座標を含むべきである。各カメラの撮影角度での映像内の制御点のピクセル座標及び地理座標は、ステップＳ５０１及びステップＳ５０２で収集されてよい。

Ｓ５０３：各カメラの視野角でのビデオフレームと物理世界との間のマッピング関係を、制御点の地理座標及びピクセル座標に基づき構築する。例えば、ピクセル座標を地理座標に変換するためのホモグラフィ変換行列Ｈが、ホモグラフィ変換原理に従って計算されてもよく、ホモグラフィ変換式は（ｍ，ｎ，ｈ）＝Ｈ×（ｘ，ｙ）である。各カメラによって撮影されたビデオデータに対応する行列Ｈは、ステップＳ５０１及びステップＳ５０２で取得された各カメラの撮影角度での映像内の少なくとも３つの制御点のピクセル座標（ｘ，ｙ）及び地理座標（ｍ，ｎ，ｈ）に基づき、計算を通じて取得され得る。各カメラによって撮影されたビデオデータに対応する行列Ｈは、異なっている。

Ｓ５０４：目標物のピクセル座標に基づき目標物の地理座標を取得する。各カメラによって撮影されたビデオデータに対応する行列ＨがステップＳ５０１からＳ５０３で取得された後に、ステップＳ３０２で取得された目標物のピクセル座標は、目標物の地理座標を取得するために、行列Ｈに基づき変換されてよい。留意されるべきは、異なるビデオフレームは、目標物の複数の対応する地理座標を取得するために、各々のカメラに対応する行列Ｈに基づいて別々に変換されることである。

留意されるべきは、ステップＳ５０１からＳ５０３の実行時間は、ステップＳ５０４のそれよりも遅れてはならず、具体的な実行時間は限定されないことである。例えば、ステップＳ５０１からＳ５０３は、デジタルシステムが初期化される場合に実行されてよい。

任意に、各カメラの視野角でのビデオフレームと物理世界との間のマッピング関係を構築するための方法は更に、ビデオフレームを３次元高精細地図にマッピングし、各カメラの視野角でのビデオフレームと地図との間のマッピング関係を計算し、マッピング関係及び目標物のピクセル座標に基づき目標物の地理座標を取得することであってもよい。具体的に、３次元高精細地図は前もって取得され、カメラによって撮影されたビデオデータ内のある時点でのビデオフレームは基準として使用される。３次元高精細地図は、ビデオフレームの内容を３次元高精細地図上で提示されている部分と照合するよう、変形される（ズームイン、ズームアウト、ある角度で動かす、など）。照合中のビデオフレームと３次元高精細地図との間のマッピング関係が計算される。この方法では、各カメラの視野角でのビデオフレームと物理世界との間のマッピング関係は、自動照合アルゴリズム及び透視変換原理を通じて自動で取得される。

以下は、図８を参照して、ステップＳ３０４での目標物追跡法の例について記載する。

Ｓ６０１：目標物マッチングを実行する。現在のビデオフレームで検出された目標物は、現在のビデオフレームで検出された目標物の位置情報（つまり、ビデオフレーム内の目標物のピクセル座標）、タイプ情報、及び属性情報などの１つ以上のデータに基づき、前の時点でのビデオフレーム内の目標物と照合される。例えば、現在のビデオフレーム内の目標物の目標物ＩＤは、現在のビデオフレーム内の目標物の回帰ボックスと、前の時点でのビデオフレーム内の目標物の回帰ボックスとの間の重複率に基づき、決定される。現在のビデオフレーム内の目標物の回帰ボックスと、前の時点でのビデオフレーム内の目標物の回帰ボックスとの間の重複率が、前もってセットされた閾値よりも大きい場合に、現在の時点での目標物及び前の時点での目標物は同じであることが決定される。目標物に対応する目標物ＩＤは目標物行路テーブルで見つけられ、対応するピクセル座標が記録される。理解されるべきは、ステップＳ６０１及び続くステップは、現在のビデオフレームで検出された各目標物に対して実行されることである。

Ｓ６０２：現在のビデオフレーム内の１つ以上の目標物が、ステップＳ６０１で、前の時点でのビデオフレーム内の目標物と一致しない（言い換えると、それら１つ以上の目標物が前の時点でのビデオフレームで見つけられない、例えば、モータ車が、現在の時点でカメラによって撮影された交通交差点のエリアに入ったばかりである）場合に、１つ以上の目標物は、現在の時点で交通道路上に新たに加えられた目標物であることが決定され、新しい目標物ＩＤが、その目標物に対してセットされる。ここで、目標物ＩＤは目標物を一意に識別し、目標物ＩＤ及び現在の時点での目標物ＩＤのピクセル座標は、目標物行路テーブルに記録される。

Ｓ６０３：前の時点での１つ以上の目標物が、ステップＳ６０１で、現在の時点でのビデオフレーム内の目標物に一致しない（言い換えると、前の時点に存在している目標物が現在の時点で見つけられない、例えば、目標物が、現在の時点で他の目標物によって部分的に又は完全に遮られるか、あるいは、目標物が、現在の時点で、カメラによって撮影された交通道路のエリアから離れている）場合に、現在の時点でのビデオフレーム内の目標物のピクセル座標は、目標物行路テーブルに記録されている過去の時点での目標物のピクセル座標に基づき予測される（例えば、３点外挿法又は行路フィッティングアルゴリズムが使用される）。

Ｓ６０４：ステップＳ６０３で予測されている目標物のピクセル座標に基づき、目標物の存在状態を決定する。目標物の予測されたピクセル座標が現在のビデオフレームの外又は端にある場合に、予測された目標物は、現在の時点で、カメラの撮影角度での画像から離れていることが決定されてよい。目標物の予測されたピクセル座標が現在のビデオフレームの中にあってかつ端にない場合に、目標物は現在の時点で依然としてビデオフレーム内にあることが決定される。

Ｓ６０５：予測された目標物が、現在の時点で、カメラの撮影角度での画像から離れていることがステップＳ６０４で決定される場合には、目標物ＩＤ及び目標物ＩＤに対応するデータを目標物行路テーブルから削除する。

予測された目標物が現在の時点で依然としてビデオフレーム内にあることがステップＳ６０４で決定される場合には、目標物の予測されたピクセル座標を目標物行路テーブルに記録する。

ステップＳ６０１からＳ６０５は、各カメラによって撮影されたビデオデータに含まれている各時点でのビデオフレーム内の各目標物に対して実行される。

以下は、図９を参照して、ステップＳ３０６でのデジタルモデリング方法について具体的に記載する。

Ｓ７０１：目標物モデリングを実行する。具体的に、目標物に対応する３次元モデルが、ステップＳ３０２からＳ３０５で取得された目標物のタイプ情報（及び属性情報の一部又は全部）に基づき、前もってセットされたデータベースを探索することによって、取得される。前もってセットされたデータベースは、多くの３次元モデルを含み、データベース内の各３次元モデルは、その３次元モデルに対応するタイプ（及び属性）と関連付けられている。データベースが探索される場合に、探されるべき３次元モデルに対応するタイプ（及び属性）が、そのタイプ（及び属性）に対応する３次元モデルを取得するために入力されてよい。例えば、モデリングされるべき目標物について、ステップＳ３０５で取得された目標物の解析済み目標物ＩＤは００１であり、解析済み目標物ＩＤに対応する目標物タイプはモータ車であり、属性情報データにおける色は赤である。従って、その目標物については、タイプがモータ車でありかつ色が赤である３次元モデルが、前もってセットされたデータベースで探され、その目標物に関連した３次元モデルは、モータ車及び赤を入力又は選択することによって取得され得る。目標物に対応する取得された３次元モデルは、ステップＳ３０５でセットされている目標物の解析済み目標物ＩＤと関連付けられるようセットされ、それにより、解析済み目標物ＩＤは、１つの３次元モデルに一意に対応する。

任意に、ステップＳ７０１では、背景オブジェクトモデリングも実行されてもよい。背景オブジェクトのタイプに対応するモデルは、前もってセットされた背景データベースを、背景オブジェクトの検出されたタイプに基づき探索することによって、取得される。前もってセットされた背景データベース及び上記のデータベースは、同じデータベースであってもよく、あるいは、異なったデータベースであってもよい。

Ｓ７０２：目標物マッピングを実行する。各目標物に対応する解析済み目標物ＩＤに対応する３次元モデルは、各目標物の解析済み地理座標に基づき、地図上の地理座標にマッピングされる。具体的に、各目標物の解析済み地理座標は、１つの座標値（例えば、目標物の中心点に対応する解析済み地理座標）であってもよく、あるいは、複数の座標値（例えば、目標物の回帰ボックスに対応する解析済み地理座標）であってもよい。目標物に対応する３次元モデルが地図にマッピングされる場合に、地図上の対応する３次元モデルの位置は、目標物の解析済み地理座標に基づき決定され、次いで、３次元モデルは、地図上の対応する位置にマッピングされる。例えば、目標物の解析済み地理座標が目標物の回帰ボックスの位置であるならば、目標物の回帰ボックスの位置が地図上で決定された後に、対応する３次元モデルは、決定された回帰ボックス内にマッピングされる。

任意に、ステップＳ７０２では、目標物の姿勢が更に、目標物マッピング中に考慮されてもよい。目標物の姿勢は、目標物の移動方向を示す。３次元モデルは、目標物の姿勢に基づきマッピングされ、目標物の姿勢は、目標物の向き、例えば、モータ車の先頭又は歩行者の顔の向きに対応する方向である。目標物の姿勢を推定するための多くの方法がある。これは本願で限定されない。例えば、データ解析が、物理世界における目標物の解析済み移動行路を取得するために、同じ時点での複数のビデオフレーム内の目標物の、ステップＳ３０４で取得された移動行路に対して実行されてもよく、解析済み移動行路の接線方向が、目標物の姿勢として使用される。代替的に、マルチアングル画像検出技術が、目標物の姿勢を決定するために使用されてもよい。目標物マッピングが実行される場合に、目標物に対応する３次元モデルは、目標物の取得された姿勢に基づきマッピングされる。例えば、曲がり途中であるモータ車については、そのモータ車に対応する３次元モデルの本体が、モータ車の取得された行路の接線方向に基づきマッピングされ、それにより、マッピングされた３次元モデルは、モータ車の運転方向を表示することができる。

任意に、ステップＳ７０２では、背景オブジェクトマッピングが更に実行されてもよい。事前に取得された地図が背景オブジェクトの部分又は全内容を含まない場合に、背景オブジェクトに対応するモデルが、背景オブジェクトの検出された地理座標に基づき、地図上の対応する位置にマッピングされ得る。

Ｓ７０３：デジタルビューを出力する。目標物モデリング及び目標物マッピングの後に、交通道路上のある時点での目標物及び事前に取得された地図は、交通道路のデジタルビュー（図９に図示）を形成するよう結合される。取得されたデジタルビューデータは、表示デバイスへ送られ、表示デバイスは、交通道路のデジタルビューを表示する。

任意に、ステップＳ７０２又はＳ７０３で、目標物に対応する３次元モデルは、目標物の取得された属性情報（目標物の直接属性情報又は目標物の間接属性情報を含む）の全て又は一部と更に関連付けられ、目標物の属性情報は表示デバイスへ送られ、それにより、目標物の属性情報は、デジタル地図上で各目標物の位置の近くに表示される（あるいは、表示デバイスによって送られた命令が受け取られた後に、目標物の属性情報は、表示デバイスが目標物に対応する属性情報を表示するように、表示デバイスへ送られる）。

留意されるべきは、ステップＳ３０１は、交通道路上に配置されている各カメラによって撮影されたビデオデータに対してリアルタイムで連続的に実行されるので、ステップＳ３０２からＳ３０６は、ステップＳ３０１において異なる時点で取得されたビデオフレームに対して循環的に実行されることであり、それにより、表示デバイスによって表示されている交通道路のデジタルビュー内の目標物の位置及び姿勢は、物理世界における交通道路上の目標物の変化とともに変化する。このようにして、デジタルビューは、リアルタイムで交通道路の現在の交通状態（例えば、各目標物の走行状態及び各交差方向における各交通交差点での交通混雑）を反映することができる。

交通道路のデジタルビューの応用
交通道路用のデジタル復元方法により取得されたデジタルビューは、リアルタイムで交通道路全体の交通状態を連続的に表示することができる。デジタルビューは、表示デバイスによって表示されてよい。ユーザは、表示デバイスの表示インターフェースに対して操作を行うことによって、デジタルビューの表示角度を変更してもよい。具体的に言えば、ユーザは、異なる視野角から交通道路の交通状態を観測し得る。それらの視野角は、交通道路上に配置されているカメラの撮影角度とは異なってもよい。例えば、東西南北の視野角での交差点のビデオデータに基づき構築されたデジタルビューは、見下ろした角度、車両のリア角度、及び斜角などの視野角で交通状態を提供してもよい。

図１０は、交通道路の南西方向にあって表示デバイスで表示されている上方監視デジタルビューのグラフィカルユーザインターフェース及び側方監視デジタルビューのグラフィカルユーザインターフェースシステムを示す。図１０に示されるように、ユーザは、グラフィカルユーザインターフェースの管理ウィンドウ内の視野角調整ボタン（例えば、視野角調整ボタンは、上面図、東検問所、西検問所、南検問所、及び北検問所を含む）をクリックする。デジタル復元システムは、視野角調整ボタンに対応する視野角でデジタルビューを表示デバイスのために提供するよう、視野角調整情報を受け取る。表示デバイスは、視野角調整ボタンに対応する視野角でデジタルビューを表示する。代替的に、表示デバイスは、表示スクリーン上でユーザのタッチ操作を受け取り、そのタッチ操作に基づきいずれかの視野角のデジタルビューを表示してもよい。図１１に示されるように、表示デバイスでのデジタルビューのグラフィカルユーザインターフェースは、行路表示ボタンを更に含んでもよい。ユーザは、交通道路上の一部又は全ての目標物のリアルタイムの走行行路を見るために、行路表示ボタンをクリックしてもよい。図１１で、グラフィカルユーザインターフェースの右側にある４つの小さいグラフは、交通交差点の４つの方向における車両のリアルタイムの走行状態を更に表示している。車両の走行状態は、異なる色の線で表される。各小さいグラフの水平座標は時間であり、垂直座標は車両の運転距離である。各車両の運転速度は、各車両に対応する線の傾向をリアルタイムで観察することによって、観測され得る。

図１０に示されるように、表示デバイスに表示されている交通道路のデジタルビューは、目標物の３次元モデルに関連した目標物属性情報、例えば、モータ車のナンバープレート、モータ車の所有者情報、及び車両の現在の運転速度を更に表示してもよい。目標物属性情報が表示されるかどうかは、グラフィカルユーザインターフェースでのユーザの操作（例えば、属性情報がデジタルビューで見られるべきである目標物に対応する３次元モデルをクリックすること）によって制御されてもよく、あるいは、デジタル復元システムによって自動で表示されてもよい。

理解されるべきは、図１０及び図１１は、異なる視野角からの１つの交通交差点を含む交通道路のデジタルビューの例を示すにすぎないことである。本願に従って取得されたデジタルビューは、複数の交通交差点及び交通経路を含んでもよい（例えば、デジタルビューは、都市に配置された全てのカメラによって撮影されたエリアの交通状態を提示してもよい）。本願で提供される、交通道路用のデジタル復元方法を通じて取得されたデジタルビューは、メモリ占有が少なくてすみ、高いリアルタイム性能を有しており、様々な適用シナリオで容易に使用され得る。

表示デバイスは、交通道路を走る車両の車載表示デバイスであってもよい。車両所有者は、デジタルビューを通じて、車両が走行している交通道路の交通状態（混雑、道路状態、レーンマーキングライン、などを含む）を全体的に観測することができ、かつ、車両所有者は、デジタルビューを通じて、車両所有者の視野角からは観測され得ない状況を観測することができる。例えば、車体が大きいダンプトラックを運転している場合に、ドライバは、車体の周りのエリアを見ることができない。これは危険になりがちである。デジタルビューを通じて、ドライバは、ドライバが観測することができない目に見えないエリアを観測して、事故を回避するようタイムリーに目に見えないエリア内の危険な状態に対処することができる。

表示デバイスは、代替的に、管理部門のデスクトップコンピュータ、タブレットコンピュータ、手持ち式インテリジェント表示デバイス、などであってもよい。管理部門職員は、デジタルビューを観察することによって、タイムリーに交通状態を管理及び制御し得る。管理者は、デジタルビューに表示されている目標物属性情報に基づき、交通道路上の目標物を管理することができる。例えば、デジタルビューに表示されている目標物の速度が道路の最大速度制限を超えている場合には、管理者は、車両のナンバープレート情報に基づき車両の所有者に対して減点してペナルティを科すことができる。

交通道路のデジタル復元システム及びデジタルビューのグラフィカルユーザインターフェースは、他の機能をもたらすよう他のモジュール又はシステムと組み合わされてもよい。例えば、デジタル復元システム及びデジタルビューのグラフィカルユーザインターフェースは、交通信号灯管理システムと組み合わされる。デジタル復元システムが、交通交差点のある方向で、滞在時間が閾値を超えているモータ車を検出する場合に、デジタル復元システムは要求メッセージを交通信号灯管理システムへ送る。交通信号灯管理システムは、要求メッセージを受け取り、要求メッセージで示されている交通道路上の信号灯を調整し（例えば、混雑方向における信号灯の色を比較的に長い期間青にセットする）、そして、交通信号灯管理システムは、信号灯変更メッセージをデジタル復元システムへ送る。デジタル復元システムは、信号灯変更情報及びビデオデータ内の交通信号灯の変化に基づきその時点での交通道路のデジタルビューを構築し、それにより、グラフィカルユーザインターフェースで表示されているデジタルビュー内の交通信号灯も変化する。

図２を参照されたい。本願はデジタル復元システム１００を提供する。システムは、上記の方法の実施形態でのステップＳ３０１からＳ３０６（並びにステップＳ３０２の具体的な実施ステップＳ４０１からＳ４０４、ステップＳ３０４の具体的な実施ステップＳ６０１からＳ６０６、及びステップＳ３０６の具体的な実施ステップＳ７０１からＳ７０３）を実行するよう構成される。更に、システムは、上記のステップで任意の方法を任意に実行する。システムは、データ処理サブシステム１２０、データ解析サブシステム１４０、及びデジタルモデリングサブシステム１６０を含む。

図１２に示されるように、本願は装置８００を提供する。装置は、交通道路用のデジタル復元方法を実行するよう構成される。装置における機能モジュールの分割は、本願で限定されない。以下は、機能モジュールの分割の例を与える。

装置８００は、データ処理モジュール８０１、データ解析モジュール８０２、及びデジタルモデリングモジュール８０３を含む。

データ処理モジュールは、ビデオデータを取得するよう構成される。ビデオデータは、交通道路上に配置されているカメラによって撮影され、ビデオデータは、交通道路上の複数の目標物を記録している。データ解析モジュールは、ビデオデータに基づき交通道路上の各目標物の走行行路を決定するよう構成される。デジタルモデリングモジュールは、交通道路のデジタルビューを構築するよう構成される。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、交通道路上にあってモデルに対応する目標物の走行行路に基づき実行される。

具体的に、いくつかの実施形態で、データ処理モジュール８０１は、ステップＳ３０１及びＳ３０２（並びにステップＳ３０２の具体的な実施ステップＳ４０１からＳ４０４）を実行し、任意に、ステップにおいて任意の方法を実行するよう構成される。

データ解析モジュール８０２は、ステップＳ３０３からＳ３０５（及びステップＳ３０４の具体的な実施ステップＳ６０１からＳ６０６）を実行し、任意に、ステップにおいて任意の方法を実行するよう構成される。

デジタルモデリングモジュール８０３は、ステップＳ３０６（及びステップＳ３０６の具体的な実施ステップＳ７０１からＳ７０３）を実行し、任意に、ステップにおいて任意の方法を実行するよう構成される。

３つのモジュールは、通信チャネルを通じて互いにデータをやりとりしてもよい。理解されるべきは、装置８００に含まれているモジュールは、ソフトウェアモジュールであってもよく、あるいは、ハードウェアモジュールであってもよく、あるいは、モジュールのいくつかはソフトウェアモジュールであり、モジュールのいくつかはハードウェアモジュールであることである。

図１３に示されるように、本願は、コンピューティングデバイス９００を更に提供する。コンピューティングデバイス９００は、バス９０１、プロセッサ９０２、通信インターフェース９０３、及びメモリ９０４を含む。プロセッサ９０２、メモリ９０４、及び通信インターフェース９０３は、バス９０１を通じて互いと通信する。

プロセッサは中央演算処理装置（英語：central processing unit，略してＣＰＵ）であってよい。メモリは揮発性メモリ（英語：volatile memory）、例えば、ランダムアクセスメモリ（英語：random access memory，略してＲＡＭ）を含んでもよい。メモリは不揮発性メモリ（英語：non-volatile memory）、例えば、リードオンリーメモリ（英語：read-only memory，略してＲＯＭ）、フラッシュメモリ、ＨＤＤ、又はＳＳＤを更に含んでもよい。メモリは実行可能コードを記憶しており、プロセッサは実行可能コードを実行して、交通道路用のデジタル復元方法を実行する。メモリは、プロセスを実行するために必要とされる、オペレーティングシステムなどの他のソフトウェアモジュールを更に含んでもよい。オペレーティングシステムはＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）などであってよい。

コンピューティングデバイス９００のメモリは、装置８００の各モジュールに対応するコードを記憶しており、プロセッサ９０２は、コードを実行して、装置８００の各モジュールの機能を実装する、すなわち、Ｓ３０１からＳ３０６における方法を実行する。コンピューティングデバイス９００は、クラウド環境内のコンピューティングデバイス又はエッジ環境内のコンピューティングデバイスであってよい。

図４に示されるように、デジタルパノラマ復元システムの様々な部分は、異なる環境にある複数のコンピューティングデバイスで実行されてもよい。従って、本願は、複数のコンピューティングデバイスを含むコンピューティングデバイスシステムを更に提供する。図１４に示されるように、コンピューティングデバイスシステムは、複数のコンピューティングデバイス１０００を含む。各コンピューティングデバイス１０００は、バス１００１、プロセッサ１００２、通信インターフェース１００３、及びメモリ１００４を含む。プロセッサ１００２、メモリ１００４、及び通信インターフェース１００３は、バス１００１を通じて互いと通信する。通信チャネルは、通信ネットワークを通じてコンピューティングデバイス１０００間で確立される。プロセッサ１００２はＣＰＵであってよい。メモリ１００４は、不揮発性メモリ（英語：volatile memory）、例えば、ＲＡＭを含んでもよい。メモリ１００４は、ＲＯＭ、フラッシュメモリ、ＨＤＤ、又はＳＳＤなどの不揮発性メモリを更に含んでもよい。メモリ１００４は、実行可能コードを記憶しており、プロセッサ１００２は、実行可能コードを実行して、交通道路用のデジタル復元方法の一部を実行する。メモリ１００４は、プロセスを実行するために必要とされる、オペレーティングシステムなどの他のソフトウェアモジュールを更に含んでもよい。オペレーティングシステムはＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）などであってよい。

如何なるコンピューティングデバイス１０００も、クラウド環境内のコンピューティングデバイス、エッジ環境内のコンピューティングデバイス、又は端末環境内のコンピューティングデバイスであってよい。例えば、コンピューティングデバイス１０００は、図４のエッジコンピューティングデバイス２２０又は中央サーバ２４０であってもよい。

いくつかの実施形態で、図１０及び図１１を表示するよう構成された表示デバイスと、コンピューティングデバイス９００、又は複数のコンピューティングデバイスを含むコンピューティングデバイスシステムとは、システムを構成してもよい。システムは、デジタルビューを計算、構築、及び表示する統合された機能を実装してもよく、複数の適用環境で使用されてもよい。

添付の図面の夫々に対応するプロシージャの記載は、焦点を有している。プロシージャで詳細に記載されていない部分については、他のプロシージャの関連する記載を参照されたい。

上記の実施形態の全て又はいくつかは、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせにより実装されてよい。ソフトウェアが実施形態を実装するために使用される場合に、実施形態の全て又はいくつかは、コンピュータプログラム製品の形で実装されてもよい。コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータでロードされ実行される場合に、本発明の実施形態に従うプロシージャ又は機能は、全て又は部分的に生み出される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、あるいは、コンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体へ伝送されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンターから他のウェブサイト、コンピュータ、サーバ、又はデータセンターへ有線（例えば、同軸ケーブル、光ファイバ、若しくはデジタル加入者回線）又は無線（例えば、赤外線、電波、若しくはマイクロ波）方式で伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、又は１つ以上の使用可能な媒体を組み込む、サーバ若しくはデータセンターなどのデータ記憶デバイスであってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、若しくは磁気テープ）、光学媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、ＳＳＤ）であってもよい。

本願は、スマート輸送の分野に、特に、交通道路用のデジタル復元方法、装置、及びシステムに関係がある。

スマートシティの重要な部分として、スマート輸送は、都市輸送の運用効率、サービスレベル、及び安全性保証を改善することにおいて重要な役割を果たす。交通道路は、交通事故及び交通例外が頻繁であるエリアである。交通道路の交通データ取得及び交通状態監視は、都市輸送管理にとって重要である。データは、スマート輸送の基本である。様々な交通情報の自動の解析、調査、及び判断は、大量データに基づく。現在、交通道路上には、監視カメラ、レーダ、及び磁気誘導コイルなどの多数の生データ収集デバイスが、道路輸送のための大量データ資源を収集するために配備されている。交通道路観測及び調査は、道路上の車両、歩行者、及び非モータ車の速度、行路、及び流れ方向のより良い理解をもたらすことができ、交通流監視、混雑緩和、及び交通違反監視にとって意義が大きい。

先行技術では、交通道路は、カメラによって撮影されたビデオデータを観察することによって主に監視される。ビデオデータは、大量のメモリを占有し、伝送効率が低くかつ可観測性が乏しい。

本願は、交通道路用のデジタル復元方法、及びシステムを提供する。物理世界における交通道路は、上記の方法を通じてデジタルで提示され得る。交通道路の走行状態は、本願で提供される方法により効率的にモニタされ得る。

第１の態様に従って、本願は、交通道路用のデジタル復元方法を提供する。方法は、交通道路に配置されているカメラによって撮影され、交通道路上の複数の目標物を記録しているビデオデータを取得することと、ビデオデータに基づき交通道路上の各目標物の走行行路を決定することと、交通道路のデジタルビューを構築することとを含む。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき、実行される。

上記の方法で、交通道路のデジタルビューは、ユーザ（例えば、車両所有者、又は交通管理部門の職員）が交通道路の走行状態を便利にかつ正確に知ることを助けるよう構成される。更に、生ビデオデータと比較して、構築されたデジタルビューは、メモリ占有が少なくてすみかつ伝送効率が高く、それにより、デジタルビューは、容易に記憶及び伝送され得る。

理解されるべきは、交通道路上の目標物は、車両、歩行者、若しくは動物などの移動物体、又は一時的に静止している移動物体であってよいことである。

第１の態様の可能な実施で、方法は、ビデオデータに基づき各目標物のタイプ情報を決定することを更に含む。相応して、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。異なるモデルは、異なるタイプの目標物を表すために使用され、それにより、交通道路の実際の状態は、デジタルビューに表示されている異なるモデルに基づきユーザが判断及び決定を行うことを助けるよう、よりありありと反映され得る。

第１の態様の可能な実施で、交通道路上には複数のカメラが配置されており、複数のカメラのうちの異なるカメラによって集められたビデオデータの視野角は異なっている。上記の方法で、交通道路は、遮断、視野角偏差、などによりユーザが判断を誤ることを回避するために、異なる視野角から複数のカメラによって撮影された交通道路のビデオデータを結合することによって、より包括的にかつ正確に表示され得る。

第１の態様の可能な実施で、方法は、デジタルビューを表示すること、又はデジタルビューを表示装置へ送ることを更に含む。表示されたデジタルビューの視野角は、ビデオデータの視野角と同じであるか又は異なっている。デジタルビューは、ユーザがデジタルビューに基づき交通道路の情報をより便利に取得することができるように表示される。

第１の態様の可能な実施で、方法は、各目標物の属性情報を取得することを更に含む。デジタルビューは、各目標物の属性情報を更に含む。属性情報は、ユーザが目標物についてより詳細に理解すること可能であるように交通道路の目標物について更に記載及び説明することができ、そして、デジタルビューに含まれている情報の量は、デジタルビューがより多くのシナリオに適用され得るように増大する。

第１の態様の可能な実施で、ビデオデータは、第１時点でのビデオデータを含む。ビデオデータに基づき交通道路上の各目標物の走行行路を決定することは、第１時点でのビデオデータに基づき、第１時点での交通道路上の各目標物の地理座標を決定することと、第１時点での交通道路上の各目標物の地理座標と、第１時点より前の交通道路上の各目標物の地理座標とに基づき、交通道路上の各目標物の走行行路を決定することとを含む。

第１の態様の可能な実施で、方法は、交通道路上の各目標物の走行行路に基づき各目標物の姿勢を決定することを更に含む。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の姿勢及び走行行路に基づき実行される。

上記の方法で、デジタルビューは、ユーザが特定の時点でのデジタルビューから目標物の姿勢を直感的に取得し得るように、交通道路上の各目標物の走行をより忠実に示す。

第１の態様の可能な実施で、方法は、ビデオデータに基づき交通道路上の背景オブジェクトを認識することを更に含む。デジタルビューは、交通道路上の背景オブジェクトを表すモデルを更に含む。交通道路上の背景オブジェクトは、ユーザがデジタルビューにより交通道路の周囲環境及び背景状態をより明りょうに理解することができるように、モデリング及び提示される。これは、ユーザが判断及び決定を行うことを助ける。

第１の態様の可能な実施で、方法は、交通道路の地図を取得することを更に含む。交通道路のデジタルビューを構築することは、各目標物に対応するモデルを取得し、各目標物に対応するモデルを、交通道路上の各目標物の走行行路に基づき、交通道路の地図にマッピングして、交通道路のデジタルビューを取得することを含む。

理解されるべきは、いくつかの可能な実施で、地図は、交通道路の背景を含むリアルビューマップであってよいことである。

第１の態様の可能な実施で、方法は、交通道路上の目標物の運転情報を記録しているレーダデータを取得することと、レーダデータ及びビデオデータに基づき交通道路上の各目標物の走行行路を決定することとを更に含む。交通道路上の目標物の走行行路は、レーダデータ及びビデオデータを結合することによって決定され、それにより、目標物の決定された走行行路の精度は改善され得る。

第２の態様に従って、本願は、交通道路のデジタルビューを供給する方法を更に提供する。方法は、第１視野角から交通道路のデジタルビューをユーザに提示することであり、デジタルビューは複数のモデルを含み、各モデルは交通道路上の各目標物を表し、各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき実行され、交通道路上の各目標物の走行行路は、交通道路上のカメラによって撮影されたビデオデータに基づき計算により取得される、ことと、ユーザによって送られた視野角調整情報を受け取ることであり、視野角調整情報は、第２視野角からデジタルビューを見ることを要求するために使用される、ことと、視野角調整情報に基づき、第２視野角からデジタルビューをユーザに提示することとを含む。

デジタルビューは、ユーザの視野角調整情報に基づき、異なる視野角からの交通道路の走行状態をユーザに提示し得る。これは柔軟性を高め、より多くの情報をユーザに提供し得る。

第２の態様の可能な実施で、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。

第２の態様の可能な実施で、方法は、目標物の属性情報をユーザに提示することを更に含む。目標物の属性情報は、デジタルビュー内の、その目標物に対応するモデルに関連する。

第２の態様の可能な実施で、目標物の属性情報をユーザに提示することは、ユーザの命令情報を受け取ることと、ユーザの命令情報に基づき、第１視野角から、交通道路のデジタルビューで目標物の属性情報を表示することとを特に含む。

第２の態様の可能な実施で、方法は、デジタルビューで複数のモデルの走行行路をユーザに提示することを更に含む。

第２の態様の可能な実施で、デジタルビューは、交通道路上の背景を更に含み、背景は、交通道路上のマーキングライン及び交通道路の周りのオブジェクトを含む。

第２の態様の可能な実施で、交通道路は複数の交差点を含み、交通道路のデジタルビューは、各交差点と、各交差点を走る目標物に対応するモデルとを一貫して提示する。

第３の態様に従って、本願は、グラフィカルユーザインターフェースシステムを更に提供する。システムは、交通道路のデジタルビューを表示するよう構成されるデジタルビューウィンドウであり、デジタルビューは複数のモデルを含み、各モデルは交通道路上の各目標物を表し、デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき実行される、デジタルビューウィンドウと、ユーザによって選択可能なボタンを含む管理ウィンドウであり、ユーザによって選択可能なボタンは視野角調整ボタンを含む、管理ウィンドウとを含む。視野角調整ボタンがユーザによって選択された後に、デジタルビューウィンドウは、視野角調整ボタンに対応する視野角からの交通道路のデジタルビューを表示する。

第３の態様の可能な実施で、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。

第３の態様の可能な実施で、デジタルビューは、目標物の属性情報を更に含む。目標物の属性情報は、デジタルビュー内のその目標物に対応するモデルに関連する。

第３の態様の可能な実施で、デジタルビューは、各モデルの走行行路を更に含み、各モデルの走行行路は、交通道路上の各目標物の走行行路に基づき取得される。

第３の態様の可能な実施で、ユーザによって選択可能なボタンは、行路表示ボタンを更に含む。行路表示ボタンがユーザによって選択された後に、デジタルビューウィンドウは、各モデルの走行行路を表示する。

第３の態様の可能な実施で、各モデルの走行行路は、将来の時点での各モデルの走行経路を含む。

第３の態様の可能な実施で、デジタルビューは、交通道路上の背景を更に含み、背景は、交通道路上のマーキングライン及び交通道路の周りのオブジェクトを含む。

第３の態様の可能な実施で、交通道路は複数の交差点を含み、交通道路のデジタルビューは、各交差点と、各交差点を走る目標物に対応するモデルとを一貫して提示する。

第４の態様に従って、本願は装置を更に提供する。装置は、交通道路に配置されているカメラによって撮影され、交通道路上の複数の目標物を記録しているビデオデータを取得するよう構成されるデータ処理モジュールと、ビデオデータに基づき交通道路上の各目標物の走行行路を決定するよう構成されるデータ解析モジュールと、交通道路のデジタルビューを構築するよう構成されるデジタルモデリングモジュールとを含む。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき、実行される。

第４の態様の可能な実施で、データ処理モジュールは、ビデオデータに基づき各目標物のタイプ情報を決定するよう更に構成される。相応して、デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する。

第４の態様の可能な実施で、交通道路上には複数のカメラが配置されており、複数のカメラのうちの異なるカメラによって集められたビデオデータの視野角は異なっている。

第４の態様の可能な実施で、デジタルモデリングモジュールは、デジタルビューを表示するか、あるいは、デジタルビューを表示装置へ送るよう更に構成される。表示されたデジタルビューの視野角は、ビデオデータの視野角と同じであるか又は異なっている。

第４の態様の可能な実施で、データ処理モジュールは、各目標物の属性情報を取得するよう更に構成される。デジタルビューは、各目標物の属性情報を更に含む。

第４の態様の可能な実施で、ビデオデータは、第１時点でのビデオデータを含む。データ解析モジュールは、第１時点でのビデオデータに基づき、第１時点での交通道路上の各目標物の地理座標を決定し、第１時点での交通道路上の各目標物の地理座標と、第１時点より前の交通道路上の各目標物の地理座標とに基づき、交通道路上の各目標物の走行行路を決定するよう特に構成される。

第４の態様の可能な実施で、データ処理モジュールは、交通道路上の各目標物の走行行路に基づき各目標物の姿勢を決定するよう更に構成される。デジタルビュー内の各モデルは、そのモデルに対応する交通道路上の目標物の姿勢及び走行行路に基づき実行される。

第４の態様の可能な実施で、データ処理モジュールは、ビデオデータに基づき交通道路上の背景オブジェクトを認識するよう更に構成される。デジタルビューは、交通道路上の背景オブジェクトを表すモデルを更に含む。

第４の態様の可能な実施で、デジタルモデリングモジュールは、交通道路の地図を取得し、各目標物に対応するモデルを取得し、各目標物に対応するモデルを、交通道路上の各目標物の走行行路に基づき、交通道路の地図にマッピングして、交通道路のデジタルビューを取得するよう特に構成される。

第５の態様に従って、本願は表示デバイスを更に提供する。表示デバイスは受信モジュール及び表示モジュールを含む。表示モジュールは、第１視野角から交通道路のデジタルビューをユーザに提示するよう構成される。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。各モデルは、そのモデルに対応する交通道路上の目標物の走行行路に基づき実行される。交通道路上の各目標物の走行行路は、交通道路上のカメラによって撮影されたビデオデータに基づき計算により取得される。受信モジュールは、ユーザによって送られた視野角調整情報を受け取るよう構成される。視野角調整情報は、第２視野角からデジタルビューを見ることを要求するために使用される。表示モジュールは、視野角調整情報に基づき、第２視野角からデジタルビューをユーザに提示するよう更に構成される。

理解されるべきは、表示デバイスは端末デバイス、例えば、携帯電話機、タブレットコンピュータ、車載コンピュータ、又はポータブルコンピュータであってもよく、あるいは、エッジ側に又はデータセンターに置かれている視覚化デバイスであってもよいことである。

第６の態様に従って、本願はコンピューティングデバイスを更に提供する。コンピューティングデバイスはプロセッサ及びメモリを含む。メモリはコンピュータ命令を記憶している。プロセッサは、コンピューティングデバイスが第１の態様又は第１の態様のいずれかの可能な実施における方法を実行することを可能にするようコンピュータ命令を実行する。理解されるべきは、コンピューティングデバイスは、サーバ、車載コンピューティングデバイス、車両、などであってもよいことである。

第７の態様に従って、本願はコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体はコンピュータプログラムコードを記憶している。コンピュータプログラムコードがコンピューティングデバイスによって実行される場合に、コンピューティングデバイスは、第１の態様又は第１の態様のいずれかの可能な実施における方法を実行するか、あるいは、第２の態様又は第２の態様のいずれかの可能な実施における方法を実行する。コンピュータ可読記憶媒体は、ランダムアクセスメモリなどの揮発性メモリ、又はフラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、若しくはソリッドステートドライブ（ＳＳＤ）などの不揮発性メモリを含むがこれらに限られない。

第８の態様に従って、本願はコンピュータプログラム製品を更に提供する。コンピュータプログラム製品はコンピュータプログラムコードを含む。コンピュータプログラムコードがコンピューティングデバイスによって実行される場合に、コンピューティングデバイスは、第１の態様又は第１の態様のいずれかの可能な実施で提供される方法を実行するか、あるいは、第２の態様又は第２の態様のいずれかの可能な実施で提供される方法を実行する。コンピュータプログラム製品は、ソフトウェアインストールパッケージであってよい。第１の態様又は第１の態様のいずれかの可能な実施で提供される方法が使用される必要があるか、あるいは、第２の態様又は第２の態様のいずれかの可能な実施で提供される方法が使用される必要がある場合に、コンピュータプログラム製品は、コンピューティングデバイスでダウンロードされ実行されてよい。

第９の態様に従って、本願はシステムを更に提供する。システムは、第５の態様に従う表示デバイスと、第６の態様に従うコンピューティングデバイスとを含む。

本願の実施形態における技術的解決法についてより明りょうに記載するために、以下は、実施形態について、添付の図面を簡単に説明する

本願の実施形態に従うシステムアーキテクチャの概略図である。 本願の実施形態に従う他のシステムアーキテクチャの概略図である。 本願の実施形態に従うデジタル復元システム１００の略構造図である。 本願の実施形態に従うデジタル復元システム１００の概略図である。 本願の実施形態に従う交通道路用のデジタル復元方法の略フローチャートである。 本願の実施形態に従う目標物検出及び属性検出の略フローチャートである。 本願の実施形態に従う目標物の位置決めの略フローチャートである。 本願の実施形態に従う目標物の位置決めの略フローチャートである。 本願の実施形態に従うデジタルモデリングの略フローチャートである。 本願の実施形態に従う、異なる視野角からのデジタルビューのグラフィカルユーザインターフェースを示す。 本願の実施形態に従う他のデジタルビューのグラフィカルユーザインターフェースを示す。 本願の実施形態に従う装置８００の略構造図である。 本願の実施形態に従うコンピューティングデバイス９００の略構造図である。 本願の実施形態に従うコンピューティングデバイスシステムの略構造図である。

以下は、本願の添付の図面を参照して、本願で提供される実施形態の解決法について詳細に記載する。

交通道路は、歩行者及び車両が物理世界において通るエリアである。交通道路は、複数の交通交差点及び交通経路を含む。本願は、交通道路用のデジタル復元方法を提供する。方法は、デジタル復元システムによって実行される。交通道路のデジタルビューは、デジタル復元方法により構成され得、そして、デジタルビューは、リアルタイムで交通道路の走行状態を表示し得る。

図１に示されるように、デジタル復元システムは、クラウド環境でデプロイされてよく、具体的に、クラウド環境内の１つ以上のコンピューティングデバイス（例えば、中央サーバ）にデプロイされる。システムは、代替的に、エッジ環境でデプロイされてもよく、具体的に、エッジ環境内の１つ以上のコンピューティングデバイス（エッジコンピューティングデバイス）でデプロイされる。エッジコンピューティングデバイスはサーバであってよい。クラウド環境は、クラウドサービスプロバイダによって所有されて、計算、記憶、及び通信資源を提供するよう構成された中央コンピューティングデバイスクラスタを示す。エッジ環境は、計算、記憶、及び通信資源を提供するよう構成されており、生データ収集デバイスに地理的に近いエッジコンピューティングデバイスクラスタを示す。生データ収集デバイスは、デジタル復元システムによって必要とされている生データを収集するよう構成されたデバイスである。生データ収集デバイスは、カメラ、レーダ、赤外線カメラ、磁気誘導コイル、などを含むが、これらに限られない。生データ収集デバイスは、デバイスの視野角から交通道路上のリアルタイムの生データ（例えば、ビデオデータ、レーダデータ、及び赤外線データ）を収集するよう構成されており、交通道路上の固定位置に配置されたデバイスを含み、更には、ドローン、巡回読み込み車両、手動によるデータ収集のための動的デバイス（例えば、読み込みポール）などの、交通道路上でデータを動的に収集するデバイスを含む。

図２に示されるように、デジタル復元システムは、複数の部分を含む（例えば、複数のサブシステムを含み、各サブシステムが複数のユニットを含む）。従って、デジタル復元システムの部分はまた、分散様式で異なる環境でデプロイされてもよい。例えば、デジタル復元システムの一部は、３つの環境、すなわち、クラウド環境、エッジ環境、及び生データ収集デバイスで、あるいは、３つの環境のうちのいずれか２つで別々にデプロイされてもよい。

デジタル復元システムは、生データ収集デバイスによって収集された生データに基づき、物理世界における交通道路に対してデジタルモデリングを実行するよう構成される。デジタル復元システムにおけるサブシステム及びユニットのための複数の分割様式が存在し得る。これは本願で限定されない。図３は、例となる分割様式を示す。図３に示されるように、デジタル復元システム１００は、データ処理サブシステム１２０、データ解析サブシステム１４０、及びデジタルモデリングサブシステム１６０を含む。以下は、各サブシステムの機能と、各システムに含まれている機能ユニットの機能とについて別々にかつ簡潔に記載する。

データ処理サブシステム１２０は、少なくとも１つの生データ収集デバイスによって収集された生データを受け取るよう構成され、生データは、交通道路上に配置されているカメラによって撮影されたビデオデータを主に含む。実施形態で、受け取られたビデオデータは、交通道路の交通状態を記録しているリアルタイムのビデオストリームである。データ処理サブシステム１２０は更に、受け取られたデータを処理して、より多くのセマンティクスを持ったデータを取得する。データ処理サブシステムは複数の機能ユニットを含む。データアライメントユニット１２１は、交通道路上の固定位置に配置されている複数のカメラによって収集されたビデオデータを受け取り、複数のビデオデータに対して時間アライメントを実行し、すなわち、同じ時点での交通状態を記録しているビデオフレームを抽出し、そのビデオフレームを目標物検出ユニット１２２へ出力するよう構成される。目標物検出ユニット１２２は、目標物の位置情報及びタイプ情報を取得するために、ビデオフレームに存在している目標物の位置及びタイプを検出するよう構成される。目標物属性検出ユニット１２３は、目標物の属性情報を取得するために、各目標物のタイプに基づき各目標物タイプの属性を検出するよう構成される。データ記憶ユニット１２４は、目標物検出ユニット及び目標物属性検出ユニットによって取得されたデータを記憶するよう構成される。データは、データ解析サブシステム及びデジタルモデリングサブシステムにおける機能ユニットによって読み出されて使用されてよい。

任意に、データ処理サブシステムは、背景検出ユニット１２５を更に含む。背景検出ユニット１２５は、交通道路背景に関係がある、生データ収集デバイスによって収集された生データを受け取るよう構成される。生データは、交通道路上の固定位置に配置されているデバイスによって収集されるビデオデータ及び他のデータ（例えば、レーダデータ及び赤外線データ）であってよい。代替的に、生データは、データを動的に収集するドローン及び巡回読み込み車両によって収集されたビデオデータ又は他のデータであってもよい。背景検出ユニット１２５は、背景オブジェクトのタイプ情報及び位置情報を取得するために、受け取られた生データに基づき、交通道路上の背景オブジェクトを検出及び認識するよう構成される。

留意されるべきは、本願では、目標物は、交通道路を移動するオブジェクト、又は交通道路上にあって一定期間静止している移動可能なオブジェクト、例えば、モータ車、歩行者、非モータ車、又は動物を指すことである。目標物の属性情報は、目標物に関する情報を指し、目標物の属性情報は、直接属性情報及び間接属性情報を含む。直接属性情報は、目標物に基づき直接に計算され、認識され、取得される属性情報（例えば、車両の色、車両のナンバープレート番号、車両のモデル、及び車両の走行速度）である。間接属性情報は、目標物の直接属性を更に解析すること又は目標物の直接属性に基づき関連データベースにクエリすることによって取得される属性情報である。各目標物は属性情報を有している。目標物のタイプ情報は、目標物の属性情報の１タイプであってよい。具体的に言えば、目標物のタイプ情報は、分類のために使用される目標物の属性情報の１タイプである。目標物のタイプ情報に基づき分類を通じて取得された異なる目標物タイプに対応する他の観測されるべき属性情報は、異なってもよい。本願で、背景オブジェクトは、道路マーキングライン、警告標識、交通信号ポール、ブース、周囲建物、街路樹、花壇、などを含む、交通道路上又は交通道路の周りの静止オブジェクトを指す。

データ解析サブシステム１４０は、データ処理サブシステム１２０によって処理されたデータを読み出し、データを更に処理及び解析するよう構成される。データ解析サブシステム１４０は、複数の機能ユニットを含む。位置決めユニット１４１は、現実世界の中の制御点の予め収集された地理座標と、ビデオフレームの中の制御点の予め収集されたピクセル座標とに基づき、各カメラによって撮影されたビデオ内の点のピクセル座標とその点の地理座標との間のマッピング関係を決定し、マッピング関係に基づき、物理世界の中の、目標物検出ユニットによって検出されている目標物の地理座標を取得するよう構成される。目標物追跡ユニット１４２は、２つの隣接ビデオフレーム内の同じ目標物の位置情報を決定し、各時点での目標物のピクセル座標を記録し、ビデオデータ内の目標物の移動行路を取得するよう構成される。データ解析ユニット１４３は、複数の異なる視野角によって形成されたパノラマ視野角での目標物のデータを取得するために、複数の異なる視野角でビデオデータから取得された処理済みデータの複数のグループを解析するよう構成される。

任意に、位置決めユニット１４１は、上記の方法で取得されたマッピング関係に基づき、物理世界にあって背景検出ユニットによって検出されている背景オブジェクトの地理座標を取得するよう更に構成されてもよい。

任意に、データ解析サブシステム１４０は、目標物属性情報解析ユニット１４４を更に含む。目標物属性情報解析ユニット１４４は、データ処理サブシステム１２０及びデータ解析サブシステム１４０によって取得されている目標物の属性又は位置などの情報に基づき、目標物の間接属性情報を取得するよう構成される。

デジタルモデリングサブシステム１６０は、デジタルビューを取得するために、データ処理サブシステム１２０及びデータ解析サブシステム１４０によって取得されたデータに基づき、物理世界の中の交通道路及び道路上の目標物に関するデジタル復元を実行するよう構成される。デジタルモデリングサブシステム１６０は、交通道路上の背景オブジェクトに対応するモデルを取得するために、交通道路及び交通道路の周りの背景オブジェクトに対してモデリングを実行するよう構成された背景モデリングユニット１６１を含む。他の実施形態では、デジタル復元システム１００は、背景モデリングユニット１６１を含まなくてもよく、デジタル復元システム１００は、他のデバイス又はシステムから、モデリングされている背景オブジェクトに対応するモデルを取得してもよい。目標物モデリングユニット１６２は、各目標物に対応するモデルを取得するために、データ処理サブシステム１２０及びデータ解析サブシステム１４０によって取得されている目標物のタイプ情報及び属性情報に基づき、目標物に対してモデリングを実行するよう構成される。目標物マッピングユニット１６３は、交通道路のデジタルビューを取得するために、各目標物に対応するモデルを地図にマッピングするよう構成される。目標物属性情報関連付けユニット１６４は、目標物の属性情報をデジタルビュー内の目標物の対応するモデルと関連付けるよう構成される。デジタルビュー出力ユニット１６５は、交通道路の復元されたデジタルビューを表示デバイス又は他のシステムへ出力するよう構成され、それにより、表示デバイスはデジタルビューを表示するか、あるいは、他のシステムはデジタルビューに基づき更なる操作を実行する。

本願で、デジタル復元システム１００は、ソフトウェアシステムであってもよく、デジタル復元システム１００に含まれているサブシステム及び機能ユニットは、比較的に柔軟な様態でハードウェアデバイスにデプロイされる。図１及び図２に示されるように、システム全体は、１つの環境において１つ以上のコンピューティングデバイスにデプロイされてもよく、あるいは、分散様式で２つ又は３つの環境において１つ以上のコンピューティングデバイスにデプロイされてもよい。例えば、図４は、本願に従うデジタル復元システム１００のデプロイメントの概略図である。デジタル復元システム１００のデータ処理サブシステム１２０は、エッジコンピューティングデバイス２２０にデプロイされる。エッジコンピューティングデバイス２２０は、コンピューティング機能を備えており、生データ収集デバイス２０１及び生データ収集デバイス２０２の近くに位置付けられたトラフィックボックスであってもよい。データ解析サブシステム１４０及びデジタルモデリングサブシステム１６０は、中央サーバ２４０２にデプロイされる。中央サーバは、クラウドデータセンサに位置してもよい。図４に示されるデプロイメント形式では、生データ収集デバイス２０１及び生データ収集デバイス２０２は、リアルタイムで交通道路の生データ（ビデオデータ及び他のデータを含む）を収集する。生データ収集デバイス２０１及び生データ収集デバイス２０２は、収集された生データをエッジコンピューティングデバイス２２０へ送る。エッジコンピューティングデバイス２２０は、生データを処理して処理済みデータを取得するよう、データ処理サブシステム１２０に含まれているソフトウェアコードを実行する。処理済みデータは、エッジコンピューティングデバイス２２０によって中央サーバ２４０へ送られる。中央サーバ２４０は、処理済みデータを受け取り、データ解析サブシステム１４０に含まれているソフトウェアコード及びデジタルモデリングサブシステム１６０に含まれているソフトウェアコードを実行して、交通道路のデジタルビューデータを生成する。更に、中央サーバ２４０は、デジタルビューデータを表示デバイスへ送ってもよく、表示デバイスは、交通道路のデジタルビューを表示する。更に、ユーザは、異なる視野角でのデジタルビュー、指定された目標物の属性情報、などを取得するよう、表示デバイスを通じてデジタルビューの表示を調整及び操作してもよい。表示デバイスは、端末デバイス、例えば、携帯電話機、タブレットコンピュータ、車載コンピュータ、又はポータブルコンピュータであってもよく、あるいは、エッジ側に又はデータセンターに置かれている視覚化デバイスであってもよい。

交通道路のデジタル復元
図５は、本願の実施形態に従う、交通道路用のデジタル復元方法の略フローチャートである。以下は、図５を参照して、交通道路用のデジタル復元方法のステップについて具体的に記載する。

Ｓ３０１：生データを取得する。具体的に、デジタル復元システムは、リアルタイムで生データ収集デバイスによって収集されている交通道路の生データを取得する。生データはビデオデータを含む。ビデオデータは、交通道路上の固定位置に配置されているカメラによって撮影されたビデオストリームであり、交通道路のリアルタイムの交通状態を反映している。一般に、交通道路上の各交差点又は道路区間は、異なる視野角から撮影している複数のカメラを配置されており、各カメラは、１つの視野角から交通道路の交通状態を撮影する。

任意に、ステップＳ３０１では、生データ収集デバイス（例えば、ミリメートル波レーダ、マイクロ波レーダ、又は光エレクトロニクスレーダ）によって収集されたレーダデータが更に取得されてもよく、交通道路上の目標物の位置及び走行速度などの情報が、レーダデータを解析することによって取得され得る。レーダデータは、目標物の位置及び走行速度を反映する際のレーダデータの高い精度により、ビデオデータへの補足として使用されてもよい。

留意されるべきは、ステップＳ３０１で、ビデオストリームは、リアルタイムで連続して取得されてもよく、続くステップＳ３０２からＳ３０６は、ある時点から、各時点で取得されたビデオフレームに対して実行されることである（図５に示されるように、ステップＳ３０２からＳ３０６は、交通道路の４つの方向、すなわち、東西南北に配置されたカメラによって各時点で収集されたビデオフレームに対して実行される）。理解されるべきは、ビデオデータのセグメントは、異なる時点でのビデオフレームを含み、ビデオデータ内のビデオフレームは、時間順に配列されていることである。各ビデオフレームは画像であり、ある時点で撮影された交通道路の交通状態を反映するために使用される。

Ｓ３０２：目標物検出及び属性検出を実行する。具体的に、目標物検出は、目標物の位置情報及びタイプ情報を取得するために、同じ時点にある各ビデオデータ内のビデオフレームに対して実行される（ここで、目標物の位置情報は、ビデオフレーム内の目標物のピクセル座標である）。更に、目標物属性検出が、目標物の属性情報を取得するために、検出された目標物に対して実行される。ビデオフレーム内の目標物のタイプが目標物検出で取得されるので、目標物属性検出で検出された属性タイプは、異なった目標物タイプに基づき異なってもよい。例えば、目標物の検出されたタイプがモータ車であるならば、そのモータ車の検出されるべき属性タイプは車両モデル、車両本体の色、ナンバープレート、などを含む。目標物の検出されたタイプが歩行者であるならば、その人物の検出されるべき属性タイプは性別、衣服の色、身体形状、などを含む。

留意されるべきは、複数のビデオデータが取得される場合に、時間アライメントが、目標検出中に複数のビデオデータに対して最初に実行され、すなわち、複数のビデオデータで同じ時点での交通状態を示すビデオフレームが取得され、次いで、目標物検出及び目標物属性検出が同じ時点での各ビデオフレームに対して実行されることである。

任意に、ステップＳ３０２では、ビデオフレームにおいて交通道路上の背景オブジェクトを検出して、その背景オブジェクトの位置情報及びタイプ情報を取得するために、背景検出が更に実行されてもよい。

Ｓ３０３：目標物位置決めを実行する。目標物位置決めは主に、ビデオフレーム内で検出された目標物に対応するピクセル座標を、物理世界における目標物の地理座標に変換することである。目標物のピクセル座標は、ビデオフレームにおいて目標物の位置にあるピクセルの座標であり、ピクセル座標は２次元座標である。目標物の地理座標は、物理世界におけるいずれかの座標系での目標物の座標である。例えば、本願では、交通道路上の目標物の位置に対応する経度、緯度、及び高度を含む３次元座標が、地理座標として使用される。目標物位置決めを実行するための具体的な方法は、続くステップで詳細に記載される。

任意に、ステップＳ３０３では、ビデオフレームにおける交通道路上の背景オブジェクトのピクセル座標を地理座標に変換するために、背景位置決めが更に実行されてもよい。

Ｓ３０４：目標物追跡を実行する。目標物追跡は、異なるビデオフレームにおいてビデオデータのセグメントに記録された目標物の位置を追跡することを指す。具体的に、ビデオデータにおいて、現在の時点でのビデオフレームに記録された目標物と、前の時点でのビデオフレームに記録された目標物とが、同じ目標物として決定される。その２つの目標物は同じ目標物ＩＤに対応し、現在の時点でのビデオフレーム内の目標物ＩＤのピクセル座標は、目標物行路テーブルに記録される。目標物行路テーブルは、カメラによって撮影されたエリア内の各目標物の現在の時点での及び過去の時点でのピクセル座標を記録している（目標物の移動行路は、現在の時点での目標物のピクセル座標と、過去の時点での目標物のピクセル座標とに基づき、フィッティングを通じて取得されてもよい）。目標物追跡が実行される場合に、ステップＳ３０２で取得されている、現在処理中のビデオフレーム内の目標物のタイプ、位置、及び属性が、前の時点でのキャッシュされた処理済みビデオフレーム内の目標物のタイプ、位置、及び属性と比較されてもよく、２つの隣接ビデオフレーム内の目標物どうしの関連付けが決定される。言い換えると、２つの隣接ビデオフレームにおいて同じ目標物として決定されている目標物は、同じ目標物ＩＤとしてマークされ、各目標物に対応する目標物ＩＤ及びビデオフレーム内の目標物ＩＤのピクセル座標が記録される。様々な目標物追跡法が存在する。本願では、目標物追跡法は、続くＳ６０１からＳ６０６で例として記載される。

Ｓ３０５：データ解析を実行する。処理済みデータ（目標物のタイプ情報、地理座標、及び属性情報などのデータを含む）の複数のグループが、前のステップで、同じ時点での複数のビデオフレームから取得される場合に、処理済みデータの複数のグループは、解析済みデータを取得するよう、このステップで解析される。具体的に、例えば、複数のデータグループの中の目標物のタイプ及び属性情報が同じであり、目標物の地理座標が類似している場合に、目標物の解析済み地理座標を取得するために、複数のデータグループの中の目標物の地理座標に対して加重平均が実行され、複数のデータグループの中の目標物のタイプ及び属性情報のグループと、目標物の解析済み地理座標とは、目標物の解析済みデータのグループを形成するよう組み合わされる。同じ時点での１つの視野角からのビデオフレームにしか存在せず、同じ時点での他のビデオフレームでは観測され得ない目標物については、そのビデオフレームに対応するデータのグループの中の地理座標、タイプ、及び属性などのデータは、地理座標、タイプ、及び属性などの解析済みデータから取得される。多方向データ解析を通じて、各目標物のデータ（例えば、目標物に対応する地理座標）はより正確になり、同じ時点で複数のカメラによって撮影されている交通道路上の全ての目標物のデータが取得され得る。目標物の解析済みデータは、その時点での交通道路上の目標物をより正確に示し、そして、車両遮断、視野角制限、光遮蔽、などによって引き起こされた単一カメラの視野角での不完全な目標物データを回避することができる。

任意に、ステップＳ３０５では、異なる生データ収集デバイスによって収集された生データから取得された処理済みデータも、解析されてもよい。例えば、データがより正確であるように、レーダデータが処理された後に取得された処理済みデータと、カメラによって収集された生データから取得された処理済みデータとが解析される。例えば、目標物の地理座標については、目標物検出、目標物位置決め、及び目標物地理座標解析がビデオデータに対して実行された後に取得された解析済み地理座標と、レーダデータに基づき計算により取得された目標物の地理座標とが、更に解析されてもよく（例えば、加重平均が実行される）、それにより、目標物の取得された最終的な地理座標は、より正確である。

Ｓ３０６：デジタル復元を実行する。各目標物に対応するモデルを取得するために、各目標物のタイプ情報及び属性情報に基づき、各目標物に対してモデリングが実行される。異なる目標物タイプは異なるモデルに対応し、目標物に対応するモデルは３次元モデルであってもよい。各目標物に対応するモデルは、（図５に示されるように）交通道路のデジタルビューを取得するために、各目標物に対応する、ステップＳ３０４で取得された解析済み地理座標に基づき、予め取得された地図にマッピングされる。交通道路のデジタルビューは、様々な視野角からカメラによって撮影されたエリアの和集合を表示し得る。地図は３次元地図である。異なるエリアは、ズームイン、ズームアウト、及び回転などの操作を実行することによって、地図上に表示され得る。地図上の各地点は、物理世界の中の地理座標に対応している。地理座標は（ｍ，ｎ，ｈ）であり、ｍは経度を表し、ｎは緯度を表し、ｈは高度を表し、ｍ、ｎ、及びｈは全て実数である。

地図は、地図プロバイダによって提供されても、あるいは、前もって構成されてもよい。地図は、交通道路上の背景オブジェクト（例えば、交通道路の周りの建物、花壇、交通道路上の交通マーキングライン、又は交通標識）を含む。

他の実施形態では、地図は、地図プロバイダによって提供されてもよく、地図は、交通道路上のいくつか又は全ての背景オブジェクトを含まない。この場合に、ステップＳ３６０は、各背景オブジェクトに対応するモデルを取得するために、上記の任意の背景検出プロセスで検出された交通道路上の背景オブジェクトのタイプに基づき、背景オブジェクトに対してモデリングを実行し、更には、各背景オブジェクトの取得された地理座標に基づき、各背景オブジェクトに対応するモデルを地図にマッピングすることを更に含む。

任意に、地図は、ドローン又は地図収集車両などのデバイスによって前もって収集されている交通道路の背景データに基づき、背景オブジェクトに対してデジタルモデリングを実行することによって取得されてもよい。このような地図はモデルマップであり、モデルマップには、小さいメモリ占有及び高速な構築速度という利点がある。

任意に、地図が前もって構成される場合に、交通道路の周囲建物及び交通道路は、リアルビュー画像を取得するよう、衛星又はレーザ点群技術によりスキャンされてもよく、リアルビューマップは、リアルビュー画像処理技術及び３次元レンダリング技術に基づき、交通道路及び交通道路の周囲環境について構築される。リアルビューマップは、物理世界の中の交通道路の背景状態を鮮明にかつ忠実に提示し得る。

任意に、ステップＳ３０２の後のいずれかの時点で、目標物の属性を解析する動作が更に実行されてもよい。具体的に、計算及び解析は、ステップＳ３０２で取得された目標物の直接属性情報（又はステップＳ２０２で取得された目標物若しくは背景オブジェクトの地理座標、ステップ３０４で取得された目標物の移動行路、ステップＳ３０５で取得された目標物の解析済みデータ、など）に対して実行されるか、あるいは、関連するデータベースが、目標物の間接属性情報を取得するために、データ内の１つ以上のデータタイプに基づきクエリされる。例えば、目標物の走行速度は、目標物の解析済み地理座標及び前の時点でのビデオフレーム内の目標物の解析済み地理座標に基づき計算され、目標物の姿勢は、目標物の移動行路に基づき解析され、目標物のタイプがモータ車又は非モータ車である場合には、関連するデータベースが、目標物に対応する車両情報を取得するよう、目標物のナンバープレート情報に基づきクエリされる。

任意に、ステップＳ３０６では、目標物に対応する３次元モデルが、目標物の取得された属性情報（目標物の直接属性情報又は目標物の間接属性情報を含む）の全て又は一部と更に関連付けられ、そして、目標物の属性情報は表示デバイスへ送られ、それにより、目標物の属性情報は、表示デバイスに表示されているデジタル地図上の各目標物の位置の近くに表示される（あるいは、表示デバイスによって送られた命令が受け取られた後に、目標物の属性情報は、表示デバイスが目標物に対応する属性情報を表示するように、表示デバイスへ送られる）。

留意されるべきは、ステップＳ３０４及びステップＳ３５０の実行順序は、交換可能であることである。言い換えると、目標物追跡が最初に実行されてもよい。具体的に言えば、取得されたビデオフレーム内の目標物は、前の時点での処理されたビデオフレーム内の目標物と比較され、２つのビデオフレーム内の同じ目標物は、同じ目標物ＩＤとしてマークされ、ある期間内の各目標物ＩＤの走行行路が取得される。次いで、同じ時点での複数のビデオフレーム内の同じ目標物に対応するデータは、解析済み目標物ＩＤ及び解析済み目標物ＩＤに対応する解析済みデータを取得するよう解析される。代替的に、同じ時点での複数のビデオフレーム内の同じ目標物に対応するデータは、解析済み目標物ＩＤ及び解析済み目標物ＩＤに対応する解析済みデータを取得するよう最初に解析されてもよい。次いで、各ビデオフレーム内の目標物は、前の時点での処理されたビデオフレーム内の目標物と比較され、２つのビデオフレーム内の同じ目標物は、同じ解析済み目標物ＩＤとしてマークされる。目標物追跡がステップＳ３０４で実行された後に、ある期間内の各時点での交通道路上の同じ目標物も、デジタルビュー内の同じ解析済み目標物ＩＤであることができ、その目標物の使用された３次元モデル及び属性情報は同じである。

留意されるべきは、ステップＳ３０１は、リアルタイムで各カメラによって撮影されたビデオストリームを取得するよう、連続的に実行されることである。ステップＳ３０２からＳ３０６は、ステップＳ３０１で取得されたビデオデータ内の各ビデオフレームに対して実行される。それによって取得されたデジタルビュー内の目標物は、物理世界における交通道路上の目標物に従ってよく、デジタルビューは、リアルタイムで交通道路の交通状態を反映し得る。

図６を参照して、以下は、ビデオフレームに対して目標物検出及び属性検出を実行するステップＳ３０２について詳細に記載する。

Ｓ４０１：処理されるべきビデオフレームを取得する。具体的に、ステップＳ３０１で１つのビデオデータが取得される場合に、その取得されたビデオデータ内のビデオフレーム（例えば、最新のビデオフレーム）が、処理されるべきビデオフレームとして使用される。ステップＳ３０１で複数のビデオデータが取得される場合には、同じ時点での複数のビデオフレームが、取得された複数のビデオデータにおいて探される必要がある。同じ時点での複数のビデオフレームを取得するための複数の方法がある。例えば、方法１では、ネットワーク時間プロトコル（ＮＴＰ）が、複数のカメラにおけるクロックシステムのためのクロック同期を実行するために使用されるか、あるいは、時間同期のための水晶発振器ハードウェアがカメラにおいて形成される。このようにして、各カメラによって撮影されたビデオデータ内の各フレームに対応するタイムスタンプの時間は、より正確である。同じ時点での複数のビデオフレームは、この方法により取得される。具体的に言えば、複数のビデオデータに含まれて同じタイムスタンプを有しているビデオフレームが、取得される。方法２では、ホモグラフィ変換が、複数のビデオデータのビデオフレームを同じ平面にマッピングするよう、複数のビデオデータの取得されたビデオフレームに対して実行され、そして、複数の重なり合うビデオフレームが、同じ平面において探される。複数の重なり合うビデオフレームは、同じ時点でのビデオフレームである。あるカメラのある時点でのビデオフレームが予め選択されてもよく、ホモグラフィ変換は、そのビデオフレームに対して実行される。ホモグラフィ変換後に取得された画像は、重なり合う画像を照合するよう、他のカメラによって撮影されたビデオフレームに対してホモグラフィ変換を実行するための基準として使用される。その重なり合う画像に対応するビデオフレーム及び予め選択されたビデオフレームは、同じ時点にある。ホモグラフィ変換は、１つの平面から他の平面へのマッピングである。各カメラのある視野角でのビデオデータ内のビデオフレームの平面と同じ平面との間のマッピング関係は、事前計算を通じて取得される必要がある。

Ｓ４０２：取得されたビデオフレームにおいて目標物を検出する。このステップでは、訓練されたニューラルネットワークが、ビデオフレーム内の目標物を検出するために主に使用される。例えば、ＹｏＬｏ、ＳＳＤ、又は回帰型畳み込みニューラルネットワーク（ＲＣＮＮ）などのニューラルネットワークモデルが使用されてもよい。留意されるべきは、ニューラルネットワークモデルは、前もって訓練される必要があり、使用された訓練セット内の訓練画像のアノテーションは、認識されるべき複数の目標物のタイプ（例えば、モータ車、非モータ車、歩行者、及び動物）を含むべきであることであり、それにより、ニューラルネットワークモデルは、訓練セット内の各目標物タイプの特徴を学習する。ビデオフレーム内の目標物の位置情報及びタイプ情報は、目標物検出を通じて取得されてもよい。位置情報は、ビデオフレーム内の目標物のピクセル座標、つまり、ビデオフレーム内の目標物に対応する回帰ボックスのピクセル座標、例えば、ビデオフレーム内の回帰ボックスの斜辺の２つの端点のピクセル座標、又はビデオフレーム内の回帰ボックスのボックス輪郭のピクセル座標である。目標物検出を通じて取得されたデータは、構造化されたデータであってもよい。例えば、各目標物は、目標物ＩＤに対応する。目標物ＩＤ並びに目標物ＩＤの位置情報及びタイプ情報は、１つの構造化されたデータを形成する。同じ時点での複数のビデオフレームがＳ４０１で取得される場合に、ステップＳ４０２は、各ビデオフレームに対して実行される。

Ｓ４０３：目標物の検出されたタイプに基づき目標物に対して属性検出を実行する。目標物属性検出は、複数のニューラルネットワークモデル又は画像処理アルゴリズムの連携、例えば、ＲｅｓＮｅｔ分類モデル及びヒストグラム色統計量アルゴリズムに基づき、主に実行される。異なる目標物タイプの検出されるべき属性は異なってもよく、使用される目標物属性検出法も異なってもよい。例えば、属性検出は、目標物タイプがモータ車である目標物に対して実行される。複数の前もって訓練されたニューラルネットワークモデルが、目標物の車両モデル、色、及びナンバープレートを検出するために使用されてもよく、あるいは、複合型ニューラルネットワークモデルが使用されてもよい。目標物属性検出法は、本願で限定されない。先行技術で属性検出のために使用され得る方法、又は将来の研究を通じて生み出される、属性検出ために使用され得る方法が、本願に適用可能である。

任意に、ステップＳ４０３で、目標物の直接属性情報が、目標物属性検出を通じて検出される。目標物の間接属性情報が更に、目標物の検出された直接属性情報と、目標物の位置及びタイプ情報とに基づいて、解析及びクエリを通じて取得されてもよい。モータ車と交通マーキングラインとの間の距離、及びモータ車と交通信号灯との間の距離は、モータ車の位置情報を背景オブジェクトの位置と比較することによって取得される。

留意されるべきは、同じ時点での複数のビデオフレームがＳ４０１で取得される場合に、ステップＳ４０２及びＳ４０３は、各ビデオフレームに対して実行されることである。

Ｓ４０４：取得された処理済みデータを配列及び出力する。ここで、ステップＳ４０２及びＳ４０３で取得されたビデオフレームの処理済みデータは、構造化されたデータの形で他の処理ユニット又は記憶ユニットへ出力されてもよい。

以下は、図７を参照して、検出された目標物をステップＳ３０３で位置決めするための方法について詳細に記載する。

複数のビデオフレーム内の目標物の位置情報の決定は、ステップＳ３０２及びステップＳ３０２の詳述ステップＳ４０１からＳ４０４で取得され得る。位置情報のデータは、ビデオフレーム内の目標物のピクセル座標である。ステップＳ３０３で、目標物のピクセル座標は、物理世界における目標物の地理座標に変換される。目標物のピクセル座標を物理世界における目標物の地理座標に変換するために、複数の方法が使用されてよい。方法の例は、以下の通りに記載される。

Ｓ５０１：交通道路上の制御点の地理座標を前もって取得する。

目標物のピクセル座標と物理世界における目標物の地理座標との間のマッピング関係を取得するために、交通道路上のいくつかの制御点が前もって選択される必要があり、制御点の地理座標が取得され記録される必要がある。交通道路上の制御点は、通常は、交通道路上の背景オブジェクトの尖鋭な点であり、それにより、ビデオフレーム内の制御点のピクセルの位置は直感的に取得され得る。例えば、交通マーキングラインの直角をなす点、矢印の尖鋭な点、及び交通道路上の緑地帯のコーナー点が、制御点として使用される。制御点の地理座標（経度、緯度、及び高度）は、手動で収集されてもよく、あるいは、ドローンによって収集されてもよい。交通道路の選択された制御点は、少なくとも３つの制御点が各カメラの視野角から観測され得ることを確かにするために、交通道路上に等しく分布している必要がある。選択されるべき制御点の数は、実際の状況に依存する。

Ｓ５０２：各カメラの視野角でのビデオフレーム内の、収集された制御点のピクセル座標を取得する。

交通道路上に固定配置された各カメラによって撮影された交通道路の映像は、読み出され、そして、観測可能な制御点の対応するピクセル座標は、各カメラによって撮影されたいずれかのビデオフレームから取得される。ピクセル座標は、手動により取得されてもよく、あるいは、プログラムにより取得されてもよい。例えば、ビデオフレーム内の、交通道路上の制御点の対応するピクセル座標は、コーナー点検出、短時間フーリエ変換エッジ抽出アルゴリズム、及びサブピクセル座標フィッティング法を通じて取得される。少なくとも３つの制御点が、各カメラによって撮影された映像において可視的であるべきである。具体的に言えば、各カメラによって撮影された如何なるビデオフレームも、少なくとも３つの制御点に対応するピクセル座標を含むべきである。各カメラの撮影角度での映像内の制御点のピクセル座標及び地理座標は、ステップＳ５０１及びステップＳ５０２で収集されてよい。

Ｓ５０３：各カメラの視野角でのビデオフレームと物理世界との間のマッピング関係を、制御点の地理座標及びピクセル座標に基づき構築する。例えば、ピクセル座標を地理座標に変換するためのホモグラフィ変換行列Ｈが、ホモグラフィ変換原理に従って計算されてもよく、ホモグラフィ変換式は（ｍ，ｎ，ｈ）＝Ｈ×（ｘ，ｙ）である。各カメラによって撮影されたビデオデータに対応する行列Ｈは、ステップＳ５０１及びステップＳ５０２で取得された各カメラの撮影角度での映像内の少なくとも３つの制御点のピクセル座標（ｘ，ｙ）及び地理座標（ｍ，ｎ，ｈ）に基づき、計算を通じて取得され得る。各カメラによって撮影されたビデオデータに対応する行列Ｈは、異なっている。

Ｓ５０４：目標物のピクセル座標に基づき目標物の地理座標を取得する。各カメラによって撮影されたビデオデータに対応する行列ＨがステップＳ５０１からＳ５０３で取得された後に、ステップＳ５０２で取得された目標物のピクセル座標は、目標物の地理座標を取得するために、行列Ｈに基づき変換されてよい。留意されるべきは、異なるビデオフレームは、目標物の複数の対応する地理座標を取得するために、各々のカメラに対応する行列Ｈに基づいて別々に変換されることである。

留意されるべきは、ステップＳ５０１からＳ５０３の実行時間は、ステップＳ５０４のそれよりも遅れてはならず、具体的な実行時間は限定されないことである。例えば、ステップＳ５０１からＳ５０３は、デジタルシステムが初期化される場合に実行されてよい。

任意に、各カメラの視野角でのビデオフレームと物理世界との間のマッピング関係を構築するための方法は更に、ビデオフレームを３次元高精細地図にマッピングし、各カメラの視野角でのビデオフレームと地図との間のマッピング関係を計算し、マッピング関係及び目標物のピクセル座標に基づき目標物の地理座標を取得することであってもよい。具体的に、３次元高精細地図は前もって取得され、カメラによって撮影されたビデオデータ内のある時点でのビデオフレームは基準として使用される。３次元高精細地図は、ビデオフレームの内容を３次元高精細地図上で提示されている部分と照合するよう、変形される（ズームイン、ズームアウト、ある角度で動かす、など）。照合中のビデオフレームと３次元高精細地図との間のマッピング関係が計算される。この方法では、各カメラの視野角でのビデオフレームと物理世界との間のマッピング関係は、自動照合アルゴリズム及び透視変換原理を通じて自動で取得される。

以下は、図８を参照して、ステップＳ３０４での目標物追跡法の例について記載する。

Ｓ６０１：目標物マッチングを実行する。現在のビデオフレームで検出された目標物は、現在のビデオフレームで検出された目標物の位置情報（つまり、ビデオフレーム内の目標物のピクセル座標）、タイプ情報、及び属性情報などの１つ以上のデータに基づき、前の時点でのビデオフレーム内の目標物と照合される。例えば、現在のビデオフレーム内の目標物の目標物ＩＤは、現在のビデオフレーム内の目標物の回帰ボックスと、前の時点でのビデオフレーム内の目標物の回帰ボックスとの間の重複率に基づき、決定される。現在のビデオフレーム内の目標物の回帰ボックスと、前の時点でのビデオフレーム内の目標物の回帰ボックスとの間の重複率が、前もってセットされた閾値よりも大きい場合に、現在の時点での目標物及び前の時点での目標物は同じであることが決定される。目標物に対応する目標物ＩＤは目標物行路テーブルで見つけられ、対応するピクセル座標が記録される。理解されるべきは、ステップＳ６０１及び続くステップは、現在のビデオフレームで検出された各目標物に対して実行されることである。

Ｓ６０２：現在のビデオフレーム内の１つ以上の目標物が、ステップＳ６０１で、前の時点でのビデオフレーム内の目標物と一致しない（言い換えると、それら１つ以上の目標物が前の時点でのビデオフレームで見つけられない、例えば、モータ車が、現在の時点でカメラによって撮影された交通交差点のエリアに入ったばかりである）場合に、１つ以上の目標物は、現在の時点で交通道路上に新たに加えられた目標物であることが決定され、新しい目標物ＩＤが、その目標物に対してセットされる。ここで、目標物ＩＤは目標物を一意に識別し、目標物ＩＤ及び現在の時点での目標物ＩＤのピクセル座標は、目標物行路テーブルに記録される。

Ｓ６０３：前の時点での１つ以上の目標物が、ステップＳ６０１で、現在の時点でのビデオフレーム内の目標物に一致しない（言い換えると、前の時点に存在している目標物が現在の時点で見つけられない、例えば、目標物が、現在の時点で他の目標物によって部分的に又は完全に遮られるか、あるいは、目標物が、現在の時点で、カメラによって撮影された交通道路のエリアから離れている）場合に、現在の時点でのビデオフレーム内の目標物のピクセル座標は、目標物行路テーブルに記録されている過去の時点での目標物のピクセル座標に基づき予測される（例えば、３点外挿法又は行路フィッティングアルゴリズムが使用される）。

Ｓ６０４：ステップＳ６０３で予測されている目標物のピクセル座標に基づき、目標物の存在状態を決定する。目標物の予測されたピクセル座標が現在のビデオフレームの外又は端にある場合に、予測された目標物は、現在の時点で、カメラの撮影角度での画像から離れていることが決定されてよい。目標物の予測されたピクセル座標が現在のビデオフレームの中にあってかつ端にない場合に、目標物は現在の時点で依然としてビデオフレーム内にあることが決定される。

Ｓ６０５：予測された目標物が、現在の時点で、カメラの撮影角度での画像から離れていることがステップＳ６０４で決定される場合には、目標物ＩＤ及び目標物ＩＤに対応するデータを目標物行路テーブルから削除する。

予測された目標物が現在の時点で依然としてビデオフレーム内にあることがステップＳ６０４で決定される場合には、目標物の予測されたピクセル座標を目標物行路テーブルに記録する。

ステップＳ６０１からＳ６０５は、各カメラによって撮影されたビデオデータに含まれている各時点でのビデオフレーム内の各目標物に対して実行される。

以下は、図９を参照して、ステップＳ３０６でのデジタルモデリング方法について具体的に記載する。

Ｓ７０１：目標物モデリングを実行する。具体的に、目標物に対応する３次元モデルが、ステップＳ３０２からＳ３０５で取得された目標物のタイプ情報（及び属性情報の一部又は全部）に基づき、前もってセットされたデータベースを探索することによって、取得される。前もってセットされたデータベースは、多くの３次元モデルを含み、データベース内の各３次元モデルは、その３次元モデルに対応するタイプ（及び属性）と関連付けられている。データベースが探索される場合に、探されるべき３次元モデルに対応するタイプ（及び属性）が、そのタイプ（及び属性）に対応する３次元モデルを取得するために入力されてよい。例えば、モデリングされるべき目標物について、ステップＳ３０５で取得された目標物の解析済み目標物ＩＤは００１であり、解析済み目標物ＩＤに対応する目標物タイプはモータ車であり、属性情報データにおける色は赤である。従って、その目標物については、タイプがモータ車でありかつ色が赤である３次元モデルが、前もってセットされたデータベースで探され、その目標物に関連した３次元モデルは、モータ車及び赤を入力又は選択することによって取得され得る。目標物に対応する取得された３次元モデルは、ステップＳ３０５でセットされている目標物の解析済み目標物ＩＤと関連付けられるようセットされ、それにより、解析済み目標物ＩＤは、１つの３次元モデルに一意に対応する。

任意に、ステップＳ７０１では、背景オブジェクトモデリングも実行されてもよい。背景オブジェクトのタイプに対応するモデルは、前もってセットされた背景データベースを、背景オブジェクトの検出されたタイプに基づき探索することによって、取得される。前もってセットされた背景データベース及び上記のデータベースは、同じデータベースであってもよく、あるいは、異なったデータベースであってもよい。

Ｓ７０２：目標物マッピングを実行する。各目標物に対応する解析済み目標物ＩＤに対応する３次元モデルは、各目標物の解析済み地理座標に基づき、地図上の地理座標にマッピングされる。具体的に、各目標物の解析済み地理座標は、１つの座標値（例えば、目標物の中心点に対応する解析済み地理座標）であってもよく、あるいは、複数の座標値（例えば、目標物の回帰ボックスに対応する解析済み地理座標）であってもよい。目標物に対応する３次元モデルが地図にマッピングされる場合に、地図上の対応する３次元モデルの位置は、目標物の解析済み地理座標に基づき決定され、次いで、３次元モデルは、地図上の対応する位置にマッピングされる。例えば、目標物の解析済み地理座標が目標物の回帰ボックスの位置であるならば、目標物の回帰ボックスの位置が地図上で決定された後に、対応する３次元モデルは、決定された回帰ボックス内にマッピングされる。

任意に、ステップＳ７０２では、目標物の姿勢が更に、目標物マッピング中に考慮されてもよい。目標物の姿勢は、目標物の移動方向を示す。３次元モデルは、目標物の姿勢に基づきマッピングされ、目標物の姿勢は、目標物の向き、例えば、モータ車の先頭又は歩行者の顔の向きに対応する方向である。目標物の姿勢を推定するための多くの方法がある。これは本願で限定されない。例えば、データ解析が、物理世界における目標物の解析済み移動行路を取得するために、同じ時点での複数のビデオフレーム内の目標物の、ステップＳ３０４で取得された移動行路に対して実行されてもよく、解析済み移動行路の接線方向が、目標物の姿勢として使用される。代替的に、マルチアングル画像検出技術が、目標物の姿勢を決定するために使用されてもよい。目標物マッピングが実行される場合に、目標物に対応する３次元モデルは、目標物の取得された姿勢に基づきマッピングされる。例えば、曲がり途中であるモータ車については、そのモータ車に対応する３次元モデルの本体が、モータ車の取得された行路の接線方向に基づきマッピングされ、それにより、マッピングされた３次元モデルは、モータ車の運転方向を表示することができる。

任意に、ステップＳ７０２では、背景オブジェクトマッピングが更に実行されてもよい。事前に取得された地図が背景オブジェクトの部分又は全内容を含まない場合に、背景オブジェクトに対応するモデルが、背景オブジェクトの検出された地理座標に基づき、地図上の対応する位置にマッピングされ得る。

Ｓ７０３：デジタルビューを出力する。目標物モデリング及び目標物マッピングの後に、交通道路上のある時点での目標物及び事前に取得された地図は、交通道路のデジタルビュー（図９に図示）を形成するよう結合される。取得されたデジタルビューデータは、表示デバイスへ送られ、表示デバイスは、交通道路のデジタルビューを表示する。

任意に、ステップＳ７０２又はＳ７０３で、目標物に対応する３次元モデルは、目標物の取得された属性情報（目標物の直接属性情報又は目標物の間接属性情報を含む）の全て又は一部と更に関連付けられ、目標物の属性情報は表示デバイスへ送られ、それにより、目標物の属性情報は、デジタル地図上で各目標物の位置の近くに表示される（あるいは、表示デバイスによって送られた命令が受け取られた後に、目標物の属性情報は、表示デバイスが目標物に対応する属性情報を表示するように、表示デバイスへ送られる）。

留意されるべきは、ステップＳ３０１は、交通道路上に配置されている各カメラによって撮影されたビデオデータに対してリアルタイムで連続的に実行されるので、ステップＳ３０２からＳ３０６は、ステップＳ３０１において異なる時点で取得されたビデオフレームに対して循環的に実行されることであり、それにより、表示デバイスによって表示されている交通道路のデジタルビュー内の目標物の位置及び姿勢は、物理世界における交通道路上の目標物の変化とともに変化する。このようにして、デジタルビューは、リアルタイムで交通道路の現在の交通状態（例えば、各目標物の走行状態及び各交差方向における各交通交差点での交通混雑）を反映することができる。

交通道路のデジタルビューの応用
交通道路用のデジタル復元方法により取得されたデジタルビューは、リアルタイムで交通道路全体の交通状態を連続的に表示することができる。デジタルビューは、表示デバイスによって表示されてよい。ユーザは、表示デバイスの表示インターフェースに対して操作を行うことによって、デジタルビューの表示角度を変更してもよい。具体的に言えば、ユーザは、異なる視野角から交通道路の交通状態を観測し得る。それらの視野角は、交通道路上に配置されているカメラの撮影角度とは異なってもよい。例えば、東西南北の視野角での交差点のビデオデータに基づき構築されたデジタルビューは、見下ろした角度、車両のリア角度、及び斜角などの視野角で交通状態を提供してもよい。

図１０は、交通道路の南西方向にあって表示デバイスで表示されている上方監視デジタルビューのグラフィカルユーザインターフェース及び側方監視デジタルビューのグラフィカルユーザインターフェースシステムを示す。図１０に示されるように、ユーザは、グラフィカルユーザインターフェースの管理ウィンドウ内の視野角調整ボタン（例えば、視野角調整ボタンは、上面図、東検問所、西検問所、南検問所、及び北検問所を含む）をクリックする。デジタル復元システムは、視野角調整ボタンに対応する視野角でデジタルビューを表示デバイスのために提供するよう、視野角調整情報を受け取る。表示デバイスは、視野角調整ボタンに対応する視野角でデジタルビューを表示する。代替的に、表示デバイスは、表示スクリーン上でユーザのタッチ操作を受け取り、そのタッチ操作に基づきいずれかの視野角のデジタルビューを表示してもよい。図１０に示されるように、表示デバイスでのデジタルビューのグラフィカルユーザインターフェースは、行路表示ボタンを更に含んでもよい。ユーザは、交通道路上の一部又は全ての目標物のリアルタイムの走行行路を見るために、行路表示ボタンをクリックしてもよい。図１１で、グラフィカルユーザインターフェースの右側にある４つの小さいグラフは、交通交差点の４つの方向における車両のリアルタイムの走行状態を更に表示している。車両の走行状態は、異なる色の線で表される。各小さいグラフの水平座標は時間であり、垂直座標は車両の運転距離である。各車両の運転速度は、各車両に対応する線の傾向をリアルタイムで観察することによって、観測され得る。

図１０に示されるように、表示デバイスに表示されている交通道路のデジタルビューは、目標物の３次元モデルに関連した目標物属性情報、例えば、モータ車のナンバープレート、モータ車の所有者情報、及び車両の現在の運転速度を更に表示してもよい。目標物属性情報が表示されるかどうかは、グラフィカルユーザインターフェースでのユーザの操作（例えば、属性情報がデジタルビューで見られるべきである目標物に対応する３次元モデルをクリックすること）によって制御されてもよく、あるいは、デジタル復元システムによって自動で表示されてもよい。

理解されるべきは、図１０及び図１１は、異なる視野角からの１つの交通交差点を含む交通道路のデジタルビューの例を示すにすぎないことである。本願に従って取得されたデジタルビューは、複数の交通交差点及び交通経路を含んでもよい（例えば、デジタルビューは、都市に配置された全てのカメラによって撮影されたエリアの交通状態を提示してもよい）。本願で提供される、交通道路用のデジタル復元方法を通じて取得されたデジタルビューは、メモリ占有が少なくてすみ、高いリアルタイム性能を有しており、様々な適用シナリオで容易に使用され得る。

表示デバイスは、交通道路を走る車両の車載表示デバイスであってもよい。車両所有者は、デジタルビューを通じて、車両が走行している交通道路の交通状態（混雑、道路状態、レーンマーキングライン、などを含む）を全体的に観測することができ、かつ、車両所有者は、デジタルビューを通じて、車両所有者の視野角からは観測され得ない状況を観測することができる。例えば、車体が大きいダンプトラックを運転している場合に、ドライバは、車体の周りのエリアを見ることができない。これは危険になりがちである。デジタルビューを通じて、ドライバは、ドライバが観測することができない目に見えないエリアを観測して、事故を回避するようタイムリーに目に見えないエリア内の危険な状態に対処することができる。

表示デバイスは、代替的に、管理部門のデスクトップコンピュータ、タブレットコンピュータ、手持ち式インテリジェント表示デバイス、などであってもよい。管理部門職員は、デジタルビューを観察することによって、タイムリーに交通状態を管理及び制御し得る。管理者は、デジタルビューに表示されている目標物属性情報に基づき、交通道路上の目標物を管理することができる。例えば、デジタルビューに表示されている目標物の速度が道路の最大速度制限を超えている場合には、管理者は、車両のナンバープレート情報に基づき車両の所有者に対して減点してペナルティを科すことができる。

交通道路のデジタル復元システム及びデジタルビューのグラフィカルユーザインターフェースは、他の機能をもたらすよう他のモジュール又はシステムと組み合わされてもよい。例えば、デジタル復元システム及びデジタルビューのグラフィカルユーザインターフェースは、交通信号灯管理システムと組み合わされる。デジタル復元システムが、交通交差点のある方向で、滞在時間が閾値を超えているモータ車を検出する場合に、デジタル復元システムは要求メッセージを交通信号灯管理システムへ送る。交通信号灯管理システムは、要求メッセージを受け取り、要求メッセージで示されている交通道路上の信号灯を調整し（例えば、混雑方向における信号灯の色を比較的に長い期間青にセットする）、そして、交通信号灯管理システムは、信号灯変更メッセージをデジタル復元システムへ送る。デジタル復元システムは、信号灯変更情報及びビデオデータ内の交通信号灯の変化に基づきその時点での交通道路のデジタルビューを構築し、それにより、グラフィカルユーザインターフェースで表示されているデジタルビュー内の交通信号灯も変化する。

図２を参照されたい。本願はデジタル復元システム１００を提供する。システムは、上記の方法の実施形態でのステップＳ３０１からＳ３０６（並びにステップＳ３０２の具体的な実施ステップＳ４０１からＳ４０４、ステップＳ３０４の具体的な実施ステップＳ６０１からＳ６０６、及びステップＳ３０６の具体的な実施ステップＳ７０１からＳ７０３）を実行するよう構成される。更に、システムは、上記のステップで任意の方法を任意に実行する。システムは、データ処理サブシステム１２０、データ解析サブシステム１４０、及びデジタルモデリングサブシステム１６０を含む。

図１２に示されるように、本願は装置８００を提供する。装置は、交通道路用のデジタル復元方法を実行するよう構成される。装置における機能モジュールの分割は、本願で限定されない。以下は、機能モジュールの分割の例を与える。

装置８００は、データ処理モジュール８０１、データ解析モジュール８０２、及びデジタルモデリングモジュール８０３を含む。

データ処理モジュールは、ビデオデータを取得するよう構成される。ビデオデータは、交通道路上に配置されているカメラによって撮影され、ビデオデータは、交通道路上の複数の目標物を記録している。データ解析モジュールは、ビデオデータに基づき交通道路上の各目標物の走行行路を決定するよう構成される。デジタルモデリングモジュールは、交通道路のデジタルビューを構築するよう構成される。デジタルビューは複数のモデルを含む。各モデルは交通道路上の各目標物を表す。デジタルビュー内の各モデルは、交通道路上にあってモデルに対応する目標物の走行行路に基づき実行される。

具体的に、いくつかの実施形態で、データ処理モジュール８０１は、ステップＳ３０１及びＳ３０２（並びにステップＳ３０２の具体的な実施ステップＳ４０１からＳ４０４）を実行し、任意に、ステップにおいて任意の方法を実行するよう構成される。

データ解析モジュール８０２は、ステップＳ３０３からＳ３０５（及びステップＳ３０４の具体的な実施ステップＳ６０１からＳ６０６）を実行し、任意に、ステップにおいて任意の方法を実行するよう構成される。

デジタルモデリングモジュール８０３は、ステップＳ３０６（及びステップＳ３０６の具体的な実施ステップＳ７０１からＳ７０３）を実行し、任意に、ステップにおいて任意の方法を実行するよう構成される。

３つのモジュールは、通信チャネルを通じて互いにデータをやりとりしてもよい。理解されるべきは、装置８００に含まれているモジュールは、ソフトウェアモジュールであってもよく、あるいは、ハードウェアモジュールであってもよく、あるいは、モジュールのいくつかはソフトウェアモジュールであり、モジュールのいくつかはハードウェアモジュールであることである。

図１３に示されるように、本願は、コンピューティングデバイス９００を更に提供する。コンピューティングデバイス９００は、バス９０１、プロセッサ９０２、通信インターフェース９０３、及びメモリ９０４を含む。プロセッサ９０２、メモリ９０４、及び通信インターフェース９０３は、バス９０１を通じて互いと通信する。

プロセッサは中央演算処理装置（ＣＰＵ）であってよい。メモリは揮発性メモリ、例えば、ランダムアクセスメモリ（ＲＡＭ）を含んでもよい。メモリは不揮発性メモリ、例えば、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ＨＤＤ、又はＳＳＤを更に含んでもよい。メモリは実行可能コードを記憶しており、プロセッサは実行可能コードを実行して、交通道路用のデジタル復元方法を実行する。メモリは、プロセスを実行するために必要とされる、オペレーティングシステムなどの他のソフトウェアモジュールを更に含んでもよい。オペレーティングシステムはＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）などであってよい。

コンピューティングデバイス９００のメモリは、装置８００の各モジュールに対応するコードを記憶しており、プロセッサ９０２は、コードを実行して、装置８００の各モジュールの機能を実装する、すなわち、Ｓ３０１からＳ３０６における方法を実行する。コンピューティングデバイス９００は、クラウド環境内のコンピューティングデバイス又はエッジ環境内のコンピューティングデバイスであってよい。

図４に示されるように、デジタルパノラマ復元システムの様々な部分は、異なる環境にある複数のコンピューティングデバイスで実行されてもよい。従って、本願は、複数のコンピューティングデバイスを含むコンピューティングデバイスシステムを更に提供する。図１４に示されるように、コンピューティングデバイスシステムは、複数のコンピューティングデバイス１０００を含む。各コンピューティングデバイス１０００は、バス１００１、プロセッサ１００２、通信インターフェース１００３、及びメモリ１００４を含む。プロセッサ１００２、メモリ１００４、及び通信インターフェース１００３は、バス１００１を通じて互いと通信する。通信チャネルは、通信ネットワークを通じてコンピューティングデバイス１０００間で確立される。プロセッサ１００２はＣＰＵであってよい。メモリ１００４は、不揮発性メモリ、例えば、ＲＡＭを含んでもよい。メモリ１００４は、ＲＯＭ、フラッシュメモリ、ＨＤＤ、又はＳＳＤなどの不揮発性メモリを更に含んでもよい。メモリ１００４は、実行可能コードを記憶しており、プロセッサ１００２は、実行可能コードを実行して、交通道路用のデジタル復元方法の一部を実行する。メモリ１００４は、プロセスを実行するために必要とされる、オペレーティングシステムなどの他のソフトウェアモジュールを更に含んでもよい。オペレーティングシステムはＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）などであってよい。

如何なるコンピューティングデバイス１０００も、クラウド環境内のコンピューティングデバイス、エッジ環境内のコンピューティングデバイス、又は端末環境内のコンピューティングデバイスであってよい。例えば、コンピューティングデバイス１０００は、図４のエッジコンピューティングデバイス２２０又は中央サーバ２４０であってもよい。

いくつかの実施形態で、図１０及び図１１を表示するよう構成された表示デバイスと、コンピューティングデバイス９００、又は複数のコンピューティングデバイスを含むコンピューティングデバイスシステムとは、システムを構成してもよい。システムは、デジタルビューを計算、構築、及び表示する統合された機能を実装してもよく、複数の適用環境で使用されてもよい。

添付の図面の夫々に対応するプロシージャの記載は、焦点を有している。プロシージャで詳細に記載されていない部分については、他のプロシージャの関連する記載を参照されたい。

上記の実施形態の全て又はいくつかは、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせにより実装されてよい。ソフトウェアが実施形態を実装するために使用される場合に、実施形態の全て又はいくつかは、コンピュータプログラム製品の形で実装されてもよい。コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータでロードされ実行される場合に、本発明の実施形態に従うプロシージャ又は機能は、全て又は部分的に生み出される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、あるいは、コンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体へ伝送されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンターから他のウェブサイト、コンピュータ、サーバ、又はデータセンターへ有線（例えば、同軸ケーブル、光ファイバ、若しくはデジタル加入者回線）又は無線（例えば、赤外線、電波、若しくはマイクロ波）方式で伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、又は１つ以上の使用可能な媒体を組み込む、サーバ若しくはデータセンターなどのデータ記憶デバイスであってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、若しくは磁気テープ）、光学媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、ＳＳＤ）であってもよい。

Claims (39)

1. 交通道路用のデジタル復元方法であって、
   前記交通道路に配置されているカメラによって撮影され、前記交通道路上の複数の目標物を記録しているビデオデータを取得することと、
   前記ビデオデータに基づき前記交通道路上の各目標物の走行行路を決定することと、
   前記交通道路のデジタルビューを構築することと
   を有し、
   前記デジタルビューは複数のモデルを含み、各モデルは前記交通道路上の各目標物を表し、前記デジタルビュー内の各モデルは、当該モデルに対応する前記交通道路上の目標物の走行行路に基づき、実行される、
   方法。
2. 当該方法は、前記ビデオデータに基づき各目標物のタイプ情報を決定することを更に有し、
   相応して、前記デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する、
   請求項１に記載の方法。
3. 前記交通道路上には複数のカメラが配置されており、前記複数のカメラのうちの異なるカメラによって集められたビデオデータの視野角は異なっている、
   請求項１又は２に記載の方法。
4. 当該方法は、前記デジタルビューを表示すること、又は前記デジタルビューを表示装置へ送ることを更に有し、
   表示された前記デジタルビューの視野角は、前記ビデオデータの視野角と同じであるか又は異なっている、
   請求項１又は３に記載の方法。
5. 当該方法は、各目標物の属性情報を取得することを更に有し、
   前記デジタルビューは、各目標物の前記属性情報を更に有する、
   請求項１乃至４のうちいずれか一項に記載の方法。
6. 前記交通道路上の前記目標物は、車両であってよく、
   前記目標物の属性情報は、次の、前記車両の色、前記車両のナンバープレート番号、前記車両のモデル、前記車両の走行速度、車両所有者身元情報、並びに車両登録及びメンテナンス情報、のうちの１つ以上の情報を有する、
   請求項５に記載の方法。
7. 前記ビデオデータは、第１時点でのビデオデータを有し、
   前記ビデオデータに基づき前記交通道路上の各目標物の走行行路を決定することは、
   前記第１時点での前記ビデオデータに基づき、前記第１時点での前記交通道路上の各目標物の地理座標を決定することと、
   前記第１時点での前記交通道路上の各目標物の前記地理座標と、前記第１時点より前の前記交通道路上の各目標物の地理座標とに基づき、前記交通道路上の各目標物の前記走行行路を決定することと
   を有する、
   請求項１乃至６のうちいずれか一項に記載の方法。
8. 当該方法は、前記交通道路上の各目標物の前記走行行路に基づき各目標物の姿勢を決定することを更に有し、
   前記デジタルビュー内の各モデルは、当該モデルに対応する前記交通道路上の前記目標物の姿勢及び前記走行行路に基づき実行される、
   請求項１乃至７のうちいずれか一項に記載の方法。
9. 当該方法は、前記ビデオデータに基づき前記交通道路上の背景オブジェクトを認識することを更に有し、
   前記デジタルビューは、前記交通道路上の前記背景オブジェクトを表すモデルを更に有する、
   請求項１乃至８のうちいずれか一項に記載の方法。
10. 当該方法は、前記交通道路の地図を取得することを更に有し、
    前記交通道路のデジタルビューを構築することは、
    各目標物に対応するモデルを取得し、各目標物に対応する前記モデルを、前記交通道路上の各目標物の前記走行行路に基づき、前記交通道路の前記地図にマッピングして、前記交通道路の前記デジタルビューを取得することを有する、
    請求項１乃至９のうちいずれか一項に記載の方法。
11. 交通道路のデジタルビューを供給する方法であって、
    第１視野角から前記交通道路の前記デジタルビューをユーザに提示することであり、前記デジタルビューは複数のモデルを含み、各モデルは前記交通道路上の各目標物を表し、各モデルは、当該モデルに対応する前記交通道路上の目標物の走行行路に基づき実行され、前記交通道路上の各目標物の走行行路は、前記交通道路上のカメラによって撮影されたビデオデータに基づき計算により取得される、前記提示することと、
    前記ユーザによって送られた視野角調整情報を受け取ることであり、前記視野角調整情報は、第２視野角から前記デジタルビューを見ることを要求するために使用される、前記受け取ることと、
    前記視野角調整情報に基づき、前記第２視野角から前記デジタルビューを前記ユーザに提示することと
    を有する方法。
12. 前記デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する、
    請求項１１に記載の方法。
13. 当該方法は、目標物の属性情報を前記ユーザに提示することを更に有し、
    前記目標物の前記属性情報は、前記デジタルビュー内の、当該目標物に対応するモデルに関連する、
    請求項１１又は１２に記載の方法。
14. 目標物の属性情報を前記ユーザに提示することは、
    前記ユーザの命令情報を受け取ることと、
    前記ユーザの前記命令情報に基づき、前記第１視野角から、前記交通道路の前記デジタルビューで前記目標物の前記属性情報を表示することと
    を特に有する、
    請求項１３に記載の方法。
15. 当該方法は、前記デジタルビューで前記複数のモデルの走行行路を前記ユーザに提示することを更に有する、
    請求項１１乃至１４のうちいずれか一項に記載の方法。
16. 前記デジタルビューは、前記交通道路上の背景を更に有し、前記背景は、前記交通道路上のマーキングライン及び前記交通道路の周りのオブジェクトを有する、
    請求項１１乃至１５のうちいずれか一項に記載の方法。
17. 前記交通道路は、複数の交差点を有し、前記交通道路の前記デジタルビューは、各交差点と、各交差点を走る目標物に対応するモデルとを一貫して提示する、
    請求項１１乃至１６のうちいずれか一項に記載の方法。
18. 前記交通道路のデジタルビューを表示するよう構成されるデジタルビューウィンドウであり、前記デジタルビューは複数のモデルを含み、各モデルは前記交通道路上の各目標物を表し、前記デジタルビュー内の各モデルは、当該モデルに対応する前記交通道路上の目標物の走行行路に基づき実行される、前記デジタルビューウィンドウと、
    ユーザによって選択可能なボタンを含む管理ウィンドウであり、前記ユーザによって選択可能な前記ボタンは視野角調整ボタンを有し、前記視野角調整ボタンが前記ユーザによって選択された後に、前記デジタルビューウィンドウが、前記視野角調整ボタンに対応する視野角からの前記交通道路のデジタルビューを表示する、前記管理ウィンドウと
    を有するグラフィカルユーザインターフェースシステム。
19. 前記デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する、
    請求項１８に記載のグラフィカルユーザインターフェースシステム。
20. 前記デジタルビューは、目標物の属性情報を更に有し、前記目標物の前記属性情報は、当該目標物に対応するモデルに関連する、
    請求項１８又は１９に記載のグラフィカルユーザインターフェースシステム。
21. 前記デジタルビューは、各モデルの走行行路を更に有し、各モデルの前記走行行路は、前記交通道路上の各目標物の走行行路に基づき取得される、
    請求項１８乃至２０のうちいずれか一項に記載のグラフィカルユーザインターフェースシステム。
22. 前記ユーザによって選択可能な前記ボタンは、行路表示ボタンを更に有し、前記行路表示ボタンが前記ユーザによって選択された後に、前記デジタルビューウィンドウは、各モデルの前記走行行路を表示する、
    請求項１８乃至２１に記載のグラフィカルユーザインターフェースシステム。
23. 各モデルの前記走行行路は、将来の時点での各モデルの走行経路を有する、
    請求項２１又は２２に記載のグラフィカルユーザインターフェースシステム。
24. 前記デジタルビューは、前記交通道路上の背景を更に有し、前記背景は、前記交通道路上のマーキングライン及び前記交通道路の周りのオブジェクトを有する、
    請求項１８乃至２３のうちいずれか一項に記載のグラフィカルユーザインターフェースシステム。
25. 前記交通道路は、複数の交差点を有し、前記交通道路の前記デジタルビューは、各交差点と、各交差点を走る目標物に対応するモデルとを一貫して提示する、
    請求項１８乃至２４のうちいずれか一項に記載のグラフィカルユーザインターフェースシステム。
26. 交通道路に配置されているカメラによって撮影され、前記交通道路上の複数の目標物を記録しているビデオデータを取得するよう構成されるデータ処理モジュールと、
    前記ビデオデータに基づき前記交通道路上の各目標物の走行行路を決定するよう構成されるデータ解析モジュールと、
    前記交通道路のデジタルビューを構築するよう構成されるデジタルモデリングモジュールと
    を有し、
    前記デジタルビューは複数のモデルを含み、各モデルは前記交通道路上の各目標物を表し、前記デジタルビュー内の各モデルは、当該モデルに対応する前記交通道路上の目標物の走行行路に基づき、実行される、
    装置。
27. 前記データ処理モジュールは、前記ビデオデータに基づき各目標物のタイプ情報を決定するよう更に構成され、
    相応して、前記デジタルビュー内の異なるモデルは、異なるタイプの目標物に対応する、
    請求項２６に記載の装置。
28. 前記交通道路上には複数のカメラが配置されており、前記複数のカメラのうちの異なるカメラによって集められたビデオデータの視野角は異なっている、
    請求項２６又は２７に記載の装置。
29. 前記デジタルモデリングモジュールは、前記デジタルビューを表示するか、あるいは、前記デジタルビューを表示装置へ送るよう更に構成され、
    表示された前記デジタルビューの視野角は、前記ビデオデータの視野角と同じであるか又は異なっている、
    請求項２６乃至２８のうちいずれか一項に記載の装置。
30. 前記データ処理モジュールは、各目標物の属性情報を取得するよう更に構成され、
    前記デジタルビューは、各目標物の前記属性情報を更に有する、
    請求項２６乃至２９のうちいずれか一項に記載の装置。
31. 前記交通道路上の前記目標物は、車両であってよく、
    前記目標物の属性情報は、次の、前記車両の色、前記車両のナンバープレート番号、前記車両のモデル、前記車両の走行速度、車両所有者身元情報、並びに車両登録及びメンテナンス情報、のうちの１つ以上の情報を有する、
    請求項３０に記載の装置。
32. 前記ビデオデータは、第１時点でのビデオデータを有し、
    前記データ解析モジュールは、前記第１時点での前記ビデオデータに基づき、前記第１時点での前記交通道路上の各目標物の地理座標を決定し、前記第１時点での前記交通道路上の各目標物の前記地理座標と、前記第１時点より前の前記交通道路上の各目標物の地理座標とに基づき、前記交通道路上の各目標物の前記走行行路を決定するよう特に構成される、
    請求項２６乃至３１のうちいずれか一項に記載の装置。
33. 前記データ処理モジュールは、前記交通道路上の各目標物の前記走行行路に基づき各目標物の姿勢を決定するよう更に構成され、
    前記デジタルビュー内の各モデルは、当該モデルに対応する前記交通道路上の前記目標物の姿勢及び前記走行行路に基づき実行される、
    請求項２６乃至３２のうちいずれか一項に記載の装置。
34. 前記データ処理モジュールは、前記ビデオデータに基づき前記交通道路上の背景オブジェクトを認識するよう更に構成され、
    前記デジタルビューは、前記交通道路上の前記背景オブジェクトを表すモデルを更に有する、
    請求項２６乃至３３のうちいずれか一項に記載の装置。
35. 前記デジタルモデリングモジュールは、前記交通道路の地図を取得し、各目標物に対応するモデルを取得し、各目標物に対応する前記モデルを、前記交通道路上の各目標物の前記走行行路に基づき、前記交通道路の前記地図にマッピングして、前記交通道路の前記デジタルビューを取得するよう特に構成される、
    請求項２６乃至３４のうちいずれか一項に記載の装置。
36. 受信モジュール及び表示モジュールを有し、
    前記表示モジュールは、第１視野角から前記交通道路のデジタルビューをユーザに提示するよう構成され、前記デジタルビューは複数のモデルを含み、各モデルは前記交通道路上の各目標物を表し、各モデルは、当該モデルに対応する前記交通道路上の目標物の走行行路に基づき実行され、前記交通道路上の各目標物の走行行路は、前記交通道路上のカメラによって撮影されたビデオデータに基づき計算により取得され、
    前記受信モジュールは、前記ユーザによって送られた視野角調整情報を受け取るよう構成され、前記視野角調整情報は、第２視野角から前記デジタルビューを見ることを要求するために使用され、
    前記表示モジュールは、前記視野角調整情報に基づき、前記第２視野角から前記デジタルビューを前記ユーザに提示するよう更に構成される、
    表示デバイス。
37. プロセッサ及びメモリを有するコンピューティングデバイスであって、
    前記メモリはコンピュータ命令を記憶し、
    前記プロセッサは、当該コンピューティングデバイスが請求項１乃至１０のうちいずれか一項に記載の方法を実行することを可能にするよう前記コンピュータ命令を実行する、
    コンピューティングデバイス。
38. コンピュータプログラムコードを記憶し、該コンピュータプログラムコードがコンピューティングデバイスによって実行される場合に、該コンピューティングデバイスが請求項１乃至１７のうちいずれか一項に記載の方法を実行する、
    コンピュータ可読記憶媒体。
39. 請求項３６に記載の表示デバイスと、
    請求項３７に記載のコンピューティングデバイスと
    を有するシステム。

Images