JP2022079529A - 画像データの修正方法、修正装置、電子機器、記憶媒体、コンピュータプログラムおよび自動運転車両 - Google Patents

Abstract

【課題】データを連続的にフィードバックする際、個別のフィードバックデータの異常による検出フリッカの発生を回避するために、フィードバックデータを検出および修正することができ、フィードバックデータの品質を向上させることができる画像データの修正方法を提供する。【解決手段】上記方法は、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得するステップであって、当該履歴フィードバックデータと当該現在フィードバックデータとの採集時刻の差が第１の所定時間未満であるステップと、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出し、当該画像データに基づいて当該現在フィードバックデータを修正するステップとを含む。【選択図】図２

Description

本出願は、データ処理技術分野に関し、具体的には、自動運転、シーン監視および高度道路交通（ｉｎｔｅｌｌｉｇｅｎｔ ｔｒａｎｓｐｏｒｔａｔｉｏｎ）などの人工知能技術分野に関し、特に、画像データの修正方法、画像データの修正装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。

無人車両事業の発展に伴い、運転データ、道路データのフィードバックが自動運転の重要な構成部分になっている。運転者、監視員が無人車両の運転状態および道路情報の把握を便利にするために、通常、フィードバックされた運転データ、道路データに基づいて対応するフィードバック画面をレンダリング生成し、例えば、ヒューマンマシンインターフェース（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ，ＨＭＩ）レンダリングシステムにより取得したフィードバックデータに基づいて、対応するフィードバックビデオを生成し、それによってマンマシンインタラクションの方式で運転者、監視員が車両の運転状況を把握できるようにする。

そのため、人々に安定した快適な視覚体験を感じさせるディスプレイシステムを無人車両に提供することが特に重要である。

本出願の実施例は、画像データの修正方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムを提供する。

第１の態様では、本出願の実施例は、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得し、当該履歴フィードバックデータと当該現在フィードバックデータとの採集時刻の差が第１の所定時間未満であるステップと、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出するステップと、当該画像データに基づいて当該現在フィードバックデータを修正するステップと、を含む画像データの修正方法を提供する。

第２の態様では、本出願の実施例は、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得するように構成され、当該履歴フィードバックデータと当該現在フィードバックデータとの採集時刻の差が第１の所定時間未満である補助フィードバックデータ取得ユニットと、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出するように構成される対象オブジェクト抽出ユニットと、当該画像データに基づいて当該現在フィードバックデータを修正するように構成される画像データ修正ユニットと、を備える画像データの修正装置を提供する。

第３の態様では、本出願の実施例は、少なくとも一つのプロセッサと、少なくとも一つのプロセッサに通信可能に接続されるメモリとを備える電子機器であって、メモリには、少なくとも一つのプロセッサによって実行可能な指令が格納され、当該指令が少なくとも一つのプロセッサによって実行されると、少なくとも一つのプロセッサに第１の態様のいずれかの実施形態に記載の画像データの修正方法を実施させる電子機器を提供する。

第４の態様では、本出願の実施例は、コンピュータにより実行されると、第１の態様のいずれかの実施形態に記載の画像データの修正方法を実行するためのコンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体を提供する。

第５の態様では、本出願の実施例は、プロセッサにより実行されると、第１の態様のいずれかの実施形態に記載の画像データの修正方法を実施するコンピュータプログラムを提供する。

第６の態様では、本出願の実施例は、第３の態様に記載の電子機器を備える自動運転車両を提供する。

本出願の実施例により提供される画像データの修正方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムは、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得し、当該履歴フィードバックデータと当該現在フィードバックデータとの採集時刻の差が第１の所定時間未満であり、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出し、当該画像データに基づいて当該現在フィードバックデータを修正する。

本出願は、フィードバックデータを連続的に取得した後、採集時刻が当該フィードバックデータより所定範囲内にある履歴フィードバックデータにおける対象オブジェクトが現在フィードバックデータに存在していないときに、当該現在フィードバックデータに異常が存在する可能性があると判定し、当該現在フィードバックデータの後の補助フィードバックデータを用いて補助検出を行い、当該現在フィードバックデータの内容に異常が存在すると判定したとき、当該対象オブジェクトの画像データを追加することにより、現在フィードバックデータの修正を実現し、個別のフィードバックデータの異常による検出フリッカの発生を回避し、フィードバックデータの品質を向上させる。

本明細書により説明される内容は、本出願の実施例のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもないことを理解すべきである。本出願のその他の特徴は以下の説明により理解が容易になる。

以下、添付図面を参照しながら、非限定的な実施例に対する詳細な説明を閲読することにより、本出願のその他の特徴、目的および利点がより明確になる。
本出願が適用可能な例示的なシステムアーキテクチャを示す図である。 本出願の実施例によって提供される画像データの修正方法のフローチャートである。 本出願の実施例によって提供される別の画像データの修正方法のフローチャートである。 本出願の実施例によって提供される一応用シーンにおける画像データの修正方法においてフィードバックデータに対応するフィードバック画像の効果概略図である。 本出願の実施例によって提供される一応用シーンにおける画像データの修正方法においてフィードバックデータに対応するフィードバック画像の効果概略図である。 本出願の実施例によって提供される一応用シーンにおける画像データの修正方法においてフィードバックデータに対応するフィードバック画像の効果概略図である。 本出願の実施例によって提供される一応用シーンにおける画像データの修正方法においてフィードバックデータに対応するフィードバック画像の効果概略図である。 本出願の実施例によって提供される画像データの修正装置の構造ブロック図である。 本出願の実施例によって提供される画像データの修正方法を実行するのに適した電子機器の構造概略図である。

以下、図面を参照しながら本出願の例示的な実施例を説明し、理解を助けるために本出願の実施例の様々な詳細が含まれており、それらは単なる例示的なものであることを理解すべきである。従って、当業者は、本出願の範囲および精神から逸脱することなく、説明された実施例に対して様々な変更および修正を行うことができることを理解すべきである。同様に、明確および簡潔にするために、以下の説明では周知の機能および構成の説明は省略する。また、本出願における実施例および実施例における特徴は、矛盾が生じない限り、互いに組み合わせ可能であることを理解すべきである。

また、本出願に係る技術的手段において、関連するユーザの個人情報の取得（例えば、本出願の後の説明に言及される顔オブジェクトなどを含むフィードバックデータ）、記憶および適用などは、いずれも関連する法律法規の規定に適合し、公序良俗に反することはない。

図１は、本出願の画像データの修正方法、装置、電子機器およびコンピュータ可読記憶媒体の実施例を適用することができる例示的なシステムアーキテクチャ１００を示している。

図１に示されるように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４、およびサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクを提供するための媒体として使用される。ネットワーク１０４は、例えば、有線、無線通信リンク又は光ファイバーケーブルなど様々な接続タイプを含んでもよい。

ユーザは、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５とやり取りして、メッセージの送受信などができる。端末装置１０１、１０２、１０３およびサーバ１０５には、例えば、自動運転アプリケーション、フィードバックデータ監視アプリケーション、インスタントメッセージングアプリケーションなど、端末装置とサーバとの間の情報通信を実現するための様々なアプリケーションがインストールされても良い。

端末装置１０１、１０２、１０３およびサーバ１０５は、ハードウェアであってもよく、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである場合、スマートフォン、タブレットコンピュータ、ラップトップコンピュータおよびデスクトップコンピュータなど、表示画面を有する様々な電子機器であってもよいが、これらに限定されない。端末装置１０１、１０２、１０３がソフトウェアである場合は、上記に挙げられた電子機器にインストールされてもよく、複数のソフトウェアまたはソフトウェアモジュールとして実施されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実施されてもよい。ここでは、具体的な限定をしない。サーバ１０５がハードウェアの場合、複数のサーバからなる分散型サーバクラスタとして実施されてもよく、単一のサーバとして実施されてもよい。サーバ１０５がソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュールとして実施されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実施されてもよい。ここでは、具体的な限定をしない。

サーバ１０５は、搭載された様々なアプリケーションを介して様々なサービスを提供することができ、道路フィードバックデータに基づいて自動運転制御を行う自動運転アプリケーションを例として、サーバ１０５は、当該自動運転アプリケーションを実行するときに以下の効果を達成することができる。まず、ネットワーク１０４を介して端末装置１０１、１０２、１０３から複数のフィードバックデータを連続的に取得し、当該現在フィードバックデータの採集時刻からの差が第１の所定時間未満である履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得し、次に、サーバ１０５は、当該フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出し、最後に、サーバ１０５は、当該画像データに基づいて現在フィードバックデータを修正する。

連続的に取得された複数のフィードバックデータは、端末装置１０１、１０２、１０３からネットワーク１０４を介して取得できるほか、また、様々な方法でサーバ１０５にローカルに予め格納されていてもよいことに留意されたい。したがって、サーバ１０５は、これらのデータがローカルに格納されていることを検出する（例えば、処理を開始する前にすでに取得したフィードバックデータ）と、これらのデータをローカルから直接取得することを選択することができ、この場合、例示的なシステムアーキテクチャ１００は、端末装置１０１、１０２、１０３およびネットワーク１０４を含まなくてもよい。

データの格納、フィードバックデータにおけるオブジェクトの抽出およびフィードバックデータの修正には、多くの計算リソースおよび強力な計算能力が必要であるため、本出願の後述の各実施例によって提供される画像データの修正方法は、一般的に、強力な計算能力、多くの計算リソースを有するサーバ１０５によって実行され、それに応じて、画像データの修正装置も一般的にサーバ１０５に設けるようにする。ただし、端末装置１０１、１０２、１０３も要求を満たす計算能力および計算リソースを備える場合、端末装置１０１、１０２、１０３も、実装された自動運転アプリケーションにより、上述したサーバ１０５によって実行される様々な計算を実行し、サーバ１０５と同じ結果を出力することができることを同時に留意すべきである。特に、計算能力の異なる複数の端末装置が同時に存在するが、自動運転アプリケーションにより、所在の端末装置が強力な計算能力および多くの余分な計算リソースを持っていると判断されたときには、端末装置に前記計算を実行させることもでき、それによってサーバ１０５の計算圧力を適切に軽減することができ、それに応じて、画像データの修正装置も端末装置１０１、１０２、１０３に設けてもよい。この場合には、例示的なシステムアーキテクチャ１００は、サーバ１０５およびネットワーク１０４を含まなくてもよい。

図１における端末装置、ネットワークおよびサーバの数は単なる例示的なものであることを理解すべきである。実施の必要に応じて、任意の数の端末装置、ネットワークおよびサーバを有してもよいことを理解すべきである。

図２を参照すると、図２は、本出願の実施例による画像データの修正方法のフローチャートであり、フロー２００は次のステップを含む。

ステップ２０１では、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が現在フィードバックデータの後にある補助フィードバックデータを取得する。

本実施例では、画像データの修正方法の実行主体（例えば、図１に示されているサーバ１０５）により複数のフィードバックデータを連続的に取得し、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得する。

当該履歴フィードバックデータの採集時刻と現在フィードバックデータの採集時刻との差は第１の所定時間未満であり、当該第１の所定時間は、通常、フィードバックデータを採集するセンサまたはフィードバックデータに対応する移動物体の速度に基づいて確定されてもよい。それによって、移動物体の実際の動きの状況に応じて適切な採集時刻を確定することができ、第１の所定時間が長すぎる場合に、フィードバックデータが異常であるか否かを正確に判断できないこと、および／または異常フィードバックに対してタイムリーに修正できないことを回避することができる。

補助フィードバックデータは、当該現在フィードバックデータと同じ採集装置によって採集され、採集時刻が当該現在フィードバックデータの後にあるフィードバックデータであり、通常、現在フィードバックデータに対して行うフィードバックデータに異常があるか否かに対する検出の品質を向上させるために、当該補助フィードバックデータの採集時刻は、当該センサによって提供可能で、当該現在フィードバックデータの採集時刻に最も近い位置にあるフィードバックデータを補助フィードバックデータにすることが好ましいことを理解すべきである。

なお、各フィードバックデータは、上述した実行主体がローカルの記憶装置から直接取得されてもよく、非ローカル記憶装置（例えば、図１に示す端末装置１０１、１０２、１０３）から取得されてもよい。ローカルの記憶装置は、前記実行主体内に設けられた、例えば、サーバハードディスクなどのデータ記憶モジュールであってもよく、この場合、各フィードバックデータをローカルから迅速に読み出すことができる。非ローカル記憶装置は、データを記憶するために設置された他の任意の電子機器、例えば、一部のユーザ端末などであってもよく、この場合、前記実行主体は、指令の取得を当該電子機器に送信することにより、所望の各フィードバックデータを取得するようにしてもよい。

ステップ２０２では、補助フィードバックデータに対象オブジェクトが存在することに応答して、対象オブジェクトの画像データを抽出する。

本実施例では、前記ステップ２０１において抽出された補助フィードバックデータに基づいて、当該補助フィードバックデータを解析することによって、当該補助フィードバックデータに含まれる内容を確定し、当該補助フィードバックデータオブジェクトに前記ステップ２０１で確定された対象オブジェクトが存在すると判断したとき、履歴データおよび／または補助フィードバックデータから当該対象オブジェクトの画像データを抽出する。

履歴データおよび／または補助フィードバックデータに他の非画像データ形式の対象オブジェクトのフィードバックデータが存在するとき、前記実行主体は、ローカルまたは非ローカルの変換、レンダリング装置によって他の非画像データ形式のデータを対応する画像データに変換することができることを理解すべきである。

ステップ２０３では、画像データに基づいて現在フィードバックデータを修正する。

本実施例では、前記ステップ２０２によって対象オブジェクトの画像データを取得した後、当該画像データの内容を当該現在フィードバックデータに追加して、現在フィードバックデータの内容を修正する。それによって、その後、当該修正された現在フィードバックデータに基づいてフィードバック画像、フィードバック情報をレンダリング生成する際に、当該対象オブジェクトに対応する内容が含まれるようになる。

本出願の実施例による画像データの修正方法は、フィードバックデータを連続的に取得した後、採集時刻が当該フィードバックデータから所定範囲内にある履歴フィードバックデータ中の対象オブジェクトが現在フィードバックデータに存在していないとき、当該現在フィードバックデータに異常が存在する可能性があると判断し、当該現在フィードバックデータの後の補助フィードバックデータを用いて補助検出を行い、当該現在フィードバックデータの内容に異常があると判断したとき、現在フィードバックデータを修正するために当該対象オブジェクトの画像データを現在フィードバックデータに追加することにより、個別のフィードバックデータの異常による検出フリッカの発生を回避し、フィードバックデータの品質を向上させる。

本実施例のいくつかのオプション的な実施形態では、対象オブジェクトに対応する画像データを抽出するとともに当該画像データに基づいて現在フィードバックデータを修正するプロセスにおいて、フィードバックデータに対応する移動物体が移動状態にあるため、当該対象オブジェクトは、履歴フィードバックデータにおける対応位置に比べて、現在フィードバックデータにおける対応位置に一定の偏差が存在する可能性がある。現在フィードバックデータにおける当該対象オブジェクトのフィードバックデータの品質を向上させるために、当該画像データの修正方法はさらに、当該履歴フィードバックデータから当該対象オブジェクトの第１の位置情報を取得するステップと、当該補助フィードバックデータから当該対象オブジェクトの第２の位置情報を取得するステップと、当該第１の位置情報と当該第２の位置情報とに基づいてモーションパラメータを確定するステップと、当該モーションパラメータに基づいて、当該現在フィードバックデータにおける当該対象オブジェクトの目標出現位置を確定するステップと、を含み、この画像データに基づいて当該現在フィードバックデータを修正するステップは、当該画像データを当該現在フィードバックデータにおける当該目標出現位置に対応する実際位置に追加するステップを含む。

具体的には、履歴フィードバックデータに基づいて確定された当該対象オブジェクトの第１の位置情報と、補助フィードバックデータに基づいて確定された当該対象オブジェクトの第２の位置情報を取得し、履歴フィードバックデータの採集時刻および補助フィードバックデータの採集時刻に基づいて、第１の位置情報、第２の位置情報および履歴フィードバックデータを組み合わせて対応するモーションパラメータを確定し、当該モーションパラメータに基づいて現在フィードバックデータにおける対象オブジェクトの出現位置を予測し、当該出現位置に基づいて対応する画像データを確定し、当該画像データを当該現在フィードバックデータにおける当該目標出現位置と対応する実際位置に追加することにより、対象オブジェクトの現在フィードバックデータにおける実際位置に近い修正された現在フィードバックデータを取得することができ、修正品質が改善される。

本実施例のいくつかのオプション的な実施形態では、第１の位置情報および第２の位置情報に基づいて確定されたモーションパラメータに基づいて得られた目標出現位置は予測位置であってフィードバックデータに対応する移動物体の後続の持続的移動の影響を受けるので、実際、当該目標出現位置は、実際の状況での現在フィードバックデータにおける対応位置のオブジェクトと衝突し、重畳して表示される可能性がある。この問題を解決するために、現在フィードバックデータにおいて目標出現位置と対応する実際位置に画像データを追加した後、さらに、当該現在フィードバックデータの当該実際位置に当該画像データとの衝突オブジェクトが存在することに応答して、所定の経路に従って、当該対象オブジェクトおよび当該衝突オブジェクトを含む修正指示情報を返すステップを含む。

具体的には、前記実行主体は、現在フィードバックデータの当該実際位置に当該画像データとの衝突オブジェクトが存在することに応答して、所定の経路に従って、当該対象オブジェクトと当該衝突オブジェクトとを含む修正指示情報を返し、それによって当該修正指示情報が当該対象オブジェクトおよび当該衝突オブジェクトを含むことで、実際のユーザが当該修正指示情報に応じて調整を行うことができる。

本実施例のいくつかのオプション的な実施形態では、採集時刻が現在フィードバックデータの後にある補助フィードバックデータを取得するステップは、採集時刻が当該現在フィードバックデータの後の第２の所定時間内にある複数の補助フィードバックデータを取得して、補助フィードバックデータセットを生成するステップを含み、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出するステップは、当該補助フィードバックデータセット内のターゲット補助フィードバックデータの割合が所定比率を超えたことに応答して、当該現在フィードバックデータの採集時刻より最も近いターゲット補助フィードバックデータから当該対象オブジェクトの画像データを抽出するステップを含み、当該ターゲット補助フィードバックデータは、当該対象オブジェクトが存在する補助フィードバックデータである。

具体的には、採集時刻が現在フィードバックデータの後の第２の所定時間内にある複数の補助フィードバックデータを取得して、対応する補助フィードバックデータセットを生成し、補助フィードバックデータセットにおいて当該対象オブジェクトを含むターゲット補助フィードバックデータの割合が所定比率を超えた後、当該現在フィードバックデータの採集時刻より最も近いターゲット補助フィードバックデータから当該対象オブジェクトの画像データを抽出し、補助フィードバックデータを増やす方法により、個別の補助フィードバックデータにより、現在フィードバックデータに現れたのと同様の異常を発生して画像データの修正効果に影響を及ぼすことを避ける。

第２の所定時間は、通常、フィードバックデータを採集するセンサまたはフィードバックデータに対応する移動物体の速度に基づいて確定してもよく、当該センサの前記履歴フィードバックデータ、現在フィードバックデータを採集する採集周期に基づいて確定してもよく、補助フィードバックデータセットにおけるターゲット補助フィードバックデータに基づいて、現在フィードバックデータを修正する必要があると判断した後、当該現在フィードバックデータの採集時刻より最も近いターゲット補助フィードバックデータから、当該対象オブジェクトの画像データを抽出することにより、当該移動物体の動きによるフィードバック誤差を低減させる。

図３を参照すると、図３は、本出願の実施例による別の画像データの修正方法のフローチャートであり、フロー３００は次のステップを含む。

ステップ３０１では、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得する。

ステップ３０２では、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出する。

ステップ３０３では、当該画像データに基づいて当該現在フィードバックデータを修正する。

以上のステップ３０１～３０３は、図２に示されているステップ２０１～２０３と一致し、同じ部分の内容は前の実施例の対応する部分を参照されたい。ここではその説明を省略する。

ステップ３０４では、修正する必要のないフィードバックデータに対応する第１のフィードバック画像を生成し、修正する必要のあるフィードバックデータの修正後のフィードバックデータに対応する第２のフィードバック画像を生成する。

本実施例では、各フィードバックデータに対応するフィードバック画像を生成し、うち、フィードバックデータを修正する必要がない場合、当該フィードバックデータに基づいて当該フィードバック画像と対応する第１のフィードバック画像を直接生成し、フィードバックデータを修正する必要がある場合、修正済みフィードバックデータに基づいて、当該修正済みフィードバックデータに対応する第２のフィードバック画像を生成する。

ステップ３０５では、各フィードバックデータの採集時刻の順で、対応する各フィードバック画像を配列してフィードバック画像ビデオストリームを生成する。

本実施例では、各フィードバックデータに対応する第１の画像または第２の画像を、各フィードバックデータの採集時刻の順で配列してフィードバック画像ビデオストリームを生成する。

各フィードバックデータは、第１の画像または第２の画像の一方のみに対応し、第１の画像および第２の画像の両方に同時に対応することはないことを理解すべきである。

ステップ３０６では、フィードバック画像ビデオストリームに基づいてインタラクティブ画像ビデオストリームを生成し、インタラクティブ画像ビデオストリームの表示開始時刻が当該フィードバック画像ビデオストリームの表示開始時刻よりも遅れている。

本実施例では、当該フィードバック画像ビデオストリームに基づいてインタラクティブ画像ビデオストリームをレンダリング生成し、インタラクティブ画像ビデオストリームの表示開始時刻が当該フィードバック画像ビデオストリームの表示開始時刻より遅れている。すなわち、当該フィードバック画像ビデオストリームが一定時刻表示を開始した後、当該インタラクティブ画像ビデオストリームを表示させ、前記実行主体がフィードバックに対し画像データの修正を行うことによるインタラクティブ画像ビデオストリームの表示ラグを回避することができる。

実際には、フィードバック画像ビデオストリームがあると判断された後、ＨＭＩレンダリングシステムを使用して、当該フィードバックビデオストリームを、端末表示装置で再生可能なインタラクティブ画像ビデオストリームにレンダリングすることができる。

本実施例は、前記図２に対応する実施例に基づいて、さらに、未修正のフィードバックデータおよび修正済みフィードバックデータに基づいて最終的なインタラクティブ画像ビデオストリームを生成することができ、これにより、当該インタラクティブ画像ビデオストリームを介したユーザとのインタラクションが便利になり、ユーザにフィードバックデータに基づいたインタラクティブ画像ビデオを提示することにより、ユーザがフィードバックデータに含まれた情報をより直感的に読み取ることができ、ユーザに対するフィードバックデータの視覚化を実現することができる。

本実施例のいくつかのオプション的な実施形態では、履歴フィードバックデータに出現しなかった新規オブジェクトが現在フィードバックデータに存在することに応答して、当該現在フィードバックデータに対応するフィードバック画像に当該新規オブジェクトの出現モードをフェードインと設定するステップをさらに含む。

具体的には、履歴フィードバックデータに出現しなかった新規オブジェクトが現在フィードバックデータに存在する場合には、当該現在フィードバックデータに対応するフィードバック画像を生成する際に、生成されたインタラクティブ画像ビデオストリームに当該新規オブジェクトが突然飛び込んでユーザに視覚的衝撃を与えることを回避するために、当該新規オブジェクトの出現モードをフェードインと設定する。

本実施例のいくつかのオプション的な実施形態では、当該履歴フィードバックデータにフィードバックされなかった新規オブジェクトが当該現在フィードバックデータに存在することに応答して、当該現在フィードバックデータに対応するフィードバック画像に当該新規オブジェクトの出現モードをフェードインと設定するステップは、当該履歴フィードバックデータに存在しなかった新規オブジェクトが当該現在フィードバックデータにフィードバックされたことに応答して、採集時刻が当該現在フィードバックデータの後にある検証フィードバックデータを取得するステップと、当該検証フィードバックデータに当該新規オブジェクトが存在することに応答して、当該現在フィードバックデータに対応するフィードバック画像に、当該新規オブジェクトの出現モードをフェードインと設定するステップとを含む。

具体的には、履歴フィードバックデータにフィードバックされなかった新規オブジェクトが現在フィードバックデータに存在する場合に、さらに、採集時刻が当該現在フィードバックデータの後にある検証フィードバックデータを取得し、検証フィードバックデータの内容を通じて、当該新規オブジェクトが現在フィードバックデータの異常により発生した誤認識オブジェクトであるか否かを検証し、検証フィードバックデータに基づいて、当該新規オブジェクトは真実のものであって、現在フィードバックデータの異常により発生した誤認識オブジェクトではないと判定した場合、さらに、当該新規オブジェクトの出現モードをフェードインと設定し、それによって現在フィードバックデータに異常が突発することにより新規オブジェクトが間違って追加されることを回避することができる。

本出願のいくつかのオプション的な実施例では、データ処理に関連するフィードバックデータの品質を高めるために、さらに、対象オブジェクトをフィルタリングするようと設定してもよく、それにより、参照価値が低すぎまたは参照価値のない対象オブジェクトが欠落したために前記画像データの修正方法を実行することによる計算リソースの浪費を回避することができる。例示的に、前記画像データの修正方法をスマート運転などの関連分野に適用する場合に、当該対象オブジェクトを車両の運転状況の設定に影響を与える可能性のある障害物オブジェクトとして設定することができ、履歴フィードバックデータに出現した障害物オブジェクトが現在フィードバックデータに存在していない場合、データを修正することができる。

理解を深めるために、本出願はまた、一つの具体的な応用シーンを取り上げ、具体的な実現対策を提供し、具体的には、
理解を助けるために、フィードバックデータに基づいて生成されたフィードバック画像の効果概略図でフィードバックデータの内容を表す。

当該応用シーンにおいて、前記実行主体が取得した現在フィードバックデータに対応するフィードバック画像は図４Ａに示された通りであり、当該現在フィードバックデータに対応する採集時刻との採集時刻の差が第１の所定時間未満である履歴フィードバックデータに対応するフィードバック画像は図４ｂに示された通りである。

履歴フィードバックデータに出現した対象オブジェクト、すなわち、図４Ｂに位置する「障害物Ａ」が現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得し、当該補助フィードバックデータに対応するフィードバック画像は図４Ｃに示された通りである。

当該補助フィードバックデータに当該「障害物Ａ」が存在することに応答して、当該「障害物Ａ」が図４Ｂに位置する第１の位置情報および図４Ｃに位置する第２の位置情報をそれぞれ抽出する。

第１の位置情報および第２の位置情報に基づいてモーションパラメータを確定し、当該「障害物Ａ」が位置すべき図４Ａの目標出現位置を確定し、当該目標出現位置と対応する現在フィードバックデータの実際位置に当該画像データを追加し、最終的に得られたフィードバック画像は図４Ｄに示された通りである。

さらに図５を参照し、上記各図に示された方法の実装として、本出願は画像データの修正装置の一実施例を提供し、当該装置の実施例は図２に示された方法の実施例に対応し、当該装置は様々な電子機器に適用可能である。

図５に示されているように、本実施例の画像データの修正装置５００は、補助フィードバックデータ取得ユニット５０１と、対象オブジェクト抽出ユニット５０２と画像データ修正ユニット５０３とを備えることができる。補助フィードバックデータ取得ユニット５０１は、履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が当該現在フィードバックデータの後にある補助フィードバックデータを取得するように構成され、当該履歴フィードバックデータと当該現在フィードバックデータとの採集時刻の差が第１の所定時間未満である。対象オブジェクト抽出ユニット５０２は、当該補助フィードバックデータに当該対象オブジェクトが存在することに応答して、当該対象オブジェクトの画像データを抽出するように構成される。画像データ修正ユニット５０３は、当該画像データに基づいて当該現在フィードバックデータを修正するように構成される。

本実施例では、画像データの修正装置５００において、補助フィードバックデータ取得ユニット５０１、対象オブジェクト抽出ユニット５０２および画像データ修正ユニット５０３の具体的な処理およびそれらによって奏される技術的効果はそれぞれ図２の対応する実施例のステップ２０１～２０３の関連説明を参照し、ここではその説明を省略する。

本実施例のいくつかのオプション的な実施形態では、当該画像データの修正装置５００は、当該履歴フィードバックデータから当該対象オブジェクトの第１の位置情報を取得するように構成される第１の位置情報取得ユニットと、当該補助フィードバックデータから当該対象オブジェクトの第２の位置情報を取得するように構成される第２の位置情報取得ユニットと、当該モーションパラメータに基づいて当該現在フィードバックデータにおける当該対象オブジェクトの目標出現位置を確定するように構成されるモーションパラメータ確定ユニットと、当該モーションパラメータに基づいて当該現在フィードバックデータにおける当該対象オブジェクトの目標出現位置を確定するように構成される位置予測ユニットと、をさらに備え、当該画像データ修正ユニットは、さらに、当該現在フィードバックデータにおいて当該目標出現位置に対応する実際位置に当該画像データを追加するように構成される。

本実施例のいくつかのオプション的な実施形態では、当該画像データの修正装置５００は、当該現在フィードバックデータの当該実際位置に当該画像データとの衝突オブジェクトが存在することに応答して、所定経路に従って当該対象オブジェクトおよび当該衝突オブジェクトを含む修正指示情報を返すように構成される衝突提示ユニットをさらに備える。

本実施例のいくつかのオプション的な実施形態では、当該補助フィードバックデータ取得ユニット５０１は、採集時刻が当該現在フィードバックデータの後の第２の所定時間内にある複数の補助フィードバックデータを取得して、補助フィードバックデータセットを生成するように構成される補助フィードバックデータセット生成サブユニットと、当該補助フィードバックデータセットにおけるターゲット補助フィードバックデータの割合が所定比率を超えたことに応答して、当該現在フィードバックデータの採集時刻より最も近いターゲット補助フィードバックデータから当該対象オブジェクトの画像データを抽出するように構成される画像データ抽出サブユニットとを備え、当該ターゲット補助フィードバックデータは、当該対象オブジェクトが存在する補助フィードバックデータである。

本実施例のいくつかのオプション的な実施形態では、当該画像データの修正装置５００は、さらに、修正する必要のないフィードバックデータに対応する第１のフィードバック画像を生成し、修正する必要のあるフィードバックデータの修正済みフィードバックデータに対応する第２のフィードバック画像を生成するように構成されるフィードバック画像生成ユニットと、各フィードバックデータの採集時間の順で対応する各フィードバック画像を配列して、フィードバック画像ビデオストリームを生成するように構成され、当該フィードバック画像は第１のフィードバック画像または第２のフィードバック画像を含むフィードバック画像ビデオストリーム生成ユニットと、当該フィードバック画像ビデオストリームに基づいてインタラクティブ画像ビデオストリームを生成するように構成され、当該インタラクティブ画像ビデオストリームの表示開始時刻が当該フィードバックビデオストリームの表示開始時刻より遅れているインタラクティブ画像ビデオストリーム生成ユニットと、をさらに備える。

本実施例のいくつかのオプション的な実施形態では、当該画像データの修正装置５００は、当該履歴フィードバックデータにフィードバックされなかった新規オブジェクトが当該現在フィードバックデータに存在することに応答して、当該現在フィードバックデータに対応するフィードバック画像に当該新規オブジェクトの出現モードをフェードインと設定するように構成される新規オブジェクト追加ユニットをさらに備える。

本実施例のいくつかのオプション的な実施形態では、当該新規オブジェクト追加ユニットは、
当該履歴フィードバックデータにフィードバックされなかった新規オブジェクトが当該現在フィードバックデータに存在することに応答して、採集時刻が当該現在フィードバックデータの後にある検証フィードバックデータを取得するように構成される検証フィードバックデータ取得サブユニットと、当該検証フィードバックデータに当該新規オブジェクトが存在することに応答して、当該現在フィードバックデータに対応するフィードバック画像に、当該新規オブジェクトの出現モードをフェードインと設定するように構成される新規オブジェクト追加サブユニットと、を備える。

本実施例は、上記方法の実施例に対応する装置の実施例として存在し、本実施例による画像データの修正装置は、フィードバックデータを連続的に取得した後、採集時刻が当該フィードバックデータより所定範囲内にある履歴フィードバックデータ中の対象オブジェクトが現在フィードバックデータに存在していないとき、当該現在フィードバックデータに異常が存在する可能性があると判定し、当該現在フィードバックデータ後の補助フィードバックデータを用いて補助検出を行い、当該現在フィードバックデータ中の内容に異常があると判定したとき、現在フィードバックデータを修正するために当該対象オブジェクトの画像データを現在フィードバックデータに追加して、個別のフィードバックデータの異常による検出フリッカの発生を回避し、フィードバックデータの品質を向上させる。

本出願の実施例によれば、本出願はさらに、電子機器、可読記憶媒体およびコンピュータプログラムを提供し、当該コンピュータプログラムは、プロセッサによって実行されると、上記実施例のいずれかに記載の画像データの修正方法を実現することができる。

本出願の実施例によれば、本出願はさらに、上記実施例のいずれかに記載の画像データの修正方法を実施することができる前記電子機器を備えた自動運転車両を提供する。

図６は、本出願の実施例を実施するために使用することができる例示的な電子機器６００のブロック図を示す。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナル・デジタル・アシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、その他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナル・デジタル・アシスタント、携帯電話、スマートフォン、ウェアラブルデバイスおよびその他の類似のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すこともできる。本明細書に示されているコンポーネント、それらの接続と関係およびそれらの機能は単なる例示であり、本明細書で説明および／または要求している本出願の実施を制限するものではない。

図６に示されているように、電子機器６００は、計算ユニット６０１を備え、読み出し専用メモリ（ＲＯＭ）６０２に記憶されたコンピュータプログラム、又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作および処理を実行することができる。ＲＡＭ６０３には、電子機器６００の動作に必要な様々なプログラムおよびデータがさらに記憶されていてもよい。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

電子機器６００内の複数のコンポーネント、例えば、キーボード、マウスなどの入力ユニット６０６と、例えば、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、例えば、磁気ディスク、光ディスクなどの記憶ユニット６０８と、例えば、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット６０９とを含むコンポーネントはＩ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、機器６００が、インターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

計算ユニット６０１は、処理およびコンピューティング機能を有する様々な汎用および／または専用の処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した各々の方法および処理、例えば、画像データの修正方法を実行する。例えば、いくつかの実施例では、画像データの修正方法は、例えば、記憶ユニット６０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されるとき、上述した画像データの修正方法の一つまたは複数のステップを実行することができる。選択的に、他の実施例では、計算ユニット６０１は、他の任意の適切な方法（例えば、ファームウェア）によって、画像データの修正方法を実行するように構成されてもよい。

本明細書において以上に説明したシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、プレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせにおいて実施され得る。これらの様々な実施形態は以下を含んでもよい。すなわち、一つ又は複数のコンピュータプログラムにおいて実行され、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラミング可能なシステムで実行され、および／又は解釈されてもよく、当該プログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置および少なくとも一つの出力装置からデータおよび指令を受信するとともに、データおよび指令を当該ストレージシステム、当該少なくとも一つの入力装置、および当該少なくとも一つの出力装置に伝送することができる。

本出願の方法を実施するためのプログラムコードは、一つまたは複数のプログラミング言語の任意の組み合わせを使用して作成することができる。これらのプログラムコードは、プログラムコードがプロセッサまたはコントローラによって実行されるときに、フローチャートおよび／またはブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供されてもよい。プログラムコードは、完全に機器上で実行してもよく、又は部分的に機器上で実行してもよく、独立したソフトウェアパッケージとして機器上で一部実行し且つ一部を遠隔機器上で実行するかまたは完全に遠隔機器またはサーバ上で実行してもよい。

本出願におけるコンテキストでは、機械可読媒体は、指令実行システム、装置または機器が使用するため、または指令実行システム、装置、または機器と組み合わせて使用するためのプログラムを含むか、または記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線の、または半導体のシステム、装置または機器、または上記の任意の適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例示は、一本または複数本の導線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、またはこれらの任意の適切な組み合わせを含んでもよい。

ユーザとのインタラクションを提供するために、コンピュータ上で、明細書で説明したシステムおよび技術を実施してもよく、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）およびユーザがコンピュータに入力を提供するためのキーボードおよびポインティングデバイス（例えば、マウス又はトラックボール）を有する。他の種類の装置もユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、任意の形態（音響入力、音声入力又は触覚入力を含む）でユーザからの入力を受信してもよい。

本明細書で説明されるシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）、又は、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、または、フロントエンドコンポーネント（例えば、グラフィカルユーザインタフェース又はウェブブラウザを備えたユーザコンピュータは、ユーザが当該グラフィカルユーザインタフェース又は当該ウェブブラウザを介して、本明細書で説明するシステムおよび技術の実施形態とやりとりすることができる）。又は、これらのバックエンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。また、システムのコンポーネントは、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互に接続してもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットを含む。

コンピュータシステムにはクライアントおよびサーバを含んでもよい。クライアントとサーバは一般に互いに離れており、通常は通信ネットワークを介してやりとりする。クライアントとサーバとの関係は、対応するコンピュータにおいて実行されるとともに互いにクライアント－サーバの関係を持つコンピュータプログラムによって生じる。サーバは、クラウドコンピューティングサーバあるいはクラウドホストとも呼ばれるクラウドサーバであってもよく、クラウドコンピューティングサービスシステムのホスト製品であり、伝統的な物理ホストおよび仮想プライベートサーバ（ＶＰＳ，Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスに存在する管理の難度が大きく、ビジネスの拡張性が弱いという欠陥を解決する。サーバは、分散システムのサーバ、またはブロックチェーンと組み合わせたサーバに分けられてもよい。

本出願の実施例の技術的手段によれば、画像データの修正方法は、フィードバックデータを連続的に取得した後、採集時刻が当該フィードバックデータより所定範囲内にある履歴フィードバックデータ中の対象オブジェクトが現在フィードバックデータに存在していないとき、当該現在フィードバックデータに異常が存在する可能性があると判定し、当該現在フィードバックデータ後の補助フィードバックデータを用いて補助検出を行い、当該現在フィードバックデータ中の内容に異常が存在すると判定したとき、当該対象オブジェクトの画像データを現在フィードバックデータに追加することで、現在フィードバックデータを修正し、個別のフィードバックデータの異常による検出フリッカの発生を回避でき、フィードバックデータの品質を向上させた。

なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順番で実行されてもよいし、異なる順番で実行されてもよい。本明細書はここで制限しない。

上記具体的な実施形態は、本出願の保護範囲を限定するものではない。設計要件およびその他の要因に基づいて、様々な修正、組み合わせ、副次的な組み合わせおよび置換を行うことができることを当業者は理解すべきである。本出願の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (18)

1. 履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が前記現在フィードバックデータの後にある補助フィードバックデータを取得するステップであって、前記履歴フィードバックデータと前記現在フィードバックデータとの採集時刻の差が第１の所定時間未満である、ステップと、
   前記補助フィードバックデータに前記対象オブジェクトが存在することに応答して、前記対象オブジェクトの画像データを抽出するステップと、
   前記画像データに基づいて前記現在フィードバックデータを修正するステップと、
   を含む画像データの修正方法。
2. 前記履歴フィードバックデータから前記対象オブジェクトの第１の位置情報を取得するステップと、
   前記補助フィードバックデータから前記対象オブジェクトの第２の位置情報を取得するステップと、
   前記第１の位置情報と前記第２の位置情報とに基づいてモーションパラメータを確定するステップと、
   前記モーションパラメータに基づいて、前記現在フィードバックデータにおける前記対象オブジェクトの目標出現位置を確定するステップと、をさらに含み、
   前記画像データに基づいて前記現在フィードバックデータを修正するステップは、
   前記画像データを前記現在フィードバックデータにおける前記目標出現位置と対応する実際位置に追加するステップを含む、
   請求項１に記載の画像データの修正方法。
3. 前記画像データを前記現在フィードバックデータにおける前記目標出現位置と対応する実際位置に追加した後、
   前記現在フィードバックデータの前記実際位置に、前記画像データとの衝突オブジェクトが存在することに応答して、所定経路に従って前記対象オブジェクトおよび前記衝突オブジェクトを含む修正指示情報を返すステップをさらに含む、
   請求項２に記載の画像データの修正方法。
4. 採集時刻が前記現在フィードバックデータの後にある補助フィードバックデータを取得するステップは、
   採集時刻が前記現在フィードバックデータの後の第２の所定時間内にある複数の補助フィードバックデータを取得し、補助フィードバックデータセットを生成するステップを含み、
   前記補助フィードバックデータに前記対象オブジェクトが存在することに応答して、前記対象オブジェクトの画像データを抽出するステップは、
   前記補助フィードバックデータセットにおけるターゲット補助フィードバックデータの割合が所定比率を超えたことに応答して、前記現在フィードバックデータの採集時刻より最も近いターゲット補助フィードバックデータから前記対象オブジェクトの画像データを抽出するステップであって、前記ターゲット補助フィードバックデータは前記対象オブジェクトが存在する補助フィードバックデータであるステップを含む、
   請求項１に記載の画像データの修正方法。
5. 修正する必要のないフィードバックデータに対応する第１のフィードバック画像を生成し、修正する必要のあるフィードバックデータの修正済みフィードバックデータに対応する第２のフィードバック画像を生成するステップと、
   各フィードバックデータの採集時刻の順で対応する各フィードバック画像を配列し、フィードバック画像ビデオストリームを生成するステップであって、前記フィードバック画像は、第１のフィードバック画像または第２のフィードバック画像を含む、ステップと、
   前記フィードバック画像ビデオストリームに基づいてインタラクティブ画像ビデオストリームを生成し、前記インタラクティブ画像ビデオストリームの表示開始時刻が前記フィードバック画像ビデオストリームの表示開始時刻よりも遅れているステップと、
   をさらに含む請求項１に記載の画像データの修正方法。
6. 前記履歴フィードバックデータにフィードバックされなかった新規オブジェクトが前記現在フィードバックデータに存在することに応答して、前記現在フィードバックデータに対応するフィードバック画像において、前記新規オブジェクトの出現モードをフェードインと設定するステップをさらに含む、
   請求項５に記載の画像データの修正方法。
7. 前記履歴フィードバックデータに存在していない新規オブジェクトが前記現在フィードバックデータにフィードバックされていることに応答して、前記現在フィードバックデータに対応するフィードバック画像において、前記新規オブジェクトの出現モードをフェードインと設定するステップは、
   前記履歴フィードバックデータにフィードバックされなかった新規オブジェクトが前記現在フィードバックデータに存在することに応答して、採集時刻が前記現在フィードバックデータの後にある検証フィードバックデータを取得するステップと、
   前記検証フィードバックデータに前記新規オブジェクトが存在することに応答して、前記現在フィードバックデータに対応するフィードバック画像に前記新規オブジェクトの出現モードをフェードインと設定するステップと、
   を含む、請求項５に記載の画像データの修正方法。
8. 履歴フィードバックデータに出現した対象オブジェクトが現在フィードバックデータに存在していないことに応答して、採集時刻が前記現在フィードバックデータの後にある補助フィードバックデータを取得するように構成され、前記履歴フィードバックデータと前記現在フィードバックデータとの採集時刻の差が第１の所定時間未満である、補助フィードバックデータ取得ユニットと、
   前記補助フィードバックデータに前記対象オブジェクトが存在することに応答して、前記対象オブジェクトの画像データを抽出するように構成される対象オブジェクト抽出ユニットと、
   前記画像データに基づいて前記現在フィードバックデータを修正するように構成される画像データ修正ユニットと、
   を備える、画像データの修正装置。
9. 前記履歴フィードバックデータから前記対象オブジェクトの第１の位置情報を取得するように構成される第１の位置情報取得ユニットと、
   前記補助フィードバックデータから前記対象オブジェクトの第２の位置情報を取得するように構成される第２の位置情報取得ユニットと、
   前記モーションパラメータに基づいて、前記現在フィードバックデータにおける前記対象オブジェクトの目標出現位置を確定するように構成されるモーションパラメータ確定ユニットと、
   前記モーションパラメータに基づいて、前記現在フィードバックデータにおける前記対象オブジェクトの目標出現位置を確定するように構成される位置予測ユニットと、をさらに備え、
   前記画像データ修正ユニットはさらに、前記現在フィードバックデータにおける前記目標出現位置と対応する実際位置に前記画像データを追加するように構成される、
   請求項８に記載の画像データの修正装置。
10. 前記現在フィードバックデータの前記実際位置に、前記画像データとの衝突オブジェクトが存在することに応答して、所定経路に従って前記対象オブジェクトおよび前記衝突オブジェクトを含む修正指示情報を返すように構成される衝突提示ユニットをさらに備える、
    請求項９に記載の画像データの修正装置。
11. 前記補助フィードバックデータ取得ユニットは、
    採集時刻が前記現在フィードバックデータの後の第２の所定時間内にある複数の補助フィードバックデータを取得し、補助フィードバックデータセットを生成するように構成される補助フィードバックデータセット生成サブユニットと、
    前記補助フィードバックデータセットにおけるターゲット補助フィードバックデータの割合が所定比率を超えたことに応答して、前記現在フィードバックデータの採集時刻より最も近いターゲット補助フィードバックデータから前記対象オブジェクトの画像データを抽出するように構成され、前記ターゲット補助フィードバックデータは前記対象オブジェクトが存在する補助フィードバックデータである、画像データ抽出サブユニットと、
    を備える、請求項８に記載の画像データの修正装置。
12. 修正する必要のないフィードバックデータに対応する第１のフィードバック画像を生成し、修正する必要のあるフィードバックデータの修正済みフィードバックデータに対応する第２のフィードバック画像を生成するように構成されるフィードバック画像生成ユニットと、
    各フィードバックデータの採集時刻の順で対応する各フィードバック画像を配列し、フィードバック画像ビデオストリームを生成するように構成され、前記フィードバック画像は、第１のフィードバック画像または第２のフィードバック画像を含む、フィードバック画像ビデオストリーム生成ユニットと、
    前記フィードバック画像ビデオストリームに基づいてインタラクティブ画像ビデオストリームを生成するように構成され、前記インタラクティブ画像ビデオストリームの表示開始時刻が前記フィードバック画像ビデオストリームの表示開始時刻よりも遅れている、インタラクティブ画像ビデオストリーム生成ユニットと、
    をさらに備える、請求項８に記載の画像データの修正装置。
13. 前記履歴フィードバックデータにフィードバックされなかった新規オブジェクトが前記現在フィードバックデータに存在することに応答して、前記現在フィードバックデータに対応するフィードバック画像において、前記新規オブジェクトの出現モードをフェードインと設定するように構成される新規オブジェクト追加ユニットをさらに備える、
    請求項１２に記載の画像データの修正装置。
14. 前記新規オブジェクト追加ユニットは、
    前記履歴フィードバックデータにフィードバックされなかった新規オブジェクトが前記現在フィードバックデータに存在することに応答して、採集時刻が前記現在フィードバックデータの後にある検証フィードバックデータを取得するように構成される検証フィードバックデータ取得サブユニットと、
    前記検証フィードバックデータに前記新規オブジェクトが存在することに応答して、前記現在フィードバックデータに対応するフィードバック画像に前記新規オブジェクトの出現モードをフェードインと設定するように構成される新規オブジェクト追加サブユニットと、
    を備える、請求項１３に記載の画像データの修正装置。
15. 少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサに通信可能に接続されるメモリと、を備える電子機器であって、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも一つのプロセッサによって実行されると、前記少なくとも一つのプロセッサに請求項１～７のいずれか１項に記載の画像データの修正方法を実行させる、電子機器。
16. コンピュータに請求項１～７のいずれか１項に記載の画像データの修正方法を実行させるためのコンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体。
17. プロセッサにより実行されると、請求項１～７のいずれか１項に記載の画像データの修正方法を実現するコンピュータプログラム。
18. 請求項１５に記載の電子機器を備える自動運転車両。

Images