JP2020516177A

JP2020516177A - パノラマビデオジッター補正の方法、システム及び携帯端末

Info

Publication number: JP2020516177A
Application number: JP2019553531A
Authority: JP
Inventors: 錦霖蔡; 文杰姜; 靖康劉
Original assignee: Shenzhen Arashi Vision Co Ltd
Current assignee: Shenzhen Arashi Vision Co Ltd
Priority date: 2017-04-07
Filing date: 2018-02-05
Publication date: 2020-05-28
Anticipated expiration: 2038-02-05
Also published as: EP3528489A4; EP3528489A1; CN107040694B; WO2018184423A1; US20190349526A1; EP3528489B1; US10812718B2; JP6941687B2; CN107040694A

Abstract

本発明は、ビデオの分野に属し、パノラマビデオジッター補正の方法、システム及び携帯端末を提供する。前記方法は、携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、現在の状態の回転行列に基づいて、ロドリゲスの回転公式により、現在の回転ベクトルを計算する工程と、現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程とを含む。本発明は、ジッターのビデオフレームを安定させ、ＶＲ動揺病を軽減できる。

Description

本発明は、ビデオの分野に属し、より具体的には、パノラマビデオジッター補正の方法、システム及び携帯端末に関する。

従来技術によって提供されるパノラマビデオ（ｐａｎｏｒａｍａｖｉｄｅｏ）は、ＶＲ眼鏡をかけて見る場合に、吐気と眩暈とを感じさせる。ＶＲ動揺病（ｍｏｔｉｏｎｓｉｃｋｎｅｓｓ）は、あまりよく解決されていない問題であり、ハードウェア部分でブレークスルーできていない上に、ソフトウェア部分も一因である。特に、ＶＲパノラマビデオは、携帯式のパノラマカメラを用いて撮像すると、画像のジッター（ｊｉｔｔｅｒ）のため、ＶＲ動揺病の発生が更に加速される。

本発明の目的は、パノラマビデオジッター補正の方法、システム及び携帯端末を提供し、画像のジッターがＶＲ動揺病の発生を更に加速させる問題を解決しようとすることにある。

第１の態様では、本発明は、パノラマビデオジッター補正の方法を提供し、前記方法は、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を含む。

第２の態様では、本発明は、パノラマビデオジッター補正のシステムを提供し、前記システムは、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得するための取得モジュールと、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定するための推定モジュールと、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算するための計算モジュールと、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成するためのビデオフレーム生成モジュールと、を含む。

第３の態様では、本発明は、携帯端末を提供し、
メモリと、プロセッサとを含み、
前記プロセッサと前記メモリとは、バスにより電気的に接続され、
前記メモリは、ソフトウェアプログラム及びモジュールを記憶することに用いられ、
前記プロセッサは、メモリに記憶されたプログラムコードを呼び出すことに用いられ、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を実行する。

加速度計数値から推定された角度は、干渉（例えば、ウォーキング、ハイキング、ランニングなど）を受け易く、時間の累積により、角速度の累積誤差がますます増大する。本発明において、拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせることによって、現在の状態の回転ベクトルを推定し、現在の状態の回転ベクトルをロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ' ｒｏｔａｔｉｏｎｆｏｒｍｕｌａ）により、現在の回転行列を計算し、次に、パノラマ画像を回転させ、最終的に、ジッターのビデオフレームを安定させ、ＶＲ動揺病を軽減できる。

図１は、本発明の第１の実施形態が提供するパノラマビデオジッター補正の方法を示すフローチャートである。図２は、本発明の第１の実施形態が提供するパノラマビデオジッター補正の方法においての工程Ｓ１０２を示すフローチャートである。図３は、本発明の第２の実施形態が提供するパノラマビデオジッター補正のシステムを示す概略図である。図４は、本発明の第３の実施形態が提供する携帯端末の構成を示す概略図である。

本発明の目的、技術方案及び有益効果を明らかにするために、以下、図面と実施形態を参照して本発明を詳細に説明する。当然のことながら、ここで説明する具体的な実施形態は、本発明を解釈するためにのみ用い、本発明の保護範囲を限定するものではない。

本発明に記載された技術方案を説明するため、以下、具体的な実施形態により説明する。

＜第１の実施形態＞

図１を参照すると、本発明の第１の実施形態が提供するパノラマビデオジッター補正の方法は、以下の工程を含む。

Ｓ１０１、携帯端末の現在の状態のタイムスタンプ（ｔｉｍｅｓｔａｍｐ）と、加速度計数値と角速度数値をリアルタイムで取得する。

本発明の第１の実施形態では、
携帯端末の加速度計数値をリアルタイムで取得するため、具体的には、重力センサーを用いて三軸の加速度計数値を読み取ることができる。
携帯端末の角速度数値をリアルタイムで取得するため、具体的には、角速度センサーを用いて三軸の角速度数値を読み取ることができる。

本発明の第１の実施形態では、Ｓ１０１の後に以下の工程を含むこともできる。
ローパスフィルタ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）により加速度計数値と角速度数値をノイズ低減処理する。具体的には、以下の工程を含むことができる。
公式ｄ^’ _ｉ＝α・ｄ_ｉ＋（１−α）・ｄ^’ _ｉ−１によって、それぞれ加速度計数値と角速度数値をローパスフィルタによりノイズ低減処理する。ここで、ｄ_ｉは第ｉ時刻の加速度計数値又は角速度数値を表し、ｄ^’ _ｉは第ｉ時刻におけるローパスフィルタ後の加速度計数値又は角速度数値を表し、ｄ^’ _ｉ−１は第ｉ−１時刻におけるローパスフィルタ後の加速度計数値又は角速度数値を表す。αは平滑因子を表し、
ここで、ｆ_ｃはローパスフィルタの遮断周波数を表し、Ｒｃは時定数を表し、Δｔはサンプリング時間間隔を表す。

Ｓ１０２、拡張カルマンフィルタ（ｅｘｔｅｎｄｅｄｋａｌｍａｎｆｉｌｔｅｒ）により加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する。

拡張カルマンフィルタは、非線形（ｎｏｎｌｉｎｅａｒ）システムを線形化してから、カルマンフィルタにする。カルマンフィルタは効率的な再帰的フィルタ（ｒｅｃｕｒｓｉｖｅｆｉｌｔｅｒ）であり、ノイズを完全には含まない一連の測量から動態システムの状態を推定することができる。

図２を参照すると、本発明の第１の実施形態では、Ｓ１０２は、具体的に、以下の工程を含むことができる。

本発明の第１の実施形態では、Ｓ１０２１は、具体的に、以下の工程を含むことができる。

Ｓ１０２２、直前の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、現在の状態の状態遷移行列Ｆ_ｋと、プロセスノイズＱを利用して、現在の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}を推定する。

Ｓ１０２３、推定した現在の状態の誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算する。

本発明の第１の実施形態では、Ｓ１０２３は、具体的に、以下の工程を含むことができる。

本発明の第１の実施形態では、Ｓ１０２４は、具体的に、以下の工程を含むことができる。

Ｓ１０３、現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する。

ロドリゲスの回転公式は、３次元空間において、１つのベクトルが回転軸回りに所定の角度を回転させて得られる新ベクトルの計算式である。当該式は、元のベクトルと、回転軸と、それらのクロス積をフレームとして回転後のベクトルを表す。

Ｓ１０４、現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する。

本発明の第１の実施形態では、Ｓ１０４は、具体的に、以下の工程を含むことができる。

経緯画像上のポイントを球形画像上のポイントにマッピングする。

単位球上のすべてのポイントをトラバースし、現在の回転行列に従って単位球上のすべてのポイントを回転させ、安定したビデオフレームを生成する。

ここで、現在の回転行列に従って単位球上のすべてのポイントを回転させる場合、具体的に、以下の公式を採用できる。
ここで、ｘ，ｙ，ｚは単位円が回転する前の球面座標を表し、ｘ_ｎｅｗ，ｙ_ｎｅｗ，ｚ_ｎｅｗは回転後の球面座標を表し、Ｍ_ｋは現在の回転行列を表し、ｔは変位ベクトルｔ＝［０，０，０］^Ｔを表す。

＜第２の実施形態＞

図３を参照すると、本発明の第２の実施形態によって提供されるパノラマビデオジッター補正のシステムは、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得するための取得モジュール１１と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定するための推定モジュール１２と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算するための計算モジュール１３と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成するためのビデオフレーム生成モジュール１４と、を含む。

本発明の第２の実施形態では、前記システムは、
ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理するためのノイズ低減モジュールを含むこともできる。

前記推定モジュールは、具体的に、
直前の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、現在の状態の状態遷移行列Ｆ_ｋと、プロセスノイズＱを利用して、現在の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}を推定するための誤差共分散行列推定モジュールと、
推定した現在の状態の誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算するための最適カルマン利得行列モジュールと、

前記ビデオフレーム生成モジュールは、具体的に、
経緯画像上のポイントを球形画像上のポイントにマッピングするためのマッピングモジュールと、
単位球上の全モジュールのポイントをトラバースし、現在の回転行列に従って単位球上の全モジュールのポイントを回転させ、安定したビデオフレームを生成するための回転モジュールと、を含むことができる。

＜第３の実施形態＞

図４は、本発明の第３の実施形態によって提供される携帯端末の具体的な構造図を示す。当該携帯端末１００は、上記の実施形態によって提供されるパノラマビデオジッター補正の方法とシステムを実施することに用いられる。

図４を参照すると、本発明の第３の実施形態によって提供される携帯端末１００は、１つ以上（図には１つだけ示す）のコンピュータ読み取り可能な記録媒体を有するメモリ１０１と、１つ以上（図には１つだけ示す）の処理コアを有するプロセッサ１０２と、表示モジュール１０３と、電源１０４などの部品とを含むことができる。当業者は、図４に示すような携帯端末が携帯端末の限定を構成せず、図に示すより多い又はより少ない部品を含むことができ、又は特定の部品を組み合わせ、又は異なる部品配置を含むことができることを理解できる。ここで、プロセッサ１０２とメモリ１０１はバスにより電気的に接続される。メモリ１０１は、ソフトウェアプログラム及びモジュールを記憶することに用いられ、例えば、上記の実施形態におけるパノラマビデオジッター補正に対応した方法やシステムなどのプログラム指令又はモジュールを記憶することに用いられる。プロセッサ１０２は、メモリ１０１に記憶されたプログラムコードを呼び出すことに用いられ、且つ以下の操作を実行する。

携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を実行する。

加速度計数値から推定された角度は、干渉（例えば、ウォーキング、ハイキング、ランニングなど）を受け易く、時間の累積により、角速度の累積誤差がますます増大する。本発明において、拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせることによって、現在の状態の回転ベクトルを推定し、現在の状態の回転ベクトルをロドリゲスの回転公式により、現在の回転行列を計算し、次に、パノラマ画像を回転させ、最終的に、ジッターのビデオフレームを安定させ、ＶＲ動揺病を軽減できる。

当業者は、上記の実施形態に記載された方法の全部又は一部が、プログラムにより関連するハードウェアを制御することによって実現できることを理解できる。前記プログラムは、１つのコンピュータ読み取り可能な記録媒体に記載されることができる。前記記録媒体は、例えば、ＲＯＭ、ＲＡＭ、ディスク、光ディスクなどである。

なお、上記の実施形態は、本発明の好ましい実施形態にすぎず、本発明の保護範囲を制限するものではなく、本発明の趣旨及び原則内で行われたいかなる修正、等価な置換及び改善なども、本発明の保護範囲を逸脱しない。

Ｓ１０２２、直前の状態の観測共分散行列Ｐ_{ｋ｜ｋ−１}と、現在の状態の状態遷移行列Ｆ_ｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐ_{ｋ｜ｋ−１}を推定する。

Ｓ１０２３、推定した現在の状態の観測共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算する。

前記推定モジュールは、具体的に、
直前の状態の観測共分散行列Ｐ_{ｋ｜ｋ−１}と、現在の状態の状態遷移行列Ｆ_ｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐ_{ｋ｜ｋ−１}を推定するための誤差共分散行列推定モジュールと、
推定した現在の状態の誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算するための最適カルマン利得行列モジュールと、

Claims

パノラマビデオジッター補正の方法であって、前記方法は、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を含む、
ことを特徴とする方法。
前記携帯端末の加速度計数値をリアルタイムで取得する工程は、具体的に、重力センサーを用いて三軸の加速度計数値を読み取り、
前記携帯端末の角速度数値をリアルタイムで取得する工程は、具体的に、角速度センサーを用いて三軸の角速度数値を読み取る、
ことを特徴とする請求項１に記載の方法。
前記携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得の後、前記方法は、
ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理する工程、を含む、
ことを特徴とする請求項１に記載の方法。
前記ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理する工程は、具体的に、
公式ｄ^’ _ｉ＝α・ｄ_ｉ＋（１−α）・ｄ^’ _ｉ−１によって、それぞれ加速度計数値と角速度数値をローパスフィルタノイズ低減処理し、ここで、ｄ_ｉは第ｉ時刻の加速度計数値或いは角速度数値を表し、ｄ^’ _ｉは第ｉ時刻におけるローパスフィルタ後の加速度計数値或いは角速度数値を表し、ｄ^’ _ｉ−１は第ｉ−１時刻におけるローパスフィルタ後の加速度計数値或いは角速度数値を表し、αは平滑因子を表し、
ここで、ｆ_ｃはローパスフィルタの遮断周波数を表し、Ｒｃは時定数を表し、Δｔはサンプリング時間間隔を表す工程、を含む、
ことを特徴とする請求項３に記載の方法。
前記拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程は、具体的に、
直前の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、現在の状態の状態遷移行列Ｆ_ｋと、プロセスノイズＱを利用して、現在の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}を推定する工程と、
推定した現在の状態の誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算する工程と、
ことを特徴とする請求項１又は請求項３に記載の方法。
前記推定した現在の状態の誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算する工程は、具体的に、
前記現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程は、具体的に、
経緯画像上のポイントを球形画像上のポイントにマッピングする工程と、
単位球上のすべてのポイントをトラバースし、現在の回転行列に従って単位球上のすべてのポイントを回転させ、安定したビデオフレームを生成する工程と、を含む、
ことを特徴とする請求項１に記載の方法。
前記現在の回転行列に従って単位球上のすべてのポイントを回転させ、安定したビデオフレームを生成する工程は、具体的に、以下の公式を採用することを特徴とする請求項７に記載の方法。
ここで、ｘ，ｙ，ｚは単位円が回転する前の球面座標を表し、ｘ_ｎｅｗ，ｙ_ｎｅｗ，ｚ_ｎｅｗは回転後の球面座標を表し、Ｍ_ｋは現在の回転行列を表し、ｔは変位ベクトルｔ＝［０，０，０］^Ｔを表す、
パノラマビデオジッター補正のシステムであって、前記システムは、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得するための取得モジュールと、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定するための推定モジュールと、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算するための計算モジュールと、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成するためのビデオフレーム生成モジュールと、を含む、
ことを特徴とするシステム。
前記システムは、ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理するためのノイズ低減モジュールを含む、
ことを特徴とする請求項９に記載のシステム。
前記推定モジュールは、具体的に、
直前の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、現在の状態の状態遷移行列Ｆ_ｋと、プロセスノイズＱを利用して、現在の状態の推定誤差共分散行列Ｐ_{ｋ｜ｋ−１}を推定するための誤差共分散行列推定モジュールと、
推定した現在の状態の誤差共分散行列Ｐ_{ｋ｜ｋ−１}と、観測行列Ｈ_ｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋ_ｋを計算するための最適カルマン利得行列モジュールと、
ことを特徴とする請求項９又は請求項１０に記載のシステム。
前記ビデオフレーム生成モジュールは、具体的に、
経緯画像上のポイントを球形画像上のポイントにマッピングするためのマッピングモジュールと、
単位球上の全モジュールのポイントをトラバースし、現在の回転行列に従って単位球上の全モジュールのポイントを回転させ、安定したビデオフレームを生成するための回転モジュールと、を含む、
ことを特徴とする請求項７に記載のシステム。
携帯端末であって、
メモリと、プロセッサとを含み、
前記プロセッサと前記メモリとは、バスにより電気的に接続され、
前記メモリは、ソフトウェアプログラム及びモジュールを記憶することに用いられ、
前記プロセッサは、メモリに記憶されたプログラムコードを呼び出すことに用いられ、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転ベクトルを計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を実行する、
ことを特徴とする携帯端末。