JP2022514321A - パノラマ映像の手ぶれ補正方法及び携帯端末 - Google Patents

Abstract

本願は映像分野に適用し、パノラマ映像の手ぶれ補正方法及び携帯端末を提供する。前記方法は、ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、拡張カルマンフィルタを用いてカメラの動きを平滑化することと、平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを合成し、前記仮想レンズの回転量を算出することと、前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、を含む。本願はカメラの動きを分解し、仮想なレンズ動きを合成することにより、垂直及び水平方向以外の他の方向の動きをフィルタリングすることができ、安定した映像を生成できる。【選択図】図１

Description

本願はパノラマ映像分野に属し、特にパノラマ映像の手ぶれ補正方法及び携帯端末に関する。

現在、パノラマ映像を撮影するときに、通常はパノラマ撮影設備を手持ちで撮影する。そして、移動して撮影する際に、人の手が不安定であるため、パノラマ撮影映像にジッタが発生する場合がある。パノラマ視野角を取得する場合、カメラの動き又は揺れによりオリジナルのレンズ焦点が失われ、パノラマ映像の視聴体験に影響を与えることが多い。現在解決方法の一つとしては、雲台でパノラマ撮影設備を安定させ、撮影される画面を安定させることである。しかしながら、欠点としては、雲台が高価で体積が一般的に大きく、そして、手持ちのパノラマ撮影設備で映像を撮影する際に画面にジッタが発生するという課題を完全に解決することができない。

パノラマ映像の視聴者がパノラマ映像を視聴しているときに、パノラマ映像の垂直及び水平の２方向の視野角のみを視聴したい場合、映像において垂直方向及び水平方向に変化する視野角が保留され安定に保たれる必要があるため、垂直方向及び水平方向の動き状態のみを保留するパノラマ映像の手ぶれ補正方法を検討する必要がある。

本願は、パノラマ映像視野角を取得する時にオリジナルのレンズ焦点が失われるという課題を解決し、垂直及び水平方向において平滑化され安定した映像を生成し、そしてカメラのオリジナルの撮影視野角を保留することができるパノラマ映像の手ぶれ補正方法、コンピュータ読み取り可能な記憶媒体、及び携帯端末を提供することを目的とする。

第一態様では、本願は、
ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、
拡張カルマンフィルタを用いてカメラの動きを平滑化することと、
平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを合成し、前記仮想レンズの回転量を算出することと、
前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、を含むパノラマ映像の手ぶれ補正方法を提供する。

第二態様では、本願はプロセッサによって実行される時に、上述したパノラマ映像の手ぶれ補正方法のステップが実現されるコンピュータープログラムが記憶されるコンピュータ読み取り可能な記憶媒体を提供する。

第三態様，本願は、
一つまたは複数のプロセッサと、
メモリと、
前記メモリに記憶され、前記一つまたは複数のプロセッサによって実行されるように構成され、前記プロセッサによって実行される時に上述したパノラマ映像の手ぶれ補正方法のステップが実現される一つまたは複数のコンピュータープログラムと、を含む携帯端末を提供する。

本願において、カメラの動きを分解し、垂直及び水平方向の動きのみが保留されるｅＰＴＺモードの仮想なレンズ動きを合成することにより、パノラマ映像を再生する時に、レンズの焦点が常に垂直及び/または水平方向に変化し、オリジナルのカメラ動きにおける他の方向の変化がフィルタリングされるようにすることができる。従って、該方法では、レンダリングレンズの動きを平滑に保って、安定した映像を生成し、そして、カメラオリジナルの撮影視野角を保留でき、ノイズが大きいシーン及び大部分の動きシーンに対しては、非常に強いロバスト性を有する。

本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法のフローチャートである。 本願の実施例３に提供される携帯端末の概略構造図である。

本願の目的、技術案および利点をより明確にするために、以下、添付した図面および実施例を参照して本願を更に詳細に説明する。ここで記載の具体的な実施例はただ本願を解釈するために用いられ、本願を限定するものではない。
本願に記載の技術案を説明するために、以下具体的な実施例をもって説明する。

実施例１
図１を参照し、本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法は以下のステップを含む。

Ｓ１０１において、ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得する。

本願の実施例１において、Ｓ１０１は具体的に以下の通りであってもよい。

Ｓ１０２において、拡張カルマンフィルタを用いてカメラの動きを平滑化する。

拡張カルマンフィルタアルゴリズムとは、非線形システムを線性化してから、カルマンフィルタを行うものである。カルマンフィルタは高効率の再帰型フィルタであり、一連のノイズを完全に含むわけではない測定から動的システムの状態を推定することが可能である。

Ｓ１０３において、平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを合成し、前記仮想レンズの回転量を算出する。

本願の実施例１において、Ｓ１０３は具体的に以下の通りであってもよい。

平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを合成し、前記仮想レンズの回転量を算出することは具体的に以下の通りである。

Ｓ１０４において、前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成する。

本願の実施例１において、Ｓ１０４は具体的に以下の通りであってもよい。

オリジナルの映像フレームにおける画素と、出力映像フレームにおける画素との対応関係を算出し、続いて対応関係に基づいてオリジナルの映像フレームに補間リサンプリングを行って、出力映像フレームを生成し、最終に安定した映像を生成する。

実施例２
本願の実施例２は、プロセッサによって実行される時に、本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法のステップが実現されるコンピュータープログラムが記憶されるコンピュータ読み取り可能な記憶媒体が提供する。

前記コンピュータ読み取り可能な記憶媒体は、非一時的コンピュータ読み取り可能な記憶媒体である。

実施例３
図２は本願の実施例３に提供される携帯端末の具体的な構造を示すブロック図であり、携帯端末１００は、一つまたは複数のプロセッサ１０１と、メモリ１０２と、一つまたは複数のコンピュータープログラムを含み、前記プロセッサ１０１と前記メモリ１０２はバスによって接続され、前記一つまたは複数のコンピュータープログラムは前記メモリ１０２に記憶され、前記一つまたは複数のプロセッサ１０１によって実行されるように構成され、前記プロセッサ１０１が前記コンピュータープログラムを実行する時に、本願の実施例１に提供されるパノラマ映像の手ぶれ補正方法のステップが実現される。

本願の実施例において、カメラの動きを分解し、垂直及び水平方向の動きのみが保留されるｅＰＴＺモードの仮想なレンズ動きを合成することにより、ユーザがパノラマ映像を視聴する時に、レンズの焦点が常に垂直及び/または水平方向に変化し、オリジナルのカメラ動きの他の方向の変化がフィルタリングされて、パノラマ映像の水平方向の動きのみが保留されることに達成できる。従って、、該方法では、レンダリングレンズの動きを平滑に保って、安定した映像を生成し、そしてカメラオリジナルの撮影視野角を保留でき、ノイズが大きいシーン及び大部分の動きシーンに対しては非常に強いロバスト性を有する。

当業者であれば理解できるように、上記実施例の様々な方法における全部又は一部のステップは、プログラムによって関連するハードウェアが指示されることにより完成される可能であり、該プログラムは、読み取り専用メモリ（ＲＯＭ，Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のコンピュータ読み取り可能な記憶媒体に記憶することができる。

以上は本願の好適な実施例に過ぎず、本願を限定するものではなく、本願の精神及び原則内に行われるいかなる修正、均等置換及び改良等は、いずれも本願の保護範囲内に含まれるべきである。

Claims (13)

1. ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、
   拡張カルマンフィルタを用いてカメラの動きを平滑化することと、
   平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを合成し、前記仮想レンズの回転量を算出することと、
   前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、を含む
   ことを特徴とするパノラマ映像の手ぶれ補正方法。
2. 
3. 
4. 
5. 
6. 
7. プロセッサによって実行される時に、請求項１～６のいずれか一項に記載のパノラマ映像の手ぶれ補正方法のステップが実現されるコンピュータープログラムが記憶されるコンピュータ読み取り可能な記憶媒体。
8. 一つまたは複数のプロセッサと、
   メモリと、
   前記メモリに記憶され、前記一つまたは複数のプロセッサによって実行されるように構成される一つまたは複数のコンピュータープログラムと、を含む携帯端末において、
   前記プロセッサが前記コンピュータープログラムを実行する時に、
   ワールド座標系におけるいずれかの参考点のワールド座標をリアルタイムに取得すると同時に、携帯端末における前記参考点に対応するカメラ座標、及び携帯端末におけるジャイロスコープの現時点状態の角速度値を取得することと、
   拡張カルマンフィルタを用いてカメラの動きを平滑化することと、
   平滑化された動きに分解処理を行い、ｅＰＴＺモードの仮想レンズ動きを合成し、前記仮想レンズの回転量を算出することと、
   前記仮想レンズの回転量と、カメラ座標をワールド座標に変換する回転行列に基づいてオリジナルの映像を再投影して、安定した映像を生成することと、
   を含むパノラマ映像の手ぶれ補正方法のステップが実現される
   ことを特徴とする携帯端末。
9. 
10. 
11. 
12. 
13. 

Images