JP2021525009A - 電子式手ぶれ補正方法、画像取得装置及び移動可能なプラットフォーム - Google Patents

Abstract

【課題】表示の安定度及び観賞体験の向上に役立つ電子式手ぶれ補正方法、画像取得装置、移動可能なプラットフォーム及び機械読み取り可能な記憶媒体を提供する。【解決手段】電子式手ぶれ補正方法が、１フレームの手ぶれ補正対象の図像及びその露光時間を取得することと、露光時刻前の１つ以上の第１の姿勢データ及び露光時刻後の１つ以上の第２の姿勢データを取得することと、第１の姿勢データ及び第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することと、目標姿勢に基づいて手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を取得することと、を含む。【選択図】図１

Description

本発明の実施例は、制御の技術分野に関し、特に電子式手ぶれ補正方法、画像取得装置、移動可能なプラットフォーム及び機械読み取り可能な記憶媒体に関する。

現在、ほとんどの画像取得装置（例えば、モーションカメラ）は電子式手ぶれ補正アルゴリズムを備えており、電子式手ぶれ補正アルゴリズム（Ｅｌｅｃｔｒｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ、ＥＩＳ）によって画像取得装置が取得したビデオ（又は画像）の姿勢補正を行う。例えば、１フレームの画像を露光した後、ＥＩＳアルゴリズムは、露光時刻前の一定の時間内にジャイロスコープによって収集された空間姿勢データをローパスフィルタリングして、平滑な曲線（即ち、目標姿勢）を生成する。その後に、ＥＩＳアルゴリズムは、目標姿勢の曲線に基づいて姿勢補償量を算出し、かつ姿勢補償量に基づいてビデオを補正することにより、ユーザーが比較的にスムーズなビデオ画面を観賞できるようにする。

関連技術において、ＥＩＳアルゴリズムが平滑な曲線を生成する過程において、ローパスフィルタを使用する必要があるが、ローパスフィルタは、フィルタリング過程において秒レベルの時間遅延が発生し、ユーザーがこの遅延期間に画像取得装置を回転させると、画像取得装置のリアルタイムな姿勢と目標姿勢との間に大きな偏差が生じ、その結果、ビデオ画面にブレやジッターが発生し、視聴体験を低下させる。

本発明の実施例は、電子式手ぶれ補正方法、画像取得装置、移動可能なプラットフォーム及び機械読み取り可能な記憶媒体を提供する。

第１の態様では、本発明の実施例は、
１フレームの手ぶれ補正対象の画像及びその露光時刻を取得することと、
前記露光時刻前の１つ以上の第１の姿勢データ及び前記露光時刻後の１つ以上の第２の姿勢データを取得することと、
前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することと、
前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得ることと、を含む電子式手ぶれ補正方法を提供する。

第２の態様では、本発明の実施例は、プロセッサ、画像センサー及び空間姿勢センサーを含み、
前記プロセッサが、それぞれ前記画像センサー及び前記空間姿勢センサーに通信接続され、
前記プロセッサが、
１フレームの手ぶれ補正対象の画像及びその露光時間を取得することと、
前記露光時刻前の１つ以上の第１の姿勢データ及び前記露光時刻後の１つ以上の第２の姿勢データを取得することと、
前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することと、
前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得ることに用いられる画像取得装置を提供する。

第３の態様では、本発明の実施例は、本体と、前記本体に設置された給電バッテリと、動力システムと、飛行コントローラと、第２の態様に記載の画像取得装置と、を含み、前記給電バッテリが、前記動力システムに給電することができ、前記動力システムが、前記無人航空機に飛行動力を提供することができる移動可能なプラットフォームを提供する。

第４の態様では、本発明の実施例は、実行される時に第３の態様に記載の方法のステップを実現する複数のコンピュータ命令を記憶する機械読み取り可能な記憶媒体を提供する。

上記技術的解決手段から分かるように、本実施例では、露光時刻前の第１の姿勢データ及び前記露光時刻後の第２の姿勢データを取得することにより、第１の姿勢データ及び第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得し、その後に、前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得ることができる。このように、本実施例では、第２の姿勢データから手ぶれ補正対象の画像を露光した後の画像取得装置の運動状況を確定することができ、それにより画像取得装置の実際運動をフィルタリングした後に１本の平滑な目標姿勢を得ることを保証し、手ぶれ補正された画像にジッターなどが発生するという現象を避け、表示の安定度及び観賞体験を向上させるのに役立つ。

本発明の実施例における技術手段をより明らかに説明するために、以下、実施例の説明に必要な図面を簡単に説明するが、明らかに、以下に記載の図面は本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労働を行わない前提下で、これらの図面に基づいて他の図面を取得することができる。
本発明の実施例に係る電子式手ぶれ補正方法のフローチャートである。 本発明の実施例に係る目標姿勢を取得するフローチャートである。 本発明の実施例に係る実際姿勢及び目標姿勢の概略図である。 本発明の実施例に係る目標姿勢の概略図である。 本発明の実施例に係る別の電子式手ぶれ補正方法のフローチャートである。 本発明の実施例に係る別の電子式手ぶれ補正方法のフローチャートである。

以下に本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確で、完全に説明する。明らかなことに、説明される実施例は本発明の実施例の一部にすぎず、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的労働を行わずに得られる他の全ての実施例は、本発明の保護の範囲に属するものである。また、下記実施例及び実施例における特徴は、矛盾しない限り、互いに組み合わせることができる。

現在、ほとんどの画像収集装置（例えば、モーションカメラ）は、電子的手ぶれ補正アルゴリズムを備えており、電子的手ぶれ補正アルゴリズム（Ｅｌｅｃｔｒｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ、ＥＩＳ）により画像収集装置が取得したビデオ（又は画像）の姿勢補正を行う。例えば、１フレームの画像を露光した後、ＥＩＳアルゴリズムは、露光時刻前の一定の時間内にジャイロスコープにより収集された空間姿勢データをローパスフィルタリングして、平滑な曲線（即ち、目標姿勢）を生成する。その後に、ＥＩＳアルゴリズムは、目標姿勢の曲線に基づいて姿勢補償量を算出し、かつ姿勢補償量に基づいてビデオを補正することにより、ユーザーが比較的スムーズなビデオ画面を観賞できるようにする。

関連技術において、ＥＩＳアルゴリズムが平滑な曲線を生成する過程において、ローパスフィルタを使用する必要があり、しかしながら、ローパスフィルタは、フィルタリング過程において秒間レベルの時間遅延が発生し、ユーザーがこの遅延期間に画像収集装置を回転させると、画像収集装置のリアルタイムな姿勢と目標姿勢に大きな偏差をもたらし、その結果、ビデオ画面にブレやジッターが発生し、視聴体験を低下させる。

このため、本発明の実施例は、電子式手ぶれ補正方法を提供し、その発明構想は、手ぶれ補正対象の画像の露光時刻前及びその後の姿勢データを使用し、実際姿勢をローパスフィルタリングして、より平滑な目標姿勢を得ることができ、その後に、目標姿勢に基づいて手ぶれ補正対象の画像を手ぶれ補正し、それによりビデオ画面の安定を保証し、ブレやジッターが発生するという現象を避け、観賞体験を向上させる。

図１は、本発明の実施例に係る電子式手ぶれ補正方法のフローチャートであり、画像取得装置、例えば、（モーション）カメラ、モニター、手持ち雲台などに適用することができる。図１に示すように、電子式手ぶれ補正方法は、ステップ１０１からステップ１０４を含み、ステップ１０１では、１フレームの手ぶれ補正対象の画像及びその露光時刻を取得する。

本実施例では、画像取得装置内の画像センサーは、手ぶれ補正対象の画像である原画像を取得することができる。画像センサーは、ＣＣＤ、モニターなどであり得る。画像センサーは、各フレームの手ぶれ補正対象の画像を取得する過程において、またこのフレームの手ぶれ補正対象の画像のタイムスタンプを取得し、例えば、タイムスタンプは、このフレームの手ぶれ補正対象の画像の露光時刻であってもよく、さらに露光時刻に基づいて予め設定されたアルゴリズムを使用して生成されてもよく、本願ではそれを限定しない。以降の実施例では、タイムスタンプについて、いずれも露光時刻を例として説明する。

本実施例では、画像取得装置内のプロセッサは、画像センサーと通信することができ、このようにプロセッサは、画像センサーから手ぶれ補正対象の画像及びその露光時刻を取得することができる。本実施例では、画像取得装置内に先入れ先出しメモリ（ＦＩＦＯ）を設置することができ、プロセッサは、取得された手ぶれ補正対象の画像をＦＩＦＯに記憶する。又は、画像センサーは、手ぶれ補正対象の画像を取得した後にそれをＦＩＦＯに記憶し、次いでプロセッサは、ＦＩＦＯから手ぶれ補正対象の画像を直接的に読み取る。

本実施例では、プロセッサが１フレームの手ぶれ補正対象の画像を取得する前に、まず画像センサーによって収集された所定数のフレームの手ぶれ補正対象の画像を取得することができ、それによりローパスフィルタがフィルタリングするのに十分な時間遅延を有することを保証する。

所定数は、予め設定することができ、例えば、１秒間内の手ぶれ補正対象の画像を取得する場合、画像センサーの取得頻度が３０ｆｐｓであれば、所定数のフレームを３０フレームにして、画像センサーの収集頻度が６０ｆｐｓであれば、所定数のフレームを６０フレームにする。

また、該所定数はさらに、画像取得装置内に予め設けられたローパスフィルタに応じて対応付けてもよく、例えば、ローパスフィルタが画像取得装置の実際姿勢をフィルタリングするための時間が短いと、所定数を適切に大きく調節してもよく、ローパスフィルタが画像取得装置の実際姿勢をフィルタリングするための時間が長いと、所定数を適切に小さく調節してもよい。

即ち、本実施例では、所定数を具体的なシーンに応じて調節することができ、手ぶれ補正対象の画像のキャッシングを実現できる場合、対応する解決手段は、本願の保護の範囲内に含まれる。

本実施例では、ローパスフィルタは、ＦＩＲフィルタ、ＩＩＲフィルタのうちの少なくとも１種を含む。なお、当業者は、具体的なシーンに応じて適切なローパスフィルタを選択することができ、ローパスフィルタリングが実現できる場合、対応するフィルタは、本願の保護範囲内に含まれる。

ステップ１０２では、前記露光時刻前の１つ以上の第１の姿勢データ及び前記露光時刻後の１つ以上の第２の姿勢データを取得する。

本実施例では、画像取得装置内の空間姿勢センサーは、画像取得装置の異なる時間での姿勢データを周期的に収集することができる。空間姿勢センサーは、三軸ジャイロスコープ、三軸加速度計、三軸電子フロッピーディスク、ＧＰＳなどを含むことができ、当業者であれば具体的なシーンに応じて選択することができ、ここで限定しない。

空間姿勢センサーが姿勢データを収集する周期は、画像センサーが手ぶれ補正対象の画像を取得する周期と対応付けてもよく、例えば、１秒間内に３００個の姿勢データを収集し、３０フレームの手ぶれ補正対象の画像を取得するとしてもよく、当然のことながら、空間姿勢センサーが姿勢データを収集する周期と、画像センサーが手ぶれ補正対象の画像を取得する周期とは、無関係としてもよい。当業者であれば具体的なシーンに応じて調節することができ、ここで限定しない。

本実施例では、空間姿勢センサーが姿勢データを収集するとき、同様に姿勢データのタイムスタンプ、例えば、収集時間、収集時間に基づいて予め設定されたアルゴリズムを用いて生成したマークなどを生成し、本願では限定しない。

理解できるものとして、姿勢データ中に、各フレームの手ぶれ補正対象の画像のタイムスタンプにマッチングする姿勢データが存在する。タイムスタンプマッチングとは、タイムスタンプが同じであるか又はタイムスタンプの差分値が設定閾値より小さいことである。設定閾値を具体的なシーンに応じて設定し、例えば、０．０１秒に設定することができ、ここで限定しない。

本実施例では、プロセッサは、ステップ１０１における露光時刻を取得し、露光時刻に基づいて露光時刻前の第１の姿勢データ及び露光時刻後の第２の姿勢データを取得することができる。第１の姿勢データの数は、１つ以上であってもよく、第２の姿勢データの数は、１つ以上であってもよい。従来技術において露光時刻前の姿勢（本願の第１の姿勢データと理解できる）のみを採用する場合と比較して、本実施例では、第１の姿勢データをもとに第２の姿勢データを追加し、よって姿勢データの時間スパンを拡大し、画像取得装置の露光時刻後の低周波数運動が目標姿勢に影響しないことを保証することができる。

一実施例では、姿勢データはさらに、露光時刻に対応する第３の姿勢データを含む。この場合に、プロセッサは、第３の姿勢データを第１の姿勢データ中の最後の姿勢データとして、第３の姿勢データを第２の姿勢データ中の１番目の姿勢データとするように、第３の姿勢データを第１の姿勢データ第１の姿勢データ及び第２の姿勢データに合わせることができる。当然のことながら、第１の姿勢データ及び第２の姿勢データの数が多い場合、姿勢データを使用しなくてもよい。当業者であれば具体的なシーンに応じて調節することができ、ここで限定しない。

いくつかの実施例では、第１の姿勢データが第１の時間帯に対応し、第２の姿勢データが第２の時間帯に対応し、第１の姿勢データに対応する第１の時間帯とは、第１の姿勢データにおける１番目の姿勢データと、最後の姿勢データに対応するタイムスタンプの時間差を指す。なお、第１の姿勢データ又は第２の姿勢データが１つの姿勢データのみを含むと、１つの時刻に対応し、この場合、この時刻を例えば０．０１秒のような小さい所定値で代替することができる。

なお、ステップ１０１では、ＦＩＦＯ内に記憶された画像は、第１の時間帯と第２の時間帯との和より小さい第３の時間帯に対応し、これにより、第１フレーム又は最後のフレームの手ぶれ補正対象の画像は、続の手ぶれ補正効果を保証するための十分な姿勢データに対応することができる。

一例では、第１の時間帯及び第２の時間帯の値の範囲は、０．５秒〜１．０秒を含むことができる。ローパスフィルタリングのタイプ及びその動作効率を考慮すると、第１の姿勢データに対応する第１の時間帯と第２の姿勢データに対応する第２の時間帯とは同じであり、例えば両者がいずれも０．５秒である。この場合、対称的なローパスフィルタを使用することにより、フィルタリングの速度を向上させることができる。

別の例では、第１の姿勢データに対応する第１の時間帯と第２の姿勢データに対応する第２の時間帯とは異なるが、対称的なローパスフィルタを使用することにより、フィルタリングの正確率を向上させることができる。

実際の応用において、各フレームの手ぶれ補正対象の画像が１組の姿勢データ（即ち、第１の姿勢データ及び第２の姿勢データ）に対応することを考慮すると、各フレームの手ぶれ補正対象の画像をキャッシングすると共に姿勢データの記憶アドレスをこのフレームの手ぶれ補正対象の画像の特徴データとすることができ、これによって、プロセッサは、各フレームの手ぶれ補正対象の画像を読み取る時に、対応する記憶アドレスから姿勢データを読み取り、読み取り効率を向上させることができる。

更なる実施例では、隣接する２フレームの手ぶれ補正対象の画像について、データ計算量を減少させるために、前の１フレームの手ぶれ補正対象の画像の第２の姿勢データと後の１フレームの手ぶれ補正対象の画像の第１の姿勢データとは重ならなくてもよい。又は、前の１フレームの手ぶれ補正対象の画像の第２の姿勢データと後の１フレームの手ぶれ補正対象の画像の第１の姿勢データとは一部重なることによって、その後に得られる目標姿勢がより平滑になることを保証する。

ステップ１０３では、前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得する。

本実施例では、図２に示すように、プロセッサは、予め設けられたローパスフィルタを取得することができる（ステップ２０１に対応）。ローパスフィルタは、ＦＩＲフィルタ、ＩＩＲフィルタのうちの少なくとも１種を含む。

その後に、プロセッサは、第１の姿勢データ及び第２の姿勢データをいずれもローパスフィルタの入力データとし、かつローパスフィルタに入力し、ローパスフィルタで第１の姿勢データ及び第２の姿勢データ中の、遮断周波数より大きい高周波数信号をフィルタリングして除去して、第１の姿勢データ及び第２の姿勢データ中の、遮断周波数以下の低周波数信号を取得する（ステップ２０２に対応）。ローパスフィルタが周波数領域変換の機能を備えれば、第１の姿勢データ及び第２の姿勢データをローパスフィルタに直接的に入力することができ、ローパスフィルタが周波数領域変換の機能を備えなければ、第１の姿勢データ及び第２の姿勢データの周波数領域を変換した後、周波数領域が変換された第１の姿勢データ及び第２の姿勢データをローパスフィルタに入力する必要があることは理解されるであろう。周波数領域の変換方法について、関連技術を参照することができ、ここで限定しない。

ローパスフィルタの遮断周波数の値の範囲は、０．５Ｈｚ〜１０Ｈｚである。本実施例では、ローパスフィルタの遮断周波数は、０．５Ｈｚである。理解できるものとして、ローパスフィルタの遮断周波数が低ければ低いほど、その姿勢データ中の高周波信号をフィルタリングする性能が高く、得られる目標姿勢が平滑であり、即ち画像取得装置の運動状態が緩やかであればあるほど、その後のビデオ画像の表示に対する影響が低い。

その後に、プロセッサは、第１の姿勢データ及び第２の姿勢データ中の遮断周波数以下の低周波数信号に基づき、画像取得装置の露光時刻に対応する目標姿勢を生成することができる（ステップ２０３に対応）。画像取得装置の単調運動を例として、単調運動とは、画像取得装置が１つの方向に向かって等速、加速、減速などを含む運動をすることを指す。

等速運動を例として、図３に示すように、画像取得装置の実際姿勢が図３の（ａ）図に示すとおりであり、図３の（ａ）図において実際露光点ＥＴ、露光時刻Ｔ０が示され、姿勢データは、露光時刻Ｔ０前の第１の時間帯Ｔ１内の第１の姿勢データ、露光時刻Ｔ０後の第２の時間帯Ｔ２内の第２の姿勢データを含む。

図３の（ｂ）図に示すように、プロセッサは、第１の姿勢データを収集し、収集、記憶及び前処理などの作業でかかる時間がＤｅｌｔａ−ｔ１であり、第１の姿勢データが１つの実際姿勢ＩＴに対応し、該第１の姿勢データに基づいて目標姿勢ＩＥを得ることができる。ローパスフィルタをメジアンフィルタとして用いる場合、第１の姿勢データの中央値点ＥＥは、Ｔ１／２に位置する。その後の実際露光点ＥＴにおける手ぶれ補正対象の画像に対して中央値点ＥＥにおけるデータを利用して手ぶれ補正を行うため、中央値点ＥＥと実際露光点ＥＴとの間に時間遅延Ｄｅｌｔａ−ｔ２が存在し、ここでは、Ｄｅｌｔａ−ｔ２がＴ１／２に等しい。該時間遅延は、ローパスフィルタにより得られた処理結果、即ち中央値点ＥＥと実際露光点ＥＴとの偏差であり、もしくは、フィルタリング誤差として理解されてもよく、画像取得装置が時間遅延Ｄｅｌｔａ−ｔ２期間においてブレが発生する場合、中央値点ＥＥにおけるデータを利用して手ぶれ補正対象の画像を手ぶれ補正すると、偏差が生じる。

図３の（ｃ）図に示すように、プロセッサは、第１の姿勢データ及び第２の姿勢データを収集し、ここでは、第１の姿勢データ及び第２の姿勢データの収集、記憶及び前処理などの作業でかかる時間はＤｅｌｔａ−ｔ１であり、姿勢データ及び第２の姿勢データは１つの実際姿勢ＩＴに対応し、Ｔ１とＴ２が等しい場合を例として、プロセッサは、姿勢データ及び第２の姿勢データに基づいて目標姿勢ＩＥを得ることができる。ローパスフィルタをメジアンフィルタとして用いる場合、第１の姿勢データ及び第２の姿勢データの中央値点ＥＥは、Ｔ１／２に位置し、即ち実際露光点ＥＴと重なっており、それにより（ｂ）図にあるＴ１／２の時間遅延の発生を回避でき、つまり、Ｄｅｌｔａ−ｔ２が０に等しい。このように、その後にＥＴでの手ぶれ補正対象の画像に対して中央値点ＥＥにおけるデータを利用して手ぶれ補正を行う場合、画像取得装置にブレが発生せず、このように中央値点ＥＥにおけるデータを利用して手ぶれ補正対象の画像を手ぶれ補正する結果は比較的に正確である。

なお、第１の時間帯と第２の時間帯とが同じである場合、中央値点ＥＥと実際露光点との位置が重なっているか又は接近し、即ち画像取得装置の実際姿勢と目標姿勢とは重なっている。プロセッサが姿勢データを取得して記憶するために時間遅延Ｄｅｌｔａ−ｔ１が必要とされることを考慮すると、実際姿勢と目標姿勢との間の変動は、図４に示すものであり得る。図４は、実際姿勢及び目標姿勢の概略図を示し、図４に示すように、番号１が指す曲線は、画像取得装置の実際姿勢であり、番号２が指す曲線は、画像取得装置の目標姿勢である。図４中の２つの矩形領域１０及び２０を例として、矩形領域１０内の実際姿勢１にジッター部分１１が存在し、ローパスフィルタリングした後に、目標姿勢２のジッター部分１１に対応する領域１２が既に平滑になり、矩形領域２０内の番号２１と番号２２に対応する結果が類似し、ここで説明しない。

本実施例では、第１の時間帯と第２の時間帯とが異なる場合、両者の差が大きいほど、中央値点ＥＥと実際露光点との位置の間の時間遅延が大きい。理解できるものとして、第２の時間帯における第２の姿勢データが追加されるため、中央値点ＥＥと実際露光点との間の時間遅延は、依然として（ｂ）図に示される中央値点ＥＥと実際露光点ＥＴとの間の時間遅延より小さく、即ち（ｃ）図中のＩＥが（ｂ）図中のＩＥより平滑である。

理解できるものとして、電子式手ぶれ補正方法の効率を保証するために、一実施例では、中央値点ＥＥと実際露光点ＥＴとの間の時間遅延は、予め設定された時間遅延閾値を超えてはならず、即ち目標姿勢のゼロ周波数と画像取得装置の実際姿勢のゼロ周波数との間の時間遅延は、予め設定された時間遅延閾値以下である。時間遅延閾値の値の範囲は、０〜０．５秒を含むことができ、任意選択で、時間遅延閾値は、０．１秒又は０．５秒であり得る。

ステップ１０４では、前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得る。

本実施例では、図５に示すように、プロセッサは、所定の方式に従って前記手ぶれ補正対象の画像を分割し、複数のサブ画像を得る（ステップ５０１に対応）。所定の方式は、グリッド分割、均一分割のうちの少なくとも１種を含むことができる。その後に、プロセッサは、手ぶれ補正対象の画像の露光時刻の対応する目標姿勢を基準として、複数のサブ画像のうちの少なくとも１つをスティッチングして、手ぶれ補正された目標画像となる１フレームのスティッチ画像を生成する（ステップ５０２に対応）。

理解できるものとして、目標画像のサイズは、手ぶれ補正対象の画像のサイズより小さい。言い換えれば、目標画像は、手ぶれ補正対象の画像から切り出された一部の画像である。

なお、スティッチング過程において、目標姿勢が手ぶれ補正対象の画像のエッジに接近する可能性があり、この場合、目標画像内に手ぶれ補正対象の画像のエッジ領域又はその以外の空白領域が含まれないように保証するために、目標姿勢を適切に平行移動させる必要がある。

一例では、プロセッサは、直接的に各手ぶれ補正対象の画像の露光時刻の対応する目標姿勢に基づいて手ぶれ補正対象の画像を手ぶれ補正し、手ぶれ補正過程を図５に示される解決手段を参照されたい。

一例では、プロセッサは、前の１フレームの目標画像を取得することができ、目標画像が手ぶれ補正対象の画像の境界を超えないと、プロセッサは、各手ぶれ補正対象の画像を直接的に手ぶれ補正し、
目標画像の境界と手ぶれ補正対象の画像の境界とが重なると、プロセッサは、目標画像の境界が手ぶれ補正対象の画像の境界を超えないように維持する前提で、各手ぶれ補正対象の画像を手ぶれ補正する。

理解できるものとして、本実施例では、２種の画像手ぶれ補正の例のみを示したが、当業者は具体的なシーンに応じて適切な画像手ぶれ補正方法を選択することができ、対応する解決手段は、本願の保護の範囲内に含まれる。

図６に示すように、プロセッサは、各フレームの手ぶれ補正対象の画像を順に手ぶれ補正した後、入力ビデオへの手ぶれ補正を実現することができ、それにより、ビデオが出力されて表示されると、比較的に安定した画像を表示することができる。

以上から分かるように、本実施例では、露光時刻前の第１の姿勢データ及び前記露光時刻後の第２の姿勢データを取得することにより、第１の姿勢データ及び第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得し、その後に、前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得ることができる。このように、本実施例では、第２の姿勢データから手ぶれ補正対象の画像を露光した後の画像取得装置の運動状況を確定することができ、それにより画像取得装置の実際運動をフィルタリングした後に平滑な目標姿勢を得ることを保証し、手ぶれ補正された画像にジッター又はブレが発生するという現象を避け、表示の安定度及び観賞体験を向上させるのに役立つ。

本発明の実施例は、プロセッサ、画像センサー及び空間姿勢センサーを含む画像取得装置をさらに提供し、前記プロセッサは、前記画像センサーと前記空間姿勢センサーとにそれぞれ通信接続され、前記プロセッサは、
１フレームの手ぶれ補正対象の画像及びその露光時刻を取得することと、
前記露光時刻前の１つ以上の第１の姿勢データ及び前記露光時刻後の１つ以上の第２の姿勢データを取得することと、
前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することと、
前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得ることと、に用いられる。

一実施例では、前記プロセッサは、１フレームの手ぶれ補正対象の画像を取得する前に、さらに、画像取得装置内の画像センサーによって収集された、タイムスタンプを含む所定数のフレームの手ぶれ補正対象の画像を取得するために用いられる。

一実施例では、前記手ぶれ補正対象の画像は、所定数のフレームの画像を記憶可能な先入れ先出しメモリに記憶される。

一実施例では、前記プロセッサは、１フレームの手ぶれ補正対象の画像を取得する前に、さらに、
前記画像取得装置内の空間姿勢センサーによって収集された姿勢データを取得ために用いられ、前記姿勢データは、前記第１の姿勢データ及び前記第２の姿勢データ、及び露光時刻の第３の姿勢データを含み、前記姿勢データは、タイムスタンプを含み、前記姿勢データに、各手ぶれ補正対象の画像のタイムスタンプにマッチングする姿勢データが存在する。

一実施例では、前記第１の姿勢データに対応する第１の時間帯と前記第２の姿勢データに対応する第２の時間帯とは同じであり、又は、
前記第１の姿勢データに対応する第１の時間帯と前記第２の姿勢データに対応する第２の時間帯とは異なる。

一実施例では、前記第１の時間帯及び前記第２の時間帯の値の範囲は、０．５〜１．０秒を含む。

一実施例では、隣接する２フレームの手ぶれ補正対象の画像に対して、前の１フレームの手ぶれ補正対象の画像の第２の姿勢データと後の１フレームの手ぶれ補正対象の画像の第１の姿勢データとは、一部重なっている。

一実施例では、前記手ぶれ補正対象の画像がある先入れ先出しメモリに記憶された画像は、前記第１の時間帯と前記第２の時間帯の和より小さい第３の時間帯に対応する。

一実施例では、前記プロセッサが、前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することは、
予め設けられたローパスフィルタを取得することと、
前記第１の姿勢データ及び前記第２の姿勢データをローパスフィルタに入力し、前記ローパスフィルタで前記第１の姿勢データ及び前記第２の姿勢データ中の、遮断周波数より大きい高周波数信号をフィルタリングして除去して、前記第１の姿勢データ及び前記第２の姿勢データ中の、前記遮断周波数を超えない低周波数信号を取得することと、
前記第１の姿勢データ及び前記第２の姿勢データ中の、前記遮断周波数以下の低周波数信号に基づき、画像取得装置の前記露光時刻に対応する目標姿勢を生成することと、を含む。

一実施例では、前記目標姿勢のゼロ周波数と前記画像取得装置の実際姿勢のゼロ周波数との間の時間遅延は、予め設定された時間遅延閾値以下である。

一実施例では、前記時間遅延閾値の値の範囲は、０〜０．５秒を含む。

一実施例では、前記ローパスフィルタの遮断周波数の値の範囲は、０．５Ｈｚ〜１０Ｈｚである。

一実施例では、前記ローパスフィルタは、
ＦＩＲフィルタ、ＩＩＲフィルタのうちの少なくとも１種を含む。

一実施例では、前記プロセッサが、前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を取得することは、
所定の方式に従って前記手ぶれ補正対象の画像を分割し、複数のサブ画像を得ることと、
前記手ぶれ補正対象の画像の露光時刻の対応する目標姿勢を基準として、前記複数のサブ画像のうちの少なくとも１つをスティッチングして、手ぶれ補正された目標画像となる１フレームのスティッチ画像を生成することと、を含む。

本発明の実施例は、本体と、前記本体に設置された給電バッテリと、動力システムと、飛行コントローラと、上記実施例に記載の画像取得装置と、を含み、前記給電バッテリは、前記動力システムに給電することができ、前記動力システムは、前記無人航空機に飛行動力を提供することができる移動可能なプラットフォームをさらに提供する。

本発明の実施例は、実行されると、図１から図５に記載の方法のステップを実現する複数のコンピュータ命令を記憶する機械読み取り可能な記憶媒体をさらに提供する。

なお、本明細書において、第１の及び第２のような関係用語は、単に１つのエンティティ又は操作と別のエンティティ又は操作を区別するためのものにすぎず、必ずしもこれらのエンティティ又は操作の間にいかなるこのような実際の関係又は順序が存在することを要求するか又は示唆するものではない。用語「含む」、「備える」又はそれらの任意の他の変形は、非排他的な包含を意図することにより、一連の要素を含む過程、方法、物品又は装置は、それらの要素を含むだけでなく、明確に列挙されないその他の要素も含むか、或いはこのような過程、方法、物品又は装置に固有の要素も含む。更なる限定がない場合、語句「１つの．．．を含む」で限定された要素は、前記要素を含む過程、方法、物品又は装置には別の同じ要素がさらに存在することを排除するものではない。

以上は本発明の実施例の提供する検出装置及び方法を詳細に説明し、本発明は個別の具体例を応用して本発明の原理及び実施形態を説明するが、以上の実施例についての説明は、ただ本発明の方法及びその要旨の理解を容易にするためのものにすぎず、当業者は、本発明の精神に基づいて具体的な実施形態および応用範囲においていずれ変更するであろう、要するに、本明細書の内容は、本願を限定するものではない。

１ 実際姿勢
２ 目標姿勢
１０ 矩形領域
１１ ジッター部分
１２ 領域
２０ 矩形領域
ＥＥ 中央値点
ＥＴ 実際露光点

Claims (30)

1. １フレームの手ぶれ補正対象の画像及びその露光時刻を取得することと、
   前記露光時刻前の１つ以上の第１の姿勢データ及び前記露光時刻後の１つ以上の第２の姿勢データを取得することと、
   前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することと、
   前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を得ることと、を含むことを特徴とする電子式手ぶれ補正方法。
2. １フレームの手ぶれ補正対象の画像を取得する前に、さらに、
   画像取得装置における画像センサーによって収集された、タイムスタンプを含む所定数のフレームの手ぶれ補正対象の画像を取得することを含むことを特徴とする請求項１に記載の電子式手ぶれ補正方法。
3. 前記手ぶれ補正対象の画像は、所定数のフレームの画像を記憶可能な先入れ先出しメモリに記憶されることを特徴とする請求項２に記載の電子式手ぶれ補正方法。
4. １フレームの手ぶれ補正対象の画像を取得する前に、さらに、
   前記画像取得装置における空間姿勢センサーによって収集された姿勢データを取得することを含み、
   前記姿勢データは、前記第１の姿勢データ及び前記第２の姿勢データ、又は露光時刻の第３の姿勢データを含み、前記姿勢データは、タイムスタンプを含み、前記姿勢データには、各手ぶれ補正対象の画像のタイムスタンプにマッチングする姿勢データが存在することを特徴とする請求項２に記載の電子式手ぶれ補正方法。
5. 前記第１の姿勢データに対応する第１の時間帯と前記第２の姿勢データに対応する第２の時間帯とは同じであり、又は、
   前記第１の姿勢データに対応する第１の時間帯と前記第２の姿勢データに対応する第２の時間帯とは異なることを特徴とする請求項１に記載の電子式手ぶれ補正方法。
6. 前記第１の時間帯及び前記第２の時間帯の値の範囲は、０．５〜１．０秒を含むことを特徴とする請求項５に記載の電子式手ぶれ補正方法。
7. 隣接する２フレームの手ぶれ補正対象の画像について、前の１フレームの手ぶれ補正対象の画像の第２の姿勢データと後の１フレームの手ぶれ補正対象の画像の第１の姿勢データとは、一部重なっていることを特徴とする請求項５に記載の電子式手ぶれ補正方法。
8. 前記手ぶれ補正対象の画像がある先入れ先出しメモリに記憶された画像は、前記第１の時間帯と前記第２の時間帯の和よりも小さい第３の時間帯に対応することを特徴とする請求項５に記載の電子式手ぶれ補正方法。
9. 前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することは、
   予め設けられたローパスフィルタを取得することと、
   前記第１の姿勢データ及び前記第２の姿勢データをローパスフィルタに入力し、前記ローパスフィルタで前記第１の姿勢データ及び前記第２の姿勢データ中の、遮断周波数よりも大きい高周波数信号をフィルタリングして除去して、前記第１の姿勢データ及び前記第２の姿勢データ中の前記遮断周波数以下の低周波数信号を取得することと、
   前記第１の姿勢データ及び前記第２の姿勢データ中の前記遮断周波数以下の低周波数信号に基づき、画像取得装置の前記露光時刻に対応する目標姿勢を生成することと、を含むことを特徴とする請求項１に記載の電子式手ぶれ補正方法。
10. 前記目標姿勢のゼロ周波数と前記画像取得装置の実際姿勢のゼロ周波数との時間遅延は、予め設定された時間遅延閾値以下であることを特徴とする請求項９に記載の電子式手ぶれ補正方法。
11. 前記時間遅延閾値の値の範囲は、０〜０．５秒を含むことを特徴とする請求項１０に記載の電子式手ぶれ補正方法。
12. 前記ローパスフィルタの遮断周波数の値の範囲は、０．５Ｈｚ〜１０Ｈｚであることを特徴とする請求項１０に記載の電子式手ぶれ補正方法。
13. 前記ローパスフィルタは、
    ＦＩＲフィルタ、ＩＩＲフィルタのうちの少なくとも１種を含むことを特徴とする請求項９に記載の電子式手ぶれ補正方法。
14. 前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を取得することは、
    所定の方式に従って前記手ぶれ補正対象の画像を分割し、複数のサブ画像を得ることと、
    前記手ぶれ補正対象の画像の露光時刻に対応する目標姿勢を基準として、前記複数のサブ画像のうちの少なくとも１つをスティッチングして、手ぶれ補正された目標画像となる１フレームのスティッチ画像を生成することと、を含むことを特徴とする請求項１に記載の電子式手ぶれ補正方法。
15. プロセッサ、画像センサー及び空間姿勢センサーを含み、前記プロセッサは、それぞれ前記画像センサー及び前記空間姿勢センサーに通信接続される画像取得装置であって、前記プロセッサは、
    １フレームの手ぶれ補正対象の画像及びその露光時刻を取得し、
    前記露光時刻前の１つ以上の第１の姿勢データ及び前記露光時刻後の１つ以上の第２の姿勢データを取得し、
    前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得し、
    前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を取得するために用いられることを特徴とする画像取得装置。
16. 前記プロセッサは、１フレームの手ぶれ補正対象の画像を取得する前に、さらに、
    画像取得装置における画像センサーによって収集された、タイムスタンプを含む所定数のフレームの手ぶれ補正対象の画像を取得するために用いられることを特徴とする請求項１５に記載の画像取得装置。
17. 前記手ぶれ補正対象の画像は、所定数のフレームの画像を記憶可能な先入れ先出しメモリに記憶されることを特徴とする請求項１６に記載の画像取得装置。
18. 前記プロセッサは、１フレームの手ぶれ補正対象の画像を取得する前に、さらに、
    前記画像取得装置における空間姿勢センサーによって収集された姿勢データを取得するために用いられ、前記姿勢データは、前記第１の姿勢データ、前記第２の姿勢データ、及び露光時刻の第３の姿勢データを含み、前記姿勢データは、タイムスタンプを含み、
    前記姿勢データに、各手ぶれ補正対象の画像のタイムスタンプにマッチングする姿勢データが存在することを特徴とする請求項１６に記載の画像取得装置。
19. 前記第１の姿勢データに対応する第１の時間帯と前記第２の姿勢データに対応する第２の時間帯とは同じであり、又は、
    前記第１の姿勢データに対応する第１の時間帯と前記第２の姿勢データに対応する第２の時間帯とは異なることを特徴とする請求項１５に記載の画像取得装置。
20. 前記第１の時間帯及び前記第２の時間帯の値の範囲は、０．５〜１．０秒を含むことを特徴とする請求項１９に記載の画像取得装置。
21. 隣接する２フレームの手ぶれ補正対象の画像について、前の１フレームの手ぶれ補正対象の画像の第２の姿勢データと後の１フレームの手ぶれ補正対象の画像の第１の姿勢データとは、一部重なっていることを特徴とする請求項１９に記載の画像取得装置。
22. 前記手ぶれ補正対象の画像がある先入れ先出しメモリに記憶された画像は、前記第１の時間帯と前記第２の時間帯の和よりも小さい第３の時間帯に対応することを特徴とする請求項１９に記載の画像取得装置。
23. 前記プロセッサが、前記第１の姿勢データ及び前記第２の姿勢データに基づき、画像取得装置の前記露光時刻に対応する目標姿勢を取得することは、
    予め設けられたローパスフィルタを取得することと、
    前記第１の姿勢データ及び前記第２の姿勢データをローパスフィルタに入力し、前記ローパスフィルタで前記第１の姿勢データ及び前記第２の姿勢データ中の、遮断周波数よりも大きい高周波数信号をフィルタリングして除去して、前記第１の姿勢データ及び前記第２の姿勢データ中の前記遮断周波数以下の低周波数信号を取得することと、
    前記第１の姿勢データ及び前記第２の姿勢データ中の前記遮断周波数以下の低周波数信号に基づき、画像取得装置の前記露光時刻に対応する目標姿勢を生成することと、を含むことを特徴とする請求項１５に記載の画像取得装置。
24. 前記目標姿勢のゼロ周波数と前記画像取得装置の実際姿勢のゼロ周波数との時間遅延は、予め設定された時間遅延閾値以下であることを特徴とする請求項２３に記載の画像取得装置。
25. 前記時間遅延閾値の値の範囲は、０〜０．５秒を含むことを特徴とする請求項２４に記載の画像取得装置。
26. 前記ローパスフィルタの遮断周波数の値の範囲は、０．５Ｈｚ〜１０Ｈｚであることを特徴とする請求項２３に記載の画像取得装置。
27. 前記ローパスフィルタは、
    ＦＩＲフィルタ、ＩＩＲフィルタのうちの少なくとも１種を含むことを特徴とする請求項２４に記載の画像取得装置。
28. 前記プロセッサは、前記目標姿勢に基づいて前記手ぶれ補正対象の画像を手ぶれ補正して、手ぶれ補正された目標画像を取得することは、
    所定の方式に従って前記手ぶれ補正対象の画像を分割して、複数のサブ画像を得ることと、前記手ぶれ補正対象の画像の露光時刻に対応する目標姿勢を基準として、前記複数のサブ画像のうちの少なくとも１つをスティッチングして、手ぶれ補正された目標画像となる１フレームのスティッチ画像を生成することと、を含むことを特徴とする請求項１５に記載の画像取得装置。
29. 本体と、前記本体に設置された給電バッテリと、動力システムと、飛行コントローラと、請求項１５から請求項２８のいずれか一項に記載の画像取得装置と、を含み、前記給電バッテリは、前記動力システムに給電することができ、前記動力システムは、無人航空機に飛行動力を提供することができることを特徴とする移動可能なプラットフォーム。
30. 実行されると、請求項１から請求項１４のいずれか一項に記載の方法のステップを実現する複数のコンピュータ命令を記憶することを特徴とする機械読み取り可能な記憶媒体。

Images