JP2010516101A - マニュアル操作によるディジタルビデオ安定化 - Google Patents

Abstract

ビデオシーケンスを改訂するに当たり、本方法ではそのビデオシーケンスの第１部分を初期版の画像安定化パラメタ群に基づきディジタル安定化し、その部分をユーザ向けに表示する。その表示中に受け付けたユーザ入力に応じ画像安定化パラメタ群を改訂する。次いで、そのビデオシーケンスの第２部分を改訂版の画像安定化パラメタ群に基づきディジタル安定化し、その部分をユーザ向けに表示する。第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中にビデオフレームレートを所定値に保つ。

Description

本発明は、ディジタルビデオを使用する方法及びシステム、特にマニュアル操作によるディジタルビデオ安定化に関する。

画像安定化は、撮影したビデオシーケンスからジッタ成分を除去する技術として多くのカメラで採用されている。まず、特許文献１（発明者：Ｒａｂｂａｎｉ ｅｔ ａｌ．；出願日：２００５年５月１７日；名称：画像シーケンス安定化方法及び画像シーケンス安定化経路を２本有するカメラ(IMAGE SEQUENCE STABILIZATION METHOD AND CAMERA HAVING DUAL PATH IMAGE SEQUENCE STABILIZATION)）に記載の方法では、撮影で得られたビデオシーケンスにディジタル画像安定化処理を施す際に、そのビデオシーケンスの個々のフレームにクロッピングが施され、その画素数が少なくなる。

これ以外で既知の画像安定化アルゴリズムとしては、例えば特許文献２（発明者：Ｐａｒｋ ｅｔ ａｌ．）、特許文献３（発明者：Ｓｏｕｐｌｉｏｔｉｓ ｅｔ ａｌ．）、特許文献４（発明者：Ｍｏｒｉｍｕｒａ ｅｔ ａｌ．）、特許文献５（発明者：Ｗｅｉｓｓ ｅｔ ａｌ．）、特許文献６（発明者：Ｂｕｒｔ ｅｔ ａｌ．）、特許文献７（発明者：Ｌｅｅ）、非特許文献１、非特許文献２等に記載のものがある。これらの手法は互いにその情報処理難度が違い、また、カメラモーション推定に使用する手法や、安定化ビデオシーケンス生成に使用する画像ワーピング／クロッピングの手法が違っている。

これらはビデオシーケンスに適用されて初めて役に立つ手法であるが、普及型のディジタルカメラにはビデオ安定化機能を欠くものが多い。従って、イメージングチェーンのより後段で画像安定化処理を施すことで、そうした機能不足を補うことが有益である。

また、特許文献８（発明者：Ｍｏｒｔｏｎ）及び特許文献９（発明者：Ｂｏｇｄａｎｏｗｉｃｚ ｅｔ ａｌ．）には、映画を望ましい見栄えに保つ方法が記載されている。映画の見栄え、即ちシャープネス、グレイン、階調スケール、彩度、画像安定度、ノイズ等といった映像特性を保つ必要があるのは、専門家が製作した映像の見栄えを変えるとその芸術的価値が損なわれかねないからである。悩ましいことに、上映システムの多くは自動的に映像を修正する仕組みを採っている。ことに画像安定化は問題である。例えば「ブレア・ウィッチ・プロジェクト」のように故意にジッタを加えたシーンがある映画は、画像安定化を適用すると別物に変わってしまう。

これと同様のことは、アマチュアが撮影したビデオシーケンスにも当てはまる。例えば、がたがた揺れる観光バスの上で撮影したビデオシーケンスに画像安定化を施すと、そのビデオシーケンスのインパクトが損なわれてしまう。画像安定化に伴うクロッピングも不首尾な結果につながりかねない。

米国特許出願公開第２００６／０２７４１５６号明細書 米国特許第５７４８２３１号明細書 米国特許出願公開第２００４／０００１７０５号明細書 米国特許第５１７２２２６号明細書 米国特許第５５１０８３４号明細書 米国特許第５６２９９８８号明細書 米国特許出願公開第２００２／０１１８７６１号明細書 米国特許第６８６８１９０号明細書 米国特許第６９７２８２８号明細書

"An Adaptive Motion Decison System for Digital Image Stabilizer Based on Edge Pattern Matching", Paik, Park and Kim, IEEE Transactions on Consumer Electronics, Vol.38, No.3, August 1992, pages 607-616 "Automatic Image Stabilizing System by Full-Digital Signal Processing", Kenya Uomori et al.,IEEE Transactions on Consumer Electronics, Vol.36, No.3, August 1990, pages 510-519

そのため、上述の諸問題を克服可能な方法及びシステムを提供することが求められている。

本発明の定義については別紙特許請求の範囲を参照されたい。本発明は、広義にはビデオシーケンス改変方法に関する。本方法では、まず、初期版の画像安定化パラメタ群に基づきビデオシーケンスの第１部分をディジタル安定化し、その部分をユーザ向けに表示する。次いで、その表示中にユーザ入力を受け付け、その入力に応じて画像安定化パラメタ群を改訂する。更に、そのビデオシーケンス中で第１部分より後方にある第２部分を改訂版の画像安定化パラメタ群に基づきディジタル安定化し、その部分をユーザ向けに表示する。そして、第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中に、そのビデオフレームレートを所定値に保つ。

本発明に係る方法及びシステムによれば、好適にも、ユーザが、再生されるビデオシーケンスを見ながら画像安定化を操ることができる。

一実施形態に係るシステムを示す模式図である。 他の実施形態に係るシステムを示す模式図である。 更に他の実施形態に係るシステムを示す模式図である。 図１〜図３に様々な詳細度で示した実施形態の機能構成を示す図である。 図１に示したシステムで実現される画像安定化を示す模式図である。 実施形態に係る方法を示すフローチャートである。

以下、本発明の目的、構成及び実現手法並びに実施手法を明瞭且つ好適にご理解頂けるよう、別紙図面を参照しつつその実施形態について説明する。本発明によれば、ユーザはそのビデオシーケンスを鑑賞しながら、待ちや再生中断等で苛つかされることなく、画像の安定化度を変化させることができる。ユーザは、そのための入力を、専用のリモートコントローラやそのシステムで共用されるリモートコントローラ等、入力機器上のユーザ操作子を操作することで、行うことができる。

即ち、本発明の方法及びシステムでは、ビデオシーケンス中のある部分を一組の画像安定化パラメタに基づき安定化して表示させる。次いで、その表示中にユーザ入力を受け付け、画像安定化パラメタ群をその入力に基づき当初のもの（初期版）とは違うもの（改訂版）に改訂する。更に、そのビデオシーケンスのうち先に安定化した部分（第１部分）とは別の部分（第２部分）を改訂版の画像安定化パラメタ群に基づき安定化して表示させる。そして、第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中はビデオフレームレートを所定値に保つ。

なお、本発明は様々な形態で実施できる。本願では、本発明の実施に適する構成又はその組合せのことを「実施形態」と称しているので、本願中の個々の個所で「実施形態」と述べたものと別の個所で「実施形態」と述べたものとが同じ構成であるとは限らない。同じか否かについては、本願中での明示や、本件技術分野で習熟を積まれた方々（いわゆる当業者）の常識に従い判断されたい。更に、単複いずれのかたちで表現されているのか、例えば「方法」かそれとも「諸方法」かといった表現上の瑣事で本発明を限縮解釈すべきではない。

また、本願でいう「ディスプレイ」は種々の光像発現装置、例えば発光パネル、反射パネル、投射機等のことである。表示専用の装置に限らない。携帯電話、テレビジョン受像機、パーソナルビデオプレイヤ等の装置に設けられた表示部でもよい。表示の際のビデオフレームレートは、ディスプレイをはじめとするシステム構成部材の性能や、そのビデオシーケンスの素材となった画像で決まってくるが、レートが低くてフリッカが発生し見づらくなることを防ぐには、２４フレーム／秒以上のレートでビデオシーケンスを表示させるようにするのが望ましい。例えば、民間向け動画放送によく使用されるレート、即ち３０フレーム／秒で表示されるようにするとよい。

本願中、「レンダリング」及びその類語は、色域、使用可能階調等、使用したい出力装置の仕様に合わせて画像データを変形するディジタル処理を意味している。

また、下記実施形態では、幾つかの構成部分がソフトウェア（プログラム）で実現されている。いわゆる当業者には自明な通り、そうした部分をハードウェアで代替実現することも可能である。本願では、そうしたソフトウェア乃至ハードウェアのうち周知のもの、例えば画像操作システムやそのアルゴリズム、ベースとなるコンピュータシステムの一般的構成要素等については説明を省略し、本発明を組成し又はそれに深く関連するアルゴリズム、構成要素等に説明を絞ることとする。使用するソフトウェア乃至ハードウェアのうち本願中に図示や説明がない部分、例えばそれらに付随する画像信号生成／処理ハードウェア／ソフトウェアとしては、本件技術分野で既知の他のシステム、アルゴリズム、部品乃至素子を適宜使用すればよい。いわゆる当業者であれば、本願中の説明を参照することにより、全く別のソフトウェア／ハードウェアを用いて本発明を実施することもできよう。

更に、本発明はソフトウェアやハードウェアの組合せが相応の組合せであれば実施できるので、使用する装置を物理的に相互接続する必要も、物理的に同一の場所に配置する必要もない。例えば、図示部材のうち何個かを別の場所に配置しネットワーク経由で相互接続することもできる。接続手段としては、無線周波数（ＲＦ）リンク等を介した無線接続も使用することができる。その形態は、直接接続でもネットワークを経由した接続でもよい。

従って、本発明は様々な状況及び環境で使用することができる。例えば固定型又は携帯型の民生機器、卸又は小売り用の商用機器、サービススタンド用の設備、ネットワークサービス用の機器等である。そのサービス用のネットワークとしてはインターネットや携帯電話網を使用できる。

また、いわゆる当業者にとり周知の諸手法に従い下記諸実施形態の回路を変形することが可能である。例えば、本願中で物理的な実体を伴っている回路を相応機能のファームウェア、ソフトウェア又はその組合せで置き換えることや、別体部材同士を必要に応じ一体化・共用させることや、逆に部材個数を増やして複数個所に分散配置することである。

「ディジタル画像」とは、その画像を１個又は複数個のチャネル即ち色成分に分解し、複数個の画素からなる二次元アレイをチャネル毎に形成し、その画素に対応する物理的位置から撮像装置が受け取った光量を個々の画素値で表現することで、画像を表現したものである。カラー画像を表す際にはレッド、グリーン及びブルー各色のチャネルに分解することが多く、動画を表したければ静止画のディジタル画像を複数枚連ねたビデオシーケンスで表すことができる。いわゆる当業者にはご理解頂ける通り、本発明は、これら様々なチャネル、様々な用途に適用することができる。また、本願では各チャネル二次元画素アレイの画素配置を行列配置とするが、いわゆる当業者にはご理解頂ける通り、本発明は非矩形アレイにも遜色なく適用することができる。

そして、本発明は、その利用状況によらずスタンドアロン的にもより大規模なシステムの一部分としても実施することができる。更に、画像の走査や入力、ディジタル処理、対ユーザ表示、ユーザから随時発せられるリクエスト乃至処理指令の受領、出力等といったマンマシンインタフェースは、同一装置でまとめて提供してもよいし複数装置で分担して提供してもよい。当該複数装置を同一の場所に配置してもよい。当該複数装置間のやりとりは、公衆又は専用ネットワーク接続を介した通信で行ってもよいし、有形媒体の受け渡しで行ってもよい。また、その趣旨に反しない限り、本発明に係る方法は、全自動で実行してもよいし、全面的に又は部分的にマニュアルなユーザ入力を受けて実行してもよいし、ユーザ乃至オペレータによる結果認否チェックを受ける形態で実行してもよいし、後掲の個所その他の個所でメタデータを助力にする形態で実行してもよい。メタデータは、ユーザから受け取ることも、計測機器から受け取ることも、アルゴリズム的に発生させることもできる。更に、本方法は様々な作業用ユーザインタフェースと相性がよい。

図１に第１実施形態に係るシステムを示す。このシステム１０はホームエンタテインメントシステムであり、テレビジョン受像機等のディスプレイ１２、それに付随するセットトップボックス１４及びにリモートコントローラ１６、更には有線又は無線接続された１個又は複数個の周辺機器１８から構成されている。ディスプレイ１２はテレビジョン受像機に限られず、モニタ装置、携帯型ビデオディスプレイ等であってもよい。周辺機器１８としては、例えばビデオカセットレコーダ（ＶＣＲ）、ＤＶＤ（登録商標；以下表記省略）プレイヤ、コンピュータ、ディジタルカメラ、カードリーダ等を使用できる。セットトップボックス１４は、アナログ選局、ディジタル選局、プログラム保存等の機能を提供する装置であり、様々な情報源を接続することができる。図示例では、その情報源として、プログラムプロバイダ１００、メモリカード入力ポート、ＤＶＤプレイヤ、ビデオカメラ、ディジタルスチル／ビデオカメラ及びＶＣＲが接続されているが、監視カメラやインターネットテレビジョン局等、いわゆる当業者にとり周知の他種情報源も接続することができる。その場合、ディスプレイ１２は、テレビジョン受像機として使用されることもあるし、監視カメラやインターネットテレビジョン局からの入力を表示するモニタとして使用されることもある。リモートコントローラ１６は、ユーザからの入力を伝えられるようセットトップボックス１４に無線接続されている。

図２に第２実施形態に係るシステムを示す。このシステム１０では、その出力画像を、ディスプレイ一体型携帯機器、例えばＤＶＤプレイヤ、ＰＤＡ（携帯情報端末）、ディジタルスチル／ビデオカメラ、携帯電話等の表示部に表示させる。そのハウジング３０２には、表示部３０３、メモリ３０４、制御ユニット３０６、複数個の入力ポート３０８、制御ユニット３０６につながるユーザ操作子乃至入力機器３１０等のシステム構成部材と、それらの部材３０３、３０４、３０６、３０８及び３１０を相互接続する信号伝送路３１４とが収容されている。

また、ポータブルコンピュータ、サービススタンド等、可搬／非可搬なコンピュータハードウェア／コンピュータ利用機器を利用してシステムを構成することもできる。そうした実施形態では、構成部材及び信号伝送路が全て又は部分的にハウジング外に配置されることもある。図３に、デスクトップコンピュータ及びその周辺機器による第３実施形態を示す。このコンピュータシステム１１０は図示の如く制御ユニット１１２たるパーソナルコンピュータ（ＰＣ）を備えており、そのＰＣ１１２によってプログラムの保存、実行等の諸機能が担われている。制御ユニット１１２には、ディスプレイ１１２が電気的に接続されており、キーボード１１６、マウス１１８等の入力機器も接続されている。更に、様々な種類のリムーバブルメモリ、例えば図中のＣＤ−ＲＯＭ１２４、ＤＶＤ１２６、フロッピー（商標；以下表記省略）ディスク１２５、メモリカード１３０等も使用できるよう、それらの読み書きに相応しい部材、例えば読み書き可能型ＣＤ／ＤＶＤドライブ１２２やメモリカードリーダ１３２も設けられている。こうしたメモリ類は内蔵型でも外付け型でもよい。外付け型は、有線接続型でも無線接続型でもよく、また直結型でもネットワーク経由接続型でもよい。その接続に使用するネットワークはローカルエリアネットワーク（ＬＡＮ）でもインターネット等の広域網でもよい。更に、ディジタルカメラ１３４をＰＣ１１２に随時接続することができる。接続手段としては、ドッキングステーション１３６、有線接続手段１３８又は無線接続手段１４０を使用する。プリンタ１２８を制御ユニット１１２に接続し、本システム１１０からのハードコピー出力を得ることもできる。そして、制御ユニット１１２を、電話線、イーサネット（登録商標）ケーブル、無線リンク等のネットワーク接続手段１２７を介し、ＬＡＮ、インターネット等の外部ネットワークに接続することができる。

なお、図２及び図３には入力機器が列挙されていないが、図１に列挙したものと同じ又はそれに類するものを使用できる。

また、システムを構成する諸部材を互いに別体のものとすることも、複数個の部材に何個かのハードウェア乃至ソフトウェアを共用させることもできる。従って、図１〜図３に示した諸実施形態を説明するには、図４に示す如く機能分解した方がよい。以下、図示に基づき説明を行うが、いわゆる当業者にとり周知の事項についてはそれを省略する。例えば、カメラ付携帯電話でこのシステムを構成してもよいといった事項である。

まず、入力機器３１０は例えばトランスデューサ等の機器、即ちユーザ入力を感知しシステム内プロセッサで扱える形態に変換する機器である。例えば、タッチスクリーン、タッチパッド、４ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラス、トラックボール、ジョイスティック、音声認識、ジェスチャ認識、キーボード、リモートコントローラ等の入力システムを形成するユーザ操作子を、入力機器３１０に設けることができる。入力機器３１０としては、更に、センサ又はその組合せも使用できる。例えば、光センサ、バイオメトリックセンサ等、システム周囲環境を検知しその情報をシステム内プロセッサで扱える形態に変換することが可能で、本件技術分野で既知なセンサである。その光センサとしては、一般的なカメラ、マルチスペクトル型センサ等を使用できる。音響を捕捉するオーディオセンサを用いてもよい。バイオメトリックセンサのように、無意識的な心身反応を計測するセンサを用いてもよい。その種のセンサの例としては、音声抑揚センサ、身体運動センサ、眼球運動センサ、瞳孔散大センサ、体温センサ、ｐ４０００波センサ等を挙げることができる。入力機器３１０はローカル配置もリモート配置も可能である。リモートコントローラ１６は有線又は無線接続型であり、その内部には通信ユニットを構成するハードウェア及びソフトウェアが搭載されている。リモートコントローラ１６には前掲の如きユーザ操作子が１個又は複数個設けられている。このリモートコントローラ１６は、インタフェース２０２経由で本システムに接続され、本システムの一部として機能する。

通信ユニット乃至系統としては、例えば光、ＲＦ等のトランスデューサ回路をはじめとするシステムを使用することができる。この通信系統では、画像等のデータを、別の場所にある装置例えばリモートメモリシステム、リモートディスプレイ等に搬送できるよう、例えば光信号、ＲＦ信号等の信号形態に変換する。また、通信系統を介し、入力ユニットにてビデオシーケンスを受信することや、ホスト／サーバコンピュータ／ネットワーク（図示せず）、メモリシステム、入力機器３１０等であって別の場所にあるものからその他のデータを受信することができる。また、その通信系統にて受信したデータから情報及び指令を取りだし、プロセッサに供給することができる。通常、この通信系統とリモートメモリシステムとのやりとりは通信網経由で行える。例えばインターネット等の既存通信／データ転送網や、携帯電話網、ピアツーピア通信網等のモバイル通信網や、有線ＬＡＮ、無線ＬＡＮ等のローカル通信網をはじめとする既存の有線又は無線データ転送システム等である。

出力機器としては、ディスプレイ１２を含め１個又は複数個の機器を設けることができ、また複数種類の出力形態を併用することもできる。例えば、印刷出力とメモリユニット上へのディジタルファイル保存を併用して画像を出力してもよい。保存先のメモリユニットとしてはＣＤやＤＶＤを使用できる。その種のメモリユニットなら、様々な種類の家庭用乃至携帯型表示装置、例えばパーソナルメディアプレイヤ、平面型テレビジョン受像機等で再生することができる。

ディスプレイ１２としては、光像発生用の表示パネルを筐体内に実装したものを使用する。特定の用途に係る追加部材乃至機能を有する装置、例えばテレビジョン受像機を、ディスプレイ１２として使用してもよい。

制御ユニットとしては、図示の如く複数個のプロセッサからなるものを使用するが、多機能的なプロセッサ１個で賄うこともできる。制御ユニットは、本システムを構成する複数個の部材のいずれに組み込まれていてもよい。制御ユニットを複数個のモジュールに分割し、複数個のシステム構成部材に分散収容することもできる。できれば、ビデオシーケンスのシステム内通常伝送路上に制御ユニットを配置した方がよく、また互いに別のプログラムコンテンツ向けに特化した複数個のモジュールで制御ユニットを構成した方がよい。例えばホームエンタテインメント向けの実施形態であれば、制御ユニットをテレビジョン受像機やセットトップボックスに内蔵させるとよい。制御ユニットを複数個のモジュールに分け、それらのモジュールをテレビジョン受像機内或いはセットトップボックス内に同居させてもよい。

図示例の場合、制御ユニットは制御プロセッサ２０４、ディジタルオーディオプロセッサ２０６及びディジタルビデオプロセッサ２０８を備えている。制御プロセッサ２０４は、入力機器３１０や入力ユニット２２０から到来する信号に基づき且つ格納されているプログラム及びデータを利用し、他のシステム構成部材を稼働させる。その動作の一部は本発明に関わるので後に説明する。このプロセッサ２０４は、プログラマブルディジタルコンピュータ、プログラマブルマイクロプロセッサ、プログラマブルロジックプロセッサ、電子回路群、その集積回路、ディスクリート部品群等の形態をとるプロセッサである。その稼働に必要なプログラムは、固定／リムーバブルメモリ上に格納されており、或いは周知手法で当該プロセッサ内に書き込まれている。また、制御ユニットは単一プロセッサ型でもよいが、個別的な要請に対し的確に応えるには、図示の通り複数個のプロセッサで構成するのが望ましい。そのうちプロセッサ２０６はオーディオアンプ２１０に信号を供給してスピーカ群２１２を駆動させ、またプロセッサ２０８はディスプレイドライバ２１４に信号を供給してパネル型ディスプレイ１２を駆動させる。そして、これらのプロセッサは、その動作に必要なパラメタ類を処理パラメタ用メモリ２１６やメモリ３０４から取得する。

「メモリ」とは、半導体、磁気等の有形記録・記憶デバイス上で提供される相応サイズの論理ユニット又はその集まりのことである。例えばコンピュータプログラム格納用のメモリは、そのプログラムの構成ユニットが書き込まれたコンピュータ可読記録媒体という形態をとる。メモリとしては、既存の様々な種類の記憶・記録デバイス、例えば固体、磁気、光等のデータ記憶／記録方式によるものを使用することができる。システム内に固定配設してもよいし、リムーバブルメモリとして提供してもよいし、それら内部メモリ及びリムーバブルメモリを併用してもよい。内部メモリとして使用できるメモリとしてはＳＤＲＡＭ、Ｆｌａｓｈ（フラッシュ；登録商標）型ＥＰＲＯＭ等があり、使用できるリムーバブルメモリとしては、コンパクトフラッシュ（登録商標）やＳＤ（セキュアディジタル；登録商標）のように、ソケット内に装填するとメモリインタフェース経由でプロセッサに接続されるタイプのカードがある。ＰＣカード、ＭＭＣ（マルチメディアカード；登録商標）、内蔵型ハードディスクドライブ、リムーバブルハードディスクドライブ等も使用できる。更に、制御用のプログラムをはじめとする種々のデータをリモートメモリシステム、例えばＰＣ、コンピュータネットワーク等のディジタルシステムに保存させることもできる。制御ユニットは、本システムを稼働させるために必要な機能に加え、後に詳述する通りビデオシーケンス安定化機能を有している。その他には、画像レンダリング、画像強調、画像復元、ビデオシーケンスマニュアル編集、対自動（マシン制御）動作マニュアル介入等の機能も持たせることができる。必要なプログラムは、制御プロセッサ２０４に関して前述したのと同じく様々な種類のメモリで提供することができる。画像改変時にメタデータを追加又は改変することもできる。メタデータとは、そのビデオシーケンスと対応付けて保存される非画像データである。

また、本システムは入力ユニット２２０を１個又は複数個備えている。個々の入力ユニット２２０には、システム上都合がよい位置関係で１個又は複数個の入力ポート３０８が設けられている。制御ユニットは、受け取るビデオシーケンスを、入力セレクタ２２２で選ぶことができる。受け取れる入力の種類はポート３０８間で同じとは限らない。例えば、あるポート３０８ではＣＤ−ＲＯＭからのビデオシーケンス入力を受け付け、別のポート３０８では衛星テレビジョン受像機からのビデオシーケンス入力を受け付け、更に別のポート３０８では有線又は無線接続されているＰＣの内部メモリからのビデオシーケンスを受け付ける。ポート３０８の個数、種類、それを介し入力できるコンテンツの種類に制限はない。そのポート３０８に電気回路等の回路乃至システムを内蔵させ又は接続することができ、その回路乃至システムを用い相応のデータをプロセッサに供給することができればよい。例えば、ポート３０８のうち１個又は複数個を、随意にディジタルカメラやディスプレイを外付けできるドッキングステーションとし、有線通信システムへの接続手段とし、また携帯電話、無線ブロードバンドトランシーバ等を介し通信網に無線接続する手段にすることができる。更に、ケーブル通信網に接続するためのケーブルや、衛星通信網に接続するためのＤＩＳＨ（商標）受信機や、リモートサーバ上のリモートメモリにアクセスするためのインターネット接続手段や、光ディスク上のコンテンツにアクセスするためのディスク録再機や、メモリカード、ＣＤ、フロッピーディスク、デバイス内部メモリ等からビデオシーケンスを取り込む手段も、ポート３０８に接続することができる。また、ポート３０８のうち１個又は複数個を、プログラムプロバイダ１００からのビデオシーケンス入力に使用することもできる。そのためのポート３０８をセットトップボックス１４に設ければ、プロバイダ１００から提供される他種サービス乃至コンテンツ、例えば画像処理等のシステム機能を更新するためのプログラムを、そのポート３０８を介し取得することができる。例えば、ケーブルモデムをいずれかのポート３０８に接続し又はそのポート３０８と一体のものとしておけば、ケーブルヘッド側からのプッシュや、本システムからアクセス可能なウェブサイト又はサーバからのプルによって、そのケーブルモデムを介し更新版のプログラムを取得することができる。

次に、図６を参照して方法に関し説明する。本方法では、まず表示させたいビデオシーケンスをユーザが指定する。例えば、動画撮影機能付のディジタルスチルカメラ、ハンディタイプのビデオカメラ、動画撮影機能付の携帯電話等といった可搬型の装置でアマチュアが撮影したビデオシーケンスの他、専門家が撮影した画像、商用映像等も含め、様々な由来のビデオシーケンスを指定することができる。

この手順では、まずそのビデオシーケンスの一部分を一組の画像安定化パラメタに従いディジタル安定化する（６０２）。この初期版の画像安定化パラメタ群は、常に同じ内容の或いは最新の画像安定化パラメタ群を適用したい場合には、予めデフォルト設定しておくとよい。また、安定化を担う部材はシステム内のどの部材でもよい。例えばディスプレイに安定化アルゴリズムを搭載しておけば、ディスプレイに入力されるビデオシーケンスに対しそのディスプレイ内で安定化が施され、安定化されたビデオシーケンスがそのディスプレイによって表示されることとなる。また、セットトップボックス等のディスプレイ外処理装置に安定化アルゴリズムを搭載しておけば、ディスプレイへの入力に先立ちビデオシーケンスを安定化することができるので、ディスプレイではその安定化済ビデオシーケンスを表示するだけでよい。できれば、安定化実行部材の内部メモリにビデオシーケンス及び各版の画像安定化パラメタ群を保存させるのが望ましい。

安定化アルゴリズムとしては、例えば、デコードされた画像に因果的フィルタリング(causal filtering)を施して最小限のバッファリングを行い、それを利用して安定化及び表示を実行するアルゴリズムや、メモリ上に複数間の画像をバッファリングし、それを用い非因果的時間領域フィルタリング(non-causal temporal filtering)を実行して大域モーション(global motion)を推定するアルゴリズムを使用することができる。安定化済ビデオシーケンスが表示されるまでの待ち時間は後者の方が僅かに長い。

その安定化に当たっては、任意の画素数を指定しビデオシーケンス内フレーム群をクロッピングすることができる。クロッピングとは、ある画素数を限度に解像度域を打ち切る処理のことである。本願では、クロッピング後に残す画素数域を決める出力窓のことをクロッピング窓(cropping window)、その窓の端境に当たる画素数のことをクロッピング限界(cropping limit)、その窓の適用で打ち切られる画素数域のことをクロッピング帯(cropping border)と呼んでいる。クロッピング限界は、画像安定化パラメタ群によって指定乃至特定することができる。

クロッピングを伴う安定化アルゴリズムの例としては、特許文献１（発明者：Ｒａｂｂａｎｉ ｅｔ ａｌ．；出願日：２００５年５月１７日；名称：画像シーケンス安定化方法及び画像シーケンス安定化経路を２本有するカメラ(IMAGE SEQUENCE STABILIZATION METHOD AND CAMERA HAVING DUAL PATH IMAGE SEQUENCE STABILIZATION)）に記載のアルゴリズムを挙げることができる。なお、この参照を以て特許文献１の内容を本願に繰り入れることとする。

このアルゴリズムでは、入力されたビデオシーケンス（入力画像）を分析してジッタ成分を弁別し、弁別したジッタ成分に基づき入力画像上に出力窓をマッピングすることで、ジッタ成分又はその一部を補償する。入力画像は出力窓に従いクロッピングされ、出力画像としてメモリ上に保存される。メモリ上の入力画像に出力画像を上書きしてもよいし、入力画像も残るように出力画像を保存してもよい。また、通常のメモリ型装置では、ラスタスキャン式に配列されたバッファ上に画像情報が保存される。本アルゴリズムでは、そのメモリ上でデータを縦横に整数シフトさせる。整数シフトであるので、出力画像に歪を発生させることなく、非常に迅速に行うことができる。

また、本アルゴリズムを適宜変形することで、ビデオシーケンスの安定化をより安価な処理資源でより高速に行うことが可能になる。例えばリアワードルッキングを行うようにすればよい。リアワードルッキングとは、そのビデオシーケンス中の現フレーム及びそれに先行する（即ち過去分の）フレームのみを参照して安定化することである。また、先行フレーム、現フレーム及び後続フレームを参照するリアワードルッキング兼フォワードルッキング型のアルゴリムでもよい。

こうした安定化アルゴリズムでは、出力窓の動かし方を決めるため、二画像間のモーションに係る複合射影(composite projection)ベクトルの比較を、相直交する二方向それぞれで実行する。その際には、まずアルゴリズム初段を構成するモーション推定ユニットにて、ビデオシーケンス内二画像間のモーション（画像の動き）を推定する。各画像、各方向の複合射影ベクトルは、その画像、その方向についての、互いに重複しない部分射影(partial projection)ベクトルの組合せである。なお、ここではビデオシーケンス内で連続する二画像間でモーション推定を行うと述べたが、いわゆる当業者にはご推察頂けるように、十分な情報処理能力及びメモリ資源さえあれば、より多数のフレームにまたがるモーション推定も可能である。そのようにすれば、個々のフレーム間モーションをよりロバストに且つ高精度で推定することができる。

モーション推定ユニットでは、例えば垂直，水平の各成分を有する平行移動性の大域モーションを推定する。ジッタ推定ユニットでは、その結果を処理することで、そのモーション中のジッタ由来成分を弁別する。これは、推定モーション中に、カメラのジッタ（小刻みな動き）により生じたと見られる無意識的な成分だけが含まれていることもあれば、カメラジッタ由来の無意識的な成分に加えカメラの意識的なパンニング（引き）等で生じる成分が含まれていることもあるからである。

大域モーションの推定に際しては、積分射影(integral projection)ベクトルを利用し大域モーションベクトルを導出する。即ち、二次元画像を相直交する二軸上に射影してフルフレーム積分射影ベクトルを生成する。射影先の軸の方向は画像内画素アレイ上で単位図形が繰り返される方向と揃える。通常、その方向は電子イメージャ内画素配列方向とも揃っている。そこで、以下の説明では、便宜上、単位図形が矩形で、その単位図形が「水平」「垂直」の各方向に沿って並ぶ例を想定する。但し、ご理解頂けるように、これらの方向表現は両方向の相対的関係を表すに過ぎず、画像やイメージャの外形とは特に関係がない。

水平，垂直各方向のフルフレーム積分射影ベクトルは、画素データを列内（水平射影ベクトル）又は行内（垂直射影ベクトル）加算したものである。垂直射影ベクトルはＹ（輝度）成分画像データの全部又は一部を加算することで生成できる。一部の画像データだけで垂直射影ベクトルを生成することで、モーション推定アルゴリズムの情報処理難度を下げることができる。水平射影ベクトル生成についてもことは同様であり、一部のデータだけを加算して水平射影ベクトルを生成することで、モーション推定アルゴリズムによる処理をより軽快な処理にすることができる。

それは、積分射影によるモーション推定の負荷の多くが、その初期の射影ベクトル生成で生じるためである。この問題を軽減する方法は二種類ある。第１に、射影ベクトル生成時の間引きで加算対象画素数を減らせばよい。例えば列内加算による水平射影ベクトル生成時なら、列内画素を一画素おきに加算すればよい。第２に、射影ベクトルの濃度を間引きで下げればよい。例えば水平射影ベクトル生成時なら、水平射影ベクトルを構成する列を一列おきにすればよい。オフセット量を変化させつつ最良マッチを探索する処理（後述）もより軽い処理になるため、こうした間引きは情報処理負荷軽減に効果的であるが、その反面でモーション分解能は低くなる。

水平，垂直各射影ベクトルの生成に使用する画素データは、画素数抑制によって情報処理負荷が軽減される反面精度が低下することを考慮しつつ、実験結果に基づき選べばよい。十分な精度を得たければ、恐らくは、間引きを踏まえた画素数抑制比率を高くとも４：１〜６：１にとどめるべきである。

推定モーションは、そのフルフレーム積分射影ベクトルではなく部分射影ベクトルから算出する。部分射影ベクトルは対応する画像上の対応部分だけについての射影ベクトルであり、画像毎に複数通り導出する。対応する部分が互いに異なるため、それらの部分射影ベクトルは互いに重なることがない。こうした部分射影ベクトルを使用すると、フルフレーム積分射影ベクトルを使用した場合に比べ、その画像内で互いに独立して動き回る複数個の物体が推定モーションに及ぼす悪影響が少なくなる。フレーム間の推定モーションは、個々のフレームについて生成される部分射影ベクトルに基づき、且つ水平，垂直の各方向について算出する。

その際には、互いに同じ画像部分に係る部分射影ベクトル同士を二画像間で比較する。いま、水平射影ベクトルの長さをＭ、サーチ範囲をＲ画素とする。この場合、第ｎ−１フレーム水平射影ベクトルの中心に発する長さＭ−２Ｒの部分射影ベクトルを第ｎフレーム部分射影ベクトルと比較する。オフセット量を様々に変えながら方向別にこの比較を行うと、いずれはその方向についての推定モーションがジッタ成分を表す状態、即ち最良マッチに到達する。最良マッチとは、比較対象となっている二ベクトル間の距離が最小になるようオフセットさせた状態のことをいう。その距離を測る指標としては、平均絶対誤差（ＭＡＥ）や平均自乗誤差（ＭＳＥ）といった汎用的な距離指標を使用することができる。例えば、そのコスト関数として絶対誤差総和を用いつつオフセット量を様々に変化させ、部分射影ベクトル同士を比較した結果、あるオフセット量でそのコスト値が最小を迎えたとする。その場合、その状態が最良マッチである。

第ｎ−１フレーム水平射影ベクトルの中心に発する長さＭ−２Ｒの部分射影ベクトルを第ｎフレーム部分射影ベクトルと比較する処理は、オフセット量毎に、また出力窓が細分されるようそれらの部分射影ベクトルをより短いベクトルに分割して行い、コスト値は部分射影ベクトル毎に算出する。フルフレーム射影ベクトルについてのコスト値は、部分射影ベクトルについてのコスト値とは別に導出することができる。或いは、複数個の部分射影ベクトルを組み合わせて複合射影ベクトルにする際、部分射影ベクトルの（絶対誤差や自乗誤差による）コスト値同士を組み合わせることで、フルフレーム積分射影による距離指標が得られる。大域的な推定モーションは、最終的には、それらの最良オフセット全てのなかから選べばよい。こうした柔軟性がある分、積分射影を利用したモーション推定はそのロバスト性が高い。即ち、互いに独立に動き回る物体がそのシーン内に複数あると、フレーム間の最良マッチを得づらい傾向になるが、この推定法ならば、画像をより細かな部分に分割した場合でも、かなり好適に最良マッチのオフセット量（最良オフセット）を得ることができる。

例えば、その画像の四半域同士を結合させることで半域用の距離指標を導出した場合、各四半域について最良マッチを算出するのに加え又はこれに代え、各半域についての最良オフセットを算出することができる。算出できる最良オフセットが多様になるとモーション推定のロバスト性が高まる。例えば、他の五通りの最良オフセットとの関係でメディアン値になる最良オフセットを選ぶようにしてもよいし、フルフレームについての最良オフセットが信頼できそうにないときに半域についての最良オフセットで代用することができる。

そのモーション推定をより高精度で行うには射影ベクトルを補間すればよい。補間とは、例えば、元のベクトル上の諸要素を以て新たなベクトル上の偶数番要素とし、両隣の偶数番要素の平均値を以て当該新たなベクトル上の奇数番要素とすることである。補間前の要素数がｎなら補間後の要素数は例えば２ｎ−１に増える。この処理は、加算操作及びシフト操作を行えるハードウェア又はソフトウェアなら支障無しに実行することができる。

積分射影に使用される加算関数が線形であるため、この射影ベクトル補間で得られるベクトルは、元々の画像データを補間しそこから生成した射影ベクトルと等価なものとなる。ただ、情報処理負荷を比べると、射影ベクトル補間の方がかなり軽くなる。

また、射影ベクトル補間を行うと、オフセット量の刻みを例えば半画素単位に精細化することができる。画像データの段階で全データに補間を施しそこから半画素刻みの射影ベクトルを生成するのに比べ、射影ベクトル補間で半画素刻みのベクトルにした方がかなり効率がよい。補間により追加される新たな要素を算出する処理、即ちその両隣にある既知値の要素間の平均を求める処理は、２での除算を１ビット右シフトで簡便に行えるため、簡便に行うことができる。そして、それら三種の射影ベクトルを併用することにより、最良マッチ判別をより好適に実行することができる。

なお、オフセット処理によるモーション推定を始める前に射影ベクトル補間を済ませ、最低のコスト値をもたらす最良オフセットを補間済ベクトルに基づき導出するようにしてもよいし、未補間の射影ベクトルを二画像間比較することでモーションを粗推定し、それに対応するオフセット量の近傍のオフセット量のみで補間後ベクトルを二画像間比較してモーションを精細推定するようにしてもよい。

最良オフセット及びその両隣のオフセット並びにそれらに係る距離が判れば、連続距離関数モデルに当てはめることで、より精密にモーションを推定することができる。その連続距離関数モデルは、平均絶対誤差（ＭＡＥ）を距離指標とするのかそれとも平均自乗誤差（ＭＳＥ）を距離指標とするのかで変わってくる。ＭＳＥを距離指標として使用するのであれば、当てはめ先モデルを二次関数とし、それら三通りのオフセット量及び対応する距離を放物線に当てはめればよい。ＭＡＥを距離指標として使用するのであれば、当てはめ先モデルを領域単位線形関数にすればよい。

モーション推定が終わったら、次に、そのモーションを、カメラのパンニング等による許容成分と、カメラのジッタによる成分とに弁別する。許容成分が０であることが判っていればことは簡単で、推定されたモーションを丸ごとジッタ成分と見なしてビデオシーケンスから除去すればよいが、普通は、ジッタ性の不許成分と共に幾ばくかの許容成分が生じているものである。通常、意識的なカメラモーションの周波数が高々１〜２Ｈｚと低いのに対し、手ぶれの周波数は２〜１０Ｈｚ程度と高いので、推定モーションに時間領域ローパスフィルタリングを施すことで、高周波成分たるジッタ成分を除去すればよい。

こうした安定化処理に使用されるローパスフィルタは、理想的には、高周波のジッタ成分を除去できる周波数応答特性に加え、極力小さな位相遅延特性を有していなければならない。これは、過剰な位相遅延が生じると、カメラを意識的にパンニングさせ始めてまもなくの時期に、推定モーションの大半がジッタ成分と誤認されてしまうからである。そうした誤認が生じると、許容成分たるパンニング性のモーション成分に関し、安定化後のビデオシーケンスが時間的に遅延してしまう。非因果的フィルタリングを採用すれば零位相フィルタも実現可能だが、そうしたフィルタでは、画像を撮影してカメラの背面ディスプレイに表示させるまでに時間がかかってしまう。従って、位相遅延ができるだけ小さくなるよう工夫しつつ因果的フィルタリングを実施し、且つ安定化済の画像がカメラのディスプレイに表示されるまでの時間遅延を抑えるのが望ましい。

例えば推定モーションに時間領域ローパスフィルタリングを施すことで、パンニング等、意識的なカメラ操作の影響を残すことができる。即ち、許容できるパンニング等のモーション成分が高々１〜２Ｈｚであり極低周波であると見なしてよいことや、手ぶれ周波数が周知の通り普通は２〜１０Ｈｚであることに依拠して、そうしたフィルタリングを行えばよい。そうした時間領域ローパスフィルタリングを推定モーションに施せば、高周波のジッタ成分を除去しつつ、意識的なカメラ操作による低周波のモーション成分を残すことができる。

また、非因果的時間領域フィルタリングは、そのビデオシーケンス中の先行フレーム及び後続フレームがないと行えない。従って、非因果的時間領域フィルタリングを使用すると、画像の撮影からその表示までに時間遅延が発生する。そのため、撮影中のビデオシーケンスを直ちに安定化して表示させるような用途には、非因果的時間領域ローパスフィルタリングは相応しくない。先行フレームだけで足りる因果的時間領域フィルタリングの方がよい。

なお、因果的時間領域フィルタは非因果的時間領域フィルタに比べ位相遅延が大きくなりがちである。どのような用途でも、位相遅延が大きすぎると、例えば意識的にカメラをパンニングさせ始めてから間がない時期に、推定モーションの大半がジッタ成分と誤認され、パンニングによるモーション成分に関し安定化後のビデオシーケンスが遅延することとなりかねない。

従って、大域モーションを表す推定結果をフィルタに入力して安定化する際には、第１に、既知の手ぶれ周波数を十分抑圧可能な周波数応答特性を呈するよう、また安定化済ビデオシーケンスにおける位相遅延を十分抑圧可能な位相応答特性を呈するよう、再帰型（無限インパルス応答型）のフィルタを設計して使用すればよい。このフィルタは、次の式
（数１）
Ａ［ｎ］＝αＡ［ｎ−１］＋αν［ｎ］
で表すことができる。この式中、
Ａ［ｎ］は第ｎフレームについての積算ジッタ(accumulated jitter)、
ν［ｎ］は第ｎフレームについて算出した推定モーション、
αはその値域が０〜１のダンピング係数
である。例えば第ｎフレームでは、撮影で得られた画像データのうち安定化後のビデオシーケンスで採用されるはずの部分を囲む枠、即ち本願でいう出力窓を、元々の位置に対し、そのフレームについての積算ジッタＡ［ｎ］分だけシフトさせる。ジッタ補正項ν［ｎ］によってその方向の概略モーションが与えられるので、積算ジッタＡ［ｎ］によって画像のモーションを追跡することができる。この追跡は、水平，垂直の各方向別に行ってもよいし、両方向一挙に行ってもよい。ただ、一挙に行うと情報処理負荷が高まるので、この式によるモーションの追跡は、水平，垂直の各方向別に行った方がよい。

ダンピング係数αは、モーションが存在しないときの積算ジッタＡ［ｎ］を０に近づけるのに使用される等、このフィルタの周波数応答及び位相応答を制御している。係数αの値を適応的に且つフレーム毎に変化させれば、推定モーションの増減に対応することができる。推定モーションは、この係数αの値が１に近いほどジッタ成分に弁別される割合が増え、０に近いほど保存される部分に弁別される割合が増える傾向になる。係数αの望ましい値、値域又は離散値は実験を行って決めるとよい。その実験は、ユーザ毎に或いは同様のジッタをもたらすユーザ種別乃至用途毎に行うとよい。手ぶれ周波数が一般に２Ｈｚ以上であることからすれば、２Ｈｚ以上の周波数を一律にジッタ成分と見なすことが可能である。そして、推定モーションの信頼性を判別することもできる。例えば、カメラが静止していても、その面前をよぎる等した車両等の移動物体がジッタとして誤追跡されることがある。その場合の推定モーションは信頼できない。これに対処するには積算ジッタ導出プロセスに変形を加えればよい。例えば、ユーザ入力に応じ又は自動的にジッタ積算動作を調整し、現フレームについての更なる積算ジッタ算出を妨げるようにすればよい。このようにすると、積算ジッタは、推定モーションが信頼できないとされている間中、例えば一定値に保たれることとなる。

更に、ジッタ成分除去による補正に限界を設けることができる。即ち、積算ジッタＡ［ｎ］がある上限しきい値より大きくなった場合、その上限しきい値を超える分を打ち切ることによって、撮影で得られた原画像の境界を越える補正を阻止することができる。

そして、情報処理資源が制約される用途では、ジッタ補正項ν［ｎ］を最寄りの整数値に丸めて補間を不要にするのが望ましい。その輝度成分が水平方向沿いに２の冪でサブサンプリングされているＹＣｂＣｒデータについては、輝度成分が適正に揃うよう、ジッタ補正項ν［ｎ］を最寄りの２の倍数に丸めるべきである。

推定モーションをフィルタに入力して安定化するには、第２に、これから詳述する第２の手法を用いてもよい。この手法では、第ｎフレームについての推定モーションからジッタ成分を検出するとき、既に、先行フレームについての推定モーションや後続フレームについての推定モーションが得られている。従って、前述した第１の手法のように、現フレームについての推定モーションと先行フレームについてのモーションにしか依拠できない手法に比べ、より正確にジッタ成分を検出することができる。

この第２の手法では、第（ｎ−ｋ）〜第（ｎ＋ｋ）フレームそれぞれについての推定モーションを利用し、第ｎフレームに係るジッタ成分を求める、という手順で、バッファを利用しジッタ成分を算出する。具体的には、まず、第（ｎ＋ｋ）フレームを処理に利用できるようになった時点でモーション推定法を実行し、現フレームたる第ｎフレームについての推定モーションを算出する。次いで、その推定モーションを含む一連の推定モーションに例えば非因果的ローパスフィルタリングを施す。更に、その結果を、ローパスフィルタリングが施されていない元々の推定モーションから減ずることによって、第ｎフレームに現れた高周波のモーション成分即ちジッタ成分を求める。こうしてジッタ成分が得られたら、それを用い積算ジッタを算出する。ここまでの処理は、次の式
（数２）
ｊ［ｎ］＝ν［ｎ］−Σν［ｉ］ｈ［ｎ−ｉ］
Ａ［ｎ］＝Ａ［ｎ−１］＋ｊ［ｎ］
で表すことができる。この式中、
ｊ［ｎ］は第ｎフレームについてのジッタ算出結果
である（Σはｉ＝ｎ−ｋ〜ｎ＋ｋの範囲に亘る総和）。ジッタｊ［ｎ］は、その範囲のフレームに係る推定モーション ν［ｉ］をフィルタタップｈ［ｉ］を用いてたたみ込み、それによって求めたローパスフィルタリング済推定モーションを、元々の推定モーションν［ｎ］から減ずることで、求められている。積算ジッタＡ［ｎ］は、先行フレームの積算ジッタＡ［ｎ−１］に現フレームのジッタｊ［ｎ］を加算することで求められている。従って、この積算ジッタＡ［ｎ］は、第ｎフレームに相応しいジッタ補正幅を表している。こうして相応しいジッタ補正幅Ａ［ｎ］が判明したら、第ｎ〜第（ｎ＋ｋ）フレームの全画像を保持しているイメージバッファにアクセスし、そのバッファによって保持されている第ｎフレームのデータ、特に撮影により得られた画像を示す部分をその項Ａ［ｎ］に基づき調整する。そのデータは、ビデオエンコーダに送られエンコードされる。或いは、そのままメモリに送られ圧縮無しで格納される。

このフィルタリング及びバッファリングで使用されるｋの具体的な値は、画像の一時保存に利用できるバッファの記憶容量等、相応の条件に基づき決めればよい。一般に、推定モーションをより多フレームに亘り参照する方が、そのフィルタに望まれる周波数応答に近い応答が得られる。また、フィルタタップｈ［ｉ］の具体的な値はそのフィルタに望まれる周波数応答、ひいてはモーション中のジッタ成分の想定周波数域に依存しており、更にはそのビデオシーケンスのフレームレートにも依存している。

なお、以上の他にも、その情報処理難度が様々に異なる種々の安定化アルゴリズムを使用可能である。例えば、特許文献２（発明者：Ｐａｒｋ ｅｔ ａｌ．）、特許文献３（発明者：Ｓｏｕｐｌｉｏｔｉｓ ｅｔ ａｌ．）、特許文献４（発明者：Ｍｏｒｉｍｕｒａ ｅｔ ａｌ．）、特許文献５（発明者：Ｗｅｉｓｓ ｅｔ ａｌ．）、特許文献６（発明者：Ｂｕｒｔ ｅｔ ａｌ．）、特許文献７（発明者：Ｌｅｅ）、非特許文献１及び２等に記載の手法である。これらの手法相互の違いは、カメラモーションの推定に使用する手法や、ビデオシーケンスの安定化に使用する画像ワーピング及びクロッピングの手法にある。これらのアルゴリズムをそれ単独で又は互いに組み合わせて使用することで、カメラモーションの推定及びそれに続くビデオシーケンス安定化を、ロバストに実行することができる。

また、その表示に先立ちビデオシーケンスの第１部分を分析し、その結果に基づき初期版の画像安定化パラメタ群を設定するようにしてもよい。この設定を通じクロッピング帯のサイズを最適化することで、不必要に解像度が損なわれないよう安定化にゆとりを持たせることができる。例えば、撮影時の手ぶれが全体的に少ないビデオシーケンスならクロッピング帯を狭くし多いビデオシーケンスなら広くする、そのいずれでも安定化度は同水準にする、といったことが可能になる。分析結果を踏まえたこのクロッピング帯は、修正を指示するユーザ入力があれば相応に修正され、なければビデオシーケンス全体に適用される。

安定化が済んだ第１部分はユーザ向けに表示させる（６０４）。ユーザは、この表示中に入力機器を作動させて入力を行うことで、画像安定化パラメタ群を初期版と異なるものに改訂するよう制御ユニットに指示することができる。入力機器には一般に複数通りの作動状態があるので、互いに異なる増分又は減分を指示するものとなるよう、個々の作動状態を安定化時モーション補償量即ち安定化度の増減指示に使用すればよい。作動状態のうち一つを、安定化不要即ちモーション補償無しと指示する基底状態として使用することもできる。ユーザは、その入力機器を適当な作動状態で作動させることで、所望の増分／減分を入力・指示することができる。

制御ユニットはそうしたユーザ入力を受け付ける（６０６）。即ち、その種のユーザ入力の到来有無を監視し、到来したらそれに基づき画像安定化パラメタ群を改訂する。それによって、そのビデオシーケンスの第２部分、即ち第１部分より後方にある部分に適用すべき改訂後の画像安定化パラメタ群が得られる。なお、第２部分は第１部分に連なっていなくてもよいが、連なっている方が望ましい。画像安定化パラメタ群の改訂に時間がかかる場合は、その改訂が済むまでの間、第１部分安定化に続き初期版の画像安定化パラメタ群を使用してもよい。第１部分第２部分間の部分に対しては、何らかの意味で中間的な値の画像安定化パラメタ群を適用してもよいし、安定化を行わないようにしてもよい。

ユーザが安定化要否を選択・指示できる構成では、そうしたユーザ入力が、初期版の画像安定化パラメタ群に基づく第１部分の表示が始まる前だけでなく、その表示中の様々な時点で発生しうる。このステップでは、第１部分表示中にそうした入力を受け取った場合、画像安定化パラメタのうちクロッピング窓の位置を改訂乃至維持する。例えば、安定化不要とのユーザ入力に応じ、クロッピング窓を画像中央領域へと自動リセンタリングさせ、最近安定化されたフレーム中での場所に存置させ、或いは画像中央領域に戻るよう徐々にドリフトさせていき、また、安定化要とのユーザ入力に応じ、それまでの位置にクロッピング窓を存置させる。

また、ユーザが安定化要否に加え安定化度も選択・指示できるより好適な構成では、ユーザ所望の安定化度（例えば現在より高い安定化度）を指示するユーザ入力を受け取った場合、このステップで、安定化時モーション補償量が変化（例えば増大）するよう、クロッピング帯サイズ、ジッタ成分弁別用フィルタのフィルタリング係数値、フレーム間モーションについてのジッタ弁別しきい値等の画像安定化パラメタを変化させる。例えば、当該クロッピング帯サイズを縮小させると、等価的にクロッピング帯が拡がる結果最良オフセットが大きくなり、安定化時モーション補償量が大きくなる。当該フィルタリング係数値を相応に変化させると、推定モーションのうちジッタ成分として弁別される割合が増大し、安定化時モーション補償量が大きくなる。当該ジッタ弁別しきい値、即ち与えられた任意フレーム対間のモーションのうちその値を超える部分がジッタ成分として弁別されうるしきい値を大きくすると、ジッタ成分として弁別される成分が多くなり、安定化時モーション補償量が大きくなる。更に、こうした画像安定化パラメタ改訂処理を、ユーザからのパラメタ毎入力に従い行うようにしてもよいし、ユーザがある１個の操作子を操作したら画像安定化パラメタ群が相応の組合せに一括改訂されるようにしてもよい。また、ユーザは、自分の望む安定化度を、第１部分の表示開始前及び表示中の任意時点で指示することができる。

次いで、その改訂版の画像安定化パラメタ群に従いビデオシーケンスの第２部分をディジタル安定化する（６０８）。例えば改訂によってクロッピング限界即ち画素数域の足切り値が修正され、より大きな値になっている場合、そのビデオシーケンス内の諸フレームについて第２部分用のクロッピング窓をリセンタリングしてから安定化を実行する。

更に、その第２部分をユーザ向けに表示する（６１０）。第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中はビデオフレームレートを所定値に保つ（６１２）。即ち、第１部分と第２部分を、安定化と並行し、境目のないストリームの一部として表示させる。

こうして安定化が済み表示されるビデオシーケンスは、図５に示すように、クロッピングにより決まる解像度を有するものや、クロッピング後の画像を原解像度、ディスプレイ解像度等の目標解像度になるよう補間したもの等である。安定化の際にクロッピングされたビデオシーケンスを表示させる場合、クロッピング窓の外側を黒い帯状の表示にすること、即ちレターボックス表示にすることができる。そのクロッピング窓はどのような形状でもよいが、元々のビデオシーケンスと同じアスペクト比を有する矩形にするのが望ましい。

安定化が済んだビデオシーケンスは、元々のビデオシーケンスに上書きされるかたちで、或いは元々のビデオシーケンスとは別のデータとして、メモリ上に保存することができる。また、画像安定化パラメタ群等を含むメタデータをビデオシーケンス内フレームそれぞれに対応付けて保存すること、例えばクロッピング帯の所在を示すメタデータをフレーム毎に定めて保存することも可能である。こうしたメタデータを保存しておくと、後刻そのビデオシーケンスを見たくなったときに都合がよい。即ち、プロセッサ上でそのメタデータを適宜解釈することで、安定化アルゴリズム全体を繰り返すことなく、安定化の済んだビデオシーケンスを生成することができる。

なお、分析によって初期版の画像安定化パラメタ群を設定する際、大域的な推定モーションν［ｎ］を求め次の式
（数３）
Ａ［ｎ］＝αＡ［ｎ−１］＋αν［ｎ］
に従い計算を行うことで、前述の通り積算ジッタＡ［ｎ］の値を算出することができるが、上限しきい値を決めておき積算ジッタＡ［ｎ］の値をそれに照らすことは必須ではない。例えば、そのビデーシーケンスを構成する合計ｎ枚のフレーム全てについて積算ジッタＡ［ｎ］の値を調べ、それらのうちの最大値を最適なクロッピング帯サイズと見なすようにしてもよい。即ち、ｍａｘ｛Ａ［ｎ］｝を以て最適なクロッピング帯サイズとしてもよい（但しｍａｘは様々なｎについての最大値関数）。このやり方には、ｍａｘ｛Ａ［ｎ］｝の返り値が大きくなると、安定化後にビデオシーケンスの空間解像度が低くなる、という問題もある。こうした問題を回避するには、例えば、最大許容解像度損失を表すクロッピング限界ｋを定めておき、それに基づきｍｉｎ｛ｍａｘ｛Ａ［ｎ］｝，ｋ｝を求めて最適なクロッピング帯サイズとすればよい（但しｍｉｎは最小値関数）。例えば６４０×４８０サイズのＶＧＡ解像度ビデオシーケンスならば、最大許容解像度損失ｋを水平軸沿いでは４０画素幅、垂直軸沿いでは３０画素幅にすればよい。最大許容解像度損失ｋをこのように定めておくことで、安定化後のビデオシーケンスが下限値未満の解像度になることを防ぐことができ、また除去すべきジッタ成分が少ないビデオシーケンスについてはクロッピング帯を狭めにすることができる。予め定めてメモリ上に格納しておけば、その最大許容解像度損失ｋを表す情報を随時そのメモリから取得して使用することができる。最大許容解像度損失ｋの値は、ある特定の解像度にして全ビデオシーケンスで共用してもよいし、また安定化前のビデオシーケンスの解像度の関数にしてもよい。

また、表示に先立ちビデオシーケンスを分析しクロッピング帯の最適サイズを求める際に、そのビデオシーケンス内の全フレーム又はその一部の大域モーションベクトルに関し分散、最大値、一階差分値等の統計指標を求め、実験結果等に基づき作成したルックアップテーブルをその統計指標をキーに参照することで、そのビデオシーケンスの安定化に使用すべきクロッピング帯のサイズを決めるようにしてもよい。

ビデオシーケンスの分析は、迅速に結果が得られるようほんの数フレーム分のデータだけを対象として行ってもよいし、より完全な結果が得られるようそのビデオシーケンスの第１部分に属するフレーム全てを対象として行ってもよい。また、ビデオシーケンスに付随するメタデータにクロッピング帯サイズを含めておけば、そのビデオシーケンスの第１部分について、そのメタデータに基づきクロッピング帯を決定することができる。

そして、本方法は、併用されるディジタル画像安定化処理にてクロッピングが実行される場合にとりわけ有用である。クロッピングに伴いビデオシーケンス内フレームの画素数即ち解像度が低下するが、大抵の場合、ユーザは、画像安定化のメリットと引き替えにその解像度低下を受忍することができる。また、画素数による解像度が低下して一部の被写体が見えなくなることを防ぎたければ、クロッピングを施さず画素数を多めに保てばよい。例えば、その被写体からずらした方向に向けたビデオカメラでそのビデオシーケンスが撮影されている場合や、そのユーザにとり画像安定化よりも視野角拡張の方が重要な場合である。本方法の他の利点としては、画像安定化パラメタ群をやや攻勢的な内容にデフォルト設定しておくことで、そのビデオシーケンスの一部からより多くのモーションを除去できる点がある。これが役に立つのは、そのビデオシーケンスに多量のジッタ成分が含まれているけれども、画像安定化処理でパンニング等によるモーションが除去されることは防ぎたい場合である。本方法では、通常通りビデオシーケンスが表示されている状態でユーザが随意に指示することで、画像安定化処理を容易に調整することができる。それ専用の編集セッションは不要である。また、ユーザは、画像安定化の度合いをどの程度にすればよいかを、容易に学ぶことができる。

Claims (28)

1. 初期版の画像安定化パラメタ群に基づきビデオシーケンスの第１部分をディジタル安定化するステップと、
   その第１部分をユーザ向けに表示するステップと、
   その表示中にユーザ入力を受け受け画像安定化パラメタ群を改訂するステップと、
   そのビデオシーケンス中で第１部分より後方にある第２部分を改訂版の画像安定化パラメタ群に基づきディジタル安定化するステップと、
   その第２部分をユーザ向けに表示するステップと、
   第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中にビデオフレームレートを所定値に保つステップと、
   を有するビデオシーケンス改変方法。
2. 請求項１記載のビデオシーケンス改変方法であって、上記第１部分安定化ステップが、デフォルト設定されている画像安定化パラメタ群を上記初期版として適用するステップを含むビデオシーケンス改変方法。
3. 請求項１記載のビデオシーケンス改変方法であって、上記第１部分安定化ステップが、第１部分を分析するステップと、その結果に基づき初期版の画像安定化パラメタ群を設定するステップと、を含むビデオシーケンス改変方法。
4. 請求項３記載のビデオシーケンス改変方法であって、上記設定ステップが、そのビデオシーケンスを構成する諸フレームにおける積算ジッタの最大値を算出するステップを含むビデオシーケンス改変方法。
5. 請求項４記載のビデオシーケンス改変方法であって、上記設定ステップが、所定のクロッピング限界を取得するステップと、第１部分の安定化をそのクロッピング限界内に抑えるステップと、を含むビデオシーケンス改変方法。
6. 請求項１記載のビデオシーケンス改変方法であって、複数通りの作動状態のうちいずれかを選択して作動させうる入力機器の作動状態を、画像安定化パラメタ群の改訂についてのユーザ入力として受け付けるビデオシーケンス改変方法。
7. 請求項６記載のビデオシーケンス改変方法であって、上記複数通りの作動状態が、いずれも安定化時モーション補償量増を示し互いに異なる増分を指示する複数通りの状態と、いずれも安定化時モーション補償量減を示し互いに異なる減分を指示する別の複数通りの状態と、を含むビデオシーケンス改変方法。
8. 請求項７記載のビデオシーケンス改変方法であって、上記複数通りの作動状態が、モーション補償無しを指示する基底状態を含むビデオシーケンス改変方法。
9. 請求項１記載のビデオシーケンス改変方法であって、上記各安定化ステップが、ビデオシーケンスの対応する部分をクロッピングするステップを含み、上記各版の画像安定化パラメタ群が、その画像安定化パラメタ群に基づきディジタル安定化を施す前の初期画素数より少ない最終画素数を表すクロッピング限界を含むビデオシーケンス改変方法。
10. 請求項９記載のビデオシーケンス改変方法であって、画像安定化パラメタ群の改訂に際しクロッピング限界を変更するビデオシーケンス改変方法。
11. 請求項１０記載のビデオシーケンス改変方法であって、画像安定化パラメタ群の改訂に際しクロッピング限界を高めるビデオシーケンス改変方法において、その安定化に先立ちそのビデオシーケンスの第２部分をビデオシーケンス内フレームに対しリセンタリングするステップを有するビデオシーケンス改変方法。
12. 請求項９記載のビデオシーケンス改変方法であって、上記各安定化ステップでフレーム毎にクロッピング帯を定めそのフレームに対応付けるビデオシーケンス改変方法において、そのクロッピング帯を示すメタデータをそのフレームに関連付けて保存するステップを有するビデオシーケンス改変方法。
13. 請求項９記載のビデオシーケンス改変方法であって、
    上記各安定化ステップが、対応する部分のフレーム間モーションを算出するステップと、そのモーション中のジッタ成分を特定するステップと、そのジッタ成分をしきい値と比較するステップと、を含み、
    上記改訂により上記しきい値が変化するビデオシーケンス改変方法。
14. 請求項１記載のビデオシーケンス改変方法であって、
    上記各安定化ステップが、対応する部分のフレーム間モーションを算出するステップと、そのモーション中のジッタ成分を特定するステップと、そのジッタ成分をしきい値と比較するステップと、を含み、
    上記改訂により上記しきい値が変化するビデオシーケンス改変方法。
15. 請求項１記載のビデオシーケンス改変方法であって、
    改訂版の画像安定化パラメタ群に基づくビデオシーケンスのディジタル安定化内容を示すメタデータを生成するステップと、
    そのメタデータをそのビデオシーケンスに関連付けて保存するステップと、
    を有するビデオシーケンス改変方法。
16. 請求項１記載のビデオシーケンス改変方法であって、予め定められているクロッピング帯最適サイズに従い初期版の画像安定化パラメタ群を設定するステップを有するビデオシーケンス改変方法。
17. 請求項１６記載のビデオシーケンス改変方法であって、上記設定ステップが、初期版の画像安定化パラメタ群を算出するステップを含み、その算出を、第１部分における積算ジッタの最大値と、上記第１部分安定化ステップで生じる解像度損失について予め定められた許容上限値と、に基づき行うビデオシーケンス改変方法。
18. デフォルト設定されている画像安定化パラメタ群に基づきビデオシーケンスの第１部分をディジタル安定化するステップと、
    その第１部分をユーザ向けに表示するステップと、
    その表示中に、複数通りの作動状態のうちいずれかを選択して作動させうる入力機から、その入力機器の作動状態で示されるユーザ入力を受け付け、そのユーザ入力に従い画像安定化パラメタ群を改訂するステップと、
    そのビデオシーケンスで第１部分より後方にある第２部分を、改訂版の画像安定化パラメタ群に基づきディジタル安定化するステップと、
    その第２部分をユーザ向けに表示するステップと、
    第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中にビデオフレームレートを所定値に保つステップと、
    を有し、上記各安定化ステップが、そのビデオシーケンス中の対応する部分に属するフレームをクロッピングするステップを含むビデオシーケンス改変方法。
19. ビデオシーケンス及び初期版の画像安定化パラメタ群が格納されるメモリと、
    画像安定化パラメタ群の改訂を指示するユーザ入力を制御ユニットに送る入力機器と、
    これらメモリ及び入力機器と連携する制御ユニットであって、初期版の画像安定化パラメタ群に基づきそのビデオシーケンスの第１部分をディジタル安定化し、入力機器を介し受け付けたユーザ入力に基づき画像安定化パラメタ群を改訂し、その画像安定化パラメタ群に基づきそのビデオシーケンスの第２部分をディジタル安定化する制御ユニットと、
    その制御ユニットと連携し、第１部分及び第２部分を含む境目のないビデオシーケンスをその安定化と並行して表示するディスプレイと、
    を備えるビデオシーケンス改変システム。
20. 請求項１９記載のビデオシーケンス改変システムであって、安定化の最中に上記制御ユニットがビデオシーケンス内フレームをクロッピングするビデオシーケンス改変システムにおいて、上記各版の画像安定化パラメタ群が、それによる安定化が施されていないフレームの当初画素数より小さい最終画素数を表すクロッピング限界を含み、画像安定化パラメタ群の改訂によってそのクロッピング限界が変化するビデオシーケンス改変システム。
21. 請求項１９記載のビデオシーケンス改変システムであって、上記入力機器が、複数通りの作動状態のうちいずれかを選択して作動させうる機器であり、その機器の作動状態を以て、画像安定化パラメタ群の改訂を指示するユーザ入力として受け付けるビデオシーケンス改変システム。
22. 請求項２１記載のビデオシーケンス改変システムであって、上記複数通りの作動状態が、いずれも安定化時モーション補償量増を示し互いに異なる増分を指示する複数通りの状態と、いずれも安定化時モーション補償量減を示し互いに異なる減分を指示する別の複数通りの状態と、モーション補償無しを指示する基底状態と、を含むビデオシーケンス改変システム。
23. 請求項１９記載のビデオシーケンス改変システムであって、上記制御ユニットが、上記各版の画像安定化パラメタ群を示すメタデータを、そのビデオシーケンスの対応する部分に関連付けて上記メモリに保存するビデオシーケンス改変システム。
24. 請求項２３記載のビデオシーケンス改変システムであって、上記メタデータが、そのビデオシーケンスを構成する個々のフレームに係るクロッピング帯を含むビデオシーケンス改変システム。
25. 請求項１９記載のビデオシーケンス改変システムであって、上記初期版の画像安定化パラメタ群がデフォルト設定されており、上記ビデオフレームレートが２４フレーム／秒以上であり、上記入力機器が無線リモートコントローラであるビデオシーケンス改変システム。
26. ビデオシーケンスの第１部分を分析するステップと、
    その結果に基づき初期版の画像安定化パラメタ群を設定するステップと、
    そのビデオシーケンスの第１部分を初期版の画像安定化パラメタ群に基づきディジタル安定化するステップと、
    その第１部分をユーザ向けに表示するステップと、
    画像安定化パラメタ群の改訂を指示するユーザ入力の有無を第１部分表示中にチェックするステップと、
    該当するユーザ入力があった場合、画像安定化パラメタ群を改訂しそのビデオシーケンスの第２部分をその画像安定化パラメタ群に基づきディジタル安定化するステップと、
    該当するユーザ入力がなかった場合、画像安定化パラメタ群を改訂せずそのビデオシーケンスの第２部分をその画像安定化パラメタ群に基づきディジタル安定化するステップと、
    その第２部分をユーザ向けに表示するステップと、
    第１部分表示中、第２部分表示中及び第１部分第２部分間部分表示中にビデオフレームレートを所定値に保つステップと、
    を有するビデオシーケンス改変方法。
27. 請求項２６記載のビデオシーケンス改変方法であって、上記設定ステップが、ビデオシーケンス内フレームにおける積算ジッタの最大値を計算するステップを含むビデオシーケンス改変方法。
28. 請求項２７記載のビデオシーケンス改変方法であって、上記設定ステップが、所定のクロッピング限界を取得するステップと、第１部分の安定化をそのクロッピング限界の範囲内に抑えるステップと、を含むビデオシーケンス改変方法。

Images