JP2009076071A - マルチメディア処理用の高性能入力制御装置、入力制御方法および入力制御用プログラム - Google Patents

Abstract

【課題】画像やビデオクリップの再生中に、ウェブカメラを仮想フラッシュライトとして画面上で使用可能にする入力制御システム、方法およびプログラムを提供する。
【解決手段】入力制御システムにおいて、マルチメディア素材を表している特徴画像を画面上で生成する、処理制御装置と、処理制御装置に接続されるとともに、特徴画像の画像の撮像を作成するカメラとを備え、処理制御装置が、特徴画像の位置を繰り返し更新するために特徴画像の撮像を使用するとともに、カメラの位置に基づいて特徴画像の位置を決定し、繰り返しごとに、特徴画像の位置を記録し、さらに特徴画像の記録された位置に基づいて、マルチメディア素材を変換する。
【選択図】図１

Description

本発明は、マルチメディア処理用の高性能入力制御装置、入力制御方法および入力制御用プログラムに関する。

デジタルカメラや携帯電話を使用しているユーザは、数多くの画像やビデオクリップを蓄積している。Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ Ｅｌｅｍｅｎｔｓ ＳｌｉｄｅＳｈｏｗエディタなどのプログラムは、ユーザがパンアンドスキャンを利用できる一連の画像から、必要なスライドショーを手作業で作成するための、人気のあるプログラムである。自動的に製作されるスライドショーも、画像の表面上でズーミング機能やスキャニング機能を活用しており、これがビデオクリップにまで拡張されてきている。

このように、本領域における一つの側面として、非特許文献１のようなＡｄｏｂｅ社製などのプログラムは、使用することが困難であり、ユーザが甚大な努力を払わねばならない。また本領域における別の側面として、画像から自動的に作成されるビデオには、人間的な味わいがない。従って、すぐにつまらないと感じ、斬新ではなくなり、当然のこととして個人特有のビデオとしての感覚をもつことができない。標準のビデオ編集ツールおよび画面収集ツールは、一部の編集作業では実用的ではあるが、２つの大きな欠点がある。すなわち、１）ユーザは、メディアのインポートと整理を別々のインタフェースで行わなければならないという点と、２）あるがままの（すなわちカムコーダ様に）画面を録画できないので、その代わりに通常、ユーザが記録しようとする特定の領域もしくは画面枠を定義せざるを得ない。

カムコーダ様のビデオ編集用制御を実現化するための一つの方法としては、単にカムコーダを使用して、コンピュータ画面に表示される画像を撮影して、ビデオのムービーを生成することが考えられる。しかし、カムコーダを２番目の複製の作成に用いると、この方法で記録されたビデオは質が劣化せざるを得ない。

このように、既存の技術ではいずれも、ユーザが、画像やビデオクリップから必要な個人化されたビデオを、自然に作成することができない。
http://www.adobe.com/products/photoshopelwin/samples/slideshow_travel.html

本発明は、マルチメディア処理にかかわる上述の問題およびその他の問題のうちの一つもしくはそれ以上を実質的に回避するシステム、方法およびプログラムを対象としている。

本発明の第１の態様は、入力制御システムであって、入力制御システムは、ａ．マルチメディア素材を表示している画面上に特徴画像を生成する処理制御装置と、ｂ．処理制御装置に動作可能なように連結され、特徴画像の撮像を作成することができるカメラとを備え、処理制御装置が、ｉ．特徴画像の位置を繰り返し更新するために特徴画像の撮像を使用するとともに、カメラの位置に基づいて特徴画像の位置を決定し、ｉｉ．繰り返しごとに、特徴画像の位置を記録し、さらにｉｉｉ．特徴画像の記録された位置に基づいて、マルチメディア素材を変換する。

本発明の第２の態様は、第１の態様の入力制御システムにおいて、特徴画像が、着色された円、着色された矩形もしくは着色された四辺形をさらに有する。

本発明の第３の態様は、第１の態様の入力制御システムにおいて、処理制御装置が、さらに、特徴画像の表面積を計算し、計算された表面積を使用してカメラとディスプレイとの間の距離を測定できる。

本発明の第４の態様は、第１の態様の入力制御システムにおいて、画像の使用に、ディスプレイに表示されているマルチメディア素材から、フィルタをかけて特徴画像の色彩を除去することが含まれる。

本発明の第５の態様は、第１の態様の入力制御システムにおいて、カメラがウェブカメラである。

本発明の第６の態様は、第１の態様の入力制御システムにおいて、処理制御装置が、さらにスプライン曲線を使用して、ディスプレイ上に特徴画像の位置を平滑化処理できる。

本発明の第７の態様は、第１の態様の入力制御システムにおいて、マルチメディア素材が、少なくとも２つのフレームを有し、さらにマルチメディア素材の変換処理に、特徴画像の位置とサイズとに従って、マルチメディア素材の少なくとも２つのフレームをクロップすることが含まれる。

本発明の第８の態様は、第７の態様の入力制御システムにおいて、クロップされた少なくとも２つのフレームをビデオクリップに組み立てることを含む。

本発明の第９の態様は、第１の態様の入力制御システムにおいて、処理制御装置が、さらに特徴画像の撮像を使用して、ディスプレイに対するカメラの角度を測定できる。

本発明の第１０の態様は、第１の態様の入力制御システムにおいて、マルチメディア素材が、複数のフレームを有し、処理制御装置がさらに、変換されたマルチメディア素材を使用して少なくとも２つのビデオクリップを作成でき、処理制御装置がさらに、少なくとも２つのビデオクリップ間にトランジションを内挿できる。

本発明の第１１の態様は、入力制御方法であって、ａ．マルチメディア素材を表示している画面上に特徴画像を生成し、ｂ．カメラを使用して、特徴画像の撮像を作成し、ｃ．特徴画像の位置を繰り返し更新するために特徴画像の撮像を使用するとともに、カメラの位置に基づいて特徴画像の位置を決定し、ｄ．繰り返しごとに、画像の位置を記録し、ｅ．特徴画像の記録された位置に基づいて、マルチメディア素材を変換する。

本発明の第１２の態様は、第１１の態様の入力制御方法において、特徴画像に、着色された円、着色された矩形もしくは着色された四辺形が含まれる。

本発明の第１３の態様は、第１１の態様の入力制御方法において、さらに、特徴画像の表面積を計算し、計算された表面積を使用して、カメラとディスプレイとの間の距離を測定する。

本発明の第１４の態様は、第１１の態様の入力制御方法において、画像の使用に、ディスプレイ上に表示されているマルチメディア素材から、フィルタをかけて特徴画像の色彩を除去することを含む。

本発明の第１５の態様は、第１１の態様の入力制御方法において、カメラが、ウェブカメラである。

本発明の第１６の態様は、第１１の態様の入力制御方法において、スプライン曲線を使用して、さらにディスプレイ上の特徴画像の位置を平滑化処理する。

本発明の第１７の態様は、第１１の態様の入力制御方法において、マルチメディア素材が、少なくとも２つのフレームを有し、マルチメディア素材の変換処理に、特徴画像の位置とサイズとに従って、マルチメディア素材の少なくとも２つのフレームをクロップすることを含む。

本発明の第１８の態様は、第１１の態様の入力制御方法において、さらに、クロップされた少なくとも２つのフレームをビデオクリップに組み立てる。

本発明の第１９の態様は、第１１の態様の入力制御方法において、特徴画像の画像を使用して、ディスプレイに対するカメラの角度を測定し、さらに、測定された角度に基づいて、マルチメディア素材を変換する。

本発明の第２０の態様は、第１１の態様の入力制御方法において、マルチメディア素材が複数のフレームを有し、さらに変換されたマルチメディア素材を使用して少なくとも２つのクロップを作成し、少なくとも２つのビデオクリップ間にトランジションを内挿する。

本発明の第２１の態様は、コンピュータプログラムであって、コンピュータに、ａ．マルチメディア素材を表示している画面上に特徴画像を生成するステップと、ｂ．カメラを使用して、特徴画像の撮像を作成するステップと、ｃ．特徴画像の位置を繰り返し更新するために特徴画像の画撮像を使用するとともに、カメラの位置に基づいて特徴画像の位置を決定するステップと、ｄ．繰り返しごとに、特徴画像の位置を記録するステップと、ｅ．特徴画像の記録された位置に基づいて、マルチメディア素材を変換するステップと、を実行させることを含む。

本発明に関するその他の態様は、後述の説明で一部が述べられているので、その説明から部分的に明らかとなるであろうし、本発明を実施することによって知ることもできるであろう。本発明の態様は、要素類および各種要素類の組み合わせによって実現および達成されるが、特に後述の発明を実施するための最良の形態ならびに添付の特許請求の範囲で指摘されている態様に関しては、その点がさらに顕著である。

前述の説明と後述の説明とはともに、典型的な事例を挙げて説明を行っているにすぎず、いかなる形でも特許請求項に記載されている発明およびその適用を制限することを意図していないことを理解すべきである。

マルチメディアを再生している画面を利用して、マルチメディアの編集が可能となるため、これまでの技術と比較して、マルチメディアの編集の自由度を高めることができる。

本明細書に取り込まれ、その一部を構成している添付の図面は、本発明の具体的例を示しており、関連する記述とともに、本発明の技術の原理を説明し、図解する役割を果たしている。

以下の詳細な説明では、同一の機能要素が同じ番号で表されている、添付の図面を参照する。前述の添付の図面は、図解することを目的としており、本発明の原理と一致する特定の実施形態および実施例に限定することを目的とはしてはいない。これらの実施例については、当業者であれば本発明を実施できるほど十分詳細に説明されており、他の実施例を使用して、本発明の対象範囲と精神とから逸脱することなく、各種要素の少なくとも構造的変更および置換のいずれかができることを理解すべきである。従って、後述の詳細な説明は、限定された意味で解釈すべきではない。さらに、本明細書に記述されている本発明の各種実施形態は、汎用コンピュータで動作するソフトウェアの形態、専用ハードウェアの形態もしくはソフトウェアとハードウェアとを組み合わせた形態のいずれかで、実現することができる。

本発明の技術の一つの実施形態は、ユーザのモニタに表示される画像、ビデオもしくはその他のマルチメディアのパン、スキャンおよびズームなどの表示(ビュー)パラメータをユーザが簡単に生成し、新しく生成されたビューを用いてカスタムマルチメディアプレゼンテーションを作成するのを可能にする、入力制御装置（ビューポート）である。具体的には、本発明の入力制御装置システムの一つの実施形態では、画像もしくはビデオクリップが画面上で再生されているときに、ウェブカメラを画面への仮想フラッシュライトとして使用することができる。画面に向けたウェブカメラフラッシュライトの位置、傾きおよび回転が記録され、ウェブカメラもしくはユーザが保持しているその他のポインティングデバイスの位置情報から得られた、ビューパラメータ（パン、スキャンおよびズーム）を用いて、マルチメディアファイルを変換することで、魅力的なムービーが円滑に作成される。ユーザは、画面の近くまでウェブカメラを移動させて特定の領域に焦点を当てること、ウェブカメラを回転させて必要な回転操作を行わせること、およびウェブカメラをパンニングして側面から見た被写体をシミュレートすることなどができる。ユーザのムービーがすべて記録されたなら、ユーザによる本発明のシステムとの対話によって決定されたとおりに、オリジナルのマルチメディア素材を変換することによって、新しいムービーやその他のマルチメディアプレゼンテーションが生成される。

図１は、本発明のシステムの典型的な実施形態である。具体的には、図に示されている実施形態１００では、システムには、モニタ１０１の方向を向いたカメラ１０２の形態の、ポインティングデバイスを備えている。本発明の実施形態のシステムは、モニタ１０１に表示される特徴画像１０４を使用して、カメラ１０２の向きと位置とを読み取る。モニタ１０１は、ユーザが変換することを望むマルチメディアコンテンツ（図示せず）も表示する。カメラ１０２から取得される画像情報１０５は、本発明の処理装置１０３に有線もしくは無線通信により送信される。この装置は、調整信号１０６をモニタ１０１に送信する。信号１０６は、特徴画像１０４の表示される位置を調整する。システム１００は、カメラ１０２の位置と向きとを連続的に記録し、この情報を使用して、モニタ１０１に表示されるマルチメディアコンテンツを変換する。

本発明のシステムの実施形態では、ユーザが画面１０１上で、ウェブカメラのような、カメラ１０２を移動する。ユーザは、画像をズームインおよびズームアウト、スキャン、ある点からある点へ移動させることができる（例えば、顔から顔、線に沿って、など）。本発明のシステム１００の実施形態は、ユーザに対しリアルタイムでフィードバックを提供する。カメラ１０２の移動に伴って、円、矩形もしくは四辺形などの特徴画像１０４が、カメラ１０２の現在の位置と向きを表すために、マルチメディアメディア要素（例えば、画像もしくはビデオクリップ）上に描画される。基本的には、本発明のシステムの図示されている実施形態を使用する方法は、画面に向けてフラッシュライトを当てる方法と類似している。ユーザは、光線の大きさによって、どの程度の量の画像が最終的なアニメーションに使用されるのかを知ることができる。

ズーム、スキャンおよび回転に加えて、本発明の一つの実施形態では、パン（カメラの左右の旋回）およびチルト（カメラの旋回）の各処理を検出できる。これらのさらなる２つの要素が加わることで、たとえ表示される面が平坦なままであったとしても、パンやチルトの場面で、実際に３次元の物体の回りを移動しているかのようにユーザが感じられるような、最終的なアニメーションの臨場感の改善が得られる。

つぎに、本発明のシステムの動作原理について説明する。第一に、ユーザが、画像やビデオクリップなどの、表示するメディア要素を選択する。一つの実施形態では、本発明のシステムで、この要素にフィルタを適用して、例えば青色などの、仮想のフラッシュライトによって使用される成分を除去できる。これは画像だけでなく、ビデオクリップにも適用される。例えば、Ａｃｔｉｏｎｓｃｒｉｐｔ／Ｆｌａｓｈでビットマップフィルタをリアルタイムで適用して、ディスプレイ上に描画される前に、すべてのフレームの青い構成要素を除去することができる。その後で、本発明のシステムの一つの実施形態では、例えば画面の中心など、ディスプレイ上の所定の位置に、青い円、矩形もしくは四辺形などの仮想フラッシュライトがオーバーレイされる。

残りのステップについて、図２を参照しながら説明する。ステップ２０１では、システムが、カメラから時間ｔに一致するフレームを捕捉する。ステップ２０２では、システムが、画面上で青い円、矩形もしくは四辺形の検出を迅速化するため、青以外のピクセルをフィルタで除去する。ステップ２０３では、青い円、矩形もしくは四辺形に一致するブロブ（blob（小塊））の位置が計算される。具体的には、本発明のシステムの実施形態では、横方向（Ｘ）と縦方向（Ｙ）の両方向それぞれで、ブロブのエッジ（ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹ）の位置が判定される。その後で、ブロブの中心の位置ｂｘとｂｙだけでなく、表面積も計算される。一つの実施形態では、画面から円もしくは矩形の実測サイズを逆方向の距離にマップすることによって、画面１０１からカメラ１０２までの距離を測定するときに、ブロブの表面積が使用される。

本発明の実施形態においては、ステップ２０３でブロブの中心が計算された後に、システムが、ステップ２０４で逆方向の距離だけ仮想フラッシュライトの位置を移動させる。例えば、ブロブがウェブカメラのフレームの中心から左下端部にあることを認識したなら、システムは、青い円、矩形もしくは四辺形を右上端部に移動する。ユーザが意図せずにうっかり意思表示した場合に対処するため、ブロブがウェブカメラによって取得されたフレームの中心付近にすでに位置している場合には、システムは、青い円、矩形もしくは四辺形を移動させない。ステップ２０５では、画面上のブロブの新しい位置が更新される。このループ２１０により、ユーザが、どこにウェブカメラを向けていても、システムが青い丸、矩形もしくは四辺形を移動させることができる。

カメラのパンとチルトの各操作を推定するため、本発明のシステムの一つの実施形態では、本明細書に全体として参考のために示されている、２００７年８月１４日に出願された米国特許出願番号１１／８３８，８１７に詳細に記述されている方法が採用できる。カメラ１０２の画面までの距離は、ブロブの表面積を用いて計算される。そのために、本発明のシステムの実施形態では、ブロブの幅と高さとを計算し、その結果に基づいて、青い円、矩形もしくは四辺形のサイズが変更される。例えば、ブロブのサイズは、その幅が常時フレームの幅の１／４を占めるように調整される。ステップ２０１で捕捉されたフレームごとに、本発明のシステムの実施形態は、フレームの時間ｔ、画面上のブロブの位置（ｘ，ｙ）を含むビューパラメータ、ならびにカメラから画面ｚまでの距離を記録する。本発明のもう一つの実施形態では、システムが、画面に対するカメラの角度など、カメラの向きパラメータを記録する。このように、ステップ２０６では、カメラのビュー情報が時系列の３次元もしくは４次元の点として記録される。時間ｔごとに、記録される情報には、ディスプレイ上の青い円と、矩形もしくは四辺形のｘ，ｙ座標、青い円、矩形もしくいは四辺形のサイズと、入手可能な場合、ディスプレイに対するカメラの回転情報が含まれる。

本発明の一つの実施形態では、ステップ２０７で、記録されたビューパラメータが、例えばスプライン曲線などを使用して、平滑化処理される。本発明の一つの実施形態では、適切な時期に（ｘ，ｙ）座標に適合するように、パラメトリック２Ｄスプライン曲線が計算される。パラメトリック１Ｄスプライン曲線は、青い丸、矩形もしくは四辺形の連続したサイズに適合するように計算される。つぎに本発明のこの実施形態では、これら２本の平滑化処理された曲線を使用して、捕捉時に表示されたオリジナルの素材から一連のフレームが作成される。

システムは、時間ｔ＝０から処理を進め、第一のスプライン曲線によって与えられる２Ｄ位置と、第二のスプライン曲線によって与えられる１Ｄサイズとを読み取る。これらのパラメータを使用して、システムは、切り取る原画像（もしくはビデオクリップフレーム）の領域を明確に決定する。この決定に従って、この実施形態例では、フレームを切り取り、時間ｔに関する出力フレームとしてこれが書き込まれる。ステップ２０８を参照のこと。回転情報も入手可能な場合には、オリジナルの画像が対応する角度だけはじめに回転され、ついで切り取られる。これにより、黒い隅部が表示されない。ステップ２０９で、フレームの切り取り領域が出力される。

２Ｄおよび１Ｄのスプライン曲線の適合処理は数個の点にのみ依存し、一連のすべての点には依存しないので、システムは、ほぼリアルタイムでスムースなアニメーションを作成することもできる。これは、下記の典型的な応用例のシナリオに説明されているように、システムが共同利用されているときには、有効である。

本発明の一つの実施形態では、ユーザは、前述のステップ２０９で出力される切り取りフレームのアスペクト比を制御できる。本システムの一つの実施形態では、前述のアスペクト比を変更するのに、コンピュータキーボードまたは、制御装置の１個もしくはそれ以上のキーを使用する。本発明の一つの実施形態では、コンピュータ画面に表示されるオリジナルのフレーム（画像）に対するビューポートの位置と向きとによって定まる、新しいカメラの角度をシミュレートするため、マルチメディア素材のフレーム（画像）が変換される。本発明のシステムのある実施形態では、少なくともクロップおよび変換のいずれか一方がなされたフレーム（画像）が、一つもしくはそれ以上のムービークリップに組み立てられる。その結果、ユーザは、前述のムービークリップ（複数可）に対して音響効果を付加することができる。

つぎに、本発明のシステムの一つの実施形態の典型的応用例のシナリオについて説明する。ユーザが娘の誕生日のパーティの画像と何枚かのビデオクリップを撮影したと想定する。数秒間画像が表示されてから、ビデオクリップが全体として再生される典型的なスライドショーモードで、システムが、これらの画像とビデオクリップを表示する。スライドショーが行われている間、ユーザは、このウェブカメラを使用して、メディアの特定の面積に焦点を当てる。さらに、ユーザは、パンやズーム操作を行いながらナレーションを入れ、この処理が終わったなら、別の装置で録画しておいた新しいクラリネットを演奏している娘のミュージッククリップを追加する。その後で、彼は、自分の家族に新しく作成されたクリップをｅメールで送信し、自分専用のインターネット動画アーカイブにアップロードする。

第一のユーザである配管工は、いまだ経験したことのない設備における漏れをくい止める必要性があることを発見したとする。彼の会社には教育訓練用ビデオがあるので、彼はアーカイブをサーチして、自分のモバイル装置でビデオを見て復習することができる。しかし、これは、２つの理由できわめて困難である。すなわち、１）ほとんどのモバイル装置と同様に、彼の装置も断続的にしかネットワークに接続できないので、膨大なビデオのセットをサーチし尽くすには、非常に多くの時間を費やしてしまう。２）ビデオは本来、大画面用に設計されており、小画面で見ることはなかなか難しい。その代わり、彼は、会社の本社にいる第二のユーザに連絡を取る。この第二のユーザが、自分の画面でその漏れを止める方法に関するビデオクリップを再生するが、第二のユーザは、第一のユーザのモバイル装置にクリップ全体をストリーム出力するのではなく、自分のウェブカメラを用いて最重要な要素だけを送信するが、そうでない場合には、ビデオ全体を観察したときのみ発見できる最初のユーザコンテキストを提供する。

本発明のシステムの一つの実施形態では、一連の小さなクリップからさらに大きなビデオを構成する処理がサポートされる。フェーディングなど、クリップ間のトランジションは、ユーザが定義することができる。あるいは、システムは、２つのクリップ間に自動的に内挿し、最初のクリップの終わりから次のクリップの初めまで（ｘ，ｙおよびｘの位置、ならびにチルト、パンおよびカントを含む）ビューポートを平滑化処理することにより調整する。この自動的方法は、（例えば、ユーザが、しばらくの間、カメラを画面からそらせていた場合など）ビューポートが画面のある部分から別の部分へ分岐するときに、クリップ内で使用することもできる。

ビューポートが、画面の別の部分に分岐し、青いブロブが「見えなくなった」ときに、カメラの現在の位置を検出するための多数の方法が周知である点に留意されたい。このような周知の方法の一つは、携帯電話のカメラを使用して、カーソルの位置を特定するのにすでに適用されている、Ｄａｔａｍａｔｒｉｘタグに依拠している。

図１に示されているウェブカメラは、本発明の入力制御装置の一つの実施形態のみを表しているが、他の実施形態も可能である。例えば、通常の当業者にとって周知のＷｉｉ（登録商標）コントローラは、自由度６が可能であり（ＩＲセンサを介して３、加速度計を介してさらに３）ウェブカメラと類似した直接的方法で、ビューポートを制御するのに使用できる。本発明の一つの実施形態では、本発明のビューポートとして、前述のＷｉｉコントローラを利用し、そのキーを使用して、「フラッシュライト」の第６自由度、ヨーを制御する。この実施形態では、（ｘ，ｙ）の位置を制御するのに、システムがＷｉｉの内部赤外線センサに依存している。一つの実施形態では、標準のＷｉｉセンサバーの代わりに、システムは、２つの赤外線フラッシュライトを使用して、Ｗｉｉのｘとｙの位置を導き出す。フラッシュライト間は、固定距離だけ離れており、この距離は、Ｗｉｉが画面に次第に近づくにつれて広がっていく。Ｗｉｉコントローラは、静止力を測定するのに引力に依存する加速度計を備えているが、パン操作（ヨー）を記録することはできない。このように、本発明の一つの実施形態では、代わりにＷｉｉアローキーを使用してパン操作とチルト操作の両方を制御する。傾斜面(cant)（円筒）座標系を制御するのに、システムはＷｉｉの加速度計を使用して、Ｗｉｉの傾斜面をビューポートの傾斜面に直接投影する。最後に、本発明のシステムのこの実施形態では、Ｗｉｉの＋と−の各キーを使用して、捕捉するフレームのアスペクト比を制御する。

図３は、本発明の方法の一つの実施形態を実現できる、コンピュータ／サーバシステム３００の一つの実施形態を図解しているブロック図である。システム３００には、コンピュータ／サーバープラットフォーム３０１と、周辺機器３０２と、ネットワークリソース３０３とが備わっている。

コンピュータプラットフォーム３０１は、データバス３０４、もしくはコンピュータプラットフォーム３０１の各部間および各部内で情報を交換するための他の通信機構と、情報処理ならびに他の演算タスクや制御タスクを実行するためのバス３０４に連結したプロセッサ３０５とを備えていてもよい。コンピュータプラットフォーム３０１には、各種情報の他に、プロセッサ３０５によって実行される命令を格納しておくため、バス３０４に連結されているランダムアクセスメモリ（ＲＡＭ）もしくはその他の動的記憶装置など、揮発性記憶装置３０６も備わっている。揮発性記憶装置３０６は、プロセッサ３０５による命令の実行時に、仮の変数やその他の中間処理情報を格納するのに使用することもできる。コンピュータプラットフォーム３０１はさらに、基本入出力システム（ＢＩＯＳ）などプロセッサ３０５に関する静的情報と命令、その他に各種システム構成パラメータも格納するため、バス３０４に連結されている読取専用メモリ（ＲＡＭもしくはＥＰＲＯＭ）３０７を備えていてもよい。情報や命令を記憶するため、磁気ディスク、光ディスクもしくはソリッドステートフラッシュメモリ装置などの固定記憶装置が備わっており、バス３０４に連結されている。

コンピュータプラットフォーム３０１には、コンピュータプラットフォーム３０１のシステムアドミニストレータもしくはユーザに対して情報を提示するため、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイもしくは液晶ディスプレイなどのディスプレイ３０９を、バス３０４を経由して連結させてもよい。プロセッサ３０５に情報やコマンド選択肢を伝達するため、英数字キーやその他のキーをはじめとする入力デバイス３１０がバス３０４に連結されている。プロセッサ３０５に指示情報およびコマンド選択肢を伝達し、さらにディスプレイ３０９上でのカーソルの移動を制御するための、マウス、トラックボールもしくはカーソル方向キーなど、もう一つの種類の入力デバイスが、カーソル制御デバイス３１１である。この入力デバイスは、通常、デバイスによって平面上で位置を指定するのを可能にする、第一の軸（例えば、ｘ）と第二の軸（例えば、ｙ）の２軸における、自由度２を備えている。

バス３０４を経由して、外付け記憶装置３１２をコンピュータプラットフォーム３０１に接続し、コンピュータプラットフォーム３０１に対して追加のリムーバブル記憶容量を付加してもよい。コンピュータシステム３００の一つの実施形態では、外付けのリムーバブル記憶装置３１２を、他のコンピュータシステムとのデータ交換を促進するのに使用することもできる。

本発明は、本明細書に記載されている技術を実現するためのコンピュータ３００の使用に関する。一つの実施形態では、本発明のシステムは、コンピュータプラットフォーム３０１などのマシン上に常駐させておくことができる。本発明の一つの実施形態によれば、本明細書に記載の技術は、揮発性メモリ３０６に格納されている一つもしくはそれ以上の命令から成る一つもしくはそれ以上のシーケンスを実行しているプロセッサ３０５に応答して、コンピュータシステム３００によって遂行される。このような命令は、固定記憶装置３０８などの別のコンピュータ読取可能媒体から揮発性メモリ３０６に読み込むこともできる。揮発性メモリ３０６に格納されている命令シーケンスを実行することにより、プロセッサ３０５が本明細書に記載のプロセスステップを遂行することができる。別の実施形態では、本発明を実現するためのソフトウェア命令の代わりに、もしくはこれらのソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。このように、本発明の実施形態は、ハードウェア回路とソフトウェアとの、いずれかの特定の組み合わせに限定されない。

本明細書で使用されている「コンピュータ読取可能媒体」という用語は、実行する命令プログラムをプロセッサ３０５に提供する操作に関わるいずれかの媒体を表す。コンピュータ読取可能媒体とは、少なくとも本明細書に記載されている方法および技術のいずれか一方を実現するための命令を実行することのできるプログラムを含む、機械読取可能媒体のほんの一例にすぎない。このような媒体には、不揮発性媒体、揮発性媒体および伝送媒体をはじめとする多くの形態を取りうるが、これらに限定されない。不揮発性媒体としては、例えば、記憶装置３０８などの光ディスクもしくは磁気ディスクがあげられる。揮発性媒体としては、揮発性装置３０６などの動的メモリがあげられる。伝送媒体には、同軸ケーブルや、データバス３０４を有するワイヤなどの銅線や光ファイバがあげられる。伝送媒体は、電波データ通信及び赤外線データ通信時に生成される波など、音波や光波の形態を取ることもできる。

一般的形態のコンピュータ読取可能媒体としては、例えば、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープもしくはその他のいずれかの種類の磁気媒体、ＣＤ−ＲＯＭ、他のいずれかの種類の光媒体、パンチカード、紙テープ、ホールパターンを有する他のいずれかの種類の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、フラッシュドライブ、メモリカード、他のいずれかのメモリチップもしくはカートリッジ、後述の搬送波、もしくはコンピュータが読み取ることのできるその他のいずれかの媒体などがあげられる。

実行する一つもしくはそれ以上の命令から成る一つもしくはそれ以上のシーケンスの、プロセッサ３０５への搬送には、さまざまな形態のコンピュータ読取可能媒体がかかわることができる。例えば、命令は、最初、リモートコンピュータから磁気ディスクに搬送してもよい。あるいは、リモートコンピュータが、命令を自己の動的メモリにロードし、モデムを使用して、電話回線を通じてそれらの命令を送信することもできる。コンピュータシステム３００にとってローカルなモデムが、電話回線を通じてデータを受信し、赤外線トランスミッタを使用してデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号を受信し、適切な回路系がデータをデータバス３０４上に送出することができる。バス３０４は、データを揮発性記憶装置に搬送し、そこからプロセッサ３０５が命令を受信し、実行する。揮発性メモリ３０６によって受信された命令は、プロセッサ３０５による実行前もしくは実行後に、固定記憶装置３０８に状況に応じて格納してもよい。これらの命令は、本技術分野で周知の、多種多様なネットワークデータ通信プロトコルを用いて、インターネットを通じてコンピュータプラットフォーム３０１にダウンロードすることもできる。

コンピュータプラットフォーム３０１には、データバス３０４に連結されたネットワークインタフェースカード３１３などの、通信インタフェースも備わっている。通信インタフェース３１３は、ローカルネットワーク３１５に接続されたネットワークリンク３１４に対する双方向データ通信連結を可能にする。例えば、通信インタフェース３１３は、対応する種類の電話回線に対するデータ通信の接続を可能にする、総合デジタル通信網（ＩＳＤＮ）カードもしくはモデムであってよい。もう一つの例として、通信インタフェース３１３は、互換性のあるＬＡＮに対するデータ通信の接続を可能にする、ローカルエリアネットワークインタフェースカード（ＬＡＮ（ＮＩＣ））であってもよい。周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇおよびブルートゥースなどのワイヤレスリンクも、ネットワークの実施例に使用してもよい。このような実施例ではいずれも、通信インタフェース３１３が、各種情報を表すデジタルデータストリームを搬送する電気信号、電磁信号もしくは光信号を送受信する。

ネットワークリンク３１４は、通常、一つもしくは複数のネットワークを経由する、他のネットワークリソースに対するデータ通信を可能にする。例えば、ネットワークリンク３１４は、ローカルネットワーク３１５を経由した、ホストコンピュータ３１６もしくはネットワーク記憶装置／サーバー３１７に対する接続を可能にする。それに加えあるいはそれとは別に、ネットワークリンク３１４は、ゲートウェイ／ファイアウォール３１７を経由して、インターネットなどの広域ネットワークやグローバルネットワークに接続してもよい。このように、コンピュータプラットフォーム３０１は、リモートネットワーク記憶装置／サーバー３１９など、インターネット３１８上のどこに配置されたネットワークリソースであってもアクセスすることができる。一方で、コンピュータプラットフォーム３０１に対しては、少なくともローカルエリアネットワーク３１５およびインターネット３１８上のいずれかのどこに配置されたクライアントからでもアクセスできる。ネットワーククライアント３２０とネットワーククライアント３２１自体とは、プラットフォーム３０１に類似したコンピュータプラットフォームに基づいて実現することができる。
ローカルエリアネットワーク３１５とインターネット３１８とはともに、デジタルデータストリームを搬送する電気信号、電磁信号もしくは光信号を使用する。各種ネットワークを通過する信号と、ネットワークリンク３１４およびコンピュータプラットフォーム３０１との間でデジタル信号の搬送を行う、通信インタフェース３１３を経由する信号とは、情報を輸送する典型的な搬送波である。

コンピュータプラットフォーム３０１は、インターネット３１８やＬＡＮ３１５などの多様なネットワーク（複数可）ならびに、ネットワークリンク３１４や通信インタフェース３１３を経由して、メッセージを送信し、プログラムコードなどのデータを受信することができる。インターネットを例にあげると、システム３０１は、ネットワークサーバーとして動作しているときには、インターネット３１８、ゲートウェイ／ファイアウォール３１７、ローカルエリアネットワーク３１５および通信インタフェース３１３を経由して、少なくともクライアント（複数可）３２０および３２１上のいずれか一方で実行されているアプリケーションプログラムに関する要求されたコードやデータを送信することもできる。同様に、システム３０１は、他のネットワークリソースからコードを受信することもできる。

このコードは、受信されると、プロセッサ３０５によって実行され、さらに／あるいは固定記憶装置３０８もしくは揮発性記憶装置３０６にそれぞれ格納されるか、後で実行できるように他の不揮発性記憶装置に格納される。このようにして、コンピュータシステム３０１は、搬送波の形態でアプリケーションコードを取得することができる。

最後になるが、本明細書に記載されているプロセスおよび技術は、本来、どのような特定の装置に関するものでもなく、構成要素の好適ないずれかの組み合わせによってインプリメンントできるという点を理解されたい。さらに、本明細書に記載されている教示内容に従って、さまざまな種類の汎用装置を使用することができる。また、本明細書に記載されている方法の各ステップを実行するよう、専用装置を構成すると好都合であろう。本発明について、あらゆる点で制限を課すのではなく図によって詳細に解説することを目的として、特定の例をあげて説明してきた。当業者であるならば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが、本発明を実施するのに好適であるということを理解するであろう。例えば、記述されているプログラムは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの多種多様なプログラミング言語やスクリプト言語で実現できる。

さらに、当業者であるなら、本明細書の考察および本明細書に開示されている本発明の実施から、本発明の他の実施例が明らかになるであろう。記述されている実施形態のさまざまな態様、構成要素は、単独で、もしくは本発明の入力制御装置と任意に組み合わせて使用することができる。本明細書および実施例は、添付の特許請求の範囲に記載されている本発明の真の対象範囲および精神の下に、体表例としてのみ取り上げることを目的としている。

本発明のシステムの典型的な実施形態を示す図である。 本発明のシステムの一つの実施形態の典型的な動作順序を示す図である。 本発明のシステムを実現できるコンピュータプラットフォームの典型的な実施形態を示す図である。

Claims (21)

1. 入力制御システムであって、
   ａ．マルチメディア素材を表示している画面上に特徴画像を生成する処理制御装置と、
   ｂ．前記処理制御装置に接続されるとともに、前記特徴の画像の撮像を作成するカメラとを備え、
   前記処理制御装置が、
   ｉ．前記特徴画像の位置を繰り返し更新するために前記特徴画像の撮像を使用するとともに、前記カメラの位置に基づいて前記特徴画像の位置を決定し、
   ｉｉ．前記繰り返しごとに、前記特徴画像の位置を記録し、さらに
   ｉｉｉ．前記特徴画像の前記記録された位置に基づいて、前記マルチメディア素材を変換する、
   入力制御システム。
2. 前記特徴画像が、着色された円、着色された矩形もしくは着色された四辺形をさらに有する、請求項１に記載の入力制御システム。
3. 前記処理制御装置が、さらに、前記特徴画像の表面積を計算し、計算された前記表面積を使用して前記カメラと前記ディスプレイとの間の距離を測定できる、請求項１に記載の入力制御システム。
4. 前記画像の使用に、前記ディスプレイに表示されている前記マルチメディア素材から、フィルタをかけて前記特徴画像の色彩を除去することが含まれる、請求項１に記載の入力制御システム。
5. 前記カメラが、ウェブカメラである、請求項１に記載の入力制御システム。
6. 前記処理制御装置が、さらにスプライン曲線を使用して、前記ディスプレイ上に前記特徴画像の位置を平滑化処理できる、請求項１に記載の入力制御システム。
7. 前記マルチメディア素材が、少なくとも２つのフレームを有し、
   さらに前記マルチメディア素材の変換処理に、前記特徴画像の前記位置とサイズとに従って、前記マルチメディア素材の前記少なくとも２つのフレームを切り取ることが含まれる、
   請求項１に記載の入力制御システム。
8. 前記切り取られた少なくとも２つのフレームをビデオクリップに組み立てることを含む、請求項７に記載の入力制御システム。
9. 前記処理制御装置が、さらに前記特徴画像の撮像を使用して、前記ディスプレイに対する前記カメラの角度を測定できる、請求項１に記載の入力制御システム。
10. 前記マルチメディア素材が、複数のフレームを有し、
    前記処理制御装置がさらに、前記変換されたマルチメディア素材を使用して少なくとも２つのビデオクリップを作成でき、前記処理制御装置がさらに、前記少なくとも２つのビデオクリップ間にトランジションを内挿できる、請求項１に記載の入力制御システム。
11. ａ．マルチメディア素材を表示している画面上に特徴画像を生成し、
    ｂ．カメラを使用して、前記特徴画像の撮像を作成し、
    ｃ．前記特徴画像の位置を繰り返し更新するために前記特徴画像の撮像を使用するとともに、前記カメラの位置に基づいて前記特徴画像の位置を決定し、
    ｄ．前記繰り返しごとに、前記画像の前記位置を記録し、
    ｅ．前記特徴画像の前記記録された位置に基づいて、前記マルチメディア素材を変換する、
    入力制御方法。
12. 前記特徴画像に、着色された円、着色された矩形もしくは着色された四辺形が含まれる、請求項１１に記載の方法。
13. さらに、前記特徴画像の表面積を計算し、
    前記計算された表面積を使用して、前記カメラと前記ディスプレイとの間の距離を測定する、請求項１１に記載の方法。
14. 前記画像の使用に、前記ディスプレイ上に表示されている前記マルチメディア素材から、フィルタをかけて前記特徴画像の色彩を除去することを含む、請求項１１に記載の方法。
15. 前記カメラが、ウェブカメラである、請求項１１に記載の方法。
16. スプライン曲線を使用して、さらに前記ディスプレイ上の前記特徴画像の前記位置を平滑化処理する、請求項１１に記載の方法。
17. 前記マルチメディア素材が、少なくとも２つのフレームを有し、
    前記マルチメディア素材の変換処理に、前記特徴画像の前記位置とサイズとに従って、前記マルチメディア素材の前記少なくとも２つのフレームを切り取ることを含む、
    請求項１１に記載の方法。
18. さらに、前記切り取られた少なくとも２つのフレームをビデオクリップに組み立てる、請求項１１に記載の方法。
19. 前記特徴画像の画像を使用して、前記ディスプレイに対する前記カメラの角度を測定し、
    さらに、前記測定された角度に基づいて、前記マルチメディア素材を変換する、
    請求項１１に記載の方法。
20. 前記マルチメディア素材が複数のフレームを有し、
    さらに前記変換されたマルチメディア素材を使用して少なくとも２つのクリップを作成し、前記少なくとも２つのビデオクリップ間にトランジションを内挿する、
    請求項１１に記載の方法。
21. コンピュータに、
    ａ．マルチメディア素材を表示している画面上に特徴画像を生成するステップと、
    ｂ．カメラを使用して、前記特徴画像の撮像を作成するステップと、
    ｃ．前記特徴画像の位置を繰り返し更新するために前記特徴画像の画撮像を使用するとともに、前記カメラの位置に基づいて前記特徴画像の位置を決定するステップと、
    ｄ．前記繰り返しごとに、前記特徴画像の前記位置を記録するステップと、
    ｅ．前記特徴画像の前記記録された位置に基づいて、前記マルチメディア素材を変換するステップと、
    を実行させるためのコンピュータプログラム。

Images