JP2013027037A - 注釈付きコンテンツをモバイル装置でキャプチャおよび編成するシステム、方法、およびプログラム - Google Patents

Abstract

【課題】モバイル装置でキャプチャされたコンテンツに対して、キャプチャ、注釈、編成、および共有を行うためのシステム、方法およびプログラムが提供される。
【解決手段】コンテンツはホワイトボード上の会議メモであってよい。そしてモバイル装置のカメラ、または専用のホワイトボードキャプチャソフトウェアを利用してキャプチャされてもよい（Ｓ２０２〜Ｓ２０４）。次にユーザが注釈を付与しようとするコンテンツの領域を識別し（Ｓ２０８〜Ｓ２１２）、その識別された領域に書き込みまたは音声による注釈を追加する（Ｓ２１４〜Ｓ２１８）。そして注釈を付与されたコンテンツは、コンテンツと注釈が特定の順序で提示されるように編成され、その順序で映像が生成されて、注釈を付与されたコンテンツを他のユーザと簡単に共有でき、また他のユーザが簡単に理解できるようになる（Ｓ２２０〜Ｓ２２８）。
【選択図】図２

Description

本発明は注釈付きコンテンツのキャプチャリングと編成のシステム、方法、およびプログラムに関する。特にモバイル装置を使った注釈付きコンテンツのキャプチャリング、注釈付与、編成およびその共有のためのシステム、方法、およびプログラムに関する。

ホワイトボードの利用は広範な業務領域に亘って広く普及している。ホワイトボードは、ユーザのアイディアやコンセプトを手早く具現化することを可能とし、協同作業者やピア間での理解を促進し、後続の議論の根拠をなす対話資料となり得る。職場での実際の利用に関するいくつかの調査により、これらの利点が実証されている。

デジタルツールの可用性とホワイトボードの有用性とを結びつけるために、広範囲にわたって商用および研究用のツールが開発されてきた。ホワイトボードや他の書き込み面上の画像を消去するツールは、通常ホワイトボード上のコンテンツをデジタル的にキャプチャするように設計されていて、従来の会議室の外でもそのコンテンツをより効果的に利用することが可能である。ツールのあるものは画像処理に特化し、別のあるものは透視補正をして光学文字認識（ＯＣＲ）を行う。

別のアプリケーションでは、“きれいな画像”、つまりコンテンツではない領域（影、グレア、など）を２値化して真っ白に変えた画像にユーザが注釈を付記できるようにする。しかし、既知のアプリケーションはすべて、最終的には元になったコンテキストからは分離された独立した文書を作成するだけである。これでは注釈づけされた文書を編成することは困難となる。さらに、そのコンテンツを他の人と共有したとしても理解することが困難である。

"Ｗｈｉｔｅｂｏａｒｄ Ｓｈａｒｅ ｉＰｈｏｎｅ Ａｐｐ"，ｈｔｔｐ：／／ｒｉｉ．ｒｉｃｏｈ．ｃｏｍ／ｗｂ−ｉｐｈｏｎｅ "ＤｏｃＳｃａｎｎｅｒ"，ｈｔｔｐ：／／ｗｗｗ．ｄｏｃｓｃａｎｎｅｒａｐｐ．ｃｏｍ／ｉｐｈｏｎｅ／ "ＢｏａｒｄＴａｂｌａ"，ｈｔｔｐｓ：／／ｍａｒｋｅｔ．ａｎｄｒｏｉｄ．ｃｏｍ／ｄｅｔａｉｌｓ？ｉｄ＝ｃｏｍ．ｓｐｅ．ｂｏａｒｄｔａｂｌａ Ｍ．Ｆｌｅｃｋらによる"Ｆｒｏｍ Ｉｎｆｏｒｍｉｎｇ ｔｏ Ｒｅｍｅｍｂｅｒｉｎｇ： Ｕｂｉｑｕｉｔｏｕｓ Ｓｙｓｔｅｍｓ ｉｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｍｕｓｅｕｍ"、 ＩＥＥＥ Ｐｅｒｖａｓｉｖｅ Ｃｏｍｐｕｔｉｎｇ １（２）、２００２、 １３−２１ページ Ｅ．Ｓａｕｎｄらによる"Ａ ｐｅｒｃｅｐｔｕａｌｌｙ−ｓｕｐｐｏｒｔｅｄ ｓｋｅｔｃｈ ｅｄｉｔｏｒ"、 ＵＩＳＴ（１９９４）、 １７５−１８４ページ Ｐ．Ｄ．Ｗｅｌｌｎｅｒによる"Ａｄａｐｔｉｖｅ Ｔｈｒｅｓｈｏｌｄｉｎｇ Ｆｏｒ Ｔｈｅ ＤｉｇｉｔａｌＤｅｓｋ"、 Ｒａｎｋ Ｘｅｒｏｘ Ｌｔｄ．、 １９９３ Ｓ．Ｃａｒｔｅｒらによる"Ｌｉｎｋｉｎｇ ｄｉｇｉｔａｌ ｍｅｄｉａ ｔｏ ｐｈｙｓｉｃａｌ ｄｏｃｕｍｅｎｔｓ： Ｃｏｍｐａｒｉｎｇ ｃｏｎｔｅｎｔ−ｂａｓｅｄ ａｎｄ ｍａｒｋｅｒ−ｂａｓｅｄ ｔａｇｓ"、 ＩＥＥＥ Ｐｅｒｖａｓｉｖｅ Ｃｏｍｐｕｔｉｎｇ ９（２）、２０１０、 ４６−５５ページ

モバイル装置でキャプチャされたコンテンツに対して、キャプチャ、注釈、編成、および共有を行うためのシステムと方法が提供される。コンテンツはホワイトボード上の会議メモであってよい。そしてモバイル装置のカメラ、または専用のホワイトボードキャプチャソフトウェアを利用してキャプチャされてもよい。次にユーザが注釈を付与しようとするコンテンツの領域を識別し、その識別された領域に書き込みまたは音声による注釈を追加する。注釈を付与されたコンテンツは次に、コンテンツと注釈が特定の順序で提示されるように編成され、その順序で映像が生成されて、注釈付きのコンテンツを他のユーザと簡単に共有でき、また他のユーザが簡単に理解できるようになる。

本発明の一実施形態において、注釈を付与されたコンテンツをキャプチャして編成するシステムであって、モバイル装置上のカメラを利用してコンテンツ画像をキャプチャするコンテンツキャプチャリング手段と、注釈付け対象のキャプチャされたコンテンツを含む画像の少なくとも１つの領域を画定して識別するモバイル装置上の領域画定手段と、キャプチャされたコンテンツの少なくとも１つの領域に対応する、ユーザ作成の注釈を受信する、モバイル装置上の注釈手段と、モバイル装置に接続されたサーバ上にあって、キャプチャされたコンテンツとユーザ作成の注釈とを特定の順序に編成してその特定の順序の映像を生成する、映像生成手段と、を備えるシステムが提供される。

コンテンツキャプチャリング手段は、モバイル装置に接続されたネットワーク上のコンテンツ情報サーバからコンテンツに関係する情報を取得してもよい。

コンテンツはホワイトボード上の情報であってよく、コンテンツキャプチャリング手段は、ホワイトボードの周りに配置され、ホワイトボード上の全コンテンツ画像へのリンクとしてモバイル装置によって識別されるコードまたは電子タグを利用して、全コンテンツをモバイル装置に接続されたネットワーク上に受信する。

領域画定手段は、コンテンツ中の少なくとも１つのオブジェクトの境界ボックスを抽出し、オブジェクトの表面領域を識別する少なくとも１つの領域内のある位置にユーザ入力を受信してもよい。

ユーザ入力が境界ボックスと交差しない場合には、タッチエリアの半径に等しい長さの側辺を有する矩形領域が境界ボックスとして人工的に生成されてもよい。

ユーザ作成の注釈は、モバイル装置上に生成された音声記録であってもよい。

ユーザ作成の注釈は、モバイル装置上に生成された書込み表記であってもよい。

映像生成手段は、少なくとも１つの領域またはユーザ作成の注釈の部分を隠すマスクを生成し、少なくとも１つの領域またはユーザ作成の注釈の隠された部分が映像の再生時に段階的に現れてくるようになっていてもよい。

このシステムは、映像を少なくとも一人の第二ユーザに分配する共有手段を更に備えてもよい。

共有手段は、コンテンツの近傍に位置するユーザに映像を分配してもよい。

別の実施形態においては、注釈を付与されたコンテンツをキャプチャして編成する方法であって、モバイル装置上のコンテンツキャプチャリング手段により、前記モバイル装置上のカメラを利用して画像をキャプチャし、前記モバイル装置上の領域画定手段により、注釈付け対象のキャプチャされたコンテンツを含む、前記モバイル装置上の画像の少なくとも１つの領域を画定して識別し、前記モバイル装置上の注釈手段により、前記キャプチャされたコンテンツの少なくとも１つの領域に対応する、ユーザ作成の注釈を前記モバイル装置上で受信し、前記モバイル装置に接続された、プロセッサとメモリを有するサーバ上の映像生成手段により、前記キャプチャされたコンテンツとユーザ作成の注釈とを特定の順序に編成し映像を生成する、ことを含む方法が提供される。

この方法はさらに、コンテンツキャプチャリング手段により、モバイル装置に接続されたネットワーク上のコンテンツ情報サーバからコンテンツに関係する情報を取得することを含む。

このコンテンツはホワイトボード上の情報であり、コンテンツキャプチャリング手段により、ホワイトボード上の全コンテンツを、ホワイトボードの周りに配置されたコードまたは電子タグを利用して受信してもよい。このコードまたは電子タグは、モバイル装置に接続されたネットワーク上におけるホワイトボードの全コンテンツ画像へのリンクとしてモバイル装置によって識別されてもよい。

領域画定手段により、このコンテンツ中の少なくとも1つのオブジェクトの境界ボックスを抽出し、かつこのオブジェクトの表面領域を識別する少なくとも１つの領域内にユーザ入力を受信することによって、画像の少なくとも一領域を識別、画定してもよい。

領域画定手段により、ユーザ入力が境界ボックスと交差しない場合には、タッチエリアの半径に等しい長さの側辺を有する矩形領域を境界ボックスとして人工的に生成してもよい。

ユーザ作成の注釈は、モバイル装置上に生成された音声記録であってよい。

ユーザ作成の注釈は、モバイル装置上に生成された書込み表記であってよい。

映像生成手段により、キャプチャされたコンテンツとユーザ作成の注釈とを特定の順序に編成することが、少なくとも１つの領域またはユーザ作成の注釈の部分を隠すマスクを生成し、少なくとも１つの領域またはユーザ作成の注釈の隠された部分が映像の再生時に段階的に現れてくることを含んでもよい。

この方法は、サーバ上の共有手段により、映像を少なくとも一人の第二ユーザに分配することを更に含んでもよい。

共有手段により、映像はコンテンツの近傍に位置するユーザに分配してもよい。

さらに、別の実施形態においては、モバイル装置を、上述したコンテンツキャプチャリング手段、領域画定手段、及び注釈手段として機能させるコンピュータプログラムが提供される。

又、別の実施形態においては、モバイル装置に接続された、プロセッサとメモリを有するサーバを、上述した映像生成手段として機能させるコンピュータプログラムが提供される。

上記及び以下の記述はいずれも、単に例示及び説明を目的とするものであり、特許請求の範囲に記載の発明もしくはその適用を限定することは全く意図していないことを理解されたい。

本明細書に組み込まれ本明細書の一部をなす添付の図面が、本発明の実施形態を例示し、説明と相俟って本発明の原理の説明及び例示に供する。

本発明の一実施形態による注釈付きコンテンツのキャプチャリングと編成のためのシステムのブロック図である。 本発明の一実施形態による注釈付きコンテンツのキャプチャリングと編成の方法の分割フロー図であり、ユーザとモバイル装置とサーバとの間のデータの流れを示す。 ホワイトボードを示す図であり、本発明の一実施形態によりモバイル装置で撮影されたホワイトボードの部分写真をホワイトボードの全体写真に整合させた図である。 本発明の一実施形態による、キャプチャされた媒体をユーザが他の人または外部の用役に送信することができるグラフィカルユーザインタフェース（ＧＵＩ）の図である。 本発明の一実施形態による、モバイル装置でキャプチャされたままの未修正のホワイトボードの部分画像を示す図である。 本発明の一実施形態による、図５における未修正画像の検出されたオブジェクトを示す図である。 本発明の一実施形態による、図６Ａの検出オブジェクトに対するユーザ始動の修正を示す図である。 本発明の一実施形態による、図６Ａの検出オブジェクトに対するユーザ始動の修正を示す図である。 複数成分で構成されていた画像領域の結果として得られたビューを示す図である。 本発明の一実施形態による、グラフィカルユーザインタフェース（ＧＵＩ）と選択領域に注釈を生成するプロセスを示す図である。 本発明の一実施形態による、グラフィカルユーザインタフェース（ＧＵＩ）と選択領域に注釈を生成するプロセスを示す図である。 本発明の一実施形態による、グラフィカルユーザインタフェース（ＧＵＩ）と選択領域に注釈を生成するプロセスを示す図である。 本発明の一実施形態による、グラフィカルユーザインタフェース（ＧＵＩ）と選択領域に注釈を生成するプロセスを示す図である。 本発明の一実施形態による、選択領域とそれに対応する注釈の映像を生成するためにマスクを使用して画像の選択された領域のみを現れさせるプロセスを示す図である。 本発明の一実施形態による、選択領域とそれに対応する注釈の映像を生成するためにマスクを使用して画像の選択された領域のみを現れさせるプロセスを示す図である。 本発明の一実施形態による、選択領域とそれに対応する注釈の映像を生成するためにマスクを使用して画像の選択された領域のみを現れさせるプロセスを示す図である。 本発明の一実施形態による、選択領域とそれに対応する注釈の映像を生成するためにマスクを使用して画像の選択された領域のみを現れさせるプロセスを示す図である。 本発明の一実施形態による、選択領域とそれに対応する注釈の映像を生成するためにマスクを使用して画像の選択された領域のみを現れさせるプロセスを示す図である。 本発明の一実施例による、映像の進行と共に選択領域とそれに対応する注釈が現れるように作成された映像に対応する画像の順序を示す図である。 本システムを実装することのできるコンピュータシステムのブロック図である。

以下の詳細な説明においては、添付の図面を参照する。前述の添付図面は、本発明の原理に整合する特定の実施形態および実装を例示するものであり、それに限定するためのものではない。

ここで説明する本発明の実施形態は、モバイル装置でキャプチャされたコンテンツに対して、キャプチャ、注釈、編成、および共有を行う方法を提供する。コンテンツはホワイトボード上の会議メモであってよい。そしてモバイル装置のカメラ、または専用のホワイトボードキャプチャソフトウェアを利用してキャプチャされてもよい。次にユーザが注釈を付与しようとするコンテンツの領域を識別し、その識別された領域に書き込みまたは音声による注釈を追加する。次に注釈を付与されたコンテンツは、コンテンツと注釈が特定の順序で提示されるように編成され、その順序で映像が生成されて、注釈を付与されたコンテンツを他のユーザと簡単に共有でき、また他のユーザが簡単に理解できるようになる。
Ｉ．システム概略

一実施形態において、システムはモバイル装置で取り込まれたコンテンツ画像を外部サービスに接続し、そこで関連するコンテンツを識別してキャプチャされたコンテンツに更なる情報を提供して、そのキャプチャされたコンテンツの構成を改良する。コンテンツがキャプチャされると、画像処理とユーザの最小入力とで少なくとも１つの領域を画定し、そこにユーザがモバイル装置を利用して注釈付けすることができるようにする。ユーザは次に識別された各領域に対して書き込み注釈または音声注釈などの個別の注釈を生成してもよい。注釈が付与されると、識別された領域と対応する注釈とを含む画像はサーバに送信され、“クリーン化”されて、注釈のない画像領域を除外するマスクが生成される。サーバは画像とマスクを結合させて、識別された領域のコンテンツとそれに対応する注釈が順番に現れる映像を生成する。

そうしてユーザはその映像を、コンテンツの場所の近隣に識別されるユーザを含む他のユーザと共有してもよい。

注釈付きのコンテンツをキャプチャし編成するシステムの一実施形態を図１に示す。このシステムの基本要素として、モバイル装置１０２と映像サーバ１０４が含まれ、これらはネットワークを介して、あるいはケーブルで直接に接続されている。システムは、コンテンツの画像１０８をキャプチャするコンテンツキャプチャユニット１０６を含んでいる。一実施形態においては、コンテンツキャプチャユニット１０６は、カメラ付きのワイヤレス電話などのような、モバイル装置１０２に内蔵されたあるいはそれに付属したカメラである。この実施形態では、コンテンツ１０８はホワイトボード上に書き込まれた情報である。コンテンツキャプチャユニット１０６は、モバイル装置に接続されたネットワーク上のコンテンツ情報サーバ１１２からキャプチャされた情報に関係する情報を取得してもよい。これに関しては以下で更に詳細を説明する。

画像がキャプチャされると、ユーザが注釈づけをしようとする画像の少なくとも一領域が領域画定ユニット１１４により画定、識別される。画定された各領域に対して、ユーザが注釈ユニット１１６を利用してそれぞれに注釈づけを行なってよい。注釈ユニットは、ユーザが生成した注釈を受信し、その注釈を特定の領域に関連づける。ユーザが注釈を生成すると、画像と注釈が映像サーバ１０４に伝送され、そこで映像生成ユニット１１８が画像上の識別された領域と関連する注釈とを編成する。そしてマスクを利用してコンテンツと注釈が順々に現れるように映像を生成する。映像が生成されると、共有ユニット１２０がその映像を他のユーザ１２２と共有させる。

注釈付きのコンテンツをキャプチャし編成する方法の一実施形態を図２に示す。図２に示す方法は、ユーザとモバイル装置とサーバのそれぞれのステップを示す列に分割されている。ステップＳ２０２において、ユーザはコンテンツの写真を撮る（ステップＳ２０４）前にショット（画像）をプレビューすることができる。ユーザがコンテンツの写真を撮る代わりに、別の画像キャプチャ手法が与えられてもよい。例えば、バーコード１２４（図１参照）がコンテンツ上またはコンテンツ近くに配置され、それをスキャンする（ステップＳ２０６）と、例えばコンテンツ情報サーバ１１２上にあるサードパーティのサービスからそのコンテンツの画像を取得することができる。バーコードをスキャンする場合には、第三者のサービスにより個別にステップが実行されるので、本方法は、画像のキャプチャと領域の識別と注釈の付与のステップを通り越して先へ進んでもよい。次に、ユーザが注釈を付与できる少なくとも１つの領域が第１の連結成分抽出のステップで識別され（ステップＳ２０８）、ユーザからの入力選択を受信し（ステップＳ２１０）、それから入力領域を連結成分で交差して（ステップＳ２１２）、画定された領域内に包（ｈｕｌｌ）すなわちオブジェクトの輪郭を表示する。

画像上の少なくとも１つの領域を画定すると、その少なくとも１つの識別された領域のそれぞれに関係する注釈を生成することによってユーザはその領域に注釈を付与してよい（ステップＳ２１４）。この段階で、ユーザはこの注釈付き画像を共有する人とサービスを選択することができる（ステップＳ２１６）。ただし実施形態によっては、ユーザによる個別のアクションを必要とせずに注釈と画像の識別された領域は、モバイル装置によってサーバへ送信される（ステップＳ２１８）。

ステップＳ２２０において、サーバは画像クリーン化アルゴリズムを利用して画像を２値化し、注釈以外の画像部分すべてを除外するマスクを生成する。次にサーバは注釈をマスクで交差して（ステップＳ２２２）、第１のフレームを生成する。そしてその次に、識別された各領域に対応する追加の注釈を付与する（ステップＳ２２４）。こうして特定の順序のフレームを生成し、これを結合して映像を生成する（ステップＳ２２６）。この後、映像は他のユーザに送信されてもよく（ステップＳ２２８）、そこでは簡潔かつ整理された方法で注釈付きのコンテンツを見ることができる。
ＩＩ．コンテンツのキャプチャと識別

コンテンツキャプチャユニット１０６は、コンテンツの写真キャプチャを支援するモバイル装置上のモバイルツールである。コンテンツは、ユーザがキャプチャし注釈を付与しようとする任意位置にある任意の情報であってよい。本明細書で説明し図３に示す実施形態においては、コンテンツ１０８はホワイトボード１１０上の情報であって、ユーザ間の会議において会議室で議論された情報をキャプチャするために頻繁に利用される。

一実施形態において、モバイル装置に内蔵されたカメラを利用してコンテンツの画像１２６をキャプチャする。ただし、モバイル装置は、ネットワーク機能を有するスタンドアロンのデジタルカメラであってもよい。当業者であれば、本明細書で述べるシステムと方法を実行できるモバイル装置は多数あることは理解されるであろう。それらには、携帯電話、スマートフォン、タブレット、ラップトップコンピュータ、ネットブックコンピュータ、デジタルカメラ、ビデオカメラなどが含まれる。

一実施形態において、モバイル装置上のモバイルツールが、コンテンツの画像をキャプチャし、その画像をスマートスペース、すなわちユーザコンテンツを自動的にアーカイブすることが可能な環境において入手可能なアーカイブツールまたはその他の関連ツールに結合させる。これらのアーカイブツールは、ユーザが自分で注釈を付与する必要のないように、コンテンツ説明を支援する注釈ツールを含んでいてもよい。アーカイブツール上の情報は、コンテンツ情報サーバ１１２に格納され、ネットワークを経由してモバイル装置１０２でアクセスされてもよい。

別の実施形態においては、モバイル装置は、コンテンツ上またはコンテンツ付近に配置された近距離無線通信（ＮＦＣ）タグ１２８と対話することが可能である。ＮＦＣタグ中の情報には、ホワイトボードの識別子が含まれていて、ホワイトボードアーカイブツールが既にキャプチャされているホワイトボード上のコンテンツ画像を見つけるのに利用することができる。別の実施形態においては、モバイル装置がＮＦＣタグのある範囲内に近づくと、タグからの情報に基づいて、モバイル装置がホワイトボードアーカイブツールに画像をキャプチャし共有させるように命令することができる。システムは、ＮＦＣタグを利用してホワイトボードキャプチャサービスに自動的にホワイトボードキャプチャを開始するように命令し、それは直ちにモバイル装置の画像ストリームとなって現れる。

このシステムはまた、ＮＦＣタグを利用してスマート環境に指示を出して画像を自動的にキャプチャして共有させ、画像表面に付けられたバーコードをインタラクティブに復号してタグ画像とし、屋内測位サービスに接続して近隣のユーザにキャプチャ画像を送信させる。

これとは別の実施形態において、画像部分にある可視バーコードが画像と共にキャプチャされた後に復号されてキャプチャ画像にメタデータとして付与されてもよい。

一実施形態において、サーバは任意選択として画像１２６（および任意選択でその識別子）をホワイトボードのキャプチャ編成サービスへ送信し、そこで、画像の識別子情報とその他の特徴をホワイトボード１１０全体のより大きな画像の識別に利用することができる。図４は、グラフィカルユーザインタフェース（ＧＵＩ）１３０の一実施形態を示している。ここには画像がキャプチャされた特定のボードの識別子１３２が入っており、画像に対して名前１３４が与えられている。そしてｅメール１３６を介して別のユーザに画像を送信するか、またはボタン１３８を押して画像をホワイトボードキャプチャサービスへ送信するかの選択肢が与えられている。図示されてはいないが、ユーザは画像を画像クリーニングサービス（詳細を後述）に送信することも可能である。
ＩＩＩ．注釈する領域の画定

コンテンツがキャプチャされて識別されると、ユーザがモバイル装置から注釈を付与できるコンテンツ領域が領域画定ユニット１１４によってホワイトボードから画定される。画像処理手法とユーザ入力との組合せを利用して、ホワイトボード内の領域が画定される。

図５に示されているホワイトボードからキャプチャされた画像１２６を考察する。一実施形態においては、写真を撮るとすぐに、モバイルのアプリケーションが画像の寸法を測り、適応型ヒストグラム閾値を利用して２値化し、標準の連結成分アルゴリズムを動作させて画像のオブジェクト（１４０、１４２、１４４、１４６）の識別を試み、得られた成分の境界ボックス１４８（図６Ａ参照）の抽出を行う。結果は図６Ａに示す様であり、画像中の４つの別々のオブジェクト１４０、１４２、１４４、１４６は、１つまたは複数の大まかにグループ分けされた連結成分を有している。より具体的には、オブジェクト１４０は１つの成分を有し、オブジェクト１４２は２つの成分を有し、オブジェクト１４４は数個の成分を有している。

成分の境界ボックス１４８はそれ自体では画像を分類するのに有効ではない。但しユーザが少しの入力をするだけでこの領域が有効となる。図６Ｂにおいて、カメラで表示されたオブジェクト１４４の中心にユーザが入力を与えた。アプリケーションは、例えばタッチスクリーン式ディスプレイ上へのタッチ等によるユーザ入力の位置を検出するだけでなく、ユーザの指で触れたスクリーン領域に対応するタッチエリアの半径方向の大きさも検出する。そうして、システムはタッチエリアと成分の境界ボックスの組とが交差するかどうかを判定する。重複する境界ボックスの点は凸包アルゴリズムへ送られて、カメラオブジェクト１４４を包含する境界ボックス１４８のすべてが含まれる最小多角形をした包１５０を出力する。図６Ｃは、棒線画で表示されたオブジェクト１４０を含む包１５２の例を示す。包アルゴリズムの結果として、潜在するオブジェクト領域を近似する包で表示される領域が得られる。

図６Ｄに示す一実施形態において、境界ボックスそのものはユーザに対して表示されない。ユーザに見えるのは最終的な包１５２のみである。

一実施例において、ユーザが境界ボックスとは交差しない領域を選択したとすると、選択したものの下に、タッチエリアの半径に等しい長さの側辺を有する人工的な境界ボックスが生成される。こうしてワーストケース（境界ボックスが見つからない場合）でも、このプロセスはユーザに全領域をスイ―プさせてタッチエリアの半径により示される範囲に相等する大きな境界ボックスを生成させる。一方、ベストケース（境界ボックスが描画を完全に含む場合）では、注釈を付与する領域にユーザがタッチすると即座に領域が判定される。さらに、ストロークをグループ化するために知覚的編成の原理を用いる他の手法とは違って、描画面に付与された描画以外の任意のコンテンツ、これはホワイトボード上に貼り付けられた一枚の紙または紙片に張り付けられた付箋などであってもよいが、そのコンテンツに対してこの方法はロバストである。
ＩＶ．コンテンツへの注釈付与

少なくとも１つの領域をシステムが識別すると、ユーザはその領域に、各領域に固有の内容の注釈づけを開始することができる。注釈はその領域上または領域の周りに書き込むことができる。または、音声注釈として生成してもよい。図７Ａはグラフィカルユーザインタフェース（ＧＵＩ）７００を示している。これはユーザが選択領域に注釈を付けたいことを示す入力を行うと表示されるようになっていてもよい。そうすると、ユーザは表示されたキーボード７０４を用いてユーザインタフェースへ注釈７０２をタイプ入力することができる。または、ユーザは音声入力ボタン７０６を選択することもできる。この場合にはユーザには図７Ｄに示すような別の音声プレーヤＧＵＩ７０８が提供され、音声注釈を録音することができる。図７Ａにおいて、書き込み注釈７０２を入力した後、ユーザは“完了”ボタン７１０を選択する。そうするとＧＵＩ７１２が小さくなって、図７Ｂに示すように入力した注釈のみを表示する。注釈７０２が正しい場合にはユーザはＧＵＩ７１２を閉じることができ、図７Ｃに示すように選択したオブジェクト１４０の隣にその注釈７０２が表示される。当業者であれば、映像注釈、デジタル描画注釈やその他のものを含むあらゆるタイプの注釈を作成することが可能なことが理解されるであろう。その領域に生成された注釈は、次にサーバ１０４上で時間基準のアニメーションに再構築することができる。

注釈が完了すると、画像と注釈がモバイル装置１０２からサーバ１０４に送信され、更なる画像処理と映像作成が行なわれる。
Ｖ．映像作成

画像と注釈を受信すると、サーバ１０４は、当業者には周知の標準的な画像クリーン化アルゴリズムで画像を処理する。画像クリーン化アルゴリズムの一例は、Ｅ．Ｓａｕｎｄ，Ｔ．Ｐ．Ｍｏｒｇａｎ著の“Ａ ｐｅｒｃｅｐｔｕａｌｌｙ−ｓｕｐｐｏｒｔｅｄ ｓｋｅｔｃｈ ｅｄｉｔｏｒ”（ＵＩＳＴ（１９９４），１７５−１８４ページ）に記載されており、参照して本明細書に取り込まれるものとする。画像クリーン化の結果は“マスク”８０４として得られ、これは、影、ボケ部分、しわ、およびその他の人工物などの、書き込まれた線以外の画像領域をすべて除外する。一例を図８Ａに示す。映像を生成するのに利用されるマスク８０４および画像のレイヤの説明が図８Ａに示されている。一番下の第１のレイヤはキャプチャされた原画像８０２を示し、原画像８０２のすぐ上の第２のレイヤはマスク８０４である。第３のレイヤは、第１のグループの成分に対応する第１の選択領域８０３の周りの包８０１を有する第１の凸包領域８０６を示している。グレイの包８０１は、原画像８０２の第１の選択領域８０３中のコンテンツがこの第３レイヤを通過するようにさせる。その一方で、包の外側の白い領域８０５は、原画像のコンテンツが除去されるようにする。第４のレイヤは、その下の３レイヤの第１の複合領域８０８であり、原画像８０２にマスク８０４を選択的に適用して、第１の選択領域８０３に対応する原画像８０２の一部分のみが第１の複合領域８０８に現れるようにする。

マスクと入力注釈領域に一連の“ＡＮＤ”と“ＯＲ”を適用することによって、サーバは画像コンテンツを連続的に現す映像を生成することができる。図８Ｂを参照すると、グレイマスク８０４と第１の凸包領域８０６に“ＡＮＤ”処理を行うことにより、第１の変更グレイマスク８１０が得られる。第１の変更グレイマスク８１０が次に原画像８０２に適用されて、第１の複合領域８０８が得られる。第１の複合領域８０８は変更グレイマスク８１０に非常によく似ているように見えるが、変更グレイマスク８１０は単なるマスクであって色情報は含んでいない。原画像８０２が青色であったとすると、変更グレイマスク８１０はそのままであるが、第１の複合領域８０８は青色となる。これと同じプロセスが以下に更に説明するように選択領域のそれぞれに順番に繰り返される。

図８Ｃに示すように、この同じプロセスが第２の選択領域８０７とそれに対応する第２の凸包領域８１２に適用され、第１の変更グレイマスク８１０に“ＯＲ”処理を行って第２の変更グレイマスク８１４が形成される。第２の変更グレイマスク８１４を原画像８０２と組み合わせて、第２の複合領域８１６が得られる。

図８Ｄは第３の選択領域８０９に関するプロセスの次のステップを示している。ここでは、対応する第３の凸包領域８１８と組み合わせて、第２の変更グレイマスク８１４に“ＯＲ”処理を行なって第３の変更グレイマスク８２０を形成する。第３の変更グレイマスク８２０を原画像８０２と組み合わせて、第３の複合領域８２２が得られる。

図８Ｅは第４の選択領域８１１に関するプロセスの次のステップを示している。ここでは、対応する第４の凸包領域８２４と組み合わせて、第３の変更グレイマスク８２０に“ＯＲ”処理を行なって第４の変更グレイマスク８２６を形成する。第４の変更グレイマスク８２６を原画像８０２と組み合わせて、第４の複合領域８２８が得られる。

例として、ユーザが図５のオブジェクト１４０、１４２、１４４、１４６を関連する注釈と共に順番に表示しようとする場合を考えてみよう。モバイル装置１０２において、ユーザが図５の各オブジェクト１４０、１４２、１４４、１４６に対応する、識別されたそれぞれの領域を選択し、前述のプロセスを利用してそれらに注釈を付与する。この特定の実施形態においては、この注釈は音声注釈であり、ユーザは各オブジェクトに対して録音する。複合領域のすべてが生成されると、複合領域は注釈と共にレイヤ化されて映像が生成される。音声注釈を用いた映像の一実施形態を図９（ａ）〜（ｄ）に示す。図９（a）では、作成された映像が先ずオブジェクト１４０に対応する第１の複合領域８０８を表示して対応する第１の音声注釈（図示せず）を再生する。図９（ｂ）において、第１の音声注釈の再生が終了すると、第２の複合領域８１６（オブジェクト１４２に対応）が第１の複合領域８０８と共に表示されて対応する第２の音声注釈が再生される。図９（ｃ）において、第２の音声注釈の再生が終了すると、第３の複合領域８２２（オブジェクト１４４に対応）が第１の複合領域８０８および第２の複合領域８１６と共に表示されて対応する第３の音声注釈が再生される。最後に図９（ｄ）において、第３の音声注釈の再生が終了すると、第４の複合領域８２８（オブジェクト１４６に対応）が第１の複合領域８０８、第２の複合領域８１６、および第３の複合領域８２２と共に表示されて対応する第４の音声注釈が再生される。

注釈付き領域の特定の順序が作成されると、サーバはこれらの画像およびそれに対応する音声注釈を映像生成ツールに送信して映像を作成する。この画像と注釈は対話型マルチメディアドキュメントへエクスポートしてもよい。そうしてユーザは手動で再生順序を制御して、ドキュメントの一部をクリックして必要に応じて前進又は後退をさせることができる。対話型マルチメディアドキュメントでは、ユーザは前後へスキップ（図９（a）から図９（ｃ）へ直接移動する等のように）することができる。対話型マルチメディアドキュメントはまたモバイル装置上でも有用であり、ドキュメントをサーバに送信する前にモバイル装置上でユーザに順序をプレビューさせることができる。一実施形態において、映像はＦＦｍｐｅｇ形式である。ただし、他の実施形態では、ＨＴＭＬベースのアニメーション（ＨＴＭＬ−５を利用）、スケーラブルベクターグラフィックス（ＳＶＧ）や、音声セグメント再生時にフレーム表示をするために画像ファイルを介してパンおよびスキャンしかつ音声を再生できるようにプログラム可能な任意の言語が含まれていてもよい。
ＶＩ．映像の共有

映像は、ｅメールで送信したり、ウェブページや共有データベースに投稿したりして他のユーザと共有されてもよい。一実施形態において、そのコンテンツに対するユーザの相対位置を判定して、コンテンツに近いユーザは映像を受信したがっている、という仮定の下に映像受信に興味のある他のユーザを識別することができる。相対位置に基づくシステムの一例は、ＭｙＵｎｉｔｙのような屋内測位システムである。これによってキャプチャ画像またはそれによる映像のコピーを希望する追加ユーザを示唆できる。
ＶＩＩ．コンピュータの実施形態

図１０は、本発明による方法の実施形態を実装することが可能なコンピュータ／サーバシステム１０００の実施形態を示すブロック図である。システム１０００は、当業者には周知のように、命令の実行に作用するプロセッサ１００２とメモリ１００３を含むコンピュータ／サーバプラットフォーム１００１を備える。なお、本明細書で記載したモバイル装置１０２／サーバ１０４は、このようなコンピュータ／サーバシステム１０００における、コンピュータ／サーバプラットフォーム１００１として実施されてもよい。本明細書で使用される“コンピュータ可読記憶媒体”という用語は、プロセッサ１００２に実行命令を与えることに関与する（例えば、当該実行命令をプロセッサ１００２に実行させるプログラム等を格納する）ディスクや半導体メモリなどの任意の有形媒体を指す。さらに、コンピュータプラットフォーム１００１は、キーボード、マウス、タッチデバイスなどの複数の入力装置１００４、または音声命令からの入力を受信してもよい。コンピュータプラットフォーム１００１はさらに、ポータブルハードディスク装置、光学媒体（ＣＤまたはＤＶＤ）、ディスク媒体、またはコンピュータが実行可能なプログラムコードを読み込むことができるその他の任意の有形媒体などのリムーバブル記憶装置１００５に接続されていてもよい。コンピュータプラットフォームはさらに、インターネットやその他のローカルな公共または私的なネットワーク部品に繋がるネットワークリソース１００６に接続されていてもよい。ネットワークリソース１００６は、ネットワーク１００７上のリモートロケーションからプログラム命令およびデータをコンピュータプラットフォームへ供給してもよい。ネットワークリソース１００６への接続は、８０２．１１標準やブルートゥース（登録商標）やセルラープロトコル等の無線プロトコル経由で、または、ケーブルやファイバ光学部品などの物理的伝送媒体経由であってもよい。ネットワークリソースは、コンピュータプラットフォーム１００１から隔離した場所にデータ及び実行可能なプログラム命令を格納するための記憶装置を含んでいてもよい。コンピュータはディスプレイ１００８と対話して、データおよびその他の情報をユーザへ出力したり、ユーザからの追加の指示と入力を要求したりする。従ってディスプレイ１００８は、ユーザと対話する入力装置１００４としてさらに作用してもよい。

上記の実施形態と実装は、当業者が本発明を実行できるように十分詳細に提示される。また、他の実装形態が利用されてもよいこと、及び本発明の範囲及び趣旨を逸脱することなしに様々な要素の構造上の変更及び／又は代用が行われてもよいことを理解されたい。従って、以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。更に、説明された本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアプログラムの形態、又は専用ハードウェアの形態、あるいはソフトウェアとハードウェアの組合せ、のいずれで実装されてもよい。

１０２ モバイル装置
１０４ 映像サーバ（サーバ）
１０６ コンテンツキャプチャユニット（コンテンツキャプチャリング手段）
１０８ コンテンツ画像
１１０ ホワイトボード
１１２ コンテンツ情報サーバ
１１４ 領域画定ユニット（領域画定手段）
１１６ 注釈ユニット（注釈手段）
１１８ 映像生成ユニット（映像生成手段）
１２０ 共有ユニット（共有手段）
１２２ 他のユーザ

Claims (23)

1. 注釈を付与されたコンテンツをキャプチャして編成するシステムであって、
   モバイル装置上のカメラを利用してコンテンツ画像をキャプチャするコンテンツキャプチャリング手段と、
   注釈付け対象のキャプチャされたコンテンツを含む前記画像の少なくとも１つの領域を画定して識別する前記モバイル装置上の領域画定手段と、
   前記キャプチャされたコンテンツの少なくとも１つの領域に対応する、ユーザ作成の注釈を受信する、前記モバイル装置上の注釈手段と、
   前記モバイル装置に接続されたサーバ上にあって、前記キャプチャされたコンテンツとユーザ作成の注釈とを特定の順序に編成して前記特定順序の映像を生成する、映像生成手段と、
   を備えるシステム。
2. 前記コンテンツキャプチャリング手段は、前記モバイル装置に接続されたネットワーク上のコンテンツ情報サーバから前記コンテンツに関係する情報を取得する、請求項１に記載のシステム。
3. 前記コンテンツはホワイトボード上の情報であり、前記コンテンツキャプチャリング手段は、前記ホワイトボードの周りに配置され、前記ホワイトボードの全コンテンツ画像へのリンクとして前記モバイル装置によって識別されるコードまたは電子タグを利用して、前記ホワイトボードの全コンテンツを前記モバイル装置に接続されたネットワーク上に受信する、請求項１に記載のシステム。
4. 前記領域画定手段は、前記コンテンツ中の少なくとも１つのオブジェクトの境界ボックスを抽出し、前記オブジェクトの表面領域を識別する少なくとも１つの領域内のある位置にユーザ入力を受信する、請求項１に記載のシステム。
5. 前記領域画定手段は、ユーザ入力が境界ボックスと交差しない場合には、タッチエリアの半径に等しい長さの側辺を有する矩形領域を境界ボックスとして人工的に生成する、請求項４に記載のシステム。
6. 前記ユーザ作成の注釈は、前記モバイル装置上に生成された音声記録である、請求項１に記載のシステム。
7. 前記ユーザ作成の注釈は、前記モバイル装置上に作成された書込み表記である、請求項１に記載のシステム。
8. 前記映像生成手段は、少なくとも１つの領域またはユーザ作成の注釈部分を隠すマスクを生成し、少なくとも１つの領域またはユーザ作成の注釈の隠された部分が前記映像の再生時に段階的に現れてくる、請求項１に記載のシステム。
9. 前記映像を少なくとも一人の第二ユーザに分配する共有手段を更に備える、請求項１に記載のシステム。
10. 前記共有手段は、前記コンテンツの近傍に位置するユーザに前記映像を分配する、請求項９に記載のシステム。
11. 注釈を付与されたコンテンツをキャプチャして編成する方法であって、
    モバイル装置上のコンテンツキャプチャリング手段により、前記モバイル装置上のカメラを利用して画像をキャプチャし、
    前記モバイル装置上の領域画定手段により、注釈付け対象のキャプチャされたコンテンツを含む、前記モバイル装置上の画像の少なくとも１つの領域を画定して識別し、
    前記モバイル装置上の注釈手段により、前記キャプチャされたコンテンツの少なくとも１つの領域に対応する、ユーザ作成の注釈を前記モバイル装置上で受信し、
    前記モバイル装置に接続された、プロセッサとメモリを有するサーバ上の映像生成手段により、前記キャプチャされたコンテンツとユーザ作成の注釈とを特定の順序に編成し映像を生成する、
    ことを含む方法。
12. 前記コンテンツキャプチャリング手段により、前記モバイル装置に接続されたネットワーク上のコンテンツ情報サーバから前記コンテンツに関係する情報を取得することを更に含む、請求項１１に記載の方法。
13. 前記コンテンツはホワイトボード上の情報であり、
    前記コンテンツキャプチャリング手段により、前記ホワイトボードの周りに配置され、前記モバイル装置に接続されたネットワーク上における前記ホワイトボードの全コンテンツ画像へのリンクとして前記モバイル装置によって識別されるコードまたは電子タグを利用して、前記ホワイトボード上の全コンテンツを受信することを更に含む、請求項１１に記載の方法。
14. 前記領域画定手段により、前記コンテンツ中の少なくとも１つのオブジェクトの境界ボックスを抽出し、かつ前記オブジェクトの表面領域を識別する少なくとも１つの領域のある位置にユーザ入力を受けることによって、前記画像の少なくとも１つの領域を識別して画定することを更に含む、請求項１１に記載の方法。
15. 前記領域画定手段により、ユーザ入力が境界ボックスと交差しない場合には、タッチエリアの半径に等しい長さの側辺を有する矩形領域を境界ボックスとして人工的に生成することを更に含む、請求項１４に記載の方法。
16. 前記ユーザ作成の注釈は、前記モバイル装置上に生成された音声記録である、請求項１１に記載の方法。
17. 前記ユーザ作成の注釈は、前記モバイル装置上に生成された書込み表記である、請求項１１に記載の方法。
18. 前記映像生成手段により、前記キャプチャされたコンテンツとユーザ作成の注釈とを特定の順序に編成することは、少なくとも１つの領域またはユーザ作成の注釈の部分を隠すマスクを生成し、少なくとも１つの領域またはユーザ作成の注釈の隠された部分が前記映像の再生時に段階的に現れてくることを更に含む、請求項１１に記載の方法。
19. 前記サーバ上の共有手段により、前記映像を少なくとも一人の第二ユーザに分配することを更に含む、請求項１１に記載の方法。
20. 前記サーバ上の共有手段により、前記コンテンツの近傍に位置するユーザに前記映像を分配する、請求項１９に記載の方法。
21. モバイル装置を、請求項１〜１０のいずれか一項に記載の、コンテンツキャプチャリング手段、領域画定手段、及び注釈手段として機能させるコンピュータプログラム。
22. モバイル装置に接続された、プロセッサとメモリを有するサーバを、請求項１〜１０のいずれか一項に記載の映像生成手段として機能させるコンピュータプログラム。
23. 前記サーバを、請求項９又は１０に記載の共有手段として機能させる請求項２２に記載のコンピュータプログラム。