JP2012529870A

JP2012529870A - コンテンツ共有の方法及びシステム

Info

Publication number: JP2012529870A
Application number: JP2012515112A
Authority: JP
Inventors: トニー，エフ．ロドリゲス，
Original assignee: ディジマークコーポレイション
Priority date: 2009-06-10
Filing date: 2010-06-09
Publication date: 2012-11-22
Also published as: WO2010144610A1; US20130344916A1; CN102460468A; KR20120030134A; CN102460468B; US8521217B2; US20100317399A1

Abstract

（携帯電話などの）第１のデバイスは、マイクロプロジェクタを備え、表示面に像を提示するため使用される。（第２の携帯電話などの）第２のデバイスは、デジタルカメラを備え、投影された像の一部をキャプチャするために使用される。キャプチャされた像により、第２のデバイスのユーザは、第１のデバイスのユーザから、又はその他の場所からの関心のあるデジタルコンテンツにアクセスすることができる。コンテンツは視覚的形態、又はその他の形態であり得る（コンテンツの例として、音声、ゲーム、地図、テキスト文書、ビデオ、スプレッドシートなどが含まれる）。一つの特定の構成では、投影された像はデジタルウォーターマークデータで符号化される。こうした構成を通じて、ユーザは、コンテンツを容易に共有することができ、他の一以上のユーザとの協力的なゲームプレイのような共同作業に参加することもできる。
【選択図】図１

Description

本技術は、ポケットプロジェクタシステム及びその使用方法に関する。

背景

携帯電話は、カメラを備えていることがあるように、プロジェクタを備えていることもある。プロジェクタは、ＣＫｉｎｇ（Ｎ７０モデル、ＣｈｉｎａＶｉｓｉｏｎによって流通）及びＳａｍｓｕｎｇによって販売に供されている携帯電話に配備されており、またＬＧ及び他のベンダーが試作品を示している。

こうしたプロジェクタは、ＬＥＤ又はレーザー照明とともにＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓの電子式操縦可能デジタルマイクロミラーアレイを使用することが分かっている。

ＭｉｃｒｏｖｉｓｉｏｎはＰｉｃｏＰＤｉｓｐｌａｙＥｎｇｉｎｅを提供しており、これは様々なデバイスに組み込まれ、（レーザー源及び光結合器とともに）微小電気機械走査ミラーを使用して、プロジェクタ機能をもたらしている。他の適切な投影技術は、３Ｍの反射型液晶（ＬＣＯＳ）及びＤｉｓｐｌａｙｔｅｃｈの強誘電性ＬＣＯＳシステムを含む。

本技術のいくつかの側面を具現化する携帯電話のブロック図である。本技術のいくつかの側面を採用した二つの携帯電話を示す図である。本技術のいくつかの実施形態で使用できるデータ構造を示す図である。複数フィールドのウォーターマークペイロードを示す図である。

詳細な説明

以下で詳述するように、本技術のいくつかの実施形態により、ユーザはプロジェクタ及びカメラを介してコンテンツを共有することができる。コンテンツは画像の場合もあるが、音声、ゲーム、地図、テキスト文書、スプレッドシート又はその他の形態のコンテンツを含むこともできる。

以下、図１を参照する。例示的な携帯電話１２は、プロセッサ１４、メモリ１６、カメラ１８及びプロジェクタ２０を含む。レーザーポインタ２２のような他の要素（その一部は任意である）の選択的要素も示されている。（携帯電話及び関連技術は周知であるので、その従来の特徴については詳述しない。本明細書は、代わりに新規の態様に焦点を当てる。）

上記のように、プロジェクタは、ＣＫｉｎｇ（Ｎ７０モデル、ＣｈｉｎａＶｉｓｉｏｎによって流通）及びＳａｍｓｕｎｇによって携帯電話に配備されており、またＬＧ及び他のベンダーが試作品を示している。こうしたプロジェクタは、ＬＥＤ又はレーザー照明とともにＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓの電子式操縦可能デジタルマイクロミラーアレイを使用することが分かっている。Ｍｉｃｒｏｖｉｓｉｏｎは、ＰｉｃｏＰＤｉｓｐｌａｙＥｎｇｉｎｅを提供しており、これは携帯電話に組み込まれ、（レーザー源及び光結合器とともに）微小電気機械走査ミラーを使用して、プロジェクタ機能をもたらしている。他の適切な投影技術は、３Ｍの反射型液晶（ＬＣＯＳ）及びＤｉｓｐｌａｙｔｅｃｈの強誘電性ＬＣＯＳシステムを含む。

図示した携帯電話１２のメモリ１６は、様々なソフトウェア命令及びデータを含む。ソフトウェアは、ユーザインターフェースソフトウェアとともに電話のオペレーティングシステムを含む。種々の他のソフトウェアモジュールが通常提供され、一部はユーザが選択できる（例えば、ＡｐｐｌｅのＡｐｐＳｔｏｒｅのようなベンダーのアプリケーションストアからダウンロードされる）。

望ましくは、メモリ１６のソフトウェアは、携帯電話プロジェクタ２０によって投影される画像にステガノグラフィによるデジタルウォーターマークパターンを埋め込むこと、及び／又は携帯電話カメラ１８によってキャプチャされた画像内で伝えられるデジタルウォーターマークデータを復号することなどを目的としたウォーターマークソフトウェアも含む。デジタルウォーターマーク技術は、特許第６，１２２，４０３号、第６，３０７，９４９号、第６，５９０，９９６号及び第６，９７５，７４４号並びに２００８年１２月１７日に出願された係属出願第１２／３３７，０２９号を含むＤｉｇｉｍａｒｃの特許申請により知られている。

図２を参照すると、携帯電話「Ａ」はプロジェクタ２０を使用して、表示面２４に画像を提示する（表示面は、壁、ある人物のＴシャツなど、基本的に何であってもよい）。第２の携帯電話「Ｂ」はカメラ１８を使用して、表示面の一部を含む視界から像をキャプチャする。

カメラの視界は、投影された画像の一部のみを包含すること、又は投影された画像全体のみを包含すること、又は（図示されているように）画像全体及びそれ以外の部分を包含することができる。

携帯電話Ｂのウォーターマークソフトウェアは、キャプチャされた画像内に符号化されたデジタルウォーターマークを復号する。前述の特許で詳述されているように、携帯電話Ｂによって実行されるウォーターマークの復号は、準備プロセスとして、キャプチャされた画像の中のサブリミナル位置確認信号（ｓｕｂｌｉｍｉｎａｌｏｒｉｅｎｔａｔｉｏｎｓｉｇｎａｌｓ）（例えば、空間周波数ドメイン信号のパターン）を検出することを含むことができ、それにより、キャプチャされた画像について当初符号化された状態からの幾何学的歪み（例えば、スケール、回転、アフィン変換）を求めることができる。ウォーターマークのこの幾何学的歪みが理解されると、携帯電話Ｂのウォーターマークデコーダは、画像から複数ビットのウォーターマークペイロードを抽出する。このウォーターマークペイロードを携帯電話Ｂが使用して、ユーザが望むコンテンツを取得することができる。コンテンツは携帯電話Ａから取得することもできるが、これは必須ではない。

説明のため、携帯電話Ａのユーザが、ＹｏｕＴｕｂｅによる滑稽なビデオクリップ（「ＴｈｅＥｖｏｌｕｔｉｏｎｏｆＤａｎｃｅ」）を閲覧しており、これを友人と共有したいと思っている場合を考えたい。ユーザは携帯電話プロジェクタを作動させ、ビデオクリップを壁に投影する。

携帯電話Ａのプロセッサは、ビデオの出所を示すペイロードを用いて投影ビデオをデジタル的にウォーターマーク処理する。例えば、ウォーターマークペイロードは、当該ビデオのＹｏｕＴｕｂｅのインデックス番号（ｄＭＨ０ｂＨｅｉＲＮｇ）、名前（ＴｈｅＥｖｏｌｕｔｉｏｎｏｆＤａｎｃｅ）又はＵＲＬ（ｙｏｕｔｕｂｅ−ｄｏｔ−ｃｏｍ／ｗａｔｃｈ？ｖ＝ｄＭＨ０ｂＨｅｉＲＮｇ）を含むことができる。（本特許文書が電子的に提示される際にリンクが実際のリンクとして提供されることを防ぐため、本明細書ではドット規則が使用される。）

閲覧している友人の１人がビデオを気に入っている場合、彼らは携帯電話Ｂを使用して、投影された像から静止画像又はビデオクリップをキャプチャすることができる。ウォーターマークデコーダソフトウェアは、符号化されたペイロードデータを、望ましくは（必須ではないが）画像がキャプチャされ次第、復元する。携帯電話Ｂは、ＹｏｕＴｕｂｅから同じコンテンツを自動的に取り出すこと、又はメモリ中のペイロード情報を、キャプチャ済みコンテンツから復号されたウォーターマークの履歴リストに保存することができる。そして、ユーザは、この情報を後に利用して、ビデオクリップのコピーを取得することができる。

ウォーターマークペイロードが完全なＵＲＬを含む場合、ビデオクリップの取り出しは単純である。ビデオのタイトル又はインデックス番号のみが提供される場合、ペイロード情報を使用してＹｏｕＴｕｂｅ又はＧｏｏｇｌｅで検索するなど、更なる処理が必要なことがある。携帯電話Ｂに記憶されているルールセットは、コンテンツ取得のために連続的に試行される様々な方法のプロトコルを確立することができる。

例えば、第１のルールは、ペイロードデータを構文解析して、完全なＵＲＬのようであるか否かを確認することであり得る。その場合には、ルールはロード用に携帯電話ブラウザにペイロードを渡すことを指定できる。

第２のルールは、ＹｏｕＴｕｂｅのインデックス番号のように見えるデータを探すことであり得る。このチェックは、ペイロードが１０〜１２個の記号であるか、小文字の後に大文字を含むかを確認することを含み得る。そうである場合、携帯電話プロセッサは、記号「ｗｗｗ−ｄｏｔ−ｙｏｕｔｕｂｅ−ｄｏｔ−ｃｏｍ／ｗａｔｃｈ？ｖ＝」をペイロードの先頭に付加することによって完全なＵＲＬを作成し、ペイロードをロード用に携帯電話ブラウザに渡すことができる。

第３のルールは、辞書データベースをチェックするなどして、ペイロードの一部が単語のようであるか否かをチェックすることであり得る。そのようである場合、携帯電話プロセッサはブラウザに対し、語句としてのペイロードに関してＧｏｏｇｌｅのウェブインデックスを検索するよう命令することができる。うまくいけば、所望のコンテンツがＧｏｏｇｌｅ検索結果の最上位付近に表示され、ユーザは当該コンテンツを選択してロードすることができる。

他の実施形態では、携帯電話Ａによって投影像に符号化されるペイロードは、固有ＩＤ（ＵＩＤ）のような任意の識別子である。携帯電話Ａは、コンテンツをどこから取得できるかについて詳述したアドレス情報のような、コンテンツに関する情報とＵＩＤを関連付けるデータ構造（例えば、テーブル）にエントリーを書き込むことができる。携帯電話Ｂはこの識別子を復号すると、対応するアドレス情報にアクセスするためのＵＩＤを使用して、同じデータ構造を調べることができる。（データ構造は携帯電話Ａのメモリに存在していてもよく、又はその他の場所、例えば、図２に示されているように遠隔コンピュータサーバに存在することもできる。前者の場合、携帯電話Ｂはブルートゥースリンクのような技術を使用してデータ構造にアクセスすることができる。後者の場合、携帯電話Ｂはインターネットを介してデータ構造にアクセスすることができる。）

例示的なデータ構造が図３に示されており、これは、投影されたウォーターマークによって伝えられたＵＩＤを対応するアドレス情報に関連付ける役割を果たしている。ＹｏｕＴｕｂｅ、Ｆｌｉｃｋｒ、Ａｐｐｌｅ、Ｘｅｒｏｘ及びＲｏｃｋｓｔａｒＧａｍｅｓへのリンクが図示されている。

Ａｐｐｌｅリンクは、ＡｐｐｌｅのｉＴｕｎｅｓストアに存在する歌への実際のリンクである。これは、共有されるコンテンツが視覚的コンテンツである必要はないことを示している。携帯電話Ａの音楽プレーヤアプリケーション（例えば、ｉＴｕｎｅｓ）はグラフィック（例えば、アルバムの表紙）又は動画を、音楽が再生されるときはいつでも提示することができる。ウォーターマークが（図３のテーブルにより）音楽の出所、この場合はｉＴｕｎｅｓストアを指すＵＩＤを符号化して、携帯電話Ａは提示された画像を符号化することができる。

同様にＸｅｒｏｘリンクは、Ｘｅｒｏｘサーバ上のエクセルのスプレッドシートへのリンクである。ここでも携帯電話Ａは、表示されている文書をどこで発見できるかを示すデータ構造記録を指すＵＩＤを用いて投影像を符号化することができる。

この場合に、他の場合と同様に文書へのアクセスを、暗号化キー又はアクセスパスワードなどにより無制限のパブリックアクセスから保護することができる。携帯電話Ａによって符号化されたウォーターマークペイロードは、保護されたウェブサイトからの表示コンテンツに携帯電話Ｂのユーザがアクセスできるようにする部分（例えば、フィールド）を含むことができる。

（様々なこうした保護技術は既知であり、そのためここでは詳述しない。ただし、この共有メカニズムのいくつかの実施態様は、他のデジタルコンテンツシステムで大部分失われている共有の「アナログ」特性を復元ことができることに留意されたい。具体的には、携帯電話Ａは、ＵＩＤを関連ＵＲＬ情報に転換させるといったルーティングを求めるペイロードを使用することができる。しかし、ＵＩＤは、コンテンツを取り出すためその都度転換される必要があることもあり、それにより携帯電話Ａの所有者は素材に対する制御を保持することができ、共有を制限して、物理的オブジェクトと同様に一度にたった１人が「それを」持つことができるようになる。或いは、携帯電話Ｂを持つ者に対し、コンテンツを投影することのみに制限し、（例えば、第２の受領者がルーティングテーブルへのアクセス権を付与されていないため）コンテンツを渡すことは許可しない、などといった場合もある。したがって、コンテンツ共有のいくつかの実施態様に固有のものであり得るＤＲＭの要素がある。）

ＲｏｃｋｓｔａｒＧａｍｅｓリンクはゲーム「グランド・セフト・オート：チャイナタウン・ウォーズ（ＧｒａｎｄＴｈｅｆｔＡｕｔｏ − ＣｈｉｎａｔｏｗｎＷａｒｓ）」に関する。具体的には、携帯電話Ａのユーザは、電話でゲームを行い、ゲームディスプレイを投影しながら極めて高いレベルに達することができ、オンライン対戦者とともに各種機能へアクセスすることができる。符号化されたリンク情報はユーザの友人に対し、同じ特別なオンラインコンテンツ（又は行われたゲーム（ｇａｍｅａｓ−ｐｌａｙｅｄ）のアーカイブ、又は実行可能なゲームソフトウェアなど）へのアクセスを提供する。

他の構成では、投影される表示に埋め込まれるウォーターマークペイロードは時間／日付スタンプである。携帯電話Ａは、日付／時間に応じた処理及び／又は投影を行うコンテンツのすべてを詳述した履歴ファイルを維持することができる。携帯電話Ｂは、携帯電話Ａから投影された画像をキャプチャすると、復号されたウォーターマークデータによって示された日付／時間に携帯電話Ａによって表示されたコンテンツに関係する情報を取得するために履歴ファイルを（直ちに又は後で）調べることができる。（図３のように、履歴ファイルはテーブル形態であってもよく、携帯電話Ａに、又は遠隔に記憶することができる。）

前述の構成におけるデータ構造は、対応するコンテンツデータへのポインタを記憶しているが、他の実施形態ではデータ構造は、対応するコンテンツデータ自体を記憶することができる。例えば、携帯電話Ａは、プロジェクタを使用して情報を投影するときはいつでも、データ格納器に同じ情報を同時に書き込むことができ、この場合には当該コンテンツが他者によってアクセスされ得る。

（こうした構成はＭｉｃｒｏｓｏｆｔのゴードン・ベルの業績にある程度関係しており、ゴードン・ベルは、自身の環境を捉える音声、ビデオ及び他のセンサからデータのログを取り、自らの人生のデジタルアーカイブを作成することに努めている。ベルのアーカイブには、すべての通話記録、日常生活のビデオ、視聴されたすべてのＴＶ及びラジオのキャプチャ、閲覧したすべてのウェブページのアーカイブ、訪問したすべての場所の地図データ、自身の睡眠時無呼吸に関する睡眠ポリグラフなどが含まれる。しかしながら、着信コンテンツのログを取る代わりに、こうした実施形態における投影デバイスは発信コンテンツのログを取る。）

更に他の実施形態では、ウォーターマークペイロードは、投影している携帯電話（又はそのユーザ）を特定するフィールドを含む複数のフィールドを含むことができる。図４は、一つのそのような複数フィールドのウォーターマークペイロードを示している。第１のフィールドは、（例えば、数字識別子を文字識別情報に関連付けるデータ構造を参照して）ユーザに関連付けられる識別子であり、第２のフィールドは、オンラインコンテンツへのアクセスを許可するキーであり、第３のフィールドは、コンテンツの識別子（例えば、ＵＲＬなど）、第４のフィールドは投影の日付／時間を示すデータである。

ユーザＩＤ（例えば、携帯電話の通し番号）を含む実施形態では、この符号化は電話の使用期間を通じて静的であり得る。そのような場合、ユーザＩＤウォーターマークを符号化する微細なパターンでパターン化された、投影経路におけるフィルムのような光エンコーダを利用できる。ウォーターマークの追加のフィールドを、画像データを投影前に電子処理することによって符号化することができる。

上で詳述した技術の態様は、ユーザグループ間でのコンテンツの共有及びウィルス拡散を促すことが認識されよう。コンテンツは視覚的であり得るが、その必要はなく、ウォーターマーク処理されたピクセルはその他の形態のデータの代理としての役割を果たすことができる。

別の使用モデルはコラボレーションを含み、この場合に、携帯電話Ｂは、携帯電話Ａから投影された画像の上又は隣に画像を投影して、視覚的コラボレーションを形成する。アプリケーションは描画のようなコラボレーション作品の生成を含み、ここでは携帯電話のＵＩ（ボタン、キー、タッチスクリーン、近接センサ、加速度計など）を使用している各ユーザは、絵筆や消しゴムなど通常の道具を使用して描画アプリケーションを制御し、共有の投影領域で描画する。コラボレーションを容易にすることは、各デバイスが投影画像への各々の貢献部分を個別にウォーターマーク処理し、（ブルートゥース、インターネットなどを通じて）アクセス可能であり、且つ、セッション及び描画されているオブジェクトを記述するデータ構造へのリンケージを提供することである。Ａ及びＢ並びにその他を含む多くの携帯電話は、能動的に又は受動的に単なる観察者として描画セッションに参加することができる。

こうしたコラボレーションの単純な例では、携帯電話Ａのユーザが（例えば、Ｍｉｃｒｏｓｏｆｔの描画アプリケーションＶｉｓｉｏを使用して）円を描画し、プロジェクタを使用して描画を投影している。次いで、携帯電話ＢのＵＩを操作している携帯電話Ｂのユーザは、（例えば、Ｖｉｓｉｏによって提示されたコントロールポイントを使用して）投影された円の周囲にあるコントロールポイントを「つかみ」、円を歪ませて楕円にする。（同じ表示面２４への画像の投影及び当該表示面２４からの画像の感知の双方を同時に又は素早く交互に同期的に行うことができる実施形態もあれば、それができない実施形態もある。）

投影された円のコントロールポイントをつかむため、携帯電話Ｂのユーザは、カメラの視界の中心にコントロールポイントがくるようにカメラの位置を設定し、次いでマウスボタンを作動させるなど電話のＵＩ上で制御を操作する。コントロールポイントをつかむと、携帯電話Ｂのユーザは携帯電話を操作して、円の端の拡張先の位置を示す。これは、（Ｖｉｓｉｏによりよく知られているように）円の所望の歪みに対応する位置にカメラの視界の中心がくるように電話を動かす一方で制御を保持することによって実行できる。次いでユーザは制御を解除する。

特定の一実施形態では、携帯電話Ｂは携帯電話Ａに対し円の新たな端位置を、最初につかまえたポイントの｛ｘ，ｙ｝位置データ及び当該ポイントの終了場所の｛ｘ，ｙ｝位置データを送信することによって伝達する。この位置データは、右及び下への複数の投影ピクセルなど、（例えば、左上の隅が起点になる）携帯電話Ａによって最初の投影画像に符号化された位置確認信号によって定義された基準フレームで表現される。通信はブルートゥース又は他の方法によるものであり得る。

こうした操作を容易にするため、携帯電話Ｂにおけるカメラの視界の中心には、カメラＢのスクリーンにオーバーレイされた十字線が描かれ、当該十字線が、電話の画像センサによって画像がキャプチャされたことを示す。（他の実施形態では他の位置を使用することができる。視界の中心の使用は重要ではない。）

他の構成では、携帯電話Ｂはポインタスポット（レーザーポイント又はその他であってもよい）を投影して、「つかまえられる」特定の場所及び拡張後の特定の終了場所を示すことができる。携帯電話Ａのカメラはこれらのマーク付けを感知し、投影されたＶｉｓｉｏ描画をそれに応じて更新することができる。（ポインタスポットには、追跡及びクリックという二つの方式があり得る。追跡方式では、ポインタは可視的であるが、応答的アクションが起きない。クリック方式では、ポインタは応答的カメラシステムに対し、ポインタスポットの現在の場所に基づきアクションが起きるよう、瞬時に合図する。これは、スポットの色を変えることによって、独特の時間パターンで振幅を変調することによって、又はその他の方法によって合図することができる。さらに他の構成では、ポインタスポットは変わっていないが、ポインタ方式は、携帯電話Ｂからのブルートゥースによるブロードキャストなど、別のデータチャネルによって示される。

更に別の構成では、携帯電話Ｂは、投影された円の描画における携帯電話Ａによって符号化されたウォーターマークを復号する。このウォーターマークのペイロードは、携帯電話ＡのＶｉｓｉｏファイルの名前、又はファイルへのポインタを伝えることができる。携帯電話Ｂは、このペイロードデータを使用して、描画ファイルのコピーを取得する。次いで携帯電話Ｂのユーザは、描画コピーを、例えば拡張して楕円にするなど、操作する。携帯電話Ｂは、携帯電話Ａのユーザがレビューできるよう、修正画像を投影する。携帯電話Ａのユーザも同様に、携帯電話Ｂによって投影された修正描画画像をキャプチャし、携帯電話Ｂによって当該画像に符号化されたウォーターマークを復号することができる。携帯電話Ａはこの情報を使用して、例えば携帯電話Ｂから編集された描画ファイルのコピーを取得することができる。携帯電話Ａは、編集された描画ファイルをロードし、さらなる提案された編集を行い、２度編集された描画ファイルを投影することができる。編集が行き来し、各携帯電話プロセッサはＶｉｓｉｏを実行し、順に編集された描画ファイルをロードする。

変形形態では、描画プログラムは携帯電話に常駐しておらず、両方の携帯電話がアクセスできるクラウドベースのアプリケーションである。この場合、電話間でデータファイルを交換する必要はない。データファイルは遠隔で（クラウドで）記憶することもできる。或いは、クラウドアプリケーションは、単一の描画ファイルを編集している複数のユーザをサポートすることができる。

コラボレーションをサポート又は要求するいかなる用途シナリオも、こうして容易にできる。他の例として、複数の個人がアドホックジャムセッションを行い、一以上のデバイスで再生される楽譜及びドラムトラックを作成する場面、例えばレースカーゲームで複数のドライバーとゲームをする場面、高校の食堂でゲームをしている特別グループに「傭兵」が参加できるマルチユーザ戦争ゲームなどが挙げられる。

また、セッションへの参加において、携帯電話Ｂが携帯電話Ａの画像の上に常に投影することを求められるわけではないことに留意すべきである。携帯電話Ｂがセッションに入った（ロギングインに近い）ちょうどそのときに、投影が同時に起きてもよく、その後に当該ユーザはプロジェクタなしでセッションに参加し、携帯電話をマラカスとして揺らし、ｉＴｕｎｅｓストアからのギターアプリケーションをかき鳴らすことなどができる。当該ユーザがもはや携帯電話ユーザＡに近接していなくてもセッションは続行することができ、ゲームなどへの参加を継続することができる。

コラボレーションはストリーミングコンテンツで生じることもあり、例えば、携帯電話Ａはスポーツイベントを投影し、携帯電話Ｂはゲーム中にチーム又は場合によっては個別の選手に関する統計又は履歴情報を投影している場合がある。この情報は個別の選手又はイベントの発生をたどることができる。

多くのこうした構成は、他の画像に対して「修正」された複数の見晴らしのきく地点から画像を投影する能力によって可能になる。上記のように、これは携帯電話Ａによって投影された共通の位置確認信号を利用することによって達成でき、この信号は、セッションに参加するすべてのデバイスに共通の起点を提供する。この位置確認信号は、上記のデジタルウォーターマーク技術及び／又は明白な記号表示法又は明示的な基準の使用を通じて提供できる。

携帯電話Ａ及びＢの双方による同時発生の（又は交互の）画像投影は通常は重なるが、その必要はないことに留意されたい。位置確認信号によって確立される共通の基準フレームは、投影が重ならない場合でも使用できる。

様々な実施態様を参照して本技術の原則を説明し例示してきたが、本技術はそれに限定されないことを認識されたい。

例えば、本明細書では、一定の情報が一定の場所に記憶され、一定の処理が一定のデバイスで行われることを詳述しているが、これは例に過ぎない。データは任意の場所に記憶することができ、処理は任意の場所で行うことができ、アプリケーションが要求するようにデバイス間で情報が交換される。

本明細書では「携帯電話」という用語を頻繁に使用しているが、この用語は、広い意味が与えられるよう意図されており、ＷｉＦｉ電話及び厳密に言えば「セル」ネットワークを使用しないこともあるその他の電話を含む様々な種類の電話を含む。ＡｐｐｌｅのｉＰｈｏｎｅは携帯電話の一例である。（タッチインターフェースを含むｉＰｈｏｎｅの詳細は、公開されている特許出願第２００８０１７４５７０号で示されている。）他に、ＨＴＣによって製造されたＴ−ＭｏｂｉｌｅＧ１があり、これはＡｎｄｒｏｉｄを搭載した電話の一つである。コンピュータ、音楽プレーヤ、プロジェクタ及び／又はカメラなどの機能を含み得る他の携帯情報端末デバイスも、「電話」機能が提供されていなくても、本明細書で使用される用語「携帯電話」によって網羅されるように意図されている。

携帯電話Ａのウォーターマークエンコーダソフトウェアは継続的に実行することができ、当該携帯電話によって提示される（内蔵ディスプレイ上に提示されるか、プロジェクタによって投影されるかを問わない）すべてのコンテンツのマーク付けを行う。或いは、エンコーダは、プロジェクタが作動しているときなどに、選択的に作動できる。

同様に、携帯電話Ｂのウォーターマークデコーダは、デバイスが画像若しくはビデオ情報を処理しているときはいつでも、又は（ユーザが制御を作動させているときなど）選択的にのみ実行することができる。

上記のウォーターマーク技術は例に過ぎず、Ｐｈｉｌｉｐｓ（現在はＣｉｖｏｌｕｔｉｏｎ）及びＴｈｏｍｓｏｎによって商品化されたものを含め、非常に多くの他のウォーターマーク技術を用いることができる。特許第５，９３３，７９８号、第６５７７７４７号、第６，６７１，３８８号、第６，７８２，１１６号、第７，０３１，４９２号及び第７，１９１，３３４号に例が示されている。（ビデオのウォーターマークを使用してもよいが、出願人は時間依存を避けるため静止画像のウォーターマークを選好している。）更に他の構成では、キャプチャされたピクセルから「フィンガープリント」を導出し、データ構造内の対応する記録を識別することによって投影コンテンツを識別することができ、これは例えば公開されている特許文献第２００７０１７４０５９号（Ｄｉｇｉｍａｒｃ）、第２００７０２５３５９４号（Ｖｏｂｉｌｅ）、第２００８０３１７２７８号（Ｔｈｏｍｓｏｎ）及び第２００５０１４１７０７号（Ｐｈｉｌｉｐｓ／Ｇｒａｃｅｎｏｔｅ）に詳述されている。

詳述した構成では、投影コンテンツは、記憶されたルールセットに従い携帯電話Ａによってウォーターマーク処理される。例えば、ウェブからダウンロードされたコンテンツは取り出し元のＵＲＬを用いて符号化でき、ゲームディスプレイはゲーム名及びレベル番号を用いて符号化でき、以前にキャプチャされ携帯電話に記憶されたカメラ画像は画像ファイル名を用いて符号化できる。他の構成では、携帯電話Ａのユーザはウォーターマークペイロードに対する制御を与えられる。ユーザは、投影コンテンツの符号化が可能となる、考え得るペイロードのメニューを提示するＵＩを呼び出すことができる。例えば、ユーザは歌の再生中に投影されたアルバムアートを（ｉ）ｉＴｕｎｅｓの歌へのリンク、（ｉｉ）Ａｍａｚｏｎの歌へのリンク、（ｉｉｉ）ＹｏｕＴｕｂｅのその歌の最上位音楽ビデオへのリンク、（ｉｖ）（再生されている歌などを含む）携帯電話Ａに記憶されたＭＰ３歌データの共有ライブラリへのリンクなどで符号化するよう選択的に命令できる。

詳述した構成では、携帯電話Ａは投影コンテンツをウォーターマーク処理するが、他の構成では、コンテンツはより早い段階でウォーターマーク処理されていることがある。例えば、米国の大半のテレビは、ソースＩＤ（例えば、ＷＡＢＣ）及びタイムスタンプを埋め込む放送局の機器の符号化によってデジタル的にウォーターマーク処理されている。こうしたエンコーダは、ＴｈｅＮｉｅｌｓｅｎＣｏｍｐａｎｙがテレビ視聴の追跡を促進するために用いるネットワークの一部である。Ｎｉｅｌｓｅｎは、日付及び時間単位で、各地域の市場及び全国ネットワークにおける各チャンネルの番組一覧を詳細に示すデータベースを維持している。このデータベースは、ＴｒｉｂｕｎｅＭｅｄｉａＣｏｍｐａｎｙ及び／又はＴＶＧｕｉｄｅなどのベンダーによってまとめられた番組案内情報によって供給される。ウォーターマークから番組を識別するために、携帯電話Ｂは復号されたソースＩＤ／タイムスタンプ情報をデータベースに提出することができ、データベースは番組を識別するデータを戻す。同じように、ＹｏｕＴｕｂｅ及び他のコンテンツ配信者は、コンテンツを携帯電話Ａに提供する前に同様にウォーターマーク処理することができる。

上記のプロセス、システム及びシステム構成要素は、様々なコンピューティング環境及びデバイスで実施できると想定される。示された携帯電話及び遠隔サーバコンピュータは例に過ぎない。プロセス及び構成要素がデバイス内で、また複数のデバイスにわたって実施できることが明確に企図されている。

適切なコンピューティング環境は、汎用プログラマブルコンピューティングデバイスから専用回路及び両方の組合せを含む構成に至る広範囲を網羅する。プロセス及びシステム構成要素は、マイクロプロセッサ、デジタル信号プロセッサなど様々なプログラマブルプロセッサ向け汎用プロセッサ命令を含むコンピューティングデバイス向け命令として実施できる。こうした命令は、ソフトウェア、ファームウェアなどとして実施できる。こうした命令を、プログラマブル論理デバイス、デジタル回路、アナログ回路及びアナログ／デジタル混合回路など特定用途向け回路を含む様々な形態のプロセッサ回路に変換することもできる。命令の実行をプロセッサ間で分散すること、及び／又はデバイス内のプロセッサにわたって、若しくはデバイスのネットワークにわたって並行して行うことができる。コンテンツ信号データの変換も、様々なプロセッサ及びメモリデバイス間で分散できる。

各コンピューティングデバイスは、必要に応じて、一以上のプロセッサ、一以上のメモリ（コンピュータ可読媒体を含む）、入力デバイス、出力デバイス及びこれらの構成要素間の通信（例えば、バス）を含む。デバイス間の通信は有線の場合もあるが、通常は無線（例えば、ＷｉＦｉ、ＷｉＭａｘ、ブルートゥースなど）である。ソフトウェア／ファームウェアの場合、命令は通信バス、インターフェース回路又はネットワークを介して光記憶媒体、電子記憶媒体又は磁気記憶媒体などのコンピュータ可読媒体から読み取られ、一以上のプロセッサで実行される。

コンテンツ信号の上記処理は、これらの信号を様々な物理的形態に変換することを含む。画像及びビデオ（物理空間を移動し、物理的場面を示す電磁波の形態）は、カメラ又は他のキャプチャ機器を使用して物理的オブジェクトからキャプチャされる。これらの信号は、通常は電子形態又はデジタル形態に変換され、かかる形態に処理されて、上記の構成要素及びプロセスを実施するが、これらの信号を電子形態、光形態、磁気形態及び電磁波形態を含む他の物理的形態でキャプチャ、処理、移転及び記憶することもできる。コンテンツ信号は、上記の様々なデータ構造表示情報の書き込み及び読み取りを含めて、ウォーターマーク情報を符号化又は復号する処理中に変換される。そして、メモリ内のデータ構造信号は、索引付け、読み取り、書き込み、ロードなどの最中に操作するため変換される。

本明細書を過度に長くすることなく包括的に開示するため、出願人は参照することにより上記の特許文献を援用する。

Claims

プロセッサ、メモリ及びプロジェクタを含む携帯電話であって、前記携帯電話のメモリが、複数ビットのペイロードデータを用いて画像データをステガノグラフィにより符号化するように前記携帯電話のプロセッサを構成するデジタルウォーターマークソフトウェアを含み、前記プロジェクタが、前記プロセッサの出力部に結合され、前記符号化された画像データを表示面に投影する役割を果たす、携帯電話。
第１の携帯電話の画像センサを用いて、物理的オブジェクトから画像をキャプチャする動作であって、前記物理的オブジェクトが、第２の携帯電話の光オブジェクトからの画像で照らされた表示面を含む、該動作と、
前記キャプチャされた像から複数ビットの識別情報を導出する動作と、
前記複数ビットの識別情報を参照して、前記第１の携帯電話による使用のために電子コンテンツを取得する動作と、
を含む方法。
取得されたコンテンツが視覚的ではない、請求項２に記載の方法。
前記取得されたコンテンツがＭＰ３歌データを含む、請求項３に記載の方法。
携帯電話のプロセッサを使用して、複数ビットのステガノグラフィによるデジタルウォーターマークペイロードを画像データに符号化する動作であって、前記ペイロードが前記携帯電話を特定する、該動作と、
前記携帯電話の光プロジェクタを使用して、前記符号化された画像データを表示面に投影する動作と、
を含む方法。
前記ペイロードが前記携帯電話を特定する役割を果たす、請求項５に記載の方法。
第１の携帯電話のプロジェクタからの画像を表示面に投影するステップと、
第２の携帯電話の画像センサで前記投影された画像の少なくとも一部を感知するステップと、
前記第２の携帯電話で、前記感知された画像から位置確認情報を識別するステップと、
前記識別された位置確認情報を参照して、前記第１の携帯電話及び前記第２の携帯電話のユーザ間の対話を促進するステップと、
を含む方法。
第１の携帯電話のプロジェクタからの第１の画像を表示面に投影するステップと、
第２の携帯電話の画像センサで前記投影された画像の少なくとも一部を感知し、感知された画像データを取得するステップと、
ユーザ入力を受信するステップと、
前記感知された画像データ及び前記受信されたユーザ入力を参照して、携帯電話プロジェクタから第２の異なる画像を投影させるアクションを起こすステップと、
を含む方法。
前記アクションが、前記第１の携帯電話の前記プロジェクタから前記第２の異なる画像を投影させる、請求項８に記載の方法。
前記アクションが、前記第２の携帯電話のプロジェクタから前記第２の異なる画像を投影させる、請求項８に記載の方法。
ユーザ入力を受信する前記ステップが、前記第２の携帯電話のユーザからユーザ入力を受信するサブステップを含む、請求項８に記載の方法。