JP2005509982A - 物理的世界に関連する情報をオーサリングして提供するためのシステムおよび方法 - Google Patents
物理的世界に関連する情報をオーサリングして提供するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2005509982A JP2005509982A JP2003546291A JP2003546291A JP2005509982A JP 2005509982 A JP2005509982 A JP 2005509982A JP 2003546291 A JP2003546291 A JP 2003546291A JP 2003546291 A JP2003546291 A JP 2003546291A JP 2005509982 A JP2005509982 A JP 2005509982A
- Authority
- JP
- Japan
- Prior art keywords
- content
- label
- tour
- authoring
- labels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9554—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL] by using bar codes
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
物理的オブジェクト(107)からのマシン読み取り可能なラベルの読み取り、地理的位置(108)に関する座標ラベルの読み取り、内部クロック(109)からのタイムスタンプラベルの読み取り、ディジタルテキスト列ラベルをキーボードタイプ入力デバイスから直接的に取得した入力として受け入れること、あるいは何らかの変換手段によってディジタルデータになるようにエンコードしている任意の別のラベルタイプ情報を変換している音声対テキストエンジンを間接的に使用すること、さまざまな指標付け操作を実行し、コンテンツオブジェクト識別子およびその関連付けしたコンテンツをツアー(103)と呼ぶ単一のアドレス可能単位となるようにするためにこれらの異なるラベルを一律にオブジェクト識別子として取り扱うことが可能なシステムおよび方法である。本システムは、オーサリングモードと再生モードで機能することができる。オーサリングモードはオーディオ/テキスト/グラフィックス/ビデオの新たなメッセージの記録、およびオブジェクト識別子に対するバインドを可能にしている。再生モードは、オブジェクト識別子がアクセスを受けたときに記録済みのメッセージの再生を起動している。
Description
本発明は、全般的には情報システムに関し、詳細には、物理的世界に関連する情報をオーサリングして提供するためのシステムおよび方法に関する。
インターネットの指数関数的な成長は、3つの要因によって推進されており、これら3つとはすなわち、この新規メディア向けにコンテンツを容易にオーサリングできる能力と、コンテンツ編集のための単純なテキスト列ベースの(たとえば、ユニフォームリソースロケータ(「URL」)ベースの)指標付けスキームと、オーサリングさせたコンテンツに対するアクセスの容易さ(たとえば、単にハイパーリンク上でのマウスクリックによるなど)とである。しかし、モバイルデバイスの利用空間においてこのインターネットの成功に倣おうとするためになされた試みは、今のところあまり成功していない。このモバイルデバイス利用空間とは、我々が生活している全体の物理的世界であり、またこの物理的世界は、オブジェクトのすべてがバーチャルであるような係留型のパーソナルコンピュータ(「PC」)ベースのインターネット世界と異なり、現実のオブジェクト、地理的位置、および時間的イベントから構成されており、これらは単独で、あるいはオブジェクトや位置と関連して発生している。これらの多様性によって、すべてのバーチャルオブジェクトに対してURLによって一律にアドレス付けすることができるような既存のインターネット世界内には存在しないような問題が提起される。
物理的オブジェクトのドメインあるいは地理的位置のドメインなど、ただ1つのドメインのみに対するシームレスな閲覧を可能にしているようなアプリケーションを構築しようとする試みがなされてきた。さらに、オブジェクトと位置に対する一緒の閲覧を処理しようとの試みがなされてきた。しかし、これらの試みでは、インターネットを今日ある姿(すなわち、情報配布のための最も効率のよいメディア)に育て上げた、上で言及した基本要因に対する対処がうまく行かない。詳細には、これらの試みでは、ラベル付け問題、すなわち、異なるラベル付けスキームにわたり異なる形式の情報を解釈することに、効果的に対処できていない。このことは、物理的世界に特有の問題であり、バーチャル世界内のすべてのコンテンツに対してURLによってアドレス付けできるようなPCベースのバーチャル閲覧方法では存在しない問題である。さらにこれらは、(大部分のモバイルデバイス利用状況に関してオンデバイスのコンテンツオーサリングが最も自然で、効率がよく、かつエラーフリーの方法である場合に主たる欠点となるような)デバイス上でのコンテンツオーサリングなど、これらの異なるラベルのタイプに対してバインドさせた(bound)コンテンツに対するオーサリングに対応しておらず、また異なるラベル付けスキームによって指標付けしたコンテンツに対する再生にも対応していない。
これら外見上異種のアプリケーションドメインのすべてを包含しているようなシームレスなモバイル閲覧を可能にするためには、これらの欠点に対処する必要がある。ラベル付けおよびコンテンツバインド用のスキームが存在しないため、オブジェクトに対するカスタマイズ式ラベル付けを行うこと、ならびにこうしたラベルにコンテンツをバインドさせることは、極めて困難となる。アノテーション(annotation)/フィードバック・バインド用のスキームが存在しないため、コンテンツとアノテーション/フィードバックの間で対応関係を維持することが極めて困難となる。位置ベースの、オブジェクトベースの、イベントベースの、ならびに従来のウェッブハイパーリンクベースのサービスに対するシームレスな橋渡し(bridging)が存在しないためこれら異なるドメインに対するナビゲーションのためには異なるデバイス/アプリケーションが必要となる。
モバイルデバイス空間には4つの個別のアプリケーションドメイン(すなわち、オブジェクトベースのデバイスおよびアプリケーション、座標ベースのデバイスおよびアプリケーション、時間ベースのデバイスおよびアプリケーション、ならびに従来のURLベースのデバイスおよびアプリケーション)が存在する。オブジェクトベースのデバイスは、バーコード、無線周波数識別(「RFID」)または赤外線(「IR」)タグを介して物理的オブジェクトからラベルを読み取ることができ、また典型的には、ユーザがこれらのデバイスを使用して関心対象オブジェクトをスキャンするような積極関与(プロアクティブ)方式で使用される。これらのデバイスは、ウェッブブラウザを使用したインターネットのサーフィンと同様の方式で物理的オブジェクトの世界を閲覧することを支援しようとするものである。座標ベースのアプリケーションドメインは、全地球測位システム(「GPS」)、衛星信号が弱いことがある場合のAssisted−GPS(「A−GPS」)、angle of arrival(「AOA」)システム、あるいはtime difference of arrival(「TDOA」)システムに基づくさまざまな位置検出スキームを通じて利用可能となるような地理的位置に関する知見を利用している新規開発のドメインの1つである。PC世界における既存のアプリケーションドメインの1つ(たとえば、タイムラインベースの情報提示)も同様に、モバイルデバイス空間への進出を目指している。しかし、これらの異なるアプリケーションドメイン間をぼぼシームレスでトランスペアレントな方式で橋渡しできるようなデバイスやアプリケーションは目下のところ存在していない。
デバイス読み取り可能なオブジェクトや位置識別子を利用したポータブル対話式ディジタル情報システムの分野では、幾つかのシステムが知られている。たとえば、米国特許第6,122,520号は、ナブスター全地球位置把握システムなどの測位システムを分散型ネットワークと組み合わせて使用している位置情報システムについて記載している。このシステムは、GPSデバイスから座標エントリを受け取っており、またこの座標は対応する位置指定情報の抽出のために分散型ネットワークに伝送される。位置識別情報を供給するためには、GPSシステム以外にも、バーコード、ラベル、赤外線ビーコン、およびその他のラベル付けシステムを使用することができる。しかし、このシステムは、カスタマイズ式ラベル付け、ラベルタイプの規格化、および一律なラベル指標付けなど物理的世界に特徴的な基本課題に対処していない。さらに、このシステムは、ツアー様のパラダイム(すなわち、メディアコンテンツを論理的な集合となるように分類させたものである「ツアー(tour)」)を企図していない。
米国特許第5,938,721号は、そのタスクを位置座標によって指標付けしているようなモバイルコンピュータシステムに対するアクセスが可能なタスク記述データベースについて記載している。このシステムは、座標ベースのラベル付け、座標ベースのコンテンツオーサリング、および座標起動式のコンテンツ再生という考え方をもっている。このシステムの欠点は、このシステムではコンテンツを再生する際に使用されるデバイスの能力に制約を課していることである。したがって、このシステムは、コンテンツを複数のラベルタイプに合わせてオーサリングさせてバインドすること、すなわちツアーの考え方に対応することができないという点において不十分である。
米国特許第6,169,498号は、位置指定のメッセージがポータブルデバイス内に格納されているようなシステムについて記載している。各メッセージは、施設内のある具体的な地理的位置において対応する1つのデバイス読み取り可能な識別子を有している。このシステムの利点は、ユーザが位置指定情報にランダムにアクセスできることである。このシステムの欠点は、ある位置における個々のオブジェクトに関する細分性(granularity)がより高い情報を提供できないことである。この最小単位は「サイト(site)」(施設のうちのある特定のエリア)である。このシステムの別の欠点は、ポータブルデバイスのユーザが受け身の立場にあり、既存の識別子コードおよびメッセージからしか選択できないことである。ユーザは、識別子を能動的に作成することができず、また関連するメッセージの作成やアノテーションもすることができない。このシステムではさらに、意味のあるコレクションとなるようにオブジェクトを編集する必要性に対処できていない。さらに別の欠点は、このシステムが屋内の施設の内部で使用することを目的としたものであり、屋外の位置に対処しないことである。
米国特許第5,796,351号は、展示オブジェクトに関する情報を提供するためのシステムについて記載している。このシステムは、目標とする展示オブジェクトから識別コードを読み取っているワイヤレス端末を利用している。一方この識別コードは、データベースシステム内でそのオブジェクトに関する情報をサーチするために使用される。オブジェクトに関するこの情報は、ポータブルワイヤレス端末上でユーザに対して表示される。記載されているこのシステムはオブジェクトおよびワイヤレス・ローカルエリアネットワークに対して割り当てられる一意の識別コードを使用しているが、得られるシステムは1つの閉鎖システムである、すなわちすべてのデバイス、オブジェクト、ポータブル端末、ホストコンピュータ、および情報コンテンツがその施設によって制御されていると共に、その施設の境界の内部でのみ動作可能である。
米国特許第6,089,943号は、その各々がある書籍内の視覚的メッセージと個々に関連付けされている多数のバーコードをスキャンするためにバーコードスキャナを備えているぬいぐるみ玩具について記載している。この玩具内にあるデコーダおよびオーディオ装置は、スキャンを受けたバーコードと関連付けさせた書籍内の視覚的メッセージに対応して音響メッセージを発生させている。このシステムに関する最も重大な欠点の1つは、この装置自体でコンテンツをオーサリングすることができないことである。このため、この装置向けにオーサリングさせるコンテンツを作成しようとするものにとって厄介となる、すなわち、コンテンツをオーサリングするために別の手段に頼らなければならない。このことによりさらに、オーサリングしたコンテンツ、オブジェクト識別子、および物理的オブジェクトとの関連付けを維持しかつ把握することがより困難となる。
米国特許第5,480,306号は、入力メディアとして光学式識別子を利用している言語学習の装置および方法について記載している。このシステムでは、既成のスキャナを光学式コードインタプリタおよび再生装置と一緒に使用することが必要である。このシステムではさらに、ある特定のバーコードを選択すること、ならびにこの選択したコードの個々の値に対して単語およびセンテンス間での割り当てを定義することが必要である。このシステムの欠点は、別々の2つの装置に関する要件によって幾つかの利用状況において極めて扱いにくくなること、ならびにディジタルコードとアルファベットおよび単語との間で面倒な割り当てを実施する必要があることである。
米国特許第5,314,336号は、その光学的な検知によるメッセージを表すオーディオ出力を提供している玩具および方法について記載している。この装置は、上に指摘した特許の幾つかと同じ欠点、特にコンテンツオーサリングの欠点を有している。
米国特許第4,375,058号は印刷されたコードを読み取り、このコードを音響信号に変換するための装置について記載している。このシステムの基本的な欠点は、これが記録済みのオーディオの再生に対応していないことである。さらに、上で指摘した特許のうちの幾つかと同じ欠点も有している。
米国特許第6,091,816号は、GPSを用いてある具体的な記録が行われた位置を決定することによってユーザが持ち歩くオーディオ専用記録装置が音響信号を受け取る時間および位置を指示するための方法および装置について記載している。このシステムの趣旨は、装置上での連続した再生のためのバインド処理、あるいはフィードバックやアノテーションバインド処理を用いるのとは異なり、この位置を純粋に、記録が実施された場所を知るための手段として使用することにある。さらに、このシステム内でのタイムスタンプの利用では、タイムスタンプを特殊な時間的イベント再生のための起動子として使用することや、タイムスタンプをオブジェクト、座標、およびラベルとバインドさせることを企図していない。
いずれも参照によりその全体を本明細書に組み込むものとする上に列挙した特許以外に、その共通の目的が印刷された物理的世界情報をバーチャルのインターネットURLにリンクさせることであるような別のシステムも市販されている。より具体的には、これらのシステムはURLを独自のバーコードにエンコードしている。ユーザはカタログ上のバーコードをスキャンすると、そのウェッブブラウザがこの与えられたURLに合わせて起動される。これらのシステムの利点は、これらシステムによって物理的世界をインターネットの豊富な情報源にリンクできることである。これらのシステムの欠点は、このURLがバーコードにおいて直接エンコードされているため修正することができず、物理的オブジェクトとディジタルのURL情報の間に一対一の対応関係が存在していることである。
別の従来のシステムでは、インターネット上での商品の照会や価格比較のために標準の統一商品コード(「UPC」)のバーコードスキャンを使用している。このシステムの利点は、独自のスキャナデバイスが不要であること、またハードコード式の直接的URLリンクではなくコードを情報と対応させる際に間接方式を存在させていることである。しかしながら、上述したシステムのすべてでは、不都合にも各オブジェクト(すなわち、各バーコード)を個別のアイテムとして取り扱っており、同じ位置にある複数の物理的オブジェクトの間に論理的関係を生成させる手段を提供していない。これらのシステムの別の欠点は、ユーザが個人版の情報を生成させたり、フィードバックを提供することができないことである。
したがって、オブジェクト、位置および時間的イベントに対するラベル付けに対処しているスキーム、これらの異なるラベルを基本的なラベル付け方法に対して一律かつトランスペアレントに取り扱うような指標付け方法を有するスキーム、これらの異なる物理的世界実体要素に関してコンテンツをシームレスにオーサリングしそのコンテンツを指標とバインドさせるのに役立つスキーム、ならびに任意の現実世界の実体要素(たとえば、物理的オブジェクト、位置および/または時間的イベント)に関してオーサリングさせたコンテンツに対する容易なアクセスおよび再生を提供することができるようなスキームに対する必要性が存在している。
この必要性に対処し、関連する技術において記載した欠点を克服するために、物理的世界に関連する情報をオーサリングして提供するための方法の形、ならびにこうした方法を利用している装置およびシステムの形で本発明の考え方を具現化している。バーコード、RFIDタグ、IRタグ、位置座標、およびタイムスタンプなど(ただし、これらに限らない)の1つまたは複数のラベルを読み取ることが可能であるような、これらのラベルに関連するメディアコンテンツをオーサリングして再生するためのハンドへルド型デバイスを利用することが好ましい。オーサリングモードでは、オブジェクト、位置、時間的イベント、およびテキスト列を表しているラベルを識別し、オブジェクト識別子に変換しており、このオブジェクト識別子は次いで、オーサリングによって当該オブジェクト識別子に関して記録させるメディアコンテンツとバインドさせている。メディアコンテンツはツアーと呼ぶ論理的な集合にするように分類することができる。ツアーとは、オブジェクト識別子によって指標付けしたマルチメディアディジタルコンテンツからなる集合と考えることができる。再生モードでは、コンテンツを上で言及したラベル(バーコード、RFIDタグ、位置座標、など)のうちの1つが読み取られ、かつその生成されたオブジェクト識別子がツアー内にあらかじめ格納されている識別子のうちの1つを一致した場合にそのオーサリング済みが再生される。本システムはさらに、オーディオ、テキスト、グラフィックス、およびビデオアノテーションを記録し、アクセスを受けたオブジェクト識別子とバインドさせることが可能である。アクセスを受けたオブジェクト識別子に対するこのバインド処理はさらに、オブジェクト上でユーザによって提供される任意のオーディオ、テキスト、グラフィックス、またはビデオフィードバックに関して実施される。
本発明に関する上述およびその他の特徴および利点は、本発明の好ましい実施形態に関する以下のさらに具体的な説明、添付の図面、ならびに本特許請求の範囲から明らかとなろう。
本発明、ならびに本発明の目的および利点に関するより完全な理解を得るために、ここで添付の図面と関連して取り上げた以下の説明を参照することにする。
本発明の好ましい実施形態およびこれらによる利点は、同じ参照番号が同じ要素を示している図1〜12を参照することによって理解することができ、またこれについては、ユーザの周辺の物理的世界に関する情報をオーサリングしてユーザに提供するための包括的なデバイス、システム、および方法のコンテキストにおいて記載している。この点において、本発明は一般に、物理的オブジェクト上でマシン読み取り可能なラベルまたは人間に識別可能なラベル、空間的位置や地理的位置を表している座標ラベル、ならびに内部または外部のクロック源によって生成させるタイムスタンプの形式とさせることが好ましい時間ラベルなど(ただし、これらに限らない)のラベルとの相互作用を介して情報を提供している。すべてのラベルは、オブジェクト、位置、または時間識別子として一律に取り扱われている、すなわち、各ラベルはオブジェクト、位置、または時間的イベントを識別する役割をしている。本開示を簡略化するために、オブジェクト識別子という用語を使用してオブジェクト、位置、あるいは時間識別子を一括して指し示している。これらのオブジェクト識別子は、より具体的には、システム内において、以下でより詳細に記載することにするような方式によって、コンテンツのオーサリングおよび再生、ならびにユーザのアノテーション(annotation)およびフィードバックなどのさまざまな指標付け操作を実行するために使用している。本発明はさらに、単一のアドレス可能なデータベースまたは情報ライブラリ(これ以降において「ツアー」と呼ぶ)とするようにオブジェクト識別子とこれらに関連付けされたコンテンツとを集合させることができる。
物理的世界に関する情報をユーザに提供するための包括的なシステムおよび方法を提供するため、ならびにユーザが物理的世界に関するユーザ自身の印象を記録できるようにするために、本システムは、2つのモード、すなわち、オーサリングモードと再生モードで動作することが好ましい。オーサリングモードは、新たなメディアコンテンツ(たとえば、オーディオ、テキスト、グラフィックス、ディジタル写真、ビデオ、およびさまざまな別のタイプのデータファイル)を記録させ、かつオブジェクト識別子とバインドさせることを可能にしている。オーサリングモードでは、本システムは、オブジェクト識別子生成と同時に実施できるようなコンテンツオーサリング処理に対応しており、これによって、オーサリング済みのメディアコンテンツをオブジェクト識別子に対して曖昧さなくバインドさせることができる。換言すると、物理的オブジェクト、位置またはタイムスタンプのラベルとそれぞれのメディアコンテンツとの間で直接的な対応関係を維持している。再生モードは、オブジェクト識別子がアクセスまたは検出を受けたときにメディアの再生を起動させている。再生モードでは、本システムはさらに、ユーザからのアノテーションおよび/またはフィードバックを記録させさらにオブジェクト識別子に対して曖昧さなくバインドさせるように受け入れる、または促すようにプログラムすることもできる。アノテーションおよびフィードバックは発生したオブジェクトに対するユーザの応答の形式とすることがある。ユーザは一般にアノテーションに対する権利を所持すなわち保持しており、一方フィードバックはフィードバックを要求した人により所持されることが典型的であることにおいて、アノテーションとフィードバックとの違いはかなり小さいものである。さらに、フィードバックは、ユーザが一連の質問に応答するなどの対話式とすることがある。
以下の説明は、本発明を実施させることができる適当なコンピュータ処理環境に関する一般的な概要を提供することを意図している。必ずしもこのようにする必要はなくまたこれらに限定するものではないが、コンピュータ実行可能な命令が1つまたは複数の分散型コンピュータ処理デバイスによって実行されているというコンテキストで本発明を記載している。これらコンピュータ実行可能な命令としては、特定のタスクを実行したり、データタイプを実現しているようなルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を含むことができる。さらに、本発明は、ハンドへルド型デバイス、音声または音声/データが有効な携帯電話機、スマートホン(smart−phone)、ノート型コンピュータ、コンピュータ処理タブレット、ウェアラブルコンピュータ、パーソナルディジタルアシスタント(「PDA」)、または特殊な特定用途向けに作られたデバイス(ただし、これらに限らない)などのポータブルコンピュータ処理デバイスの実現を通じてモバイルユーザによって動作させることができる。これらのデバイスの構成は、ワイヤレスネットワークインタフェースを有するようにも、ワイヤレスネットワークインタフェースを有しないようにも構成させることができる。本発明の考え方は、好ましくはワイヤレス通信ネットワークを介してリンクさせているコンピュータ処理デバイスによってタスクを実行しているような分散型コンピュータ処理環境において実現させることができ、この際コンピュータ実行可能な命令は、ローカルとリモートの両方のメモリ記憶デバイスに配置させることができる。
本発明の好ましい実施の一形態では、図1は、ツアーサーバ側をワイヤレス分散ネットワーク115を介してクライアント側に結合させているようなネットワークアーキテクチャ内のポータブルコンピュータ処理デバイス105を表している。ワイヤレス分散ネットワーク115は音声/データ携帯電話ネットワークとすることが好ましいが、当業者であれば、別の形態のネットワークも使用できることは明らかであろう。たとえば、このネットワークは、たとえば、ワイヤレス・ローカルエリアネットワーク(「WLAN」)やパーソナル・ローカルエリアネットワーク(「WPAN」)などにおける無線周波数(「RF」)、802.11標準、およびブルートゥースなど(ただし、これらに限らない)に基づいたワイヤレス伝送ネットワークを使用することができる。
このネットワークのクライアント側においてワイヤレス分散ネットワーク115に対して、物理的世界内の1つまたは複数のオブジェクト107の間を移動するように屋内および/または屋外位置を動き回ることがある1人または複数人のモバイルユーザを接続させている。さらに詳細には以下に記載することにするが、物理的世界の位置108および/またはオブジェクト107は、バーコードラベル、RFIDタグ、IRタグ、ブルートゥース読み取り可能タグ、アナログ対ディジタルの変換可能タグなどマシンにより読み取り可能なまたは識別可能な1つまたは複数のオブジェクト識別子によって表すことができ、かつ/またはこれらは人間による識別が可能なテキスト、位置座標、およびタイムスタンプと関連付けさせることができる。モバイルデバイス105上で内部クロック109が発生させるタイムスタンプは、それ自体でラベルの役割をすることが可能であるか、あるいは1つのオブジェクトまたは1つの場所にバインドさせたメディアコンテンツに対する限定子と見なすことが可能である。単に一例として、タイムスタンプによって権限を与えられるメディアコンテンツは、その冬季情報が夏季情報と異なる可能性があるような山岳リゾート位置に関する情報とすることも可能である。
たとえば、緯度、経度、および任意選択では高度を表している位置座標108は、GPS衛星やその他の送信元から送信された信号を用いてモバイルデバイスと結合させた位置決定ユニットによって決定される。別の実施形態では、そのモバイルデバイスの位置は、別の従来の位置決定スキームによって決定されている。さらに別の代替的実施形態では、その位置座標は、リモートサーバによって提供することが可能であり、またこうしたデータを必要とする任意のモバイルデバイスは、ネットワーク式リモートサーバからの位置データ要求を受け取ることができる。このことは、モバイルデバイスが位置識別能力を有しない場合や、GPS衛星信号が遮蔽されている屋内施設にいる場合において特に有用である。
オブジェクト識別子を読み取るために、パーソナルモバイルデバイス105は、位置座標108や物理的オブジェクト107に取り付けたラベル106に応答するように適合させた取り込み回路110を備えている。取り込み回路110は、バーコード読み取り装置、RFID読み取り装置、IRポート、ブルートゥース受信器、GPS受信器、タッチトーン式キーパッド、ラベル情報をディジタルデータに変換することができる任意のアナログ対ディジタル変換器、あるいはこれらの任意の組み合わせを備えることがある。ネットワーク式環境では、パーソナルモバイルデバイス105は、このネットワークのサーバ側で格納および計算処理が実施されている間に、入力能力および出力能力を備えたシンクライアントまたはアプレットクライアントシステム104を動作させている。このクライアントシステムは、ワイヤレスアプリケーションプロトコル(「WAP」)ブラウザ、マイクロソフトモバイルエクスプローラ(登録商標)、その他などのワイヤレスブラウザソフトウェアアプリケーションを含むことができ、また、WAPやハイパーテキスト転送プロトコル(「HTTP」)ベースのサーバ(ただし、これらに限らない)などの当技術分野でよく知られている任意のタイプのサーバ上で実現させた通信プロトコルに対応することができる。
ネットワーク式環境では、ツアー103は、リモートサーバ114とモバイルデバイス105の間の経路113を介してワイヤレスネットワーク115によって伝達される。ツアーアプリケーション104を電話機によって実現させているような特定のケースでは、そのアプリケーションは音声拡張可能なマーク付け言語(「VoiceXML」)ブラウザのコンテキストにおけるリモート式と、デバイス上におけるローカル式との両方で動作させることができる。指標テーブルリポジトリ116は、より詳細には以下において記載することにするが、ローカルに常駐させるか、データ経路112を介してリモートでアクセスを受けるかのいずれとすることもできる。同様に、オブジェクト識別子と関連付けさせたマルチメディアコンテンツコレクションは、ローカルでデバイス上に常駐させることや、コンテンツプロキシ117の支援によって経路113を介してダウンロードするかストリーミングするかのいずれとすることもできる。
別の実施形態では、有線式ネットワークによってワイヤレスネットワークの全部または一部の代用とさせることができる。たとえば、ツアー103の転送は、モバイルデバイス105とリモートサーバ114の間のモデム接続(図示せず)や、データ経路102および101を用いて中間システム100を使用した間接式で実現させることができる。さらに、ツアーはクライアントオーサリングシステム100を用いてホストコンピュータ上でオーサリングを受け、さらにデータ経路101を用いてデバイスに転送させるか、データ経路102を用いてその後に続いて別のモバイルデバイスにダウンロードさせるようにサーバにアップロードさせるかのいずれかとすることができる。有線式接続を介してモバイルデバイスからホストコンピュータにツアーを転送させる別の例について以下で詳細に記載する。
リモートサーバ再生のケースでは、サーバ114とモバイルデバイス105の間の接続は、全体のツアーの持続時間にわたって保持している必要はない。たとえば、サーバはそのツアー内の最終のレンダリング位置の状態を、必要に応じて接続の再確立を可能としている複数の間欠的接続にわたって維持することができる。この状態の維持によって、ユーザがユーザ名/パスワードによって再度ログインする必要がなくなるだけではなく、ユーザを直ちにツアーの最終位置に戻すことができる、このことはコンパクトディスク(「CD」)プレーヤがCD上の最後に再生したトラックを覚えているのとよく似ている。モバイルデバイス105が適当に適合させた携帯電話機である場合、サーバは発呼者の電話番号を使用してユーザが入った最後のツアーを識別している。発呼者の電話番号が識別できないような状況の場合、ユーザはユーザ名とパスワードを入力するように促され、最後のツアーコンテキストに直ちに導かれることになる。この機能によって接続時間コストの節約になるだけでなく、VoiceXMLを用いて駆動方向を提供するように実施させているツアーなどのある種のアプリケーションにとって効果的となる。
ツアーのオーサリングおよび公開の目的のため、モバイルデバイス105は、経路101を介してモバイルデバイスをホストコンピュータ101に直接接続できるようにするためのユニバーサルシリアルバス(「USB」)コネクタを備えている。パーソナルモバイルデバイスがUSBコネクタを有していないような別の実施形態では、ホストコンピュータへのツアーのアップロードは、PCのマイクロフォン入力に接続したオーディオヘッドホン出力などの従来のデータ出力を用いて実現することができる。こうしたスキームによって再記録過程において若干のオーディオ品質の劣化を生じさせることがあるが、貴重なコンテンツのPC上への安全のためのバックアップの役割をすることになる。「アップロード再生モード」と呼ばれるある具体的なデバイスモードで連続式再生を開始すると、人間の話し声と衝突しないようにその周波数を選択した特殊な音の形でツアーの指標値が送信される。PC上で動作する特殊なソフトウェアはコンテンツ間の英数字の指標区切り記号を認識してツアーを再生させている。この英数字指標値は、タイムスタンプ、バーコード値、または座標などの正規化したラベル値を表すことも可能である。
あるツアーと関連付けさせた1つのオブジェクト識別子または複数のオブジェクト識別子に関連するメディアコンテンツに対してオーサリングおよび/または再生を提供するために、パーソナルモバイルデバイス105(この例を図10〜12に表している)は、バーコード情報、RFID情報、IR情報、直接的または直接的な(アナログ対ディジタル変換器から得る)テキスト入力、地理的座標情報、および/またはタイムスタンプ情報を読み取るように(これらに応答するように)適合させたオブジェクトラベルデコード回路1002を含むことが好ましい。このオブジェクトラベルデコード回路1002は、パーソナルモバイルデバイス105上に常駐しているツアーアプリケーション1004に対して入力を提供している。このツアーアプリケーションは、より詳細には以下において記載することにするが、一般にこの入力に対して、オブジェクトラベル読み取り値の関数としたメディアコンテンツに対するオーサリングまたはレンダリングを開始させるように応答する。メディアコンテンツを再生させるために、パーソナルモバイルデバイス105は、ディスプレイ1008と関連付けさせたビデオデコーダ1006と、スピーカ1012と関連付けさせたオーディオデコーダ1010とを備えている。ディスプレイ1008は、液晶表示画面などの視覚的ディスプレイとすることができる。別の実施形態では、そのデバイスは視覚的ディスプレイを伴わずに機能することができる。
オブジェクト識別子に対してバインドさせることができる情報を入力するために、パーソナルモバイルデバイス105は、たとえば、キーボード1014、ペンの形態をしたポインティング・デバイス(図示せず)、ディスプレイ1008の一部分であるようなタッチ検知スクリーンを介して文字情報を入力するための手段、たとえばビデオ符号器1016やビデオ入力1018を介してビデオ情報を入力するための手段、および/または、たとえばオーディオ符号器1020とマイクロフォン1022あるいは電話機向けのデュアルトーンマルチフリーケンシー型(「DTMF」)ボタン(図示せず)などのタッチトーン式ボタンを介してオーディオ情報を入力するための手段を備えている。
図11を参照すると、パーソナルモバイルデバイス1100は、再生/停止1101、記録1103、後進1105、高速前進1104、ボリューム制御1110などのメディアコンテンツ制御キーを備えており、またメディアコンテンツと対話する際に使用するために別のさまざまな操作器を設けることができる。この方式では、このさまざまな制御キーを使用してある種のデバイスモード、特に再生モードにおいて、ハードウェアボタンシールド、デバイスモード選択器、または組込型のソフトウェアロジックを用いてデバイス機能を選択的に無効にすることができる。パーソナルモバイルデバイス1100はさらに、オーディオ入力(たとえば、マイクロフォン1102)、オーディオ出力(たとえば、スピーカ1106やヘッドホン出力1109)、バーコードおよび/またはRFIDスキャナ1108、ディスプレイ1107、電源スイッチ1111、電池スロット1112、ならびにオーサリングモードと再生モードの間を切り替えるためのデバイスモード選択器1113のうちの1つまたは複数を備えることができる。
図12に示す代替的な実施形態を参照すると、モバイルデバイス1200は、再生/停止1211、記録1208、後進1201、高速前進1209、ボリューム制御1216などのメディアコンテンツ制御キーを備えており、またメディアコンテンツと対話する際に使用するために別のさまざまな操作器を設けることができる。さらに、デバイス1200は、デバイスによって発せられたオーディオによる質問に応答するためにオーディオプロンプト応答ボタン1203および1212を備えている。さらにこのデバイスは、新規ツアー生成ボタン1204、ツアーナビゲーション1205、ツアー/スライド削除1213などのツアーベースの操作器を有することができる。パーソナルモバイルデバイス1200はさらに、オーディオ入力(たとえば、マイクロフォン1202)、オーディオ出力(たとえば、スピーカ1206またはヘッドホン出力1215)、バーコードおよび/またはRFIDスキャナ1207、電源スイッチ1219、電池スロット1220、取外し可能記憶装置1214、USBコネクタ1217、バッテリ再充電用の電源1218、視覚的キューを出すためのLED1210のうちの1つまたは複数を備えることができる。
本発明の考え方は、既存のポータブルコンピュータ、PDAおよび携帯電話機から、特定用途向けに作られた(すなわち、特別仕立ての)デバイスまでの範囲にあるような任意のタイプのコンピュータ処理デバイス上で実現させることができる。ツアーアプリケーションは、すべてのオブジェクト識別スキームの実現を義務付けられているのではないため、モバイルパーソナルデバイス105は、その特定のデバイス能力および利用コンテキストに最も適したラベル識別スキームを実現させることができる。さらに、モバイルパーソナルデバイス105は、特定のメディアに対するオーサリングおよび/またはレンダリングにしか対応しないことがある。たとえば、ツアーアプリケーションの完全な能力に対応するだけのリソースを有していないモバイルデバイス(たとえば、リソースが制約されている電話機など)の場合、そのデバイス向けにツアーアプリケーションプロキシを構築させることが可能であり、サーバ側においてリソース集約的な処理が実施される。さらに、ツアーアプリケーションプロキシ116および117の実装は、当該デバイスの記憶およびコンピュータ処理のリソースに基づいて実施される。たとえば、実施の一形態では、指標テーブル116をローカルに常駐させたオブジェクト識別子から構成させているが、マルチメディアコンテンツコレクション117はリモートに常駐させている。別の実施形態では、指標テーブル116もリモートに常駐させている、すなわち、そのプロキシはラベル検出スキームから取得したすべての正規化入力をリモートサーバ114に導いている。携帯電話機などリソースが制約されたデバイスでは、この後者の実施形態が好ましいことがある。コンピュータ処理および記憶のリソースを十分に有するようなデバイスでは、ツアーのコンポーネントである指標テーブルリポジトリ116とマルチメディアコンテンツコレクション117の両方を当該デバイス上にローカルで常駐させることができる。
ツアーアプリケーションに戻ると、ツアーアプリケーション1004は、ツリー走査、ツリーノード生成、ツリーノード削除、およびツリーノード修正(ただし、これらに限らない)などのさまざまなツアー操作を実行するためにツアーツリー構造を生成および修正することができる実行可能な命令を含むことが好ましい(より詳細には以下で検討することにする)。コンテンツをツアーおよびメディアに対してリンクさせている指標テーブル1024は、ローカルに常駐させることや、サーバ上にリモートとすることのいずれとすることもある。ツアーアプリケーション1004は、ツアーに対するオーサリング、再生、アノテーション、および/またはフィードバックに対応している。ツアーアプリケーション1004はさらに、ある具体的な形式から別の形式へのツアーの変換に対応することができる。ツアーアプリケーション1004はこれらの機能を実行するためのプロキシとの接続によって動作することができることを理解されたい。またさらに、ツアーアプリケーション1004は、スタンドアロンのモジュールとすることができ、またその他のモジュール(単に一例では、ナビゲーションシステムなど)と一体化させることもできる。この後者の例では、そのナビゲーションシステムは、点Aから点Bまで至る方法の詳細を提供する間に、ツアーアプリケーション1004は、点Aから点Bまでの経路に沿って発見した位置およびオブジェクトに関する情報を提供することが可能である。
モバイルパーソナルデバイスを介してユーザに情報を提供するためには上で指摘したように、本システムは、「ツアー」という考え方を用いることができ、このツアーは、たとえば、テキスト列、物理的オブジェクトラベル、地理的位置の座標、および時間的イベントを表しているタイムスタンプから生成させたオブジェクト識別子によって指標付けした、メディアコンテンツからなる順序付きリストであると見なすことができる。この点において、メディアコンテンツは、任意選択ではさらに、アノテーションおよびフィードバックを含むことができる。アノテーションおよびフィードバックはさらに、メディアコンテンツからなるリストである。メディアコンテンツはさらに、単に一例として、図3bに示すようにXML、PowerPoint、同期式マルチメディア統合言語(「SMIL」)、その他などのさまざまな一貫した形式311で格納したテキスト、オーディオ、グラフィックス、および/またはビデオの形のディジタルコンテンツの順序付きリストと見なすことができる。
ある具体的な実施形態では、そのマルチメディアコンテンツが正規化されたラベル、すなわち、指標テーブルリポジトリ116内に格納した2つ以上の解釈スキームを総称するオブジェクト識別子によって指標付けされているような、マルチメディアディジタル情報のコレクションとしてツアーを実現させている。このディジタル情報には、オーディオファイル、視覚的グラフィックスファイル、テキストファイル、ビデオファイル、マルチメディアファイル、XMLファイル、SMILファイル、ハイパーリンクレファレンス、ライブエージェント接続リンク、プログラミングコードファイル、構成情報ファイル、その他のデータファイル、あるいはこれらを組み合わせたものが含まれる。このマルチメディアコンテンツに対してはさまざまな変換を実行することができる。たとえば、記録済みのオーディオをテキストファイルに転記させるている。コンテンツ形式変換の利点は、同じツアーに対するアクセスを、異なる能力をもつモバイルデバイスを用いるかつ/またはユーザ選好に従って実施できることにある。これの一例は、音声のみの携帯電話機を用いたツアーへのアクセス、あるいは表示能力をもつPDAを用いた同じツアーへのアクセスである。
メディアコンテンツの集合は、そのアプリケーションコンテキストにとって適当であると見なされる任意の深度までで実施することができる。このことは特に、ツリーデータ構造の形態をしたツアーの例示的な実例の1つを表している図3aに図示している。このツリーのノードは、ツアーノード301、チャンネルノード302、スライドノード303、およびメディアノード304である。詳細には、メディアノード304は、テキスト、オーディオ、ビデオ、グラフィックス、およびその他のデータを備えているか、またはこれらに対するリンクとなっている。スライドノード303は、1つまたは複数のメディアノード304に向けられている。チャンネルノード302は1つまたは複数のスライドノード303を集合させている。この集合によって、ツアー内のコンテンツに対する論理的な分類が容易となる。たとえば、博物館向けツアーでは、科学セクション内のすべての展示物をチャンネル302の1つに分類することができる。ツアーノード301は、チャンネルノード302のすべてを集合させて、1つのツアーを構成している完全な構造としている。図3aに示すツアーのこの例示的な実例では、指標テーブル305をこのツアーツリーと関連付けさせている。このツアーデータ構造の柔軟性および豊富さによって、図3bに示すように、ツアー310に対する異なるファイル形式311間でのさまざまな変換が可能となる。
ツアーと関連付けさせたメディアコンテンツにアクセスするためには、具体的には指標テーブル305を使用している。この点において、オブジェクト識別子の読み取りに応答して実行される指標付け操作によって、モバイルパーソナルデバイス105においてツアー、スライド、またはチャンネルをレンダリングさせることが可能となる。上で指摘したように、ツアー、スライド、またはチャンネルは、ネットワークのサーバ側からおよび/またはローカルメモリ拡張スロットを含んだローカルメモリから、モバイルパーソナルデバイス105に提供することができる。
このツアー階層のノードは、ファイル形式仕様やそのファイルの物理的位置と無関係に情報に対する論理構造形成を使用することができるような所与のアプリケーションに適当な情報を含むことができる。したがって、ツアーに対して物理的ファイルの幾つかの実現形態が存在することがあり、またある具体的な実現形態においてそのツアーの構造上の完全性が保全されている限り、異なるファイル形式同士での変換の実施が可能である。しかし、送信先のモバイルパーソナルデバイスがツアー内のメディアコンテンツのうちの一部または全てに対応しないことがあり得るため、変換の間において幾つかのメディアコンテンツタイプは不適当となったり、「失われる」ことがある。たとえば、ディスプレイをもたずオーディオ能力のみを有するモバイルパーソナルデバイスでは、ツアーメディアコンテンツはオーディオ形式のみでの提示に制限されることになる。
物理的世界内の物理的オブジェクト、位置および/または時間的イベント(一括して、「実体要素」と呼ぶ)に関する情報を含んだツアーをオーサリングするためには、これらの実体要素に対してオブジェクト識別子として一律に取り扱われるラベルを用いてラベル付けしている。このオブジェクト識別子はシステムの内部に格納しており、またある実体要素に関するメディアコンテンツはその対応するオブジェクト識別子に対してバインドさせている。図4において全体をステージ401で表しているオブジェクトに対するラベルの割り当ての際に、既存のラベルをもたないオブジェクトは、カスタマイズしたラベルと共に提供している。既存のラベルをもつオブジェクトは、UPCコードによるタグを有するアイテムを含むことができる。カスタマイズ式のラベル付けの一例としては、フォトアルバム内のある写真や書籍内のある段落に対するラベル付けがある。既存のラベルを備えたオブジェクトの場合であっても、所望であればカスタマイズ式ラベル付けを実行することも可能であることを理解されたい。図4に示した残りのステージとしては、メディアコンテンツに対してオブジェクト/オブジェクト識別子をバインドさせているようなステージ402と、オブジェクト/オブジェクト識別子に対して任意選択のフィードバックおよびアノテーションをバインドさせることができるようなステージ403とが含まれる。
地理的位置のラベル付けのためには、位置座標を導入している。オーサリングモードでは、パーソナルモバイルデバイスなどのオーサリングデバイスは、GPSや同様のテクノロジを使用するか、あるいはワイヤレスネットワークから入手できる情報を用いて、その現在の位置座標を決定している。次いで、このコンピュータ座標はその地理的位置に対するオブジェクト識別子として使用することができる。このオーサリング処理は、任意の別のラベルと同じ方法でメディアコンテンツを座標に対してバインドさせることができる。さらに、この座標データの利用では、座標に対してバインドさせたメディアコンテンツの再生を開始させるために厳密な座標を入手する必要はない。それどころか、この座標の周りに、このメディアコンテンツの再生を起動させることができるような1つの円形の作用シェルを規定することができる。オーサリング処理を簡略とするために、この作用シェルは座標の平面的投影とし、これによって高度の変動を考慮せずに済むようにすることが好ましい。
さらに、座標ラベルの周りにさまざまな同心円状の作用シェルを規定することができること、ならびにこれらのシェルをメディアコンテンツに対して一意にバインドさせることが可能であることを理解されたい。この方式では、これらのさまざまなシェルへのエントリによって、当該のシェルに関して明示的にオーサリングしたオーディオおよび/または視覚的コンテンツを起動させることが可能である。このことは、たとえば、宝探しゲームなどのゲームアプリケーションにおいて特に有用である。
時間的イベントでは、さらにラベル付けをする必要がない、すなわち、そのタイムスタンプ自体にラベルの役割をさせることが可能である。この点において、周期的と非周期的の両方の時間的イベントのラベル付けにタイムスタンプを使用することが可能である。さらに、非周期的イベントをラベル付けする場合であっても、タイムスタンプラベルは、過去のイベントに対する注意喚起(reminder)の役割をさせるようにこれらと関連付けさせた人為的な周期性を有することができる。本発明の実施の一形態では、パーソナルモバイルデバイス105内にある内部クロックを用いてタイムスタンプラベルの有効性をチェックしており、読み取ったときにさらに有効であれば、これによって再生モードでのコンテンツレンダリングを開始させることができる。タイムスタンプを使用して非周期的イベントをラベル付けする際には、そのタイムスタンプは物理的オブジェクトラベルや位置座標など1次ラベルに対する2次ラベルとして使用される。したがって、こうしたラベルは、1次ラベルに対する識別の結果として識別される。
テキスト列は、メディアコンテンツを指標付けするためのラベルとして直接的な役割をすることができる。たとえば、テキスト列は任意の非ディジタルデータをディジタルデータ(たとえば、テキスト列またはディジタルデータを表すことが可能な任意の別のコンピュータ指定データタイプ)に変換できるような変換器の出力とすることがある。さらに一例として、ツアーの実例の1つは、1つまたは複数の指標テーブルと組み合わせたマークアップ言語(たとえば、XMLまたはハイパーテキスト・マークアップ言語(「HTML」)ページからなる1つの階層型の組とすることができる。指標テーブルの追加およびページの順位付けによって、既存のウェッブサイトをテキスト列を用いて指標付けのすべてを実施しているような1つのツアーとして実現させることが可能である。
物理的オブジェクトに対するラベル付けスキームは、オブジェクトに対するコードの手動書き入れから、バーコード、RFIDタグ、IRタグ、または従来のタイプの任意の識別手段を用いたオブジェクトに対するタグ付けまでに及ぶことがあり得る。カスタマイズ式ラベル付けを必要とするような状況では、そのラベル付けは、使用しているラベル付けスキームに関わりなく任意の順位で実施することができる。これによって、ラベルとオブジェクトの間での外部要因性の順位を維持する必要がなくなり、これによって、ラベル付け過程における誤りが排除される。
本発明の実施の一形態では、正規化ラベルに関するデータ構造表現は、可変長の空終端ストリング(null terminated string)である。別法として、この表現は、その抽出が非ディジタルデータからディジタル形式への任意選択による変換を後続させるようにしてラベルから抽出したディジタルデータを表すことができる任意のデータタイプとすることが可能である。たとえば、バーコードラベルがスキャンを受けると、スキャンニング・デバイスはこのラベルをデバイス指定方式に戻し、次いで規格化過程によって空終端ストリングに変換させている。たとえば、バーコードラベル上でエンコードさせた値がある具体的な製品に関するUPCコードであれば、規格化した後ではこれが「05928000200」などの1つの数字の列となり、この数字列では、規格化によってこの具体的なラベル抽出過程に関するすべての情報が取り出されるため、この値を抽出した方法に関する情報はまったく表に出ない。次いで、オブジェクト識別子と呼ぶこともあるこれら正規化列した列、すなわち総称的列は、オーサリングしたコンテンツの編集のための指標として使用される。
コンテンツオーサリングの間において、ラベルは正規化されてオブジェクト識別子となっているため、同じメディアコンテンツにアクセスするために複数のラベル付けスキームを使用することができる、ただし、これらのラベル付けスキームによってエンコードしたデータは規格化の後に同じ値をとっている場合に限られる。たとえば、オブジェクトは、UPCテキストストリームをこれと関連付けすることによってラベル付けすることが可能であり、またオブジェクトに対してバインドさせたメディアコンテンツは、同じUPCテキストストリームを入力すること、またはこのUPCテキストストリームに対応したUPCバーコードをスキャンすることによって抽出することができる。別の例では、GPSタイプのデバイスから取得した座標をバーコードラベル、RFIDタグ内に埋め込むこと、またさらにはオブジェクト内にエッチングすることができる。したがって、再生モードでは、たとえば、バーコード読み取り装置、RFIDタグ読み取り装置、IRポート、ディジタルテキスト、またはアナログ対ディジタルテキストの変換能力などのラベル検出能力のうちのいずれか1つを備えたパーソナルモバイルデバイス105を使用し、そのオブジェクトに対応したオブジェクト識別子とバインドさせたメディアコンテンツを抽出することが可能となる、その理由は、このケースでは、異なるラベル内に埋め込まれた情報はラベルデータに関する1つの正規化形式、すなわち、座標となっているためである。同じオブジェクトを複数のラベルのデータで指標付けするような複数のラベル付けスキームでは、そのスキームはこれらのすべてによって同じ正規化値が得られるようにする必要がある。上述の例では、バーコードラベルとRIFDタグは同じ値(たとえば、位置座標)を埋め込んでいる。
ちょうど複数のラベル付けスキームが同じ正規化指標値(オブジェクト識別子と呼ばれる)になると、複数の異なるオブジェクト識別子によって同じオブジェクトを参照させることができる。同じオブジェクト識別子を与えるために使用される複数のラベル付けスキーム間の違い、ならびに、この同じオブジェクトを指標付けしている複数の違ったオブジェクト識別子を一例として例証する。組込型RFIDタグを備えた街路(street)を考えてみる。GPSデバイスが戻す座標値はRFIDタグ内に埋め込まれている。コンテンツはその正規化値(座標)に関してオーサリングされる。ユーザはまた、当該の街路名に対するテキスト列ラベルを作成し、このラベルの正規化版のラベルを同じコンテンツにバインドさせることができる。ツアーのユーザが当該の位置まで来たときに、このユーザはGPSデバイスかRFID読み取り装置かのいずれかを用いてコンテンツにアクセスすることが可能である。別法として、ユーザは街路名を読み取って、この街路名を入力して同じコンテンツにアクセスすることができる。このケースでは、GPSとRFIDラベル付けスキームとによって同じ正規化指標値が得られる。テキスト列ラベル付けでは、同じコンテンツを指標付けする異なるラベル付け値が得られる。
さらに、デバイスが位置決定能力とテキスト入力機構だけしか有していない場合は、ユーザの位置を用いてオブジェクト識別子のサーチ空間を絞り込むことが可能である。このタイプの機能の利点の1つは、これを用いてユーザの近傍にあるすべてのオブジェクトを自動的にリスト作成することができることである。多数のオブジェクトが存在するような状況では、culled型サーチ空間は、ユーザが街路名を打ち込むのに従ってこの街路名を自動完成(キーボード入力スキームを用いるデバイスの場合)させるか、またはユーザが発声した街路名を曖昧さなしに認識させる(音声認識能力を備えたデバイスの場合)ことによってユーザを支援することができる。この状況では、オーサリングと再生の両方において2つのオブジェクト識別子が使用される。再生モードでは、オブジェクト識別子(位置座標)のうちの一方を用いてもう一方(街路名テキスト列)の検出を支援している。
同じメディアコンテンツを指し示すために複数のラベル付け方法が用いられているような特殊なケースは、任意のツアーをコンテンツの順位式指標値によって指標付けする機能、すなわちツアー内に存在するコンテンツに対する暗黙の順位付けである。この順位付けの機能によって、その正規化ラベル付け方法と無関係にオーサリング済みのコンテンツに至るための代替的方法が提供される。この正規化ラベルはオーサリング処理の間に明示的に使用される正規化指標タイプと同じでないことがあるようなコンテンツの順位式指標を表しているディジタルテキスト列であるために、これは特殊なケースである。たとえば、正規化値として使用している座標を用いてオーサリングさせたコンテンツは、このコンテンツに対する順位式指標値を用いて抽出することができる。
メディアコンテンツにアクセスするかつ/またはメディアコンテンツをオーサリングするには、図5aに表したようなラベル識別過程を実行する。ラベル識別過程から得られるのは、指標付け処理で使用することができるオブジェクト識別子である。図示したように、このオブジェクト識別子はラベルタイプと無関係である。さらに、上で指摘したように、異なるタイプのラベル502を検出しかつ抽出するために異なる種類のラベル入力スキーム501を使用することができ、またこの規格化過程503によって正規化させた指標値が得られる。ラベル規格化過程503から戻されるデータは、任意のコンピュータ対応のデータタイプによって表現することができ、英数字列に限定されない。
オーサリングモードでは、ラベル識別は、手作業によるか、バーコードスキャナ、光学式スキャナ、位置座標検出器、および/またはクロックなどの装置の支援を得るかのいずれかによってユーザにより積極関与方式で実施される。これらの識別したラベルの1つまたは複数を総称的に表現するためにはオブジェクト識別子を使用することができる。具体的には、オブジェクト識別子は異なるラベルの正規化表現として使用することができ、このためオブジェクト識別子は、その基本的な相違に対してトランスペアレントな方式で、異なるラベルによるメディアコンテンツの一律の指標付けを可能とする基本的目的をかなえることができる。さらに、上で指摘したように、ラベルは正規化方式で取り扱うため、ラベル検出をオーサリング処理と再生操作の間で異なって実行させることが可能である。
あるオブジェクトに対するオブジェクト識別子とメディアコンテンツの間の連携を維持するためには、オーサリング動作モードの間に指標テーブルを作成する。ラベルが識別されてオブジェクト識別子が作成されると、指標テーブルリポジトリ116内においてこのオブジェクト識別子に対するサーチ111が実施される。オブジェクト識別子がまだ指標テーブルリポジトリ116内にない場合は、このオブジェクト識別子を指標テーブルリポジトリ116に追加する。単に一例として、指標テーブルリポジトリ116は、指標テーブルおよびフラットファイル、リレーショナル型またはオブジェクトベースのデータベースシステム、その他を用いて実現させることができる。
指標テーブルリポジトリ116内でオブジェクト識別子が識別を受けた後、このオブジェクト識別子にメディアコンテンツを対応させることができる。上で指摘したように、このメディアコンテンツはテキスト、オーディオ、グラフィックス、ディジタル画像、およびビデオを含む1つまたは複数の形式をとることができる。指標テーブルリポジトリ116内の同じオブジェクト識別子に対して複数のメディアコンテンツを関連付けさせることができ、またこれら複数のメディアコンテンツは1つまたは複数の位置に格納することができる。間違ったオブジェクト識別子(したがって、間違ったオブジェクト)に対するメディアコンテンツの関連付けなど、指標付け過程における誤りを排除するために、オーサリングモードで新たなオブジェクトが識別されると、本システムは指標テーブルリポジトリ116内に新たなエントリを作成し、このオブジェクト識別子と関連付けさせようとするメディアコンテンツに対するオーサリング/識別を行うように速やかにユーザに促すことができる。このオブジェクト識別子生成とオーサリング/識別処理の同時発生によって、メディアコンテンツおよびオブジェクト識別子のバインド処理を概ね瞬時に行うことが可能となる。
上述したラベル付けおよびメディアコンテンツスキームの利点は、たとえば、写真アルバム、CDコレクション、書籍コレクション、物品、ボックス、およびその他の品物を編集しているホームカタログの状況などの実際のアプリケーションにおいて特に見られるものである。この利点はさらに、売り主が売ろうとしているオブジェクトに関する情報の提供を希望することがあるような、大型と小型の両方の商用コンテキストにおいて用途が見いだせる。小型の商用コンテキスト利用の一例は、品物および/または品物の一部に対してラベル付けすると共に、これに対してメディアコンテンツを関連付けしているような、歴史的意義を説明することがあるような骨董品の売り主である。この点において、このオブジェクトは、任意の順位付けで迅速にラベル付けし、これと迅速かつ容易に関連付けさせたコンテンツを有するようにさせることができる。より大型の商用コンテキストでは、あるオブジェクトに関連付けさせたラベルをスキャンし、その販売促進情報や販売情報を記述しているメディアコンテンツをこのオブジェクトと関連付けすることによって、売り主は販売促進情報や販売情報を毎日オーサリングすることが可能である。
指標テーブルリポジトリ116はホストコンピュータを用いて作成できるようにしているが、指標テーブルリポジトリ116はモバイルパーソナルデバイス105を用いて作成することが好ましい。このためには、モバイルパーソナルデバイスはユーザに対して、ラベルを読み取って、その読み取ったラベルと関連付けさせるコンテンツをオーサリングすることを可能としている。次いで、モバイルパーソナルデバイス105、またはサーバ側コンポーネントは、このコンテンツと作成したオブジェクト識別子とを指標テーブルリポジトリ116内で互いに自動的に対応させることになる。これによれば、コンテンツオーサリングによってコンテンツを当該位置の座標と対応させるようにして直接作成できるため、座標のバインド処理が特に容易になることを理解されたい。これに関する具体的な一例は、住宅のツアーの作成をその住宅へのツアーの間で行っている不動産会社の販売員とすることができる。住宅購入者見込み客は、住宅までツアーをしながら、座標に対応させることも可能なフィードバックのオーサリングをすることが可能である。
ツアーをオーサリングするための過程の全体を、図6のステップ612〜614(プレツアー611はオーサリングツール615の支援を得て実行している)と図7のステップ701〜709に表している。オーサリング過程611は、オブジェクトがいまだラベルを有さず、またアプリケーション指定のラベル付けを要求しない場合は、オブジェクトに対するラベル付け(ステップ612)で開始される。ステップ701および702は、ラベルを有しないようなオブジェクトに対するこれらのステップに相当する。オブジェクトに対するラベル付け処理(ステップ703)は、任意の順序で実施することができる。このラベル付け処理に続いて、オブジェクトのカタログ付け処理(ステップ613)において、オブジェクトラベルをスキャンして抽出したラベルを正規化すること(ステップ704)によって得られるラベル指標を用いて指標テーブルを作成している。このラベル検出と同時に、コンテンツをオーサリングさせ、これらの指標に対してバインドさせる(ステップ705)。このオーサリング過程は、モバイルデバイス上に常駐させたオーサリングツール706によって実施することも可能である。ツアーのオーサリング過程の最終のステップでは、ローカル記憶装置内への保存から、モバイルデバイスへのダウンロードやサーバへのアップロードまでの範囲とすることが可能であるようなこれに対する公開処理が含まれる。記憶選択はツアーの制作者によって決定している。制作者は自身のツアーの幾つかまたはすべてについて非公開としたり、公開としたりさせるように選択している(ステップ707)。非公開ツアーは、これをサーバ上に格納することができないことを意味しておらず、むしろ一般に、オーサリングした特定のユーザのみが非公開のセキュリティ記憶装置内に格納することが典型的であるようなメディアコンテンツを観察することができることを意味している(ステップ708)。ユーザのオーサリング処理およびデータの照合は、従来の技法を用いて実行することができる。さらに、メディアコンテンツに対するセキュリティは、対称性や非対称性の暗号化、ディジタル署名、ハッシング(hashing)、および透かし入れ(watermarking)など、ただし、これらに限らない、の1つまたは複数の暗号技法を実装することによって強化することができる。セキュリティが問題でないような場合では、公開ツアーは公衆による自由なアクセスを受けることができる(ステップ709)。本発明の実施の一形態では、このツアーに対するアクセスはユーザによる利用料金の支払いに基づいて許可される。
またさらに、閲覧過程によって閲覧中に移動したリンクによってコンテンツおよび指標テーブルに対する順位付けが作成されるため、閲覧したウェッブページは1つのツアーにするように集合させることができる。さらに、訪れたページ内のすべてのハイパーリンクを自動的に指標テーブルに追加することも可能である。次いで、この閲覧したコンテンツは、この閲覧シーケンスでアクセスを受けた指標に対してバインドさせているアノテーションおよびフィードバックを備えるように強化することができる。したがって、1つまたは複数のツアーの再生、または従来のウェッブ閲覧は、再生モードでナビゲーションしたツアーとウェッブページからなる部分集合であるような新たなツアーに対するオーサリングとして取り扱うことができる。この機能は、複数のツアーおよび従来のウェッブページから抽出した情報を含むようなカスタマイズ型ツアーを作成するために極めて有用である。
指標テーブルリポジトリ内のあるオブジェクト識別子と対応済みのメディアコンテンツを再生するために、本システムは、読み取りラベル向けのオブジェクト識別子を決定し、指標テーブルリポジトリ内でこのオブジェクト識別子をサーチし、このオブジェクト識別子と関連付けさせたメディアコンテンツを抽出し、さらにこのメディアコンテンツをパーソナルモバイルデバイス上で連続してレンダリングさせている。この全体をツアー過程621に関連する図6のステップ622〜624と、図8に示すステップ801〜804で表している。ツアー再生の第1のステップはラベル検出(ステップ622および801)である。次いで、この正規化したラベルを使用して指標テーブルリポジトリを指標付けしている。指標が発見された場合(ステップ802)は、オーサリングステージ中に指標に対してバインドさせたメディアが抽出(ステップ623)され、抽出したメディアがレンダリングされる(ステップ804)。指標が発見されない場合では、典型的な処置の1つはユーザに対してエラー報告を出すこととなる(ステップ803)。このツアーはさらに、たとえば、URL選択における指標サーチなどマッチしない指標を探すための代替的な指標ルックアップスキームを提供するようにオーサリングを受けることもある。指標が発見された場合は、その指標をツアーの指標テーブルリポジトリに追加することができ、またここでそのコンテンツをツアーの順序付き要素の一部とすることができる。抽出したメディアのレンダリングに続いて、このツアーはユーザからのフィードバック/アノテーションを求める/受け付けるようにオーサリングさせていることがある(ステップ624)。これによってさらに、商業取引において全盛となっているような、遠隔にいる担当者または自動エージェントとのライブ接続を起動させることも可能である。再生モードでは、同じメディアコンテンツが複数のラベルの読み取りによって指標付けを受けている場合に同じコンテンツの反復再生を回避することが好ましい。
再生モードにおけるラベル識別は、オーサリングモードにおけるラベル識別と実質的に同じである。オーサリングモードではラベル識別によってオブジェクト生成が起動されており、一方再生モードでは、ラベル識別によってラベルマッチングが起動され続いてメディアレンダリングが起動される(そのラベルがオブジェクト識別子を有している場合)。さらに、再生モードでは、手作業によるラベル読み取り以外に、ラベル読み取りは、デバイスの近傍に位置する位置認識型のワイヤレスネットワーク、RFIDタグによるか、内部クロックトリガーシステムによるかのいずれかによって自動的に起動させることがある。指摘したように、ラベル識別過程からメディアコンテンツの指標付けのために使用できるオブジェクト識別子が得られる。
指標テーブルリポジトリ内でそのオブジェクト識別子に対するマッチングがあると、このオブジェクト識別子に対してバインドさせたメディアコンテンツは、モバイルパーソナルデバイスがこのメディアコンテンツに対応していれば、連続したレンダリングが可能である。メディアコンテンツの再生は3つの方法、すなわち、ユーザによるラベル識別の手動起動、ラベルの自動読み取り、連続提示(たとえば、ツアーの要素の直線的走査)によって起動させることができる。図2を参照すると、再生を起動させる初めの2つの積極関与方法203によって、ツアーは人間のガイド役がいるのと幾分か同様な体験をユーザに対して提供することができる。この際、手動の起動は、ユーザがある具体的な質問を問いかけるのと同様であり、また自動起動204では常時ナレーションが流れているのと同様である。したがって、これら2つの再生方法は複数のメディアストリームを含んだ2つの論理チャンネルの役割をするため、このツアーによって、人間のガイド役によって提供される体験と比べてより豊かな体験をユーザに対して提供することができる。確実にこの2つのチャンネルが競合しないようにし、かつこれらの2つのチャンネル間の遷移をシームレスとするために、一方のチャンネルをバックグラウンドチャンネルに指定し、もう一方のチャンネルと比べてレンダリング優先度をより低くすることができる。バックグラウンドのフィードがそのより低い優先度の関数として起動されているとき、あるバックグラウンドフィードが利用可能であることを示すようなインタフェースキュー(たとえば、オーディオ、グラフィックス、テキスト、またはビデオ)をユーザに対して提供するようにアプリケーションによって選択することがある。図2は、X軸をオブジェクトサイズ201、またY軸をラベル検出範囲202としてプロットしたものである。図2は、積極関与式のラベル検出スキームが狭い検出範囲を有する小さいオブジェクトで機能しており、また暗黙式ラベル検出204はより広い検出範囲を有する大きなオブジェクトで機能することを表している。さらに、ユーザが異なる検出範囲を有する小さいオブジェクトと大きなオブジェクトとの間を移動するのに従って、これらのドメイン205間での遷移は上述のようなバックグラウンド/フォアグラウンドチャンネルスキームによってシームレスとなる。これら異なるドメイン向けに適用されるさまざまなラベル検出スキームを図5bにリスト表示している。
全体を図9で示した再生モードでは、特に図8のステップ805および806に表したようなコンテンツにアノテーションを付ける能力がユーザに対して与えられる。アノテーションを受け付けるためのメディアは、アノテーションを受け付けるデバイスの能力に応じて異なる。複数のオブジェクトがアノテーションに適格であるときは、ユーザに対してこれらの複数のオブジェクトのうちから選択するように促すようにすべきである。この一例は、手動でスキャンを受けたオブジェクトに対する再生をユーザが停止し、このオブジェクトの位置がたまたま、コンテンツが利用可能となる座標と一致していたような場合に起こることがある。ステップ807および808に表したフィードバックは、対話式過程とすることがある。またさらに、このツアーは取引を開始するために人間の担当者にユーザを直接接続できるようにしているライブ対応担当者接続施設の考え方に対応させることがある。このことは、モバイルパーソナルデバイスを携帯電話機内に埋め込んでいる場合に特に有用である。ユーザは、確立させた接続(ライブ対応担当者や自動式エージェントに対する接続)を用いて電子商取引を起動させることができる。
上で指摘したように、ツアーのオーサリングおよび再生によって、ツアーまたはそのコンテンツの物理的位置に対してまったく制約を課していない、すなわち、モバイルパーソナルデバイス上にローカルで常駐させることや、サーバ上にリモートで常駐させることも可能である。リモートに配置した場合、そのツアーは、WPAN、WLAN、およびワイヤレス・ワイドエリアネットワーク(「WWAN」)などの幾つかのワイヤレスアクセス方法のうちの1つによってアクセス可能となる。さらに、そのメディアコンテンツは、当該のアプリケーションに合わせて、事前に取得すること、オンデマンドでダウンロードすること、ストリーミングすること、などとすることが可能である。
ステップ632〜634を含む図6の631でその作成の全体を表しているような、ツアーのコンテキストで提供されるフィードバックおよびアノテーションはさらに、任意の物理的位置に常駐させることが可能である。ステップ632では、アノテーションおよびフィードバックは、モバイルデバイス105上にローカルでアーカイブさせるか、その作成時刻を特定するのに役立つ時間およびバージョン情報と一緒にサーバ114にアップロードさせている。コンテキストが欠如しているためにフィードバックおよびアノテーションをツアーと分離して解釈することが困難となることがあるため、アノテーションおよびフィードバックを633においてツアーと合成させている。フィードバック/アノテーションはこのアノテーション/フィードバックに関するコンテキストを提供するオブジェクト識別子に対してバインドさせているため、アノテーションおよびフィードバックを有する要素のみを含んだ元のツアーに関するツアー部分集合を作成することも可能である。このことは、ユーザがツアー全体の再生ではなくアノテーションを付けたまたはフィードバックが提供されるツアーの一部分のみの再生に関心を示している場合において極めて有用となる。このためには、たとえばPDA上で動作しているツアーアプリケーションは、当事者によって新たなツアーとしてレンダリングするためのeメール添付物として、アノテーションおよびフィードバックを適当な送信先に容易に送信することができる。別の形態では、フィードバックおよびアノテーションと共にツアー公開634をサーバにアップロードすることが可能である。この利用法の一例は、以下で詳細に記載しているような子供の言語学習過程に対してアノテーションを付けている保護者である。保護者がツアーにアノテーションを付けた後、そのツアーは家族の残りのメンバーと共有できるようにサーバ634にアップロードされる。
図9は、ツアーの再生に関する、有線式とワイヤレス式の両方のネットワークにおける本システムの利用を表している。ここに一覧表示したステップは図6〜8に詳細に図示している。デバイスがワイヤレスネットワーク可能でない場合(ステップ901)では、ツアーはネットワークから有線式接続でダウンロードされる(ステップ914)。次のステップは、ラベルの検出(ステップ902)、このラベルのデコードおよび正規化(ステップ903)であり、またワイヤレスネットワークの場合(ステップ904)では、リモートサーバからのメディアのダウンロードである(ステップ915)。デバイスがネットワーク可能でない場合には、有線式接続によってすでに転送済みであるため、コンテンツはローカルの記憶装置から抽出される(ステップ905)。次いで、このコンテンツをレンダリングする(ステップ906)。アノテーション/フィードバックが可能である場合(ステップ907)に、公開ツアー(ステップ908)に対しては、接続が利用可能であれば(ステップ910)、アノテーションをサーバ913にアップロードする(ステップ912)。接続が利用可能でない場合には、将来アップロードさせるようにキューに待ち行列に入れている(ステップ911)。非公開ツアーに対するアノテーションはローカルで格納させている(ステップ909)。
下に掲げた表1および2の支援による以下の説明によって、ツアーをその中で使用することができるアプリケーションの概要を記載している。
アプリケーションの例(アプリケーション1〜9)を表2に表している。たとえば、本システムおよび方法は子供の早期段階の単語をカタログ付けするために使用することができる(表2、アプリケーション1)。保護者はすべて、自身の子供が初めて何かの単語や文を口に出したことの少なくとも1つの記憶を喜んで思い起こすことができる。また残念ながら保護者らは、子供がある単語や文を初めて口に出した極めて貴重な瞬間を取り込むことが困難であることも分かっている(保護者が走っていってオーディオ/ビデオレコーダを取ってくる時間までには、すでに子供の注意が何か別のものに移ってしまっており、子供にもう一度これを言わせるのは実質的に不可能となる)。さらに、最初の発語を取り込みたいという魅力は、同じ単語や文をその後で口に出させることと同じではない。
これらの問題を解決するために、本明細書に記載した装置を使用すると、オーディオ記録をしてこれに指標としてタイムスタンプをカタログ付けしているような音声起動式のレコーダによってツアーを作成することができる。本システムを使用すると、各日ごとに別々に話した単語や文を集合させること、したがって子供の学習過程の時系列記録の役割をさせることができる。本システムを用いるとさらに、オーサリングしたコンテンツが子供の音声であるというオーサリングコンテンツに対するアノテーション付与が可能となる。たとえば、保護者は子供がある具体的な単語や文を口に出したことに対して、これが発せられたコンテキストをアノテーションとして付け、これによってツアーを子供の言語学習過程の極めて貴重な時系列記録とすることができる。
本システムはさらに、保護者自身の声での複数の別の文章に対するオーサリングを保護者に対して可能にするために使用することができる。この文は子供が話しているときにランダムに選択して再生させ、これによって子供がもっと話しをするように励ますことになる。オーサリングしたツアーおよびアノテーションは、リモートサーバへのアップロードによって、保存したり別のものと共有するためにデバイスから抽出することができる。アップロードしたコンテンツは、ワイヤレスネットワーク接続を備えた携帯電話機やPDAによってアクセス可能であるような、公開ツアーまたは非公開ツアーとしてアクセス可能とすることがある。しかしながら、市場に広まっている趣が異なるディジタル音声レコーダではそのいずれもが、このアプリケーション向けにその能力を最適化させた本発明の基本能力に整合していない。詳細には、これらのデバイスは、すでに記録済みのコンテンツに対するアノテーションに対応しておらず、また子供の音声に対する応答として引き続き再生させ子供にもっと話しをするように励ます役割をすることができるような保護者によるオーサリングにも対応していない。
本システムの上述した機能は、「First Years」ブランドのチャイルドモニタなど現在市場に存在する子供監視デバイス内に一体化させることができる。具体的には、この実施形態の能力を、そのデバイスの送信器コンポーネント内に一体化させることがある。受信器は送信器が送信した信号以外に周囲のRF信号も受信するため、受信器は一体化のための理想的な箇所ではないことを理解されたい。
また別のアプリケーションで、本システムおよび方法は子供の学習玩具(表2、アプリケーション2)として使用することができる。このアプリケーションでは、パーソナルモバイルデバイス上に、ある種の装置制御ボタンを選択的に覆っているチャイルドシールドを配置することができることが好ましい。この装置の「玩具利用」では、コンテンツのオーサリングおよび再生の容易さを強調している。このアプリケーションの一例では、母親がバーコード、RFIDまたは何らかのアナログ対ディジタル手段によって変換可能な任意の別のラベルタイプを用いて自宅内のオブジェクトにラベル付け(またさらに、書籍の一部に対するラベル付け)し、さらにこれらのオブジェクトに関して自らの声で情報を記録している。次いで、子供はこのラベルをスキャンし、母親が記録した音響メッセージを聞く。母親は自宅の周りのオブジェクト内にラベルを隠しておき、子供をラベルを探しに行かせ、これを発見して母親が記録したことを聞かせることができる。したがって宝探しゲームの目的の役割をすることになる。
本システムおよび方法のさらに別の利用は成人に対する外国語学習ツール(表2、アプリケーション3)としての利用である。オブジェクトがスキャンを受けたときに、パーソナルモバイルデバイスは当該オブジェクトの名称をある具体的な言語で再生する。またさらに、本システムおよび方法を用いると、指標付けが再生リストの役割をしているようなディジタルオーディオプレーヤを実現させることができる。
カタログ付け装置としての利用では、対象システムおよび方法を用いると、新しいアパートへの引っ越しの際に写真アルバム、書籍、ボックスなどをカタログ付けすることができる(表2、アプリケーション4、6)。本システムは、関心対象のオブジェクトにすでに存在するラベルの使用、またはオブジェクト上へのカスタマイズ式ラベルの添付が不可欠となることがあるような単純なラベル付けスキームによることができる。ユーザは、一意の番号によって所望の任意の順位付けで写真などにラベル付けすることがある。ラベル付けと同時に、あるいはラベル付け過程に続いて、ユーザは、ある具体的な指標に関するコンテンツをオーサリングし、写真などの指標値とオーサリングしたコンテンツとの間の関連を手動式に保持させることができる。モバイルパーソナルデバイス105がバーコードスキャナを含んでいる場合、このバーコードスキャナは、コンテンツに対するラベル検出と同時のオーサリングに対応させることによって、写真などとオーサリングしたコンテンツとの間の対応関係を維持するのに役立てることができる。この実現形態において、このラベル付けスキームは、バーコード読み取り装置によって認識することができる任意のバーコードエンコードスキームを使用して実施させることになる。この状況では、ツアーの制作者とツアーの再生者は同一人物とすることも異なる人物とすることもできる。
モバイルパーソナルデバイス105はさらに、たとえば、ツアー内のコンテンツの順位式位置などのディジタルテキスト入力を提供することができるインタフェース制御を提供することができる。さらに、現在のコンテンツ選択の指標を表示する任意選択のディスプレイを有することもできる。インタフェース制御は、指標ナビゲーションボタンを押し切りにして、これによって所望の指標へのデバイスの迅速な到達を可能にし、表示された指標のナビゲーションを高速化することができる。指標値は、キーボード入力なしで大きな指標を選択するには厄介であるほどに大きいことがあるため、これが有利となる。モバイルパーソナルデバイス105はさらに、同じツアーを後で続ける場合にアクセス速度を上昇させるようにデバイスを電源断としたときに、アクセスを受けた最後の指標を記憶させるように適合させることができる。別の実施形態では、パーソナルモバイルデバイス105は、コンテンツの再生のみの読み取りを可能としているようなモード選択器を有することができる。このことによって、記録済みコンテンツに対する誤った上書きが回避される。
本システムおよび方法を「パーソナルカタログ付け装置/言語学習/オーディオプレーヤ」として使用するとき、ツアーオーサリングおよび再生装置105はセデンタリーな利用を目的としているため、ツアーオーサリングおよび再生装置105には単にオブジェクトスキャン能力を備えさせるだけでよく、したがって、座標ベースのラベル付けに対応する必要はない。このパーソナルモバイルデバイス105は、複数のツアーをオーサリングさせることができ、デバイス上に同時に常駐させることが可能となるように適合させることができる。
本システムおよび方法はさらに、たとえば、買い物リストの生成を支援するためや、買い物中に購入するオブジェクトを確認しこれによって自動買い物チェックリストの役割をさせるための記憶装置の役割をさせることができる(表2、アプリケーション7)。このために、本システムは、オーサリングモードで作成したこれらのオブジェクトの簡単な説明を伴うオブジェクト識別子からなるマスタリストを維持することができる。
表2において、アプリケーション8および9は特に携帯電話機およびハンドヘルド型デバイス(PDA)を対象としたツアーの例である。本システムは、たとえば、テキスト列、変換済みのアナログ対ディジタルデータ、バーコード、RFID、IR、位置座標、およびタイムスタンプなど、上で言及したオブジェクトのラベル付けおよび指標付けのすべての形式を実現させるようなツアーのオーサリングおよび再生デバイスとして使用することができる。これらのツアーのすべては任意のマルチメディアコンテンツを含むことができ、オーディオに限定されない。こうした「ツーリストガイド」のあるアプリケーションは空港に着陸し、本システムを用いて位置、史跡、屋内オブジェクトに関する情報を取得しているツーリストであって、積極関与式と暗黙式のラベル検出ドメイン205の間でシームレスで遷移しているツーリストである。さらに上述のことから、記載したシステムおよび方法は、オブジェクトベースの情報検索と位置ベースの情報検索の世界の間を橋渡しし、これによってこれら2つのアプリケーションドメイン間でのシームレスな遷移を提供できることを理解されたい。
詳細には、記載したシステムは、とりわけ、従来のシステムには見られないような以下の利点を有している。
(1)容易にアクセス可能な膨大な情報リソースとしてのインターネット、出来合いのマルチメディア対応のポータブルハンドヘルド型デバイス、ならびにユビキタスなワイヤレスネットワークを使用することによって、本発明は、開放型の対話式ガイドシステムを提供している。ユーザは、このガイド型ツアーに対する積極的な対話参加者であり、創作者および供給元、ならびに彼ら自身も顧客となる。アプリケーションは、想像力によってのみ限定されるものであり、教育用玩具、博物館ツアー、言語学習ツアーなどに及ぶものである。これらのアプリケーションのすべてに関して、本発明の支援を受けたユーザは、個人化、自らの印象のツアーへのアノテーション付与、別のユーザとのフィードバックの共有、別の人や機械との相互作用や取引の開始が可能である。
(1)容易にアクセス可能な膨大な情報リソースとしてのインターネット、出来合いのマルチメディア対応のポータブルハンドヘルド型デバイス、ならびにユビキタスなワイヤレスネットワークを使用することによって、本発明は、開放型の対話式ガイドシステムを提供している。ユーザは、このガイド型ツアーに対する積極的な対話参加者であり、創作者および供給元、ならびに彼ら自身も顧客となる。アプリケーションは、想像力によってのみ限定されるものであり、教育用玩具、博物館ツアー、言語学習ツアーなどに及ぶものである。これらのアプリケーションのすべてに関して、本発明の支援を受けたユーザは、個人化、自らの印象のツアーへのアノテーション付与、別のユーザとのフィードバックの共有、別の人や機械との相互作用や取引の開始が可能である。
a.個々のラベルオブジェクト自体は、ユーザ自身の周りのオブジェクトに関して既存のラベルを使用している。
b.ツアーの制作者およびツアーのユーザ(供給元と顧客)は同一人物(複数人物のこともある)である場合や違う人物(複数人物のこともある)である場合がある。
b.ツアーの制作者およびツアーのユーザ(供給元と顧客)は同一人物(複数人物のこともある)である場合や違う人物(複数人物のこともある)である場合がある。
c.「非公開ツアー」はインターネットや地域社会に容易に公開すること、利用、寄贈、交換または販売のために他人に対して「公開」とさせることができる。
d.ツアーはもはや閉じた最終製品ではなくなり、これを個人化、共有、直接会ったことがない人との共同オーサリングが可能である。
d.ツアーはもはや閉じた最終製品ではなくなり、これを個人化、共有、直接会ったことがない人との共同オーサリングが可能である。
e.ユーザは、諸機関から特殊な独自のデバイスをレンタルするのではなく自分のパーソナルポータブルハンドヘルド型デバイスを使用し、インターネットまたはローカルエリアネットワークからソフトウェアおよびコンテンツをダウンロードするだけとすることができる。
f.ユーザおよびサービス提供者は、ストリーミングビデオおよびオーディオを含むマルチメディアコンテンツをオーサリングしかつ公開するためのオーサリングツールにアクセスすることができる。
g.本システムは、ツアーをオーサリングしかつ公開するためのシステムおよび方法を提供しているが、本システムはそのツアーのコンテンツを制限していない。
(2)本システムは、屋内と屋外の両方で使用することができる。
(2)本システムは、屋内と屋外の両方で使用することができる。
(3)ツアーコンテンツは異なるメディアタイプでオーサリングすることができる。ツアーの提示は、デバイスの能力(オーディオのみ、テキストのみ、ハイパーテキスト、マルチメディア、ストリーミングビデオおよびオーディオ、その他)に応じて異なり、適当なメディア変換を実施することになる。ツアーには、ネットワークアクセスを伴った動作と、ネットワークアクセスを伴わない動作の両方がある。ユーザはツアーの前にツアーコンテンツをダウンロードすることができ、またこれをポータブルハンドヘルド型デバイス上に格納することやワイヤレスネットワークを介してこのツアーコンテンツに動的にアクセスすることができる。
(4)本システムは、既存のオブジェクトタグ(バーコード、RFID、赤外線タグ)と、ある特定のツアー向けに製作された特殊なタグとの両方を利用している。
(5)関連するコンテンツを1つのツアーの形に論理的に集合させることの恩恵は極めて明瞭であり、これは単に多数の商用アプリケーションにおいてだけではなく、オーディオのアノテーション付与アルバム、子供の早期の発話の時系列のリポジトリ、または母親が自分の子供たちに残した旧宅や品物に関する母親のアノテーションを含むようなツアーなど、多数の個人的な利用状況においても得られる。これらのケースにおいて、このツアーは、自分の人生を豊かにするような気に入った記憶を極めて貴重な時間ワープ起動式の想起法の役割をしている。これはさらに、自身の人生に関するメディアリッチなスナップによって人を不朽のものとする重要な役割を果たしている。
(5)関連するコンテンツを1つのツアーの形に論理的に集合させることの恩恵は極めて明瞭であり、これは単に多数の商用アプリケーションにおいてだけではなく、オーディオのアノテーション付与アルバム、子供の早期の発話の時系列のリポジトリ、または母親が自分の子供たちに残した旧宅や品物に関する母親のアノテーションを含むようなツアーなど、多数の個人的な利用状況においても得られる。これらのケースにおいて、このツアーは、自分の人生を豊かにするような気に入った記憶を極めて貴重な時間ワープ起動式の想起法の役割をしている。これはさらに、自身の人生に関するメディアリッチなスナップによって人を不朽のものとする重要な役割を果たしている。
本発明について、その幾つかの好ましい実施形態を参照しながら具体的に図示し記載してきたが、当業者であれば、添付の特許請求の範囲に規定したような本発明の精神および趣旨を逸脱することなく、形態および詳細に関してさまざまな変更を実施することができることを理解するであろう。
Claims (70)
- 物理的世界に関連する情報をオーサリングするための方法であって、
オーサリングデバイスを用いて、第1のオブジェクトに関連付けされた第1のラベルを検出するステップと、
前記検出に応答してコンテンツをオーサリングするためのシステムを起動させるステップと、
を含み、
前記コンテンツは、前記第1のオブジェクトに対して曖昧さなくバインドを受け、かつ前記第1のラベルの検出の間に再生デバイス上でレンダリングを受けることになるような方法。 - コンテンツをオーサリングするための前記システムが前記オーサリングデバイス上に常駐している請求項1に記載の方法。
- 前記オーサリングデバイスおよび前記再生デバイスが単一の装置内で一体化されている請求項1に記載の方法。
- 前記ラベルが、バーコードラベル、座標、RFIDタグ、IRタグ、タイムスタンプ、テキスト列、及び幾つかの変換手段によってその情報をディジタルデータに変換可能であるような任意の他のラベルタイプからなる群から選択されている請求項1に記載の方法。
- 前記コンテンツがオーディオ、テキスト、グラフィックス、ビデオ、あるいはこれらを組み合わせたものからなる群から選択されている請求項1に記載の方法。
- 前記コンテンツがライブエージェントへのリンクである請求項1に記載の方法。
- 第2のオブジェクトに関連付けされた第2のラベルを検出するステップと、
前記検出に応答して、前記第2のオブジェクトに対して曖昧さなくバインドさせるコンテンツをオーサリングするためのシステムを起動させるステップと、
前記第1のオブジェクトおよび前記第2のオブジェクトにバインドさせたコンテンツをツアーと呼ぶ単一の論理実体要素になるように集合させるステップと、
をさらに含む請求項1に記載の方法。 - 前記第1のオブジェクトと関連付けした第2のラベルを検出するステップと、
前記第1のオブジェクトにバインドさせたコンテンツを前記第1または第2のラベルのいずれかを検出する間に再生モードでレンダリングできるように前記第1のラベルおよび前記第2のラベルを正規化するステップとをさらに含む請求項1に記載の方法。 - 前記コンテンツを前記装置内に常駐させた不揮発メモリ内に格納するステップをさらに含む請求項1に記載の方法。
- 前記コンテンツをリモートサーバにアップロードするステップをさらに含む請求項1に記載の方法。
- 前記アップロードのステップがワイヤレスネットワークを介して実行されている請求項10に記載の方法。
- 前記アップロードのステップが有線式ネットワークを介して実行されている請求項10に記載の方法。
- 物理的世界に関連する情報をオーサリングさせるための命令を有するコンピュータ読み取り可能媒体であって、前記命令は、
第1のオブジェクトに関連付けされた第1のラベルを検出するステップと、
前記検出に応答して、前記第1のオブジェクトに対して曖昧さなくバインドを受けるコンテンツをオーサリングするためのシステムを起動させるステップとを含むステップと、を実行させ、前記コンテンツは、前記第1のラベルの検出の間に再生モードにあるデバイスによってレンダリングを受ける、コンピュータ読み取り可能媒体。 - 前記命令はさらに、
第2のオブジェクトに関連付けされた第2のラベルを検出するステップと、
前記検出に応答して、前記第2のオブジェクトに対して曖昧さなくバインドさせるコンテンツをオーサリングするためのシステムを起動させるステップと、
前記第1のオブジェクトおよび前記第2のオブジェクトにバインドさせたコンテンツをツアーと呼ぶ単一の論理実体要素になるように集合させるステップと、
を実行している請求項13に記載のコンピュータ読み取り可能媒体。 - 前記命令はさらに、前記第1のオブジェクトと関連付けした第2のラベルを検出するステップと、前記コンテンツを前記第1または第2のラベルのいずれかを検出する間に前記デバイスによって再生モードでレンダリングできるように前記第1のラベルおよび前記第2のラベルを正規化するステップとを実行している請求項14に記載のコンピュータ読み取り可能媒体。
- 物理的世界のオブジェクトに関連付けさせるコンテンツをオーサリングさせるための命令を有するコンピュータ読み取り可能媒体であって、前記命令は、
オブジェクトに関連付けされた読み取りオブジェクトラベルをオブジェクト識別子とするように正規化するステップと、
前記オブジェクト識別子を指標テーブルリポジトリ内に配置させるステップと、
前記オブジェクトラベルを再生モードで読み取る際にレンダリングさせるコンテンツを受け入れるステップと、
前記コンテンツを指標テーブルリポジトリ内の前記オブジェクト識別子にバインドさせるステップと、
を実行しているコンピュータ読み取り可能媒体。 - 前記命令は、異なる複数のラベルタイプを1つのオブジェクト識別子に正規化することを可能にしている請求項16に記載のコンピュータ読み取り可能媒体。
- 物理的世界に関連する情報を提供するための方法であって、
デバイスを用いてオブジェクトに関連付けされたラベルを検出するステップと、
前記検出したラベルに含まれている情報をオブジェクト識別子となるように正規化するステップと、
前記オブジェクト識別子を使用し、前記オブジェクト識別子にバインドされたコンテンツを発見するように指標テーブルリポジトリをサーチするステップと、
前記コンテンツをレンダリングするステップと、
を含む方法。 - 前記オブジェクト識別子とバインドさせたコンテンツを装置内のローカルメモリから抽出するステップをさらに含む請求項18に記載の方法。
- 前記オブジェクト識別子とバインドさせたコンテンツをリモートサーバから抽出するステップをさらに含む請求項18に記載の方法。
- 前記コンテンツがオーディオ、テキスト、グラフィックス、およびビデオからなる群から選択されている請求項18に記載の方法。
- 前記ラベルが、バーコード、座標、RFIDタグ、IRタグ、タイムスタンプ、テキスト列、及び幾つかの変換手段によってその情報をディジタルデータに変換可能であるような任意の他のラベルタイプからなる群から選択されている請求項18に記載の方法。
- 前記コンテンツがライブエージェントへの接続である請求項18に記載の方法。
- 現在の時刻を決定するステップと、
前記コンテンツをレンダリングする前に前記現在の時刻をタイムスタンプと比較するステップと、
をさらに含む請求項18に記載の方法。 - コンテンツをレンダリングする前記ステップが、前記コンテンツをリモートサーバからストリーミングするステップを含む請求項18に記載の方法。
- 前記コンテンツをレンダリングした後にアノテーション/フィードバックを受け入れるステップと、
前記アノテーション/フィードバックを前記オブジェクト識別子にバインドさせるステップと、
をさらに含む請求項18に記載の方法。 - 前記アノテーション/フィードバックをローカルメモリ内に格納するステップをさらに含む請求項26に記載の方法。
- 前記アノテーション/フィードバックをリモートメモリ内に格納するステップをさらに含む請求項26に記載の方法。
- 物理的世界に関連する情報を提供するための命令を有するコンピュータ読み取り可能媒体であって、前記命令は、
オブジェクトと関連付けさせたラベルを検出するステップと、
前記検出したラベル内に含まれている情報をオブジェクト識別子となるように正規化させるステップと、
前記オブジェクト識別子を使用し、前記オブジェクト識別子にバインドされたコンテンツを発見するように指標テーブルリポジトリをサーチするステップと、
前記コンテンツをレンダリングするステップと、
を実行しているコンピュータ読み取り可能媒体。 - 前記コンテンツがオーディオ、テキスト、グラフィックス、およびビデオからなる群から選択されている請求項29に記載のコンピュータ読み取り可能媒体。
- 物理的世界に関連する情報を提供するための方法であって、
オブジェクトと関連付けさせた複数の読み取りラベルを表すオブジェクト識別子を指標テーブルリポジトリ内に格納するステップと、
前記指標テーブルリポジトリを使用し、コンテンツを前記オブジェクト識別子にバインドする、したがって、前記オブジェクトにバインドするステップと、
を含んでおり、
これによって、前記複数のラベルのうちの任意の1つが再生モードで検出されたときに前記コンテンツがレンダリング可能であるような方法。 - 前記複数のラベルのうちの少なくとも1つがすでに、前記オブジェクト上に存在している請求項31に記載の方法。
- 前記複数のラベルのうちの少なくとも1つを前記オブジェクトに添付するステップをさらに含む請求項31に記載の方法。
- 前記複数のラベルが、バーコードラベル、座標、RFIDタグ、IRタグ、タイムスタンプ、テキスト列、あるいは幾つかの変換手段によってその情報をディジタルデータに変換可能であるような任意の他のラベルタイプからなる群から選択されている請求項31に記載の方法。
- 前記複数のラベルを検出するステップさらに含む請求項31に記載の方法。
- 物理的世界に関連する情報を提供するための方法であって、
1つまたは複数のラベルをツアー内の複数のオブジェクトの各々に関連付けするステップと、
前記ツアー内の前記複数のオブジェクトの各々と関連付けさせた前記1つまたは複数のラベルを表すオブジェクト識別子を指標テーブルリポジトリ内に格納するステップと、
前記ツアー内の前記複数のオブジェクトの各々に関連するコンテンツをオーサリングするステップと、
前記ツアー内の前記複数のオブジェクトのうちの関連する1つに対応するように前記コンテンツを前記指標テーブルリポジトリ内のオブジェクト識別子とバインドするステップであって、これによって前記コンテンツは、前記ラベルが再生デバイスによって検出されたときに前記コンテンツがオーサリングを受けた順序と無関係にレンダリング可能であるようなバインドステップと、
を含む方法。 - 前記ラベルが、座標、バーコードラベル、RFIDタグ、IRタグ、タイムスタンプ、テキスト列、及び幾つかの変換手段によってその情報をディジタルデータに変換可能であるような任意のラベルタイプからなる群から選択されている請求項36に記載の方法。
- 物理的世界に関連する選択したディジタルマルチメディア情報をオーサリングしかつ抽出するためのシステムであって、
前記物理的世界と関連する複数のマシン読み取り可能なラベルと、
前記マシン読み取り可能なラベルを検出するための、前記検出したラベル内に含まれている情報をオブジェクト識別子になるように正規化するためのプログラミングを含んだ装置と、
前記オブジェクト識別子によって指標付けしたコンテンツを格納している、前記装置によりアクセス可能なディジタルマルチメディアコンテンツ・コレクションと、
を備えるシステム。 - 前記装置がさらに、前記ディジタルマルチメディアコンテンツ・コレクションの内部に格納され、かつ前記オブジェクト識別子に対して曖昧さなくバインドされる前記複数のラベルのうちの1つの検出に応答してディジタルマルチメディアをオーサリングするためのシステムを備えている請求項38に記載のシステム。
- 前記装置がさらに、前記複数のラベルのうちの1つの検出に応答してディジタルマルチメディアをレンダリングするためのシステムであって、このレンダリングさせたディジタルマルチメディアが、検出されるラベルと関連付けさせたオブジェクト識別子に対して曖昧さなくバインドさせたコンテンツであるようなシステムを備えている請求項39に記載のシステム。
- 前記ディジタルマルチメディアコンテンツ・コレクションが、オーディオファイル、視覚的グラフィックスファイル、テキストファイル、ビデオファイル、XMLファイル、ハイパーリンクレファレンス、ライブエージェント接続リンク、プログラミングコードファイル、および構成情報ファイルのうちの1個または複数個を含んでいる請求項40に記載のシステム。
- 前記装置が、該装置の出力能力の関数としてディジタルマルチメディアをレンダリングさせるプログラミングを備えている請求項40に記載のシステム。
- 前記ツアーが前記装置の外部にある1つまたは複数のコンピュータサーバ上に格納されている請求項38に記載のシステム。
- 前記ツアーおよび前記装置が有線式ネットワークを介して通信している請求項43に記載のシステム。
- 前記ツアーおよび前記装置がワイヤレスネットワークを介して通信している請求項43に記載のシステム。
- 前記ワイヤレスネットワークが携帯電話ネットワークを備えている請求項45に記載のシステム。
- 前記ツアーが前記装置上に常駐している請求項38に記載のシステム。
- 前記装置がインターネットを介して前記ツアーにアクセスしている請求項38に記載のシステム。
- 前記装置が音声ポータルを介して前記ツアーにアクセスしている請求項38に記載のシステム。
- 前記装置が携帯電話音声メールボックスを介して前記ツアーにアクセスしている請求項38に記載のシステム。
- 前記ディジタルマルチメディアがツアーとなるように集合されている請求項38に記載のシステム。
- 前記ディジタルマルチメディアが前記装置によってランダムにアクセス可能である請求項38に記載のシステム。
- 前記ディジタルマルチメディアが前記装置によって順次式にアクセス可能である請求項38に記載のシステム。
- 前記装置がパーソナルディジタルアシスタントを備える請求項38に記載のシステム。
- 前記装置が携帯電話機を備える請求項38に記載のシステム。
- 前記装置が、ある特定のアプリケーションを目的とした特定用途向けに作られたデバイスを備える請求項38に記載のシステム。
- 物理的世界に関連する情報をオーサリングするための装置であって、
オブジェクトと関連付けさせたラベルを検出するための回路と、
前記検出したラベルによる表出に従って前記オブジェクトに対して曖昧さなくバインドさせようとするコンテンツをオーサリングするためのシステムであって、該コンテンツはラベル検出の間に再生モードでレンダリングさせているようなシステムと、
を備える装置。 - 前記回路がバーコード読み取り装置を備える請求項57に記載の装置。
- 前記回路がIRタグ読み取り装置を備える請求項57に記載の装置。
- 前記回路がRFIDタグ読み取り装置を備える請求項57に記載の装置。
- 前記回路が文字情報を入力するためのキーボードを備える請求項57に記載の装置。
- 前記回路がアナログ対ディジタルの情報変換器を備える請求項57に記載の装置。
- 物理的世界に関連する情報をオーサリングして提供するための装置であって、
オブジェクトと関連付けさせたラベルを検出するための回路と、
前記検出したラベル内に含まれている情報をオブジェクト識別子になるように正規化するためのプログラミングと、
コンテンツをオーサリングモードでオーサリングするためのシステムであって、該コンテンツは前記オブジェクト識別子に対して曖昧さなくバインドされたシステムと、
コンテンツを再生モードでレンダリングさせるシステムであって、レンダリングさせるコンテンツは検出されるラベルと関連付けさせた前記オブジェクト識別子に対して曖昧さなくバインドされたコンテンツであるようなシステムと、
を備える装置。 - さらに、オーサリングさせるコンテンツをリモート位置にダウンロードするため、ならびに前記リモート位置からレンダリングさせるコンテンツを抽出するための通信リンクを備える請求項63に記載の装置。
- さらに、前記コンテンツを格納するためのメモリを備える請求項63に記載の装置。
- 前記回路がバーコード読み取り装置を備える請求項63に記載の装置。
- 前記回路がIRタグ読み取り装置を備える請求項63に記載の装置。
- 前記回路が座標位置を決定している請求項63に記載の装置。
- 前記回路がRFIDタグ読み取り装置である請求項63に記載の装置。
- 前記回路がアナログ対ディジタルの情報変換器である請求項63に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/987,597 US20030024975A1 (en) | 2001-07-18 | 2001-11-15 | System and method for authoring and providing information relevant to the physical world |
PCT/US2002/036740 WO2003044728A1 (en) | 2001-11-15 | 2002-11-15 | A system and method for authoring and providing information relevant to the physical world |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005509982A true JP2005509982A (ja) | 2005-04-14 |
Family
ID=25533390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003546291A Pending JP2005509982A (ja) | 2001-11-15 | 2002-11-15 | 物理的世界に関連する情報をオーサリングして提供するためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20030024975A1 (ja) |
EP (1) | EP1461763A1 (ja) |
JP (1) | JP2005509982A (ja) |
AU (1) | AU2002366152A1 (ja) |
WO (1) | WO2003044728A1 (ja) |
Families Citing this family (115)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7458013B2 (en) * | 1999-05-12 | 2008-11-25 | The Board Of Trustees Of The Leland Stanford Junior University | Concurrent voice to text and sketch processing with synchronized replay |
US7253919B2 (en) * | 2000-11-30 | 2007-08-07 | Ricoh Co., Ltd. | Printer with embedded retrieval and publishing interface |
US7675543B2 (en) * | 2001-05-25 | 2010-03-09 | Muvee Technologies Pte Ltd | Analysis of video footage |
US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
US20030155413A1 (en) * | 2001-07-18 | 2003-08-21 | Rozsa Kovesdi | System and method for authoring and providing information relevant to a physical world |
US20030089777A1 (en) * | 2001-11-15 | 2003-05-15 | Rajasekharan Ajit V. | Method and system for authoring and playback of audio coincident with label detection |
US7703044B2 (en) * | 2001-11-19 | 2010-04-20 | Ricoh Company, Ltd. | Techniques for generating a static representation for time-based media information |
US20040181815A1 (en) * | 2001-11-19 | 2004-09-16 | Hull Jonathan J. | Printer with radio or television program extraction and formating |
US7788080B2 (en) | 2001-11-19 | 2010-08-31 | Ricoh Company, Ltd. | Paper interface for simulation environments |
US7861169B2 (en) | 2001-11-19 | 2010-12-28 | Ricoh Co. Ltd. | Multimedia print driver dialog interfaces |
US7424129B2 (en) * | 2001-11-19 | 2008-09-09 | Ricoh Company, Ltd | Printing system with embedded audio/video content recognition and processing |
US8539344B2 (en) * | 2001-11-19 | 2013-09-17 | Ricoh Company, Ltd. | Paper-based interface for multimedia information stored by multiple multimedia documents |
US7747655B2 (en) | 2001-11-19 | 2010-06-29 | Ricoh Co. Ltd. | Printable representations for time-based media |
US7743347B2 (en) * | 2001-11-19 | 2010-06-22 | Ricoh Company, Ltd. | Paper-based interface for specifying ranges |
US7149957B2 (en) | 2001-11-19 | 2006-12-12 | Ricoh Company, Ltd. | Techniques for retrieving multimedia information using a paper-based interface |
US20030117378A1 (en) | 2001-12-21 | 2003-06-26 | International Business Machines Corporation | Device and system for retrieving and displaying handwritten annotations |
WO2003057333A1 (en) * | 2002-01-05 | 2003-07-17 | Leapfrog Enterprises, Inc. | Scanning toy |
JP3801049B2 (ja) * | 2002-01-22 | 2006-07-26 | ソニー株式会社 | 情報処理装置及び情報処理方法並びに情報処理プログラム |
US7589029B2 (en) * | 2002-05-02 | 2009-09-15 | Micron Technology, Inc. | Atomic layer deposition and conversion |
US20030217267A1 (en) * | 2002-05-16 | 2003-11-20 | Kindberg Timothy P.J.G. | Authenticating a web hyperlink associated with a physical object |
US8797402B2 (en) * | 2002-11-19 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Methods and apparatus for imaging and displaying a navigable path |
US20040204135A1 (en) * | 2002-12-06 | 2004-10-14 | Yilin Zhao | Multimedia editor for wireless communication devices and method therefor |
US8008561B2 (en) * | 2003-01-17 | 2011-08-30 | Motorola Mobility, Inc. | Audio file format with mapped lighting effects and method for controlling lighting effects using an audio file format |
US8841847B2 (en) | 2003-01-17 | 2014-09-23 | Motorola Mobility Llc | Electronic device for controlling lighting effects using an audio file |
JP2004245593A (ja) * | 2003-02-10 | 2004-09-02 | Seiko Epson Corp | 非接触データ通信システム、データ通信装置、非接触識別タグ、非接触識別タグ制御プログラム、及び、データ通信装置制御プログラム |
US20040229195A1 (en) * | 2003-03-18 | 2004-11-18 | Leapfrog Enterprises, Inc. | Scanning apparatus |
US7357323B2 (en) * | 2003-04-07 | 2008-04-15 | Silverbrook Research Pty Ltd | Obtaining product item assistance |
US7991432B2 (en) * | 2003-04-07 | 2011-08-02 | Silverbrook Research Pty Ltd | Method of printing a voucher based on geographical location |
US7263483B2 (en) * | 2003-04-28 | 2007-08-28 | Dictaphone Corporation | USB dictation device |
US7526718B2 (en) * | 2003-04-30 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Apparatus and method for recording “path-enhanced” multimedia |
US7149961B2 (en) | 2003-04-30 | 2006-12-12 | Hewlett-Packard Development Company, L.P. | Automatic generation of presentations from “path-enhanced” multimedia |
US20040220965A1 (en) * | 2003-04-30 | 2004-11-04 | Michael Harville | Indexed database structures and methods for searching path-enhanced multimedia |
US6906643B2 (en) * | 2003-04-30 | 2005-06-14 | Hewlett-Packard Development Company, L.P. | Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia |
US7178941B2 (en) * | 2003-05-05 | 2007-02-20 | Color Kinetics Incorporated | Lighting methods and systems |
US7310779B2 (en) | 2003-06-26 | 2007-12-18 | International Business Machines Corporation | Method for creating and selecting active regions on physical documents |
US7864352B2 (en) * | 2003-09-25 | 2011-01-04 | Ricoh Co. Ltd. | Printer with multimedia server |
US20050071746A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Networked printer with hardware and software interfaces for peripheral devices |
JP2005108230A (ja) * | 2003-09-25 | 2005-04-21 | Ricoh Co Ltd | オーディオ/ビデオコンテンツ認識・処理機能内蔵印刷システム |
US7570380B2 (en) * | 2003-09-25 | 2009-08-04 | Ricoh Company, Ltd. | Printer user interface |
US7573593B2 (en) * | 2003-09-25 | 2009-08-11 | Ricoh Company, Ltd. | Printer with hardware and software interfaces for media devices |
US20050068573A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Networked printing system having embedded functionality for printing time-based media |
US8077341B2 (en) | 2003-09-25 | 2011-12-13 | Ricoh Co., Ltd. | Printer with audio or video receiver, recorder, and real-time content-based processing logic |
US7505163B2 (en) * | 2003-09-25 | 2009-03-17 | Ricoh Co., Ltd. | User interface for networked printer |
US7440126B2 (en) * | 2003-09-25 | 2008-10-21 | Ricoh Co., Ltd | Printer with document-triggered processing |
US20050071763A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Stand alone multimedia printer capable of sharing media processing tasks |
US7528976B2 (en) * | 2003-09-25 | 2009-05-05 | Ricoh Co., Ltd. | Stand alone printer with hardware/software interfaces for sharing multimedia processing |
US7540419B2 (en) * | 2003-09-30 | 2009-06-02 | International Business Machines Corporation | Personal index of items in physical proximity to a user |
US7414925B2 (en) * | 2003-11-27 | 2008-08-19 | International Business Machines Corporation | System and method for providing telephonic voice response information related to items marked on physical documents |
US20050142263A1 (en) * | 2003-12-30 | 2005-06-30 | Lauren Keilbach | Fish food flakes |
US7620896B2 (en) * | 2004-01-08 | 2009-11-17 | International Business Machines Corporation | Intelligent agenda object for showing contextual location within a presentation application |
US7864929B2 (en) * | 2004-02-13 | 2011-01-04 | Nuance Communications, Inc. | Method and systems for accessing data from a network via telephone, using printed publication |
CA2597874C (en) * | 2004-02-25 | 2015-10-20 | Accenture Global Services Gmbh | Rfid protected media system and method |
WO2005081087A1 (en) * | 2004-02-25 | 2005-09-01 | Accenture Global Services Gmbh | Rfid protected media system and method that provides dynamic downloadable media |
WO2005086802A2 (en) * | 2004-03-08 | 2005-09-22 | Proxense, Llc | Linked account system using personal digital key (pdk-las) |
US20060078866A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | System and method for identifying termination of data entry |
US20060033725A1 (en) * | 2004-06-03 | 2006-02-16 | Leapfrog Enterprises, Inc. | User created interactive interface |
US7831933B2 (en) | 2004-03-17 | 2010-11-09 | Leapfrog Enterprises, Inc. | Method and system for implementing a user interface for a device employing written graphical elements |
US7853193B2 (en) | 2004-03-17 | 2010-12-14 | Leapfrog Enterprises, Inc. | Method and device for audibly instructing a user to interact with a function |
US20060066591A1 (en) * | 2004-03-17 | 2006-03-30 | James Marggraff | Method and system for implementing a user interface for a device through recognized text and bounded areas |
US20060077184A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | Methods and devices for retrieving and using information stored as a pattern on a surface |
CN103398719B (zh) * | 2004-03-23 | 2017-04-12 | 咕果公司 | 数字地图描绘系统 |
US8274666B2 (en) * | 2004-03-30 | 2012-09-25 | Ricoh Co., Ltd. | Projector/printer for displaying or printing of documents |
US20050252958A1 (en) * | 2004-05-13 | 2005-11-17 | Lee Peter S | System and method for wireless transfer of data content to a portable device |
US7526490B2 (en) * | 2004-06-08 | 2009-04-28 | Oracle International Corporation | Method of and system for providing positional based object to XML mapping |
US7218231B2 (en) * | 2004-07-29 | 2007-05-15 | Omnicell, Inc. | Method and apparatus for preparing an item with an RFID tag |
US7640228B2 (en) * | 2004-08-23 | 2009-12-29 | Thomson Licensing | Method for retrieving data from first and second storage medium |
US7204409B2 (en) * | 2004-09-01 | 2007-04-17 | Microsoft Corporation | Reader application markup language schema |
US8098158B2 (en) * | 2004-09-01 | 2012-01-17 | Microsoft Corporation | RFID server internals design |
US10445799B2 (en) | 2004-09-30 | 2019-10-15 | Uber Technologies, Inc. | Supply-chain side assistance |
US10687166B2 (en) * | 2004-09-30 | 2020-06-16 | Uber Technologies, Inc. | Obtaining user assistance |
US7316347B2 (en) * | 2005-01-07 | 2008-01-08 | Ctb Mcgraw-Hill | Linking articles to content via RFID |
US7734622B1 (en) | 2005-03-25 | 2010-06-08 | Hewlett-Packard Development Company, L.P. | Media-driven browsing |
ITBO20050211A1 (it) * | 2005-04-01 | 2006-10-02 | Giovanni Altini | Dispositivo di informazione audio |
US7922099B1 (en) | 2005-07-29 | 2011-04-12 | Leapfrog Enterprises, Inc. | System and method for associating content with an image bearing surface |
US8073700B2 (en) | 2005-09-12 | 2011-12-06 | Nuance Communications, Inc. | Retrieval and presentation of network service results for mobile device using a multimodal browser |
ITFI20050247A1 (it) * | 2005-12-02 | 2007-06-03 | Administration S Ct Di Massimo | Un sistema di guida per musei, fiere od esposizioni in genere ed un relativo procedimento informativo |
US11206664B2 (en) | 2006-01-06 | 2021-12-21 | Proxense, Llc | Wireless network synchronization of cells and client devices on a network |
US8358976B2 (en) | 2006-03-24 | 2013-01-22 | The Invention Science Fund I, Llc | Wireless device with an aggregate user interface for controlling other devices |
US8412949B2 (en) | 2006-05-05 | 2013-04-02 | Proxense, Llc | Personal digital key initialization and registration for secure transactions |
US20070276808A1 (en) * | 2006-05-09 | 2007-11-29 | Mcgushion Kevin David | URL Embedded Product Identifications Means and Method |
US20080128504A1 (en) * | 2006-11-30 | 2008-06-05 | Henry Liming Wang | Printed material reader |
US8261967B1 (en) | 2006-07-19 | 2012-09-11 | Leapfrog Enterprises, Inc. | Techniques for interactively coupling electronic content with printed media |
JP5132121B2 (ja) * | 2006-10-30 | 2013-01-30 | 株式会社ソニー・コンピュータエンタテインメント | 無線id管理装置、無線id管理方法および無線idレコーダ |
SG143096A1 (en) * | 2006-11-30 | 2008-06-27 | Gaishan Technology Pte Ltd | Device and method for identifying objects |
WO2008073081A1 (en) * | 2006-12-11 | 2008-06-19 | Havens Steven W | Method and apparatus for acquiring and processing transducer data |
US9280776B2 (en) * | 2007-01-05 | 2016-03-08 | Microsoft Technology Licensing, Llc | Delivering content based on physical object characteristics |
WO2008111054A2 (en) * | 2007-03-12 | 2008-09-18 | In-Dot Ltd. | A reader device having various functionalities |
US8843376B2 (en) * | 2007-03-13 | 2014-09-23 | Nuance Communications, Inc. | Speech-enabled web content searching using a multimodal browser |
US8156509B2 (en) * | 2007-06-05 | 2012-04-10 | International Business Machines Corporation | Exchanging data using data transformation |
US8010286B2 (en) | 2007-09-07 | 2011-08-30 | Maritz Inc. | Automated narration and recording for drive events |
US8121784B2 (en) * | 2007-09-07 | 2012-02-21 | Maritz, Inc. | GPS triggered narration and recording for drive events |
WO2009062194A1 (en) | 2007-11-09 | 2009-05-14 | Proxense, Llc | Proximity-sensor supporting multiple application services |
US8508336B2 (en) | 2008-02-14 | 2013-08-13 | Proxense, Llc | Proximity-based healthcare management system with automatic access to private information |
CN101753428A (zh) * | 2008-12-16 | 2010-06-23 | 华为终端有限公司 | 实例标识的信息获取、上报方法及装置、处理系统 |
US9143881B2 (en) * | 2010-10-25 | 2015-09-22 | At&T Intellectual Property I, L.P. | Providing interactive services to enhance information presentation experiences using wireless technologies |
US8786406B2 (en) * | 2010-11-23 | 2014-07-22 | Hungkuang University | Interactive method and system for recording and playing data |
WO2012093773A2 (ko) * | 2011-01-04 | 2012-07-12 | 에이큐 주식회사 | 광고 정보 제공 시스템 |
US9265450B1 (en) | 2011-02-21 | 2016-02-23 | Proxense, Llc | Proximity-based system for object tracking and automatic application initialization |
US9342516B2 (en) | 2011-05-18 | 2016-05-17 | Microsoft Technology Licensing, Llc | Media presentation playback annotation |
US9619799B2 (en) | 2013-02-06 | 2017-04-11 | Apple Inc. | Apparatus and methods for secure element transactions and management of assets |
US9355367B2 (en) | 2013-03-07 | 2016-05-31 | International Business Machines Corporation | System and method for using graph transduction techniques to make relational classifications on a single connected network |
US9405898B2 (en) | 2013-05-10 | 2016-08-02 | Proxense, Llc | Secure element as a digital pocket |
US9954857B2 (en) | 2013-12-19 | 2018-04-24 | Intel Corporation | Digital charms system and method |
US9552559B2 (en) | 2014-05-06 | 2017-01-24 | Elwha Llc | System and methods for verifying that one or more directives that direct transport of a second end user does not conflict with one or more obligations to transport a first end user |
US10922474B2 (en) * | 2015-03-24 | 2021-02-16 | Intel Corporation | Unstructured UI |
JP6256430B2 (ja) * | 2015-08-17 | 2018-01-10 | コニカミノルタ株式会社 | コンテンツ提供サーバ、コンテンツ提供方法、およびコンピュータプログラム |
CN108475515A (zh) * | 2015-11-30 | 2018-08-31 | 九齐科技股份有限公司 | 声音数据播放方法及其系统 |
US10235367B2 (en) | 2016-01-11 | 2019-03-19 | Microsoft Technology Licensing, Llc | Organization, retrieval, annotation and presentation of media data files using signals captured from a viewing environment |
US9921461B1 (en) | 2017-09-22 | 2018-03-20 | Spin Master Ltd. | Clip for mounting external device to electronic device |
US10298727B2 (en) | 2016-06-17 | 2019-05-21 | Spin Master Ltd. | Clip for mounting external device to electronic device |
US10571793B2 (en) | 2016-06-17 | 2020-02-25 | Moonlite World Inc. | Image projection device |
US10295898B2 (en) | 2016-06-17 | 2019-05-21 | Moonlite World Inc. | Image projection device |
US11153528B2 (en) * | 2016-10-01 | 2021-10-19 | Intel Corporation | Technologies for structured media playback |
IT202100014447A1 (it) * | 2021-06-03 | 2021-09-03 | Sigesint S R L S | SISTEMA INFORMATICO DI RACCOLTA, GESTIONE e CONDIVISIONE DI CONTENUTI DIGITALI E RELATIVO PROCEDIMENTO |
US11233775B1 (en) * | 2021-06-11 | 2022-01-25 | Zoi Meet B.V. | Method and system for protecting user privacy during audio content processing |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2494873A1 (fr) * | 1980-11-26 | 1982-05-28 | Duthion Louis | Procede de restitution sonore de parole ou musique stockee sur un support imprime ou sur etiquette |
DE4200898A1 (de) * | 1992-01-16 | 1993-07-22 | Nsm Ag | Anordnung zur titelauswahl von jeweils eine anzahl von abspieltiteln enthaltenden speichermitteln in einem magazin |
US6095418A (en) * | 1994-01-27 | 2000-08-01 | Symbol Technologies, Inc. | Apparatus for processing symbol-encoded document information |
US5480306A (en) * | 1994-03-16 | 1996-01-02 | Liu; Chih-Yuan | Language learning apparatus and method utilizing optical code as input medium |
JP3193628B2 (ja) * | 1996-03-28 | 2001-07-30 | オリンパス光学工業株式会社 | コード印刷装置 |
US6397184B1 (en) * | 1996-08-29 | 2002-05-28 | Eastman Kodak Company | System and method for associating pre-recorded audio snippets with still photographic images |
US5971279A (en) * | 1996-12-19 | 1999-10-26 | En-Vision America, Inc. | Hand held scanner for the visually impaired |
JPH11122401A (ja) * | 1997-10-17 | 1999-04-30 | Noritsu Koki Co Ltd | 音声コード付き写真作成装置 |
JP4144935B2 (ja) * | 1998-06-08 | 2008-09-03 | ノーリツ鋼機株式会社 | 音声付き写真を作成するための受付方法、及び受付装置 |
JP2000206631A (ja) * | 1999-01-18 | 2000-07-28 | Olympus Optical Co Ltd | 撮影装置 |
US20020000468A1 (en) * | 1999-04-19 | 2002-01-03 | Pradeep K. Bansal | System and method for scanning & storing universal resource locator codes |
US6442350B1 (en) * | 2000-04-04 | 2002-08-27 | Eastman Kodak Company | Camera with sound recording capability |
-
2001
- 2001-11-15 US US09/987,597 patent/US20030024975A1/en not_active Abandoned
-
2002
- 2002-11-15 EP EP02803635A patent/EP1461763A1/en not_active Withdrawn
- 2002-11-15 WO PCT/US2002/036740 patent/WO2003044728A1/en not_active Application Discontinuation
- 2002-11-15 JP JP2003546291A patent/JP2005509982A/ja active Pending
- 2002-11-15 AU AU2002366152A patent/AU2002366152A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP1461763A1 (en) | 2004-09-29 |
AU2002366152A1 (en) | 2003-06-10 |
US20030024975A1 (en) | 2003-02-06 |
WO2003044728A1 (en) | 2003-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005509982A (ja) | 物理的世界に関連する情報をオーサリングして提供するためのシステムおよび方法 | |
US20030155413A1 (en) | System and method for authoring and providing information relevant to a physical world | |
Benyon | Designing user experience | |
US7716606B2 (en) | Information processing apparatus and method, information processing system, and providing medium | |
US8244589B2 (en) | Personalized audio controlled shopping information service for a mobile device | |
US7976386B2 (en) | Mesh network game controller with voice transmission, search capability, motion detection, and/or position detection | |
CN104584010B (zh) | 基于语音的媒体搜索 | |
CN102939604B (zh) | 用于上下文索引的网络资源的方法和装置 | |
US20160041981A1 (en) | Enhanced cascaded object-related content provision system and method | |
US20170132225A1 (en) | Storing and retrieving associated information with a digital image | |
CN107038197A (zh) | 情境及活动驱动的内容传送和交互 | |
Bouvin et al. | HyCon: A framework for context-aware mobile hypermedia | |
JP2015064889A (ja) | 関心のあるオブジェクトを指定することにより動作を開始しフィードバックを提供するシステム及び方法 | |
CN102822826A (zh) | 创建和传播注释的信息 | |
Hansen | Ubiquitous annotation systems: technologies and challenges | |
US20160253845A1 (en) | Information processing apparatus and method, information processing system, and providing medium | |
Hoivik | Global village: mobile access to library resources | |
CN112765460A (zh) | 会议信息查询方法、装置、存储介质、终端设备和服务器 | |
US20070212669A1 (en) | System and method for generating and providing access to a deep map | |
JP2009289244A (ja) | 音楽再生端末、および位置対応リスト作成システム | |
Hansen et al. | Mobile Learning in Context—Context-aware Hypermedia in the Wild. | |
Aarbakke | M2S and CAIR. Image based information retrieval in mobile environments. | |
Schürmann et al. | Let a picture initiate the dialog | |
KR100678327B1 (ko) | 무선 사이트 제공 및 접속 방법과 무선 사이트 제공을 위한네트워크 시스템 | |
US20120079051A1 (en) | System and method of storing and retrieving associated information with a digital image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051115 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20060330 |