JP2006526152A - パス・エンハンスド・マルチメディアの表示、修正、及びそれとの対話を行うシステム及び方法 - Google Patents
パス・エンハンスド・マルチメディアの表示、修正、及びそれとの対話を行うシステム及び方法 Download PDFInfo
- Publication number
- JP2006526152A JP2006526152A JP2006514269A JP2006514269A JP2006526152A JP 2006526152 A JP2006526152 A JP 2006526152A JP 2006514269 A JP2006514269 A JP 2006514269A JP 2006514269 A JP2006514269 A JP 2006514269A JP 2006526152 A JP2006526152 A JP 2006526152A
- Authority
- JP
- Japan
- Prior art keywords
- data
- pem
- multimedia
- path
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C7/00—Tracing profiles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Abstract
「パス・エンハンスド」マルチメディア(PEM)データを、その少なくとも一部が表示されることになる態様を決定するユーザ選択されたビューに従って、参照し、修正し、又はそれとの対話を行うことが可能となる。該PEMデータは、PEMデータに対応する第1のデータオブジェクトタイプと異なるビュータイプに対応する第2のオブジェクトタイプとを含むスクラップブックオブジェクトとして所定のデータ構造で記憶される。該スクラップブックオブジェクトのデータ構造は、特定の時間及び場所に対応し、又は特定の時間順の一連の場所(例えば特定の経路区分)に対応する選択されたビューに従ってPEMデータの一部を表示するのに資するものとなり、及び/又は、時間及び場所に関連付けされ又は経路区分に関連付けされた他のマルチメディアコンテンツを用いて強化することができ、これにより一層興味深く効果的な表示又は「パス・エンハンスド」記録イベントが提供される。例えば、経路上の特定のポイントの時間及び場所を使用して、その時間及び/又は場所に関連付けされた他の記録済みの音声及び画像を探し出して添付し、これにより旅行その他の経路指向型の経験の表現を向上させることが可能である。更に、かかる関連づけされた経路を規定するデータを編集して、新規の又は修正された経路を規定することも可能である。
Description
本発明は一般に、本質的に連続して記録された経路情報と関連付けされた記録されたマルチメディアデータに関し、特に本開示は、該関連付けされたマルチメディア及び経路情報を表示し、修正し、及びそれと対話する技術について説明したものである。
(関連出願)
「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する本出願と同時に出願された本出願人による米国特許出願第10/427,614号は、オーディオ、静止画像、映像などのマルチメディアを個々に又は組み合わせで記録することができ、またそのようなマルチメディアを記録しているか否かに関係無く時間及び位置情報をサンプリングすることができ、これにより特定の音声や画像などの記録だけでなく、かかる音声や画像の記録の最中又はその記録間に移動した経路の記録が提供される、新規のマルチメディア記録機器を記載している。この機器が生成する記録データは、「パス・エンハンスド(path-enhanced)」マルチメディアの一例である。
(関連出願)
「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する本出願と同時に出願された本出願人による米国特許出願第10/427,614号は、オーディオ、静止画像、映像などのマルチメディアを個々に又は組み合わせで記録することができ、またそのようなマルチメディアを記録しているか否かに関係無く時間及び位置情報をサンプリングすることができ、これにより特定の音声や画像などの記録だけでなく、かかる音声や画像の記録の最中又はその記録間に移動した経路の記録が提供される、新規のマルチメディア記録機器を記載している。この機器が生成する記録データは、「パス・エンハンスド(path-enhanced)」マルチメディアの一例である。
本出願と同時に出願された本出願人による他の特許出願は、「パス・エンハンスド」マルチメディア技術の様々な熟考された他の応用例を記載している。
米国特許出願第10/427,582号である「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」は、マルチメディアデータの表現を動画化されたオーバービュー及び/又はそのようなイベントを接続する経路指向コンテキストと共に生成するための新規な装置及び方法に関する。
米国特許出願第10/427,647号である「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」は、関連付けされた時間と位置を有する記録データに適した新規なデータベース構造及びデータ探索手順に関するものである。
既知の記録装置からのGPSデータが添付された静止ディジタル画像及びビデオディジタル画像は、かかるディジタル画像にアクセスするためのアイコンが重ねられたウェブ使用可能マップを生成するための既知のウェブベースシステムを使用して処理することができる。これらのシステムは、画像のためのGPSデータを別個にかつ無関係に提供するが、画像が捕捉されているとき以外の時間に生じるGPSデータに関する情報は提供されない。更に、捕捉ポイント間の連続した経路に沿って生じるGPSデータに関する情報は提供されない。
所定の2つのポイント間の算出経路に対するユーザの現在位置を表示するGPSベースのナビゲーションシステムは既知である。また、ユーザの経路を記録し表示するシステムも既知である。
更に、写真と関連付けされた位置タグに従って写真がマップ上に示される、マップ内に写真を表示するユーザインタフェイスが既知である。しかし、そのようなインタフェイスは、写真と関連した経路情報や写真の間の経路情報を表示しない。
しかし、現時点では、連続した経路とその経路に沿った各ポイントに関連付けされたマルチメディアとを含むマップを表示し及び/又は該マップと対話するユーザインタフェイスは知られていない。
[基本思想と定義]
・マルチメディア
「マルチメディア」という用語は、他の分脈では、データ、知覚体験、又はデータから体験を表現するために使用される技術を称するために様々な形で使用されてきたが、本書で使用されるときは、視覚、聴覚、嗅覚などの1つ又は2つ以上の人間の感覚が体験できる形態に互換装置によって表現できる任意のデータを広義に指す。同様に、「マルチメディア」は、他の場所では特に、多数のデータソースからの多数の知覚体験の表現に関連して使用されてきたが、本書で使用されるときは、単一の知覚体験以外を表すデータに等しく適用可能であるように意図されている。そのようなマルチメディアの一般的な例には、最初に写真フィルム又はCCDアレイによって記録された可視画像又は赤外線画像やマイクロフォンによって記録された音声などの物理センサによって取り込まれるデータ、又はマイクロフィルム化又はディジタル化された印刷出版物がある。現在意図されている他の例には、例えばシミュレートされた宇宙飛行のような完全にコンピュータによって合成されたデータ、テキストページ又はコンピュータ生成音声として表現できるディジタルテキスト(ASCII又はUNICODE形式)、又は物体又は環境の複製を合成するために使用できる現実の又は架空の物体又は環境の特定の物理特性(色、サイズ、形状、位置、空間識、速度、重量、表面質感、密度、弾性、温度、湿度、化学成分など)を表すデータがある。マルチメディアデータは一般に、1つ又は2つ以上の「マルチメディアファイル」に記憶され、そのような各ファイルは一般に所定の規定されたディジタル形式を有するものである。
・位置
位置は一般に、地球表面上のユーザの位置を表す座標によって規定することができる。天体力学では一般に多数の座標系が使用されており、異なる座標系の間の変換が知られている。実際に対象となる殆どの座標系は、ECEF(Earth-Centered, Earth-Fixed)座標系になる。ECEF座標系では、原点は地球の中心になり、座標系は地球に固定される。地球の形状を回転楕円面、詳細には偏球としてとしてモデル化するのが一般的であり、地球は極地よりも赤道の方が大きい。GPS応用分野で一般に使用されるそのような座標系の一例が、WGS84(世界測地系1984)である。WGS84系内では、緯度と経度が地球の表面上の任意の位置を規定する。緯度と経度の代わりに楕円面上に規定された他の一般化された任意の座標系を使用して地球上の位置を参照することができる。応用分野によっては、第3の座標である高度も必要とされる。GPS応用分野では、高度は、一般に、実際の地形の上ではなく、前述の地球を表す偏球面の上(又は下)の距離を示す。他の応用分野では、例えば所定の経路に沿った里程標又は側点に対応する位置(又は予定時間までも)が一次元座標系で表されることがある。
・時間
位置と同様に、時間を表すには多くの方法がある。多くのデータ処理応用分野において、時間は、何らかの時間スケールを使用して現在時刻と絶対基準時刻との時間差の数値表現として定義される。付加的な緯度及び経度情報を使用して、この数値表現から地方時間を計算することができる。
[基本思想と定義]
・マルチメディア
「マルチメディア」という用語は、他の分脈では、データ、知覚体験、又はデータから体験を表現するために使用される技術を称するために様々な形で使用されてきたが、本書で使用されるときは、視覚、聴覚、嗅覚などの1つ又は2つ以上の人間の感覚が体験できる形態に互換装置によって表現できる任意のデータを広義に指す。同様に、「マルチメディア」は、他の場所では特に、多数のデータソースからの多数の知覚体験の表現に関連して使用されてきたが、本書で使用されるときは、単一の知覚体験以外を表すデータに等しく適用可能であるように意図されている。そのようなマルチメディアの一般的な例には、最初に写真フィルム又はCCDアレイによって記録された可視画像又は赤外線画像やマイクロフォンによって記録された音声などの物理センサによって取り込まれるデータ、又はマイクロフィルム化又はディジタル化された印刷出版物がある。現在意図されている他の例には、例えばシミュレートされた宇宙飛行のような完全にコンピュータによって合成されたデータ、テキストページ又はコンピュータ生成音声として表現できるディジタルテキスト(ASCII又はUNICODE形式)、又は物体又は環境の複製を合成するために使用できる現実の又は架空の物体又は環境の特定の物理特性(色、サイズ、形状、位置、空間識、速度、重量、表面質感、密度、弾性、温度、湿度、化学成分など)を表すデータがある。マルチメディアデータは一般に、1つ又は2つ以上の「マルチメディアファイル」に記憶され、そのような各ファイルは一般に所定の規定されたディジタル形式を有するものである。
・位置
位置は一般に、地球表面上のユーザの位置を表す座標によって規定することができる。天体力学では一般に多数の座標系が使用されており、異なる座標系の間の変換が知られている。実際に対象となる殆どの座標系は、ECEF(Earth-Centered, Earth-Fixed)座標系になる。ECEF座標系では、原点は地球の中心になり、座標系は地球に固定される。地球の形状を回転楕円面、詳細には偏球としてとしてモデル化するのが一般的であり、地球は極地よりも赤道の方が大きい。GPS応用分野で一般に使用されるそのような座標系の一例が、WGS84(世界測地系1984)である。WGS84系内では、緯度と経度が地球の表面上の任意の位置を規定する。緯度と経度の代わりに楕円面上に規定された他の一般化された任意の座標系を使用して地球上の位置を参照することができる。応用分野によっては、第3の座標である高度も必要とされる。GPS応用分野では、高度は、一般に、実際の地形の上ではなく、前述の地球を表す偏球面の上(又は下)の距離を示す。他の応用分野では、例えば所定の経路に沿った里程標又は側点に対応する位置(又は予定時間までも)が一次元座標系で表されることがある。
・時間
位置と同様に、時間を表すには多くの方法がある。多くのデータ処理応用分野において、時間は、何らかの時間スケールを使用して現在時刻と絶対基準時刻との時間差の数値表現として定義される。付加的な緯度及び経度情報を使用して、この数値表現から地方時間を計算することができる。
協定世界時(UTC)は、これらの発明で使用される時間スケールの一例となる最新の時間スケールである。UTC時間スケールは、きわめて安定した秒を画定し、また地球の自転に結びつけられたものである。秒は、セシウム133の基底状態の2つの超微細順位間の原子遷移によって生じる放射線の所定周期数の持続時間に関して規定される。更に、UTCシステムは、閏秒の追加により、地球の自転速度のずれに同期させられる。
・経路(path)
本書で使用するとき、「経路」は、(一般に、GPS、その他の無線サービス、及び/又は内部クロック又はカウンタからの)関連付けされた一連のタイムスタンプをそれぞれ有する(GPSその他からの、緯度、経度、及び/又は高度を含み得る)順序付けされた一連の隣接する位置を意味する。等価的に、「経路」は、一連の位置からの個々の位置に各々が関連付けされた一連の時間データと見なすことが可能である。
・「パス・エンハンスド」マルチメディア(PEM)
経路情報(例えば時間及び位置データ)とマルチメディアとの関連付けにより「パス・エンハンスド」マルチメディアが生成される。経路情報は、個々に記録されたマルチメディアファイルの記録間と記録中に移動した経路に関して記録される。換言すれば、経路情報は、マルチメディアが記録されたときと記録されなかったときの経路時間及び位置を含む。経路上の所与の1つのポイントに関連付けされた1つのマルチメディアファイルが、複数の瞬間に対応することができること、及び複数のマルチメディアファイルを同一ポイントに関連付けすることができることに留意されたい。
・経路(path)
本書で使用するとき、「経路」は、(一般に、GPS、その他の無線サービス、及び/又は内部クロック又はカウンタからの)関連付けされた一連のタイムスタンプをそれぞれ有する(GPSその他からの、緯度、経度、及び/又は高度を含み得る)順序付けされた一連の隣接する位置を意味する。等価的に、「経路」は、一連の位置からの個々の位置に各々が関連付けされた一連の時間データと見なすことが可能である。
・「パス・エンハンスド」マルチメディア(PEM)
経路情報(例えば時間及び位置データ)とマルチメディアとの関連付けにより「パス・エンハンスド」マルチメディアが生成される。経路情報は、個々に記録されたマルチメディアファイルの記録間と記録中に移動した経路に関して記録される。換言すれば、経路情報は、マルチメディアが記録されたときと記録されなかったときの経路時間及び位置を含む。経路上の所与の1つのポイントに関連付けされた1つのマルチメディアファイルが、複数の瞬間に対応することができること、及び複数のマルチメディアファイルを同一ポイントに関連付けすることができることに留意されたい。
「パス・エンハンスド」マルチメディア(PEM)の表示、修正、及びそれとの対話を行うシステム及び方法について説明する。該システム及び方法は、PEMデータの全て又は一部分が表示される態様を決定するPEMデータの全て又は一部の様々なタイプのビューを提供することに基づくものである。該システムによれば、PEMデータは、所定のデータ構造に従って記憶され、該データ構造は、マルチメディアデータとその対応する経路情報を含む「パス・エンハンスド」マルチメディア(PEM)データに対応する第1のデータオブジェクトと、PEMデータがシステムにより表示される態様を規定するビューに対応する情報を記憶する少なくとも1つの第2のオブジェクトとを含む。ユーザ制御は、ビューを選択するためのユーザ入力を受け取り、ビュー選択をレンダリング手段に提供する。これに応じて、該レンダリング手段は、ユーザ入力によるビュー選択に応じて第1及び第2のデータオブジェクトタイプを受け取り、選択されたビューに従ってPEMデータを表示させる表示データを生成する。他の実施形態では、本システム及び方法は、PEMの修正及びPEMとの対話を可能にするユーザ制御を提供する。
一般に、本発明は、記録された「パス・エンハンスド」マルチメディア(本書ではPEMと称す)の表示、修正、及びそれとの対話を行うシステム及び方法に関するものである。
図1は、第1の選択されたビューに従って表示されたPEMデータの一例を示している。本開示の目的上、「ビュー」は、PEMデータの集まりがユーザに対して表示装置上に如何に提示されるかを抽象的に示すものである。ビューはPEMデータの表現の構成を決定する。ビューは、PEMデータの表現を幾つかの態様で構成することができ、該態様には、地理によるもの(例えば「マップベースビュー」)、時間によるもの(例えば「カレンダベースビュー」)、メディアタイプによるもの(例えば「メディアリストビュー」)、及びこれらの組み合わせが含まれる。更に、各「タイプ」のビュー構成は、(本書で後述するように)特定の表現上の外観オプションを制御する「スタイル」パラメータにより限定することが可能である。例えば、マップベースビューでは、スタイルパラメータとして、背景マップの選択(例えばナビゲーションデータベースからの道路地図や航空写真)、描画される経路の滑らかさと太さ、及びマルチメディア捕捉位置を表すために使用するアイコンのスタイルが挙げられる。ビューはまた、PEMデータの集まりのサブセットを表示から除外することを可能にする。例えば、ビューは、全経路のうちの幾つかのサブセクション及び/又はマルチメディアの何らかのサブセットのみに表示を制限することがある。ビューはまた、PEMのうち1つ又は2つ以上の空間ウィンドウ内及び/又は時間ウィンドウ内にある部分だけに表示を制限することがある。任意の瞬間に、PEMデータのフルビューが表示上で見えなくなる場合があり、この場合、ユーザは、PEMデータの他の部分を見るために表示をスクロールし及び/又はズームする必要があることに注意されたい。換言すれば、抽象的な「ビュー」は、表示装置によりユーザの目に対して出力される物理的なビューとは異なる。
図1に示す実施形態では、ビューは、サンフランシスコの地図(マップ1)上に重ねられた、行楽客の旅行中に記録されたマルチメディアに対応するアイコン表現(3,4,5)を含む、マップベース表現を生成する。詳細には、行楽客は、経路(重ねられた経路2)をたどり、マルチメディアレコーダを使用して、関連する経路情報自体と共に、該経路2に沿って様々なマルチメディアファイル(重ねられたアイコン:ビデオ3、音声4、写真5)を捕捉している。これについては、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願で詳細に説明されている。ユーザインタフェイスにより表示されるPEMデータのこの地理ベースビューは、(本書で説明するような)様々なユーザ対話を可能にするものであり、例えば、対応する重ねられたアイコンをクリックすることにより記録されたマルチメディアを再生すること、パニングとズーミングによってマップを調べること、音声解説又は字幕を使って旅行に注釈をつけること、サードパーティ情報と追加メディアを使用して旅行表示を強化すること、及び経路及びマルチメディアデータを編集し修正すること等を可能にする。かかるユーザ対話は、例えば「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」と題する前述の同時係属特許出願に記載されているように、過去の旅行を再体験すること、近づきつつある旅行の予定をたてること、友人の旅行のコメントを共有すること、又は映画的表現を自動生成するシステムに入力する前に旅行データを編集することを含む、多くの異なる目的に役立ち得るものとなる。
一実施形態では、サードパーティサービスも使用して異なるタイプの特別な地図を提供することが可能であり、該地図上には、表示された旅行経路と関連する任意のマルチメディアアイコンとが重ねられる。一実施形態では、見る者は、下側に位置する地図の選択肢を動的に選択し検討することができる。例えば、サンフランシスコを訪れた旅行者の場合、彼が自分の旅行データをレイアウトしたい可能性のある地図は、サンフランシスコの衛星地図、地域名と境界を示す旅行者用地図、地域の歴史地図、又は(おそらくは利用可能なGIS技術(http://www.usgs.gov/research/gis/title.htmlを参照)を使用した)サンフランシスコのディジタル立面地図と市街地図との組み合わせを含むことが可能である。
図2は、本発明による第2の特定のビューに従って表示されたPEMデータの第2の例を示す。このビューでは、PEMは時間的な関係に従って表示されており、これにより、人の経験を追体験するもう1つの方法が提供される。このビューは、旅行が同一の小さい地理的領域内に多数の経路を含む場合に有用となり得るものである。図2に示すように、旅行に関する情報は、各曜日6を別個の列としたカレンダベース形式1Aで表示されており、各メディアファイル(3,4,5)は時間7と関連付けされている。該カレンダ内の各エントリは、複数タイプのマルチメディア(例えば、静止画像、ビデオ画像、音声など)のうちの1つをリストアップすることができ、また該リストアップされた各マルチメディアの持続時間を示すことができる。カレンダエントリ内の地名は、本出願人による「System and Method for Creation of Video Annotations」と題する同時係属中の米国特許出願第10/426,775号に記載されているように、地理座標を地名と関連付けするデータベースを使用することによって経路データから自動的に抽出することができる。一実施形態では、カレンダ上に表示されるメディアタイプ、時間、キーワード、又はその他のオプションをユーザが(例えばユーザインタフェイスを介して)動的に選択できることが好ましい。このタイプのビューは、PEMの時間指向の照会/探索(例えば、「水曜日に録った全ての音声解説を聞かせてください」、「旅行後に作成した解説を見せてください」、又は「私がユニオンスクエアを訪れた全てのときの写真を見せてください」等)を実行するために使用することが可能である。経路上の所定のポイント(すなわち指定した時点)と関連付けされた1つのメディアファイルが、複数の瞬間(例えば6分間の音声解説4)に対応することが可能であること、及び複数のメディアファイル(8,9)を同じポイントに関連付けすることが可能であることに注意されたい。
地理的又は時間的に構成されたビュー以外のタイプのビューも意図されている。例えば、PEMデータは、マルチメディアコンテンツのタイプによって構成することが可能であり、例えば、音声記録用の列や静止写真用の列などを有する表において、その各列内のエントリをその関連付けされた時間及び/又は位置により構成することが可能である。
本発明によれば、ビューは、PEMデータの全て又は一部を表示することが可能である。例えば、表示されるマルチメディアアイコンを、特定の期間内にあるもの、又は特定の地理領域内にあるもの、又は「お気に入り」、「未編集」、「個人用」などの特定の関連する属性を有するマルチメディアファイルに限定することができる。
ビューで提示されるPEMには、後に、例えば、注釈データ、マルチメディアデータ、補助データ(例えば気温や高度)を含む追加データを補足することができる。PEMデータを補足するための様々な技術がある。
補足する注釈データには、例えば、旅行又は撮影した個々の写真のための文字ラベルや、特定の写真やビデオを捕捉している間に抱いた考えの記憶の音声記録がある。これらの注釈は、注釈付きのPEMデータのシームレスなブラウジング、編集、及び表示を可能にするように、オリジナルのPEMデータを記憶するデータ構造内に一体化させることができる。この実施形態によれば、PEMデータ構造内に一体化された注釈データには、後で示すように、後の注釈をオリジナルのPEMデータと明確に区別する標識がタグ付けされることが好ましい。そのような標識は、後の編集と探索にとって有用なものとなる。
補足するマルチメディアデータは、ユーザがマニュアルでファイルを選択する(例えばファイルシステム用のブラウザインタフェイスまたはそれと同様のユーザインタフェイスを介してデータベース内のファイルを手作業で探して該ファイルを選択する)ことによりPEMデータのビューに追加することができる。代替的には、PEM内の経路の時間及び位置情報が該PEMに関連する補足マルチメディアの探索を容易にすることができる。補足マルチメディアは、サードパーティサービスから得られるストックマルチメディア(すなわち、インターネットやエクストラネット接続により入手可能であることが多い容易に入手可能な既存のマルチメディア)とすることが可能であり、また、近くの会場で行われたコンサート又はスピーチ、又は訪れたが記録が許可されなかった場所の専門家が撮影した写真又はビデオ、又は見る人が興味を持ち得る他の「地理参照」(すなわち地理的情報によって符号化又は関連付けされた)マルチメディアデータといったマルチメディアを含むことが可能である。旅行の一部で天気又は照明がよくなかった場合には、かかる技術を使用して、当初の写真及びビデオを、もっとよい天気、異なる季節、又は異なる時刻に撮影された専門家のストック写真及びビデオに置き換えることができる。一実施形態では、補足マルチメディアは、当初のPEMデータ構造に追加されたときに補足物として識別できるようにタグ付けすることによってシームレスに一体化される。更に、補足マルチメディアは、PEMの最初に記録されたマルチメディアと同じように、時間及び場所データがタグ付けされる。具体的には、挿入されたマルチメディアファイルは、1)そのマルチメディアファイルが作成された実際の時間及び位置(又は実際の時間及び/又は位置が入手不能であるという標識)と、2)旅行に関して表示されるオリジナル経路及びマルチメディアデータに対する時間的及び地理的関係を決定する仮想的な時間及び位置とを詳しく示すデータフィールドによりタグ付けされることが好ましい。
PEMのビューはまた、様々な他のタイプの地理ベースのデータベース及びサービスから得ることができる非マルチメディアの補助データによって補足することができる。例えば、旅行の表示は、ビュー内に表示された旅行経路に沿った様々なポイント(すなわち経路の時間と位置)における気温、高度、又は歴史データを詳述する文字ラベル(又は合成音声)によって補足される。同様に、データ捕捉とほぼ同じ時間と場所で生じるローカルニュースのヘッドラインイベントを表すアイコンをPEMの表示中のビューに追加し、これにより、該アイコンを選択したときにそのヘッドラインに関するニュース記事が表示され又は(合成音声により)読み上げられるようにすることが可能である。
PEMのビューはまた、最新の情報及びコンテンツを含むよう動的に補足/更新することが可能であり、これにより、PEMの表示中のビューとの対話及びその参照により、以前の旅行(すなわち前に記録されたPEM)に関する新たな情報を公表することが可能となる。例えば、3年前の休暇の記録内容を、サードパーティデータベースから最新ストックのマルチメディア情報と非マルチメディア情報(位置により索引付けされていることが好ましいが必須ではない)によって自動的に豊かなものとすることができる。この実施形態によれば、このタイプのビューとの対話を可能にするインタフェイスは、「私が訪れた場所は現在どうなっているのか」、「どのように発展したか」、「私が滞在したホテルはまだ営業しているのか」、及び「そのホテルの現在の料金は」などの照会/探索を可能にする。一実施形態では、表示された経路の近くのロケーションから発せられるリアルタイムマルチメディアのインターネット対応ソース(ライブカメラなど)へのリンクを含めることができる。
別の実施形態では、(おそらくは補足的なストック音声及び画像だけを使用して)想像上の旅行又は予定している未来の休暇に対応する仮想経路をビュー内に規定することができる。補足マルチメディアは、仮想経路に沿った補足マルチメディアコンテンツの順序と地理的位置の制御を可能にする地理ベース(例えば経路指向)のユーザインタフェイスによって構成することができる。この仮想経路インタフェイスは、特に前述のように動的に更新される最新の地理ベースデータ及びマルチメディアコンテンツに仮想経路及び地図がリンクされている場合に、予定している旅行の計画を立てるのに役立つ。
PEMデータは、PEMの経路情報の全て又は特定の区分ならびにPEMのマルチメディアデータの一部に対するアクセスを制限するセキュリティ属性を有することが可能であり、これにより、電子メール、CD-ROM、インターネット、その他の類似の配布手段によりデータが共有される場合のデータアクセスの制御が容易となる。
本開示のPEM技術はまた、休暇の思い出を共有する他、消費者用途及び業務用途に利用することが可能であることを理解されたい。例えば、本PEM技術は、地質学又は生物学の偵察遠征などの科学探査任務に携わる人々にとって、探検家が発見したものの豊富なマルチメディア記録を作成すること、及びその文書を容易に閲覧し他の人と共有できる形式へと編集するプロセスを単純化させることを望む場合に有用なものである。本PEM技術はまた、記事の資料を収集する報道チーム、現場で証拠を文書化する法執行官又は個人投資家、偵察任務中の軍隊の隊員、建築場所を分析する測量士と建設作業員、及び販売する家のマルチメディアマップベース表現を作成したい不動産業者にとって有用なツールとなろう。
前述の機能に従ってPEMデータを表示し対話する例示的なシステムを図3に示す。詳細には、図3に示したシステムは、前述のようなビューによりディスプレイ上のPEMデータの描画を容易にする。一実施形態によれば、このシステムは、スクラップブックオブジェクト10、デフォルトビュー生成手段20、レンダリング手段22、ディスプレイ26、及びユーザ制御手段28を含む。システムは、随意選択的に、経路プロセッサ18、PEMデータベース12、地理参照情報データベース34、計算ジオメトリエンジン36、データベースアップロード37を含む。
一般に、システムは、スクラップブックオブジェクト10の作成を考慮したものであり、PEM情報を表示、ブラウズ、編集、及び強化するための方法を実施するものである。この実施形態によれば、PEMデータ及びデフォルトビューデータが、デフォルトビュー生成ブロック20から受け取られ、本書で後述するようにスクラップブックオブジェクト10により所定のデータ構造で記憶される。好ましい実施形態では、ブロック20は、「マップ」、「カレンダ」、及び「メディアタイプ」のタイプを有するデフォルトビューを生成する。例えば、デフォルトのマップベースビューは以下のステップにより生成される。
1)時間及び位置の情報38が、スクラップブックオブジェクト10から、PEMデータの空間的な境界ボックスを計算する計算ジオメトリエンジン36に送られる。
2)この境界ボックスに基づくクエリ40が、計算ジオメトリエンジン36によって、位置により構成されたマップを含むデータベース34に送られる。
3)マップ情報は、クエリ応答44において計算ジオメトリエンジン36に戻される。
4)計算ジオメトリエンジン36は、このクエリ応答をフィルタリングして、PEMデータの空間的な境界ボックスをカバーするのに十分なサイズであってPEMデータがマップの小さな部分のみを占めるようなサイズのマップ情報を含むようにする。
5)フィルタリングされたマップ情報は、フィルタリングされたクエリ応答48としてスクラップブックオブジェクト10に返されてデフォルトのマップベースビューで使用される。
1)時間及び位置の情報38が、スクラップブックオブジェクト10から、PEMデータの空間的な境界ボックスを計算する計算ジオメトリエンジン36に送られる。
2)この境界ボックスに基づくクエリ40が、計算ジオメトリエンジン36によって、位置により構成されたマップを含むデータベース34に送られる。
3)マップ情報は、クエリ応答44において計算ジオメトリエンジン36に戻される。
4)計算ジオメトリエンジン36は、このクエリ応答をフィルタリングして、PEMデータの空間的な境界ボックスをカバーするのに十分なサイズであってPEMデータがマップの小さな部分のみを占めるようなサイズのマップ情報を含むようにする。
5)フィルタリングされたマップ情報は、フィルタリングされたクエリ応答48としてスクラップブックオブジェクト10に返されてデフォルトのマップベースビューで使用される。
デフォルトのカレンダベースビューは、PEM内のデータと関連付けされた全ての時間を含む一定範囲の日付及び時刻を示し、位置座標を地名に関連付けするデータベース34から取り出された地名を有するエントリを有する。該地名は、マップ情報に関して上述したものと同様にしてデータベースから取り出されるが、異なる境界ボックス領域について名前を取り出すために異なるクエリが使用される場合がある点、及びクエリで地名を返すためにマップ情報ではなく地名のデータベースが使用される点でそれとは異なる。
また、メディアタイプによって構成されたデフォルトビューは、PEMと関連付けされた各タイプのマルチメディア毎に1つのセクションを含むよう生成される。デフォルトのカレンダベースビューの場合、地名を地理座標に関連付けするデータベースのクエリを介して、このビュー内の異なるマルチメディアエントリに地名を関連付けすることができる。かかるクエリ40を生成するために、マルチメディア及び/又はその近くの経路に関連する時間及び位置データ38が計算ジオメトリエンジン36によって使用される。
各タイプのデフォルトビュー毎に、該ビューのためのレイアウトと表現の嗜好を指定するために一組のデフォルトのスタイルパラメータが使用される。また、「隠し」や「個人用」として指定されたものやシステムへのPEMデータの入力に先立って同様に保護されるものを除き、全てのデフォルトビューについて、全ての経路、マルチメディア、及びPEM内の他のデータが、該ビュー内に含まれるよう指定され、これにより、全てのPEMデータの表現がレンダリング手段22により(可能であれば)生成されるようになる。
データ構造は、異なるビュータイプによるPEMデータの表示を容易にする。加えて、該データ構造は、PEMデータの探索及び修正を容易にする。ユーザは、ユーザ制御手段28を使用してビューのタイプを選択し、ビュー選択信号24をレンダリング手段22に提供させる。該信号24に応じて、PEM及びビューデータがレンダリング手段22に送られる。レンダリング手段22は次いで、ディスプレイ26を駆動するためのデータを生成する。該ディスプレイ26は、選択されたビューに従ってグラフィカルユーザインタフェイス(GUI)を介してPEMデータを表示する。一実施形態では、ビュー選択24は、マップベースビュー、カレンダベースビュー、又はテーブルベースビュー(ビデオの数やビデオの長さなど)を含む(但しこれらには限定されない)複数の考え得るタイプのビューの中からの選択を可能にする。ビュー選択24はまた、ビュー内にどのデータを表示するかを選択するユーザ制御を提供することができる。例えば、選択されたビューに従って、限られた時間及び/又は空間内のマルチメディアのみ、又はPEMデータのうち「お気に入り」などの特別な名前又はラベルが付けられたサブセットに対応するマルチメディアのみを表示することができる。
図3に示したシステムに提供される当初に記録されたPEMデータは、同時係属中の米国特許出願第10/427,614号に記載されているようなPEM記録装置から、又はストレージデバイス(例えばCDディスク)といった任意の他のソースから提供できることに留意されたい。しかし、PEMデータはまた、他の装置ソースにより、又は複数の記録装置の組み合わせにより生成することが可能であり、又は人為的な手段により(例えば、コンピュータマウスを使ってマップ上に手作業で経路を描くことにより、又は経路情報をコンピュータキーボードによりタイプ入力すると共に該経路に沿った複数のポイントに関連付けすべきマルチメディアファイルを手動選択することにより)完全に又は部分的に生成することが可能である。一般に、PEMデータは、1)本質的に連続してサンプリングされ記録された経路時間及び位置データ(すなわち経路情報)と、2)記録されたマルチメディアデータとを含む、2つのタイプのデータと考えることができる。そのような2つのタイプのデータは、本書で説明するように、データ構造全体内に組み込まれたポインタにより互いに関連付けされる。
一実施形態では、PEMデータの経路時間データ部分は、協定世界時(UTC)などの何らかの既知の時間基準システムにおけるカレンダ日付及び時間の両方を含むことができる。またPEMデータの経路位置データ部分は、地球の表面全体にわたる何らかの座標系(標準的な緯度と経度の座標系など)における二次元座標を含むことができるが、海抜、記録装置の方位情報、及び他のタイプの連続してサンプリングされたセンサデータを含むこともできる。写真又はビデオメディアが記録されるとき、経路位置及び方位データは、マルチメディアが捕捉された場所だけでなく、その捕捉時にレコーダから見た空間領域も示すことができる。この領域は、装置の位置及び方位と組み合わせてレコーダの焦点距離及び撮像子サイズから計算されたレコーダの視野(FOV)によって近似的に決定することができ、装置の方位は、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願においてより詳細に説明されているように、記録装置に埋め込まれた磁石及び傾斜計から決定されることが好ましい。
一実施形態では、経路プロセッサ18は、スクラップブックオブジェクト10に提供する前に、受け取ったPEMデータ内の経路情報を処理し改善する。例えば、経路を滑らかにして空間ジッタ(例えばGPSレシーバにおけるマルチパス信号干渉によるもの)を除去し、実測位置データを利用できない領域内の経路を補間し、経路を単純化して小さい折り返しや蛇行(おそらく人が少し引き返したり又はぶらぶら歩いた場合)を除去し、及び/又はマップの重畳表現を改善するために経路を重複しない部分に分離させることができる。経路プロセッサ18はまた、「4時間で6マイル移動」や「平均速度=時速2マイル」といった事実を記述する「旅行の概要」ウィンドウ上のメモ書きといった、ユーザに表示するために提示される旅行の統計を計算することが可能である。
経路プロセッサ18はまた、PEMデータ内の経路情報を分析して、該PEMデータの記録中に経路に沿って生じたイベントを識別するよう機能することも可能である。例えば、経路プロセッサ18は、例えば「信号強度」の分析を介して又は位置及び時間差から導出した速度に基づく計算を介して、移動経路に沿った「滞在ポイント」及び/又は「屋内の場所」を検出することが可能である。検出した「滞在ポイント」及び「屋内の場所」は、スクラップブックオブジェクト10のデータ構造内にタグ付けされ、PEMの表現のオプション層を自動的に生成するために使用することが可能である。例えば、PEMデータが記録装置からシステムに送られた後、経路プロセッサ18は、所定の長さの時間にわたり移動速度がほぼゼロであった場所として「滞在」を見つけることができる。後述するように、PEMデータが表示されるとき、特別なアイコンを挿入してそのような滞在が行われた場所を示すことができる。更に、旅行の表示を強化するために、後にそのような滞在の位置を使用してPEMデータ内の情報を探索する基準を構成することができる。例えば、ユーザは、所定期間にわたり滞在したと思われる位置の近くのストック写真をサードパーティデータベースから探したい場合がある。
スクラップブックオブジェクト10のデータ構造
スクラップブックオブジェクト10は、図4A及び図4Bに示し、以下で一層詳細に説明し及び「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されているようなデータ構造として実施される。図4A及び図4Bが該出願におけるデータ構造の一部しか示していないことに留意されたい。更に、本書での取り決めによれば、矢印は、埋め込みデータ構造へのポインタを示し、一対の山括弧は、示されたタイプのデータ構造の考え得るリストを示し、一対の丸括弧は、再帰的なデータ構造を示し、アスタリスクは、オプションフィールドを示していることに注意されたい。
スクラップブックオブジェクト10のデータ構造
スクラップブックオブジェクト10は、図4A及び図4Bに示し、以下で一層詳細に説明し及び「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されているようなデータ構造として実施される。図4A及び図4Bが該出願におけるデータ構造の一部しか示していないことに留意されたい。更に、本書での取り決めによれば、矢印は、埋め込みデータ構造へのポインタを示し、一対の山括弧は、示されたタイプのデータ構造の考え得るリストを示し、一対の丸括弧は、再帰的なデータ構造を示し、アスタリスクは、オプションフィールドを示していることに注意されたい。
スクラップブックオブジェクト10のデータ構造は、2つの主構成要素又はデータオブジェクト、すなわち、1)パス・エンハンスド・マルチメディア(PEM)データファイル200と、2)1つ又は2つ以上のビュー202とを含み、その各ビュー202は、ディスプレイにPEMデータを描画するStyle(スタイル)204を記述し、またPEM200内の経路及び/又はマルチメディアデータのうち該特定の描画に含めるべき部分を指定する。各PEM200は、記録されたGeoTemporalAnchor(地理時間的アンカー)208(本書ではAnchor(アンカー)と省略する場合がある)及びそれと関連するメディアファイル206の2つの基本構成要素を(該PEM200のSegment(区分)リスト232を介して間接的に)含む。各GeoTemporalAnchor208は、関連するTime(時間)210において信頼できる測定値が得られている場合には、Time210(すなわち経路時間データ)だけでなくオプションのLocation(位置)214を含むことができる。各GeoTemporalAnchor208はまた、PEMを記録する時にTime210及びLocation214と同じように実質的に連続してサンプリングされ記録されるElevation(高度)216、Orientation(方位)218、Tilt(傾斜)220、及びTemperature(温度)222などの様々なタイプの補助センサデータを記憶するフィールドを含むことが可能である。各GeoTemporalAnchor208はまた、特定のメディアファイル206へのポインタ212を含むことが可能であるが、代替的な実施形態では、MediaFile及びGeoTemporalAnchorを組み合わせて単一のオブジェクト(メディアファイル206の従来のファイル形式の使用を除くことが可能)にすることが可能であり、又は別個のリンクテーブルにより関連付けを行うことが可能である。各メディアファイル206は一般に、音声ストリーム(例えばMP3形式)、静止画像(例えばJPEG形式)、ビデオストリーム(例えばMPEG形式)を表すデータファイルである。しかし、他のタイプのマルチメディアが意図されている。
GeoTemporalAnchor208は、オプションのブールフラグであるModified(修正済み)224を含むことができる。「真」にセットされた場合、このフラグは、関連付けされたGeoTemporalAnchorが当初に記録されたPEMデータではなくPEM記録後に作成され又は修正されたものであることを示す。そのような修正されたGeoTemporalAnchorは、全く架空の仮想経路又は経路区分、他の当初のPEM経路データを補間又は平滑化することによって得られた復元経路区分、又は当初に記録されたものから時間及び/又は位置が移動された編集された当初の経路又は経路区分の一部とすることが可能である。Modifiedフラグはまた、「パス・エンハンスド」マルチメディアデータをユーザが編集している間に、メディアファイル206や他の補足データが関連付けされたGeoTemporalAnchor208に添付され又は削除されたとき、又はGeoTemporalAnchor208に関連付けされた補足データが修正された場合に「真」にセットされることが好ましい。このため、所定の経路ポイントについてPEMデータに追加データが補足された場合には、Modifiedフラグを「真」にセットすることにより該経路ポイントがタグ付けされる。更に、当初のデータが修正された場合に該フラグが「真」にセットされる。
単一の経路は、GeoTemporalAnchor208へのポインタ230のリストを含む区分226データ構造によって規定することが可能である。また、区分データ構造226内のHeader(ヘッダ)228は、描画スタイル、アクセス制限、及び他の属性(例えば、「Favorite(お気に入り)」、「Tentative(お試し)」など)を経路に関連付けすることを可能にする。しかし、ユーザが異なる属性を経路の異なる部分に関連付けすることを望み得ること、(おそらくは異なる旅行及び/又は異なる旅行者に対応する)幾つかの別個の経路を、同じ記録装置により記録すること、又は表示、共有、及び編集のために共通のPEMデータセット内に含めること、が意図されている。このため、区分データ構造226は、必要に応じて、完全な経路の一部のみ、又は組み合わされたデータセット内の幾つかの別個の経路のうちの1つのみを表すことができるものと見なされる。一連の幾つかの関連する区分226(例えば特定のユーザにより記録された単一経路の複数部分)は、区分データ構造226内の再帰的な{Segment}ポインタ234によって接続することが可能であり、これにより、完全な経路内の1つのSegmentから次のSegmentへのシーケンスが画定される。また、異なる複数のかかるSegmentシーケンス(おそらくは異なる作成者によるもの及び/又は同じ場所に対する異なる訪問について記録されたもの)をリスト232により単一のPEM200に含めることが可能である。
各GeoTemporalAnchor208が関連する任意のメディアファイル206へのポインタ212を含むことが可能であるため、PEM200とそのメディアファイル206との間には間接的な関連付けが存在する。しかし、PEMのSegment232内のGeoTemporalAnchorに関連付けされたMediaFileへのポインタの明示的なリスト236をPEMデータ構造200内に随意選択的に含めることにより、PEMに関連付けされた一組の完全なマルチメディアファイルは、探索及び/又は修正に一層適したものとなる。
一実施形態では、PEM200、区分226、及びメディアファイル206の階層的データ構造は、異なるレベルの所有権及びアクセス権を異なるデータ要素に関連付けすることを容易にする。例えば、異なるPEM200は、各PEM200毎のHeader238に反映されるように、異なる作成者により作成され、異なるユーザにより所有され、又は異なる旅行に属することが可能である。同様に、同じPEM200の各区分226は、個々のSegment Header228に反映されるように、同じ旅行の一部であると同時に異なるユーザに属することが可能である。また、特定のPEM200内の各メディアファイル206は、その関連するMediaFile Header240内に反映されるように異なる作成者を有することが可能である。
所与の1つのPEM200データ構造に複数のビュー202を関連付けすることが可能である。特定のビュー202は、同じPEMデータを描画する特定のスタイル(例えば、マップベースビュー、カレンダベースビュー、メディアタイプベースビュー)を規定するだけでなく、旅行の1つ又は2つ以上の異なる時間又は空間部分(例えば、指定された地理的境界内又は1つ又は2つ以上の時間間隔内のもの)に描画を制限することもでき、またメディアの表示をPEMに含まれるサブセット(例えば「お気に入り」としてマークされたもの)に制限することもできる。各ビュー202は、次の要素のうちの一部又は全てを含む。
・Type242:例えば、「マップ」、「カレンダ」、又は「メディアタイプ」。
・Map244:PEMデータの表示が重ねられるマップ252データに対する随意選択的なポインタ。
・Style204:タグを値に関連付けするタプルのリスト。PEMデータの表示方法を記述する。
・246:関連付けされた時間スタンプによる、PEMのうちこのビューに表示されることになる部分のリスト。
・248:PEMのこのビューに描画されるべきMediaFileへのポインタのリスト。
・MediaChk(メディアチェック)250:MediaFile Header238内のName(名前)及び/又はFormat(形式)フィールドに基づき、このビューで特定のメディアファイル206を描画するか否かを決定する規則。
・PermissionChk252:Segment Header228及び/又は関連したMediaFile Header240のPermissionsフィールドに基づいて特定の区分226と任意の関連したメディアファイル206を描画するか否かを決定する規則。
・Type242:例えば、「マップ」、「カレンダ」、又は「メディアタイプ」。
・Map244:PEMデータの表示が重ねられるマップ252データに対する随意選択的なポインタ。
・Style204:タグを値に関連付けするタプルのリスト。PEMデータの表示方法を記述する。
・246:関連付けされた時間スタンプによる、PEMのうちこのビューに表示されることになる部分のリスト。
・248:PEMのこのビューに描画されるべきMediaFileへのポインタのリスト。
・MediaChk(メディアチェック)250:MediaFile Header238内のName(名前)及び/又はFormat(形式)フィールドに基づき、このビューで特定のメディアファイル206を描画するか否かを決定する規則。
・PermissionChk252:Segment Header228及び/又は関連したMediaFile Header240のPermissionsフィールドに基づいて特定の区分226と任意の関連したメディアファイル206を描画するか否かを決定する規則。
オプションの要素TimeInterval、MediaFile、MediaChk、及びPermissionChkについて、デフォルトはALL(すなわち全てのアイテムを描画する)である。
マップベースビューでは、経路及びマルチメディアデータがマップ画像上に重ねられる。マップデータ構造252は、描画すべきマップ画像とその描画方法とを記述する。マップデータ構造252はまた、PEMのコンテキストとは無関係に、MediaFileや他の情報に関連付けすることが可能である。マップデータ構造252は次の要素を含むことができる。
・Image254:画像、ベクトル、又は他の形式のマップデータ自体、又は適当なMediaFileへのポインタのみ。
・TransformType256:PEM経路内の位置を示す大域座標系と位置合わせするためにマップ画像データを変形させる手順。
・258:前記変形に使用されるパラメータ。
・LandAreaDelimiter(LAD)260:変形させたマップの表示部分をPEM座標系内の所定の領域に制限する。
・262:メディアファイル206や他のオプション情報(温度など)をマップ252に直接関連付けし、及び必要とされるTime210、Location214、又は他の記述上のデータを提供する。
・Image254:画像、ベクトル、又は他の形式のマップデータ自体、又は適当なMediaFileへのポインタのみ。
・TransformType256:PEM経路内の位置を示す大域座標系と位置合わせするためにマップ画像データを変形させる手順。
・258:前記変形に使用されるパラメータ。
・LandAreaDelimiter(LAD)260:変形させたマップの表示部分をPEM座標系内の所定の領域に制限する。
・262:メディアファイル206や他のオプション情報(温度など)をマップ252に直接関連付けし、及び必要とされるTime210、Location214、又は他の記述上のデータを提供する。
時間間隔264は、StartTime266及びEndTime268を規定し、これにより、特定のビュー202についてのそれらのリスト246が、PEM経路のうちビュー内に表示されることになる部分の時間ウィンドウが規定される。LandAreaDelirniter(LAD)270は、地球のある部分の境界を2D座標系で規定する。緯度方向の線及び経度方向の線と位置合わせされた複数の部分に地球をモザイク状に分割する実施形態では、LADは次の構造を有する可能性がある。
・Center272:矩形の中心の緯度及び経度の位置。
・Width274:経度方向の範囲。
・Height276:緯度方向の範囲。
・Center272:矩形の中心の緯度及び経度の位置。
・Width274:経度方向の範囲。
・Height276:緯度方向の範囲。
ビューType242が「Map」に設定される場合、例示的なStyleタグ204は次のものを含む。
・MapOrigin:何らかの2Dワールド座標系におけるマップの左上角の位置。
・MapScale:2Dワールド座標系でのマップのスケール。
・IconStyle:メディアを表すアイコンの描画方法。例えば、値「サムネイル」を有するIconStyleタグは、画像及びビデオを、メディアコンテンツを表す小さい画像で表現すべきことを示し、タグ値「数値」は、メディアファイルをボックス内に数字としてその捕捉順に描画することを示す。
・IconMapScaleParams:IconStyleと共に、個々のメディアを表す複数のアイコンを一組のメディアを表す合成アイコンへと一体化させるときを決定する一組のマップスケール規則。
・DurationStyle:ビデオや音声といった個々の非瞬時のマルチメディアの持続時間の表示方法。例えば、値「開始/停止」を有するDurationStyleタグは、ビデオ記録の始まる時点と終わる時点で経路に別々のアイコンを添付することを指示することが可能である。タグ値「経過」は、関連するアイコンが記録の長さの数値表示を含むことを指示することが可能であり、タグ値「区分」は、記録が行われている間の経路区分が区別できるようにマークされることを指示することが可能である。
・MapOrigin:何らかの2Dワールド座標系におけるマップの左上角の位置。
・MapScale:2Dワールド座標系でのマップのスケール。
・IconStyle:メディアを表すアイコンの描画方法。例えば、値「サムネイル」を有するIconStyleタグは、画像及びビデオを、メディアコンテンツを表す小さい画像で表現すべきことを示し、タグ値「数値」は、メディアファイルをボックス内に数字としてその捕捉順に描画することを示す。
・IconMapScaleParams:IconStyleと共に、個々のメディアを表す複数のアイコンを一組のメディアを表す合成アイコンへと一体化させるときを決定する一組のマップスケール規則。
・DurationStyle:ビデオや音声といった個々の非瞬時のマルチメディアの持続時間の表示方法。例えば、値「開始/停止」を有するDurationStyleタグは、ビデオ記録の始まる時点と終わる時点で経路に別々のアイコンを添付することを指示することが可能である。タグ値「経過」は、関連するアイコンが記録の長さの数値表示を含むことを指示することが可能であり、タグ値「区分」は、記録が行われている間の経路区分が区別できるようにマークされることを指示することが可能である。
前述のように、ビューデータ構造202は、マップベースビューの場合には、経路情報を描画するための適当なマップへのポインタと、マルチメディアが捕捉された位置を表すアイコンとを含む。生のマップデータは、随意選択的に、表示されるPEMデータ200が見やすくて正確な態様で重なるよう完全なマップのクロッピング及び位置合わせを行うのに必要なマップ境界及び/又はジオメトリ変換情報を伴う。図3を参照すると、レンダリング手段22は、PEM経路のうちビュー選択信号24によって指定された部分を、ビューデータ構造202内のStyleパラメータ204により指定することが可能な幾つかのスタイルのうちの何れかで描画することが可能である。1つの例示的なマップスタイルでは、レンダリング手段22は、単純に、表示すべき全てのGeoTemporalAnchor208に対応するマップ位置を時間順に結ぶ線を描画する。代替的に、経路プロセッサ18が、スプライン、曲線、又は他の幾何学要素に関して経路の表現を計算している場合には、レンダリング手段22は、それらの各要素をPEMデータの表示ビューに描画することになる。
レンダリング手段22は、マルチメディアファイルの捕捉位置に対応するマップ位置を、ビューStyleパラメータ204により指定することが可能な幾つかのスタイルのうち何れでも示すことができる。図1に示した例示的なマップスタイルでは、マルチメディアファイルのタイプ(例えば、ビデオ、音声、又は写真)を示すアイコン5は、ビュー内に表示すべき各マルチメディアファイルに関連付けされた捕捉位置においてマップ上に表示される。代替的に、マルチメディア捕捉位置は、ビューStyleパラメータ204に依存して、文字注釈、数値アイコン、サムネイル画像(視覚的なメディアの場合)によって示すことも可能であり、又は他の方法により示すことも可能である。
写真やビデオなどの視覚的なマルチメディアの場合、捕捉時にカメラから見た空間領域(すなわち、その「視野」)は、ビューStyleパラメータ204により指定することが可能な様々な方法の何れでも描画することが可能である。1つの例示的なスタイルでは、マップの平面におけるカメラ視野の空間的な範囲は、マルチメディアアイコンの位置から出る色付き領域又は影付き領域によって示される。代替的には、図5Aに示すように、マルチメディアアイコンの位置から出る矢印を使用して、マップの平面内にカメラ視野の中心軸を示すことができる。図5Aに示すように、視野データは、マップ1上ではマルチメディアアイコン5に矢印を付けることにより象徴的に示され、該矢印の方向はカメラの磁石方向を示し、矢印の長さはおよその焦点を示す。例えば、長い矢印52aは、カメラが遠くの物体に焦点を結んだ遠距離設定を示し、短い矢印52bは、カメラが近くの物体に焦点を結んだクローズアップ設定を示している。カメラの傾斜角は、随意選択的に、描かれた領域又は矢印の色又は影を選択することにより示すことが可能である。例えば、アイコンにおける視野矢印又は領域の影がアンカーポイントから遠くなるほど濃くなる場合には、カメラが上向きであることを示し、アイコンからの距離が遠くなるほど影が薄くなる場合には、カメラの傾きが下向きであることを示すことが可能である。視野が矢印で表される場合、地面に対するカメラの傾斜角を示すもう1つの方法は、矢印の太さを、カメラの位置から矢印の先端に向かって、カメラの上向きの程度に比例して太くすることである。視野が2D形状として表される場合、カメラの傾斜角を表すもう1つの方法は、傾きの方向を示すように影を描き、カメラがマップに対して傾いているかのように2D形状を描画することである。ビデオメディアの場合、視野は、ビデオの多数の個々のフレームについての視野の描画の全てを結合したもの、又はその何からの近似若しくは境界をなす外皮として表すことが可能である。更にもう1つの考え得るビューStyle204では、視野その他の関連情報は、単純な文字注釈により表すことが可能である。視野を示すための他の方法は、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願において説明され図示されている。
スクラップブックオブジェクトを表示し、修正し、及び該オブジェクトと対話するためのユーザインタフェイスの一実施形態を図5に示す。これは4つのウィンドウからなる。第1のウィンドウ52は、マップ2'上に重ねられた経路1'とマルチメディアアイコン5'とを含む。この第1のウィンドウ内で、ユーザは、1)描画されたPEMデータをウィンドウをスクロール又はズームすることによって探し、2)該ユーザが再生したいマルチメディアのアイコンを(例えばコンピュータマウスでダブルクリックすることにより)選択し、3)経路情報を図形的に編集し、4)「地理参照データベース」からの関連するデータに関する地理的時間的なクエリを生成し、及び、5)多数の他のマップベースの対話を実行することが可能である。前述のように、表示されたアイコンがカメラの視野の表示を含む場合には、編集者は、一連の個々のマルチメディアファイルの削除又は変更によってカメラの向き又は焦点に突然の潜在的に不快な変化が生じるか否かを確認することができる。第2のウィンドウ54は、「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」と題する上記引用の同時係属中の米国特許出願に詳細に示されているように、スクラップブックオブジェクト10から生成された映画に似た「表現」を再生するツールを提供する。第3のウィンドウ56は、現在選択されているマルチメディアのリストを示し、マルチメディア属性を編集するために使用することができる。第4のウィンドウ58は、マルチメディアプレーヤである。
図3を参照すると、ユーザ制御手段28は、PEMデータの表示、修正、及び対話を容易にするためのユーザ入力、並びにPEMデータの表示対象となるビューを受け取るよう機能する。ユーザ入力は、キーボード、マウス、タッチセンサ式表示画面などのユーザインタフェイスを介してユーザ制御手段28により受け取ることができる。一実施形態では、ユーザ制御手段28は、描画すべきPEM200のビュー202を選択するために、ユーザ入力から生成された信号、すなわちビュー選択24を提供する。ユーザ制御手段28は、ユーザが、時間、位置又はマルチメディアカテゴリ情報に従ってビューによって表示されたマルチメディア及び/又は経路データの一部分だけを示すように、PEMデータのビューをカスタマイズすることを可能にする。更に、PEMデータのマップベースビューの場合、制御手段28は、ユーザがマップを空間的にズームするかスクロールすることを可能にする。一般に、ユーザ制御手段28によって提供されるこのインタフェイスは、アイコンを選択してマルチメディアの再生を開始させこと、選択したマルチメディアの再生を制御(音声及びビデオメディアの早送り、停止、巻き戻しなど)すること、マルチメディア編集機能(写真のクロッピングや色調整など)を実行することを含む、表示されたビューとのユーザ対話を容易にする。
更に、ユーザ制御手段28は、スクラップブックオブジェクト10の様々な修正方法を可能にする。例えば、図3を参照すると、ユーザ制御手段28を介したユーザ入力に従って、編集30信号が生成されてスクラップブックオブジェクト10に提供される。編集30信号は、区分226及びメディアファイル206におけるHeader228,240のPermission属性の編集を行わせることができ、これによりユーザは、該ユーザが発行(保存)したスクラップブックオブジェクト10におけるどのマルチメディア及び経路区分が、一組又は複数組の他のユーザにより表示可能であるか、また編集可能であるか、といったことを選択することが可能となる。編集30信号はまた、メディアファイル206、そのヘッダ240、又はその関連するGeoTemporalAnchorに関連するTime210、Location214、作成者、又はその他の情報を手作業で編集するために使用することができる。ユーザ制御手段28は更に、スクラップブックオブジェクト10への新たな手作業による注釈(例えば写真に関連付けされた文字ラベル又は音声ナレーション)の追加といった補足情報の追加ならびに他の属性の編集に使用される。タグ付きマルチメディア及び/又は経路セクションの特定のグループと対話し参照することができるように、ユーザ制御手段28を使用してデータを「ブックマーク」して、マルチメディア及び/又は経路セクションを分類することができる。
ユーザ制御手段28を使用してスクラップブックオブジェクト10を編集し、補足情報(例えばセキュリティクラス)を追加してプライバシ保護を実現することができ、これにより、ユーザは、データオブジェクトが共有された際に、「パス・エンハンスド」マルチメディアデータオブジェクトのどの部分を様々なユーザに対して閲覧可能とするかを指定することができる。これらのプライバシー及びセキュリティ制御は、「パス・エンハンスド」マルチメディア(例えば、データベースサーバ、ピアツーピア、及び友人への単純な電子メール)を共有するために様々な方法によって利用されるセキュリティ機構と対話し又は該セキュリティ機構により使用することが可能である。
更に、ユーザ制御手段28は、ユーザが図1と図5に示したものと類似したグラフィカルインターフェースを介してスクラップブックオブジェクトのPEM200内の経路データを修正することを可能にする。例えば、ユーザは、経路2の一部を改訂し、経路の一部の自動的な平滑化又はループ除去を要求し、経路の全く新たな区分を描画し、又は経路の一部を除去することができる。幾つかの理由のために記録経路のそのような修正が望ましい場合がある。例えば、人が「再び戻る」ときや人が同じ地理領域内で複数のループを完結するときなどの多くの状況において、人により選択されGPSその他の手段により自動的に記録された正確な経路は、人の記憶よりも明確さに劣って構成されたデータのマップベースビューを構築する結果となり得る。人は、マルチメディアが記憶された殆ど全ての場所のそばを通過すると共にユーザの真の活動を大雑把に表すが、食品や浴室を見つけるための寄り道などの様々な気が散る詳細又は重要でない詳細を省略するように、表示経路を単純化したい可能性がある。人は、実際に領域内の個々の場所を全く異なる偶然の順序で訪れたときに、もし戻った場合に訪れた領域のツアーをどのように行うかを示す全く新たな経路を使用したい場合がある。
一実施形態によれば、経路を図形的に編集する際、ユーザが、経路の一部を削除するよう選択すると、経路内にギャップが空く場合がある。ギャップの端点は、直線、又は他の補間法(例えば三次スプライン)によって自動的に再接続することができ、又はユーザがギャップを橋渡しする新たな経路部分をマップ上に描画するよう選択することができる。経路の一部が削除されたとき、該削除された部分に関連付けされたメディアファイル206は、ユーザの要求で、1)表示から除去され、2)残っている最も近くのGeoTemporalAnchor208に自動的に添付され、又は、3)他のGeoTemporalAnchor208に対する手作業の再割り当てのためにユーザに提示されることが可能である。ユーザはまた、現在の経路の始めと終わりに追加する新たな経路部分を描画することが可能であり、又は経路全体を削除して新たな経路を描画するよう選択することも可能である。新たな経路部分を描画するとき、ユーザは、必要に応じた個数の新たなGeoTemporalAnchor208と関連付けすべきTime210を入力するよう要求されることが可能である。単調に増分しない経路に沿った一組の時間といった、一貫性のない時間入力は、システムにより拒絶され、ユーザはそれらを修正するよう要求される。一次補間法を使用してLocation214間のTime210を計算することが可能であり、時間は、ユーザ入力から又は当初の隣接する経路区分226の記録から入手することが可能である。また、ユーザは、経路に沿ったポイントを選択しその新たな時間を入力することにより、形状が修正されない経路区分226の時間情報を編集することが可能である。様々なマルチメディアの記録開始時間は、該マルチメディアが位置する経路区分の時間情報に対する変更と一致するように自動的に修正することが可能である。メディアファイル206は、本書に示した方法の何れかによって、修正した経路区分又は新たに作成した経路区分に追加することができる。センサ情報から直接記録される場合とは対照的に、ユーザの要求で修正又は作成されたGeoTemporalAnchor208は、Modifiedフラグ224などのフラグを立てることができる。かかる経路編集タスクを支援するために、標準的なキーボードインタフェイス、マウスインタフェイス、及びタブレットPCを含む、あらゆる全てのコンピュータ入出力装置を使用することができる。
ユーザ制御手段28はまた、スクラップブックオブジェクト10への新たなメディアファイルの挿入を可能にする。マップベースビューが表示されるとき、補足メディアを追加するための1つの技術は以下のように進行する。ユーザが、マウスその他の入力装置を使用してマップ上のポイントを選択し、システムは、表示された経路上の該ポイントに最も近い位置を識別し強調表示する。このとき、最も近い経路位置が(例えば2つの遠く離れたGeoTemporalAnchorを接続する線に沿っているため)それに関連付けされたGeoTemporalAnchorを有していない場合には、新たなGeoTemporalAnchorが作成される。GeoTemporalAnchorが既に存在するが、それにMediaFileが既に関連付けされている場合には、同じ時間及び位置データを用いて新たなGeoTemporalAnchorが作成されるが、MediaFileは関連付けされない。これらの何れの場合も、GeoTemporalAnchorのModifiedフラグが「真」にセットされて、この経路位置が当初のPEMデータでないことが示される。それ以外の場合には既存のGeoTemporalAnchorが修正されることになる。次いでこのGeoTemporalAnchorに関連付けすべきMediaFileをユーザが(おそらくはディジタルコンピュータ記憶装置又はそれと類似したソースから)選択することを可能にするダイアログボックスが開く。このダイアログボックスはまた、挿入する新たなMediaFileを作成するための単純な方法をユーザに提供する。例えば、該ダイアログボックスは、ユーザが新たな音声コメントを録音したり文字コメントをタイプ入力したりすることを可能にする。該ダイアログボックスはまた、新たなMediaFileを現在描画されているビューにのみ挿入すべきか、又はスクラップブックオブジェクト10の他のビューの幾つか又は全てにも挿入すべきか否かをユーザに尋ねる。選択され又は作成されたMediaFileには、導出された「仮想的な」位置と時間が割り当てられ、これは、関連付けされたGeoTemporalAnchor内のLocationフィールド及びTimeフィールドに記憶され、スクラップブックオブジェクト10の残りの部分とシームレスに一体化することが可能となる。挿入されたMediaFileのHeaderフィールドは、マルチメディアの当初の捕捉時間と位置を(例えば後のフィルタリング又は処理を考慮して)保持することが可能であるが、関連付けされたGeoTemporalAnchorにおける導出された仮想的なTime及びLocationは、スクラップブックオブジェクト10における他のPEMデータに関して必要に応じてその表示又は関連付けを行うことを可能にする。
ユーザ制御手段28はまた、ユーザ14が補足位置及び/又は時間構成データベースからの情報の適切なクエリを生成するのを助けるために、ディスプレイ26上に描画されているPEMデータのコンテキストを活用するインタフェイスを含むことができる。ここで図3を参照する。表示されるPEMデータのコンテキストでデータベースを探索するプロセスは以下のように要約することができる。ユーザ制御手段28は、例えばディスプレイ26により表示されているPEMに対する空間的及び/又は時間的な近さに基づいて、クエリ32を作成するインタフェイスをユーザに提供する。かかるクエリはまた、PEMに関する空間的、時間的、又はその他の属性(作成者又は所有者、マルチメディアカテゴリなど)を含む他の基準に基づくものとすることも可能である。探索は、新たなマルチメディア素材に関するものとすることが可能であり、又はオーバレイマップ、地方の音楽、気象データ、又はその他の表示されているPEMに関連する情報といった、他の情報に関するものとすることも可能である。計算ジオメトリエンジン36は、かかるクエリ32を、対象とするデータベースと互換性のある本書においてフィルタクエリ40,42と示す形式に変換する。データベースは、後で更に詳しく説明し本書でパス・エンハンスド・マルチメディアデータベース12と地理参照情報データベース34として示す2つのカテゴリの何れとすることも可能である。次に、データベースによって返されるクエリ応答44,46は、ユーザによって指定された基準と一致するよう計算ジオメトリエンジン36によりリファインすることが可能である。フィルタクエリ応答50は、ディスプレイ26上のスクラップブックオブジェクト10と共に、表示のためにレンダリング手段22に送られる。ユーザ制御手段28を使用して(該ユーザ制御手段28により提供されるユーザインタフェイスを介して)クエリ応答をブラウズし再検討し、かかる応答の幾つか又は全てを、表示されている「パス・エンハンスド」マルチメディアデータ構造に一体化させるよう随意選択的に選択することができる。
本書でパス・エンハンスド・マルチメディアデータベース12及び地理参照情報データベース34として示す2つのカテゴリの補足データベースが本発明によって意図されている。パス・エンハンスド・マルチメディアデータベース12は、任意の時間の長さにわたって1人又は複数のユーザにより収集されるマルチメディアを含み、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されたPEMを共有し、探索し、構成する様々な方法を支援する基礎構造を構成するものである。例えば、人は、そのようなPEMの全てをそのような1つのデータベースに格納することが可能であり、これにより、該データベースへのマップベースのインタフェイスを介して自分のマルチメディアへのアクセスを要求することができる。1人又は2人以上のユーザは、自身の「パス・エンハンスド」マルチメディアを、従来のブラウザライクなユーザインタフェイスならびにネットワーキング及びセキュリティプロトコルを含むデータベースアップロード37を介して、「パス・エンハンスド」マルチメディアデータベースに提供することができる。該データベース12には後に、時間、地理、又は他の情報に基づく述語を使用して照会することができる。所定のデータベースに対する寄与とクエリアクセスは両方とも、単一のユーザ14に限定することが可能であり、又は任意の大きさのグループの人々に許可することも可能である。これらデータベースに関連する応用例、方法、及びデータ構造は、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願においてより詳しく考察されている。
地理参照情報データベース34は、位置及び/又は時間によって構成された1つ又は2つ以上のタイプのデータを含むが、典型的には「パス・エンハンスド」マルチメディアデータベース12内のマルチメディアに関する明示的な経路情報は有さない。すなわち、地理参照情報データベース34内の各レコードは、時間及び/又は位置を用いて注釈が付されるが、地理的-時間的な経路と明示的に関連付けされることはない。地理参照情報データベース34は、記録された位置及び/又は時間でタグ付けされた天気(気温、降水量など)データ、ニュース記事、又はランドマークのストック写真、代表的な光景、及び様々な文化の人々を含むことができる。例えば、ユーザは、このスクラップブックオブジェクト10を既知のランドマークの専門家による写真によって強化するために、所与の旅行のために移動した記録済みのPEM経路に沿った位置タグを有するストック写真を、1つのかかるデータベースに照会することができる。
図6を参照すると、地理参照情報データベース34を探索するプロトコルの一実施形態は、表示された「パス・エンハンスド」マルチメディアに関し、以下のように進行する。
1)全ての世界領域または時間間隔について同じクエリをサポートするデータが所与のデータベース内に存在しない場合があるので、ユーザは、該ユーザの対象となる地理的および時間的領域についてデータベースから如何なるタイプの情報が利用可能であるかを最初に見つけなければばならない。したがって、ユーザは、最初に、時間及び/又は位置によって構成された情報のデータベースに接続し、又は1つ又は2つ以上のかかるデータベースを管理するサービスに接続して、該サービス又はデータベースに、現行のビューにおける全てのPEMデータを含む全体的な地理的指定及び/又は地理時間的境界ボックスを提供する(ステップ100)。この境界ボックスは、現行ビューに関連するスクラップブックオブジェクト10に記憶されている時間及び位置情報38を使用して計算ジオメトリエンジン36により部分的に生成することが可能である。
2)サービス又はデータベースは、対象となる地理的領域又は地理時間ウィンドウにとって利用可能となる情報のタイプを記述するキーフレーズ(クエリ応答44として示す)を返す。かかるキーフレーズ(フィルタ済クエリ応答50として示す)は、ディスプレイ26によるユーザに対する後の表示のためにレンダリング手段22に送られる(ステップ102)。情報のタイプを表すキーフレーズの例として、「レストラン」、「観光ランドマーク」、「ウェブカムビュー」、「他の人々の最近の写真」、「オーバレイマップ」、「当該地域からの民族音楽」、「ストック写真」、「ニュースヘッドライン」、及び「気温データ」が挙げられる。キーフレーズは随意選択的に、「最近20年以内」又は「2000年中」といったパラメータ範囲によって修正することが可能である。
3)ユーザは次に、対象とする情報タイプを選択する(ステップ104)。該ユーザはまた、パラメータ(「最近20年以内」や「今日」など)を指定することにより、又は多くのインターネットウェブページ及び文書探索ソフトウェアアプリケーションに使用される「AND」、「WITHOUT」、「ALL」などの標準的な文字ベースのクエリ修正を使用することにより、クエリを更にリファインすることが可能である。
4)ユーザは次に、グラフィカルインターフェースを介し、後述する1つ又は2つ以上のタイプの地理時間的な近接性基準を使用して、所望の情報を探索する対象となる地理時間ゾーンを指定する(ステップ106)。
5)ユーザはクエリを送出し、データベースサービスは該クエリを満たす情報を(それが発見された場合には)返す。後に詳述するように、計算ジオメトリエンジン36は、クエリの作成ならびに返された応答のフィルタリングを支援する。返された情報は、PEMの現在表示されているビューと地理的に位置合わせされるようにディスプレイ26に描画される(ステップ108)。例えば、クエリが「地理参照」ランドマークの写真を返し、及びユーザが現在PEMのマップベースビューで作業している場合には、ランドマークの写真の各々に関連付けされた位置にアイコンが描画される。更に、探索結果は、スクラップブックオブジェクト10にまだ一体化されていなかったクエリ結果として識別させる特別な外観で描画される。前述の例の場合、特別な方法でアイコンが描画されないPEM内の当初のMediaFileを表すアイコンと区別するために、濃い影、半透明、又は「疑問符」標識を用いて描画することが可能である。
6)ユーザは、随意選択的にグラフィカルインターフェースを使用して返された情報を調べることができる。このプロセスは、マルチメディアを再生するためにそのマルチメディアを表すアイコンをクリックすること、又は返されたマップをスクロールさせてその特徴が見えるようにすることを含むことが可能である(ステップ110)。
7)随意選択的なレビュープロセスの後、ユーザは、スクラップブックオブジェクト10に一体化させたい情報を選択する(ステップ112)。ユーザはまた、返された情報をPEMのビューの全てに一体化すべきか一部のみに一体化すべきかを指定する。代替的に、ユーザは、「地理参照」情報を、PEM内のGeoTemporalAnchorに直接関連付けするのではなく、何らかのビューに関連付けされたマップデータ構造内に一体化させるよう選択することが可能である。この後者の場合には、ユーザは、実際には、PEM自体ではなく、PEMのマップオーバレイを強化し又は編集する。
8)所望の情報の選択が完了した後、ユーザは、グラフィカルインターフェースを使用して、クエリによって返された残りの不要な情報をPEMの現行ビューの描画から除去することを要求することが可能である。
次に、ユーザは、上記ステップ1)、2)、3)又は4)の何れかに戻って、新たなクエリを開始させることが可能である。
以上の例は、クエリがインターネットサービスによって提供されるように示されているが、それと同じ機構を他のメディア記憶装置から提供されるデータベースに使用することも可能である。例えば、サードパーティーデータベースへのアクセスを提供するために、PCと共にDVDやCDなどの光記録メディアを使用することが可能である。
上記ステップ(4)で使用する地理時間的な近接基準は、PEMデータを使用して多くの方法で生成することが可能であり、この種の基準の多くは、他の現行システムで使用されているマルチメディアの単純な時間及び/又は位置の注釈から構築することができない。すなわち、本発明によるマルチメディアに対する経路情報の関連付けは、「地理参照」データベースクエリのための新規のタイプの興味深くかつ有用な地理時間的な近接基準の構築を可能にするものである。計算ジオメトリエンジン36は、典型的な地理参照情報データベース34により使用される経路ベースの地理時間的な近接基準と境界指向型クエリスタイルとの間の変換及びインタフェイスを提供するのに役立つ。上記ステップ(4)で使用することができる近接性の探索基準の複数の例とそれらを実施するための技術の実施形態は、以下のものを含む。
基準1:PEM内の経路の少なくとも1つのGeoTemporalAnchor208の距離「d」内の位置と関連付けされたマルチメディア等の情報を見つける。
探索技法1:多くの従来の地理参照情報データベース34は、空間的及び時間的境界によって規定された対象となる領域と時間を指定するクエリを受け入れることしかできないので、何らかのPEM経路までの近接性に基づく上記基準をデータベースに直接提出することができない場合がある。かかる場合、計算ジオメトリエンジン36は、最初に、表示された「パス・エンハンスド」マルチメディアのコンテキスト(例えばマップベースビュー)でユーザから出されたクエリ要求(クエリ32)を分析し、次いでスクラップブックオブジェクト10内のPEMデータから関連する時間及び位置データ38を収集する。次いで計算ジオメトリエンジン36は、地理参照情報データベース34に送るべき空間的及び時間的境界に関する適当なクエリ(フィルタクエリ40)を生成し、最後に、データベースによって返された結果をリファインして、ユーザにより指定された経路指向の近接性の制約を満たすフィルタクエリ応答50を(可能であれば)生成する。計算ジオメトリエンジン36が、クエリを生成し、及びPEM経路までの近接性に基づいてデータベース探索結果をフィルタリングすることを可能とする例示的な方法は、以下のように進行する(図7も参照されたい)。
a)経路全体について地理的境界ボックスを計算し、それを分離しきい値「d」だけ全ての辺上で大きくし、この境界ボックスに基づいてクエリを公式化する。該クエリ(フィルタクエリ40)をサービスに送り、その境界ボックスに関連する全ての情報の結果(クエリ応答44)を受け取る(ステップ120)。
b)PEMの現行ビューのマップのディジタル画像に埋め込まれる経路を(時間及び位置データ38を使用して)考慮し、経路から境界ボックス内の各画素まで最短距離(画素数)を計算する(ステップ122)。面取り距離(chamfer distance)変換アルゴリズムを使用して、そのような距離値を効率的な方法で近似的に計算することができ、その詳細については「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願を参照されたい。
c)クエリによって返された「地理参照」情報の各アイテム毎に、該情報に関連付けされた位置に対応するPEMの現行ビューに対応する画像内の画素を見つける(ステップ124)。
d)その画素における距離が「d」を超える場合、その情報はクエリ結果からフィルタ除去される。経路までの距離が「d」以下の画素にマッピングする情報だけが、クライアントによる再考のために提示される(ステップ126)。
基準2:経路の1つ又は2つ以上の指定したサブセクションの少なくとも1つのGeoTemporalAnchorの距離「d」内のマルチメディア等の情報を見つける。
探索技法2:基準(1)に関して説明した境界ボックス方法を僅かに修正してこれを実施することが可能であり、詳細には、ステップ(a)の境界ボックスの計算とステップ(b)の面取りプロセスを経路内のGeoTemporalAnchorのサブセットについてのみ働くよう限定する。
基準3:経路上の特定のポイントの距離「d」内にあるマルチメディア等の情報を見つける。
探索技法3:対象となるポイントを中心とした幅「2d」の境界正方形内の全ての情報についてのクエリがデータベースに送られる。該クエリの結果は、対象となるポイントを中心とした半径「d」の円の外側の位置にある情報を除外するよう更にリファインされる。
基準4:関連付けされた位置が距離「d」以内にあり関連付けされた時間がPEM経路上の少なくとも1つのポイントの時間間隔「i」内にあるマルチメディア等の情報を見つける。
探索技法4:これは、PEMとクエリにより返された情報との間の空間的な近接性と時間的な近接性の両方を強化する。前述の基準(1)の場合、我々は、クエリパラメータとして地理的境界と時間的境界しか受け入れない地理参照情報データベース34に関してそのようなクエリを実施する方法を考案しなければならない。計算ジオメトリエンジン36がPEM経路に対する地理的及び時間的近接性に基づいてクエリを生成しデータベース探索結果をフィルタリングすることができる1つの方法は以下のように進行する(図8も参照)。
a)経路の空間的境界ボックスならびに経路の時間的境界間隔を計算する(ステップ130)。そのような境界を有するクエリをサービスに送り、その境界ボックス及び時間間隔に関連する全ての情報の結果を受け取る。
b)返された各結果毎に、GeoTemporalAnchorが、該結果に関連付けされた時間間隔「i」内にある経路のサブセクションを探索する(ステップ132)。
c)このサブセクション内の各GeoTemporalAnchor毎に、該GeoTemporalAnchorと結果に関連付けされた位置との間の距離を計算する。サブセクション内のGeoTemporalAnchorまでの距離が「d」を超える場合、情報はクエリからフィルタ除去される(ステップ134)。
基準5:関連付けされた位置が距離「d」以内にあり、関連時間がPEM経路の1つ又は2つ以上のサブセクション上の少なくとも1つのポイントにおいて時間間隔「i」以内にあり、関連時間がそのような同じポイントの少なくとも1つの間隔「i」の範囲内にあるマルチメディアなどの情報を探す。
探索技法5:基準(4)の方法を僅かに修正してこれを実施することが可能であり、詳細には、ステップ(b)における経路サブセクションの探索をこの基準で指定された一組のサブセクションに制限する。
基準6:関連付けされた位置が距離「d」内にあり、及び関連付けされた時間がPEM経路の特定のGeoTemporalAnchorの時間間隔「i」内にあるマルチメディア等の情報を見つける。
探索技法6:それぞれのフィルタリングされたクエリ結果が有する時間が特定のGeoTemporalAnchorの時間と「i」未満だけ異なることを確認する追加のステップと共に、基準(3)の方法を使用してこれを実施することができる。
基準7:ユーザによってマップ上に描画された架空の経路の近くの情報を見つける。これは、計画した移動経路の近くの場所に関連する情報及びマルチメディアを探索するために使用されることが可能である。
探索技法7:ユーザがグラフィカルインターフェースによって経路を描画した後、基準(1)の方法によってクエリを実施することができる。必要に応じて、そのようなクエリ基準を1つ又は2つ以上の特定の時間ウィンドウに制限することもできる。
基準8:PEM内のマルチメディアに関連付けされた位置及び/又は時間の集合に対して空間的及び/又は時間的に近い情報を見つける。
探索技法8:これは、特に、例えば「私が音声を持っている場所のビデオを探す」といったメディア間クエリに使用することができる。かかる情報は、対象となる経路ポイントのサブセットとしてマルチメディアの捕捉時間及び位置を使用することによって、前述の方法(5)によって見つけることができる。
基準9:PEMに関連付けされた一組の滞在ポイントの近くの情報を見つける。
探索技法9:経路データを処理して、データを捕捉する人が、限られた地理的位置に長い時間を費やす「滞在」ポイントを検出することができる。かかる経路処理が終わった場合、対象となる経路ポイントのサブセットとして検出した「滞在」ポイントを使用して、前述の方法(5)による「滞在」ポイントの近くの位置及び時間に関連付けされたマルチメディアその他の情報を探索することができる。
基準10:PEM経路の近接性にかかわらず、マップ内の境界ボックス内にある情報、又はマップ内の1つ又は2つ以上のポイントの近くにある情報を見つける。
探索技法10:この方法は、標準的な「地理参照」データベースクエリへと退化するものであり、例えばマップオーバレイの境界ボックス内に見られ得る全てのアイテムを返す。かかるクエリの場合、経路やPEMに全く基づいていないので、返される情報は、PEM自体ではなく、PEMのビューのマップ構成要素と一体化されることが好ましい場合がある。事実上、返される情報を使用してマップの編集及び強化が行われ、これにより、PEM経路の何れの要素とも直接リンクさせることなく、PEMが描画される基本的なコンテキストに影響が与えられる。
上記方法では、スライダを使用して「d」や「i」等の「近接性」しきい値を制御して、クエリにより返されるマルチメディアを対話式に含め又は除外することが可能である。また、上記の近接性基準の何れかにより探索クエリを生成する前に既存の経路を編集し又は新たな経路を構成するようにすることが可能である。
また、スクラップブックオブジェクト10を表示し、修正し、及びそれとの対話を行うための上記機構を、スクラップブックオブジェクトを共有し及びそれにコメントをつけるために使用することもできる。例えば、特定の休暇を表すスクラップブックオブジェクト10を、他のディジタルコンピュータファイルを共有することができる方法と同じ方法で、スクラップブックオブジェクト10の作成者の友人や家族といった1人又は複数の他の人々と共有することが可能である。例えば、スクラップブックオブジェクト10は、電子メールにより送ることが可能であり、またHTTP又はFTPを使用してインターネットにより送ることが可能であり、また後に他の人々に物理的に送られるDVDやCDといったアーカイブ装置に書き込むことが可能である。そのような他の人々は、例えば、前述と同じインタフェイスを使用して、スクラップブックオブジェクト10により示された旅行をブラウズし、旅行に関する解説を形成し、スクラップブックオブジェクト10を編集して、次の休暇を充実したものにする修正された経路を含めることが可能である。次に、他の人々は、表示のため、また場合によっては自動表現の更なる編集又は出版のために、編集したスクラップブックオブジェクト10を返送することができる。かかる交換はまた、サーバアップロード機構又はピアツーピア共有機構を使用して実行することもでき、同期共有法(オンライン文書又はスライド表現と対話するために既に使用されているようなもの)もまた使用することが可能である。更に、経路及びマルチメディア注釈についての非空間的な属性の1つが「編集者」及び/又は「編集時間」であると仮定すると、時間の経過と共に修正を追跡することが可能であり、これによりスクラップブックオブジェクト10を現在見ている者は、編集後のスクラップブックオブジェクト10を見ることが可能であり、または特定の個人により作成され又は追加されたものだけを見ることを要求することが可能である。特定の個人により行われた修正だけを含むビューは、自動的な手段により容易に作成し格納することが可能である。
前述の機能の多くは、記録装置とは物理的に別個であると共に、表示リソース、計算リソース、及び記憶リソース、ならびに記録装置からデータをダウンロードするための転送プロトコルとのインタフェイスを有するシステム(デスクトップPC等)で実現することができる。該システムはまた、PEMの共有を容易にし、また「パス・エンハンスド」マルチメディアの強化及び探査に資するために探索されることが可能な様々なデータベースへの接続を可能にする、インターネット接続を有することができる。
他の実施形態では、図3に示したようなシステムの少なくとも一部又は全ては、ユーザ14に対してローカル又はリモートで実現することができる。例えば、一実施形態では、少なくとも経路プロセッサ18、スクラップブックオブジェクト10、デフォルトビュー生成手段20、レンダリング手段22、及びユーザ制御手段28(又はこれらの要素によって実行されるプロセス)は、例えばデスクトップPCやマルチメディア装置などの別個の装置内でユーザに対してローカルに実施することが可能である。
別の実施形態では、構成要素又は処理ステップの少なくとも一部をリモートで実施することが可能である。1つの例では、ユーザ制御手段28は、ウェブベースユーザインタフェイスによってローカルに実行することが可能である。ウェブベースインタフェイスは、ユーザがウェブサイトと対話して、ブロック18,10,20,22の機能をリモートに実行するための計算能力を有するリモートサーバへのユーザのPEMデータ記録のアップロードを容易にすることを可能にすることができる。ユーザがウェブベースインタフェイスを介して表示選択を指定したことに応じて、サーバは、ブロック18,10,20,22の機能を実行し、インタフェイスを介してダウンロード可能なPEMデータを提供して、該ユーザが選択したビューに従ってディスプレイ26上に該ユーザのPEMデータを表示することを可能にする。
開示した例示的な装置に対する他の実施態様と機能強化は、今日と未来の両方で当業者に疑いなく明らかであろう。例えば、比較的小さい表示画面を備えた記録装置が、入力「パス・エンハンスド」マルチメディアデータを供給するとき、前述のものから得られた特定の基本的な編集及び表示機能は、内蔵された表示画面と単純化されたユーザインタフェイスとを使用して実際の記録装置自体で実施することが可能である。
10 スクラップブックオブジェクト
12 パス・エンハンスド・マルチメディア(PEM)
18 経路プロセッサ
20 デフォルトビュー生成手段
22 レンダリング手段
26 ディスプレイ
28 ユーザ制御手段
34 地理参照情報データベース
36 計算ジオメトリエンジン
12 パス・エンハンスド・マルチメディア(PEM)
18 経路プロセッサ
20 デフォルトビュー生成手段
22 レンダリング手段
26 ディスプレイ
28 ユーザ制御手段
34 地理参照情報データベース
36 計算ジオメトリエンジン
Claims (1)
- マルチメディアシステムであって、
移動された経路に関連する本質的に連続した経路情報と該経路に沿ったポイントと関連付けされたマルチメディアデータとを含む「パス・エンハンスド」マルチメディア(PEM)を記憶する少なくとも1つの第1のデータオブジェクトと、本システムにより前記PEMデータの少なくとも一部が表示される態様を規定する少なくとも1つのビューに対応する情報を記憶する少なくとも1つの第2のデータオブジェクトとを含むデータ構造を有する記憶領域と、
前記少なくとも1つのビューのうちの1つの選択を含むユーザ入力を受け取るユーザ制御手段と、
前記ユーザ入力によるビュー選択に依存して第1及び第2のデータオブジェクトタイプを受け取り、該ビュー選択に対応する前記「パス・エンハンスド」マルチメディアデータの前記少なくとも一部を含む表示データを生成する、レンダリング手段と、
前記表示データを表示するディスプレイと
を含む、マルチメディアシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/427,649 US6906643B2 (en) | 2003-04-30 | 2003-04-30 | Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia |
PCT/US2004/013819 WO2005017780A1 (en) | 2003-04-30 | 2004-04-29 | Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006526152A true JP2006526152A (ja) | 2006-11-16 |
Family
ID=33310213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006514269A Withdrawn JP2006526152A (ja) | 2003-04-30 | 2004-04-29 | パス・エンハンスド・マルチメディアの表示、修正、及びそれとの対話を行うシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6906643B2 (ja) |
EP (1) | EP1623348A1 (ja) |
JP (1) | JP2006526152A (ja) |
WO (1) | WO2005017780A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007241766A (ja) * | 2006-03-09 | 2007-09-20 | National Institute Of Information & Communication Technology | 三次元ブログ提供装置、三次元ブログ提供プログラム |
WO2009069664A1 (ja) * | 2007-11-30 | 2009-06-04 | Sony Corporation | 地図表示装置と地図表示方法および撮像装置 |
JP2015118509A (ja) * | 2013-12-18 | 2015-06-25 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
Families Citing this family (224)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5986650A (en) | 1996-07-03 | 1999-11-16 | News America Publications, Inc. | Electronic television program guide schedule system and method with scan feature |
EP1124990B1 (en) * | 1998-10-27 | 2006-01-18 | Affymetrix, Inc. | Complexity management and analysis of genomic dna |
CA2328795A1 (en) | 2000-12-19 | 2002-06-19 | Advanced Numerical Methods Ltd. | Applications and performance enhancements for detail-in-context viewing technology |
CA2345803A1 (en) | 2001-05-03 | 2002-11-03 | Idelix Software Inc. | User interface elements for pliable display technology implementations |
US8416266B2 (en) | 2001-05-03 | 2013-04-09 | Noregin Assetts N.V., L.L.C. | Interacting with detail-in-context presentations |
US7084886B2 (en) | 2002-07-16 | 2006-08-01 | Idelix Software Inc. | Using detail-in-context lenses for accurate digital image cropping and measurement |
US9760235B2 (en) | 2001-06-12 | 2017-09-12 | Callahan Cellular L.L.C. | Lens-defined adjustment of displays |
WO2002101534A1 (en) | 2001-06-12 | 2002-12-19 | Idelix Software Inc. | Graphical user interface with zoom for detail-in-context presentations |
CA2361341A1 (en) | 2001-11-07 | 2003-05-07 | Idelix Software Inc. | Use of detail-in-context presentation on stereoscopically paired images |
CA2370752A1 (en) | 2002-02-05 | 2003-08-05 | Idelix Software Inc. | Fast rendering of pyramid lens distorted raster images |
US20070064018A1 (en) * | 2005-06-24 | 2007-03-22 | Idelix Software Inc. | Detail-in-context lenses for online maps |
US8120624B2 (en) | 2002-07-16 | 2012-02-21 | Noregin Assets N.V. L.L.C. | Detail-in-context lenses for digital image cropping, measurement and online maps |
CA2393887A1 (en) | 2002-07-17 | 2004-01-17 | Idelix Software Inc. | Enhancements to user interface for detail-in-context data presentation |
US20040021780A1 (en) * | 2002-07-31 | 2004-02-05 | Intel Corporation | Method and apparatus for automatic photograph annotation with contents of a camera's field of view |
CA2406131A1 (en) | 2002-09-30 | 2004-03-30 | Idelix Software Inc. | A graphical user interface using detail-in-context folding |
CA2449888A1 (en) | 2003-11-17 | 2005-05-17 | Idelix Software Inc. | Navigating large images using detail-in-context fisheye rendering techniques |
CA2411898A1 (en) | 2002-11-15 | 2004-05-15 | Idelix Software Inc. | A method and system for controlling access to detail-in-context presentations |
US9607092B2 (en) * | 2003-05-20 | 2017-03-28 | Excalibur Ip, Llc | Mapping method and system |
US20040243307A1 (en) * | 2003-06-02 | 2004-12-02 | Pieter Geelen | Personal GPS navigation device |
US9344850B2 (en) * | 2003-08-08 | 2016-05-17 | Telecommunication Systems, Inc. | Method and system for collecting, synchronizing, and reporting telecommunication call events |
US7818317B1 (en) * | 2003-09-09 | 2010-10-19 | James Roskind | Location-based tasks |
US20050060299A1 (en) * | 2003-09-17 | 2005-03-17 | George Filley | Location-referenced photograph repository |
CA2559726C (en) * | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
US8131702B1 (en) * | 2004-03-31 | 2012-03-06 | Google Inc. | Systems and methods for browsing historical content |
JP2005292970A (ja) * | 2004-03-31 | 2005-10-20 | Kenwood Corp | 施設検索装置、プログラム、ナビゲーション装置、及び施設検索方法 |
US7486302B2 (en) | 2004-04-14 | 2009-02-03 | Noregin Assets N.V., L.L.C. | Fisheye lens graphical user interfaces |
US8106927B2 (en) | 2004-05-28 | 2012-01-31 | Noregin Assets N.V., L.L.C. | Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci |
US9317945B2 (en) | 2004-06-23 | 2016-04-19 | Callahan Cellular L.L.C. | Detail-in-context lenses for navigation |
DE102004035244A1 (de) * | 2004-07-21 | 2006-02-16 | Givemepower Gmbh | Verfahren zum abrufbaren Speichern von Audiodaten in einer Computervorrichtung |
US7714859B2 (en) | 2004-09-03 | 2010-05-11 | Shoemaker Garth B D | Occlusion reduction and magnification for multidimensional data presentations |
US7606687B2 (en) * | 2004-09-14 | 2009-10-20 | Friendster, Inc. | Proximity search methods using tiles to represent geographical zones |
US20060080163A1 (en) * | 2004-09-29 | 2006-04-13 | Eric Sutcliffe | Methods and apparatus for food brokering services |
US8281899B2 (en) * | 2004-09-29 | 2012-10-09 | Order Inn, Inc. | Methods and apparatus for generating food brokering menus |
US20060080164A1 (en) * | 2004-09-29 | 2006-04-13 | Eric Sutcliffe | Methods and apparatus for food brokering call center operations |
US7995078B2 (en) | 2004-09-29 | 2011-08-09 | Noregin Assets, N.V., L.L.C. | Compound lenses for multi-source data presentation |
US20060080165A1 (en) * | 2004-09-29 | 2006-04-13 | Eric Sutcliffe | Methods and apparatus for residential food brokering services |
EP1658869A1 (en) * | 2004-11-17 | 2006-05-24 | Fresenius Medical Care Deutschland GmbH | Membrane unit, housing of a pressure measuring unit and pressure measuring unit |
US20060118636A1 (en) * | 2004-12-07 | 2006-06-08 | Planready, Inc. | System and method for coordinating movement of personnel |
US20140068409A1 (en) * | 2004-12-21 | 2014-03-06 | Signaturelink, Inc. | Systems and Methods for Capturing Real Time Client Side Data and For Generating a Permanent Record |
US8386523B2 (en) * | 2004-12-30 | 2013-02-26 | Texas Instruments Incorporated | Random access audio decoder |
US8583139B2 (en) * | 2004-12-31 | 2013-11-12 | Nokia Corporation | Context diary application for a mobile terminal |
US7603414B2 (en) * | 2005-09-09 | 2009-10-13 | Outland Research, Llc | System, method and computer program product for collaborative background music among portable communication devices |
US20070189544A1 (en) | 2005-01-15 | 2007-08-16 | Outland Research, Llc | Ambient sound responsive media player |
US9702713B2 (en) | 2005-01-31 | 2017-07-11 | Searete Llc | Map-based guide system and method |
US9188454B2 (en) * | 2005-03-22 | 2015-11-17 | Invention Science Fund I, Llc | Map-based guide system and method |
US9214033B2 (en) | 2005-06-01 | 2015-12-15 | Invention Science Fund I, Llc | Map display system and method |
US7734073B2 (en) | 2005-02-25 | 2010-06-08 | The Invention Science Fund I, Llc | Image mapping to provide visual geographic path |
US7522996B2 (en) | 2005-04-30 | 2009-04-21 | Searete Llc | Map display system and method |
US9286729B2 (en) | 2005-02-25 | 2016-03-15 | The Invention Science Fund I, Llc | Image mapping to provide visual geographic path |
US7756300B2 (en) | 2005-02-25 | 2010-07-13 | The Invention Science Fund I, Llc | Image mapping to provide visual geographic path |
US20060217880A1 (en) * | 2005-03-22 | 2006-09-28 | Jung Edward K | Map-based guide system and method |
US8635014B2 (en) * | 2005-03-22 | 2014-01-21 | The Invention Science Fund I, Llc | Map-based guide system and method |
US20080215435A1 (en) * | 2005-03-22 | 2008-09-04 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Map-based guide system and method |
US7729708B2 (en) * | 2005-01-31 | 2010-06-01 | The Invention Science Fund I, Llc | Method and system for interactive mapping to provide goal-oriented instructions |
US20070061314A1 (en) * | 2005-02-01 | 2007-03-15 | Outland Research, Llc | Verbal web search with improved organization of documents based upon vocal gender analysis |
US20070106663A1 (en) * | 2005-02-01 | 2007-05-10 | Outland Research, Llc | Methods and apparatus for using user personality type to improve the organization of documents retrieved in response to a search query |
US8396001B2 (en) * | 2005-02-03 | 2013-03-12 | The Invention Science Fund I, Llc | Interactive queued mapping method and system |
US8311733B2 (en) | 2005-02-15 | 2012-11-13 | The Invention Science Fund I, Llc | Interactive key frame image mapping system and method |
US7734622B1 (en) | 2005-03-25 | 2010-06-08 | Hewlett-Packard Development Company, L.P. | Media-driven browsing |
US7580036B2 (en) | 2005-04-13 | 2009-08-25 | Catherine Montagnese | Detail-in-context terrain displacement algorithm with optimizations |
US20060241864A1 (en) * | 2005-04-22 | 2006-10-26 | Outland Research, Llc | Method and apparatus for point-and-send data transfer within an ubiquitous computing environment |
US8640166B1 (en) | 2005-05-06 | 2014-01-28 | Rovi Guides, Inc. | Systems and methods for content surfing |
US8387089B1 (en) | 2005-05-06 | 2013-02-26 | Rovi Guides, Inc. | Systems and methods for providing a scan |
JP4690114B2 (ja) * | 2005-05-23 | 2011-06-01 | パイオニア株式会社 | 情報更新装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
US20060271286A1 (en) * | 2005-05-27 | 2006-11-30 | Outland Research, Llc | Image-enhanced vehicle navigation systems and methods |
US8305398B2 (en) * | 2005-07-01 | 2012-11-06 | Microsoft Corporation | Rendering and compositing multiple applications in an interactive media environment |
US20070006238A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Managing application states in an interactive media environment |
US8020084B2 (en) * | 2005-07-01 | 2011-09-13 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
US8108787B2 (en) * | 2005-07-01 | 2012-01-31 | Microsoft Corporation | Distributing input events to multiple applications in an interactive media environment |
US8656268B2 (en) * | 2005-07-01 | 2014-02-18 | Microsoft Corporation | Queueing events in an interactive media environment |
US20070006065A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Conditional event timing for interactive multimedia presentations |
US8799757B2 (en) | 2005-07-01 | 2014-08-05 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
US20070006079A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | State-based timing for interactive multimedia presentations |
US7941522B2 (en) | 2005-07-01 | 2011-05-10 | Microsoft Corporation | Application security in an interactive media environment |
US7721308B2 (en) * | 2005-07-01 | 2010-05-18 | Microsoft Corproation | Synchronization aspects of interactive multimedia presentation management |
US20070006078A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Declaratively responding to state changes in an interactive multimedia environment |
US7519537B2 (en) * | 2005-07-19 | 2009-04-14 | Outland Research, Llc | Method and apparatus for a verbo-manual gesture interface |
US8176101B2 (en) | 2006-02-07 | 2012-05-08 | Google Inc. | Collaborative rejection of media for physical establishments |
US20070078857A1 (en) * | 2005-09-30 | 2007-04-05 | Nokia Corporation | Method and a device for browsing information feeds |
KR100735553B1 (ko) * | 2005-10-10 | 2007-07-04 | 삼성전자주식회사 | 사진 분류 방법 및 장치 |
US8031206B2 (en) | 2005-10-12 | 2011-10-04 | Noregin Assets N.V., L.L.C. | Method and system for generating pyramid fisheye lens detail-in-context presentations |
TW200806027A (en) * | 2005-11-11 | 2008-01-16 | Sony Corp | Imaging/reproducing device |
US9459622B2 (en) | 2007-01-12 | 2016-10-04 | Legalforce, Inc. | Driverless vehicle commerce network and community |
US8874489B2 (en) | 2006-03-17 | 2014-10-28 | Fatdoor, Inc. | Short-term residential spaces in a geo-spatial environment |
US20070218900A1 (en) | 2006-03-17 | 2007-09-20 | Raj Vasant Abhyanker | Map based neighborhood search and community contribution |
US20070156844A1 (en) * | 2005-12-29 | 2007-07-05 | Samsung Electronics Co., Ltd. | Apparatus and method for storing content, and apparatus and method for displaying content |
US20070192116A1 (en) * | 2006-02-10 | 2007-08-16 | Garmin Ltd., A Cayman Islands Corporation | Position-sensitive events |
US7593814B2 (en) * | 2006-02-24 | 2009-09-22 | Tektronix, Inc. | Attaching measurement data to an area map |
US9098545B2 (en) * | 2007-07-10 | 2015-08-04 | Raj Abhyanker | Hot news neighborhood banter in a geo-spatial social network |
US9373149B2 (en) | 2006-03-17 | 2016-06-21 | Fatdoor, Inc. | Autonomous neighborhood vehicle commerce network and community |
US8965409B2 (en) | 2006-03-17 | 2015-02-24 | Fatdoor, Inc. | User-generated community publication in an online neighborhood social network |
US8732091B1 (en) | 2006-03-17 | 2014-05-20 | Raj Abhyanker | Security in a geo-spatial environment |
US9071367B2 (en) | 2006-03-17 | 2015-06-30 | Fatdoor, Inc. | Emergency including crime broadcast in a neighborhood social network |
US9070101B2 (en) | 2007-01-12 | 2015-06-30 | Fatdoor, Inc. | Peer-to-peer neighborhood delivery multi-copter and method |
US9064288B2 (en) | 2006-03-17 | 2015-06-23 | Fatdoor, Inc. | Government structures and neighborhood leads in a geo-spatial environment |
US8738545B2 (en) | 2006-11-22 | 2014-05-27 | Raj Abhyanker | Map based neighborhood search and community contribution |
US9002754B2 (en) | 2006-03-17 | 2015-04-07 | Fatdoor, Inc. | Campaign in a geo-spatial environment |
US9037516B2 (en) | 2006-03-17 | 2015-05-19 | Fatdoor, Inc. | Direct mailing in a geo-spatial environment |
ATE447160T1 (de) * | 2006-03-31 | 2009-11-15 | Research In Motion Ltd | Verfahren und vorrichtung zur dynamischen kennzeichnung von kartenobjekten in visuell angezeigten karten mobiler kommunikationsvorrichtungen |
US7983473B2 (en) | 2006-04-11 | 2011-07-19 | Noregin Assets, N.V., L.L.C. | Transparency adjustment of a presentation |
US8015245B2 (en) * | 2006-04-24 | 2011-09-06 | Microsoft Corporation | Personalized information communications |
US20080045138A1 (en) * | 2006-05-01 | 2008-02-21 | Microsoft Corporation | Context information communications via a mobile device |
CA2653908A1 (en) * | 2006-06-29 | 2008-01-03 | Aftercad Software Inc. | Method and system for displaying and communicating complex graphics file information |
AT503870A1 (de) * | 2006-07-14 | 2008-01-15 | Barkhoff Rainer | Verfahren und system zur erstellung von digitalen routen |
EP2475166A1 (en) | 2006-07-31 | 2012-07-11 | United Video Properties, Inc. | Systems and methods for providing media guidance planners |
US20080027985A1 (en) * | 2006-07-31 | 2008-01-31 | Microsoft Corporation | Generating spatial multimedia indices for multimedia corpuses |
US7712052B2 (en) | 2006-07-31 | 2010-05-04 | Microsoft Corporation | Applications of three-dimensional environments constructed from images |
KR20080020789A (ko) * | 2006-09-01 | 2008-03-06 | 엘지전자 주식회사 | 슬라이드 쇼 점프 기능을 구비한 영상기기 및 그 제어방법 |
US8863245B1 (en) | 2006-10-19 | 2014-10-14 | Fatdoor, Inc. | Nextdoor neighborhood social network method, apparatus, and system |
US20080098090A1 (en) * | 2006-10-20 | 2008-04-24 | J.S.B.K. Inc. | Computer implemented system and methods for mapping using web-based content |
US20080109404A1 (en) * | 2006-11-03 | 2008-05-08 | Sony Ericsson Mobile Communications Ab | Location dependent music search |
US20080215240A1 (en) * | 2006-12-18 | 2008-09-04 | Damian Howard | Integrating User Interfaces |
US9734257B2 (en) * | 2006-12-22 | 2017-08-15 | Excalibur Ip, Llc | Exported overlays |
US9767599B2 (en) * | 2006-12-29 | 2017-09-19 | X-Rite Inc. | Surface appearance simulation |
US20080209331A1 (en) * | 2007-02-22 | 2008-08-28 | Gary Chevsky | Map interface with a movable map |
US7920963B2 (en) * | 2007-02-22 | 2011-04-05 | Iac Search & Media, Inc. | Map interface with a movable marker |
US20080208465A1 (en) * | 2007-02-22 | 2008-08-28 | Jouline Anton V | Map interface with enhanced driving directions |
US20080208443A1 (en) * | 2007-02-22 | 2008-08-28 | Ryan Massie | Map interface with directions for alternate mode of transportation |
US7639162B2 (en) * | 2007-02-22 | 2009-12-29 | Iac Search & Media, Inc. | Map interface with removable path locations |
US20080208463A1 (en) * | 2007-02-22 | 2008-08-28 | Reed William E | Map interface with path locations that can be reordered |
US7912634B2 (en) * | 2007-02-22 | 2011-03-22 | Iac Search & Media, Inc. | Map interface with placeable marker |
US20080208464A1 (en) * | 2007-02-22 | 2008-08-28 | Reed William E | Map interface with location-specific executable instructions |
US20080209332A1 (en) * | 2007-02-22 | 2008-08-28 | Gary Chevsky | Map interface with directional navigation |
US8253797B1 (en) * | 2007-03-05 | 2012-08-28 | PureTech Systems Inc. | Camera image georeferencing systems |
US8855856B2 (en) * | 2007-05-08 | 2014-10-07 | GM Global Technology Operations LLC | Vehicle roll control method using controllable friction force of MR dampers |
US20080294337A1 (en) * | 2007-05-23 | 2008-11-27 | Christopher James Dawson | Travel-related information processing system |
US20090018850A1 (en) * | 2007-07-10 | 2009-01-15 | Fatdoor, Inc. | Security in a geo-spatial environment |
US8407737B1 (en) | 2007-07-11 | 2013-03-26 | Rovi Guides, Inc. | Systems and methods for providing a scan transport bar |
US9026938B2 (en) | 2007-07-26 | 2015-05-05 | Noregin Assets N.V., L.L.C. | Dynamic detail-in-context user interface for application access and content access on electronic displays |
US10318110B2 (en) * | 2007-08-13 | 2019-06-11 | Oath Inc. | Location-based visualization of geo-referenced context |
KR101423928B1 (ko) | 2007-08-20 | 2014-07-28 | 삼성전자주식회사 | 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체. |
US20090132915A1 (en) * | 2007-11-20 | 2009-05-21 | Microsoft Corporation | View selection and switching |
US8015144B2 (en) | 2008-02-26 | 2011-09-06 | Microsoft Corporation | Learning transportation modes from raw GPS data |
US8972177B2 (en) * | 2008-02-26 | 2015-03-03 | Microsoft Technology Licensing, Llc | System for logging life experiences using geographic cues |
US8966121B2 (en) | 2008-03-03 | 2015-02-24 | Microsoft Corporation | Client-side management of domain name information |
US7890262B2 (en) * | 2008-03-31 | 2011-02-15 | Honeywell International Inc. | Position estimation for navigation devices |
US8645867B2 (en) * | 2008-04-22 | 2014-02-04 | Apple Inc. | Modifying time associated with digital media items |
US8515674B2 (en) * | 2008-05-22 | 2013-08-20 | Mapquest, Inc. | Systems and methods for collecting and using user-contributed map data |
KR20090123227A (ko) * | 2008-05-27 | 2009-12-02 | 삼성전자주식회사 | 검색 서비스 제공장치, 방법 및 프로그램 |
US8199673B2 (en) * | 2008-06-17 | 2012-06-12 | Qualcomm Incorporated | Methods and apparatus for discovery of peer to peer overlaying networks |
US20090319187A1 (en) * | 2008-06-23 | 2009-12-24 | Outside.In, Inc. | Generating Geocoded Targeted Web Advertisements |
US9032320B2 (en) * | 2008-09-08 | 2015-05-12 | Disney Enterprises, Inc. | Time and location based GUI for accessing media |
US8473335B2 (en) | 2008-09-09 | 2013-06-25 | Outside.In, Inc. | Providing geocoded targeted web content |
US8244801B2 (en) * | 2008-09-15 | 2012-08-14 | Wolf Pack Products, Llc | System for digital yearbook delivery with multi-media data |
US8595294B2 (en) | 2008-09-15 | 2013-11-26 | Wolf Pack Products, Llc | System for digital yearbook with advertising |
US10380102B2 (en) | 2008-09-15 | 2019-08-13 | Wolf Pack Products, Llc | System for digital yearbook |
US9373132B2 (en) | 2008-09-15 | 2016-06-21 | Wolf Pack Products, Llc | System for digital yearbook with advertising |
JP4760892B2 (ja) * | 2008-10-10 | 2011-08-31 | ソニー株式会社 | 表示制御装置、表示制御方法及びプログラム |
US20100121564A1 (en) * | 2008-10-31 | 2010-05-13 | Hitachi Automotive Systems, Ltd. | Remote guide system, remote guide method and remote guide device |
US8295855B2 (en) | 2008-11-04 | 2012-10-23 | International Business Machines Corporation | GPS driven architecture for delivery of location based multimedia and method of use |
EP2708267B1 (en) | 2008-11-25 | 2017-02-08 | Fox Factory, Inc. | Video apparatus for virtual competition |
GB2465965A (en) * | 2008-11-26 | 2010-06-09 | Symbian Software Ltd | A computing device for media tagging |
US9063226B2 (en) * | 2009-01-14 | 2015-06-23 | Microsoft Technology Licensing, Llc | Detecting spatial outliers in a location entity dataset |
US8787929B2 (en) * | 2009-02-09 | 2014-07-22 | International Business Machines Corporation | System and methods for providing location information using location based queues |
WO2010096758A2 (en) * | 2009-02-23 | 2010-08-26 | Provo Craft And Novelty, Inc. | Controller device |
US10565065B2 (en) | 2009-04-28 | 2020-02-18 | Getac Technology Corporation | Data backup and transfer across multiple cloud computing providers |
US10419722B2 (en) | 2009-04-28 | 2019-09-17 | Whp Workflow Solutions, Inc. | Correlated media source management and response control |
US9760573B2 (en) * | 2009-04-28 | 2017-09-12 | Whp Workflow Solutions, Llc | Situational awareness |
US20100304720A1 (en) * | 2009-05-27 | 2010-12-02 | Nokia Corporation | Method and apparatus for guiding media capture |
US8577518B2 (en) * | 2009-05-27 | 2013-11-05 | American Aerospace Advisors, Inc. | Airborne right of way autonomous imager |
US10408623B2 (en) * | 2009-06-12 | 2019-09-10 | Microsoft Technology Licensing, Llc | Retracing steps |
KR101541547B1 (ko) * | 2009-06-12 | 2015-08-04 | 삼성전자주식회사 | 이동 통신 단말에서 멀티미디어 데이터의 관리 방법 및 이를 위한 이동 통신 단말 |
US9465890B1 (en) | 2009-08-10 | 2016-10-11 | Donald Jay Wilson | Method and system for managing and sharing geographically-linked content |
CN102596772A (zh) * | 2009-08-26 | 2012-07-18 | 博莱沃创新工艺公司 | 包括工件进给路径绕行组件和工件进给路径分析器的工艺加工装置 |
US8704853B2 (en) * | 2009-08-26 | 2014-04-22 | Apple Inc. | Modifying graphical paths |
US8275649B2 (en) * | 2009-09-18 | 2012-09-25 | Microsoft Corporation | Mining life pattern based on location history |
US9009177B2 (en) * | 2009-09-25 | 2015-04-14 | Microsoft Corporation | Recommending points of interests in a region |
US8677240B2 (en) * | 2009-10-05 | 2014-03-18 | Harris Corporation | Video processing system providing association between displayed video and media content and related methods |
CN104284233B (zh) * | 2009-10-19 | 2018-03-20 | 鹰图公司 | 视频和遥测数据的数据搜索、解析和同步 |
US20110099507A1 (en) | 2009-10-28 | 2011-04-28 | Google Inc. | Displaying a collection of interactive elements that trigger actions directed to an item |
DE102009060687A1 (de) * | 2009-11-04 | 2011-05-05 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten |
US8838381B1 (en) | 2009-11-10 | 2014-09-16 | Hrl Laboratories, Llc | Automatic video generation for navigation and object finding |
US20110161069A1 (en) * | 2009-12-30 | 2011-06-30 | Aptus Technologies, Inc. | Method, computer program product and apparatus for providing a threat detection system |
US8260775B2 (en) * | 2010-01-12 | 2012-09-04 | Microsoft Corporation | Geotemporal search |
US8612134B2 (en) | 2010-02-23 | 2013-12-17 | Microsoft Corporation | Mining correlation between locations using location history |
US9261376B2 (en) | 2010-02-24 | 2016-02-16 | Microsoft Technology Licensing, Llc | Route computation based on route-oriented vehicle trajectories |
US10288433B2 (en) * | 2010-02-25 | 2019-05-14 | Microsoft Technology Licensing, Llc | Map-matching for low-sampling-rate GPS trajectories |
US8140570B2 (en) * | 2010-03-11 | 2012-03-20 | Apple Inc. | Automatic discovery of metadata |
US9501495B2 (en) * | 2010-04-22 | 2016-11-22 | Apple Inc. | Location metadata in a media file |
US8719198B2 (en) | 2010-05-04 | 2014-05-06 | Microsoft Corporation | Collaborative location and activity recommendations |
US9593957B2 (en) | 2010-06-04 | 2017-03-14 | Microsoft Technology Licensing, Llc | Searching similar trajectories by locations |
US8694553B2 (en) * | 2010-06-07 | 2014-04-08 | Gary Stephen Shuster | Creation and use of virtual places |
JP5672814B2 (ja) * | 2010-07-22 | 2015-02-18 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2012026842A (ja) * | 2010-07-22 | 2012-02-09 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2012026844A (ja) * | 2010-07-22 | 2012-02-09 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
CN102384750B (zh) * | 2010-08-31 | 2015-07-22 | 爱普瑞股份有限公司 | 主动式导航系统 |
TWI402781B (zh) * | 2010-08-31 | 2013-07-21 | 主動式導航系統 | |
US20120202525A1 (en) * | 2011-02-08 | 2012-08-09 | Nokia Corporation | Method and apparatus for distributing and displaying map events |
US8488011B2 (en) * | 2011-02-08 | 2013-07-16 | Longsand Limited | System to augment a visual data stream based on a combination of geographical and visual information |
US8493353B2 (en) | 2011-04-13 | 2013-07-23 | Longsand Limited | Methods and systems for generating and joining shared experience |
US8411113B1 (en) * | 2011-10-12 | 2013-04-02 | Google Inc. | Layered digital image data reordering and related digital image rendering engine |
US9009596B2 (en) * | 2011-11-21 | 2015-04-14 | Verizon Patent And Licensing Inc. | Methods and systems for presenting media content generated by attendees of a live event |
US9754226B2 (en) | 2011-12-13 | 2017-09-05 | Microsoft Technology Licensing, Llc | Urban computing of route-oriented vehicles |
US20130156399A1 (en) * | 2011-12-20 | 2013-06-20 | Microsoft Corporation | Embedding content in rich media |
US20130166188A1 (en) | 2011-12-21 | 2013-06-27 | Microsoft Corporation | Determine Spatiotemporal Causal Interactions In Data |
GB2511668A (en) | 2012-04-12 | 2014-09-10 | Supercell Oy | System and method for controlling technical processes |
US8814674B2 (en) | 2012-05-24 | 2014-08-26 | Supercell Oy | Graphical user interface for a gaming system |
US8954890B2 (en) * | 2012-04-12 | 2015-02-10 | Supercell Oy | System, method and graphical user interface for controlling a game |
EP2665063A1 (en) * | 2012-05-17 | 2013-11-20 | Magix AG | System and method for utilizing geo location data for the generation of location-based transitions in a multimedia work |
US20140075348A1 (en) * | 2012-09-11 | 2014-03-13 | Nokia Corporation | Method and apparatus for associating event types with place types |
US8799799B1 (en) | 2013-05-07 | 2014-08-05 | Palantir Technologies Inc. | Interactive geospatial map |
KR20150093294A (ko) * | 2014-02-06 | 2015-08-18 | 한국전자통신연구원 | 통신 단말 사용자의 경험 공유 장치 및 그 방법 |
US9439367B2 (en) | 2014-02-07 | 2016-09-13 | Arthi Abhyanker | Network enabled gardening with a remotely controllable positioning extension |
US9457901B2 (en) | 2014-04-22 | 2016-10-04 | Fatdoor, Inc. | Quadcopter with a printable payload extension system and method |
US9004396B1 (en) | 2014-04-24 | 2015-04-14 | Fatdoor, Inc. | Skyteboard quadcopter and method |
CN103943026B (zh) * | 2014-04-24 | 2016-02-24 | 深圳市赛速科技有限公司 | 一种基于像素距离的目标点自动排布方法 |
US9022324B1 (en) | 2014-05-05 | 2015-05-05 | Fatdoor, Inc. | Coordination of aerial vehicles through a central server |
US9667824B2 (en) | 2014-05-27 | 2017-05-30 | Tribune Broadcasting Company, Llc | Use of location lulls to facilitate identifying and recording video capture location |
US9648230B2 (en) | 2014-05-27 | 2017-05-09 | Tribune Broadcasting Company, Llc | Use of wireless connection loss to facilitate identifying and recording video capture location |
US9441981B2 (en) | 2014-06-20 | 2016-09-13 | Fatdoor, Inc. | Variable bus stops across a bus route in a regional transportation network |
US9971985B2 (en) | 2014-06-20 | 2018-05-15 | Raj Abhyanker | Train based community |
US9451020B2 (en) | 2014-07-18 | 2016-09-20 | Legalforce, Inc. | Distributed communication of independent autonomous vehicles to provide redundancy and performance |
US11481854B1 (en) | 2015-02-23 | 2022-10-25 | ImageKeeper LLC | Property measurement with automated document production |
US10282562B1 (en) | 2015-02-24 | 2019-05-07 | ImageKeeper LLC | Secure digital data collection |
EP3611632A1 (en) * | 2015-03-16 | 2020-02-19 | Palantir Technologies Inc. | Displaying attribute and event data along paths |
US9600146B2 (en) | 2015-08-17 | 2017-03-21 | Palantir Technologies Inc. | Interactive geospatial map |
US10706434B1 (en) | 2015-09-01 | 2020-07-07 | Palantir Technologies Inc. | Methods and systems for determining location information |
EP3322149B1 (en) * | 2016-11-10 | 2023-09-13 | Tata Consultancy Services Limited | Customized map generation with real time messages and locations from concurrent users |
US10217000B2 (en) * | 2017-01-17 | 2019-02-26 | International Business Machines Corporation | Context-based extraction and information overlay for photographic images |
US10520948B2 (en) | 2017-05-12 | 2019-12-31 | Autonomy Squared Llc | Robot delivery method |
US11212416B2 (en) * | 2018-07-06 | 2021-12-28 | ImageKeeper LLC | Secure digital media capture and analysis |
US20230046304A1 (en) * | 2020-01-24 | 2023-02-16 | Nippon Telegraph And Telephone Corporation | Display system and display method |
US11468198B2 (en) * | 2020-04-01 | 2022-10-11 | ImageKeeper LLC | Secure digital media authentication and analysis |
US11553105B2 (en) | 2020-08-31 | 2023-01-10 | ImageKeeper, LLC | Secure document certification and execution system |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3147358B2 (ja) * | 1990-02-23 | 2001-03-19 | ミノルタ株式会社 | 撮影地データを記録できるカメラ |
US5422814A (en) * | 1993-10-25 | 1995-06-06 | Trimble Navigation Limited | Global position system receiver with map coordinate system outputs |
US5596494A (en) * | 1994-11-14 | 1997-01-21 | Kuo; Shihjong | Method and apparatus for acquiring digital maps |
US5642285A (en) * | 1995-01-31 | 1997-06-24 | Trimble Navigation Limited | Outdoor movie camera GPS-position and time code data-logging for special effects production |
US6282362B1 (en) * | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
US5726660A (en) * | 1995-12-01 | 1998-03-10 | Purdy; Peter K. | Personal data collection and reporting system |
JP3743988B2 (ja) * | 1995-12-22 | 2006-02-08 | ソニー株式会社 | 情報検索システムおよび方法、並びに情報端末 |
WO1998021688A1 (en) | 1996-11-15 | 1998-05-22 | Sarnoff Corporation | Method and apparatus for efficiently representing, storing and accessing video information |
AU7705498A (en) | 1997-05-29 | 1998-12-30 | Red Hen Systems Llc | Gps video mapping system |
WO1999018732A1 (en) | 1997-10-06 | 1999-04-15 | Ciampa John A | Digital-image mapping |
US6504571B1 (en) * | 1998-05-18 | 2003-01-07 | International Business Machines Corporation | System and methods for querying digital image archives using recorded parameters |
US6144375A (en) * | 1998-08-14 | 2000-11-07 | Praja Inc. | Multi-perspective viewer for content-based interactivity |
US6173239B1 (en) * | 1998-09-30 | 2001-01-09 | Geo Vector Corporation | Apparatus and methods for presentation of information relating to objects being addressed |
US6564263B1 (en) * | 1998-12-04 | 2003-05-13 | International Business Machines Corporation | Multimedia content description framework |
US6513046B1 (en) | 1999-12-15 | 2003-01-28 | Tangis Corporation | Storing and recalling information to augment human memories |
JP2000332943A (ja) | 1999-05-20 | 2000-11-30 | Pasukaru:Kk | 携帯情報端末器 |
EP1054331A3 (en) | 1999-05-21 | 2003-11-12 | Hewlett-Packard Company, A Delaware Corporation | System and method for storing and retrieving document data |
GB2354104A (en) * | 1999-09-08 | 2001-03-14 | Sony Uk Ltd | An editing method and system |
AU1598201A (en) * | 1999-11-12 | 2001-06-06 | Intercontinental Travel Services, Inc. | System for automated multimedia presentation utilizing presentation templates |
WO2001054021A1 (en) | 2000-01-18 | 2001-07-26 | Richard Liming | System and method providing a spatial location context |
EP1128284A2 (en) | 2000-02-21 | 2001-08-29 | Hewlett-Packard Company, A Delaware Corporation | Associating image and location data |
EP3367268A1 (en) | 2000-02-22 | 2018-08-29 | Nokia Technologies Oy | Spatially coding and displaying information |
GB2360658B (en) * | 2000-03-20 | 2004-09-08 | Hewlett Packard Co | Camera with user identity data |
GB0007474D0 (en) | 2000-03-29 | 2000-05-17 | Hewlett Packard Co | Location-Dependent User Interface |
GB0007942D0 (en) | 2000-04-01 | 2000-05-17 | Hewlett Packard Co | Distributed search method |
GB0008908D0 (en) | 2000-04-11 | 2000-05-31 | Hewlett Packard Co | Shopping assistance service |
GB0012749D0 (en) | 2000-05-26 | 2000-07-19 | Hewlett Packard Co | Finding locally-relevant information in a physical document |
US6904160B2 (en) | 2000-10-18 | 2005-06-07 | Red Hen Systems, Inc. | Method for matching geographic information with recorded images |
US20030024975A1 (en) * | 2001-07-18 | 2003-02-06 | Rajasekharan Ajit V. | System and method for authoring and providing information relevant to the physical world |
-
2003
- 2003-04-30 US US10/427,649 patent/US6906643B2/en not_active Expired - Lifetime
-
2004
- 2004-04-29 EP EP04775938A patent/EP1623348A1/en not_active Withdrawn
- 2004-04-29 WO PCT/US2004/013819 patent/WO2005017780A1/en not_active Application Discontinuation
- 2004-04-29 JP JP2006514269A patent/JP2006526152A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007241766A (ja) * | 2006-03-09 | 2007-09-20 | National Institute Of Information & Communication Technology | 三次元ブログ提供装置、三次元ブログ提供プログラム |
WO2009069664A1 (ja) * | 2007-11-30 | 2009-06-04 | Sony Corporation | 地図表示装置と地図表示方法および撮像装置 |
JP2009133775A (ja) * | 2007-11-30 | 2009-06-18 | Sony Corp | 地図表示装置と地図表示方法および撮像装置 |
US8742955B2 (en) | 2007-11-30 | 2014-06-03 | Sony Corporation | Map display apparatus, map display method, and image pickup apparatus |
JP2015118509A (ja) * | 2013-12-18 | 2015-06-25 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1623348A1 (en) | 2006-02-08 |
WO2005017780A1 (en) | 2005-02-24 |
US20040217884A1 (en) | 2004-11-04 |
US6906643B2 (en) | 2005-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6906643B2 (en) | Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia | |
US20180322197A1 (en) | Video data creation and management system | |
US8831380B2 (en) | Viewing media in the context of street-level images | |
US10185476B2 (en) | Content presentation and augmentation system and method | |
US8572077B2 (en) | System and method for displaying information in response to a request | |
US8271497B2 (en) | Information processing apparatus and information processing method outputting information on movement of person | |
US9292516B2 (en) | Generation, organization and/or playing back of content based on incorporated parameter identifiers | |
US7359797B2 (en) | System and method for displaying images in an online directory | |
US8051089B2 (en) | Systems and methods for location-based real estate service | |
US20040220965A1 (en) | Indexed database structures and methods for searching path-enhanced multimedia | |
US20140176606A1 (en) | Recording and visualizing images using augmented image data | |
US20150242767A1 (en) | Aerial view, web-based trip planning techniques using geotagged video and images syncd to a map | |
JP2007226555A (ja) | 無意識に撮影された画像の閲覧装置及び方法 | |
Zhang et al. | Annotating and navigating tourist videos | |
JP2003099434A (ja) | 電子アルバム装置 | |
Hamilton | OurPlace: The convergence of locative media and online participatory culture | |
de Silva et al. | Retrieving multimedia travel stories using location data and spatial queries | |
TW201303699A (zh) | 連結地圖軌跡與多媒體資訊的電腦可讀取式指令、圖形化使用者介面及系統 | |
Navarrete et al. | A Semantic Approach for the Indexing and Retrieval of Geo-referenced Video. | |
Harville et al. | Mediabeads: An architecture for path-enhanced media applications | |
Tanaka et al. | A tool for creating Pseudo-3D spaces with Hyperphoto: An application in ethnographic studies | |
Pfoser et al. | Geoblogging: User-contributed geospatial data collection and fusion | |
Kadobayashi et al. | Collaborative Guidance System Using Multi-gaze History and Shared Photograph Collection | |
Chang et al. | An intelligent travel book management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |