JP2006526945A - 「パス・エンハンスド」マルチメディアを記録する装置及び方法 - Google Patents

Abstract

「パス・エンハンスド」レコーダが、時間及び位置データの疑似連続的な捕捉と共に、マルチメディアデータファイルの記録（一般に、従来のディジタル音声、写真及びビデオ記録技術を使用するが必ずしもこれらに限らない）を組み合わせて、マルチメディアデータファイルが記録されていない時間及び／又は位置を含むことが好ましいユーザの経路全体の後の再現を可能にする。したがって、「パス・エンハンスド」レコーダ装置は、マルチメディアデータファイルだけでなく、個々の記録されたメディアファイルの捕捉と捕捉の間（及び捕捉中）に移動した経路に関するデータの組み合わせた記録を実現し、これにより、表現の自動生成、「パス・エンハンスド」マルチメディアの調査、強化及び編集、ならびに「パス・エンハンスド」マルチメディアデータベースの探索を含む、幾つかの意図された用途を容易にする「パス・エンハンスド」マルチメディアが生成される。

Description

本発明は、一般に記録装置に関し、特に（本書で規定するような）「マルチメディア」をそれに関連する時間及び／又は位置データと共に捕捉する装置に関する。
[関連出願に対する相互参照]
本願と同時に出願された幾つかの本出願人による特許出願は、本装置及び方法の様々な意図された応用例について説明したものである。

米国特許出願第10/427,582号である「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」は、複数の記録されたイベントの表現をそれらのイベントを接続する動画化された経路指向型のオーバービューと共に生成する装置及び方法に関する。

米国特許出願第10/427,649号である「Exploration, Enhancement and Editing of "Path-Enhanced" Multimedia」は、空間的及び時間的関係から導出された経路を使用して、一連のテキスト、音声、静止画像、ビデオ、及び／又はその他の「マルチメディア」データを調べ、その価値を高め、及びその編集を行うための表示装置及び方法に関するものである。更に、かかる関連付けされた経路を規定するデータを編集することにより新しい経路又は修正された経路を規定することも可能である。

米国特許出願第10/427,647号である「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」は、関連付けされた時間及び位置を有する記録データのためのデータベース構造及びデータ探索手順に関するものである。

現在、音声機能、静止画像機能、ビデオカメラ機能を使い易い形で組み合わせた幾つかの消費者指向の電子記録装置が使用可能であり、かかる装置では、捕捉されたデータは、随意選択的に内蔵クロックによってタイムスタンプされる。利用可能な幾つかの消費者向けマルチメディア記録装置は、テキストキャプション及び会話の別個の記録を可能にする。また、特定の音声又は画像が記録された精確な時間と位置を識別するためにGPS技術を使用する記録装置も提案されている。
[基本思想と定義]
・マルチメディア
「マルチメディア」という用語は、他の分脈では、データ、知覚体験、又はデータから体験を表現するために使用される技術を称するために様々な形で使用されてきたが、本書で使用されるときは、視覚、聴覚、嗅覚などの１つ又は２つ以上の人間の感覚が体験できる形態に互換装置によって表現できる任意のデータを広義に指す。同様に、「マルチメディア」は、他の場所では特に、多数のデータソースからの多数の知覚体験の表現に関連して使用されてきたが、本書で使用されるときは、単一の知覚体験以外を表すデータに等しく適用可能であるように意図されている。そのようなマルチメディアの一般的な例には、最初に写真フィルム又はCCDアレイによって記録された可視画像又は赤外線画像やマイクロフォンによって記録された音声などの物理センサによって取り込まれるデータ、又はマイクロフィルム化又はディジタル化された印刷出版物がある。現在意図されている他の例には、例えばシミュレートされた宇宙飛行のような完全にコンピュータによって合成されたデータ、テキストページ又はコンピュータ生成音声として表現できるディジタルテキスト（ASCII又はUNICODE形式）、又は物体又は環境の複製を合成するために使用できる現実の又は架空の物体又は環境の特定の物理特性（色、サイズ、形状、位置、空間識、速度、重量、表面質感、密度、弾性、温度、湿度、化学成分など）を表すデータがある。マルチメディアデータは一般に、１つ又は２つ以上の「マルチメディアファイル」に記憶され、そのような各ファイルは一般に所定の規定されたディジタル形式を有するものである。
・位置
位置は一般に、地球表面上のユーザの位置を表す座標によって規定することができる。天体力学では一般に多数の座標系が使用されており、異なる座標系の間の変換が知られている。実際に対象となる殆どの座標系は、ECEF（Earth-Centered, Earth-Fixed）座標系になる。ECEF座標系では、原点は地球の中心になり、座標系は地球に固定される。地球の形状を回転楕円面、詳細には偏球としてとしてモデル化するのが一般的であり、地球は極地よりも赤道の方が大きい。GPS応用分野で一般に使用されるそのような座標系の一例が、WGS84（世界測地系1984）である。WGS84系内では、緯度と経度が地球の表面上の任意の位置を規定する。緯度と経度の代わりに楕円面上に規定された他の一般化された任意の座標系を使用して地球上の位置を参照することができる。応用分野によっては、第３の座標である高度も必要とされる。GPS応用分野では、高度は、一般に、実際の地形の上ではなく、前述の地球を表す偏球面の上（又は下）の距離を示す。他の応用分野では、例えば所定の経路に沿った里程標又は側点に対応する位置（又は予定時間までも）が一次元座標系で表されることがある。
・時間
位置と同様に、時間を表すには多くの方法がある。多くのデータ処理応用分野において、時間は、何らかの時間スケールを使用して現在時刻と絶対基準時刻との時間差の数値表現として定義される。付加的な緯度及び経度情報を使用して、この数値表現から地方時間を計算することができる。

協定世界時（UTC）は、これらの発明で使用される時間スケールの一例となる最新の時間スケールである。UTC時間スケールは、きわめて安定した秒を画定し、また地球の自転に結びつけられたものである。秒は、セシウム133の基底状態の２つの超微細順位間の原子遷移によって生じる放射線の所定周期数の持続時間に関して規定される。更に、UTCシステムは、閏秒の追加により、地球の自転速度のずれに同期させられる。
・経路（path）
本書で使用するとき、「経路」は、（一般に、GPS、その他の無線サービス、及び／又は内部クロック又はカウンタからの）関連付けされた一連のタイムスタンプをそれぞれ有する（GPSその他からの、緯度、経度、及び／又は高度を含み得る）順序付けされた一連の隣接する位置を意味する。等価的に、「経路」は、一連の位置からの個々の位置に各々が関連付けされた一連の時間データと見なすことが可能である。
・「パス・エンハンスド」マルチメディア（PEM）
経路情報（例えば時間及び位置データ）とマルチメディアとの関連付けにより「パス・エンハンスド」マルチメディアが生成される。経路情報は、個々に記録されたマルチメディアファイルの記録間と記録中に移動した経路に関して記録される。換言すれば、経路情報は、マルチメディアが記録されたときと記録されなかったときの経路時間及び位置を含む。経路上の所与の１つのポイントに関連付けされた１つのマルチメディアファイルが、複数の瞬間に対応することができること、及び複数のマルチメディアファイルを同一ポイントに関連付けすることができることに留意されたい。

「パス・エンハンスド」レコーダは、マルチメディアデータとそれに関連する経路情報（例えば時間及び位置データ）との記録を組み合わせる。これにより、「パス・エンハンスド」記録装置は、マルチメディアデータの記録だけでなく、個々のメディアデータの各記録間（及び場合によっては記録中）に移動した１つ又は２つ以上の経路に関連する情報（例えば時間及び位置データ）の記録も提供する。経路情報とマルチメディアデータとの関連付けは、本書及び上記引用の同時係属出願の両方に記載されている幾つかの意図する用途を容易にする「パス・エンハンスド」マルチメディアを生成するものとなる。

本発明は、特許請求の範囲に規定され、その請求項の幾つかは、前述の発明の一層広い範囲の態様の一部又は全てに関するものであり、一方、その他の請求項は、以下の発明を実施するための最良の形態から明らかとなる特定の新規で有利な複数の特徴及び該特徴の組み合わせに関するものである。

図１は、「パス・エンハンスド」マルチメディアレコーダにより得られた「パス・エンハンスド」マルチメディアから描画することができる都市（例えばサンフランシスコ）のマップ1の一例を示している。具体的には、「パス・エンハンスド」マルチメディアは、記録されたマルチメディアデータに関連付けされた経路情報を含むので、所与の経路に沿った所与の記録されたマルチメディアの位置を示すマップを描画することができる。マップ1に示すように、サンフランシスコへの訪問者は、ルート（経路2）をたどって、該経路2に沿った（ビデオ3、音声4、写真5のマルチメディアアイコンで表す）様々なマルチメディアファイルを捕捉することができ、これにより、個々のマルチメディアファイル3,4,5だけでなく経路2も含む旅行又は移動経験のマルチメディア日記が作成される。また、この「パス・エンハンスド」マルチメディアレコーダを使用して、地質学又は生物学の科学的調査旅行、軍事探査任務、記事を処理するニュース報道チームによる情報収集、事例を処理する法執行官又は個人投資家による証拠文書化、測量士と建設作業員による建築現場分析、及び販売を見込める家屋の地図ベースのプレゼンテーションの作成を含む、様々な他の意図される用途における情報を収集し編集することができる。

図２は、経路決定サブシステム11、マルチメディア記録サブシステム13、及びデータ転送サブシステム15を含む「パス・エンハンスド」マルチメディアレコーダ10の例示的な一実施形態を示している。この実施形態に示すように、経路決定サブシステム11は、経路決定情報11Aを受信する。実施形態によっては、１つ又は２つ以上のソースから経路決定情報に対応する２つ以上の信号を受信することができる。経路決定情報は、経路に沿ったレコーダ10の位置に関する情報を少なくとも含むが、該経路に関する時間情報を含む場合も含まない場合もあることに注意されたい。経路位置及び経路時間データ11B（すなわち、位置データ22及び時間データ24を含む経路情報）が、少なくとも経路決定情報から決定されて記憶され、これにより経路情報の記録が構成される。位置及び時間データ11Bの記憶は、記憶された位置及び時間データ11Bの各対を、経路に沿った所与のポイントに有効に関連付けするものとなる。他の実施形態では、位置及び時間データ11Bを、経路に沿った所与のポイントに直接的又は間接的に関連付けし又はリンクさせることが可能である。図２に示す実施形態では、経路情報は、位置及び時間データ11Bが経路情報記憶装置26に記憶される際に記録される。

少なくとも時間データ（例えば時間データ24）を含む経路情報がマルチメディア記録システム13に提供される。サブシステム13は、マルチメディアデータを記録し、及び該記録したデータの少なくとも一部分を経路情報に関連付けする。本出願の目的上、マルチメディアデータの記録が、マルチメディアデータの捕捉及び記憶を指していることを理解されたい。一実施形態では、サブシステム13はマルチメディアセンサ34を含む。センサ34は、少なくとも音声信号、静止画像又はビデオ画像、及び入力されたテキスト文字を捕捉するよう実施することができる。センサ34は、アナログマルチメディア信号又はディジタルマルチメディア信号の少なくとも１つを捕捉することができる。センサ34は、音声マイクロフォン、静止画捕捉装置（例えばカメラ）、ビデオ画像捕捉装置（例えばビデオレコーダ）、及びテキスト捕捉装置（例えばキーボード又はタッチスクリーン及びスタイラス）として実施することが可能である。図２に示した実施形態では、捕捉されたマルチメディアデータはマルチメディア記憶装置36により記憶される。経路情報は、経路情報をマルチメディアデータと一緒に記憶させることにより、又は記憶済のマルチメディアデータに経路情報を何らかの形でリンクさせることにより、記憶済のマルチメディアデータに関連付けされる。

データ転送サブシステム15は、マルチメディアデータとそれに関連する経路情報とを含む「パス・エンハンスド」マルチメディアデータの転送を可能にする。一般に、データ転送サブシステム15は、「パス・エンハンスド」マルチメディアデータをフォーマットし、及びレコーダ10と外部装置との間の通信を可能にする入出力インタフェイスを提供するよう機能することができる。データ転送サブシステムはまた、赤外線送信器や無線送信器といった送信器を含むことが可能である。更に、データ転送サブシステム15は、「パス・エンハンスド」マルチメディアデータを受信するよう構成された追加モジュールを結合するためのポートを含むことが可能である。このため、データ転送サブシステム15は、「パス・エンハンスド」マルチメディアデータの後の外部処理（例えば、品質向上、編集、表示、アーカイブ等）を可能にする。

レコーダ10の一実施形態では、経路決定サブシステム11は、受信器18、GPS受信器16、プロセッサ20、経路情報記憶装置26、クロック回路28、及び内部クロック30を含む。レコーダ10の他の実施形態がこれよりも多くの要素又は少ない要素を含むことができることを理解されたい。この実施形態によれば、レコーダ10は、それぞれの互換性を有する受信器16,18を介して、GPS衛星12及び／又はその他のソース14から経路決定情報11Aを受信する。一般に、経路決定情報11Aは、「未処理」データ信号と見なされ、これは、かかる信号が位置及び時間データ11Bを得るために更なる処理を必要とすることが多いからである。「パス・エンハンスド」レコーダ10のGPS受信器構成要素16は、Sirf Technologies、Motorola、Valence Semiconductorsといった会社によるICで作成することができる。現行の慣例では、民生用GPS受信器は、無線周波数アナログ処理フロントエンド回路を有し、またGPS衛星が配信するスペクトル拡散信号を復調するディジタル相関器回路を別個のICで有している。GPS受信器内部には、２つのディジタルフェーズロックループがあり、その一方は、（内部で生成された疑似ランダムコードワードと比較して）コード・フェーズを追跡し、その他方は、衛星L1マイクロ波帯信号のキャリア・フェースを追跡する。アナログ信号処理及びディジタル信号処理の両方を採用したハイブリッド構成要素は、無線周波数フロントエンド用のアナログ回路と相関器用のディジタル回路とを有するGPS受信器を実施するのに特に適したものとなる可能性がある。

送信器14及び受信器18は、位置情報及び随意選択的に時間情報を提供するためにGPSに対して追加的に又は相補的に位置決めシステムを使用することを許容する。例えば、トランスミッタ14は、随意選択的に、プロセッサ20により実行される位置計算に使用することが可能な他の情報を送ることができる。更に、互換性を有する受信器18は、独立した屋内位置決めシステムのための無線（RF）受信器とすることが可能であり、又は精度を高めるためのGPS補正情報を受信する差動GPS受信器とすることが可能である。受信器18はまた、Qualcom社のSnapTrack技術の携帯電話基地局信号を記録することが可能であり、この信号を使用して、GPS信号を強化して、室内環境で改善された位置測定を実現することができる。位置情報はまた、無線トランシーバの既知の位置までの伝送遅延に基づいて既知の三角法から得ることが可能である。この代替的又は補足的な位置情報決定技術を使用して、GPS情報から計算された位置データ22を更に改善することが可能であり、又は（室内位置のような）GPS信号が利用できないときに位置データ22を決定することができる。装置が複数の位置決めシステムから経路決定情報11Aを同時に入手できる場合、該装置は、最も高い精度又は信頼性で動作している１つ又は２つ以上の位置決めシステムに大きい重みと重点を置くことができる。

プロセッサ20は、位置及び／又は時間情報の異なるソースにより使用される複数の空間時間座標系を整合させるロジックを提供することができる。プロセッサ20はまた、位置及び／又は時間情報のソースを、精度及び信頼性が多少なりとも高くなるよう１つのシステムから別のシステム（16,18）へと切り換えるロジックを提供することができる。随意選択的に、プロセッサ20は、異なるソース（12,14）からの位置情報を、個々の位置決めシステムから期待される精度を表す重み（例えば屋内ではGPSの重みがゼロになる）と組み合わせることが可能である。

プロセッサ20はまた、受信器16,18が高信頼性の信号を受信することができない位置に装置があるときに推定位置を提供する補間手段を含むことができる。実施形態によっては、装置は加速度計を含み、その測定値を内部クロックからのクロック信号と組み合わせて使用して装置の空間的な変位を計算することができる。受信器16,18からの高信頼性の信号が存在しない場合に、かかる変位を最後の高信頼性の受信器ベースの位置測定値に加算して現在位置の推定値を得ることが可能である。

精確な経路を必要とするが実時間計算を必要としない用途の場合、位置及び時間データ11Bを生成するための考え得る技術は、まず「未処理」信号（すなわち経路決定情報11A）を記憶し、次にそれを「後処理」して時間及び位置を得ることである。データを収集した後に衛星軌道データモデル及び複雑で精確な電離層誤差モデルが使用できるのは希である。補助データを使用すると、「後処理」された「未処理」データの精度が向上する。受信したGPS信号に様々な後処理手法を用いることが可能である。第１の手法では、未処理GPS波形がディジタル化されて記憶される。次に、該未処理GPS波形と改善された補助データとを組み合わせるソフトウェア計算を使用して精確な経路を生成する。第２の手法では、GPS疑似レンジデータ（受信器クロックバイアス誤差を補正しないGPSレンジ計算）が受信器に記憶される。次いで、この疑似レンジデータが補助データと共に処理されて位置及び時間データ11Bが生成される。この未処理GPS波形に基づく手法は、最大限のフレキシビリティを実現するが大きな記憶領域を必要とする。何れの手法においても、後処理に先立ち記録されたGPSデータは、好適には、カウンタをベースとする機構を介して記録済のマルチメディアと同期される。後処理は、かかるカウンタを精確な時間測定値と置き換えることを可能にする。

本開示の例示的な実施形態では、経路時間データ24はプロセッサ20により決定される。一実施形態では、時間データ24は、GPS受信器16から提供されたGPS信号（「GPS信号検出」信号及び「GPS計算時間」信号を含む）からクロック回路28により導出される。時間データ24をクロック回路28内の内部クロック30と同期させることにより、経路決定情報11AからGPS又は外部タイミング情報を利用できないときに、内部クロック30を使用して経路時間データ24を提供することが可能となる。一実施形態では、内部クロック30は水晶発振器により実施される。

プロセッサ20により決定された経路時間データ24は経路情報記憶装置26に出力される。一般に、経路決定情報11Aを処理することによって生成された位置データ22は、マルチメディアデータが記録されているか否かにかかわらず経路情報が実質的に連続して記録されるように、プロセッサ20からほぼ連続的に決定されサンプリングされ、時間データ24と共に経路情報記憶装置26に記憶される。より具体的には、経路情報は、個々の記録メディアファイルの捕捉と捕捉の間又は捕捉中に移動した経路に関して記録される。換言すると、経路情報は、マルチメディアが記録された経路及び記録されなかった経路の時間及び位置を含む。電力及び記憶容量を節約するために、レコーダ10が実際に移動しているか否か及び／又はレコーダ10が現在マルチメディアを記録しているか否かに基づいて、経路サンプリングレートを適応的に決定することができる、ということに留意されたい。

他の実施形態では、特にユーザのプライバシー配慮が最も重要であるとき、又は記録されたマルチメディアデータを該マルチメディアデータが当初に捕捉された実際の位置及び時間でない位置及び時間に関連付けすることが意図されるときには、経路に関連する実際の時間データ24又は位置データ22を記録せずに一連の参照番号のみを記憶することが望ましい場合がある。後に、かかる一連の参照番号を、おそらくは架空の（又は「仮想的な」）経路上の架空の時間及び位置に関連付けされた一連のイベントへと逐次に変換することが可能である。

経路時間データ24はまた、経路情報（例えば時間データ24）を記録済のマルチメディアデータに関連付けするために、マルチメディア記憶装置36に提供される。図示のように、経路情報及びマルチメディアデータは、それぞれ時間データ24で適宜タイムスタンプされて個々の記憶機構26,36に別個に記憶されるが、当業者には理解されるように、特定のマルチメディアデータファイルとそのファイルに関連付けされた経路上の特定の位置との間に明白な関連付けを提供するための他の手段を実施することが可能である、ということに留意されたい。特に、絶対的な記録時間の記憶を明示的に提供しない従来の記録形式がマルチメディアに使用される場合には、経路の関連付けは、経路データからマルチメディアデータへの適切なポインタにより実施することが可能である。

データ転送インタフェイス40は（後に詳述するように）、経路記憶装置26からの経路情報と、マルチメディア記憶装置36からのマルチメディアデータと、おそらくは随意選択的な補助センサデータ記憶装置44からの補助センサ情報を組み合わせて、後で処理する（例えば、編集し、表示し、共有し、及び／又はアーカイブする）ことができる「パス・エンハンスド」マルチメディア出力38を提供する。他の実施形態では、インタフェイス40は、ユーザが所望する場合に出力データの暗号化を実施することができる。レコーダ10内部で使用されるフォーマットは、必ずしも外部サブシステム（図示せず）へのI／O出力38に現われるフォーマットと同じフォーマットである必要はなく、データインタフェイス40は、随意選択的に、内部に記憶されたデータと外部サブシステムとの間で必要とされるフォーマット変換を行うことに留意されたい。

レコーダ10は、随意選択的に、１つ又は２つ以上の補助センサ42及び１つの補助センサデータ記憶機構44を含むことがある。該補助センサには、例えば、装置の向き（進行方向と傾き）を決定する内蔵コンパス及び傾斜計、及び／又は高度計、及び／又は加速度計、及び／又は温度計や気圧計などの環境条件センサがある。補助センサは、トランスミッタ14及び衛星12で例示する外部位置決めシステムを補足するために使用することができる未処理の位置関連データを捕捉する。かかる補助センサデータは、前述のプロセッサ20からの時間データ24と共に、補助センサデータ記憶機構44に提供される。

一実施形態では、補助センサ42からのデータを使用して、視覚的なメディアの捕捉時における視覚的な（ビデオ画像又は静止画像）センサ34の「視野」を推定することができる。該視覚的なセンサの視野は、カメラセンサから見える空間領域をマップの三次元座標又は二次元座標で示すものとなる。図３に示すように、このデータは、マルチメディアアイコン5に矢印を付けることによりマップ1に記号的に示すことができ、該矢印の方向は、カメラのコンパス方位を示し、該矢印の長さはそのおおよその焦点を示す。例えば、長い矢印52aは、カメラが遠くの物体に焦点を合わせている遠方設定を示し、短い矢印52bは、カメラが近くの物体に焦点を合わせているクローズアップ設定を示している。代替的には、図４に示すように、矢印52a,52bを三角形に置換し、これにより補助センサ42からの第３のデータアイテム（拡大設定やズーム設定等）を表す手段を提供することが可能である。したがって、相対的に長くて幅の広い三角形54aは、（三角形の角度方向により）コンパス方位と（三角形の長さにより）相対的に長い焦点距離を示すだけでなく、（三角形の幅により）より広い視野とより低い有効倍率を示す一方、相対的に短くて幅の狭い三角形54bは、カメラが、近い物体に狭い視野で焦点が合わせられていることを示す。三角形の代わりに平行四辺形を使用することにより、第４のデータアイテム、例えば、装置の姿勢を示すことができる。視野の指示子が、記録位置の近くで幅が広く、及び最大距離で幅が狭くなる場合、これは用紙平面内に向かう下向きの傾斜を示すことができ、一方、距離が遠いほど幅が広くなる場合には、上向きの傾斜を示すことができる。平行四辺形の平均幅は、三角形54a,54bの幅に対応するものとなり、よって視野の相対的な幅を示すものとなる。

図２を再び参照されたい。推定された視野を示すデータを、前述の時間データ24と共に補助データセンサ記憶装置44に記憶させることができる。装置10の視野は、その位置、コンパス方位、焦点距離、及び撮像装置サイズ情報から推定することが可能であり、装置10の視野はまた、入手可能な場合には、カメラの傾き、高度、及び／又は三次元地面情報を使用してその精度を高めることが可能である。本発明の実施形態によっては、この推定に必要な計算は、本発明自体によっては行われず、後述するように、本発明から補助センサデータが転送された後に他の何らかのアプリケーション又は装置によって行われる。かかる実施形態では、本発明は、捕捉時のカメラ高度、コンパス、傾斜計、焦点距離の読み取り値など、視野を推定するのに必要なデータだけを補助センサデータ記憶装置44に記憶する。本発明の他の実施形態では、カメラ視野の推定を、視覚的なメディアの捕捉時に本発明自体により行うことが可能であり、これにより、空間座標に関する視野の直接的な記述が補助データセンサ記憶装置44に記憶される。

視野を計算する１つの方法は、以下のように進行する。
a）画像捕捉装置が関係する対象の最大距離を選択する。この最大距離は、カメラの焦点距離と絞りから計算することが可能であり、またカメラによっては選択することができる「クローズアップ」モードや「パノラマ」モードといった他の設定値から推定することが可能であり、典型的には、所定の上限によって限られた焦点内に対象物が現れる最大距離に対応するものとなる。
b）現在位置にある装置の推定された焦点から撮像装置の画素アレイの４つの角部の各々を通る三次元光線を投影する。装置の向き、焦点距離、画素サイズ、及び撮像装置の画素アレイサイズを使用して、コンピュータによる視覚画像処理技術分野で周知の方法により、装置位置において推定された焦点からそのような４つの光線を投影する空間内の角度を決定することが可能である。
c）これらの光線をステップ（a）で選択された距離に切り取り、これらの光線の端を平坦な矩形に接続して三次元空間内にカメラ視野を含む四方ピラミッド体積を形成する。この体積は、地面や他の対象物により生じる障害物を考慮していないので、実際の装置視野の概算に過ぎない場合がある。視野が三次元座標という形で記憶される場合には、該視野は、四方ピラミッド体積の頂点の座標として表すことができる。
d）視野の二次元座標による記述が所望される場合には、このピラミッド体積を、地球に対するある一定の高度において表面上へまっすぐ下方に（地球の中心に向かって下方に）投影する。場合によっては、カメラ位置の高度又はカメラ位置の近くの高度を使用したいことがあるが（例えば、高度が未知か又は海面から遠いことが分かっている場合）、他の場合には、海面（すなわちゼロ）などの別の高度を使用することが好ましいことがある。ローカルマップデータが入手可能な場合は、カメラの捕捉位置の近くでこのデータに基づいて、使用する精確な高度を選択することができる。垂直投影を行う際、選択した高度よりも下にある三次元体積は無視しなければならない。この投影は、必要に応じて、一組の二次元点座標、複数の線区分、又は複数の曲線区分として表すことができる視野を示す二次元形状を生成するものとなる。
e）捕捉装置の記憶装置内のローカル三次元マップデータが利用可能な場合は、ステップ（d）で計算した二次元視野形状又はステップ（c）で計算した三次元視界体積を、一定の規則的間隔でサンプリングされた、個別にサンプリングされた複数のポイントの位置からなる格子へと分割することにより、前述のステップ（c）又は（d）で計算した視野を更にリファインすることができる。視野内のかかる複数の格子ポイントの各々は、緯度、経度及び高度を有する三次元位置である。三次元カメラ位置からそれら三次元ポイントの各々への光線の投影を試みる。カメラからの光線が、異なる（緯度、経度）座標を有する他の位置にある三次元マップのどの要素も最初に通ることなくそのポイントに至る場合には、格子内のそのポイントを残す。そうでない場合には、そのポイントは、カメラに近い何かによって妨害され、そのポイントは格子から除去される。格子内の全てのポイントをテストした後、残りのポイントの形状の記述を計算し記憶する。この記述は、格子内のポイントの外殻の頂点となる場合があり、又は単に格子内に残っている全てのポイントのリストとなる場合もある。

装置自体のカメラの二次元又は三次元視野を計算せずに、単に視野を推定するために必要な情報（コンパス、高度、傾斜計の読み取り値など）を記憶する実施形態では、前述の方法を上記引用の同時係属中の米国特許第10/427,582号及び第10/427,649号に記載されているような編集及び表示応用例及びシステムで利用して、装置10から出力された補助センサデータから視覚メディアの視野を推定することが可能である。

一実施形態では、ユーザモードセレクタ46によってレコーダ10へ制御が提供される。制御は、音声によって手動で提供することが可能であり、又は外部的な刺激及び／又は時刻に応答するよう予めプログラムすることが可能である。少数の音声コマンドによる制御は、Advanced Recognition Technologies、DSP Group、Summa Groupなどの会社から入手可能な、少語彙音声認識用の安価な集積回路を使用することにより容易に実施される。予めプログラムされた時刻に対する応答としては、選択された日時におけるビデオ、音声、又は写真の自動記録が挙げられる。予めプログラムされた外部刺激に対する応答としては、内蔵光レベルセンサからの入力に基づくビデオ又は写真露光設定の自動調整、現在の音声信号のエネルギーレベルの計算に基づく音声記録ゲイン設定の自動調整、音声又は光レベルの急激な変化に応じたビデオ、写真、又は音声の自動記録が挙げられる。図２に示す実施形態では、少なくともセンサ34、補助センサ42、及び経路情報記憶装置26への適切な制御信号48によってどのマルチメディアをいつどこで記録するかを制御するために制御信号が使用される。ユーザモードセレクタ46は、例えば、ビデオと音声の記録を開始し終了するために使用され、また写真をいつ記録するかを選択するために使用される。また、ユーザモードセレクタ46を使用して、ユーザは、記録中にマルチメディアデータを経路情報に関連付けしないことを指定することができる。また、ユーザモードセレクタ46によって、ユーザは、経路情報を記録するサンプリングレートを選択することができる。例えば、記憶装置26に記憶される経路情報は、１秒に10回、１秒に１回、１分に１回、又はマルチメディアデータが記録されているときだけ記録される。また、経路情報サンプリングレートは、「適応」モードに設定することが可能であり、この場合、サンプリングレートは、レコーダ10が動いているときは高くなるが、装置があまり動いていないときは低くなる。また、モードセレクタ46によって、ユーザは、高度、コンパス方位、チルト、焦点距離／ズーム設定、カメラ視野など、（センサ42から得られた）他の随意選択的な補助センサデータを選択的に記録することができる。

実施形態によっては、ユーザモードセレクタ46は、出力データ38の暗号化及びパスワード保護、及び／又は連続する経路記録の禁止を含む、特定のプライバシーオプションをユーザが選択することを可能にする。また、ユーザモードセレクタ46は、上記引用の同時係属中の米国特許出願第10/427,649号に詳細に記載されているように、特定のマルチメディアファイル又は経路区分を「お気に入り」、「秘密」、「公開」、「未完成」、「ごみ箱」などの１つ又は２つ以上のカテゴリに属するようブックマークする機能を提供することが好ましく、この機能を使用することにより、記録したマルチメディアを後に編集し又は共有することが容易となり、又は「パス・エンハンスド」マルチメディアを同じ旅行の異なるビューへと編集することが可能となる。

レコーダ10は、プライバシー問題に２つの方法で取り組むことが好ましい。第１に、ユーザモードセレクタ46は、記録すべきマルチメディアデータをユーザが決定することを可能にすることに加えて、経路情報を記録するか否か、及びその経路情報を何時記録するか、及び／又は該経路情報を（前述したような）記録済みのマルチメディアデータに関連付けするか否かを決定する選択肢をユーザに提供することが好ましい。第２に、レコーダモードセレクタ46は、パスワードを用いた暗号化及びアクセス技術を採用して、「パス・エンハンスド」マルチメディアデータ（マルチメディアデータ、経路データ、又はその両者）の一部（例えば特定の識別された経路区分のみ）又は全てに対するアクセスを制限することが可能であり、特に「パス・エンハンスド」マルチメディアデータが暗号化される場合には、プライバシーの強化及びアクセス制限を提供するために、「パス・エンハンスド」マルチメディアデータの異なる区分又はカテゴリに装置及び／又はユーザ識別番号が関連付けされる。少なくとも１つの意図する実施形態では、ユーザモードセレクタ46は、特定の位置又は経路区分及びそれに関連付けされたマルチメディアファイル（又はその指定された部分）を、「公開」又は「秘密」である（及び／又は他の指定されたカテゴリに属する）よう記録時にマークする手段をユーザに提供し、これにより他者へのデータの後の配布及び他者によるデータの後の表示と編集のプライバシー管理が大幅に容易になる。

レコーダ10の要素を様々な方法で実施できることに留意されたい。GPS受信器16の集積回路技術、ならびにセンサ34の集積回路技術（例えば、ディジタルスティルカメラ、ディジタルビデオカメラ、ディジタルマイク）は、既に開発が進んだ状態にあり、現在、図２に示したレコーダ10の要素の多くを構成するために比較的小さくて十分に汎用性の高い部品を使用することができる。しかし、現在と将来の両方において、基本概念の他の実施態様が可能であることを理解されよう。例えば、レコーダ10のディジタル記録構成要素は、様々な製造業者によって作成された独自のASIC設計を含むことが可能であり、ディジタルメディアソリューションのために詳細に設計されたディジタル信号処理コアを利用することも可能である。かかるチップの一例が、Texas Instruments TMS320DM310 DSPチップであり、このチップは、CCDコントローラならびに音声入力に使用できるアナログディジタル変換器を含む。またこのチップは、SmartMediaカードやCompactFlashメモリなどの一般に使用されている外部記憶装置に対するインタフェイスを提供する。また、CCDセンサを提供する製作業者は多く、ディジタルカメラ用のCMOSセンサを提供する製造業者の数は増えている。最新技術によるCCDの利点として、高い信号対雑音比と低照明条件におけるCMOSよりも優れた動作性能が挙げられる。CMOSセンサの利点は、メモリなどの他のIC半導体用途に開発された標準的な製造技術を使用することによる遙かに安い価格にある。４メガピクセルCCDセンサの一例はSony ICX4O6AQFである。
データ構造
前述の「パス・エンハンスド」マルチメディアの記録（又は少なくとも出力）のためだけでなく、上記引用の同時係属出願で意図されているような後の処理及び共有に適した例示的なデータ構造は、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の出願で説明されている。

参照する例示的なデータ構造において、矢印「→」は、ある構造内の１フィールドが別の構造（又は同じ構造の別のインスタンス）を指していることを示し、アスタリスク「*」は、随意選択的なフィールドを示し、一対の山括弧「<>」は、同じタイプの１つ又は２つ以上の構造のリストを示し、一対の中括弧「{}」は、同じ構造タイプへの再帰的な参照を示している。これらの例示的なデータ構造の用語を使用し、図５として本書で再現した部分に特に注目すると、前述のレコーダ10の出力は、２つの基本成分、すなわち、記録されたメディアファイル100及び関連付けされたGeoTemporalAnchors（地理時間的アンカー）102を含む。各GeoTemporalAnchor102（図では単に「Anchor」として示す）は、Time（時間）104（すなわち経路時間データ24）だけでなく、関連付けされたTime104において信頼できる測定値が得られている場合には、随意選択的なLocation（位置）108（経路位置データ22）も含むことが好ましい。各GeoTemporalAnchor102はまた、Elevation（高度）110、Orientation（方位）112、Tilt（傾斜）114、Temperature（温度）116といった（Time104及びLocation108と同様に）疑似連続的な態様でサンプリングされた様々なタイプの補助センサデータを記憶するフィールドを含むことが可能である。各GeoTemporalAnchor102は、特定のメディアファイル100へのポインタ106を含むことが可能であるが、代替的な実施形態では、メディアファイル100及びGeoTemporalAnchor102を結合させて単一のオブジェクトにすることが可能であり（この場合にはメディアファイル100に従来のファイルフォーマットを使用できない可能性がある）、又は別個のリンクテーブルによって関連付けを行うことが可能である。各メディアファイル100は、典型的には、音声ストリーム（例えばMP3形式）、静止画像（例えばJPEG形式）、又はビデオストリーム（例えばMPEG1形式）を表すデータファイルである。

GeoTemporalAnchors102のリストを含むSegment（区分）データ構造118によって単一の経路を規定することが可能である。またSegmentデータ構造118内のHeader（ヘッダ）120は、描画スタイル、アクセス制限、及びその他の属性（例えば、「Favorite（お気に入り）」、「Tentative（お試し）」など）を経路に関連付けすることを可能にする。しかし、ユーザが様々な属性を経路の様々な部分に関連付けすることを所望する可能性があり、幾つかの個別の（おそらくは様々な旅行及び／又は様々な旅行者に対応する）経路を同じ記録装置により記録すること、又はかかる経路をその表示、共有、及び編集のために共通のデータセットに入れることが可能であることが意図されている。そのために、Segmentデータ構造118は、完全な経路の一部のみ、又は組み合わされたデータセット内の幾つかの個別の経路のうちの１つのみを表すことができることが好ましい。図５に示すように、一連の幾つかの関連する区分118（例えば特定のユーザにより記録された単一の経路の一部）を、区分データ構造118内の再帰的な{Segment}ポインタ128により接続することが可能であり、これにより完全な経路内の１つのSegmentから次のSegmentまでの順序が規定される。また、異なる複数のかかるSegmentシーケンス（様々な作成者によるもの及び／又は同じ場所への異なる訪問で記録されたもの）を、リスト126により単一のパス・エンハンスドメディア(PEM)メタ構造124に含ませることが可能である。PEMは、接続された各Segmentシーケンスの最初の区分118を明示的に含むだけでよい。

各GeoTemporalAnchor102が、関連付けされたメディアファイル100へのポインタ106を含むことが好ましいため、PEM124とそのメディアファイル100との間には間接的な関連付けが存在する。しかし、PEM124のSegment126内のGeoTemporalAnchorsに関連付けされたMediaFliesへのポインタの明示的なリスト130をPEMデータ構造124内に随意選択的に含めることにより、PEMに関連付けされたMultimediaファイルの完全なセットが、探索及び／又は修正に適するようになる。

また、好ましい階層データ構造は、様々なレベルの所有権とアクセス権を様々なデータ要素に関連付けすることを容易にする。例えば、各PEMのHeader132に反映されるように、様々なPEM124は、様々な作成者により作成され、様々なユーザにより所有され、又は様々な旅行に属することが可能である。同様に、同じPEM124の各区分118は、個々のSegment Header120に反映されるように、同じ旅行の一部である一方で異なるユーザに属することが可能である。また、特定のPEM124内の各メディアファイル100は、それに関連するMediaFile Header134内に反映されるように異なる所有者を有することができる。

他の実施形態では、特にユーザのプライバシー配慮が最も重要なとき、又は記録されたマルチメディアデータを該データが当初に捕捉された実際の位置及び時間でない位置及び時間に関連付けすることを意図するときに、特定のメディアファイル100に関連付けされた実際のTimes104及び／又はLocations108を記録せず、一連の参照番号のみを記録することが望ましい場合がある。これらは、メディアファイル100、及びそれに関連付けされたGeoTemporalAnchors102（又はGeoTemporalAnchors102シーケンス）内の関連情報を、後続するオフライン処理において、架空の（又は「仮想的な」）の経路上の架空の時間及び位置に関連付けされた一連のイベントへと変換することを可能にする。そのために、GeoTemporalAnchor102が、随意選択的なブールフラグModified136を含むことが好ましく、該ブールフラグは、それが「真」に設定された場合に、関連付けされたGeoTemporalAnchorが、時間、位置、及び／又はその他のセンサ測定システムによって記録された単純な未処理データではなく、関連付けれられたセンサデータが当初に記録された後に作成され又は修正されたものであることを示す。かかる「修正された」GeotemporalAnchorsは、全く架空の「仮想」経路又は経路区分、他の未処理データの補間又は平滑化により得られた「再構成された」経路区分、又は当初に記録された時間及び／又は位置から移動された「編集された」経路又は経路区分の一部とすることが可能である。

したがって、「パス・エンハンスド」マルチメディアレコーダは、記録されたデータの後の経路指向型の編集、表現、及び共有を容易にする態様でマルチメディアデータを記録することができるものとなる、ということが理解されよう。開示した例示的な装置に対する他の実施及び強化は、現在と将来の両方において当業者には疑いなく明らかであろう。従って、一実施形態では、レコーダ10は、「パス・エンハンスド」マルチメディアデータを表示する表示装置を含む。例えば、「パス・エンハンスド」マルチメディア記録装置をＰＤＡや携帯電話などの携帯型電子装置に組み込むことが可能である。この場合、「パス・エンハンスド」マルチメディアデータは携帯型電子装置を使用して記録され、更に、表示され、編集され、及び後処理されることが可能となる。

「パス・エンハンスド」マルチメディアの一応用例を示している。 例示的な「パス・エンハンスド」マルチメディアレコーダの概略的なブロック図である。 図２のレコーダに含まれる１つ又は２つ以上の補助センサから導出された「視野」データにより補足された「パス・エンハンスド」マルチメディアのもう１つの応用例を示している。 図２のレコーダに含まれる１つ又は２つ以上の補助センサから導出された「視野」データにより補足された「パス・エンハンスドマルチメディア」の別の応用例における図３の変形例を示している。 「パス・エンハンスド」マルチメディアレコーダが使用できる例示的なデータ構造レイアウトの関連部分を示している。

符号の説明

10 レコーダ
11 経路決定サブシステム
12 GPS衛星
13 マルチメディア記録サブシステム
14 送信器
15 データ転送サブシステム
16 GPS受信器
18 受信器
20 プロセッサ
28 クロック回路
26 経路情報記憶装置
34 マルチメディアセンサ
36 マルチメディア記憶装置
42 補助センサ

Claims (32)

1. レコーダであって、
   該レコーダが通過する経路に関連付けされた経路情報を本質的に連続的に決定し記録する経路情報決定サブシステムであって、該経路情報がそれに関連付けされた経路時間及び位置データを有している、経路情報決定サブシステムと、
   前記経路の通過時に選択されたマルチメディアデータを記録し、該マルチメディアデータの少なくとも一部を前記経路情報に関連付けして「パス・エンハンスド」マルチメディアデータを生成する、マルチメディア記録サブシステムと
   を有するレコーダ。
2. 前記レコーダの外部の少なくとも前記「パス・エンハンスド」マルチメディアデータを転送するデータ転送サブシステムを更に含む、請求項１に記載のレコーダ。
3. 前記経路情報決定サブシステム及び前記マルチメディア記録サブシステムの一方を使用不能にして、経路情報及びマルチメディアデータの一方を記録すると共に他方を記録しないことを可能にする、制御部を更に含む、請求項１に記載のレコーダ。
4. 前記経路情報の少なくとも一部を前記マルチメディアデータに関連付けするのを禁止する制御部を更に含む、請求項１に記載のレコーダ。
5. 時刻及び外部刺激の一方に依存して動作が制御される、請求項１に記載のレコーダ。
6. 手動又は音声により動作が制御される、請求項１に記載のレコーダ。
7. マルチメディアデータ及び経路情報の一方の少なくとも一部をユーザがカテゴリに指定することを可能にする制御部を更に含む、請求項１に記載のレコーダ。
8. 少なくとも音声、ビデオ、静止画像、及びテキストを含む、少なくとも１つのタイプのマルチメディアを捕捉するための少なくとも１つのセンサを含む、請求項１に記載のレコーダ。
9. 前記マルチメディア記録サブシステムが、少なくとも音声、ビデオ、静止画像、及びテキストを含むグループから２つ以上のタイプのマルチメディアを記録する、請求項１に記載のレコーダ。
10. 少なくとも音声、ビデオ、及び静止画像を含む、少なくとも１つのマルチメディアタイプが、同じ経路時間及び位置データに関連付けされる、請求項１に記載のレコーダ。
11. 前記経路情報及びマルチメディアデータが、前記位置データ及び前記マルチメディアデータの各々をタイムスタンプすることにより関連付けされる、請求項１に記載のレコーダ。
12. 前記経路情報及び前記マルチメディアデータが、ポインタを使用して関連付けされる、請求項１に記載のレコーダ。
13. 前記経路情報の前記記録が使用不能にされ、マルチメディアデータが、該マルチメディアデータが記録された一連の順序を規定するデータに関連付けされる、請求項３に記載のレコーダ。
14. 前記経路情報決定サブシステムが、少なくとも１つの外部ソースから該レコーダへの経路決定情報を使用して前記経路情報を決定する、請求項１に記載のレコーダ。
15. GPS信号、追加の位置決定信号、及び時間信号のうちの少なくとも１つを受信するための少なくとも１つの受信器を更に含む、請求項１に記載のレコーダ。
16. 前記外部ソースの各々からの経路決定情報が、精度に依存して重み付けされている、請求項１４に記載のレコーダ。
17. 経路決定情報の信頼性が低い場合に経路情報が補間により決定される、請求項１４に記載のレコーダ。
18. 複数の前記外部ソースを切り換える手段を更に含む、請求項１４に記載のレコーダ。
19. 経路位置データを決定するために該レコーダの空間的な変位を決定するデータを提供する加速度計を含む、請求項１に記載のレコーダ。
20. 前記経路情報決定サブシステムが、経路決定情報を記憶する手段を更に含む、請求項１に記載のレコーダ。
21. 内部クロックを含むクロック回路を更に含み、該クロック回路がGPS信号に応じて前記経路時間データを生成する、請求項１に記載のレコーダ。
22. 前記経路時間及び位置データを含む前記決定された経路情報をサンプリングし記憶する経路情報記憶装置を更に含む、請求項１に記載のレコーダ。
23. 前記経路情報をサンプリングするレートを選択する制御部を更に含む、請求項２２に記載のレコーダ。
24. 前記レコーダの移動に依存して前記経路情報をサンプリングするレートを選択する適応型の制御部を更に含む、請求項２２に記載のレコーダ。
25. 経路情報を増やす補助データを提供するために、温度計、気圧計、高度計、コンパス、傾斜計、及び加速度計のうちの少なくとも１つを含む補助センサを更に含む、請求項１に記載のレコーダ。
26. 前記補助データが、ビデオ画像センサ及び静止画像センサの少なくとも１つを含む画像センサの「視野」を推定するために使用される、請求項２５に記載のレコーダ。
27. 表示画面と、該表示画面上に前記「パス・エンハンスド」マルチメディアデータを描画する手段とを更に含む、請求項１に記載のレコーダ。
28. ＰＤＡ及び携帯電話の少なくとも一方を含むハンドヘルド装置内で実施される、請求項１に記載のレコーダ。
29. ＰＤＡ及び携帯電話の少なくとも一方を含むハンドヘルド装置内で実施される、請求項１に記載のレコーダ。
30. 前記経路情報及び前記マルチメディアデータの少なくとも一方の少なくとも一部に対するアクセス可能性を暗号化により制限する制御部を更に含む、請求項１に記載のレコーダ。
31. ユーザが前記路情報及び前記マルチメディアデータの少なくとも一方の少なくとも一部をカテゴリに指定することを可能にすることによりアクセス可能性を制限する制御部を更に含み、該アクセス可能性が前記指定されたカテゴリに依存する、請求項１に記載のレコーダ。
32. アクセス可能性を制限する前記制御部が、ユーザがアクセス可能性を得るためにパスワードを入力することを可能にする制御部を更に含む、請求項３１に記載のレコーダ。

Images