JP2017513434A - 広角画像に関連する情報を記録、共有、及び処理することによるシステム挙動又はユーザエクスペリエンスの自動定義 - Google Patents

Abstract

本発明に係るシステム及び方法は、表示デバイス又はアルゴリズムユニットの具体的なシステム挙動を定義するために画像及びそれらのイメージャに関連する異なるパラメータの自動的な記録、共有、及び通信を可能にする。情報の例としては、イメージャパラメータ、環境パラメータ、画像処理及び強調パラメータ、広角シーン画像コンテンツの一部の座標、表示パラメータ、定義されたユーザエクスペリエンス、定義されたシステム挙動、又は記録、共有、及び通信対象の任意の情報が挙げられる。情報の損失を回避するために、情報は、マーカを使用して画像内に直接エンコードされる。このようにして、情報は、イメージャから表示ユニットへ安定して転送される。この情報により、最終的な画像は、表示前に自動的に補正されて強調されることができ、様々な関連パラメータが、最終的な画像上に表示されることができ、或いは、別の出力とともに使用されることができる。このように、エンドユーザエクスペリエンス又はシステム挙動は定義され、再生されることができる。

Description

本出願は、現在係属中の「適切かつ効率的なパノラマ画像の歪み処理システムのためのパノラマイメージャの自動識別（Automated Identification of Panoramic Imagers for Appropriate and Efficient Panoramic Image Distortion Processing System」と題する２０１４年３月２５日に出願された米国仮特許出願第６１／９７０，１５９号の利益を主張するものであり、その全内容は、参照によって本明細書に援用される。

本発明は、システム挙動を定義するためにイメージャに関連する情報を記録、共有、及び通信することに関する。これは、広角イメージャによって情報がエンコードされた広角画像又はビデオを作成する方法と、この情報を自動的にデコードして画像処理又は表示を適用する方法とを含む。その情報は、最終的に、パラメータに基づいて具体的なシステム挙動又はユーザエクスペリエンスを定義するために使用される。

画像又はビデオを使用して、ユーザは、情報を記録、共有、及び通信することができる。画像又はビデオのコンテンツに加え、このコンテンツに関連する多くの情報が存在する。この情報は、限定ではないが広角デバイスパラメータ等のイメージャパラメータ、環境パラメータ、画像の処理、強調又は表示のパラメータ、システム挙動、ユーザエクスペリエンス、又は任意のその他の記録、共有、又は通信対象となる情報の形態をしている。

イメージャからエンドユーザへ幾つかの重要なパラメータを転送するための既存の周知の方法は、メタデータ等の使用である。メタデータは、通例、デジタル画像ファイルのヘッダに書かれているテキスト情報である。このヘッダは、各ファイルフォーマットに特有の実際の画像データの前後のファイルの一部である。しかしながら、メタデータは、画像又はビデオファイルが別のフォーマットに変換される時、又は、インターネット等の異なる媒体を介して転送される時に、情報を損失することがある。また、印刷された画像又はスキャンされた画像によってメタデータを転送することはできない。従って、メタデータ等の使用は、広角画像又はビデオに関連する情報を転送する安定な方法ではない。

広角画像又はビデオに関連する重要な情報の一つがイメージャパラメータである。広角イメージャは、物体を画像にリマップすることによって現実世界の環境から二次元（２Ｄ）画像を生成し、生成された画像において歪み又は切れ目を作り出す。数個の狭角画像を互いにスティッチングするイメージャ又は別々のスティッチングされていない狭角画像を生成するイメージャを含む、レンズから反射屈折システムまで、使用される広角イメージャの種類にかかわらず、最終的な広角画像は、ある環境を２Ｄ平面で示すために多少の歪み又は画像リマッピングを含むことになる。画像リマッピングの結果、画像は、イメージャの種類に応じて、物体の環境における直線が、広角画像では湾曲していたり、区分的線形であったり、又は断続的に見えるように歪められる。

ユーザに対して又はアルゴリズムに対して画像の一部を適切に表示するために、線形歪みに関しては米国再発行特許発明第４４，０８７号（特許文献１）の場合のように、又はカスタム対称及びカスタム非対称歪みに関しては、夫々、米国特許第６，８４４，９９０号（特許文献２）及び第６，８６５，０２８号（特許文献３）の場合のように、通例、歪みの補正が行われる。歪みを適切に補正するために、アルゴリズムは、正確な歪みプロファイル、視界、画像の光学中心の位置、及び広角イメージャの空間定位を含む、イメージャの異なるパラメータを知っていなければならない。しかしながら、前記先行技術では、歪み処理アルゴリズムは、パラメータが内部でプリコードされた単一の広角イメージャに結び付けられているか、エンドユーザからの異なるパラメータの手作業の選択を必要とする。エンドユーザは、多くの場合、パラメータの正確な知識がなく、歪み処理を面倒で不完全なものにし、必要なパラメータを転送するプロセスが必要になる。

立体画像処理の場合、使用される立体画像の種類及び両画像の視点間の距離等のイメージャからの情報を記憶するために、米国特許第８，３５８，３２９号（特許文献４）では、立体視のために二つの必要な画像を結合する画像ファイルのマージンに追加されたバーコードの使用が提案されている。しかしながら、バーコード内にエンコードされた送信データは、画像合成ユニットによってソフトウェアレベルで結合される立体画像のみに関する非常に限定されたパラメータを含む。

米国特許第５，４６１，４４０号（特許文献５）及び米国特許第６，７０７，９９８号（特許文献６）では、デジタルセンサの代わりに画像を撮像するためにアナログフィルムを使用するカメラにおいてバーコードを使用するレンズの識別が提案されている。しかしながら、静的なエンコードされたデータは、レンズの識別のみを可能にし、動的に、即ち、具体的なユーザの用途に応じて変化するイメージャ情報を送信するために使用されることができない。同様に、バーコード又はバイナリコードを使用するその他のシステムでは、バーコード又はバイナリコード内にエンコードされたデータは、非常に限られた目的のためにカメラ製造業者によって設定されている。その出力は単一の用途に結び付けられているため、エンコードされたデータに存在するパラメータの種類に応じて、又は具体的なユーザのニーズに応じて出力を変更することができない。さらに、これらのシステムは静的であり、変化するイメージャパラメータを動的にエンコードする又は送信するために使用されることができない。こうした理由から、エンコードされたデータは、本来のシーンの具体的な情報に応じて異なるシステム挙動又はユーザエクスペリエンスを定義するために使用されることができない。最適な広角画像処理のため、且つパラメータに応じて異なるシステム挙動又はユーザエクスペリエンスの定義を可能にするために、米国特許出願公開第２０１２／０３１４０６５号（特許文献７）において提案されているように、方向、送信画像の小区域、日付、地理的位置、更には動的歪み等の、動的に変化するレンズ、カメラ、デバイス又は環境のパラメータを説明するための情報が、イメージャレベルでリアルタイムに追加されることができる。

国際特許公開第２００７／１１０６９７号（特許文献８）では、広角光学系を識別することを可能にするために光学系を物理的にマークする又は画像平面にマーカを光学的に追加するシステムが提案された。しかしながら、レンズ上の物理的なマーカが使用される場合、このシステムは、レンズ識別番号又はデバイスの方向などのイメージャにおけるパラメータの手作業によるユーザの外部入力を未だ必要とする。光学的なマーカが画像平面上に現れるように使用される時、このシステムは、送信された画像の方向又は小区域のような広角イメージャパラメータの動的なエンコーディングを含むことができないため、静的であり、非常に限定的である。このシステムは、具体的なユーザ用途によって変化するイメージャ情報を送信することができず、従って、異なるユーザエクスペリエンス又はシステム挙動を定義するために使用されることができない。さらに、別の欠点は、レンズが、初めからこのようなマーカを含むように設計されなければならず、この方法は、既存の広角イメージャまで拡大適用されることはできないということである。

広角デバイスパラメータに加えて、本発明は、画像又はビデオに関連するあらゆるレンズ、カメラ、デバイス、又は環境の情報を記録、共有又は通信する仕組みを提供する。この仕組みは、はるかに広範囲の用途において使用されることができる。この場合、主な新規性は、具体的なパラメータに応じて出力するもの及び出力する方法を指示することによって、異なるユーザエクスペリエンス又はシステム挙動を自動的に定義することができることである。更に、リアルタイムのカメラ方向、リアルタイムのユーザエクスペリエンス、リアルタイムのシステム挙動、及び前記特許において静的な方法では記録されることができない動的な情報など、一部の情報は動的である。

米国再発行特許発明第４４，０８７号 米国特許第６，８４４，９９０号 米国特許第６，８６５，０２８号 米国特許第８，３５８，３２９号 米国特許第５，４６１，４４０号 米国特許第６，７０７，９９８号 米国特許出願公開第２０１２／０３１４０６５号 国際特許公開第２００７／１１０６９７号

上述の問題を全て克服するために、本発明の実施形態は、画像又はビデオに関連する任意の種類のイメージャパラメータを記録、共有、又は通信するための仕組みを提案する。

これらのイメージャパラメータは、レンズ、カメラ、フルデバイス、又はデバイスの周辺環境に関連するあらゆる種類の情報を含む。共有されたシーンの具体的な情報に応じて、最終的な表示デバイス又はアルゴリズムユニットのために具体的なユーザエクスペリエンス又はシステム挙動が作成される。これにより、エンドユーザのデバイスは、使用されるイメージャパラメータ又はその他の情報の全てを識別することが可能になり、受信した情報に基づいて正確な種類のユーザエクスペリエンス又はシステム挙動を適用する。エンドユーザのために作成されることができる具体的なユーザエクスペリエンス又はシステム挙動の一部の例としては、画像歪み補正、画像強調、又はさらなる処理のための情報提供が挙げられる。これらは全て、エンドユーザがデバイスのイメージャパラメータの知識を有しなくても自動的になされることができる。

該システムによって作成されるユーザエクスペリエンスは、人間とシステムの相互作用に影響を及ぼし、イメージャパラメータによって定義される。このユーザエクスペリエンスは、該システムの使用及び／又は期待される使用の結果として生じるユーザの知覚及び反応である。ユーザエクスペリエンスとしては、該システムの使用前、使用時、及び使用後に生じる感情、信念、好み、知覚、物理的及び心理的反応、挙動、及び成果が挙げられる。ユーザエクスペリエンスとは、ブランドイメージ、プレゼンテーション、機能性、システム性能、相互作用システムの相互作用挙動及び支援能力、以前の体験、態度、スキル及び人格から生じるユーザの精神的及び物理的状態、及び使用の前後関係の結果である。

システム挙動とは、システムそれら自体（自律的）、又はその他のシステム、システムユーザ、有機体、人工的存在又は物理的環境を含むそれらシステムの環境と共にそれらのシステムによってなされる動作又は処理の範囲である。システム挙動は、内的であるか外的であるか、意識的であるか潜在的であるか、公然的であるか秘匿的であるか、及び自発的であるか強制的であるかを問わず、様々な刺激又は入力に対する該システムの反応である。

ここで、広角イメージャとは、広角画像又は広角画像の一部を生成することができる任意のデバイスであって、限定ではないが、広角レンズ、マルチレンズ系、反射屈折システム、又は、任意の画像処理ユニットによって生成される広角画像を含む。一部の実施形態では、イメージャは、画像を撮像するように構成された少なくとも一つのカメラモジュールを含む。

パラメータを共有するという思想は、シーンに関連する様々な情報をエンコードするためのイメージャデバイス内で画像上に可視のマーカを追加するということである。電子的に追加されるため、マーカは、動的にアップデートされることができ、空間定位、ジオローカリゼーション、日付、センサ動作モード、リアルタイムのユーザエクスペリエンス又はシステム挙動などのイメージャに関するリアルタイムのパラメータを含み、以前に提案されているマーカの静的問題を解決する。さらに、マーカ内にエンコードされた正確な情報は、エンドユーザの用途が必要とするものに応じて、且つ存在する情報に応じて変化することができ、エンドユーザエクスペリエンス又はシステム挙動は変化することになる。

より具体的には、本発明の少なくとも幾つかの実施形態では、関連するパラメータは全て、画像領域内に存在するマーカ内にエンコードされる。広角画像は、多くの場合、シーン画像コンテンツ外のデジタル画像のコーナに、環境に関する情報が存在しない領域を有する。これらのコーナは、大抵、これらの位置のセンサ平面に光が届かないため、これらの画像において黒色で現れる。これらの場合、エンコードされたマーカをコーナに載置することは、シーン画像コンテンツに影響を及ぼさない。そのほか、正距円筒図法の広角画像の場合のように、環境からのシーン画像コンテンツが画像全体を埋め尽くす場合では、画像は、これらのエンコードされたマーカが載置されるマージンを追加するために拡大されてもよい。エンコードされたパラメータを備えるマーカを画像内かつシーン画像コンテンツ領域外に載置することにより、画像ファイルが、処理、オンラインストリーミング、再エンコーディング、スケーリング又は印刷／スキャンされる時に損失することなく、完全な広角画像及び全ての関連情報の安全な転送が可能になる。

更に、本発明の少なくとも幾つかの実施形態では、広角イメージャによって広角画像内に追加するためのエンコーディングマーカは、周知のクイックレスポンスコード（ＱＲコード）である。他の実施形態では、エンコーディングマーカは、エンコードされた情報を含む任意のその他の種類のマーカが考えられる。

本発明の少なくとも幾つか実施形態では、マーカ内にエンコードされた情報により、最適な歪み処理が可能になる。この情報としては、限定ではないが、以下のパラメータが挙げられる。即ち、固有のレンズイメージャ識別コード、表形式又は多項式形式の広角画像の完全な歪みプロファイル、全体的な視野、画像における環境フットプリント、広角イメージャの空間定位及びジオローカリゼーション座標、及び／又は光学的中心の画像内の位置である。その他の実施形態では、マーカ内にエンコードされた情報としては、限定ではないが、広角デバイスパラメータ、環境パラメータ、画像処理パラメータ、強調パラメータ、表示パラメータ、ユーザエクスペリエンス又はシステム挙動パラメータ、又は撮像デバイスとエンドユーザとの間での記録、共有、及び通信対象の任意の情報が考えられる。

本発明の幾つかの実施形態では、必要な帯域を減少するために、又はセンサ及びディスプレイのフレームレートを最大化するために、フル広角画像の一部のみが転送される時に利点がある。この場合、マーカは、転送されるフル広角画像の小区分の座標も含むことができる。これにより、歪み処理アルゴリズムは、画像の転送部分がどの方向からのものかを知ることができ、従って、最適な歪み処理が可能になる。

画像内のこれらの潜在的なイメージャパラメータの全てを転送することによって、我々は、エンドユーザが具体的な知識を必要とすることなく、エンドユーザのデバイスが画像を自動的に補正、処理、及び強調することができることを保証する。これは、全てのパラメータが、必要な情報を有しないエンドユーザからの手作業による入力を必要とする既存の歪み処理又は画像処理システムと比べて有利である。更に、表示デバイス又はアルゴリズムユニット上に出力されるユーザエクスペリエンス又はシステム挙動は、マーカ内にエンコードされた具体的な情報に従って、及び用途に従って作成されることもできる。

本発明の幾つかの実施形態では、生成されたユーザエクスペリエンス又はシステム挙動は、処理画像をエンドユーザの表示デバイスに出力することのみを含む。一部の他の実施形態では、エンドユーザのために生成される出力は、エンコードされたパラメータによって変わり、アルゴリズムユニットに出力されることができ、或いは、画像、パラメータのテキスト値、光インジケータ、触覚フィードバック、又は音声などのうちの少なくとも一つの任意の組み合わせとして出力されることができる。

本発明の幾つかの実施形態では、広角イメージャの代わりに標準的な視野のイメージャを使用するという利点がある。この場合、マーカは、エンドユーザの用途によって必要とされるこのイメージャに関連する具体的なパラメータも含むことができ、存在する情報に応じて、エンドユーザエクスペリエンス又はシステム挙動は変化することになる。

上述の概要及び本発明の好適な一実施形態の以下の詳細な説明は、添付の図面と共に読まれる時、より良く理解されるだろう。説明のため、図面には、現在好適な一実施形態が示されている。しかしながら、本発明が図示の正確な配置及び手段に限定されないことは理解されるべきである。

ユーザエクスペリエンス又はシステム挙動を定義するために共有媒体でイメージャパラメータを転送するためのシステムの概略図である。 イメージャパラメータを局所的に転送するためのシステムの概略図である。 イメージャデバイスにおけるマーカ付き画像の作成を詳細に説明する概略図である。 画像処理ユニットにおけるマーカ付き画像の処理を詳細に説明する概略図である。 イメージャパラメータが画像内にエンコードされた楕円形のシーン画像コンテンツを有するパノモーフイメージャからの広角画像の一例である。 イメージャパラメータが画像内にエンコードされた円形のシーン画像コンテンツを有する魚眼イメージャからの広角画像の一例である。 画像内に追加されたマージン内にイメージャパラメータがエンコードされた正距円筒図法における広角画像の一例である。 イメージャパラメータが画像内にエンコードされた立方体状投影における広角画像の一例である。 イメージャパラメータが画像内にエンコードされた、未だスティッチングされていない状態の広角画像の一例である。 イメージャパラメータが画像内にエンコードされたフル広角画像の小区分の一例である。 イメージャパラメータが画像内にエンコードされた広角画像において複数の種類の広角イメージャからのコンテンツを結合する一例である。

以下の説明において、特定の用語法は、便宜上使用されているに過ぎず、限定的なものではない。その用語法は、上記に列挙された表現、その派生語、及び類似の趣旨の表現を含む。さらに、請求項及び明細書の請求項対応箇所にて使用される「一つの（ａ）」及び「一つの（ａｎ）」という表現は、「少なくとも一つ（ａｔ ｌｅａｓｔ оｎｅ）」を意味する。

ユーザエクスペリエンス又はシステム挙動を定義するシステムは、複数のデバイス間でマーカ付き画像を共有するために、又は単一のデバイス内で局所的に使用されることができる。両方の事例は、夫々、図１及び図２に図式化されている。

図１は、ユーザエクスペリエンス又はシステム挙動を定義するために共有媒体でイメージャパラメータを転送するためのシステムの概略図である。このプロセスは、以下のステップを含む。撮像デバイス１００には、広角イメージャ１０５が組み立てられている。撮像デバイス１００は、例えば、限定ではないが、携帯電話、タブレット、車、ロボット、テレビ、ルータ、ＧＰＳユニット、インターネットボックス、家庭用監視カメラ、セキュリティカメラ、車載カメラ、内視鏡、ウェアラブルデバイス、腕時計などを含む、広角撮像特性を追加するために広角イメージャが追加されることができる任意の装置である。広角イメージャ１０５が撮像デバイス１００に組み込まれる時、このデバイスは、広角画像１１０を撮像することができる。

ここでは、広角イメージャ１０５は、広角環境から画像又は画像の一部を撮像することができる任意のデバイスである。結果的に生じる広角環境は、好ましくは広角視野を生成する。このプロセスで使用されることができる広角イメージャ１０５の一例としては、限定ではないが、広角レンズ、反射屈折イメージャ、複数の狭視野カメラ、コンピュータ生成広角画像などである。様々な広角イメージャ１０５の一部の例示的な出力は、図５Ａ〜図５Ｇに関して説明される。

広角イメージャ１０５は、構造によって及びその使用法に応じて、幾つかの固有の広角イメージャパラメータ及び外的広角イメージャパラメータを有する。これらのパラメータの一部の例は、限定ではないが、歪みプロファイル、撮像視野、幾つかの局所的な光学収差又は画像の点拡がり関数、横色、３軸配向及び位置、単一の広角イメージャ又は異なるイメージャからの複数のマーカ付き画像間の相互参照情報、ジオローカリゼーション、周囲の照明、湿度又は温度条件、カメラのベイヤ配列、信号対ノイズ比、露光パラメータ、１秒当たりのフレーム数、色空間パラメータ、中心光軸の画像内の位置、非対称の広角画像に関する画像フットプリントの方向、フルパノラマの一つ又は複数の狭視野部の方向及び座標、レンズの周辺光量比、歪みプロファイルを取り出すための広角レンズに関する固有の識別コード、データベース（即ち、局所的又は遠隔的に保存された表、リスト、スプレッドシート等）からの局所的な周辺光量比などである。

広角イメージャパラメータに加えて、限定ではないが、カメラモジュールの識別、好適な処理画像の視点座標（例えば、パン、チルト及びズーム）、著作権データ、歩行者の検出、追跡及び認識、顔検出、追跡及び認識、デバイスの速度及び加速、車線逸脱、危険識別、３Ｄ位置追跡、３Ｄ再構築などを含む、画像に関連するその他の種類のパラメータが存在する。

これらのパラメータの全て、及び表示デバイス又はアルゴリズムユニットにてエンドユーザに関するユーザエクスペリエンス又はシステム挙動を定義するために使用されることができる任意のその他の情報は、マーカ１３０に含まれているイメージャパラメータの一部である。

イメージャパラメータの完全な知識は、最良のユーザエクスペリエンス又はシステム挙動を生成するためにエンドユーザ又はそのデバイスにとって有用である一方、このデータの大部分は、従来、広角イメージャ１０５とエンドユーザとの間で失われるが、本発明の実施形態は、これを解決するものである。

図３に関して更に説明される方法では、広角イメージャ１０５は、画像フレーム内に、撮像した広角画像１１０からのシーン画像コンテンツ１２０と、画像に関連するイメージャパラメータの全てがエンコードされたマーカ１３０との両方の組み合わせを含むマーカ付き画像１１５を出力する。

マーカ１３０は、イメージャパラメータを含み、プロパティの転送を可能にするために画像の一部に意図的に追加された任意のマーカである。マーカの一部の例としては、限定ではないが、人間可読マーカ、クイックレスポンスコード（ＱＲコード）を含む１Ｄ又は２Ｄバーコード等のコンピュータ可読マーカ、ウォータマークなどが挙げられる。マーカ付き画像は、単一又は複数のマーカを含むことができる。複数のマーカの場合、これらは全て、異なる相補的なパラメータを有することができ、或いは、一部のパラメータは、所望の冗長性のために複数のマーカにおいて繰り返されることができる。

図１に示す複数のデバイス間での共有では、広角イメージャから出力され、シーン画像コンテンツ１２０及びマーカ１３０を含むマーカ付き画像１１５は、次に、共有媒体１４０（例えば、「クラウド」）を介して共有される。ここで、共有媒体１４０とは、限定ではないが、インターネット上でのデジタル画像の転送、ＴＣＰ−ＩＰプロトコル、ＨＤＭＩ、ＵＳＢ、Ｆｉｒｅｗｉｒｅ、メモリ、ソケットを介した転送、フロッピーディスク、レーザディスク、マグネットディスク、ＵＳＢドライブ、ハードドライブとして物理的媒体を使用した転送、又は、画像を物理的に印刷し、次にそれをスキャンしてデジタルファイルに戻すことによる画像の転送などを含む、任意の種類の画像共有プロセスを表す概念である。

共有媒体１４０から、画像処理ユニット１６５を含む任意の表示デバイス１７０、１７５、又は１８０又はアルゴリズムユニット１８５は、マーカ付き画像１１５を受信してもよい。図４で更に説明される方法では、画像処理ユニット１６５は、画像１９０を補正又は強調するためにマーカ１３０内にエンコードされたイメージャパラメータを使用し、マーカ１３０内にエンコードされた情報を、画像１９０上に組み合わせて、又は別のディスプレイ上で別々に表示し、音又は光のインジケータ出力を生成し、触覚フィードバックを生成し、又はエンドユーザに対してマーカ１３０内にエンコードされた定義されたユーザエクスペリエンス又はシステム挙動を作成する。

処理画像１９０は、マーカ１３０内にエンコードされたイメージャパラメータを使用して画像処理ユニット１６５によって処理された元のシーン画像コンテンツ１２０の変形である。本発明の好適な一実施形態では、処理画像１９０は、フル広角画像１２０の小区分の最適に処理された画像を生成するために広角イメージャ１０５からの歪み情報及び方向情報を使用する。他の実施形態では、その他の歪み処理がなされる。歪み処理は、画像又は画像の一部から歪みをデジタル的に補正、制御、修正及び／又は除去する動作である。広角イメージャ１０５の正確な方向が画像処理ユニット１６５によってリアルタイムで知られている状態では、限定ではないが、処理画像１９０が撮像デバイス１００の動きとは関係なく環境の特定の場所に中心を置いた状態を維持し、又は適切なナビゲーション基準を定義し、ユーザコマンドに従って次の処理画像の計算を可能にする方法で最適にシーン画像コンテンツ１２０における歪みを処理することができる。これらの具体的なユーザエクスペリエンス又はシステム挙動は、それらの必要なイメージャパラメータが、それらをマーカ１３０からデコードした後で画像処理デバイス１６５に利用可能な時にのみ可能である。従って、どの具体的なユーザエクスペリエンス又はシステム挙動がエンドユーザデバイスにて使用されることができるかを定めるのはイメージャデバイスである。

本発明の別の実施形態では、表示デバイス１７０、１７５又は１８０上に処理画像１９０を表示する代わりに、処理画像１９０は、限定ではないが、歩行者の向き、追跡及び認識、顔検出、車線逸脱、危険識別、３Ｄ位置追跡、３Ｄ再構築などを含む関連情報を抽出するために処理画像を処理する更なるアルゴリズムユニット１８５内で使用される。

図２を参照すると、単一の局所デバイス２００内で情報を転送するためのシステムの一実施形態が示されている。ここでの局所デバイス２００は、広角イメージャ２２０と、画像２６０を補正、強調し、画像２６０上に、又は音、光インジケータ、又は触覚フィードバックのような別の出力システムを通して関連情報を表示するための表示ユニット２５０の両方を含む任意の物理的なデバイスである。画像は記録されることもでき、後で具体的なユーザエクスペリエンス又はシステム挙動がこのデバイスによって再生されることができる。このデバイスとしては、限定ではないが、携帯電話、ラップトップ、タブレット、パソコン、ローカルクライアントを含むサーバ、車、デジタルスチルカメラ、カムコーダ、ウェアラブルデバイス、腕時計などが考えられる。

ローカルデバイス２００において、プロセスは、システムバス２１０に沿って広角イメージャ２２０からの出力を転送する。図１のマルチデバイスの場合のように、広角イメージャ２２０の出力は、広角画像２３５及び関連情報がエンコードされたマーカ２３７であり、バスに沿ってメモリ２３０と交換される。画像処理ユニット２４０はバス２１０上に存在し、メモリ２３０から画像２３５及びマーカ２３７を受信し、且つ、補正及び強調された画像２６０を生成し、関連情報をデコードし、又はディスプレイ２５０上でユーザエクスペリエンス又はシステム挙動を再生する。最終的な処理画像２６０及び関連情報、ユーザエクスペリエンス又はシステム挙動は、次に、局所表示ユニット２５０に送信されて表示され、又は局所アルゴリズムユニット２７０に送信されて処理画像が使用される。

複数のデバイスに関して図１に示す自動識別プロセスと、単一の局所デバイスに関して図２に示す自動識別プロセスは、イメージャ及び画像処理ユニットを含む。

図３は、夫々図１及び図２からの広角イメージャ１０５及び２２０内の詳細な動作を示す。広角イメージャ３００内には、広角環境情報を撮像して画像ファイルにするカメラモジュール３１０が存在する。好適な一実施形態におけるカメラモジュール３１０は、ＣＣＤ又はＣＭＯＳイメージセンサとしての電子イメージセンサに結合された広角レンズである。このカメラモジュールからの出力は、エンコーディングユニット３４０に送信されるシーン画像コンテンツ３１２と、カメラモジュールパラメータユニット３３０に送信されるカメラモジュールパラメータ３１４である。本発明の他の実施形態では、カメラモジュールは、限定ではないが、反射屈折レンズ、数個の狭角カメラモジュール、仮想環境からシーン画像コンテンツを生成する広角イメージャなどを含む任意の種類のものが考えられる。

本発明の一部の実施形態では、限定ではないが、カメラモジュール識別、好適な処理画像の視点座標（例えば、パン、チルト及びズーム）、ナビゲーションパス、著作権データ、デバイスの速度及び加速、イメージャを保持するユーザの心拍のようなバイオメトリックパラメータ、画像の関心ゾーン又は危険ゾーン、デバイスの他の部品の状態などを含む、画像内にエンコードされる対象となる、図１に記載された一部の関連情報、ユーザエクスペリエンス又はシステム挙動を、局所的であれ遠隔的であれ任意のユーザが追加することができるように、任意選択の外部パラメータ３２０が追加される。この外部情報は、マーカ３６４内に含まれるように、リンク３２４を介してエンコーディングユニット３４０に転送される。

カメラモジュールパラメータユニット３３０は、任意選択のリンク３１４を介してカメラモジュール３１０から、又は任意選択のリンク３２２を介して外部パラメータ３２０から、シーン画像コンテンツに関する何らかの識別情報を受信する。広角画像を生成するカメラモジュール３１０を識別すると、カメラモジュールパラメータユニット３３０は、カメラモジュールパラメータ３３２をエンコーディングユニット３４０に出力する。これらのカメラモジュールパラメータは、限定ではないが、表形式又は多項式形式のカメラモジュールにおける広角レンズの歪みプロファイル、画像の視野、中心光軸の画像内の位置、非対称的な広角画像に関する画像フットプリントの方向、フルシーンの一つ又は複数の狭視野部の方向及び座標、レンズの周辺光量比、広角レンズの歪みプロファイルを取り出すためのその広角レンズに関する固有の識別コード、視野、データベース（即ち、局所的又は遠隔的に保存された表、リスト、スプレッドシート等）からの局所的な周辺光量比などを含む、イメージャに関する固有の情報を含む。

本発明の一実施形態では、広角イメージャ３００は、センサユニットパラメータ３５２を、エンコードされたマーカ３６４に含まれるようにエンコーディングユニット３４０へ送信することができる更なるセンサユニット３５０も含む。これらの外的なパラメータとしては、限定ではないが、広角イメージャ空間定位、コンパス情報、ジオローカリゼーション、周辺光、温度、圧力及び湿度の情報などが挙げられる。

エンコーディングユニット３４０は、次に、カメラモジュールパラメータ３３２、任意選択の外部パラメータ３２４、及び任意選択のセンサユニットパラメータ３５２をマーカ３６４内にエンコードする。マーカ３６４は、次に、シーン画像コンテンツ３６２及びマーカ３６４を含むマーカ画像３６０である広角イメージャ３００の最終的な出力を作成するために、カメラモジュールのシーン画像コンテンツ３１２と結合される。

本発明の好適な一実施形態では、カメラモジュールのシーン画像コンテンツ３１２は、カメラモジュール内の広角レンズからの画像であり、出力されたシーン画像コンテンツ３６２と同一である。この事例は、後に、カメラのフレームレートを増加するためにカメラモジュールレベルで画像クロッピングが行われる場合において、図５Ａ、図５Ｂ、及び図５Ｆに関して説明される。

本発明の別の実施形態では、出力されたシーン画像コンテンツ３６２は、図５Ｅ及び図５Ｇのように、直接つなぎ合わされた複数のカメラモジュールのシーン画像コンテンツ３１２の結合体、又は、帯域幅を制限するためにエンコーディングユニットレベルで画像クロッピングが行われる場合に、図５Ｃ、図５Ｄ、及び図５Ｆのように、所望の投影を生成するためのカメラモジュールのシーン画像コンテンツ３１２の処理の結果である。

図４は、夫々図１及び２からの画像処理ユニット１６５及び２４０内の詳細な動作を示す。画像処理ユニット４００内には、リンク４１６を介してシーン画像コンテンツ４１２及びマーカ４１４を含むマーカ付き画像４１０を受信するマーカ検出器４２０が存在する。マーカ検出器４２０の役割は、マーカ付き画像４１０内のマーカ４１４を見つけ出すこと、及び、リンク４２２を介してそのマーカをマーカデコーダ４３０に出力するためにマーカのみを抽出することである。

マーカデコーダ４３０は、リンク４２２からマーカを読み出し、リンク４３２を介して、広角イメージャ３００内で以前にエンコードされたデコードイメージャパラメータを全て歪み処理及び画像強調ユニット４４０へ出力する。

歪み処理及び画像強調ユニット４４０は、補正され、強調された画像４４２を出力するために、マーカ付き画像４１０から４１８を介して受信したシーン画像コンテンツ４１２と、関連情報４３２とを使用する。エンコードされた情報、ユーザエクスペリエンス又はシステム挙動も画像４４２上に表示又は再生されることができる。

本発明の好適な一実施形態では、イメージャパラメータ４３２を使用して、歪み処理及び画像強調ユニット４４０は、観察者にとって不快な幾何学的な歪みのない処理画像４４２を提供するために、シーン画像コンテンツ又はシーン画像コンテンツの一部から歪みをデジタル的に補正、制御、修正、及び／又は除去することができる。

本発明の別の実施形態では、情報４３２を使用することにより、歪み処理及び画像強調ユニット４４０は、限定ではないが、レンズシェーディング補償、横色補償、色補正、ホワイトバランス、ノイズ除去、鮮鋭化、動的拡張、仮想露光、画素補間、画素サブサンプリングなどを含むその他の強調を行うことができる。

本発明の他の実施形態では、歪み処理及び画像強調ユニット４４０は、リンク４５２を介して外部入力４５０を任意選択で受信することもできる。外部入力４５０の一部の例としては、限定ではないが、ユーザが選択した視野方向及び座標、画像におけるナビゲーションパス、デジタルズームレベル、好適な関心地点、画像強調パラメータ、画像輝度、コントラスト、彩度、色温度などである。

処理画像４４２は、次に、図１及び図２に関して先に説明したように、表示デバイス４６０又はアルゴリズムユニット４７０によって使用される。

本明細書にて説明されるシステムのコンポーネントは、ハードウェアとソフトウェアの任意の組み合わせにおいて実施されてもよい。例えば、各コンポーネントは、専用のプロセッサ、コントローラ、ＡＳＩＣなどとして実施されてもよい。或いは、コンポーネントは、単一のコントローラ又はプロセッサにおけるソフトウェア、ファームウェアなどとして実施されてもよい。組み合わせることも可能である。

カメラモジュールのプロパティ及び広角イメージャの設定に応じて広角イメージャの異なる実施形態の結果的に生じる出力となり得る出力されたマーカ付き画像の７つの例が図５Ａ〜Ｇに示されている。

図５Ａは、広角イメージャ内のカメラモジュールが、シーン画像コンテンツ５１２へと正確に再生される非対称的なカメラモジュールのシーン画像コンテンツを生成する広角レンズである場合の例示的なマーカ付き画像５１０を示す。広角イメージャ内にこの種類のカメラモジュールを備える場合、画像には黒色コーナ５１６が存在し、マーカ５１４は、大抵の場合、シーン画像コンテンツ５１２が変更されていないことを確実にするためにコーナ５１６に追加される。

図５Ｂは、広角イメージャ内のカメラモジュールが、シーン画像コンテンツ５２２へと正確に再生される対称的なカメラモジュールのシーン画像コンテンツを生成する広角レンズである場合の例示的なマーカ付き画像５２０を示す。広角イメージャ内にこの種類のカメラモジュールを備える場合、画像には黒色のコーナ５２６が存在し、マーカ５２４は、大抵の場合、シーン画像コンテンツ５２２が変更されていないことを確実にするためにコーナ５２６に追加される。

図５Ｃは、シーン画像コンテンツ５３２が既知の投影法によって表示される場合の例示的なマーカ付き画像５３０を示す。正確なこの例の場合、図示の投影法は、正距円筒図法であるが、円筒、レクチリニア、メルカトル、サンソン等のその他の投影法が使用されることができる。カメラモジュールのシーン画像コンテンツから提供されるコンテンツは、エンコーディングユニットによってこの投影に変換される。図５Ｃのこの正距円筒図法により、シーン画像コンテンツは画像全体をカバーし、余分な黒色マージン５３６が、マーカ５３４を含むために追加されなければならない。余分なマージンの寸法を最小にするために、この場合のマーカは、一つの画素又は数個の画素ライン即ち列上に再配列されることができる。

図５Ｄは、シーン画像コンテンツ５４２が既知の投影法によって表示される場合の例示的なマーカ付き画像５４０を示す。正確なこの例の場合、図示の投影法は、立方体状投影であるが、その他の投影法が使用されることができる。カメラモジュールのシーン画像コンテンツから提供されるコンテンツは、エンコーディングユニットによってこの投影に変換される。この立方体状投影により、シーン画像コンテンツは画像全体をカバーし、余分な黒色マージン５４６が、マーカ５４４を含むために追加されなければならない。余分なマージンの寸法を最小にするために、この場合のマーカは、一つの画素又は数個の画素ライン即ち列上に再配列されることができる。

図５Ｅは、シーン画像コンテンツ５５２が、連続的な広角画像を形成するために後に互いにスティッチングされることができる幾つかの狭角画像の組み合わせである場合における、例示的なマーカ付き画像５５０を示す。カメラモジュールのシーン画像コンテンツから提供されるコンテンツとしては、数個のカメラモジュール又は異なる方向で使用される単一のカメラモジュールの結果が考えられる。各狭角画像が並べられる方法は、エンコーディングユニットによって決定され、各狭角画像のパラメータはマーカ５５４内に含まれる。マーカ５５４は、既存の黒色領域又は余分なマージン５５６に追加される。余分なマージンの寸法を最小にするために、この場合のマーカは、一つの画素又は数個の画素ライン即ち列上に再配列されることができる。

図５Ｆは、シーン画像コンテンツ５６２が、エンコーディングユニットによる画像クロッピング後のフルカメラモジュールシーン画像コンテンツの小区域、又はカメラモジュールによる画像クロッピング後のフルパノラマの小区域のいずれかである場合における、例示的なマーカ付き画像５６０を示す。使用される小区域に応じて、黒色マージン５６６の有無が決まり、黒色マージンは、シーン画像コンテンツを変更することなくマーカ５６４を含むために必要に応じて追加されることができる。この具体例では、マーカ５６４内にエンコードされた広角イメージャパラメータは、フルシーン画像コンテンツと比べて、この小区域の方向、座標及びズームレベルも含むことになるだろう。余分なマージンの寸法を最小にするために、この場合のマーカは、一つの画素又は数個の画素ライン即ち列上に再配列されることができる。

図５Ｇは、複数のシーン画像コンテンツ５７２及び５７８が同一のマーカ付き画像５７０上に共に追加される場合の例を示す。各カメラモジュールシーン画像コンテンツを生成するカメラモジュールは、天球を形成するために共に撮像された二つの半球形のシーン画像コンテンツの場合のように同一であるか、狭角カメラからの二つの高詳細画像が低詳細度の広角カメラに結合される図示の場合のように異なることができる。マーカ５７４を追加するための黒色領域５７６は、この場合、前記結合を行うエンコーディングユニットによって選択されることになる。

上記図面の全てにおいて、イメージャパラメータは、マーカ付き画像を通してイメージャから画像処理ユニットへ転送され、エンドユーザに関する具体的なユーザエクスペリエンス又はシステム挙動を定義するために使用される。イメージャパラメータによって異なる具体的なユーザエクスペリエンス又はシステム挙動の一部の例がここで説明される。これらは、本発明をより良く理解するための基本的な例であり、決して本発明の範囲及び精神を限定すべきではない。

第１の例は、スマートフォン、タブレット、スマートウォッチ、衣類の又はユーザにストラップで繋がれたパーソナルビデオレコーディングデバイス部などのような、ポータブル又はウェアラブルデバイス内に見られるイメージャである。ユーザ周辺のシーンのビデオ画像を記録することに加え、イメージャは、心拍、ペース、歩数のようなユーザの何らかのバイオメトリックデータ、及び、方向及びジオローカリゼーションパラメータを記録することができる。これは、付近の他のユーザからのリンクされたデバイスに関する情報、又はスマートランニングシューズ、自転車又は車のようなユーザが使用するリンクされた移動手段に関する情報を自動的に含むこともできる。この場合の具体的なユーザエクスペリエンスにより、ビデオからのマーカ付き画像を読み出すエンドユーザは、記録されたシーン画像コンテンツを見直し、歪んだ画像を作成したイメージャの正確な型式の知識がなくても、適切な画像歪み補正を使用するようにナビゲートすることができるようになる。これは、元のユーザがインターネット上にビデオをアップロードし、そうでなければ、エンドユーザが、使用されるイメージャの正確な型式に関する情報を有しない場合に特に有用である。さらに、マーカ内にエンコードされたイメージャデバイスのリアルタイムの方向は、デバイスがアクティビティ中に移動していても特定の関心地点上の視界を固定するために、ディスプレイにて画像安定化のために使用されることができる。この例における別の具体的なユーザエクスペリエンスとしては、このデバイスのユーザが、ランニングや自転車の運転のようなフィジカルトレーニングアクティビティを見直すのに役立てることが考えられる。エンドユーザは、アクティビティ中の心拍を、状況（路面の傾斜、地形の種類、天候条件）を示すビデオ画像と比較するためにマーカ付き画像からの情報を使用することができる。ユーザは、要望に応じて、シーン画像コンテンツの任意選択の表示とともに、ユーザのアクティビティのマップを描くためにジオローカリゼーションパラメータを使用することもできる。移動手段のリンクされたデバイス（スマートランニングシューズ又は自転車）からの情報又は信頼できるユーザからの情報は、ユーザがその情報をその都度手作業で入力する必要なしに、フィジカルアクティビティの種類を自動的にログするために、又はアクティビティにおける友人をタグ付けするために使用されることができる。別のユーザエクスペリエンスとしては、このウェアラブルイメージャが警察官（law-enforcement officer）の衣服内に含まれる場合が考えられる。介入後、警察官のシーン画像コンテンツ、ジオローカリゼーション及びバイオメトリックデータは、重大なインシデントが生じた後にそのインシデントをより良く再現するのに役立つことができる。

第２の例は、家庭用の監視セキュリティイメージャにおいて見られるイメージャに関する。このデバイスは、セキュリティカメラ、ウェブカム、スマート電子機器等が考えられる。このデバイスは、シーン画像コンテンツを記録することに加えて、日時、方向、アルゴリズムユニットによって自動的に動きが検出された関心ゾーン、スマートロックシステムを使用するドアロックの状態、アラームシステムの状態、識別されたユーザの画像における名前及び場所、プライバシーゾーン等のような幾つかのパラメータをマーカ内にエンコードすることができる。具体的なユーザエクスペリエンスは、遠隔地のユーザが、リアルタイムでセキュリティビデオを観ることを可能にし、レンズの歪みプロファイル又はデバイスの方向のようなイメージャパラメータを手作業で入力しなくても歪みが除去された状態で処理画像内においてナビゲートすることができるようにすることである。ユーザインタフェース上でのエンドユーザナビゲーションは、好ましくは、イメージャが、天井、壁、又は地上に置かれているか否かによって異なるため、方向パラメータのこの自動的な転送により、エンドユーザは、パラメータを手作業で入力することなく最適なナビゲーションを有することができる。別のユーザエクスペリエンス又はシステム挙動としては、強盗の後に一部のパラメータを見たいが、プライバシーの理由からシーン画像コンテンツにフルアクセスすることができない保険会社の場合が考えられる。この場合、保険会社は、強盗時の状況を決定するために日付とともにドアロック又はアラームシステムの状態を表示することができる。イメージャパラメータによって定義されることができる別の種類のユーザエクスペリエンス又はシステム挙動としては、プライバシーゾーンが考えられる。全てのビデオフィードは暗号化されることができ、その場合、正確なパスワードを有する所定の表示デバイスのみがこのビデオフィードを表示することができる。この表示デバイス上では、異なるユーザ名及びパスワードを有する異なるユーザには、シーン画像コンテンツの異なるゾーンが示され、プライバシー領域のシーンコンテンツは、必要な権利を有しないユーザに対してのみ取り除かれることができる。

第３の例は、複数のカメラモジュールを含み、各モジュールが個々のレンズを備えるイメージャの場合である。これは、イメージャ周囲の全天球シーンを撮像するために背中合わせの姿勢に構成された１８０°超の視野を有する二つの広角レンズを備えるデバイスが考えられ、或いは、これは、全て異なる方向の多くの狭角レンズを備え、イメージャ周囲の全天球シーンの全て又は一部をカバーするイメージャが考えられる。この例の一つの場合では、イメージャは、全てのカメラモジュールからのシーン画像コンテンツが、全天球シーンコンテンツを備える単一の画像を形成するために既に融合されているマーカ付き画像を作成することができ、マーカは、画像を結合する時に使用される特定の投影法に関するイメージャパラメータ、又はエンドユーザが使用することができる任意のその他のイメージャパラメータを含むことができる。この例の別の場合では、イメージャの出力としては、複数のカメラからの複数のマーカ付き画像が考えられる。この場合のマーカは、全てのマーカ付き画像同士を相互参照するために使用されることになる。時間的な参照は、画像の順序番号又は日時を用いてなされることができる。空間的な参照は、各カメラモジュールの他のカメラモジュールに対する又はイメージャにおける固定位置及び方向の参照座標に対する位置及び方向を定義することによってなされることができる。この例では、具体的なユーザエクスペリエンスは、エンドユーザの要望に応じて、天球シーンにおける関心方向を指し示す元の画像を表示すること、又は、ユーザが、マーカ付き画像からのイメージャパラメータを使用することによってシーン内で自由にナビゲートすることができる全天球シーンビューを表示することが考えられる。或いは、全天球シーンコンテンツは、マーカ内にエンコードされたイメージャの方向パラメータを使用することによって、イメージャが撮像中に移動していても、特定の関心地点上の安定したビューを表示し、ビューの方向を固定するために使用されることができる。別のユーザエクスペリエンスでは、全天球シーンと狭画像の両方が同時に表示されることができ、全天球シーンは、マーカ内にエンコードされた全ての相互参照情報を使用することによって元の狭画像内でナビゲートするために使用される。最後にもう一つのユーザエクスペリエンス又はシステム挙動としては、エンドユーザが、元のより狭いマーカ付き画像の一部のみ又は全てを受信し、マーカ内にエンコードされた位置及び方向情報を使用してこれらの画像を結合したいと思う場合が考えられる。

最後の一例は、道路を走る車のような自動車又は空中のドローン又はロボット化した機械上に見られるイメージャの場合である。このイメージャとしては、人間の運転手を伴う従来の車、遠隔地の人間によって制御されるドローン、自動運転車又は無人ドローンが考えられる。最後の二つのインテリジェント自律システムの場合、エンドユーザは、人工知能ユニット、コンピュータ、又はデバイスそれ自体である。これらの自動車により、イメージャは、多くのイメージャパラメータのみならず、車両又はドローンの前方のビューからのシーン画像コンテンツを記録することができる。これらのパラメータとしては、天候パラメータ（外気温、風、降雨及び湿度）、日付、ジオローカリゼーション、高度、検出された危険又は検出された車線のシーン画像コンテンツ上の位置、その自動デバイスの速度及び加速を伴うパラメータ、運転手及び乗員の識別、ブレーキ又はワイパの状態、検出された道路標識などが挙げられる。この場合の具体的なユーザエクスペリエンスとしては、何が起きたのかをより良く理解するのに役立つように、インシデント後に、記録されたシーン画像コンテンツ及びその他のパラメータを見ることが考えられる。この場合、イメージャパラメータは、歪みを除去するための最適な画像処理を可能にするためにイメージャの歪みプロファイルを含むことができる。この場合、一つのディスプレイが、処理されたシーン画像コンテンツを示し、インシデントの前、その間、及びその後に起きたことを示すことができる。別のユーザエクスペリエンス又はシステム挙動としては、画像を見ずに、日付、速度及び加速、ワイパ及びブレーキの状態、又は車外の天候のような装置の一部のパラメータを表示することが考えられる。これは、シーン画像コンテンツがプライバシーの理由から明らかにされない時に、インシデントに繋がった正確な状況を決定したいと思う保険会社にとって有用となり得る。別のユーザエクスペリエンスとしては、アルゴリズムユニットによって検出された何らかの情報を運転手にリアルタイムで表示することが考えられる。この情報としては、検出された車線逸脱、道路標識、又は危険が考えられる。この場合、出力は、テキストパラメータ、記号、音、光インジケータ、触覚フィードバック、又はアラームの形が考えられる。インテリジェント自律システムの場合における一つの具体的なシステム挙動としては、マーカ付き画像による自己誘導のために重要なイメージャパラメータをコンピュータ又は人工知能ユニットへ提供することが考えられる。この場合、具体的なシステム挙動は、人工知能ユニット又はコンピュータシステムがマーカを通してそのサブシステムに提供することができるパラメータ、及び、これらのパラメータに基づいて前記誘導を適応させることができる方法である。

上記は全てイメージャからのマーカ付き画像内にエンコードされたイメージャパラメータによって定義されることができる具体的なユーザエクスペリエンス又はシステム挙動の図及び例である。全てのこれらの例において、イメージャは、非常に狭い視野から極めて広角な視野まで、任意の視野を有することができる。これらは、網羅的なリストとなること、又は本発明の範囲及び精神を限定することを意図していない。当業者には、その広い発明の概念から逸脱することなく上記実施形態に変更を加えることができることが理解されるだろう。従って、本発明は、開示された特定の実施形態に限定されず、添付の請求項によって定められる本発明の精神及び範囲内の修正を包含することを意図していることが理解される。

Claims (26)

1. マーカ付き画像を使用してシーン画像コンテンツに関するユーザエクスペリエンス又はシステム挙動を自動的に定義するためのシステムであって、
   （ａ）前記シーン画像コンテンツを撮像又は生成するように構成されたイメージャと、
   （ｂ）前記イメージャから前記シーン画像コンテンツを受信し、前記マーカ付き画像を作成するために前記シーン画像コンテンツを少なくとも一つのマーカと組み合わせるように構成され、前記マーカが、前記ユーザエクスペリエンス又はシステム挙動を自動的に定義するために表示デバイス又はアルゴリズムユニットによって使用される少なくとも一つのイメージャパラメータをエンコードするエンコーディングユニットと、を備えるシステム。
2. 前記イメージャは、画像を撮像するように構成された少なくとも一つのカメラモジュールを含む請求項１に記載のシステム。
3. 前記少なくとも一つのイメージャパラメータは、少なくとも一つのカメラモジュールパラメータ又は外部パラメータを含み、該システムは、前記少なくとも一つのカメラモジュールパラメータ又は外部パラメータを前記エンコーディングユニットに転送するカメラモジュールパラメータユニットと、更なる外部パラメータを前記エンコーディングユニットに直接提供することができる外部ユニットとを更に備える請求項２に記載のシステム。
4. 前記外部ユニットはセンサユニットを備え、前記外部パラメータはセンサパラメータである請求項３に記載のシステム。
5. 前記イメージャは広角イメージャである請求項１に記載のシステム。
6. 前記イメージャパラメータは、前記イメージャの方向、シーン画像コンテンツ位置、方向及びサイズ、イメージャ型式、前記イメージャの速度及び加速、エントリポイント、又は関心ゾーンのうちの少なくとも一つである請求項１に記載のシステム。
7. 前記マーカは、人間可読コード、機械可読コード、又はウォータマークのうちの一つである請求項１に記載のシステム。
8. 前記マーカはＱＲコードである請求項７に記載のシステム。
9. 前記ユーザエクスペリエンス又はシステム挙動は、前記少なくとも一つのイメージャパラメータに従って撮像画像の歪みを処理することを更に含み、前記少なくとも一つのイメージャパラメータは、レンズ歪みプロファイル、前記歪みのある画像の視野、中心光軸の前記歪みのある画像内の位置、画像フットプリントの方向、一つ以上の狭視野の方向及び座標、レンズの周辺光量比、デジタルズームレベル、好適な関心地点、又は画像強調パラメータのうちの少なくとも一つを含む請求項１に記載のシステム。
10. 前記ユーザエクスペリエンス又はシステム挙動は、前記少なくとも一つのイメージャパラメータに従って撮像画像の歪みを処理することを更に含み、前記少なくとも一つのイメージャパラメータは、前記イメージャのレンズの歪みプロファイル、視野、又は局所的な周辺光量比のうちの少なくとも一つを含むデータベースに関する固有の識別コードを含む請求項１に記載のシステム。
11. 前記イメージャパラメータは、前記シーン画像コンテンツにナビゲーションパスを含む請求項１に記載のシステム。
12. 前記マーカは、前記マーカ付き画像のコーナに、又は前記マーカ付き画像の追加的なマージンに存在する請求項１に記載のシステム。
13. 前記カメラモジュールは、少なくとも一つのレンズと、前記レンズによって受け取られた画像を撮像するように構成されたイメージセンサを含む請求項２に記載のシステム。
14. 前記カメラモジュールは、仮想環境から画像を撮像するように構成されたデジタルプロセッサである請求項２に記載のシステム。
15. カメラモジュールパラメータの少なくとも一部は、前記カメラモジュールによって撮像された前記シーン画像コンテンツを分析することによって自動的に生成される請求項２に記載のシステム。
16. 前記マーカ付き画像は、複数の画像部分に分割され、前記複数の画像部分の各々は、夫々のマーカを含み、前記マーカ付き画像を処理するためのデータが、前記複数の画像部分に対する相互参照を含む請求項１に記載のシステム。
17. マーカ付き画像を使用してイメージャによって撮像されたシーン画像コンテンツに関するユーザエクスペリエンス又はシステム挙動を自動的に定義するためのシステムであって、前記マーカ付き画像は、前記シーン画像コンテンツ及び少なくとも一つのマーカを含み、該システムは、
    （ａ）前記定義されたユーザエクスペリエンス又はシステム挙動に従って前記シーン画像コンテンツを処理するように構成された画像処理ユニットと、
    （ｂ）前記マーカ付き画像から前記マーカを識別及び抽出するように構成されたマーカ検出器と、
    （ｃ）前記マーカをデコードし、前記マーカ内にエンコードされたイメージャパラメータを出力するように構成され、前記イメージャパラメータが、少なくとも、前記ユーザエクスペリエンス又はシステム挙動を自動的に定義するために前記画像処理ユニットによって使用されるデータを備えるマーカデコーダと、を含むシステム。
18. 前記画像処理ユニットは、さらに、該システムの外部のソースからデータを受信し、前記画像処理ユニットは、外部データに部分的に基づいて前記シーン画像コンテンツをさらに処理するように構成される請求項１７に記載のシステム。
19. 前記イメージャパラメータは、ユーザが選択した視野方向及び座標、デジタルズームレベル、好適な関心地点、画像強調パラメータ、画像輝度、画像コントラスト、彩度、又は色温度のうちの少なくとも一つを含む請求項１７に記載のシステム。
20. 前記マーカは、人間可読コード、機械可読コード、又はウォータマークのうちの一つである請求項１７に記載のシステム。
21. 前記マーカはＱＲコードである請求項２０に記載のシステム。
22. 前記定義されたユーザエクスペリエンス又はシステム挙動は、前記イメージャパラメータに従って前記シーン画像コンテンツの歪みを処理することを含み、前記イメージャパラメータは、レンズの歪みプロファイル、視野、又は局所的な周辺光量比のうちの少なくとも一つを含むデータベースに関連する固有の識別コードを含む請求項１７に記載のシステム。
23. 前記定義されたユーザエクスペリエンス又はシステム挙動は、前記イメージャパラメータに従って前記シーン画像コンテンツの歪みを処理することを含み、前記イメージャパラメータは、レンズ歪みプロファイル、前記歪みのある画像の視野、中心光軸の前記歪みのある画像内の位置、画像フットプリントの方向、一つ以上の狭視野の方向及び座標、レンズの周辺光量比、デジタルズームレベル、好適な関心地点、又は画像強調パラメータのうちの少なくとも一つを含む請求項１７に記載のシステム。
24. 前記画像処理ユニットは、レンズシェーディング補償、横色補償、色補正、ホワイトバランス、ノイズ除去、鮮鋭化、動的拡張、仮想露光、画素補間、画素サブサンプリング、又はカスタムクロッピングゾーンのうちの少なくとも一つに部分的に基づいて前記シーン画像コンテンツを更に処理するように構成される請求項１７に記載のシステム。
25. 前記マーカは、前記マーカ付き画像のコーナに存在するか、前記マーカ付き画像の追加的なマージンに設けられるかのいずれかである請求項１７に記載のシステム。
26. マーカ付き画像を使用してイメージャによって撮像されたシーン画像コンテンツに関するユーザエクスペリエンス又はシステム挙動を自動的に定義するためのシステムであって、前記マーカ付き画像は、前記シーン画像コンテンツ及びマーカを含み、該システムは、
    （ａ）前記マーカ付き画像を処理し、イメージャパラメータ及び前記イメージャパラメータに基づくインジケータを出力するように構成された画像処理ユニットと、
    （ｂ）前記マーカ付き画像から前記マーカを識別及び抽出するように構成されたマーカ検出器と、
    （ｃ）前記マーカをデコードし、前記マーカにエンコードされたイメージャパラメータを出力するように構成され、前記イメージャパラメータが、少なくとも、前記ユーザエクスペリエンス又はシステム挙動を自動的に定義するために前記画像処理ユニットによって使用されるデータを含むマーカデコーダと、を備えるシステム。

Images