JP2016503618A

JP2016503618A - パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置

Info

Publication number: JP2016503618A
Application number: JP2015542330A
Authority: JP
Inventors: リチャードオリエ，
Original assignee: ジロプティック
Priority date: 2012-11-15
Filing date: 2013-11-12
Publication date: 2016-02-04
Also published as: MX355297B; HK1212835A1; MX2015006121A; FR3012000B1; AU2013346603B2; FR2998126A1; TW201804432A; FR2998126B1; AU2013346603A1; TWI612495B; JP2019041389A; BR112015010788A8; BR112015010788A2; WO2014076402A1; FR3012001B1; CA2889811A1; FR3011968A1; TW201435792A; IL238622A0; KR20150084807A

Abstract

シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするために、撮像デバイス（Ｃｉ）を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われる。キャプチャ動作毎に、（ａ）各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間（Ｔ）以下の処理時間でデジタル処理され、かつ（ｂ）前に形成された最終パノラマまたは立体画像が前記キャプチャ時間（Ｔ）以下の時間間隔で生成される。取り込まれた各画像の各画素のデジタル処理（ａ）は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の１つまたは幾つかの位置を割り当てることからなる。【選択図】図２

Description

本発明は、立体またはパノラマ画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置に関する。パノラマまたは立体画像のこのストリームは、フィルムとして、またはパノラマまたは立体画像のストリームから１つまたは幾つかの静止画像を抽出することを考慮して処理するために、保存、転送、または配信することができる。

「ワンショット」パノラマ画像キャプチャの領域では、例えばＣＣＤまたはＣＭＯＳカメラ型の幾つかの撮像デバイスが公知であり、各撮像デバイスは、シーンの画像をイメージセンサに投影させることを可能にする光学手段（レンズ）と結合された、例えばＣＣＤまたはＣＭＯＳ型のイメージセンサを含む。撮像デバイスの光軸は様々な方向に向けられ、画像キャプチャの光学視野は、画像の完全なパノラマ視野を網羅することを考慮して重複することがある。国際特許出願公開第２０１２／０３２２３６号パンフレットは、「光学群」と呼ばれ視界３６０°のパノラマ画像の「ワンショット」キャプチャを可能にする３つの撮像デバイスを含む、特に小型の光学装置を開示している。

本書では、用語「パノラマ画像」とは、視界３６０°の単一画像のキャプチャに限定することなく、より一般的に、パノラマ画像キャプチャに使用される撮像デバイスの各々によってカバーされる光学視野より大きい拡張視野に従ってレンダリングされる画像に適用可能な、最も広い意味に理解すべきである。

パノラマ画像を取り込むこのプロセスを用いて、撮像デバイスの各々は、限定された光学視野におけるシーンの画像を画素マトリックスの形で取得し、次いで画像は、最終パノラマ画像を生成することを考慮して、画像の重複領域のレベルで画像のデジタル「スティッチング」を可能にする外部のデジタル処理手段に転送される。

撮像デバイスによって取り込まれた画像を表す各画素マトリックスは、撮像デバイスによって「見られる」球領域の３Ｄ表面の二次元投影法から生じる。この二次元投影法は各撮像デバイスに依存し、特に撮像レンズの光学的特徴および画像キャプチャ中の撮像デバイスの空間的方位（「ヨー」、ピッチ」、および「ロール」）に依存する。

先行技術では、パノラマ画像を形成するための画像のデジタルスティッチングは例えば、イメージセンサによって送達された画像を並置するときに、かつ最終パノラマ画像を得ることを考慮して、画像の重複領域のレベルで画像のデジタルスティッチングを実行することによって行われた。この場合、デジタルスティッチングの実現は画素の二次元投影法を変化させず、最終パノラマ画像の画素は、画像の送り元であるイメージセンサの二次元投影法を維持する。

このデジタルスティッチングは、例えば国際特許出願公開第２０１１／０３７９６４号パンフレットまたは米国特許出願公開第２００９／００５８９８８号明細書に開示されているように、自動的に実行することができ、あるいは国際特許出願公開第２０１０／０１４７６号パンフレットに開示されているように、手動支援を用いて半自動的に実行することができる。

パノラマ画像をレンダリングするためのデジタル画像スティッチング解決策はまた、２００５年１月２６日付けのＲｉｃｈａｒｄＳｚｅｌｉｓｋｉによる「ＩｍａｇｅＡｌｉｇｎｍｅｎｔａｎｄＳｔｉｔｃｈｉｎｇ：ＡＴｕｔｏｒｉａｌ」と題する論文でも提案された。この論文では、デジタルスティッチングは、保存された画像に、動的にではなく、静的に実行されたので、この論文に開示されたデジタルスティッチング解決策では、パノラマ画像の動的ストリームをレンダリングすることができず、ましてや、パノラマ画像の動的ストリームを画像が取り込まれているときに実時間でレンダリングすることなどできない。

立体画像キャプチャの領域では、シーンの２つの平面画像を取り込み、それに続いて、奥行きおよび輪郭の知覚を可能にする立体３Ｄ画像を作成することを考慮して、２つの平面画像をデジタル処理することから成るプロセスが、それ以外に公知である。

パノラマまたは立体画像を取り込みかつレンダリングするための上述したプロセスは、特に測色、ホワイトバランス、露光時間、および自動利得に関して最終デジタル画像（パノラマか立体かに関係なく）内の均質性の問題を生じる、別個のまたは独立した光学手段を有するセンサによって取得された画像を用いて、パノラマまたは立体画像をレンダリングすることの不利益を呈する。

さらに、上述した画像のデジタルスティッチングプロセスは、パノラマ画像を実時間に取り込みかつフィルムとしてレンダリングするのに不利な計算時間を必要とする。

米国特許出願第２００９／００５８９８８号明細書には、処理時間を改善し、かつパノラマ画像の取込みと共に実時間のデジタルスティッチングを可能にすることを考慮して、低解像度画像のマッピングに基づくデジタルスティッチング解決策が例えば提案されている。

一般的に、本発明の目的は、１つまたは幾つかの撮像デバイスを用いてパノラマまたは立体画像のストリームを取り込みかつレンダリングするための新しい技術的解決策を提案することである。

さらに詳しくは、本発明の第１のより具体的な態様によると、新しい解決策は、デジタル処理の速度を高めることを可能にし、したがってパノラマまたは立体画像のストリームを実時間で取り込みかつレンダリングすることを容易にする。

さらに詳しくは、本発明の別のより具体的な態様によると、新しい解決策は、別個のまたは独立した光学手段を持つセンサの実現から生じる上述した不都合を軽減することを可能にし、特に、品質を向上したパノラマまたは立体画像をより容易に得ることを可能にする。

本発明の枠組内で、パノラマまたは立体画像のストリームは、例えばフィルムとして保存、転送、または配信することができ、あるいはその後、ストリームから１つまたは幾つかのパノラマまたは立体画像を静的に抽出することを考慮して処理することができる。

本発明の第１態様によると、本発明の主たる目的は、シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであり、その間に、少なくとも１つの撮像デバイス（Ｃｉ）を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われ、キャプチャ動作毎に、（ａ）各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間（Ｔ）以下の処理時間でデジタル処理され、かつ（ｂ）前に形成された最終パノラマまたは立体画像が前記キャプチャ時間（Ｔ）以下の時間間隔で生成され、取り込まれた各画像の各画素のデジタル処理（ａ）は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の１つまたは幾つかの位置を割り当てることからなる。

本発明の他の目的として、パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であることがあげられる。この装置は、少なくとも２つの異なる画像を１組の画素として取り込むことを可能にする１つまたは幾つかの撮像デバイス（Ｃｉ）と、取り込まれた画像を用いてパノラマまたは立体画像のレンダリングを可能にする処理のための電子手段とを備え、電子処理手段は、１つまたは幾つかの撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットで、かつ２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する連続キャプチャ動作の周波数レート（Ｆ）で、シーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にし、電子処理手段は、キャプチャ動作毎に、（ａ）前記キャプチャ時間（Ｔ）以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ（ｂ）前記キャプチャ時間（Ｔ）以下の時間間隔にわたって、前に形成された最終パノラマまたは立体画像を生成するのに適しており、電子処理手段を用いた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の１つまたは幾つかの異なる位置を割り当てることからなる。

本発明の第２態様によると、本発明の目的はまた、シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、少なくとも１つの撮像デバイス（Ｃｉ）を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作が実行されること、および画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素がデジタル処理され、かつパノラマまたは立体画像のストリームが生成されること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの位置を割り当てることからなることを特徴とするプロセスでもある。

本発明の前記第２態様によると、本発明の目的はまた、パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、少なくとも２つの異なる画像を画素セットフォーマットで取り込むことを可能にする１つまたは幾つかの撮像デバイス（Ｃｉ）と、画像の重なりの有無にかかわらず、１つまたは幾つかの画像キャプチャ手段が画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする電子処理手段であって、画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素をデジタル処理すると共にパノラマまたは立体画像のストリームを生成するのに適した電子処理手段とを備えていること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの位置を割り当てることからなることを特徴とする装置でもある。

本発明の第３態様によると、本発明の目的はまた、シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、その間に、少なくとも１つの撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作が実行され、各撮像デバイスが、画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出して成る、プロセスでもある。取り込まれた各画像の各画素は、前記画素を少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして使用して最終パノラマまたは立体画像を生成することを考慮して、デジタル処理される。

本発明の前記第３態様によると、本発明の目的はまた、パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置でもあり、前記装置は、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする１つまたは幾つかの撮像デバイスと、取り込まれた画像を用いてパノラマまたは立体画像のストリームのレンダリングを可能にする電子処理手段とを備える。各撮像デバイスは、取り込まれた画像の各々の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するのに適している。電子処理手段は、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして前記画素を使用して、最終パノラマまたは立体画像を生成することを考慮して、取り込まれた画像の各画素をデジタル処理するように設計される。

本発明の第４態様によると、本発明の目的はまた、シーンの少なくとも１つのパノラマまたは立体画像を取り込みかつレンダリングすることでもあり、その間に、画像の重なりの有無に関わらず、少なくとも１つの撮像デバイス（Ｃｉ）を用いてシーンの少なくとも２つの異なる画像が取り込まれ、各撮像デバイスは画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として画素のストリームを送出し、取り込まれた各画像の画素のストリームは、前記画素を用いて少なくとも最終パノラマまたは立体画像をレンダリングすることを考慮してデジタル処理され、取り込まれた各画像に対応する画素のストリームの各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの位置を割り当てることからなる。

本発明の前記第４態様によると、本発明の目的はまた、少なくとも１つのパノラマまたは立体画像を取り込みかつレンダリングするための装置でもあり、前記装置は、画像の重なりの有無に関わらず、少なくとも２つの異なる画像の取込みを可能にする１つまたは幾つかの撮像デバイス（Ｃｉ）（各イメージセンサ（Ｃｉ）は取り込まれた各画像に対して画素のストリームを送出するのに適する）と、画像キャプチャ動作中に、取り込まれた各画像の画素ストリームを用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段とを備える。デジタル電子手段は、取り込まれた画像の画素ストリームの各画素を維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの異なる位置を割り当てることで、前記画素を処理するように設計される。

本発明の特徴および利点は、本発明の非限定的または非包括的実施例として、かつ添付の図面に関連して提供する、本発明の好適な実施形態の１つについての以下の詳細な説明に照らして、より明確になるであろう。

図１は、本発明に係る装置の電子アーキテクチャの実施例の概要である。

図２は、図１の装置の主電子信号のクロノグラフ例である。

図３は、「魚眼」レンズの画像取込み領域の光学／画素視野間の対応の例を示す。

図４は、最終パノラマ画像の一部分でイメージセンサを用いて取り込まれた画素マトリックスの再マッピングの実施例である。

図５は、最終パノラマ画像の画素Ｐ_ｉ，ｊと、イメージセンサを用いて取り込まれた画素マトリックスとの間の幾何学的対応の例を示す。

図６Ａ−６Ｄは、ＲＡＷ形式の画像の特定の事例の様々な再マッピング図を表す。図６Ｅ−６Ｇは、ＲＡＷ形式の画像の特定の事例の様々な再マッピング図を表す。図６Ｈ−６Ｉは、ＲＡＷ形式の画像の特定の事例の様々な再マッピング図を表す。

図７Ａ−７Ｄは、パノラマ画像へのセンサラインの再マッピングの様々な実施例を示す。

図８は、最終パノラマ画像を形成することを考慮した、３つの画像の再マッピング結果の特定の実施例を示す。

図１は、パノラマ画像の取込みおよびレンダリングを可能にする、本発明の装置１の特定の実施例を表す。

この特定の実施例では、装置１は、各々が画素マトリックスフォーマットでの画像の取込みを可能にする、例えばＣＣＤ型またはＣＭＯＳ型の３つの撮像デバイスＣ_１、Ｃ_２、Ｃ_３と、イメージセンサＣ_１、Ｃ_２、Ｃ_３によって送達された画素を用いてパノラマ画像をレンダリングすることを可能にする電子処理手段１０とを備える。通常、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々は、イメージセンサと整列した１つまたは幾つかのレンズを含みかつ光線をイメージセンサに集束させる光学手段（レンズ）に結合された、例えばＣＣＤまたはＣＭＯＳ型のイメージセンサを含む。

撮像デバイスＣ_１、Ｃ_２、Ｃ_３の光軸は異なる方向に向けられ、それらの光学視野は、好ましくは光学視野を重ねあわせて、最終パノラマ画像場全体をカバーする。

本書では、用語「パノラマ画像」は、３６０°の視界に従ってレンダリングされるパノラマ画像に限定されず、より一般的に、パノラマ画像キャプチャに使用される撮像デバイスの各々によってカバーされる光学視野より大きい拡張視野に従ってレンダリングされる画像として、最も広い意味に理解すべきである。

単なる例証を目的として、前記撮像デバイスＣ_１、Ｃ_２、Ｃ_３は例えば、国際特許出願公開第２０１２／０３２２３号パンフレットに開示され、パノラマ画像の「ワンショット」キャプチャを可能にする、小型の光学デバイスの３つの光学群から構成することができる。

本発明の装置１は、様々な場所に容易に運んで使用する目的で、携帯機器から構成されることが好ましいが、必ずしもそうでなくてもよい。

図２に関連して、デジタル処理手段１０は、例えば水晶を用いて発生しかつ撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々のイメージセンサの作動のタイミングを計るために使用される基本クロックＨ１０を送出する。

出力として、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々のイメージセンサは、取り込まれた各画像に対し、「画素」データバスで、基本クロックＨ１０ならびに２つの信号「ライン有効」および「フレーム有効」を使用して撮像センサの各々によって発生する第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出する。撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々によって発生するクロック信号（Ｈ＿ｓｅｎｓｏｒ）はさらに詳しくは同一周波数である。

電子処理手段１０は、撮像デバイスＣ_１、Ｃ_２、Ｃ_３のイメージセンサによって送出された画素を用いて、かつ撮像デバイスＣ_１、Ｃ_２、Ｃ_３が「画素」データバスに出力として、最終パノラマ画像を表す画素のストリームを送出するのに匹敵する方法で、パノラマ画像をレンダリングすることを可能にする。

電子処理手段１０の「画素」データバスのサイズは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の「画素」データバスのサイズと同一または異なってよく、好ましくはより大きい。例えば、しかし本発明の範囲を限定することなく、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の「画素」データバスは８ビットであり、電子処理手段１０の「画素」データバスは１６ビットである。

電子処理手段１０によって生成される画素のストリームは、基本クロック信号ならびに電子処理手段１０によって生成される２つの「ライン有効」および「フレーム有効」信号を用いて電子処理手段１０によって生成される、第２クロック信号（Ｈ）に従って同期される。

図２は、上述した本発明の信号同期の特定の非限定的な実施例を示す。この図には、「画素」データバス上を移動するデータは示されていない。

図２に関連して、連続キャプチャ動作は周期的であり、２つの連続キャプチャ動作の開始間の時間間隔（ｔ）の長さに等しいキャプチャ時間Ｔ（Ｔ＝１／Ｆ）を定義する周波数Ｆでタイミングが計られる。

さらに詳しくは、前記図２では、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々の「フレーム有効」信号の立ち上がりエッジは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって取り込まれた画像の画素の、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々の「画素」データバスにおける伝送の開始を同期させる。撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々の「フレーム有効」信号の立下がりエッジは、前記撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって取り込まれた画像の「画素」データバスでの画素伝送の終了を示す。撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出される「フレーム有効」信号の前記立ち上がりエッジ（およびそれぞれの立下がりエッジ）は、タイムライン上でわずかにずれる。

撮像デバイスＣ_１、Ｃ_２、Ｃ_３の「ライン有効」信号は「フレーム有効」信号の各立ち上がりエッジと同期し、一連の画素の伝送の開始を示す。「ライン有効」信号の各立下がりエッジの各々は、一連の画素の伝送の終了を示す。３つの撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各「画素」データバスにおける各伝送画像の画素は、電子処理手段１０を使用して、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各々によって送出される各クロック信号「Ｈ＿ｓｅｎｓｏｒ」をそれぞれ使用して、並行してサンプリングされる。

図２に関連して、電子処理手段１０によって送出される「フレーム有効」信号の立ち上がりエッジは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出された画素を使用してレンダリングされた最終パノラマ画像の、電子処理手段の「画素」データバスにおける伝送の開始を同期させる。前記立ち上がりエッジは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出される「フレーム有効」信号の立ち上がりエッジを使用して、電子処理手段１０によって自動的に生成され、さらに詳しくは、最後に発生した立ち上がりエッジが検出されると、すなわち特に図２の実施例において撮像デバイスＣ_１によって送出された「フレーム有効」信号の立ち上がりエッジが検出されると、生成される。

電子処理手段１０によって送出された「フレーム有効」信号の立下がりエッジは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出された画素を使用してレンダリングされた最終パノラマ画像の、電子処理手段１０の「画素」データバスにおける伝送の終了を同期させる。

電子処理手段１０によって送出された「ライン有効」信号は、電子処理手段１０によって送出された「フレーム有効」信号の各立ち上がりエッジと同期しパノラマ画像の一連の画素の伝送の開始を示す。電子処理手段１０によって送出される「ライン有効」信号の各立下がりエッジは、パノラマ画像の一連の画素の伝送の終了を示す。

電子処理手段１０の「画素」データバスにおける各パノラマ画像の画素の書込みは、電子処理手段１０によって生成されかつ前記データバスの画素を読み出すために別の外部電子装置（例えば装置１１）によって使用される、クロック信号「Ｈ」に従って同期される。

本発明の代替的実施形態によると、電子処理手段１０によって送出されるクロック信号「Ｈ」は、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出される「Ｈ＿ｓｅｎｓｏｒ」クロック信号と同期または非同期とすることができる。「Ｈ」クロック信号の周波数は、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出される「Ｈ＿ｓｅｎｓｏｒ」クロック信号と等しくても異なってもよい。好ましくは、「Ｈ」クロック信号の周波数は、図２に示すように、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出される「Ｈ＿ｓｅｎｓｏｒ」クロック信号の周波数より大きい。

図２の特定の事例では、キャプチャ動作毎に、撮像デバイスＣ_１、Ｃ_２、Ｃ_３を使用して３つの画像キャプチャが並行して実行され、この特定の事例では、時間間隔（ｔ）は、撮像デバイスＣ_１の、すなわちその「画素」データバスで画素を最初に伝送する撮像デバイスの「フレーム有効」信号の２つの連続立ち上がりエッジを隔てる時間間隔である。

２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に、電子処理手段１０は、
（ａ）前記画素を用いて最終パノラマ画像をレンダリングすることを考慮して、取り込まれた各画像をデジタル処理し（図１のアーキテクチャおよび図２の信号の場合、これらは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の「画素」データバスで電子処理手段１０に伝送される画素である）、かつ
（ｂ）最終パノラマ画像を生成する（図１のアーキテクチャおよび図２の信号の場合、これらは、前記時間間隔（ｔ）中に生成され、電子処理手段によって送出された「フレーム有効」信号の立ち上がりエッジおよび立下りエッジを用いて、電子処理手段１０によってそれらの「画素」データバスで出力として伝送される画素である）。

こうして、画像キャプチャの連続動作と同一レートで、連続パノラマ画像のストリームが電子処理手段によって実時間に生成される。例えば、撮像デバイスＣ_１、Ｃ_２、Ｃ_３が毎秒２５の画像を送出するように設計された場合、２つの連続画像キャプチャ動作間の各時間間隔（ｔ）のキャプチャ時間Ｔは４０ｍｓに等しく、それは２５Ｈｚのキャプチャ周波数に対応し、電子処理手段もまた毎秒２５のパノラマ画像（４０ｍｓ毎に１つのパノラマ画像）を生成する。

キャプチャ時間Ｔ（２つの連続画像キャプチャ動作間の各時間間隔（ｔ）の長さ）は、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の周波数に依存する。実際には、キャプチャ時間Ｔは１ｓ以下であることが好ましく、１００ｍｓ以下であることがさらにいっそう好ましい。

好ましくは、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に生成される最終パノラマ画像は、この同じ時間間隔（ｔ）の経過中の画素のデジタル処理（ａ）から生じる。この場合、各連続パノラマ画像は、特定のパノラマ画像をレンダリングするのに使用された画像キャプチャと略同時に、かつ次のパノラマ画像をレンダリングするのに使用される次の画像キャプチャ動作の前に、実時間で生成される。

別の代替的実施形態では、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に生成される最終画像は、以前の時間間隔（ｔ）中に、例えば前回の時間間隔（ｔ）中に発生した画素のデジタル処理（ａ）から生じる。この場合、各連続パノラマ画像は、パノラマ画像をレンダリングするために使用された画像キャプチャに対してわずかな時間のずれで、実時間に生成される。

別の代替的実施形態では、各パノラマ画像の生成は、所与のキャプチャサイクル（Ｎ）中に開始し（電子処理手段１０によって送出される「フレーム有効」信号の立ち上がりエッジ）、次のキャプチャサイクル（Ｎ＋１）中に終了する（電子処理手段１０によって送出される「フレーム有効」信号の立下がりエッジ）。電子処理手段１０によって送出される「フレーム有効」信号の立ち上がりエッジと立下がりエッジとの間の時間間隔は、キャプチャ時間Ｔ以下であることが好ましいが、必ずしもそうでなくてもよい。

各画像キャプチャ動作に対し実行される画素の処理（ａ）は、タイムライン上で画像キャプチャサイクルに対してずれることがある。最終パノラマ画像のレンダリングに使用される、画像キャプチャ動作中の全ての取込み画像からの画素の処理時間は、キャプチャ時間Ｔ以下であることが好ましいが、必ずしもそうでなくてもよい。例えば、Ｎ回目のキャプチャサイクル中に取り込まれた画像を使用して最終パノラマ画像を形成することを考慮した画素の処理（ａ）は、次回の画像キャプチャサイクル中に、例えばＮ＋１回目の画像キャプチャサイクル中に、電子処理手段１０によって実行することができる。

電子処理手段１０は、例えば１つもしくは幾つかのＦＰＧＡ型のプログラム可能な回路および／または１つもしくは幾つかのＡＳＩＣ型の特定回路のような、いずれかの公知の電子回路手段を用いて本発明に従って無差別に実現することのできる、電子的にデジタルプログラムされたデータ処理ユニット、またはマイクロコントローラもしくはマイクロプロセッサを具現する電子アーキテクチャを持つプログラム可能な処理ユニットを含む。

図１に示した本発明の特定の変形例では、電子処理手段１０によって１組の画素として送出された連続パノラマ画像のストリームは、例えばＤＰＳ型回路を含みかつ例えばファイルフォーマットでパノラマ画像のストリームをメモリに保存しかつ／または実時間でスクリーンに表示することを可能にする、追加の電子処理手段１１によって処理される。

本発明の別の変形例では、追加の電子処理手段１１は、ストリームから１つまたは幾つかのパノラマ画像を抽出する手段として、電子処理手段１０によって送出された連続パノラマ画像のストリームを処理するように設計することができる。

通常、特定の代替的実施形態では、各撮像デバイスＣ_１、Ｃ_２、Ｃ_３は、キャプチャマトリックスに接続された「魚眼」レンズ型の光学手段を含み、取り込まれた各画像は、一般的に「ヨー」、「ピッチ」、および「ロール」と呼ばれる、画像キャプチャ中の前記撮像デバイスの空間的方位に特有の３組の空間的方位情報によって特徴付けられる。

図３に関連して、「魚眼」レンズは有効球中心検出面（図３の灰色表面および白色表面）を呈し、イメージセンサによって取り込まれる画像の有効画素は、撮像デバイスの検出面の一部分だけ（図３―８６４画素×９００画素）の二次元投影法から得られることが知られている。

したがって、通常、撮像デバイスＣ_１、Ｃ_２、またはＣ_３によって取り込まれた画像を表す各画素マトリックスは、撮像デバイスＣ_１、Ｃ_２、またはＣ_３によって「見られた」３Ｄ球面部分の二次元投影法から生じる。この二次元投影法は各撮像デバイスＣ_１、Ｃ_２、またはＣ_３に依存し、特に撮像デバイスＣ_１、Ｃ_２、またはＣ_３の光学手段、および画像キャプチャ動作中の撮像デバイスＣ_１、Ｃ_２、またはＣ_３の空間的方位（「ヨー」、「ピッチ」、および「ロール」）に依存する。

例証を目的として、図４に、撮像デバイスＣ_ｉ（例えば図１の撮像デバイスＣ_１、Ｃ_２、またはＣ_３）によって取り込まれた画像に対応する画素マトリックスを示す。この図で、黒い画素は、撮像デバイスＣ_ｉの「魚眼」レンズの有効中心円形部の外に位置する画素に対応する。撮像デバイスＣ_ｉを用いて取り込まれた前記画像の各画素は、撮像デバイスＣ_ｉの「魚眼」レンズによって「見られた」３Ｄ球面部分の上述した二次元投影法に対応しかつ撮像センサＣ_ｉに特有の「マッピング」と呼ばれる操作から生じる。

本発明以前は、各撮像デバイスＣ_ｉによって取り込まれた画像を使用してパノラマ画像をレンダリングするために、大抵の場合、前記画像は、最終連続パノラマ画像を得ることを考慮して、それらの重複領域のレベルで、画像のデジタル「スティッチング」を介して並置された。先行技術で実施されたこの種のデジタルスティッチングは、画素の二次元投影法を変化させず、それらは最終パノラマ画像に維持されることを理解することが重要である。

本発明では、上述した先行技術のデジタルスティッチングとは対照的に、最終パノラマ画像をレンダリングするために、各センサＣ_ｉによって取り込まれた各画像の有効画素は、好ましくは、前記画素を導出した撮像デバイスＣ_ｉの画像における二次元投影法とは異なる新しい二次元投影法を受けるときに、前記画素の少なくとも一部分を最終画像に再マッピングすることにより、最終パノラマ画像に再マッピングされる。こうして、単一の仮想パノラマ撮像デバイスが、撮像デバイスＣ_１、Ｃ_２、またはＣ_３を使用してもたらされる。画素のこの再マッピングは、取り込まれた各画像の画素の処理（ａ）を介して自動的に実行される。この処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマ画像の各位置の重み付け係数を用いて、最終パノラマ画像の１つまたは幾つかの位置を画素に割り当てることからなる。

図４には、最終パノラマ画像の一部分だけが示されており、前記部分は、単一の撮像デバイスＣ_ｉによって取り込まれた画像の画素の再マッピングから生じるパノラマ画像の部分に対応する。

前記図４に関連して、撮像デバイスＣ_ｉによって取り込まれた画像の１行目に位置する画素Ｐ_１，８は例えば、最終パノラマ画像の１行目の４つの異なる隣接位置に、４つの画素Ｐ_１，９、Ｐ_１，１０、Ｐ_１，１１、Ｐ_１，１２として最終パノラマ画像に再マッピングされ、それは、原画像から最終パノラマ画像へのこの画素の分離と解釈される。この画素Ｐ_１，８の最終パノラマ画像上のマッピングはしたがって、画像処理装置によって取り込まれた原画像上のこの画素の二次元投影法とは異なる、最終パノラマ画像上のこの画素の二次元投影法に対応する。最終パノラマ画像上の画素のこの分離は例えば、部分的にまたは全体的に、撮像デバイスの上縁部付近の「魚眼」レンズの光学歪みを補償するように、有利に具現することができる。画素の同じ分離は、下縁に位置する画素に対し有利に具現することができる。

比較を目的として、撮像デバイスの「魚眼」レンズは、レンズの中心に光学歪みを誘発せず、またはほとんど誘発しないので、撮像デバイスＣ_ｉによって取り込まれた画像の中心の画素Ｐ_８，８は最終パノラマ画像に同様に唯一の画素Ｐ_{１１，１１}として再マッピングされる。

センサＣ_ｉによって取り込まれた画像の左下の領域に位置する画素Ｐ_１０，３は、例えば最終パノラマ画像の隣接する２つの行の３つの隣接する異なる位置に、３つの画素Ｐ_１７，４、Ｐ_１８，４、Ｐ_１８，５として最終パノラマ画像に再マッピングされ、それは、原画像から最終パノラマ画像へのこの画素Ｐ_１０，３の２方向の拡大と解釈される。最終パノラマ画像上のこの画素_{Ｐ１０，３}のマッピングはしたがって、撮像デバイスによって取り込まれた原画のこの画素の二次元投影法とは異なる、最終パノラマ画像上のこの画素の二次元投影法に対応する。

原画像の各画素の撮像センサＣ_ｉから最終パノラマ画像へのこの再マッピング操作中に、画素は最終パノラマ画像上に維持または回復されないことが可能である。これは、例えば少なくとも２つの撮像デバイスによって取り込まれた画像の重複領域に位置する画素に発生する。撮像デバイスの重複領域では、センサの１つからの１つの画素だけが維持され、他のセンサに対応する他の画素は維持されない。本発明の別の変形例では、少なくとも２つの撮像デバイスの重複領域で、原画像の画素の平均または組合せを用いて最終画像の画素をレンダリングすることが可能である。

画素の再マッピング操作中に、画素が維持され、かつ最終パノラマ画像の１つまたは幾つかの異なる位置が割り当てられる場合、前記割当ては、最終パノラマ画像の各位置に対し、すなわち最終パノラマ画像の各画素に対し、０から１００％の範囲の重み付け係数を使用して実行することが好ましい。前記重み付け算入プロセス、およびその根底にある理由は、図５に照らしてみると、よりよく理解されるであろう。

図５に関連して、最終パノラマ画像の画素Ｐ_ｉ，ｊの各々の中心Ｃは、実際には撮像デバイスＣ_ｉによって取り込まれた画像の画素の中心に対応せず、むしろそれは幾何学的に、撮像デバイスＣ_ｉによって取り込まれた画像の特定の実位置に対応し、それは、図４に示されたこの特定の実施例では、撮像デバイスＣ_ｉによって取り込まれた画像の画素Ｐ_２の左側に、下隅の近傍に偏心している。したがって、この特定の実施例における画素Ｐ_ｉ，ｊは、画素Ｐ_２を使用するだけでなく、隣接する画素Ｐ_１、Ｐ_３、Ｐ_４をも使用して、例えば各画素Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４の中心に対する位置Ｐの重心を考慮しながら、各画素Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４の重み付けを計算に入れてレンダリングされる。この特定の実施例では、画素Ｐ_ｉ，ｊは例えば２５％の画素Ｐ_１、３５％の画素Ｐ_２、１５％の画素Ｐ_３、および５％の画素Ｐ_４から構成される。

本発明は、あらゆる種類の画像フォーマット、すなわちＲＡＷ、ＹＵＶ、およびＲＧＢ派生形式に適用される。カラーレンダリングがすでに実行された（各画像画素に対するＲ、Ｇ、Ｂ情報として知られる）ＲＧＢ画像の場合、上述した重み付け算入は隣接画素を用いて実現される。

しかし、各画素が１つの表色成分だけを提示するＲＡＷ画像の場合、上述した重み付け算入は、最終パノラマ画像の画素と同色の近接画素を用いて実現される。ＲＡＷフォーマットの場合のこの特定の重み付け算入の事例は、図６Ａないし図６Ｉに照らしてみると、よりよく理解されるであろう。

図６Ａないし図６Ｉは、ＲＡＷ型フォーマットで符号化された画素の場合の最終パノラマ画像の画素Ｐ_ｉ，ｊと撮像デバイスＣ_ｉによって取り込まれた画像の画素マトリックスとの間の対応の様々な事例を示す。前記の図では、文字Ｒ、Ｇ、Ｂはそれぞれ赤、緑、および青の画素を表す。Ｗ_ｉは、撮像デバイスによって取り込まれた原画像の画素Ｒ_ｉ、Ｇ_ｉ、またはＢ_ｉの最終画像における重み付け係数である。

図６Ａは、最終パノラマ画像の赤色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の青色画素（Ｂ）にある場合に対応する。この場合、最終パノラマ画像の前記赤色画素Ｐ_ｉ，ｊは、それぞれ重み付け係数Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４を適用することによって、前記青色画素Ｂに近接する赤色画素Ｒ_１、Ｒ_２、Ｒ_３、Ｒ_４を使用してレンダリングされる。これらの重み付け係数Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４の値は、例えば各画素Ｒ_１、Ｒ_２、Ｒ_３、Ｒ_４の中心に対する位置Ｐの重心に依存する。例えば位置Ｐが画素Ｐの中心に位置するならば、この場合、重み付け係数Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４は全て２５％になる。

図６Ｂは、最終パノラマ画像の青色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の赤色画素（Ｒ）にある場合に対応する。

図６Ｃは、最終パノラマ画像の緑色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の青色画素（Ｂ）にある場合に対応する。

図６Ｄは、最終パノラマ画像の緑色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の赤色画素（Ｒ）にある場合に対応する。

図６Ｅは、最終パノラマ画像の緑色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の緑色画素（Ｇ_５）にある場合に対応する。

図６Ｆは、最終パノラマ画像の赤色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の緑色画素（Ｇ）にある場合に対応する。

図６Ｇは、最終パノラマ画像の青色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の緑色画素（Ｇ）にある場合に対応する。

図６Ｈは、最終パノラマ画像の赤色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の赤色画素（Ｒ_５）にある場合に対応する。

図６Ｉは、最終パノラマ画像の青色画素Ｐ_ｉ，ｊの中心が撮像デバイスＣ_ｉによって取り込まれた画像の実位置Ｐに対応し、この実位置が撮像デバイスＣ_ｉによって取り込まれた画像の青色画素（Ｂ_５）にある場合に対応する。

最後に、画像の符号化フォーマットとは関係なく、撮像デバイスＣｉによって取り込まれた画像の各画素の最終パノラマ画像における再マッピングプロセスは、少なくとも前記画素を維持または破棄し、画素が維持される場合には、最終パノラマ画像の各位置（すなわち各画素）に対する予め定められた重み付け係数とともに、最終パノラマまたは立体画像の１つまたは幾つかの異なる位置を画素に割り当てることからなる。本書では、最終パノラマ画像における「位置」の概念は、最終パノラマ画像における「画素」の概念と融合している。

本発明によると、画素の高度な再マッピングが行われる場合、例えば、各撮像デバイスＣ_ｉの各レンズの最終画像におけるこれらの歪みを少なくとも部分的に補正することが可能である。

再び本発明によると、撮像デバイスＣ_１、Ｃ_２、Ｃ_３および電子処理手段１０は、例えば追加の電子処理手段１１によってパノラマ画像用の固有の仮想センサとみなされる。したがって、追加の電子処理手段１１は例えば、電子処理手段１０によって送出された最終パノラマ画像のための公知の画像処理アルゴリズム（特にホワイトバランス調整、露光時間および利得管理のためのアルゴリズム）を具現することができ、また、パノラマ画像のレンダリングに先んじて撮像デバイスＣ_１、Ｃ_２、Ｃ_３、によって送出される各画像のための画像処理のアルゴリズムの実現と比較して、適用できる場合には必ず、特に測色、ホワイトバランス、ならびに露光時間および利得に関して、より均質な最終画像を得ることを可能にする。

単なる例証を目的として、本発明の範囲を限定することなく、図７Ａないし図７Ｄに、「魚眼」レンズの光学歪みおよび空間におけるその向き（ヨー、ピッチ、およびロール）を取り入れることを考慮した、「魚眼」レンズの原画像のＬ行目からの画素再マッピングの特定の実施例を示す。再マッピングは、「魚眼」レンズの中心ならびに下縁および上縁と比較したＬ行目の位置（図７Ａ、図７Ｂ、図７Ｃ）に依存し、あるいは「魚眼」レンズの空間的方位に依存する（図７Ｄ）。

図８に、３つのイメージセンサＣ_１、Ｃ_２、Ｃ_３によってそれぞれ取り込まれた３つの画像１_１、１_２、１_３、および画像１_１、１_２、１_３の画素の再マッピングから得た最終パノラマ画像（ｌ）の特定の実施例を示す。

本発明の枠組内で、例えば最終パノラマ画像に対する特殊効果を自動的に組み込むことを目的として、画素再マッピングを使用して、撮像デバイスＣ_１、Ｃ_２、Ｃ_３の二次元投影法とは異なるいずれかの種類の二次元投影法の実現を介して、最終パノラマ画像をレンダリングすることが可能である。特に、次のような公知の投影法を実現することができる。
‐平面または直線投影法
‐円筒投影法
‐メルカトル投影法
‐球面または正距円筒投影法

再マッピング操作を可能にすることを考慮して、当業者は、個々の事例毎に、各撮像デバイスＣｉの各画素の再マッピングを予め定めておき、各撮像デバイスＣ_ｉの各画素について、この画素を維持するか否か、かつ維持する場合に最終パノラマ画像に対応する単数または複数の画素、ならびに最終パノラマ画像の各画素に対するこの原画素の重み付け係数を決定しなければならない。

この再マッピングは、最終パノラマ画像に維持される各撮像デバイスＣ_ｉの各画素Ｐ_Ｘ，Ｙに、最終パノラマ画像の１つまたは幾つかの画素（Ｐ_{Ｘｐａｎｏ，Ｙｐａｎｏ}）を、最終パノラマ画像の画素（Ｐ_{Ｘｐａｎｏ，Ｙｐａｎｏ}）に対する画素Ｐ_Ｘ，Ｙの重み付け係数Ｗと共に割り当てる、例えば下記の種類の対応表として実現することができる。下の表には、分かり易くするために、例証を目的として、図４に例示した特定の画素だけが含まれる。

図１に示す特定のアーキテクチャの事例では、各撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各画素の最終パノラマ画像における再マッピング操作は、メモリの１つに保存された対応表に基づいて、電子処理手段１０を使用して自動的に実行される。本発明の別の変形例では、各撮像デバイスＣ_１、Ｃ_２、Ｃ_３の各画素の最終パノラマ画像における再マッピングの計算は、メモリに保存された較正および動的計算アルゴリズムを使用して、電子処理手段１０により自動的に実行することもできる。

図１の実施例では、再マッピング操作の結果得られるパノラマ画像の各画素（Ｐ_{Ｘｐａｎｏ，Ｙｐａｎｏ}）は、電子処理手段１０によって送出される「Ｈ」クロック信号と同期しながら、電子処理手段１０の出力（「画素」）として送出される。代替的実施形態では、電子処理手段１０によって送出される「Ｈ」クロック信号は、イメージセンサＣ_１、Ｃ_２、Ｃ_３によって送出される「Ｈ＿ｓｅｎｓｏｒ」クロック信号と同期または非同期とすることができる。

図１のアーキテクチャの１つの利点は、追加の電子処理手段１１がイメージセンサＣ_１、Ｃ_２、Ｃ_３および電子処理手段１０を単一の仮想パノラマセンサと“みなす”ことが可能になることである。

図１の装置は、画素が電子処理手段１０によって取り込まれるときに、画素の実時間再マッピングを実行するために有利に使用することができる。

本発明は、３つの固定撮像デバイスＣ_１、Ｃ_２、Ｃ_３の実現に限定されず、むしろ、より一般的に少なくとも２つの固定撮像デバイスＣ_１、Ｃ_２で実現することができる

また、本発明の枠組内で、各画像キャプチャをモバイル撮像デバイスＣ_１、Ｃ_２、Ｃ_３の異なる方位および／または位置に対応させて、単一のモバイル撮像デバイスを使用することも予想される。

記載した実施形態の特定の変形例では、キャプチャ周波数Ｆは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３のキャプチャ周波数に等しい。別の変形例では、電子処理手段が例えばセンサの各々によって送出されるｍ個（ｍ≧２）の画像のうち１つの画像だけを処理し、キャプチャ周波数Ｆは、撮像デバイスＣ_１、Ｃ_２、Ｃ_３によって送出される画像の周波数より低い連続キャプチャ動作の周波数に対応する、撮像デバイスＣ_１、Ｃ_２、Ｃ_３のキャプチャ周波数未満とすることができる。

本発明はパノラマ画像のレンダリングに限定されない。本発明は、立体画像のレンダリングにも適応することができる。

Claims

シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも１つの撮像デバイス（Ｃｉ）を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われること、キャプチャ動作毎に、（ａ）各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間（Ｔ）以下の処理時間でデジタル処理され、かつ（ｂ）前に形成された最終パノラマまたは立体画像が前記キャプチャ時間（Ｔ）以下の時間間隔で生成されること、および取り込まれた各画像の各画素のデジタル処理（ａ）は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の１つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
前記最終パノラマまたは立体画像は前記キャプチャ周波数Ｆと同一周波数レートで生成される、請求項１に記載のプロセス。
前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項１または２のいずれかに記載のプロセス。
各最終パノラマまたは立体画像は、２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に連続的に生成される、請求項１ないし３のいずれか一項に記載のプロセス。
２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔中に行われる画素のデジタル処理の結果生じる、請求項４に記載のプロセス。
２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中に実行された画素のデジタル処理の結果生じる、請求項４に記載のプロセス。
各画素のデジタル処理は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項１ないし６のいずれか一項に記載のプロセス。
前記取り込まれた画像からの幾つかの画素には各々、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられる、請求項１ないし７のいずれか一項に記載のプロセス。
前記取り込まれた画像からの幾つかの画素には各々、前記最終パノラマまたは立体画像の少なくとも１つの位置が、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てられる、請求項１ないし８のいずれか一項に記載のプロセス。
前記シーンの少なくとも２つの異なる画像が、少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を使用して取り込まれる、請求項１ないし９のいずれか一項に記載のプロセス。
前記シーンの少なくとも３つの異なる画像が、少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を使用して取り込まれる、請求項１ないし９のいずれか一項に記載のプロセス。
各撮像デバイス（Ｃ_ｉ）は、各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして送出される、請求項１ないし１１のいずれか一項に記載のプロセス。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項１２に記載のプロセス。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項１２に記載のプロセス。
少なくとも１つの撮像デバイスを用いて取り込まれた画像の画素の前記デジタル処理は、取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像におけるこの特定の画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における画素の重み付け係数（Ｗ）と共に使用して実行される、請求項１ないし１４のいずれかに記載のプロセス。
パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、少なくとも２つの異なる画像を画素セットフォーマットで取り込むことを可能にする１つまたは幾つかの撮像デバイス（Ｃｉ）と、取り込まれた画像を用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段（１０）とを備える装置において、電子処理手段（１０）は、前記撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットで、かつ２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する連続画像キャプチャ動作の周波数レート（Ｆ）で、シーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にすること、電子処理手段（１０）は、キャプチャ動作毎に、（ａ）前記キャプチャ時間（Ｔ）以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ（ｂ）前記キャプチャ時間（Ｔ）以下の時間間隔にわたって、前に形成された最終パノラマまたは立体画像を生成するのに適していること、および電子処理手段（１０）を用いた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ最終パノラマまたは立体画像の各位置の重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の１つまたは幾つかの異なる位置を割り当てることからなることを特徴とする装置。
前記電子処理手段（１０）は、前記キャプチャ周波数レート（Ｆ）と同一周波数レートで連続的に最終パノラマまたは立体画像を生成するのに適する、請求項１６に記載の装置。
前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項１６または１７のいずれかに記載の装置。
前記電子処理手段は、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、請求項１６ないし１８のいずれか一項に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔中の画素のデジタル処理から生じる、請求項１９に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中の画素のデジタル処理から生じる、請求項１９に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項１６ないし２１のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項１６ないし２２のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終画像の少なくとも１つの位置を、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項１６ないし２３のいずれか一項に記載の装置。
少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を含む、請求項１６ないし２４のいずれか一項に記載の装置。
少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を含む、請求項１６ないし２４のいずれか一項に記載の装置。
各撮像デバイス（Ｃ_ｉ）は、取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段は、各最終パノラマまたは立体画像を、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして送出するのに適する、請求項１６ないし２５のいずれか一項に記載の装置。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項２７に記載の装置。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項２７に記載の装置。
前記電子処理手段（１０）は、少なくとも１つの撮像デバイス（Ｃｉ）によって取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数（Ｗ）と共に備える、請求項１６ないし２９のいずれかに記載の装置。
前記装置が携帯可能であることを特徴とする、請求項１６ないし３０のいずれか一項に記載の装置。
シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも１つの撮像デバイス（Ｃｉ）を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作が実行されること、および画像キャプチャ動作中に、パノラマまたは立体画像を形成するために、取り込まれた画像の画素がデジタル処理され、かつパノラマまたは立体画像のストリームが生成されること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
前記連続キャプチャ動作は、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）でタイミングをとられる、請求項３２に記載のプロセス。
キャプチャ動作毎に、（ａ）取り込まれた各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成するために、前記キャプチャ時間（Ｔ）以下の処理時間でデジタル処理され、かつ（ｂ）最終パノラマまたは立体画像が前記キャプチャ時間（Ｔ）以下の時間間隔で生成される、請求項３３に記載のプロセス。
前記連続キャプチャ動作は、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）でタイミングをとられ、前記最終パノラマまたは立体画像は、前記画像キャプチャ周波数レート（Ｆ）と同一周波数レートで連続的に生成される、請求項３２ないし３４のいずれか一項に記載のプロセス。
前記連続キャプチャ動作は、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）でタイミングをとられ、前記画像キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項３２ないし３５のいずれか一項に記載のプロセス。
各最終パノラマまたは立体画像は、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に連続的に生成される、請求項３２ないし３６のいずれか一項に記載のプロセス。
２つの連続キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔（ｔ）中に実行された画素のデジタル処理の結果生じる、請求項３７に記載のプロセス。
２つの連続キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中に実行された画素のデジタル処理の結果生じる、請求項３７に記載のプロセス。
各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項３２ないし３９のいずれか一項に記載のプロセス。
前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられることによって処理される、請求項３２ないし４０のいずれか一項に記載のプロセス。
前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の位置が、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てられることによって処理される、請求項３２ないし４１のいずれか一項に記載のプロセス。
前記シーンの少なくとも２つの異なる画像が、少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を使用して取り込まれる、請求項３２ないし４２のいずれか一項に記載のプロセス。
少なくとも３つの異なる画像が、少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を使用して取り込まれる、請求項３２ないし４２のいずれか一項に記載のプロセス。
パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置において、前記装置は、少なくとも２つの異なる画像を画素セットフォーマットで取り込むことを可能にする１つまたは幾つかの撮像デバイス（Ｃｉ）と、画像の重なりの有無にかかわらず、前記撮像デバイス（Ｃｉ）を用いて、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする電子処理手段（１０）であって、画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素をデジタル処理すると共にパノラマまたは立体画像のストリームを生成するのに適した電子処理手段（１０）とを備えていること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの位置を割り当てることからなることを特徴とする装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、連続キャプチャ動作の周波数レート（Ｆ）で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する、請求項４５に記載の装置。
キャプチャ動作毎に、電子処理手段（１０）は、（ａ）キャプチャ時間（Ｔ）以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ（ｂ）前記キャプチャ時間（Ｔ）以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、請求項４５に記載の装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート（Ｆ）で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義し、電子処理手段（１０）は、前記最終パノラマまたは立体画像を前記キャプチャ周波数Ｆと同一周波数レートで生成するのに適する、請求項４５ないし４７のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート（Ｆ）で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義し、前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項４５ないし４８のいずれか一項に記載の装置。
前記電子処理手段（１０）は、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、請求項４５ないし４９のいずれか一項に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔中に行われる画素のデジタル処理から生じる、請求項５０に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中に行われる画素のデジタル処理から生じる、請求項５０に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項４５ないし５２のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項４５ないし５３のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の少なくとも１つの位置を、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項４５ないし５４のいずれか一項に記載の装置。
少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を含む、請求項４５ないし５５のいずれか一項に記載の装置。
少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を含む、請求項４５ないし５５のいずれか一項に記載の装置。
各撮像デバイス（Ｃ_ｉ）は、取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段（１０）は、各最終パノラマまたは立体画像を、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして送出するのに適する、請求項４５ないし５６のいずれか一項に記載の装置。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項５８に記載の装置。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項５８に記載の装置。
前記電子処理手段（１０）は、少なくとも１つの撮像デバイス（Ｃｉ）を用いて取り込まれた画像の各画素に対し、前記パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数（Ｗ）と共に備える、請求項４５ないし６０のいずれかに記載の装置。
前記装置が携帯可能であることを特徴とする、請求項４５ないし６１のいずれか一項に記載の装置。
シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、少なくとも１つの撮像デバイス（Ｃｉ）を用いて、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続画像キャプチャ動作が実行され、各撮像デバイス（Ｃｉ）が、画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出し、取り込まれた各画像の各画素は、前記画素を少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして使用して最終パノラマまたは立体画像を生成することを考慮して、デジタル処理されることを特徴とするプロセス。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項６３に記載のプロセス。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項６３に記載のプロセス。
前記連続画像キャプチャ動作は、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われる、請求項６３ないし６５のいずれか一項に記載のプロセス。
キャプチャ動作毎に、（ａ）取り込まれた各画像の画素は、前記画素を用いて最終パノラマまたは立体画像をレンダリングすることを考慮して、前記キャプチャ時間（Ｔ）以下の処理時間で処理され、かつ（ｂ）レンダリングされた最終パノラマまたは立体画像が前記キャプチャ時間（Ｔ）以下の時間間隔で生成される、請求項６６に記載のプロセス。
取り込まれた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の１つまたは幾つかの位置を割り当てることからなる、請求項６３ないし６７のいずれか一項に記載のプロセス。
前記連続画像キャプチャ動作は、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われ、前記最終パノラマまたは立体画像は、前記キャプチャ周波数Ｆと同一周波数レートで生成される、請求項６３ないし６８のいずれか一項に記載のプロセス。
前記連続画像キャプチャ動作は、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われ、前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項６３ないし６９のいずれか一項に記載のプロセス。
各最終パノラマまたは立体画像は、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に連続的に生成される、請求項６３ないし７０のいずれか一項に記載のプロセス。
２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔中に実行される画素のデジタル処理の結果生じる、請求項７１に記載のプロセス。
２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中に実行された画素のデジタル処理の結果生じる、請求項７１に記載のプロセス。
各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項６３ないし７３のいずれか一項に記載のプロセス。
前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって処理される、請求項６３ないし７４のいずれか一項に記載のプロセス。
前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の少なくとも１つの位置を、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てることによって処理される、請求項６３ないし７５のいずれか一項に記載のプロセス。
シーンの少なくとも２つの異なる画像が、少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を使用して取り込まれる、請求項６３ないし７６のいずれか一項に記載のプロセス。
前記シーンの少なくとも３つの異なる画像が、少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を使用して取り込まれる、請求項６３ないし７６のいずれか一項に記載のプロセス。
各撮像デバイス（Ｃ_ｉ）は、取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして送出される、請求項６３ないし７８のいずれか一項に記載のプロセス。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項７９に記載のプロセス。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項７９に記載のプロセス。
パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも２つの異なる画像の幾つかの連続画像キャプチャ動作を実行することを可能にする１つまたは幾つかの撮像デバイス（Ｃ_ｉ）と、取り込まれた画像を用いてパノラマまたは立体画像のストリームのレンダリングを可能にする電子処理手段（１０）とを備え、各撮像デバイスは、取り込まれた画像の各々の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するのに適しており、電子処理手段（１０）は、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして前記画素を使用して、最終パノラマまたは立体画像を生成することを考慮して、取り込まれた画像の各画素をデジタル処理するように設計されることを特徴とする装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート（Ｆ）で前記画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する、請求項８２に記載の装置。
前記電子処理手段（１０）は、キャプチャ動作毎に、（ａ）前記キャプチャ時間（Ｔ）以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ（ｂ）前記キャプチャ時間（Ｔ）以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、請求項８３に記載の装置。
前記電子処理手段（１０）によって実行される各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像内の幾つかの異なる位置を割り当てることからなる、請求項８２ないし８４のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、画像キャプチャ動作の周波数レート（Ｆ）で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義し、電子処理手段（１０）は、前記最終パノラマまたは立体画像を前記キャプチャ周波数Ｆと同一周波数レートで連続的に生成するのに適する、請求項８２ないし８５のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、画像キャプチャ動作の周波数レート（Ｆ）で前記画像キャプチャ動作を連続的に実行することを可能にし、但し前記周波数レートは、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義し、前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項８２ないし８６のいずれか一項に記載の装置。
前記電子処理手段（１０）は、２つの連続キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、請求項８２ないし８７のいずれか一項に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔中の画素のデジタル処理の結果生じる、請求項８８に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中の画素のデジタル処理の結果生じる、請求項８８に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項８２ないし９０のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項８２ないし９１のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終画像の少なくとも１つの位置を、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項８２ないし９２のいずれか一項に記載の装置。
少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を含む、請求項８２ないし９３のいずれか一項に記載の装置。
少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を含む、請求項８２ないし９３のいずれか一項に記載の装置。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項８２ないし９５のいずれか一項に記載の装置。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項８２ないし９５のいずれか一項に記載の装置。
電子処理手段（１０）は、少なくとも１つの撮像デバイス（Ｃｉ）を用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数（Ｗ）と共に備える、請求項８２ないし９７のいずれかに記載の装置。
前記装置が携帯可能であることを特徴とする、請求項８２ないし９８のいずれか一項に記載の装置。
シーンの少なくとも１つのパノラマまたは立体画像を取り込みかつレンダリングするためのプロセスであって、画像の重なりの有無に関わらず、少なくとも１つの撮像デバイス（Ｃｉ）を用いてシーンの少なくとも２つの異なる画像が取り込まれ、各撮像デバイス（Ｃｉ）は、１つの画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として画素のストリームを送出し、取り込まれた各画像の画素のストリームは、前記画素を用いて少なくとも１つの最終パノラマまたは立体画像を形成することを考慮してデジタル処理され、取り込まれた各画像に対応する画素のストリームの各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
シーンの幾つかのパノラマまたは立体画像のストリームを取り込みかつレンダリングすることを可能にする請求項１００に記載のプロセスであって、少なくとも１つの撮像デバイス（Ｃｉ）を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも２つの異なる画像の幾つかの連続画像キャプチャ動作が実行されること、および連続画像キャプチャ動作が、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で行われる、プロセス。
キャプチャ動作毎に、（ａ）前記キャプチャ時間（Ｔ）以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素のデジタル処理が実行され、かつ（ｂ）前記キャプチャ時間（Ｔ）以下の時間間隔で、前に形成された最終パノラマまたは立体画像が生成される、請求項１０１に記載の装置。
前記連続キャプチャ動作は、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で実行され、前記最終パノラマまたは立体画像は前記キャプチャ周波数レート（Ｆ）と同一周波数レートで連続的に生成される、請求項１００ないし１０２のいずれか一項に記載のプロセス。
前記連続キャプチャ動作は、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する周波数レート（Ｆ）で実行され、前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項１００ないし１０３のいずれか一項に記載のプロセス。
各最終パノラマまたは立体画像は、２つの連続キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に連続的に生成される、請求項１００ないし１０４のいずれか一項に記載のプロセス。
２つの連続キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔（ｔ）中に行われる画素のデジタル処理から生じる、請求項１０５に記載のプロセス。
２つの連続キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中に行われる画素のデジタル処理から生じる、請求項１０５に記載のプロセス。
各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項１００ないし１０７のいずれか一項に記載のプロセス。
前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられることによって処理される、請求項１００ないし１０８のいずれか一項に記載のプロセス。
前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の少なくとも１つの位置が、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てられることによって処理される、請求項１００ないし１０９のいずれか一項に記載のプロセス。
シーンの少なくとも２つの異なる画像が、少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を使用して取り込まれる、請求項１００ないし１１０のいずれか一項に記載のプロセス。
シーンの少なくとも３つの異なる画像が、少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を使用して取り込まれる、請求項１００ないし１１０のいずれか一項に記載のプロセス。
前記撮像デバイス（Ｃ_ｉ）は、取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして送出される、請求項１００ないし１１２のいずれか一項に記載のプロセス。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項１１３に記載のプロセス。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項１１３に記載のプロセス。
少なくとも１つの撮像デバイスを用いて取り込まれた画像の画素のデジタル処理は、少なくとも１つの撮像デバイスを用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における画素の重み付け係数（Ｗ）と共に参照して実行される、請求項１００ないし１１５のいずれかに記載のプロセス。
少なくとも１つのパノラマまたは立体画像を取り込みかつレンダリングするための装置であって、前記装置は、画像の重なりの有無に関わらず、少なくとも２つの異なる画像の取込みを可能にする１つまたは幾つかの撮像デバイス（Ｃｉ）（各イメージセンサ（Ｃｉ）は取り込まれた各画像に対して画素のストリームを送出するのに適する）と、画像キャプチャ動作中に、取り込まれた各画像の画素ストリームを用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段（１０）とを備え、前記電子処理手段（１０）は、取り込まれた各画像の画素ストリームの各画素を維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数（Ｗ）を用いて、画素に最終パノラマまたは立体画像の１つまたは幾つかの異なる位置を割り当てることで、前記画素を処理するように設計されることを特徴とする装置。
幾つかのパノラマまたは立体画像のストリームを取り込みかつレンダリングすることを可能にする請求項１１５に記載の装置であって、電子処理手段（１０）は、１つまたは幾つかの前記撮像デバイス（Ｃｉ）を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも２つの異なる画像の幾つかの連続画像キャプチャ動作を、２つの連続キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する連続画像キャプチャ動作の周波数レート（Ｆ）で実行することを可能にする、装置。
前記電子処理手段（１０）は、キャプチャ動作毎に、（ａ）前記キャプチャ時間（Ｔ）以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ（ｂ）前記キャプチャ時間（Ｔ）以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、請求項１１８に記載の装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、前記連続画像キャプチャ動作を、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する連続画像キャプチャ動作の周波数レート（Ｆ）で実行することを可能にし、前記電子処理手段（１０）は、前記キャプチャ周波数レート（Ｆ）と同一周波数レートで連続的に最終パノラマまたは立体画像を生成するのに適する、請求項１１７ないし１１９のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記撮像デバイスを用いて、前記連続画像キャプチャ動作を、２つの連続画像キャプチャ動作の開始間のキャプチャ時間（Ｔ）を定義する連続画像キャプチャ動作の周波数レート（Ｆ）で実行することを可能にし、前記キャプチャ時間（Ｔ）は１秒以下であり、好ましくは１００ミリ秒以下である、請求項１１７または１２０のいずれか一項に記載の装置。
前記電子処理手段（１０）は、２つの連続画像キャプチャ動作の開始を隔てる各時間間隔（ｔ）中に、各最終パノラマまたは立体画像を連続的に生成するように設計された請求項１１７ないし１２１のいずれか一項に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる前記時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、前記時間間隔（ｔ）と同一時間間隔に行われる画素のデジタル処理から生じる、請求項１２２に記載の装置。
２つの連続画像キャプチャ動作の開始を隔てる時間間隔（ｔ）中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔（ｔ）中に行われる画素のデジタル処理から生じる、請求項１２２に記載の装置。
前記電子処理手段（１０）は、前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項１１７ないし１２４のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項１１７ないし１２５のいずれか一項に記載の装置。
前記電子処理手段（１０）は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終画像の少なくとも１つの位置を、零ではなくかつ厳密には１００％未満の重み付け係数（Ｗ）と共に割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項１１７ないし１２６のいずれか一項に記載の装置。
少なくとも２つの撮像デバイス（Ｃ_１、Ｃ_２）を含む、請求項１１７ないし１２７のいずれか一項に記載の装置。
少なくとも３つの撮像デバイス（Ｃ_１、Ｃ_２、Ｃ_３）を含む、請求項１１７ないし１２７のいずれか一項に記載の装置。
各撮像デバイス（Ｃ_ｉ）は、取り込まれた各画像の出力として、少なくとも第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段は、各パノラマまたは立体画像を、少なくとも第２クロック信号（Ｈ）に従って同期した画素のストリームとして送出するのに適する、請求項１１７ないし１２９のいずれか一項に記載の装置。
前記第２クロック信号（Ｈ）は、前記第１（Ｈ＿ｓｅｎｓｏｒ）クロック信号の各々と比較して非同期である、請求項１３０に記載の装置。
前記第２クロック信号（Ｈ）は前記第１クロック信号（Ｈ＿ｓｅｎｓｏｒ）と同期する、請求項１３０に記載の装置。
前記電子処理手段（１０）は、少なくとも１つの撮像デバイス（Ｃｉ）を用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数（Ｗ）と共に備える、請求項１１７ないし１３２のいずれかに記載の装置。
前記装置が携帯可能であることを特徴とする、請求項１１７ないし１３３のいずれか一項に記載の装置。