JP2016503618A - パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 - Google Patents

パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 Download PDF

Info

Publication number
JP2016503618A
JP2016503618A JP2015542330A JP2015542330A JP2016503618A JP 2016503618 A JP2016503618 A JP 2016503618A JP 2015542330 A JP2015542330 A JP 2015542330A JP 2015542330 A JP2015542330 A JP 2015542330A JP 2016503618 A JP2016503618 A JP 2016503618A
Authority
JP
Japan
Prior art keywords
image
pixels
capture
pixel
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015542330A
Other languages
English (en)
Other versions
JP2016503618A5 (ja
Inventor
リチャード オリエ,
リチャード オリエ,
Original Assignee
ジロプティック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジロプティック filed Critical ジロプティック
Publication of JP2016503618A publication Critical patent/JP2016503618A/ja
Publication of JP2016503618A5 publication Critical patent/JP2016503618A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするために、撮像デバイス(Ci)を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われる。キャプチャ動作毎に、(a)各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間(T)以下の処理時間でデジタル処理され、かつ(b)前に形成された最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成される。取り込まれた各画像の各画素のデジタル処理(a)は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの位置を割り当てることからなる。【選択図】図2

Description

本発明は、立体またはパノラマ画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置に関する。パノラマまたは立体画像のこのストリームは、フィルムとして、またはパノラマまたは立体画像のストリームから1つまたは幾つかの静止画像を抽出することを考慮して処理するために、保存、転送、または配信することができる。
「ワンショット」パノラマ画像キャプチャの領域では、例えばCCDまたはCMOSカメラ型の幾つかの撮像デバイスが公知であり、各撮像デバイスは、シーンの画像をイメージセンサに投影させることを可能にする光学手段(レンズ)と結合された、例えばCCDまたはCMOS型のイメージセンサを含む。撮像デバイスの光軸は様々な方向に向けられ、画像キャプチャの光学視野は、画像の完全なパノラマ視野を網羅することを考慮して重複することがある。国際特許出願公開第2012/032236号パンフレットは、「光学群」と呼ばれ視界360°のパノラマ画像の「ワンショット」キャプチャを可能にする3つの撮像デバイスを含む、特に小型の光学装置を開示している。
本書では、用語「パノラマ画像」とは、視界360°の単一画像のキャプチャに限定することなく、より一般的に、パノラマ画像キャプチャに使用される撮像デバイスの各々によってカバーされる光学視野より大きい拡張視野に従ってレンダリングされる画像に適用可能な、最も広い意味に理解すべきである。
パノラマ画像を取り込むこのプロセスを用いて、撮像デバイスの各々は、限定された光学視野におけるシーンの画像を画素マトリックスの形で取得し、次いで画像は、最終パノラマ画像を生成することを考慮して、画像の重複領域のレベルで画像のデジタル「スティッチング」を可能にする外部のデジタル処理手段に転送される。
撮像デバイスによって取り込まれた画像を表す各画素マトリックスは、撮像デバイスによって「見られる」球領域の3D表面の二次元投影法から生じる。この二次元投影法は各撮像デバイスに依存し、特に撮像レンズの光学的特徴および画像キャプチャ中の撮像デバイスの空間的方位(「ヨー」、ピッチ」、および「ロール」)に依存する。
先行技術では、パノラマ画像を形成するための画像のデジタルスティッチングは例えば、イメージセンサによって送達された画像を並置するときに、かつ最終パノラマ画像を得ることを考慮して、画像の重複領域のレベルで画像のデジタルスティッチングを実行することによって行われた。この場合、デジタルスティッチングの実現は画素の二次元投影法を変化させず、最終パノラマ画像の画素は、画像の送り元であるイメージセンサの二次元投影法を維持する。
このデジタルスティッチングは、例えば国際特許出願公開第2011/037964号パンフレットまたは米国特許出願公開第2009/0058988号明細書に開示されているように、自動的に実行することができ、あるいは国際特許出願公開第2010/01476号パンフレットに開示されているように、手動支援を用いて半自動的に実行することができる。
パノラマ画像をレンダリングするためのデジタル画像スティッチング解決策はまた、2005年1月26日付けのRichard Szeliskiによる「Image Alignment and Stitching:A Tutorial」と題する論文でも提案された。この論文では、デジタルスティッチングは、保存された画像に、動的にではなく、静的に実行されたので、この論文に開示されたデジタルスティッチング解決策では、パノラマ画像の動的ストリームをレンダリングすることができず、ましてや、パノラマ画像の動的ストリームを画像が取り込まれているときに実時間でレンダリングすることなどできない。
立体画像キャプチャの領域では、シーンの2つの平面画像を取り込み、それに続いて、奥行きおよび輪郭の知覚を可能にする立体3D画像を作成することを考慮して、2つの平面画像をデジタル処理することから成るプロセスが、それ以外に公知である。
パノラマまたは立体画像を取り込みかつレンダリングするための上述したプロセスは、特に測色、ホワイトバランス、露光時間、および自動利得に関して最終デジタル画像(パノラマか立体かに関係なく)内の均質性の問題を生じる、別個のまたは独立した光学手段を有するセンサによって取得された画像を用いて、パノラマまたは立体画像をレンダリングすることの不利益を呈する。
さらに、上述した画像のデジタルスティッチングプロセスは、パノラマ画像を実時間に取り込みかつフィルムとしてレンダリングするのに不利な計算時間を必要とする。
米国特許出願第2009/0058988号明細書には、処理時間を改善し、かつパノラマ画像の取込みと共に実時間のデジタルスティッチングを可能にすることを考慮して、低解像度画像のマッピングに基づくデジタルスティッチング解決策が例えば提案されている。
一般的に、本発明の目的は、1つまたは幾つかの撮像デバイスを用いてパノラマまたは立体画像のストリームを取り込みかつレンダリングするための新しい技術的解決策を提案することである。
さらに詳しくは、本発明の第1のより具体的な態様によると、新しい解決策は、デジタル処理の速度を高めることを可能にし、したがってパノラマまたは立体画像のストリームを実時間で取り込みかつレンダリングすることを容易にする。
さらに詳しくは、本発明の別のより具体的な態様によると、新しい解決策は、別個のまたは独立した光学手段を持つセンサの実現から生じる上述した不都合を軽減することを可能にし、特に、品質を向上したパノラマまたは立体画像をより容易に得ることを可能にする。
本発明の枠組内で、パノラマまたは立体画像のストリームは、例えばフィルムとして保存、転送、または配信することができ、あるいはその後、ストリームから1つまたは幾つかのパノラマまたは立体画像を静的に抽出することを考慮して処理することができる。
本発明の第1態様によると、本発明の主たる目的は、シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであり、その間に、少なくとも1つの撮像デバイス(Ci)を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われ、キャプチャ動作毎に、(a)各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間(T)以下の処理時間でデジタル処理され、かつ(b)前に形成された最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成され、取り込まれた各画像の各画素のデジタル処理(a)は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの位置を割り当てることからなる。
本発明の他の目的として、パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であることがあげられる。この装置は、少なくとも2つの異なる画像を1組の画素として取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、取り込まれた画像を用いてパノラマまたは立体画像のレンダリングを可能にする処理のための電子手段とを備え、電子処理手段は、1つまたは幾つかの撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットで、かつ2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続キャプチャ動作の周波数レート(F)で、シーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にし、電子処理手段は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔にわたって、前に形成された最終パノラマまたは立体画像を生成するのに適しており、電子処理手段を用いた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの異なる位置を割り当てることからなる。
本発明の第2態様によると、本発明の目的はまた、シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行されること、および画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素がデジタル処理され、かつパノラマまたは立体画像のストリームが生成されること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセスでもある。
本発明の前記第2態様によると、本発明の目的はまた、パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、少なくとも2つの異なる画像を画素セットフォーマットで取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、画像の重なりの有無にかかわらず、1つまたは幾つかの画像キャプチャ手段が画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする電子処理手段であって、画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素をデジタル処理すると共にパノラマまたは立体画像のストリームを生成するのに適した電子処理手段とを備えていること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とする装置でもある。
本発明の第3態様によると、本発明の目的はまた、シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、その間に、少なくとも1つの撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行され、各撮像デバイスが、画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出して成る、プロセスでもある。取り込まれた各画像の各画素は、前記画素を少なくとも第2クロック信号(H)に従って同期した画素のストリームとして使用して最終パノラマまたは立体画像を生成することを考慮して、デジタル処理される。
本発明の前記第3態様によると、本発明の目的はまた、パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置でもあり、前記装置は、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする1つまたは幾つかの撮像デバイスと、取り込まれた画像を用いてパノラマまたは立体画像のストリームのレンダリングを可能にする電子処理手段とを備える。各撮像デバイスは、取り込まれた画像の各々の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するのに適している。電子処理手段は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして前記画素を使用して、最終パノラマまたは立体画像を生成することを考慮して、取り込まれた画像の各画素をデジタル処理するように設計される。
本発明の第4態様によると、本発明の目的はまた、シーンの少なくとも1つのパノラマまたは立体画像を取り込みかつレンダリングすることでもあり、その間に、画像の重なりの有無に関わらず、少なくとも1つの撮像デバイス(Ci)を用いてシーンの少なくとも2つの異なる画像が取り込まれ、各撮像デバイスは画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として画素のストリームを送出し、取り込まれた各画像の画素のストリームは、前記画素を用いて少なくとも最終パノラマまたは立体画像をレンダリングすることを考慮してデジタル処理され、取り込まれた各画像に対応する画素のストリームの各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなる。
本発明の前記第4態様によると、本発明の目的はまた、少なくとも1つのパノラマまたは立体画像を取り込みかつレンダリングするための装置でもあり、前記装置は、画像の重なりの有無に関わらず、少なくとも2つの異なる画像の取込みを可能にする1つまたは幾つかの撮像デバイス(Ci)(各イメージセンサ(Ci)は取り込まれた各画像に対して画素のストリームを送出するのに適する)と、画像キャプチャ動作中に、取り込まれた各画像の画素ストリームを用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段とを備える。デジタル電子手段は、取り込まれた画像の画素ストリームの各画素を維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの異なる位置を割り当てることで、前記画素を処理するように設計される。
本発明の特徴および利点は、本発明の非限定的または非包括的実施例として、かつ添付の図面に関連して提供する、本発明の好適な実施形態の1つについての以下の詳細な説明に照らして、より明確になるであろう。
図1は、本発明に係る装置の電子アーキテクチャの実施例の概要である。
図2は、図1の装置の主電子信号のクロノグラフ例である。
図3は、「魚眼」レンズの画像取込み領域の光学/画素視野間の対応の例を示す。
図4は、最終パノラマ画像の一部分でイメージセンサを用いて取り込まれた画素マトリックスの再マッピングの実施例である。
図5は、最終パノラマ画像の画素Pi,jと、イメージセンサを用いて取り込まれた画素マトリックスとの間の幾何学的対応の例を示す。
図6A−6Dは、RAW形式の画像の特定の事例の様々な再マッピング図を表す。 図6E−6Gは、RAW形式の画像の特定の事例の様々な再マッピング図を表す。 図6H−6Iは、RAW形式の画像の特定の事例の様々な再マッピング図を表す。
図7A−7Dは、パノラマ画像へのセンサラインの再マッピングの様々な実施例を示す。
図8は、最終パノラマ画像を形成することを考慮した、3つの画像の再マッピング結果の特定の実施例を示す。
図1は、パノラマ画像の取込みおよびレンダリングを可能にする、本発明の装置1の特定の実施例を表す。
この特定の実施例では、装置1は、各々が画素マトリックスフォーマットでの画像の取込みを可能にする、例えばCCD型またはCMOS型の3つの撮像デバイスC、C、Cと、イメージセンサC、C、Cによって送達された画素を用いてパノラマ画像をレンダリングすることを可能にする電子処理手段10とを備える。通常、撮像デバイスC、C、Cの各々は、イメージセンサと整列した1つまたは幾つかのレンズを含みかつ光線をイメージセンサに集束させる光学手段(レンズ)に結合された、例えばCCDまたはCMOS型のイメージセンサを含む。
撮像デバイスC、C、Cの光軸は異なる方向に向けられ、それらの光学視野は、好ましくは光学視野を重ねあわせて、最終パノラマ画像場全体をカバーする。
本書では、用語「パノラマ画像」は、360°の視界に従ってレンダリングされるパノラマ画像に限定されず、より一般的に、パノラマ画像キャプチャに使用される撮像デバイスの各々によってカバーされる光学視野より大きい拡張視野に従ってレンダリングされる画像として、最も広い意味に理解すべきである。
単なる例証を目的として、前記撮像デバイスC、C、Cは例えば、国際特許出願公開第2012/03223号パンフレットに開示され、パノラマ画像の「ワンショット」キャプチャを可能にする、小型の光学デバイスの3つの光学群から構成することができる。
本発明の装置1は、様々な場所に容易に運んで使用する目的で、携帯機器から構成されることが好ましいが、必ずしもそうでなくてもよい。
図2に関連して、デジタル処理手段10は、例えば水晶を用いて発生しかつ撮像デバイスC、C、Cの各々のイメージセンサの作動のタイミングを計るために使用される基本クロックH10を送出する。
出力として、撮像デバイスC、C、Cの各々のイメージセンサは、取り込まれた各画像に対し、「画素」データバスで、基本クロックH10ならびに2つの信号「ライン有効」および「フレーム有効」を使用して撮像センサの各々によって発生する第1クロック信号(H_sensor)に従って同期した画素のストリームを送出する。撮像デバイスC、C、Cの各々によって発生するクロック信号(H_sensor)はさらに詳しくは同一周波数である。
電子処理手段10は、撮像デバイスC、C、Cのイメージセンサによって送出された画素を用いて、かつ撮像デバイスC、C、Cが「画素」データバスに出力として、最終パノラマ画像を表す画素のストリームを送出するのに匹敵する方法で、パノラマ画像をレンダリングすることを可能にする。
電子処理手段10の「画素」データバスのサイズは、撮像デバイスC、C、Cの「画素」データバスのサイズと同一または異なってよく、好ましくはより大きい。例えば、しかし本発明の範囲を限定することなく、撮像デバイスC、C、Cの「画素」データバスは8ビットであり、電子処理手段10の「画素」データバスは16ビットである。
電子処理手段10によって生成される画素のストリームは、基本クロック信号ならびに電子処理手段10によって生成される2つの「ライン有効」および「フレーム有効」信号を用いて電子処理手段10によって生成される、第2クロック信号(H)に従って同期される。
図2は、上述した本発明の信号同期の特定の非限定的な実施例を示す。この図には、「画素」データバス上を移動するデータは示されていない。
図2に関連して、連続キャプチャ動作は周期的であり、2つの連続キャプチャ動作の開始間の時間間隔(t)の長さに等しいキャプチャ時間T(T=1/F)を定義する周波数Fでタイミングが計られる。
さらに詳しくは、前記図2では、撮像デバイスC、C、Cの各々の「フレーム有効」信号の立ち上がりエッジは、撮像デバイスC、C、Cによって取り込まれた画像の画素の、撮像デバイスC、C、Cの各々の「画素」データバスにおける伝送の開始を同期させる。撮像デバイスC、C、Cの各々の「フレーム有効」信号の立下がりエッジは、前記撮像デバイスC、C、Cによって取り込まれた画像の「画素」データバスでの画素伝送の終了を示す。撮像デバイスC、C、Cによって送出される「フレーム有効」信号の前記立ち上がりエッジ(およびそれぞれの立下がりエッジ)は、タイムライン上でわずかにずれる。
撮像デバイスC、C、Cの「ライン有効」信号は「フレーム有効」信号の各立ち上がりエッジと同期し、一連の画素の伝送の開始を示す。「ライン有効」信号の各立下がりエッジの各々は、一連の画素の伝送の終了を示す。3つの撮像デバイスC、C、Cの各「画素」データバスにおける各伝送画像の画素は、電子処理手段10を使用して、撮像デバイスC、C、Cの各々によって送出される各クロック信号「H_sensor」をそれぞれ使用して、並行してサンプリングされる。
図2に関連して、電子処理手段10によって送出される「フレーム有効」信号の立ち上がりエッジは、撮像デバイスC、C、Cによって送出された画素を使用してレンダリングされた最終パノラマ画像の、電子処理手段の「画素」データバスにおける伝送の開始を同期させる。前記立ち上がりエッジは、撮像デバイスC、C、Cによって送出される「フレーム有効」信号の立ち上がりエッジを使用して、電子処理手段10によって自動的に生成され、さらに詳しくは、最後に発生した立ち上がりエッジが検出されると、すなわち特に図2の実施例において撮像デバイスCによって送出された「フレーム有効」信号の立ち上がりエッジが検出されると、生成される。
電子処理手段10によって送出された「フレーム有効」信号の立下がりエッジは、撮像デバイスC、C、Cによって送出された画素を使用してレンダリングされた最終パノラマ画像の、電子処理手段10の「画素」データバスにおける伝送の終了を同期させる。
電子処理手段10によって送出された「ライン有効」信号は、電子処理手段10によって送出された「フレーム有効」信号の各立ち上がりエッジと同期しパノラマ画像の一連の画素の伝送の開始を示す。電子処理手段10によって送出される「ライン有効」信号の各立下がりエッジは、パノラマ画像の一連の画素の伝送の終了を示す。
電子処理手段10の「画素」データバスにおける各パノラマ画像の画素の書込みは、電子処理手段10によって生成されかつ前記データバスの画素を読み出すために別の外部電子装置(例えば装置11)によって使用される、クロック信号「H」に従って同期される。
本発明の代替的実施形態によると、電子処理手段10によって送出されるクロック信号「H」は、撮像デバイスC、C、Cによって送出される「H_sensor」クロック信号と同期または非同期とすることができる。「H」クロック信号の周波数は、撮像デバイスC、C、Cによって送出される「H_sensor」クロック信号と等しくても異なってもよい。好ましくは、「H」クロック信号の周波数は、図2に示すように、撮像デバイスC、C、Cによって送出される「H_sensor」クロック信号の周波数より大きい。
図2の特定の事例では、キャプチャ動作毎に、撮像デバイスC、C、Cを使用して3つの画像キャプチャが並行して実行され、この特定の事例では、時間間隔(t)は、撮像デバイスCの、すなわちその「画素」データバスで画素を最初に伝送する撮像デバイスの「フレーム有効」信号の2つの連続立ち上がりエッジを隔てる時間間隔である。
2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に、電子処理手段10は、
(a)前記画素を用いて最終パノラマ画像をレンダリングすることを考慮して、取り込まれた各画像をデジタル処理し(図1のアーキテクチャおよび図2の信号の場合、これらは、撮像デバイスC、C、Cの「画素」データバスで電子処理手段10に伝送される画素である)、かつ
(b)最終パノラマ画像を生成する(図1のアーキテクチャおよび図2の信号の場合、これらは、前記時間間隔(t)中に生成され、電子処理手段によって送出された「フレーム有効」信号の立ち上がりエッジおよび立下りエッジを用いて、電子処理手段10によってそれらの「画素」データバスで出力として伝送される画素である)。
こうして、画像キャプチャの連続動作と同一レートで、連続パノラマ画像のストリームが電子処理手段によって実時間に生成される。例えば、撮像デバイスC、C、Cが毎秒25の画像を送出するように設計された場合、2つの連続画像キャプチャ動作間の各時間間隔(t)のキャプチャ時間Tは40msに等しく、それは25Hzのキャプチャ周波数に対応し、電子処理手段もまた毎秒25のパノラマ画像(40ms毎に1つのパノラマ画像)を生成する。
キャプチャ時間T(2つの連続画像キャプチャ動作間の各時間間隔(t)の長さ)は、撮像デバイスC、C、Cの周波数に依存する。実際には、キャプチャ時間Tは1s以下であることが好ましく、100ms以下であることがさらにいっそう好ましい。
好ましくは、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に生成される最終パノラマ画像は、この同じ時間間隔(t)の経過中の画素のデジタル処理(a)から生じる。この場合、各連続パノラマ画像は、特定のパノラマ画像をレンダリングするのに使用された画像キャプチャと略同時に、かつ次のパノラマ画像をレンダリングするのに使用される次の画像キャプチャ動作の前に、実時間で生成される。
別の代替的実施形態では、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に生成される最終画像は、以前の時間間隔(t)中に、例えば前回の時間間隔(t)中に発生した画素のデジタル処理(a)から生じる。この場合、各連続パノラマ画像は、パノラマ画像をレンダリングするために使用された画像キャプチャに対してわずかな時間のずれで、実時間に生成される。
別の代替的実施形態では、各パノラマ画像の生成は、所与のキャプチャサイクル(N)中に開始し(電子処理手段10によって送出される「フレーム有効」信号の立ち上がりエッジ)、次のキャプチャサイクル(N+1)中に終了する(電子処理手段10によって送出される「フレーム有効」信号の立下がりエッジ)。電子処理手段10によって送出される「フレーム有効」信号の立ち上がりエッジと立下がりエッジとの間の時間間隔は、キャプチャ時間T以下であることが好ましいが、必ずしもそうでなくてもよい。
各画像キャプチャ動作に対し実行される画素の処理(a)は、タイムライン上で画像キャプチャサイクルに対してずれることがある。最終パノラマ画像のレンダリングに使用される、画像キャプチャ動作中の全ての取込み画像からの画素の処理時間は、キャプチャ時間T以下であることが好ましいが、必ずしもそうでなくてもよい。例えば、N回目のキャプチャサイクル中に取り込まれた画像を使用して最終パノラマ画像を形成することを考慮した画素の処理(a)は、次回の画像キャプチャサイクル中に、例えばN+1回目の画像キャプチャサイクル中に、電子処理手段10によって実行することができる。
電子処理手段10は、例えば1つもしくは幾つかのFPGA型のプログラム可能な回路および/または1つもしくは幾つかのASIC型の特定回路のような、いずれかの公知の電子回路手段を用いて本発明に従って無差別に実現することのできる、電子的にデジタルプログラムされたデータ処理ユニット、またはマイクロコントローラもしくはマイクロプロセッサを具現する電子アーキテクチャを持つプログラム可能な処理ユニットを含む。
図1に示した本発明の特定の変形例では、電子処理手段10によって1組の画素として送出された連続パノラマ画像のストリームは、例えばDPS型回路を含みかつ例えばファイルフォーマットでパノラマ画像のストリームをメモリに保存しかつ/または実時間でスクリーンに表示することを可能にする、追加の電子処理手段11によって処理される。
本発明の別の変形例では、追加の電子処理手段11は、ストリームから1つまたは幾つかのパノラマ画像を抽出する手段として、電子処理手段10によって送出された連続パノラマ画像のストリームを処理するように設計することができる。
通常、特定の代替的実施形態では、各撮像デバイスC、C、Cは、キャプチャマトリックスに接続された「魚眼」レンズ型の光学手段を含み、取り込まれた各画像は、一般的に「ヨー」、「ピッチ」、および「ロール」と呼ばれる、画像キャプチャ中の前記撮像デバイスの空間的方位に特有の3組の空間的方位情報によって特徴付けられる。
図3に関連して、「魚眼」レンズは有効球中心検出面(図3の灰色表面および白色表面)を呈し、イメージセンサによって取り込まれる画像の有効画素は、撮像デバイスの検出面の一部分だけ(図3―864画素×900画素)の二次元投影法から得られることが知られている。
したがって、通常、撮像デバイスC、C、またはCによって取り込まれた画像を表す各画素マトリックスは、撮像デバイスC、C、またはCによって「見られた」3D球面部分の二次元投影法から生じる。この二次元投影法は各撮像デバイスC、C、またはCに依存し、特に撮像デバイスC、C、またはCの光学手段、および画像キャプチャ動作中の撮像デバイスC、C、またはCの空間的方位(「ヨー」、「ピッチ」、および「ロール」)に依存する。
例証を目的として、図4に、撮像デバイスC(例えば図1の撮像デバイスC、C、またはC)によって取り込まれた画像に対応する画素マトリックスを示す。この図で、黒い画素は、撮像デバイスCの「魚眼」レンズの有効中心円形部の外に位置する画素に対応する。撮像デバイスCを用いて取り込まれた前記画像の各画素は、撮像デバイスCの「魚眼」レンズによって「見られた」3D球面部分の上述した二次元投影法に対応しかつ撮像センサCに特有の「マッピング」と呼ばれる操作から生じる。
本発明以前は、各撮像デバイスCによって取り込まれた画像を使用してパノラマ画像をレンダリングするために、大抵の場合、前記画像は、最終連続パノラマ画像を得ることを考慮して、それらの重複領域のレベルで、画像のデジタル「スティッチング」を介して並置された。先行技術で実施されたこの種のデジタルスティッチングは、画素の二次元投影法を変化させず、それらは最終パノラマ画像に維持されることを理解することが重要である。
本発明では、上述した先行技術のデジタルスティッチングとは対照的に、最終パノラマ画像をレンダリングするために、各センサCによって取り込まれた各画像の有効画素は、好ましくは、前記画素を導出した撮像デバイスCの画像における二次元投影法とは異なる新しい二次元投影法を受けるときに、前記画素の少なくとも一部分を最終画像に再マッピングすることにより、最終パノラマ画像に再マッピングされる。こうして、単一の仮想パノラマ撮像デバイスが、撮像デバイスC、C、またはCを使用してもたらされる。画素のこの再マッピングは、取り込まれた各画像の画素の処理(a)を介して自動的に実行される。この処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマ画像の各位置の重み付け係数を用いて、最終パノラマ画像の1つまたは幾つかの位置を画素に割り当てることからなる。
図4には、最終パノラマ画像の一部分だけが示されており、前記部分は、単一の撮像デバイスCによって取り込まれた画像の画素の再マッピングから生じるパノラマ画像の部分に対応する。
前記図4に関連して、撮像デバイスCによって取り込まれた画像の1行目に位置する画素P1,8は例えば、最終パノラマ画像の1行目の4つの異なる隣接位置に、4つの画素P1,9、P1,10、P1,11、P1,12として最終パノラマ画像に再マッピングされ、それは、原画像から最終パノラマ画像へのこの画素の分離と解釈される。この画素P1,8の最終パノラマ画像上のマッピングはしたがって、画像処理装置によって取り込まれた原画像上のこの画素の二次元投影法とは異なる、最終パノラマ画像上のこの画素の二次元投影法に対応する。最終パノラマ画像上の画素のこの分離は例えば、部分的にまたは全体的に、撮像デバイスの上縁部付近の「魚眼」レンズの光学歪みを補償するように、有利に具現することができる。画素の同じ分離は、下縁に位置する画素に対し有利に具現することができる。
比較を目的として、撮像デバイスの「魚眼」レンズは、レンズの中心に光学歪みを誘発せず、またはほとんど誘発しないので、撮像デバイスCによって取り込まれた画像の中心の画素P8,8は最終パノラマ画像に同様に唯一の画素P11,11として再マッピングされる。
センサCによって取り込まれた画像の左下の領域に位置する画素P10,3は、例えば最終パノラマ画像の隣接する2つの行の3つの隣接する異なる位置に、3つの画素P17,4、P18,4、P18,5として最終パノラマ画像に再マッピングされ、それは、原画像から最終パノラマ画像へのこの画素P10,3の2方向の拡大と解釈される。最終パノラマ画像上のこの画素P10,3のマッピングはしたがって、撮像デバイスによって取り込まれた原画のこの画素の二次元投影法とは異なる、最終パノラマ画像上のこの画素の二次元投影法に対応する。
原画像の各画素の撮像センサCから最終パノラマ画像へのこの再マッピング操作中に、画素は最終パノラマ画像上に維持または回復されないことが可能である。これは、例えば少なくとも2つの撮像デバイスによって取り込まれた画像の重複領域に位置する画素に発生する。撮像デバイスの重複領域では、センサの1つからの1つの画素だけが維持され、他のセンサに対応する他の画素は維持されない。本発明の別の変形例では、少なくとも2つの撮像デバイスの重複領域で、原画像の画素の平均または組合せを用いて最終画像の画素をレンダリングすることが可能である。
画素の再マッピング操作中に、画素が維持され、かつ最終パノラマ画像の1つまたは幾つかの異なる位置が割り当てられる場合、前記割当ては、最終パノラマ画像の各位置に対し、すなわち最終パノラマ画像の各画素に対し、0から100%の範囲の重み付け係数を使用して実行することが好ましい。前記重み付け算入プロセス、およびその根底にある理由は、図5に照らしてみると、よりよく理解されるであろう。
図5に関連して、最終パノラマ画像の画素Pi,jの各々の中心Cは、実際には撮像デバイスCによって取り込まれた画像の画素の中心に対応せず、むしろそれは幾何学的に、撮像デバイスCによって取り込まれた画像の特定の実位置に対応し、それは、図4に示されたこの特定の実施例では、撮像デバイスCによって取り込まれた画像の画素Pの左側に、下隅の近傍に偏心している。したがって、この特定の実施例における画素Pi,jは、画素Pを使用するだけでなく、隣接する画素P、P、Pをも使用して、例えば各画素P、P、P、Pの中心に対する位置Pの重心を考慮しながら、各画素P、P、P、Pの重み付けを計算に入れてレンダリングされる。この特定の実施例では、画素Pi,jは例えば25%の画素P、35%の画素P、15%の画素P、および5%の画素Pから構成される。
本発明は、あらゆる種類の画像フォーマット、すなわちRAW、YUV、およびRGB派生形式に適用される。カラーレンダリングがすでに実行された(各画像画素に対するR、G、B情報として知られる)RGB画像の場合、上述した重み付け算入は隣接画素を用いて実現される。
しかし、各画素が1つの表色成分だけを提示するRAW画像の場合、上述した重み付け算入は、最終パノラマ画像の画素と同色の近接画素を用いて実現される。RAWフォーマットの場合のこの特定の重み付け算入の事例は、図6Aないし図6Iに照らしてみると、よりよく理解されるであろう。
図6Aないし図6Iは、RAW型フォーマットで符号化された画素の場合の最終パノラマ画像の画素Pi,jと撮像デバイスCによって取り込まれた画像の画素マトリックスとの間の対応の様々な事例を示す。前記の図では、文字R、G、Bはそれぞれ赤、緑、および青の画素を表す。Wは、撮像デバイスによって取り込まれた原画像の画素R、G、またはBの最終画像における重み付け係数である。
図6Aは、最終パノラマ画像の赤色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の青色画素(B)にある場合に対応する。この場合、最終パノラマ画像の前記赤色画素Pi,jは、それぞれ重み付け係数W、W、W、Wを適用することによって、前記青色画素Bに近接する赤色画素R、R、R、Rを使用してレンダリングされる。これらの重み付け係数W、W、W、Wの値は、例えば各画素R、R、R、Rの中心に対する位置Pの重心に依存する。例えば位置Pが画素Pの中心に位置するならば、この場合、重み付け係数W、W、W、Wは全て25%になる。
図6Bは、最終パノラマ画像の青色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の赤色画素(R)にある場合に対応する。
図6Cは、最終パノラマ画像の緑色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の青色画素(B)にある場合に対応する。
図6Dは、最終パノラマ画像の緑色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の赤色画素(R)にある場合に対応する。
図6Eは、最終パノラマ画像の緑色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の緑色画素(G)にある場合に対応する。
図6Fは、最終パノラマ画像の赤色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の緑色画素(G)にある場合に対応する。
図6Gは、最終パノラマ画像の青色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の緑色画素(G)にある場合に対応する。
図6Hは、最終パノラマ画像の赤色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の赤色画素(R)にある場合に対応する。
図6Iは、最終パノラマ画像の青色画素Pi,jの中心が撮像デバイスCによって取り込まれた画像の実位置Pに対応し、この実位置が撮像デバイスCによって取り込まれた画像の青色画素(B)にある場合に対応する。
最後に、画像の符号化フォーマットとは関係なく、撮像デバイスCiによって取り込まれた画像の各画素の最終パノラマ画像における再マッピングプロセスは、少なくとも前記画素を維持または破棄し、画素が維持される場合には、最終パノラマ画像の各位置(すなわち各画素)に対する予め定められた重み付け係数とともに、最終パノラマまたは立体画像の1つまたは幾つかの異なる位置を画素に割り当てることからなる。本書では、最終パノラマ画像における「位置」の概念は、最終パノラマ画像における「画素」の概念と融合している。
本発明によると、画素の高度な再マッピングが行われる場合、例えば、各撮像デバイスCの各レンズの最終画像におけるこれらの歪みを少なくとも部分的に補正することが可能である。
再び本発明によると、撮像デバイスC、C、Cおよび電子処理手段10は、例えば追加の電子処理手段11によってパノラマ画像用の固有の仮想センサとみなされる。したがって、追加の電子処理手段11は例えば、電子処理手段10によって送出された最終パノラマ画像のための公知の画像処理アルゴリズム(特にホワイトバランス調整、露光時間および利得管理のためのアルゴリズム)を具現することができ、また、パノラマ画像のレンダリングに先んじて撮像デバイスC、C、C、によって送出される各画像のための画像処理のアルゴリズムの実現と比較して、適用できる場合には必ず、特に測色、ホワイトバランス、ならびに露光時間および利得に関して、より均質な最終画像を得ることを可能にする。
単なる例証を目的として、本発明の範囲を限定することなく、図7Aないし図7Dに、「魚眼」レンズの光学歪みおよび空間におけるその向き(ヨー、ピッチ、およびロール)を取り入れることを考慮した、「魚眼」レンズの原画像のL行目からの画素再マッピングの特定の実施例を示す。再マッピングは、「魚眼」レンズの中心ならびに下縁および上縁と比較したL行目の位置(図7A、図7B、図7C)に依存し、あるいは「魚眼」レンズの空間的方位に依存する(図7D)。
図8に、3つのイメージセンサC、C、Cによってそれぞれ取り込まれた3つの画像1、1、1、および画像1、1、1の画素の再マッピングから得た最終パノラマ画像(l)の特定の実施例を示す。
本発明の枠組内で、例えば最終パノラマ画像に対する特殊効果を自動的に組み込むことを目的として、画素再マッピングを使用して、撮像デバイスC、C、Cの二次元投影法とは異なるいずれかの種類の二次元投影法の実現を介して、最終パノラマ画像をレンダリングすることが可能である。特に、次のような公知の投影法を実現することができる。
‐平面または直線投影法
‐円筒投影法
‐メルカトル投影法
‐球面または正距円筒投影法
再マッピング操作を可能にすることを考慮して、当業者は、個々の事例毎に、各撮像デバイスCiの各画素の再マッピングを予め定めておき、各撮像デバイスCの各画素について、この画素を維持するか否か、かつ維持する場合に最終パノラマ画像に対応する単数または複数の画素、ならびに最終パノラマ画像の各画素に対するこの原画素の重み付け係数を決定しなければならない。
この再マッピングは、最終パノラマ画像に維持される各撮像デバイスCの各画素PX,Yに、最終パノラマ画像の1つまたは幾つかの画素(PXpano,Ypano)を、最終パノラマ画像の画素(PXpano,Ypano)に対する画素PX,Yの重み付け係数Wと共に割り当てる、例えば下記の種類の対応表として実現することができる。下の表には、分かり易くするために、例証を目的として、図4に例示した特定の画素だけが含まれる。
Figure 2016503618
図1に示す特定のアーキテクチャの事例では、各撮像デバイスC、C、Cの各画素の最終パノラマ画像における再マッピング操作は、メモリの1つに保存された対応表に基づいて、電子処理手段10を使用して自動的に実行される。本発明の別の変形例では、各撮像デバイスC、C、Cの各画素の最終パノラマ画像における再マッピングの計算は、メモリに保存された較正および動的計算アルゴリズムを使用して、電子処理手段10により自動的に実行することもできる。
図1の実施例では、再マッピング操作の結果得られるパノラマ画像の各画素(PXpano,Ypano)は、電子処理手段10によって送出される「H」クロック信号と同期しながら、電子処理手段10の出力(「画素」)として送出される。代替的実施形態では、電子処理手段10によって送出される「H」クロック信号は、イメージセンサC、C、Cによって送出される「H_sensor」クロック信号と同期または非同期とすることができる。
図1のアーキテクチャの1つの利点は、追加の電子処理手段11がイメージセンサC、C、Cおよび電子処理手段10を単一の仮想パノラマセンサと“みなす”ことが可能になることである。
図1の装置は、画素が電子処理手段10によって取り込まれるときに、画素の実時間再マッピングを実行するために有利に使用することができる。
本発明は、3つの固定撮像デバイスC、C、Cの実現に限定されず、むしろ、より一般的に少なくとも2つの固定撮像デバイスC、Cで実現することができる
また、本発明の枠組内で、各画像キャプチャをモバイル撮像デバイスC、C、Cの異なる方位および/または位置に対応させて、単一のモバイル撮像デバイスを使用することも予想される。
記載した実施形態の特定の変形例では、キャプチャ周波数Fは、撮像デバイスC、C、Cのキャプチャ周波数に等しい。別の変形例では、電子処理手段が例えばセンサの各々によって送出されるm個(m≧2)の画像のうち1つの画像だけを処理し、キャプチャ周波数Fは、撮像デバイスC、C、Cによって送出される画像の周波数より低い連続キャプチャ動作の周波数に対応する、撮像デバイスC、C、Cのキャプチャ周波数未満とすることができる。
本発明はパノラマ画像のレンダリングに限定されない。本発明は、立体画像のレンダリングにも適応することができる。

Claims (134)

  1. シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも1つの撮像デバイス(Ci)を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われること、キャプチャ動作毎に、(a)各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間(T)以下の処理時間でデジタル処理され、かつ(b)前に形成された最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成されること、および取り込まれた各画像の各画素のデジタル処理(a)は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
  2. 前記最終パノラマまたは立体画像は前記キャプチャ周波数Fと同一周波数レートで生成される、請求項1に記載のプロセス。
  3. 前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項1または2のいずれかに記載のプロセス。
  4. 各最終パノラマまたは立体画像は、2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に連続的に生成される、請求項1ないし3のいずれか一項に記載のプロセス。
  5. 2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中に行われる画素のデジタル処理の結果生じる、請求項4に記載のプロセス。
  6. 2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に実行された画素のデジタル処理の結果生じる、請求項4に記載のプロセス。
  7. 各画素のデジタル処理は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項1ないし6のいずれか一項に記載のプロセス。
  8. 前記取り込まれた画像からの幾つかの画素には各々、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられる、請求項1ないし7のいずれか一項に記載のプロセス。
  9. 前記取り込まれた画像からの幾つかの画素には各々、前記最終パノラマまたは立体画像の少なくとも1つの位置が、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てられる、請求項1ないし8のいずれか一項に記載のプロセス。
  10. 前記シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C、C)を使用して取り込まれる、請求項1ないし9のいずれか一項に記載のプロセス。
  11. 前記シーンの少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C、C、C)を使用して取り込まれる、請求項1ないし9のいずれか一項に記載のプロセス。
  12. 各撮像デバイス(C)は、各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出される、請求項1ないし11のいずれか一項に記載のプロセス。
  13. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項12に記載のプロセス。
  14. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項12に記載のプロセス。
  15. 少なくとも1つの撮像デバイスを用いて取り込まれた画像の画素の前記デジタル処理は、取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像におけるこの特定の画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における画素の重み付け係数(W)と共に使用して実行される、請求項1ないし14のいずれかに記載のプロセス。
  16. パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、少なくとも2つの異なる画像を画素セットフォーマットで取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、取り込まれた画像を用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段(10)とを備える装置において、電子処理手段(10)は、前記撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットで、かつ2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で、シーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にすること、電子処理手段(10)は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔にわたって、前に形成された最終パノラマまたは立体画像を生成するのに適していること、および電子処理手段(10)を用いた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの異なる位置を割り当てることからなることを特徴とする装置。
  17. 前記電子処理手段(10)は、前記キャプチャ周波数レート(F)と同一周波数レートで連続的に最終パノラマまたは立体画像を生成するのに適する、請求項16に記載の装置。
  18. 前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項16または17のいずれかに記載の装置。
  19. 前記電子処理手段は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、請求項16ないし18のいずれか一項に記載の装置。
  20. 2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中の画素のデジタル処理から生じる、請求項19に記載の装置。
  21. 2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中の画素のデジタル処理から生じる、請求項19に記載の装置。
  22. 前記電子処理手段(10)は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項16ないし21のいずれか一項に記載の装置。
  23. 前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項16ないし22のいずれか一項に記載の装置。
  24. 前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項16ないし23のいずれか一項に記載の装置。
  25. 少なくとも2つの撮像デバイス(C、C)を含む、請求項16ないし24のいずれか一項に記載の装置。
  26. 少なくとも3つの撮像デバイス(C、C、C)を含む、請求項16ないし24のいずれか一項に記載の装置。
  27. 各撮像デバイス(C)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段は、各最終パノラマまたは立体画像を、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出するのに適する、請求項16ないし25のいずれか一項に記載の装置。
  28. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項27に記載の装置。
  29. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項27に記載の装置。
  30. 前記電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)によって取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、請求項16ないし29のいずれかに記載の装置。
  31. 前記装置が携帯可能であることを特徴とする、請求項16ないし30のいずれか一項に記載の装置。
  32. シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行されること、および画像キャプチャ動作中に、パノラマまたは立体画像を形成するために、取り込まれた画像の画素がデジタル処理され、かつパノラマまたは立体画像のストリームが生成されること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
  33. 前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)でタイミングをとられる、請求項32に記載のプロセス。
  34. キャプチャ動作毎に、(a)取り込まれた各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成するために、前記キャプチャ時間(T)以下の処理時間でデジタル処理され、かつ(b)最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成される、請求項33に記載のプロセス。
  35. 前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)でタイミングをとられ、前記最終パノラマまたは立体画像は、前記画像キャプチャ周波数レート(F)と同一周波数レートで連続的に生成される、請求項32ないし34のいずれか一項に記載のプロセス。
  36. 前記連続キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)でタイミングをとられ、前記画像キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項32ないし35のいずれか一項に記載のプロセス。
  37. 各最終パノラマまたは立体画像は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に連続的に生成される、請求項32ないし36のいずれか一項に記載のプロセス。
  38. 2つの連続キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔(t)中に実行された画素のデジタル処理の結果生じる、請求項37に記載のプロセス。
  39. 2つの連続キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に実行された画素のデジタル処理の結果生じる、請求項37に記載のプロセス。
  40. 各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項32ないし39のいずれか一項に記載のプロセス。
  41. 前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられることによって処理される、請求項32ないし40のいずれか一項に記載のプロセス。
  42. 前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の位置が、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てられることによって処理される、請求項32ないし41のいずれか一項に記載のプロセス。
  43. 前記シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C、C)を使用して取り込まれる、請求項32ないし42のいずれか一項に記載のプロセス。
  44. 少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C、C、C)を使用して取り込まれる、請求項32ないし42のいずれか一項に記載のプロセス。
  45. パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置において、前記装置は、少なくとも2つの異なる画像を画素セットフォーマットで取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、画像の重なりの有無にかかわらず、前記撮像デバイス(Ci)を用いて、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする電子処理手段(10)であって、画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素をデジタル処理すると共にパノラマまたは立体画像のストリームを生成するのに適した電子処理手段(10)とを備えていること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とする装置。
  46. 前記電子処理手段(10)は、前記撮像デバイスを用いて、連続キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する、請求項45に記載の装置。
  47. キャプチャ動作毎に、電子処理手段(10)は、(a)キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、請求項45に記載の装置。
  48. 前記電子処理手段(10)は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義し、電子処理手段(10)は、前記最終パノラマまたは立体画像を前記キャプチャ周波数Fと同一周波数レートで生成するのに適する、請求項45ないし47のいずれか一項に記載の装置。
  49. 前記電子処理手段(10)は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義し、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項45ないし48のいずれか一項に記載の装置。
  50. 前記電子処理手段(10)は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、請求項45ないし49のいずれか一項に記載の装置。
  51. 2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中に行われる画素のデジタル処理から生じる、請求項50に記載の装置。
  52. 2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に行われる画素のデジタル処理から生じる、請求項50に記載の装置。
  53. 前記電子処理手段(10)は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項45ないし52のいずれか一項に記載の装置。
  54. 前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項45ないし53のいずれか一項に記載の装置。
  55. 前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、請求項45ないし54のいずれか一項に記載の装置。
  56. 少なくとも2つの撮像デバイス(C、C)を含む、請求項45ないし55のいずれか一項に記載の装置。
  57. 少なくとも3つの撮像デバイス(C、C、C)を含む、請求項45ないし55のいずれか一項に記載の装置。
  58. 各撮像デバイス(C)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段(10)は、各最終パノラマまたは立体画像を、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出するのに適する、請求項45ないし56のいずれか一項に記載の装置。
  59. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項58に記載の装置。
  60. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項58に記載の装置。
  61. 前記電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)を用いて取り込まれた画像の各画素に対し、前記パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、請求項45ないし60のいずれかに記載の装置。
  62. 前記装置が携帯可能であることを特徴とする、請求項45ないし61のいずれか一項に記載の装置。
  63. シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作が実行され、各撮像デバイス(Ci)が、画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出し、取り込まれた各画像の各画素は、前記画素を少なくとも第2クロック信号(H)に従って同期した画素のストリームとして使用して最終パノラマまたは立体画像を生成することを考慮して、デジタル処理されることを特徴とするプロセス。
  64. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項63に記載のプロセス。
  65. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項63に記載のプロセス。
  66. 前記連続画像キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われる、請求項63ないし65のいずれか一項に記載のプロセス。
  67. キャプチャ動作毎に、(a)取り込まれた各画像の画素は、前記画素を用いて最終パノラマまたは立体画像をレンダリングすることを考慮して、前記キャプチャ時間(T)以下の処理時間で処理され、かつ(b)レンダリングされた最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成される、請求項66に記載のプロセス。
  68. 取り込まれた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの位置を割り当てることからなる、請求項63ないし67のいずれか一項に記載のプロセス。
  69. 前記連続画像キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われ、前記最終パノラマまたは立体画像は、前記キャプチャ周波数Fと同一周波数レートで生成される、請求項63ないし68のいずれか一項に記載のプロセス。
  70. 前記連続画像キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われ、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項63ないし69のいずれか一項に記載のプロセス。
  71. 各最終パノラマまたは立体画像は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に連続的に生成される、請求項63ないし70のいずれか一項に記載のプロセス。
  72. 2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中に実行される画素のデジタル処理の結果生じる、請求項71に記載のプロセス。
  73. 2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に実行された画素のデジタル処理の結果生じる、請求項71に記載のプロセス。
  74. 各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項63ないし73のいずれか一項に記載のプロセス。
  75. 前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって処理される、請求項63ないし74のいずれか一項に記載のプロセス。
  76. 前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって処理される、請求項63ないし75のいずれか一項に記載のプロセス。
  77. シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C、C)を使用して取り込まれる、請求項63ないし76のいずれか一項に記載のプロセス。
  78. 前記シーンの少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C、C、C)を使用して取り込まれる、請求項63ないし76のいずれか一項に記載のプロセス。
  79. 各撮像デバイス(C)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出される、請求項63ないし78のいずれか一項に記載のプロセス。
  80. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項79に記載のプロセス。
  81. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項79に記載のプロセス。
  82. パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作を実行することを可能にする1つまたは幾つかの撮像デバイス(C)と、取り込まれた画像を用いてパノラマまたは立体画像のストリームのレンダリングを可能にする電子処理手段(10)とを備え、各撮像デバイスは、取り込まれた画像の各々の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するのに適しており、電子処理手段(10)は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして前記画素を使用して、最終パノラマまたは立体画像を生成することを考慮して、取り込まれた画像の各画素をデジタル処理するように設計されることを特徴とする装置。
  83. 前記電子処理手段(10)は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート(F)で前記画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する、請求項82に記載の装置。
  84. 前記電子処理手段(10)は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、請求項83に記載の装置。
  85. 前記電子処理手段(10)によって実行される各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の幾つかの異なる位置を割り当てることからなる、請求項82ないし84のいずれか一項に記載の装置。
  86. 前記電子処理手段(10)は、前記撮像デバイスを用いて、画像キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義し、電子処理手段(10)は、前記最終パノラマまたは立体画像を前記キャプチャ周波数Fと同一周波数レートで連続的に生成するのに適する、請求項82ないし85のいずれか一項に記載の装置。
  87. 前記電子処理手段(10)は、前記撮像デバイスを用いて、画像キャプチャ動作の周波数レート(F)で前記画像キャプチャ動作を連続的に実行することを可能にし、但し前記周波数レートは、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義し、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項82ないし86のいずれか一項に記載の装置。
  88. 前記電子処理手段(10)は、2つの連続キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、請求項82ないし87のいずれか一項に記載の装置。
  89. 2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中の画素のデジタル処理の結果生じる、請求項88に記載の装置。
  90. 2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中の画素のデジタル処理の結果生じる、請求項88に記載の装置。
  91. 前記電子処理手段(10)は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項82ないし90のいずれか一項に記載の装置。
  92. 前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項82ないし91のいずれか一項に記載の装置。
  93. 前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項82ないし92のいずれか一項に記載の装置。
  94. 少なくとも2つの撮像デバイス(C、C)を含む、請求項82ないし93のいずれか一項に記載の装置。
  95. 少なくとも3つの撮像デバイス(C、C、C)を含む、請求項82ないし93のいずれか一項に記載の装置。
  96. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項82ないし95のいずれか一項に記載の装置。
  97. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項82ないし95のいずれか一項に記載の装置。
  98. 電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)を用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、請求項82ないし97のいずれかに記載の装置。
  99. 前記装置が携帯可能であることを特徴とする、請求項82ないし98のいずれか一項に記載の装置。
  100. シーンの少なくとも1つのパノラマまたは立体画像を取り込みかつレンダリングするためのプロセスであって、画像の重なりの有無に関わらず、少なくとも1つの撮像デバイス(Ci)を用いてシーンの少なくとも2つの異なる画像が取り込まれ、各撮像デバイス(Ci)は、1つの画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として画素のストリームを送出し、取り込まれた各画像の画素のストリームは、前記画素を用いて少なくとも1つの最終パノラマまたは立体画像を形成することを考慮してデジタル処理され、取り込まれた各画像に対応する画素のストリームの各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
  101. シーンの幾つかのパノラマまたは立体画像のストリームを取り込みかつレンダリングすることを可能にする請求項100に記載のプロセスであって、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作が実行されること、および連続画像キャプチャ動作が、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われる、プロセス。
  102. キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素のデジタル処理が実行され、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像が生成される、請求項101に記載の装置。
  103. 前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で実行され、前記最終パノラマまたは立体画像は前記キャプチャ周波数レート(F)と同一周波数レートで連続的に生成される、請求項100ないし102のいずれか一項に記載のプロセス。
  104. 前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で実行され、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項100ないし103のいずれか一項に記載のプロセス。
  105. 各最終パノラマまたは立体画像は、2つの連続キャプチャ動作の開始を隔てる各時間間隔(t)中に連続的に生成される、請求項100ないし104のいずれか一項に記載のプロセス。
  106. 2つの連続キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔(t)中に行われる画素のデジタル処理から生じる、請求項105に記載のプロセス。
  107. 2つの連続キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に行われる画素のデジタル処理から生じる、請求項105に記載のプロセス。
  108. 各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、請求項100ないし107のいずれか一項に記載のプロセス。
  109. 前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられることによって処理される、請求項100ないし108のいずれか一項に記載のプロセス。
  110. 前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の少なくとも1つの位置が、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てられることによって処理される、請求項100ないし109のいずれか一項に記載のプロセス。
  111. シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C、C)を使用して取り込まれる、請求項100ないし110のいずれか一項に記載のプロセス。
  112. シーンの少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C、C、C)を使用して取り込まれる、請求項100ないし110のいずれか一項に記載のプロセス。
  113. 前記撮像デバイス(C)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出される、請求項100ないし112のいずれか一項に記載のプロセス。
  114. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項113に記載のプロセス。
  115. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項113に記載のプロセス。
  116. 少なくとも1つの撮像デバイスを用いて取り込まれた画像の画素のデジタル処理は、少なくとも1つの撮像デバイスを用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における画素の重み付け係数(W)と共に参照して実行される、請求項100ないし115のいずれかに記載のプロセス。
  117. 少なくとも1つのパノラマまたは立体画像を取り込みかつレンダリングするための装置であって、前記装置は、画像の重なりの有無に関わらず、少なくとも2つの異なる画像の取込みを可能にする1つまたは幾つかの撮像デバイス(Ci)(各イメージセンサ(Ci)は取り込まれた各画像に対して画素のストリームを送出するのに適する)と、画像キャプチャ動作中に、取り込まれた各画像の画素ストリームを用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段(10)とを備え、前記電子処理手段(10)は、取り込まれた各画像の画素ストリームの各画素を維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの異なる位置を割り当てることで、前記画素を処理するように設計されることを特徴とする装置。
  118. 幾つかのパノラマまたは立体画像のストリームを取り込みかつレンダリングすることを可能にする請求項115に記載の装置であって、電子処理手段(10)は、1つまたは幾つかの前記撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作を、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で実行することを可能にする、装置。
  119. 前記電子処理手段(10)は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、請求項118に記載の装置。
  120. 前記電子処理手段(10)は、前記撮像デバイスを用いて、前記連続画像キャプチャ動作を、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で実行することを可能にし、前記電子処理手段(10)は、前記キャプチャ周波数レート(F)と同一周波数レートで連続的に最終パノラマまたは立体画像を生成するのに適する、請求項117ないし119のいずれか一項に記載の装置。
  121. 前記電子処理手段(10)は、前記撮像デバイスを用いて、前記連続画像キャプチャ動作を、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で実行することを可能にし、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、請求項117または120のいずれか一項に記載の装置。
  122. 前記電子処理手段(10)は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された請求項117ないし121のいずれか一項に記載の装置。
  123. 2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔に行われる画素のデジタル処理から生じる、請求項122に記載の装置。
  124. 2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に行われる画素のデジタル処理から生じる、請求項122に記載の装置。
  125. 前記電子処理手段(10)は、前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、請求項117ないし124のいずれか一項に記載の装置。
  126. 前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項117ないし125のいずれか一項に記載の装置。
  127. 前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、請求項117ないし126のいずれか一項に記載の装置。
  128. 少なくとも2つの撮像デバイス(C、C)を含む、請求項117ないし127のいずれか一項に記載の装置。
  129. 少なくとも3つの撮像デバイス(C、C、C)を含む、請求項117ないし127のいずれか一項に記載の装置。
  130. 各撮像デバイス(C)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段は、各パノラマまたは立体画像を、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出するのに適する、請求項117ないし129のいずれか一項に記載の装置。
  131. 前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、請求項130に記載の装置。
  132. 前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、請求項130に記載の装置。
  133. 前記電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)を用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、請求項117ないし132のいずれかに記載の装置。
  134. 前記装置が携帯可能であることを特徴とする、請求項117ないし133のいずれか一項に記載の装置。
JP2015542330A 2012-11-15 2013-11-12 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 Pending JP2016503618A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1260880A FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1260880 2012-11-15
PCT/FR2013/052707 WO2014076402A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018180078A Division JP2019041389A (ja) 2012-11-15 2018-09-26 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置

Publications (2)

Publication Number Publication Date
JP2016503618A true JP2016503618A (ja) 2016-02-04
JP2016503618A5 JP2016503618A5 (ja) 2016-11-24

Family

ID=47754666

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015542330A Pending JP2016503618A (ja) 2012-11-15 2013-11-12 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
JP2018180078A Pending JP2019041389A (ja) 2012-11-15 2018-09-26 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018180078A Pending JP2019041389A (ja) 2012-11-15 2018-09-26 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置

Country Status (15)

Country Link
US (1) US20150288864A1 (ja)
EP (1) EP2920956A1 (ja)
JP (2) JP2016503618A (ja)
KR (1) KR20150084807A (ja)
CN (1) CN104782114B (ja)
AU (1) AU2013346603B2 (ja)
BR (1) BR112015010788A8 (ja)
CA (1) CA2889811A1 (ja)
FR (4) FR2998126B1 (ja)
HK (1) HK1212835A1 (ja)
IL (1) IL238622A0 (ja)
IN (1) IN2015DN03812A (ja)
MX (1) MX355297B (ja)
TW (2) TW201804432A (ja)
WO (1) WO2014076402A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014710A (ja) * 2016-05-25 2018-01-25 トムソン ライセンシングThomson Licensing マニフェストを作成する方法及びネットワーク機器
KR102294071B1 (ko) * 2020-07-21 2021-08-26 금오공과대학교 산학협력단 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
GB2552238A (en) * 2016-04-18 2018-01-17 Argon Design Ltd Blending images
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
KR101925011B1 (ko) * 2017-03-14 2019-02-27 한국과학기술원 워터마크 삽입/검출 방법 및 장치
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
TWI642301B (zh) * 2017-11-07 2018-11-21 宏碁股份有限公司 影像處理方法與電子系統
WO2020185201A1 (en) * 2019-03-10 2020-09-17 Google Llc 360 degree wide-angle camera with baseball stitch
KR102555534B1 (ko) * 2021-06-28 2023-07-17 한국과학기술원 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063338A (ja) * 2001-08-24 2003-03-05 Matsushita Electric Ind Co Ltd 運転支援装置および運転ガイドデータ作成方法
JP2004159014A (ja) * 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
JP2006191535A (ja) * 2004-12-30 2006-07-20 Microsoft Corp パノラマカメラのデッドゾーンを最小限に抑える方法とシステム
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
TWI269648B (en) * 2004-03-09 2007-01-01 Chuin-Mu Wang Method and system for examining fitness by photography
CA2680813C (en) 2007-03-16 2016-06-14 Kollmorgen Corporation System for panoramic image processing
CN201118859Y (zh) * 2007-07-27 2008-09-17 浙江大学 单体式实时全景无缝无失真视频摄像机
CN101119482B (zh) * 2007-09-28 2011-07-20 北京智安邦科技有限公司 一种全景监控方法及设备
EP2253131B1 (en) * 2008-02-08 2014-06-25 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
JP4555399B2 (ja) 2008-07-04 2010-09-29 清正工業株式会社 医療廃棄物処理装置
TWI379245B (en) * 2009-04-27 2012-12-11 Asustek Comp Inc Method for continuously outputting character by video-recording
WO2011037964A1 (en) 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
JP2011119974A (ja) * 2009-12-03 2011-06-16 Sony Corp パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム
FR2964757B1 (fr) 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及系统、移动终端
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130321573A1 (en) * 2012-05-30 2013-12-05 Texas Instruments Incorporated Identification and display of time coincident views in video imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063338A (ja) * 2001-08-24 2003-03-05 Matsushita Electric Ind Co Ltd 運転支援装置および運転ガイドデータ作成方法
JP2004159014A (ja) * 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
JP2006191535A (ja) * 2004-12-30 2006-07-20 Microsoft Corp パノラマカメラのデッドゾーンを最小限に抑える方法とシステム
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014710A (ja) * 2016-05-25 2018-01-25 トムソン ライセンシングThomson Licensing マニフェストを作成する方法及びネットワーク機器
JP7041472B2 (ja) 2016-05-25 2022-03-24 インターデジタル マディソン パテント ホールディングス, エスアーエス マニフェストを作成する方法及びネットワーク機器
KR102294071B1 (ko) * 2020-07-21 2021-08-26 금오공과대학교 산학협력단 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법

Also Published As

Publication number Publication date
MX355297B (es) 2018-04-12
HK1212835A1 (zh) 2016-06-17
MX2015006121A (es) 2015-08-06
FR3012000B1 (fr) 2016-05-06
AU2013346603B2 (en) 2017-09-07
FR2998126A1 (fr) 2014-05-16
TW201804432A (zh) 2018-02-01
FR2998126B1 (fr) 2014-12-26
AU2013346603A1 (en) 2015-05-14
TWI612495B (zh) 2018-01-21
JP2019041389A (ja) 2019-03-14
BR112015010788A8 (pt) 2019-10-01
BR112015010788A2 (pt) 2017-07-11
WO2014076402A1 (fr) 2014-05-22
FR3012001B1 (fr) 2016-05-06
CA2889811A1 (fr) 2014-05-22
FR3011968A1 (fr) 2015-04-17
TW201435792A (zh) 2014-09-16
IL238622A0 (en) 2015-06-30
KR20150084807A (ko) 2015-07-22
FR3011968B1 (fr) 2016-05-06
CN104782114A (zh) 2015-07-15
EP2920956A1 (fr) 2015-09-23
US20150288864A1 (en) 2015-10-08
CN104782114B (zh) 2019-05-07
IN2015DN03812A (ja) 2015-10-02
FR3012000A1 (fr) 2015-04-17
FR3012001A1 (fr) 2015-04-17

Similar Documents

Publication Publication Date Title
JP2019041389A (ja) パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US8208048B2 (en) Method for high dynamic range imaging
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
JP5320524B1 (ja) ステレオ撮影装置
CN108055452A (zh) 图像处理方法、装置及设备
WO2012029298A1 (ja) 撮影装置および画像処理方法
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
KR20140051112A (ko) 영상 처리를 위한 주 및 보조 영상 캡처 장치들 및 관련 방법들
WO2012029299A1 (ja) 撮影装置、再生装置、および画像処理方法
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
CN108024054A (zh) 图像处理方法、装置及设备
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
JP4522307B2 (ja) 画像撮像装置、画像撮像方法
JP5214547B2 (ja) 画像表示装置および方法並びにプログラム
WO2017168347A1 (en) Multi-camera image coding
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
JP2015224909A (ja) 3次元計測装置及び3次元計測方法
TWI441093B (zh) 立體影像產生方法及立體成像系統
WO2013069171A1 (ja) 画像処理装置、及び画像処理方法
TWI504936B (zh) 影像處理裝置
CN104320576B (zh) 一种用于便携式终端的图像处理方法及图像处理装置
JP2005174148A (ja) 撮像装置及び方法、撮像システム
TWI466535B (zh) 使用單鏡頭影像擷取裝置之立體成像方法以及基於用於立體影像顯示之第一、第二平面影像之立體影像增強方法與立體影像增強裝置
TWI382267B (zh) 自動景深捕捉系統及自動景深捕捉方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180529