JP2019041389A - パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 - Google Patents
パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 Download PDFInfo
- Publication number
- JP2019041389A JP2019041389A JP2018180078A JP2018180078A JP2019041389A JP 2019041389 A JP2019041389 A JP 2019041389A JP 2018180078 A JP2018180078 A JP 2018180078A JP 2018180078 A JP2018180078 A JP 2018180078A JP 2019041389 A JP2019041389 A JP 2019041389A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixels
- capture
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 131
- 238000009877 rendering Methods 0.000 title claims description 39
- 238000003384 imaging method Methods 0.000 claims description 187
- 230000000717 retained effect Effects 0.000 abstract 1
- 230000001360 synchronised effect Effects 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 22
- 230000000630 rising effect Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000013507 mapping Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Cameras In General (AREA)
Abstract
Description
具体的には、本発明は、以下の(1)〜(134)の構成を有する。
(1)シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも1つの撮像デバイス(Ci)を使用して、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行され、連続キャプチャ動作は2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われること、キャプチャ動作毎に、(a)各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、前記キャプチャ時間(T)以下の処理時間でデジタル処理され、かつ(b)前に形成された最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成されること、および取り込まれた各画像の各画素のデジタル処理(a)は、少なくとも前記画素を破棄または維持し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
(2)前記最終パノラマまたは立体画像は前記キャプチャ周波数Fと同一周波数レートで生成される、(1)に記載のプロセス。
(3)前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(1)または(2)のいずれかに記載のプロセス。
(4)各最終パノラマまたは立体画像は、2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に連続的に生成される、(1)ないし(3)のいずれか一項に記載のプロセス。
(5)2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中に行われる画素のデジタル処理の結果生じる、(4)に記載のプロセス。
(6)2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に実行された画素のデジタル処理の結果生じる、(4)に記載のプロセス。
(7)各画素のデジタル処理は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、(1)ないし(6)のいずれか一項に記載のプロセス。
(8)前記取り込まれた画像からの幾つかの画素には各々、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられる、(1)ないし(7)のいずれか一項に記載のプロセス。
(9)前記取り込まれた画像からの幾つかの画素には各々、前記最終パノラマまたは立体画像の少なくとも1つの位置が、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てられる、(1)ないし(8)のいずれか一項に記載のプロセス。
(10)前記シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C1、C2)を使用して取り込まれる、(1)ないし(9)のいずれか一項に記載のプロセス。
(11)前記シーンの少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C1、C2、C3)を使用して取り込まれる、(1)ないし(9)のいずれか一項に記載のプロセス。
(12)各撮像デバイス(Ci)は、各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出される、(1)ないし(11)のいずれか一項に記載のプロセス。
(13)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(12)に記載のプロセス。
(14)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(12)に記載のプロセス。
(15)少なくとも1つの撮像デバイスを用いて取り込まれた画像の画素の前記デジタル処理は、取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像におけるこの特定の画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における画素の重み付け係数(W)と共に使用して実行される、(1)ないし(14)のいずれかに記載のプロセス。
(16)パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、少なくとも2つの異なる画像を画素セットフォーマットで取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、取り込まれた画像を用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段(10)とを備える装置において、電子処理手段(10)は、前記撮像デバイスを用いて、画像の重なりの有無にかかわらず、画素フォーマットで、かつ2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で、シーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にすること、電子処理手段(10)は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔にわたって、前に形成された最終パノラマまたは立体画像を生成するのに適していること、および電子処理手段(10)を用いた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの異なる位置を割り当てることからなることを特徴とする装置。
(17)前記電子処理手段(10)は、前記キャプチャ周波数レート(F)と同一周波数レートで連続的に最終パノラマまたは立体画像を生成するのに適する、(16)に記載の装置。
(18)前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(16)または(17)のいずれかに記載の装置。
(19)前記電子処理手段は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、(16)ないし(18)のいずれか一項に記載の装置。
(20)2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中の画素のデジタル処理から生じる、(19)に記載の装置。
(21)2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中の画素のデジタル処理から生じる、(19)に記載の装置。
(22)前記電子処理手段(10)は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、(16)ないし(21)のいずれか一項に記載の装置。
(23)前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、(16)ないし(22)のいずれか一項に記載の装置。
(24)前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、(16)ないし(23)のいずれか一項に記載の装置。
(25)少なくとも2つの撮像デバイス(C1、C2)を含む、(16)ないし(24)のいずれか一項に記載の装置。
(26)少なくとも3つの撮像デバイス(C1、C2、C3)を含む、(16)ないし(24)のいずれか一項に記載の装置。
(27)各撮像デバイス(Ci)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段は、各最終パノラマまたは立体画像を、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出するのに適する、(16)ないし(25)のいずれか一項に記載の装置。
(28)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(27)に記載の装置。
(29)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(27)に記載の装置。
(30)前記電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)によって取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、(16)ないし(29)のいずれかに記載の装置。
(31)前記装置が携帯可能であることを特徴とする、(16)ないし(30)のいずれか一項に記載の装置。
(32)シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作が実行されること、および画像キャプチャ動作中に、パノラマまたは立体画像を形成するために、取り込まれた画像の画素がデジタル処理され、かつパノラマまたは立体画像のストリームが生成されること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
(33)前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)でタイミングをとられる、(32)に記載のプロセス。
(34)キャプチャ動作毎に、(a)取り込まれた各画像の画素は、前記画素を用いて最終パノラマまたは立体画像を形成するために、前記キャプチャ時間(T)以下の処理時間でデジタル処理され、かつ(b)最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成される、(33)に記載のプロセス。
(35)前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)でタイミングをとられ、前記最終パノラマまたは立体画像は、前記画像キャプチャ周波数レート(F)と同一周波数レートで連続的に生成される、(32)ないし(34)のいずれか一項プロセス。
(36)前記連続キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)でタイミングをとられ、前記画像キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(32)ないし(35)のいずれか一項に記載のプロセス。
(37)各最終パノラマまたは立体画像は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に連続的に生成される、(32)ないし(36)のいずれか一項に記載のプロセス。
(38)2つの連続キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔(t)中に実行された画素のデジタル処理の結果生じる、(37)に記載のプロセス。
(39)2つの連続キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に実行された画素のデジタル処理の結果生じる、(37)に記載のプロセス。
(40)各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、(32)ないし(39)のいずれか一項プロセス。
(41)前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられることによって処理される、(32)ないし(40)のいずれか一項に記載のプロセス。
(42)前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の位置が、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てられることによって処理される、(32)ないし(41)のいずれか一項に記載のプロセス。
(43)前記シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C1、C2)を使用して取り込まれる、(32)ないし(42)のいずれか一項に記載のプロセス。
(44)少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C1、C2、C3)を使用して取り込まれる、(32)ないし(42)のいずれか一項に記載のプロセス。
(45)パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置において、前記装置は、少なくとも2つの異なる画像を画素セットフォーマットで取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、画像の重なりの有無にかかわらず、前記撮像デバイス(Ci)を用いて、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続キャプチャ動作を実行することを可能にする電子処理手段(10)であって、画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素をデジタル処理すると共にパノラマまたは立体画像のストリームを生成するのに適した電子処理手段(10)とを備えていること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とする装置。
(46)前記電子処理手段(10)は、前記撮像デバイスを用いて、連続キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する、(45)に記載の装置。
(47)キャプチャ動作毎に、電子処理手段(10)は、(a)キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、(45)に記載の装置。
(48)前記電子処理手段(10)は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義し、電子処理手段(10)は、前記最終パノラマまたは立体画像を前記キャプチャ周波数Fと同一周波数レートで生成するのに適する、(45)ないし(47)のいずれか一項に記載の装置。
(49)前記電子処理手段(10)は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義し、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(45)ないし(48)のいずれか一項に記載の装置。
(50)前記電子処理手段(10)は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、(45)ないし(49)のいずれか一項に記載の装置。
(51)2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中に行われる画素のデジタル処理から生じる、(50)に記載の装置。
(52)2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に行われる画素のデジタル処理から生じる、(50)に記載の装置。
(53)前記電子処理手段(10)は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、(45)ないし(52)のいずれか一項に記載の装置。
(54)前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、(45)ないし(53)のいずれか一項に記載の装置。
(55)前記電子処理手段(10)は、前記取り込まれた画像からの幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像からの幾つかの画素を処理するように設計された、(45)ないし(54)のいずれか一項に記載の装置。
(56)少なくとも2つの撮像デバイス(C1、C2)を含む、(45)ないし(55)のいずれか一項に記載の装置。
(57)少なくとも3つの撮像デバイス(C1、C2、C3)を含む、(45)ないし(55)のいずれか一項に記載の装置。
(58)各撮像デバイス(Ci)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段(10)は、各最終パノラマまたは立体画像を、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出するのに適する、(45)ないし(56)のいずれか一項に記載の装置。
(59)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(58)に記載の装置。
(60)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(58)に記載の装置。
(61)前記電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)を用いて取り込まれた画像の各画素に対し、前記パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、(45)ないし(60)のいずれかに記載の装置。
(62)前記装置が携帯可能であることを特徴とする、(45)ないし(61)のいずれか一項に記載の装置。
(63)シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスであって、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作が実行され、各撮像デバイス(Ci)が、画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出し、取り込まれた各画像の各画素は、前記画素を少なくとも第2クロック信号(H)に従って同期した画素のストリームとして使用して最終パノラマまたは立体画像を生成することを考慮して、デジタル処理されることを特徴とするプロセス。
(64)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(63)に記載のプロセス。
(65)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(63)に記載のプロセス。
(66)前記連続画像キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われる、(63)ないし(65)のいずれか一項に記載のプロセス。
(67)キャプチャ動作毎に、(a)取り込まれた各画像の画素は、前記画素を用いて最終パノラマまたは立体画像をレンダリングすることを考慮して、前記キャプチャ時間(T)以下の処理時間で処理され、かつ(b)レンダリングされた最終パノラマまたは立体画像が前記キャプチャ時間(T)以下の時間間隔で生成される、(66)に記載のプロセス。
(68)取り込まれた各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の1つまたは幾つかの位置を割り当てることからなる、(63)ないし(67)のいずれか一項に記載のプロセス。
(69)前記連続画像キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われ、前記最終パノラマまたは立体画像は、前記キャプチャ周波数Fと同一周波数レートで生成される、(63)ないし(68)のいずれか一項に記載のプロセス。
(70)前記連続画像キャプチャ動作は、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われ、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(63)ないし(69)のいずれか一項に記載のプロセス。
(71)各最終パノラマまたは立体画像は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に連続的に生成される、(63)ないし(70)のいずれか一項に記載のプロセス。
(72)2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中に実行される画素のデジタル処理の結果生じる、(71)に記載のプロセス。
(73)2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に実行された画素のデジタル処理の結果生じる、(71)に記載のプロセス。
(74)各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、(63)ないし(73)のいずれか一項に記載のプロセス。
(75)前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって処理される、(63)ないし(74)のいずれか一項に記載のプロセス。
(76)前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって処理される、(63)ないし(75)のいずれか一項に記載のプロセス。
(77)シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C1、C2)を使用して取り込まれる、(63)ないし(76)のいずれか一項に記載のプロセス。
(78)前記シーンの少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C1、C2、C3)を使用して取り込まれる、(63)ないし(76)のいずれか一項に記載のプロセス。
(79)各撮像デバイス(Ci)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出される、(63)ないし(78)のいずれか一項に記載のプロセス。
(80)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(79)に記載のプロセス。
(81)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(79)に記載のプロセス。
(82)パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置であって、前記装置は、画像の重なりの有無にかかわらず、画素フォーマットでシーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作を実行することを可能にする1つまたは幾つかの撮像デバイス(Ci)と、取り込まれた画像を用いてパノラマまたは立体画像のストリームのレンダリングを可能にする電子処理手段(10)とを備え、各撮像デバイスは、取り込まれた画像の各々の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するのに適しており、電子処理手段(10)は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして前記画素を使用して、最終パノラマまたは立体画像を生成することを考慮して、取り込まれた画像の各画素をデジタル処理するように設計されることを特徴とする装置。
(83)前記電子処理手段(10)は、前記撮像デバイスを用いて、連続画像キャプチャ動作の周波数レート(F)で前記画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する、(82)に記載の装置。
(84)前記電子処理手段(10)は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、(83)に記載の装置。
(85)前記電子処理手段(10)によって実行される各画像の各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像内の幾つかの異なる位置を割り当てることからなる、(82)ないし(84)のいずれか一項に記載の装置。
(86)前記電子処理手段(10)は、前記撮像デバイスを用いて、画像キャプチャ動作の周波数レート(F)で前記連続画像キャプチャ動作を実行することを可能にし、但し前記周波数レートは、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義し、電子処理手段(10)は、前記最終パノラマまたは立体画像を前記キャプチャ周波数Fと同一周波数レートで連続的に生成するのに適する、(82)ないし(85)のいずれか一項に記載の装置。
(87)前記電子処理手段(10)は、前記撮像デバイスを用いて、画像キャプチャ動作の周波数レート(F)で前記画像キャプチャ動作を連続的に実行することを可能にし、但し前記周波数レートは、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義し、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(82)ないし(86)のいずれか一項に記載の装置。
(88)前記電子処理手段(10)は、2つの連続キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された、(82)ないし(87)のいずれか一項に記載の装置。
(89)2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔中の画素のデジタル処理の結果生じる、(88)に記載の装置。
(90)2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中の画素のデジタル処理の結果生じる、(88)に記載の装置。
(91)前記電子処理手段(10)は、前記取り込まれた画像からの前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、(82)ないし(90)のいずれか一項に記載の装置。
(92)前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、(82)ないし(91)のいずれか一項に記載の装置。
(93)前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、(82)ないし(92)のいずれか一項に記載の装置。
(94)少なくとも2つの撮像デバイス(C1、C2)を含む、(82)ないし(93)のいずれか一項に記載の装置。
(95)少なくとも3つの撮像デバイス(C1、C2、C3)を含む、(82)ないし(93)のいずれか一項に記載の装置。
(96)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(82)ないし(95)のいずれか一項に記載の装置。
(97)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(82)ないし(95)のいずれか一項に記載の装置。
(98)電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)を用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、(82)ないし(97)のいずれかに記載の装置。
(99)前記装置が携帯可能であることを特徴とする、(82)ないし(98)のいずれか一項に記載の装置。
(100)シーンの少なくとも1つのパノラマまたは立体画像を取り込みかつレンダリングするためのプロセスであって、画像の重なりの有無に関わらず、少なくとも1つの撮像デバイス(Ci)を用いてシーンの少なくとも2つの異なる画像が取り込まれ、各撮像デバイス(Ci)は、1つの画像を画素セットフォーマットで取り込むことを可能にし、かつ取り込まれた各画像の出力として画素のストリームを送出し、取り込まれた各画像の画素のストリームは、前記画素を用いて少なくとも1つの最終パノラマまたは立体画像を形成することを考慮してデジタル処理され、取り込まれた各画像に対応する画素のストリームの各画素のデジタル処理は、前記画素を少なくとも維持または破棄し、画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることからなることを特徴とするプロセス。
(101)シーンの幾つかのパノラマまたは立体画像のストリームを取り込みかつレンダリングすることを可能にする(100)に記載のプロセスであって、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作が実行されること、および連続画像キャプチャ動作が、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で行われる、プロセス。
(102)キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素のデジタル処理が実行され、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像が生成される、(101)に記載の装置。
(103)前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で実行され、前記最終パノラマまたは立体画像は前記キャプチャ周波数レート(F)と同一周波数レートで連続的に生成される、(100)ないし(102)のいずれか一項に記載のプロセス。
(104)前記連続キャプチャ動作は、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する周波数レート(F)で実行され、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(100)ないし(103)のいずれか一項に記載のプロセス。
(105)各最終パノラマまたは立体画像は、2つの連続キャプチャ動作の開始を隔てる各時間間隔(t)中に連続的に生成される、(100)ないし(104)のいずれか一項に記載のプロセス。
(106)2つの連続キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔(t)中に行われる画素のデジタル処理から生じる、(105)に記載のプロセス。
(107)2つの連続キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に行われる画素のデジタル処理から生じる、(105)に記載のプロセス。
(108)各画素のデジタル処理は、前記取り込まれた画像の前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように実行される、(100)ないし(107)のいずれか一項に記載のプロセス。
(109)前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置が割り当てられることによって処理される、(100)ないし(108)のいずれか一項に記載のプロセス。
(110)前記取り込まれた画像の幾つかの画素は、各々一つに、前記最終パノラマまたは立体画像の少なくとも1つの位置が、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てられることによって処理される、(100)ないし(109)のいずれか一項に記載のプロセス。
(111)シーンの少なくとも2つの異なる画像が、少なくとも2つの撮像デバイス(C1、C2)を使用して取り込まれる、(100)ないし(110)のいずれか一項に記載のプロセス。
(112)シーンの少なくとも3つの異なる画像が、少なくとも3つの撮像デバイス(C1、C2、C3)を使用して取り込まれる、(100)ないし(110)のいずれか一項に記載のプロセス。
(113)前記撮像デバイス(Ci)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ各最終パノラマまたは立体画像は、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出される、(100)ないし(112)のいずれか一項に記載のプロセス。
(114)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(113)に記載のプロセス。
(115)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(113)に記載のプロセス。
(116)少なくとも1つの撮像デバイスを用いて取り込まれた画像の画素のデジタル処理は、少なくとも1つの撮像デバイスを用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における画素の重み付け係数(W)と共に参照して実行される、(100)ないし(115)のいずれかに記載のプロセス。
(117)少なくとも1つのパノラマまたは立体画像を取り込みかつレンダリングするための装置であって、前記装置は、画像の重なりの有無に関わらず、少なくとも2つの異なる画像の取込みを可能にする1つまたは幾つかの撮像デバイス(Ci)(各イメージセンサ(Ci)は取り込まれた各画像に対して画素のストリームを送出するのに適する)と、画像キャプチャ動作中に、取り込まれた各画像の画素ストリームを用いてパノラマまたは立体画像のレンダリングを可能にする電子処理手段(10)とを備え、前記電子処理手段(10)は、取り込まれた各画像の画素ストリームの各画素を維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの異なる位置を割り当てることで、前記画素を処理するように設計されることを特徴とする装置。
(118)幾つかのパノラマまたは立体画像のストリームを取り込みかつレンダリングすることを可能にする(117)に記載の装置であって、電子処理手段(10)は、1つまたは幾つかの前記撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、画素フォーマットで、シーンの少なくとも2つの異なる画像の幾つかの連続画像キャプチャ動作を、2つの連続キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で実行することを可能にする、装置。
(119)前記電子処理手段(10)は、キャプチャ動作毎に、(a)前記キャプチャ時間(T)以下の処理時間で、前記画素を用いて最終パノラマまたは立体画像を形成することを考慮して、取り込まれた各画像の画素をデジタル処理し、かつ(b)前記キャプチャ時間(T)以下の時間間隔で、前に形成された最終パノラマまたは立体画像を生成するのに適する、(118)に記載の装置。
(120)前記電子処理手段(10)は、前記撮像デバイスを用いて、前記連続画像キャプチャ動作を、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で実行することを可能にし、前記電子処理手段(10)は、前記キャプチャ周波数レート(F)と同一周波数レートで連続的に最終パノラマまたは立体画像を生成するのに適する、(117)ないし(119)のいずれか一項に記載の装置。
(121)前記電子処理手段(10)は、前記撮像デバイスを用いて、前記連続画像キャプチャ動作を、2つの連続画像キャプチャ動作の開始間のキャプチャ時間(T)を定義する連続画像キャプチャ動作の周波数レート(F)で実行することを可能にし、前記キャプチャ時間(T)は1秒以下であり、好ましくは100ミリ秒以下である、(117)または(120)のいずれか一項に記載の装置。
(122)前記電子処理手段(10)は、2つの連続画像キャプチャ動作の開始を隔てる各時間間隔(t)中に、各最終パノラマまたは立体画像を連続的に生成するように設計された(117)ないし(121)のいずれか一項に記載の装置。
(123)2つの連続画像キャプチャ動作の開始を隔てる前記時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、前記時間間隔(t)と同一時間間隔に行われる画素のデジタル処理から生じる、(122)に記載の装置。
(124)2つの連続画像キャプチャ動作の開始を隔てる時間間隔(t)中に生成される前記最終パノラマまたは立体画像は、先行する時間間隔(t)中に行われる画素のデジタル処理から生じる、(122)に記載の装置。
(125)前記電子処理手段(10)は、前記画素の少なくとも一部が、前記画素を導出した前記撮像デバイスの画像に対する前記同じ画素の二次元投影法とは異なる二次元投影法を受けた後で、最終パノラマまたは立体画像にマッピングされるように各画素を処理するように設計された、(117)ないし(124)のいずれか一項に記載の装置。
(126)前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終パノラマまたは立体画像の幾つかの異なる位置を割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、(117)ないし(125)のいずれか一項に記載の装置。
(127)前記電子処理手段(10)は、前記取り込まれた画像の幾つかの画素の各々一つに、前記最終画像の少なくとも1つの位置を、零ではなくかつ厳密には100%未満の重み付け係数(W)と共に割り当てることによって、前記取り込まれた画像の幾つかの画素を処理するように設計された、(117)ないし(126)のいずれか一項に記載の装置。
(128)少なくとも2つの撮像デバイス(C1、C2)を含む、(117)ないし(127)のいずれか一項に記載の装置。
(129)少なくとも3つの撮像デバイス(C1、C2、C3)を含む、(117)ないし(127)のいずれか一項に記載の装置。
(130)各撮像デバイス(Ci)は、取り込まれた各画像の出力として、少なくとも第1クロック信号(H_sensor)に従って同期した画素のストリームを送出するように設計され、かつ電子処理手段は、各パノラマまたは立体画像を、少なくとも第2クロック信号(H)に従って同期した画素のストリームとして送出するのに適する、(117)ないし(129)のいずれか一項に記載の装置。
(131)前記第2クロック信号(H)は、前記第1(H_sensor)クロック信号の各々と比較して非同期である、(130)に記載の装置。
(132)前記第2クロック信号(H)は前記第1クロック信号(H_sensor)と同期する、(130)に記載の装置。
(133)前記電子処理手段(10)は、少なくとも1つの撮像デバイス(Ci)を用いて取り込まれた画像の各画素に対し、前記最終パノラマまたは立体画像における前記画素の対応位置を符号化し、かつ各位置に対し、前記最終パノラマまたは立体画像における前記画素を符号化する予め保存された対応表を、前記最終パノラマまたは立体画像における前記画素の重み付け係数(W)と共に備える、(117)ないし(132)のいずれかに記載の装置。
(134)前記装置が携帯可能であることを特徴とする、(117)ないし(133)のいずれか一項に記載の装置。
(a)前記画素を用いて最終パノラマ画像をレンダリングすることを考慮して、取り込まれた各画像をデジタル処理し(図1のアーキテクチャおよび図2の信号の場合、これらは、撮像デバイスC1、C2、C3の「画素」データバスで電子処理手段10に伝送される画素である)、かつ
(b)最終パノラマ画像を生成する(図1のアーキテクチャおよび図2の信号の場合、これらは、前記時間間隔(t)中に生成され、電子処理手段によって送出された「フレーム有効」信号の立ち上がりエッジおよび立下りエッジを用いて、電子処理手段10によってそれらの「画素」データバスで出力として伝送される画素である)。
‐平面または直線投影法
‐円筒投影法
‐メルカトル投影法
‐球面または正距円筒投影法
Claims (2)
- シーンのパノラマまたは立体画像のストリームを取り込みかつレンダリングするためのプロセスにおいて、少なくとも1つの撮像デバイス(Ci)を用いて、画像の重なりの有無にかかわらず、幾つかの連続キャプチャ動作が実行されること、ただし、各キャプチャ動作は、シーンの少なくとも2つの異なる画像を画素フォーマットで取り込むことを含み、前記連続キャプチャ動作は、周波数レートでタイミングをとられること、画像キャプチャ動作中に、各キャプチャ動作からパノラマまたは立体画像を形成するために、取り込まれた画像の画素がデジタル処理され、かつ前記パノラマまたは立体画像のストリームが画像キャプチャ動作中に生成されること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の予め定められた重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることを含むことを特徴とするプロセス。
- パノラマまたは立体画像のストリームを取り込みかつレンダリングするための装置において、前記装置は、少なくとも2つの異なる画像を画素セットフォーマットで取り込むことを可能にする1つまたは幾つかの撮像デバイス(Ci)と、画像の重なりの有無にかかわらず、前記撮像デバイス(Ci)を用いて、幾つかの連続キャプチャ動作を実行することを可能にする電子処理手段(10)であって、各キャプチャ動作は、シーンの少なくとも2つの異なる画像を画素フォーマットで取り込むことを含み、画像キャプチャ動作中に、パノラマまたは立体画像を形成することを考慮して、取り込まれた画像の画素をデジタル処理すると共に前記パノラマまたは立体画像のストリームを画像キャプチャ動作中に生成するのに適した電子処理手段(10)とを備えていること、前記電子処理手段は、前記撮像デバイスを使用して、前記連続キャプチャ動作を周波数レートで実行することを可能にすること、および取り込まれた各画像の各画素のデジタル処理が、前記画素を少なくとも維持または破棄し、かつ画素が維持される場合には、最終パノラマまたは立体画像の各位置の重み付け係数(W)を用いて、画素に最終パノラマまたは立体画像の1つまたは幾つかの位置を割り当てることを含むことを特徴とする装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1260880A FR2998126B1 (fr) | 2012-11-15 | 2012-11-15 | Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques |
FR1260880 | 2012-11-15 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542330A Division JP2016503618A (ja) | 2012-11-15 | 2013-11-12 | パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019041389A true JP2019041389A (ja) | 2019-03-14 |
Family
ID=47754666
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542330A Pending JP2016503618A (ja) | 2012-11-15 | 2013-11-12 | パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 |
JP2018180078A Pending JP2019041389A (ja) | 2012-11-15 | 2018-09-26 | パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542330A Pending JP2016503618A (ja) | 2012-11-15 | 2013-11-12 | パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 |
Country Status (15)
Country | Link |
---|---|
US (1) | US20150288864A1 (ja) |
EP (1) | EP2920956A1 (ja) |
JP (2) | JP2016503618A (ja) |
KR (1) | KR20150084807A (ja) |
CN (1) | CN104782114B (ja) |
AU (1) | AU2013346603B2 (ja) |
BR (1) | BR112015010788A8 (ja) |
CA (1) | CA2889811A1 (ja) |
FR (4) | FR2998126B1 (ja) |
HK (1) | HK1212835A1 (ja) |
IL (1) | IL238622A0 (ja) |
IN (1) | IN2015DN03812A (ja) |
MX (1) | MX355297B (ja) |
TW (2) | TW201804432A (ja) |
WO (1) | WO2014076402A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3190780A1 (en) * | 2016-01-05 | 2017-07-12 | Giroptic | Two-lens spherical camera |
GB2552238A (en) * | 2016-04-18 | 2018-01-17 | Argon Design Ltd | Blending images |
EP3249929A1 (en) | 2016-05-25 | 2017-11-29 | Thomson Licensing | Method and network equipment for establishing a manifest |
US20180018807A1 (en) * | 2016-07-15 | 2018-01-18 | Aspeed Technology Inc. | Method and apparatus for generating panoramic image with texture mapping |
CN108513119A (zh) * | 2017-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 图像的映射、处理方法、装置和机器可读介质 |
KR101925011B1 (ko) * | 2017-03-14 | 2019-02-27 | 한국과학기술원 | 워터마크 삽입/검출 방법 및 장치 |
TWI775869B (zh) * | 2017-06-29 | 2022-09-01 | 佳能企業股份有限公司 | 影像擷取裝置及影像處理方法 |
TWI642301B (zh) * | 2017-11-07 | 2018-11-21 | 宏碁股份有限公司 | 影像處理方法與電子系統 |
WO2020185201A1 (en) * | 2019-03-10 | 2020-09-17 | Google Llc | 360 degree wide-angle camera with baseball stitch |
KR102294071B1 (ko) * | 2020-07-21 | 2021-08-26 | 금오공과대학교 산학협력단 | 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법 |
KR102555534B1 (ko) * | 2021-06-28 | 2023-07-17 | 한국과학기술원 | 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003063338A (ja) * | 2001-08-24 | 2003-03-05 | Matsushita Electric Ind Co Ltd | 運転支援装置および運転ガイドデータ作成方法 |
JP2006191535A (ja) * | 2004-12-30 | 2006-07-20 | Microsoft Corp | パノラマカメラのデッドゾーンを最小限に抑える方法とシステム |
JP2010252015A (ja) * | 2009-04-15 | 2010-11-04 | Panasonic Corp | 画像合成装置、画像合成方法およびプログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6885392B1 (en) * | 1999-12-31 | 2005-04-26 | Stmicroelectronics, Inc. | Perspective correction for preview area of panoramic digital camera |
US20030135675A1 (en) * | 2002-01-17 | 2003-07-17 | Koninklijke Philips Electronics N.V. | Configurable synchronous or asynchronous bus interface |
US7084904B2 (en) * | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
JP2004159014A (ja) * | 2002-11-05 | 2004-06-03 | Nec Corp | デジタルカメラ付き携帯通信端末 |
TWI269648B (en) * | 2004-03-09 | 2007-01-01 | Chuin-Mu Wang | Method and system for examining fitness by photography |
CA2680813C (en) | 2007-03-16 | 2016-06-14 | Kollmorgen Corporation | System for panoramic image processing |
CN201118859Y (zh) * | 2007-07-27 | 2008-09-17 | 浙江大学 | 单体式实时全景无缝无失真视频摄像机 |
CN101119482B (zh) * | 2007-09-28 | 2011-07-20 | 北京智安邦科技有限公司 | 一种全景监控方法及设备 |
EP2253131B1 (en) * | 2008-02-08 | 2014-06-25 | Google, Inc. | Panoramic camera with multiple image sensors using timed shutters |
JP4555399B2 (ja) | 2008-07-04 | 2010-09-29 | 清正工業株式会社 | 医療廃棄物処理装置 |
TWI379245B (en) * | 2009-04-27 | 2012-12-11 | Asustek Comp Inc | Method for continuously outputting character by video-recording |
WO2011037964A1 (en) | 2009-09-22 | 2011-03-31 | Tenebraex Corporation | Systems and methods for correcting images in a multi-sensor system |
JP2011119974A (ja) * | 2009-12-03 | 2011-06-16 | Sony Corp | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム |
FR2964757B1 (fr) | 2010-09-09 | 2013-04-05 | Giroptic | Dispositif optique pour la capture d'images selon un champ de 360° |
CN102480622A (zh) * | 2010-11-30 | 2012-05-30 | 比亚迪股份有限公司 | 立体图像获取方法及系统、移动终端 |
US9247133B2 (en) * | 2011-06-01 | 2016-01-26 | Apple Inc. | Image registration using sliding registration windows |
US20130321573A1 (en) * | 2012-05-30 | 2013-12-05 | Texas Instruments Incorporated | Identification and display of time coincident views in video imaging |
-
2012
- 2012-11-15 FR FR1260880A patent/FR2998126B1/fr not_active Expired - Fee Related
-
2013
- 2013-11-12 AU AU2013346603A patent/AU2013346603B2/en not_active Ceased
- 2013-11-12 JP JP2015542330A patent/JP2016503618A/ja active Pending
- 2013-11-12 MX MX2015006121A patent/MX355297B/es active IP Right Grant
- 2013-11-12 BR BR112015010788A patent/BR112015010788A8/pt not_active Application Discontinuation
- 2013-11-12 US US14/443,097 patent/US20150288864A1/en not_active Abandoned
- 2013-11-12 KR KR1020157011354A patent/KR20150084807A/ko not_active Application Discontinuation
- 2013-11-12 CN CN201380059682.7A patent/CN104782114B/zh not_active Expired - Fee Related
- 2013-11-12 WO PCT/FR2013/052707 patent/WO2014076402A1/fr active Application Filing
- 2013-11-12 CA CA2889811A patent/CA2889811A1/fr not_active Abandoned
- 2013-11-12 EP EP13808073.4A patent/EP2920956A1/fr not_active Withdrawn
- 2013-11-14 TW TW106135936A patent/TW201804432A/zh unknown
- 2013-11-14 TW TW102141393A patent/TWI612495B/zh not_active IP Right Cessation
-
2014
- 2014-11-10 FR FR1460848A patent/FR3011968B1/fr not_active Expired - Fee Related
- 2014-11-10 FR FR1460844A patent/FR3012000B1/fr not_active Expired - Fee Related
- 2014-11-10 FR FR1460846A patent/FR3012001B1/fr not_active Expired - Fee Related
-
2015
- 2015-05-04 IL IL238622A patent/IL238622A0/en unknown
- 2015-05-05 IN IN3812DEN2015 patent/IN2015DN03812A/en unknown
-
2016
- 2016-01-15 HK HK16100452.3A patent/HK1212835A1/zh not_active IP Right Cessation
-
2018
- 2018-09-26 JP JP2018180078A patent/JP2019041389A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003063338A (ja) * | 2001-08-24 | 2003-03-05 | Matsushita Electric Ind Co Ltd | 運転支援装置および運転ガイドデータ作成方法 |
JP2006191535A (ja) * | 2004-12-30 | 2006-07-20 | Microsoft Corp | パノラマカメラのデッドゾーンを最小限に抑える方法とシステム |
JP2010252015A (ja) * | 2009-04-15 | 2010-11-04 | Panasonic Corp | 画像合成装置、画像合成方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2016503618A (ja) | 2016-02-04 |
MX355297B (es) | 2018-04-12 |
HK1212835A1 (zh) | 2016-06-17 |
MX2015006121A (es) | 2015-08-06 |
FR3012000B1 (fr) | 2016-05-06 |
AU2013346603B2 (en) | 2017-09-07 |
FR2998126A1 (fr) | 2014-05-16 |
TW201804432A (zh) | 2018-02-01 |
FR2998126B1 (fr) | 2014-12-26 |
AU2013346603A1 (en) | 2015-05-14 |
TWI612495B (zh) | 2018-01-21 |
BR112015010788A8 (pt) | 2019-10-01 |
BR112015010788A2 (pt) | 2017-07-11 |
WO2014076402A1 (fr) | 2014-05-22 |
FR3012001B1 (fr) | 2016-05-06 |
CA2889811A1 (fr) | 2014-05-22 |
FR3011968A1 (fr) | 2015-04-17 |
TW201435792A (zh) | 2014-09-16 |
IL238622A0 (en) | 2015-06-30 |
KR20150084807A (ko) | 2015-07-22 |
FR3011968B1 (fr) | 2016-05-06 |
CN104782114A (zh) | 2015-07-15 |
EP2920956A1 (fr) | 2015-09-23 |
US20150288864A1 (en) | 2015-10-08 |
CN104782114B (zh) | 2019-05-07 |
IN2015DN03812A (ja) | 2015-10-02 |
FR3012000A1 (fr) | 2015-04-17 |
FR3012001A1 (fr) | 2015-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019041389A (ja) | パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 | |
CN107249096B (zh) | 全景摄像机及其拍摄方法 | |
CN107925751B (zh) | 用于多视点降噪和高动态范围的系统和方法 | |
JP5679978B2 (ja) | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム | |
US8208048B2 (en) | Method for high dynamic range imaging | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
US20100097526A1 (en) | Banana codec | |
US9961272B2 (en) | Image capturing apparatus and method of controlling the same | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
KR101915036B1 (ko) | 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체 | |
US9380263B2 (en) | Systems and methods for real-time view-synthesis in a multi-camera setup | |
JP4522307B2 (ja) | 画像撮像装置、画像撮像方法 | |
JP5214547B2 (ja) | 画像表示装置および方法並びにプログラム | |
WO2017168347A1 (en) | Multi-camera image coding | |
KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
TW201824178A (zh) | 全景即時影像處理方法 | |
TWI441093B (zh) | 立體影像產生方法及立體成像系統 | |
WO2013069171A1 (ja) | 画像処理装置、及び画像処理方法 | |
JP4998792B2 (ja) | カメラ、カメラアレイ及びカメラアレイシステム | |
CN104320576B (zh) | 一种用于便携式终端的图像处理方法及图像处理装置 | |
KR101947799B1 (ko) | 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법 | |
JP6978720B2 (ja) | 画像処理装置 | |
TWI413404B (zh) | 三維影像處理系統以及應用於其之攝影裝置以及三維影像產生裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180926 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191018 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191223 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200619 |