JP2003199034A - パノラマ画像を形成するための事後的ピクチャスティッチ用スチルピクチャフォーマット - Google Patents
パノラマ画像を形成するための事後的ピクチャスティッチ用スチルピクチャフォーマットInfo
- Publication number
- JP2003199034A JP2003199034A JP2002308192A JP2002308192A JP2003199034A JP 2003199034 A JP2003199034 A JP 2003199034A JP 2002308192 A JP2002308192 A JP 2002308192A JP 2002308192 A JP2002308192 A JP 2002308192A JP 2003199034 A JP2003199034 A JP 2003199034A
- Authority
- JP
- Japan
- Prior art keywords
- image
- panoramic
- images
- parameters
- storing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 9
- 239000000872 buffer Substances 0.000 claims description 21
- 239000003550 marker Substances 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000010420 art technique Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000303258 Annona diversifolia Species 0.000 description 1
- 235000002198 Annona diversifolia Nutrition 0.000 description 1
- 101100408296 Autographa californica nuclear polyhedrosis virus AC24 gene Proteins 0.000 description 1
- 241000272470 Circus Species 0.000 description 1
- 102100032704 Keratin, type I cytoskeletal 24 Human genes 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241001658874 Squilla Species 0.000 description 1
- 101000872823 Xenopus laevis Probable histone deacetylase 1-A Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 108010064539 amyloid beta-protein (1-42) Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimiles In General (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 デジタルカメラにおける画像処理を改良す
る。 【解決手段】 本発明によれば、パノラマ画像を形成す
るために複数個のスチル画像を格納する方法が提供され
る。本方法によれば、パノラマ画像を形成するために一
連の画像の一部を形成する第一画像を受取り且つ該第一
画像をメモリ内に格納する。該第一画像の後の１個又は
それ以上のその後の画像が受取られると、現在の画像と
メモリ内に格納されている前の画像との間の１個又はそ
れ以上のパノラマパラメータを計算し、且つ現在の画像
を該１個又はそれ以上のパノラマパラメータと共にメモ
リ内に格納する。
る。 【解決手段】 本発明によれば、パノラマ画像を形成す
るために複数個のスチル画像を格納する方法が提供され
る。本方法によれば、パノラマ画像を形成するために一
連の画像の一部を形成する第一画像を受取り且つ該第一
画像をメモリ内に格納する。該第一画像の後の１個又は
それ以上のその後の画像が受取られると、現在の画像と
メモリ内に格納されている前の画像との間の１個又はそ
れ以上のパノラマパラメータを計算し、且つ現在の画像
を該１個又はそれ以上のパノラマパラメータと共にメモ
リ内に格納する。
Description
【０００１】
【発明の属する技術分野】本発明は、広義には、画像処
理分野に関するものであって、より詳細には、パノラマ
ピクチャを撮影し、格納し且つ表示するデジタルカメラ
における画像処理に関するものである。
理分野に関するものであって、より詳細には、パノラマ
ピクチャを撮影し、格納し且つ表示するデジタルカメラ
における画像処理に関するものである。
【０００２】
【従来の技術】今日、パノラマ写真は種々の態様で達成
される。その１つの方法は三脚に装着したスチルカメラ
を使用することであり、その場合にカメラを三脚の周り
に回動させて一連の撮影を行う。あるカメラにおいて
は、通常のものよりもより幅広のフィルムストリップを
特別の可動光学系で露光させる。
される。その１つの方法は三脚に装着したスチルカメラ
を使用することであり、その場合にカメラを三脚の周り
に回動させて一連の撮影を行う。あるカメラにおいて
は、通常のものよりもより幅広のフィルムストリップを
特別の可動光学系で露光させる。
【０００３】その他のカメラにおいては、例えば３５ｍ
ｍフィルム等の従来のフォーマットのフィルムをカメラ
の露光期間中にマスクさせてパノラマ効果を提供する。
この効果をパノラマ的であるが、全体的な露光はレンズ
を介しての視野によって制限される。
ｍフィルム等の従来のフォーマットのフィルムをカメラ
の露光期間中にマスクさせてパノラマ効果を提供する。
この効果をパノラマ的であるが、全体的な露光はレンズ
を介しての視野によって制限される。
【０００４】パノラマ的な写真を作成するその他の技術
としては、フィルムの端部間の境界を注意深く整合させ
ることによって露光されたフィルムのストリップを物理
的に切断し且つペーストするものがある。
としては、フィルムの端部間の境界を注意深く整合させ
ることによって露光されたフィルムのストリップを物理
的に切断し且つペーストするものがある。
【０００５】電子的写真術の利点はデジタルカメラの成
長に繋がり、それは、フィルムをベースとしたものと異
なり、メモリ内に捕獲した画像をフラッシュメモリ等の
デジタルメモリ内に格納する。パノラマ写真効果を提供
するために、これらのデジタルカメラは、画像の端部境
界を連結させることによってパノラマ効果を与えるため
に２個又はそれ以上の画像を１つの画像へ連結させるた
めにパソコンとインターフェースすることが可能であ
る。このような１つのシステムは発明者ＯｍｉｄＡ．
Ｍｏｇｈａｄａｍ、Ｓｔｕａｒｔ Ｒ． Ｒｉｎｇ及び
Ｊｏｈｎ Ｒ．Ｓｑｕｉｌｌａであり「外部プロセッサ
と共に使用する電子的パノラマカメラ（Ｅｌｅｃｔｒｏ
ｎｉｃ Ｐａｎｏｒａｍｉｃ Ｃａｍｅｒａ Ｆｏｒ
ＵｓｅＷｉｔｈ Ａｎ Ｅｘｔｅｒｎａｌ Ｐｒｏｃｅ
ｓｓｏｒ）」という名称の米国特許第６，６８２，１９
７号において開示されている。
長に繋がり、それは、フィルムをベースとしたものと異
なり、メモリ内に捕獲した画像をフラッシュメモリ等の
デジタルメモリ内に格納する。パノラマ写真効果を提供
するために、これらのデジタルカメラは、画像の端部境
界を連結させることによってパノラマ効果を与えるため
に２個又はそれ以上の画像を１つの画像へ連結させるた
めにパソコンとインターフェースすることが可能であ
る。このような１つのシステムは発明者ＯｍｉｄＡ．
Ｍｏｇｈａｄａｍ、Ｓｔｕａｒｔ Ｒ． Ｒｉｎｇ及び
Ｊｏｈｎ Ｒ．Ｓｑｕｉｌｌａであり「外部プロセッサ
と共に使用する電子的パノラマカメラ（Ｅｌｅｃｔｒｏ
ｎｉｃ Ｐａｎｏｒａｍｉｃ Ｃａｍｅｒａ Ｆｏｒ
ＵｓｅＷｉｔｈ Ａｎ Ｅｘｔｅｒｎａｌ Ｐｒｏｃｅ
ｓｓｏｒ）」という名称の米国特許第６，６８２，１９
７号において開示されている。
【０００６】位置座標を決定するために位置センサー又
は衛星通信に依存する複雑なパノラマデジタルカメラが
入手可能である。これらの位置座標は、パノラマ画像を
合成することを助けるために使用される。異なるカメラ
配向状態から撮影されたシーンを結合するプロセスは
「画像スティッチ（ｓｔｉｃｈ）」として知られてい
る。このような１つのシステムは、発明者Ｋｉｙｏｎｏ
ｂｕ Ｋｏｊｉｍａである「パノラマ画像形成及びオブ
ジェクトサーチ用の電子カメラ及び装置（Ｅｌｅｃｔｒ
ｏｎｉｃ Ｃａｍｅｒａ ａｎｄ Ｄｅｖｉｃｅ ｆｏ
ｒ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｉｎｇ ａｎｄ Ｏ
ｂｊｅｃｔ Ｓｅａｒｃｈｉｎｇ）」という名称の１９
９３年１１月１６日付で発行された米国特許第５，２６
２，８６７号において開示されている。
は衛星通信に依存する複雑なパノラマデジタルカメラが
入手可能である。これらの位置座標は、パノラマ画像を
合成することを助けるために使用される。異なるカメラ
配向状態から撮影されたシーンを結合するプロセスは
「画像スティッチ（ｓｔｉｃｈ）」として知られてい
る。このような１つのシステムは、発明者Ｋｉｙｏｎｏ
ｂｕ Ｋｏｊｉｍａである「パノラマ画像形成及びオブ
ジェクトサーチ用の電子カメラ及び装置（Ｅｌｅｃｔｒ
ｏｎｉｃ Ｃａｍｅｒａ ａｎｄ Ｄｅｖｉｃｅ ｆｏ
ｒ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｉｎｇ ａｎｄ Ｏ
ｂｊｅｃｔ Ｓｅａｒｃｈｉｎｇ）」という名称の１９
９３年１１月１６日付で発行された米国特許第５，２６
２，８６７号において開示されている。
【０００７】オブジェクトの前に撮影した部分からのデ
ータを格納するメモリ装置を具備すると共にディスプレ
イ装置が撮影した画像と既に撮影し且つメモリ空間内に
格納されている画像の両方を実質的に表示することを可
能とする制御装置を具備しているパノラマカメラは発明
者Ｅｇａｗａ及びＡｋｉｒａであり「複合画像を形成す
るための装置（Ａｐｐａｒａｔｕｓ ｆｏｒ ｆｏｒｍ
ｉｎｇ Ｃｏｍｐｏｓｉｔｅ Ｉｍａｇｅｓ）」という
名称の１９９２年８月１１日付で発行されている米国特
許第５，１３８，４６０号において記載されている。
ータを格納するメモリ装置を具備すると共にディスプレ
イ装置が撮影した画像と既に撮影し且つメモリ空間内に
格納されている画像の両方を実質的に表示することを可
能とする制御装置を具備しているパノラマカメラは発明
者Ｅｇａｗａ及びＡｋｉｒａであり「複合画像を形成す
るための装置（Ａｐｐａｒａｔｕｓ ｆｏｒ ｆｏｒｍ
ｉｎｇ Ｃｏｍｐｏｓｉｔｅ Ｉｍａｇｅｓ）」という
名称の１９９２年８月１１日付で発行されている米国特
許第５，１３８，４６０号において記載されている。
【０００８】２個又はそれ以上のスチル画像をスティッ
チするその他の技術は、１９９９年１２月３１日付で出
願した発明者Ｍａｓｓｉｍｏ Ｍａｎｃｕｓｏ等の「透
視図を模倣するためのパノラマビューを有するスチルピ
クチャのモーションプレイバック（Ｍｏｔｉｏｎ Ｐｌ
ａｙ−Ｂａｃｋ ｏｆ Ｓｔｉｌｌ ＰｉｃｔｕｒｅＣ
ｏｍｐｒｉｓｉｎｇ Ａ Ｐａｎｏｒａｍｉｃ Ｖｉｅ
ｗ ｆｏｒ Ｓｉｍｕｌａｔｉｎｇ Ｐｅｒｓｐｅｃｔ
ｉｖｅ）」という名称の米国特許出願第０９／４７７，
０３６号において開示されており、尚この特許出願は本
願出願人に譲渡されており且つその記載内容全体を引用
によって本明細書に取込む。この特許出願におけるパノ
ラマ画像を形成するスチル画像の各々は別々に格納され
且つパノラマシーンは、それが必要とされる度に合成さ
れ、即ちスティッチされる。より詳細には、ピクチャが
キャプチャ即ち捕獲されるに従いパノラマ画像がストリ
ップ毎に構築され、各ストリップは個別的に格納され、
且つスチル画像がキャプチャされるに従いパノラマがス
トリップ毎に構築され、各ストリップは個別的に格納さ
れる。パノラマシーンは相次ぐストリップを付き合わせ
ることによって得られる。
チするその他の技術は、１９９９年１２月３１日付で出
願した発明者Ｍａｓｓｉｍｏ Ｍａｎｃｕｓｏ等の「透
視図を模倣するためのパノラマビューを有するスチルピ
クチャのモーションプレイバック（Ｍｏｔｉｏｎ Ｐｌ
ａｙ−Ｂａｃｋ ｏｆ Ｓｔｉｌｌ ＰｉｃｔｕｒｅＣ
ｏｍｐｒｉｓｉｎｇ Ａ Ｐａｎｏｒａｍｉｃ Ｖｉｅ
ｗ ｆｏｒ Ｓｉｍｕｌａｔｉｎｇ Ｐｅｒｓｐｅｃｔ
ｉｖｅ）」という名称の米国特許出願第０９／４７７，
０３６号において開示されており、尚この特許出願は本
願出願人に譲渡されており且つその記載内容全体を引用
によって本明細書に取込む。この特許出願におけるパノ
ラマ画像を形成するスチル画像の各々は別々に格納され
且つパノラマシーンは、それが必要とされる度に合成さ
れ、即ちスティッチされる。より詳細には、ピクチャが
キャプチャ即ち捕獲されるに従いパノラマ画像がストリ
ップ毎に構築され、各ストリップは個別的に格納され、
且つスチル画像がキャプチャされるに従いパノラマがス
トリップ毎に構築され、各ストリップは個別的に格納さ
れる。パノラマシーンは相次ぐストリップを付き合わせ
ることによって得られる。
【０００９】上述した従来技術はパノラマキャプチャ技
術に対して有用なものであるが、これらの従来技術は欠
点がないというわけではない。上述した技術における１
つの欠点は、パノラマを構成するオリジナルの画像から
パノラマ画像を別々に保存するために付加的なメモリが
必要とされる。従って、パノラマ画像を格納するため又
は実際にパノラマ画像を格納することなしにパノラマ機
能性を与えるために必要とされるメモリ寸法を最小とす
る画像を格納する方法及びシステムに対する必要性が存
在している。
術に対して有用なものであるが、これらの従来技術は欠
点がないというわけではない。上述した技術における１
つの欠点は、パノラマを構成するオリジナルの画像から
パノラマ画像を別々に保存するために付加的なメモリが
必要とされる。従って、パノラマ画像を格納するため又
は実際にパノラマ画像を格納することなしにパノラマ機
能性を与えるために必要とされるメモリ寸法を最小とす
る画像を格納する方法及びシステムに対する必要性が存
在している。
【００１０】別の欠点としては、どのようにしてパノラ
マ画像が格納されるかということである。特に、従来の
システムはパノラマ画像をストリップの形態で又は完全
なパノラマ画像以外のフォーマットで格納するものであ
る。ストリップの形態で又は完全な画像以外のフォーマ
ットで格納されるパノラマ画像フォーマットはスティッ
チ用のアプリケーションに対してのみ有用なものであ
る。例えば電子的フォトアルバム等のその他の適用例は
各ストリップを単一の画像として処理し且つ各画像を別
個に表示する。このように各ストリップを別々に表示す
ることはユーザをかなり混乱させる。何故ならば、全体
的なパノラマが一度に表示されるものではないからであ
る。従って、ＪＰＥＧ等の他の画像フォーマットと互換
性のある画像フォーマットでスチル画像を格納する方法
及びシステムに対する必要性が存在している。
マ画像が格納されるかということである。特に、従来の
システムはパノラマ画像をストリップの形態で又は完全
なパノラマ画像以外のフォーマットで格納するものであ
る。ストリップの形態で又は完全な画像以外のフォーマ
ットで格納されるパノラマ画像フォーマットはスティッ
チ用のアプリケーションに対してのみ有用なものであ
る。例えば電子的フォトアルバム等のその他の適用例は
各ストリップを単一の画像として処理し且つ各画像を別
個に表示する。このように各ストリップを別々に表示す
ることはユーザをかなり混乱させる。何故ならば、全体
的なパノラマが一度に表示されるものではないからであ
る。従って、ＪＰＥＧ等の他の画像フォーマットと互換
性のある画像フォーマットでスチル画像を格納する方法
及びシステムに対する必要性が存在している。
【００１１】上述した技術に関連する別の欠点は、例え
ば動き推定、カラー補正、焦点距離及びその他の画像ス
ティッチパラメータ等のオリジナルのパラメータで保存
されたピクチャは例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏ
ｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｉ
ＳＯスタンダード１０９１８）等の一般的な格納フォー
マットと互換性がないということである。実際に、グラ
フィック・インタージェンジ・フォーマット（ＧＩＦ）
ファイルと共に、ＪＰＥＧはワールドワイドウエブプロ
トコルによってサポートされているファイルタイプであ
る。従って、画像格納（記憶）フォーマットがＪＰＥＧ
等の他のスチル画像フォーマットと互換性のあるような
態様でパノラマパラメータと共に画像を格納する方法及
び装置に対する必要性が存在している。
ば動き推定、カラー補正、焦点距離及びその他の画像ス
ティッチパラメータ等のオリジナルのパラメータで保存
されたピクチャは例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏ
ｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｉ
ＳＯスタンダード１０９１８）等の一般的な格納フォー
マットと互換性がないということである。実際に、グラ
フィック・インタージェンジ・フォーマット（ＧＩＦ）
ファイルと共に、ＪＰＥＧはワールドワイドウエブプロ
トコルによってサポートされているファイルタイプであ
る。従って、画像格納（記憶）フォーマットがＪＰＥＧ
等の他のスチル画像フォーマットと互換性のあるような
態様でパノラマパラメータと共に画像を格納する方法及
び装置に対する必要性が存在している。
【００１２】上述した技術に関連する別の欠点は、動き
推定及びカラー補正のパラメータが喪失された場合にそ
れをキャプチャ即ち捕獲した後にパノラマ画像における
不完全性を補正する選択がユーザに殆ど残されていない
ということである。従って、動き推定及びカラー補正等
の不完全性を補正するためにユーザがより多くの制御を
有した状態でパラメータシーンを形成するスチル画像を
再生及びスティッチする方法及びシステムに対する必要
性が存在している。
推定及びカラー補正のパラメータが喪失された場合にそ
れをキャプチャ即ち捕獲した後にパノラマ画像における
不完全性を補正する選択がユーザに殆ど残されていない
ということである。従って、動き推定及びカラー補正等
の不完全性を補正するためにユーザがより多くの制御を
有した状態でパラメータシーンを形成するスチル画像を
再生及びスティッチする方法及びシステムに対する必要
性が存在している。
【００１３】
【発明が解決しようとする課題】本発明は、以上の点に
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、パノラマ画像を形成するための改良した技
術を提供することを目的とする。
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、パノラマ画像を形成するための改良した技
術を提供することを目的とする。
【００１４】
【課題を解決するための手段】本発明によれば、パノラ
マ画像を形成するために複数個のスチル画像を格納する
方法が提供される。本方法によれば、パノラマ画像を形
成するために一連の画像のうちの一部を形成する第一画
像を受取り且つ該第一画像をメモリ内に格納する。該第
一画像の後の１個又はそれ以上のその後の画像が受取ら
れる場合に、現在の画像とメモリ内に格納されている前
の画像との間の１個又はそれ以上のパノラマパラメータ
を計算し、且つ該メモリ内の１個又はそれ以上のパノラ
マパラメータと共に該現在の画像を格納する。
マ画像を形成するために複数個のスチル画像を格納する
方法が提供される。本方法によれば、パノラマ画像を形
成するために一連の画像のうちの一部を形成する第一画
像を受取り且つ該第一画像をメモリ内に格納する。該第
一画像の後の１個又はそれ以上のその後の画像が受取ら
れる場合に、現在の画像とメモリ内に格納されている前
の画像との間の１個又はそれ以上のパノラマパラメータ
を計算し、且つ該メモリ内の１個又はそれ以上のパノラ
マパラメータと共に該現在の画像を格納する。
【００１５】本発明の別の形態によれば、上述した方法
を実施することが可能なシステム及びコンピュータプロ
グラムを格納したコンピュータによって読取可能な記録
媒体が提供される。
を実施することが可能なシステム及びコンピュータプロ
グラムを格納したコンピュータによって読取可能な記録
媒体が提供される。
【００１６】
【発明の実施の形態】添付図面中において、同一の構成
要素には同一の参照番号を付してある。以下に説明する
実施例は本明細書に記載する本発明の多数の有益的な使
用のうちの幾つかの例を示すものに過ぎないものである
ことを理解すべきである。一般的に、本明細書における
記載は特許請求の範囲に記載された発明を制限すべく解
釈されるべきものではない。本明細書におけるある記載
内容はある発明の特徴に対して適用可能であるがその他
のものに対して適用可能でない場合もある。一般的に、
特にそうでないことが示されない限り、単一の構成要素
は複数のものからなるものとすることが可能であり且つ
一般性を失うことなしにその逆も又真である。
要素には同一の参照番号を付してある。以下に説明する
実施例は本明細書に記載する本発明の多数の有益的な使
用のうちの幾つかの例を示すものに過ぎないものである
ことを理解すべきである。一般的に、本明細書における
記載は特許請求の範囲に記載された発明を制限すべく解
釈されるべきものではない。本明細書におけるある記載
内容はある発明の特徴に対して適用可能であるがその他
のものに対して適用可能でない場合もある。一般的に、
特にそうでないことが示されない限り、単一の構成要素
は複数のものからなるものとすることが可能であり且つ
一般性を失うことなしにその逆も又真である。
【００１７】本明細書において使用する用語の説明
実際の次のピクチャ：パノラマを構成する１組のピクチ
ャに対して次に付加されるものとして実際にキャプチャ
即ち捕獲されるピクチャ。
ャに対して次に付加されるものとして実際にキャプチャ
即ち捕獲されるピクチャ。
【００１８】下から上への垂直パノラマ：可及的に水平
方向の変位なしで各ピクチャ間においてカメラを上方
（下から上）へ回転させることにより１組のピクチャを
撮影することによりキャプチャ即ち捕獲されるパノラ
マ。
方向の変位なしで各ピクチャ間においてカメラを上方
（下から上）へ回転させることにより１組のピクチャを
撮影することによりキャプチャ即ち捕獲されるパノラ
マ。
【００１９】現在のバッファ：現在のピクチャの円筒状
に曲げられたバージョン。
に曲げられたバージョン。
【００２０】現在のピクチャ／現在のビュー／現在のフ
レーム：カメラのＬＣＤスクリーン上に表示され且つ実
時間でアップデートされるピクチャ。ＬＣＤスクリーン
が使用されないか又はＬＣＤスクリーンが存在しない場
合には、それは、キャプチャボタンが押し下げられた任
意の与えられた時間においてキャプチャされるピクチャ
である。
レーム：カメラのＬＣＤスクリーン上に表示され且つ実
時間でアップデートされるピクチャ。ＬＣＤスクリーン
が使用されないか又はＬＣＤスクリーンが存在しない場
合には、それは、キャプチャボタンが押し下げられた任
意の与えられた時間においてキャプチャされるピクチャ
である。
【００２１】理想的な次のピクチャ：左から右への水平
方向パノラマにおいて、前のピクチャと理想的な次のピ
クチャとが設定されたオーバーレイパート長に等しいオ
ーバーレイパート長を有し且つ垂直方向の変位がないよ
うにカメラが位置決めされている場合に得られるピクチ
ャ。左から右への水平方向パノラマにおいては、オーバ
ーレイパート（重なり部分）は前のピクチャの右側であ
り且つ理想的に次のピクチャの左側にある。
方向パノラマにおいて、前のピクチャと理想的な次のピ
クチャとが設定されたオーバーレイパート長に等しいオ
ーバーレイパート長を有し且つ垂直方向の変位がないよ
うにカメラが位置決めされている場合に得られるピクチ
ャ。左から右への水平方向パノラマにおいては、オーバ
ーレイパート（重なり部分）は前のピクチャの右側であ
り且つ理想的に次のピクチャの左側にある。
【００２２】理想的に次のピクチャに対するカメラの理
想的な位置：理想的に次のピクチャをキャプチャ即ち捕
獲することを可能とさせるカメラの位置。
想的な位置：理想的に次のピクチャをキャプチャ即ち捕
獲することを可能とさせるカメラの位置。
【００２３】画像スティッチ：異なるカメラ配向状態か
ら撮影されたシーンをデジタル的に結合させるプロセ
ス。
ら撮影されたシーンをデジタル的に結合させるプロセ
ス。
【００２４】左から右への水平方向パノラマ：可及的に
垂直方向の変位なしで各ピクチャ間においてカメラを時
計方向（左から右）へ回転させることによって１組のピ
クチャを撮影することによりキャプチャされるパノラ
マ。
垂直方向の変位なしで各ピクチャ間においてカメラを時
計方向（左から右）へ回転させることによって１組のピ
クチャを撮影することによりキャプチャされるパノラ
マ。
【００２５】オーバーレイパート長：水平方向パノラマ
においてのオーバーレイパート即ち重なり部分の幅。そ
れは全体的なピクチャの幅の百分率で表現される。
においてのオーバーレイパート即ち重なり部分の幅。そ
れは全体的なピクチャの幅の百分率で表現される。
【００２６】パノラマ：単一キャプチャ用装置の寸法に
おけるよりも大きく且つしばしば一連の画像が関与する
例えば高さ又は幅等の少なくとも１つの寸法を具備する
画像。１組のピクチャ即ち画像から作成され且つソース
ピクチャの対応する寸法よりも大きな少なくとも１つの
寸法を有しているピクチャ。
おけるよりも大きく且つしばしば一連の画像が関与する
例えば高さ又は幅等の少なくとも１つの寸法を具備する
画像。１組のピクチャ即ち画像から作成され且つソース
ピクチャの対応する寸法よりも大きな少なくとも１つの
寸法を有しているピクチャ。
【００２７】プレビューストリップ：前のピクチャのオ
ーバーレイパートのデジタル処理を介して作成され且つ
理想的な次のピクチャのオーバーレイパートがどのよう
なものであるかを予測せんとする計算された画像。
ーバーレイパートのデジタル処理を介して作成され且つ
理想的な次のピクチャのオーバーレイパートがどのよう
なものであるかを予測せんとする計算された画像。
【００２８】前のピクチャ／前のフレーム／前の画像：
既にキャプチャ即ち捕獲されており且つパノラマを構成
する１組のピクチャに対する最も新しい付加であるピク
チャ。
既にキャプチャ即ち捕獲されており且つパノラマを構成
する１組のピクチャに対する最も新しい付加であるピク
チャ。
【００２９】右から左への水平方向パノラマ：可及的に
垂直方向の変位なしで、各ピクチャ間においてカメラを
反時計方向（右から左）へ回転させることによって１組
のピクチャを撮影することによりキャプチャ即ち捕獲さ
れるパノラマ。
垂直方向の変位なしで、各ピクチャ間においてカメラを
反時計方向（右から左）へ回転させることによって１組
のピクチャを撮影することによりキャプチャ即ち捕獲さ
れるパノラマ。
【００３０】設定されたオーバーレイパート長：パノラ
マを構成する各対のピクチャに対する一定のオーバーレ
イパート長。設定されたオーバーレイパート長は与えら
れたパノラマに対して選択される固定長である。
マを構成する各対のピクチャに対する一定のオーバーレ
イパート長。設定されたオーバーレイパート長は与えら
れたパノラマに対して選択される固定長である。
【００３１】上から下への垂直方向パノラマ：可及的に
水平方向の変位なしで、各キャプチャ間においてカメラ
を下方向へ回転させることにより（上から下）１組のピ
クチャを撮影することによりキャプチャされるパノラ
マ。
水平方向の変位なしで、各キャプチャ間においてカメラ
を下方向へ回転させることにより（上から下）１組のピ
クチャを撮影することによりキャプチャされるパノラ
マ。
【００３２】ビューポート：現在ユーザに対して表示さ
れている円環状バッファの一部。ビューポートは、ウイ
ンドウを介してプレイバック即ち再生されているパノラ
マシーンを観察するためにディスプレイの観察可能なエ
リアの実質的に全てを占有することが可能である。
れている円環状バッファの一部。ビューポートは、ウイ
ンドウを介してプレイバック即ち再生されているパノラ
マシーンを観察するためにディスプレイの観察可能なエ
リアの実質的に全てを占有することが可能である。
【００３３】ピクチャスティッチ用カメラ
図面全体にわたって同一の部分には同一の参照番号を付
している図面をより詳細に参照すると、図１には本発明
の１つの側面に基づくデジタルスチルカメラ１００のブ
ロック図が示されている。デジタルカメラはオートフォ
ーカス／シャッター、ドライバ及びアクチュエータ１０
４を具備する１個又はそれ以上の光学レンズ１０２及び
例えばオートフォーカス、オートシャッター及びコント
ラスト制御等の関連する測光インターフェース１０８を
有している。例えばＣＣＤ又はその均等物１０４等のイ
メジャー１０６が光学レンズ１０２を介して投影される
画像を一連のピクセル１０６へ変換する。レギュレータ
ー及び画像ドライバ１０８はイメジャー（撮像器）１０
６の調整を行うことを許容する。例えばマイクロフォン
等のオーディオ採取装置１１２は、オーディオ処理回路
１１４と共に、ユーザがデジタル画像と共に口述記録を
とることを可能とする。パワー管理回路１１８を具備す
るバッテリ１１８は、カメラ１００がポータブルな装置
として動作することを可能とする。ピクチャプロセッサ
１１６は以下に更に詳細に説明するピクチャスティッチ
用装置１２０に結合されている１個又はそれ以上のフレ
ームバッファ１１８へピクセル情報を供給する。この実
施例においては、ピクチャスティッチ用装置１２０はＡ
ＳＩＣとして実現されている。ＬＣＤディスプレイ１２
２又はその均等物は、ユーザがレンズ１０２を介してイ
メジャー１０６内へ投影され且つＬＣＤ制御器１３４に
よって制御される画像を観察することを可能とする。Ｐ
ＡＬ／ＮＴＳＣエンコーダー１２４はその他のディスプ
レイタイプに対するインターフェースを与える。ピクチ
ャプロセッサ１１６へ結合されている画像ＣＯＤＥＣ１
３２はピクチャプロセッサ１１６に対して公知の画像向
上効果を与える。例えばＳＴマイクロエレクトロニクス
社のＳＴ−２０−ＳＨ３−ＤＳＰ等のＤＳＰ１３４は、
メモリインターフェース及び例えば赤外線、ユニバーサ
ルシリアルバス又はその他のインターフェース等のデー
タＩ／Ｏ１３６を制御するために使用される。ＤＲＡＭ
が以下に説明するように画像スティッチ用アルゴリズム
を実施するためにＤＳＰ１３４に対する実行メモリを与
える。スピーカー等のオーディオ出力１３０がユーザに
対して口述プレイバック（再生）を与える。これらのコ
ンポーネントの全てはデジタルカメラ１００の代表的な
コンポーネントである。例えばフラッシュメモリ、ディ
スケット又は着脱自在ハードディスクドライブ等の格納
媒体１４２が各画像及び関連するオーディオを格納す
る。１実施例においては、以下に説明する画像スティッ
チの種々のステップを実施するアルゴリズムが、キャプ
チャ即ち捕獲された画像及びオーディオと共に格納媒体
１４２上に格納される。画像に対する処理は、画像を格
納媒体１４２内に格納する前に又はその後に行うことが
可能である。本明細書に記載した殆どの要素を有するデ
ジタルカメラの一般的な操作については当業者にとって
公知である。
している図面をより詳細に参照すると、図１には本発明
の１つの側面に基づくデジタルスチルカメラ１００のブ
ロック図が示されている。デジタルカメラはオートフォ
ーカス／シャッター、ドライバ及びアクチュエータ１０
４を具備する１個又はそれ以上の光学レンズ１０２及び
例えばオートフォーカス、オートシャッター及びコント
ラスト制御等の関連する測光インターフェース１０８を
有している。例えばＣＣＤ又はその均等物１０４等のイ
メジャー１０６が光学レンズ１０２を介して投影される
画像を一連のピクセル１０６へ変換する。レギュレータ
ー及び画像ドライバ１０８はイメジャー（撮像器）１０
６の調整を行うことを許容する。例えばマイクロフォン
等のオーディオ採取装置１１２は、オーディオ処理回路
１１４と共に、ユーザがデジタル画像と共に口述記録を
とることを可能とする。パワー管理回路１１８を具備す
るバッテリ１１８は、カメラ１００がポータブルな装置
として動作することを可能とする。ピクチャプロセッサ
１１６は以下に更に詳細に説明するピクチャスティッチ
用装置１２０に結合されている１個又はそれ以上のフレ
ームバッファ１１８へピクセル情報を供給する。この実
施例においては、ピクチャスティッチ用装置１２０はＡ
ＳＩＣとして実現されている。ＬＣＤディスプレイ１２
２又はその均等物は、ユーザがレンズ１０２を介してイ
メジャー１０６内へ投影され且つＬＣＤ制御器１３４に
よって制御される画像を観察することを可能とする。Ｐ
ＡＬ／ＮＴＳＣエンコーダー１２４はその他のディスプ
レイタイプに対するインターフェースを与える。ピクチ
ャプロセッサ１１６へ結合されている画像ＣＯＤＥＣ１
３２はピクチャプロセッサ１１６に対して公知の画像向
上効果を与える。例えばＳＴマイクロエレクトロニクス
社のＳＴ−２０−ＳＨ３−ＤＳＰ等のＤＳＰ１３４は、
メモリインターフェース及び例えば赤外線、ユニバーサ
ルシリアルバス又はその他のインターフェース等のデー
タＩ／Ｏ１３６を制御するために使用される。ＤＲＡＭ
が以下に説明するように画像スティッチ用アルゴリズム
を実施するためにＤＳＰ１３４に対する実行メモリを与
える。スピーカー等のオーディオ出力１３０がユーザに
対して口述プレイバック（再生）を与える。これらのコ
ンポーネントの全てはデジタルカメラ１００の代表的な
コンポーネントである。例えばフラッシュメモリ、ディ
スケット又は着脱自在ハードディスクドライブ等の格納
媒体１４２が各画像及び関連するオーディオを格納す
る。１実施例においては、以下に説明する画像スティッ
チの種々のステップを実施するアルゴリズムが、キャプ
チャ即ち捕獲された画像及びオーディオと共に格納媒体
１４２上に格納される。画像に対する処理は、画像を格
納媒体１４２内に格納する前に又はその後に行うことが
可能である。本明細書に記載した殆どの要素を有するデ
ジタルカメラの一般的な操作については当業者にとって
公知である。
【００３４】ＬＣＤ制御器１２８を介しての１個又はそ
れ以上のユーザ入力は、例えば水平方向又は垂直方向の
パノラマのオリエンテーション即ち配向状態、及び例え
ば左から右への水平方向パノラマ、右から左への水平方
向パノラマ、上から下への垂直方向パノラマ、下から上
への垂直方向パノラマ等の運動方向等のカメラの機能に
関してのユーザ制御を与える。例えばオプションとして
の特徴及び所望の効果等のユーザ入力及び以下のような
システムパラメータを設定することが可能である。
れ以上のユーザ入力は、例えば水平方向又は垂直方向の
パノラマのオリエンテーション即ち配向状態、及び例え
ば左から右への水平方向パノラマ、右から左への水平方
向パノラマ、上から下への垂直方向パノラマ、下から上
への垂直方向パノラマ等の運動方向等のカメラの機能に
関してのユーザ制御を与える。例えばオプションとして
の特徴及び所望の効果等のユーザ入力及び以下のような
システムパラメータを設定することが可能である。
【００３５】パノラマモードオン／オフ
パノラマパラメータ
※左から右への水平方向モード
※右から左への水平方向モード
※上から下への垂直方向モード
※下から上への垂直方向モード
※設定したオーバーレイパート長
※プレイビューディスプレイオン／オフ
ミキシングモードパラメータ
※アルファブレンドオン／オフ
※例えばアルファブレンド比等のアルファブレンドパラ
メータ ※インターレースブロックモードオン／オフ ※インターレースブロックパターン選択 別の実施例においては、図１のコンポーネントの多くが
セミカスタム半導体装置におけるスタンダードセルの一
部として埋め込まれている。図２はスチルカメラの別の
実施例であり、この場合には、図１のピクチャスティッ
チ用装置が本発明に基づいてセミカスタム半導体装置に
おけるスタンダードセルとして集積化されている。この
実施例においては、ピクチャスティッチ用装置１２４及
びピクチャプロセッサ１２０が１つのユニットとして物
理的に実現されている。ＤＳＰ１３４、シリアルＩ／Ｏ
１３６、画像ＣＯＤＥＣ１３２、ＬＣＤプレビュー及び
ディスプレイ１２６、ＰＡＬ／ＮＴＳＣエンコーダ１３
０及びＬＣＤ制御器及びドライバ１２６は全て１個の装
置２００として集積化されている。当業者にとって、ピ
クチャスティッチ用装置１２４及びＤＳＰ１３４をその
他の回路と共に包含させるべくこの例示的な単一装置２
００を置換し且つ修正することは自明である。
メータ ※インターレースブロックモードオン／オフ ※インターレースブロックパターン選択 別の実施例においては、図１のコンポーネントの多くが
セミカスタム半導体装置におけるスタンダードセルの一
部として埋め込まれている。図２はスチルカメラの別の
実施例であり、この場合には、図１のピクチャスティッ
チ用装置が本発明に基づいてセミカスタム半導体装置に
おけるスタンダードセルとして集積化されている。この
実施例においては、ピクチャスティッチ用装置１２４及
びピクチャプロセッサ１２０が１つのユニットとして物
理的に実現されている。ＤＳＰ１３４、シリアルＩ／Ｏ
１３６、画像ＣＯＤＥＣ１３２、ＬＣＤプレビュー及び
ディスプレイ１２６、ＰＡＬ／ＮＴＳＣエンコーダ１３
０及びＬＣＤ制御器及びドライバ１２６は全て１個の装
置２００として集積化されている。当業者にとって、ピ
クチャスティッチ用装置１２４及びＤＳＰ１３４をその
他の回路と共に包含させるべくこの例示的な単一装置２
００を置換し且つ修正することは自明である。
【００３６】パノラマキャプチャ概観
次に、図３を参照すると、Ａ，Ｂ，Ｃ，Ｄと符号の付け
た一連の４個の画像３００及びそれらの間のオーバーラ
ップした端部部分ａｂ，ｂｃ，ｃｄが示されている。こ
れら４個の画像は、１個のパノラマ画像を形成するため
に連結される。パノラマ画像は図３に示したように左か
ら右側とするか又は右から左側の水平方向のパノラマと
することが可能であることを注意することが重要であ
る。垂直パノラマ（不図示）の場合には、一連の画像は
上から下又は下から上とさせることが可能である。従っ
て、本発明は１つのタイプの水平方向又は垂直方向のオ
リエンテーション（配向状態）に制限されるものではな
く、且つ４つのタイプのパノラマ画像とすることが可能
なものであり、即ち左から右への水平方向パノラマ、右
から左への水平方向パノラマ、上から下への垂直方向パ
ノラマ、下から上への垂直方向パノラマとすることが可
能である。
た一連の４個の画像３００及びそれらの間のオーバーラ
ップした端部部分ａｂ，ｂｃ，ｃｄが示されている。こ
れら４個の画像は、１個のパノラマ画像を形成するため
に連結される。パノラマ画像は図３に示したように左か
ら右側とするか又は右から左側の水平方向のパノラマと
することが可能であることを注意することが重要であ
る。垂直パノラマ（不図示）の場合には、一連の画像は
上から下又は下から上とさせることが可能である。従っ
て、本発明は１つのタイプの水平方向又は垂直方向のオ
リエンテーション（配向状態）に制限されるものではな
く、且つ４つのタイプのパノラマ画像とすることが可能
なものであり、即ち左から右への水平方向パノラマ、右
から左への水平方向パノラマ、上から下への垂直方向パ
ノラマ、下から上への垂直方向パノラマとすることが可
能である。
【００３７】図４は本発明に基づいて図１のデジタルス
チルカメラを使用して全体的な画像採取を示したフロー
チャート４００である。この全体的な処理を説明した後
に、図４の処理ステップのより詳細な説明について後述
する。デジタルカメラ１００が、例えば、図３のオーバ
ーラップ端部部分ａｂ，ｂｃ，ｃｄを有する一連の左か
ら右への水平方向パノラマＡ，Ｂ，Ｃ，Ｄとしてのパノ
ラマ画像を形成するための一連の画像を採取する。全体
的な画像採取プロセスはデジタルカメラ１００の初期化
で開始する。例えば水平方向か又は垂直方向のパノラマ
のオリエンテーション即ち配向状態及びピクチャスティ
ッチ用装置１２４に対するその他のシステムパラメータ
を設定するＬＣＤ制御器１２８からのユーザ入力が設定
される（ステップ４０２）。次の画像をデジタルカメラ
１００のビューファインダー内に位置決めさせる。図３
における例に戻ると、画像がＡである場合には、それが
第一画像であり、画像がＢ，Ｃ又はＤである場合には、
それが次の画像であり、且つ各画像対に対するオーバー
ラップ領域ａｄ，ｂｄ，ｃｄがコンポジット（複合物）
とされる。第一フレームか又は所望のオーバーラップを
有する相次ぐフレームのいずれかの画像がデジタルカメ
ラ１００のビューファインダー内において整合される
と、所謂理想的な次のピクチャが作成される。プレビュ
ーストリップと呼ばれるオーバーラップ領域は前のピク
チャと現在のピクチャの両方のコンポジット即ち複合物
である。プレビューストリップはオーバーラップ領域に
おいて透視的に補正された前のピクチャを有している。
プレビューストリップはユーザが現在のピクチャと前の
ピクチャとを整合させる場合の助けとなる。現在のビュ
ーをスティッチフレームステップ４０８において前のビ
ューとスティッチ即ち合成させる。最後の画像がスティ
ッチされたか否かを判別するためのテストを行う。再度
図３を参照すると、オーバーラップ領域ＣＤを使用して
画像Ｄが画像Ｃとスティッチされたか否かが判別され
る。最後の画像がスティッチされていない場合には、最
後の画像がスティッチされるまで（ステップ４１０）処
理はステップ４０４へ復帰する。最後の画像がスティッ
チされると、全体的な画像及び全体的なデータに対して
の最終的な補正が行われる（ステップ４１２）。第一フ
レームが採取された後に、前のフレームの透視的に補正
されたストリップが現在のフレーム上にオーバーレイさ
れてユーザが現在のフレームを採取することを助ける。
例えば、水平方向のパノラマが左側から右側に採取され
る場合には、前のフレームの右側部分からのストリップ
が透視的に補正され且つビューファインダー内の現在の
フレームの左側部分の上にオーバーレイ即ち重ねられ
る。各フレームを採取した後に、新たなフレームバッフ
ァでスティッチ（ｓｔｉｔｃｈ）モジュールが喚起され
る。スティッチモジュールは新たなフレームをパノラマ
内に整合させ且つブレンドさせ、且つパノラマを増分的
に構築させる。最後のフレームが採取され且つスティッ
チされた後に、スティッチ終了モジュールが呼び出され
て残存するデータを保存する。別の実施例においては、
本発明はパノラマを増分的に保存するものではなく、以
下に更に詳細に説明するように、パノラマは全く保存さ
れることはない。その代わりに、必要である場合にパノ
ラマを迅速に再生するための充分な情報と共に修正され
ていないピクチャを保存する。
チルカメラを使用して全体的な画像採取を示したフロー
チャート４００である。この全体的な処理を説明した後
に、図４の処理ステップのより詳細な説明について後述
する。デジタルカメラ１００が、例えば、図３のオーバ
ーラップ端部部分ａｂ，ｂｃ，ｃｄを有する一連の左か
ら右への水平方向パノラマＡ，Ｂ，Ｃ，Ｄとしてのパノ
ラマ画像を形成するための一連の画像を採取する。全体
的な画像採取プロセスはデジタルカメラ１００の初期化
で開始する。例えば水平方向か又は垂直方向のパノラマ
のオリエンテーション即ち配向状態及びピクチャスティ
ッチ用装置１２４に対するその他のシステムパラメータ
を設定するＬＣＤ制御器１２８からのユーザ入力が設定
される（ステップ４０２）。次の画像をデジタルカメラ
１００のビューファインダー内に位置決めさせる。図３
における例に戻ると、画像がＡである場合には、それが
第一画像であり、画像がＢ，Ｃ又はＤである場合には、
それが次の画像であり、且つ各画像対に対するオーバー
ラップ領域ａｄ，ｂｄ，ｃｄがコンポジット（複合物）
とされる。第一フレームか又は所望のオーバーラップを
有する相次ぐフレームのいずれかの画像がデジタルカメ
ラ１００のビューファインダー内において整合される
と、所謂理想的な次のピクチャが作成される。プレビュ
ーストリップと呼ばれるオーバーラップ領域は前のピク
チャと現在のピクチャの両方のコンポジット即ち複合物
である。プレビューストリップはオーバーラップ領域に
おいて透視的に補正された前のピクチャを有している。
プレビューストリップはユーザが現在のピクチャと前の
ピクチャとを整合させる場合の助けとなる。現在のビュ
ーをスティッチフレームステップ４０８において前のビ
ューとスティッチ即ち合成させる。最後の画像がスティ
ッチされたか否かを判別するためのテストを行う。再度
図３を参照すると、オーバーラップ領域ＣＤを使用して
画像Ｄが画像Ｃとスティッチされたか否かが判別され
る。最後の画像がスティッチされていない場合には、最
後の画像がスティッチされるまで（ステップ４１０）処
理はステップ４０４へ復帰する。最後の画像がスティッ
チされると、全体的な画像及び全体的なデータに対して
の最終的な補正が行われる（ステップ４１２）。第一フ
レームが採取された後に、前のフレームの透視的に補正
されたストリップが現在のフレーム上にオーバーレイさ
れてユーザが現在のフレームを採取することを助ける。
例えば、水平方向のパノラマが左側から右側に採取され
る場合には、前のフレームの右側部分からのストリップ
が透視的に補正され且つビューファインダー内の現在の
フレームの左側部分の上にオーバーレイ即ち重ねられ
る。各フレームを採取した後に、新たなフレームバッフ
ァでスティッチ（ｓｔｉｔｃｈ）モジュールが喚起され
る。スティッチモジュールは新たなフレームをパノラマ
内に整合させ且つブレンドさせ、且つパノラマを増分的
に構築させる。最後のフレームが採取され且つスティッ
チされた後に、スティッチ終了モジュールが呼び出され
て残存するデータを保存する。別の実施例においては、
本発明はパノラマを増分的に保存するものではなく、以
下に更に詳細に説明するように、パノラマは全く保存さ
れることはない。その代わりに、必要である場合にパノ
ラマを迅速に再生するための充分な情報と共に修正され
ていないピクチャを保存する。
【００３８】次に、図５乃至８を参照すると、本発明に
基づいてデジタルカメラ１００のユーザによって見た場
合の図４の透視的補正を例示した一連の左から右への水
平方向のパノラマ画像を示している。オーバーラップに
よって発生した端部６０２によって案内される理想的な
次のピクチャとの現在のピクチャのキャプチャ即ち捕獲
に注意すべきである。図５において、デジタルカメラ１
００において画像がキャプチャされ、これが前のピクチ
ャ５００となる。図６において、前のピクチャ５００か
らのプレビューエリア６０２が示されている。図７は、
ユーザが図８における現在のピクチャ８００を整合させ
ることを助けるためにどのようにしてプレビューエリア
６０２が透視的に補正即ち曲げられるか７０２というこ
とを示している。透視的に補正されたプレビューエリア
７０２は現在のピクチャ８００を一層容易に整合させる
ことに注意すべきである。図８に示したように、プレビ
ューストリップ７０２が前のピクチャ５００のオーバー
レイ（重なり）部分６０２から発生される。発生された
プレビューストリップ７０２と現在のビュー８００のオ
ーバーレイ部分との間の類似性に注意すべきである。計
算したプレビューストリップ７０２は視覚的な鍵として
使用され、現在のビュー８００がプレビューストリップ
７０２と一致するまでカメラ１００をユーザが位置決め
することを助けるためにデジタルカメラ１００のＬＣＤ
１２６上に表示される。
基づいてデジタルカメラ１００のユーザによって見た場
合の図４の透視的補正を例示した一連の左から右への水
平方向のパノラマ画像を示している。オーバーラップに
よって発生した端部６０２によって案内される理想的な
次のピクチャとの現在のピクチャのキャプチャ即ち捕獲
に注意すべきである。図５において、デジタルカメラ１
００において画像がキャプチャされ、これが前のピクチ
ャ５００となる。図６において、前のピクチャ５００か
らのプレビューエリア６０２が示されている。図７は、
ユーザが図８における現在のピクチャ８００を整合させ
ることを助けるためにどのようにしてプレビューエリア
６０２が透視的に補正即ち曲げられるか７０２というこ
とを示している。透視的に補正されたプレビューエリア
７０２は現在のピクチャ８００を一層容易に整合させる
ことに注意すべきである。図８に示したように、プレビ
ューストリップ７０２が前のピクチャ５００のオーバー
レイ（重なり）部分６０２から発生される。発生された
プレビューストリップ７０２と現在のビュー８００のオ
ーバーレイ部分との間の類似性に注意すべきである。計
算したプレビューストリップ７０２は視覚的な鍵として
使用され、現在のビュー８００がプレビューストリップ
７０２と一致するまでカメラ１００をユーザが位置決め
することを助けるためにデジタルカメラ１００のＬＣＤ
１２６上に表示される。
【００３９】計算されたプレビューストリップ７０３
は、ユーザがカメラを所望の位置に配置させることを助
けるために種々の態様でデジタルカメラ１００上に表示
させることが可能である。１つの態様は、ＬＣＤ１２６
上のシーンの現在のディスプレイでプレビューをアルフ
ァーブレンド（調節可能な係数でもって）処理すること
である。別の実施例においては、プレビューの幾つかの
ブロック及びディスプレイ現在のビューの幾つかのブロ
ックをデジタルカメラ１００のＬＣＤディスプレイ上で
インターレースさせる。
は、ユーザがカメラを所望の位置に配置させることを助
けるために種々の態様でデジタルカメラ１００上に表示
させることが可能である。１つの態様は、ＬＣＤ１２６
上のシーンの現在のディスプレイでプレビューをアルフ
ァーブレンド（調節可能な係数でもって）処理すること
である。別の実施例においては、プレビューの幾つかの
ブロック及びディスプレイ現在のビューの幾つかのブロ
ックをデジタルカメラ１００のＬＣＤディスプレイ上で
インターレースさせる。
【００４０】パノラマ画像のキャプチャ及び保存
図９は本発明に基づいて保存される図３のキャプチャさ
れた一連のピクチャの例示９００である。パノラマ画像
を形成する一連のスチル画像Ｎ−１．．．Ｎ．．．Ｎ＋
１が示されている。２つのオーバーラップ領域９０２及
び９０４も示されている。ピクチャは、カメラ１００に
おいてキャプチャ即ち捕獲される場合に、動き推定及び
カラー補正等のスティッチ用情報と共に保存される。
れた一連のピクチャの例示９００である。パノラマ画像
を形成する一連のスチル画像Ｎ−１．．．Ｎ．．．Ｎ＋
１が示されている。２つのオーバーラップ領域９０２及
び９０４も示されている。ピクチャは、カメラ１００に
おいてキャプチャ即ち捕獲される場合に、動き推定及び
カラー補正等のスティッチ用情報と共に保存される。
【００４１】より詳細には、以下のステップはパノラマ
キャプチャ及び格納期間中における詳細を説明するもの
である。
キャプチャ及び格納期間中における詳細を説明するもの
である。
【００４２】※例えばＢａｙｅｒからＲＧＢへの補間
※例えばＲＧＢからＹＵＶ４２２等への色空間変換
※例えばセンサー解像度からＶＧＡ等へのカメラ設定に
依存するオプションとしてのダウンサンプリング ※オプションとしてのデジタルズーム ※例えばＪＰＥＧ等のオプションとしての圧縮 ※非揮発性メモリ（フロッピィディスク又はフラッシュ
メモリをベースとしたカード）内における格納 ※この点において、ユーザが選択した分解能におけるピ
クチャのＹＵＶバージョン（典型的に、デジタルズーム
の後に得られるもの）がこのステップの終わりにシステ
ムメモリ内に存在するものと仮定する。これがパノラマ
シーケンスにおける最初のピクチャでない限り、動き推
定が実施され且つ丁度キャプチャしたピクチャと前にキ
ャプチャしたピクチャであって未だにＹＵＶフォーマッ
トでシステムメモリ内に存在している両者の間のカラー
ミスマッチ（色不整合）を評価する ※その結果得られるパラメータ運動ベクトル及びカラー
／コントラスト補正ファクタを、典型的に拡張又はコメ
ント用に予約されているフィールド内における圧縮され
たピクチャファイルへ付加し、フォーマットとのファイ
ル互換性を維持する。
依存するオプションとしてのダウンサンプリング ※オプションとしてのデジタルズーム ※例えばＪＰＥＧ等のオプションとしての圧縮 ※非揮発性メモリ（フロッピィディスク又はフラッシュ
メモリをベースとしたカード）内における格納 ※この点において、ユーザが選択した分解能におけるピ
クチャのＹＵＶバージョン（典型的に、デジタルズーム
の後に得られるもの）がこのステップの終わりにシステ
ムメモリ内に存在するものと仮定する。これがパノラマ
シーケンスにおける最初のピクチャでない限り、動き推
定が実施され且つ丁度キャプチャしたピクチャと前にキ
ャプチャしたピクチャであって未だにＹＵＶフォーマッ
トでシステムメモリ内に存在している両者の間のカラー
ミスマッチ（色不整合）を評価する ※その結果得られるパラメータ運動ベクトル及びカラー
／コントラスト補正ファクタを、典型的に拡張又はコメ
ント用に予約されているフィールド内における圧縮され
たピクチャファイルへ付加し、フォーマットとのファイ
ル互換性を維持する。
【００４３】本発明は例えばＲＧＢ等のその他の色空間
フォーマットにおいても同様に動作するものであること
に注意すべきである。実際に、当業者にとって明らかな
ように、本明細書に説明した方法は例えばＢａｙｅｒパ
ターン等の未処理のセンサー情報を包含するその他のピ
クチャ表示を容易に受付けることが可能である。
フォーマットにおいても同様に動作するものであること
に注意すべきである。実際に、当業者にとって明らかな
ように、本明細書に説明した方法は例えばＢａｙｅｒパ
ターン等の未処理のセンサー情報を包含するその他のピ
クチャ表示を容易に受付けることが可能である。
【００４４】図１４は画像キャプチャ及び格納及びパノ
ラマパラメータ計算を使用して一連のスチル画像のキャ
プチャ即ち捕獲に対する主要な機能を示した例示的なブ
ロック図１４００である。画像ＣＯＤＥＣ１３２の主要
な機能的コンポーネントは、更に、補間１４０２、カラ
ースペース（色空間）変換１４０４、スケーリング１４
０６、ＪＰＥＧＣＯＤＥＣ１４０８の機能的ブロックに
分割される。ピクチャスティッチ用装置１２４の主要な
機能的コンポーネントは動き推定１４１０及びパノラマ
スティッチ１４１２である。この例においては、プロセ
ッサ１３４の主要な機能的コンポーネントはＤＭＡキャ
プチャ１４１４、ＣＰＵ１４１６、メモリ制御器１４１
８に分割される。これらのコンポーネントの全ては当業
者に公知であり且つ市販されている。
ラマパラメータ計算を使用して一連のスチル画像のキャ
プチャ即ち捕獲に対する主要な機能を示した例示的なブ
ロック図１４００である。画像ＣＯＤＥＣ１３２の主要
な機能的コンポーネントは、更に、補間１４０２、カラ
ースペース（色空間）変換１４０４、スケーリング１４
０６、ＪＰＥＧＣＯＤＥＣ１４０８の機能的ブロックに
分割される。ピクチャスティッチ用装置１２４の主要な
機能的コンポーネントは動き推定１４１０及びパノラマ
スティッチ１４１２である。この例においては、プロセ
ッサ１３４の主要な機能的コンポーネントはＤＭＡキャ
プチャ１４１４、ＣＰＵ１４１６、メモリ制御器１４１
８に分割される。これらのコンポーネントの全ては当業
者に公知であり且つ市販されている。
【００４５】格納フォーマット用処理の流れ
図１０は本発明に基づくスチルピクチャキャプチャ（捕
獲）及び格納及びパノラマパラメータ計算のフローチャ
ートである。このプロセス即ち処理はユーザがパノラマ
モードを選択することで開始し且つ一連のスチル画像１
−Ｎのキャプチャを開始し（ステップ１００２）及びユ
ーザはそのシーケンスにおいて次の画像を得る（ステッ
プ１００４）。キャプチャされたスチル画像は、補間、
カラースペース変換及びダウンサンプリング、デジタル
ズーム、ＪＰＥＧ圧縮及び非揮発性メモリ内への格納等
のオプションのステップの後に格納される（ステップ１
００６）。現在の画像が１つのシリーズ即ち一連の画像
における最初のものであるか否かの判別を行うためにテ
ストが行われる（ステップ１００８）。現在の画像が１
つのシリーズにおける最初の画像である場合には、現在
の画像が通常通りに格納される（ステップ１０１０）。
一方、現在の画像が１つのシリーズの最初の画像ではな
い場合には、現在の画像と前の画像との間においてパラ
メータが計算され、そのことは動き推定及びカラーミス
マッチを包含している（ステップ１０１２）。次に、ス
テップ１０１４において、現在の画像が計算されたパラ
メータと共に格納される。ステップ１０１６において、
現在の画像がそのシリーズにおける最後のものであるこ
とが決定される場合には、本プロセスはステップ１０１
８において終了し、そうでない場合には、本プロセスは
そのシリーズにおける次の画像を採取するためにループ
バックする。
獲）及び格納及びパノラマパラメータ計算のフローチャ
ートである。このプロセス即ち処理はユーザがパノラマ
モードを選択することで開始し且つ一連のスチル画像１
−Ｎのキャプチャを開始し（ステップ１００２）及びユ
ーザはそのシーケンスにおいて次の画像を得る（ステッ
プ１００４）。キャプチャされたスチル画像は、補間、
カラースペース変換及びダウンサンプリング、デジタル
ズーム、ＪＰＥＧ圧縮及び非揮発性メモリ内への格納等
のオプションのステップの後に格納される（ステップ１
００６）。現在の画像が１つのシリーズ即ち一連の画像
における最初のものであるか否かの判別を行うためにテ
ストが行われる（ステップ１００８）。現在の画像が１
つのシリーズにおける最初の画像である場合には、現在
の画像が通常通りに格納される（ステップ１０１０）。
一方、現在の画像が１つのシリーズの最初の画像ではな
い場合には、現在の画像と前の画像との間においてパラ
メータが計算され、そのことは動き推定及びカラーミス
マッチを包含している（ステップ１０１２）。次に、ス
テップ１０１４において、現在の画像が計算されたパラ
メータと共に格納される。ステップ１０１６において、
現在の画像がそのシリーズにおける最後のものであるこ
とが決定される場合には、本プロセスはステップ１０１
８において終了し、そうでない場合には、本プロセスは
そのシリーズにおける次の画像を採取するためにループ
バックする。
【００４６】パノラマ画像用格納フォーマット
図１１は本発明に基づいて既存のＪＰＥＧフォーマット
と互換性のある格納フォーマットのブロック図１１００
である。ＪＰＥＧ用のＩＳＯＤＩＳ１０９１８仕様に基
づくテーブルが示されており、それはＷｉｌｌｉａｍ
Ｂ． Ｐｅｎｎｅｂａｋｅｒ及びＪｏａｎ Ｌ． Ｍｉ
ｔｃｈｅｌｌ著「ＪＰＥＧスチル画像データ圧縮（ＪＰ
ＥＧ Ｓｔｉｌｌ Ｉｍａｇｅ Ｄａｔａ Ｃｏｍｐｒ
ｅｓｓｉｏｎ）」、バンノストランド出版社、レインホ
ルド、ニューヨークの本に記載されている。マーカーセ
グメント１１０２、即ちより形式的にはミスレニアスマ
ーカーセグメントと知られているセグメントがセグメン
トの数に制限なしで（即ち、マーカーセグメントラス
ト）任意の順番で与えることが可能である。マーカーセ
グメント１１０２は、典型的に、以下のものを包含して
いる。
と互換性のある格納フォーマットのブロック図１１００
である。ＪＰＥＧ用のＩＳＯＤＩＳ１０９１８仕様に基
づくテーブルが示されており、それはＷｉｌｌｉａｍ
Ｂ． Ｐｅｎｎｅｂａｋｅｒ及びＪｏａｎ Ｌ． Ｍｉ
ｔｃｈｅｌｌ著「ＪＰＥＧスチル画像データ圧縮（ＪＰ
ＥＧ Ｓｔｉｌｌ Ｉｍａｇｅ Ｄａｔａ Ｃｏｍｐｒ
ｅｓｓｉｏｎ）」、バンノストランド出版社、レインホ
ルド、ニューヨークの本に記載されている。マーカーセ
グメント１１０２、即ちより形式的にはミスレニアスマ
ーカーセグメントと知られているセグメントがセグメン
トの数に制限なしで（即ち、マーカーセグメントラス
ト）任意の順番で与えることが可能である。マーカーセ
グメント１１０２は、典型的に、以下のものを包含して
いる。
【００４７】
※量子化ｔａｂｌｅ ｓｐｅｃｉｆｉｃａｔｉｏｎ
※ハフマンｔａｂｌｅ ｓｐｅｃｉｆｉｃａｔｉｏｎ
※演算条件付けｔａｂｌｅ ｓｐｅｃｉｆｉｃａｔｉｏ
ｎ ※再開始定義；コメント； ※アプリケーションデータ マーカーセグメント１１０２がいずれかの前のマーカー
セグメントを繰返す場合には、その後のマーカーセグメ
ントは前のマーカーセグメントを置換する。
ｎ ※再開始定義；コメント； ※アプリケーションデータ マーカーセグメント１１０２がいずれかの前のマーカー
セグメントを繰返す場合には、その後のマーカーセグメ
ントは前のマーカーセグメントを置換する。
【００４８】各マーカーセグメント１１０２の構造を１
１０４に示してある。そこに示したシンタックスは以下
の如くである。
１０４に示してある。そこに示したシンタックスは以下
の如くである。
【００４９】
※ＣＯＭ コメントマーカー；コメントの開始をマーク
※Ｌｃ： コメントセグメント長；コメントセグメン
トの特定の長さ ※Ｃｍｉ： コメントバイト；補間はアプリケーション
にまかされる セグメント１１０２に対する例示的なパラメータ寸法及
び値は以下の表に示してある。
トの特定の長さ ※Ｃｍｉ： コメントバイト；補間はアプリケーション
にまかされる セグメント１１０２に対する例示的なパラメータ寸法及
び値は以下の表に示してある。
【００５０】
【表１】
【００５１】図１のパノラマカメラを使用してキャプチ
ャした画像を格納することにより、動き推定のために使
用したパノラマプレイバックパラメータが各マーカーセ
グメント１１０４内に格納される。パノラマプレイバッ
クにおいて使用されたパラメータは動き推定／変位パラ
メータ、カラーパラメータ、焦点距離パラメータを包含
している。更に、各ピクチャに対するインデックスが格
納される。該インデックスは４のうちの１、４のうちの
２、等の数と共にピクチャの与えられたシリーズに対す
る独特のシード値から構成することが可能である。ここ
に説明したインデックスは単に例示的なものに過ぎず且
つ相次ぐスチル画像の間の関係を与えるその他のインデ
ックスタイプを使用することが可能であることに注意す
ることが重要である。
ャした画像を格納することにより、動き推定のために使
用したパノラマプレイバックパラメータが各マーカーセ
グメント１１０４内に格納される。パノラマプレイバッ
クにおいて使用されたパラメータは動き推定／変位パラ
メータ、カラーパラメータ、焦点距離パラメータを包含
している。更に、各ピクチャに対するインデックスが格
納される。該インデックスは４のうちの１、４のうちの
２、等の数と共にピクチャの与えられたシリーズに対す
る独特のシード値から構成することが可能である。ここ
に説明したインデックスは単に例示的なものに過ぎず且
つ相次ぐスチル画像の間の関係を与えるその他のインデ
ックスタイプを使用することが可能であることに注意す
ることが重要である。
【００５２】別の実施例においては、パノラマのプレイ
バックの処理期間中にユーザに対して充分な情報を与え
るためにインデックスと結合した各ピクチャに対して独
特の名前が与えられる。
バックの処理期間中にユーザに対して充分な情報を与え
るためにインデックスと結合した各ピクチャに対して独
特の名前が与えられる。
【００５３】ＪＰＥＧスタンダードをこの画像格納フォ
ーマットにおいて示したが、例えばＧＩＦ（グラフィッ
クスインターチェンジフォーマット）、ＢＰＭ（ビット
マップ）、ＴＩＦＦ（タグイメージファイルフォーマッ
ト）及びその他の画像フォーマット等のコメントフィー
ルドを有するその他のスチル画像格納フォーマットを使
用することも可能である。理解すべきことであるが、画
像フォーマットにおけるコメントフィールドを使用する
ことによって、オリジナルのスチル画像をパノラマプレ
イバックパラメータと共に格納することが可能である。
従って、スチル画像はディスプレイ用の選択したスタン
ダードのスチル画像フォーマットと互換性を有するのみ
ならず、該画像は以下に説明するようなパノラマパラメ
ータを使用してプレイバック即ち再生することも可能で
ある。更に、プレイバック期間中に、該シリーズにおけ
る各画像は修正なしであるがパノラマ画像の高速の再生
を可能とする全てのパラメータと共に格納されているの
で、ユーザは、必要とされる場合には、パノラマ再生に
おける不完全性を補正するために手作業によってこれら
のパラメータを調節することが可能である。
ーマットにおいて示したが、例えばＧＩＦ（グラフィッ
クスインターチェンジフォーマット）、ＢＰＭ（ビット
マップ）、ＴＩＦＦ（タグイメージファイルフォーマッ
ト）及びその他の画像フォーマット等のコメントフィー
ルドを有するその他のスチル画像格納フォーマットを使
用することも可能である。理解すべきことであるが、画
像フォーマットにおけるコメントフィールドを使用する
ことによって、オリジナルのスチル画像をパノラマプレ
イバックパラメータと共に格納することが可能である。
従って、スチル画像はディスプレイ用の選択したスタン
ダードのスチル画像フォーマットと互換性を有するのみ
ならず、該画像は以下に説明するようなパノラマパラメ
ータを使用してプレイバック即ち再生することも可能で
ある。更に、プレイバック期間中に、該シリーズにおけ
る各画像は修正なしであるがパノラマ画像の高速の再生
を可能とする全てのパラメータと共に格納されているの
で、ユーザは、必要とされる場合には、パノラマ再生に
おける不完全性を補正するために手作業によってこれら
のパラメータを調節することが可能である。
【００５４】パノラマ画像のプレイバックの概観
次に、図１２を参照すると、本発明に基づいてパノラマ
プレイバックのために使用される全体的な画像スティッ
チプロセスのフローチャート１２００が示されている。
このプロセスはデジタルカメラ１００のユーザインター
フェース１３６を介してステップ１２０２においてパノ
ラマプレイバックモードを選択することで開始する。図
９及び上のパラグラフにおいて詳細に説明したような以
前に格納した２つのピクチャがメモリから検索される
（ステップ１２０４）。これらの検索された２つの画像
はデコードされ且つディスプレイフォーマットへダウン
サンプリングされ（典型的に、４又は２Ｍｐｅｌから７
０４×４８０へのダウンサンプリング）且つ以下に更に
詳細に説明するように循環型ディスプレイバッファ内に
おいてスティッチされる。従って、ユーザはパノラマの
部分的なビューが与えられ、それは最初の２つのピクチ
ャのオーバーラップ部分において中心位置決めされる。
１実施例においては、提供されたこれら２つのピクチャ
は部分的ビューにおいて定義されたパノラマの中心であ
る。本発明は単一次元のパノラマ（即ち、垂直及び水平
方向のパノラマ）に制限されるものではなく、パノラマ
がそれを構成するピクチャよりも幅広であると共に高さ
も高い二次元パノラマとも互換性を有している。別の実
施例においては、上述した如く２個のピクチャの代わり
に４個のピクチャが検索され且つデコードされる二次元
パノラマが使用される。提供されるこれら４個のピクチ
ャは二次元パノラマに対するパノラマの中心である。次
に、ステップ１２０６においてユーザがどのような態様
でスクローリングを行うかを決定する。一次元スクロー
ルの場合には、それは左から右、右から左、上から下、
下から上のいずれかである。二次元スクロールにおいて
は、水平方向及び垂直方向の両方のボタンが存在してい
る。画像がスクロールされるに従い、バッファに対する
ポインタがアップデートされる。第二に、スクロールが
現在の位置から充分離れている場合には（ステップ１２
０８）、必要とされる次の画像がフェッチされ且つ二次
元循環型バッファ内に配置される。この点については、
「スクロール可能画像ディスプレイ用二次元循環型デー
タバッファを使用した方法及び装置（Ｍｅｔｈｏｄ Ａ
ｎｄ Ａｐｐａｒａｔｕｓ Ｕｓｉｎｇ Ａ Ｔｗｏ−
Ｄｉｍｅｎｓｉｏｎａｌ Ｃｉｒｃｕｌａｒ Ｄａｔａ
ＢｕｆｆｅｒＦｏｒ Ｓｃｒｏｌｌａｂｌｅ Ｉｍａ
ｇｅ Ｄｉｓｐｌａｙ）」という名称の同時係属中の米
国特許出願第０９／９２０，０２６号に記されており、
その特許出願の記載内容全体を引用によって本明細書に
取込む。次のスチル画像のデコーディングがステップ１
２１０において開始される。スクロールが、循環型バッ
ファをアップデートさせることを必要とすることのない
ようなものである場合には、本プロセスはステップ１２
０６へ復帰する。
プレイバックのために使用される全体的な画像スティッ
チプロセスのフローチャート１２００が示されている。
このプロセスはデジタルカメラ１００のユーザインター
フェース１３６を介してステップ１２０２においてパノ
ラマプレイバックモードを選択することで開始する。図
９及び上のパラグラフにおいて詳細に説明したような以
前に格納した２つのピクチャがメモリから検索される
（ステップ１２０４）。これらの検索された２つの画像
はデコードされ且つディスプレイフォーマットへダウン
サンプリングされ（典型的に、４又は２Ｍｐｅｌから７
０４×４８０へのダウンサンプリング）且つ以下に更に
詳細に説明するように循環型ディスプレイバッファ内に
おいてスティッチされる。従って、ユーザはパノラマの
部分的なビューが与えられ、それは最初の２つのピクチ
ャのオーバーラップ部分において中心位置決めされる。
１実施例においては、提供されたこれら２つのピクチャ
は部分的ビューにおいて定義されたパノラマの中心であ
る。本発明は単一次元のパノラマ（即ち、垂直及び水平
方向のパノラマ）に制限されるものではなく、パノラマ
がそれを構成するピクチャよりも幅広であると共に高さ
も高い二次元パノラマとも互換性を有している。別の実
施例においては、上述した如く２個のピクチャの代わり
に４個のピクチャが検索され且つデコードされる二次元
パノラマが使用される。提供されるこれら４個のピクチ
ャは二次元パノラマに対するパノラマの中心である。次
に、ステップ１２０６においてユーザがどのような態様
でスクローリングを行うかを決定する。一次元スクロー
ルの場合には、それは左から右、右から左、上から下、
下から上のいずれかである。二次元スクロールにおいて
は、水平方向及び垂直方向の両方のボタンが存在してい
る。画像がスクロールされるに従い、バッファに対する
ポインタがアップデートされる。第二に、スクロールが
現在の位置から充分離れている場合には（ステップ１２
０８）、必要とされる次の画像がフェッチされ且つ二次
元循環型バッファ内に配置される。この点については、
「スクロール可能画像ディスプレイ用二次元循環型デー
タバッファを使用した方法及び装置（Ｍｅｔｈｏｄ Ａ
ｎｄ Ａｐｐａｒａｔｕｓ Ｕｓｉｎｇ Ａ Ｔｗｏ−
Ｄｉｍｅｎｓｉｏｎａｌ Ｃｉｒｃｕｌａｒ Ｄａｔａ
ＢｕｆｆｅｒＦｏｒ Ｓｃｒｏｌｌａｂｌｅ Ｉｍａ
ｇｅ Ｄｉｓｐｌａｙ）」という名称の同時係属中の米
国特許出願第０９／９２０，０２６号に記されており、
その特許出願の記載内容全体を引用によって本明細書に
取込む。次のスチル画像のデコーディングがステップ１
２１０において開始される。スクロールが、循環型バッ
ファをアップデートさせることを必要とすることのない
ようなものである場合には、本プロセスはステップ１２
０６へ復帰する。
【００５５】要するに、このフローチャート１２００は
どのような態様でパノラマがスクロールされるかを決定
するためにユーザ入力をサンプルし且つそれに従って二
次元循環型バッファに対するディスプレイポインターを
アップデートする実時間ループである。ディスプレイビ
ューポートが部分的に再生されたパノラマの端部に到達
すると、次のピクチャがデコードされ且つパノラマバッ
ファ内にスティッチ即ち合成される。この動作は、制御
がすぐにユーザへ復帰するように引き起こすことが可能
である。現在のものが終了する場合にのみ新たなデコー
ド動作が開始することが可能である。この拘束条件は最
大スクロール速度を決定する。ユーザがパノラマのこの
部分へスクロールする前にアップデートが終了するよう
な充分に前の時間において二次元循環型バッファのアッ
プデートが開始されねばならない。このことはスクロー
ル速度、デコーディング、スティッチ待ち時間、及び二
次元循環型バッファの寸法の関数である。ここでの時間
的に臨界的な動作は相次ぐピクチャのデコード及びステ
ィッチである。何故ならば、ユーザはパノラマを介して
スクロールするからである。これらのステップについて
は以下により詳細に説明する。
どのような態様でパノラマがスクロールされるかを決定
するためにユーザ入力をサンプルし且つそれに従って二
次元循環型バッファに対するディスプレイポインターを
アップデートする実時間ループである。ディスプレイビ
ューポートが部分的に再生されたパノラマの端部に到達
すると、次のピクチャがデコードされ且つパノラマバッ
ファ内にスティッチ即ち合成される。この動作は、制御
がすぐにユーザへ復帰するように引き起こすことが可能
である。現在のものが終了する場合にのみ新たなデコー
ド動作が開始することが可能である。この拘束条件は最
大スクロール速度を決定する。ユーザがパノラマのこの
部分へスクロールする前にアップデートが終了するよう
な充分に前の時間において二次元循環型バッファのアッ
プデートが開始されねばならない。このことはスクロー
ル速度、デコーディング、スティッチ待ち時間、及び二
次元循環型バッファの寸法の関数である。ここでの時間
的に臨界的な動作は相次ぐピクチャのデコード及びステ
ィッチである。何故ならば、ユーザはパノラマを介して
スクロールするからである。これらのステップについて
は以下により詳細に説明する。
【００５６】図１３は本発明に基づいて図１及び２のデ
ィスプレイハードウエア１２６を介して図１２のフロー
チャートのパノラマプレイバックに対する機能的ブロッ
ク図１３００を示している。ステップ１２０４において
説明したような最初の２つの画像が格納部１４２（例え
ば、フラッシュメモリ又はハードディスクドライブ）か
ら検索され且つ図１及び２に対して上述したようなコン
ポーネント、即ちピクチャスティッチ用装置１２４、ピ
クチャプロセッサ１２０、ＤＳＰ１３４、シリアルＩ／
Ｏ１３６、画像ＣＯＤＥＣ１３２、ＬＣＤプレビュー及
びディスプレイ１２６、ＰＡＬ／ＮＴＳＣエンコーダ１
３０及びＬＣＤ制御及びドライバ１２６を使用して、Ｄ
ＭＡ転送１３０を使用してこれら２つの画像をＪＰＥＧ
ビットバッファ１３０４内に配置させる。ＪＰＥＧビッ
トバッファ１３０４から、これら２つの画像を、ブロッ
ク１３０６，１３０８，１３１０，１３２１において、
デコードし且つディスプレイフォーマットへ再寸法設定
即ちダウンサンプリングさせる（典型的に、４又は２Ｍ
ｐｅｌから例えば７０４×４８０等のディスプレイ１２
６の解像度へダウンさせる）。同時に、パノラマパラメ
ータがＪＰＥＧビットバッファ１３０４からステップ１
３１４において抽出され且つステップ１３１６において
スティッチを行うために使用可能とされる。スティッチ
ステップ１３１８において、再寸法設定されたバッファ
１３１２内と結合され且つパノラマパラメータ１３１６
と結合された二次元循環型バッファ１３１８内の現在の
情報が使用されて画像をスティッチさせ（１３２０）且
つそれらを二次元循環型バッファ１３１８内に戻して配
置させる。該二次元循環型バッファは図１及び２におけ
るフレームバッファ１２２として実現したフレームとす
ることが可能である。ディスプレイドライバ１２８は結
果的に得られる画像をＴＶ又はＬＣＤディスプレイ１２
６に対してレンダリングさせる。図１３に示した全ての
機能的ブロックは例示的なものに過ぎず且つ一時的バッ
ファ１３０４，１３１２，１３１６を包含するその他の
機能的ブロックの組み合わせを結合させたり分離させた
りすることが可能であることに注意すべきである。
ィスプレイハードウエア１２６を介して図１２のフロー
チャートのパノラマプレイバックに対する機能的ブロッ
ク図１３００を示している。ステップ１２０４において
説明したような最初の２つの画像が格納部１４２（例え
ば、フラッシュメモリ又はハードディスクドライブ）か
ら検索され且つ図１及び２に対して上述したようなコン
ポーネント、即ちピクチャスティッチ用装置１２４、ピ
クチャプロセッサ１２０、ＤＳＰ１３４、シリアルＩ／
Ｏ１３６、画像ＣＯＤＥＣ１３２、ＬＣＤプレビュー及
びディスプレイ１２６、ＰＡＬ／ＮＴＳＣエンコーダ１
３０及びＬＣＤ制御及びドライバ１２６を使用して、Ｄ
ＭＡ転送１３０を使用してこれら２つの画像をＪＰＥＧ
ビットバッファ１３０４内に配置させる。ＪＰＥＧビッ
トバッファ１３０４から、これら２つの画像を、ブロッ
ク１３０６，１３０８，１３１０，１３２１において、
デコードし且つディスプレイフォーマットへ再寸法設定
即ちダウンサンプリングさせる（典型的に、４又は２Ｍ
ｐｅｌから例えば７０４×４８０等のディスプレイ１２
６の解像度へダウンさせる）。同時に、パノラマパラメ
ータがＪＰＥＧビットバッファ１３０４からステップ１
３１４において抽出され且つステップ１３１６において
スティッチを行うために使用可能とされる。スティッチ
ステップ１３１８において、再寸法設定されたバッファ
１３１２内と結合され且つパノラマパラメータ１３１６
と結合された二次元循環型バッファ１３１８内の現在の
情報が使用されて画像をスティッチさせ（１３２０）且
つそれらを二次元循環型バッファ１３１８内に戻して配
置させる。該二次元循環型バッファは図１及び２におけ
るフレームバッファ１２２として実現したフレームとす
ることが可能である。ディスプレイドライバ１２８は結
果的に得られる画像をＴＶ又はＬＣＤディスプレイ１２
６に対してレンダリングさせる。図１３に示した全ての
機能的ブロックは例示的なものに過ぎず且つ一時的バッ
ファ１３０４，１３１２，１３１６を包含するその他の
機能的ブロックの組み合わせを結合させたり分離させた
りすることが可能であることに注意すべきである。
【００５７】本発明を使用することにより、個別的なパ
ノラマピクチャ及び個々のパノラマストリップ、即ちピ
クチャＮ−１．．．Ｎ．．．Ｎ＋１の両方が格納される
従来のパノラマ画像格納部の格納条件が減少される。本
発明の相次ぐ画像は通常のパノラマでないスチル画像キ
ャプチャのように保存されるが、動き推定及びカラー補
正パラメータが計算され且つ各ピクチャと共に格納され
る。これらの格納されたパラメータは、後に、パノラマ
が作成される場合に使用される。更に、ユーザはデジタ
ルスチルカメラと対話を行い且つより良いパノラマ画像
を生成するために、動き推定等のパノラマスティッチア
ルゴリズムの何等かの不完全性を解消すべく作業するこ
とが可能である。
ノラマピクチャ及び個々のパノラマストリップ、即ちピ
クチャＮ−１．．．Ｎ．．．Ｎ＋１の両方が格納される
従来のパノラマ画像格納部の格納条件が減少される。本
発明の相次ぐ画像は通常のパノラマでないスチル画像キ
ャプチャのように保存されるが、動き推定及びカラー補
正パラメータが計算され且つ各ピクチャと共に格納され
る。これらの格納されたパラメータは、後に、パノラマ
が作成される場合に使用される。更に、ユーザはデジタ
ルスチルカメラと対話を行い且つより良いパノラマ画像
を生成するために、動き推定等のパノラマスティッチア
ルゴリズムの何等かの不完全性を解消すべく作業するこ
とが可能である。
【００５８】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
【図１】 本発明の１つの側面に基づくデジタルスチル
カメラを示した概略ブロック図。
カメラを示した概略ブロック図。
【図２】 本発明に基づいて図１のピクチャスティッチ
用装置がセミカスタム半導体装置におけるスタンダード
セルとして集積化されているデジタルスチルカメラの別
の実施例を示した概略ブロック図。
用装置がセミカスタム半導体装置におけるスタンダード
セルとして集積化されているデジタルスチルカメラの別
の実施例を示した概略ブロック図。
【図３】 本発明に基づいてオーバーラップ領域を有す
るパノラマ画像を構成する一連の個別的な水平方向スチ
ル画像を示した概略図。
るパノラマ画像を構成する一連の個別的な水平方向スチ
ル画像を示した概略図。
【図４】 本発明に基づいて図１のデジタルスチルカメ
ラを使用して図３の水平方向画像の全体的な画像採取処
理の流れを示したフローチャート。
ラを使用して図３の水平方向画像の全体的な画像採取処
理の流れを示したフローチャート。
【図５】 本発明に基づいて図４の全体的な画像採取プ
ロセスのプレビューストリップの複合オーバーレイ及び
透視補正を示した前のピクチャを示した概略図。
ロセスのプレビューストリップの複合オーバーレイ及び
透視補正を示した前のピクチャを示した概略図。
【図６】 本発明に基づく図９の選択したオーバーラッ
プ領域を示した概略図。
プ領域を示した概略図。
【図７】 本発明に基づいて理想的な次のピクチャを整
合させるための図６のオーバーラップ領域の補正した透
視図を示した概略図。
合させるための図６のオーバーラップ領域の補正した透
視図を示した概略図。
【図８】 本発明に基づいて図７において発生したオー
バーラップによって案内される理想的な次のピクチャを
有する現在のピクチャを示した概略図。
バーラップによって案内される理想的な次のピクチャを
有する現在のピクチャを示した概略図。
【図９】 本発明に基づいて保存される図３のキャプチ
ャされた一連のピクチャを示した概略図。
ャされた一連のピクチャを示した概略図。
【図１０】 本発明に基づいてスチルピクチャのキャプ
チャ及び格納及びパノラマパラメータ計算を示したフロ
ーチャート。
チャ及び格納及びパノラマパラメータ計算を示したフロ
ーチャート。
【図１１】 本発明に基づいて既存のＪＰＥＧフォーマ
ットと互換性を有する格納フォーマットを示した概略ブ
ロック図。
ットと互換性を有する格納フォーマットを示した概略ブ
ロック図。
【図１２】 本発明に基づいてパノラマ再生のために使
用される全体的な画像スティッチプロセスを示したフロ
ーチャート。
用される全体的な画像スティッチプロセスを示したフロ
ーチャート。
【図１３】 本発明に基づいて図１及び２のディスプレ
イハードウエアを介して図１２のフローチャートのパノ
ラマプレイバックに対する機能的概略ブロック図。
イハードウエアを介して図１２のフローチャートのパノ
ラマプレイバックに対する機能的概略ブロック図。
【図１４】 本発明に基づいて図１０の画像キャプチャ
及び格納及びパノラマパラメータ計算を使用して一連の
スチル画像のキャプチャに対する主要な機能を示した例
示的ブロック図。
及び格納及びパノラマパラメータ計算を使用して一連の
スチル画像のキャプチャに対する主要な機能を示した例
示的ブロック図。
１００ デジタルスチルカメラ
１０２ 光学レンズ
１０４ オートフォーカス／シャッター、ドライバ及び
アクチュエータ １０４ ＣＣＤ １０６ イメジャー（撮像器） １０８ 測光インターフェース １１２ オーディオ採取装置 １１４ オーディオ処理回路 １１６ ピクチャプロセッサ １１８ バッテリ １２０ ピクチャスティッチ用装置 １２２ ＬＣＤディスプレイ １２４ ＰＡＬ／ ＮＴＳＣ １３２ 画像ＣＯＤＥＣ １３４ ＬＣＤ制御器 １３６ データＩ／Ｏ １４２ 格納媒体
アクチュエータ １０４ ＣＣＤ １０６ イメジャー（撮像器） １０８ 測光インターフェース １１２ オーディオ採取装置 １１４ オーディオ処理回路 １１６ ピクチャプロセッサ １１８ バッテリ １２０ ピクチャスティッチ用装置 １２２ ＬＣＤディスプレイ １２４ ＰＡＬ／ ＮＴＳＣ １３２ 画像ＣＯＤＥＣ １３４ ＬＣＤ制御器 １３６ データＩ／Ｏ １４２ 格納媒体
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 5/93 Ｚ
(72)発明者 オズワルド エム． コラビン
アメリカ合衆国， カリフォルニア
92122， サン ディエゴ， ジェネシー
コーブ 5245
(72)発明者 エマニュエル ルシンキ
アメリカ合衆国， カリフォルニア
92103， サン ディエゴ， ファースト
アベニュー 3782， ナンバー 205
Ｆターム(参考） 5C023 AA11 AA31 BA11 CA01 DA04
DA08
5C053 FA08 FA14 FA27 GB36 KA05
KA24 LA01 LA06
5C062 AB21 AB23 AB41 AB42 AC05
AC22 AC24 AC25 AE03
Claims (21)
- 【請求項１】 パノラマ画像を形成するために複数個の
スチル画像を格納する方法において、 パノラマ画像を形成するための一連の画像の一部を形成
する第一画像を受取り、 前記第一画像をメモリ内に格納し、 1個又はそれ以上のその後の画像を受取り且つ前記受取
った画像の各々に対して、 現在の画像とメモリ内に格納されている前の画像との間
の１個又はそれ以上のパノラマパラメータを計算し、 現在の画像を前記１個又はそれ以上のパノラマパラメー
タと共にメモリ内に格納する、ことを特徴とする方法。 - 【請求項２】 請求項１において、現在の画像を前記１
個又はそれ以上のパノラマ画像と共に格納する場合に、
パノラマパラメータなしで格納されているその他の画像
との格納画像ファイル互換性を保存するためにコメント
又は拡張のために予約されている圧縮画像フォーマット
のフィールド内に前記パノラマパラメータを格納するこ
とを特徴とする方法。 - 【請求項３】 請求項２において、前記現在の画像を１
個又はそれ以上のパノラマパラメータと共に格納する場
合に、前記現在の画像をＪＰＥＧ、ＢＭＰ、ＴＩＦＦか
らなる画像フォーマットのグループから選択した画像フ
ォーマットで格納することを特徴とする方法。 - 【請求項４】 請求項２において、前記現在の画像を１
個又はそれ以上のパノラマパラメータで格納する場合
に、前記現在の画像を非揮発性メモリ内に格納すること
を特徴とする方法。 - 【請求項５】 請求項２において、前記現在の画像を１
個又はそれ以上のパノラマパラメータと共に格納する場
合に、前記パノラマパラメータを画像フォーマットのコ
メントフィールド内に格納することを特徴とする方法。 - 【請求項６】 請求項２において、前記現在の画像を１
個又はそれ以上のパノラマパラメータと共に格納する場
合に、前記パノラマパラメータをＪＰＥＧ画像フォーマ
ットのマーカーセグメント内に格納することを特徴とす
る方法。 - 【請求項７】 請求項１において、前記現在の画像を１
個又はそれ以上のパノラマパラメータと共に格納する場
合に、前記一連の画像中の前記現在の画像のシーケンス
番号を表わすインデックス値を格納することを特徴とす
る方法。 - 【請求項８】 請求項１において、前記現在の画像を１
個又はそれ以上のパノラマパラメータと共に格納する場
合に、動き推定、変位、カラー、焦点距離のパラメータ
のうちのいずれか１つを格納することを特徴とする方
法。 - 【請求項９】 請求項１において、更に、 メモリから１個又はそれ以上の画像を検索し、且つ以前
にメモリ内に格納した前記１個又はそれ以上のパノラマ
パラメータを使用してパノラマ画像を形成するために前
記１個又はそれ以上の画像をスティッチしてパノラマ画
像を形成するために格納されている前記複数個のスチル
画像をプレイバックすることを特徴とする方法。 - 【請求項１０】 請求項９において、前記複数個のスチ
ル画像をプレイバックする場合に、与えられた画像フォ
ーマットから前記１個又はそれ以上の画像をデコード
し、且つ与えられたディスプレイフォーマットに適合さ
せるために前記１個又はそれ以上の画像をダウンサンプ
リングすることを特徴とする方法。 - 【請求項１１】 デジタルカメラからパノラマ画像を形
成するために複数個のスチル画像を格納するためのプロ
グラミング命令を格納するコンピュータによって読取可
能な記録媒体において、前記プログラミング命令が、 パノラマ画像を形成するために一連の画像の一部を形成
する第一画像を受取り、 前記第一画像をメモリ内に格納し、 １個又はそれ以上のその後の画像を受取り且つ前記受取
った画像の各々に対して、現在の画像とメモリ内に格納
されている前の画像との間の１個又はそれ以上のパノラ
マパラメータを計算し、且つ前記現在の画像を前記１個
又はそれ以上のパノラマパラメータと共にメモリ内に格
納するプログラミング命令を実施する、ことを包含して
いることを特徴とするコンピュータによって読取可能な
記録媒体。 - 【請求項１２】 請求項１１において、前記現在の画像
を前記１個又はそれ以上のパノラマパラメータと共に格
納するプログラミング命令が、パノラマパラメータなし
で格納されるその他の画像との格納されている画像ファ
イル互換性を維持するためにコメント又は拡張用に予約
されている圧縮画像フォーマットのフィールド内に前記
パノラマパラメータを格納することを包含していること
を特徴とするコンピュータによって読取可能な記録媒
体。 - 【請求項１３】 請求項１２において、前記現在の画像
を１個又はそれ以上のパノラマパラメータと共に格納す
るプログラミング命令が、前記現在の画像をＪＰＥＧ、
ＢＭＰ、ＴＩＦＦからなる画像フォーマットのグループ
から選択した画像フォーマットで格納することを包含し
ていることを特徴とするコンピュータによって読取可能
な記録媒体。 - 【請求項１４】 パノラマ画像を形成するために複数個
のスチル画像を格納するピクチャスティッチ用装置にお
いて、 パノラマ画像を形成するために複数個のスチル画像を保
持するメモリへのインターフェース、 パノラマ画像を形成するための一連の画像の一部を形成
するメモリ内において受取られる第一画像、 バッファ内に受取られる１個又はそれ以上のその後の画
像、 １個又はそれ以上のパノラマパラメータを計算し且つメ
モリ内に受取られる各１個又はそれ以上のその後の画像
に対して、現在の画像とメモリ内に格納されている前の
画像との間の１個又はそれ以上のパノラマパラメータを
計算するためのプロセッサに対するインターフェース、
を有しており、前記１個又はそれ以上のパノラマパラメ
ータと共に前記現在の画像がメモリ内に格納されている
ことを特徴とする装置。 - 【請求項１５】 請求項１４において、パノラマパラメ
ータなしで格納されているその他の画像との格納されて
いる画像ファイル互換性を維持するためにコメント又は
拡張用に予約されている圧縮画像フォーマットのフィー
ルド内に前記現在の画像と共に前記１個又はそれ以上の
パノラマパラメータを格納することを特徴とする装置。 - 【請求項１６】 請求項１５において、前記１個又はそ
れ以上のパノラマパラメータが、ＪＰＥＧ、ＢＭＰ、Ｔ
ＩＦＦからなる画像フォーマットのグループから選択し
た画像フォーマットで前記現在の画像を格納することを
包含していることを特徴とする装置。 - 【請求項１７】 請求項１４において、前記メモリに対
するインターフェースが非揮発性メモリに対するインタ
ーフェースを有していることを特徴とする装置。 - 【請求項１８】 請求項１５において、前記１個又はそ
れ以上のパノラマパラメータが画像フォーマットのコメ
ントフィールド内に格納されていることを特徴とする装
置。 - 【請求項１９】 請求項１５において、前記１個又はそ
れ以上のパノラマパラメータがＪＰＥＧ画像フォーマッ
トのマーカーセグメント内に格納されることを特徴とす
る装置。 - 【請求項２０】 請求項１４において、前記１個又はそ
れ以上のパノラマパラメータが前記一連の画像における
前記現在の画像のシーケンス番号を表わすインデックス
値と共に格納されることを特徴とする装置。 - 【請求項２１】 請求項１４において、前記１個又はそ
れ以上のパノラマパラメータが動き推定、変位、カラ
ー、焦点距離からなるパラメータのうちのいずれか１つ
を包含していることを特徴とする装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/53222 | 2001-10-23 | ||
| US10/053,222 US7064783B2 (en) | 1999-12-31 | 2001-10-23 | Still picture format for subsequent picture stitching for forming a panoramic image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003199034A true JP2003199034A (ja) | 2003-07-11 |
Family
ID=21982733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002308192A Pending JP2003199034A (ja) | 2001-10-23 | 2002-10-23 | パノラマ画像を形成するための事後的ピクチャスティッチ用スチルピクチャフォーマット |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7064783B2 (ja) |
| EP (1) | EP1309171A3 (ja) |
| JP (1) | JP2003199034A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259436A (ja) * | 2006-03-10 | 2007-10-04 | Sony Taiwan Ltd | 最適化された映像合成方法 |
| US9378544B2 (en) | 2012-03-15 | 2016-06-28 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for panoramic image using a single camera |
| WO2021181170A1 (en) | 2020-03-10 | 2021-09-16 | Ricoh Company, Ltd. | Image processing device, image processing method, image capturing apparatus, and image processing system |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6466701B1 (en) * | 1997-09-10 | 2002-10-15 | Ricoh Company, Ltd. | System and method for displaying an image indicating a positional relation between partially overlapping images |
| US7373017B2 (en) * | 2005-10-04 | 2008-05-13 | Sony Corporation | System and method for capturing adjacent images by utilizing a panorama mode |
| WO2001083392A1 (fr) * | 2000-04-28 | 2001-11-08 | Asahi Glass Company, Limited | Verre revetu d'un film colore thermo-reflecteur et procede de fabrication associe |
| JP2002158893A (ja) * | 2000-11-22 | 2002-05-31 | Minolta Co Ltd | 画像補正装置、画像補正方法および記録媒体 |
| JP3854817B2 (ja) * | 2001-04-19 | 2006-12-06 | キヤノン株式会社 | 画像処理装置および画像処理装置の制御方法および記憶媒体 |
| US6747647B2 (en) * | 2001-05-02 | 2004-06-08 | Enroute, Inc. | System and method for displaying immersive video |
| US6801219B2 (en) * | 2001-08-01 | 2004-10-05 | Stmicroelectronics, Inc. | Method and apparatus using a two-dimensional circular data buffer for scrollable image display |
| US7079160B2 (en) * | 2001-08-01 | 2006-07-18 | Stmicroelectronics, Inc. | Method and apparatus using a two-dimensional circular data buffer for scrollable image display |
| TW200306741A (en) * | 2002-03-27 | 2003-11-16 | Matsushita Electric Ind Co Ltd | Image processing apparatus and method of image processing |
| EP1496687A4 (en) * | 2002-04-17 | 2006-09-20 | Seiko Epson Corp | DIGITAL CAMERA |
| JP2004015286A (ja) * | 2002-06-05 | 2004-01-15 | Seiko Epson Corp | ディジタルカメラ |
| WO2004014067A1 (ja) * | 2002-08-01 | 2004-02-12 | Seiko Epson Corporation | ディジタルカメラ |
| US7103230B1 (en) * | 2002-11-15 | 2006-09-05 | Hewlett-Packard Development Company, L.P. | Embedding editing commands in digital images |
| US7081874B2 (en) * | 2002-12-20 | 2006-07-25 | Motorola, Inc. | Portable display device and method utilizing embedded still image buffer to facilitate full motion video playback |
| US7119816B2 (en) * | 2003-03-31 | 2006-10-10 | Microsoft Corp. | System and method for whiteboard scanning to obtain a high resolution image |
| SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
| US7358498B2 (en) * | 2003-08-04 | 2008-04-15 | Technest Holdings, Inc. | System and a method for a smart surveillance system |
| JP4196216B2 (ja) * | 2003-09-08 | 2008-12-17 | 日本電気株式会社 | 画像合成システム、画像合成方法及びプログラム |
| JP2005123667A (ja) * | 2003-10-14 | 2005-05-12 | Seiko Epson Corp | 複数の画像データからの静止画像データの生成 |
| US7409105B2 (en) * | 2003-10-22 | 2008-08-05 | Arcsoft, Inc. | Panoramic maker engine for a low profile system |
| US7149973B2 (en) * | 2003-11-05 | 2006-12-12 | Sonic Foundry, Inc. | Rich media event production system and method including the capturing, indexing, and synchronizing of RGB-based graphic content |
| US7746404B2 (en) * | 2003-11-10 | 2010-06-29 | Hewlett-Packard Development Company, L.P. | Digital camera with panoramic image capture |
| US20080079737A1 (en) * | 2003-11-19 | 2008-04-03 | Reuven Bakalash | Multi-mode parallel graphics rendering and display system supporting real-time detection of mode control commands (MCCS) programmed within pre-profiled scenes of the graphics-based application |
| US20050168589A1 (en) * | 2004-01-30 | 2005-08-04 | D. Amnon Silverstein | Method and system for processing an image with an image-capturing device |
| JP4293053B2 (ja) * | 2004-05-19 | 2009-07-08 | ソニー株式会社 | 撮像装置及び方法 |
| EP1613060A1 (en) | 2004-07-02 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Capturing a sequence of images |
| KR100688383B1 (ko) | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 파노라마 영상의 움직임 추정 및 보상 |
| FR2881598B1 (fr) * | 2005-02-01 | 2007-08-03 | Canon Kk | Procede et dispositif d'enregistrement d'images composant un panorama, de visualisation et de modification d'un panorama |
| US7646400B2 (en) * | 2005-02-11 | 2010-01-12 | Creative Technology Ltd | Method and apparatus for forming a panoramic image |
| US7424218B2 (en) * | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
| US7460730B2 (en) * | 2005-08-04 | 2008-12-02 | Microsoft Corporation | Video registration and image sequence stitching |
| US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
| US8509563B2 (en) | 2006-02-02 | 2013-08-13 | Microsoft Corporation | Generation of documents from images |
| KR101264804B1 (ko) * | 2006-08-16 | 2013-05-15 | 삼성전자주식회사 | 최적의 촬영위치를 알릴 수 있는 파노라마 촬영 방법 및장치 |
| JP4750854B2 (ja) * | 2006-09-14 | 2011-08-17 | 富士通株式会社 | 画像処理方法および装置とそのプログラム |
| EP2479993A3 (en) * | 2006-12-04 | 2013-12-11 | Lynx System Developers, Inc. | Autonomous systems and methods for still and moving picture production |
| US7936915B2 (en) * | 2007-05-29 | 2011-05-03 | Microsoft Corporation | Focal length estimation for panoramic stitching |
| US8009178B2 (en) * | 2007-06-29 | 2011-08-30 | Microsoft Corporation | Augmenting images for panoramic display |
| WO2009040871A1 (ja) * | 2007-09-25 | 2009-04-02 | Fujitsu Limited | 画像合成装置及び方法 |
| US20090192921A1 (en) * | 2008-01-24 | 2009-07-30 | Michael Alan Hicks | Methods and apparatus to survey a retail environment |
| US8160391B1 (en) * | 2008-06-04 | 2012-04-17 | Google Inc. | Panoramic image fill |
| US8134589B2 (en) * | 2008-07-17 | 2012-03-13 | Eastman Kodak Company | Zoom by multiple image capture |
| US9307165B2 (en) * | 2008-08-08 | 2016-04-05 | Qualcomm Technologies, Inc. | In-camera panorama image stitching assistance |
| US8405742B2 (en) | 2008-12-30 | 2013-03-26 | Massachusetts Institute Of Technology | Processing images having different focus |
| JP5218071B2 (ja) * | 2009-01-07 | 2013-06-26 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5436458B2 (ja) * | 2009-02-12 | 2014-03-05 | 日本電信電話株式会社 | 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム |
| RU2498522C2 (ru) * | 2009-02-23 | 2013-11-10 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования многоракурсных изображений, способ декодирования многоракурсных изображений, устройство кодирования многоракурсных изображений, устройство декодирования многоракурсных изображений, компьютерно-читаемый носитель, содержащий программу кодирования многоракурсных изображений, и компьютерно-читаемый носитель, содержащий программу декодирования многоракурсных изображений |
| US20100265313A1 (en) * | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
| US8947502B2 (en) * | 2011-04-06 | 2015-02-03 | Qualcomm Technologies, Inc. | In camera implementation of selecting and stitching frames for panoramic imagery |
| CN101646022B (zh) * | 2009-09-04 | 2011-11-16 | 华为终端有限公司 | 一种图像拼接的方法、系统 |
| JP5436367B2 (ja) * | 2009-09-29 | 2014-03-05 | 富士フイルム株式会社 | グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置 |
| WO2011040864A1 (en) | 2009-10-01 | 2011-04-07 | Scalado Ab | Method relating to digital images |
| JP5347890B2 (ja) * | 2009-10-09 | 2013-11-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP2011130327A (ja) * | 2009-12-21 | 2011-06-30 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US20110234750A1 (en) * | 2010-03-24 | 2011-09-29 | Jimmy Kwok Lap Lai | Capturing Two or More Images to Form a Panoramic Image |
| JP5663934B2 (ja) * | 2010-04-09 | 2015-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| US8817136B2 (en) * | 2010-06-23 | 2014-08-26 | Raytheon Company | Image processing utilizing spatially-displaced image data |
| WO2012039669A1 (en) | 2010-09-20 | 2012-03-29 | Scalado Ab | Method for forming images |
| JP5729963B2 (ja) * | 2010-10-07 | 2015-06-03 | キヤノン株式会社 | 画像合成処理装置及びその制御方法 |
| TWI506595B (zh) * | 2011-01-11 | 2015-11-01 | Altek Corp | 全景影像產生方法及裝置 |
| US8928729B2 (en) * | 2011-09-09 | 2015-01-06 | Disney Enterprises, Inc. | Systems and methods for converting video |
| US8988578B2 (en) | 2012-02-03 | 2015-03-24 | Honeywell International Inc. | Mobile computing device with improved image preview functionality |
| DE202012004671U1 (de) | 2012-04-28 | 2013-07-29 | Kiekert Aktiengesellschaft | Fahrzeugkarosserie |
| JP6211611B2 (ja) * | 2012-07-23 | 2017-10-11 | アップル インコーポレイテッド | 協調マルチポイント送信クラスタのアンカ付き絞り込みを行うための方法及びシステム |
| US10924627B2 (en) * | 2012-12-31 | 2021-02-16 | Virtually Anywhere | Content management for virtual tours |
| CN107509029A (zh) * | 2013-01-07 | 2017-12-22 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN103945087B (zh) * | 2013-01-22 | 2017-10-27 | 深圳市腾讯计算机系统有限公司 | 图像色调的调节方法和调节装置 |
| TWI545388B (zh) | 2013-06-14 | 2016-08-11 | 豪威科技股份有限公司 | 產生全景圖像的系統和方法 |
| US9343043B2 (en) | 2013-08-01 | 2016-05-17 | Google Inc. | Methods and apparatus for generating composite images |
| CN104349025B (zh) * | 2013-08-09 | 2018-12-14 | 联想(北京)有限公司 | 一种全景图像生成方法、装置和电子设备 |
| KR102206244B1 (ko) * | 2014-08-27 | 2021-01-22 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
| US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
| WO2016203282A1 (en) | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
| EP3357019A4 (en) | 2015-09-30 | 2019-03-27 | The Nielsen Company (US), LLC. | INTERACTIVE EXAMINATION OF PRODUCTS WITH A MOBILE DEVICE |
| KR20170124814A (ko) * | 2016-05-03 | 2017-11-13 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
| WO2017218834A1 (en) | 2016-06-17 | 2017-12-21 | Kerstein Dustin | System and method for capturing and viewing panoramic images having motion parralax depth perception without images stitching |
| CN107689030A (zh) * | 2017-09-18 | 2018-02-13 | 上海联影医疗科技有限公司 | 一种图像处理的方法及装置 |
| CN108419044B (zh) * | 2018-02-01 | 2020-12-04 | 平安科技（深圳）有限公司 | 车辆定责方法、终端及计算机可读存储介质 |
| CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5138460A (en) * | 1987-08-20 | 1992-08-11 | Canon Kabushiki Kaisha | Apparatus for forming composite images |
| JP3021556B2 (ja) * | 1990-06-20 | 2000-03-15 | ソニー株式会社 | 映像情報処理装置とその方法 |
| JP3524131B2 (ja) * | 1993-12-31 | 2004-05-10 | キヤノン株式会社 | 撮像装置 |
| JP3556265B2 (ja) * | 1994-03-04 | 2004-08-18 | オリンパス株式会社 | 画像取扱装置及びカメラ |
| US5682197A (en) * | 1995-05-12 | 1997-10-28 | Eastman Kodak Company | Electronic panoramic camera for use with an external processor |
| US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
| US5903309A (en) * | 1996-09-19 | 1999-05-11 | Flashpoint Technology, Inc. | Method and system for displaying images and associated multimedia types in the interface of a digital camera |
| JPH114375A (ja) * | 1997-06-13 | 1999-01-06 | Olympus Optical Co Ltd | 電子的撮像装置 |
| US5940641A (en) | 1997-07-10 | 1999-08-17 | Eastman Kodak Company | Extending panoramic images |
| US6552744B2 (en) * | 1997-09-26 | 2003-04-22 | Roxio, Inc. | Virtual reality camera |
| US6493028B1 (en) * | 1997-11-26 | 2002-12-10 | Flashpoint Technology, Inc. | Method and system for extending the available image file formats in an image capture device |
| JP3862404B2 (ja) * | 1998-03-12 | 2006-12-27 | キヤノン株式会社 | 画像処理装置およびその方法、画像ファイルフォーマット、記憶媒体 |
| US6714249B2 (en) * | 1998-12-31 | 2004-03-30 | Eastman Kodak Company | Producing panoramic digital images by digital camera systems |
| US6771304B1 (en) * | 1999-12-31 | 2004-08-03 | Stmicroelectronics, Inc. | Perspective correction device for panoramic digital camera |
| US6677981B1 (en) * | 1999-12-31 | 2004-01-13 | Stmicroelectronics, Inc. | Motion play-back of still pictures comprising a panoramic view for simulating perspective |
| US6978051B2 (en) * | 2000-03-06 | 2005-12-20 | Sony Corporation | System and method for capturing adjacent images by utilizing a panorama mode |
| US6812961B1 (en) * | 2000-05-11 | 2004-11-02 | Eastman Kodak Company | System and camera for automatically forwarding digital images to a service provider |
| US6801219B2 (en) * | 2001-08-01 | 2004-10-05 | Stmicroelectronics, Inc. | Method and apparatus using a two-dimensional circular data buffer for scrollable image display |
-
2001
- 2001-10-23 US US10/053,222 patent/US7064783B2/en not_active Expired - Lifetime
-
2002
- 2002-10-22 EP EP02257331A patent/EP1309171A3/en not_active Withdrawn
- 2002-10-23 JP JP2002308192A patent/JP2003199034A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259436A (ja) * | 2006-03-10 | 2007-10-04 | Sony Taiwan Ltd | 最適化された映像合成方法 |
| JP4642037B2 (ja) * | 2006-03-10 | 2011-03-02 | ソニータイワンリミテッド | 最適化された映像合成方法 |
| US9378544B2 (en) | 2012-03-15 | 2016-06-28 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for panoramic image using a single camera |
| WO2021181170A1 (en) | 2020-03-10 | 2021-09-16 | Ricoh Company, Ltd. | Image processing device, image processing method, image capturing apparatus, and image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1309171A2 (en) | 2003-05-07 |
| EP1309171A3 (en) | 2004-10-06 |
| US20020140829A1 (en) | 2002-10-03 |
| US7064783B2 (en) | 2006-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003199034A (ja) | パノラマ画像を形成するための事後的ピクチャスティッチ用スチルピクチャフォーマット | |
| JP4250543B2 (ja) | 撮像装置及び情報処理装置及びそれらの制御方法 | |
| US20070268394A1 (en) | Camera, image output apparatus, image output method, image recording method, program, and recording medium | |
| JP2009290818A (ja) | カメラ、カメラ制御プログラム及び撮影方法 | |
| JP2012242821A (ja) | 表示画像生成方法 | |
| JP2009268037A (ja) | 撮像装置及び撮像方法 | |
| JP2007151080A (ja) | 画像処理装置及び画像処理方法 | |
| JP2010050795A (ja) | カメラ、画像合成方法、およびプログラム | |
| TWI229548B (en) | Image pickup apparatus, photographing method, and storage medium recording photographing method | |
| JP4696614B2 (ja) | 画像表示制御装置及びプログラム | |
| JP4735166B2 (ja) | 画像表示装置及びプログラム | |
| JP2006203334A (ja) | 画像記録装置及びその制御方法、並びにプログラム | |
| JP3812563B2 (ja) | 画像処理装置及びプログラム | |
| JP2005318540A (ja) | 撮像装置、動画撮影時の静止画表示方法、及びプログラム | |
| JP2004248171A (ja) | 動画記録装置、動画再生装置、及び動画記録再生装置 | |
| JP2002084440A (ja) | デジタルカメラ、画像処理方法及び記録媒体 | |
| JP2009268153A (ja) | 再生制御装置及び再生制御方法並びにプログラム | |
| JP2015106843A (ja) | 撮像装置、撮像制御方法およびプログラム | |
| JP2004222025A (ja) | 電子カメラ | |
| JP2006020105A (ja) | 撮像装置、スロット写真撮影方法、及びプログラム | |
| JP2012151708A (ja) | 撮像装置 | |
| JP2006054523A (ja) | スライドショー表示方法、画像表示装置、撮像装置、画像再生装置、及びプログラム | |
| JP3872957B2 (ja) | 電子カメラ及び画像処理方法 | |
| JP2007096809A (ja) | 撮像装置、動画記憶方法および動画記憶プログラム | |
| JP5003803B2 (ja) | 画像出力装置、および、プログラム |