JP2002503893A - 仮想現実カメラ - Google Patents

仮想現実カメラ

Info

Publication number
JP2002503893A
JP2002503893A JP2000514469A JP2000514469A JP2002503893A JP 2002503893 A JP2002503893 A JP 2002503893A JP 2000514469 A JP2000514469 A JP 2000514469A JP 2000514469 A JP2000514469 A JP 2000514469A JP 2002503893 A JP2002503893 A JP 2002503893A
Authority
JP
Japan
Prior art keywords
image
camera
images
composite
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000514469A
Other languages
English (en)
Inventor
チェン，シェンシャング，エリック
Original Assignee
エムジイアイ ソフトウエア コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=25471311&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2002503893(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by エムジイアイ ソフトウエア コーポレイション filed Critical エムジイアイ ソフトウエア コーポレイション
Publication of JP2002503893A publication Critical patent/JP2002503893A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 多視野画像を作り出し描出する方法及び装置。 【解決手段】カメラ１２が、画像を受ける画像センサ１７、画像をディジタル化するサンプリング ロジック、及び画像間の空間的関係に基づいて画像を結合するようにプログラムされたプロセッサ１９を包含する。

Description

【発明の詳細な説明】
【０００１】発明の分野 本発明は、写真分野、特に、空間的関係に基づいて画像を結合するカメラに関
する。
【０００２】発明の背景 光景のパノラマ画像は、在来的には垂直スリットカメラを光学中心のまわりに
回転させることで作り出された。この技術を用いると、光学中心にあるフィルム
が、連続的に露光されて、広い視角（例えば３６０度の視角）を作り出す。しか
しながら、この特殊化された設計ゆえに、垂直スリットカメラは比較的高価であ
る。さらに、パノラマ画像がカメラの連続する回転で捉えられるゆえに、カメラ
が回転されるにつれて、例えば光線とか焦点深度のような光景における変化を勘
定に入れてカメラを調節することが難しい。
【０００３】 ”イメージ スティッチング”と呼ばれるパノラマ画像を作り出すための、さ らに最新の技術では、光景は、いくつかの異なったカメラ方向から撮影され、１
組の各別の（ディスクリート）画像を得ている。次いで、１つの光景のこれらの
各別の画像は、コンピュータに取り入れられ、アプリケーション ソフトウエア を実行して、これら各別の画像が、１つのパノラマ画像に調製される。
【０００４】 パノラマ画像が作り出された後、アプリケーション ソフトウエアは、このパ ノラマ画像の利用者が指定した部分をディスプレイ上に表示するように実行され
る。これにより、利用者によりナビゲートされ得る仮想環境が作り出される。マ
ウス、キーボード、ヘッドセットまたはその他の入力装置を用いて、利用者は、
この仮想環境をパンすることができ、興味のある対象物にズームインしたりズー
ムアウトしたりすることができる。
【０００５】 現在のイメージ スティッチング技術の１つの欠点は、ナビゲート可能なパノ ラマ画像を作り出すように綴り合わされる前に、撮影した画像をカメラからコン
ピュータへ移さなければならないことである。例えば、従来のフィルム露光式カ
メラでは、フィルムは、露光し、現像し、印画し、さらにディジタル化（例えば
ディジタル スキャナを使って）して、パノラマ画像に綴り合わせることができ る１組の画像を得なければならない。ディジタル カメラでは、処理は繁雑さが 少ないものとなるが、この場合でも画像は、パノラマ画に綴り合わせるためには
コンピュータに移されなければならない。
【０００６】 現在のイメージ スティッチング技術の他の欠点は、各別の画像を撮影するの に用いられるカメラの配置方向が典型的には知られていないことである。このこ
とは、これらの各別の画像をパノラマ画像に綴り合わせることを一層困難にして
いる。何故ならば、パノラマ画像を構成する画像間の空間的関係は、少なくとも
部分的に、これらの画像を捉えたカメラのそれそれの配置方向に基づいて決定さ
れるからである。パノラマ画像に綴り合わされる１組の画像間の空間的関係を決
定するためには、アプリケーション ソフトウエアは、利用者が関係決定の支援 のために画像内の共通の特徴形状の支援、探し出しまたはその両方を促すことを
実行しなければならない。
【０００７】 現在のイメージ スティッチング技術のさらに他の欠点は、画像がコンピュー タに移されて綴り合わされしまうまで、パノラマ画像を作り出すのに用いられる
１組の画像に、欠けている視野があるかどうかを決定することが通常は可能でな
いことである。パノラマ画面の主題によっては、失われている視野を得るのに必
要な光景を再び作り出すことに不便であるか、或いは不可能であることがある。
完全な組となっている画像を捉えたかどうかを決定することが困難であるゆえに
、パノラマ画像に組み合わせられるべき画像は、典型的には控え目な重複部分を
伴って撮影され、パノラマ画像に隙間を生じることを避けるようにしている。し
かしながら、捉えた画像には、更なる冗漫度があるゆえに、パノラマ光景を作り
出すためにはより多くの数の画像が得られなければならない。従来のフィルムカ
メラにとって、このことは、たとえより少ない画面重複が可能であるとしても、
より数多くのフィルムを露光し、現像し、印画し、パノラマ画像を作るために走
査しなければならないことを意味する。ディジタルカメラでは、たとえより少な
い画面重複が可能であるとしても、捉えられなければならないより多くの数の画
像を保持するためには、典型的にはより多くのメモリを備えていなければならな
い。
【０００８】 発明の概略 本発明は、多数視野画像を作り出しこれを描写する方法及び装置を明らかにす
るものである。画像は、カメラのイメージ センサ上に受けられ、このカメラの サンプリング ロジックによりディジタル化される。ディジタル化された画像は 、画像間の空間的関係に基づいて、このカメラのプログラムド プロセッサによ り結合される。
【０００９】詳細な記載 本発明は添付図の実施形態に例示されているが、これにより限定されるもので
はない。添付図においては、同様な要素には同様な符号を付して示してある。
【００１０】 本発明によれば、仮想現実（ＶＲ）カメラは、パノラマ画像及びその他の他視
野画像を作り出し、これを描出するために設けられる。１つの実施形態では、Ｖ
Ｒカメラは、１つの光景中の画像を捉えるカメラ方向を検出するセンサを包含し
ている。ＶＲカメラに内蔵のコンピュータは、画像が捉えられた各カメラ方向に
少なくとも部分的に基づいてこの光景の画像をパノラマ画像として結合する。Ｖ
Ｒカメラのディスプレイは、パノラマ画像を見るのに用いられる。本発明の１実
施形態においてはＶＲカメラの方向は、利用者がカメラ方向を変えることにより
このパノラマ画像を効率的にパンできるように、ディスプレイされるパノラマ画
像の部分を選択するのに用いられる。
【００１１】 図１は、本発明の１実施形態によるＶＲカメラ１２のブロック図である。ＶＲ
カメラ１２は、ビデオカメラか、または静止画像カメラかのいずれかであり、光
学系１５、画像獲得ユニット（ＩＡＵ）１７、方向／位置センサ（Ｏ／Ｐセンサ
）２１、１つまたはそれ以上の数の利用者入力パネル２３、プロセッサ１９、非
揮発性プログラムコード記憶装置２４、メモリ２５、非揮発性データ記憶装置２
６、及びディスプレイ２７を包含している。
【００１２】 光学系１５は一般に、自動焦点または手動焦点レンズと、光線を多くまたは少
なく通過させるように調節可能な直径を有する絞りとを包含する。レンズは、こ
の絞りを通じてＩＡＵ１７内のイメージセンサに、焦束画像を投影する。イメー
ジセンサは、典型的には電荷結合装置（ＣＣＤ）であり、ＩＡＵ１７内のサンプ
リング ロジックによりサンプリングされて画像のディジタル版を生ずる。ディ ジタル画像は、次いでプロセッサ１９により直接に読み取られるか、またはＩＡ
Ｕ１７からメモリ２５に移されて、プロセッサ１９による、後のアクセスにそな
える。ＣＣＤセンサについて述べたが、ディジタル画像を生ずるようにサンプリ
ングされ得る任意の形式のイメージセンサを、本発明の精神を逸脱することなく
採用することができよう。
【００１３】 本発明の１つの実施形態においては、プロセッサ１９は、コード記憶装置２４
内に記憶されているプログラムコードを取ってきて、これを実行し、ロジックユ
ニットが、ＩＡＵ１７からの画像を得（イメージセンサのサンプリングを包含す
る）、Ｏ／Ｐセンサ２１からの方向及び位置の情報を受け、１つまたはそれ以上
の数の利用者入力パネル２３からの入力を受けて、画像データをディスプレイ２
７に出力する。これらの機能を行うためには、多数のプロセッサまたは配線され
たロジック回路を代わりに用いることができる。メモリ２５は、プログラム変数
及び画像データを一時的に記憶させるために設けられており、非揮発性画像記憶
装置２６は、画像データの更なる恒久的記憶のために設けられている。非揮発性
記憶装置２６は、例えば磁気ディスクまたは磁気テープのような取り外し可能な
記憶素子を包含しており、ＶＲカメラ１２を使って作り出したパノラマ画像やそ
の他の多視野画像を非限定的に記憶させることができる。
【００１４】 Ｏ／Ｐセンサ２１は、ＶＲカメラ１２の方向及び位置を検知するのに用いられ
る。ＶＲカメラ１２の方向（すなわちピッチ角、ヨー角、ロール角）は、勝手に
選んだ撮影開始方向に対し、または固定の基準（例えば地球の重力及び磁界）に
対し決定され得る。例えば、仮想現実ヘッドセットに普通用いられている形式の
電子水準器を、カメラのピッチ及びロール（水平軸まわりの回転）を検出するの
に用いることができ、また、電子羅針盤を、カメラのヨー（垂直軸まわりの回転
）を検出するのに用いることができる。下述のように、１組の各別の画像のそれ
ぞれが捉えられたＶＲカメラ１２の方向を記録することにより、ＶＲカメラ１２
は、各別の画像間の空間的関係を自動的に決定し、これらの画像を、パノラマ画
像、平面複合画像、対象物画像、または任意の他の形式の多視野画像へと結合す
ることができる。
【００１５】 図１をさらに参照すると、パノラマ画像（またはその他の他視野画像）がディ
スプレイ２７に表示される時、カメラ方向の変化は、Ｏ／Ｐセンサ２１により検
出され、プロセッサ１９によりパノラマ画像のパンの要求として解釈される。こ
のようにして、ＶＲカメラ１２を異なった方向に回転させることにより、利用者
は、前に発生させたパノラマ画像の異なった部分をディスプレイ２７上に見るこ
とができる。ＶＲカメラのディスプレイ２７は、事実上ＶＲカメラ１２に作り出
された仮想環境への窓となる。
【００１６】 本発明の１実施形態では、３次元（３Ｄ）空間におけるＶＲカメラ１２の位置
は、任意選択の基準点または絶対的基準点に関して決定される。これは、例えば
Ｏ／Ｐセンサ２１内に、任意選択の出発点に対するＶＲカメラ１２の並進を検出
する加速度計またはその他の装置を包含させることにより達成される。他の例と
しては、ＶＲカメラ１２の絶対位置が、全地球位置発見システム（ＧＰＳ）と交
信するセンサをＯ／Ｐセンサ２１内に包含させることにより決定され得る。ＧＰ
Ｓは、位置決定及び追跡技術に通常の技量を有する者にとって周知である。後述
のように、画像を撮った位置間のＶＲカメラ１２の並進を検知することができる
ことは、各別の画像を結合して表面合成画像を生成するのに役立つ。
【００１７】 上述のことから、Ｏ／Ｐセンサ２１は、ＶＲカメラ１２の用途によっては、方
向センサ及び位置センサの両方を包含する必要がないことが分かるであろう。例
えば、パノラマ画像を作り出し、表示するには、通常ＶＲカメラ１２の角度方向
だけを変えることが必要である。結果として、本発明の１実施形態では、Ｏ／Ｐ
サンサ２１は、方向センサだけである。センサを組み合せることは、本発明の精
神を逸脱することなく行うことができる。
【００１８】 図１をさらに参照すると、１つまたはそれ以上の数の利用者入力パネル２３が
、従来型カメラにおいて例えば焦点合わせ及びズーム（及び少なくとも静止画像
カメラの場合、絞り、シャッター速度等）のような機能の利用者による制御を与
えるように用いられる。後述するように、入力パネル２３はまた、パノラマ画像
または他の多視野画像をパンしたり、ズームイン及びズームアウトしたりする利
用者の要求を受けるのにも用いられる。さらに、入力パネル２３は、作り出され
る合成画像の形式を指示するパラメータ、ある種の特徴（フィーチュア）を賦与
させるかどうかなどを包含するある種の画像捕捉パラメータを設定するという利
用者要求を受けるのに用いられる。焦点合わせ及びその他のカメラのセッティン
グは、入力パネル２３の代わりに、在来のレンズダイアルを使っても調節するこ
とができよう。同様に、限定するわけではないがＶＲカメラ１２の利用者による
回転及び並進を含む他の形式の利用者入力装置及び技術も画像のパン及びズーム
イン、ズームアウトの要求を受けるのに用いることができる。
【００１９】 ディスプレイ２７は、典型的には液晶ディスプレイ（ＬＣＤ）であるが、陰極
線管ディスプレイを含む、ＶＲカメラ１２に用いることができる任意の形式のデ
ィスプレイとすることができる。さらに、下述のようにディスプレイ２７は、利
用者の左右の目に左右のステレオ画像を提供するように設計されたステレオ デ ィスプレイであってもよい。
【００２０】 図２は、パノラマ画像４１を発生させる図１のＶＲカメラ１２の使い方を示し
ている。パノラマ画像は、１つの光景の広角度視野の画像であり、本明細書にお
いて多視野画像として言及されているものの１つである。多視野画像は、１つの
画像か、または利用者が選択した部分でディスプレイされる複数の画像の集まり
である。
【００２１】 パノラマ画像４１を作り出すには、まず異なったカメラ方向で環境３１の画像
を捉えるにより１組の各別の画像３５を、まず得る。静止写真カメラでは、画像
を捉えるということは、撮影するということを意味する。ビデオカメラでは、画
像を捉えるということは、各別の画像のそれぞれの１つまたはそれ以上の数のビ
デオフレームを発生させることを意味する。
【００２２】 理解を容易にするために、環境３１は、図２では囲まれた空間として示されて
いるが、これは必ずしも必要なことではない。パノラマ画像において間隙が生じ
るのを避けるために、カメラは、捉えたそれぞれの画像が前に捉えた画像と重な
り合う部分があるような方向に差し向ける。これは、重複領域３３により示され
ている。ＶＲカメラの方向は、Ｏ／Ｐセンサ（たとえば図１の素子２１）を介し
て検出され、各別の画像３５のそれぞれについて記録される。
【００２３】 本発明の１つの静止画像カメラの実施形態では、利用者がカメラで環境３１を
パンするにつれ、方向センサはプロセッサ（例えば図１の素子１９）によりモニ
タされて、次の写真をスナップ撮影すべき時を決定する。すなわち、ＶＲカメラ
は、重複３３の領域が目的の寸法内のものとなった時、撮影者に信号する（例え
ばブザー音または発光により）ことにより、新たな各別の画像３５がスナップ撮
影されるべきカメラ方向を決定するように撮影者を支援する。ＶＲカメラは、重
複３３の領域が、カメラのヨーばかりでなく、カメラのピッチまたはロールでも
目標寸法内となっている時を決定するようにプログラムされ得る。本発明の他の
実施形態では、ＶＲカメラは、これが方向の充分な変化を検出したときは必ず、
自動的に写真を撮影するように利用者により（例えばコントロールパネル２３入
力を介して）定められる。手動及び自動の両方の画像獲得モードにおいて、連続
して撮った写真のカメラ方向間の偏差は、利用者による入力により決定されるか
、またはカメラ視角及びカメラと対象物との間の距離に基づいてＶＲカメラによ
り自動的に決定される。
【００２４】 本発明のビデオカメラ実施形態においては、方向センサは、ビデオフレームが
発生される割合を制御するのに用いられ、これにより、Ｏ／Ｐセンサが充分な方
向変化を指示したときだけにビデオフレームが発生する（前述の静止写真カメラ
の自動画像獲得モードによく似ている）か、標準の割合で発生し、余分なフレー
ムは綴り合わせプロセス中に結合されるか、捨てられる。
【００２５】 上述のように、重複する各別の画像３５は、それらの空間的関係に基づいて結
合されて、パノラマ画像４１を形成する。各別の画像３５は、画像の単一の列（
画像がすべておおよそ同じピッチ角で捉えられているものとして示されている）
として示されているが、これよりも高いか低いピッチ角の更なる画像列もまた、
得ることができる。さらに、ＶＲカメラは典型的には手持ちであるので（三脚を
使用できるとしても）、１つの光景を記録するときに、ある量の角度エラーは生
じる。この角度エラーは、図２において各別の画像３５の隣接するもの同士の僅
かに異なるピッチ方向及びロール方向により示されており、画像を結合してパノ
ラマ画像４１を形成する際に考慮に入れなければならない。
【００２６】 各別の画像３５を捉えて、カメラのメモリに記憶させた後（少なくとも２つの
各別の画像を捉えて記憶させた後）、プログラムコードをＶＲカメラ内で実行し
て、これらの各別の画像３５をパノラマ画像４１として結合する。これは、各画
像３５について記録されたカメラ方向情報に基づくか、画像３５の重複領域内の
共通特徴形状に基づくか、または、これら２つの技術の結合に基づくかして、各
別の画像３５間の空間的関係を決定することにより達成される。
【００２７】 画像内の共通特徴形状に基づいて画像間の空間的関係を決定するための１つの
技術は、画像を”相互相関”させることである。例えば、２つの画像が互いに対
して未知の並進偏差を有するものと考える。これらの画像は、一方の画像を他方
の画像の上に一度に１ステップ（すなわち１画素）だけ”スライド”させて、そ
れぞれのスライドステップごとに１つの相互相関値を発生させることにより、相
互相関させることができる。各相互相関値は、これら２つの画像の重複領域内で
の画素値の代数計算の組合せを行うことにより発生させられる。最大の相関値を
与えるスライドステップに対応する偏差は、２つの画像の偏差であることが分か
っている。相互相関は、１つ以上の方向の偏差の発見に、また例えば回転やスケ
ーリングのような他の未知の変換パラメータを決定するのにも適用され得る。例
えばパターン整合のような相互相関以外の技術もまた、未知の画像偏差及びその
他の変換パラメータの発見に用いることができる。
【００２８】 各別の画像３５間の空間的関係に基づいて、画像３５は、例えば球面または円
筒面のような平滑な表面のそれぞれの領域に地図のように配置される。重複領域
３３は、表面地図化に際して消される。使用する表面の幾何学的形状に依存して
、各別の画像３５内の画素は、隣接する者同士再配置されて、パノラマ画像４１
の２次元画素地図を形成する。例えば、各別の画像３５が円筒３７上に配置され
て、パノラマ画像４１を形成するとすると、各別の画像３５内の水平線は、これ
が円筒３７上に描かれた際、円筒の赤道に対する水平線の緯度により決定される
曲率をもってカーブするようになる。このようにして、各別の画像３５を綴り合
わせてパノラマ画像４１を発生させることは、典型的には画素を数学的に変換す
ることを包含し、これにより、歪みなく映出され得るパノラマ画像４１が発生す
る。
【００２９】 図３は、１枚の写真中に適切に表すには余りにも細かすぎる表面５５の合成画
像を発生するようにＶＲカメラ１２を使う使い方を示す。このような表面の例と
しては、書き込みを有する白板、絵画、彫り込みのある記念碑（例えばベトナム
戦争記念碑）、その他を含む。
【００３０】 図３に示すように、表面５５の多数の各別の画像５７は、一連の位置間にＶＲ
カメラ１２を並進させ、各位置において表面５５の一部分を捉えることにより得
られる。本発明の１つの実施形態によれば、ＶＲカメラ１２の位置は、Ｏ／Ｐセ
ンサ（図１の素子２１）の位置検出部分から得られ、各別の画像５７について記
録される。これは、画像５７を得た順番に関係なく、各別の画像５７間の空間的
関係を決定することを許容する。この結果、ＶＲカメラは、各別の画像５７が捉
えられた順番に関係なく、全表面５５の正確な合成画像５９を発生できる。静止
画像カメラの場合には、位置センサは、ＶＲカメラ１２が新たな写真を撮るよう
に充分に並進した時に、利用者に信号を送るようにすることができる。これに代
わって、ＶＲカメラは、ＶＲカメラ１２が表面５５を横切るにつれて、自動的に
写真を撮るように利用者が設定することもできる。ビデオカメラの場合には、位
置センサが、それぞれの新たなビデオフレームが発生する時を制御するように使
用されるか、ビデオフレームが標準の割合で発生されて、それぞれのビデオフレ
ームに関連する位置情報に基づいて消されるようにする。
【００３１】 ２つまたはそれ以上の数の各別の画像５７がＶＲカメラ１２のメモリに記憶さ
れた後、プログラムコードが実行されて、それぞれの各別の画像５７のために記
録された位置情報に基づいて、或いは各別の画像５７の重複領域内の共通特徴に
基づいて、或いはその両方に基づいて、これらの画像を合成画像５９として結合
する。各別の画像５７が１つの合成画像５９に結合された後、利用者は、ＶＲカ
メラ１２の方向を変えることにより、または利用者入力パネル上の制御を用いる
ことにより、ＶＲカメラディスのプレイ上に合成画像５９の異なった部分を見る
ことができる。画像の選択した部分にズームインすることにより、白板上の書き
込み、芸術作品の細部、記念碑の彫り込みを容易に見ることができる。このよう
に、ＶＲカメラ１２は、低解像度カメラをもって高解像度表面をディジタル化し
て与えるのに簡単で強力な方途を提供する。このような表面の合成画像は、本明
細書において”平面合成画像”と呼び、パノラマ画像と区別することとする。
【００３２】 図４は、ＶＲカメラのさらに他の適用例を示す。この場合、ＶＲカメラは、画
像を対象物画像６７として結合するのに用いられる。対象物画像は、隣接するも
の同士が空間的に関連付けられているが、合成画像を形成するようには綴り合わ
されていない１組の各別の画像である。対象物画像とする画像の結合は、各別の
画像の隣接するもの同士の位置を示す情報を与えることによるが、１つの引き離
された合成画像を作り出すことにはよらずに達成される。
【００３３】 図４に示すように、対象物６１の画像は、複数の周囲の視点６３から捉えられ
る。対象物６１の平面図には示されていないが、ＶＲカメラはまた、対象物６１
の上または下に動かされるか、異なった高さにおいて対象物６１の画像を捉える
ように持ち上げたり傾けたりされる。例えば、多数階の建物の１階を、ビデオフ
レーム（または写真）の１つのシーケンスに捉え、２階をビデオフレームの２番
目のシーケンスに捉え、以下同様にする。ＶＲカメラが対象物６１から大略固定
の距離に維持されるならば、ＶＲカメラの方向だけが、各別の画像６５間の空間
的関係を確立するように記録される。もし対象物が、対象物６１から等距離にな
い位置から撮影（または写真）されるならば、コーヒレント対象物画像６７を生
ずるためには、それぞれの各別の画像６５のためのＶＲカメラの位置及び方向の
両方を記録することが必要である。
【００３４】 対象物６１の各別の画像６５の２つまたはそれ以上の数を得た後、これら画像
は、これらの間の空間的関係に基づいて結合され、対象物画像６７を形成する。
上述のように、各別の画像６５を結合して対象物画像６７を形成することは、典
型的には各別の画像６５を綴り合わせることを包含せず、代わりに、対象物画像
６７内の他の各別の画像に対する対象物画像６７内の各別の画像の空間的位置を
指示する情報を、各別の画像６５のそれぞれに関連付けることにより達成される
。これは、例えば、それぞれの各別の画像６５のための１つの部材を有し隣接す
る画像及びそれらの角度的なまたは位置的な近接関係を指示するデータ構造を発
生させることにより達成され得る。一旦対象物画像６７が作り出されると、利用
者は、カメラの方向を変えることにより画像６５をパンすることができる。方向
の増分変化は、前にディスプレイされた画像に隣接する、対象物画像６７内の１
つの画像を選択するのに用いることができる。利用者にとって、このようにして
対象物画像６７を映出することは、この対象物の周囲、上下を動く感覚を与える
。
【００３５】 本発明の他の実施形態によれば、対象物画像６７内の各画像の相互空間的位置
は、それぞれの各別の画像６５のために記録したカメラ方向情報を含むデータ構
造を作り出すことにより与えられる。対象物画像６７内の特定の画像を選択する
には、利用者は、ＶＲカメラをこの画像を捉えるのに用いた方向に向けるのであ
る。ＶＲカメラのプロセッサは、方向センサを介してこの方向を検出し、ついで
、データ構造を検索して、この入力方向に殆ど整合する記録された方向を持つ各
別の画像６５を識別する。識別された画像６５は、次いでＶＲカメラのディスプ
レイに表示される。
【００３６】 図５は、利用者パネル２３ａ及び２３ｂに包含される多数の制御ボタンを備え
たＶＲカメラ１２を示す。利用者パネル２３ａに設けられたこれらのボタンは、
ＶＲカメラ１２がビデオカメラであるか、または静止画像カメラであるかに依存
して変わる。例えば静止画像カメラの場合、パネル２３ａは、中でもシャッター
速度ボタン及び絞り制御ボタンを包含し、撮影した画像の品質を管理するように
している。ビデオカメラでは、利用者入力パネル２３ａは、例えばズーム及び焦
点制御を包含している。利用者入力パネル２３ａはまた、モード制御ボタンを包
含し、利用者が仮想現実画像を作り出し、これを描出するこの関連するある種の
モード及びオプションを選択できるようにしている。１つの実施形態においては
、例えばモード制御ボタンは、パノラマ画像捕捉モード、平面合成画像捕捉モー
ド、または対象物画像捕捉モードを選択するのに用いられる。一般に、選択し、
使用可能にし、または使用不能にすることができるＶＲカメラの任意の特徴は、
モード制御ボタンを用いて制御される。
【００３７】 本発明の１つの実施形態によれば、視野制御ボタン 右／左、上／下及びズー ムは、利用者入力パネル２３ｂに備えられており、利用者が、パノラマ画像、平
面合成画像、対象物画像またはその他の多視野画像のどの部分を選択するかをデ
ィスプレイ２７上で示すことを許容する。利用者が、例えば右ボタンを押すと、
カメラ内の視野制御ロジックがこの入力を検出して、合成画像または対象物画像
のディスプレイ視野を右方向にパンする。利用者がズーム＋ボタンを押すと、視
野制御ロジックは、ディスプレイ画像を拡大する。視野制御ロジックは、プログ
ラムド プロセッサ（例えば図１の素子１９）により、または専用のハードウエ アにより供給される。本発明の１つの実施形態によれば、視野制御ロジックは、
パネル２３ｂを介する利用者による入力か、カメラ方向の変化かに応答する。こ
れに代わって、カメラは、１つのモードにおいては視野制御がＶＲカメラ方向を
変えることによりなされ、他のモードにおいては利用者入力パネル２３ｂを介し
て達成されるように設計することができる。いずれの場合でも、利用者は、多視
点画像の１つの視野を選択する代わりの方途を与えられる。
【００３８】 図６は、本発明のＶＲカメラ１２のさらに他の適用例を示す。この適用例にお
いては、ＩＡＵ（図１の素子１７）を介して捉えたビデオ信号は、前もって記録
した光景にクロマキーカラー置換技術により重ね合わされる。例えば、ブルーの
背景８２の前に立った人８３は、ライブ ビデオ信号を発生するＶＲカメラ１２ を用いて記録される。ついで、ＶＲカメラ１２内のプログラムコードが実行され
、ライブ ビデオからのブルーでない画素で、ディスプレイされた光景内の画素 を置き換える貼り付け機能が行われる。この効果は、ライブ ビデオの対象物８ ３を、前もって発生した光景に配置することである。本発明の１つの実施形態に
よれば、利用者は、ディスプレイ２７のパノラマ画像をパンして、ライブ ビデ オを挿入しようとする画像の部分を定め、ついで、ビデオ画像の置換対象物をこ
の光景に嵌め込む。事実上、このように対象物を受け入れた画像は、前もって記
録されたパノラマ画像（またはその他の多視点画像）の一部となり、結合された
画像は、単一の記録されたビデオまたは静止画像として恒久的に記憶され得る。
【００３９】 図７は、ステレオ画像を受け入れて処理するのに用いられるＶＲカメラ１１２
のブロック図である。図示のように、光学系１１５は、左及び右の画像をそれぞ
れ受ける左及び右の各チャネル（１０８、１０７）を包含している。典型的には
、左及び右の画像は、同一対象物のもので空間的に異なった視点から見たもので
ある。このようにして、この対象物の３Ｄ視が捉えられる。本発明の１つの実施
形態によれば、左及び右の画像１０８及び１０７は、ＩＡＵ１１７の画像センサ
の対向する半部に投影され、ここでプロセッサ１９によりサンプリングされ、メ
モリ２５に記憶される。この代わりに、多数の画像センサ及び関連するサンプリ
ング回路を、ＩＡＵ１１７に設けてもよい。どちらの場合にも、左及び右の画像
は、前述したようなＯ／Ｐセンサ２１から得た方向／位置情報と関連付けられ、
モモリ２５内に記憶される。２つまたはそれ以上の数の各別の画像が得られた後
、プロセッサは、非揮発性記憶装置２４内のプログラムコードを実行して、左の
画像を左の合成画像として、右の画像を右の合成画像として結合する。対象物画
像の適用例においては、プロセッサは、左右の画像をそれぞれ左右の対象物画像
として結合する。
【００４０】 図７に示すように、ステレオ ディスプレイ１２７は、光景の３Ｄ視を表示す るように設けられている。例えば、観察者の左目及び右目の異なる視角に依存す
る偏光ＬＣＤディスプレイが用いられよう。観察者の左目と右目の異なる視角は
、左目と右目に異なった画像を感知させることとなる。この結果、カメラの方向
／位置に基づき、または利用者からの視野選択入力に基づき、左の合成画像（ま
たは対象物画像）の選択された部分が、左目に提供され、右の合成画像（または
対象物画像）の選択された部分が、右目に提供される。
【００４１】 前述のＶＲカメラ１２の場合のように、ステレオビデオカメラ１１２のＩＡＵ
１１７に受けたライブ ステレオビデオは、前もって発生させた合成画像または 対象物画像上に貼り付けることができる。ライブ ステレオビデオの左及び右の ビデオ成分は、左及び右の合成または対象物物画像にそれぞれ重ね合わせること
ができる。結果として、利用者は、あたかも対象物が、前もって記録した３Ｄ光
景の中にいるように、３Ｄ中にライブビデオを見ることができる。ステレオ写真
もまた、前に記録した合成画像または対象物画像に重ねることができる。
【００４２】 図８は、本発明の１実施形態による方法を説明する略図である。ステップ１４
１において、１組の各別の画像がカメラに受けられる。これらの画像は、ステッ
プ１４３においてディジタル化される。ディジタル化された画像間の空間的関係
に基づいて、ディジタル化された画像は結合され、ステップ１４３において多視
野画像を生成する。ついで、ステップ１４５において、この多視野画像の少なく
とも一部分をカメラのディスプレイ上に表示する。
【００４３】 本発明の上述の記載から、受け取りステップ（１４１）、ディジタル化ステッ
プ（１４３）及び結合ステップ（１４５）は、画像ごとに行われ、次の画像を受
けてディジタル化する前に、各画像を受けディジタル化し、これを１つまたはそ
れ以上の数の前に受けディジタル化した画像と結合することが分かる。
【００４４】 各別の画像ごとの基本原理で多視野画像を発生する方法が図９に示されている
。ステップ１５１では、各別の画像 i が受けられる。ここで、i は、０からＮ までの数である。ステップ１５３では、画像 i がディジタル化され、 i がステ
ップ１５７において増大する。もしも i がステップ１５９において１より小さ いか、１に等しいと決定されると、実行ループはステップ１５１に戻り、次の各
別の画像 i を受ける。 i が１よりも大きいと、ステップ１６１においてディジ
タル化された画像 i は、このディジタル化された画像 i と１つまたはそれ以上
の数の前にディジタル化された画像との間の空間的関係に基づいて、１つまたは
それ以上の数の前にディジタル化された画像に結合され、多視野画像を生成する
。最後の画像（ステップ１６３においてＮとして示されている）が受けられディ
ジタル化されてしまうと、この方法は終了する。最後の画像が受けられたかどう
かの決定は、所定数の画像が受けられディジタル化され結合されているかを検知
するとか、画像の所望数または限界数が受けられディジタル化され多視野画像と
して結合されたことを示す利用者からの信号または内部発生信号を受けるとかの
様々なやり方でなされ得ることは明らかである。また、本発明の一態様によると
、最初の結合ステップ１５９の完了後何時でも見られるように、多視野画像の一
部を、利用者は選択することが出来る。
【００４５】 以上の明細書の記載において、本発明を、その特定の説明的な実施形態につい
て述べた。しかしながら、本発明の精神及び請求の範囲に記載された本発明の範
疇を逸脱しないで、幾多の変化変形をなし得ることは明らかであろう。従って、
この明細書及び図面は、発明を制限する意味ではなく、むしろ説明するものとし
てとらえるべきである。
【図面の簡単な説明】
【図１】 仮想現実（ＶＲ）カメラのブロック図である。
【図２】 パノラマ画像を発生するＶＲカメラの使い方を例示する図である。
【図３】 表面の複合画像を発生するＶＲカメラの使い方を例示する図である。
【図４】 対象物画像を発生するＶＲカメラの使い方を例示する図である。
【図５】 ＶＲカメラ上の制御入力を例示する図である。
【図６】 前もって記録された光景にビデオ フィードを重複させるＶＲカメラの使い方 を例示する図である。
【図７】 ステレオＶＲカメラのブロック図である。
【図８】 本発明の１つの実施形態による方法の略図である。
【図９】 本発明の他の実施形態による方法の略図である。
【符号の説明】
１２ ＶＲカメラまたは静止画像カメラ １５ 光学系 １７ 画像獲得ユニット（ＩＡＵ） １９ プロセッサ ２１ 方向／位置センサ（Ｏ／Ｐセンサ） ２３、２３ａ、２３ｂ 利用者入力パネル ２４ 非揮発性プログラムコード記憶装置 ２５ メモリ ２６ 非揮発性データ記憶装置２６ ２７ ディスプレイ ３１ 環境 ３３ 重複 ３５ 画像 ３７ 円筒 ４１ パノラマ画像 ５５ 表面 ５７ 画像 ５９ 合成画像 ６１ 対象物 ６３ 視点 ６５ 画像 ６７ 対象物画像 ８２ 背景 ８３ 人 １０７ 右チャネル １０８ 左チャネル １１２ スレレオＶＲカメラ １１５ 光学系 １１７ 画像獲得ユニット（ＩＡＵ） １２３ 利用者入力パネル １２７ ステレオディスプレイ １４１、１４３、１４５、１４７ ステップ
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１１年４月２１日（１９９９．４．２１）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正内容】
【発明の名称】 仮想現実感を結像するための電子カメラ
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正内容】
【００３８】 図６は、本発明のＶＲカメラ１２のさらに他の適用例を示す。この適用例にお
いては、ＩＡＵ（図１の素子１７）を介して捉えたビデオ信号は、前もって記録
した光景にクロマキーカラー置換技術により重ね合わされる。例えば、ブルーの
背景８２の前に立った人８３は、ライブ ビデオ信号を発生するＶＲカメラ１２ を用いて記録される。ついで、ＶＲカメラ１２内のプログラムコードが実行され
、ライブ ビデオからのブルーでない画素で、ディスプレイされた光景内の画素 を置き換える貼り付け機能が行われる。この効果は、ライブ ビデオの対象物８ ３を、前もって発生した光景に配置することである。 本 発明の１つの実施形態によれば、利用者は、ディスプレイ２７のパノラマ画
像をパンして、ライブ ビデオを挿入しようとする画像の部分を定め、ついで、 ビデオ画像の置換対象物をこの光景に嵌め込む。事実上、このように対象物を受
け入れた画像は、前もって記録されたパノラマ画像（またはその他の多視点画像
）の一部となり、結合された画像は、単一の記録されたビデオまたは静止画像と
して恒久的に記憶され得る。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正内容】
【００４２】 図８は、本発明の１実施形態による方法を説明する略図である。ステップ１４
１において、１組の各別の画像がカメラに受けられる。これらの画像は、ステッ
プ１４３においてディジタル化される。ディジタル化された画像間の空間的関係
に基づいて、ディジタル化された画像は結合され、ステップ１４５において多視
野画像を生成する。ついで、ステップ１４７において、この多視野画像の少なく
とも一部分をカメラのディスプレイ上に表示する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正内容】
【００４４】 各別の画像ごとの基本原理で多視野画像を発生する方法が図９に示されている
。ステップ１５１では、各別の画像 i が受けられる。ここで、i は、０からＮ までの数である。ステップ１５３では、画像 i がディジタル化され、 i がステ
ップ１５７において増大する。もしも i がステップ１５９において０より小さ いか、０に等しいと決定されると、実行ループはステップ１５１に戻り、次の各
別の画像 i を受ける。 i が０よりも大きいと、ステップ１６１においてディジ
タル化された画像 i は、このディジタル化された画像 i と１つまたはそれ以上
の数の前にディジタル化された画像との間の空間的関係に基づいて、１つまたは
それ以上の数の前にディジタル化された画像に結合され、多視野画像を生成する
。最後の画像（ステップ１６３においてＮとして示されている）が受けられディ
ジタル化されてしまうと、この方法は終了する。最後の画像が受けられたかどう
かの決定は、所定数の画像が受けられディジタル化され結合されているかを検知
するとか、画像の所望数または限界数が受けられディジタル化され多視野画像と
して結合されたことを示す利用者からの信号または内部発生信号を受けるとかの
様々なやり方でなされ得ることは明らかである。また、本発明の一態様によると
、最初の結合ステップ１６１の完了後何時で見られるように、多視野画像の一部
を、利用者は選択することが出来る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図１】 仮想現実（ＶＲ）カメラのブロック図である。
【図２】 パノラマ画像を発生するＶＲカメラの使い方を例示する図である。
【図３】 表面の複合画像を発生するＶＲカメラの使い方を例示する図である。
【図４】 対象物画像を発生するＶＲカメラの使い方を例示する図である。
【図５】 本発明の好しい１つの実施形態によるＶＲカメラ上の制御入力を例示する図で
ある。
【図６】 前もって記録された光景にビデオ フィードを重複させるＶＲカメラの使い方 を例示する図である。
【図７】 ステレオＶＲカメラのブロック図である。
【図８】 本発明の１つの実施形態による方法の略図である。
【図９】 本発明の他の実施形態による方法の略図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/02 Ｈ０４Ｎ 13/02 (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ， ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，Ｌ Ｓ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ ，ＡＭ，ＡＴ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，Ｅ Ｓ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ，ＩＤ ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ， ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，Ｙ Ｕ，ＺＷ Ｆターム(参考） 5B050 AA09 BA09 CA07 DA07 EA07 EA19 EA28 FA02 FA06 FA09 GA08 5B057 BA11 CA12 CB13 CC01 CE08 CH11 DA07 DA16 DB03 DC08 5C022 AB62 CA02 5C023 AA14 BA11 BA13 5C061 AA29

Claims (40)

    【特許請求の範囲】
  1. 【請求項１】 画像を受ける画像センサと、 前記画像をディジタル化するサンプリング ロジックと、 ディジタル化された画像間の空間的関係に基づいて前記ディジタル化された
    画像を結合するようにプログラムされたプロセッサと を包含するカメラ。
  2. 【請求項２】 請求項１記載のカメラにおいて、前記ディジタル化された画
    像間の空間的関係が、前記ディジタル化された画像内の１つまたはそれ以上の数
    の特徴形状に基づいて決定されるようにしたカメラ。
  3. 【請求項３】 請求項１記載のカメラにおいて、前記画像を受ける前記カメ
    ラのそれぞれの方向を検出する方向センサをさらに包含し、前記ディジタル化さ
    れた画像間の空間的関係をカメラの方向に基づくものとしたカメラ。
  4. 【請求項４】 請求項１記載のカメラにおいて、前記画像を受けるカメラの
    各位置を検出する位置センサをさらに包含し、前記ディジタル化された画像間の
    空間的関係をカメラの位置に基づくものとしたカメラ。
  5. 【請求項５】 請求項１記載のカメラにおいて、前記プロセッサが前記ディ
    ジタル化画像を合成画像として結合するようにしたカメラ。
  6. 【請求項６】 請求項５記載のカメラにおいて、 ディスプレイと、 該ディスプレイ上に表示すべき前記合成画像の少なくとも一部分を選択する
    視野制御ロジックと を包含するカメラ。
  7. 【請求項７】 請求項６記載のカメラにおいて、前記合成画像の一部分を表
    示する要求をカメラ利用者から受ける利用者インターフェイスをさらに包含し、
    前記視野制御ロジックが、前記要求に基づいて前記合成画像の表示すべき部分を
    選択するようにし、前記視野制御ロジックが前記プロセッサにより与えられるよ
    うにしたカメラ。
  8. 【請求項８】 請求項６記載のカメラにおいて、カメラの方向を検出する方
    向センサをさらに包含し、前記視野制御ロジックが、カメラの方向に基づいて、
    前記合成画像の表示すべき部分を選択するようにしたカメラ。
  9. 【請求項９】 請求項６記載のカメラにおいて、カメラの位置を検出する位
    置センサをさらに包含し、前記視野制御ロジックが、カメラの位置に基づいて、
    前記合成画像の表示すべき部分を選択するようにしたカメラ。
  10. 【請求項１０】 請求項６記載のカメラにおいて、前記合成画像の一部分を
    前記画像センサ上に受けた付加的な画像の一部分と置き換えるオーバーレーロジ
    ックをさらに包含するカメラ。
  11. 【請求項１１】 請求項１記載のカメラにおいて、前記プロセッサが、前記
    画像を対象物画像として結合するようにプログラムされているカメラ。
  12. 【請求項１２】 請求項１１記載のカメラにおいて、前記画像が、これが捉
    えられる前記カメラの各方向を指示する画像情報のそれぞれと関連付けることに
    より対象物画像として結合されているカメラ。
  13. 【請求項１３】 請求項１１記載のカメラにおいて、 前記カメラの方向を検出する方向センサと、 前記カメラの方向に基づいて前記対象物画像の一部分を選択する視野制御セ
    ンサと、 前記対象物画像の前記選択した部分を表示するディスプレイと をさらに包含するカメラ。
  14. 【請求項１４】 請求項１記載のカメラにおいて、前記画像センサにより受
    けた画像が、それぞれ左の画像と右の画像とを包含するステレオ画像対であり、
    前記プロセッサが、前記ステレオ画像対の左の画像を左の合成画像として、前記
    ステレオ画像対の右の画像を右の合成画像として結合するようにプログラムされ
    ているカメラ。
  15. 【請求項１５】 請求項１４記載のカメラにおいて、前記左の画像及び右の
    画像をそれぞれ前記画像センサに投影する左及び右の光学チャネルを包含する光
    学アセンブリをさらに包含し、前記左及び右の光学チャネルが、対象物の空間的
    に違わせた視野を提供するようにしたカメラ。
  16. 【請求項１６】 請求項１４記載のカメラにおいて、 観察者の左目及び右目のそれぞれに、前記ステレオ画像対の左の画像と右の
    画像を提供するステレオディスプレイと、 該ステレオディスプレイ上に表示されるべき前記左及び右の合成画像の少な
    くとも一部分を選択する視野制御ロジックと をさらに包含するカメラ。
  17. 【請求項１７】 請求項１記載のカメラにおいて、カメラがビデオカメラで
    あり、前記サンプリングロジックが所定の割合で前記画像をディジタル化するよ
    うにしたカメラ。
  18. 【請求項１８】 画像を受ける手段と、 前記画像をディジタル化する手段と、 ディジタル化した画像間の空間的関係に基づいて前記ディジタル化した画像
    を結合する手段と を包含するカメラ。
  19. 【請求項１９】 請求項１８記載のカメラにおいて、前記画像を受けたカメ
    ラのそれぞれの方向を検出する手段をさらに包含し、前記空間的関係をカメラの
    方向に基づくものとしたカメラ。
  20. 【請求項２０】 請求項１８記載のカメラにおいて、前記画像を受けたカメ
    ラのそれぞれの位置を検出する手段をさらに包含し、前記空間的関係をカメラの
    位置に基づくものとしたカメラ。
  21. 【請求項２１】 請求項１８記載のカメラにおいて、前記結合手段が前記画
    像を合成画像として結合すること、及び ディスプレイ手段と、 該ディスプレイ手段上に表示すべき前記合成画像の少なくとも一部分を選択す
    る手段と をさらに包含するカメラ。
  22. 【請求項２２】 請求項２１記載のカメラにおいて、カメラの方向を検出す
    る手段をさらに包含し、前記選択手段が、カメラの方向に基づいて、前記合成画
    像の表示すべき部分を選択するようにしたカメラ。
  23. 【請求項２３】 請求項２１記載のカメラにおいて、カメラの位置を検出す
    る手段をさらに包含し、前記選択手段が、カメラの位置に基づいて、前記合成画
    像の表示すべき部分を選択するようにしたカメラ。
  24. 【請求項２４】 請求項２１記載のカメラにおいて、前記合成画像の一部分
    を前記画像センサ上に受けた付加的な画像の一部分と置き換える手段をさらに包
    含するカメラ。
  25. 【請求項２５】 請求項１８記載のカメラにおいて、前記結合手段が前記画
    像を合成画像として結合するカメラ。
  26. 【請求項２６】 請求項２５記載のカメラにおいて、前記結合手段が、前記
    画像を捉えたカメラの各方向を指示する前記画像情報のそれぞれと関連付けるこ
    とにより前記画像を対象物画像として結合するようにしたカメラ。
  27. 【請求項２７】 請求項２５記載のカメラにおいて、 カメラの方向を検出する手段と、 前記対象物画像の一部分をカメラの方向に基づいて選択する手段と、 前記対象物画像の選択された部分を表示する手段と をさらに包含するカメラ。
  28. 【請求項２８】 カメラ内に画像を受ける段階と、 前記画像をディジタル化する段階と、 ディジタル化した画像間の空間的関係に基づいて前記ディジタル化した画像
    を結合して合成画像を形成する段階と、 カメラのディスプレイ上に前記合成画像の少なくとも一部分を表示する段階
    と を包含する方法。
  29. 【請求項２９】 請求項２８記載の方法において、 前記画像を受けた前記カメラのそれぞれの方向を検出する段階と、 前記各方向に基づいて前記ディジタル化した画像間の空間的関係を決定する
    段階と をさらに包含する方法。
  30. 【請求項３０】 請求項２８記載の方法において、 前記画像を受けた前記カメラの各位置を検出する段階と、 前記各位置に基づいて前記ディジタル化した画像間の空間的関係を決定する
    段階と をさらに包含する方法。
  31. 【請求項３１】 請求項２８記載の方法において、前記ディジタル化した画
    像内の１つまたはそれ以上の数の特徴形状に基づいて前記ディジタル化した画像
    間の空間的関係を決定する段階をさらに包含する方法。
  32. 【請求項３２】 請求項２８記載の方法において、 前記カメラの方向を検出する段階と、 前記カメラの方向に基づいて、表示すべき前記合成画像の部分を選択する段
    階と をさらに包含する方法。
  33. 【請求項３３】 請求項２８記載の方法において、 前記カメラの位置を検出する段階と、 前記カメラの位置に基づいて、前記合成画像の表示すべき部分を選択する段
    階と をさらに包含する方法。
  34. 【請求項３４】 請求項２８記載の方法において、 付加的な画像を受ける段階と、 前記付加的な画像をディジタル化する段階と、 前記合成画像の一部分を前記付加的な画像の一部分と置き換える段階と をさらに包含する方法。
  35. 【請求項３５】 請求項２８記載の方法において、前記画像を受ける段階が
    、それぞれ左の画像と右の画像とを包含するステレオ画像対を受ける段階を包含
    し、前記結合段階が、前記ステレオ画像対の左の画像を左の合成画像として結合
    し、前記ステレオ画像対の右の画像を右の合成画像として結合する段階を包含す
    る方法。
  36. 【請求項３６】 請求項３５記載の方法において、前記合成画像の少なくと
    も一部分を表示する段階が、 前記左の合成画像の少なくとも一部分を観察者の左目に表示する段階と、 前記右の合成画像の少なくとも一部分を観察者の右目に表示する段階と を包含する方法。
  37. 【請求項３７】 カメラ内に画像を受ける段階と、 前記画像をディジタル化する段階と、 ディジタル化した画像間の空間的関係に基づいて前記ディジタル化した画像
    を結合して対象物画像を形成する段階と を包含する方法。
  38. 【請求項３８】 請求項３７記載の方法において、前記ディジタル化した画
    像を結合して対象物画像を形成する段階が、前記ディジタル化した画像を捉えた
    前記カメラのそれぞれの方向を指示する情報を前記ディジタル化画像のそれぞれ
    と関連付ける段階を包含する方法。
  39. 【請求項３９】 請求項３７記載の方法において、 前記カメラの方向を検出する段階と、 前記対象物画像の一部分を前記カメラの方法に基づいて選択する段階と、 前記カメラのディスプレイ上に前記対象物画像の選択された部分を表示する
    段階と をさらに包含する方法。
  40. 【請求項４０】 画像を受ける画像センサと、 前記画像を受けたカメラのそれぞれの方向を検出するセンサと を包含するカメラ。
JP2000514469A 1997-09-26 1998-06-25 仮想現実カメラ Pending JP2002503893A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/938,366 1997-09-26
US08/938,366 US6552744B2 (en) 1997-09-26 1997-09-26 Virtual reality camera
PCT/US1998/013465 WO1999017543A1 (en) 1997-09-26 1998-06-25 Virtual reality camera

Publications (1)

Publication Number Publication Date
JP2002503893A true JP2002503893A (ja) 2002-02-05

Family

ID=25471311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000514469A Pending JP2002503893A (ja) 1997-09-26 1998-06-25 仮想現実カメラ

Country Status (6)

Country Link
US (3) US6552744B2 (ja)
EP (1) EP1023803A1 (ja)
JP (1) JP2002503893A (ja)
AU (1) AU8174898A (ja)
CA (1) CA2296062A1 (ja)
WO (1) WO1999017543A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309626A (ja) * 2005-04-28 2006-11-09 Ntt Docomo Inc 任意視点画像生成装置
WO2014093517A1 (en) * 2012-12-11 2014-06-19 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
USRE45785E1 (en) 1997-09-26 2015-10-27 Intellectual Ventures Llc Virtual reality camera

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
JPH11232440A (ja) * 1998-02-18 1999-08-27 Casio Comput Co Ltd 画像処理装置
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
DE69937298T2 (de) * 1998-06-22 2008-02-07 Fujifilm Corp. Bilderzeugungsgerät und verfahren
CA2356001A1 (en) * 1999-01-06 2000-07-13 Hideyoshi Horimai Apparatus and method for photographing three-dimensional image, apparatus and method for displaying three-dimensional image, and apparatus and method for converting three-dimensional image display position
US20030133009A1 (en) * 1999-04-09 2003-07-17 Carl S Brown System and method for detecting with high resolution a large, high content field
CA2309459A1 (en) * 1999-06-10 2000-12-10 International Business Machines Corporation System for personalized field of view in a broadcast environment
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
US7477284B2 (en) * 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
EP1102211A3 (en) * 1999-11-19 2006-09-13 Matsushita Electric Industrial Co., Ltd. Image processor, method of providing image processing services and order processing method
US7064783B2 (en) * 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
JP3849385B2 (ja) * 2000-02-03 2006-11-22 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US20010026684A1 (en) * 2000-02-03 2001-10-04 Alst Technical Excellence Center Aid for panoramic image creation
US7133068B2 (en) * 2000-03-06 2006-11-07 Sony Corporation System and method for creating still images by utilizing a video camera device
US6978051B2 (en) * 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US6930703B1 (en) * 2000-04-29 2005-08-16 Hewlett-Packard Development Company, L.P. Method and apparatus for automatically capturing a plurality of images during a pan
US7092014B1 (en) * 2000-06-28 2006-08-15 Microsoft Corporation Scene capturing and view rendering based on a longitudinally aligned camera array
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US6937272B1 (en) * 2000-11-08 2005-08-30 Xerox Corporation Display device for a camera
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US6975352B2 (en) * 2000-12-18 2005-12-13 Xerox Corporation Apparatus and method for capturing a composite digital image with regions of varied focus and magnification
US6820980B1 (en) * 2001-03-23 2004-11-23 Panavision, Inc. Automatic pan and tilt compensation system for a camera support structure
US7101045B2 (en) * 2001-03-23 2006-09-05 Panavision Inc. Automatic pan and tilt compensation system for a camera support structure
JP3531003B2 (ja) * 2001-03-30 2004-05-24 ミノルタ株式会社 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置
US20040201748A1 (en) * 2001-09-12 2004-10-14 Tim Goldstein Extended image digital photography
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
US7064779B1 (en) * 2001-10-23 2006-06-20 Ess Technology, Inc. Imaging system combining multiple still images for higher resolution image output
US7224387B2 (en) * 2002-01-09 2007-05-29 Hewlett-Packard Development Company, L.P. Method and apparatus for correcting camera tilt distortion in panoramic images
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
WO2003091948A1 (de) 2002-04-23 2003-11-06 Siemens Aktiengesellschaft Erzeugung eines gesamtbildes durch abtasten von teilbereichen einer vorlage scannen
KR100965947B1 (ko) * 2002-04-25 2010-06-24 소니 주식회사 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램 기록 매체
US20040001145A1 (en) * 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
JP4487775B2 (ja) * 2002-10-15 2010-06-23 セイコーエプソン株式会社 複数の画像データのパノラマ合成処理
JP4048907B2 (ja) * 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
JP4178987B2 (ja) * 2003-02-14 2008-11-12 株式会社ニコン 電子カメラ
JP4474106B2 (ja) * 2003-02-27 2010-06-02 キヤノン株式会社 画像処理装置、画像処理方法、記録媒体及びプログラム
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7236199B2 (en) * 2003-07-07 2007-06-26 Toshikazu Hori Multi-tap camera
US8294712B2 (en) * 2003-09-19 2012-10-23 The Boeing Company Scalable method for rapidly detecting potential ground vehicle under cover using visualization of total occlusion footprint in point cloud population
US20050063608A1 (en) * 2003-09-24 2005-03-24 Ian Clarke System and method for creating a panorama image from a plurality of source images
US20050083417A1 (en) * 2003-10-21 2005-04-21 Battles Amy E. System and method for providing image orientation information of a video clip
EP1683346A1 (en) * 2003-10-28 2006-07-26 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
CN100440944C (zh) * 2003-11-11 2008-12-03 精工爱普生株式会社 图像处理装置以及图像处理方法
JP4614653B2 (ja) * 2003-12-12 2011-01-19 ソニー株式会社 監視装置
CN1922892B (zh) 2003-12-26 2012-08-15 米科伊公司 多维成像装置、系统和方法
GB2410639A (en) * 2004-01-30 2005-08-03 Hewlett Packard Development Co Viewfinder alteration for panoramic imaging
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
DE102004004806B4 (de) * 2004-01-30 2012-04-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronische Laufbildkamera
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US20050237631A1 (en) * 2004-04-16 2005-10-27 Hiroyuki Shioya Image pickup apparatus and image pickup method
JP2005311789A (ja) * 2004-04-22 2005-11-04 Fuji Photo Film Co Ltd デジタルカメラ
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP3971783B2 (ja) * 2004-07-28 2007-09-05 松下電器産業株式会社 パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
KR100683850B1 (ko) * 2004-08-20 2007-02-16 삼성전자주식회사 파노라마 촬영 기능을 지원하는 촬영기기 및 촬영방법
US7646400B2 (en) * 2005-02-11 2010-01-12 Creative Technology Ltd Method and apparatus for forming a panoramic image
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US20060197851A1 (en) * 2005-03-07 2006-09-07 Paul Vlahos Positioning a subject with respect to a background scene in a digital camera
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
US20080007617A1 (en) * 2006-05-11 2008-01-10 Ritchey Kurtis J Volumetric panoramic sensor systems
US10614513B2 (en) * 2006-07-07 2020-04-07 Joseph R. Dollens Method and system for managing and displaying product images with progressive resolution display
SE532236C2 (sv) * 2006-07-19 2009-11-17 Scalado Ab Metod i samband med tagning av digitala bilder
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US20080077597A1 (en) * 2006-08-24 2008-03-27 Lance Butler Systems and methods for photograph mapping
JP4725526B2 (ja) * 2006-08-28 2011-07-13 ソニー株式会社 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
US20080170222A1 (en) * 2007-01-16 2008-07-17 Strege Timothy A Methods and systems for determining vehicle wheel alignment
US20090086021A1 (en) * 2007-09-27 2009-04-02 Rockwell Automation Technologies, Inc. Dynamically generating real-time visualizations in industrial automation environment as a function of contect and state information
JP4851412B2 (ja) * 2007-09-27 2012-01-11 富士フイルム株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
US20090094188A1 (en) * 2007-10-03 2009-04-09 Edward Covannon Facilitating identification of an object recorded in digital content records
US8582805B2 (en) * 2007-11-05 2013-11-12 California Institute Of Technology Synthetic foveal imaging technology
US7961224B2 (en) * 2008-01-25 2011-06-14 Peter N. Cheimets Photon counting imaging system
US8174561B2 (en) * 2008-03-14 2012-05-08 Sony Ericsson Mobile Communications Ab Device, method and program for creating and displaying composite images generated from images related by capture position
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8675068B2 (en) 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US9449378B2 (en) 2008-05-22 2016-09-20 Matrix Electronic Measuring Properties, Llc System and method for processing stereoscopic vehicle information
US8249332B2 (en) * 2008-05-22 2012-08-21 Matrix Electronic Measuring Properties Llc Stereoscopic measurement system and method
RU2452992C1 (ru) * 2008-05-22 2012-06-10 МАТРИКС ЭЛЕКТРОНИК МЕЖЕРИНГ ПРОПЕРТИЗ, ЭлЭлСи Стереоскопическая измерительная система и способ
US8345953B2 (en) 2008-05-22 2013-01-01 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
US8326022B2 (en) 2008-05-22 2012-12-04 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements
JP4770924B2 (ja) * 2008-12-17 2011-09-14 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
WO2011027190A1 (en) * 2009-09-04 2011-03-10 Tannhäuser, Gunter Mobile wide-angle video recording system
EP2483767B1 (en) 2009-10-01 2019-04-03 Nokia Technologies Oy Method relating to digital images
CN102035987A (zh) * 2009-10-08 2011-04-27 鸿富锦精密工业（深圳）有限公司 照片合成方法和系统
KR101631912B1 (ko) * 2009-11-03 2016-06-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
JP5446794B2 (ja) * 2009-12-04 2014-03-19 ソニー株式会社 撮像装置、およびデータ処理方法、並びにプログラム
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
KR101630290B1 (ko) * 2009-12-24 2016-06-16 한화테크윈 주식회사 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치
CN102713948A (zh) * 2010-02-01 2012-10-03 日本电气株式会社 便携式终端、活动历史描写方法及活动历史描写系统
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
JP5663934B2 (ja) * 2010-04-09 2015-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US9635251B2 (en) * 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) * 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
JP5506589B2 (ja) * 2010-08-02 2014-05-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体
CN103189796B (zh) 2010-09-20 2015-11-25 瑞典移动影像股份公司 用于形成图像的方法
US8866890B2 (en) * 2010-11-05 2014-10-21 Teledyne Dalsa, Inc. Multi-camera
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
CN103562791A (zh) * 2011-04-18 2014-02-05 眼见360股份有限公司 用于与移动计算设备一起进行全景视频成像的装置和方法
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
JP2013013065A (ja) * 2011-06-01 2013-01-17 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US8666145B2 (en) * 2011-09-07 2014-03-04 Superfish Ltd. System and method for identifying a region of interest in a digital image
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US9116011B2 (en) 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US9047688B2 (en) 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
JP6056127B2 (ja) * 2011-10-31 2017-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5865388B2 (ja) * 2011-11-07 2016-02-17 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9729788B2 (en) 2011-11-07 2017-08-08 Sony Corporation Image generation apparatus and image generation method
WO2013069049A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
TW201324023A (zh) * 2011-12-13 2013-06-16 Fih Hong Kong Ltd 全景拍照系統及方法
US9047692B1 (en) * 2011-12-20 2015-06-02 Google Inc. Scene scan
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
CA2763649A1 (fr) * 2012-01-06 2013-07-06 9237-7167 Quebec Inc. Camera panoramique
WO2013150775A1 (ja) * 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法
US20130300821A1 (en) * 2012-05-10 2013-11-14 Qualcomm Incorporated Selectively combining a plurality of video feeds for a group communication session
US9444564B2 (en) 2012-05-10 2016-09-13 Qualcomm Incorporated Selectively directing media feeds to a set of target user equipments
US9277013B2 (en) 2012-05-10 2016-03-01 Qualcomm Incorporated Storing local session data at a user equipment and selectively transmitting group session data to group session targets based on dynamic playback relevance information
US9256983B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9488489B2 (en) 2012-09-28 2016-11-08 Google Inc. Personalized mapping with photo tours
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9350916B2 (en) * 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US9384552B2 (en) 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
US9244940B1 (en) 2013-09-27 2016-01-26 Google Inc. Navigation paths for panorama
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US20150134384A1 (en) * 2013-11-08 2015-05-14 Sharper Shape Ltd. System and method for allocating resources
US9508172B1 (en) * 2013-12-05 2016-11-29 Google Inc. Methods and devices for outputting a zoom sequence
US20150277550A1 (en) * 2014-04-01 2015-10-01 Moju Labs, Inc. Face-Centered Motion-Based Content Navigation
US9189839B1 (en) * 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9418472B2 (en) 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US9851299B2 (en) 2014-10-25 2017-12-26 Isle Management Co. Method of analyzing air quality
US10484662B2 (en) * 2015-02-27 2019-11-19 Leia Inc. Multiview camera, multiview imaging system, and method of multiview image capture
JP6708213B2 (ja) * 2015-08-12 2020-06-10 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム
US9787896B2 (en) 2015-12-29 2017-10-10 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US9843725B2 (en) * 2015-12-29 2017-12-12 VideoStitch Inc. Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US10761303B2 (en) 2016-07-19 2020-09-01 Barry Henthorn Simultaneous spherical panorama image and video capturing system
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US10594995B2 (en) * 2016-12-13 2020-03-17 Buf Canada Inc. Image capture and display on a dome for chroma keying
US10973391B1 (en) * 2017-05-22 2021-04-13 James X. Liu Mixed reality viewing of a surgical procedure
WO2019070317A1 (en) 2017-10-02 2019-04-11 Leia Inc. MULTI-VIEW CAMERA NETWORK, MULTI-VIEW SYSTEM AND METHOD HAVING CAMERA SUB-NETWORKS WITH SHARED CAMERA
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
GB9121646D0 (en) 1991-10-11 1991-11-27 Marconi Gec Ltd Camera systems
JP3455784B2 (ja) 1992-02-15 2003-10-14 鐘淵化学工業株式会社 パノラマ電子写真の作成法
FR2696843B1 (fr) * 1992-10-14 1994-12-09 Matra Sep Imagerie Inf Appareil de prise de vues à distance, à haute résolution, pour porteur aérien.
KR940017747A (ko) * 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
JP3058774B2 (ja) 1993-01-29 2000-07-04 株式会社河合楽器製作所 映像合成装置及び映像合成方法
DE69411849T2 (de) 1993-10-20 1999-03-04 Philips Electronics Nv Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
JP3192875B2 (ja) 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
US5528290A (en) * 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
JPH08163433A (ja) 1994-11-29 1996-06-21 Sony Corp パノラマ静止画像作成装置
JP3605870B2 (ja) 1995-02-16 2004-12-22 ソニー株式会社 パノラマ静止画像作成装置
JP3471964B2 (ja) * 1995-03-28 2003-12-02 キヤノン株式会社 撮像装置
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6011558A (en) * 1997-09-23 2000-01-04 Industrial Technology Research Institute Intelligent stitcher for panoramic image-based virtual worlds
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE45785E1 (en) 1997-09-26 2015-10-27 Intellectual Ventures Llc Virtual reality camera
JP2006309626A (ja) * 2005-04-28 2006-11-09 Ntt Docomo Inc 任意視点画像生成装置
WO2014093517A1 (en) * 2012-12-11 2014-06-19 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9554045B2 (en) 2012-12-11 2017-01-24 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9674440B2 (en) 2012-12-11 2017-06-06 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US10511773B2 (en) 2012-12-11 2019-12-17 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing

Also Published As

Publication number Publication date
US20010010546A1 (en) 2001-08-02
EP1023803A1 (en) 2000-08-02
USRE45785E1 (en) 2015-10-27
WO1999017543A1 (en) 1999-04-08
USRE43700E1 (en) 2012-10-02
AU8174898A (en) 1999-04-23
US6552744B2 (en) 2003-04-22
CA2296062A1 (en) 1999-04-08

Similar Documents

Publication Publication Date Title
JP2002503893A (ja) 仮想現実カメラ
US10574888B2 (en) Digital 3D/360 degree camera system
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
WO2017088678A1 (zh) 长曝光全景图像拍摄装置和方法
US20090040291A1 (en) Omniview motionless camera orientation system
JP2001519066A (ja) リアルな没入体験を生成するために低い解像度の対話型イメージ中に高解像度のイメージを挿入する方法および装置
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
US20090059018A1 (en) Navigation assisted mosaic photography
JP2006020111A (ja) カメラ
CN110796690B (zh) 图像匹配方法和图像匹配装置
CN112449105A (zh) 合成拍摄天体的多个图像的方法及装置
JP2001057652A (ja) 画像入力装置および画像入力方法
KR100579135B1 (ko) 수렴형 3차원 다시점 영상 획득 방법
JPH11298837A (ja) 画像入力装置及び画像入力方法
JP2020204973A (ja) 情報処理装置、プログラム及び情報処理システム
JP2004128588A (ja) 撮像装置
JP7352672B2 (ja) 撮像表示方法
CN108200343A (zh) 基于全景影像的图像处理方法及全景拍摄系统
JPH11122521A (ja) ディジタル撮像装置および撮像方法
JPH09289613A (ja) 画像変換方法、ならびに装置