JP2006039564A - カメラシステム及びパノラマカメラシステム - Google Patents

カメラシステム及びパノラマカメラシステム Download PDF

Info

Publication number
JP2006039564A
JP2006039564A JP2005215772A JP2005215772A JP2006039564A JP 2006039564 A JP2006039564 A JP 2006039564A JP 2005215772 A JP2005215772 A JP 2005215772A JP 2005215772 A JP2005215772 A JP 2005215772A JP 2006039564 A JP2006039564 A JP 2006039564A
Authority
JP
Japan
Prior art keywords
camera
view
field
cameras
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005215772A
Other languages
English (en)
Inventor
Ross G Cutler
ジー. カトラー ロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/902,675 external-priority patent/US7495694B2/en
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2006039564A publication Critical patent/JP2006039564A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】 カメラによって得られた個々のイメージを組み合わせてパノラマイメージを形成できるように方向付けられた複数のカメラを提供すること。
【解決手段】 各カメラは、そのカメラの視野に対応する焦点距離を有するレンズを備えている。カメラの視野は、各隣接するカメラの視野と重なり合う。少なくとも1つのカメラは、他のカメラによって得られたイメージよりも、そのカメラシステムからより遠い距離に位置するイメージを得るために、他のカメラの視野とは異なる視野を有する。その結果、複数のカメラによって得られたすべてのイメージにわたり、より一様な解像度が得られる。ミラーアセンブリを、オブジェクトイメージを複数のカメラへと反射させるために利用して、カメラシステムの近投影中心が得られるようにする。
【選択図】 図3

Description

本発明は、カメラシステム及びパノラマカメラシステムに関し、より詳細には、一般的にイメージ処理に関するもので、フォビエティド(foveated)パノラマカメラシステム及びフォビエティドカメラ技術に関する。
本出願は、本発明者によって2003年6月26日に出願され、本出願の譲受人であるMicrosoft Corp.(マイクロソフト社)に譲渡された「Omni-Directional Camera Design For Video Conferencing」と題する米国特許出願第10/608363号明細書の一部継続出願である。前記出願の優先権を主張し、それが教示し開示するものすべてを参照により本明細書に組み込まれる。
本出願は、また、本発明者によって2004年7月28日に出願され、本出願の譲受人であるMicrosoft Corp.(マイクロソフト社)に譲渡された「Omni-Directional Camera With Calibration And Up Look Angle Improvements」と題する米国特許出願第10/902675号明細書の一部継続出願である。前記出願の優先権を主張し、それが教示し開示するものすべてを参照により本明細書に組み込まれる。
パノラマイメージは、最大360度(360°)の範囲にわたる広角カメライメージである。パノラマイメージは、特殊レンズを有するカメラを用いてカメラをシーンの端から端までスイープすることにより、又は複数のカメラからのイメージを組み合わせることにより、単一のパノラマイメージに記録することができる。特殊な広角レンズは非常に高価であり、したがって、多くの用途で利用することはできない。カメラをシーンの端から端までスイープしても、その時の全体シーンを同時に捉え(capture)られない。複数のカメラからのイメージを組み合わせることは、その複数のカメラ間で共通の投影中心が欠如しているのでディストーションを生ずることになる。
パノラマビデオカメラ装置は、会議室シナリオ(scenario)で特に有益である。単一のパノラマビデオカメラは、会議室の広い範囲にわたり会議の出席者を捉えることが可能であり、したがって、見る人は、会議の出席者の大部分又はすべてを同時見ることができる。会議室の360度のビューを捉えられるパノラマビデオカメラ装置は、会議の出席者すべてを撮像することができる。しかし、会議出席者がこのような装置から様々な距離に位置することにより問題を生ずる可能性がある。
本発明は、このような状況に鑑みてなされたもので、その目的とするところは、会議室のテーブルに近い端部よりも遠い端部で高い解像度が得られるようにしたカメラシステム及びパノラマカメラシステムを提供することにある。
本発明は、このような目的を達成するためになされたもので、第1の視野に対応する第1の焦点距離を有する少なくとも1つの第1のカメラレンズと、第2の視野に対応する第2の焦点距離を有し、前記第2の視野は、前記第1の視野よりも大きい複数の第2のカメラレンズとを備え、前記第1のカメラレンズ及び前記第2のカメラレンズの全視野は、180度を超える大きさであることを特徴とするカメラシステムである。
また、180度を超える広角イメージを得るためのパノラマカメラシステムであって、それぞれが第1の視野を有する1つ又は複数の第1のカメラと、それぞれが第2の視野を有する少なくとも2つの第2のカメラとを備え、前記各視野が少なくとも1つの他の視野と重なり、前記第1の視野及び前記第2に視野を組み合わせることによって得られる全視野は、前記広角イメージに前記視野の前記重なり量を加えたものに等しいことを特徴とする。
さらに、それぞれが第1の視野を有する少なくとも1対の第1のカメラと、それぞれが前記第1の視野を超える第2の視野を有する少なくとも1対の第2のカメラと、360度のパノラマイメージを形成するために前記第1及び前記第2のカメラのそれぞれからのイメージを組み合わせるように構成されたスティッチングモジュールとを備え、前記各視野は、少なくとも1つの他の視野と重なることを特徴とするカメラシステムである。
まず、以下に、最大360度のパノラマイメージを得るために複数のカメラを利用するパノラマカメラ装置について説明する。このパノラマカメラ装置は、フォビエティドパノラマイメージを提供する。本明細書で使用する際は、フォビエティド(foveated)とは、パノラマカメラ装置において、他の複数のカメラのうちの、1つ又は複数のカメラによって得られたイメージより高いピクセル密度でイメージを得るように構成された複数のカメラのうちの少なくとも1つを示すものとする。
会議室のテーブルの周囲に座っている各人物の顔全体で少なくとも40ピクセルを得ることが望ましい。マルチカメラパノラマ装置におけるカメラがすべて同一の焦点距離を有しており、長方形テーブルの遠い端(すなわち、端部)に座っている人物のイメージに対して望ましい解像度を得ている場合、テーブルの側部(又は近い端)に座っている人物に対して必要以上の解像度が得られている。このようにすると、マルチカメラパノラマ装置を構築するのに不必要な追加の費用がかかることになる。
ここで提示する1つ又は複数の実施例では、パノラマカメラ装置は、そのパノラマカメラ装置から、会議室のテーブルの1つ又は複数の他の側部よりも遠くに位置する1つ又は複数の側部を有する会議室テーブル上に位置するように構成されている。遠く離れているテーブル側部の方向へ向けられている個々のカメラは、パノラマカメラ装置により近いテーブル側部の方向へ向けられているカメラレンズよりも長い焦点距離のレンズを備えている。その結果、テーブルに近い端部よりもテーブルの遠い端部で高い解像度が得られる。
いくつかのカメラは、他のカメラよりも低解像度であるが、そのようなカメラは、そのカメラに近いオブジェクト(人物)を撮像することになる。その結果、テーブルの周囲で一様な解像度が得られ、それにより、パノラマイメージに対してより効率的なピクセルの割り当てが可能になる。さらに、フォビエティドカメラ設計を利用することにより、大きなコスト効率が得られる。
また、以下に、カメラに関連する視野に関して説明する。小さい(又は狭い)視野は、長い焦点距離と高解像度に対応する。逆に、大きい(又は、広い)視野は、短い焦点距離と低解像度に対応する。
任意の1つのカメラの視野は、その1つのカメラに隣接する各カメラの視野とわずかに重なり合っている。このようにすると、個々のイメージが共に「スティッチされた(stitched)」とき、非常に正確なパノラマイメージを形成することができる。
このようなスティッチングプロセスは、Zicheng Liu及びMichael Cohenにより2002年9月30日に出願され、本出願の譲受人であるMicrosoft Corp.(マイクロソフト社)に譲渡された「Foveated Wide-Angle Imaging System And Method For Capturing And Viewing Wide-Angle Images In Real Time」と題する米国特許出願第10/262292号明細書に記載されている。この出願は、それが教示し開示するものすべてを参照により本明細書に組み込まれる。
上述した出願に開示のスティッチングシステムに加えて、この出願は、また、予備のフォビエティド広角イメージ中に存在するディストーション及び知覚(perception)問題を訂正するためのスティッチテーブルを処理するために、ワープ機能を利用する実時間広角イメージ訂正システムについて開示している。このようなイメージ訂正システムは、また、ここに概要を示した概念を用いて使用することもできる。
以下、図面を参照して本発明の実施の形態について説明する。
<例示的な撮影装置>
図1は、本発明による例示的なフォビエティドパノラマカメラシステムを示す構成図である。この例示的なフォビエティドパノラマカメラシステム100は、本発明のコンテキスト中で利用可能なカメラ構成の一実施例に過ぎないことに留意されたい。180度を超えるパノラマイメージを得るように構成された任意のマルチカメラシステムを、ここに概要を示したフォビエティド設計の概念に従って使用することができる。
例示的なフォビエティドパノラマカメラ100は、複数のミラー面104を有するミラーアセンブリ102を備えている。他の構成を使用することもできるが、図1に示すミラーアセンブリ102の実施形態は、上下を逆にした角錐構成を備えている。さらに、図示されたミラーアセンブリ102は、6個のミラー面104を有しているが、他の実施形態は、それ以上の又はそれ以下のミラー面を有していてもよい。
ミラーアセンブリ102は、複数の個々のカメラ108を有するレンズアセンブリ106上に配置されている。各ミラー面104に対応して1つの個々のカメラ108がある。ミラー面104は、オブジェクトからの光波を対応する個々のカメラ108へと反射し、次いで、カメラ108は1つ又は複数の撮像センサ(図示せず)上にその光波の焦点を合わせる。ミラーアセンブリ102は、レンズアセンブリ106上で、支柱110によって支持されている。
例示的なフォビエティドパノラマカメラシステム100のその特定の構成を用いると、近投影中心が得られ、フォビエティドパノラマカメラシステム100により作られるイメージ中の視差誤差を低減する。
以下に詳細に説明するように、各個々のカメラ108は、カメラレンズ(図示せず)を備えている。このカメラレンズは、それに関連する焦点距離を有する。カメラレンズの特定の属性(例えば、サイズ及び厚さ)は焦点距離に影響を与える。個々の焦点距離は、レンズ及びそのレンズによって得られる視野による角分解能(angular resolution)に関連する。長い焦点距離により高い角分解能が得られるが、小さい視野を得ることになる。短い焦点距離では低い角分解能になるが、広い視野を得ることになる。
<例示的なレンズ構成>
図2は、長方形テーブルに対して方向付けられた360度パノラマカメラの例示的なレンズ構成図である。この例示的なレンズ構成200は、いくつかのレンズ204,206,208を備えている。
2つの長いレンズ204は、互いに反対に、すなわち、レンズ204が反対方向を向いて位置している。この2つの長いレンズ204は、長方形テーブル202の長軸210に平行であり、したがって、各レンズ204は、テーブル202の遠い端部212の方を向いている。2つの長いレンズ204は、テーブルの遠い端部212に座っている人物の顔の十分な解像度、例えば、顔全体で約40ピクセルを提供する焦点距離を有している。
広角レンズ206の第1の対は、対向する位置に、長方形テーブル202の2つの近い側部216間で非直角に走る第1の幅方向軸(wide axis)214に沿って互いに反対方向を向いて位置している。広角レンズ208の第2の対は、対向する位置に、長方形テーブル202の近い側面216間で非直角に走る第2の幅方向軸218に沿って互いに反対方向を向いて位置している。
広角レンズ206の第1の対及び広角レンズ208の第2の対は、テーブル202の一方の近い側部216の中心から、テーブル202の中心(図示せず)及びテーブル202の他方の近い側部216の中心を通って延伸された、長方形テーブル202の短軸220に関して対称である。
2つの長いレンズ204は、長方形テーブル202の遠い端部212に座っている人物(図示せず)の顔全体を約40ピクセルの解像度で得るのに十分な焦点距離を有する。必ずしも必要ではないが、本実施例では、各長いレンズ204が、長方形テーブル202の遠い端部212のそれぞれから同一の距離に位置しているので、このような焦点距離は同一なものとなる。
広角レンズ206の第1の対における各広角レンズ206は、長方形テーブル202の近い側部216に座っている人物の顔全体で約40ピクセルの解像度を得るのに十分な焦点距離を有する。必ずしも必要ではないが、本実施例では、広角レンズ206の第1の対のそれぞれは、長方形テーブル202の近い端部216のそれぞれから同様の距離に位置しているので、このような焦点距離は同一になる。
本実施例では、4つの広角レンズ206、208が示されているが、本明細書に記載の発明によれば、1対の広角レンズだけを使用することもできることに留意されたい。このような構成では、各広角レンズは、長方形テーブル202の異なる近い側面216を向くことになる。しかし、カメラレンズのコストは、カメラレンズの視野が約75度を超えると大幅に増加する。2つの広角レンズだけが使用される場合、レンズの視野は75度を超える必要があり、したがって、上述したように、少なくとも4つのレンズを含む構成を利用することの方がよりコスト効率がよい。
特定の構成では、長いレンズ204を1個だけ、又は2個以上使用することができることにもまた留意されたい。さらに、4個を超える広角レンズ206を使用することもできる。異なる焦点距離を有し、180度を超える全視野を有する3個以上のカメラ/レンズの任意の組合せをここに記載の説明に従って使用することができる。
いくつかの固有の焦点距離を統合して単一の装置にすることができる。本明細書では、2つの固有の焦点距離を有するものとして実施形態が図示され説明されているが、任意の数の実行可能な固有の焦点距離を組込むことができる。装置は、3個、4個、又はそれを超える数の固有の焦点距離を有するレンズを組み込むことができる。
一般的に、カメラが使用されるテーブル又は部屋の形状により、どの焦点距離及びレンズの組合せを実装するかが決まる。
<例示的なフォビエティドパノラマカメラ構成>
図3は、本説明による例示的なフォビエティドパノラマカメラ構成(「構成」)を示す図である。その例示的な構成300は、例のためにだけ図示されている。例示的な構成300に関して図示されかつ/又は述べられている測定値は、説明のためだけに図示されかつ/又は述べられており、何らかの限定又は特に好ましい実施形態を示唆するものではない。
例示的な構成300は、2つの端部304及び2つの側部306を有する長方形テーブル302を備えている。各端部304は長さ5フィート(1.52m)であり、各側部306は長さ16フィート(4.88m)である。例示的な構成300は、また、図1及び図2で示し、説明したものと同様に配置した6個のレンズ(図示せず)を有するフォビエティドパノラマカメラシステム308を備えている。
1つの視野が各レンズに対応するように、6つの視野がフォビエティドパノラマカメラシステム308に関連付けられている。図3に示すように、フォビエティドパノラマカメラシステム308は、それぞれ56度の2つの視野、及びそれぞれ70度の4つの視野を含んでいる。
56度の2つの視野は、長方形テーブル302のそれぞれの端部304の方向へと向けられている。上述したように、視野56度は、テーブル302の一端部304に位置する人物の顔全体で約40ピクセルの解像度を提供する焦点距離に一致する。
70度の4つの視野は、長方形テーブル302のそれぞれの側部306の方向へと向けられている。70度の視野は、テーブル302の一側部306に位置する人物の顔全体で約40ピクセルの解像度を提供する焦点距離に一致する。
それにより、ほぼ一様な解像度が、長方形テーブル302の周辺部で実現される。非円柱パノラマなどの他の技術をここに説明したものと共に使用し、テーブルの周囲でさらに一様な解像度を提供することもできる。その結果、テーブル302の端部304に座っている人物の顔のイメージサイズが、テーブル302の側部306に座っている人物の顔のイメージサイズとほぼ同サイズになる。
各視野は、任意の隣接する視野と重なり合うことに留意されたい。以下により詳細に説明するように、わずかに重なり合う個々のイメージを提供することにより、個々のイメージからパノラマイメージを組み立てるスティッチングプロセスにおいて大きな柔軟性が得られるようになる。その重なりは、変化させることができるが、通常、少なくとも0.5度の重なりである。図3に示す実施例では、全視野は、392度であり、それは360度のイメージに必要な視野より32度大きい。したがって、隣接する視野の各対における相互間の平均的な重なりは、5.33度である。
必ずしも必要ではないが、いくつかの固有の焦点距離の数は、カメラ装置がその上に位置するテーブルのいくつかの主軸の数と一致することができる。本実施例では、例えば、長方形テーブルは、長軸及び短軸の2つの軸を有する。本実施例で示した焦点距離の数は2つである。テーブル軸の数と、固有な焦点距離の数との間の1対1の対応関係は、最適な実施形態を提供することができる。
<例示的なシステム>
図4は、本発明で提供される例示的なシステムのブロック図である。以下の説明では、これまでの各図に示されたエレメント及び参照番号を引き続き用いている。
例示的なシステム400は、プロセッサ402及びメモリ404を備えている。少なくとも1つの長いカメラ406及び少なくとも2つの短いカメラ407が、例示的なシステム400中に含まれている。用語「長いカメラ」は、「短いカメラ」に対して、より長い焦点距離、より高い解像度、及びより小さい視野を有するカメラを示すものとする。この点において、また、図3に示す実施形態を参照すると、56度の視野は、「長い」カメラに関連するものであり、また70度の視野は、「短い」カメラに関連するものであるということができる。
1つ又は複数のマイクロフォン408、1つ又は複数のスピーカ410、入出力(I/O)モジュール412、及びユーザが操作可能な制御及び表示を含むことのできるユーザインターフェース414を有する例示的なシステム400が示されている。パワーモジュール416は、システム400、その構成要素、及び本明細書に記載のいくつかの機能を実施するのに必要となり得る様々な他のハードウェア418に電力を供給する。
メモリ404は、システム400及びその構成要素に対して動作機能を実施するためのプロセッサ実行可能命令を含むオペレーティングシステム420を記憶する。カメラ406,407により検出された複数のイメージ422は、メモリ404に記憶される。
1つ又は複数の再マッピングテーブル424が、また、メモリ404に記憶されており、それを、パノラマイメージ430を作成するために、イメージ受取りユニット426及びイメージスティッチングモジュール428が利用して、イメージ空間からパノラマ空間への個々のイメージ422の正しいマッピングを決定する。1つ又は複数の再マッピング技術の詳細な説明は、すでに参照のために本明細書に組み込んだ米国特許出願第10/262292号明細書に記載されている。
<結論>
1つ又は複数の例示的な実施形態が図示され説明されているが、添付の特許請求の範囲の趣旨及び技術的範囲を逸脱せずに、それに対して様々な変更を加えることができることを理解されたい。
本発明による例示的なフォビエティドパノラマカメラシステムの構成図である。 長方形テーブルに関して方向付けられた360度パノラマカメラの例示的なレンズ構成図である。 本発明による例示的なフォビエティドパノラマカメラ構成を示す図である。 本発明で提供された例示的なシステムのブロック図である。
符号の説明
100 フォビエティドパノラマカメラシステム
102 ミラーアセンブリ
104 ミラー面
106 レンズアセンブリ
108 カメラ
110 支柱
200 レンズ構成
202 長方形テーブル
204,206,208 レンズ
212 端部
214 第1の幅方向軸
216 側部
218 第2の幅方向軸
220 短軸
300 フォビエティドパノラマカメラ構成
302 長方形テーブル
304 端部
306 側部
308 フォビエティドパノラマカメラシステム
400 例示的なシステム
402 プロセッサ
404 メモリ
406,407 カメラ
408 マイクロフォン
410 スピーカ
412 入出力(I/O)モジュール
414 ユーザインターフェース
416 パワーモジュール
418 ハードウェア
420 オペレーティングシステム
422 イメージ
424 再マッピングテーブル
426 イメージ受取りユニット
428 イメージスティッチングモジュール
430 パノラマイメージ

Claims (20)

  1. 第1の視野に対応する第1の焦点距離を有する少なくとも1つの第1のカメラレンズと、
    第2の視野に対応する第2の焦点距離を有し、前記第2の視野は、前記第1の視野よりも大きい複数の第2のカメラレンズとを備え、
    前記第1のカメラレンズ及び前記第2のカメラレンズの全視野は、180度を超える大きさであることを特徴とするカメラシステム。
  2. 前記第2のカメラレンズは、該第2のカメラレンズの複数の対を備えていることを特徴とする請求項1に記載のカメラシステム。
  3. 前記第2のカメラレンズの複数の対は、2対の第2のカメラレンズを備えていることを特徴とする請求項2に記載のカメラシステム。
  4. 前記2対の第2のカメラレンズのそれぞれは、対向する位置に配置された2つのカメラレンズを備えていることを特徴とする請求項3に記載のカメラシステム。
  5. 前記第1のカメラレンズ及び前記第2のカメラレンズからのイメージ入力を受け取るように構成されたイメージ受取りユニットと、
    該イメージ受取りユニットが受け取ったイメージを組み立てて、パノラマイメージにするように構成されたイメージスティッチングモジュールと
    をさらに備えていることを特徴とする請求項1に記載のカメラシステム。
  6. 前記パノラマイメージは、360度のビュー範囲にわたり、
    前記全視野は、360度を超える大きさである
    ことを特徴とする請求項5に記載のカメラシステム。
  7. 前記パノラマイメージは、180度を超えるビュー範囲を有しており、
    前記全視野は、前記パノラマイメージのビュー範囲を超える大きさである
    ことを特徴とする請求項5に記載のカメラシステム。
  8. 前記第1のカメラレンズは、2つの第1のカメラレンズを備え、各第1のカメラレンズは、もう一方の第1のカメラレンズの反対方向を向いていることを特徴とする請求項1に記載のカメラシステム。
  9. 前記第2のカメラレンズは、2対の第2のカメラレンズを備えていることを特徴とする請求項8に記載のカメラシステム。
  10. 前記各カメラレンズに対応し、その対応するカメラレンズへとオブジェクトイメージを反射させるようにそれぞれが構成されたミラー面を有するミラーアセンブリをさらに備えていることを特徴とする請求項1に記載のカメラシステム。
  11. 180度を超える広角イメージを得るためのパノラマカメラシステムであって、
    それぞれが第1の視野を有する1つ又は複数の第1のカメラと、
    それぞれが第2の視野を有する少なくとも2つの第2のカメラとを備え、
    前記各視野が少なくとも1つの他の視野と重なり、
    前記第1の視野及び前記第2に視野を組み合わせることによって得られる全視野は、前記広角イメージに前記視野の前記重なり量を加えたものに等しいことを特徴とするパノラマカメラシステム。
  12. 前記第1のカメラは、対向する位置に配置された2つの第1のカメラを備え、
    前記第2のカメラは、該第2のカメラの1つ又は複数の対を備え、前記第2のカメラの各対は対向する位置に配置されていることを特徴とする請求項11に記載のパノラマカメラシステム。
  13. 前記第2のカメラの前記1つ又は複数の対は、前記第2のカメラの2つの対を備えていることを特徴とする請求項12に記載のパノラマカメラシステム。
  14. 前記広角イメージを作成するために前記第1のカメラ及び前記第2のカメラによって記録された個々のイメージを組み立てるように構成されたイメージスティッチングモジュールをさらに備えていることを特徴とする請求項11に記載のパノラマカメラシステム。
  15. 前記第1及び第2のカメラのそれぞれに対応するミラー面を有するミラーアセンブリをさらに備え、前記第1及び第2のカメラが、それぞれに対応するミラー面によって反射されたイメージを記録するように構成されていることを特徴とする請求項11に記載のパノラマカメラシステム。
  16. 前記第1及び第2の視野のそれぞれが、75度未満の視野であることを特徴とする請求項11に記載のパノラマカメラシステム。
  17. それぞれが第1の視野を有する少なくとも1対の第1のカメラと、
    それぞれが前記第1の視野を超える第2の視野を有する少なくとも1対の第2のカメラと、
    360度のパノラマイメージを形成するために前記第1及び第2のカメラのそれぞれからのイメージを組み合わせるように構成されたスティッチングモジュールとを備え、
    前記各視野は、少なくとも1つの他の視野と重なることを特徴とするカメラシステム。
  18. 前記第1のカメラの各対及び前記第2のカメラの各対は、反対方向を向いている2つのカメラを備えていることを特徴とする請求項17に記載のカメラシステム。
  19. 前記各第1の視野及び前記各第2の視野は、75度未満の視野であることを特徴とする請求項17に記載のカメラシステム。
  20. 前記第1のカメラ及び前記第2のカメラによって撮像されたオブジェクトイメージを反射するように、前記第1のカメラ及び前記第2のカメラに対して配置された複数のミラー面をさらに備えていることを特徴とする請求項17に記載のカメラシステム。
JP2005215772A 2004-07-28 2005-07-26 カメラシステム及びパノラマカメラシステム Pending JP2006039564A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/902,675 US7495694B2 (en) 2004-07-28 2004-07-28 Omni-directional camera with calibration and up look angle improvements
US11/027,068 US20050117015A1 (en) 2003-06-26 2004-12-30 Foveated panoramic camera system

Publications (1)

Publication Number Publication Date
JP2006039564A true JP2006039564A (ja) 2006-02-09

Family

ID=35169239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005215772A Pending JP2006039564A (ja) 2004-07-28 2005-07-26 カメラシステム及びパノラマカメラシステム

Country Status (9)

Country Link
US (1) US20050117015A1 (ja)
EP (1) EP1624687A2 (ja)
JP (1) JP2006039564A (ja)
KR (1) KR20060049992A (ja)
AU (1) AU2005203094A1 (ja)
BR (1) BRPI0503143A (ja)
CA (1) CA2513760A1 (ja)
MX (1) MXPA05008090A (ja)
RU (1) RU2005123981A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582127B2 (en) 2016-02-29 2020-03-03 Sony Corporation Image processing device, display device, reproduction control method, and image processing system

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
US8300083B2 (en) * 2007-07-20 2012-10-30 Hewlett-Packard Development Company, L.P. Position relationships associated with image capturing devices
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
TW200907557A (en) * 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
US20090118600A1 (en) * 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
TWI419551B (zh) * 2008-08-22 2013-12-11 固態全景影像擷取裝置
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US8310523B2 (en) * 2009-08-27 2012-11-13 Sony Corporation Plug-in to enable CAD software not having greater than 180 degree capability to present image from camera of more than 180 degrees
CN102143305B (zh) * 2010-02-02 2013-11-06 华为终端有限公司 摄像方法及系统
CN101852972B (zh) * 2010-04-27 2011-08-31 上海虚拟谷数码科技有限公司 一种小直径配置摄像机的云台结构
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8878909B1 (en) * 2010-11-26 2014-11-04 John H. Prince Synthesis of narrow fields of view to create artifact-free 3D images
EP2695385B8 (en) * 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US9030583B2 (en) 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
TWI488503B (zh) * 2012-01-03 2015-06-11 國際洋行股份有限公司 會議攝錄裝置及其方法
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9706264B2 (en) 2013-02-06 2017-07-11 Robert Bosch Gmbh Multiple field-of-view video streaming
CA2909493C (en) * 2013-04-16 2018-01-23 Christian Weissig Alignment of a camera system, camera system and alignment aid
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9819863B2 (en) * 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
WO2016172125A1 (en) 2015-04-19 2016-10-27 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
CN107343191A (zh) * 2017-06-11 2017-11-10 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频播放方法及装置
US10867368B1 (en) 2017-09-29 2020-12-15 Apple Inc. Foveated image capture for power efficient video see-through
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス,インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
US11563873B2 (en) * 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR102339825B1 (ko) * 2021-08-11 2021-12-16 한화시스템(주) 상황인식 장치 및 이의 영상 스티칭 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002534009A (ja) * 1998-12-22 2002-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ テレビ会議における参加者のプリセット位置の自動設定方法
JP2003005273A (ja) * 2001-06-20 2003-01-08 Sony Corp 撮像装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3118340A (en) * 1964-01-21 Panoramic motion picture camera arrangement
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5793527A (en) * 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US6111702A (en) * 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) * 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6023061A (en) * 1995-12-04 2000-02-08 Microcam Corporation Miniature infrared camera
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6493032B1 (en) * 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6373642B1 (en) * 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6356296B1 (en) * 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6285365B1 (en) * 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6128143A (en) * 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6144501A (en) * 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6369818B1 (en) * 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6597520B2 (en) * 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6741250B1 (en) * 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US6756990B2 (en) * 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US20040021764A1 (en) * 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US7012757B2 (en) * 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US6809887B1 (en) * 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002534009A (ja) * 1998-12-22 2002-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ テレビ会議における参加者のプリセット位置の自動設定方法
JP2003005273A (ja) * 2001-06-20 2003-01-08 Sony Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582127B2 (en) 2016-02-29 2020-03-03 Sony Corporation Image processing device, display device, reproduction control method, and image processing system

Also Published As

Publication number Publication date
CA2513760A1 (en) 2006-01-28
EP1624687A2 (en) 2006-02-08
AU2005203094A1 (en) 2006-02-16
BRPI0503143A (pt) 2006-03-14
MXPA05008090A (es) 2006-02-01
KR20060049992A (ko) 2006-05-19
RU2005123981A (ru) 2007-02-10
US20050117015A1 (en) 2005-06-02

Similar Documents

Publication Publication Date Title
JP2006039564A (ja) カメラシステム及びパノラマカメラシステム
CN100524017C (zh) 凹形全景照相机系统
US7298392B2 (en) Omni-directional camera design for video conferencing
US7224382B2 (en) Immersive imaging system
US7171088B2 (en) Image input device
US10565734B2 (en) Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US9842624B2 (en) Multiple camera video image stitching by placing seams for scene objects
US7855752B2 (en) Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
US7667730B2 (en) Composite surveillance camera system
JP4890005B2 (ja) パノラマカメラのデッドゾーンを最小限に抑える方法とシステム
JP4153146B2 (ja) カメラアレイの画像制御方法、及びカメラアレイ
JP2007108744A (ja) パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置
JPH08125835A (ja) 全方位撮影装置及び全方位画像合成装置
KR101685418B1 (ko) 3차원 영상을 생성하는 감시 시스템
EP3451649B1 (en) Method and apparatus for generating indoor panoramic video
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
JP2008028606A (ja) パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
JP2001275096A (ja) 撮像および表示装置並びにテレビ会議装置
JP2022514766A (ja) 画像情報を蓄積するための多開口撮像装置を備える装置
JP2001258050A (ja) 立体映像撮像装置
JP4199940B2 (ja) 撮像装置及び撮像システム
JP2003512783A (ja) 周辺視覚を伴うカメラ
KR100923233B1 (ko) 가시범위가 향상된 전방위 수퍼파노라마 감시장치
KR200378726Y1 (ko) 전방위 파노라마 촬영장치
JP2005099572A (ja) 広域撮影方法および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110201