JP2013066247A - タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ - Google Patents

タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ Download PDF

Info

Publication number
JP2013066247A
JP2013066247A JP2013002323A JP2013002323A JP2013066247A JP 2013066247 A JP2013066247 A JP 2013066247A JP 2013002323 A JP2013002323 A JP 2013002323A JP 2013002323 A JP2013002323 A JP 2013002323A JP 2013066247 A JP2013066247 A JP 2013066247A
Authority
JP
Japan
Prior art keywords
camera
image
camera device
vehicle
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013002323A
Other languages
English (en)
Inventor
F Lyon Richard
エフ． ライアン リチャード
Ambler Gary
アンブラー ゲイリー
Richard Tyrone Mcclatchie Ian
リチャード タイロン マクラッチ イアン
Holt Jason
ホルト ジェイソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2013066247A publication Critical patent/JP2013066247A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】シャッターを用いる複数のイメージセンサーを有するパノラマカメラの提供。
【解決手段】本発明は、パノラマ静止写真撮影およびパノラマ移動写真撮影に関連する。第１の実施形態において、パノラマ写真撮影のためのカメラ装置は、第１のイメージをキャプチャーするように配置される第１のイメージセンサーを含む。該第１のイメージセンサーは、縦向きに配列されるローリングシャッター読取装置を有する。該カメラ装置はまた、第２のイメージをキャプチャーするように配置される第２のイメージセンサーを含む。該第２のイメージセンサーは、縦向きに配列されるローリングシャッター読取装置を有する。最後に、該第１のイメージセンサーが該第１のイメージをキャプチャーし終える前に、該第２のイメージをキャプチャーし始めるように、該第２のイメージセンサーに信号を送るように構成されるコントローラを該カメラ装置は含む。
【選択図】なし

Description

本出願は、２００８年２月８日に出願された米国仮特許出願第６１／０２７，２３７号明細書（代理人整理番号２５２５．１２５００００）の利益を主張するものであり、その全体が参照により本明細書に援用される。
（本発明の分野）
本発明は、パノラマ静止写真撮影（ｐａｎｏｒａｍｉｃ ｓｔｉｌｌ ｐｈｏｔｏｇｒａｐｈｙ）およびパノラマ移動写真撮影（ｐａｎｏｒａｍｉｃ ｍｏｔｉｏｎ ｐｈｏｔｏｇｒａｐｈｙ）の分野に関する。
（関連技術）
車両に取り付けられるローゼット構成において２つ以上のカメラを含むイメージングシステムが存在する。これらのイメージングシステムは、例えば通りに沿ったパノラマイメージをキャプチャーするのに用いられ得る。各カメラは入射瞳を含む。異なる位置において複数の入射瞳を有することは、空間的視差の原因となり得る。カメラの入射瞳の異なる視点によってもたらされる、イメージ化される対象の、背景と対照して感知される転移に視差は関連する。近傍のイメージが重複する領域において背景の対象が位置合わせされる場合に前景の対象のゴースティング（ｇｈｏｓｔｉｎｇ）を視差がもたらし得るため、視差は、複数のカメラからのイメージを合成する場合に特定の問題となる。
ミラーは、パノラマイメージングにおいて視差を避けるために用いられている。例えば、Ｄｉｓｎｅｙ’ｓ Ｃｉｒｃｌｅ−Ｖｉｓｉｏｎ ３６０°システムは、位置を共同使用する入射瞳を介して世界を見るためのミラーを用いる。これは、ゼロ視差（ｚｅｒｏ ｐａｒａｌｌａｘ）をもたらし得る。しかし、所要の大きなミラーを作成することおよび用いることは困難である。また、この技術は、鉛直の視野を制限する。
ローゼット構成における各カメラは、イメージセンサーを含み、イメージセンサーは、イメージを形成するために光学信号を電気信号へと変換する。２種類のイメージセンサーは、自動的なシャッター−−インターラインシャッター（ｉｎｔｅｒｌｉｎｅ−ｓｈｕｔｔｅｒ）荷電結合デバイス（ＣＣＤ）センサーまたは相補型金属酸化膜半導体（ＣＭＯＳ）センサーに対する必要性を避ける。
ＣＭＯＳセンサーは、通常ローリングシャッター（ｒｏｌｌｉｎｇ−ｓｈｕｔｔｅｒ）を有し、ローリングシャッターは、わずかに異なる時間においてシーン（ｓｃｅｎｅ）の異なるラインを露光し、順番にイメージ全体にわたって巻き取る（ｒｏｌｌ）。カメラがシーンまたは主体に対して動く場合、ローリングシャッターは、イメージのひずみ（例えば、ゆがみ）を招き得る。一部の仕事は、イメージのひずみを補うためになされている。Ｗｉｌｂｕｒｎらは、イメージの主体の移動によって誘発されるひずみを処理および補正するためのローリングシャッタータイミングオフセット（ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ ｔｉｍｉｎｇ ｏｆｆｓｅｔ）を用いることを述べている。非特許文献１を参照されたい。
インターラインシャッターＣＣＤは、ローリングシャッターＣＭＯＳセンサーのイメージのひずみの問題を避ける。しかし、インターラインシャッターＣＣＤセンサーは、焦点ぼけ（Ｂｌｏｏｍｉｎｇ）およびストリーキング（ｓｔｒｅａｋｉｎｇ）を被り得る。焦点ぼけおよびストリーキングは、センサーの一部が過度に露光される場合に発生し、近傍のピクセルにか、または読取ＣＣＤ構造（ｒｅａｄｏｕｔ ＣＣＤ ｓｔｒｕｃｔｕｒｅ）へと光を流出させる。
Ｗｉｌｂｕｒｎら，「Ｈｉｇｈ−Ｓｐｅｅｄ Ｖｉｄｅｏｇｒａｐｈｙ Ｕｓｉｎｇ ａ Ｄｅｎｓｅ Ｃａｍｅｒａ Ａｒｒａｙ」，２００４ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’０４），Ｖｏｌ．２，ｐｐ．２９４〜３０１
必要とされるのは、ひずみおよび空間的視差を低減させるイメージング装置である一方で、ＣＣＤと関連した焦点ぼけおよびストリーキングの問題を避けることである。
本発明は、パノラマ静止写真撮影およびパノラマ移動写真撮影に関連する。第１の実施形態において、パノラマ写真撮影のためのカメラ装置は、第１のイメージをキャプチャーするように配置される第１のイメージセンサーを含む。該第１のイメージセンサーは、縦向きに配列されるローリングシャッター読取装置（ｒｏｌｌｉｎｇ−ｓｈｕｔｔｅｒ ｒｅａｄｏｕｔ）を有する。該カメラ装置はまた、第２のイメージをキャプチャーするように配置される第２のイメージセンサーを含む。該第２のイメージセンサーは、縦向きに配列されるローリングシャッター読取装置を有する。最後に、該第１のイメージセンサーが該第１のイメージをキャプチャーし終える前に、該第２のイメージをキャプチャーし始めるように、該第２のイメージセンサーに信号を送るように構成されるコントローラを該カメラ装置は含む。該第１のイメージの少なくとも一部は、該カメラ装置の前方への方向に対して該第２のイメージの前にある。
第２の実施形態において、パノラマ写真撮影のための方法は、第１のイメージセンサーを用いて第１のイメージをキャプチャーするステップと、該第１のイメージをキャプチャーすることの完了より前に第２のイメージセンサーを用いて第２のイメージをキャプチャーし始めるステップとを含む。該第１および第２のイメージセンサーは、横向きに配列されるローリングシャッター読取装置を有する。少なくとも該第１のイメージの一部が、該第１および第２のイメージセンサーを含むカメラ装置の前方への方向に対して該第２のイメージの前にある。
第３の実施形態において、移動写真撮影のためのカメラ装置は、第１の入射瞳を有する第１のカメラを含む。該カメラ装置の前方への移動の間に、該第１のカメラは、第１のイメージをキャプチャーする。カメラ装置はまた、第２の入射瞳を有する第２のカメラを含む。該カメラ装置の前方への移動の間に、該第２のカメラは、第２のイメージをキャプチャーする。該カメラ装置の移動は、移動体の視差（ｍｏｔｉｏｎ ｐａｒａｌｌａｘ）をもたらす。該第２のカメラが該第２のイメージをキャプチャーするときに対する、該第１のカメラが第１のイメージをキャプチャーするタイミングは、該移動体の視差を用いて、該第１のカメラおよび該第２のカメラの間の空間的視差の影響を低減する。
第４の実施形態において、カメラ装置を用いる移動写真撮影のための方法は、該カメラ装置の前方への移動の間に、第１の時間において、該カメラ装置の中の第１のカメラを用いて第１のイメージをキャプチャーすることと、該カメラ装置の前方への移動の間に、第２の時間において、該カメラ装置の中の第２のカメラを用いて第２のイメージをキャプチャーすることとを含む。該カメラ装置の移動は、移動体の視差をもたらす。該キャプチャーすること（ｂ）が発生するときに対する、該キャプチャーすること（ａ）のタイミングは、移動体の視差を用いて、該第１のカメラおよび該第２のカメラの間の空間的視差の影響を低減する。
この方法において、本発明の実施形態は、ひずみおよび空間的視差を低減させる。
さらなる実施形態、特徴、および本発明の利点、ならびに本発明の様々な実施形態の構造および動作が、添付の図面に関連して下記に詳細に述べられる。
例えば、本願発明は以下の項目を提供する。
（項目１）
パノラマ写真撮影のためのカメラ装置であって、
該カメラ装置は、
第１のイメージをキャプチャーするように配置される第１のイメージセンサーであって、該第１のイメージセンサーは、縦向きに配列されるローリングシャッター読取装置を有する、第１のイメージセンサーと、
第２のイメージをキャプチャーするように配置される第２のイメージセンサーであって、該第２のイメージセンサーは、縦向きに配列されるローリングシャッター読取装置を有する、第２のイメージセンサーと、
該第１のイメージセンサーが該第１のイメージをキャプチャーし終える前に、該第２のイメージをキャプチャーし始めるように該第２のイメージセンサーに信号を送るように構成されるコントローラと
を含み、
該第１のイメージの少なくとも一部は、該カメラ装置の前方への方向に対して該第２のイメージの前にある、カメラ装置。
（項目２）
前記コントローラが、前記第１のイメージセンサーが前記第１および第２のイメージセンサーの視野の重複部分をキャプチャーし始めるほぼそのときに前記第２のイメージをキャプチャーし始めるように該第２のイメージセンサーに信号を送るように構成される、項目１に記載のカメラ装置。
（項目３）
前記コントローラが、前記第１および第２のイメージセンサーの視野の重複部分に対応する遅延時間において前記第２のイメージをキャプチャーし始めるように該第２のイメージセンサーに信号を送るように構成される、項目１に記載のカメラ装置。
（項目４）
前記遅延時間は、前記第１および第２のイメージセンサーの間の空間的視差を打ち消し合うために、前記カメラ装置の移動の結果として生じる移動体の視差を用いるように、該カメラ装置の速度値に従ってオフセットされる、項目３に記載のカメラ装置。
（項目５）
前記カメラ装置の速度値は、該カメラ装置の近似速度または平均速度である、項目４に記載のカメラ装置。
（項目６）
前記遅延時間は、前記カメラ装置の前方への移動の間に、前記第１のイメージセンサーの入射瞳がある位置を通過するときと前記第２のイメージセンサーの入射瞳が該位置を通過するときとの間の時間によってオフセットされる、項目４に記載のカメラ装置。
（項目７）
前記遅延時間は、次の式：
（数２）

Figure 2013066247

を近似的に満たし、
ｔは該遅延時間であり、
Ｒ １ は、前記第１のイメージセンサーのローリングシャッター読取時間であり、
Ｆ １ は、前記第２のイメージセンサーの視野と重複しない該第１のイメージセンサーの視野のパーセンテージであり、
Ｄ １２ は、該第１のイメージセンサーの入射瞳と該第２のイメージセンサーの入射瞳との間の距離であり、
ｖは、前記カメラ装置の速度である、項目４に記載のカメラ装置。
（項目８）
前記第１および第２のイメージセンサーが車両に取り付けられている、項目１に記載のカメラ装置。
（項目９）
前記第１のイメージセンサーは、該第１のイメージセンサーの少なくとも第１および第２の縦列を露光し、前記カメラ装置の前方への移動に対して、該第１の縦列は、前記第１のイメージのより後方の部分をキャプチャーし、該第２の縦列は、該第１のイメージのより前方の部分をキャプチャーし、
該第１のイメージセンサーの該第１の縦列は、該第１のイメージセンサーの該第２の縦列の前に露光を開始し、
前記第２のイメージセンサーは、該第２のイメージセンサーの少なくとも第１および第２の縦列を露光し、該カメラ装置の前方への移動に対して、該第１の縦列は、前記第２のイメージのより後方の部分をキャプチャーし、該第２の縦列は、該第２のイメージのより前方の部分をキャプチャーし、
該第２のイメージセンサーの該第１の縦列は、該第２のイメージセンサーの該第２の縦列の前に露光を開始する、項目１に記載のカメラ装置。
（項目１０）
少なくとも６つのさらなるイメージセンサーをさらに含み、コンピュータが、パノラマイメージを生成するために、少なくとも８つの総数のカメラから撮影されたイメージを合成することができる、項目１に記載のカメラ装置。
（項目１１）
前記第１および第２のイメージセンサーは、ＣＭＯＳイメージセンサーである、項目１に記載のカメラ装置。
（項目１２）
パノラマ写真撮影のための方法であって、
該方法は、
（ａ）第１のイメージセンサーを用いて第１のイメージをキャプチャーすることであって、該第１のイメージセンサーは、横向きに配列されるローリングシャッター読取装置を有する、ことと、
（ｂ）（ａ）におけるキャプチャーすることの完了より前に第２のイメージセンサーを用いて第２のイメージをキャプチャーし始めることであって、該第２のイメージセンサーは、横方向に配列されるローリングシャッター読取装置を有する、ことと
を含み、
少なくとも該第１のイメージの一部が、該第１および第２のイメージセンサーを含むカメラ装置の前方への方向に対して該第２のイメージの前にある、方法。
（項目１３）
前記キャプチャーし始めること（ｂ）が、前記第１および第２のイメージセンサーの視野の重複部分に対応する遅延時間において発生する、項目１２に記載の方法。
（項目１４）
前記遅延時間は、該第１および第２のイメージセンサーの間の空間的視差を打ち消し合うために、前記カメラ装置の移動の結果として生じる移動体の視差を用いるように、該カメラ装置の速度値に従ってオフセットされる、項目１３に記載の方法。
（項目１５）
移動写真撮影のためのカメラ装置であって、
該カメラ装置は、
第１の入射瞳を有する第１のカメラであって、該カメラ装置の前方への移動の間に、該第１のカメラは、第１のイメージをキャプチャーする、第１のカメラと、
第２の入射瞳を有する第２のカメラであって、該カメラ装置の前方への移動の間に、該第２のカメラは、第２のイメージをキャプチャーする、第２のカメラと
を含み、
該カメラ装置の移動は、移動体の視差をもたらし、
該第２のカメラが該第２のイメージをキャプチャーするときに対する、該第１のカメラが第１のイメージをキャプチャーするタイミングは、該移動体の視差を用いて、該第１のカメラおよび該第２のカメラの間の空間的視差の影響を低減する、カメラ装置。
（項目１６）
前記カメラ装置の前方への移動の間に、前記第１の入射瞳が第１の位置にある場合に前記第１のカメラは第１のイメージをキャプチャーし、前記第２の入射瞳が第２の位置にある場合に前記第２のカメラは第２のイメージをキャプチャーし、該第２の位置は、該第１の位置と近似的に同じである、項目１５に記載のカメラ装置。
（項目１７）
前記第１および第２のカメラは、車両に取り付けられている、項目１５に記載のカメラ装置。
（項目１８）
少なくとも６つのさらなるイメージセンサーをさらに含み、コンピュータが、パノラマイメージを生成するために、少なくとも８つの総数のカメラから撮影されたイメージを合成することができる、項目１５に記載のカメラ装置。
（項目１９）
カメラ装置を用いる移動写真撮影のための方法であって、
該方法は、
（ａ）該カメラ装置の前方への移動の間に、第１の時間において、該カメラ装置の中の第１のカメラを用いて第１のイメージをキャプチャーすることと、
（ｂ）該カメラ装置の前方への移動の間に、第２の時間において、該カメラ装置の中の第２のカメラを用いて第２のイメージをキャプチャーすることと
を含み、
該カメラ装置の移動は、移動体の視差をもたらし、
該キャプチャーすること（ｂ）が発生するときに対する、該キャプチャーすること（ａ）が発生するタイミングは、移動体の視差を用いて、該第１のカメラおよび該第２のカメラの間の空間的視差の影響を低減する、方法。
（項目２０）
前記第１のイメージをキャプチャーすること（ａ）は、前記第１のカメラの第１の入射瞳が第１の位置にある場合に該第１のイメージをキャプチャーすることを含み、
前記第２のイメージをキャプチャーすること（ｂ）は、第２の入射瞳が第２の位置にある場合に該第２のイメージをキャプチャーすることであって、該第２の位置は、該第１の位置と近似的に同じである、ことを含む、項目１９に記載の方法。
（項目２１）
パノラマ写真撮影のためのシステムであって、
該システムは、
第１のイメージセンサーを用いて第１のイメージをキャプチャーする手段であって、該第１のイメージセンサーは、ローリングシャッター読取装置を有し、横向きに配列される、手段と、
（ａ）におけるキャプチャーすることの完了より前に第２のイメージセンサーを用いて第２のイメージをキャプチャーし始める手段であって、該第２のイメージセンサーは、ローリングシャッター読取装置を有し、横方向に配列される、手段と
を含み、
少なくとも該第１のイメージの一部が、該第１および第２のイメージセンサーを含むカメラ装置の前方への方向に対して該第２のイメージの前にある、システム。
（項目２２）
カメラ装置を有する移動写真撮影のための装置であって、
該装置は、
該カメラ装置の前方への移動の間に、第１の時間において、該カメラ装置の中の第１のカメラを用いて第１のイメージをキャプチャーする手段と、
該カメラ装置の前方への移動の間に、第２の時間において、該カメラ装置の中の第２のカメラを用いて第２のイメージをキャプチャーする手段と
を含み、
該カメラ装置の移動は、移動体の視差をもたらし、
該第２のイメージをキャプチャーすることが発生するときに対する、該第１のイメージをキャプチャーすることが発生するタイミングは、該移動体の視差を用いて、該第１のカメラおよび該第２のカメラの間の空間的視差の影響を低減する、装置。
本明細書内に援用されており、本明細書の一部を形成している添付の図面は、本発明を図示し、発明を実施するための形態とともに、本発明の原理を説明し、当業者が本発明を実施および用いることを可能にさせることにさらに役立つ。
図１Ａは、ローリングシャッターＣＭＯＳセンサーを含むカメラを示す概略図を含む。 図１Ｂは、本発明の実施形態に従って、地面に対して実質的に垂直な縦列に配列されるフォトダイオード群を有するローリングシャッターＣＭＯＳセンサーを含むカメラを示す概略図を含む。 図２Ａ〜Ｃは、本発明の実施形態に従って、パノラマイメージングにおいて用いられ得るカメラローゼットの一部を示す概略図を含む。 図３は、図２Ａ〜Ｃにおいて示されるカメラローゼットの動作をさらに詳細に示す概略図を含む。 図４Ａ〜Ｂは、カメラの入射瞳の配置が視差にどのようにインパクトを与えるかを示す。 図５は、本発明の実施形態に従って、カメラローゼットの中のカメラの露光のタイミングを調節することを示す概略図を示す。 図６は、車両に固定されるカメラローゼットの概略図を示す。
構成要素が最初に現れる図面は、通常、対応する参照番号の中の最も左側の数字または最も左側の複数の数字によって示される。複数の図面において、同様な参照番号は、同一の要素または機能的に類似した構成要素を示し得る。
本発明の実施形態は、車両に固定されるカメラローゼット（ｃａｍｅｒａ ｒｏｓｅｔｔｅ）から撮影されるパノラマイメージにおけるひずみおよび空間的視差を低減させる。カメラローゼットにおける各カメラは、イメージセンサーを含む。イメージセンサーは、車両が動いている間、イメージをキャプチャーするために露光し得る。この動きは、結果として生じるイメージにおけるひずみの原因となり得る。本発明の一実施形態において、ＣＭＯＳセンサーは、「縦」向きに配列される。下記に述べられる通り、これはイメージのひずみを低減させる。
カメラローゼット上の異なる位置において複数のカメラを有することは、空間的視差の原因となり得る。本発明のさらなる実施形態において、車両の移動体の視差は、空間的視差を打ち消し合うために用いられる。その実施形態において、車両が動く間、各センサーが露光される場合にカメラの入射瞳が近似的に同じ位置にあるように、カメラローゼットにおけるカメラの露光は、タイミングを調節される。この実施形態は、下記に詳細に述べられる。
本発明の詳細な説明において、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「例示的な一実施形態（ａｎ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ）」等への言及に続く本発明の詳細な説明は、述べられる実施形態が、特定の特徴、構造または特性を含み得ることを示すが、全ての実施形態は、必ずしもその特定の特徴、構造または特性を含まなくあり得る。さらに、そのような表現は、必ずしも同じ実施形態への言及ではない。さらに、一実施形態に関して特定の特徴、構造または特性が述べられる場合、明示的に述べられているかどうかに関わらず、他の実施形態に関してそのような特徴、構造または特性をもたらすことが当業者の知識内であるということは提示される。
本明細書内で用いられる「カメラローゼット」という用語は、パノラマイメージをキャプチャーするために配列される２以上のカメラを意味する。各カメラは、イメージをキャプチャーする。イメージは、パノラマイメージを形成するように合成され得る。この合成は、例えば、よく知られたソフトウェア技術によってなされ得る。
本明細書内で用いられる「カメラ」という用語は、写真のイメージをキャプチャーするデバイスを意味する。カメラは、イメージセンサー、および入射瞳を有するレンズを含む。
本明細書内で用いられる「イメージセンサー」という用語は、露光されるときに、イメージをキャプチャーするように、光学信号を電気信号へと変換するデバイスを意味する。
図１Ａは、ローリングシャッターのＣＭＯＳイメージセンサーを含むカメラを示す概略図１００を含む。概略図１００は、２つの時点におけるカメラ、およびカメラのイメージセンサーを示す。第１の時点において、カメラは配置１０２に存在し、カメラのイメージセンサーは配置１０４に存在する。第２の時点において、カメラは配置１１２に存在し、カメラのイメージセンサーは配置１１４に存在する。単純にするために、図の中の点は、レンズの入射瞳を表し、ピンホールカメラの手法において光線がレンズを介して射影しているところが示されている。
一実施例において、カメラは車両に取り付けられ得、車両の動きはカメラを動かし得る。上記に言及された通り、イメージセンサーは、ローリングシャッターＣＭＯＳセンサーであり得る。ローリングシャッターＣＭＯＳセンサーは、フォトダイオード群を含み得、フォトダイオード群は、露光の間、光をキャプチャーし、その光を電気信号に変換する。ローリングシャッターＣＭＯＳセンサーは、異なる時間において、異なるフォトダイオード群を露光し得る。ローリングシャッターＣＭＯＳセンサーは、読取時間（ｒｅａｄｏｕｔ ｔｉｍｅ）を有する。読取時間は、フォトダイオード群のそれぞれの露光時間の終了時に全てのフォトダイオード群を読み取るのに必要な時間である。図１Ａに示される実施例において、ＣＭＯＳセンサーは「横」向きにあり、フォトダイオード群は、地面に対して平行に走っている横列のように配列されていることを意味している。
車両が移動中である間、ローリングシャッターセンサーは露光され得る。一実施例において、ローリングシャッターセンサーは、イメージをキャプチャーするのに１００ｍｓの読取時間を必要とし得る。イメージがキャプチャーされる間に、車両およびカメラは、前方へ１ｍ動き得る。その動きは、イメージセンサーによってキャプチャーされる対象を、１０６に示されるように変化させる。これは、結果として生じるイメージにおけるひずみの原因となる。ＣＭＯＳセンサーにおけるフォトダイオードの異なる横列が異なる時間に露光されるため、イメージはゆがめられて現れ得、即ち、鉛直の特徴（ｖｅｒｔｉｃａｌ
ｆｅａｔｕｒｅ）は傾けられ得る。イメージセンサーであって、ローリングシャッターを有さず、その全体において露光されるイメージセンサー（例えば、インターラインシャッターＣＣＤセンサーは、ゆがみを低減するか、または避けるかし得る。しかし、前述の通り、インターラインシャッターＣＣＤセンサーは、焦点ぼけおよびストリーキングをこうむり得る。
ローリングシャッターセンサーに起因するゆがみの問題に対処するために、本発明の実施形態は、図１Ｂに示される通り、「縦」向きに配列されるローリングシャッターイメージセンサーを有する。図１Ｂは、ローリングシャッターセンサー（例えば、ＣＭＯＳセンサー）を縦向きに有するカメラを示す概略図１５０を含む。縦向きとは、フォトダイオード群が地面に対して垂直に走っている縦列において配列されていることを意味する。
概略図１５０は、異なる時点での異なる配置におけるカメラを示す。前述の通り、カメラは、車両に固定され得、その車両は移動中であり得る。本発明の一実施形態において、フォトダイオードの縦列は、対象空間において後ろから前へ露光され、イメージ空間において前から後ろへ露光される。
配置１５２において、カメラは、最前部のフォトダイオード縦列１５６を露光することにより、最後部の視野１５４を含むイメージをキャプチャーする。次いで、配置１６０において、カメラは、フォトダイオード縦列１５６の後ろにあるフォトダイオード縦列１５８を露光する。この露光は、視野１５４の前にある視野１７２をキャプチャーする。カメラが配置１６２および配置１６４に移動するとき、縦列は、前から後ろへの手法で露光することを継続し、それにより後ろから前へ対象をキャプチャーする。最後に、カメラが配置１６６にある場合、カメラは、最後部のフォトダイオード縦列１６８を露光することにより、最前部の視野１７０を含むイメージをキャプチャーする。
縦向きにイメージセンサーを配置することは、横向きにおいて発生する鉛直の特徴のゆがみを避ける。その代わりに、対象は、それらの距離に依存する量で引き伸ばされて現れ得る。引き伸ばしは、ゆがみほど視覚的に魅力のないものではない。引き伸ばしは、実際に肯定的な特徴であり得る。ローリングシャッターが述べられた向きに配列される場合、引き伸ばしは、背景の対象に対して、前景の対象をより太くさせるのではなく、より細くさせる。結果として、前景の対象は、それらの後ろのより少ない量のシーンを覆う。このことは、パノラマイメージに関連する多くのアプリケーションにおいて利点になり得る。
パノラマイメージングは、異なる方向に向けられる複数のカメラからイメージを撮影することをしばしば含む。複数のイメージは次いで、よく知られるソフトウェア技術を用いて、パノラマへと合成され得る。複数のカメラがこの方法で用いられる場合、２つ以上のカメラの視野において対象が存在し得る。移動写真撮影において、対象は、カメラに対して、次第に動くか、または次第に変化するかし得る。異なる時間において複数のカメラが対象を露光する場合、その対象は、単一のパノラマへと合成するための複数のイメージにおいて異なって現れ得る。結果として生じるパノラマは、ゴースティングか、または他の望ましくないイメージの問題かを有し得る。このことに対処するために、露光は、同時またはほとんど同時に、対象をキャプチャーするために複数のカメラ間で整合させられる必要がある。このことは、各イメージセンサーの異なる部分が異なる時間に露光されるため、ローリングシャッターイメージセンサーにとってさらに困難となる。このことに対処するため、図２Ａ〜Ｃに示される通り、本発明の実施形態は、複数のイメージセンサーの露光のタイミングを調節する。
図２Ａ〜Ｃは、カメラローゼットの一部を示す概略図を含み、そのカメラローゼットの一部は、パノラマイメージングにおいて用いられ得る。カメラローゼットにおける各カメラは、図１Ｂについて述べられるような縦向きにおいて、ローリングシャッターイメージセンサー（例えば、ローリングシャッターＣＭＯＳセンサー）を含む。
図２Ａは概略図２００を含む。概略図２００は、カメラ２０２および２１０を有するカメラローゼットを示す。明確化のために、２つのカメラのみが示される。しかし、実際にはローゼットは異なる数のカメラを含み得る。カメラ２０２は、視野２２０に対して露光されるフォトダイオード縦列２０４を有する。
図２Ｂは概略図２３０を含む。概略図２３０は、図２Ａに示されたローゼットを、より後の時点において示す。カメラ２０２は全体的な視野２２４を有し、カメラ２１０は全体的な視野２３４を有する。カメラ２０２は、（対象空間において）後ろから前へ視野２２４を全体にわたってスキャンし、カメラ２０２は、フォトダイオード縦列２０６群から、フォトダイオード縦列を露光し始める。縦列２０６群は、視野２２２内の対象をキャプチャーする。視野２２２は、遠隔の対象について、カメラ２１０の全体的な視野２３４と重複する。
カメラ２０２が縦列２０６群からフォトダイオード縦列を露光し始める場合に、カメラ２１０は、フォトダイオード縦列２０８群からフォトダイオード縦列を露光し始める。カメラ２１０は、視野２２６をキャプチャーするように、（対象空間において）後ろから前へ、縦列２０８群におけるフォトダイオード縦列を露光する。視野２２６は、遠隔の対象について、カメラ２０２の全体的な視野２２４と重複する。実質上、カメラ２１０が縦列２０８群におけるフォトダイオード縦列を露光するのと同時に、カメラ２０２は、縦列２０６群におけるフォトダイオード縦列を露光する。カメラ２０２が縦列２０６群の露光を完了する場合に、カメラ２０２は、縦列２０６群の露光を終了する。しかし、図２Ｃに示される通り、カメラ２１０は、フォトダイオード縦列を露光することを継続する。
図２Ｃは概略図２４０を示す。概略図２４０は、カメラ２０２が縦列２０６群の露光を完了した時点よりも後の時点における、図２Ｂに示されたローゼットを示す。概略図２４０において、フォトダイオード縦列２３２は、露光され、視野２２８をキャプチャーする。カメラ２１０が視野２２８の露光を継続する間、視野２２８は、別のカメラ（示されていない）にともなう視野と重複し得、そのプロセスは、図３について述べられる通り、全体のカメラローゼットに対して継続し得る。
図２Ａ〜Ｃに示される実施形態は、例示的な実施例について述べられる。一実施例において、カメラ２０２とカメラ２１０との間の遠隔の対象についての重複部分の視野２２２は、カメラ２０２の全体的な視野２２４のうちの１０％であり得る。その実施例において、カメラ２０２が露光を始める時間と、カメラ２１０が露光を始める時間との間の遅延は、カメラ２０２の読取時間のうちの９０％であり得る。カメラ２０２および２１０は、同じ読取時間を有し得るか、または有さなくあり得る。一実施例において、読取時間は１００ｍｓであり、カメラ２０２が露光を始める時間と、カメラ２１０が露光を始める時間との間の遅延は９０ｍｓであり得る。
カメラローゼットは、少なくとも１つのコントローラを有し得、そのコントローラは、指定された時間のオフセットでイメージをキャプチャーするように複数のカメラの同期をとる。そのように、コントローラは、各カメラがいつイメージをキャプチャーし始めるかを示す遅延を用いて、予めプログラミングされ得る。
別の実施形態において、遅延時間は、車両の速度に従ってオフセットされ得る。これは、図５について下記に述べられる通り、車両の動きからの移動体の視差を用いることの効果を有することにより、複数のカメラによってもたらされる空間的視差を打ち消し合う。
上記に言及される通り、図２Ａ〜Ｃについて述べられた２つのカメラの動作は、全体のカメラローゼットを通して継続し得る。一実施形態において、カメラローゼットは、３６０度のパノラマをキャプチャーするように配置されるカメラを含めて、６台から１０台までの間の総数のカメラを有し得る。好ましい実施形態において、カメラローゼットは、図３について示されるローゼットのように、少なくとも８つのカメラを有し得る。
図３は、さらに詳細に、本発明の実施形態に従って、カメラローゼットの動作を示す概略図３００を示す。好ましい実施形態において、カメラローゼットは、９つのカメラ−−水平リング内の８つのカメラおよびまっすぐ上向きに方向付けられた１つのカメラを含み得る。概略図３００は８つの水平なカメラを示す。カメラローゼットにおける各カメラは、フォトダイオードの縦列とともに縦向きにローリングシャッターセンサーを含む。
カメラローゼットは、最後尾のカメラ３０５および３０４において、パノラマイメージをキャプチャーし始める。カメラ３０５および３０４の両方は、図１Ｂについて述べられる通り、（対象空間における）最後部のフォトダイオードを露光することによって開始し、前方へスキャンする。カメラ３０６、３０３は、図２Ｂについて述べられるような時間遅延によって定義される時間においてイメージをキャプチャーし始める。
最前部のカメラ３０１、３０８がスキャンを完了するまで、ローゼットは、前方へスキャンすることを継続する。各カメラは、その後部の近傍のカメラの開始によって定義される時間に遅延を加えた時間において開始する。例えば、カメラ３０２は、カメラ３０３の開始によって定義される時間に遅延を加えた時間において開始する。図２Ｂについて述べられる通り、遅延は、近傍のカメラの視野における重複部分の広さに対応し得る。図５について述べられる通り、遅延はまた、車両の速度に従ってオフセットされ得る。
図３における８つのカメラの各々は、異なる位置に存在し、異なる位置において入射瞳を有する。図４Ａ〜Ｂに示される通り、異なる位置において入射瞳を有することは、空間的視差の原因となる。
図４Ａ〜Ｂは、２つのカメラの入射瞳の配置が空間的視差にどのようにインパクトを与えるかを示す。図４Ａは、例示的なイメージング装置４００を示す。イメージング装置４００は、カメラ４０２およびカメラ４０４を含む。カメラ４０２は入射瞳４０６を有し、カメラ４０４は入射瞳４０８を有する。入射瞳４０６および入射瞳４０８は、距離４２６だけ分離されている。各カメラ４０２、４０４は、対象４１０を含むイメージをキャプチャーする。しかし、カメラ４０２、４０４において対象４１０が現れる間、対象４１０の背景において広幅の差が存在する。これは、広い視差角（ｐａｒａｌｌａｘ ａｎｇｌｅ）４２２によって示される。
図４Ｂは、例示的なイメージング装置４５０を示す。イメージング装置４５０は、カメラ４１６およびカメラ４１４を含む。カメラ４１６は入射瞳４１８を有し、カメラ４１４は入射瞳４２０を有する。入射瞳４１８および入射瞳４２０は、距離４２８だけ分離されている。距離４２８は、図４Ａにおける距離４２６よりも短い。各カメラ４１６、４１４は、対象４１２を含むイメージをキャプチャーする。カメラ４１６、４１４において対象４１２が現れる間、対象４１２の背景において、図４Ａにおけるカメラ４０２、４０４と比較して小さな差が存在する。これは、視差角４２４によって示される。したがって、図４Ｂにおける視差角４２２は、図４Ａにおける視差角４２４よりも小さい。
したがって、異なる場所に存在する２つのカメラは、空間的視差の原因となり得る。同様に、移動体の視差は、異なる時間において異なる位置に存在するカメラによってもたらされる。本発明の実施形態に従って、空間的視差の影響の打ち消し合いまたは低減による、カメラローゼットの移動によってもたらされる移動体の視差は、異なる位置に位置するカメラローゼット上の異なるカメラの入射瞳によってもたらされる。この実施形態は図５に示される。
図５は概略図５００を示し、概略図５００は、本発明の実施形態に従って、視差を低減するための、カメラローゼットの中のカメラの露光のタイミングを調節することを示す。図４Ａ〜Ｂに示される通り、カメラの入射瞳が接近している間、カメラ間の空間的視差は減少する。カメラの入射瞳が近似的に同じ位置に位置する場合に各々のカメラが露光されるように、車両の移動の間に、カメラの露光のタイミングを調節する方法を概略図５００は示す。結果として、概略図５００において、動いている車両によってもたらされる移動体の視差が、複数のカメラに起因する空間的視差を低減する。
概略図５００は、３つの異なる時点での３つの位置５１０、５２０、５３０におけるカメラローゼットの一部を示す。示されるカメラローゼットは、示される３つのカメラ５０２、５０４および５０６を有する。カメラ５０２、５０４および５０６は、それぞれ入射瞳５０８、５１４および５１２を有する。明確化のために、３つのカメラのみが示される。しかし、実際には、異なる数のカメラ（例えば、別の実施形態においては８つの水平なカメラかつ９つの総数のカメラ）が用いられ得る。
図５における実施形態において、イメージセンサーは、ローリングシャッターを有し得るか、または有さなくあり得る。ローリングシャッターを用いて、その実施形態は有用であり得る。しかし、「グローバル」シャッター（ｇｌｏｂａｌ ｓｈｕｔｔｅｒ）を有するイメージセンサー（例えば、自動的なシャッターを用いるインターラインＣＣＤまたはイメージセンサー）を用いて、その実施形態はまた、視差を低減し得る。一部の露光期間と小さな移動のぼかし（ｍｏｔｉｏｎ ｂｌｕｒ）が結果として存在するが、イメージキャプチャーは、同時に起こることとして述べられる。配置５１０において、カメラ５０２はイメージをキャプチャーする。配置５１０において、カメラ５０２の入射瞳５０８は、位置５２４に存在する。続く各カメラは、カメラの入射瞳が近似的に位置５２４に位置する場合に、イメージを撮影するようにタイミングを調節される。
より後の時点の間であって、車両が動いている間に、カメラローゼットは、配置５２０に到達する。配置５２０において、カメラ５０４の入射瞳５１４は近似的に位置５２４に存在する。この時点において、カメラ５０４はイメージをキャプチャーする。最後に、配置５３０において、カメラ５０６の入射瞳５１２が近似的に位置５２４に到達し、カメラ５０６は、イメージをキャプチャーする。
その近似は、車両の速度における誤差か、または車両の方向に変更を加えることかに起因する。一実施例において、その近似は、妥当な期間にわたる実際の速度とは対照的に、妥当な期間にわたる平均車両速度に基づき得る。また、その近似は、カメラがカメラローゼット上に２次元的または３次元的に配置されるという事実に起因し得るのに対して、（例えば、車両上の）ローゼットの動きは、１つの方向にのみにおいてあり得る。例えば、図５において、入射瞳５０８および入射瞳５１４が移動の軸に対して垂直な軸上で異なる位置に存在するため、入射瞳５０８は、ちょうど入射瞳５１４と同じ位置には存在しない。
別の実施形態において、仮想平面が、カメラローゼットの移動の方向に対して垂直に存在する。カメラの入射瞳がその平面を通過する場合、カメラローゼット内の各カメラは露光し得る。この方法で、各カメラは、その入射瞳が近似的に同じ位置に存在する場合に露光し、視差を低減する。
前述の通り、車両速度とカメラ間の距離（例えば、距離５２２）とに従って、続く各カメラを作動させる時間は計算され得る。実施例に示される通り、カメラ５０４がイメージをキャプチャーする時間と、カメラ５０６がイメージをキャプチャーする時間とからの遅延は、距離５２２を車両の速度で割ったものである。仮に距離５２２を１０ｃｍとし、車両速度を１０ｍ／ｓとすると、カメラ５０４がイメージをキャプチャーする時間と、カメラ５０６がイメージをキャプチャーする時間との間の遅延は１０ｍｓになる。換言すると、さらに後部のカメラ（カメラ５０６）は、より前方のカメラ（カメラ５０４）の１０ｍｓ後に、イメージをキャプチャーし始める。
前述の通り、カメラのタイミングを調節するのに用いられる車両速度は、平均車両速度であり得る。あるいは、車両速度は、速度計、ホイールエンコーダー（ｗｈｅｅｌ ｅｎｃｏｄｅｒ）またはＧＰＳセンサーによって実時間において決定され得る。速度は、カメラの中のコントローラに信号で伝えられ得、それに応じて、コントローラは、タイミングを適合させる。
好ましい実施形態において、概略図５００に示される特徴は、図２Ａ〜Ｃについて述べられる特徴と一緒に用いられ得る。図２Ｂは、各カメラがローリングシャッターＣＭＯＳセンサーを縦向きに含む場合において、カメラローゼットにおけるカメラの露光のタイミングを調節することについて述べている。その実施形態において、各カメラは、距離をおいてそれらの視野が重複する領域を前のカメラがスキャンし始める場合に、露光を開始するようにタイミングを調節される。図２Ｂについての実施形態を述べるときに、カメラ２０２が露光を開始する時間とカメラ２１０が露光を開始する時間との間の遅延は、式：
Figure 2013066247
 を実質的に満たす。
ここで、ｔは遅延時間であり、Ｒ１は、第１のイメージセンサーのローリングシャッター読取時間であり、Ｆ１は、第２のイメージセンサーの視野と重複しない第１のイメージセンサーの視野のパーセンテージであり、Ｄ１２は、第１のイメージセンサーの入射瞳と第２のイメージセンサーの入射瞳との間の距離であり、ｖは、カメラ装置の速度である。小さなオフセットおよび係数のような小さな変更がこの式に加えられ得ることは理解されたい。
図２Ｂについて与えられる実施例において、カメラ２０２とカメラ２１０との間の重複部分の視野２２２は、カメラ２０２の全体の視野の１０％であり得る。この実施例において、カメラ２０２の視野の９０％は、カメラ２１０の視野と重複しない。カメラ２０２の読取時間が１００ｍｓである一実施例において、カメラ２０２が露光を開始する時間と、カメラ２１０が露光を開始する時間との間の遅延は、９０ｍｓであり得る。換言すると、より前方のカメラ（カメラ２１０）は、さらに後部のカメラ（カメラ２０２）がイメージをキャプチャーし始める９０ｍｓ後に、イメージをキャプチャーし始める。結果として、重複する視野を有する複数のカメラは、それらの重複部分の領域における対象のイメージを、同時にか、または同じ車両位置からキャプチャーする。カメラがそれらのローリングシャッターを同時に開始させる場合に起こるような、非常に異なる時間および非常に異なる車両位置において重複部分のエリアにおける対象がキャプチャーされる場合に結果として起こり得る大きな視差誤差をこのタイミングが防ぐという点において、このタイミングは視差に対する一次補正である。しかし、同じ場所に存在しないカメラの入射瞳に起因する比較的小さな視差誤差は残る。
概略図５００および図２Ａ〜Ｃにおける両方の特徴を組み込む実施形態の実施例において、遅延時間は、空間的視差をさらに低減するためにオフセットされる。図５について与えられる実施例において、さらなる後部のカメラ（カメラ５０６）は、より前方のカメラ（カメラ５０４）の１０ｍｓ後にイメージをキャプチャーし始める。図２Ａ〜Ｃにおける実施例において、より前方のカメラ（カメラ２１０）は、さらに後部のカメラ（カメラ２０２）がイメージをキャプチャーし始める９０ｍｓ後にイメージをキャプチャーし始める。組み合わせられた実施形態において、その９０ｍｓの遅延は、１０ｍｓだけオフセットされる。したがって、より前方のカメラは、さらに後部のカメラがイメージをキャプチャーし始める８０ｍｓ後にイメージをキャプチャーし始める。この実施形態は、ローリングシャッターの読取遅延、車両速度、および入射瞳の分離を共通して説明する空間的視差を低減した。
別の実施形態において、低減される空間的視差に対するタイミングオフセットは、カメラローゼットの中の一部のカメラに適用されるだけであり得る。一実施例において、そのオフセットは、車両の移動から横に向けられたそれらのカメラにのみ適用され得る。その横に向けられたカメラは、例えば０．０１ｓまたはそれより少ない時間の間に、より後部のカメラの入射瞳の位置を、カメラがイメージを撮影する位置へと通常の車両の移動が動かす場合のカメラであり得る。この実施例において、パノラマの前方監視（ｆｏｒｗａｒｄ−ｌｏｏｋｉｎｇ）の部分および後方監視（ｂａｃｋｗａｒｄ−ｌｏｏｋｉｎｇ）の部分の空間的視差は、移動体の視差によって打ち消され得ないが、これらの方向における対象は、大きな視差の問題を有さないように十分に遠隔である傾向がある。
代替の実施形態において、非常に速い読取時間を有するローリングシャッターは、有用であり得る。そのシャッター読取時間が速くなるにつれて、ローリングシャッターを説明する計算上の遅延は（図２Ａ〜Ｃにおいて述べられる通り）減少する。そのように、特定の読取時間において、ローリングシャッターに対する遅延と空間的視差を説明するオフセットとは、互いに打ち消し合い得る。この読取時間は、入射瞳間の距離に等しい距離を車両が前方へ移動するのに要する時間である。一実施例において、第１のイメージセンサーの読取時間は１０ｍｓであり得る。第１のイメージセンサーの視野の９０パーセントは、次の最前部の第２のイメージセンサーの視野とは重複し得ない。車両が静止している場合、第１および第２のイメージセンサーの露光間の遅延時間は９ｍｓであり得る。しかし、車両が９ｍ／ｓで動いており、かつ、第１および第２のイメージセンサー間の距離が１０ｃｍである場合、車両の移動に起因する遅延オフセットはまた９ｍｓであり得る。したがって、オフセットは互いに効率的に打ち消し合う。同様に、可変の巻き取りの読取時間（ｒｏｌｌｉｎｇ ｒｅａｄｏｕｔ ｔｉｍｅ）を有するイメージセンサーが用いられ得る。その例において、読取時間は、車両の速度に従って調整され得る。
図６は、車両６０２に固定されるカメラローゼット６０４を示す。カメラローゼット６０４は、複数のカメラ（例えば、カメラ６０６）を含む。一実施例において、カメラローゼット６０４は、通りに沿って走っている建物のパノラマイメージをキャプチャーするために用いられ得る。
カメラローゼットの中の各々のカメラは、コントローラ６０８に結合される。前述の通り、コントローラ６０８は、各カメラの露光のタイミングを制御する。コントローラ６０８は、車両の速度を示す入力を受信し得る。あるいは、コントローラ６０８は、タイミングオフセット（例えば、平均車両速度に基づくオフセット）を用いて予めプログラミングされ得る。単一のコントローラ６０８も用いられ得る。あるいは、各カメラは、それ自体のコントローラを有し得る。
コントローラ６０８は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいてインプリメントされ得る。コントローラ６０８は、例えば、カメラの露光を制御するためのソフトウェアを実行する汎用コンピュータであり得る。コントローラ６０８は、プロセッサおよびメモリを有し得る。
概要および要約の項は、発明者（１人または複数人）によって企図されるような、１つ以上だが全てではない本発明の例示的な実施形態を明記し得、したがって、本発明および添付の特許請求の範囲をいかなる方法においても制限することは意図されていない。
特定の実施形態についての前述の解説は、本発明の全体的な本質を十分に明かすものであり、本発明は、（当業者の知識を応用することによって）特定の実施形態のような様々な用途に対して、必要以上の実験なしに、本発明の全体的な概念から逸脱することなく、難なく改良および／または適合され得る。したがって、そのような適合および改良は、本明細書で与えられる教示および示唆に基づいて、開示される実施形態の均等物の意味内および範囲内にすることが意図される。本発明の詳述についての専門用語または表現法が、教示および示唆の観点において当業者によって解釈され得るように、本明細書での表現法または専門用語が解説の目的のためであって限定の目的のためではないことは、理解されたい。
本発明の広さおよび範囲は、上記で述べられたいかなる例示的な実施形態によっても限定されるべきではないが、次ぎに続く特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。

Claims (12)

  1. 移動写真撮影のためのカメラ装置であって、
    前記カメラ装置は、
    第１の入射瞳を有する第１のカメラであって、前記カメラ装置の前方への移動の間に、前記第１のカメラは、第１のイメージをキャプチャーする、第１のカメラと、
    第２の入射瞳を有する第２のカメラであって、前記カメラ装置の前方への移動の間に、前記第２のカメラは、第２のイメージをキャプチャーし、前記カメラ装置の前方への移動は、移動体の視差をもたらす、第２のカメラと、
    コントローラと
    を備え、
    前記コントローラは、
    （ｉ）前記第１のカメラが第１のイメージをキャプチャーするときと前記第２のカメラが前記第２のイメージをキャプチャーするときとの間の遅延時間を決定することにより、前記決定された遅延時間の間に発生する移動体の視差が前記第１のカメラと前記第２のカメラとの間の空間的視差の影響を低減するために用いられるようにすることと、
    （ｉｉ）前記第１のカメラが前記第１のイメージをキャプチャーした後に前記決定された遅延時間が経過したときに前記第２のイメージをキャプチャーするように前記第２のカメラに信号を送ることと
    を実行する、カメラ装置。
  2. 前記コントローラは、
    前記カメラ装置の前方への移動の間に、前記第１の入射瞳が第１の位置にある場合に前記第１のカメラが前記第１のイメージをキャプチャーし、前記第２の入射瞳が第２の位置にある場合に前記第２のカメラが前記第２のイメージをキャプチャーするように、前記遅延時間を決定し、
    前記第２の位置は、前記第１の位置と近似的に同じである、請求項１に記載のカメラ装置。
  3. 前記第１のカメラおよび前記第２のカメラは、車両に取り付けられている、請求項１に記載のカメラ装置。
  4. 少なくとも６つのさらなるカメラをさらに備え、
    コンピュータが、パノラマイメージを生成するために、少なくとも８つの総数のカメラから撮影されたイメージを合成することができる、請求項１に記載のカメラ装置。
  5. 前記コントローラは、前記カメラ装置の速度値と、前記第１のカメラと前記第２のカメラとの間の距離とに基づいて前記遅延時間を決定する、請求項１に記載のカメラ装置。
  6. 前記カメラ装置は、車両に取り付けられており、
    前記速度値は、前記車両のホイールの動きを検出するホイールエンコーダー、前記車両の速度計、または前記車両に取り付けられたＧＰＳセンサーからのデータに少なくとも部分的に基づいてリアルタイムで決定される、請求項５に記載のカメラ装置。
  7. 前記コントローラにより決定される前記遅延時間は、実質的に以下の式：
    ｔ＝Ｄ／ｖ
    を満たし、
    ｔは前記遅延時間であり、
    Ｄは前記距離であり、
    ｖは前記速度値である、請求項５に記載のカメラ装置。
  8. 第１のカメラと第２のカメラとを含むカメラ装置を用いる移動写真撮影のための方法であって、
    前記方法は、
    （ａ）前記カメラ装置の前方への移動の間に、第１の時間において、前記カメラ装置の中の前記第１のカメラを用いて第１のイメージをキャプチャーすることであって、前記カメラ装置の前方への移動は、移動体の視差をもたらす、ことと、
    （ｂ）（ａ）における前記第１のイメージをキャプチャーすることが発生するときと前記第２のカメラが第２のイメージをキャプチャーするときとの間の遅延時間を決定することにより、前記決定された遅延時間の間に発生する移動体の視差が前記第１のカメラと前記第２のカメラとの間の空間的視差の影響を低減するために用いられるようにすることと、
    （ｃ）（ａ）において前記第１のカメラが前記第１のイメージをキャプチャーした後に前記決定された遅延時間が経過したときに前記第２のイメージをキャプチャーするように前記第２のカメラに信号を送ることと、
    （ｄ）前記信号を送られた時間に、前記カメラ装置の中の前記第２のカメラを用いて前記第２のイメージをキャプチャーすることと
    を含む、方法。
  9. 前記第１のイメージをキャプチャーすること（ａ）は、前記第１のカメラの第１の入射瞳が第１の位置にある場合に前記第１のイメージをキャプチャーすることを含み、
    前記第２のイメージをキャプチャーすること（ｄ）は、第２の入射瞳が第２の位置にある場合に前記第２のイメージをキャプチャーすることを含み、
    前記第２の位置は、前記第１の位置と近似的に同じである、請求項８に記載の方法。
  10. 前記決定すること（ｂ）は、前記カメラ装置の速度値と、前記第１のカメラと前記第２のカメラとの間の距離とに基づいて前記遅延時間を決定することを含む、請求項８に記載の方法。
  11. 前記カメラ装置は、車両に取り付けられており、
    （ｅ）前記車両のホイールの動きを検出するホイールエンコーダー、前記車両の速度計、または前記車両に取り付けられたＧＰＳセンサーからのデータに少なくとも部分的に基づいて前記速度値をリアルタイムで決定することをさらに含む、請求項１０に記載の方法。
  12. 前記決定すること（ｂ）は、実質的に以下の式：
    ｔ＝Ｄ／ｖ
    を満たす前記遅延時間を決定することを含み、
    ｔは前記遅延時間であり、
    Ｄは前記距離であり、
    ｖは前記速度値である、請求項１０に記載の方法。
JP2013002323A 2008-02-08 2013-01-10 タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ Pending JP2013066247A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US2723708P 2008-02-08 2008-02-08
US61/027,237 2008-02-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010545890A Division JP5337170B2 (ja) 2008-02-08 2009-02-09 タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ

Publications (1)

Publication Number Publication Date
JP2013066247A true JP2013066247A (ja) 2013-04-11

Family

ID=40561834

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010545890A Active JP5337170B2 (ja) 2008-02-08 2009-02-09 タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP2013002323A Pending JP2013066247A (ja) 2008-02-08 2013-01-10 タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010545890A Active JP5337170B2 (ja) 2008-02-08 2009-02-09 タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ

Country Status (7)

Country Link
US (5) US8493436B2 (ja)
EP (1) EP2253131B1 (ja)
JP (2) JP5337170B2 (ja)
CN (1) CN102037720B (ja)
AU (1) AU2009210672B2 (ja)
CA (1) CA2714492C (ja)
WO (1) WO2009099667A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3034359A1 (en) 2014-12-15 2016-06-22 Ricoh Company, Ltd. Monitoring system, and vehicle mountable with monitoring system
WO2018051815A1 (ja) * 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10171796B2 (en) 2015-01-09 2019-01-01 Ricoh Company, Ltd. Moving body system
WO2019065468A1 (ja) * 2017-09-27 2019-04-04 京セラ株式会社 撮像装置及び移動体
WO2020096192A1 (ko) * 2018-11-08 2020-05-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11928797B2 (en) 2018-10-24 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and method for acquiring a synthesized image

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2714492C (en) 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
US7974314B2 (en) * 2009-01-16 2011-07-05 Microsoft Corporation Synchronization of multiple data source to a common time base
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
CN101852979A (zh) * 2009-03-30 2010-10-06 鸿富锦精密工业（深圳）有限公司 全景相机
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
US20100271533A1 (en) * 2009-04-28 2010-10-28 Crispin Porter & Bogusky Image Recordation Device with a Plurality of Lenses
JP2011119785A (ja) * 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
CN101877775A (zh) * 2010-04-06 2010-11-03 中兴通讯股份有限公司 远程呈现系统及其摄像机组
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
US20120320204A1 (en) * 2011-06-20 2012-12-20 3M Innovative Properties Company Asset assessment system
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
US8937643B1 (en) * 2012-02-28 2015-01-20 Carlos Esteban Offset rolling shutter camera model, and applications thereof
US20130278715A1 (en) * 2012-03-16 2013-10-24 Mark Nutsch System and method for discreetly collecting 3d immersive/panoramic imagery
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
NL2008639C2 (en) * 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
US8941777B1 (en) * 2012-10-31 2015-01-27 Google Inc. System and method for capturing images of a geographic area
FR2998126B1 (fr) * 2012-11-15 2014-12-26 Giroptic Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
EP2946336B1 (en) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9065985B2 (en) 2013-03-15 2015-06-23 Tolo, Inc. Diagonal collection of oblique imagery
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US9742991B2 (en) * 2013-05-24 2017-08-22 Robert Frank Latorre 360 degree photobooth kiosk
US9557519B2 (en) * 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US8811812B1 (en) 2014-03-27 2014-08-19 Michael Shawn Lawler Camera rig
JP2017519250A (ja) 2014-05-06 2017-07-13 ザカリヤ ニアジＺａｋａｒｉｙａ Ｎｉａｚｉ 撮像システム、方法及び用途
JP6385212B2 (ja) * 2014-09-09 2018-09-05 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び画像生成装置
KR102362138B1 (ko) 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
DE102015214900A1 (de) * 2015-08-05 2017-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem
RU2592855C1 (ru) * 2015-08-25 2016-07-27 Вячеслав Михайлович Смелков Устройство панорамного телевизионно-компьютерного мониторинга
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10694249B2 (en) 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10506006B2 (en) 2015-09-09 2019-12-10 Vantrix Corporation Method and system for flow-rate regulation in a content-controlled streaming network
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
US10044963B2 (en) * 2016-03-30 2018-08-07 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
US10110813B1 (en) * 2016-04-27 2018-10-23 Ambarella, Inc. Multi-sensor camera using rolling shutter sensors
US10527925B2 (en) 2017-05-16 2020-01-07 Nico Toutenhoofd Fully-spherical imaging system, camera support for same, and associated methods
KR101964919B1 (ko) * 2017-05-26 2019-08-13 주식회사 만도 주차 제어 장치 및 그 방법
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
US10582181B2 (en) 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
US11181619B2 (en) 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
CN112308783A (zh) 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
JP7490483B2 (ja) * 2020-07-22 2024-05-27 キヤノン株式会社 システム、情報処理方法、物品の製造方法、プログラム及び記録媒体
US11665330B2 (en) 2021-01-27 2023-05-30 Dell Products L.P. Dynamic-baseline imaging array with real-time spatial data capture and fusion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350713A (ja) * 2005-06-16 2006-12-28 National Institute Of Advanced Industrial & Technology 画像処理による監視システム及び方法

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51142212A (en) * 1975-06-02 1976-12-07 Hokkaido Daigaku Tridimensional television system
US4532550A (en) * 1984-01-31 1985-07-30 Rca Corporation Exposure time control for a solid-state color camera
US5023723A (en) * 1988-04-18 1991-06-11 Canon Kabushiki Kaisha Image sensing apparatus having plural image sensors and plural shutters
JP2674135B2 (ja) * 1988-09-20 1997-11-12 株式会社ニコン 電子スチルカメラ
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
EP0641132B1 (en) * 1993-08-26 1999-04-14 Matsushita Electric Industrial Co., Ltd. Stereoscopic image pickup apparatus
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
US6839081B1 (en) * 1994-09-09 2005-01-04 Canon Kabushiki Kaisha Virtual image sensing and generating method and apparatus
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6108440A (en) * 1996-06-28 2000-08-22 Sony Corporation Image data converting method
US7015951B1 (en) * 1998-05-08 2006-03-21 Sony Corporation Picture generating apparatus and picture generating method
US20010015751A1 (en) * 1998-06-16 2001-08-23 Genex Technologies, Inc. Method and apparatus for omnidirectional imaging
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
EP1223083B1 (en) * 1999-09-20 2004-03-17 Matsushita Electric Industrial Co., Ltd. Device for assisting automobile driver
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US6669346B2 (en) * 2000-05-15 2003-12-30 Darrell J. Metcalf Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action
US6778207B1 (en) * 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US6853809B2 (en) * 2001-01-30 2005-02-08 Koninklijke Philips Electronics N.V. Camera system for providing instant switching between wide angle and full resolution views of a subject
US20020124260A1 (en) * 2001-03-02 2002-09-05 Creative Design Group, Inc. Video production system for vehicles
US7012637B1 (en) * 2001-07-27 2006-03-14 Be Here Corporation Capture structure for alignment of multi-camera capture systems
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US20040164249A1 (en) * 2003-02-26 2004-08-26 Crosetto Dario B. Method and apparatus for determining depth of interactions in a detector for three-dimensional complete body screening
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
JP2006503375A (ja) * 2002-10-18 2006-01-26 サーノフ・コーポレーション 複数のカメラを用いたパノラマ映像化を可能とする方法およびシステム
CN1771741A (zh) * 2003-02-14 2006-05-10 李宗琦 3d照相机系统及其方法
JP4346938B2 (ja) * 2003-04-09 2009-10-21 キヤノン株式会社 画像処理装置、方法、プログラム及び記憶媒体
US20040212723A1 (en) * 2003-04-22 2004-10-28 Malcolm Lin Image pickup apparatus and operating method
JP2005045552A (ja) * 2003-07-22 2005-02-17 Canon Inc 撮像装置及び方法
US7436429B2 (en) * 2003-11-24 2008-10-14 The Boeing Company Virtual pan/tilt camera system and method for vehicles
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7697028B1 (en) * 2004-06-24 2010-04-13 Johnson Douglas M Vehicle mounted surveillance system
US8027531B2 (en) * 2004-07-21 2011-09-27 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for capturing a scene using staggered triggering of dense camera arrays
US7750936B2 (en) * 2004-08-06 2010-07-06 Sony Corporation Immersive surveillance system interface
US7629995B2 (en) * 2004-08-06 2009-12-08 Sony Corporation System and method for correlating camera views
US20060028550A1 (en) * 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
JP4531484B2 (ja) * 2004-08-16 2010-08-25 パナソニック株式会社 カメラシステム
JP4325557B2 (ja) * 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP4551990B2 (ja) 2005-02-03 2010-09-29 名古屋市 パノラマ映像作成方法と作成装置
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
JP2007028008A (ja) * 2005-07-13 2007-02-01 Konica Minolta Photo Imaging Inc 撮像装置、撮像システム及びその動作プログラム
TW200715830A (en) * 2005-10-07 2007-04-16 Sony Taiwan Ltd Image pick-up device of multiple lens camera system to create panoramic image
CN101292513B (zh) * 2005-10-21 2012-04-11 诺基亚公司 用于在数字成像中降低运动失真的方法和设备
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
JP4724539B2 (ja) * 2005-11-24 2011-07-13 キヤノン株式会社 実露光時間算出方法ならびにそれを適用した撮像装置、光学機器、カメラシステムおよび実露光時間測定器
CN101322155B (zh) * 2005-12-02 2013-03-27 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
JP2007214620A (ja) 2006-02-07 2007-08-23 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US7834910B2 (en) * 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US20070237364A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
DE102006019124B4 (de) * 2006-04-25 2012-08-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem zur Rundumsicht
JP2007295429A (ja) * 2006-04-27 2007-11-08 Fujifilm Corp ディジタル・スチル・カメラおよびその制御方法
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
SG138491A1 (en) * 2006-06-21 2008-01-28 Generic Power Pte Ltd Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
US7953295B2 (en) * 2006-06-29 2011-05-31 Google Inc. Enhancing text in images
US20080018774A1 (en) * 2006-07-21 2008-01-24 Matsushita Electric Industrial Co., Ltd. Image capture device
US20080027599A1 (en) * 2006-07-28 2008-01-31 James Logan Autonomous vehicle and systems and methods for the operation thereof
US8094182B2 (en) * 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
US20080117288A1 (en) * 2006-11-16 2008-05-22 Imove, Inc. Distributed Video Sensor Panoramic Imaging System
US7813843B2 (en) * 2007-01-04 2010-10-12 Cisco Technology, Inc Ad-hoc mobile IP network for intelligent transportation system
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US20100133424A1 (en) * 2007-05-26 2010-06-03 Norman Matheson Lindsay Electro-optical sensors
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US20110178756A1 (en) * 2008-02-05 2011-07-21 Utah State University Research Foundation Integrated, Predictive, Radiance Sensor Apparatus and Method
CA2714492C (en) * 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
JP4582198B2 (ja) * 2008-05-30 2010-11-17 ソニー株式会社 固体撮像装置、撮像装置、固体撮像装置の駆動方法
EP2286385A4 (en) * 2008-06-06 2013-01-16 Reald Inc TRUNKING GAIN STEREOSCOPIC IMAGES
JP5132497B2 (ja) * 2008-09-16 2013-01-30 キヤノン株式会社 撮像装置および撮像装置の制御方法
WO2010052548A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating interactive panoramic walk-through applications
CN102334128B (zh) * 2008-12-26 2015-03-25 数据逻辑扫描公司 用于成像的系统和方法
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
US8477241B2 (en) * 2009-05-29 2013-07-02 Hewlett-Packard Development Company, L.P. Multi-projector system and method
JP4903888B2 (ja) * 2010-08-09 2012-03-28 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示方法、および画像補正方法
US8937643B1 (en) * 2012-02-28 2015-01-20 Carlos Esteban Offset rolling shutter camera model, and applications thereof
US8941777B1 (en) * 2012-10-31 2015-01-27 Google Inc. System and method for capturing images of a geographic area
CN107637060B (zh) * 2015-05-27 2020-09-29 谷歌有限责任公司 相机装备和立体图像捕获
US10671082B2 (en) * 2017-07-03 2020-06-02 Baidu Usa Llc High resolution 3D point clouds generation based on CNN and CRF models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350713A (ja) * 2005-06-16 2006-12-28 National Institute Of Advanced Industrial & Technology 画像処理による監視システム及び方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3034359A1 (en) 2014-12-15 2016-06-22 Ricoh Company, Ltd. Monitoring system, and vehicle mountable with monitoring system
EP3366522A1 (en) 2014-12-15 2018-08-29 Ricoh Company Ltd. Monitoring system, and vehicle mountable with monitoring system
US10171796B2 (en) 2015-01-09 2019-01-01 Ricoh Company, Ltd. Moving body system
WO2018051815A1 (ja) * 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US11189055B2 (en) 2016-09-15 2021-11-30 Sony Corporation Information processing apparatus and method and program
WO2019065468A1 (ja) * 2017-09-27 2019-04-04 京セラ株式会社 撮像装置及び移動体
JP2019062479A (ja) * 2017-09-27 2019-04-18 京セラ株式会社 撮像装置及び移動体
US11928797B2 (en) 2018-10-24 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and method for acquiring a synthesized image
WO2020096192A1 (ko) * 2018-11-08 2020-05-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Also Published As

Publication number Publication date
US20160142632A1 (en) 2016-05-19
CN102037720B (zh) 2013-11-06
US8493436B2 (en) 2013-07-23
US10397476B2 (en) 2019-08-27
US20180077351A1 (en) 2018-03-15
US20190313022A1 (en) 2019-10-10
US9794479B2 (en) 2017-10-17
JP2011512735A (ja) 2011-04-21
CN102037720A (zh) 2011-04-27
JP5337170B2 (ja) 2013-11-06
CA2714492C (en) 2014-07-15
AU2009210672B2 (en) 2013-09-19
EP2253131A1 (en) 2010-11-24
CA2714492A1 (en) 2009-08-13
WO2009099667A1 (en) 2009-08-13
AU2009210672A1 (en) 2009-08-13
EP2253131B1 (en) 2014-06-25
US20130169745A1 (en) 2013-07-04
US10666865B2 (en) 2020-05-26
US20090201361A1 (en) 2009-08-13

Similar Documents

Publication Publication Date Title
JP5337170B2 (ja) タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
CN109155842B (zh) 立体相机及立体相机的控制方法
US20120268613A1 (en) Image capturing apparatus and control method thereof
EP2242252A2 (en) In-camera generation of high quality composite panoramic images
US10038849B2 (en) Imaging device with controlled timing of images to be synthesized based on shake residual
JP2015194706A5 (ja)
US8970754B2 (en) Image capturing apparatus and method for controlling the image capturing apparatus
JP2010130628A (ja) 撮像装置、映像合成装置および映像合成方法
JP6238578B2 (ja) 撮像装置およびその制御方法
JP2021027523A5 (ja)
JP3493886B2 (ja) デジタルカメラ
JP5393877B2 (ja) 撮像装置および集積回路
US8582016B2 (en) Photographing apparatus and focus detecting method using the same
JP6728005B2 (ja) 撮像装置、撮像方法およびプログラム
JP6439412B2 (ja) 画像処理装置および画像処理方法
JP2012147087A (ja) 画像生成装置及び方法
JP7187185B2 (ja) 撮像装置およびその制御方法
JP7043209B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
JPH10170816A (ja) ピント合わせ情報検出装置及び焦点検出装置及びそれを用いたカメラ
JP2019149601A (ja) 撮像装置
JP2005099572A (ja) 広域撮影方法および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150106