JP2011504043A - 仮想ウィンドウを生成するシステムおよび方法 - Google Patents

Abstract

記載されたシステムおよび方法は、複数のセンサがそれぞれの最良の露出値で画像を記録し、記録された画像の露光を適応的に変更して、継ぎ目のない３６０度の視界を作成することを可能にする、撮像システムを提供する。具体的には、本明細書に記載のシステムおよび方法は、隣接するセンサの最良の露出値間を補間することにより、センサの中の感光要素の各列について露出値を決定することを含む。さらに、複数のセンサのうち第１の画像化センサは、第２の画像化センサに隣接して水平に配置され得る。

Description

（関連出願の参照）
本願は、２００７年１１月１６日に出願された米国仮特許出願第６１／００３，３５０号の利益を主張する。上記出願の教示は、ここで、本明細書において、その全体が参照により援用される。

（背景）
今日、３６０度の状況認識を提供することが可能な、安価な撮像システムへの大きな需要が存在する。状況認識は、環境または場面において、重要な要素を感知することを伴う。状況認識は、その場面で起きていることについての情報の重要な要素を特定し、処理し、理解し、および場面が変わるにつれて、または場面の中の物体が移動するにつれて、何が発生しているのかを理解する能力を含み得る。状況認識を提供することが可能な撮像システムは、実時間視界を得るため、または危険な周辺地域における動きを追跡するために、戦場での設定に使用されることができる。兵士は、このシステムを利用して、巡回ルートまたは戦闘ゾーンのよりよい戦略を立て、死傷者および資源の損害を最小限にすることができる。

また、場面の一部分を拡大して、疑わしい物体または人物を明確にすることのできる撮像システムの需要が存在する。このシステムは、疑わしい対象の画像を拡大表示し、さらなる分析のために遠隔施設に送信することができる。軍事利用に加えて、そのような撮像装置は、バスターミナル等の広い領域または継続的な監視を必要とする任意の領域を監視するための、警備目的にも有用となり得る。

本撮像システムは、安価なＣＣＤ画像化センサを使用して、画像データを収集し、コンピュータ読み取り可能フォーマットでデータを記憶し得る。本システムの低価格性は、広範なユーザが種々の目的のために本システムを実装することを可能にする。例えば、小事業主は、万引き犯を監視するために、本撮像システムを導入することができる。大型モールは、駐車場または荷積み区域に複数のシステムを導入して、活動を監視し得る。また、画像システムは、訪問者を選別するために、大型マンションの建物の正面玄関のドアに導入され得る。ある場合には、多くのドアに見られる小さなのぞき穴では、ドアの前にいる人物の身元を決定するには十分でない。画像システムは、訪問者の身元を照合するために、ドアまたはマンションの廊下に導入され得る。

これらのセンサのコストの低さ、およびこれらのセンサから生成されるデータを処理するコンピュータプログラムの入手しやすさは、多くの新しいアプリケーションおよびデバイスをもたらした。しかしながら、そのようなセンサは別個の視野を捕捉するため、複数のセンサを採用する任意のシステムは、異なる視野を統合して１つの画像を作成するシステムも持たなければならない。

現行の技術は、ユーザが複数のセンサからの複数の画像を合成して１つの画像を作成することを可能にするために、ソフトウェアアプリケーションを使用する。したがって、異なる視野に対応するセンサは、ほぼ独立して動作し、統合されたパノラマ画像を形成するためには、ユーザは、互いに隣接した各センサから取得された画像を、単にソフトウェアアプリケーションのグラフィカルユーザインターフェースを通じて位置付けるだけでよい。ほとんどの設定において、これらの複数のセンサは、異なる量の光に曝露される。センサに曝露される光の量は、露出値と呼ばれることがあり、これは画像の輝度に関連する。露出値を調整しないと、画像の露出不足の部分はしばしば暗過ぎ、露出過多の部分は明るすぎる。例えば、戦闘員は、動きを追跡したり、または作戦のためにトンネルに進入したりするために、撮像システムをトンネルまたは暗い裏通りに設置したいと望む場合がある。露光量を調整しないと、撮像システムによって捕捉された画像は暗過ぎ、理解することが困難である。一方、砂漠の作戦地帯等の明るい地点に設置された撮像システムは、露出過多により、読み取ることが困難な画像を生じ得る。他の例において、兵士は、例えば、深い森林に覆われた山道等の、明るい地点と暗い地点の両方を有する複合地帯を偵察したいと望む場合がある。したがって、隣接するセンサの異なる露光量のため、合成された画像は、画像の交差部分の範囲の近くに、目に見える継ぎ目を典型的に含む。これらの継ぎ目は、ソフトウェアアプリケーションにおいて部分的に平滑にされ得るが、そのような操作は、概して、継ぎ目の近くの情報の損失を伴う。したがって、その場面についての潜在的に価値のある情報が、後処理において失われ得る。

それにより、場面の３６０度の視界を描写する、実質的に継ぎ目のない画像を提供する、安価なシステムへの大きな需要が存在する。

（概要）
本明細書に記載されるシステムおよび方法は、複数のセンサがそれぞれの最良の露出値で画像を記録し、継ぎ目のない３６０度の視界を作成するように、記録された画像の露光量を適応するように変更することを可能にする、向上した画像化センサシステムを提供することにより、先行技術の欠陥に対処する。典型的な電荷結合素子（ＣＣＤ）画像化センサは、水平・垂直ＣＣＤシフトレジスタ、直並列ＣＣＤシフトレジスタ、および信号検知出力増幅器から成ってもよい。動作中、垂直ＣＣＤの中の感光要素（画素）の中の、連続した電荷の行は、水平ＣＣＤに水平に移動し、画像の平行線として連続的に転送され、出力増幅器によって読み取られる。この処理は、すべての行がセンサアレイから読み出されるまで繰り返す。本明細書に記載のシステムおよび方法は、隣接するセンサの最良の露出値間を補間することにより、センサの中の感光要素（画素）の各列について、露出値を決定するステップを含む。本明細書に記載のシステムおよび方法は、すべての列が読み出されるまで、各画素中の電荷が列方向に転送されるように、９０度回転する、複数のＣＣＤ画像化センサを含む。動作中、各列が読み出される際、信号値または電荷は、補間露出値に基づいて修正されてもよい。

より具体的に、一局面では、本明細書に記載のシステムおよび方法は、場面を撮像する方法を含む。本方法は、第２の画像化センサに隣接して第１の画像化センサを配置するステップを含んでもよい。各センサは、入射光線に応じて電荷を記録するために、感光要素のアレイを有し得る。本方法は、第１のセンサの第１の露出値と、第２のセンサの第２の露出値とを決定するステップと、第１および第２のセンサにおいて、場面から光を受容するステップと、第１および第２のセンサの中の、感光要素のそれぞれにおいて収集された電荷を、プロセッサに転送するステップと、第１および第２の露出値に基づいて、感光要素のうちの１つ以上において収集された電荷を修正するステップとをさらに含む。本方法は、修正された電荷に基づいて、場面の画像を生成するステップを含んでもよい。

ある実施形態では、第１の画像化センサは、第２の画像化センサに隣接して水平に配置される。そのような実施形態では、第１のセンサの中の感光要素のそれぞれにおいて収集された電荷は、第２のセンサに最も近いボーダー列を発端に、プロセッサへと列方向に転送される。第２のセンサの中の、感光要素のそれぞれにおいて収集された電荷は、第１のセンサに最も近いボーダー列を発端に、プロセッサへと列方向に転送される。他の実施形態では、第１の画像化センサは、第２の画像化センサに隣接して、垂直に配置される。

ある実施形態では、電荷を修正するステップは、第１および第２の露出値に基づいて、第１および第２のセンサの中の感光要素の各列について、補間露出値を決定するステップと、補間露出値に基づいて、電荷を修正するステップとを含む。追加的におよび任意的に、電荷を修正するステップは、第１および第２のセンサからの電荷に基づいて、信号値を生成するステップと、第１および第２の露出値に基づいて、信号値を修正するステップとを含んでもよい。そのような実施形態では、信号値を修正するステップは、第１および第２の露出値に基づいて、補間露出値を決定するステップと、各列に対応して、補間露出値に基づいて、信号値を修正するステップとを含む。ある実施形態では、補間露出値は、第１の露出値と第２の露出値との間で、線形補間、スプライン補間、および三次補間のうちの少なくとも１つを実施するステップを含む。

別の局面では、本明細書に記載のシステムおよび方法は、撮像システムを含む。本システムは、複数の感光要素を有する第１の画像化センサと、複数の感光要素を有し、第１の画像化センサに隣接して配置される、第２の画像化センサと、第１の画像化センサの第１の露出値と、第２の画像化センサの第２の露出値とを決定するための、露光回路とを備えてもよい。本システムは、回路を伴って構成されるプロセッサであって、第１および第２の露出値に基づいて、感光要素のうちの１つ以上において収集された電荷を修正し、修正された電荷に基づいて、場面の画像を生成するための、プロセッサをさらに備えてもよい。

ある実施形態では、本システムは、それぞれ相互に隣接して配置される、複数の画像化センサをさらに備えてもよい。そのような実施形態では、複数の画像化センサならびに第１および第２の画像化センサは、約３６０度の複合視野を有する閉鎖円の中に位置付けられる。複数の画像化センサならびに第１および第２の画像化センサは、約１８０度の複合視野を有する半円の中に位置付けられてもよい。

ある実施形態では、第１および第２の画像化センサのうちの少なくとも１つは、電荷結合素子（ＣＣＤ）画像化センサを含む。そのような実施形態では、第１および第２の画像化センサは、相互に隣接して水平に位置する。第１および第２の画像化センサは、第１および第２のセンサからの電荷が、センサのうちの他の１つに最も近い列を発端に、垂直列に沿って転送されるように方向付けられてもよい。他の実施形態では、第１および第２の画像化センサのうちの少なくとも１つは、相補型金属酸化膜半導体（ＣＭＯＳ）画像化センサを含む。

また別の局面では、本明細書に記載のシステムおよび方法は、場面のデジタル画像を生成する方法を含む。本方法は、第２の電荷結合素子画像化センサに隣接する第１の電荷結合素子画像化センサを配置するステップであって、各センサは、第１のセンサが、各センサの列と平行な方向に沿って第２のセンサに接するように、感光要素の行および列を有するステップと、センサを使用して画像を記録するステップとを含んでもよい。ある実施形態では、画像を記録するステップは、第１の露出値で、第１のセンサを場面からの光に露光させるステップと、第２の露出値で、第２のセンサを場面からの光に露光させるステップとを含んでもよい。第１および第２の露出値に基づいて、各センサの各列の中の感光要素のための補間露出値を決定するステップとを含んでもよい。本方法は、各センサの中の感光要素で蓄積された電荷を、出力増幅器の列方向に転送することによって、信号値を生成するステップと、補間露出値に基づいて、各列について信号値を修正するステップと、修正された信号値に基づいて、場面に対応する画像を生成するステップとをさらに含んでもよい。

ある実施形態では、電荷を列方向に転送させるステップは、第２のセンサに最も近い、第１のセンサ上のボーダー列の中の感光要素からの電荷と、第１のセンサに最も近い、第２のセンサ上のボーダー列の中の感光要素からの電荷とを、プロセッサへと転送するステップとを含む。電荷を転送させるステップは、第１のセンサ上の、ボーダー列から連続的に離れた、第１のセンサの中の残りの列からの電荷を、プロセッサへと転送するステップをさらに含んでもよい。ある実施形態では、電荷を転送させるステップは、第２のセンサ上の、ボーダー列から連続的に離れた、第２のセンサの中の残りの列からの電荷を、プロセッサへと転送するステップをまたさらに含んでもよい。

ある実施形態では、第２のセンサに最も近い、第１のセンサの中の列の補間露出値は、第１のセンサに最も近い、第２のセンサの中の列の補間露出値と実質的に同一である。１つ以上の補間露出値は、第１の露出値と第２の露出値との間の線形補間に基づいて計算されてもよい。１つ以上の補間露出値は、第１の露出値と第２の露出値との間のスプライン補間に基づいて計算されてもよい。ある実施形態では、第１のセンサの中の少なくとも１つの列は、第１の露出値と等しい露出値を有し、第２のセンサの中の少なくとも１つの列は、第２の露出値と等しい露出値を有する。

ある実施形態では、本方法は、第１および第２のセンサのうちの少なくとも１つに隣接した、１つ以上の追加電荷結合素子画像化センサを配置するステップを含んでもよい。そのような実施形態では、画像を記録するステップは、１つ以上の追加センサを第３の露出値で感光させるステップと、第１、第２、および第３の露出値に基づいて、１つ以上の追加センサと、第１および第２のセンサとの間の列について、補間露出値を決定するステップとを含む。

さらに別の局面では、本明細書に記載のシステムおよび方法は、撮像システムを含む。本システムは、第２の電荷結合素子画像化センサに隣接して位置付けられる、第１の電荷結合素子画像化センサであって、各センサは、感光要素の行および列を有する、第１の電荷結合素子画像化センサを含んでもよい。本システムは、第１および第２のセンサに接続され、第１のセンサの第１の露出値と、第２のセンサの第２の露出値とを決定するように構成される、露光回路をさらに含んでもよい。本システムは、第１および第２のセンサの中の感光要素のそれぞれから、電荷を受容するためのプロセッサを含んでもよい。ある実施形態では、本プロセッサは、第１および第２の露出値に基づいて、各センサ上の感光要素の各列について、補間露出値を計算するための回路を含んでもよい。本プロセッサは、センサのうちの他の１つに最も近い第１の列に沿った、各センサの中の感光要素から、電荷を受容するように構成されてもよい。ある実施形態では、本プロセッサは、他のセンサから離れた方向に沿って、各センサの中の残りの列の中の感光要素から、電荷を受容するように構成されてもよい。本プロセッサは、補間露出値に基づいて、受容した電荷を修正し、修正された電荷に基づいて、画像を生成するようにさらに構成されてもよい。

本発明の前述のおよび他の目的および利点は、添付の図面を参照して、以下のそのさらなる説明からさらに完全に理解されよう。
図１は、本発明の実例的実施形態に従う、２つの画像化センサを有する撮像システムを描写する。 図２は、本発明の実例的実施形態に従う、複数の画像化センサを有する、継ぎ目のないパノラマ式視界を作成するための撮像システムを描写する。 図３Ａは、本発明の実例的実施形態に従う、複数の画像化センサについての、１組の変更されない露出値を描写する。 図３Ｂ〜図３Ｄは、本発明の実例的実施形態に従う、各画像の最良の露出値を、適応するように変更するための、種々の方法を描写する。 図３Ｂ〜図３Ｄは、本発明の実例的実施形態に従う、各画像の最良の露出値を、適応するように変更するための、種々の方法を描写する。 図３Ｂ〜図３Ｄは、本発明の実例的実施形態に従う、各画像の最良の露出値を、適応するように変更するための、種々の方法を描写する。 図４Ａ〜図４Ｃは、本発明の実例的実施形態に従う、ディスプレイの種々の実施形態を示す。 図４Ａ〜図４Ｃは、本発明の実例的実施形態に従う、ディスプレイの種々の実施形態を示す。 図４Ａ〜図４Ｃは、本発明の実例的実施形態に従う、ディスプレイの種々の実施形態を示す。

（詳細な説明）
本明細書に記載のシステムおよび方法は、ある実例的実施形態を参照して説明される。しかしながら、本発明は、それらの図示される実施形態に制限されず、これらは、単に本発明のシステムおよび方法を説明する目的のためにのみ提供され、いかようにも制限されるように理解されないものとする。

図１は、本発明の実例的実施形態に従う、相互に隣接して設置される、２つのセンサを有する撮像システム１００を描写する。具体的には、システム１００は、相互に隣接して設置される、画像化センサ１０２ａおよび１０２ｂを含む。露出計１０８ａおよび１０８ｂは、センサ上の入射光線を決定するために、センサ１０２ａおよび１０２ｂに接続される。露出計１０８ａおよび１０８ｂ、およびセンサ１０２ａおよび１０２ｂは、露光回路１１０に接続される。露光回路１１０は、センサ１０２ａおよび１０２ｂのそれぞれのための露出値を決定するように構成される。ある実施形態では、露光回路１１０は、センサが所定の場面を撮像するための、最良の露出値を決定する。露光回路１１０は、入射光線およびセンサ１０２ａおよび１０２ｂ上の他の電磁放射のタイミングおよび強度を制御するための、雑多な機械および電子シャッタシステム１１８に任意的に接続される。センサ１０２ａおよび１０２ｂには、任意的に１つ以上のフィルタ１２２が加味されてもよい。

ある実施形態では、センサ１０２ａは、行および列のアレイに分散される感光要素（または画素）のアレイ１０６ａを含む。センサ１０２ａは、電荷結合素子（ＣＣＤ）画像化センサを含んでもよい。ある実施形態では、センサ１０２ａは、相補型金属酸化膜半導体（ＣＭＯＳ）画像化センサ．を含む。ある実施形態では、センサ１０２ｂは、センサ１０２ａと類似する。センサ１０２ｂは、ＣＣＤおよび／またはＣＭＯＳ画像化センサを含んでもよい。センサ１０２ａおよび１０２ｂは、相互に隣接して設置されてもよい。ある実施形態では、センサ１０２ａおよび１０２ｂは、場面の異なる視野を捕捉するように構成されてもよい。センサ１０２ａおよび１０２ｂは、所望される視界の程度に応じて、角度付けされてもよい。動作中、捕捉される場面からの入射光線は、センサ１０２ａおよび１０２ｂ上に当たってもよい。ある実施形態では、センサ１０２ａおよび１０２ｂは、シャッタに結合してもよく、シャッタが開いた時、センサ１０２ａおよび１０２ｂは、光に曝露する。光は、感光要素１０６ａおよび１０６ｂのそれぞれの中で、電荷に変換されてもよい。

センサは、任意の適切な種類であることができ、ＣＣＤ画像化センサを含んでもよい。センサは、撮像システム１００内の他の構成要素と組み合わされて、生データ、ＧＩＦ、ＪＰＥＧ、ＴＩＦＦ、ＰＢＭ、ＰＧＭ、ＰＰＭ、ＥＰＳＦ、Ｘ１１ビットマップ、Ｕｔａｈ Ｒａｓｔｅｒ Ｔｏｏｌｋｉｔ ＲＬＥ、ＰＤＳ／ＶＩＣＡＲ、Ｓｕｎ Ｒａｓｔｅｒｆｉｌｅ、ＢＭＰ、ＰＣＸ、ＰＮＧ、ＩＲＩＳ ＲＧＢ、ＸＰＭ、Ｔａｒｇａ、ＸＷＤ、場合によりＰｏｓｔＳｃｒｉｐｔ、およびＸ１１ウィンドウシステムを実行するワークステーションおよびターミナル上のＰＭフォーマット、またはデータ処理システム内にインポートされるために適切な、任意の画像ファイル等の任意のフォーマットでファイルを生成してもよい。また、システムは、ＡＶＩ、ＭＰＧフォーマットのデジタルビデオ画像を含む、ビデオ画像を生成するために採用されてもよい。

ある実施形態では、いったんシャッタが閉じると、光は遮断され、電荷は次に転送され、伝送され、電気信号に変換される。そのような実施形態では、各列からの電荷は、列に沿って出力増幅器１１２に転送される。電荷は、まず列１０４ａおよび１０４ｂ内のそれぞれの画素から転送されてもよい。ある実施形態では、これが完了した後、列１２４ａおよび１２４ｂからの電荷がまず列１０４ａおよび１０４ｂにそれぞれ転送され、次に、列１０４ａおよび１０４ｂに沿って出力増幅器１１２に転送されてもよい。同様に、残りの列のそれぞれからの電荷は、１つの列によって列１０４ａおよび１０４ｂに向かって移動され、出力増幅器１１２に転送される。このプロセスは、すべてのまたは実質的にすべての電荷が出力増幅器１１２に転送されるまで繰り返されてもよい。出力増幅器１１２は、電荷および／または信号をプロセッサ１１４に転送するように構成されてもよい。

プロセッサ１１４は、出力増幅器１１２からデータを、および露光回路１１０から露出値を受容し、センサ１０２ａおよび１０２ｂのそれぞれの中の各列について、補間露出値を決定するようにプログラムされたマイクロコントローラおよびマイクロプロセッサを含んでもよい。補間露出値は、図３Ａ〜図３Ｄを参照してより詳細に説明される。特に、プロセッサ１１４は、中心演算処理装置（ＣＰＵ）、メモリ、および相互接続バス６０６を含んでもよい。ＣＰＵは、プロセッサ１１４をマルチプロセッサシステムとして構成するために、単一のマイクロプロセッサまたは複数のマイクロプロセッサを含んでもよい。メモリは、メインメモリおよび読み出し専用メモリを含んでもよい。プロセッサ１１４および／またはデータベース１１６はまた、例えば、種々のディスクドライブ、テープドライブ、ＦＬＡＳＨドライブ等を有する、大容量記憶装置を含む。メインメモリはまた、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および高速キャッシュメモリを含む。動作中、メインメモリは、ＣＰＵによる実行のための命令およびデータの少なくとも一部分を記憶する。

大容量記憶装置１１６は、プロセッサ１１４による使用のための、データおよび命令を記憶するための、１つ以上の磁気ディスクまたはテープドライブまたは光ディスクドライブを含んでもよい。好ましくはディスクドライブまたはテープドライブである、大容量記憶装置システム１１６の少なくとも１つのコンポーネントは、センサ１０２ａおよび１０２ｂから計測された信号を処理するために使用されるデータベースを記憶する。大容量記憶装置システム１１６はまた、プロセッサ１１４にデータおよびコードを入力し、プロセッサ１１４からデータおよびコードを出力するように、フロッピー（登録商標）ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、ＤＶＤ、または集積回路不揮発性メモリアダプタ（すなわち、ＰＣ−ＭＣＩＡアダプタ）等の種々の携帯型媒体について、１つ以上のドライブを含んでもよい。

プロセッサ１１４はまた、データ通信用に、１つ以上の入力／出力インターフェースを含んでもよい。データインターフェースは、モデム、ネットワークカード、シリアルポート、バスアダプタ、または１つ以上のローカルまたは遠隔システムと通信するための、任意の他の適切なデータ通信機構であってもよい。データインターフェースは、インターネット等のネットワークへの比較的高速リンクを提供してもよい。ネットワークへの通信リンクは、例えば、光、有線、または無線（例えば、衛星またはセルラーネットワークを介して）であってもよい。あるいは、プロセッサ１１４は、ネットワークを介した通信が可能な、メインフレームまたは他の種類のホストコンピュータシステムを含んでもよい。

プロセッサ１１４はまた、適切な入力／出力ポートを含んでもよく、または、プログラミングおよび／またはデータ検索の目的で、ローカルユーザインターフェースとして機能する、他の構成要素、ローカルディスプレイ１２０およびキーボード等のための相互接続バスを使用してもよい。

ある実施形態では、プロセッサ１１４は、アナログ・デジタル変換器および／またはデジタル・アナログ変換器ための回路を含む。そのような実施形態では、アナログ・デジタル変換器回路は、プロセッサ１１４によるさらなる処理のために、センサで受信したアナログ信号を、デジタル信号に転換する。

プロセッサ１１４の中に含まれるコンポーネントは、固定使用に加えて携帯使用のために使用される、撮像システムにおいて典型的に見られるものである。ある実施形態では、プロセッサ１１４は、サーバ、ワークステーション、パソコン、ネットワークターミナル等として使用される、汎用コンピュータシステムを含む。実際には、これらのコンポーネントは、当該技術分野で周知のそのようなコンピュータコンポーネントの広範なカテゴリを代表することを意図される。本発明のある局面は、撮像システム１００のサーバ機能のための、実行コードおよびデータベース等のソフトウェア要素に関連する場合がある。

概して、本明細書に記載の方法は、ウィンドウズ（登録商標）オペレーティングシステムを実行するＩＢＭ ＰＣ互換コンピュータ、ＵＮＩＸ（登録商標）オペレーティングシステムを実行するＳＵＮワークステーション等の従来のデータ処理プラットフォーム、または別の同等のパソコンまたはワークステーション上で実行されてもよい。あるいは、データ処理システムは、埋め込みプログラマブルデータ処理ユニットを含む専用処理システムを含んでもよい。

また、本明細書に記載のプロセスは、ＵＮＩＸ（登録商標）ワークステーション等の従来のデータ処理システム上で動作するソフトウェアコンポーネントとして実現されてもよい。そのような一実施形態では、本プロセスは、Ｃ、Ｃ＋＋、ＦＯＲＴＲＡＮ、Ｊａｖａ（登録商標）またはＢＡＳＩＣ等の（しかしこれらに限定されない）、当業者に周知のいくつかの言語のうちの任意の言語で書かれたコンピュータプログラムとして実装されてもよい。また、本プロセスは、提示のプロセスにおけるすべてのまたはいくつかのステップの並列実行を可能にすることができる、Ｗｅｓｔｅｒｎ Ｓｃｉｅｎｔｉｆｉｃ Ｌｉｎｕｘクラスタ等の一般に利用可能なプロセッサのクラスタ上で実行されてもよい。

本発明の方法は、ハードウエア、ソフトウェア、またはその任意の組み合わせにおいて、これらの用語は現在当該技術分野で周知のとおり、実施されてもよい。特に、本方法は、プロセッサの任意のまたはすべての機能をサポートすることができる、既存のまたはすでにインストール済の画像処理設備を含む、コンピュータまたは任意の種類のコンピュータ上で動作する、ソフトウェア、ファームウエア、またはマイクロコードによって行われてもよい。また、本発明を体現するソフトウェアは、任意のコンピュータ読み取り可能な媒体（例えば、ＲＯＭ、ＲＡＭ、磁気媒体、鑽孔テープまたはカード、任意のフォーマットのコンパクトディスク（ＣＤ）、ＤＶＤ等）に記憶される、任意のフォーマットの（例えば、ソースコード、オブジェクトコード、インタープリタコード等の）コンピュータ命令を含んでもよい。さらに、そのようなソフトウェアはまた、インターネットに接続されたデバイス間で転送される周知のウェブページ内に見られるような、搬送波に統合されたコンピュータデータ信号のフォーマットであってもよい。それにより、本発明は、本開示中に別様に具体的に記載のない限り、あらゆる特定のプラットフォームに限定されない。

図２は、円形トレイに取り付けられた、１組の複数のセンサであって、各センサは、パノラマ式場面の一部分を捕捉するように指示される、１組の複数のセンサを有する撮像システム２００を描写する。パノラマ式視界は、水平および垂直平面内において、画像化センサによって捕捉された３６０度の視界を網羅する。各画像化センサは、異なる量の光に曝露され、画像を最良に捕捉する、しばしば最良の露出値と呼ばれる、異なる最適露出値を有する。露光回路１１０と同様に、露光回路２０６は、センサが画像を捕捉する時に、各センサのために、最良の露出値を決定し、割り当てる。いくつかの実施形態では、自動露出は、各センサについての最良の露出値を決定する時に、各センサによって捕捉された、視界の中心に焦点を当てる。

いくつかの実施形態では、異なる量の光に曝露される、センサによって記録された画像は、互いにとなり合うように配列される。その結果、複数のセンサからの未処理画像が配列されると、２つの画像が交わるところに途切れが存在する。センサによって得られた画像の最良の露光は、継ぎ目のない３６０度の視界を形成するために適応するように調整される。

特に、図２は、図１のセンサ１０２ａおよび１０２ｂに類似した、複数のセンサ２０２ａ〜２０２ｈが、トレイ２０１上に静的に取り付けられ、各センサが、場面の一部分を捕捉するように指示される、本明細書に記載のシステム２００の一実施形態を描写する。図２はまた、露光回路２０６、ロジック／プロセッサ２０８、メモリ２１２、マルチプレクサ２１０、およびディスプレイ２１４を描写する。センサ２０２ａ−２０２ｈに結合した露光回路２０６は、各センサについての露光量を調整し、各センサが画像をその最良の露光量で記録することをもたらす。いくつかの実施形態では、センサ２０２ａ−２０２ｈによって記録されたデジタル信号は、マルチプレクサ２１０に送信される。ロジック／プロセッサ２０８は、マルチプレクサ２１０と通信している。センサ２０２ａ−２０２ｈからデータ信号を受信すると、ロジック２０８は、受信したデータ信号にアクセスし、センサによって記録された各画像の露光量を調整する。パノラマ式視界を表すデジタル信号は、高次パターンまたは顔認識のためのさらなる分析のために、メモリ２１２に記憶されてもよい。各画像のための露光量が調整された後、連続した態様で接合された画像を有する視界が形成され、ディスプレイ２１４上に表示される。画像の最良の露出値を調整するための種々の方法は、図３Ｂ〜図３Ｄに描写される。

いくつかの実施形態では、８つの１．３メガ画素センサが、３インチの直径を有するトレイ２０１に取り付けられてもよい。トレイ２０１の直径は、必要に応じてそれよりも大きくても小さくてもよい。トレイ２０１は、カバーを受けるようなサイズおよび形状とされてもよい。カバーは、センサがパノラマ画像を捕捉することを可能とするようなサイズとされ、位置付けられた、透明なウィンドウを有してもよい。撮像システム２００は、ＵＳＢインターフェースを通じて、ディスプレイ（例えば、ラップトップ）に接続されてもよい。

前述のとおり、概して、画像がＣＣＤセンサのコンデンサアレイに投影されると、各コンデンサは、その視界の場所に、光度に比例して電荷を蓄積する。次に、制御回路は、各コンデンサに、そのコンテンツを隣接するコンデンサに転送させる。そのアレイの最後のコンデンサは、その電荷を増幅器の中へと転送させ、増幅器は、この電荷を電圧に変換する。アレイの各行についてこのプロセスを繰り返すことにより、制御回路は、アレイの全体のコンテンツを、さまざまな電圧に変換して、メモリに記憶する。

いくつかの実施形態では、複数のセンサ（例えば、センサ２０２ａ〜２０２ｈ）は、１つのセンサであるかのように画像を記録する。第１のセンサのコンデンサアレイの第１の行は、その視界に比例して電荷を蓄積し、制御回路は、各コンデンサアレイのコンテンツを隣に転送する。アレイの中の最後のコンデンサは、その電荷を増幅器の中へと転送する。アレイの第２の行に移動する代わりに、いくつかの実施形態では、システムに含まれるマイクロコントローラは、隣接するセンサ（例えば、第１のセンサがセンサ２０２ｃである場合、センサ２０２ｄ）のコンデンサアレイの第１の行に、その視界に比例して電荷を蓄積させる。

マイクロコントローラプロセッサ２０８は、任意の市販のマイクロコントローラを含んでもよい。マイクロコントローラ２０８は、画像処理機能および較正機能を実装するために、および画像捕捉動作等の個別のシステムを制御するために、プログラムを実行してもよい。任意的に、マイクロコントローラは、画像フィルタリング、画像の処理を含む、画像処理を実施するための、および複数の視野を合成するための、信号処理機能性を含んでもよい。

図３Ａは、５つの画像化センサ３０２ａ〜３０２ｅの最良の露出値の実施例３００を示す。点３０４ａ〜３０４ｅは、各センサについての最良の露出値を表す。例えば、図３Ａでは、３０２ａセンサに対応する、フレーム１の最良の露出値は、５である。３０２ｂセンサに対応する、フレーム２の最良の露出値は、１２である。画像は、画像の露光量を調整しなければ、不完全に見える。図３Ｂ〜図３Ｄは、画像の最良の露出値を適応するように調整するための種々の方法を描写する。

図３Ｂは、各センサの最良の露光間の線形補間を描写する。各カメラについての最適な露光量は、フレームの中心に留置され、フレームの中心から隣接するフレームの中心へ、線形的に調整される。例えば、フレーム１が最良の露出値５（点４０で）を有し、フレーム２が１２（点４２で）を有する場合、２つの中心点（４０および４２）の間の露出値が、フレームの輝度を段階的に制御するように、線形的に調整される。２つの中心点４０および４２の間の露出値は、５から開始され、１２まで線形に上昇する。そのような方法を用いると、各フレームの中心の輝度に、いくらかの差が存在する場合がある。

図３Ｃは、画像全域のさまざまな露出値を調整するための、代替的な方法を描写する。図２Ｂと同様に、各カメラについての最良の露光量は、フレームの中心に留置される。この図において、フレーム中心の最良の露出値間のスプライン補間が示され、より少ない途切れまたは画像全域の急激な変化を有するパノラマ式視界をもたらす。

図３Ｄは、各センサの最良の露出値を調整するための、また別の方法を描写する。継ぎ目全域の最良の露出値（例えば、継ぎ目５０）は、平均化される。いくつかの実施形態では、フレームの長さの割合、例えば継ぎ目の両側のフレーム幅の２０％は、継ぎ目についての最良の露出値の平均を計算するために使用されることができる。継ぎ目における最良の露出値は、計算された最良の露光量の平均に調整される。例えば図３Ｄでは、フレーム１はゾーンＸで最良の露出値５を有し、フレーム２はゾーンＹで最良の露出値１１を有する。継ぎ目５０全域の最良の露出値の平均は８である。継ぎ目５０における最良の露出値は、８に調整される。線形補間方法は、図３Ｂに描写されるように、点５２と点５４の間および点５４と点５６の間等の露出値を線形的に調整するために使用されてもよい。結果は、１つのフレームから次のフレームへの、より段階的な輝度の変化である。他の実施形態では、図３Ｃに描写されるようなスプライン補間の方法は、同一の点（点５２〜５４）の間の最良の露出値を調整するために使用されることができる。

ある実施形態では、パノラマウィンドウは、複数の画像化センサによって形成される。パノラマウィンドウは、中心ウィンドウおよびステアリングウィンドウを含んでもよい。中心ウィンドウは、使用者に、パノラマ画像の中心がどこであるかを知らせてもよい。いくつかの実施形態では、パノラマ式視界の中心は、方向または志向感覚を確立する、任意に選択される参照点である。ある人物の３６０度の視界を解釈する能力には、限度がある場合がある。パノラマ式視界の中心に留意することは、選択される参照点に関連して、画像が右または左に位置するということを使用者がわかるために役立つ。

いくつかの実施形態では、別個のスクリーンは、ステアリングウィンドウによって囲まれた領域を示す。別個のスクリーンは、パノラマ画像の一部分を示すズームウィンドウであってもよい。ステアリングウィンドウは、パノラマウィンドウの内部で移動可能である。ズームウィンドウは、ステアリングウィンドウに含まれる画像を、より高解像度で示してもよい。本実施形態では、特定の領域をより接近して見たいと望むユーザは、パノラマウィンドウの内部で、問題となっている領域にステアリングウィンドウを動かして、ズームウィンドウ内で拡大した視界を得てもよい。ズームウィンドウは、パノラマウィンドウと同一の画素数を有してもよい。いくつかの実施形態では、ズームウィンドウは、パノラマウィンドウよりも高い画素数を有してもよい。

センサアレイは、画像を表すデジタル信号を生成するために業界で一般的に使用される種類のＣＣＤアレイであってもよい。ＣＣＤデジタル出力は、マルチプレクサに送られる。いくつかの実施形態では、描写されたマルチプレクサ２１０は、センサ２０２ａ〜２０２ｈからのデータ信号を、低解像度および高解像度で受信する。低解像度で受信されたデータ信号は、パノラマウィンドウの中に示される画像を形成する。高解像度で受信されたデータ信号は、ローカライズされ、ユーザの興味のある領域内でのみ利用される。ステアリングウィンドウによって選択された画像は、高解像度で受信したデータ信号を使用する。本明細書に記載の実施形態は、センサを移動することなく、高解像度ズームウィンドウの即時電気旋回を可能にする。

システムが、１．３メガ画素の代わりに３メガ画素センサを使用した場合、より小さいステアリングウィンドウであっても、ステアリングウィンドウによって選択される領域は、選択された画像をより高解像度で示す。この画像データは、マルチプレクサ２１０によってメモリ２１２に転送されてもよい。いくつかの実施形態では、ズームウィンドウに表示される画像は、後の処理のために、メモリに記憶されてもよい。

いくつかの実施形態では、３６０度の視界を２つの１８０度の視界、前方および後方視界に分けることが有益であり得る。例えば、１０６４ｘ１２８画素を有する３６０度の視界は、２つの５３２ｘ１２８画素の視野に分けられる。図４Ａ〜図４Ｂは、前方視界ウィンドウ８０、後方視界ウィンドウ８２、およびズームウィンドウ８４の３つのウィンドウを有する、ディスプレイ２１４（図２）の異なる実施形態を示す。ウィンドウは、任意の論理的順序並べられてもよい。図４Ａでは、ウィンドウは、フロント視野８０を上段に、リア視野ウィンドウ８２を中段に、およびズームウィンドウ８４を下段に、垂直に並べられる。図４Ｂでは、ズームウィンドウ８４は、フロント視野ウィンドウ８０とリア視野ウィンドウ８２との間に位置付けられてもよい。

いくつかの実施形態では、ほとんどの人は、見ることのできない視野を、車内の後方視界ミラー等のミラーを使用して見ることに慣れているため、後方視界画像のミラーイメージは、後方視界ウィンドウ内に示されてもよい。図４Ｃは、ミラーイメージ後方視界（８６および８８）を示す２つのウィンドウを示す、ディスプレイ２１４を描写する。この実施形態では、画像化センサによって捕捉された後方視界は、左および右の後方視界に分割される。しかしながら、他の実施形態では、ミラーイメージ後方視界は、単一のウィンドウ内に表れてもよい。

本明細書に記載のシステムは、継続的な３６０度の状況認識を提供する。本システムの一用途は、ロボットの使用であり得る。本システムは、ロボットに取り付けられてもよい。人の介入なしに、そのようなロボットは、問題となる領域を偵察し得る。このロボットは、軍事作戦後に、撤収後の領域を監視するために送られ得る。また、本システムは、１組の白黒および赤外線フィルタされないセンサを使用した、低光の状況において動作することが可能であり得る。赤外線フィルタされないセンサは、トレイ（例えば、図２のトレイ２０１）に同時に取り付けられてもよい。本システムは、赤外線フィルタされないセンサと図２で説明されるセンサとの間を、自動的に通過してもよい。本システムは、低光および全光設定の間を切り替えるソフトウェアによって制御されてもよい。非赤外線センサを使用すると、ロボットは日没後にある領域を巡回し得る。

当業者であれば、単なる日常的な実験を使用して、本明細書に記載の実施形態の多くの同等物および実践を知ることができるか、または解明することができよう。記載の変更例、修正例、および他の履行は、本発明の精神および範囲を逸脱することなく用いられ得る。より具体的には、前述の、または参照によって援用されるあらゆる方法、システムおよびデバイス機能は、本明細書に記載の、または参照によって援用される任意の他の適切な方法、システムまたはデバイス機能と組み合わせられてもよく、これは考えられる発明の範囲内である。システムおよび方法は、その精神および本質的な特性を逸脱することなく、他の具体的な形に統合され得る。前述の実施形態は、したがって、あらゆる点で、本発明を制限するものではなく、説明的なものと見なされる。本明細書に引用されるすべての参照の教示は、参照によって全体として本明細書に援用される。

Claims (26)

1. 場面を撮像する方法であって、
   第２の画像化センサに隣接して第１の画像化センサを配置することであって、各センサは、入射光線に応答して電荷を記録するための感光要素のアレイを有する、ことと、
   該第１のセンサに対する第１の露出値と、該第２のセンサの第２の露出値とを決定することと、
   該第１のセンサおよび該第２のセンサにおいて、該場面から光を受容することと、
   該第１のセンサおよび該第２のセンサの中の複数の該感光要素のそれぞれにおいて収集された電荷を、プロセッサに転送することと、
   第１の露出値および第２の露出値に基づいて、複数の該感光要素のうちの１つ以上において収集された該電荷を修正することと、
   該修正された電荷に基づいて、該場面の画像を生成することと
   を含む、方法。
2. 前記第１の画像化センサは、前記第２の画像化センサに隣接して水平に配置される、請求項１に記載の方法。
3. 前記第１のセンサの中の複数の前記感光要素のそれぞれにおいて収集された電荷は、前記第２のセンサに最も近いボーダー列を発端に、プロセッサへと列方向に転送される、請求項２に記載の方法。
4. 前記第２のセンサの中の複数の前記感光要素のそれぞれにおいて収集された電荷は、前記第１のセンサに最も近いボーダー列を発端に、プロセッサへと列方向に転送される、請求項２に記載の方法。
5. 前記第１の画像化センサは、前記第２の画像化センサに隣接して、垂直に配置される、請求項１に記載の方法。
6. 前記電荷を修正することは、前記第１の露出値および前記第２の露出値に基づいて、前記第１のセンサおよび前記第２のセンサの中の感光要素の各列について、補間露出値を決定することと、該補間露出値に基づいて、該電荷を修正することとを含む、請求項１に記載の方法。
7. 前記電荷を修正することは、前記第１のセンサおよび前記第２のセンサからの前記電荷に基づいて、信号値を生成することと、前記第１の露出値および前記第２の露出値に基づいて、該信号値を修正することとを含む、請求項１に記載の方法。
8. 前記信号値を修正することは、前記第１の露出値および前記第２の露出値に基づいて、補間露出値を決定することと、該補間露出値に基づいて、各列に対応する該信号値を修正することとを含む、請求項７に記載の方法。
9. 前記補間露出値を決定することは、前記第１の露出値と前記第２の露出値との間で、線形補間、スプライン補間、および三次補間のうちの少なくとも１つを行うことを含む、請求項８に記載の方法。
10. 撮像システムであって、
    複数の感光要素を有する第１の画像化センサと、
    複数の感光要素を有し、該第１の画像化センサに隣接して配置される、第２の画像化センサと、
    該第１の画像化センサに対する第１の露出値と、該第２の画像化センサに対する第２の露出値とを決定する露光回路と、
    回路を有して構成されているプロセッサであって、
    第１の露出値および第２の露出値に基づいて、複数の該感光要素のうちの１つ以上において収集された電荷を修正することと、
    該修正された電荷に基づいて、該場面の画像を生成することと
    を行う、プロセッサと
    を備えている、撮像システム。
11. 複数の画像化センサであって、それぞれ相互に隣接して配置される、複数の画像化センサをさらに備えている、請求項１０に記載の撮像システム。
12. 前記複数の画像化センサ、ならびに前記第１の画像化センサおよび前記第２の画像化センサは、約３６０度の組み合わせ視野を有する閉鎖円の中に位置付けられる、請求項１１に記載の撮像システム。
13. 前記複数の画像化センサ、ならびに前記第１の画像化センサおよび前記第２の画像化センサは、約１８０度の組み合わせ視野を有する半円の中に位置付けられる、請求項１１に記載の撮像システム。
14. 前記第１の画像化センサおよび前記第２の画像化センサのうちの少なくとも１つは、電荷結合素子（ＣＣＤ）画像化センサを含む、請求項１０に記載の撮像システム。
15. 前記第１の画像化センサおよび前記第２の画像化センサは、相互に隣接して水平に位置する、請求項１４に記載の撮像システム。
16. 前記第１の画像化センサおよび前記第２の画像化センサは、該第１のセンサおよび該第２のセンサからの電荷が、該センサのうちの他の１つに最も近い列を発端に、垂直列に沿って転送されるように方向付けられる、請求項１５に記載の撮像システム。
17. 前記第１の画像化センサおよび前記第２の画像化センサのうちの少なくとも１つは、相補型金属酸化膜半導体（ＣＭＯＳ）画像化センサを含む、請求項１０に記載の撮像システム。
18. 場面のデジタル画像を生成する方法であって、
    第２の電荷結合素子画像化センサに隣接して第１の電荷結合素子画像化センサを配置することであって、各センサは、該第１のセンサが、各センサの列と平行な方向に沿って該第２のセンサに接するように、感光要素の行および列を有する、ことと、
    該センサを使用して画像を記録することであって、
    第１の露出値で、該第１のセンサを該場面からの光に露光させるステップと、
    第２の露出値で、該第２のセンサを該場面からの光に露光させるステップと、
    該第１および第２の露出値に基づいて、各センサの各列の中の該感光要素について補間露出値を決定するステップと、
    各センサの中の該感光要素で蓄積された電荷を、出力増幅器へと列方向に転送することによって、信号値を生成するステップと
    を含む、ことと、
    該補間露出値に基づいて、各列について該信号値を修正することと、
    該修正された信号値に基づいて、該場面に対応する画像を生成することと
    を含む、方法。
19. 電荷を列方向に転送させることは、
    前記第２のセンサに最も近い、前記第１のセンサ上のボーダー列の中の感光要素からの電荷と、該第１のセンサに最も近い、該第２のセンサ上のボーダー列の中の感光要素からの電荷とを、プロセッサへと転送することと、
    該第１のセンサ上の該ボーダー列から連続的に離れた、該第１のセンサの中の残りの列からの電荷を、該プロセッサへと転送することと、
    該第２のセンサ上の該ボーダー列から連続的に離れた、該第２のセンサの中の残りの列からの電荷を、該プロセッサへと転送することと、
    を含む、請求項１８に記載の方法。
20. 前記第２のセンサに最も近い、前記第１のセンサの中の前記列の補間露出値は、該第１のセンサに最も近い、該第２のセンサの中の前記列の補間露出値と実質的に同一である、請求項１８に記載の方法。
21. １つ以上の補間露出値は、第１の露出値と第２の露出値との間の線形補間に基づいて計算される、請求項１８に記載の方法。
22. １つ以上の補間露出値は、前記第１の露出値と前記第２の露出値との間のスプライン補間に基づいて計算される、請求項１８に記載の方法。
23. 前記第１のセンサの中の少なくとも１つの列は、前記第１の露出値と等しい露出値を有し、前記第２のセンサの中の少なくとも１つの列は、前記第２の露出値と等しい露出値を有する、請求項１８に記載の方法。
24. 第１のセンサおよび第２のセンサのうちの少なくとも１つに隣接して、１つ以上の追加電荷結合素子画像化センサを配置することをさらに含む、請求項１８に記載の方法。
25. 前記画像を記録することは、前記１つ以上の追加センサを第３の露出値で感光させることと、前記第１の露出値、前記第２の露出値、および該第３の露出値に基づいて、該１つ以上の追加センサと、前記第１のセンサと前記第２のセンサとの間の列について、補間露出値を決定することとを含む、請求項２４に記載の方法。
26. 撮像システムであって、
    第２の電荷結合素子画像化センサに隣接して位置付けられる、第１の電荷結合素子画像化センサであって、各センサは、感光要素の行および列を有する、第１の電荷結合素子画像化センサと、
    該第１のセンサおよび該第２のセンサに接続され、該第１のセンサに対する第１の露出値と、該第２のセンサに対する第２の露出値とを決定するように構成されている、露光回路と、
    該第１のセンサおよび該第２のセンサの中の該感光要素のそれぞれから電荷を受容するためのプロセッサであって、
    該第１の露出値および該第２の露出値に基づいて、各センサ上の感光要素の各列について補間露出値を計算することと、
    該センサのうちの他の１つに最も近い第１の列に沿って、各センサの中の感光要素から電荷を受容することと、
    該他のセンサから離れた方向に沿って、各センサの中の残りの列の中の該感光要素から電荷を受容することと、
    該補間露出値に基づいて、該受容した電荷を修正することと
    該修正された電荷に基づいて、画像を生成することと
    を行うように構成されている回路を有する、プロセッサと
    を備えている、撮像システム。

Images