JP2002006426A - 複数画像を自動的に捕捉する方法 - Google Patents

Abstract

(57)【要約】 【課題】 パンニング時に複数の画像を自動的に捕捉す
る方法を提供する。 【解決手段】 シーンに亘るパンニング時にカメラによ
りフレームを自動的にトリガする方法であって、シーン
に亘って前記カメラを移動させるステップと、それぞれ
が所定の動きしきい値に基づいて捕捉されるシーン部分
を複数個捕捉するステップと、を含む方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般にカメラの自
動露出レリーズに関し、特に、パンニング時に複数の画
像を自動的に捕捉する方法および装置に関する。

【０００２】

【従来の技術】パノラマ写真の歴史は、１８４０年代に
さかのぼる。１８４０年代に撮影された最初のパノラマ
写真は、一連のダゲレオタイプ画像を撮影し、その後こ
れらをフレーミングして、または並べて（サイドバイサ
イド）ぶら下げることによって作成されていた。同じア
プローチが、後年、フェロタイプ(tintype)および印画
紙と併用された。２０世紀後半までには、モーター付き
カメラは、特にパノラマ写真用に製造されていた。フィ
ルムを静止させた状態でレンズを揺動させたタイプがあ
った。別のタイプでは、カメラを特殊な三脚上で回転さ
せて画像を移動式フィルムシート上に「ペイント」して
いた。かかるカメラのうち最も有名なものの１つである
コダック社のＣｉｒｋｕｔカメラは１９０４年に特許を
取得した。これは、幅が５″乃至１６″の大型フィルム
を使用し、最大２０フィート長の３６０度写真を作成す
ることが可能であった。

【０００３】現在、プリント用およびスクリーン上での
使用にパノラマ写真を形成する特殊化されたパノラマカ
メラが多数存在する。しかしながら、これらの特殊化さ
れたカメラは、一般に、ほとんどの消費者にとって非常
にコスト高である。しかも、これらの特殊化されたパノ
ラマカメラにより生成されるネガが規格外の大型サイズ
であるため、稀少かつ高価な特殊フィルム現像サービス
が必要となる。

【０００４】特殊化されたパノラマカメラは、パノラマ
写真を生成する唯一の方法ではない。コンピュータイメ
ージングソフトウェアの開発により、通常のカメラを使
用してパノラマ写真を形成することが可能になってき
た。レンズの光学中心である１つの回転点の周りで一連
の画像（すなわち、フレーム）を注意深く捕捉すること
によって、従来のフィルムまたはディジタルカメラを使
用してシームレスなパノラマ写真を形成することができ
る。この一連のフレームを捕捉した後、フレームがディ
ジタルカメラで撮影されなかった場合にはディジタル化
する必要がある。ディジタル形式になると、Ｒｏｕｎａ
ｂｏｕｔ Ｌｏｇｉｃ社のＮｏｄｅｓｔａｒ、Ｖｏｄｅ
ｏＢｒｕｓｈ社のＰｈｏｔｏｇｒａｐｈｅｒ、Ｌｉｖｅ
Ｐｉｃｔｕｒｅ社のＰｈｏｔｏ Ｖｉｓｔａ等の特殊
なイメージングソフトウェアによりフレームを縫合させ
てシームレスな見た目にすることができる。

【０００５】従来のカメラまたはディジタルカメラによ
りフレームが捕捉される際、カメラを一定時間パンニン
グして、前フレームが現行フレームに十分にオーバーラ
ップさせるようにすることで、ソフトウェアにより、後
でこの２つの連続したフレームにおける特徴を一致させ
てこれらのシーンを一緒に登録できるようにする。パン
ニングを補助するために三脚システムが利用可能であ
る。三脚の中には、カメラをガイドするための度数マー
クまたはカメラを適宜固定するための回転止めが付いて
いるものもある。必要とされるフレームの数は、焦点距
離、カメラの画角、カメラの向き（横置きまたは縦置
き）に依存している。適切なフレーム数が撮影されるこ
とが確実になるように、計算が必要となることが多い。
したがって、多数のフレームを捕捉して首尾よく縫合で
きるためには、特殊化された設備に加えて、ある程度の
理解が必要である。

【０００６】最後に、所定のディジタルカメラにも選択
可能な「パノラマモード」がある。しかしながら、この
モードは、単に従来サイズの画像の中間を通る帯を捕捉
するにすぎず、画像領域の上下の露光されていない帯が
残ってしまう。実際、これは、撮影後に画像を単にクロ
ッピングするのと何ら変わらない。

【０００７】

【発明が解決しようとする課題】これらは、パノラマ写
真をより入手しやすくかつ高信頼性のあるものにするに
は大きな障害である。したがって、特殊なカメラ、設備
または現像処理を必要とせずに、パノラマ写真をほとん
どの消費者に利用可能とするためのより単純な自動化ア
プローチが期待される。

【０００８】

【課題を解決するための手段】好ましい実施形態によ
り、本発明は、パンニング時に複数の画像を自動的に捕
捉する方法および装置を提供する。

【０００９】本発明は、パンニング時に露光を自動的に
トリガする方法とすることができる。本方法は、広義に
は、以下の動作により概念化される。すなわち、第１の
位置において第１のシーン部分を捕捉し、一シーンに亘
ってカメラをパンニングし、このカメラのパンニングに
ともない、第１の位置に対するカメラの動きを追尾し、
所定のオーバーラップレンジにより規定されるように第
２のシーン部分が第１のシーン部分に十分オーバーラッ
プすると、この第２のシーン部分を捕捉する。

【００１０】追尾動作は、パンニング時に現行フレーム
を定期的に捕捉し、それぞれの現行フレームを第１のシ
ーン部分と比較してオーバーラップを決定することを含
む。この比較は、相関アルゴリズムを使用して行うこと
ができる。また、追尾動作は、カメラに固定された動き
センサからの位置情報を読み出すことをさらに含む。

【００１１】本発明の別の特徴によれば、第２のシーン
部分は、カメラのシャッタスピードが所定のしきい値を
超える場合には自動的に捕捉されるようにしてもよい。
また、第２のシーン部分は、シャッタスピードが所定の
しきい値を下回る場合には手動で捕捉されるようにして
もよい。シャッタスピードが所定のしきい値を下回る場
合には、音声／視覚表示により、カメラ操作者にパンニ
ングを停止させて第２のシーン部分を手動で捕捉させる
ようにしてもよい。

【００１２】本発明の別の特徴によれば、本方法は、第
１および第２のシーン部分を縫合させてパノラマ画像を
形成することを含むようにしてもよい。

【００１３】また、本発明は、一シーンのパンニング時
に複数の画像を捕捉するカメラとすることもできる。該
カメラは、広義には、イメージャとプロセッサとを含む
とすることができる。プロセッサは、イメージャにより
第１のシーン部分を捕捉し、カメラのパンニングととも
にイメージャによりフレームを捕捉し、各フレームを第
１のシーン部分と比較してオーバーラップを決定し、所
定のオーバーラップレンジにより規定されるように第２
のシーン部分が第１のシーン部分を十分にオーバーラッ
プする場合、この第２のシーン部分を捕捉するように構
成可能である。プロセッサは、相関アルゴリズムを用い
てオーバーラップを決定することができる。

【００１４】また、本発明は、一シーンのパンニング時
に複数の画像を捕捉するカメラとすることもできる。該
カメラは、広義には、動きセンサとプロセッサとを含む
とすることができる。プロセッサは、第１のシーン部分
を捕捉し、カメラのパンニングとともに動きセンサによ
り動きを追尾して、第１のシーン部分と第２のシーン部
分とのオーバーラップを決定し、所定のオーバーラップ
レンジにより規定されるように第２のシーン部分が第１
のシーン部分と十分にオーバラップする場合には、この
第２のシーン部分を捕捉するように構成可能である。動
きセンサは、ジャイロスコープまたはコンパスを有する
ようにしてもよい。

【００１５】本発明の他の特徴および利点は、添付図面
とともに以下の例示の実施形態の詳細な説明を検討する
ことで当業者にとって明らかとなろう。なお、かかる特
徴および利点はすべて、本明細書において、本発明の範
囲に包含されるとともに特許請求の範囲により保護され
るものとする。

【００１６】

【発明の実施の形態】本発明の上記およびその他の態
様、特徴および利点については、本発明の原理を例とし
て示す添付図面とともに、以下の詳細な説明から一層明
らかになる。

【００１７】本発明は、一シーンのパンニング時に露光
を自動的かつ最適にトリガするカメラにおいて具体化さ
れる。このトリガ機構は、隣接フレーム同士のオーバー
ラップを最小にするとともに記憶容量を最大にするため
に最適化されることが好ましい。従来技術のトリガ方法
と異なり、特殊な三脚、レンズまたはフィルム等の補助
的な機構は不要である。トリガ機構は、単純化、簡便性
および自動化のためにカメラに完全に内蔵される。

【００１８】まず図１を参照すると、第１の実施形態に
係るカメラＣのブロック図が示される。本発明は、パン
ニング時に露光を自動的にトリガする目的において、従
来のカメラ動作を実行するとともに、画像解析を実行可
能な単一プロセッサを有するディジタルカメラにおいて
具体化される。

【００１９】従来のフィルムベースのカメラと比べ、デ
ィジタルカメラは、イメージセンサ１０と呼ばれるソリ
ッドステートデバイスを使用する。イメージセンサ１０
は、１つのアレイに十万個または百万個の感光素子を有
する指の爪程度のシリコンチップである。イメージセン
サ１０は、アクティブピクセルＣＭＯＳ（相補的金属酸
化物半導体）タイプのセンサであるが、パッシブピクセ
ルＣＭＯＳ、電荷結合素子（ＣＣＤ）センサ等の代替の
センサを使用してもよい。

【００２０】従来のカメラと同様に、シーン１４から反
射した光１２は、シャッタ１８により制御されるレンズ
１６を介してカメラＣに入射する。レンズ１６は、シー
ン１４をイメージセンサ１０で結像するが、標準、広
角、ズーム、望遠等、カメラＣと協働するように設計さ
れるいずれのタイプのレンズであってもよい。従来のカ
メラと比べ、シャッタ１８は、イメージセンサの集光を
開始および停止させるタイミング回路（図示せず）の形
式でイメージセンサ１０に組み込まれる。イメージセン
サ１０に組み込まれない代替のシャッタとして、電気機
械式および電気光学式シャッタが使用できる。シャッタ
１８が開放の場合、光１２は、イメージセンサ１０にお
いて集光され、感光素子が赤、緑および青の光の強度を
記録する。各感光素子は、これに当たった光を電荷に変
換する。

【００２１】シャッタ１８が閉じている場合、イメージ
センサ１０は、記録しておいたパターンを「思い出
す」。イメージセンサ１０に蓄積された電荷は、通常、
一度に１列ずつ読み出される。各素子強度または電荷を
示す信号は、増幅器（図示せず）に送られた後、アナロ
グ−ディジタルコンバータ（Ａ／Ｄ）２０によりディジ
タル番号に変換される。

【００２２】プロセッサ２２は、ディジタルデータをＡ
／Ｄコンバータ２０から読み出し、動的または静的ＲＡ
Ｍ等のランダムアクセスメモリ（ＲＡＭ）２４に書き込
む。直接メモリアクセス（ＤＭＡ）動作によりデータを
移動してもよいが、あるいはプロセッサ２２がこの移動
を行ってもよい。ＲＡＭ２４における得られたディジタ
ル番号またはデータの集合体が画像または写真を構成す
る。ＲＡＭ２４は、プロセッサ２２が鮮鋭化、照明等に
合わせて画像を最適化する際、一時的に画像を保持す
る。

【００２３】さらに、プロセッサ２２は、プログラムメ
モリ（たとえば、ＦＬＡＳＨ）２６、記憶部２８および
入出力（Ｉ／Ｏ）部３０にも結合される。プログラムメ
モリ２６は、プロセッサ２２のプログラミングおよび初
期化ファームウェアを保持し、そのタスクの遂行時に実
行する。プロセッサ２２は、ディジタル画像を改善す
る、色変換を行う、画像を小さいファイルサイズに圧縮
する、画像を比較する等、各種の画像処理タスクを実行
する数学的機能を有することが好ましい。このファーム
ウェアをＲＡＭ２４に移動して、より良好な性能を図る
ようにしてもよい。

【００２４】記憶部２８は、得られた画像（すなわち、
写真）を記憶する恒久的メモリである。記憶部２８は、
消去可能なプログラマブルメモリ（たとえば、ＥＰＲＯ
Ｍ、ＦＬＡＳＨ ＥＰＲＯＭ、ＥＥＰＲＯＭ）等のシリ
コンストレージ、ハードまたはフロッピー（登録商標）
ディスクドライブ等の磁気ストレージ、光学式ストレー
ジ、または写真フィルム（フィルムベースのカメラの場
合）で構成することができる。他の読み出し／書き込み
または１回書き込みタイプのメモリ技術を記憶部２８に
採用してもよい。

【００２５】入出力部３０は、コンピュータシステム
Ｓ、プリンタ、テレビ、またはその他の画像記憶装置
等、遠隔の記憶装置または表示装置にカメラＣから画像
をダウンロードするための回路を含むことが好ましい。
入出力部３０は、ユニバーサルシリアルバス（ＵＳＢ）
通信リンクを有することが好ましいが、他の有線または
無線通信リンク、たとえばＩｒＤＡ（Infrared Data As
sociation）、ＲＳ−２３２シリアルリンク、ＲＦ（無
線周波数）（たとえば、Ｂｌｕｅｔｏｏｔｈ）、ＩＥＥ
Ｅ−１３９４“Ｆｉｒｅｗｉｒｅ”バスまたはＳ映像通
信リンクを使用してもよい。フィルムベースのカメラの
場合、入出力部は不要である。

【００２６】本実施形態の動作において、パンニング画
像捕捉ルーチン３２が、プロセッサ２２により実行さ
れ、予め記憶されている露光（すなわち、参照画像３
４）と最近得られたフレーム（すなわち、現行画像３
６）との比較に基づいて、パンニング時に露光を自動的
にトリガする。一般に、プロセッサ２２が変位または動
きを検出すると、所定のパラメータ内で、露光がトリガ
される。したがって、カメラＣがシーン１４に亘ってパ
ンニングされるのにともない、一連の画像が捕捉され
る。適宜トリガされた一連のディジタル画像を縫合して
１つの合成パノラマまたはワイド領域画像を形成するこ
とができる。縫合は、カメラＣによりオンボードでまた
はコンピュータシステムＳにより外部で行ってもよい。

【００２７】また、機能的に同等な多数の種類の構造に
より、上記の各ブロックにおいて識別される機能を実行
可能であることも、当業者にとって以下の説明から明ら
かである。たとえば、プロセッサ２２、メモリ２６およ
びランダムアクセスメモリ２４は、ディジタル信号プロ
セッサと替えてもよい。別のアーキテクチャ変形形態で
は、ディジタルカメラが２個のプロセッサを有すること
が可能である。すなわち、一方が専ら従来のカメラ動作
を担当し、他方が専ら画像解析を担当する。他の変形形
態において、別個のプログラム可能な数学成分、特殊な
画像処理回路またはピクセルコプロセッサを単独で、あ
るいは上記の機能の１つ以上と組み合わせて画像処理を
実行してもよい。また、これらの機能は、別々にしても
よく、あるいは本発明の範囲から逸脱しない異なる構造
に組み込むようにしてもよい。

【００２８】次に図２を参照すると、本発明の第２の実
施形態に係るカメラＦが示される。なお、図１から繰り
返される各要素は略同一であり、以下を除いてさらなる
説明の必要はない。第１の代替の実施形態は、パンニン
グ時に露光を自動的にトリガ可能なディジタル画像処理
機能を有するフィルムベースのカメラＦに関する。

【００２９】ディジタルカメラに比べ、フィルムベース
のカメラＦは、従来のハロゲン化銀ベースのフィルム３
８を用いて露光を捕捉する。シーン１４から反射した光
１２は、電気機械シャッタ４２により制御されるレンズ
４０を介してカメラＦに入射する。シャッタ４２は、プ
ロセッサ２２により実行されるパンニング画像捕捉ルー
チン３２の結果として電子的にトリガされる。

【００３０】図１で上述したように、パンニング画像捕
捉ルーチン３２は、イメージャ１０を介して得られたデ
ィジタル画像に応答する。しかしながら、本実施形態に
おいて、得られたディジタル画像は、恒久的メモリに記
憶されず、シャッタ４２をトリガする目的で変位または
動きを検出するためにのみ使用されることが好ましい。
パンニング画像捕捉ルーチン３２は、メモリ２４におい
て、予め獲得した露光（すなわち、参照ディジタル画像
３４）と最近得られたフレーム（すなわち、現行ディジ
タル画像３６）とのディジタル比較を行う。変位または
動きが検出されると、シャッタ４２はトリガされ、これ
によりフィルム３８上に露光させる。

【００３１】このように、カメラＦがシーン１４に亘っ
てパンニングされるのにともない、一連の露光がトリガ
される。一連の写真が撮影された後、露光されたフィル
ム３８は、スキャナによりディジタル化される必要があ
る。ディジタル形式になると、これらの写真は縫合さ
れ、コンピュータシステムＳ上の特殊なイメージングソ
フトウェアによりシームレスなパノラマまたはワイド領
域の表示になる。

【００３２】次に図３を参照すると、本発明の第３の実
施形態に係るカメラＭが示される。なお、図１から繰り
返される各要素は略同一であり、以下を除いてさらなる
説明の必要はない。

【００３３】本実施形態は、補助的ナビゲーションセン
サ４４を有するディジタルまたはフィルムベース（図示
せず）カメラＭに関する。ナビゲーションセンサ４４
は、シーン１４に亘るパンニングにともないカメラの動
きを追尾する。一実施形態において、ナビゲーションセ
ンサ４４は、カメラＭのパンニングにともないシーンの
移動を追尾する、感光素子の列を有するイメージセンサ
および処理装置である。イメージセンサおよび処理装置
は、予め記憶されている画像と最近得られた画像との一
連の最隣接相互相関を行い、相対的変位を決定する。本
実施形態はシーン１４から反射した光を使用するため、
主要光路（図１に示す）と比較して独立した光路を有す
る。かかる装置の一例が、アジレントテクノロジー社か
ら製造されるＨＤＮＳ−２０００光学マウスセンサであ
る。イメージセンサおよび処理装置のさらなる詳細につ
いては、「被写体に対するナビゲーションセンサの動き
を検出するナビゲーション技術(Navigation Technique
For Detecting Movement ofNavigation Sensors Relati
ve To An Object)」と題する米国特許第５，６４４，１
３９号に開示されており、その内容を引用することによ
り本明細書の一部をなすものとする。

【００３４】別の実施形態において、ナビゲーションセ
ンサ４４は、（画像に対する）カメラＭの動きを追尾す
るジャイロスコープである。かかるジャイロスコープの
一例として、Gyration社製のＭｉｃｒｏｇｙｒｏが挙げ
られる。ナビゲーションセンサ４４の他の実施形態とし
て、コンパスおよび他の形式の動き検知装置が挙げられ
る。

【００３５】ナビゲーションセンサ４４がカメラの主要
光路（レンズ１６、シャッタ１８、イメージャ１０）と
独立して動作するため、カメラＭにおいて、パンニング
時に最適な画像オーバーラップに必要なカメラの角変位
は、レンズ１６の画角に依存する。広角レンズ（短焦点
距離）では、標準の（通常焦点距離、すなわち、５０ｍ
ｍレンズ）または望遠レンズ（長焦点距離）より大きな
角変位が必要である。望遠レンズでは、必要な角変位が
標準または広角レンズより小さい。すなわち、広角レン
ズで合成パノラマ画像を作成するために撮影される画像
は少なくて済み、望遠では多くの画像を撮影する。した
がって、レンズの焦点距離は、ナビゲーションセンサ４
４により変位を計算する際の重要性(consequence)の別
の要因である。

【００３６】したがって、図１〜図３に示すように、前
フレームと現行フレームのオーバーラップ値を計算する
目的で画像の動きを追尾するために利用可能な実施形態
は多数ある。

【００３７】好ましくは、パンニングにおける各フレー
ムは、縫合ソフトウェアがそのジョブを実行できるよう
に、１０％等、画像領域の最小の所定オーバーラップだ
け隣接フレームにオーバーラップさせるとよい。この最
小の所定オーバーラップは、主に画像縫合ソフトウェア
によって決定されるが、パンニング掃引レート、フレー
ムレート、照明、コントラスト、解像度等の要因を含
む。全フレーム少なくとも１５フレーム／秒のレートで
フレームを得ることが好ましいが、これより低いフレー
ムレートおよびフレームサンプリングを、僅かに低速の
パンニングレートとともに併用させてもよい。たとえ
ば、低速フレームレートでは、最小の所定オーバーラッ
プを増大させる（たとえば、１５％のオーバーラップ）
必要があることもある。一方、高速フレームレートほ
ど、最小の所定オーバーラップを減少させることができ
る（たとえば、５％）。

【００３８】勿論、最小値より大きな分オーバーラップ
した画像は、これらの画像を一緒に縫合する目的で満足
しているが、ディジタルカメラの場合記憶要件を最小限
に抑える目的では望ましくない。これにより、記憶装置
を最大限活用できるとともに、所与のパノラマ写真を生
成するために捕捉されるフレーム数を最小限に抑えるた
めに、たとえば２５％の最大の所定オーバーラップが経
験上決定される。すなわち、フレームの捕捉を最適にす
るために、所定のオーバーラップレンジは、１０〜２５
％等、最小と最大の所定オーバーラップのオーバーラッ
プ割合として定義される。このレンジは構成可能であ
り、特定の必要性に応じて調整が可能である。

【００３９】次に図４を参照すると、画像のオーバーラ
ップを例証するためにパンニング時に得られたフレーム
のタイムラインが示される。カメラがシーンに亘ってパ
ンニングされるのにともない、現行フレームは、予め捕
捉されているフレームと比較される。現行フレームが、
所定のオーバーラップレンジにより規定される割合だけ
予め捕捉されているフレームとオーバーラップする場
合、この現行フレームは捕捉される。

【００４０】本図は、カメラＣの実施形態を単純に右方
向のパンニングの動きと併用して説明される。パンニン
グの開始時、参照画像３４ａとして知られる第１の捕捉
画像において、シーンの左端部分が捕捉される。カメラ
Ｃが所与の方向にパンニングされると、プロセッサ２２
は、シーンの様々な部分（たとえば、フレーム３６ａ、
３６ｂおよび３６ｃ）を繰り返し獲得し、これを参照画
像３４ａと比較してオーバーラップ量を決定する。フレ
ーム３６ａ、３６ｂおよび３６ｃについて図示するよう
に、計算されたオーバーラップが所定のオーバーラップ
レンジ内にない場合、この最近得られたフレームが破棄
され、本プロセスが繰り返される。

【００４１】オーバーラップが所定のオーバーラップレ
ンジ内であると、最近得られたシーン部分（たとえば、
フレーム３６ｃ）がパノラマまたはワイド領域画像にお
ける別のシーケンスとして捕捉される。そして、捕捉さ
れたフレームは、参照画像３４ｂで示され、本プロセス
を繰り返して次のフレームを捕捉する。シーンの最後の
部分は、パンニングが停止されたときの最後のフレーム
において捕捉される。

【００４２】本プロセスは、フレームが恒久的メモリで
はなくフィルム上で捕捉されることを除けば、カメラＦ
と同様である。同じく、本プロセスは、動きセンサ４４
の実施形態を使用することで同様である。動きセンサ４
４から読み出された位置情報は、シーン部分が所定のオ
ーバーラップレンジ内であるか否かを決定するオーバー
ラップ値に変換される。

【００４３】次に図５において、第１の実施形態にした
がってパンニングファームウェア３２を実行する場合の
図１〜図３のカメラにより行われるパンニング動作のフ
ロー図が示される。パンニング動作は、ステップ５０に
おいてカメラ操作者がパノラマモードに合わせてカメラ
を構成することで開始する。操作者の立場から、カメラ
が静止状態で保持されるのではなく画像に亘って物理的
にパンニングされるべきであるという点で、パノラマモ
ードは、通常の動作モードと異なる。回転式三脚を使用
してもよいが、不可欠ではなく、また好ましいものでも
ない。ステップ５２において、カメラは、所望のパノラ
マまたは広角画像の一端に位置決めされる。パノラマ画
像の場合、カメラは、単一方向（たとえば、右方向また
は左方向）でパンニングされることが好ましい。広角ま
たはワイド領域画像の場合、カメラは、蛇行方向（たと
えば、右方向に上下運動、または左方向に上下運動）で
パンニングされるようにしてもよい。

【００４４】ステップ５４において、カメラ操作者が電
気機械式露出ボタンを起動して第１の露光を捕捉すると
パンニングが開始する。露光ボタンを用いて露光をトリ
ガするには多数の異なる方法がある。第１のアプローチ
では、パンニング動作は、第１のボタン操作で開始さ
れ、第２のボタン操作で停止される。第２のアプローチ
では、パンニング動作は開始され、ボタンが押下されて
いる限り続行される。第３のアプローチでは、パンニン
グ動作は、第１のボタン操作で開始され、以降のボタン
操作により各フレームがカメラから（別体または一体）
の音声／視覚表示に応答して手動で捕捉され、音声／視
覚表示がない状態でボタンが起動されるとパンニング動
作は終了される。いずれの場合においても、露光ボタン
を起動することで、第１の露光が捕獲され、記憶部２８
に記憶される。第１の露光は、参照画像３４で表され
る。

【００４５】カメラがシーン１４に亘ってパンニングさ
れた状態でステップ５６が実行され、次に得られる画像
をいつ捕捉するかを決定する。図７は、カメラＣにした
がってシーンに亘るパンニング時に１つまたは複数の露
光を自動的にトリガする方法を示す。図８は、カメラＦ
およびＭに係る方法を示す。いずれの方法も図１および
図３のディジタルカメラＣおよびＭまたは図２および図
３のフィルムベースのカメラＦおよびＭにより動作可能
である。ステップ５６によりシャッタ１８がトリガされ
ると、本手順は、ステップ５８に進み、パノラマ画像に
おける次の画像が捕捉され、記憶部２８に記憶される。

【００４６】ステップ６４において、カメラは、パンニ
ング動作が完了したか否かを決定する。電気機械式露光
ボタンの起動によって、所定の数の画像の捕捉が完了し
たとき、カメラの記憶容量がなくなったとき、またはカ
メラが５秒等の十分な時間パンニングを実質的に停止し
たとき等、パンニング動作が終了できる方法はいくつか
ある。上記の終了イベントの１つが発生すると、パノラ
マ画像捕捉手順は終了する。上記のイベントの１つが発
生していない場合、本手順は、ステップ６６に分岐し、
ステップ５８からの次に捕捉された画像が参照画像３４
で表される。本手順はステップ６６からステップ５６に
戻り、本シーケンスにおいて次の画像を捕捉する。本手
順は、ステップ５６〜６６を繰り返し、上記の終了イベ
ントの１つが発生するまでパノラマシリーズにおける以
降の画像を捕捉する。

【００４７】本動作が終了した後、カメラは、この画像
のシーケンスをコンピュータシステムＳに送信し、縫合
して１つのパノラマ画像にする。

【００４８】次に図６を参照すると、第２の実施形態に
したがってパンニングファームウェア３２を実行する場
合の図１〜図３のカメラにより実行されるパンニング動
作のフロー図が示される。図６に図示される動作は、こ
の動作が、捕捉された画像を縫合する縫合アルゴリズム
（ステップ６０）をカメラ（すなわち、カメラＣまたは
Ｍ）にオンボードで含むことを除いて、図５の動作とほ
ぼ同様である。したがって、本実施形態において、カメ
ラは、従来サイズの画像のシーケンスではなく単一パノ
ラマ画像を提供する。個々の画像を縫合して単一画像に
するため、ステップ６２においてオーバーラップを破棄
して記憶容量を回復することができる。

【００４９】次に図７において、カメラＣに係る、シー
ンに亘るパンニング時に露光を自動的にトリガするステ
ップ５６の方法をさらに詳細に示す。サブ手順は、ステ
ップ７０において開始され、イメージャ１０からメモリ
２４にデータを転送することによって現行画像３６が得
られる。ステップ７２において、プロセッサ２２は、現
行画像３６を参照画像３４と比較して、これら２つの画
像の位置および方向の情報を決定する。この比較は、画
像相関ルーチンを用いて行われる。好適な画像相関ルー
チンの一例が「被写体に対するナビゲーションセンサの
動きを検出するナビゲーション技術(Navigation Techni
que For Detecting Movement of Navigation Sensors R
elative To An Object)」と題する米国特許第５，６４
４，１３９号に記載されており、その内容を引用するこ
とにより本明細書の一部をなすものとする。位置情報
は、２つの画像のオーバーラップ量を示すオーバーラッ
プ値に変換される。

【００５０】ステップ７４において、プロセッサは、計
算されたオーバーラップ値が所定のオーバーラップレン
ジ内であるか否かを決定する。値がレンジ内であれば、
トリガ起動方法７６が呼び出される。トリガ起動方法７
６が終了すると、サブ手順は、ステップ５６において呼
出プログラムに戻り、現行画像を捕捉する。なお、この
サブ手順がフィルムベースのカメラで実行される場合に
は、方法７６により従来のシャッタがトリガされる。値
がレンジ内でない場合、サブ手順はステップ７８に分岐
する。

【００５１】ステップ７８において、プロセッサ２２
は、パンニング方向が変わったかを決定する。パンニン
グ方向が変わっており、かつ所定の判定基準を満たして
いれば、サブ手順はステップ７６に進み、トリガ起動方
法を呼び出す。それ以外の場合、サブ手順はステップ７
０に戻る。パンニング方向が変わることで次の画像をト
リガする状況は多数存在する。これらの状況は、図１０
（ａ）〜（ｂ）を参照して最もよく説明することができ
る。

【００５２】図１０（ａ）は、２つのフレーム（たとえ
ば、フレーム１および２）が捕捉されたパンニング通路
１１０と、第３のフレームがある分岐通路１１２を示
す。確立されている通路に並行でない方向の変化によ
り、所定の並列スレッショルドを越えた場合、露光がト
リガされる。たとえば、所定の並列スレッショルドは、
前フレームの高さの１０％とすることができる。上部の
所定の並列スレッショルド１１４および下部の所定の並
列スレッショルド１１６は、通路１１０に沿った予想運
動の帯を画定する。これらの値は、通路に沿ってパンニ
ングしているときのカメラ操作者による通常の分岐運動
が方向の変化として解釈されないように選択される。し
かしながら、方向の変化が所定のスレッショルドの１つ
を十分越えていると、露光がトリガされる。この技術
は、境界フレームを捕捉するのに有用である。

【００５３】図１０（ｂ）は、２つのフレーム（たとえ
ば、フレーム１および２）が捕捉されたパンニング通路
１２０と、第３のフレームがある分岐通路１２２を示
す。この実施形態では、方向が逆であるため、パンニン
グ方向により、カメラは予め捕捉されているシーン領域
を戻る。予め捕捉されているシーン部分は、２回目に捕
捉される。しかしながら、通路が所定の垂直方向のスレ
ッショルド１２４を越える程十分に前進する場合、反対
の方向ではトリガを引き起こす。たとえば、所定の垂直
スレッショルド１２４は、前フレームの幅の１０％とす
ることができる。図示のように、フレームは、方向を逆
にする前に所定の垂直スレッショルド１２４を越えて右
方向にパンニングされているため、露光がトリガされ
る。

【００５４】図８は、カメラＦおよびＭの動きセンサ４
４に基づく、シーンに亘るパンニング時に露光を自動的
にトリガするステップ５６の方法をさらに詳細に示す。
動きセンサ４４の様々な実施形態は、それぞれ、オーバ
ーラップ値に数学的に変換可能な２つの参照点（たとえ
ば、フレーム）の間の位置決め情報を提供するように動
作可能である。

【００５５】ステップ９０において、プロセッサ２２
は、カメラがパンニングされた状態で動きセンサ４４か
らの現行位置値を読み出す。次にステップ９２におい
て、プロセッサ２２は、参照画像３４と比較して現行フ
レーム３６の方向およびオーバーラップの値を計算す
る。これらのステップの実施は、動きセンサ４４の固有
の作用に依存している。たとえば、動きセンサ４４のイ
メージセンサ実施形態では、増加分の動きまたは位置デ
ータを提供することが可能であり、一方ジャイロスコー
プは動きデータを提供することが可能である。いずれの
場合においても、方向およびオーバーラップの値は、周
知の変換技術に基づいて容易に計算可能である。

【００５６】残りのステップ７４〜７８は、図７におい
て説明したものと同様である。

【００５７】次に図９を参照して、方法７６のフロー図
を示す。これらの一連のステップはカメラＣ、Ｍおよび
Ｆに適用可能である。ステップ１００において、カメラ
が自動または手動モードで動作しているか否かが決定さ
れる。自動モードは、露光設定に相応しく、その結果、
パンニング移動により画像のブレを引き起こすことがな
いよう十分に高速シャッタスピードとなる。夜間設定
は、自動モードには相応しくない場合がある。このよう
な状況では、手動モードを使用することができる。自動
モードがイネーブルでない（すなわち、手動モードがイ
ネーブルである）場合、パンニングを停止するようカメ
ラ操作者に表示するパンニング停止インジケータが設け
られる。視覚または音声表示を提示してもよい。操作者
がパンニングを停止すると、ステップ１０４において操
作者によりシャッタがトリガされ、画像を捕捉する。ス
テップ１０４から、本方法は呼出ルーチンに戻る。

【００５８】ステップ１００において、カメラが自動モ
ードで構成されることが決定されると、本方法はステッ
プ１０６に分岐し、１／５００秒等の十分に高速なシャ
ッタスピードが確認される。シャッタが十分に高速であ
る場合、ステップ１０８においてシャッタは自動的にト
リガされ、画像を捕捉する。また、照明または他の要素
が不適当であることによりシャッタが十分に高速ではな
ければ、本方法はステップ１０２に分岐し、手動で画像
を捕捉する。ステップ１０８から、本方法は呼出ルーチ
ンに戻る。

【００５９】このように、上記から、本発明がパンニン
グ時に複数の画像を自動的に取り込みパノラマ画像を形
成する方法および装置を提供することが分かる。本発明
のいくつかの実施形態を説明および図示してきたが、本
発明はこれらの説明および図示される部分の特定の実施
形態または構成に限定されるものではない。したがっ
て、本発明の原理を好ましい実施形態において図示およ
び説明してきたが、本発明がかかる原理から逸脱せずに
構成および詳細において変形可能であることは当業者に
とって明らかなはずである。

【００６０】

【発明の効果】本発明によれば、特殊なカメラ、設備ま
たは現像処理を必要とせずに、パノラマ写真をほとんど
の消費者に利用可能とするためのより単純な自動化アプ
ローチを提供可能であり、パノラマ写真をより入手しや
すくかつ高信頼性のあるものにすることができる。

【図面の簡単な説明】

【図１】第１の実施形態に係るカメラＣを示すブロック
図である。

【図２】第２の実施形態に係るカメラＦを示すブロック
図である。

【図３】第３の実施形態に係るカメラＭを示すブロック
図である。

【図４】パンニング時に得られる一連のフレームを示す
タイムラインである。

【図５】図５は好ましい実施形態に係る、パンニングフ
ァームウェアの実行時にカメラＣにより実行される動作
を示すフロー図である。

【図６】図６は、代替の実施形態に係る、パンニングフ
ァームウェアの実行時にカメラＣにより実行される動作
を示すフロー図である。

【図７】一シーンに亘るパンニング時に露出をトリガす
る様々な方法を示すフロー図である。

【図８】一シーンに亘るパンニング時に露出をトリガす
る様々な方法を示すフロー図である。

【図９】図７、図８のトリガ方法のさらに詳細を示すフ
ロー図である。

【図１０】パンニング動作中に撮影される通路の概念図
である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 101:00 (72)発明者 ケー・ダグラス・ジェンネッテン アメリカ合衆国コロラド州80521，フォー ト・コリンズ，ウェスト・マウンテン・ア ベニュー 601 Ｆターム(参考） 2H059 BA06 BA11 5C022 AA13 AB62 AC27 AC52 AC69 CA00

Claims (11)

【特許請求の範囲】
1. 【請求項１】 シーンに亘るパンニング時にカメラによ
   りフレームを自動的にトリガする方法であって、 シーンに亘って前記カメラを移動させるステップと、 それぞれが所定の動きしきい値に基づいて捕捉されるシ
   ーン部分を複数個捕捉するステップと、を含む方法。
2. 【請求項２】 前記所定の動きしきい値はオーバーラッ
   プレンジである、請求項１記載の方法。
3. 【請求項３】 前記所定の動きしきい値は方向の変化で
   ある、請求項１記載の方法。
4. 【請求項４】 与えられた位置に対して動きを測定する
   ステップと、 前記動きが所定の動きしきい値を越えている場合、次の
   位置においてシーン部分を捕捉するステップと、をさら
   に含む、請求項１記載の方法。
5. 【請求項５】 前記測定ステップは、 前記パンニング時に現行フレームを定期的に捕捉するス
   テップと、 各現行フレームを予め捕捉されているフレームと比較し
   て、前記動きが前記所定の動きしきい値を越えているか
   否かを決定するステップと、を含む、請求項４記載の方
   法。
6. 【請求項６】 前記比較ステップは、相関アルゴリズム
   を使用して、前記動きが前記所定の動きしきい値を越え
   ているか否かを決定する、請求項５記載の方法。
7. 【請求項７】 前記測定ステップは、前記カメラに固定
   された動きセンサからの位置情報を読み出すことによっ
   て実行される、請求項４記載の方法。
8. 【請求項８】 前記シーン部分は、シャッタスピードが
   所定のシャッタスピードしきい値を越える場合に自動的
   に捕捉される、請求項１記載の方法。
9. 【請求項９】 前記シーン部分は、シャッタスピードが
   所定のシャッタスピードしきい値を下回る場合に手動で
   捕捉される、請求項１記載の方法。
10. 【請求項１０】 前記シャッタスピードが所定のしきい
    値を下回る場合、カメラ操作者にパンニングを停止さ
    せ、前記シーン部分を手動で捕捉させる音声／視覚表示
    を提供するステップをさらに含む、請求項９記載の方
    法。
11. 【請求項１１】 前記複数個のシーン部分を縫合してパ
    ノラマ画像を形成するステップをさらに含む、請求項１
    記載の方法。