JP2002027291A - 視覚的フィードバックを有するマルチフレームパニング方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】コンピュータ画像形成ソフトウェアを使用し
て、標準カメラからパノラマ写真を生成する場合、一連
の画像を撮影しても個々の画像の一部が欠けていた場
合、パノラマ写真の一部が欠けてしまうが、これは撮影
からずっと後まで発見されない。従って、特別なカメ
ラ、装備または現像処理無しに消費者が利用できるより
簡単な方法が望まれている。 【解決手段】マルチフレームパニング動作中にシーン捕
捉経過の視覚的なフィードバックを提供することにより
上記課題を解決する。すなわち個々のフレームでシーン
１４の一部分を捕捉し、個々のフレームが捕捉されるに
従いこのフレームからシーンの画像を構成し、画像が構
成されるに従ってディスプレイ３２に表示していく。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像捕捉装置にお
いて、画像捕捉操作のための視覚的フィードバック方法
に関し、特にマルチフレームパニング動作中にシーン捕
捉経過の視覚的フィードバックを提供する方法に関す
る。

【０００２】

【従来の技術】パノラマ式写真術は、１８４０年代まで
遡る。最初のパノラマ写真は、１８４０年に撮られた
が、後に並べてフレームに入れるか掛けることができる
一続きの銀板写真画像を撮ることによって作成された。
後に、鉄板写真および用紙印刷にも同じ方法が使用され
た。２０世紀後期まで、パノラマ式写真撮影専用の電動
カメラが製造されていた。１つのタイプは、フィルムが
固定されたままでレンズが揺動する。他のタイプは、特
別な三脚の上でカメラが回転することにより、移動する
シート状のフィルムに画像を描く。かかるカメラの最も
有名なものの１つであるコダックサーカット（Ｋｏｄａ
ｋ Ｃｉｒｋｕｔ）カメラは、１９０４年に特許権を取
得した。それは、幅が５インチから１６インチまでのラ
ージフォーマットフィルムを使用したため、２０フィー
ト長までの寸法の３６０度写真を製作することができ
た。

【０００３】今日、プリントと画面上での使用との両方
に対してパノラマを生成する、多数の専用のパノラマカ
メラがある。しかしながら、これら専用のカメラのコス
トは、概して大抵の消費者に対して極端に高価である。
更に、これら専用のパノラマカメラによって製作される
不規則にサイズの大きいネガには、めったになくかつ高
価である特別なフィルム現像サービスが必要である。

【０００４】

【発明が解決しようとする課題】専用のパノラマカメラ
は、パノラマ写真を製作する唯一の方法ではない。コン
ピュータ画像形成ソフトウェアの開発により、標準カメ
ラを使用してパノラマ写真を生成することができるよう
になった。従来からのフィルムまたはデジタルカメラを
使用して、回転の１つの点、すなわちレンズの光学中心
の周囲の一続きの個々の画像を注意深く捕捉することに
より、繋ぎ目のないパノラマ写真を生成することができ
る。一続きの画像が撮影された後、それらがデジタルカ
メラで撮影されなかった場合には、それら画像はデジタ
ル化される。画像は、一旦デジタルフォーマットになる
と、Ｒｏｕｎｄａｂｏｕｔ Ｌｏｇｉｃ社のＮｏｄｅｓ
ｔａｒ、ＶｉｄｅｏＢｒｕｓｈ社のＰｈｏｔｏｇｒａｐ
ｈｅｒ、またはＬｉｖｅ Ｐｉｃｔｕｒｅ社のＰｈｏｔ
ｏ Ｖｉｓｔａ等の特別な画像形成ソフトウェアによ
り、繋ぎ合わされ繋ぎ目のないパノラマビューとなる。
しかしながら、個々の画像の１つが正確に撮影されてい
ないか、またはシーンの一部が欠けていた場合、パノラ
マ画像には割れ目が入る。望ましくないことには、その
割れ目は通常、画像が捕捉されてからずっと後まで発見
されない。

【０００５】この問題の１つの解決法は、特別な三脚を
使用するというものであった。個々の画像が従来のまた
はデジタルカメラによって捕捉される場合、フレーム間
に画像のオーバラップが十分にあるように、カメラは一
定の量でパニングされなければならない。それにより、
ソフトウェアが後に、２つの連続した画像の特徴を一致
させ、シーンを一緒に登録することができる。三脚によ
っては、カメラを案内するための指標マークかまたはカ
メラを適当な位置に固定するための移動止めが付属して
いる。要求される画像の数は、焦点長、カメラの画角お
よびカメラの向き（水平または垂直）によって決まる。
適当な数の画像が撮影されることを保証するために、し
ばしば計算が必要である。この解決法は、従来の技術に
対して大幅に改良されたものであるが、パノラマ画像に
対して個々の画像を捕捉する経過を監視する有効な方法
は提供していない。

【０００６】最後に、選択可能な「パノラマモード」を
有しているカメラもある。しかしながら、このモード
は、従来からのサイズの画像の中央を横切る帯状の部分
を捕捉するだけであり、画像の頂部と底部は非露出帯域
のままである。実質的に、これは、撮影後に単に画像を
切り取る場合と違いはない。同様に、経過の監視は行わ
れない。

【０００７】これらは、パノラマ写真撮影をより利用し
易くかつ信頼性の高いものにすることに対し重大な障害
である。従って、パノラマ写真撮影を、特別なカメラ、
装備または現像処理無しに大抵の消費者が利用できるも
のにする、より簡単な自動化方法が望ましい。

【０００８】

【課題を解決するための手段】好ましい実施の形態によ
れば、本発明は、マルチフレームパニング動作中にシー
ン捕捉経過の視覚的フィードバックを提供する方法およ
び装置を提供する。本発明は、まず、シーンのマルチフ
レーム捕捉中にカメラディスプレイ上に視覚的フィード
バックを提供する方法として見ることができる。本方法
は、以下の動作によって広く概念化されてよい。すなわ
ち、シーンに亙ってカメラをパニングすることと、カメ
ラがシーンに亙ってパニングされるに従い、個々のフレ
ームでシーンの一部分を捕捉することと、個々のフレー
ムが捕捉されるに従い個々のフレームからシーンの画像
を構成することと、画像が構成されるに従い、カメラデ
ィスプレイに画像を表示することと、である。

【０００９】本発明の他の特徴によれば、画像は表示さ
れる前にディスプレイに適合するようサイズが変更され
てよい。更に、各フレームは、画像を表示している時に
視覚性を強調するために輪郭が描かれてもよい。画像は
リアルタイムに構成され表示される。

【００１０】本発明の他の特徴によれば、シーンの一部
の画像が欠けている場合、パニング動作は、そのシーン
の欠けている部分にカメラを再配置することを更に含
む。個々のフレームは、１つまたは複数の先行するフレ
ームとの最適なオーバラップに基づいて自動的にトリガ
される。

【００１１】また、本発明は、シーンのマルチフレーム
捕捉中に視覚的フィードバックを提供するカメラとして
見てもよい。本カメラは、ディスプレイと、ディスプレ
イに連結され、カメラがシーンに亙ってパニングされる
に従い個々のフレームでシーンの一部分を捕捉し、個々
のフレームが捕捉されるに従いここのフレームからシー
ンの画像を構成し、画像が構成されるに従いディスプレ
イに画像を表示するよう構成されたプロセッサと、を備
えてよい。

【００１２】当業者には、添付図面と共に例示的な実施
の形態の以下の詳細な説明を調べることによって、本発
明の他の特徴および利点が明らかとなろう。かかるすべ
ての特徴および利点は、本明細書において、発明の範囲
内に含まれ、特許請求の範囲によって保護されることが
意図されている。

【００１３】本発明の上述したおよび他の態様、特徴お
よび利点は、発明の原理の一例としての例示である添付
図面を用いて行われる以下の詳細な説明から明らかとな
ろう。

【００１４】

【発明の実施の形態】説明の目的のために図面に示すよ
うに、本発明は、マルチフレームパニング動作中にシー
ン捕捉経過の視覚的フィードバックを提供するカメラに
具体化されている。最終的な写真または画像の形態での
みフィードバックを提供した従来技術による方法とは異
なり、本発明は、パニング動作中にリアルタイムフィー
ドバックを提供し、それによって欠けているシーンの部
分を完成前に捕捉することができる。

【００１５】まず図１を参照すると、好ましい実施の形
態による、ディスプレイを有するカメラＣのブロック図
が示されている。本発明は、好ましくは、パノラマまた
は広角写真撮影用など、マルチフレーム捕捉シーケンス
が可能であるデジタルカメラにおいて具体化される。マ
ルチフレーム捕捉シーケンスでは、パノラマまたは広角
画像（すなわち、マルチフレーム画像）を構成するため
に、従来からのアスペクト比の複数の個々の画像が捕捉
される。一般に、パノラマまたは広角画像は、パーソナ
ルコンピュータに転送され、そこで個々の画像が共に繋
ぎ合わされパノラマまたは広角画像が生成される。

【００１６】カメラの操作中、カメラＣがシーンに亙っ
てパニングされるに従って個々の画像でシーンの部分が
捕捉される。好ましい実施の形態によれば、シーンの部
分が捕捉されるに従い、カメラは、ディスプレイに表示
するために都合よくシーンの画像を組立てる。これによ
り、カメラの操作者に対し、パニング動作中の経過のリ
アルタイムフィードバックがディスプレイ上に提供され
る。

【００１７】従来のフィルムベースのカメラとは対照的
に、デジタルカメラは、画像センサ１０と呼ばれる半導
体装置を使用する。画像センサ１０は、爪の先程度の寸
法のシリコンチップであり、アレイ状に数１０万または
数億の光電素子を含んでいる。好ましくは、画像センサ
１０は、アクティブピクセルＣＭＯＳ（相補型金属酸化
膜半導体）タイプのセンサであるが、パッシブピクセル
ＣＭＯＳおよび電荷結合素子（ＣＣＤ）センサ等、代替
的なセンサを使用してもよい。

【００１８】従来からのカメラの場合と同様に、シーン
１４から反射された光１２は、シャッタ１８によって制
御されるレンズ１６を通してカメラＣに入る。レンズ１
６は、画像センサ１０上にシーン１４の焦点を合せる
が、標準、広角、ズーム、望遠等、カメラＣで使用され
るよう設計されたレンズであればいかなるタイプであっ
てもよい。シャッタ１８は、好ましくは、画像センサに
光の収集の開始および停止を行わせるタイミング回路
（図示せず）の形態で、画像センサ１０に組込まれてい
る。電気機械的および電気光学的シャッタ等、画像セン
サ１０に組込まれていない代替的なシャッタを使用する
ことも可能である。シャッタ１８が開くと、画像センサ
１０上に光１２が収集され、光電素子は赤、緑および青
の光の強度を記録する。各光電素子は、その上に入る光
を電荷に変換する。

【００１９】シャッタ１８が閉じると、画像センサ１０
は記録したパターンを記憶する。画像センサ１０に格納
された電荷は、一般に、１度に１列で読出される。各素
子の強度または電荷を表す信号は、増幅器（図示せず）
に提供され、その後アナログデジタル変換器（Ａ／Ｄ）
２０によってデジタル数値に変換される。

【００２０】プロセッサ２２により、デジタルデータが
Ａ／Ｄ変換器２０から読出され、ダイナミックまたはス
タティックＲＡＭ等のランダムアクセスメモリ（ＲＡ
Ｍ）２４に書込まれる。ＲＡＭ２４に取込まれたデジタ
ル数値またはデータの集まりは、画像を構成している。
ＲＡＭ２４は、プロセッサ２２がシャープネス、ライテ
ィング等について画像を最適化する間、画像を一時的に
保持する。

【００２１】また、プロセッサ２２は、プログラムメモ
リ（例えば、ＦＬＡＳＨ）２６、記憶装置２８、入力−
出力装置３０および表示装置３２に結合されている。プ
ログラムメモリ２６は、プロセッサ２２がそのタスクの
パフォーマンスで実行するためのプログラミングおよび
初期化ファームウェアを保持している。好ましくは、プ
ロセッサ２２は、デジタル画像を強調する、色変換を実
行する、画像をより小さいファイルサイズに圧縮する、
画像を比較する、および合成画像を組立てる等、種々の
画像処理タスクを実行する数学機能を含んでいる。ファ
ームウェアは、よりパフォーマンスをよくするためにＲ
ＡＭ２４に移動されてもよい。

【００２２】記憶装置２８は、取得された画像すなわち
写真を格納する永続メモリである。記憶装置２８は、消
去可能プログラム可能メモリ（例えば、ＥＰＲＯＭ、Ｆ
ＬＡＳＨ ＥＰＲＯＭ、ＥＥＰＲＯＭ）等のシリコン記
憶装置、ハードまたはフロッピディスクドライブ等の磁
気記憶装置、または光記憶装置からなってもよい。記憶
装置２８には、バッテリバック揮発性メモリを含む他の
リード／ライトまたはライトワンスタイプのメモリテク
ノロジが使用されてもよい。

【００２３】入力／出力装置３０は、好ましくは、カメ
ラＣから、コンピュータシステムＳ、プリンタ、テレビ
または他の画像記憶装置等のリモート記憶装置かまたは
表示装置に画像をダウンロードする回路を含む。入力／
出力装置３０は、好ましくはユニバーサルシリアルバス
（ＵＳＢ）通信リンクを含むが、ＩｒＤＡ（赤外線デー
タ協会）、ＲＳ−２３２シリアルリンク、ＲＦ（無線周
波数）（例えば、Ｂｌｕｅｔｏｏｔｈ）、ＩＥＥＥ−１
３９４（FｉｒｅWｉｒｅ）バス、またはＳビデオ通信リ
ンク等、他の有線または無線通信リンクを使用すること
も可能である。

【００２４】表示装置３２は、好ましくは、グラフィク
スコントローラ３４、フレームバッファ３６およびカラ
ー液晶表示画面３８からなる。グラフィクスコントロー
ラ３４は、液晶表示画面３８（以下、「ディスプレ
イ」）に表示するためにプロセッサ２２からデータおよ
び制御を受信する。ディスプレイ３８は、好ましくは、
カメラハウジングの裏面に取付けられている。他の適切
な表示画面テクノロジを使用することも可能である。表
示装置３２は、画像を表示し、カメラのメニューおよび
制御にアクセスするために使用される。

【００２５】以下の説明から当業者には明らかとなるよ
うに、多くのタイプの機能的に等価な構成が、上記ブロ
ックで識別される機能を実行することができる。例え
ば、プロセッサ２２、メモリ２６およびランダムアクセ
スメモリ２４は、デジタル信号プロセッサに置き換えら
れてよい。他の変形例では、画像処理を、別個のプログ
ラム可能数値計算コンポーネント、専用の画像処理回路
またはピクセルコプロセサにより単独でまたは上記機能
の１つまたは複数と共に実行することができる。また、
上述した機能は、本発明の原理を逸脱することなく異な
る構造に分割されても結合されてもよい。

【００２６】図２Ａおよび図２Ｂは、カメラＣのマルチ
フレーム捕捉および組立動作の概念を示す。図２Ａに
は、捕捉動作が示されている。この例では、カメラＣは
「Ｓ」状のパスでシーン４０に亙ってパニングされるこ
とにより、６つの連続した画像（すなわち、フレーム）
でシーン４０の部分を捕捉する。図は位置合せされたフ
レームを示しているが、ｘ−ｙ位置合せは必要ではな
い。さらに、とられるパスまたはシーケンスは、特に関
連していない。このため、マルチフレーム捕捉および組
立動作により、カメラの操作者は、あらゆる所望のパタ
ーンまたはパスでフレームのシーケンスを捕捉すること
ができる。画像は、個々の画像が共に繋ぎ合わされ１つ
のパノラマまたは広角画像となるように、互いにオーバ
ラップする。ナビゲーション技術は、画像がオーバラッ
プ要件に従って捕捉されるように画像間の相対的変位を
追跡する。

【００２７】図２Ｂには、アセンブリ動作が示されてい
る。図２Ａの個々の画像が捕捉されるに従い、カメラＣ
は、相対的変位に基づいて画像のシーケンスを１つの合
成画像に組立てる。組立てられた画像は、カメラの操作
者に対し視覚的フィードバックとしてカメラのディスプ
レイ３８に表示される。画像が捕捉される度に、カメラ
Ｃは、シーン４０の新たな合成画像を構成し、それによ
ってディスプレイ３８をリアルタイムに更新する。シー
ン４０が適当にパニングされ捕捉されたか判断するため
に、フィードバックは有用である。例えば、シーンの一
部が完全に捕捉されなかった場合、カメラはシーンの欠
けている部分に亙ってパニングされることにより欠けて
いる部分を捕捉することができる。

【００２８】ここで、図３Ａおよび図３Ｂを参照する
と、好ましい実施の形態による、カメラＣによって実行
されるマルチフレーム捕捉および組立動作が示されてい
る。以下に、図３Ａおよび図３Ｂに示されるアルゴリズ
ムを示す。 ステップ５０：カメラＣをマルチフレームモードにす
る。 ステップ５２：カメラＣを所望のパノラマ一端に配置す
る。 ステップ５４：シーンの一部がディスプレイに表示され
る。 ステップ５６：第１の画像を捕捉する。 ステップ５８：捕捉シーン部分がディスプレイに表示さ
れる。 ステップ６０：連続するシーン部分がフレーム化され
る。 ステップ６２：ディスプレイに構成画像がリアルタイム
に表示される。 ステップ６４：フレームシーン部分と構成画像との相対
的位置決めを決定する。 ステップ６６：フレームシーン部分が構成画像に十分に
オーバラップしているか判断する。 ステップ６８：パニング方向が十分に変化しているか判
断する。 ステップ７０：カメラはパニング動作を継続すべきであ
るか判断する。 ステップ７２：最終画像としてフレームシーン部分を捕
捉する。 ステップ７４：カメラは自動的に後続画像としてフレー
ムシーン部分を捕捉する。 ステップ７６：カメラはステップ７４で捕捉されたシー
ン部分と既に構成されている構成画像とからシーンの画
像を構成する。 ステップ７８：構成画像がディスプレイの中央に表示さ
れる。 以下に図３Ａおよび図３Ｂに示されるアルゴリズムの詳
細な説明をする。パニング動作は、ステップ５０におい
て、カメラの操作者がカメラＣをマルチフレームモード
にすることによって開始する。操作者の観点から、カメ
ラは静止して保持されてはならず、その代りに画像に亙
って物理的にパニングされなければならない、という点
で、マルチフレームモードは標準動作モードと異なって
いる。好ましくは、カメラＣはフリーハンドでパニング
されるが、回転式三脚が使用されてもよい。

【００２９】ステップ５２において、カメラＣが所望の
パノラマまたは広角シーンの一端に配置される。ステッ
プ５４において、シーン１４の一部がカメラの位置に従
ってディスプレイ３８に表示される。例を図４Ａに示
す。ステップ５６において、カメラの操作者が電気機械
的な露光ボタンを駆動して第１の画像を捕捉すると、パ
ニングが開始される。露光ボタンを使用して露光をトリ
ガすることができる方法には多くの異なる方法がある。
第１の方法では、パニング動作を第１の作動で開始し、
第２の作動で停止する。第２の方法では、ボタンが押下
されている限りパニング動作が開始され継続される。第
３の方法では、パニング動作は第１の作動で開始し、各
フレームは、続く作動によるカメラからのオーディオ／
ビジュアル指示（別個にまたは組合せで）に応じてマニ
ュアルで捕捉され、パニング動作は、オーディオ／ビジ
ュアル指示が与えられている間にボタンが作動されると
停止する。いずれにしても、露光ボタンの駆動により、
第１の画像が捕捉され記憶装置２８に格納される。

【００３０】ステップ５８において、捕捉シーン部分
（別名、構成画像）９０がディスプレイ３８に一瞬表示
される。好ましくは、捕捉シーン部分は、図４Ｂに示す
ようにサイズが決められほぼ中心に配置される。次にス
テップ６０，６２において、カメラＣがパニングされる
ことにより続くシーン部分（フレームシーン部分）９２
がフレーム化される。シーン１４は、カメラＣがパニン
グされている間、ディスプレイ３８において構成画像９
０に対してリアルタイムに表示される。それにより、後
続フレームであるフレームシーン部分９２を（フレーム
コーナによってディスプレイ３８内で追跡されるよう
に）配置し捕捉することができる。また、シーン１４
は、ディスプレイ３８において構成画像９０と並んで適
切に適合するようサイズが変更されてもよい。好ましく
は、構成画像９０は、シーンの捕捉部分と未捕捉部分と
が容易に決定されるよう、シーン１４の上にオーバレイ
されている。一例を図４Ｃに示す。ここでは、構成画像
９０は、太い境界線によって輪郭が描かれており、シー
ン１４の上にオーバレイされている。

【００３１】好ましくは、本願発明のカメラは、「ＭＥ
ＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＯＰ
ＴＩＭＡＬＬＹ ＥＸＰＯＳＩＮＧ Ａ ＰＬＵＲＡＬ
ＩＴＹ ＯＦ ＦＲＡＭＥＳ ＤＵＲＩＮＧ Ａ ＰＡ
Ｎ」と題された米国特許出願において述べられている技
術に従って、自動的にフレームを捕捉するよう動作可能
である。ステップ６４〜６８は、フレームを自動的に捕
捉することに関連している。しかしながら、パニング動
作中に有用な視覚的フィードバックがディスプレイ３８
に提供されることにより、本発明はマニュアルでフレー
ムを捕捉するようにも同様に適応されている。

【００３２】ステップ６４において、カメラＣは、フレ
ームシーン部分９２と構成画像９０との相対的位置決め
を継続的に決定する。変位および向きは、好ましくは、
引用をもってその開示内容が本明細書に包含されたもの
とする米国特許第５，６４４，１３９号に述べられてい
るナビゲーション技術に基づいて計算される。そこで述
べられているナビゲーション技術は、センサを使用して
物体の連続画像を形成し、連続画像の相関を使用して物
体に対する画像センサの位置と向きとを決定する。ステ
ップ６４に関して、変位情報を決定する代替的な方法に
は、米国特許第５，６４４，１３９号に述べられている
もの等の独立したナビゲーションセンサを使用するこ
と、加速度計、コンパス、ジャイロスコープまたは他の
形態の動き検出装置を使用すること、またはリモートセ
ンシングを使用することが含まれる。リモートセンシン
グの例には、電磁界、波長またはビーム（例えば、光周
波数または無線周波数で）、電気的効果（例えば、容量
性）、および／または磁気的効果（例えば、誘導）を使
用する例が含まれる。これらの方法は、標準または特異
なグローバルポジショニングテクノロジかまたは他の測
位衛星を利用することができる。

【００３３】フレームシーン部分９２が構成画像９０に
十分にオーバラップしているか（ステップ６６）または
パニング方向が十分に変化している（ステップ６８）場
合、カメラＣは自動的に後続画像としてフレームシーン
部分９２を捕捉する（ステップ７４）。より詳細には、
ステップ６６においてフレームシーン部分９２が、１０
〜２５％等の予め決められたオーバラップ範囲により構
成画像９０にオーバラップする場合、フレームシーン部
分９２は自動的に捕捉される（ステップ７４）。ステッ
プ６８において、予め決められたオーバラップ範囲が捕
捉をトリガする前にパニング方向が変化すると、フレー
ムシーン部分９２が自動的に捕捉される（ステップ７
４）。例えば、パニング方向が右方向から上方向に変化
すると、捕捉がトリガされコーナに位置するシーンが捕
捉される。ステップ６６または６８のいずれも捕捉をト
リガしない場合、カメラは、パニング動作を継続すべき
であるか判断する。パニング動作が完了していない場
合、カメラＣはステップ６０に戻り、パニング動作を継
続する。

【００３４】ステップ７０において、パニング動作が完
了すると、カメラ位置に従って最終シーン部分が捕捉さ
れ、動作が終了する。パニング動作が終了する方法には
いくつかの方法がある。好ましい実施の形態では、露光
ボタンが２回駆動されるか、パノラマ用のデフォルト画
像の数に達したか、カメラＣの記憶容量に達したか、ま
たは移動が停止したかあるいは移動の速度が実質的に遅
くなった場合に、動作が終了する。代替的な実施の形態
では、露光ボタンがパニングの持続時間に起動される
（すなわち、ボタンが下げられた状態になる）場合に
は、その露光ボタンが元に戻されるか、またはカメラＣ
の記憶容量に達した時に、動作が終了する。動作がまだ
終了していない場合、プロセスはステップ６０に戻る。

【００３５】ステップ６６または６８から捕捉がトリガ
されると、ステップ７４において、カメラＣはフレーム
シーン部分９２をパノラマまたは広角画像の後続画像と
して捕捉する。次に、ステップ７６において、カメラＣ
はステップ７４で捕捉されたシーン部分と既に構成され
ている構成画像９０とからシーン１４の画像を構成す
る。好ましくは、捕捉フレームはオーバラップして互い
に隣接しており、フレームシーン部分９２は、ステップ
６４の相対的位置決め情報を用いて構成画像９０に付加
される。すべての捕捉フレームからなる新たに構成され
た画像は、構成画像９０となる。

【００３６】ディスプレイ３８に表示可能な画素の数
は、一般に、画像を構成する画素の数より非常に少ない
ため、構成画像９０はディスプレイ３８に適合するよう
サイズが変更されなければならない。例えば、構成画像
９０は、ディスプレイサイズのおよそ１／９までサイズ
を変更することができる。画像のサイズを決める１つの
単純な技術は、２０番目等、ｎ番目ごとに画素をとると
いうものである。すべての画素をディスプレイ３８に表
示することができないため、非可逆的技術が適当であ
る。画素平均化およびバイナリレートマルチプライヤ技
術等、他のより精密なアルゴリズムを使用することも可
能である。任意に、個々の捕捉フレームまたは構成画像
９０全体を境界線によって強調表示することによって、
シーン１４の捕捉部分および非捕捉部分を線引きしても
よい。色、点滅線、破線等、境界線の多くのバリエーシ
ョンを使用することができる。有利には、構成画像９０
を組立てるために精密なスティッチングアルゴリズムは
必要でないが、使用することは可能である。

【００３７】ステップ７８において、構成画像９０が、
シーン１４のライブビューの無い視覚的フィードバック
としてディスプレイ３８の中央に表示される。任意に、
シーン１４にオーバレイする構成画像９０を連続的に表
示する（ステップ６２におけるように）ためにこのステ
ップをスキップすることができる。従って、フレームが
捕捉される度に、カメラＣはシーン１４の新たな構成画
像９０を構成し、それによってリアルタイムにディスプ
レイ３８を迅速に更新する。ステップ７８において、カ
メラはステップ６０〜７０を繰返し、パニング動作は完
了する。シーン部分が捕捉されるに従い、画像９０が構
成され、カメラのディスプレイ３８に表示される。都合
のよいことには、これによってカメラの操作者は、シー
ン１４が境界によって線引きされた捕捉部分と非捕捉部
分との両方を同時に表示することができる。

【００３８】従って、パニング動作がステップ６０〜７
８を繰返すことによってマルチフレームパノラマ画像ま
たは広角画像を構成するに従い、シーン１４の所望の部
分が構成画像９０として捕捉されるまでディスプレイ３
８のシーン１４のライブビューが構成画像９０によって
徐々に置換される。好ましい実施の形態では、この経過
は、シーン１４の捕捉部分を強調表示する境界によって
視覚的に示される。このため、基本的にシーン１４は連
続して表示され続け、パニング動作が進行するに従って
境界線のみが変化する。

【００３９】以上、本発明の実施例について詳述した
が、以下、本発明の各実施態様の例を示す。

【００４０】（実施態様１）以下の（ａ）から（ｄ）を
含む、シーン（１４）のマルチフレーム捕捉中にカメラ
ディスプレイ（３８）に視覚的フィードバックを提供す
る方法、（ａ）シーンに亙ってカメラ（Ｃ）をパニング
するステップと、（ｂ）該カメラが該シーンに亙ってパ
ニングされるに従い、個々のフレームで該シーンの部分
を捕捉するステップ（５６）と、（ｃ）該個々のフレー
ムが捕捉されるに従い、該個々のフレームから該シーン
の画像を構成するステップ（５８）と、（ｄ）該画像が
構成されるに従い（７６）、前記カメラディスプレイに
該画像を表示するステップ（７８）と、を含むことを特
徴とする方法。

【００４１】（実施態様２）前記シーンの一部の前記画
像が欠けている場合、前記パニング動作は、該シーンの
該欠けている部分に前記カメラを再配置するステップ
（６０）を更に含む実施態様１記載の方法。

【００４２】（実施態様３）前記画像を表示している時
に、視覚性を強調するために各個々のフレームの輪郭を
描くステップ（７８）を更に含むことを特徴とする実施
態様１記載の方法。

【００４３】（実施態様４）前記画像をリアルタイムに
構成表示する（７８）実施態様１記載の方法。

【００４４】（実施態様５）前記個々のフレームを、１
つまたは複数の先行するフレームとの最適なオーバラッ
プに基づいて（６６）自動的にトリガする実施態様１記
載の方法。

【００４５】（実施態様６）前記画像を表示する前に前
記ディスプレイに適合するよう該画像のサイズを変更す
るステップ（７６）を更に含むことを特徴とする実施態
様１記載の方法。

【００４６】（実施態様７）前記表示するステップは、
前記画像が構成されるに従い、前記カメラディスプレイ
に該画像および前記シーンを同時に表示し（６２）、該
画像を該シーンの上にオーバレイさせるステップを更に
含む実施態様１記載の方法。

【００４７】従って、上述したことから、本発明がマル
チフレームパニング動作中にシーン捕捉経過の視覚的フ
ィードバックを提供する方法および装置を提供すること
が分かる。都合のよいことには、精密なスティッチング
アルゴリズムは必要でない。本発明のいくつかの実施の
形態を説明し例示したが、本発明は、示し説明したよう
な要素の特定の形態または配置に限定されるものではな
い。従って、好ましい実施の形態で本発明の原理を例示
し説明したが、当業者には、本発明がかかる原理を逸脱
することなく配置および詳細を変更することができると
いうことが明らかなはずである。

【図面の簡単な説明】

【図１】好ましい実施の形態によるカメラＣを示すブロ
ック図である。

【図２Ａ】カメラＣのマルチフレーム捕捉および組立動
作を示す概念図である。

【図２Ｂ】カメラＣのマルチフレーム捕捉および組立動
作を示す概念図である。

【図３Ａ】好ましい実施の形態によるカメラＣによって
実行されるマルチフレーム捕捉および組立動作を示すフ
ローチャートである。

【図３Ｂ】好ましい実施の形態によるカメラＣによって
実行されるマルチフレーム捕捉および組立動作を示すフ
ローチャートである。

【図４Ａ】好ましい実施の形態によるカメラＣのディス
プレイを示す図である。

【図４Ｂ】好ましい実施の形態によるカメラＣのディス
プレイを示す図である。

【図４Ｃ】好ましい実施の形態によるカメラＣのディス
プレイを示す図である。

【符号の説明】

１０：画像センサ １２：反射された光 １４、４０：シーン １６：レンズ １８：シャッタ ２０：アナログデジタル変換器（Ａ／Ｄ） ２２：プロセッサ ２４：ＲＡＭ ２６：プログラムメモリ ２８：記憶装置 ３０：入力−出力装置 ３２：表示装置 ３４：グラフィクスコントローラ ３６：フレームバッファ ３８：カラー液晶表示画面 ９０：構成画像 ９２：フレームシーン部分

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 101:00 Ｆターム(参考） 2H059 BA06 5B057 CA13 CA16 CE10 5C022 AA13 AB36 AB62 AB68 AC03 AC13 AC27 AC42

Claims (1)

【特許請求の範囲】
1. 【請求項１】以下の（ａ）から（ｄ）を含む、シーンの
   マルチフレーム捕捉中にカメラディスプレイに視覚的フ
   ィードバックを提供する方法、（ａ）シーンに亙ってカ
   メラをパニングするステップと、（ｂ）該カメラが該シ
   ーンに亙ってパニングされるに従い、個々のフレームで
   該シーンの部分を捕捉するステップと、（ｃ）該個々の
   フレームが捕捉されるに従い、該個々のフレームから該
   シーンの画像を構成するステップと、（ｄ）該画像が構
   成されるに従い、前記カメラディスプレイに該画像を表
   示するステップと、を含むことを特徴とする方法。