JP2006191535A - パノラマカメラのデッドゾーンを最小限に抑える方法とシステム - Google Patents

Abstract

【課題】パノラマカメラに係わるデッドゾーンに関する問題を最小限に抑えるための技術を提供すること。
【解決手段】デッドゾーンとは、２次元のパノラマをレンダリングできるように、３６０度のパノラマ画像が分割されるゼロ度境界の周りのエリアをいう。デッドゾーンに位置する被写体がパノラマ画像のマージン（端縁）間で分割されるのを防ぐため、被写体が写し出されない位置へのゼロ度境界の再方向付けを行なう。別の方法では、通常分割されるデッドゾーン内のある被写体が全部再生されるように、一方のマージンに写し出された画像のうちの１つまたは複数の部分を、反対側のマージンに隣接して再生することを含む。これらの方法は、パノラマカメラのエンドポイント装置で、またはカメラから離れたクライアント装置で実施することができる。これらの方法をライブビデオまたは以前記録されていたビデオに適用することができる。
【選択図】図１１

Description

以下の説明は、一般に画像処理に関する。より具体的には、以下の説明は、パノラマカメラ（パノラマ式カメラ）システムに関する。

パノラマ画像とは、最高３６０度（３６０°）に及ぶ広角カメラ画像である。パノラマビデオカメラ装置は、会議室のシナリオに特に有用である。単一のパノラマビデオカメラは、閲覧者が会議の参加者のほとんどまたはすべてを同時に見ることができるように、会議室の広い範囲にわたって会議の参加者を捕らえることができる。会議室の３６０度（３６０°）の視界を捕らえることができるパノラマビデオカメラ装置は、すべての会議の参加者を撮像することができる。

米国特許出願第１０／００６，９２７号明細書

しかし、２次元の３６０度（３６０°）パノラマ画像には、撮像エリアの０°／３６０°の境界を表す左マージン（左端）および右マージン（右端）がある。ある人物がたまたまこの境界に座っている場合、その人物の画像の一部はパノラマ画像の左マージンに写し出され、その人物の残りの部分はパノラマ画像の右マージンに写し出される。そのエリア内の任意の被写体は、結果として得られるパノラマ画像において分割されるので、その境界の周りの小さいエリアは「デッドゾーン（死角）」と呼ばれる。

本発明は、パノラマ画像の左／右マージン境界で被写体画像を分割することなく、すなわち「デッドゾーン」なく３６０度（３６０°）のパノラマ画像を実現する方法とカメラシステムを提供する。

デッドゾーンとは、２次元のパノラマをレンダリングできるように、３６０度のパノラマ画像が分割されるゼロ度境界の周りのエリアである。本発明の一技法では、デッドゾーンにある被写体がパノラマのマージン間で分割されるのを防ぐため被写体が写し出されない位置へゼロ度境界の再方向付け（再配向）を行なう。この再配向は、カメラまたはカメラの一部分を物理的に回転して、あるいは再マッピング機能を利用してパノラマ画像を回転することにより、またフェーストラッキング機構を利用して実施することができる。別の技法では、通常分割されるデッドゾーン内のある被写体が全部再生されるように、一方のマージンに写し出された画像のうちの１つまたは複数の部分を、反対側のマージンに隣接して再生することを含む。これらの技法は、パノラマカメラのエンドポイント装置で、またはカメラから離れたクライアント装置で実施することができる。これらの技法はライブビデオ、またはすでに記録されているビデオの画像に適用することができる。

上記の本発明の態様および本発明の付属の利点の多くは、以下の詳細な説明を添付の図面と併せ読めば、より容易に理解でき、またより良く了解できよう。

本明細書において、パノラマ画像の左／右マージン境界で被写体画像を分割することなく、すなわち「デッドゾーン」なく３６０度（３６０°）のパノラマ画像を提供するカメラおよび技術について以下に説明する。本明細書で使用する場合、「デッドゾーン」という用語は、結果として得られたパノラマ画像が２次元フォーマットでの提示のために分割される、３６０度（３６０°）カメラによって撮像されたスペース内のあるエリアを指す。一般に、こうした分割が行われる境界に沿って位置する被写体は、２つの部分に写し出される。被写体の一部分はパノラマ画像の左マージンに写し出され、被写体の一部分はパノラマ画像の右マージンに写し出される。

本説明では、３６０度（３６０°）のエリアを撮像するパノラマカメラの例について言及するが、記載した技術のうちの１つまたは複数を、３６０度（３６０°）のエリア未満の撮像を行うカメラで使用することもできることに留意されたい。本明細書に記載したような「デッドゾーン」にある被写体が結果として得られた画像上で分割される限り、本技術を適用することができる。以下、図面を参照して本発明の実施するための最良の形態について詳細に説明する。

図１ａおよび図１ｂは、デッドゾーンと、撮像された被写体（すなわちある人物）がデッドゾーンにいるときに一般に遭遇する問題とを示している。図１ａは、典型的な会議室構成１００を示す図である。この図示した構成は、一つの会議室用テーブル１０２、いくつかの会議室用椅子１０４、およびテーブル１０２の上部中央に設置されているパノラマカメラ１０６を含んでいる。

パノラマカメラ１０６から生じるゼロ度（０°）境界１０８が図示されている。ゼロ度（０°）境界１０８は、撮像エリアを２次元フォーマットで表示することができるように、撮像エリアが分割されるポイントを示す。ゼロ度（０°）境界１０８の周りにデッドゾーン１１０が図示されている。デッドゾーン１１０内に存在する被写体は、パノラマ画像をレンダリングすると、２つの部分的な画像に分割される可能性がある。例えば、会議室用椅子１１２に座っている人物は、２つの部分に写し出される可能性がある。その人物の顔の片側は、結果として得られるパノラマ画像の左マージンに隣接して写し出され、その人物の顔のもう一方の側は、結果として得られるパノラマ画像の右マージンに隣接して写し出されることとなる。

図１ｂは、ある人物がデッドゾーンに座っている場合の典型的なパノラマ画像１２０である。この典型的なパノラマ画像１２０は、左マージン１２２および右マージン１２４を有する。（会議室用椅子１１２に座っているかのように位置する）人物の顔の画像は、左マージン１２２に隣接して位置する第１の半分部分１２６、および右マージン１２４に隣接して位置する第２の半分部分１２８に示されている。これは、デッドゾーン１１０に座っている人物の顔が結果として得られるパノラマ画像にどのように写し出されるかの一例である。

３６０度（３６０°）のパノラマ画像でのデッドゾーンの問題を最小限に抑える本発明によるいくつかの技術について、本明細書で説明する。一つの技術は、ゼロ度（０°）境界（２次元フォーマットをレンダリングするために、結果として得られる画像が分割される位置）が被写体を含まないエリア、または重要ではない被写体を含むエリアに方向を合わせるように、カメラまたはカメラの一部分を物理的に回転させることを伴う。

デッドゾーン問題を最小限に抑える別の技術は、ソフトウェア、ハードウェア、ファームウェアなどにおけるコンピュータ命令の変換を経由して同様の調整を行うことである。本明細書に記載したパノラマカメラは、個々のカメラをいくつか使用して３６０度（３６０°）の範囲を撮像する（ただし、記載の技術は、最高３６０度（３６０°）に及ぶ単一のパノラマカメラに適用することができる）。ピクセルの再マッピング機能を使用して、個々の各画像内のピクセルをパノラマ画像に再マッピングする。撮像すべき被写体がデッドゾーンにある場合、被写体がデッドゾーンに写し出されないように、再マッピング機能を変更することができる（すなわち、パノラマ画像が回転される）。

記載の技術のうちの１つまたは複数では、ゼロ度（０°）境界の最適な向きを手動または自動で割出しすることができる。ゼロ度（０°）境界の自動割出しでは、フェーストラッキング（顔追跡）機構を使用して、人物の顔が写し出されないエリアを割出しする。次いで、ゼロ度（０°）境界がそのエリアに設定される。その結果、その境界を囲むデッドゾーンには人物が撮像されない。

本明細書に示し、記載した追加の技術は、ゼロ度（０°）境界に隣接する画像の一部分（すなわち結果として得られたパノラマ画像のマージンにある画像の一部分）を割出し、その反対側のマージンに隣接する画像のその部分を再生する。その結果、デッドゾーン内の人物が撮像された場合、その人物の画像がマージン上で分割される代わりに、その人物のフル画像がそのマージンの一方に隣接して写し出される。

これらの技術のすべては、本明細書に添付の図面を参照して、以下でより詳しく示し、記載している。本明細書に示し、記載した特定の実施形態は、限定ではなく、例示として示されていることに留意されたい。他のシステムおよび方法は、本明細書で提供した説明、および本明細書に添付の特許請求の範囲の意図および範囲内で実施することができる。

典型的な写真撮影装置
図２は、本説明による典型的なパノラマ写真撮影装置２００の図である。これは典型的なパノラマ写真撮影装置２００の特定の構成を示しているが、この特定の構成は単なる一例として示されており、本説明に従ってパノラマカメラ装置の他の構成を使用することができることに留意されたい。

典型的なパノラマ写真撮影装置２００は、逆ピラミッド形ミラーアセンブリ（鏡面組立体）２０２および複数のカメラ２０６を含む。逆ピラミッド形ミラーアセンブリ２０２は、複数の鏡面２０４を含み、１つの鏡面２０４は複数のカメラ２０６のそれぞれに対応している。逆ピラミッド形ミラー２０２は、支柱２０８によって複数のカメラ２０６上に配置されている。

典型的なパノラマ写真撮影装置２００の構成は、パノラマ写真撮影装置２００によって形成されたパノラマ画像における視差を低減する映写中心付近を獲得する。

典型的なカメラ構成
図３は、典型的なパノラマカメラ３００の３６０°カメラ構成の図である。この図は、図２に示すパノラマ写真撮影装置２００の基礎表現である。本明細書にはマルチカメラ３６０°パノラマ写真撮影装置の一例を示し、説明しているが、本説明は、画像が２次元表現のために分割されるエリア内にある被写体の画像を分割する傾向にある任意の広角写真撮影装置に適用されることに留意されたい。以下の説明では、図２に示し記載した要素および参照番号を引き続き参照する。

この図は、図２の逆ピラミッド形ミラー２０２の五角形に対応する、五角形構成に配列されてパノラマカメラ３００を形成する複数のカメラ３０２〜３１０を示している。各カメラ３０２〜３１０は、パノラマカメラ３００の環境（周囲の状況）の異なるエリアを撮影する。

撮像エリアは完全な３６０度（３６０°）であり、結果として得られる画像は２次元フォーマットでレンダリングする必要があるため、結果として得られるパノラマ画像を「展開する」ことができるように、撮像エリアをあるポイントで分割する必要がある。結果として得られる画像での問題を引き起こす可能性があるのがこの分割である。というのは、こうした分割に沿って位置する被写体が、結果として得られる画像の両側のマージン（末端）に沿ってレンダリングされるからである。

典型的な画像アセンブリモジュール
図４は、パノラマ画像４０２を形成するために個々の画像１０〜５０をアセンブルする典型的な画像アセンブリモジュール４００の図である。画像アセンブリモジュール４００は、入力として、パノラマカメラの各カメラから１つの画像を受け取る。以下の説明のために、図３に示したカメラ３０２〜３１０によって撮影された画像を、それぞれ画像「１」１０、画像「２」２０、画像「３」３０、画像「４」４０、および画像「５」５０と識別する。こうした個々の画像がアセンブリされて単一のパノラマ画像４０２を形成する。

画像アセンブリモジュール４００は、個々の画像スペース内のピクセルをパノラマ画像スペース内のピクセルにマッピング（写像）する再マッピング（再配置）機能を使用する。個々の画像１０〜５０内のピクセルは、（ｕ，ｖ）座標格子４０１に従ってアドレス指定される。パノラマ画像４０２内のピクセルは、（ｘ，ｙ）座標格子４０３に従ってアドレス指定される。画像アセンブリモジュール４００は、個々の画像１０〜５０内のすべてのピクセルがパノラマ画像４０２内に再生されるまで、各ピクセルを（ｕ，ｖ）座標から（ｘ，ｙ）座標位置にマッピングする。

再マッピング機能は、画像が結合されるところで個々の画像がシームレスに縫合（ｓｔｉｔｃｈ）されるように校正される。これによって、パノラマ画像４０２がシームレスに見えるようになる、すなわち個々の画像の間に繁雑なアーティファクトが存在しなくなる。

パノラマ画像において画像の間の継ぎ目が最小限に抑えられるように個々の画像を適切に合成することが方法に求められるため、必ずしも個々の画像内のすべてのピクセルが結果として得られるパノラマ画像で使用されているわけでないことに留意されたい。さらに、パノラマ画像の視界を正規化するために、１つまたは複数の歪み補正アルゴリズムを適用することができる。

デッドゾーン（死角）問題の是正に使用することができる１つの技術は、片側のマージンに隣接する画像の一部分を再生し、この再生された部分をもう一方の側のマージンに追加することである。図４ａで、個々の画像のデルタ部分δがパノラマ画像４０２の片側から再生され、パノラマ画像の反対側に追加されデルタダッシュ部分（ｄｅｌｔａ ｐｒｉｍｅ ｐｏｒｔｉｏｎ）δ’で、３６０＋δパノラマ画像が作成される。

δ’の幅は様々であり得るが、ここに記載したものと類似のテレビ会議の状況では、δ’はほぼ人物の顔の幅である。一般の会議室のパノラマでは、人物の顔の幅は一般に、その人物がカメラからどれだけ離れているかに応じて約４度から１４度である。

δの幅は、デフォルト（初期設定）では、自動または手動で割出しすることができる。幅が手動で割出しされるとき、ユーザは、ユーザインターフェースと対話して、δの所望の幅を設定する。幅が自動で割出しされるとき（例えばフェーストラッカとの組合せで）、自動設定をある間隔で行われるように構成する必要がある。会議の状況は、様々なときに人が出入りするにつれて変わり得るからである。人物がデッドゾーンに出入りするたびにδの幅が自動的に調整される場合、望ましくない結果がもたらされる可能性がある。なお、自動の実施形態は、常にδの幅の自動割出しを無効にするユーザオプションを含み得る。

この技法については、１つまたは複数の次の図を参照して、以下でより詳しく説明する。以下で説明するように、この技法は、カメラを最初に所望の位置に方向をあわせることの有無にかかわらず、使用することができる。

デルタダッシュ部分δ’がパノラマ画像４０２に追加されると、パノラマ画像の幅（ｔ）が（ｔ＋δ’）に増える。一般のパノラマ画像の縦横比が維持されるように、パノラマ画像４０２をサイズ変更することが望ましい場合がある。他の方法を使用してパノラマ画像をサイズ変更することができる。例えば、同じサイズおよび画像縦横比を維持するために、結果として得られたパノラマ画像４０２（ｔ＋δ’）を、パノラマ画像４０２の上部および／または下部に追加される水平帯片（ｈｏｒｉｚｏｎｔａｌ ｓｔｒｉｐ）で引き延ばすことができる。

図４ｂは、図４ａに示したパノラマ画像４０２に似たパノラマ画像４１０を示している。パノラマ画像４１０は、パノラマ画像４１０の各端部に１つの、２つのデルタ部分（δ）を含んでいる。パノラマ画像４１０を作成するプロセスでは、３６０度（３６０°）よりも大きいエリアが再生されるという点で、図４ａを参照して説明したプロセスに似ている。

ゼロ度（０°）境界の各側に隣接する、パノラマカメラによって撮像されたサンプルは、名目上のパノラマ空間（ｎｏｍｉｎａｌ ｐａｎｏｒａｍｉｃ ｓｐａｃｅ）の第１の位置、およびパノラマ画像４１０の反対側の第２の位置の２つの位置にマッピングされる。

２つのデルタ部分（δ）をパノラマ画像に追加することによって、デッドゾーン内に座っている人物の画像は、結果として得られるパノラマ画像４１０に、各マージンの近くに一度ずつ、二度写し出される。しかし、後述するように、画像の再生部分の画像への追加を、パノラマ画像４１０内の人物の画像の重複を避ける１つまたは複数の他の方法と一体化することができる。

再生された画像の部分（δ）は、画像アセンブリプロセス中の任意の段階で確定することができる。一実施形態では、δがコピーされ、δ’がパノラマ画像４０２に追加される前にパノラマ画像４０２が作成される。他の実施形態は、再マッピングプロセス中にこのようにピクセルを複製するように構成された再マッピングテーブルを含み得る。こうした任意の方法を使用して、上述した同じ最終結果を達成することができる。

図５ａは、テーブル５０２、椅子５０４、およびパノラマカメラ５０６の典型的な会議室の設定５００を示している。図５ａに示した例では、パノラマカメラ５０６のゼロ度（０°）境界５０８がテーブル５０２の誰も座っていない位置に手動で方向を合わされている。境界５０８の位置は、ユーザから見ることができる境界インジケータ５０９によってカメラ５０６上に示される。パノラマカメラ５０６を正しい方向に合わせるためには、ユーザは、図に示すように、（撮影）対象が写し出されない位置に境界インジケータ５０９が向けられているポイントにパノラマカメラ５０６を回転するだけである。

その結果、ゼロ度（０°）境界５０８の周りに生じるデッドゾーン５１０内には誰も写し出されない。したがって、会議室にいる各人は、パノラマカメラ５０６によってキャプチャー（捕捉、記録）されたパノラマ画像上に（分割されずに）完全に撮像される。

図５ｂは、パノラマカメラ５０６が誰もいない位置に方向を合わされているときに座っている会議の参加者５２２の典型的なパノラマ画像５２０の表現である。人物の各画像５２２が完全に表示されている。すなわち、人物の画像はパノラマ画像５２０のマージン間で分割されていない。

図５ａおよび図５ｂに示した状況は、プロジェクタ画面が使用されている部屋の中など、デッドゾーンに最適な位置がある状況で頻繁に利用可能である。通常、会議室のテーブルとプロジェクタ画面との間には誰も座らないため、ゼロ度（０°）境界を配向する最適な位置は、プロジェクタ画面に向けられる。しかし、すべての状況がそのように最適に提示されるとは限らない。

ゼロ度境界を設定するための計算機能を利用した回転
ゼロ度（０°）境界の位置に向くようにカメラが物理的に再配向される上記の技術に加えて、ゼロ度（０°）境界がユーザによって手動で指示され、次いでゼロ度（０°）境界に対して画像を正しい方向に合わせる（orient）ように、計算機能を利用してパノラマ画像を回転させることができる。

パノラマ画像のこのような回転を達成するために、（図４の画像アセンブリモジュール４００を参照して上述した）再マッピング機能は、公称（名目上の）ゼロ度（０°）境界と選択されたゼロ度（０°）境界との間の角差を計算する。パノラマ画像のマージンが選択されたゼロ度（０°）境界に対応する位置へパノラマ画像を回転させるために、この差が再マッピング機能の要素に組み入れられる。

回転は、公称ゼロ度（０°）境界と選択されたゼロ度（０°）境界との間の差（差分）と等しいオフセットをパノラマ画像（図４ａの４０３）の（ｘ，ｙ）座標系のｘ座標に追加することによって達成される。

ゼロ度（０°）境界の設定は、いくつかの方法のうちの１つで達成することができる。例えば、パノラマカメラのユーザインターフェースユニット（図示せず）は、矢印ボタン（図示せず）など、境界インジケータの回転をもたらす手段を含み得る。ユーザは、右矢印ボタンまたは左矢印ボタンを押すことによって、（例えば液晶ディスプレイ上の）境界インジケータを位置あわせすることとなる。他の技術を使用して同じ結果を達成することもできる。

ゼロ度（０°）境界の自動位置設定
図６は、図５ａに示したものと同様の典型的な会議室構成６００を示している。典型的な会議室構成６００は、会議室用テーブル６０２、いくつかの会議室用椅子６０４、およびパノラマカメラ６０６を含む。この例では、椅子６０４が会議室用テーブル６０２の両側および両端に沿って配置されている。したがって、カメラ６０６を配向（正しい位置に向けること）するべき位置がはっきりしていない。

図６では、パノラマカメラ６０６は、ゼロ度（０°）境界が２脚の椅子６０４の間のテーブル６０２の隅に配向された状態で示されている。ゼロ度（０°）境界６０８に関連付けられているデッドゾーン６１０は、参加者の画像の分割を避けるために、２人の会議の参加者の間にあわせる。

ゼロ度（０°）境界６０８は、上述したように、手動で配向することも、またはフェーストラッキング機構を使用して最適な位置に向かって自動で配向することもできる。フェーストラッキング機構または「フェーストラッカ」は、当分野では周知であり、ゼロ度（０°）境界６０８に最適な位置の割出しをするために使用することができる。

一般に、フェーストラッカを使用して割出しされた最適な位置は、複数の顔（または複数の他の被写体）間で検出された最大角度の中央である。フェーストラッキング機構は、撮像エリア内の各顔の位置を突き止め、隣接する２つの各顔の間の角度を割出しする。これらのうちの最大角度を使用して、ゼロ度（０°）境界６０８を配向する。

上記の境界選択機構の表現は、

となり、式中、｛θ₁，．．．，θ_n｝は、フェーストラッカによって検出されてソート（数値順に並べ替え）された顔の角度、θは顔間の最大分離を有する角度である。上記の式では、すべての角度の減算および加算は３６０度を法として計算されることに留意されたい。

最適な境界が割出しされると、再マッピング機能（上記の図４ａの説明を参照）は、所望の境界が達成されるようにパノラマ画像を回転させるよう調整される。

ゼロ度（０°）境界を調整するこの技術および他の上記の技術については、後の図を参照して以下でさらに詳しく説明する。

典型的なカメラ
図７は、本明細書に記載した実施形態による典型的なパノラマカメラ７００のブロック図である。以下の例では、典型的なパノラマカメラは、パノラマカメラだけではなく、１つまたは複数の代替実施形態において１つまたは複数の他の装置に分割することができる他の機能性を含む、おおよそ完全なテレビ会議のエンドポイント（端末）である。こうした代替実施形態の１つを以下の図８で示し、説明する。本説明および特許請求の範囲に従って、他の特定の構成を実施することができる。

以下の説明では、前の図に示し記載した要素および参照番号を引き続き参照する。特定の要素が示されており、特定の機能は特定の要素に帰属するが、示した機能を代替構成における代替要素に割り振ることができることに留意されたい。さらに、要素は、ハードウェアまたはソフトウェアの要素として示されているが、ハードウェア、ソフトウェア、またはファームウェアにおいて任意の要素を構成することができる。

典型的なパノラマカメラ７００は、プロセッサ７０２、メモリ７０４、および少なくとも１つのカメラ７０６を含む。上記の例では、５つのカメラ７０６が１つのパノラマカメラに含まれている。パノラマカメラ７００は、一般にカメラ（例えば電荷結合素子（ＣＣＤ）、相捕型金属酸化膜半導体（ＣＭＯＳ）など）に見られる、光を感知し、電子情報を送信するための１つまたは複数のセンサ７０８も含んでいる。一般に、カメラ７０６ごとに１つのセンサ７０８がある。

また、パノラマカメラ７００は、マイクロフォン７１０（またはマイクロフォンアレイ）および／または１つまたは複数のスピーカ７１２も含み得る。テレビ会議カメラでは、例えば、リモート会議の参加者間で音声通信を行うのにマイクロフォンおよびスピーカが必要である。

外部データを受信し、かつ／またはデータを送信するように構成されている１つまたは複数のユニットから成る入力／出力（Ｉ／Ｏ）モジュール７１４が含まれている。一般のＩ／Ｏモジュールの一例には、ユニバーサルシリアルバス（ＵＳＢ）または他のタイプのポートがあるが、Ｉ／Ｏモジュール７１４は、それだけには限定されない。また、Ｉ／Ｏモジュール７１４は、リモート位置でパノラマカメラ／クライアント装置と通信するように構成されているユニットも含み得る。これには、それだけには限定されないが、ネットワークインターフェースモジュール、電話インターフェースモジュールなどがある。

また、ユーザインターフェース７１６も、パノラマカメラ７００に備えられており、ユーザがパノラマカメラ７００とインターフェースをとることができるようにするコントロール（調整手段）およびディスプレイ（図示せず）を含む。こうしたコントロールには、ボタン、タッチパッド、タッチ画面、ポインティング装置などがある。使用できるディスプレイの１つのタイプには、それだけには限定されないが、液晶ディスプレイ（ＬＣＤ）画面などがある。

境界インジケータ（指示器）７１８もパノラマカメラ７００に含まれ得る。様々なタイプの境界インジケータ７１８を使用して、カメラ内のゼロ度（０°）境界の公称向き、すなわち、２次元画像をレンダリングするためにカメラ７００によって撮影された画像が分割される軸を確認することができる。上記で示し、説明したように、境界インジケータ（図５の５０９）は、矢印、点、線など、カメラの外側部分上でマーキングすることができる。ユーザがインジケータの位置からゼロ度（０°）境界の方向を察することができる限り、他の任意のタイプのインジケータ（発光ダイオード（ＬＥＤ）など）を使用することができる。

電源モジュール７２０は、パノラマカメラ７００に電力を供給するが、パノラマカメラ７００は、こうしたカメラの一般の機能を実行するのに必要となり得る他の様々なハードウェア７２２要素を含む。

メモリ７０４は、パノラマカメラ７００およびその構成要素の操作機能を実行するプロセッサ実行可能命令を含むオペレーティングシステム７２４を格納する。カメラ７０６によって検出された複数の画像７２６は、メモリ７０４に格納される。

１つまたは複数の再マッピングテーブル（再配置テーブル）７２８もメモリ７０４に格納され、再マッピングテーブル７２８は、再マッピングモジュール（再配置モジュール）７３０によって、パノラマ画像７３２を作成するために画像スペース（画像空間）からパノラマスペース（パノラマ空間）への個々の画像７２６の正しいマッピングを割出しするために使用される。

フェーストラッカ（顔追跡プログラムモジュール）７３４は、メモリ７０４に格納されており、例えば会議の状況の中で顔を自動的に検出するために使用される。当技術分野で知られているフェーストラッキング機構は、本明細書に記載されている目的でパノラマカメラ７００に組み込むことができる。また、フェーストラッカ７３４は、顔の位置を突き止めることに加えて、２つの隣接する顔の間の角度または距離を計算するように構成されている。

１つまたは複数のフェーストラッキング機構の一例は、Ｙｏｎｇ ＲｕｉおよびＹｕｎｑｉａｎｇ Ｃｈｅｎによって２００１年１２月３日に「Automatic Detection and Tracking of Multiple Individuals Using Multiple Cues」という名称で出願され、本件特許出願人に譲渡された特許文献１により詳しく記載されている。

アセンブリモジュール７３６は、メモリ７０４に格納され、再マッピングモジュール７３０および再マッピングテーブル７２８とともに働いて個々の画像７２６をパノラマ画像７３２にアセンブル（編集）するように構成される。アセンブリモジュール７３６によって実行することができる１つの機能は、ゼロ度（０°）境界の片側に隣接する画像７２６の一部分（δ）を割出しすることであり、ゼロ度（０°）境界の周りのデッドゾーンについての問題を最小限に抑えるために、この一部分をゼロ度（０°）境界のもう一方の側に隣接して（δ’として）再生することができる。

こうした機能は、上記に記載しており、本説明に従ってパノラマカメラ７００の特定の構成に含まれていても、含まれていなくてもよい。アセンブリモジュール７３６およびその機能について、以下でさらにより詳しく説明する。

メモリ７０４は、回転モジュール７３８も含む。回転モジュール７３８は、パノラマカメラ７００のデフォルトまたは公称ゼロ度（０°）境界から実際のゼロ度（０°）境界（自動で設定、またはユーザによって手動で設定）までの間の距離を割出しするように構成されている。回転モジュール７３８は、再マッピング機能に含まれるべき適切なオフセット（ｘ軸オフセット）を割出しする。ゼロ度（０°）境界をオフセットすることによって、デッドゾーンに関連付けられている潜在的な問題を、上述したように最小限に抑えることができる。

境界モジュール７４０も、パノラマカメラ７００のメモリ７０４に含まれる。境界モジュール７４０は、公称境界７４２、実際の境界７４４、および境界差７４６の割出しに関連付けられている機能を処理する。公称境界７４２は、一般に、境界の指示をメモリまたはハードウェアに格納することによって製造プロセス中に設定されたデフォルトの境界位置である。その後に、公称境界７４２は取り出され、その後の計算で使用されることができる。

実際の境界７４４は、ユーザ入力、またはゼロ度（０°）境界に最適な位置を識別する自動計算から割出しされる。ユーザ入力は、ユーザインターフェース７１６から、またはユーザが所望の境界の方向を指すように設定した個別のハードウェア要素（手動ダイアルなど）から取り出すことができる。

あるいはまた、フェーストラッカ７３４を使用して、会議の参加者の顔の位置を割出しすることができる。フェーストラッカ７３４（または境界モジュール７４０など他の何らかのモジュール）は、次いで顔位置情報を使用して、ゼロ度（０°）境界に最適な位置、すなわち２人の顔の間の距離の中で最大距離を有する位置を割出しすることができる。次いで、再マッピング機能が適切なオフセットを実施するよう構成されるように、境界差７４６を度、オフセット単位などで割出しする。

典型的なクライアント装置
図８は、本説明による典型的なクライアント装置（サーバにつながっているコンピュータのこと）８００のブロック図である。典型的なクライアント装置８００は、パーソナルコンピュータなど、一般のコンピューティング装置でもよく、または特に本明細書に概説した目的で構成される限定機能装置でもよい。次の説明では、前の図およびそれらに関連付けられている要素および参照番号を引き続き参照する。

クライアント装置８００は、図７に示した典型的なパノラマカメラ７００などのパノラマカメラと通信するように構成されている。しかし、典型的なパノラマカメラ７００は、図７の典型的なパノラマカメラに帰属するプロセスの一部を処理することができるクライアント装置８００とともに使用するとき、有している構成要素がより少なくてもよいことに留意されたい。

また、クライアント装置８００およびパノラマカメラ７００は、遠隔位置にある別のクライアント装置（図示せず）および／またはパノラマカメラと通信するように構成することもできる。これは、クライアント装置およびリモートパノラマカメラをそれぞれ備える２つの会議室が電話線やネットワーク接続などの通信ラインを介して互いに通信する状況とすることができる。

クライアント装置８００は、プロセッサ８２０、Ｉ／Ｏモジュール８２２、ディスプレイ８２４、レンダラ８２５、およびユーザインターフェース８２６を含む。ディスプレイ８２４は、図示したようにクライアント装置８００と統合されていてもよく、またはクライアント装置８００がパーソナルコンピュータであり、ディスプレイ８２４がモニタである構成などでクライアント装置８００から分離されていてもよい。レンダラ８２５は、パノラマ画像８３８内のピクセル表現をディスプレイ８２４上にレンダリング（描画）するように構成されたビデオカードなどのモジュールである。

ユーザインターフェース８２６は、クライアント装置のユーザが、表示された画像において、見たい回転の方向および大きさを入力することを許容する画像シフタ８２７を含む。この機能については、以下でより詳しく説明する。

クライアント装置８００は、オペレーティングシステム８３０およびＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）ソースモジュール８３２を格納するメモリ８２８も含む。ＲＴＰソースモジュール８３２は、通信チャネル（図示せず）を介してパノラマカメラ７００からパノラマ画像７３２を受信し、受信したパノラマ画像をパノラマ画像８３８として格納するように構成されている。この特定の例では、パノラマカメラ７００は、個々の画像からパノラマ画像７３２を作成し、パノラマ画像をクライアント装置８００に送信する。

他の様々な要素８４０〜８５２は、それぞれ図７の要素７３４〜７４６に類似し、対応している。上記要素は、後述することを除いて上述したように機能する。パノラマ画像８３８は、記憶され、パノラマ画像８３８が再生されているときに処理されて、デッドゾーンに関連する任意の悪影響を最小限に抑えることができる。後述するプロセスは、画像がパノラマカメラ７００から受信されたときにリアルタイムで再生されるか、パノラマ画像８３８が受信され、記憶された後に再生されるかにかかわらず、記憶されたパノラマ画像８３８に適用することができる。

操作中、ユーザは、クライアント装置８００を備える第１の会議室におり、パノラマカメラ７００は第２の会議室８０２にある。この最初の例では、パノラマカメラ７００は、ビデオ画像をクライアント装置８００に流している。パノラマカメラ７００は、初期ゼロ度境界を設定し、パノラマ画像を作成し、次いでそれをクライアント装置８００に送信する。

パノラマ画像８３８がクライアント装置８００によって受信された後、デッドゾーンに問題がある場合、すなわち人物の顔がパノラマ画像８３８において分割される場合に、パノラマ画像８３８を回転することができる。これは、フェーストラッカ８３０を使用して自動で、または画像シフタ８２７を使用して手動で達成することができる。

回転を手動で達成する１つの方法は、ユーザがポインティング装置（図示せず）で所望のゼロ度境界をクリックし、メニューから選択する、カーソルをドラッグするなどによって回転機能を実行することによるものである。画像を手動で回転させる他の技術も利用可能であり、この例の文脈で、それを行うための当技術分野で知られている任意の技術を実施することができる。

少なくとも１つの実施形態では、回転は、フェーストラッカによって達成することができるが、ユーザが望む場合、ユーザによって手動でオーバーライドする（覆す）ことができる。こうした実施形態については、図１１を参照して後述する。

この例の文脈では、画像回転モジュール８４４は、当技術分野で知られている画像変形機能を実行する。新しいゼロ度境界が設定されると、画像は、新しいゼロ度境界の指示されたポイントで垂直に分割され、画像内に２つの矩形領域が作成される。次いで、２つの矩形領域を分割する線が次には新しいパノラマ画像のマージンとなるように、２つの矩形領域が場所を交換させられる。

レンダラ８２５が使用可能であり、こうした機能を実行するように構成されている場合、回転機能は、レンダラ８２５で実行することができることにも留意されたい。例えば、一部のビデオグラフィックアクセラレータは、こうした機能を処理するのに十分な処理能力を含み、こうしたユニットで回転機能を実行するのはより有効となり得る。

画像シフタ８２７がゼロ度境界を手動でリセットするように操作されるとき、画像回転モジュール８４４は、指示された回転の方向や大きさを示すフィードバックを受信する。クライアント装置８００内の境界モジュール８４６は、パノラマカメラ７００から受信された、またはフェーストラッカ８４０によって設定された公称境界８４８を格納する。実際の境界８５０は、検出された操作から識別される位置である。差（境界差８５２）は、公称境界８４８と実際の境界８５０との間の差である。境界差８５２を使用して、画像の回転を実行するために画像ピクセルがシフトされるオフセットを計算する。

典型的な方法の実施
図９は、パノラマ画像からデッドゾーンの影響を取り除くプロセスの典型的な方法の実施を示すフロー図９００である。フロー図９００に示した特定のプロセスは、上述した図７に関連している。特定の典型的な方法の実施を特定の順序で示しているが、記載の機能を実施するために実行するステップがより多くても、またはより少なくてもよいこと、およびステップはこの例に示したもの以外の順序で実行することができることに留意されたい。

ゼロ度（０°）境界に最適な位置は、割出しがフェーストラッカを使用するなどして自動で行われる（ブロック９０２で「Ｙｅｓ」の分岐）か、手動で行われる（ブロック９０２で「Ｎｏ」の分岐）かに応じてブロック９０４またはブロック９０６で割出しされる。

カメラは、ユーザが最適な位置を割出しすることができる手動セレクタを含み、公称境界位置と実際の境界位置との間のオフセットを特定する位置に手動セレクタを設定することができる。ブロック９０８で、ゼロ度（０°）境界は、それに従って設定される。

自動的に実行される場合に、フェーストラッキング機構は、会議室用テーブルの周りに座っている会議の参加者の顔の位置を自動で検出するために使用することができる。当技術分野で知られている任意のフェーストラッキング機構を使用して、この操作を達成することができる。顔の位置が認識されると、顔の間の最大エリアに関する割出しが行われる。次いでブロック９０８で、実際のゼロ度（０°）境界がこの最大エリアの中央に設定される。

実際のゼロ度（０°）境界が割出しされると、ブロック９１０でオフセットが割出しされる。オフセットは、実際のゼロ度（０°）境界と公称ゼロ度境界との間の差である。公称ゼロ度境界は、２次元パノラマ画像をレンダリングする目的で、３６０度画像が分割される位置である。これは、ハードウェアの機能に応じて、またはソフトウェア機構を介して予め割出しされているものである。

オフセットとは、新しく獲得された実際のゼロ度境界に対応するためにパノラマ画像が回転されなければならない距離である。これは、実際の距離で、度の単位で、または（ｘ，ｙ）座標系による再マッピング機能と互換性のある他の単位で、割出しされる。オフセットが割出しされると、オフセットは、再マッピング機能の要素に組み込まれる。

ブロック９１２で、個々の画像７２６が受信される。ブロック９１４で、再マッピングモジュールは、オフセットを考慮に入れて、個々の画像７２６をパノラマ画像７３２に再マッピング（再配置）する。その結果として得られる画像は、パノラマ画像の両側のマージン（端縁）間で人物の顔の画像を分割しない。

上記で概説したプロセスは、上記の任意の実施形態に従うように変更することができる、または本明細書に記載した説明に従って実行することができる一般的な手順であることに留意されたい。図９に示した特定のステップを任意の特定の実施形態で省略したり、変更したりしてもよい。さらに、この説明の範囲および特許請求の範囲から逸脱することなく、追加のステップを図９に示したものに含めることができる。

典型的な方法の実施：３６０°＋δ
図１０は、パノラマ画像の一部分を再生することによってパノラマ画像からデッドゾーンの影響を取り除くプロセスの典型的な方法の実施を示すフロー図１０００である。フロー図１０００に示したプロセスは、特に、上述した図７に示したブロック図に関連している。特定の典型的な方法の実施を特定の順序で示しているが、記載の機能を実施するために実行するステップがより多くても、またはより少なくてもよいこと、およびステップはこの例に示したもの以外の順序で実行することができることに留意されたい。

上述したように、ゼロ度（０°）境界に隣接するエリアを示す個々の画像７２６またはパノラマ画像７３２のうちの一方の１つまたは複数の部分を再生し、パノラマ画像に追加して、ゼロ度境界によって分割される任意の被写体が、パノラマ画像には分割されることなく丸ごと全部写し出される（図４ａおよび図４ｂ参照）ようにすることができる。この手順は、最適なゼロ度境界を再設定した上で実行してもよいが、最初にこうした割出しを行うことなく実行することもできる。

デッドゾーン内の画像が再生されるため、デッドゾーンに最適な位置を見つけることは必ずしも必要ではない。しかし、ある人物がデッドゾーンに座っており、この技術が適用される場合に、その人物の画像の一部分は、結果として得られるパノラマ画像のうちの一方のマージンに隣接して写し出され、その人物の顔の全画像は、もう一方のマージンに隣接して表示される。

ブロック１００２で、ゼロ度（０°）境界に最適な位置は、上述した方法（図９の９０４〜９０６）と同じように割出しされる。ブロック１００４で個々の画像７２６が受信され、ブロック１００６でアセンブリモジュール７３６は画像７２６を編集して、パノラマ画像７３２を形成する。次いでアセンブリモジュール７３６は、（予め決定されている量を介して、または画像内の被写体に従って自動的に、または手動入力を介して）再生すべき一部分（δ）を決定する（ブロック１００８）。

その一部分（δ）はδ’として再生され、再生された部分（δ’）はブロック１００８でパノラマ画像７３２に追加される。上述したように、２つの部分（δ）は再生され、一方の再生部分（δ）がパノラマ画像７３２のそれぞれ反対側のマージンに追加される。

必要に応じて、結果として得られたパノラマ画像７３２は、ブロック１０１０で、δ’が追加されていないパノラマ画像と同じサイズにサイズ変更される（任意選択）。これは、水平方向にパノラマ画像７３２を縮小することによって、またはパノラマ画像７３２の上部および／または下部をデッドスペース（黒またはグレイのバーなど）で引き延ばすことによって行うことができる。

上述したように、上記のプロセスは、デッドゾーンにより遭遇する問題を最小限に抑えるために１つまたは複数の複製画像部分の追加を使用するいくつかの実装のうちの１つにすぎない。上記で列挙したステップの特定の詳説は、限定ではなく例として提供されている。

典型的な方法の実施：クライアント装置
図１１は、パノラマ画像が作成され、一旦格納された後、パノラマ画像を回転することによってパノラマ画像内のデッドゾーンを最小限に抑えるプロセスを示すフロー図１１００である。以下の説明では、前の図に示した要素および参照番号を引き続き参照する。フロー図１１００によって示したプロセスは、上述した図８に示したブロック図を参照する。特定の典型的な方法の実施を特定の順序で示しているが、記載の機能を実施するために実行するステップがより多くても、またはより少なくてもよいこと、およびステップはこの例に示したもの以外の順序で実行することができることに留意されたい。

ブロック１１０２で、格納されたパノラマ画像８３８は、クライアント装置８００によって受信される。パノラマ画像８３８は、リアルタイムでパノラマカメラ７００から受信したり、それが格納された後のいつかにメモリ８２８から取り出したりすることができる。この時点で、パノラマ画像を２次元フォーマットでレンダリングするために、公称ゼロ度境界８４８が設定されている。しかし、公称ゼロ度境界８４８は、何らかのいくつかの理由のために、理想的な位置にはない可能性がある。

フェーストラッカが利用可能である（ブロック１１０４で「Ｙｅｓ」の分岐）場合、フェーストラッカ８４０は、パノラマ画像８３８をスキャンして、パノラマ画像８３８における顔の位置を突き止める（ブロック１１０６）。ゼロ度境界により良い位置が見つかった場合、境界モジュール８４６は、その位置を確定し、新しい境界が設定され、回転モジュール８４４は、ブロック１１０８で、それに応じてパノラマ画像８３８を回転させる。ユーザが回転された画像を承認した（ブロック１１１０で「Ｙｅｓ」の分岐）場合、このプロセスは終了する。

フェーストラッカが利用可能ではない（ブロック１１０４で「Ｎｏ」の分岐）場合、またはユーザがゼロ度境界の新しい位置が気に入らない（ブロック１１１０で「Ｎｏ」の分岐）場合、ユーザは、上述したように、ブロック１１１２でゼロ度境界を手動で再設定する。ユーザが境界を再設定すると、パノラマ画像８３８は、それに応じて回転され（ブロック１１１４）、プロセスが終了する。

その後、ユーザは、必要に応じてゼロ度境界を変更することができる。例えば、新しい参加者が会議に参加し、たまたまデッドゾーンに座った場合、ユーザは、新しい参加者の完全な画像を捕らえられるように境界を調整することを望む可能性がある。

結言
１つまたは複数の典型的な実施形態について示し、説明してきたが、本明細書に添付の特許請求の範囲の意図および範囲から逸脱することなく様々な変更を加えることができることを理解されたい。

パノラマカメラが設置されている典型的な会議室のテーブルおよび椅子を示す図である。 会議室のテーブルの周りにいる会議の参加者を示す典型的なパノラマ画像である。 逆ピラミッド形ミラーおよび複数のカメラを使用する典型的なパノラマ写真撮影装置を示す図である。 典型的なパノラマカメラ構成を示す図である。 個々の画像をアセンブルして、第１の複製されたセクションを含む典型的なパノラマ画像を形成する典型的な画像アセンブリモジュールを示す図である。 第２の複製されたセクションを含む図４ａの典型的なパノラマ画像を示す図である。 テーブルにパノラマカメラが設置されている状態で典型的な会議室のテーブルおよび椅子を示す図である。 最小限のデッドゾーンを含む会議の参加者の典型的なパノラマ画像を示す図である。 テーブルにパノラマカメラが設置されている状態で典型的な会議室のテーブルおよび椅子を示す図である。 典型的なパノラマカメラを示すブロック図である。 典型的なクライアント装置および典型的な遠隔地のカメラ装置を示すブロック図である。 撮像エリアのゼロ度境界を変更することによってパノラマ画像内のデッドゾーンを最小限に抑える典型的なプロセスを示すフロー図である。 パノラマ画像マージンの一部分をパノラマ画像の反対側マージンで再生することによってパノラマ画像内のデッドゾーンを最小限に抑える典型的なプロセスを示すフロー図である。 クライアント装置においてパノラマ画像内のデッドゾーンを最小限に抑える典型的なプロセスを示すフロー図である。

符号の説明

１００ 会議室構成
１０２ 会議室用テーブル
１０４ 会議室用椅子
１０６ パノラマカメラ
１０８ ゼロ度（０°）境界
１１０ デッドゾーン（死角）
１１２ 会議室用椅子に座っている人物
１２０ 典型的なパノラマ画像
１２２ 左マージン（左端）
１２４ 右マージン（右端）
１２６ 第１の半分部分
１２８ 第２の半分部分
２００ 典型的なパノラマ写真撮影装置
２０２ 逆ピラミッド形ミラーアッセンブリ
２０４ １つの鏡面
２０６ 複数のカメラ
２０８ 柱
３００ 典型的なパノラマカメラ
３０２〜３１０ 複数のカメラ
４００ 画像アセンブリモジュール
４０１ （u, v）座標格子
４０２ パノラマ画像
４０３ （x, y）座標格子
４１０ パノラマ画像
５００ 典型的な会議室の設定
５０２ テーブル
５０４ 椅子
５０６ パノラマカメラ
５０８ ゼロ度（０°）境界
５０９ 境界インジケータ
５１０ デットゾーン
５２０ パノラマ画像
５２２ 会議の参加者
６００ 典型的な会議室構成
６０２ 会議室用テーブル
６０４ 会議室用椅子
６０６ パノラマカメラ
６０８ ゼロ度（０°）境界
６１０ デッドゾーン
７００ パノラマカメラ
７０２ プロセッサ
７０４ メモリ
７０６ カメラ
７０８ センサ
７１０ マイク
７１２ スピーカ
７１４ 入力／出力モジュール
７１６ ユーザインターフェース
７１８ 境界インジケータ
７２０ 電源モジュール
７２２ その他のハードウェア
７２４ オペレーティングシステム
７２６ 画像
７２８ 再マッピングテーブル
７３０ 再マッピングモジュール
７３２ パノラマ画像
７３４ フェーストラッカ
７３６ アセンブリモジュール（δ）
７３８ 画像回転モジュール
７４０ 境界モジュール
７４２ 公称境界
７４４ 実際の境界
７４６ 境界差
８００ クライアント装置
８２０ プロセッサ
８２２ 入力／出力モジュール
８２４ ディスプレイ
８２５ レンダラ
８２６ ユーザインターフェース
８２７ 画像シフタ
８２８ メモリ
８３０ オペレーションシステム
８３２ ＲＴＰソース
８３８ 格納されているパノラマ画像
８４０ フェーストラッカ
８４２ アセンブリモジュール（δ）
８４４ 画像回転モジュール
８４６ 境界モジュール
８４８ 公称境界
８５０ 実際の境界
８５２ 境界差

Claims (20)

1. 最大３６０度（３６０°）までの広範なエリアの画像を生成するように構成されている１つまたは複数のカメラと、
   カメラシステムによって生成された前記広範なエリアの２次元画像がそこで分割されるゼロ度境界の位置を割出しする手段と、
   前記ゼロ度境界に従って前記カメラ画像からのピクセルをパノラマスペースに再マッピングするように構成されている再マッピングモジュールと、
   を含み、前記パノラマスペースからレンダリングされるパノラマ画像は、前記ゼロ度境界に対応する左マージンおよび右マージンを有する
   ことを特徴とするカメラシステム。
2. ゼロ度境界の位置を割出しする前記手段は、ゼロ度境界の前記位置に対象が存在しない前記広範なエリアの一部分を自動的に割出しする手段をさらに含むことを特徴とする請求項１に記載のカメラシステム。
3. ゼロ度境界の位置を割出しする前記手段はフェーストラッカをさらに含むことを特徴とする請求項２に記載のカメラシステム。
4. クライアント装置に前記の非カメラ要素のうちの１つまたは複数が含まれることを特徴とする請求項１に記載のカメラシステム。
5. さらに、前記広範なエリアは少なくとも３６０度（３６０°）の範囲を含むことを特徴とする請求項１に記載のカメラシステム。
6. さらに、前記再マッピングモジュールは、前記カメラで撮影された前記画像の一部分が前記パノラマスペースに２回含まれるように前記一部分を複製するように構成されていることを特徴とする請求項１に記載のカメラシステム。
7. パノラマ画像を受信するステップと、
   前記パノラマ画像に対するゼロ度境界の位置を割出しするステップと、
   前記ゼロ度境界に対して前記パノラマ画像を変形させて、前記ゼロ度境界に関連付けられているデッドゾーンを最小限に抑えるステップと
   を含むことを特徴とする方法。
8. 前記受信するステップは、パノラマカメラからビデオストリームで前記パノラマ画像を受信するステップをさらに含むことを特徴とする請求項７に記載の方法。
9. 前記受信するステップは、画像記憶位置から前記パノラマ画像を受信するステップをさらに含むことを特徴とする請求項７に記載の方法。
10. 前記割出しするステップは、撮像すべき被写体を含まない位置を示すようにゼロ度インジケータを設定するステップをさらに含むことを特徴とする請求項７に記載の方法。
11. 前記割出しするステップは、撮像すべき被写体を含まない位置である、前記ゼロ度境界に最適な位置を自動的に検出するステップをさらに含むことを特徴とする請求項７に記載の方法。
12. 前記割出しするステップは、フェーストラッキング機構を使用して、顔が存在しない位置が前記ゼロ度境界の前記位置になるように割り出しするステップをさらに含むことを特徴とする請求項７に記載の方法。
13. 前記変形させるステップは、前記ゼロ度境界に隣接するエリアである、前記パノラマ画像内の前記パノラマエリアのうちの少なくとも一部分を複製するステップをさらに含むことを特徴とする請求項７に記載の方法。
14. 前記パノラマ画像を正規化されたパノラマスペースにサイズ変更するステップをさらに含むことを特徴とする請求項１２に記載の方法。
15. 実行時において、
    パノラマエリアに対するゼロ度境界の位置を割出しするステップと、
    前記パノラマエリアのうちの１つまたは複数の画像を受信するステップと、
    前記ゼロ度境界がパノラマ画像の少なくとも一方のマージンによって表されるように、前記１つまたは複数の画像を前記パノラマ画像にマッピングするステップと
    を実行することを特徴とする実行可能命令を含む１つまたは複数のコンピュータ可読媒体。
16. 前記割出しするステップは、前記ゼロ度境界に対象がいない位置を割出しするステップをさらに含むことを特徴とする請求項１５に記載の１つまたは複数のコンピュータ可読媒体。
17. 前記割出しするステップは、前記ゼロ度境界の前記位置の指示を受信するステップをさらに含むことを特徴とする請求項１５に記載の１つまたは複数のコンピュータ可読媒体。
18. 前記パノラマ画像内の前記ゼロ度境界に隣接して位置する前記パノラマエリアの画像の一部分を複製するステップをさらに含むことを特徴とする請求項１５に記載の１つまたは複数のコンピュータ可読媒体。
19. 前記受信するステップは第１のパノラマ画像を受信するステップをさらに含み、
    前記再マッピングするステップは、前記第１のパノラマ画像を第２のパノラマ画像に再マッピングするステップをさらに含む
    ことを特徴とする請求項１５に記載の１つまたは複数のコンピュータ可読媒体。
20. 前記受信するステップは、格納されているパノラマ画像をメモリから取り出すステップをさらに含むことを特徴とする請求項１９に記載の１つまたは複数のコンピュータ可読媒体。
    

Images