JP2005277825A - マルチカメラ映像表示装置 - Google Patents

Abstract

【課題】複数のカメラ、複数のプロジェクタとスクリーンを使用した映像表示装置において、カメラ、プロジェクタ、スクリーンの設置や構成上の制約を軽減する。
【解決手段】予め設定されたカメラの位置と撮影方向データ、プロジェクタの位置投影方向データ、スクリーンの位置と形状データにより構成した仮想的な投影面上で撮影画像を処理することにより、カメラで同時撮影された画像を、スクリーン上に１つの連続した画像として表示する。
【選択図】図１

Description

本発明は、複数台のカメラで撮影した画像を１つの高精細な画像として表示するマルチカメラ映像表示装置に関する。

従来、複数台のカメラで撮影した画像を表示する方法としては、複数台の表示装置を用いて、各カメラが撮影した画像を対応する表示装置に表示するもの、１台の表示装置の画面を複数の表示領域に分割し、各カメラが撮影した画像を個々の表示領域に表示するものがある。

また、特許文献１に記載のように、複数台のカメラで撮影した画像を合成し、１つのパノラマ画像として１台の表示装置に表示するものが知られている。

特開２０００−８９３９５号公報（図７、図２３）

上記従来の方法では、撮影するカメラの台数と同じ数の表示装置が必要で、且つカメラ間の相対的な位置関係と表示装置間の相対的な位置関係を一致させなければならないという制限がある。また、表示装置が１台の構成に限定された方法では、複数のカメラにより高解像度の画像が得られても、１台の表示装置の解像度を超えて表示することはできないという問題がある。さらに、表示装置画面内の表示領域分割線により画像の繋ぎ目が見えるという問題もある。

このように、従来の方法ではいずれの場合でも、撮影するカメラの構成に合わせて、表示するプロジェクタとスクリーンの構成が制限されるという問題があった。

本発明の目的は、上記従来技術の問題点に鑑み、撮影するカメラと画像を表示するプロジェクタの相互の数や位置の相対的な関係に制限がなく、任意な組合せが可能で自由度が高く、システム構成の容易なマルチカメラ映像表示装置を提供することにある。

上記目的を達成する本発明は、或る視点から周囲を複数のカメラで撮影する撮影部と、前記撮影部で撮影した画像を表示する画像へ変換する画像処理部と、前記画像処理部で変換した画像を複数のプロジェクタにより所定形状のスクリーンに表示する表示部とを備えるマルチカメラ映像表示装置であって、前記画像処理部は、前記或る視点に設定された複数のカメラの位置及び撮影方向と、前記複数のプロジェクタの位置及び投影方向と、前記スクリーンの位置及び形状に基づいて構成される仮想的な投影面上に変換する機能を有していることを特徴とする。前記複数のカメラと前記複数のプロジェクタの数は相違する構成である。

また、前記画像処理部は複数のカメラで同時に撮影した画像を予め定めた単位球面上で合成し、合成された画像を前記仮想的な投影面上にマッピングし、このマッピング画像をプロジェクタの数に応じて分割して各プロジェクタから前記スクリーンに表示する機能を有することを特徴とする。

前記スクリーンの所定形状は、球面、平面、柱面または円錐面であることを特徴とする。

本発明によれば、撮影するカメラの台数や相対的な位置関係に制限されず、画像を表示するプロジェクタの台数やその設置位置、スクリーン形状やその設置位置を決定できる。逆に、既に設置されているプロジェクタの台数や設置位置、スクリーン形状やその設置位置に制限されず、撮影するカメラの台数や相対的な位置関係を決定できる。これにより、撮影機器の構成と表示機器の構成を互いに独立して扱うことが可能となり、個々の構成変更が容易になる。特に、既に稼動している設備の改造時には改造個所と作業量を大幅に軽減できる効果がある。

以下、本発明の実施形態について図面を参照して説明する。図１は本発明の一実施例によるマルチカメラ映像表示装置の基本構成を示している。マルチカメラ映像表示装置は、広範囲を同時に撮影するようにある点を視点として、視点の周りに放射状に配置したカメラ111、112、113から成る撮影部11を有する。また、その撮影映像を設定されたデータに従い補正する画像処理部12と、補正後の映像を表示するためのプロジェクタ131、132と半球面スクリーン133から成る表示部13を有している。撮影部11と画像処理部12との間はカメラ台数分の映像ケーブルで接続され、画像処理部12と表示部13との間はプロジェクタ台数分の映像ケーブルで接続されている。

表示部13を構成するプロジェクタ131、132の台数とその相対的な位置関係は、撮影部11を構成するカメラ111、112、113の台数とその相対的な位置関係と一致する必要はなく、半球面スクリーン133上の表示範囲を覆えばよい。

画像処理部12は、カメラ111、112、113からの映像信号を取込む撮影制御部1221、1222、1223、画像処理部を統括し画像処理を実施するＣＰＵ及びメモリ部121、プロジェクタ131、132に送る映像信号を生成する表示制御部1241、1242を有している。さらに、各種データを蓄えるストレージ部123を有し、各処理部とストレージ部123はバス125で接続されている。

ストレージ部123には、後述する一連の処理で使用する目的で予め設計又は計測された、カメラレンズ中心位置及び撮影方向データ1231、プロジェクタレンズ中心位置及び投影方向データ1232、スクリーン位置及び形状データ1233がそれぞれ記憶されている。

図２は画像処理部の概略の処理フローを示している。画像処理部12が、撮影部11からカメラ111、112、113の出力する映像信号を取込んだ後、表示部13のプロジェクタ131、132へ補正後の映像信号を出力するまでの概略の画像処理フローを示している。ここで、図２に示した画像処理フローは、ＣＰＵ及びメモリ部121で実行される。この処理により、複数台のカメラ111、112、113から同時に撮影された映像は、複数台のプロジェクタ131、132を介して半球面スクリーン133上に連続した１つの映像として表示される。

以下、図２の画像処理フローについて、図３〜図７の説明図を用いて詳細に説明する。撮影及び仮想単位球面上での画像合成処理22では、まず、撮影制御部1221、1222、1223を制御し、それぞれに接続されたカメラ111、112、113が撮影した或る時点での映像信号を取込み、画像データに変換した後、ＣＰＵ及びメモリ部121へ転送する。ここで映像信号の取込み、画像データへの変換及びＣＰＵ及びメモリ部121への転送は、撮影制御部1221、1222、1223がＣＰＵ及びメモリ部121の指示に従い実施する。これにより、ＣＰＵ及びメモリ部121には、カメラ111、112、113で撮影された或る時点での画像データがそれぞれ生成され、撮影処理は完了する。

撮影された３つの画像データはそのまま合成しても、１つの映像として合成することが困難である。このため、合成前にそれぞれの画像データを各カメラレンズ中心を中心とし、式（１）で定義された仮想単位球面32上へ射影し、射影後の画像データをストレージ部123に予め記憶されたカメラレンズ中心位置及び撮影方向データ1231に基づき合成処理する。

図３はカメラで撮影した画像データを仮想単位球面へ射影変換する様子を示している。カメラのレンズ中心位置31からカメラが撮影した画像データ331上の或る点Ｉ3311を位置（Ix,Iy）とし、それに対応する仮想単位球面32へ射影後の画像データ332上の点Ｓ3321を位置（Sx,Sy,Sz）とした場合、ＩとＳは式（１）の関係となる。
（Sx,Sy,Sz）^Ｔ＝（1／sqrt(Ix²+Iy²+f²)）(Ix,Iy,f)^Ｔ …（１）
ここで、ｆはレンズの焦点距離で正の値、Ｔは転置、sqrtは平方根を示している。

撮影された３つの画像データに上記式（１）による射影変換を施し、仮想単位球面32上に射影後の３つの画像データを生成する。

図４は射影変換後の３つの画像データを合成する様子を示している。図４（１）は、カメラ113での撮影映像に対応する射影変換後の画像データを、カメラ113のカメラレンズの中心位置及び撮影方向データ1231に従い視点41から撮影方向431に合わせて、視点41を中心とする仮想単位球面42上に配置した状態を示しており、その画像データ441は以後の合成のベースとなる。ここで視点41は、カメラ中心位置及び撮影方向データ1231から各カメラのレンズ中心位置の中心として求める。

図４（２）は、カメラ112での撮影映像に対応する射影変換後の画像データを合成する様子を示している。カメラ112の画像データを、カメラレンズの中心位置及び撮影方向データ1231に従い視点41から撮影方向432に合わせて、視点41を中心とする仮想単位球面42上に配置し、画像データ441に合成した状態を示したものあり、合成後の画像データは442となる。

合成処理は、相関法やテンプレートマッチング法等を用いて検出した画像データ間の対応点を合わせる一般的な方法を用いる。相関法やテンプレートマッチング法についての詳細については、「画像解析ハンドブック」東京大学出版会等の文献に詳しい。

図４（３）はカメラ112での撮影映像に対する処理と同様の処理を、カメラ111での撮影映像に対して行った状態を示している。以上により、最終的な合成後の画像データ443が生成される。

次に、合成画像の仮想スクリーン上へのマッピング処理23を説明する。マッピング処理23では、撮影及び仮想単位球面上での画像合成処理22で生成した合成画像データ443を、スクリーン位置及び形状データ1233を用いて、視点41を中心とした仮想単位球面42上から仮想スクリーン面51上へのマッピング処理を行う。これにより、仮想スクリーン面へマッピング後の画像データ952が生成される。

図５は視点41が中心となる半球面スクリーン133でのマッピングの様子を示したものである。この場合、仮想スクリーン面51の形状は半球面として扱われる。仮想単位球面42上の或る点Ｓ’53の位置を（S'x，S'y，S'z）とし、それに対応する仮想スクリーン面51上の点Ｔ521の位置を（Tx，Ｔy，Tz）とした場合、半球面スクリーン133の半径がＲ（Rは正の値）の時、式（２）の関係となる。
（Tx，Ty，Tz）＝Ｒ（S'x，S'y，S'z） …（２）
式（２）の関係に従い、仮想スクリーンへのマッピング処理を行い、画像データ52を生成し処理を完了する。

スクリーンの形状が半球面でない場合にもマッピング処理は可能である。スクリーンの形状が平面や柱面の場合、それぞれ式（３）、式（４）によりマッピング処理する。

スクリーンの形状が平面で、視点41から正面方向54に距離Ｌ離れた位置に配置された場合は、式（３）に従う。
（Tx，Ty，Tz）＝Ｌ（(1／S'z)S'x，(1／S'z)S'y，1） …（３）
ここで、Lは正の値である。スクリーンの形状が、柱面で半径がＲの場合は、式（４）に従う。
（Tx，Ty，Tz）＝Ｒ（S'x，(1／S'z)S'y，S'z） …（４）
ここでRは正の値である。このように、半球面スクリーンだけでなく、平面形状、柱面形状のスクリーンにおいても、視点41を中心とする仮想単位球面42上から仮想スクリーン面51上へのマッピング処理は可能で、仮想スクリーン面上にマッピングされた画像データの生成が可能である。

視点41が半球面スクリーンあるいは柱面形状スクリーンの中心位置でない場合においても、一般的な数値解析によりマッピング処理が可能である。また、円錐形状についても同様にマッピング処理が可能である。

最後に、図6を参照して、マッピング画像分割及び表示処理24について説明する。この処理では、プロジェクタレンズ中心位置及び投影方向データ1232を用いて、合成画像の仮想スクリーン上へのマッピング処理23で生成した画像データ52の分割とプロジェクタ131、132での表示処理を行う。

画像データ612は、プロジェクタ131のレンズ中心位置611から投射方向613に向けて投射する場合の画像データであり、画像データ622は、プロジェクタ132のレンズ中心位置621から投射方向623に向けて投射する場合の画像データである。これらの画像は、一般的なコンピュータグラフィックス技術を用いて、仮想スクリーン上へマッピングされた画像データ52に対して、それぞれのプロジェクタのレンズ中心位置611、621から透視投影変換を施すことにより得られる。

具体的には、仮想スクリーン面51はコンピュータグラフィックス上での形状モデル、画像データ52はその形状モデル上に貼り付けられたテクスチャとして扱う。その上で、コンピュータグラフィックス上で、プロジェクタのレンズ中心位置611、621を視点とした場合の描画処理を行い、対応する画像データ612、622を得る。これにより、画像データ52上の或る点Ｔ521は、プロジェクタ131が表示する画像データ612上の対応する点Ｄ6121へと変換される。

上記により生成された画像データ612、622は、ＣＰＵ及びメモリ部121の指示により、それぞれ表示制御部1241、1242へ転送され、映像信号に変換された後、プロジェクタ131、132を介してスクリーン133上に表示し処理を完了する。

以上に説明した一連の処理により、複数台のカメラ111、112、113で構成された撮影部11で撮影した映像を、異なる構成のプロジェクタ131、132と半球面スクリーン133から成る表示部13で連続した１つの画像として表示することが可能となる。さらに、表示部13を構成するスクリーンの形状が、平面形状あるいは柱面形状であっても連続した１つの画像として表示することが可能である。

図７の（１）、（２）は、スクリーン形状が平面で視点41から正面方向54に距離Ｌ73離れた位置に配置された場合を示す平面図と側面図である。ここで、仮想単位球面42上の或る点Ｓ’53の位置（S'x，S'y，S'z）は、式（３）により、それに対応する平面の仮想スクリーン面71上の点Ｔ721の位置（Tx，Ty，Tz）へマッピングされる。

以上、本発明の実施形態を説明したが、本発明は上記の実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内においてさまざまに変形して実施可能である。例えば、撮影部11を実際のカメラを複数台用いて構成するのではなく、前記カメラ構成と同等のコンピュータグラフィックス映像を出力するコンピュータを用いた場合であっても実施可能である。また、スクリーン形状についても全球形状への拡張や、球面、平面、柱面、円錐面の複合形状への適用が可能である。

本発明の一実施例によるマルチカメラ映像表示装置の基本構成図。 一実施例による画像処理部での概略処理を示すフローチャート。 カメラレンズ中心を中心として仮想単位球面への射影処理の説明図。 視点を中心とした仮想単位球面上での合成処理の説明図。 合成画像の仮想スクリーン上へのマッピング処理の説明図。 マッピング画像分割及び表示処理の説明図。 合成画像の平面仮想スクリーン上へのマッピング処理の説明図。

符号の説明

11…撮影部、111〜113…カメラ、12…画像処理部、121…ＣＰＵ及びメモリ部、1221〜1223…撮影制御部、123…ストレージ部、1231…カメラレンズ中心位置及び撮影方向データ、1232…プロジェクタレンズ中心位置及び投影方向データ、1233…スクリーン位置及び形状データ、1241〜1242…表示制御部、125…バス、13…表示部、131〜132…プロジェクタ、133…半球面スクリーン、31…カメラレンズ中心位置、32…仮想単位球面、331…カメラが撮影した画像データ、3311…カメラが撮影した画像データ上の或る点Ｉ、332…仮想単位球面上へ射影後の画像データ、3321…点Ｉに対応する仮想単位球面上の点Ｓ、41…視点、42…視点を中心とした仮想単位球面、431…カメラ113の撮影方向、432…カメラ112の撮影方向、433…カメラ111の撮影方向、441〜443…仮想単位球面上の合成画像、51…仮想スクリーン面、52…仮想スクリーン面へマッピング後の画像データ、521…点Ｓ’に対応する仮想スクリーン面上の点Ｔ、53…仮想単位球面上に合成後の画像データ上の或る点Ｓ’、54…正面方向、611…プロジェクタ131のレンズ中心位置、612…プロジェクタ131の投影画像データ、6121…点Ｔに対応するプロジェクタ131の投影画像データ上の点Ｄ、613…プロジェクタ131の投影方向、621…プロジェクタ132のレンズ中心位置、622…プロジェクタ132の投影画像データ、623…プロジェクタ132の投影方向、71…平面仮想スクリーン面、72…平面仮想スクリーン面へマッピング後の画像データ、721…点Ｓ’に対応する平面仮想スクリーン面上の点Ｔ、73…距離Ｌ。

Claims (5)

1. 或る視点から周囲を複数のカメラで撮影する撮影部と、前記撮影部で撮影した画像を表示する画像へ変換する画像処理部と、前記画像処理部で変換した画像を複数のプロジェクタにより所定形状のスクリーンに表示する表示部と、を備えるマルチカメラ映像表示装置であって、
   前記画像処理部は、前記或る視点に基づいて設定された複数のカメラの位置及び撮影方向と、前記複数のプロジェクタの位置及び投影方向と、前記スクリーンの位置及び形状に基づいて構成される仮想的な投影面上に変換する機能を有していることを特徴とするマルチカメラ映像表示装置。
2. 請求項１において、前記複数のカメラと前記複数のプロジェクタの数が相違する構成であるマルチカメラ映像表示装置。
3. 請求項１または２において、前記画像処理部は複数のカメラで同時に撮影した画像を予め定めた単位球面上で合成し、合成された画像を前記仮想的な投影面上にマッピングし、このマッピング画像をプロジェクタの数に応じて分割して各プロジェクタから前記スクリーンに表示する機能を有することを特徴とするマルチカメラ映像表示装置。
4. 請求項１または２において、前記スクリーンの所定形状は、球面、平面、柱面または円錐面であることを特徴とするマルチカメラ映像表示装置。
5. 請求項１または２において、前記カメラの数及びカメラ毎の位置情報、撮影方向、焦点距離と、前記プロジェクタの数及びプロジェクタ毎の位置情報、投影方向と、前記スクリーンの位置情報、形状情報を、前記画像処理部に設定することを特徴とするマルチカメラ映像表示装置。
   

Images