JP2005027154A - マルチカメラシステム及びその調整装置 - Google Patents

マルチカメラシステム及びその調整装置 Download PDF

Info

Publication number
JP2005027154A
JP2005027154A JP2003191912A JP2003191912A JP2005027154A JP 2005027154 A JP2005027154 A JP 2005027154A JP 2003191912 A JP2003191912 A JP 2003191912A JP 2003191912 A JP2003191912 A JP 2003191912A JP 2005027154 A JP2005027154 A JP 2005027154A
Authority
JP
Japan
Prior art keywords
screen
camera
camera system
image
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003191912A
Other languages
English (en)
Other versions
JP4230839B2 (ja
Inventor
Kenji Ando
健治 安藤
Hiroshi Kawase
宏志 河瀬
Shigeru Naoi
茂 直井
Masaki Ishikawa
正喜 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003191912A priority Critical patent/JP4230839B2/ja
Publication of JP2005027154A publication Critical patent/JP2005027154A/ja
Application granted granted Critical
Publication of JP4230839B2 publication Critical patent/JP4230839B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】補正作業が簡単で、精度の高い全周マルチカメラシステムの調整装置を提供する。
【解決手段】全周マルチカメラシステム108のカメラ部103からスクリーン面が等距離となるように、半球面スクリーン102がカメラを蔽うように配置する。半球面スクリーン102の頂点から真下に向けて魚眼レンズ101を備えたプロジェクタ100を用いて位置情報(または色特性情報)の計測用パターンをスクリーン102に投影し、各カメラ103で同時に撮影する。たとえば、この撮影した画像データを、予め調整制御装置109に設定してある、カメラの理想視点におけるシミュレーションデータと比較し、位置補正データを得る。画像処理装置105は位置補正データを設定されると、カメラ間の位置ずれが補正されるので、各カメラの同時撮影による連続した全周画像が得られる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は全周マルチカメラシステムにおける各カメラ間のずれ調整に関する。
【0002】
【従来の技術】
全周マルチカメラシステムとは、或る点を視点とし、視点の周りに複数台のカメラを放射状に配置し、視点からの水平方向360度までを同時に撮影するもので、複数台のカメラで撮影した映像を繋ぐことにより、水平方向360度までの連続した全周映像を生成するカメラシステムである。
【0003】
全周マルチカメラシステムは、カメラの設置条件や設置誤差により、各カメラのレンズ中心と視点とが不一致になるため、補正無しに複数台のカメラで撮影した映像を幾何的に正しく繋ぐことができない。色についても各カメラ間に撮影時の色特性差があり、補正無しに複数台のカメラで撮影した映像の色を合せることができない。従って、全周マルチカメラシステムでは、各カメラの位置情報と色特性情報を計測し、それに基づいた補正を実施し、連続した全周映像を生成している。
【0004】
各カメラの位置情報と色特性情報の計測方法として、次のようなものが知られている。第1の方法は、全周マルチカメラシステムの視点を中心とし、すべてのカメラの撮影範囲を覆う円筒形の壁を作成し、その内面にカメラの位置情報を取得できるような格子状のパターンを描く。この格子パターンを各カメラで撮影し、撮影した画像を解析することにより、各カメラが撮影している範囲の位置情報を計測する。また、規定の色パターンを描き、各カメラで撮影し、撮影画像を解析することで各カメラの撮影時の色特性情報を計測する。
【0005】
第2の方法は、カメラ1台での撮影範囲を覆う平面スクリーンにカメラの位置情報を取得できるような格子状のパターンをプロジェクタ等で表示し、全周マルチカメラシステムを回転させ、カメラ1台ずつ格子パターンを撮影する。全周マルチカメラシステムの回転角と撮影した画像を解析し、各カメラが撮影している範囲の位置情報を計測する。また、位置情報計測時の表示パターンを規定の色パターンに変更することで、各カメラの撮影時の色特性情報を計測する。
【0006】
第3の方法は、特許文献1に記載の方法による。この方法は全方位画像表示の歪補正に関するが、四角錘の反射板から複数のカメラに共通の視野を映像に取り込むように構成されたカメラシステムを持つもので、カメラシステムの調整には上記に挙げたカメラシステムを回転させる必要がある。
【0007】
【特許文献1】
特開2000−89395号公報(段落0012−0013、図2)
【0008】
【発明が解決しようとする課題】
上記第1の方法では、複数枚のパターンの変更に時間が掛かり、パターン変更時に誤差が発生し易いという問題がある。
【0009】
上記第2の方法では、カメラで撮影するパターンをプロジェクタ等で投影するため、パターン変更時に時間が掛かったり、誤差が発生したりしない。しかし、全周マルチカメラシステムを回転させ、カメラ1台毎に撮影をするため時間が掛かり、全周マルチカメラシステムの回転角の精度により誤差が発生し易い。また、装置自体も高価なものになる。
【0010】
上記第3の方法では、カメラシステムの構成が複雑、大規模で、高価なものとなる。また、この調整方法は、上記に挙げたカメラシステムを回転させることが必要で、調整に時間が掛かり、回転角の精度にも問題がある。
【0011】
本発明の目的は、上記従来方式の問題点に鑑み、撮影パターンの変更が不要で、カメラ1台毎の回転による計測時間を大幅に短縮でき、計測誤差を軽減できるマルチカメラシステム調整装置を提供することにある。また、シンプルで小規模な計測設備のマルチカメラシステム調整装置を提供することにある。さらに、前記マルチカメラシステム調整装置で得られた補正データを格納するマルチカメラシステムを提供することにある。
【0012】
これにより、高解像度化が進むカメラに対しても計測誤差の影響を排除でき、高解像度のマルチカメラシステムの短時間調整が可能となる。また、従来は大規模な専用の計測設備にマルチカメラシステムを設置して実施していた調整作業を、マルチカメラシステムが使用される場所で簡単に調整できるようにした。
【0013】
【課題を解決するための手段】
上記目的を達成する本発明は、1つの視点から周囲を撮影するように組み合わされた複数のカメラと、前記複数のカメラが撮影した周囲の画像を連続した1つの映像として出力する画像処理装置と、前記映像を表示または記憶する出力装置と、を備えるマルチカメラシステムにおけるカメラ間のずれを調整する装置において、前記複数のカメラの前記周囲を蔽うように配置した所定形状のスクリーンと、前記スクリーンの真上部または頂点部から前記スクリーンの内側に投影するように配置した魚眼レンズを備えるプロジェクタと、前記マルチカメラシステムのずれ調整に必要なパターン映像を前記プロジェクタに出力する調整制御装置を設けることを特徴とする。前記スクリーンの所定形状は、半球状、円筒または円錐型である。半球状とは半球面のみならず、180度未満や180度以上の場合でも、カメラの撮影範囲を蔽えればよい。
【0014】
前記調整制御装置は、前記スクリーンの所定形状に合わせ、予め設定されている理想視点による前記パターン映像に対応するシミュレーション画像データと、前記スクリーンに投影されるパターン映像を撮影したカメラ撮像データとの幾何的関係から補正データを取得することを特徴とする。
【0015】
また、前記調整制御装置は、色特性情報計測用画像データを前記パターン映像として前記スクリーンに投影し、前記パターン映像を撮影したカメラ撮像データと予め設定されている目標特性関数に基づいて色特性補正データを取得することを特徴とする。
【0016】
上記目的を達成する本発明のマルチカメラシステムは、前記マルチカメラシステム調整装置によって得られる補正データを前記画像処理装置に設定したことを特徴とする。
【0017】
本発明によれば、前記マルチカメラシステムと前記調整装置の設置を固定した後、お互いの位置及び関係を物理的に固定した状態で調整ができる。魚眼レンズを備えたプロジェクタを介して、半球状のスクリーンにずれ調整用のパターン映像を投影した場合、緯度、経度等の位置情報が正しく表示されるように幾何的補正がなされる。この補正データは画像処理装置に設定されるので、補正後のマルチカメラシステムは複数のカメラが同時に撮影した映像を画像処理装置によって歪のない連続した1つの映像として出力する。
【0018】
本発明によれば、パターン映像の変更は瞬時に行なえる。また、従来のように、マルチカメラシステムを回転し、カメラ1台毎にパターン映像を撮影する作業が必要なく、全てのカメラで同時にパターン映像を撮影できるので、計測時間が短くなる。
【0019】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。図1は本発明の一実施例による全周マルチカメラシステム調整装置の基本構成を示している。全周マルチカメラシステム108は、水平方向360度を同時に撮影するようにある点を視点として、視点の周りに複数台のカメラを放射状に配置したマルチカメラ部103と、その映像を設定されたデータに従い補正する画像処理装置105で構成されている。マルチカメラ部103と画像処理装置105との間は映像ケーブル104で接続されている。
【0020】
画像処理装置105は制御線110を介して外部からの制御により、幾何補正と色補正のための設定を変更したり、入力された映像を画像データとして転送したりする。調整された全周マルチカメラシステム108では、マルチカメラ部103で撮影された映像は画像処理装置105に送られ、水平方向360度の連続した1つの映像となるように補正され、映像ケーブル106に出力され表示装置107により表示される。なお、出力装置は表示装置107によらず、映像を記録する記憶装置であってもよい。
【0021】
さらに、マルチカメラ部103で撮影される範囲を覆うように配置した半球面スクリーン102と、半球面スクリーン102の頂点位置に配置しマルチカメラ部103に向けて垂直に投影するプロジェクタ100を有している。上述したように、半球面スクリーン102は正確に半球である必要はなく、カメラ撮影範囲を覆えればよい。
【0022】
また、プロジェクタ100へ映像ケーブル111を介して補正のための表示映像を送り、制御線110を介して画像処理装置105を制御する調整制御装置109を有し、プロジェクタ100には魚眼レンズ101が設けられている。魚眼レンズ101は半球面スクリーン102の内側ほぼ全体に補正のための映像を投影する。
【0023】
図2は調整制御装置の構成を示すブロック図である。調整制御装置109は、制御線110を介して画像処理装置105と通信する通信制御部200、調整制御装置109を統括するCPU及びメモリ部201、画像データに対して指定された画像処理を行いプロジェクタ100に送る映像信号を生成する画像処理及び画像表示部202を有している。さらに、各種データを蓄えるストレージ部204を有し、各処理部とストレージ部はバス203で接続されている。
【0024】
ストレージ部204には、後述する一連の処理で共通的に使用する計測表示用座標変換補正データ205が記憶されている。また、位置情報の補正に使用するデータとして、理想視点カメラ撮影シミュレーションデータ206、位置情報計測用画像データ(位置情報パターン)207、位置情報計測用画像カメラ撮影データ208、位置補正データ209がそれぞれ記憶されている。
【0025】
さらに、色特性情報の補正に使用するデータとして、色特性情報計測用画像カメラ撮影データ210、色特性情報計測用画像データ(色情報パターン)211、色特性補正データ212がそれぞれ記憶されている。各データの詳細については後述する。
【0026】
図3は画像処理装置に設定する位置補正データを生成する処理フローを示している。この処理は調整制御装置109で実施され、マルチカメラ部103の各カメラの位置情報を計測し、画像処理装置105に設定する位置補正データ209を生成する。生成後、位置補正データ209は画像処理装置105に設定され、複数のカメラから同時に撮影された周囲映像は、歪のない連続する1つの映像として画像処理装置105から、表示装置107に出力される。
【0027】
処理フローについて順に説明する。画像処理及び画像表示部202の初期化処理301は、画像処理部及び画像表示部202を初期化し、映像ケーブル111を介して魚眼レンズ101を備えたプロジェクタ100から映像が投影できる状態にする。
【0028】
画像処理及び画像表示部202に入力される画像データは平面画像である。このため、画像処理及び画像表示部202が画像処理なしに画像データを映像出力した場合、魚眼レンズ101を介して半球面スクリーン102へ投影する映像は歪んだものとなる。
【0029】
そこで、初期化処理301ではこの歪みを補正するため、予め算出しストレージ部204に保存しておいた計測表示用座標変換補正データ205を、画像処理及び画像表示部202に設定して初期化処理301を終了する。
【0030】
図5を用いて、計測表示用座標変換補正データについて説明する。計測表示用座標変換補正データ205は、平面の画像データ座標を半球面のスクリーン座標へ変換するためのデータで、次のような関係に基づき導出される。
【0031】
画像データ上での座標群520は、画像処理及び画像表示部202に入力される画像データ上の座標群を示したものである。スクリーン上での座標群522は、プロジェクタ100から魚眼レンズ101を介して投影されたスクリーン上の座標群を示したものである。そして、写像521は、画像データ上での座標群520からスクリーン上での座標群522への写像関係を表している。したがって、画像データ上の任意座標をD(r,θ)、半径Rのスクリーン上の任意座標をS(φ’,θ’)、写像521をM1とした場合、M1は下記の(1)−(3)式により表わされる。なお、魚眼レンズ101には等距離魚眼レンズを用いている。
M1:D(r,θ)→S(φ’,θ’), …(1)
M1:θ’=θ−π, …(2)
M1:φ’=α×(2/f)ラr, …(3)
ここで、rは画像データ上の原点O501を中心とした円の半径、θは回転角を示している。φ’は半径Rの半球面スクリーン102の球の中心を通る垂直線からの回転角、θ’は水平方向の回転角を表し、D(r,θ)、S(φ’,θ’)はいずれも任意の点を極座標形式で表現したものである。αは乗数で、fはレンズの焦点距離である。
【0032】
従って、画像データ上の座標D(r,θ)は(1)式からスクリーン上の座標S(φ’,θ’)に変換され、このときのθ’、φ’は(2)式、(3)式より決定できる。
【0033】
例えば、M1写像521より次のような投影がなされる。画像データ上の座標A502はスクリーン上の座標A’512への投影、画像データ上の座標B503はスクリーン上の座標B’513への投影、画像データ上の座標C504はスクリーン上の座標C’514への投影、画像データ上の座標D505はスクリーン上の座標D’515へ投影である。画像データ上の座標A1506はスクリーン上の座標A1’516への投影、画像データ上の座標B1507はスクリーン上の座標B1’517への投影、画像データ上の座標C1508はスクリーン上の座標C1’518への投影、画像データ上の座標D1509はスクリーン上の座標D1’519への投影である。
【0034】
位置情報計測用画像の表示処理302は、予め作成しストレージ部204に保存しておいた位置情報計測用画像データ(位置情報パターン)207を画像処理及び画像表示部202へ入力し、プロジェクタ100から投影する処理である。
【0035】
図6は位置情報計測用画像データの一例を示している。画像データ600は位置情報計測用画像データ(位置情報パターン)207の一例を示している。画像データ600には、画像の中心から放射状の市松模様が描かれており半球面スクリーン102に投影された時の緯度経度と対応している。また、格子には対応する緯度経度を表す記号が描かれている。
【0036】
マルチカメラシステム108の全カメラ103での撮影処理303は、制御線110を介して画像処理装置105へ各カメラの入力映像を画像データとして取込む指示を送り、ストレージ部204へ位置情報計測用画像カメラ撮影データ208として保存する。保存された画像データは、カメラの台数分だけ存在する。
【0037】
最後に、カメラ座標を理想視点座標へ変換する補正データの算出処理304について説明する。この算出処理は、予め生成しストレージ部204に保存している理想視点カメラ撮影シミュレーションデータ206と、位置情報計測用画像カメラ撮影データ208から、位置補正データ209を生成する。
【0038】
図7に理想視点カメラ撮影シミュレーションデータ206の説明図を示す。図7(a)に示す配置図は、理想視点803に全カメラのレンズ中心を仮想的に配置した場合の全周マルチカメラシステム108を真上から見た図である。理想視点803は、放射状に並べられたマルチカメラ部103の中心点で、算出処理304は各カメラで撮影した映像を理想視点803から見て連続した全周映像とするような位置補正データ209を算出する。領域800〜802は、仮想的にレンズ中心を理想視点803上に配置した場合の各カメラの撮影領域である。
【0039】
理想視点カメラ撮影シミュレーションデータ206は、図7(b)に示す画像データ810である。位置情報計測用画像データ(位置情報パターン)207をプロジェクタ100を介して半球面スクリーン102上へ投影した映像を、領域800を撮影する理想視点上にレンズ中心を置く仮想的なカメラで撮影した状況をシミュレーションすることにより生成したものである。記号811は緯度情報、記号812は経度情報を示す。
【0040】
一方、図8は各カメラで撮影した位置情報計測用画像カメラ撮影データ208の説明図を示す。図8(a)の配置図は全周マルチカメラシステム108を真上から見た説明図である。点901は或るカメラの実際のレンズ中心であり、理想視点803からずれている。従って、点901をレンズ中心とする実際のカメラが撮影する領域900は、図7(a)の領域800からずれている。
【0041】
この位置情報計測用画像カメラ撮影データ208を表したものが、図8(b)に示す画像データ910である。記号911は緯度情報、記号912は経度情報を示す。図7(b)の理想視点カメラ撮影シミュレーションデータ206に比べて、図8(b)の位置情報計測用画像カメラ撮影データ208には位置ずれが生じている。
【0042】
補正データの算出処理304では、理想視点カメラ撮影シミュレーションデータ206(画像データ810)と位置情報計測用画像カメラ撮影データ208(画像データ910)に対して、緯度経度の座標点を抽出する画像処理を施す。そして、2つの画像データ間での緯度、経度座標点の移動ベクトルを算出し、これにより位置補正データ209を生成する。
【0043】
図9は位置補正データを説明している。同図(a)のベクトル群1000は補正データ209を示したもので、ある点の補正前の座標(X_Sn,Y_Sn)1001から補正後の座標(X_Dn,Y_Dn)1002へのベクトルを示している。同図(b)は、ベクトル群1000のデータフォーマット1010を示したものである。
【0044】
次に、調整制御装置109が行う色補正について説明する。調整制御装置109はマルチカメラ部103の各カメラの色特性情報を計測し、色特性補正データを算出して画像処理装置105に設定する。以下、処理手順を説明する。
【0045】
図4は色特性補正データを生成する処理フロー図である。画像処理及び画像表示部の初期化処理401は、画像処理部及び画像表示部202を初期化し、映像ケーブル111を介して魚眼レンズ101を備えたプロジェクタ100から映像が投影できる状態にする。初期化処理401は、各カメラの色特性情報を計測するための初期化である。計測の目的が各カメラの色特性情報であるため、画像処理部及び画像表示部202へは、入力された映像に対して位置補正することなく出力するよう設定する。
【0046】
次に、色特性情報計測用画像の表示処理402とマルチカメラシステム108の全カメラ103での撮影処理403について説明する。
【0047】
各カメラの色特性情報の計測は、色の3原色である赤(R)、緑(G)、青(B)の各色毎に、複数の輝度レベルの色特性情報計測用画像(色情報パターン)211を半球面スクリーン102に表示して行われる。撮影は各レベル毎に繰り返し、ストレージ部204に色特性情報計測用画像カメラ撮影データ210として保存する。
【0048】
図10を用いて、色特性情報計測用画像データを説明する。色特性情報計測用画像データ211は色情報パターンとして調整制御装置109からスクリーン102に投影され、カメラ撮影データ210として取得される。色の3原色である赤(R)、緑(G)、青(B)の各原色毎に各輝度レベル毎に存在する。同図(a)に示す255レベル画像700、Iレベル画像701、0レベル画像702は、或る1原色についての複数の輝度レベルの画像データを示している。同図(b)に示すグラフ703は、各画像データと輝度レベルの関係を示している。
【0049】
各カメラの色特性情報算出処理404は、色特性情報計測用画像カメラ撮影データ210から撮影後の各輝度レベルを抽出し、各原色ごとに特性関数を算出する。図11のグラフ1100は或る1台のカメラについての色特性を示したグラフである。輝度特性関数1101は赤(R)、輝度特性関数1102は緑(G)、輝度特性関数1103は青(B)を表している。
【0050】
各カメラに対する色特性補正データ212の算出処理405は、各原色毎に全てのカメラの特性関数から全周マルチカメラシステム108として目標とする特性関数を決定し、目標とする特性関数から乖離した部分を補正データとして生成する。そして、ストレージ部204の各カメラに対する色特性補正データ212として保存する。
【0051】
図12は色特性関数を示している。グラフ1202は目標とする色特性関数、1201は或る1台のカメラの色特性関数を示したもので、データ1203はその間の補正値を示し、色特性補正データ212として保存される。
【0052】
以上のように、本実施形態による全周マルチカメラシステムの調整装置によれば、図3に示した処理により位置補正データ209を生成できる。この補正データを画像処理装置105に設定することで、マルチカメラ部103で撮影された水平方向360度の映像が連続した映像として、画像処理装置105から出力可能になる。また、図4に示した処理による色特性補正データ212を画像処理装置105に設定することで、カメラ間で色ずれのない連続した全周映像を得ることができる。
【0053】
この調整装置は、図6または図10のような計測パターンをプロジェクタと半球面スクリーンを介して撮影するためパターン変更も容易である。また、マルチカメラ部103を回転させる必要がないので、回転による誤差の発生もない。さらに、調整装置は構造がシンプルで、特許文献1に記載の反射体のように補正後の撮影にも必要なものではないので、使い勝手が良い。
【0054】
以上、本発明の実施形態を説明したが、本発明は上記の実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内においてさまざまに変形して実施可能である。その実施例として図13、図14を参照して説明する。
【0055】
図13は本発明の他の実施形態に係わる全周マルチカメラ調整装置の概略図である。図1の半球面スクリーン102に代えて円筒スクリーン1301を適用している。
【0056】
魚眼レンズ101を備えたプロジェクタ100は、円筒スクリーン1301の真上の円中心に配置され、ずれ調整に必要なパターン映像は円筒スクリーン1301の内側のほぼ全面に表示される。この場合、画像処理及び画像表示部の処理化処理301で使用する計測表示用座標変換補正データ205は、半球面スクリーン102への変換ではなく、円筒スクリーン1301への変換として生成することで可能になる。
【0057】
図14は更に他の実施形態に係わる全周マルチカメラ調整装置の概略図である。円錐型のスクリーン1401を適用した例で、計測表示用座標変換補正データ205は円錐型スクリーン1401への変換として生成することで可能になる。
【0058】
図13または図14における計測表示用座標変換補正データ205は、一般的なコンピュータグラフィックス技術を上記(1)−(3)式に適用することにより容易に取得できる。
【0059】
また、本発明は水平方向360度未満のマルチカメラシステムに対しても適用可能である。さらに、垂直方向に複数台のカメラを並べたマルチカメラシステムに対しても適用可能である。
【0060】
【発明の効果】
本発明によれば、カメラの位置情報と色特性情報の計測時間を大幅に短縮でき、かつ計測誤差を大幅に軽減することが可能となる。これにより、高解像度化が進むマルチカメラシステムの調整を高速に実現できる。
【0061】
また、計測に必要な設備自体をシンプルかつ小規模にできるので、従来専用の計測設備で固定的に実施していた調整作業を、マルチカメラシステムが用いられる場所で容易に実施でき、使い勝手がよくなる。
【図面の簡単な説明】
【図1】一実施形態による全周マルチカメラシステムの調整装置の基本構成図。
【図2】調整制御装置の構成を示すブロック図。
【図3】画像処理装置に設定する位置補正データを生成する処理フロー図。
【図4】画像処理装置に設定する色特性補正データを生成する処理フロー図。
【図5】平面の画像データ座標から半球面スクリーン座標への変換関係を示す説明図。
【図6】位置情報計測用画像データの一例を示す説明図。
【図7】理想視点から撮影した場合をシミュレーションした画像データの説明図。
【図8】実際のカメラで撮影した位置情報計測用画像データの一例を示す説明図。
【図9】カメラ座標を理想視点座標へ変換する位置補正データの一例を示す説明図。
【図10】色特性情報計測用画像データの一例を示す説明図。
【図11】カメラの色特性の一例を示す説明図。
【図12】カメラに対する色特性補正データを示す説明図。
【図13】他の実施形態で、円筒スクリーンを用いた調整装置の概略図。
【図14】更に他の実施形態で、円錐型スクリーンを用いた調整装置の概略図。
【符号の説明】
100…プロジェクタ、101…魚眼レンズ、102…半球面スクリーン、103…マルチカメラ部、104…映像ケーブル、105…画像処理装置、106…映像ケーブル、107…連続した全周映像の表示装置、108…全周マルチカメラシステム、109…調整制御装置、110…制御線、111…映像ケーブル、200…通信制御部、201…CPU及びメモリ部、202…画像処理及び画像表示部、203…バス、204…ストレージ部、205…計測表示用座標変換補正データ、206…理想視点カメラ撮影シミュレーションデータ、207…位置情報計測用画像データ(位置情報パターン)、208…位置情報計測用画像カメラ撮影データ、209…位置補正データ、210…色特性情報計測用画像カメラ撮影データ、211…色特性情報計測用画像データ(色情報パターン)、212…色特性補正データ、520…画像データ上での座標群、522…スクリーン上での座標群、600…位置情報計測用画像データ(位置情報パターン)、703…画像データと輝度レベルの関係を示すグラフ、800〜802…理想視点上に配置した場合の各カメラの撮影領域、803…理想視点、804…全周マルチカメラシステムを真上から見た配置図、810…理想視点から各カメラで撮影した場合をシミュレーションした画像データ(位置情報)、900…カメラの実際の撮影領域、901…カメラの実際のレンズ中心、904…全周マルチカメラシステムを真上から見た配置図、910…カメラの撮影画像データ(位置情報)、1010…カメラ座標を理想視点座標へ変換する補正データデータフォーマット、1100…カメラの色特性を示すグラフ、1203…色特性関数から目標とする色特性関数への補正値、1301…円筒スクリーン、1401…円錐型スクリーン。

Claims (6)

  1. 1つの視点から周囲を撮影するように組み合わされた複数のカメラと、前記複数のカメラが撮影した周囲の画像を連続した1つの映像として出力する画像処理装置と、前記映像を表示または記憶する出力装置と、を備えるマルチカメラシステムにおけるカメラ間のずれを調整する装置において、
    前記複数のカメラの前記周囲を蔽うように配置した所定形状のスクリーンと、前記スクリーンの真上部または頂点部から前記スクリーンの内側に投影するように配置した魚眼レンズを備えるプロジェクタと、前記マルチカメラシステムのずれ調整に必要なパターン映像を前記プロジェクタに出力する調整制御装置を設けることを特徴とするマルチカメラシステム調整装置。
  2. 請求項1において、
    前記調整制御装置は、前記スクリーンの所定形状に合わせ、予め設定されている理想視点による前記パターン映像に対応するシミュレーション画像データと、前記スクリーンに投影されるパターン映像を撮影したカメラ撮像データとの幾何的関係から補正データを取得することを特徴とするマルチカメラシステム調整装置。
  3. 請求項1において、
    前記調整制御装置は、色特性情報計測用画像データを前記パターン映像として前記スクリーンに投影し、前記パターン映像を撮影したカメラ撮像データと予め設定されている目標特性関数に基づいて色特性補正データを取得することを特徴とするマルチカメラシステム調整装置。
  4. 請求項1において、
    前記スクリーンの所定形状は、半球状、円筒または円錐型であるマルチカメラシステム調整装置。
  5. 1つの視点から最大360度の周囲を撮影するように組み合わされた複数のカメラと、前記複数のカメラが撮影した周囲の画像を連続した1つの映像として出力する画像処理装置と、前記映像を表示または記憶する出力装置と、を備えるマルチカメラシステムにおけるカメラ間のずれを調整する装置において、
    前記複数のカメラの前記周囲を蔽うように配置した半球状のスクリーンと、前記スクリーンの頂点部から前記スクリーンの内側に投影するように配置した魚眼レンズを備えるプロジェクタと、前記マルチカメラシステムのずれ調整に必要なパターン映像を前記プロジェクタを介して前記スクリーンに投影し、そのパターン映像を撮影したカメラ撮像データの歪みを補正する補正データを取得する調整制御装置と、を設けることを特徴とするマルチカメラシステム調整装置。
  6. 1つの視点から周囲を撮影するように組み合わされた複数のカメラと、前記複数のカメラが撮影した周囲の画像を連続した1つの映像として出力する画像処理装置と、前記映像を表示または記憶する出力装置と、を備えるマルチカメラシステムにおいて、
    請求項2または5に記載されているマルチカメラシステム調整装置によって得られる補正データを前記画像処理装置に設定したことを特徴とするマルチカメラシステム。
JP2003191912A 2003-07-04 2003-07-04 マルチカメラシステム及びその調整装置 Expired - Fee Related JP4230839B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003191912A JP4230839B2 (ja) 2003-07-04 2003-07-04 マルチカメラシステム及びその調整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003191912A JP4230839B2 (ja) 2003-07-04 2003-07-04 マルチカメラシステム及びその調整装置

Publications (2)

Publication Number Publication Date
JP2005027154A true JP2005027154A (ja) 2005-01-27
JP4230839B2 JP4230839B2 (ja) 2009-02-25

Family

ID=34189346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003191912A Expired - Fee Related JP4230839B2 (ja) 2003-07-04 2003-07-04 マルチカメラシステム及びその調整装置

Country Status (1)

Country Link
JP (1) JP4230839B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2418495A (en) * 2004-09-24 2006-03-29 Vision Rt Ltd Image processing system for use with a patient postioning device
KR100637087B1 (ko) 2005-05-19 2006-10-23 한양대학교 산학협력단 사물인식 센서장치
JP2009151496A (ja) * 2007-12-19 2009-07-09 Canon Inc 画像処理装置、画像処理方法
KR101704427B1 (ko) * 2016-11-03 2017-02-10 (주)나인정보시스템 자동 추적 ptz 카메라의 ptz 틀어짐 보정을 위한 방법
CN106527039A (zh) * 2016-09-30 2017-03-22 歌尔科技有限公司 一种解析度测试图卡和超广角镜头的解析度测试方法
KR101777229B1 (ko) * 2016-10-11 2017-09-11 포인트랩 주식회사 3차원 스캐너 장치
CN107767422A (zh) * 2017-09-18 2018-03-06 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
WO2018135141A1 (ja) * 2017-01-17 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法、及び投影システム
JP2018174429A (ja) * 2017-03-31 2018-11-08 株式会社リコー 画像処理装置、撮影装置、及び画像処理方法
WO2019050200A1 (ko) * 2017-09-11 2019-03-14 삼성전자주식회사 이미지를 처리하기 위한 장치 및 방법
CN116386520A (zh) * 2023-05-29 2023-07-04 长春希达电子技术有限公司 球形内侧显示屏校正方法、装置、电子设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56175833U (ja) * 1980-05-26 1981-12-25
JPS6020692A (ja) * 1983-07-15 1985-02-01 Hitachi Ltd 広視野装置
JP2000056415A (ja) * 1998-08-10 2000-02-25 Hiroo Iwata 全周球面スクリーン投影装置
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2002116498A (ja) * 2000-10-06 2002-04-19 Rikei:Kk プロジェクター装置
JP2002185987A (ja) * 2000-12-08 2002-06-28 Olympus Optical Co Ltd 映像調整装置
JP2004012477A (ja) * 2002-06-03 2004-01-15 Nippon Telegr & Teleph Corp <Ntt> 全周映像描画装置およびその方法
JP2004135209A (ja) * 2002-10-15 2004-04-30 Hitachi Ltd 広視野高解像度映像の生成装置及び方法
JP2004145680A (ja) * 2002-10-25 2004-05-20 Hitachi Ltd 全方位画像生成方法及び装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56175833U (ja) * 1980-05-26 1981-12-25
JPS6020692A (ja) * 1983-07-15 1985-02-01 Hitachi Ltd 広視野装置
JP2000056415A (ja) * 1998-08-10 2000-02-25 Hiroo Iwata 全周球面スクリーン投影装置
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2002116498A (ja) * 2000-10-06 2002-04-19 Rikei:Kk プロジェクター装置
JP2002185987A (ja) * 2000-12-08 2002-06-28 Olympus Optical Co Ltd 映像調整装置
JP2004012477A (ja) * 2002-06-03 2004-01-15 Nippon Telegr & Teleph Corp <Ntt> 全周映像描画装置およびその方法
JP2004135209A (ja) * 2002-10-15 2004-04-30 Hitachi Ltd 広視野高解像度映像の生成装置及び方法
JP2004145680A (ja) * 2002-10-25 2004-05-20 Hitachi Ltd 全方位画像生成方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戎野 聡一 他3名: ""全方位ステレオ画像センサによる実環境の仮想環境への取り込み"", 電子情報通信学会技術研究報告, vol. 第99巻第723号, JPN6008014555, 22 March 2000 (2000-03-22), JP, pages 37 - 44, ISSN: 0001197075 *
戎野 聡一 他3名: ""円筒パターンを用いた全周ステレオ画像センサのキャリブレーション方法"", 日本バーチャルリアリティ学会第4回大会論文集, JPN6008014546, 29 September 1999 (1999-09-29), JP, pages 211 - 212, ISSN: 0001010731 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7348974B2 (en) 2004-09-24 2008-03-25 Vision Rt Limited Image processing system for use with a patient positioning device
GB2418495B (en) * 2004-09-24 2010-04-28 Vision Rt Ltd Image processing system for use with a patient positioning device
GB2464855A (en) * 2004-09-24 2010-05-05 Vision Rt Ltd Image processing system for use with a patient positioning device
GB2464855B (en) * 2004-09-24 2010-06-30 Vision Rt Ltd Image processing system for use with a patient positioning device
GB2418495A (en) * 2004-09-24 2006-03-29 Vision Rt Ltd Image processing system for use with a patient postioning device
KR100637087B1 (ko) 2005-05-19 2006-10-23 한양대학교 산학협력단 사물인식 센서장치
JP2009151496A (ja) * 2007-12-19 2009-07-09 Canon Inc 画像処理装置、画像処理方法
CN106527039A (zh) * 2016-09-30 2017-03-22 歌尔科技有限公司 一种解析度测试图卡和超广角镜头的解析度测试方法
KR101777229B1 (ko) * 2016-10-11 2017-09-11 포인트랩 주식회사 3차원 스캐너 장치
KR101704427B1 (ko) * 2016-11-03 2017-02-10 (주)나인정보시스템 자동 추적 ptz 카메라의 ptz 틀어짐 보정을 위한 방법
WO2018135141A1 (ja) * 2017-01-17 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法、及び投影システム
JP2018174429A (ja) * 2017-03-31 2018-11-08 株式会社リコー 画像処理装置、撮影装置、及び画像処理方法
US11172135B2 (en) 2017-09-11 2021-11-09 Samsung Electronics Co., Ltd. Apparatus and method for processing image
WO2019050200A1 (ko) * 2017-09-11 2019-03-14 삼성전자주식회사 이미지를 처리하기 위한 장치 및 방법
KR20190029097A (ko) * 2017-09-11 2019-03-20 삼성전자주식회사 이미지를 처리하기 위한 장치 및 방법
KR102465248B1 (ko) * 2017-09-11 2022-11-11 삼성전자주식회사 이미지를 처리하기 위한 장치 및 방법
CN107767422A (zh) * 2017-09-18 2018-03-06 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
CN107767422B (zh) * 2017-09-18 2022-04-05 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
CN116386520A (zh) * 2023-05-29 2023-07-04 长春希达电子技术有限公司 球形内侧显示屏校正方法、装置、电子设备以及存储介质
CN116386520B (zh) * 2023-05-29 2023-09-19 长春希达电子技术有限公司 球形内侧显示屏校正方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
JP4230839B2 (ja) 2009-02-25

Similar Documents

Publication Publication Date Title
JP6468307B2 (ja) 撮像装置、画像処理装置および方法
JP5389879B2 (ja) 撮像装置、監視カメラ、およびカメラ画面のマスク方法
JP3497805B2 (ja) 画像投影表示装置
US8311366B2 (en) System and method for calibrating and adjusting a projected image of a projection apparatus
JP5224721B2 (ja) 映像投影システム
CN106210679B (zh) 多影像输出装置校正系统及其校正方法
WO2019167455A1 (ja) 情報処理装置、情報処理装置の演算方法、プログラム
WO2005084017A1 (ja) マルチプロジェクションシステム
KR20160118868A (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
JP4230839B2 (ja) マルチカメラシステム及びその調整装置
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
JP2010128102A (ja) 投写型表示装置および配置関係検出方法
JP2016048856A (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
CN113259642B (zh) 一种影片视角调节方法及系统
CN112055186A (zh) 一种多投影图像拼接的几何校正方法、系统、设备及存储介质
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2010217984A (ja) 像検出装置及び像検出方法
JP5515405B2 (ja) 映像処理装置、映像表示装置および映像処理方法
CN112770095B (zh) 全景投影方法、装置及电子设备
JP2004228619A (ja) プロジェクタの映像の歪み調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees