JP2004279049A - カメラ位置算出システム - Google Patents

Abstract

【課題】カメラの位置を数多く動かす必要のないカメラ位置算出システムを提供する。
【解決手段】マーカ認識部１３１はカメラ１２０による撮像画像からマーカ１１０を認識する。カメラパラメータ保持部１３２はカメラ位置を特定するための複数のパラメータを保持する。カメラパラメータ変換部１３３はパラメータを各々一定の範囲で変化させる。マーカ位置算出部１３５はマーカ座標保持部１３４に保持されているマーカ座標値に基づいてパラメータで特定される位置から見たマーカ座標値を算出する。差分算出部１３６は算出された座標値と認識されたマーカ座標値との差分値を算出する。差分結果保持部１３７は算出された差分値を保持する。近似部１３８は変化させた個数分の差分値から差分値の変化する様子を近似関数で近似し、認識されたマーカ座標値に算出される座標値が最も近くなるようなパラメータを求める。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、計測等の対象となる物体を中心とした座標上におけるカメラの位置を求めるカメラ位置算出システムに関するものである。
【０００２】
【従来の技術】
図９は従来のカメラ位置算出システムの構成を示すブロック図、図１０は図９に示すカメラ位置算出システムの原理説明図である。図９に示すように、従来のカメラ位置算出システムは、カメラ１０１と、画像処理部１０２と、位置計算部１０３とを備えている。図１０に示すように、カメラ１０１は焦点Ｆｃの位置から基準物体１０５を撮像する。平面Ｐは、カメラ１０１の光軸と垂直な３次元空間中の平面である。
【０００３】
基準物体１０５上の点、Ｖ１，Ｖ２，Ｖ３，Ｖ４の位置関係が既知であれば、焦点Ｆｃの位置が決まった段階で、これらの点と焦点Ｆｃを結んだ直線と、平面Ｐの交点、Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’を求めることができる。このとき、三角形ＦｃＳ１’Ｓ２’と三角形ＦｃＳ１Ｓ２、三角形ＦｃＳ３’Ｓ４’と三角形ＦｃＳ３Ｓ４はそれぞれ相似であるため、式（１）がなりたつ。しかし、Ｓ１，・・・，Ｓ４は画像上の点であるため整数で表されている。このため、実際には式（２）のようになる。
【０００４】
【数１】

【０００５】
一方、焦点Ｆｃの位置が変化すると、Ｄ１１／Ｄ３４の値と、Ｄ１２’／Ｄ３４’の値は大きくずれてしまう。
そこで、式（３）を考え、空間中での焦点Ｆｃの位置を変えながら、Ｋの値が最小になる焦点Ｆｃの位置を求め、これをカメラの位置とする。（例えば特許文献１参照）。
【０００６】
【数２】

【０００７】
【特許文献１】
特開平０７−１５９１６７号公報（第４頁、図１、図２）
【０００８】
【発明が解決しようとする課題】
しかしながら、従来のカメラ位置算出装置においては、焦点Ｆｃの最適値を探索することが容易ではない。すなわち、カメラの位置は、並進成分と回転成分それぞれ３個、合計６個のパラメータによって特定され、これらのパラメータを少しずつ変化させながら、式（３）のＫを最小にする値を探索することによって求められるため、焦点Ｆｃの位置を非常に多く変える必要がある。このため、カメラの位置を数多く変化させなければ、カメラの正しい位置を求めることができなかった。
【０００９】
本発明は、このような従来の技術の問題点を解決するために創案されたものであり、その目的は、カメラの位置を数多く変化させなくても、カメラの正しい位置を求めることができるカメラ位置算出システムを提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために本発明は、所定の位置に設置されたマーカと、前記マーカを撮像する撮像手段と、前記撮像手段の位置を算出するカメラ位置算出装置とを備えたカメラ位置算出システムにおいて、前記カメラ位置算出装置は、前記撮像手段による撮像画像から前記マーカを認識するマーカ認識手段と、前記撮像手段の位置を特定するための複数のパラメータを保持するカメラパラメータ保持手段と、前記カメラパラメータ保持手段に保持されているパラメータをパラメータ毎に一定の範囲で変化させるカメラパラメータ変換手段と、前記マーカが設置されている位置の座標値を保持するマーカ座標保持手段と、前記マーカ座標保持手段に保持されている座標値に基づいて、前記カメラパラメータ保持手段に保持されているパラメータで特定される撮像手段の位置から見た場合の前記マーカの座標値を算出するマーカ位置算出手段と、前記マーカ位置算出手段により算出された座標値と、前記マーカ認識手段により認識された前記マーカの座標値との差分値を算出する差分算出手段と、前記差分算出手段により算出された差分値を保持する差分結果保持手段と、前記差分結果保持手段に保持されている、前記カメラパラメータ変換手段により変化させた個数分の差分値から、差分値の変化する様子を近似関数で近似し、前記マーカ認識手段により認識された前記マーカの座標値に、前記マーカ位置算出手段により算出される座標値が最も近くなるような、前記パラメータ保持手段の保持するカメラパラメータを求める近似手段と、を有して構成される。
【００１１】
この構成により、撮像手段の位置を数多く変化させなくても撮像手段の正しい位置を求めることができる。
【００１２】
また、本発明のカメラ位置算出装置において、前記近似手段は、係数を算出する係数算出手段と、前記係数算出手段により算出された係数から得られる評価関数を保持する評価関数保持手段と、前記評価関数保持手段の保持する評価関数の極小値を求める微分値算出手段と、を有して構成されることが望ましい。
【００１３】
この構成により、撮像手段の位置を一定の範囲で移動させた結果を２次曲面で近似することにより撮像手段の正しい位置を求めることができる。
【００１４】
また、本発明のカメラ位置算出システムにおいて、前記カメラ位置算出装置は、前記差分結果保持手段の保持する差分値を比較する差分結果比較手段と、前記カメラパラメータ保持手段に保持しているパラメータの種別を保持するパラメータ種保持手段と、前記カメラパラメータ変換手段の変換する際のパラメータの変換幅を保持する変換幅保持手段と、前記差分結果比較手段による比較結果に応じて前記変換幅を変更する変換幅変更手段とを有して構成されることが望ましい。
【００１５】
この構成により、撮像手段の当初の位置が正しい位置から大きくずれていても、少ない計算量で撮像手段の正しい位置を求めることができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１７】
図１は、本発明の第１の実施の形態の構成を示すブロック図である。このカメラ位置算出システム１００は、所定の位置に設置されたマーカ１１０と、マーカ１１０を撮像するカメラ１２０と、カメラ１２０の位置を算出するカメラ位置算出装置１３０とを備えて構成される。
【００１８】
カメラ位置算出装置１３０は、マーカ認識部１３１、カメラパラメータ保持部１３２、カメラパラメータ変換部１３３、マーカ座標保持部１３４、マーカ位置算出部１３５、差分算出部１３６、差分結果保持部１３７、近似部１３８、および値保持部１３９を有して構成される。
【００１９】
マーカ認識部１３１は、カメラ１２０による撮像画像からマーカ１１０を認識する。
カメラパラメータ保持部１３２は、カメラ１１０の位置を特定するための複数のパラメータを保持する。パラメータは、マーカ１１０とカメラ１１０との位置関係を表す。
カメラパラメータ変換部１３３は、カメラパラメータ保持部１３２に保持されているパラメータをパラメータ毎に一定の範囲で変化させる。
マーカ座標保持部１３４は、マーカ１１０が設置されている位置の座標値を保持する。
マーカ位置算出部１３５は、マーカ座標保持部１３５に保持されている座標値に基づいて、カメラパラメータ保持部１３２に保持されているパラメータで特定される位置から見た場合のマーカ１１０の座標値（マーカ位置）を算出する。
差分算出部１３６は、マーカ位置算出部１３５により算出された座標値と、マーカ認識部１３１により認識されたマーカ１の座標値との差分値すなわち距離を算出する。
差分結果保持部１３７は、差分算出部１３６により算出された差分値を保持する。
近似部１３８は、差分結果保持１３７に保持されている、カメラパラメータ変換部１３３により変化させた個数分の差分値から、差分値の変化する様子を近似関数で近似し、マーカ認識部１３１により認識されたマーカの座標値に、マーカ位置算出部１３５により算出される座標値が最も近くなるような、パラメータ保持部１３２の保持するパラメータを求める。
値保持部１３９は、近似部１３８により求められた結果を保持する。
【００２０】
図２は図１中の近似部１３８の構成例を示すブロック図である。図示するように、近似部１３８は、係数算出部２０１と、評価関数保持部２０２と、微分値算出部２０３とを備えている。
【００２１】
係数算出部２０１は、下記の式（４）で表される評価関数の係数（ａ，ｂ，ｃ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｍ）を算出する。
評価関数保持部２０２は、係数算出部２０１により算出された係数から得られる評価関数を保持する。
微分値算出部２０３は、評価関数保持部２０２に保持されている評価関数の極小値を求める。
【００２２】
【数３】

【００２３】
次に、第１の実施の形態のシステムによるカメラ位置算出原理について、図３を参照して説明する。
【００２４】
図３において、マーカ１１０を撮像すると、カメラ１２０のレンズ１２１を通して、撮像画像３００の上に像３０１が結ばれる。
一方、世界座標系３０２におけるマーカ１１０の位置とカメラ１２０の位置がわかっていれば、マーカ１１０が撮像画像３００のどこに撮像されるかが計算できる。計算したマーカ位置３０３の座標値を（ｐ‘、ｑ’）とする。カメラ１２０とマーカ１１０の位置関係が正しければ、像３０１と計算したマーカ位置３０３は一致する。しかし、カメラ１２０の位置がずれていると像３０１と計算したマーカ位置３０３がずれてしまう。このときのずれの程度を下記の式（５）で表す。
【００２５】
【数４】

【００２６】
カメラ１２０の世界座標系３０２における位置３０４は、レンズ１２１の中心位置（ｘ、ｙ、ｚ）と光軸の方向（Ｒｘ，Ｒｙ，Ｒｚ）とにより表される。中心位置（ｘ、ｙ、ｚ）や光軸の方向（Ｒｘ，Ｒｙ，Ｒｚ）を変化させると、式（５）で表される評価値Ｖは変化する。
【００２７】
カメラ１２０の位置３０４が正しい位置に近ければ、レンズ１２１の中心位置（ｘ、ｙ、ｚ）や光軸の方向（Ｒｘ，Ｒｙ，Ｒｚ）を変化させたときにおける、角度のずれとずれの度合いとの関係は図４のようになる。図４では、中心位置ｘを変化させたときの計算結果を破線で示している。この破線は、２次関数で補間することが可能で、これを図４の実線に示す。
【００２８】
６個のパラメータについては、式（４）に示す評価関数で補間することができる。式（４）の係数（ａ，ｂ，ｃ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｍ）は、現時点のカメラ１２０の位置３０４を中心にして、カメラ１２０の位置３０４のパラメータ（ｘ、ｙ、ｚ、Ｒｘ、Ｒｙ、Ｒｚ）を変化させた値から、最小二乗法などを用いることにより求めることができる。Ｑを最小とする６個のパラメータ（ｘ、ｙ、ｚ、Ｒｘ、Ｒｙ、Ｒｚ）が求めるカメラの位置である。これは、Ｑの極小値を求めることによって求めることができる。
【００２９】
上記のように、カメラ１２０の位置を一定の範囲で移動させた結果を２次曲面で近似することにより、カメラ１２０の正しい位置を求めることができる。
【００３０】
図５は本発明の第２の実施の形態の構成を示すブロック図である。第２の実施の形態のカメラ位置算出装置１４０は、図１の構成に加えて、差分結果比較部１４１と、パラメータ種保持部１４２と、変換幅保持部１４３と、変換幅変更部１４４とを備えている。
【００３１】
差分結果比較部１４１は、差分結果保持部１３７に保持されている差分値を比較する。
パラメータ種保持部１４２は、カメラパラメータ保持部１３２に保持されているパラメータの種別を保持しており、カメラパラメータ変換部１３３がパラメータの値を変える際のパラメータの種別をひとつずつ変えていく。
変換幅保持部１４３には、カメラパラメータ変換部１３３がパラメータを変換する際の変換幅が保持されている。
変換幅変更部１４４は、差分結果比較部１４１による比較結果に応じて、前記変換幅を変更する。具体的には、計算したマーカ位置３０３と撮像された像３０１との差分値が大きいほどパラメータの変換幅を大きな値に変更し、差分値が小さいほどパラメータの変換幅を小さな値に変更する。
【００３２】
次に、第２の実施の形態の作用について、図６を参照して説明する。
図６では、カメラ１２０の位置が実際の位置とかなりずれているため、計算したマーカ位置３０３が撮像された像３０１の位置からかなりずれている。この場合は、フロー７１に示すように、撮像された像３０１の位置に近づいていく。この際、カメラ１２０の位置を特定するパラメータを１種類ずつ変えながら、式（５）の評価値Ｖが小さくなる方向に進んでいく。
【００３３】
そして、撮像された点３０１の位置に近づいた時点で、第１の実施の形態の場合と同様に、カメラ１２０の位置を構成するパラメータを変え、その結果を２次関数で近似して最適な値を求める。
【００３４】
フロー７１のように大まかに近づいていくときは、まず、パラメータの種類をひとつ決定し、この種別をパラメータ種保持部１４２に記録する。そして、カメラパラメータ変換部１３３によって、パラメータを変えながら評価値Ｖが最も小さくなるまで進んでいく。
【００３５】
あるパラメータについて評価値Ｖを最小とする値が求められたら、パラメータを変えて同じ操作を繰り返す。すべてのパラメータについて最小となる評価値Ｖが求められた後は、その値を中心として、第１の実施の形態で述べた方法によって、最適な値を求める。
【００３６】
上記のように、第２の実施の形態によれば、計算したマーカ位置３０３と撮像された像３０１との差分値が大きいほど、すなわち両者間の距離が大きいほどパラメータの変換幅を大きな値に変更し、差分値が小さいほど、すなわち両者間の距離が小さいほどパラメータの変換幅を小さな値に変更することにより、カメラ１２０の当初の位置が正しい位置から大きくずれていても、少ない計算量でカメラ１２０の正しい位置を求めることができる。
【００３７】
図７は本発明の第３の実施の形態の構成を示すブロック図である。第３の実施の形態のカメラ位置算出システムは、２台のカメラ４０１、４０２を備えている。カメラ位置算出装置１３０の構成は、図１のシステムと同様である。
【００３８】
２台のカメラ４０１、４０２は、図８に示すように、カメラユニット４００として結合されている。カメラユニット４００は、２つのカメラ４０１、４０２のレンズ４０１ａ、４０２ａの中心を結んだ線の中点を回転中心４１０として回転（自転）する。カメラユニット４００は剛体として移動や回転を行うので、カメラユニット４００の回転中心４１０の位置が決まれば、２つのカメラ４０１、４０２の位置も決定することができる。また、そのとき、マーカ１１０が撮像画像のどこに撮像されるかも計算することができる。したがって、それぞれのカメラ４０１、４０２の撮像された位置（ｐ、ｑ）と計算された位置（ｐ‘、ｑ’）を用いれば、式（５）により評価値Ｖを計算することができる。以降は、第１の実施の形態と同様にして、カメラユニット４００の位置を求めることができる。
【００３９】
このように、本発明のカメラ位置算出システムは、複数のカメラを備えたシステムにも有効に適用できる。
【００４０】
なお、マーカ１１０は、位置が認識できるものであれば特別の色や形を有している必要はなく、撮像領域内に存在する任意の静止物体の輪郭部などをマーカ１１０として利用することもできる。
【００４１】
【発明の効果】
以上説明したように、本発明のカメラ位置算出システムによれば、カメラの位置を数多く変化させなくてもよいので、カメラの正しい位置を少ない計算量で求めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるカメラ位置算出システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態における近似部の構成を示すブロック図である。
【図３】本発明の第１の実施の形態の原理説明図である。
【図４】カメラのレンズの中心位置や光軸の方向を変化させたときにおける、角度のずれとずれの度合いとの関係をグラフに示した図である。
【図５】本発明の第２の実施の形態におけるカメラ位置算出システムの構成を示すブロック図である。
【図６】本発明の第２の実施の形態の動作説明図である。
【図７】本発明の第３の実施の形態におけるカメラ位置算出システムの構成を示すブロック図である。
【図８】本発明の第３の実施の形態の動作説明図である。
【図９】従来のカメラ位置算出システムのブロック図である。
【図１０】従来のカメラ位置算出システムのの動作説明図である。
【符号の説明】
１００：カメラ位置算出システム
１１０：マーカ
１２０：カメラ（撮像手段）
１２１：レンズ
１３０：カメラ位置算出装置
１３１：マーカ認識部（マーカ認識手段）
１３２：カメラパラメータ保持部（カメラパラメータ保持手段）
１３３：カメラパラメータ変換部（カメラパラメータ変換手段）
１３４：マーカ座標保持部（マーカ座標保持手段）
１３５：マーカ位置算出部（マーカ位置算出手段）
１３６：差分算出部（差分算出手段）
１３７：差分結果保持部（差分結果保持手段）
１３８：近似部（近似手段）
１３９：値保持部（結果保持手段）
１４０：カメラ位置算出装置
１４１：差分結果比較部（差分結果比較手段）
１４２：パラメータ種保持部（パラメータ種保持手段）
１４３：変換幅保持部（変換幅保持手段）
１４４：変換幅変更部（変換幅変更手段）
２０１：係数算出部（係数算出手段）
２０２：評価関数保持部（評価関数保持手段）
２０３：微分値算出部（微分値算出手段）
３００：撮像画像
３０１：像
３０２：世界座標系
３０３：マーカ位置
４０１：カメラ（撮像手段）
４０２：カメラ（撮像手段）
４００：カメラユニット
４０１ａ：レンズ
４０２ａ：レンズ
４１０：回転中心

Claims (3)

1. 所定の位置に設置されたマーカと、
   前記マーカを撮像する撮像手段と、
   前記撮像手段の位置を算出するカメラ位置算出装置とを備えたカメラ位置算出システムにおいて、
   前記カメラ位置算出装置は、
   前記撮像手段による撮像画像から前記マーカを認識するマーカ認識手段と、
   前記撮像手段の位置を特定するための複数のパラメータを保持するカメラパラメータ保持手段と、
   前記カメラパラメータ保持手段に保持されているパラメータをパラメータ毎に一定の範囲で変化させるカメラパラメータ変換手段と、
   前記マーカが設置されている位置の座標値を保持するマーカ座標保持手段と、
   前記マーカ座標保持手段に保持されている座標値に基づいて、前記カメラパラメータ保持手段に保持されているパラメータで特定される撮像手段の位置から見た場合の前記マーカの座標値を算出するマーカ位置算出手段と、
   前記マーカ位置算出手段により算出された座標値と、前記マーカ認識手段により認識された前記マーカの座標値との差分値を算出する差分算出手段と、
   前記差分算出手段により算出された差分値を保持する差分結果保持手段と、
   前記差分結果保持手段に保持されている、前記カメラパラメータ変換手段により変化させた個数分の差分値から、差分値の変化する様子を近似関数で近似し、前記マーカ認識手段により認識された前記マーカの座標値に、前記マーカ位置算出手段により算出される座標値が最も近くなるような、前記パラメータ保持手段の保持するカメラパラメータを求める近似手段と、
   前記近似手段により求められた結果を保持する値保持手段と、
   を有するカメラ位置算出システム。
2. 前記近似手段は、
   係数を算出する係数算出手段と、
   前記係数算出手段により算出された係数から得られる評価関数を保持する評価関数保持手段と、
   前記評価関数保持手段の保持する評価関数の極小値を求める微分値算出手段と、
   を有することを特徴とする請求項１記載のカメラ位置算出システム。
3. 前記カメラ位置算出装置は、
   前記差分結果保持手段に保持されている差分値を比較する差分結果比較手段と、
   前記カメラパラメータ保持手段に保持されているパラメータの種別を保持するパラメータ種保持手段と、
   前記カメラパラメータ変換手段によるカメラパラメータの変換幅を保持する変換幅保持手段と、
   前記差分結果比較手段による比較結果に応じて前記変換幅を変更する変換幅変更手段と、
   を有することを特徴とする請求項１または２記載のカメラ位置算出システム。

Images