JP2008082844A - 特徴点座標算出装置 - Google Patents

Abstract

【課題】特徴点のイメージ座標をより正確に算出できる特徴点座標算出装置を提供すること。
【解決手段】特徴点座標算出装置１は、横帯パターン画像、縦帯パターン画像および斜め帯パターン画像などのように、重ね合わせると特徴点を表す複数のマーカ画像を切り替えて表示装置４に表示させる動的マーカ表示手段２と、表示装置４に表示された複数のマーカ画像がカメラ５によってそれぞれ撮像されたカメラ画像を重ね合わせることにより、カメラ画像における特徴点の座標を算出する特徴点座標算出手段とを備える。
【選択図】図１

Description

本発明は、カメラ校正に用いられる特徴点座標算出装置に関するものである。

近年、工業分野において、カメラによる監視や物体検出を行うため、カメラから撮像対象物までの距離およびカメラの方向を求めるカメラ校正技術が開発されている。

カメラ校正の目的は、２次元座標で表現できるカメラ画像とカメラが撮像している３次元座標で表現できる実空間との関係を示す外部カメラパラメータ、および、焦点距離などのカメラ固有の内部カメラパラメータを求めることである。

これらのカメラパラメータは、カメラ画像内にある複数の点（以下、特徴点とする。）のカメラ画像における２次元座標（以下、イメージ座標とする。）を算出し、各特徴点のイメージ座標と実空間での３次元座標（以下、世界座標とする。）とを対応付けることにより、算出することができる。

図１４は、このようなカメラ校正技術において用いられ、特徴点のイメージ座標を算出する従来の特徴点座標算出装置を説明する図である。

図１４において、従来の特徴点座標算出装置は、特徴点座標算出手段８１を備え、カメラ８４に接続されている。また、カメラ８４は、特徴点８２を表す静的マーカ画像８３を撮像する位置および方向に固定されて設置されている。ここで、静的マーカ画像８３としては、例えば格子パターン画像など、特徴点８２の座標を算出しやすいパターンを表す画像が採用され、イメージ座標と世界座標との対応付けを容易にするためのパターン８５が描画されていることもある。また、各特徴点８２の実空間における世界座標（Ｘｗ、Ｙｗ、Ｚｗ）は既知である。

このような従来の特徴点座標算出装置は次のように動作する。まず、静的マーカ画像８３がカメラ８４によって撮像されると、特徴点座標算出手段８１は、撮像されたカメラ画像８６をカメラ８４から取得する。次に、特徴点座標算出手段８１は、カメラ画像８６に対して、例えば、直線検出処理および直線の交点算出処理などを実施して特徴点８２のイメージ座標（Ｘｆ、Ｙｆ）を算出することにより特徴点画像８７を生成する。次に、特徴点座標算出手段８１は、特徴点画像８７における特徴点８２のイメージ座標の並び順およびパターン８５との位置関係に基づいて、算出したイメージ座標と既知の世界座標とを表８８のように対応付ける。

しかし、このような従来の特徴点座標算出装置では、カメラ画像８６の明度によっては全ての特徴点のイメージ座標を算出できない場合があり、カメラパラメータを算出するために必要な数の特徴点のイメージ座標が算出できるまで撮像空間の照明などの環境を設定変更する試行錯誤が必要になる。このような試行錯誤を不要にするため、他の従来の特徴点座標算出装置では、カメラによって逐次的に撮像されるカメラ画像をカメラから取得し、最新のカメラ画像から算出できた特徴点のイメージ座標を逐次記憶するものがあった（例えば、特許文献１参照）。
特開２００４−３３４３９３号公報

しかしながら、これらの従来の特徴点座標算出装置では、図１５に示すカメラ画像８９のように特徴点８２の位置がぼやけることにより、算出した特徴点のイメージ座標が正確でないという問題があった。

本発明はかかる点に鑑みてなされたもので、特徴点のイメージ座標をより正確に算出できる特徴点座標算出装置を提供することを目的とする。

本発明の特徴点座標算出装置は、重ね合わせると特徴点を表す複数のマーカ画像を切り替えて表示装置に表示させる動的マーカ表示手段と、前記表示装置に表示された前記複数のマーカ画像がカメラによってそれぞれ撮像されたカメラ画像を重ね合わせることにより、前記カメラ画像における前記特徴点の座標を算出する特徴点座標算出手段とを備えた構成を有している。

この構成により、本発明の特徴点座標算出装置は、重ね合わせると特徴点を表す複数のマーカ画像にそれぞれ対応する複数のカメラ画像を重ね合わせることにより、カメラ画像における特徴点の座標を算出するので、１つの画像で特徴点を表すマーカ画像を用いるのに比べて、特徴点の座標を正確に算出することができる。

また、前記動的マーカ表示手段は、前記複数のマーカ画像を前記表示装置に表示させた後、重ね合わせると前記特徴点とは異なる特徴点を表す他の複数のマーカ画像を切り替えて前記表示装置に表示させてもよい。

この構成により、本発明の特徴点座標算出装置は、１つの画像で特徴点を表すマーカ画像を用いるのに比べて特徴点の数を増加させることができ、本発明の特徴点座標算出装置を適用するカメラ校正装置によって求められるカメラパラメータの精度を向上させることができる。

また、前記複数のマーカ画像のうち２以上のマーカ画像は互いに異なる特徴点を含む図形をそれぞれ表し、前記動的マーカ表示手段は、前記複数のマーカ画像を所定の順序に従って切り替えて前記表示装置に表示させ、前記特徴点座標算出手段は、前記表示装置に表示された前記各特徴点の実空間における座標をあらかじめ記憶しておき、前記カメラ画像における各特徴点の座標を算出した後、算出した座標と前記実空間における座標とを、前記複数のマーカ画像が表示された順序に基づいて対応付けてもよい。

この構成により、本発明の特徴点座標算出装置は、算出した各特徴点のカメラ画像における座標が、記憶しておいた実空間における座標のうちのいずれに対応するものであるかを、複数のマーカ画像が表示された順序に基づいて特定することができるので、特徴点のカメラ画像における座標と実空間における座標とを容易に対応付けることができ、本発明の特徴点座標算出装置を適用するカメラ校正装置によって求められるカメラパラメータの精度を向上させることができる。

本発明は、特徴点のイメージ座標をより正確に算出できるという効果を有する特徴点座標算出装置を提供するものである。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
本発明の第１の実施の形態に係る特徴点座標算出装置１を図１に示す。

図１において、特徴点座標算出装置１は、動的マーカ表示手段２と、特徴点座標算出手段３とを備え、表示装置４およびカメラ５に接続されている。

動的マーカ表示手段２および特徴点座標算出手段３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）およびハードディスク装置などの記憶装置によって構成される。

動的マーカ表示手段２は、ＲＯＭまたは記憶装置に記憶されたプログラムをＲＡＭに読み込んでＣＰＵに実行させることにより、記憶装置に記憶されたマーカ画像を表示装置４に表示させるようになっている。また、動的マーカ表示手段２は、表示装置４に表示させるマーカ画像を切り替えたことを表す情報を特徴点座標算出手段３に伝達するようになっている。

動的マーカ表示手段２を構成する記憶装置には、図２に示すような、横帯パターン１１、縦帯パターン１２、および、斜め帯パターン１３をそれぞれ表すマーカ画像があらかじめ記憶され、パターン１１〜１３を重ね合わせると各パターンの線の交点が特徴点を表すようになっている。ここで、表示装置４上に表される各特徴点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）は既知であるものとする。

表示装置４は、例えば、液晶ディスプレイやプラズマディスプレイなどによって構成され、動的マーカ表示手段２の制御に応じて画像を表示するようになっている。

カメラ５は、表示装置４に表示されたマーカ画像を撮像可能な位置および方向に固定されて設置され、撮像したマーカ画像をカメラ画像として記憶するようになっている。

特徴点座標算出手段３は、ＲＯＭまたは記憶装置に記憶されたプログラムをＲＡＭに読み込んでＣＰＵに実行させることにより、カメラ５を制御するとともに、カメラ５からカメラ画像を取得するようになっている。

以上のように構成された特徴点座標算出装置１について、図３を用いてその動作を説明する。

まず、動的マーカ表示手段２によって、記憶装置に記憶されたマーカ画像のうちの１枚が表示装置４に表示される（Ｓ１）。

表示装置４の画像が切り替わったことを表す情報が動的マーカ表示手段２によって伝達されると、特徴点座標算出手段３によって、カメラ５が制御されて表示装置４に表示されたマーカ画像が撮像される（Ｓ２）。

次に、特徴点座標算出手段３によって、カメラ５からカメラ画像が取得される（Ｓ３）。

次に、動的マーカ表示手段２によって、ステップＳ１でマーカ画像が表示装置４に表示されてから所定の時間経過したと判断されると（Ｓ４でＹＥＳ）、記憶装置に記憶されたマーカ画像でまだ表示装置４に表示されていないものがあれば（Ｓ５でＹＥＳ）、ステップＳ１〜Ｓ４が再度実行される。

このようにして、動的マーカ表示手段２によって、記憶装置に記憶されたマーカ画像が全て表示装置４に表示されたと判断されると（Ｓ５でＮＯ）、特徴点座標算出手段３によって、取得された各カメラ画像が微分され、図４に示すような微分画像１４〜１６が生成される（Ｓ６）。

次に、特徴点座標算出手段３によって、微分画像１４〜１６を重ね合わせた交点画像１７が生成され、各特徴点１８のイメージ座標（Ｘｆ、Ｙｆ）が算出される（Ｓ７）。

次に、特徴点座標算出手段３によって、算出したイメージ座標（Ｘｆ、Ｙｆ）と既知の世界座標（Ｘｗ、Ｙｗ、Ｚｗ）とが、イメージ座標の並び順に基づいて図４の表１９のように対応付けられる（Ｓ８）。

このような本発明の第１の実施の形態に係る特徴点座標算出装置１は、複数のマーカ画像がそれぞれ撮像されたカメラ画像を微分した微分画像を重ね合わせた交点画像を生成し、交点画像が表す線の交点の座標を特徴点のイメージ座標として求めることができるので、特徴点のイメージ座標をより正確に得ることができる。

なお、本実施の形態において、特徴点座標算出装置１は、パターン１１〜１３をそれぞれ表すマーカ画像を用いるものとして説明したが、重ね合わせると特徴点を表す複数のマーカ画像であれば他のパターンを表すマーカ画像を用いてもよい。

また、本実施の形態において、特徴点座標算出装置１は、横帯パターン１１を表すマーカ画像に替えて、図５に示すような横帯パターン３１および３２をそれぞれ表すマーカ画像を用いてもよい。ここで、横帯パターン３１および３２の横帯を表す図形は、互いに異なる座標の特徴点を含むようになっている。

この場合、動的マーカ表示手段２は、各マーカ画像を表示させる順序を、例えば、パターン３１、パターン３２、パターン１２、パターン１３といった順にあらかじめ定めておく。特徴点座標算出手段３は、算出された各特徴点のイメージ座標が横帯パターン３１および３２のいずれの横帯を表す図形に含まれるかを、各パターンに対応するカメラ画像を取得した順序に基づいて判別することができ、世界座標との対応付けを容易に行うことができる。

また、本実施の形態において、特徴点座標算出装置１は、図６に示すように、立体的に配置された複数の表示装置４に接続されてもよい。この場合、動的マーカ表示手段２は記憶装置に記憶された各マーカ画像を、各表示装置４に同時に表示させるようにする。この構成により、特徴点座標算出装置１は、世界座標上で一平面上にない複数の特徴点のイメージ座標を算出することができ、このような特徴点座標算出装置１を適用するカメラ校正装置によって算出されるカメラパラメータの精度をより向上させることができる。

（第２の実施の形態）
本発明の第２の実施の形態に係る特徴点座標算出装置２１を図７に示す。なお、図７において、特徴点座標算出装置２１を構成する各要素のうち、本発明の第１の実施の形態に係る特徴点座標算出装置１を構成する各要素と同一なものには同一の符号を付し、説明を省略する。

図７において、特徴点座標算出装置２１は、動的マーカ表示手段２２および特徴点座標算出手段２３とを備え、表示装置４およびカメラ５に接続されている。

動的マーカ表示手段２２は、動的マーカ表示手段２と同様に構成されるが、動的マーカ表示手段２２を構成する記憶装置には、図８に示すように、動的マーカ表示手段２の記憶装置に記憶されたものと同一なパターン１１〜１３をそれぞれ表すマーカ画像の第１のセットに加えて、横帯パターン２４、縦帯パターン２５および斜め帯パターン２６をそれぞれ表すマーカ画像の第２のセットが記憶されている。パターン２４〜２６を重ね合わせると各パターンの線の交点が、パターン１１〜１３を重ね合わせて表される特徴点とは異なる特徴点を表すようになっている。ここで、表示装置４上に表された各特徴点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）は既知であるものとする。

特徴点座標算出装置２３は、特徴点座標算出手段３と同様に構成されるが、ＲＯＭおよび記憶装置に記憶されたプログラムが異なる。

以上のように構成された特徴点座標算出装置２１について、図９を用いてその動作を説明する。なお、図９において、本発明の第１の実施の形態に係る特徴点座標算出装置１の動作と同一なステップについては同一の符号を付して説明を省略する。

まず、動的マーカ表示手段２２および特徴点座標算出手段２３によって、動的マーカ表示手段２２の記憶装置に記憶されたマーカ画像のうち、第１のセットに含まれる各マーカ画像について、ステップＳ１〜Ｓ４が繰返し実行される。

動的マーカ表示手段２２によって、このセットに含まれるマーカ画像が全て表示装置４に表示されたと判断されると（Ｓ１５でＮＯ）、特徴点座標算出手段２３によって、ステップＳ６〜Ｓ７が実行されて、取得されたカメラ画像を重ね合わせた交点画像が生成される。

次に、動的マーカ表示手段２２によって、記憶装置に他のマーカ画像のセットがあると判断されると（Ｓ１６でＹＥＳ）、動的マーカ表示手段２２および特徴点座標算出手段２３によって、他のマーカ画像のセットに含まれる各マーカ画像について、ステップＳ１〜Ｓ４、Ｓ１５、Ｓ６〜７が繰返し実行される。

このようにして、マーカ画像の第１のセットおよび第２のセットにそれぞれ基づいて、図１０（ａ）および（ｂ）に示すような交点画像が生成される。

次に、動的マーカ表示手段２２によって、記憶装置に他のマーカ画像のセットがないと判断されると（Ｓ１６でＮＯ）、特徴点座標算出手段２３によって、交点画像１７および２７を重ね合わせた特徴点画像２９が生成され、各特徴点のイメージ座標（Ｘｆ、Ｙｆ）が算出される（Ｓ１７）。

次に、特徴点座標算出手段２３によって、算出されたイメージ座標（Ｘｆ、Ｙｆ）と既知の世界座標（Ｘｗ、Ｙｗ、Ｚｗ）とが、イメージ座標の並び順に基づいて対応付けられる（Ｓ７）。

このような、本発明の第２の実施の形態に係る特徴点座標算出装置２１は、重ね合わせると特徴点を表すマーカ画像のセットとして、各セットによって表される特徴点が異なるものを２つ用いることにより、算出可能な特徴点の数を増加させることができ、特徴点座標算出装置２１を適用するカメラ校正装置によって算出されるカメラパラメータの精度をより向上させることができる。

なお、本実施の形態において、特徴点座標算出装置２１は、重ね合わせると特徴点を表すマーカ画像のセットを２つ用いるものとして説明したが、各セットによって表される特徴点が異なるものであれば、マーカ画像のセットを３以上用いてもよい。

（第３の実施の形態）
本発明の第３の実施の形態に係る特徴点座標算出装置４１を図１１に示す。なお、図１１において、特徴点座標算出装置４１を構成する各要素のうち、本発明の第１の実施の形態に係る特徴点座標算出装置１を構成する各要素と同一なものには同一の符号を付し、説明を省略する。

図１１において、特徴点座標算出装置４１は、動的マーカ表示手段４２と特徴点座標算出手段４３とを備え、表示装置４４およびカメラ５とに接続されている。

表示装置４４は、複数の照明４５および円パターンをそれぞれ表す複数の半透明ガラス４６によって構成され、照明４５がオンになると対応する半透明ガラス４６の表す円パターンが表示されるようになっている。また、各半透明ガラス４６は異なる世界座標位置に配置され、それぞれが表す円パターンの重心の世界座標は既知であるものとする。

動的マーカ表示手段４２は、動的マーカ表示手段２と同様に構成されるが、ＲＯＭまたは記憶装置に記憶されたプログラムが異なり、各照明４５をオンまたはオフにするよう制御するとともに、照明４５をオンにしたことおよびオンにした照明４５を特定する情報を特徴点座標算出手段４３に伝達するようになっている。

特徴点座標算出手段４３は、特徴点座標算出手段３と同様に構成されるが、ＲＯＭまたは記憶装置に記憶されたプログラムが異なる。

以上のように構成された特徴点座標算出装置４１について、図１２を用いてその動作を説明する。

まず、動的マーカ表示手段４２によって照明４５の１つがオンにされる（Ｓ４１）。

次に、動的マーカ表示手段４２によって、照明４５がオンにされたことおよびオンにされた照明４５を特定する情報が特徴点座標算出手段４３に伝達されると、特徴点座標算出手段４３によってカメラ５が制御されて表示装置４４が撮像され、図１３（ａ）、（ｂ）または（ｃ）などに示すようなカメラ画像がカメラ５に記憶される（Ｓ４２）。

次に、特徴点座標算出手段４３によって、カメラ５からカメラ画像が取得され（Ｓ４３）、カメラ画像内の円パターンの重心を特徴点としてそのイメージ座標が算出される（Ｓ４４）。

次に、特徴点座標算出手段４３によって、ステップＳ４２で伝達された、オンにされた照明４５を特定する情報に基づいて、算出した特徴点のイメージ座標と既知の世界座標とが対応付けられる（Ｓ４５）。

次に、動的マーカ表示手段４２によって、ステップＳ４１で照明４５がオンにされてから所定の時間経過したと判断されると（Ｓ４６でＹＥＳ）、照明４５がオフにされる（Ｓ４７）。

次に、動的マーカ表示手段４２によって、まだ一度もオンにされていない他の照明４５があると判断されると（Ｓ４８でＹＥＳ）、ステップＳ４１〜Ｓ４７が再度実行される。

このような本発明の第３の実施の形態の特徴点座標算出装置４１は、特徴点の数を数百以上にも増加させることができるとともに、各特徴点のイメージ座標と世界座標とを確実に対応付けることができるので、特徴点座標算出装置４１を適用するカメラ校正装置によって算出されるカメラパラメータの精度をより向上させることができる。

以上のように、本発明に係る特徴点座標算出装置は、特徴点のイメージ座標をより正確に算出できるという効果を有し、カメラ校正に用いられる特徴点座標算出装置等として有用である。

本発明の第１の実施の形態に係る特徴点座標算出装置の構成図 本発明の第１の実施の形態に係る特徴点座標算出装置によって用いられるマーカ画像 本発明の第１の実施の形態に係る特徴点座標算出装置の動作を説明するフロー図 本発明の第１の実施の形態に係る特徴点座標算出装置によって生成される微分画像、交点画像、および、イメージ座標と世界座標との対応表 本発明の第１の実施の形態に係る特徴点座標算出装置によって用いられる他のマーカ画像 本発明の第１の実施の形態に係る特徴点座標算出装置に接続される表示装置の他の構成図 本発明の第２の実施の形態に係る特徴点座標算出装置の構成図 本発明の第２の実施の形態に係る特徴点座標算出装置によって用いられるマーカ画像 本発明の第２の実施の形態に係る特徴点座標算出装置の動作を説明するフロー図 本発明の第２の実施の形態に係る特徴点座標算出装置によって生成される交点画像および特徴点画像 本発明の第３の実施の形態に係る特徴点座標算出装置の構成図 本発明の第３の実施の形態に係る特徴点座標算出装置の動作を説明するフロー図 本発明の第３の実施の形態に係る特徴点座標算出装置によって取得されるカメラ画像 従来の特徴点座標算出装置を説明する図 従来の特徴点座標算出装置によって取得されるカメラ画像

符号の説明

１、２１、４１ 特徴点座標算出装置
２、２２、４２ 動的マーカ表示手段
３、２３、４３、８１ 特徴点座標算出手段
４、４４ 表示装置
５、８４ カメラ

Claims (3)

1. 重ね合わせると特徴点を表す複数のマーカ画像を切り替えて表示装置に表示させる動的マーカ表示手段と、
   前記表示装置に表示された前記複数のマーカ画像がカメラによってそれぞれ撮像されたカメラ画像を重ね合わせることにより、前記カメラ画像における前記特徴点の座標を算出する特徴点座標算出手段とを備えたことを特徴とする特徴点座標算出装置。
2. 前記動的マーカ表示手段は、前記複数のマーカ画像を前記表示装置に表示させた後、重ね合わせると前記特徴点とは異なる特徴点を表す他の複数のマーカ画像を切り替えて前記表示装置に表示させることを特徴とする請求項１に記載の特徴点座標算出装置。
3. 前記複数のマーカ画像のうち２以上のマーカ画像は互いに異なる特徴点を含む図形をそれぞれ表し、
   前記動的マーカ表示手段は、前記複数のマーカ画像を所定の順序に従って切り替えて前記表示装置に表示させ、
   前記特徴点座標算出手段は、前記表示装置に表示された前記各特徴点の実空間における座標をあらかじめ記憶しておき、前記カメラ画像における各特徴点の座標を算出した後、算出した座標と前記実空間における座標とを、前記複数のマーカ画像が表示された順序に基づいて対応付けることを特徴とする請求項１に記載の特徴点座標算出装置。