JP2020051856A - カメラのキャリブレーション方法および装置 - Google Patents

Abstract

【課題】キャリブレーションを簡単かつ迅速に行うことが可能なカメラのキャリブレーション方法および装置を提供する。【解決手段】マーカー１４を付した移動体１８を空間１０の３次元座標系において移動させて、３次元座標が既知である位置Ｐに移動体１８が配置されているときにマーカー１４の３次元座標情報を登録し、このときのマーカー１４を含む空間１０を、位置および撮像方向が固定されたカメラ１２で撮像することによりマーカー１４を含む画像を取得し、取得した画像と登録したマーカー１４の３次元座標情報とに基づいて画像の２次元座標系と空間１０の３次元座標系とを対応付けるようにする。【選択図】図１

Description

本発明は、カメラのキャリブレーション方法および装置に関し、例えば建築現場を見下ろす位置に仮設される監視カメラなどのキャリブレーション方法および装置に関するものである。

従来、カメラなどの光学センサによって記録された画像に対して、既知の３次元座標の部位が、画像上の２次元座標としてどこに記録されているかを対応させ、２次元の画像から３次元の座標を計算する手法が知られている（例えば、特許文献１を参照）。当該手法で計算するためには、画像を記録する際のカメラの位置と向きを事前に把握しておく必要がある。

特開２０１２−１７３０２７号公報

しかしながら、カメラの位置と向きを把握するためには、既知の３次元座標の部位と画像上の２次元座標との対応付けの作業（カメラのキャリブレーション作業）が必要であるが、その作業には一般に多大な時間を要する。

特に、カメラの盛り替えが頻繁に行われる建築現場などにおいては、カメラを盛り替えるたびにこういった面倒な対応付け作業を実施しなければならない。このため、カメラのキャリブレーションを簡単かつ迅速に行うことのできる技術が求められていた。

本発明は、上記に鑑みてなされたものであって、キャリブレーションを簡単かつ迅速に行うことが可能なカメラのキャリブレーション方法および装置を提供することを目的とする。

上記した課題を解決し、目的を達成するために、本発明に係るカメラのキャリブレーション方法は、マーカーを付した移動体を空間の３次元座標系において移動させて、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録し、このときのマーカーを含む空間を、位置および撮像方向が固定されたカメラで撮像することによりマーカーを含む画像を取得し、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けることを特徴とする。

また、本発明に係る他のカメラのキャリブレーション方法は、上述した発明において、３次元座標が既知である位置から移動体としての人が携帯端末で自己位置および登録時刻を登録する一方、位置および撮像方向が固定され、一連の画像からなる映像を取得するカメラで空間を撮像することによりマーカーを含む映像を取得し、取得した映像から登録時刻に撮像した画像を抽出し、抽出した画像と登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けることを特徴とする。

また、本発明に係るカメラのキャリブレーション装置は、空間の３次元座標系において移動し、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録する登録手段と、位置および撮像方向が固定され、マーカーを含む空間を撮像してマーカーを含む画像を取得するカメラと、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付ける対応付け手段とを備えることを特徴とする。

また、本発明に係る他のカメラのキャリブレーション装置は、上述した発明において、移動体は、人であり、登録手段は、３次元座標が既知である位置から人が自己位置および登録時刻を登録するために用いられる携帯端末であり、カメラは、一連の画像からなる映像を取得するカメラであり、カメラで取得した映像から登録時刻に撮像した画像を抽出する抽出手段をさらに備え、対応付け手段は、抽出手段で抽出した画像と携帯端末で登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けることを特徴とする。

本発明に係るカメラのキャリブレーション方法によれば、マーカーを付した移動体を空間の３次元座標系において移動させて、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録し、このときのマーカーを含む空間を、位置および撮像方向が固定されたカメラで撮像することによりマーカーを含む画像を取得し、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けるので、マーカーを付した移動体によって、カメラのキャリブレーションを簡単かつ迅速に行うことができるという効果を奏する。

また、本発明に係る他のカメラのキャリブレーション方法によれば、３次元座標が既知である位置から移動体としての人が携帯端末で自己位置および登録時刻を登録する一方、位置および撮像方向が固定され、一連の画像からなる映像を取得するカメラで空間を撮像することによりマーカーを含む映像を取得し、取得した映像から登録時刻に撮像した画像を抽出し、抽出した画像と登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けるので、移動体としての人が携帯端末で自己位置および登録時刻を登録することにより、カメラのキャリブレーションをより簡単かつ迅速に行うことができるという効果を奏する。

また、本発明に係るカメラのキャリブレーション装置によれば、空間の３次元座標系において移動し、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録する登録手段と、位置および撮像方向が固定され、マーカーを含む空間を撮像してマーカーを含む画像を取得するカメラと、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付ける対応付け手段とを備えるので、マーカーが付された移動体によって、カメラのキャリブレーションを簡単かつ迅速に行うことができるという効果を奏する。

また、本発明に係る他のカメラのキャリブレーション装置によれば、移動体は、人であり、登録手段は、３次元座標が既知である位置から人が自己位置および登録時刻を登録するために用いられる携帯端末であり、カメラは、一連の画像からなる映像を取得するカメラであり、カメラで取得した映像から登録時刻に撮像した画像を抽出する抽出手段をさらに備え、対応付け手段は、抽出手段で抽出した画像と携帯端末で登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けるので、移動体としての人が携帯端末で自己位置および登録時刻を登録することにより、カメラのキャリブレーションをより簡単かつ迅速に行うことができるという効果を奏する。

図１は、本発明に係るカメラのキャリブレーション方法および装置の実施の形態を示す概略構成図である。 図２は、抽出した画像のイメージ図である。

以下に、本発明に係るカメラのキャリブレーション方法および装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

（カメラのキャリブレーション方法）
まず、本発明に係るカメラのキャリブレーション方法の実施の形態について説明する。

図１に示すように、建築現場などの空間１０を斜め上方から見下ろす位置にカメラ１２が固定されており、このカメラ１２で空間１０内を撮像して作業員の動きなどをモニタリングするものとする。モニタリングを開始する前に、本実施の形態に係るカメラのキャリブレーション方法を適用してキャリブレーションを行う。カメラ１２は、一連の画像からなる映像を撮像時刻とともに取得するビデオカメラである。このカメラ１２の設置位置および撮像方向は固定されており、焦点距離等のカメラ１２の内部パラメータはあらかじめ把握されている。

本実施の形態に係るカメラのキャリブレーション方法では、まず、マーカー１４が頂部に設けられたヘルメット１６を用意する。マーカー１４としては、例えば、カメラ１２で取得する画像上で検出可能な彩色が施された円形のシートを用いることができる。

次に、このヘルメット１６を被った作業員１８がカメラ１２の画角内の３次元座標（Ｘ，Ｙ，Ｚ）が既知の場所Ｐに立ち、携帯するタブレット端末２０（携帯端末、登録手段）の専用アプリケーションに自分の位置（自己位置）を入力する。

ここで、マーカー１４は座標既知の場所Ｐの直上に位置するものとする。入力する「自分（作業員）の位置」としては、マーカー１４直下に位置する床面２２の場所Ｐの３次元座標（Ｘ１，Ｙ１，Ｚ１）でもよいし、このＺ座標に床面２２からマーカー１４までの高さＨを加算することによって得られるマーカー１４の３次元座標（Ｘ１，Ｙ１，Ｚ１＋Ｈ）でもよい。本実施の形態では、マーカー１４直下の床面２２の３次元座標（Ｘ１，Ｙ１，Ｚ１）を入力するものとする。

タブレット端末２０の専用アプリケーションは、入力された作業員の位置と、登録時刻を３次元座標情報として登録し、タブレット端末２０に搭載されたメモリに格納する。格納した３次元座標情報は、タブレット端末２０の無線通信機能により外部端末２４に送信される。

この外部端末２４は、カメラ１２で取得した映像情報（映像と撮像時刻）とタブレット端末２０で送信した３次元座標情報（作業員の位置、登録時刻）を受信する機能と、抽出手段２６と、対応付け手段２８と、格納手段３０と、入出力手段３２とを備えている。

抽出手段２６は、取得した映像から登録時刻に撮像した画像を抽出するものである。対応付け手段２８は、抽出した画像と作業員の位置とに基づいて、画像の２次元座標系と空間の３次元座標系とを対応付けるものである。格納手段３０は、取得した映像情報や３次元座標情報などのデータを格納するものであり、メモリなどの記憶装置によって構成される。入出力手段３２は、キーボードなどの入力部と、ディスプレイなどの出力部によって構成される。

上記のように構成した外部端末２４の動作および作用を説明する。まず、抽出手段２６が、格納手段３０に格納された映像と撮像時刻と登録時刻を読み込み、読み込んだ映像から、登録時刻に対応する撮像時刻のフレームの画像を抽出する。図２は、抽出した画像のイメージである。対応付け手段２８は、この図に示すように、抽出した画像３４からマーカー１４を検出し、画像３４の２次元座標系（ｘ，ｙ）におけるマーカー１４の２次元座標（ｕ１，ｖ１）を算出する。これらの処理は、周知の画像処理方法を適用して実行することができる。

一方、対応付け手段２８は、格納手段３０に格納された作業員の位置の３次元座標（Ｘ１，Ｙ１，Ｚ１）を読み込み、読み込んだ座標に、あらかじめ把握してある床面２２からマーカー１４までの高さＨ（作業員の身長程度）を加算して、マーカー１４の３次元座標（Ｘ１，Ｙ１，Ｚ１＋Ｈ）を算出する。そして、算出したマーカー１４の２次元座標（ｕ１，ｖ１）と３次元座標（Ｘ１，Ｙ１，Ｚ１＋Ｈ）を紐付ける処理を行う。このような処理を空間１０内の座標既知の異なる場所について複数回行って、マーカー１４の２次元座標と３次元座標の組み合わせを複数組（例えば４組以上）取得する。

この場合、例えば図１に示すように、同じ作業員１８が、３次元座標が既知の井の字状の直線３６〜３９上を移動して、直線の交点で立ち止まっては自分の位置をタブレット端末２０に入力する、といった動作を行うことにより、２次元座標と３次元座標の組み合わせを複数組取得してもよい。

ここで、３次元座標が既知の直線３６〜３９としては、床面２２に表示された座標の基準線を想定している。一般に、建築現場で位置の座標を把握するためには、こうした基準線を利用するが、俯瞰した画像から基準線を認識するのは困難である。そこで、本実施の形態では、建築現場で作業員１８が基準線（直線３６〜３９）の上に立って、タブレット端末２０からその位置の座標を入力するようにする。

次に、対応付け手段２８は、取得した複数組の座標に基づいて、画像の２次元座標系と空間１０の３次元座標系とを対応付け、カメラ１２のキャリブレーションを行う。キャリブレーションは、下記の参考文献１に記載のＺｈａｎｇの手法を適用して行うことができる。Ｚｈａｎｇの手法を適用したプログラムは、オープンソースプログラムであるＯｐｅｎＣＶのカメラキャリブレーションに実装されているので、これを利用してもよい。

［参考文献１］ Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.

キャリブレーションの結果、３次元座標系におけるカメラ１２の位置と向きといったカメラ１２の外部パラメータが得られる。得られた外部パラメータは入出力手段３２の出力部に出力される。

本実施の形態によれば、マーカー１４とともに移動する作業員１８がタブレット端末２０で自分の位置を入力することによって、カメラ１２のキャリブレーションを簡単かつ迅速に行うことができる。このため、本実施の形態は、３次元座標が既知の部位を安定的に設定することが困難な建築現場などに仮設される監視カメラに好適である。

（カメラのキャリブレーション装置）
次に、本発明に係るカメラのキャリブレーション装置の実施の形態について説明する。なお、主要な構成要素は、上記のカメラのキャリブレーション方法の実施の形態で説明した構成要素と同様であるので、これらについての詳細な説明は省略する。

図１に示すように、本実施の形態に係るカメラのキャリブレーション装置１００は、建築現場などの空間１０を撮像するカメラ１２と、空間１０にいる作業員１８のヘルメット１６に設けられたマーカー１４と、作業員１８が携帯するタブレット端末２０と、外部端末２４とを備える。

外部端末２４は、上述したように、映像情報と３次元座標情報を受信する機能と、抽出手段２６と、対応付け手段２８と、格納手段３０と、入出力手段３２とを備えている。

タブレット端末２０と、外部端末２４の動作および作用については、上記のカメラのキャリブレーション方法の実施の形態で説明したものと同様である。

したがって、本実施の形態によれば、マーカー１４とともに移動する作業員１８がタブレット端末２０で自分の位置を入力することによって、カメラ１２のキャリブレーションを簡単かつ迅速に行うことができる。このため、本実施の形態は、３次元座標が既知の部位を安定的に設定することが困難な建築現場などに仮設される監視カメラに好適である。

上記の実施の形態においては、マーカー１４がヘルメット１６に設けられる場合を例にとり説明したが、本発明はこれに限るものではなく、例えば、作業服の胸ポケットなど画像上で検出可能な位置にマーカー１４を設けてもよい。このようにしても、上記と同様の作用効果を奏することができる。

また、上記の実施の形態においては、マーカー１４を付した移動体が人（作業員）である場合を例にとり説明したが、本発明はこれに限るものではなく、例えば自律走行可能で自己位置を発信可能な台車やロボット等の移動体であってもよいし、これ以外の移動体であってもよい。このようにしても、上記と同様の作用効果を奏することができる。

また、上記の実施の形態においては、抽出手段２６、対応付け手段２８等を外部端末２４に格納した場合を例にとり説明したが、本発明はこれに限るものではなく、例えばタブレット端末２０が外部端末２４の機能を兼ねるようにしてもよい。すなわち、抽出手段２６と対応付け手段２８等を実現するアプリケーションをタブレット端末２０に格納するとともに、カメラ１２からの映像情報をタブレット端末２０で受信するようにする。このようにすれば、作業員１８はキャリブレーション結果を手元のタブレット端末２０でより迅速に確認することができる。

以上説明したように、本発明に係るカメラのキャリブレーション方法によれば、マーカーを付した移動体を空間の３次元座標系において移動させて、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録し、このときのマーカーを含む空間を、位置および撮像方向が固定されたカメラで撮像することによりマーカーを含む画像を取得し、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けるので、マーカーを付した移動体によって、カメラのキャリブレーションを簡単かつ迅速に行うことができる。

また、本発明に係る他のカメラのキャリブレーション方法によれば、３次元座標が既知である位置から移動体としての人が携帯端末で自己位置および登録時刻を登録する一方、位置および撮像方向が固定され、一連の画像からなる映像を取得するカメラで空間を撮像することによりマーカーを含む映像を取得し、取得した映像から登録時刻に撮像した画像を抽出し、抽出した画像と登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けるので、移動体としての人が携帯端末で自己位置および登録時刻を登録することにより、カメラのキャリブレーションをより簡単かつ迅速に行うことができる。

また、本発明に係るカメラのキャリブレーション装置によれば、空間の３次元座標系において移動し、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録する登録手段と、位置および撮像方向が固定され、マーカーを含む空間を撮像してマーカーを含む画像を取得するカメラと、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付ける対応付け手段とを備えるので、マーカーが付された移動体によって、カメラのキャリブレーションを簡単かつ迅速に行うことができる。

また、本発明に係る他のカメラのキャリブレーション装置によれば、移動体は、人であり、登録手段は、３次元座標が既知である位置から人が自己位置および登録時刻を登録するために用いられる携帯端末であり、カメラは、一連の画像からなる映像を取得するカメラであり、カメラで取得した映像から登録時刻に撮像した画像を抽出する抽出手段をさらに備え、対応付け手段は、抽出手段で抽出した画像と携帯端末で登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けるので、移動体としての人が携帯端末で自己位置および登録時刻を登録することにより、カメラのキャリブレーションをより簡単かつ迅速に行うことができる。

以上のように、本発明に係るカメラのキャリブレーション方法および装置は、建築現場を見下ろす位置に仮設される監視カメラなどのキャリブレーションに有用であり、特に、キャリブレーションを簡単かつ迅速に行うのに適している。

１０ 空間
１２ カメラ
１４ マーカー
１６ ヘルメット
１８ 作業員（移動体）
２０ タブレット端末（携帯端末、登録手段）
２２ 床面
２４ 外部端末
２６ 抽出手段
２８ 対応付け手段
３０ 格納手段
３２ 入出力手段
３４ 画像
３６〜３９ 直線
１００ カメラのキャリブレーション装置
Ｐ 既知の場所

Claims (4)

1. マーカーを付した移動体を空間の３次元座標系において移動させて、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録し、このときのマーカーを含む空間を、位置および撮像方向が固定されたカメラで撮像することによりマーカーを含む画像を取得し、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けることを特徴とするカメラのキャリブレーション方法。
2. ３次元座標が既知である位置から移動体としての人が携帯端末で自己位置および登録時刻を登録する一方、位置および撮像方向が固定され、一連の画像からなる映像を取得するカメラで空間を撮像することによりマーカーを含む映像を取得し、取得した映像から登録時刻に撮像した画像を抽出し、抽出した画像と登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けることを特徴とする請求項１に記載のカメラのキャリブレーション方法。
3. 空間の３次元座標系において移動し、３次元座標が既知である位置に移動体が配置されているときにマーカーの３次元座標情報を登録する登録手段と、位置および撮像方向が固定され、マーカーを含む空間を撮像してマーカーを含む画像を取得するカメラと、取得した画像と登録したマーカーの３次元座標情報とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付ける対応付け手段とを備えることを特徴とするカメラのキャリブレーション装置。
4. 移動体は、人であり、
   登録手段は、３次元座標が既知である位置から人が自己位置および登録時刻を登録するために用いられる携帯端末であり、
   カメラは、一連の画像からなる映像を取得するカメラであり、
   カメラで取得した映像から登録時刻に撮像した画像を抽出する抽出手段をさらに備え、
   対応付け手段は、抽出手段で抽出した画像と携帯端末で登録した自己位置とに基づいて画像の２次元座標系と空間の３次元座標系とを対応付けることを特徴とする請求項３に記載のカメラのキャリブレーション装置。

Images