JP2010210570A - 校正用データ取得装置およびその方法 - Google Patents

Abstract

【課題】 広い領域のステレオ撮影に必要な複数のカメラを設置する際に、容易にキャリブレーションを実行する技術を提供する。
【解決手段】 所定の空間領域(50)に対して異なる方向から撮影する二台のカメラと、その二台のカメラの撮影タイミングを制御する撮影制御装置と、前記所定の空間領域内を移動可能な被写体(たとえばラジコンヘリコプタ31)とを備える。 前記被写体(30)は、三次元の位置座標を取得可能なＧＰＳ装置(32)を搭載し、 前記撮影制御装置は、所定の空間領域(50)内の被写体(30)を前記二台のカメラ(11L,11R)にて撮影して画像データを取得する。
【選択図】 図２

Description

本発明は、所定の空間領域をステレオ撮影するための複数のカメラを現場に設置する際の校正用データ取得装置およびその方法に関する。

従来、所定の空間領域を高い計測精度にてステレオ撮影するため二台のカメラの位置を設定し、設定後において高精度に校正（キャリブレーション）を実行する必要がある。

高精度な校正としては、例えば「８点キャリブレーション」という手法が採用されている。８点キャリブレーションとは、撮影空間上に、測定で正確に設定したモデルとなる直方体(立方体)の８個の頂点を光らせ、それを受光して位置合わせをするものである。例えば、前記立方体における８個の頂点の座標をコンピュータに入力する。あるいは、二台のカメラで前記立方体を撮影して二台のカメラ画像を取得した後に、立方体の各頂点の座標と二台のカメラ画像の座標を対応させて校正することになる。
校正（キャリブレーション）を高精度にかつ効率よく実行するために、特許文献１〜特許文献３に示されているように種々の工夫がなされている。

ところで、風力発電装置に対するバードストライクを回避するために、鳥などの飛来物を検知し、その検知した情報に基づいて風力発電のプロペラを減速または停止させることが行われている。その飛来物の検知には、複数（たいてい二台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（たとえば、ＰＴＶのステレオペアマッチング）、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、三次元の軌跡を求めるものである。このような飛来物の検知により、風力発電装置に飛来物が近づいているか否か、等を判断して、風力発電装置の減速または停止の制御に用いるのである。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。

なお、風力発電装置に対するバードストライク回避や野鳥の行動調査のための飛来物検知では、ステレオ撮影を実行するために設置される二台のカメラの距離は、５０メートル以上である場合が多く、数キロメートルに達する場合も少なくない。

特開平８−１４８２８号公報 特開平１０−１２２８１９号公報 特開２００７−６４８３６号公報

さて、風力発電装置に対するバードストライク回避や野鳥の行動調査のようにステレオ撮影を実行する対象となる空間領域が広大なものである場合は、校正（キャリブレーション）の作業が大がかりとなり、面倒である。 すなわち、被写体となる空間領域における誤差を小さくするためには、校正のために仮想する立方体をできる限り大きくする必要があり、８個の頂点座標の設定が大がかりとなってしまうのである。

頂点座標を物理的な構造体で設置するのは、立方体が大きくなるほど困難であり、その構造体の移動や保管も困難である。

本発明が解決しようとする課題は、広い撮影領域におけるステレオ撮影に必要な校正用データを簡易に取得可能な技術を提供することを目的とする。

（第一の発明）
本願における第一の発明は、 所定の空間領域(50)をステレオ撮影する前に必要な校正用データを取得するための装置(10)に係る。
すなわち、 前記所定の空間領域(50)に対して異なる方向から撮影する二台のカメラと、 その二台のカメラの撮影タイミングを制御する撮影制御装置(15)と、 前記所定の空間領域(50)内を移動可能な被写体(30)とを備える。
前記被写体(30)は、三次元の位置座標を取得可能なＧＰＳ装置(32)を搭載し、 前記撮影制御装置(15)は、前記所定の空間領域(50)内の被写体(30)を前記二台のカメラ(11L,11R)にて撮影して画像データを取得することとした校正用データ取得装置である。

「被写体(30)」とは、たとえば、リモートコントロールおよびホバリングが可能なリモコン飛行体（ヘリコプタ、気球など）である。無線による遠隔操作で飛行させ、所定の位置に容易にかつ確実に停止させることができるので、実際の現場における被写体(30)として適している。
「ＧＰＳ装置(32)」における「GPS」とは、全地球測位システム＝グローバル・ポジショニング・システム (Global Positioning System)の略語である。

（作用）
所定の空間領域(50)をステレオ撮影するために異なる方向から撮影する複数のカメラ(11L,11R)からなる撮影手段(11)を設置する際に、所定の空間領域(50)内を移動可能な被写体(30)を設置することができるので、容易に効率よく正確に校正用データを取得できる。

（第一の発明のバリエーション１）
第一の発明は、以下のように形成することができる。
すなわち、 前記被写体(30)は、前記所定の空間領域(50)内に設定した基準モデル(20)の頂点となる複数個の空間座標のサンプル点(21A)〜(21H)へ移動して停止可能であり、前記撮影制御装置は、前記各サンプル点(21A)〜(21H)に停止した被写体(30)を前記二台のカメラ(11L,11R)にて撮影して画像データを取得することとした校正用データ取得装置(10)である。

（作用）
ＧＰＳ装置(32) を搭載した被写体(30)を遠隔操作し、基準モデル(20)の頂点となるサンプル点(21A)〜(21H)の所定の位置に容易にかつ確実に停止させる。それによって、基準モデル(20)の頂点となるサンプル点(21A)〜(21H)の空間座標を、より正確に測定することができる。その測定した各空間座標に位置した被写体(30)を撮影してその位置情報をコンピュータに入力することで、複数カメラキャリブレーションを容易に実行することができる。

（第一の発明のバリエーション２）
第一の発明は、以下のように形成することができる。
すなわち、 前記被写体(30)は、発光装置を備え、その発光装置は被写体(30)がＧＰＳ装置(32)において所望する現在位置および高度となった瞬間に発光することとしたものである。

（作用）
被写体(30)を各サンプル点(21A)〜(21H)ごとに８カ所にて撮影することになるが、その８カ所とも空中であり、目印も見当も付けられない。撮影のタイミングが難しいが、発光装置を用いて発光させることで、被写体(30)を明確に識別できるので人為的な単なる間違いを少なくすることができる。

（第一の発明のバリエーション３）
第一の発明は、以下のように形成することができる。
すなわち、前記発光装置は、少なくとも２種類の発光パターンを備える。
たとえば、 前記被写体(30)は、各サンプル点(21A)〜(21H)ごとに異なる信号を発生可能とすれば、撮影時や撮影後のデータ処理の際に誤りを防止できる。

（第二の発明）
本願の第二の発明は、 所定の空間領域(50)をステレオ撮影する撮影手段(11)を備えた校正用データ取得方法に係る。
すなわち、 二台以上のカメラ(11L,11R)で前記所定の空間領域(50)に対して異なる方向から撮影可能であるように配置するカメラ配置手順と、 前記所定の空間領域(50)内に設定した基準モデル(20)の頂点となる複数個の空間座標のサンプル点(21A)〜(21H)に被写体(30)を停止および移動させる被写体移動手順と、 その停止した被写体(30)に対して前記各カメラ(11L,11R)で同時に撮影する撮影手順とを含む。

請求項１から請求項４に記載の発明によれば、広い撮影領域におけるステレオ撮影に必要な校正用データを簡易に取得可能な校正用データ取得装置を提供することができた。
また、請求項５に記載の発明によれば、広い撮影領域におけるステレオ撮影に必要な校正用データを簡易に取得可能な校正用データ取得方法を提供することができた。

本発明の実施形態の校正用データ取得装置を示すもので、現場における概略的な斜視図である。 ラジコンヘリコプタを被写体として図1の基準モデルの頂点となる各サンプル点へ移動して停止させる状態を示す概略説明図である。 気球を被写体として図1の基準モデルの頂点となる各サンプル点へ配置する状態を示す概略説明図である。

以下、この発明の実施形態について図面を参照して説明する。
図１および図２を参照するに、本実施形態に係る校正用データ取得装置１０は、所定の空間領域５０をステレオ撮影するために異なる方向から撮影する少なくとも二台以上のカメラ１１（撮影手段）を設置し、複数のカメラ１１（撮影手段）のキャリブレーションのためのデータを取得する装置である。
本実施形態では所定の空間領域５０をステレオ撮影するための二台の左側のカメラ１１Ｌと右側のカメラ１１Ｒを用いて説明する。

まず、左側のカメラ１１Ｌと右側のカメラ１１Ｒは、例えば、本実施形態では風力発電装置に対するバードストライクを回避するための実際の空間領域５０に設置される。すなわち、撮影対象物となる風力発電装置と二台のカメラ１１Ｌ，１１Ｒが図１の一点鎖線で示されているように、平面で三角形状になるように配置される。しかも、二台のカメラ１１Ｌ，１１Ｒのレンズの向き１２Ｌ，１２Ｒ（撮影方向）は上記の三角形の線上にほぼ位置している。この場合の左側のカメラ１１Ｌと右側のカメラ１１Ｒの距離Ｌは、例えば６００メートルとして設置される。

上記の風力発電装置に対する三次元監視ついて説明すると、風力発電装置は、地上に立設させたタワー、そのタワーに固定されたナセル、およびそのナセルに対してハブを介して回転自在に固定された複数のブレードを備えている。
左側、右側のカメラ１１Ｌ，１１ＲはＣ−ＭＯＳセンサを用いたカメラであり、風力発電装置が配置されている間などに配置されて、二台で一組の撮影領域を多数備えている。ウィンドファームの周囲全般をカバーできる撮影領域に対する三次元監視を、多数のカメラ１１にて達成している。

Ｃ−ＭＯＳセンサを備えた左側、右側のカメラ１１Ｌ，１１Ｒを用いているのは、ＣＣＤ素子よりも露光時間の制御が容易であり、飛行速度の速い鳥類の画像を捉えるのに適しており、また曇天などにおいても撮影が容易でレーザ光の照射などの設備が不要となるからである。

図１に示す左側のカメラ１１Ｌの撮影方向１２Ｌ（レンズの向き）は、二台のカメラ１１Ｌ，１１Ｒを結ぶライン１３に水平な方向に直交する左側方位基準線１４Ｌに対して右側に撮影角度θ_Ｌをなしている。また、図１の右側のカメラ１１Ｒの撮影方向１２Ｒ（レンズの向き）は、前記ライン１３に水平な方向に直交する右側方位基準線１４Ｒに対して左側に撮影角度θ_Ｒをなしている。左側方位基準線１４Ｌと右側方位基準線１４Ｒは互いに平行である。

本実施形態は、所定の空間領域５０の撮影空間上に正確に設定した基準モデル２０となる例えば直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈを二台のカメラ１１Ｌ，１１Ｒで撮影し、校正用の撮影データを取得するのである。
例えば、前記立方体における８個の頂点であるサンプル点２１Ａ〜２１Ｈの空間座標(Ｘ軸、Ｙ軸、Ｚ軸)をコンピュータに入力する。あるいは、二台のカメラ１１Ｌ，１１Ｒで前記立方体における８個の頂点のサンプル点２１Ａ〜２１Ｈを撮影して二台のカメラ画像を取得した後に、立方体の各頂点であるサンプル点２１Ａ〜２１Ｈの空間座標と二台のカメラ画像の座標を対応させることになる。

なお、撮影制御装置１５にて撮影のタイミングを制御され、二台のカメラ１１Ｌ，１１Ｒで撮影した画像は、画像記録装置１６に記録される。その画像記録装置１６には上記の校正を実行するための演算装置１７が備えられている。

基準モデル２０となる直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈを設置する必要がある。
なお、図２において、サンプル点２１Ａと２１Ｅは地上のポイント２２Ａから上空に向けた垂直線上に位置し、サンプル点２１Ｂと２１Ｆは地上のポイント２２Ｂから上空に向けた垂直線上に位置し、サンプル点２１Ｃと２１Ｇは地上のポイント２２Ｃから上空に向けた垂直線上に位置し、サンプル点２１Ｄと２１Ｈは地上のポイント２２Ｄから上空に向けた垂直線上に位置する。

本発明の実施形態の主要な特徴としては、基準モデル２０を地上に構造物として設置するのではなく、所望の空間座標へ容易に移動して停止可能な被写体３０を用いて、その被写体３０を基準モデル２０となる例えば直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈへ移動して配置し、各サンプル点２１Ａ〜２１Ｈに停止した被写体３０を二台のカメラ１１Ｌ，１１Ｒで撮影することである。なお、移動中の被写体３０を撮影することとしてもよい。

例えば、その被写体３０としてはラジコンヘリコプタ３１を用いることができる。そのラジコンヘリコプタ３１は予め設定した上記の８個のサンプル点２１Ａ〜２１Ｈへ無線で飛ばして所定の位置に停止させることができる。したがって、ラジコンヘリコプタ３１を８個のサンプル点２１Ａ〜２１Ｈに停止させる毎に、そのラジコンヘリコプタ３１を被写体として、二台のカメラ１１Ｌ，１１Ｒで撮影する。その撮影は、撮影制御装置１５が制御する。これによって、立方体の各頂点の８個のサンプル点２１Ａ〜２１Ｈの空間座標のカメラ画像を取得することができる。その後に、立方体の各頂点のサンプル点２１Ａ〜２１Ｈの空間座標と二台のカメラ画像の座標を対応させて校正用データとすることができるのである。

上記のラジコンヘリコプタ３１には、三次元の位置座標を測定するＧＰＳ装置３２と垂直方向の距離を測定可能な高度計とを搭載している。これにより、立方体の各頂点の８個のサンプル点２１Ａ〜２１Ｈの空間座標はＧＰＳ装置３２で正確に測定することができる。その測定した各空間座標を画像記録装置１６に入力し、演算装置１７での校正を実行できる。
移動中の被写体３０を撮影する場合は、撮影された時刻における被写体３０の位置情報をＧＰＳ装置３２により取得することができる。

なお、広い現場で各サンプル点２１Ａ〜２１Ｈの位置を確認する場合、作業者から遠いので識別することが難しい場合がある。また、空中には目安となるビューポイントが存在しない場合がある。そのため、画像記録装置１６に記録した画像データの一致不一致を誤る可能性もある。
ラジコンヘリコプタ３１の操作者も、サンプル点２１Ａと２１Ｄ、サンプル点２１Ｂと２１Ｃ、サンプル点２１Ｅと２１Ｈ、サンプル点２１Ｆと２１Ｇは遠くなると、それぞれ互いに間違える可能性がある。

そこで、ラジコンヘリコプタ３１は、例えば、赤、青、黄、緑のように識別色３３を変えて発光可能なＬＥＤを搭載する。そして、ラジコンヘリコプタ３１が各サンプル点２１Ａ〜２１Ｈで停止する毎に異なる識別色３３を発光表示させる。そして、その表示された識別色３３とサンプル点２１Ａ〜２１Ｈの位置を確認しながら、ラジコンヘリコプタ３１を二台のカメラ１１Ｌ，１１Ｒで撮影することができる。これにより、人為的な間違いを少なくすることができる。

また、例えば、前記のＬＥＤとしては、いくつかの異なるトリガ信号を発生できるようにすると良い。ラジコンヘリコプタ３１が各サンプル点２１Ａ〜２１Ｈで停止する毎に異なるトリガ信号を発生することで、そのトリガ信号によりラジコンヘリコプタ３１を二台のカメラ１１Ｌ，１１Ｒで撮影するタイミングが整った旨の指令を出すことができる。この時の空間座標はリモコン装置の中に機能されていることによって把握確認できる。
各サンプル点２１Ａ〜２１Ｈでの停止と、次のサンプル点への移動動作を一筆書きのように行えば、校正点での撮影を効率よく実行できる。

以上のことから、本実施形態の校正用データ取得装置１０は、所定の空間領域５０をステレオ撮影するために異なる方向から撮影する複数のカメラからなる撮影手段１１を設置する際に、実際の現場に基準モデル２０となる直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈの位置に被写体３０を設置することができる。

前述のＬＥＤは、異なる３種類の発光色を用意しておき、ひとつを点灯させるパターンにて３種類、３つのうちの２つを組み合わせて点灯させるパターンで３種類、３つ全部を点灯させるパターンで１種類を確保することができる。たとえば、最も遠い２点で３つ全部を点灯させるパターンを採用すれば、８つのサンプル点にて撮影データを取得できる。

前述した実施形態では被写体３０としてラジコンヘリコプタ３１を用いているが、その代りに、現場に風がなければ、図３に示されているように、地上に綱３５で繋がれた係留気球３４（風船を含む）を用いることができる。
すなわち、例えば測量計やＧＰＳ装置を用いて、地上に４つのポイント２２Ａ〜２２Ｄを決める。この場合、ポイント２２Ａはサンプル点２１Ａと２１Ｅを通過する垂線上に位置し、ポイント２２Ｂはサンプル点２１Ｂと２１Ｆを通過する垂線上に位置し、ポイント２２Ｃはサンプル点２１Ｃと２１Ｇを通過する垂線上に位置し、ポイント２２Ｄはサンプル点２１Ｄと２１Ｈを通過する垂線上に位置する。

次いで、４つのポイント２２Ａ〜２２Ｄからそれぞれ綱３５で繋がれた２個の気球３４を揚げる。例えば、ポイント２２Ａから揚げた一つ目の気球３４Ａは綱３５Ａで繋がれてサンプル点２１Ａで停止させ、二つ目の気球３４Ｅは綱３５Ｅで繋がれてサンプル点２１Ｅで停止させている。ポイント２２Ｂから揚げた一つ目の気球３４Ｂは綱３５Ｂで繋がれてサンプル点２１Ｂで停止させ、二つ目の気球３４Ｆは綱３５Ｆで繋がれてサンプル点２１Ｆで停止させている。ポイント２２Ｃから揚げた一つ目の気球３４Ｃは綱３５Ｃで繋がれてサンプル点２１Ｃで停止させ、二つ目の気球３４Ｇは綱３５Ｇで繋がれてサンプル点２１Ｇで停止させている。ポイント２２Ｄから揚げた一つ目の気球３４Ｄは綱３５Ｄで繋がれてサンプル点２１Ｄで停止させ、二つ目の気球３４Ｈは綱３５Ｈで繋がれてサンプル点２１Ｈで停止させている。

なお、各気球３４Ａ〜３４ＨにＧＰＳ装置３２を搭載し、綱３５Ａ〜３５Ｈの長さをそれぞれ予め設定しておくことで、気球３４Ａ〜３４Ｈの空間座標を正確に測定することができる。

以上のように合計８個の気球３４Ａ〜３４Ｈが基準モデル２０となる直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈを形成し、この気球３４Ａ〜３４Ｈを一度に二台のカメラ１１Ｌ，１１Ｒで撮影することができる。

なお、広い現場で各サンプル点２１Ａ〜２１Ｈの位置を確実に確認するために、気球３４Ａ〜３４Ｈは、赤、青、黄、緑、紫、茶、白、黒などのように互いに異なる識別色３６Ａ〜３６Ｈとすることができる。また、各気球３４Ａ〜３４Ｈには、前述したトリガ信号やＬＥＤによる点滅信号などのように互いに異なる信号を発生する信号発生機を搭載することができる。
また、本実施形態の気球３４Ａ〜３４Ｈによる作用、効果は前述した実施形態のラジコンヘリコプタ３１による場合とほぼ同様であるので、詳しい説明は省略する。

本願発明は、広域をステレオ撮影する必要がある風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。

１０ 校正用データ取得装置
１１，１１Ｌ，１１Ｒ カメラ（撮影手段）
１２Ｌ カメラ１１Ｌのレンズの向き（撮影方向）
１２Ｒ カメラ１１Ｒのレンズの向き（撮影方向）
１３ カメラ１１Ｌ，１１Ｒを結ぶライン
１４Ｌ 左側方位基準線 １４Ｒ 右側方位基準線
１５ 撮影制御装置 １６ 画像記録装置
１７ 演算装置
２０ 基準モデル ２１Ａ〜２１Ｈ サンプル点
２２Ａ〜２２Ｄ ポイント
３０ 被写体 ３１ ラジコンヘリコプタ
３２ ＧＰＳ装置 ３３ 識別色（ラジコンヘリコプタの）
３４Ａ〜３４Ｈ 気球 ３５Ａ〜３５Ｈ 綱
３６Ａ〜３６Ｈ 識別色（気球の）
５０ 空間領域
Ｌ 実際の現場の距離
θ_Ｌ 左側のカメラ１１Ｌの撮影方向の撮影角度
θ_Ｒ 右側のカメラ１１Ｒの撮影方向の撮影角度

Claims (5)

1. 所定の空間領域をステレオ撮影する前に校正用データを取得するための装置であって、
   前記所定の空間領域に対して異なる方向から撮影する二台のカメラと、
   その二台のカメラの撮影タイミングを制御する撮影制御装置と、
   前記所定の空間領域内を移動可能な被写体と、を備え、
   前記被写体は、三次元の位置座標を取得可能なＧＰＳ装置を搭載し、
   前記撮影制御装置は、前記所定の空間領域内の被写体を前記二台のカメラにて撮影して画像データを取得することとした校正用データ取得装置。
2. 前記被写体は、前記所定の空間領域内に設定した基準モデルの頂点となる複数個の空間座標のサンプル点へ移動して停止可能であり、
   前記撮影制御装置は、前記各サンプル点に停止した被写体を前記二台のカメラにて撮影して画像データを取得することとした請求項１記載の校正用データ取得装置。
3. 前記被写体は、発光装置を備え、
   その発光装置は被写体がＧＰＳ装置において所望する現在位置および高度となった瞬間に発光することとした請求項１または請求項２のいずれかに記載の校正用データ取得装置。
4. 前記発光装置は、少なくとも２種類の発光パターンを備えた請求項１から請求項３のいずれかに記載の校正用データ取得装置。
5. 所定の空間領域をステレオ撮影する撮影手段を備えた校正用データ取得方法であって、
   二台のカメラで前記所定の空間領域に対して異なる方向から撮影可能であるように配置するカメラ配置手順と、
   前記所定の空間領域内に設定した基準モデルの頂点となる複数個の空間座標のサンプル点に被写体を停止および移動させる被写体移動手順と、
   その停止した被写体に対して前記各カメラで同時に撮影する撮影手順と、を含む校正用データ取得方法。

Images