JP2010231720A - 衝突判断処理システム、コンピュータプログラムおよび風力発電装置 - Google Patents

Abstract

【課題】 三次元空間を移動する物体が所定領域に対して所定時間内に到達するか否かを判断するためのシステムにおいて、演算処理の複雑さを回避してリアルタイム処理の実現を図る。
【解決手段】 所定の空間領域(11)を異なる方向から同期させて連続撮影する左カメラ(12L)と右カメラ(12R)を備えた撮影手段と、その左側画像データおよび右側画像データの高さ方向を予め同一に設定するとともにその画面縦方向の上下に予め設定した許容範囲に限って粒子(15)の対応付けを実行して三次元データを作成するステレオマッチング手段(14)と、その三次元データの粒子(15)と次の時刻の粒子(15)の中で最短距離の粒子(15)を対応付ける時刻間対応付け手段と、その二つの時刻間の粒子(15)で三次元速度ベクトル(16)を算出する速度ベクトル算出手段と、その速度ベクトル(16)が予め設定した対象領域(17)へ所定時間内に到達するか否かを判断する衝突判断手段と、を備える。
【選択図】 図１

Description

本発明は、三次元空間を移動する物体が所定領域に対して所定時間内に到達するか否かを判断するためのシステムおよびそのシステムを実行するためのコンピュータプログラム等に関する。
たとえば、風力発電装置に対して近づいてくる鳥などの飛来物が予め設定した三次元の空間（たとえば風力発電装置が設置された空間）に進入して前記風力発電装置に衝突する事態、いわゆるバードストライクを回避するための衝突判断処理システム、そのシステムを備えた風力発電装置、およびそのシステムを実行するためのコンピュータプログラムに関する。

風力発電装置に対するバードストライクを回避するための技術は、鳥などの飛来物を検知する技術、および検知した情報に基づいて風力発電のプロペラを減速または停止させる技術を組み合わせたものが一般的である。
上記の技術としては、たとえば特許文献１に記載された技術を利用することが考えられる。この特許文献１は、移動物体の三次元軌跡を計測する技術であり、球技スポーツにおけるボールのように高速で移動する物体の移動軌跡を求める技術である。

これは、複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（ＰＴＶのステレオペアマッチング）。一致した粒子や画素について、三次元における速度の情報に変換し、三次元の軌跡を求めるものである。これにより、風力発電装置に近づいているか否か、等を判断して、風力発電装置の制御に用いる。

また、他の従来の技術としては、左カメラと右カメラにより、所定の空間領域を互いに異なる方向から同期させて連続撮影し、それぞれ左側画像データおよび右側画像データを取得する。また、必要に応じて、それらの左側および右側画像データに対して時間差分を実行する。
次に、左側画像データおよび右側画像データの粒子の対応付けを実行する。この対応付けは、研究の確実性を立証するため、全領域での粒子の対応付けを計算していた。例えば、順列組み合わせで対応付けを確認するアルゴリズムなどが採用されて、計算が行われていた。

次に、上記のように左側画像データおよび右側画像データで対応付けを行った粒子に対して時刻間の対応付けが行われる。このとき、３つないしは５つの時刻間で対応付けが検証されていた。
上記の対応付けられた３つないしは５つの時刻間の粒子により、その粒子の三次元速度ベクトルが算出される。その算出された三次元速度ベクトルが、予め設定した風力発電装置の例えば球体などの所定領域に入るか否かの衝突判断が行われる。その衝突判断が前記所定領域に入ると判断した場合に、その入るまでの時間が閾値内か否かの判断が行われる。

特開２００７−１１５２３６号公報

さて、特許文献１に開示された技術をバードストライクの回避に用いるには、以下のような問題があった。
カメラで飛来物を撮影する場合、毎秒３０フレーム程度が適正であることが経験的に把握されている。すると、３０分の１秒ごとにステレオペアマッチングの演算が必要となり、汎用コンピュータを演算処理に採用した場合には演算終了に時間が掛かってしまっていた。そのため、飛来物のリアルタイム追跡および衝突判断が事実上間に合わない場合が生じてしまう。

一方、演算処理を間に合わせるために撮影のフレーム数を落としてしまっては、飛来物の見落としや風力発電装置の制御への遅れという問題が出てしまう。 とはいえ、前記の演算処理を間に合わせるため、汎用コンピュータよりも極めて高性能なコンピュータを用いるという解決策では、コストが膨大に掛かってしまう。

他の従来の技術にあっては、左カメラと右カメラによる撮影から衝突判断までの間で１秒間に５０回を繰り返す場合、全領域での粒子の対応付けを絶対に間違いがないことを確証するためのアルゴリズムによる計算手法では、特許文献１と同様に、演算装置に大きな負担が掛かり、演算が間に合わないために飛来物のリアルタイム追跡が事実上実行できない場合が生じてしまう。
しかも、対応付けを行うためには左側画像データおよび右側画像データの粒子に対して座標変換を行う必要があるために複雑な処理となるので、その処理を高速に行うことが難しいものであった。
また、時刻間の対応付けにおいても、３つないしは５つの時刻間で対応付けを行っているので、その処理を高速に行うことが難しいものであった。

更に、所定領域とはある基準点を中心とした球体を想定することが多い。これは、基準点からの距離を等距離とするのが合理的であるということが前提となっている。しかし、その所定領域が球体である場合は、球体の曲面との衝突判断をするために複雑な計算を行う必要が生じ、その計算の高速処理が望まれていた。

本発明が解決しようとする課題は、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、高性能なコンピュータを使わなくても衝突判断のリアルタイム処理を実行することを目的とする。
請求項１から請求項４に記載の発明の目的は、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、高性能なコンピュータを使わなくても衝突判断のリアルタイム処理を実行可能なシステムを提供することである。
請求項５から請求項８に記載の発明の目的は、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、高性能なコンピュータを使わなくても衝突判断のリアルタイム処理を実行可能なコンピュータプログラムを提供することである。
請求項９に記載の発明の目的は、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、高性能なコンピュータを使わなくてもバードストライクを未然防止可能な風力発電装置を提供することである。

（請求項１）
請求項１に記載の発明は、 衝突判断処理システム(10)に係る。
すなわち、所定の空間領域(11)を連続撮影する左カメラ(12L)およびその左カメラ(12L)とは異なる方向から当該所定の空間領域(11)を前記左カメラ(12L)と同期させて連続撮影する右カメラ(12R)を備えた撮影手段と、 その撮影手段における左カメラ(12L)が取得した左側画像データ中の粒子(15)と右カメラ(12R)が取得した右側画像データ中の粒子(15)の対応付けを実行して三次元データを作成するステレオマッチング手段(14)と、 そのステレオマッチング手段(14)による三次元データの粒子(15)と次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子(15)との中で最も距離が短い粒子(15)を対応粒子(15)として決定する時刻間対応付け手段と、 その時刻間対応付け手段によって対応付けられた二つの時刻の粒子(15,15)を用いて三次元速度ベクトル(16)を算出する速度ベクトル算出手段と、 その速度ベクトル算出手段で算出した粒子(15)の速度ベクトル(16)が予め設定した対象領域(17)へ所定時間内に到達するか否かを判断する衝突判断手段と、を備えた。

（作用）
撮影手段では、左カメラ(12L)と右カメラ(12R)を同期させて連続撮影する。ステレオマッチング手段(14)により、左カメラ(12L)が取得した左側画像データ中の粒子(15)と右カメラ(12R)が取得した右側画像データ中の粒子(15)の対応付けを実行して三次元データを作成する。三次元データの作成には、一般的なステレオマッチング法を用いることができる。すなわち、例えば、粒子の対応付けを相関計算により実行して、その対応付けを使った三角測量により三次元データを作成できる。

次に、左側画像データおよび右側画像データで対応付けられた三次元データの粒子(15)と、次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子(15)の中で最も距離が短い粒子(15)とを、時刻間対応付け手段が対応粒子(15)として決定する。単に、二の時刻間の粒子(15)で時刻間対応付けをしているのみなので、高速で処理することができる。
続いて、対応付けられた二つの時刻間の粒子(15,15)を用いて、速度ベクトル算出手段が三次元速度ベクトル(16)を算出する。例えば、ある時刻とその二つ前の時刻間の粒子を用いることにより、飛来物の粒子(15)の動きをスムーズにするために行われる二次精度の中心差分と同等の効果を得ることができる。このように、三次元速度ベクトル(16)の算出には、連続する時刻の粒子を用いるだけでなく、任意の二つの時刻の粒子を用いてもよい。なお、時刻間対応付けは毎時刻実施する必要があるが、三次元速度ベクトルの算出および後述する衝突判断は、必ずしも毎時刻実行する必要はない。
上記の粒子(15)の三次元速度ベクトル(16)が予め設定した対象領域(17)へ所定時間内に到達するか否かを、衝突判断手段が判断する。その判断結果が「所定時間内に到達する」である場合には、衝突を避けるためのしかるべき処理（たとえばスピーカに対して威嚇音を発生させる命令を発信するなど）を実行する。

（請求項２）
請求項２に記載の発明は、請求項１に記載の衝突判断処理システム(10)を限定したものである。
すなわち、 上記のステレオマッチング手段(14) は、前記撮影手段におけるそれぞれの左カメラおよび右カメラが取得した左側画像データおよび右側画像データの高さ方向を予め同一に設定するとともにその左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲に限って左側画像データの粒子と右側画像データの粒子の対応付けを実行して前記三次元データを作成することとしたものである。

（作用）
ステレオマッチング手段(14)により、左カメラ(12L)および右カメラ(12R)が取得した左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲に限って左側画像データの粒子(15)と右側画像データの粒子(15)の対応付けを実行して三次元データを作成する。

この時、左側画像データおよび右側画像データの高さ方向が予め同一に設定されているので、単に、左側画像データおよび右側画像データで同一の高さにあるものを同じ対象の飛来物であると判断できる。そのため、左側画像データおよび右側画像データを高速で対応付けできる。

（請求項３）
請求項３に記載の発明は、請求項１または２に記載の衝突判断処理システム(10)を限定したものであり、
上記の衝突判断手段における対象領域(17)を、三次元におけるＸＹ面、ＹＺ面およびＺＸ面を六面とした立方体(17C)とするものである。

（作用）
対象領域(17)を三次元におけるＸＹ面、ＹＺ面およびＺＸ面を六面とした立方体(17C)とすることで、粒子(15)の速度ベクトル(16)の延長線が立方体(17C)の六平面のそれぞれに対して衝突するか否かを計算する。このため、所定の一点から等距離を結んで想定される球体への衝突判断に比べて、計算が単純化され、演算処理の高速化、衝突判断のリアルタイム化に貢献する。
その一方、当該球体が入る大きさの立方体を想定すれば、衝突判断は安全サイドになされるので、衝突するとの判断に不足が出ることにはならない。 例えば風力発電装置(20)のブレード(22)の回転の大きさの球体(17S)の場合より単純であるという点で、衝突判断の計算が単純化されることとなり、演算処理の高速化、衝突判断のリアルタイム化に貢献する。

（請求項４）
請求項４に記載の発明は、請求項３に記載の衝突判断処理システム(1)を限定したものである。
すなわち、 上記の衝突判断手段は、粒子(15)が対象領域(17)内の三次元方向の三平面を横切るか否かを順次一平面ずつ検証し、 一つの平面を横切らないと判断した時点で前記粒子(15)は対象領域(17)内に到達しないとし、残りの平面に対する検証を終了する。

（作用）
衝突判断する平面が３つで少ないことと、一平面が衝突しないと判断した時点で、残りの他の平面に対する衝突判断を省略するので、高速で演算処理を行うことができる。

（請求項５）
請求項５に記載の発明は、 所定の空間領域(11)を連続撮影する左カメラ(12L)およびその左カメラ(12L)とは異なる方向から当該所定の空間領域を前記左カメラ(12L)と同期させて連続撮影する右カメラ(12R)を備えた撮影手段が取得した画像データに基づいて、所定の対象領域(17)に対して飛来物が所定時間内に到達するか否かを判断するコンピュータプログラムに係る。
そのコンピュータプログラムは、 前記左カメラ(12L)および右カメラ(12R)が取得した左側画像データおよび右側画像データを受信する受信工程と、 その受信工程にて受信した左側画像データおよび右側画像データの高さ方向を予め同一に設定するとともにその左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲に限って左側画像データの粒子(15)と右側画像データの粒子(15)の対応付けを実行して三次元データを作成するステレオマッチング工程と、 そのステレオマッチング工程による三次元データの粒子(15)と次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子(15)の中で最も距離が短い粒子(15)を対応粒子(15)として決定する時刻間対応付け工程と、 その時刻間対応付け工程によって対応付けられた二つの時刻の粒子(15,15)を用いて三次元速度ベクトル(16)を算出する速度ベクトル算出工程と、 その速度ベクトル算出工程で算出した粒子(15,15)の速度ベクトル(16)が予め設定した対象領域(17)へ所定時間内に到達するか否かを判断する衝突判断工程と、 その衝突判断工程の判断結果を出力する出力工程とを、コンピュータに実行させることとしたコンピュータプログラムである。

（請求項６）
請求項６に記載の発明は、請求項５に記載のコンピュータプログラムを限定したものである。
すなわち、 前記ステレオマッチング工程の許容範囲は、左側画像データおよび右側画像データにおける上下方向の幅寸法の１％程度とするとともに、 当該許容範囲は変更可能とし、
許容範囲が変更された場合には、変更された許容範囲にて前記三次元データを再作成する再マッチング工程を実行することとしたコンピュータプログラムである。
許容範囲は左側画像データおよび右側画像データにおける上下方向の幅寸法の１％程度とすることで、対応付けの演算を実行する範囲を少なくして、演算処理の負荷を軽減する。これによって、高速演算を可能とし、衝突判断工程による判断をリアルタイム処理に近づけつつ、かつほぼ正確に対応付けすることができる。
なお、上記の「１％」は、演算処理装置の性能や価格、リアルタイム処理の実現性、現実の飛来物の測定経験などを考慮して算出された経験的な範囲である。したがって、演算処理装置の性能が高ければ、「１％」という値を上げることは構わない。 許容範囲を変更すると、再マッチング工程が変更された許容範囲にて前記三次元データを再作成する。

（請求項７）
請求項７に記載の発明は、請求項５または６に記載のコンピュータプログラムを限定したものである。
すなわち、 前記衝突判断工程における対象領域(17)は、三次元におけるＸＹ面、ＹＺ面およびＺＸ面を六面とした立方体(17C)であることを特徴とする。

（請求項８）
請求項８に記載の発明は、請求項７に記載のコンピュータプログラムを限定したものである。
すなわち、 上記の衝突判断工程は、粒子(15)が対象領域(17)内の三次元方向の三平面を横切るか否かを順次一平面ずつ検証し、一つの平面を横切らないと判断した時点で前記粒子(15)は当該対象領域(17)に到達しないとし、残りの平面に対する検証を終了することとしている。

請求項５から請求項８に係るコンピュータプログラムを、チップ化して衝突判断装置とすることもできる。
また、記録媒体へ記憶させて提供することもできる。ここで、「記録媒体」とは、それ自身では空間を占有し得ないプログラムを担持することができる媒体であり、例えば、フレキシブルディスク、ハードディスク、ＣＤ−Ｒ、ＭＯ（光磁気ディスク）、ＤＶＤ−Ｒなどである。

（請求項９）
請求項９に記載の発明は、請求項２に記載の衝突判断処理システムと、その衝突判断処理システムの判断結果を用いて運転を制御する制御システムとを備えた風力発電装置に係る。
そして、前記制御システムは、前記衝突判断手段の判断結果を入力信号の一つとして運転を制御する。

請求項１や、請求項３から請求項４に記載の衝突判断処理システムと、その衝突判断処理システムの判断結果を用いて運転を制御する制御システムとを備えた風力発電装置を提供することは、当然可能である。

請求項１から請求項４に記載の発明によれば、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、リアルタイムに衝突判断できるシステムを提供できた。
請求項５から請求項８に記載の発明によれば、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、高性能なコンピュータを使わなくても衝突判断のリアルタイム処理を実行可能なコンピュータプログラムを提供することができた。
請求項９に記載の発明によれば、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、高性能なコンピュータを使わなくてもバードストライクを未然防止可能な風力発電装置を提供することができた。

本発明の実施形態に係る衝突判断処理システムのプロセスを示すフローチャートである。 本発明の実施形態に係る衝突判断処理システムの概念を示す斜視図である。 ステレオマッチング手段で、左側画像データおよび右側画像データの対応付けを示す概略説明図である。 時刻間対応付け手段で、２時刻間の対応付けの概念を示す三次元のグラフである。 速度ベクトル算出手段で、粒子の三次元速度ベクトルを算出する概念を示す三次元のグラフである。 （Ａ）は風力発電装置のブレードの球体を含む立方体の対象領域を示す斜視図で、（Ｂ）は衝突判断（レベル１）の手段で、粒子の速度ベクトルがその立方体の対象領域に対して衝突するか否かを判断する概念を示す三次元のグラフである。 他の実施形態の衝突判断（レベル１）の手段で、粒子の速度ベクトルが立方体の三次元方向の三平面を対象領域として、その三平面へ所定時間内に到達するか否かを判断する概念を示す三次元のグラフである。 図７の三平面へ所定時間内に到達するか否かを判断するプロセスを示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
図１を参照するに、本実施形態に係る衝突判断処理システムは、風力発電装置２０に対する三次元監視をするために、所定の空間領域１１を連続撮影する２台のカメラ１２Ｌ，１２Ｒを備えた撮影手段が設けられており、その撮影手段によりステップＳ１の撮影工程が行われる。
すなわち、図２に示されているように、その撮影手段は、左カメラ１２Ｌと右カメラ１２Ｒとを互いに同期させて互いに異なる方向から当該所定の空間領域１１を連続撮影するものである。本実施形態では１秒間に５０回の連続撮影が行われる。なお、左カメラ１２Ｌと右カメラ１２Ｒの距離は例えば１００ｍ（メートル）である。

図２では、説明のために、左カメラ１２Ｌで取得した左側画像１３Ｌと、右カメラ１２Ｒで取得した右側画像１３Ｒをハッチングの面で図示している。
風力発電装置２０は、地上に立設させたタワー２１、そのタワー２１に固定されたナセル、およびそのナセルに対してハブを介して回転自在に固定された複数のブレード２２を備えている。
左カメラ１２Ｌおよび右カメラ１２ＲはＣ−ＭＯＳセンサを用いたカメラであり、複数の風力発電装置２０が配置されている間などに配置されて、二台で一組の撮影領域を多数備えている。すなわち、ウィンドファームの周囲全般をカバーできる撮影領域に対する三次元監視を、多数のカメラ１２にて達成している。
Ｃ−ＭＯＳセンサを備えた左カメラ１２Ｌおよび右カメラ１２Ｒを用いているのは、ＣＣＤ素子よりも露光時間の制御が容易であり、飛行速度の速い鳥類の画像を捉えるのに適しており、また曇天などにおいても撮影が容易でレーザ光の照射などの設備が不要となるからである。

次に、左カメラ１２Ｌおよび右カメラ１２Ｒで取得した左側画像１３Ｌの画像データと右側画像１３Ｒの画像データによりステップＳ２のステレオマッチング工程が行われる。
そのステレオマッチング工程は、本実施形態の主要な特徴となる。その特徴は、ステレオマッチング手段１４が、図３に示されているように、左カメラ１２Ｌおよび右カメラ１２Ｒが取得した左側画像データおよび右側画像データの高さ方向が予め同一に設定されていることと、その左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲Ｈに限って左側画像データの鳥類などの飛来物による粒子１５と右側画像データの鳥類などの飛来物による粒子１５の対応付けを実行して三次元データを作成するのである。

動いている部位のデータは、それぞれの左カメラ１２Ｌおよび右カメラ１２Ｒにおいては二次元の動きであるために、三次元中においてどの方向に向かうかは不明であるが、左側画像データおよび右側画像データはステレオマッチング手段１４によって同期させることにより三次元データとなるのである。例えば、左側画像１３Ｌの鳥１の粒子１５と、右側画像１３Ｒの鳥１の粒子１５は許容範囲Ｈの中に位置しているので同じ鳥１として判断し、左側画像１３Ｌの鳥２の粒子１５と、右側画像１３Ｒの鳥２の粒子１５は許容範囲Ｈの中に位置しているので同じ鳥２として判断することができる。

上記のステレオマッチング手段１４の許容範囲Ｈは、左側画像データおよび右側画像データの上下方向の幅の１％程度とし、その１％を要求に応じて増減させるフィードバック制御工程を行うことができる。ちなみに、左側、右側画像１３Ｌ，１３Ｒは、例えば、画素数が６００（横）×４８０（縦）である場合、許容範囲Ｈが４８０の１％程度では数ピクセル（４〜５）ということになる。そのように１％程度の許容範囲Ｈは対応付けの誤差範囲を少なくし、かつほぼ正確に対応付けできるという点で適当な数値といえる。

左カメラ１２Ｌおよび右カメラ１２Ｒが撮影した左側画像データおよび右側画像データは、光ケーブルを介して画像処理装置（コンピュータ）が受信する。そして、撮像データ解析手段によって解析する際に、左側画像データおよび右側画像データの高さ方向が予め同一に設定されているので、単に、左側画像データおよび右側画像データで同一の高さにあるものを同じ対象の飛来物であると判断できる。

ステレオマッチング手段１４は一般的なステレオマッチング法を用いることもできるが、従来のように左カメラ１２Ｌおよび右カメラ１２Ｒの高さに配慮を払わずに水平方向で傾いているとすれば、左側画像データおよび右側画像データの粒子１５に対して座標変換をして対応付けを行うといった複雑な処理をする必要がある。
したがって、左側、右側画像１３Ｌ，１３Ｒの縦方向の上下に予め設定した許容範囲Ｈに入っている左側画像データの粒子１５と右側画像データの粒子１５に対して同じ飛来物の粒子１５であると対応付けすることにより、左側画像データおよび右側画像データの対応付けを高速で行うことができる。

次に、ステップＳ３の時刻間対応付け工程が行われる。 図４を参照しながら説明する。
時刻間対応付け工程は、本実施形態のもう一つの主要な特徴となる。その特徴は、前記ステレオマッチング工程によるＸ軸，Ｙ軸，Ｚ軸の三次元データの粒子１５と、例えばΔｔ秒後の次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子１５の中で最も距離が短い粒子１５を対応粒子１５として決定するものであり、それを実施するための時刻間対応付け手段が備えられている。

左カメラ１２Ｌおよび右カメラ１２Ｒがそれぞれ５０分の１秒ごとに撮影した左側画像データおよび右側画像データに基づいて得た三次元データの２時刻間（Δｔ秒＝５０分の１秒間）の粒子１５で最も距離が短い（近い）ものを強制的に同じ飛来物の粒子１５であると対応付けしてしまう。例えば、図４の三次元のグラフにおいて鳥１の粒子１５は２時刻間（Δｔ秒＝５０分の１秒間）で最も距離が短い（最短距離）ので同じ鳥１として判断して対応付けしている。また、図４の三次元のグラフにおいて鳥２の粒子１５は２時刻間（Δｔ秒＝５０分の１秒間）で最も距離が短い（近い）ので同じ鳥２として判断して対応付けしている。

なお、たとえ、この時点で間違った対応付けであったとしても、次の時刻間対応付け工程より以降では遠くに離れることになるので修正されることになる。このように、単に２時刻間の粒子１５で時刻間対応付けを行っているので、高速で処理することができる。
ステップＳ３を終えると、左カメラ１２Ｌおよび右カメラ１２Ｒによる画像取得からステップＳ１〜ステップ３までの工程があらかじめ設定したＮ回か否かの判断が行われる。Ｎ回に満たない場合は、図１に示されているように、次の衝突判断サイクルの左カメラ１２Ｌおよび右カメラ１２Ｒによる画像取得に戻り、ステップＳ１〜ステップ３までの各工程が繰り返される。

左カメラ１２Ｌおよび右カメラ１２Ｒによる画像取得からステップＳ１〜ステップ３までの工程があらかじめ設定したＮ回目のときは、図１に示されているように、次に、ステップＳ４の速度ベクトル算出工程が行われる。 図５を参照しながら説明する。
その速度ベクトル算出工程は、前記時刻間対応付け工程により対応付けられた二つの時刻間（Δｔ秒間）の粒子１５で、その粒子１５の三次元速度ベクトル１６を算出するものであり、それを実施するための速度ベクトル算出手段が備えられている。本実施形態では二つ前の時刻とで速度ベクトル１６を算出している。例えば、図５の三次元のグラフにおいて鳥３の粒子１５についてｔ＝０秒からｔ＝２Δｔ秒後の間で算出した速度ベクトル１６が示されている。また、ｔ＝Δｔ秒からｔ＝３Δｔ秒後の間で算出した速度ベクトル１６が示されている。
これにより、飛来物の粒子１５の動きをスムーズにするために行われる二次精度の中心差分と同等の効果が得られる。速度ベクトル１６の算出は、本実施形態に示すように二つ前の時刻を用いるだけでなく、任意の時刻を用いて実行することができる。

次に、ステップＳ５の衝突判断工程（レベル１）が行われる。
図６（Ａ），（Ｂ）を参照するに、その衝突判断（レベル１）工程は、本実施形態のもう一つの主要な特徴となるもので、その特徴は、前記速度ベクトル算出工程で算出した粒子１５の速度ベクトル１６が予め設定した対象領域１７へ所定時間内に到達するか否かを判断するものであり、それを実施するための衝突判断手段が備えられている。

上記の対象領域１７は例えば風力発電装置２０のブレード２２の回転の大きさの球体１７Ｓを包含する立方体１７Ｃとすることができる。これにより、その立方体１７Ｃの対象領域１７は、前記ブレード２２の回転の大きさの球体１７Ｓの場合より単純であるので、衝突判断の計算が容易になり、演算の高速化を図ることができる。
すなわち、粒子１５の速度ベクトル１６が上記の立方体１７Ｃに入るか否かを計算するために、図６（Ｂ）に示されているように、粒子１５の速度ベクトル１６の延長線が立方体１７Ｃの六平面のそれぞれに対して衝突するか否かを計算するのである。

粒子１５の速度ベクトル１６の延長線が立方体１７Ｃに入らないと判断した時は、図１に示されているように、次の衝突判断サイクルの左カメラ１２Ｌおよび右カメラ１２Ｒでそれぞれ画像を取得して上述したステップＳ１〜ステップＳ５の各工程を再び繰り返し行うことになる。

一方、粒子１５の速度ベクトル１６の延長線が立方体１７Ｃに入る（衝突する）と判断した時は、図１に示されているように、次の工程のステップＳ６の衝突判断工程（レベル２）が行われる。
すなわち、その衝突判断（レベル２）工程は、立方体１７Ｃに入る（衝突する）と判断した粒子１５が衝突するまでの予想到達時間が到達時間算出手段により計算され、その予想到達時間が予め設定した閾値以内か否かを計算するのである。

本実施形態における閾値とは、風力発電装置２０のブレード２２を回転停止ポジション（フェザリング）に変更してからブレード２２の回転が停止するまでに必要な時間に若干の安全値を加味した衝突回避時間としている。閾値が例えば３秒である場合、予想到達時間が１０秒であるとすれば、その飛来物である粒子１５がその後に進路変更する可能性があるので、ブレード２２を停止せずに、次の画像データに対する衝突判断に委ねることとしている。これは、ステップＳ１〜ステップＳ６の一連の工程が１秒間に５０回繰り返されるので、次回以降の衝突判断に委ねても何ら問題がない。しかも、風力発電装置２０の運転を継続することができる。
したがって、予想到達時間が閾値以内でない場合は、図１に示されているように、次の衝突判断サイクルの左カメラ１２Ｌおよび右カメラ１２Ｒでそれぞれ画像を取得して上述したステップＳ１〜ステップＳ６の各工程を再び繰り返し行うことになる。

一方、予想到達時間が閾値以内である場合は、図示しない制御装置が風力発電装置２０の制御を司る風力発電制御装置や、飛来物への警告を出力する警告装置への制御信号を発信する。例えば、衝突可能性のある風力発電装置２０に対して回転停止ポジションに変更する旨の制御信号を出力し、風力発電装置２０のブレード角度制御手段がブレード２２を回転ポジション（フェザリング）に変更するように制御する。そして、飛来物である粒子１５の予想到達時間前にブレード２２の回転が停止または十分な減速をする。

停止または十分な減速をしているブレード２２であれば、飛来する鳥が視認しやすいため、自ら回避する可能性が高まる。また、ブレード２２はハブから放射状に３枚程度固定された細身の形状をなすものが多いので、飛来物が鳥以外の単なる物体である場合でも、ブレード２２に衝突する確率を低めることができる。また、予想到達時間が閾値以内か否かを判断するので、飛来物を一旦検知したが接近しないと判断されれば、衝突の可能性が少なく、発電を無駄に停止させずに済む。

本実施形態における風力発電装置２０には、警告装置をも含むこととしてもよい。回転停止ポジションへの変更制御を出力せずに警告装置による警告の出力を優先し、警告出力によってもなお飛来物が接近した場合に回転停止ポジションへの変更制御を出力する、といった制御とすることも可能である。
また、風力発電装置２０の設置場所、警告装置の性能向上などの条件によっては、回転停止ポジションへの変更制御は行わずに、警告装置への出力制御のみで、本実施形態とすることも可能である。
以上のように、ステップＳ１〜ステップＳ６の各工程は１秒間に５０回繰り返し行われるが、本実施形態では演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることができたので、演算処理に汎用コンピュータを用いてもリアルタイムな衝突判断が可能となった。

次に、上記のステップＳ５の衝突判断工程（レベル１）に関して、さらに高速で処理できる方法について説明する。この方法は、本実施形態のもう一つの主要な特徴となるものである。
図７を参照するに、前述した図６（Ａ），（Ｂ）の立方体１７Ｃの対象領域１７においてそのほぼ中心を通過するX−Ｙ平面１７ａと、Ｚ−X平面１７ｂと、Ｙ−Ｚ平面１７ｃの三平面のそれぞれに対して衝突するか否かを計算する。

粒子１５の速度ベクトル１６の延長線が上記の三平面１７ａ，１７ｂ，１７ｃのいずれかの一つの面に衝突しないと判断した場合は、図１に示されているように、次の衝突判断サイクルの左カメラ１２Ｌおよび右カメラ１２Ｒでそれぞれ画像を取得して上述したステップＳ１〜ステップＳ６の各工程を再び繰り返し行うことになる。換言すれば、上記の三平面１７ａ，１７ｂ，１７ｃに対して衝突するか否かを順次一平面ずつ計算し、一つの平面を横切らないと判断した時点で、前記粒子１５の衝突は無いとして残りの平面に対する検証を終了する。
一方、粒子１５の速度ベクトル１６の延長線が上記の三平面１７ａ，１７ｂ，１７ｃのすべての面に衝突すると判断した時は、図１に示されているように、次の工程のステップＳ６の衝突判断工程（レベル２）が行われる。
例えば、図８に示されているように、まず飛来物の粒子１５速度ベクトル１６の延長線が上記のX−Ｙ平面１７ａに衝突するか否かを計算する。衝突しないと判断した時は、ステップＳ１の工程に戻ることになる。一方、衝突すると判断した時は上記のＺ−X平面１７ｂに衝突するか否かを計算する。

Ｚ−X平面１７ｂに衝突しないと判断した時は、ステップＳ１の工程に戻ることになる。一方、衝突すると判断した時は上記のＹ−Ｚ平面１７ｃに衝突するか否かを計算する。
Ｙ−Ｚ平面１７ｃに衝突しないと判断した時は、ステップＳ１の工程に戻ることになる。一方、衝突すると判断した時は、図１および図８に示されているように、次のステップＳ６の衝突判断工程（レベル２）が行われる。その衝突判断（レベル２）工程は前述した通りであるので詳しい説明は省略する。

なお、上述したようなX−Ｙ平面１７ａ、Ｚ−X平面１７ｂ、Ｙ−Ｚ平面１７ｃの順序に限定されず、いずれの順序であってもよい。
その結果、衝突判断する平面は３つとなるので少なくなることと、一平面が衝突しないと判断した時点で、残りの他の平面に対する衝突判断を省略するので、より一層高速で演算処理を行うことができる。
以上説明したように、本実施形態によれば、演算処理の複雑さを回避して高速な演算、処理の迅速化を図ることで、リアルタイムに衝突判断をし、安価で正確な三次元監視を行う衝突判断処理システムの提供が可能である。なお、前述した実施形態では風力発電装置２０の飛来物回避のためのシステムとして説明してきたが、航空機の安全運航、防犯システムにおける三次元監視を行う衝突判断処理などにも応用可能である。

本願発明は、三次元空間を移動する物体が所定領域に対して所定時間内に到達するか否かを判断可能な判断装置の製造業、三次元空間を移動する物体が所定領域に対して所定時間内に到達するか否かを判断可能なインテリジェントカメラの製造業、前記判断装置や前記インテリジェントカメラにインストールするソフトウェアの開発業、風力発電装置の製造業などにおいて、利用可能性を有する。

１０ 衝突判断処理システム １１ 空間領域
１２Ｌ 左カメラ １２Ｒ 右カメラ
１３Ｌ 左側画像 １３Ｒ 右側画像
１４ ステレオマッチング手段 １５ 粒子
１６ 速度ベクトル １７ 対象領域
１７Ｃ 立方体 １７Ｓ 球体
１７ａ X−Ｙ平面 １７ｂ Ｚ−X平面
１７ｃ Ｙ−Ｚ平面
２０ 風力発電装置 ２１ タワー
２２ ブレード
Ｈ 許容範囲

Claims (9)

1. 所定の空間領域を連続撮影する左カメラおよびその左カメラとは異なる方向から当該所定の空間領域を前記左カメラと同期させて連続撮影する右カメラを備えた撮影手段と、
   その撮影手段における左カメラが取得した左側画像データ中の粒子と右カメラが取得した右側画像データ中の粒子の対応付けを実行して三次元データを作成するステレオマッチング手段と、
   そのステレオマッチング手段による三次元データの粒子と、次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子の中で最も距離が短い粒子とを対応粒子として決定する時刻間対応付け手段と、
   その時刻間対応付け手段によって対応付けられた二つの時刻の粒子を用いて三次元速度ベクトルを算出する速度ベクトル算出手段と、
   その速度ベクトル算出手段で算出した粒子の速度ベクトルが予め設定した対象領域へ所定時間内に到達するか否かを判断する衝突判断手段と、を備えた衝突判断処理システム。
2. 上記のステレオマッチング手段は、前記撮影手段におけるそれぞれの左カメラおよび右カメラが取得した左側画像データおよび右側画像データの高さ方向を予め同一に設定するとともにその左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲に限って左側画像データの粒子と右側画像データの粒子の対応付けを実行して前記三次元データを作成することとした請求項１に記載の衝突判断処理システム。
3. 上記の衝突判断手段における対象領域を、三次元におけるＸＹ面、ＹＺ面およびＺＸ面を六面とした立方体とした請求項１または請求項２のいずれかに記載の衝突判断処理システム。
4. 上記の衝突判断手段は、粒子が対象領域内の三次元方向の三平面を横切るか否かを順次一平面ずつ検証し、一つの平面を横切らないと判断した時点で前記粒子は対象領域内に到達しないとし、残りの平面に対する検証を終了することとした請求項３に記載の衝突判断処理システム。
5. 所定の空間領域を連続撮影する左カメラおよびその左カメラとは異なる方向から当該所定の空間領域を前記左カメラと同期させて連続撮影する右カメラを備えた撮影手段が取得した画像データに基づいて、所定の対象領域に対して飛来物が所定時間内に到達するか否かを判断するコンピュータプログラムであって、
   前記左カメラおよび右カメラが取得した左側画像データおよび右側画像データを受信する受信工程と、
   その受信工程にて受信した左側画像データおよび右側画像データの高さ方向を予め同一に設定するとともにその左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲に限って左側画像データの粒子と右側画像データの粒子の対応付けを実行して三次元データを作成するステレオマッチング工程と、
   そのステレオマッチング工程による三次元データの粒子と、次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子の中で最も距離が短い粒子とを対応粒子として決定する時刻間対応付け工程と、
   その時刻間対応付け工程によって対応付けられた二つの時刻の粒子を用いて三次元速度ベクトルを算出する速度ベクトル算出工程と、
   その速度ベクトル算出工程で算出した粒子の速度ベクトルが予め設定した対象領域へ所定時間内に到達するか否かを判断する衝突判断工程と、
   その衝突判断工程の判断結果を出力する出力工程と、をコンピュータに実行させることとしたコンピュータプログラム。
6. 前記ステレオマッチング工程の許容範囲は、左側画像データおよび右側画像データにおける上下方向の幅寸法の１％程度とするとともに、 当該許容範囲は変更可能とし、
   許容範囲が変更された場合には、変更された許容範囲にて前記三次元データを再作成する再マッチング工程を実行することとした請求項５に記載のコンピュータプログラム。
7. 前記衝突判断工程における対象領域は、三次元におけるＸＹ面、ＹＺ面およびＺＸ面を六面とした立方体とした請求項５または請求項６のいずれかに記載のコンピュータプログラム。
8. 前記衝突判断工程は、粒子が対象領域内の三次元方向の三平面を横切るか否かを順次一平面ずつ検証し、一つの平面を横切らないと判断した時点で前記粒子は対象領域内に到達しないとし、残りの平面に対する検証を終了することとした請求項７に記載のコンピュータプログラム。
9. 衝突判断処理システムと、その衝突判断処理システムの判断結果を用いて運転を制御する制御システムとを備えた風力発電装置であって、
   前記衝突判断処理システムは、左カメラおよび該左カメラと同期させて連続撮影する右カメラを備えた撮影手段と、
   その撮影手段におけるそれぞれの左カメラおよび右カメラが取得した左側画像データおよび右側画像データの高さ方向を予め同一に設定するとともにその左側画像データおよび右側画像データの水平方向での探索領域を画面縦方向の上下に予め設定した許容範囲に限って左側画像データの粒子と右側画像データの粒子の対応付けを実行して三次元データを作成するステレオマッチング手段と、
   そのステレオマッチング手段による三次元データの粒子と、次の時刻の左側画像データおよび右側画像データで対応付けられた三次元データの粒子の中で最も距離が短い粒子とを対応粒子として決定する時刻間対応付け手段と、
   その時刻間対応付け手段によって対応付けられた二つの時刻の粒子を用いて三次元速度ベクトルを算出する速度ベクトル算出手段と、
   その速度ベクトル算出手段で算出した粒子の速度ベクトルが予め設定した対象領域へ所定時間内に到達するか否かを判断する衝突判断手段と、を備え、
   前記制御システムは、前記衝突判断手段の判断結果を入力信号の一つとして運転を制御する
   こととした風力発電装置。

Images