JP2017204835A - 撮影制御システム、制御方法、及びプログラム - Google Patents

Abstract

【課題】搭載カメラによりブレの少ない画像を取得することができる撮影制御システム、制御方法、及びプログラムを提供することを目的とする。【解決手段】本発明は、マルチコプター等の飛行体の搭載カメラにより撮影対象物を撮影する撮影制御システムにおいて、上記飛行体の移動速度を検出する検出手段と、上記検出手段により検出された移動速度に応じて上記搭載カメラのシャッタースピードを制御する制御手段と、を有することを特徴とする。【選択図】図２

Description

本発明は、撮影制御システム、制御方法、及びプログラムに関する。

近年、トンネルや橋梁などの公共インフラの点検において自律式又は遠隔操縦式のマルチコプターなどの飛行体にデジタルカメラを搭載し、デジタルカメラによる点検対象を撮影する点検手法が提案されている。

このような点検手法の１つに飛行体型の目視点検装置を開示したものがある。この目視点検装置は、点検対象物までの位置を自動計測する測距装置や点検対象物の目視点検用のデジタルカメラなどを備え、目視点検により点検対象物の点検を実施する（特許文献１参照）。

従来提案されている飛行体を使った点検手法は、飛行体を移動させながら点検対象をデジタルカメラで撮影する場合に、点検時間が大幅に短縮するなど、点検効率を高めることが期待できる。しかしながら、飛行体の移動速度が増すと、デジタルカメラの撮影画像がブレて、点検対象の細かな損傷を見逃してしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、搭載カメラによりブレの少ない画像を取得することができる撮影制御システム、制御方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、飛行体の搭載カメラにより撮影対象物を撮影する撮影制御システムにおいて、上記飛行体の移動速度を検出する検出手段と、上記検出手段により検出された移動速度に応じて上記搭載カメラのシャッタースピードを制御する制御手段と、を有することを特徴とする。

本発明によれば、飛行体を移動させながら撮影対象物を撮影した場合においても撮影画像のブレを大幅に低減できるという効果を奏する。

図１は、第１の実施の形態に係る点検システムの構成例を示す図である。 図２は、飛行体の構成の一例を示すブロック図である。 図３は、デジタルカメラのハードウエア構成の一例を示すブロック図である。 図４は、飛行体のＲＯＭに記憶されている参照データの一例を示す図である。 図５は、参照データの説明図である。 図６は、測距センサを使用しない場合のシャッター制御フローの一例を示す図である。 図７は、測距センサを使用する場合のシャッター制御フローの一例を示す図である。 図８は、ドリフト補正動作の一例を示すフロー図である。 図９は、変形例１に係る飛行体の構成の一例を示すブロック図である。 図１０は、変形例２に係る飛行体の構成の一例を示すブロック図である。 図１１は、変形例３に係る点検システムの構成例を示す図である。

以下に添付図面を参照して、撮影制御システム、制御方法、及びプログラムの実施の形態を詳細に説明する。ここでは、撮影制御システム、制御方法、及びプログラムを、飛行体を使用した点検システムに適用した例を示す。

（第１の実施の形態）
図１は、第１の実施の形態に係る撮影制御システムを適用した点検システムの構成例を示す図である。図１（ａ）に示すように点検システム１は飛行体１ａと操縦装置１ｂとを有する。図１（ａ）の飛行体１ａは正面図を示したものであり、図１（ｂ）の飛行体１ａは平面図を示したものである。

飛行体１ａは、４つの回転翼１０や、各回転翼１０を個別に回転させるモーター１１や、「搭載カメラ」としてのデジタルカメラ１２や、「照明手段」としての照明装置１３や、「検出手段」や「距離検出手段」や「制御手段」などとしての制御ユニット１４などを本体フレーム１５に設けたマルチコプターである。

操縦装置１ｂは、飛行体１ａの操縦装置である。操縦装置１ｂは、飛行体１ａに対して移動方向や速度などを指示する各種の操作スロットル１６や、飛行体１ａのデジタルカメラ１２から送信される撮影画像を表示する液晶等の表示ディスプレイ１７などを有する。操縦装置１ｂは無線通信機（不図示）を内蔵し、オペレータが操縦する各種の操作スロットル１６からの移動方向や速度などを示す操縦信号を複数チャンネルに乗せて飛行体１ａに送信する。また、操縦装置１ｂは、飛行体１ａから送信されてくる撮影画像を無線通信機により受信し、その撮影画像を表示ディスプレイ１７に表示する。操縦装置１ｂは、例えばプロポと呼ばれるコントローラや、スマートフォンなどとして良い。

図２は、飛行体１ａの構成の一例を示すブロック図である。図２に示すように、飛行体１ａは、デジタルカメラ１２や、照明装置１３や、制御チップ１４０や、メモリ１４１や、４つのモーター１１や、モーターコントローラ１４２や、通信機１４３や、慣性センサ１４４や、測距センサ１４５や、バッテリー１４６などを有する。モーターコントローラ１４２、制御チップ１４０、メモリ１４１、通信機１４３、慣性センサ１４４、測距センサ１４５、及びバッテリー１４６は、制御ユニット１４に収められている。本実施の形態では、制御チップ１４０を「制御手段」の主な構成とし、慣性センサ１４４を「検出手段」の主な構成とし、測距センサ１４５を「距離検出手段」の主な構成として設けている。

デジタルカメラ１２は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary MOS）などのイメージセンサを備え、イメージセンサにより点検対象物を撮像し、撮像により得たデジタルフレーム画像（以下、「フレーム画像」と称す）を制御チップ１４０に連続的に出力する。

制御チップ１４０は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などにより構成されるマイクロコンピュータを有する。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを実行する。ＲＯＭは、上記制御プログラムやデータなどを記憶する。ＲＯＭは、当該データとして、シャッタースピードの調節に使用する参照データ（図４参照）などを有する。ＲＡＭは、ＣＰＵが制御プログラムを読み出して実行する際に使用するワークメモリである。

制御チップ１４０は、上記制御プログラムの実行に従い、飛行体１ａの各部に制御データを出力するなどして飛行体１ａ全体を制御する。具体的には、制御チップ１４０は、飛行体１ａの飛行制御や、デジタルカメラ１２のカメラ制御や、照明装置１３の明るさ制御などを行う。

飛行制御では、制御チップ１４０は、通信機１４３が受信した操縦装置１ｂからの操縦信号に対応する制御データをモーターコントローラ１４２へ出力するなどして飛行制御を行う。

カメラ制御では、制御チップ１４０は、慣性センサ１４４及び測距センサ１４５からの出力をモニタし、それらの出力値に対応した撮影モードになるようにデジタルカメラ１２に制御データを出力するなどしてカメラ制御を行う。

明るさ制御では、制御チップ１４０は、慣性センサ１４４及び測距センサ１４５からの出力をモニタし、それらの出力値に対応した明るさになるように照明装置１３に制御データを出力するなどして明るさ制御を行う。

この他、制御チップ１４０は、デジタルカメラ１２から出力されたフレーム画像を通信機１４３に出力し、そのフレーム画像を通信機１４３から操縦装置１ｂへ送信する。また、制御チップ１４０は、操縦装置１ｂからの記録開始を示す操作信号を通信機１４３が受信した場合に、デジタルカメラ１２から出力されたフレーム画像を所定形式に変換してメモリ１４１に保存する。

メモリ１４１は、デジタルカメラ１２から出力されたフレーム画像を記憶するフラッシュＲＯＭなどのメモリである。

４つのモーター１１は、それぞれの出力軸に取り付けた回転翼１０を個別に回転駆動するモーターである。モーターコントローラ１４２は、制御チップ１４０からの制御データに基づいて４つのモーター１１の回転数を個別に制御するコントローラである。

通信機１４３は、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信方式により無線通信を行う無線通信機である。例えば、通信機１４３は、制御チップ１４０から出力されたフレーム画像を送信データとして変調し、その送信データを電波発信する。また、通信機１４３は、電波を受信し、受信電波から受信データを復調して受信データ内の操縦データを制御チップ１４０に出力する。

照明装置１３は、ＰＷＭ（Pulse Width Modulation）信号により駆動するＬＥＤ（Light Emitting Diode）発光部を有する。照明装置１３は、照明の明るさを設定する設定レジスタを有し、設定レジスタに設定された明るさにＰＷＭ信号のパルス幅を調節してＬＥＤ発光部を駆動する。設定レジスタに対する明るさの設定は、制御チップ１４０が行うものとし、パルス幅を調節する制御データを設定する。なお、照明装置１３は、ＬＥＤの他に、キセノンランプなどの他の発光部を用いても良い。また、発光部の明るさの可変方式は、ＰＷＭ信号の他に、例えば発光部に流れる電流値を可変させるなど、適宜変形しても良い。

慣性センサ１４４は、ＩＭＵ（Inertial Measurement Unit）であり、本実施形態では、３軸加速度センサ、３軸ジャイロセンサ、及び３軸地磁気センサを有する１チップの９軸慣性センサである。３軸加速度センサは、「測定値」として３軸方向の加速度値を取得する。３軸加速度センサに取得された各値は、マイクロコンピュータなどにおいて積分により３軸方向の速度値に換算され、それらの合成ベクトル（飛行体１ａの並進方向）が速度値として算出される。３軸ジャイロセンサは、「測定値」として３軸方向（ピッチ、ロール、ヨー）の角速度を取得する。３軸地磁気センサは、「測定値」として移動方向及び方位を取得する。

測距センサ１４５は、点検対象物との距離を測定するセンサである。測距センサ１４５は、デジタルカメラ１２の光学系に入射する光の光軸方向に測定方向を向けて設置される。測距センサ１４５としては、例えば、超音波センサや、光学系センサや、或いはステレオデジタルカメラによる測距方式などを用いる。

バッテリー１４６は、リチウムイオン電池などであり、飛行体１ａの各部に駆動電力を供給する。

図３は、デジタルカメラ１２のハードウエア構成の一例を示すブロック図である。図３に示すデジタルカメラ１２は、レンズ等の光学系１２０、ＣＣＤイメージセンサ１２１、ＣＤＳ（Correllated Double Sampling）１２２、ＡＧＣ（Automatic Gain Control）１２３、ＡＤＣ（Analog to Digital Converter）１２４、ＤＳＰ（Digital Signal Processor）１２５、ＴＧ（Timing Generator）１２６、Ｖ（Vertical）ドライバ１２７、シリアルＩ／Ｏ（Input/Output）１２８、映像出力インターフェース部１２９、ＣＰＵ１３０、ＲＯＭ１３１、ＲＡＭ１３２などを有する。なお、図３に示す実線矢印は、フレーム画像の出力を示している。破線矢印は、タイミング信号の出力を示している。一点鎖線矢印は、制御データの設定先を示している。

ＣＣＤイメージセンサ１２１は、撮像素子を敷き詰めた受光面を有し、光学系１２０を通して受光面に結像した光を各撮像素子で光電変換して電荷として蓄積する。更に、ＣＣＤイメージセンサ１２１は、各撮像素子で蓄積した電荷を所定のタイミングで垂直転送用ＣＣＤに転送し、更に水平転送用ＣＣＤに転送する。そして、ＣＣＤイメージセンサ１２１は、それらの電荷をアンプで電圧に変換するなどして１フレーム分のアナログ輝度信号としてＣＤＳ１２２に出力する。

ＣＣＤイメージセンサ１２１は、各撮像素子で蓄積した電荷をＶドライバ１２７からの垂直転送タイミング信号に基づいて垂直転送用ＣＣＤに転送する。具体的に、ＣＣＤイメージセンサ１２１は、Ｖドライバ１２７から入力される垂直転送タイミング信号の露光開始を示すトリガ信号（露光開始トリガ信号）から露光終了を示すトリガ信号（露光終了トリガ信号）までの期間を露光期間とする電子シャッター機能を有する。Ｖドライバ１２７は、露光開始までの間、各撮像素子で蓄積した電荷を掃き出すパルス信号をＣＣＤイメージセンサ１２１に出力するなどして上記露光開始トリガ信号のタイミングを調節する。ＣＣＤイメージセンサ１２１は、上記パルス信号の入力後（つまり、露光開始トリガ信号の入力後）から露光終了トリガ信号の入力までの露光期間に蓄積される電荷を垂直転送用ＣＣＤへ転送し、更に１ライン毎に水平転送用ＣＣＤへ転送し、それらの電荷を電圧変換した１フレーム分のアナログ輝度信号としてＣＤＳ１２２へ出力する。

ＣＤＳ１２２は、アナログ輝度信号からアンプ雑音やリセット雑音などの雑音成分を除去してＡＧＣ１２３に出力する。

ＡＧＣ１２３は、ＣＤＳ１２２から入力されたアナログ輝度信号を増幅してＡＤＣ１２４に出力する。ＡＧＣ１２３は、ゲインをプログラマブルに制御するゲイン設定レジスタを有し、ゲイン値をシリアルＩ／Ｏ１２８を介して受け付ける。ＡＧＣ１２３は、ゲイン設定レジスタへゲイン値が設定されることにより、入力されたアナログ輝度信号のゲインを当該ゲイン値にプログラマブルに制御する。

ＤＳＰ１２５は、ＡＤＣ１２４でアナログ輝度信号からデジタル変換されたフレーム画像の信号処理を行う。ＤＳＰ１２５は、上記信号処理として、例えばガンマ補正などの画像処理を行う。ＤＳＰ１２５から出力されたフレーム画像は、映像出力インターフェース部１２９を介して制御チップ１４０に出力される。

ＴＧ１２６は、ＣＣＤイメージセンサ１２１や、Ｖドライバ１２７や、ＣＤＳ１２２や、ＡＧＣ１２３や、ＡＤＣ１２４や、ＣＰＵ１３０などに、タイミング信号を生成して出力する。ＴＧ１２６は、シャッタースピードを制御するシャッタースピード設定レジスタを有し、シャッタースピード値をシリアルＩ／Ｏ１２８を介して受け付ける。ＴＧ１２６は、シャッタースピード設定レジスタへシャッタースピード値が設定されることにより、Ｖドライバ１２７が出力する垂直転送タイミング信号の露光開始トリガ信号の出力タイミングをプログラマブルに調節する。

Ｖドライバ１２７は、ＴＧ１２６の出力信号に基づいて垂直転送信号（露光開始トリガ信号及び露光終了トリガ信号を含む）を出力する垂直クロックドライバである。

ＣＰＵ１３０は、撮影制御プログラムを実行するなどしてデジタルカメラ１２全体を制御する。例えば、ＣＰＵ１３０は、不図示の操作キーなどにより起動操作や各種撮影モードなどの設定を受け付けるなどすることにより撮影制御を開始する。

ＲＯＭ１３１は、撮影制御プログラムやデータを記憶する。ＲＡＭ１３２は、ＣＰＵ１３０が処理を実行する際に使用するワークメモリである。

ＣＰＵ１３０や、ＲＯＭ１３１や、ＲＡＭ１３２や、ＤＳＰ１２５などは、バス１３４を介して接続されている。

図４は、参照データの一例を示す図である。図４（ａ）に示すデータＤ１は、点検対象物との距離別に設定した、飛行体１ａの移動速度とデジタルカメラ１２のシャッタースピード値との対応関係を示すデータである。図４（ａ）に示すデータＤ１の構成について図５を参照しながら説明する。

図５は、図４（ａ）に示すデータＤ１をグラフで示した図である。図５において、横軸は飛行体１ａの移動速度Ｖ（ｋｍ／ｈ）を示す軸を示し、縦軸はデジタルカメラ１２のシャッタースピード（Ｐ）を示す軸を示す。なお、ここで、Ｐ軸は矢印の正の向きにシャッタースピードが速くなるものとする。シャッタースピードを示す指標であるシャッタースピード値については、Ｐ軸の正の向きに、・・・、１秒、１／２秒、１／４秒、１／８秒、１／１５秒、１／３０秒、１／６０秒、１／１２５秒、１／２５０秒、１／５００秒、１／１０００秒、１／２０００秒、１／４０００秒、・・・等と時間が短くなるものとする。

図５に示す実線グラフＧ１は、点検対象物との距離が遠い場合の、飛行体１ａの移動速度とデジタルカメラ１２のシャッタースピードとの対応関係の一例を示すグラフである。

図５に示す破線グラフＧ２は、点検対象物との距離が近い場合の、飛行体１ａの移動速度とデジタルカメラ１２のシャッタースピードとの対応関係の一例を示すグラフである。

図５に示すように、移動速度（Ｖ）の値が「ｖ１」以下の場合は、点検対象物との距離に関係なく、シャッタースピード（Ｐ）を最も遅い値「ｐ１」に設定する。

移動速度（Ｖ）の値が「ｖ１」を超える場合は、移動速度（Ｖ）の値「ｖ１」のときのシャッタースピード（Ｐ）の値「ｐ１」を基準に、移動速度（Ｖ）の増加と共に実線グラフＧ１及び破線グラフＧ２のシャッタースピード（Ｐ）を増加させる。実線グラフＧ１と破線グラフＧ２の移動速度（Ｖ）の各点におけるシャッタースピード（Ｐ）の変化率は、破線グラフＧ２の変化率≧実線グラフＧ１の変化率の関係を満たすようにする。そして、シャッタースピード（Ｐ）が最も速い値「ｐ２」に到達する移動速度（Ｖ）以降、つまり、破線グラフＧ２については移動速度（Ｖ）の値が「ｖ２」以降、実線グラフＧ１については移動速度（Ｖ）の値が「ｖ３」以降において、シャッタースピード（Ｐ）の値「ｐ２」を維持するようにする。

ここでは、点検対象物との距離により異なるシャッタースピードを示す例として、実線グラフＧ１及び破線グラフＧ２の２種類のグラフを示した。データＤ１（図４参照）には、実線グラフＧ１又は破線グラフＧ２に示すような、移動速度とシャッタースピード値との対応関係を示すデータを、少なくとも１つ、若しくは、実線グラフＧ１及び破線グラフＧ２に示すような点検対象物との距離別のデータを２つ以上設定する。これらの対応データは関数としてＲＯＭに記憶させておいても良い。

以上に示すように、飛行体１ａの移動速度（Ｖ）が所定速度（ｖ１）以下の場合は、シャッタースピード（Ｐ）を予め決めた最低速度（ｐ１）に固定することにより、撮影画像のブレを最大限低く抑える。飛行体１ａの移動速度（Ｖ）が所定速度（ｖ１）以上になった場合には、シャッタースピード（Ｐ）が最低速度のままだと撮影画像のブレが大きくなるため、シャッタースピード（Ｐ）がより速くなる方向へシャッタースピード値を変化させる。この際に、点検対象物との距離が近い場合、距離が遠い場合と比べて撮影画像のブレがより大きくなる。このため、移動速度（Ｖ）が同じ場合でも点検対象物との距離が近い場合には、距離が遠い場合に比べてシャッタースピード（Ｐ）を更に速くする。

ここで、図４を参照し、他のデータについて説明する。図４（ｂ）に示すデータＤ２は、シャッタースピード値ｄ１とゲイン値ｄ２との対応関係を示すデータである。シャッタースピード値ｄ１に示す各値（ｐ１、ｐ１．１、ｐ１．２、・・・）は、図４（ａ）に示すデータＤ１のシャッタースピード値に対応している。例えばｐ１＝１秒、ｐ１．１＝１／２秒、ｐ１．２＝１／４秒、・・・などの値をとる。ゲイン値ｄ２に示す各値（ｇ１、ｇ１．１、ｇ１．２、・・・）は、ＡＧＣ１２３のゲイン設定レジスタに設定するゲイン調節のための値である。シャッタースピード値ｄ１の値毎に、ゲイン調節のための最適値をゲイン値ｄ２に設定する。本例においてシャッタースピード値ｄ１の各値（ｐ１、ｐ１．１、ｐ１．２、・・・）は、シャッタースピードが低速から高速になる順に並んでいる。このため、ゲイン値ｄ２の各値（ｇ１、ｇ１．１、ｇ１．２、・・・）は、この順にゲイン値が増加するように設定する。

図４（ｃ）に示すデータＤ３は、シャッタースピード値ｄ１と照明装置１３のパルス幅ｄ３との対応関係を示すデータである。シャッタースピード値ｄ１に示す各値（ｐ１、ｐ１．１、ｐ１．２、・・・）は、図４（ａ）に示すデータＤ１のシャッタースピード値に対応している。パルス幅ｄ３に示す各値（ｑ１、ｑ１．１、ｑ１．２、・・・）は、照明装置１３の明るさを制御する制御対象に設定する値である。ここでは、一例としてＰＷＭ信号のパルス幅を調節する調節値を設定している。シャッタースピード値ｄ１の値毎に、パルス幅の調節値をパルス幅ｄ３に設定する。本例においてシャッタースピード値ｄ１の各値（ｐ１、ｐ１．１、ｐ１．２、・・・）は、シャッタースピードが低速から高速になる順に並んでいる。このため、パルス幅ｄ３の各値（ｑ１、ｑ１．１、ｑ１．２、・・・）は、この順にパルス幅を増加し、照明が順次明るくなるように設定する。

撮像素子は、シャッタースピード（Ｐ）が速くなるに従い露光時間が短くなる。このため、撮像画像は、シャッタースピード（Ｐ）が速くなるに従い、光量不足により輝度が低下する傾向を示すようになる。図４（ｂ）に示すデータＤ２は、シャッタースピード（Ｐ）が速くなるに連れて低下するアナログ輝度信号レベルをゲインの増加により補うためのゲイン値の参照データとなっている。また、図４（ｃ）に示すデータＤ３は、シャッタースピード（Ｐ）が速くなるに連れて少なくなる電荷の蓄積量を照明を明るくすることにより補うための明るさの程度を示す参照データとなっている。

次に、デジタルカメラ１２のシャッター制御フローについて説明する。制御チップ１４０は、制御チップ１４０のＲＯＭの制御プログラムを実行して、加速度値から速度値を検出する検出部（慣性センサ１４４と共に「検出手段」を構成するもの）や、上記速度値に対応する制御データを出力する制御部（「制御手段」を構成するもの）や、慣性センサ１４４の出力値の後述するドリフトを補正する補正部（「補正手段」を構成するもの）などの機能部を実現し、次に示すシャッター制御を行う。

図６は、測距センサ１４５を使用しない場合のシャッター制御フローの一例を示す図である。

先ず、制御チップ１４０は慣性センサ１４４の出力値を読み取り、飛行体１ａの移動速度を検出する（Ｓ１）。具体的に、制御チップ１４０は、慣性センサ１４４の３軸加速度センサが出力する３軸方向の各加速度値を読み取り、各加速度値を積分により３軸方向の速度値に換算し、それらの合成ベクトル（飛行体１ａの並進方向）を速度値として検出する。

続いて、制御チップ１４０は、参照データ（図４参照）から、ステップＳ１で検出した速度値に対応する制御データを取得する（Ｓ２）。具体的に、制御チップ１４０は、参照データの内のデータＤ１（図４（ａ）参照）を参照し、所定の距離の対応データ、例えば実線グラフＧ１（図５参照）又は破線グラフＧ２（図５参照）の何れか１つ、から上記速度値に対応するシャッタースピード値を取得する。また、制御チップ１４０は、上記参照データの内のデータＤ２（図４（ｂ）参照）を参照し、データＤ１から取得したシャッタースピード値に対応するゲイン値を取得する。更に、制御チップ１４０は、上記参照データの内のデータＤ３（図４（ｃ）参照）を参照し、データＤ１から取得したシャッタースピード値に対応するパルス幅の調節値を取得する。

続いて、制御チップ１４０は、ステップＳ２で取得したシャッタースピード値が直近に取得したシャッタースピード値と値が異なるかを判定する（Ｓ３）。それらの値が一致する場合（ステップＳ３：Ｎｏ判定）は、ステップＳ５に処理を移行する。

ステップＳ２で取得したシャッタースピード値が直近に取得したシャッタースピード値と値が異なる場合（ステップＳ３：Ｙｅｓ判定）、制御チップ１４０は、デジタルカメラ１２にシャッタースピード値の変更を指示する（Ｓ４）。具体的に、制御チップ１４０は、シリアルＩ／Ｏ１２８を介し、デジタルカメラ１２のＴＧ１２６のシャッタースピード設定レジスタにステップＳ２で取得したシャッタースピード値を設定する。この設定により、ＴＧ１２６は、露光開始トリガ信号のタイミングを、設定されたシャッタースピード値に基づくタイミングに調節し、露光時間を変化させる。例えば、設定されたシャッタースピード値がシャッタースピードを速めるものである場合、ＴＧ１２６は、露光開始トリガ信号のタイミングを遅らせる、つまり、Ｖドライバ１２７に掃き出し用のパルスをより多く出力させるなどして露光時間を短くする。

続いて、制御チップ１４０は、ステップＳ２で取得したゲイン値が直近に取得したゲイン値と値が異なるかを判定する（Ｓ５）。それらの値が一致する場合（ステップＳ５：Ｎｏ判定）は、ステップＳ７に処理を移行する。

ステップＳ２で取得したゲイン値が直近に取得したゲイン値と値が異なる場合（ステップＳ５：Ｙｅｓ判定）、制御チップ１４０は、デジタルカメラ１２にゲイン値の変更を指示する（Ｓ６）。具体的に、制御チップ１４０は、シリアルＩ／Ｏ１２８を介し、デジタルカメラ１２のＡＧＣ１２３のゲイン設定レジスタにステップＳ２で取得したゲイン値を設定する。この設定により、ＡＧＣ１２３は、入力されるアナログ輝度信号のゲインを変化させる。例えば、ゲインを増加させるゲイン値が設定された場合、ＡＧＣ１２３は、入力されるアナログ輝度信号のゲインを増加させるように制御する。

続いて、制御チップ１４０は、ステップＳ２で取得したパルス幅の調節値が直近に取得したパルス幅の調節値と値が異なるかを判定する（Ｓ７）。それらの値が一致する場合（ステップＳ７：Ｎｏ判定）は、ステップＳ１に処理を移行する。

ステップＳ２で取得したパルス幅の調節値が直近に取得したパルス幅の調節値と値が異なる場合（ステップＳ７：Ｙｅｓ判定）、制御チップ１４０は、照明装置１３に明るさの変更を指示する（Ｓ８）。具体的に、制御チップ１４０は、照明装置１３にステップＳ２で取得したパルス幅の調節値を出力する。照明装置１３は、そのパルス幅の調節値に基づき、ＬＥＤ発光部を駆動するＰＷＭ信号のパルス幅を変化させる。例えば、パルス幅の調節値がパルス幅を増加させる値であった場合、照明装置１３は、照明がより明るくなるようにＬＥＤ発光部のＰＷＭ信号を調節する。ステップＳ８の処理後は、ステップＳ１に戻って同様の制御を繰り返す。

なお、デジタルカメラ１２におけるシャッタースピードとゲインと調節のタイミングと、照明装置１３における照明の明るさの調節のタイミングは一致させることが望ましい。

図７は、測距センサ１４５を使用する場合のシャッター制御フローの一例を示す図である。先ず、制御チップ１４０は慣性センサ１４４の出力値を読み取り、飛行体１ａの移動速度を検出する（Ｓ１１）。

更に、制御チップ１４０は測距センサ１４５の出力値を読み取り、点検対象物との距離を検出する（Ｓ１２）。

続いて、制御チップ１４０は、参照データ（図４参照）から、ステップＳ１１で検出した速度値とステップＳ１２で検出した距離とに対応する制御データを取得する（Ｓ１３）。

一例として、データＤ１（図４（ａ）参照）に、異なる距離の対応データとして実線グラフＧ１（図５参照）と破線グラフＧ２（図５参照）の各データが設定されているものと仮定した場合の処理について以下に示す。

先ず、制御チップ１４０は、ステップＳ１２で検出した検出距離と、実線グラフＧ１や破線グラフＧ２により示される各対応データに対応付けられている識別情報としての距離情報とを比較し、上記検出距離により近い距離情報を識別情報として有する対応データを選択する。そして、制御チップ１４０は、選択した対応データが示すグラフ（実線グラフＧ１又は破線グラフＧ２）において、ステップＳ１１で検出した移動速度に対応するシャッタースピード値を取得する。また、制御チップ１４０は、上記参照データの内のデータＤ２（図４（ｂ）参照）を参照し、データＤ１から取得したシャッタースピード値に対応するゲイン値を取得する。更に、制御チップ１４０は、上記参照データの内のデータＤ３（図４（ｃ）参照）を参照し、データＤ１から取得したシャッタースピード値に対応するパルス幅の調節値を取得する。

その後は、図６に示すステップＳ３〜ステップＳ８に示す制御を同様に行うため、これ以上の図示及び説明は省略する。なお、ステップＳ８の処理後は、ステップＳ１１に戻って同様の制御を行うものとする。

次に、慣性センサ１４４の出力のドリフト補正動作について説明する。慣性センサ１４４は、出力にノイズの影響によるドリフトが発生することが知られている。従って、長時間飛行では、得られる出力値の精度が低下する。本実施形態では、定期的にドリフトの補正動作を行うことによりドリフトの影響を抑える。具体的には、飛行体１ａを空中に静止させる静止動作を行って慣性センサ１４４の出力値を初期値にリセットする。このドリフト補正動作の実行期間は、例えば飛行体１ａの飛行開始から飛行終了までの期間などとする。以下では、制御チップ１４０は、回転翼１０を回転させる制御を開始した場合に当該ドリフト補正動作を開始し、回転翼１０の回転制御を終了した場合に当該ドリフト補正動作を終了するものとして説明する。以下、制御チップ１４０がハードウエアタイマを備える形態のものとし、当該ドリフト補正動作の開始から終了までの処理について説明する。

図８は、ドリフト補正動作の一例を示すフロー図である。先ず、制御チップ１４０は、タイマーに設定時間Ｔ１をセットし、タイマーをスタートさせる（Ｓ２１）。

続いて、制御チップ１４０は、タイマーから設定時間Ｔ１の経過を示す入力があったかを判定する（Ｓ２２）。タイマーから設定時間Ｔ１の経過を示す入力が無い場合（ステップＳ２２：Ｎｏ判定）、制御チップ１４０は、タイマーから設定時間Ｔ１の入力があるまで待機する。なお、この間、制御チップ１４０は、操作信号の入力に基づく飛行制御や、カメラ制御や、照明制御などを行う。

その後、タイマーから設定時間Ｔ１の経過を示す入力があった場合（ステップＳ２２：Ｙｅｓ判定）、制御チップ１４０は、飛行体１ａを空中に静止させるホバーリング制御を行う（Ｓ２３）。ホバーリング制御において、制御チップ１４０は、慣性センサ１４４の出力をモニタし、その出力値に基づいてモーターコントローラ１４２を制御し、空中において飛行体１ａの静止動作を実現する。

続いて、制御チップ１４０は、飛行体１ａの静止動作が成功したかを判定する（Ｓ２４）。ここでは、一例として、３軸の並進方向の速度が１０（ｃｍ／ｓｅｃ）以下、３軸の角速度が１５（ｄｅｇ／ｓｅｃ）以下の状態が１秒以上続いた時に静止動作が成功したものと判定する。飛行体１ａの静止動作が成功していない場合（ステップＳ２４：Ｎｏ判定）、ステップＳ２３のホバーリング制御を繰り返し行う。

飛行体１ａの静止動作が成功した場合（ステップＳ２４：Ｙｅｓ判定）、慣性センサ１４４の出力値を０にリセットし、ホバーリング制御を解除する（Ｓ２５）。つまり、制御チップ１４０は、操縦信号に基づくモーターコントローラ１４２の制御に戻す。

ステップＳ２５の後は、ステップＳ２１に戻り、同様の動作を繰り返す。

（変形例１）
第１の実施の形態に示す点検システムの変形例１として、飛行体１ａがデジタルカメラ１２から取得したフレーム画像を基に飛行体１ａの移動速度を求めるオプティカルフロー制御について示す。

図９は、変形例１に係る飛行体２ａの構成の一例を示すブロック図である。図９に示す飛行体２ａは、図２に示す制御チップ１４０にオプティカルフロー算出機能２４０を設けたものである。変形例１では、慣性センサ１４４を使用せずにオプティカルフロー算出機能２４０により「検出手段」を構成する。なお、図９に示す慣性センサ１４４は、通常の飛行制御において使用するものとする。

オプティカルフロー算出機能２４０は、制御チップ１４０のＣＰＵがＲＯＭのオプティカルフロー算出プログラムを読み出して実行することにより機能部として実現される。

オプティカルフロー算出機能２４０は、時系列的に連続する異なる２枚のフレーム画像から計算によりフレーム画像内の速度場を算出し、その速度場に基づいて物体の一意の速度（オプティカルフロー）を推定する処理を行う。本例では、フレーム画像から算出される物体の速度は相対的に飛行体２ａの移動速度を示す点に着目し、物体のオプティカルフローの算出により飛行体２ａの移動速度を推定する。

オプティカルフローのアルゴリズムについて説明する。オプティカルフローは、「オプティカルフロー拘束方程式」を基に、所定の仮定条件下において勾配法やブロックマッチング法などによる計算を行い、連続するフレーム画像内の物体の速度ベクトルを一意に推定する処理を行う。以下では、一例として、勾配法による速度ベクトルの推定について説明する。

連続するフレーム画像のフレーム番号を「ｔ（ｔ＝１、２、・・・）」とし、フレーム画像ｔのある点（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ，ｔ）とする。このとき、フレーム画像内の物体の移動前後の輝度値は変化しないものと仮定すると、式（１）が成立する。

式（１）をテイラー展開すると、式（２）が得られる。

ここで、物体の移動する移動ベクトルのｘ成分とｙ成分をｕ、ｖとすると、（３）式が成り立ち、式（２）に式（３）を代入すると式（４）のオプティカルフロー拘束方程式が得られる。

パラメータｕ、パラメータｖのそれぞれの解を一意に求めるため、次の仮定を付加してそれらの解を推定する。ここでは、近傍画素も同じ動きをするという仮定を基に、ｎ（ｎは自然数）ピクセル×ｎピクセルの微小矩形領域の各画素のパラメータｕとパラメータｖの解を推定する例を示す。

次式（５）は、パラメータｕとパラメータｖのｎ×ｎ個の方程式を行列で表したものである。

ここで、Ｇ、ｆ、ｂは、それぞれ、次の行列によって表される。

式（６）を満たすパラメータｕ、パラメータｖのそれぞれの解は、ばらつきがある。このため、式（５）を最小二乗法の式に代入してなる式（７）を使用する。

式（７）により、速度ベクトルｆのパラメータｕとパラメータｖのそれぞれの推定解が求まる。

制御チップ１４０は、このようなアルゴリズムで算出されたフレーム画像内の物体の速度成分ｕと速度成分ｖの推定解を基に、更に速度成分ｕと速度成分ｖの合成ベクトルの大きさを算出する。

そして、フレーム画像内の各画素の合成ベクトルの速度分布から平均値＋２σ（σ：分散）より大きな値を除いた後に、再度平均値を算出する。

これにより、制御チップ１４０は、その算出結果を、飛行体２ａの移動速度とし、当該移動速度を基にシャッタースピードやゲインや照明の明るさを制御する。

このように、平均値を用いることで画像の大部分のブレが抑えられるが、この際ノイズを除いた後の最大値を用いるなどしてもよい。最大値を用いることでよりブレを抑えることが出来る。ただし、その場合、画像が暗くなり過ぎないようなパラメータ設定にする必要がある。

（変形例２）
第１の実施の形態に示す点検システムの変形例２として、飛行体１ａで検出した飛行体１ａの加速度情報を基に飛行体１ａの移動方向や移動速度を予測してシャッタースピードを制御するフィードフォワード制御について示す。

図１０は、変形例２に係る飛行体の構成の一例を示すブロック図である。図１０に示す飛行体３ａは、図２に示す制御チップ１４０にフィードフォワード算出機能３４０を設けたものである。変形例２では、「速度算出手段」として、当該フィードフォワード算出機能３４０を構成している。

フィードフォワード算出機能３４０は、制御チップ１４０のＣＰＵがメモリのフィードフォワード算出プログラムを読み出して実行することにより機能部として実現される。

フィードフォワード処理について説明する。制御チップ１４０は、慣性センサ１４４が備える３軸加速度センサから３軸方向の加速度値を取得し、それらの合成ベクトル（飛行体３ａの並進方向）の加速度値αを算出する。制御チップ１４０は、その加速度値αと、第１の実施形態において慣性センサ１４４の出力情報から算出した飛行体３ａの速度情報ｖ（０）とを基に、所定時間先の飛行体３ａの速度（「予測移動速度」）ｖ（ｓ）を式（８）により予測する。

なお「ｓ」は、算出する予測移動速度に達する時間とする。この時間は、例えば、制御チップ１４０が慣性センサ１４４の出力情報を読み取ってからデジタルカメラ１２がシャッタースピードの調節を完了するまでの、予め測定などにより求めた時間などを設定する。

制御チップ１４０は、式（８）によって得た速度ｖ（ｓ）が示す速度情報に基づき、参照データを参照して対応するシャッタースピード値を取得し、そのシャッタースピード値をデジタルカメラ１２に出力する。また、ゲイン値や照明装置の明るさについても上記速度情報に対応するものを参照データから取得し、それぞれの制御対象に出力する。

なお、制御チップ１４０は、飛行体３ａの加速度情報を慣性センサ１４４から取得するものとして説明したが、飛行体３ａの速度情報から加速度情報を算出しても良い。例えば、変形例１に示すオプティカルフロー処理により求めた１フレームの速度情報と、更に、これに時間的に連続するフレームを対象に求めた速度情報とから、式（９）を用いて加速度情報を求める。

以上により、飛行体３ａの加速度情報から微小時間後の速度を予測し、その速度情報に対応するシャッター速度に前以て設定する、フィードフォワード制御を行う。

（変形例３）
第１の実施の形態に示す点検システムの変形例３として、地上の複数台のデジタルカメラにより飛行体１ａに設けたマーカを撮影し、モーションキャプチャ処理などにより点検対象物に対する飛行体１ａの相対速度や相対加速度などを算出して飛行体１ａに送信するシステムの態様を示す。

図１１は、変形例３に係る点検システムの構成例を示す図である。図１１に示す点検システム４は、地上にモーションキャプチャシステム４ｃを設けたものである。変形例３では、「検出手段」として制御チップの検出部及び慣性センサ１４４の代わりに、地上にモーションキャプチャシステム４ｃを構成している。

飛行体４ａは、本体フレーム１５などの外面部に多数の反射マーカ４０を取り付けたものである。反射マーカ４０は、後述する治具に取り付けたものと同じ反射マーカを使用し、取り付け位置は、治具への取り付け位置と同様な配置で本体フレーム１５などの外面部に取り付ける。反射マーカ４０は、地上カメラ４１で撮影可能なマーカであれば反射マーカに限定されない。ここでは、一例として、白色や、カラー色、地上カメラ４１に赤外線カメラを使用する場合には赤外線を反射する反射マーカなどを使用する。

モーションキャプチャシステム４ｃは、少なくとも２台以上の地上カメラ４１と、モーションキャプチャ処理を行うＰＣ等のコンピュータ４２とを有する。

各地上カメラ４１は、三脚などにより固定し、飛行体４ａが点検する点検対象物に向けて、互いに角度をずらして設置する。各地上カメラ４１には照明装置（不図示）が取り付けられており、その照明装置により飛行体４ａの反射マーカ４０を照明する。

コンピュータ４２は、ＣＰＵ４２０やＲＯＭ４２１やＲＡＭ４２２や画像ボード４２３や無線通信インターフェース４２４などを有する。ＣＰＵ４２０は、各種プログラムを実行するなどしてコンピュータ４２全体を制御する。ＲＯＭ４２１は、コンピュータの制御プログラムやデータを記憶する。制御プログラムには、速度算出プログラムなどが含まれる。ＲＡＭ４２２は、ＣＰＵ４２０が各種処理を実行する際に使用するワークメモリである。画像ボード４２３は、各地上カメラ４１から動画像を入力してモーションキャプチャ処理を行う画像処理回路である。無線通信インターフェース４２４は、飛行体１ａとＷｉＦｉやＢｌｕｅｔｏｏｔｈなどの通信方式により通信を行い、飛行体１ａに速度情報等を送信する。本例では、ＣＰＵ４２０やＲＯＭ４２１やＲＡＭ４２２や画像ボード４２３などが「解析手段」を構成し、無線通信インターフェース４２４などが「送信手段」を構成する。

ここで、モーションキャプチャ処理のためのキャリブレーション処理について説明する。コンピュータ４２は、予め、各地上カメラ４１から動画像を取り込み、画像ボード４２３のキャリブレーション処理として、取り込まれた動画像（平面画像）から飛行体４ａの３次元空間の動きを画像ボード４２３で計算させる準備処理を行う。具体的には、飛行体４ａの代わりとなる治具の複数個所に反射マーカを取り付ける。そして、その治具を地上カメラ４１で撮影し、画像ボード４２３によりモーションキャプチャ処理される治具の反射マーカの動きを飛行体１ａの３次元モデルの動きと一致させる。この準備処理の際に、平面画像内の点検対象物を３次元モデル化し、飛行体１ａの３次元モデルが移動する３次元空間内に配置しておいても良い。

次に、実際の飛行体４ａの動きから速度情報を求める処理について説明する。ＣＰＵ４２０は、画像ボード４２３を制御し、モーションキャプチャ処理により得られた飛行体４ａの３次元空間内の動き情報（飛行体４ａの３次元モデルの各点の時系列の位置情報）を取得する。更に、ＣＰＵ４２０は、その動き情報から、例えば飛行体４ａの重心の速度情報を算出し、その速度情報を無線通信インターフェース４２４を介して飛行体４ａに送信する。３次元空間内に点検対象物をモデル化している場合には、上記速度情報として点検対象物との相対速度を求める。

飛行体４ａは、地上のモーションキャプチャシステム４ｃから送信される速度情報を通信機１４３で受信し、制御チップ１４０がその速度情報を読み取ってデジタルカメラ１２のシャッタースピードや、ゲインや、照明装置１３の明るさ等を制御する。

本実施の形態及び各変形例においては、電子シャッターを有するデジタルカメラを例に電子シャッターのシャッタースピード制御について説明したが、電子シャッターに限らずメカニカルシャッターを有するデジタルカメラに当該シャッタースピード制御を適用しても良い。

また、本実施の形態及び各変形例においては、搭載カメラとしてデジタルカメラを例に説明したが、デジタルカメラに限らず、シャッター制御が可能なカメラであればビデオカメラなどであっても良い。

また、本実施の形態及び各変形例においては、制御チップがプログラムを実行してデジタルカメラや照明装置に制御データを出力する態様を示したが、制御チップから露光時間を示すタイミング信号をデジタルカメラに出力したり、制御チップから照明装置にＰＷＭ信号を出力したりするなど、適宜変形を行っても良い。この場合にも、デジタルカメラのシャッタースピードを調節するタイミングと、ゲインを調節するタイミングと、照明装置の明るさを調節するタイミングとを一致させるようにする。

また、本実施の形態及び各変形例においては、制御チップをシャッタースピードとゲインと照明の明るさを制御するものとして説明したが、少なくともシャッタースピードを制御するものであれば良い。

また、本実施の形態及び各変形例を適宜組み合わせても良い。

以上により、本実施の形態及び各変形例に示す点検システムは、飛行体を移動させながら撮影対象物を撮影した場合においても撮影画像のブレを大幅に低減することが可能になる。

実施の形態及び各変形例で実行されるプログラムは、ＲＯＭなどのメモリ部に予め組み込まれて提供するものとしているが、これに限定されるものではない。実施の形態及び各変形例で実行されるプログラムを、コンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供してもよい。例えば、インストール可能な形式または実行可能な形式のファイルで、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等の記録媒体に記録して提供してもよい。

また、実施の形態及び各変形例で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施の形態及び各変形例で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ａ 飛行体
１１ モーター
１２ デジタルカメラ
１３ 照明装置
１４ 制御ユニット
１４０ 制御チップ
１４１ メモリ
１４２ モーターコントローラ
１４３ 通信機
１４４ 慣性センサ
１４５ 測距センサ
１４６ バッテリー

特開２０１４−２２７１６６号公報

Claims (10)

1. 飛行体の搭載カメラにより撮影対象物を撮影する撮影制御システムであって、
   前記飛行体の移動速度を検出する検出手段と、
   前記検出手段により検出された移動速度に応じて前記搭載カメラのシャッタースピードを制御する制御手段と、
   を有する撮影制御システム。
2. 更に、
   前記搭載カメラと前記撮影対象物との間の距離を検出する距離検出手段を有し、
   前記制御手段は、前記検出手段により検出された前記移動速度及び前記距離検出手段により検出された前記距離に応じて前記搭載カメラのシャッタースピードを制御する、
   請求項１に記載の撮影制御システム。
3. 更に、
   前記撮影対象物を照明する照明手段を有し、
   前記制御手段は、前記検出手段により検出された前記移動速度に応じて前記搭載カメラのシャッタースピード及び前記照明手段の照明の明るさを制御する、
   請求項１に記載の撮影制御システム。
4. 前記飛行体は、
   前記検出手段として慣性センサを有し、
   更に、前記慣性センサの測定値のドリフトを補正する補正手段を有する、
   請求項１に記載の撮影制御システム。
5. 前記補正手段は、前記飛行体を空中に静止動作させて前記測定値を初期値にリセットする補正動作を含む、
   請求項４に記載の撮影制御システム。
6. 前記検出手段は、前記搭載カメラにより撮影された画像の時系列順の画像を基に画像中の物体の移動速度から前記飛行体の相対的な移動速度を算出することにより前記移動速度を検出する、
   請求項１に記載の撮影制御システム。
7. 前記検出手段は、前記飛行体の前記移動速度の検出に加えて前記飛行体の加速度を検出し、
   前記検出手段により検出された前記移動速度からの所定時間先の前記飛行体の移動速度である予測移動速度を前記加速度から算出する速度算出手段を更に有する、
   請求項１に記載の撮影制御システム。
8. 前記検出手段は、
   前記飛行体に装着したマーカと、
   複数台の地上カメラと、
   前記複数台の前記地上カメラが撮影した撮影画像中の前記飛行体の前記マーカから３次元空間における前記飛行体の動きを解析することにより前記飛行体の前記移動速度を算出する解析手段と、
   前記解析手段が解析した前記移動速度を前記飛行体に送信する送信手段と、
   を有する、
   請求項１に記載の撮影制御システム。
9. 飛行体の搭載カメラの制御方法であって、
   前記飛行体の移動速度を検出する工程と、
   前記検出された移動速度に応じて前記搭載カメラのシャッタースピードを制御する工程と、
   を含む制御方法。
10. コンピュータを、
    飛行体の移動速度を検出する検出手段と、
    前記検出手段により検出された移動速度に応じて前記飛行体の搭載カメラのシャッタースピードを制御する制御手段と、
    として機能させるプログラム。

Images