JP2018112572A

JP2018112572A - 撮影装置

Info

Publication number: JP2018112572A
Application number: JP2017001080A
Authority: JP
Inventors: 信之介内海; Shinnosuke Utsumi
Original assignee: Tamagawa Seiki Co Ltd
Current assignee: Tamagawa Seiki Co Ltd
Priority date: 2017-01-06
Filing date: 2017-01-06
Publication date: 2018-07-19

Abstract

【課題】回転ブレと並進ブレとの両方を精度よく除去することができる撮影装置を提供する。【解決手段】並進ブレ推定結果Ａを擬似回転ブレＢに変換した後、前記擬似回転ブレＢから角速度センサ５０で測定した回転ブレ測定結果Ｃを減算する。次に、前記擬似回転ブレＢと前記回転ブレ測定結果Ｃとを基に、ジンバル３０の角速度制御を行い、角速度制御指令Ｄを前記ジンバル３０の各アクチュエータ３２に出力し、前記ジンバル３０を駆動する。前記ジンバル３０が駆動することによるブレ除去動作Ｅにより、カメラ４０の向きが前記並進ブレ推定結果Ａ及び前記回転ブレ測定結果Ｃが除去されるように制御される。前記回転ブレ測定結果Ｃは、前記ジンバル３０の角速度制御にフィードバックされる。【選択図】図５

Description

この発明は撮影装置に関し、特に、移動体に設けられたジンバルに取り付けられているカメラの、除去が困難とされる並進ブレと通常の回転ブレとを除去することができる撮影装置に関する。

移動体に可動自在に設けられたジンバルにカメラを取り付けて撮影を行う場合に、移動体の振動に起因するカメラのブレにより映像にブレが生じることがある。この時のブレの種類は、カメラの視線軸の向きを変化させる回転運動による回転ブレと、カメラの視線軸の動きを変化させない並進運動による並進ブレとがある。

映像のブレを除去するための方法として、例えば以下の特許文献に記載された内容を挙げることができる。すなわち、図６に示すように、特許文献１に記載されている従来の撮影装置１０では、移動体２０に取り付けられたジンバル３０にカメラ４０と角速度センサ５０とが取り付けられており、前記ジンバル３０に設けられた制御部２３が、前記角速度センサ５０の測定結果を基に前記カメラ４０に設けられた走査ミラー４６を駆動することで、回転ブレを除去することができる。

また、図７に示すように、特許文献２に記載されている従来の撮影装置１１は、レンズ部４４を通過した光を、電気信号に変換する撮像素子からなる撮影部４１が設けられた駆動部４２と、加速度センサ２４０と、ブレ補正マイコン２３０とが設けられた制御部２３とを備えたカメラ４０からなり、前記加速度センサ２４０の測定結果を前記ブレ補正マイコン２３０で積分演算して撮影装置１１の並進ブレを推定し、推定した並進ブレを打ち消すように前記制御部２３が前記駆動部４２を駆動することで、前記撮影部４１を駆動して並進ブレを除去することができる。

さらに、図８に示すように、特許文献３に記載されている従来の撮影装置１２では、ジンバル３０にカメラ４０が取り付けられており、前記カメラ４０に設けられた撮影部４１に撮像された映像を、前記撮影部４１に接続された映像処理部２２で映像処理して並進ブレを推定し、推定された並進ブレを基に制御部２３が位置調整駆動部３１を介してレンズシフト機構４７を制御しレンズ部４４を移動することで、並進ブレを除去することができる。

特開平１１−２５４２６１号公報国際公開第２０１４／１３２８２７号公報特開２０１５−１３６０３５号公報

しかし、特許文献１に記載されている従来の前記撮影装置１０では、並進ブレは除去できないという問題点があった。また、特許文献２に記載されている従来の前記撮影装置１１では、並進ブレの推定のために前記加速度センサ２４０の測定結果を積分演算するので、並進ブレ推定結果の累積誤差が大きくなるという問題点があった。さらに、特許文献３に記載されている従来の前記撮影装置１２では、撮影された映像のちらつきや輝度変化等による影響を受けて、並進ブレの推定精度が悪化するという問題点があった。

この発明は、このような問題点を解決するためになされたものであり、回転ブレと並進ブレとの両方を精度よく除去することができる撮影装置を提供する。

この発明に係る撮影装置は、移動体に対して可動自在に設けられたジンバルと、前記ジンバルに設けられたカメラと、前記移動体又は前記ジンバルに設けられ、前記ジンバルを制御することで前記カメラの向きを制御する制御部と、前記カメラ又は前記ジンバルに設けられ、前記カメラの視線軸の向きを変化させる回転運動によるブレである回転ブレを測定する角速度センサと、前記移動体又は前記ジンバルに設けられ、前記カメラの視線軸の向きを変化させない並進運動による並進ブレを推定する並進ブレ推定部とを備え、前記角速度センサの回転ブレ測定結果と前記並進ブレ推定部の並進ブレ推定結果とを基に、前記制御部が前記ジンバルを制御して前記カメラの向きを制御し、また、前記並進ブレ推定結果を、擬似的な回転ブレとみなせる擬似回転ブレに変換し、前記擬似回転ブレの角速度と回転ブレ測定結果とを基に、前記ジンバルを駆動し、また、前記並進ブレ推定部は加速度センサを備え、前記加速度センサの測定結果の積分演算結果と、前記カメラの撮影画像のオプティカルフロー演算の結果とを基に、前記カメラの並進ブレを推定する。

本発明に係る撮影装置によれば、移動体に対して可動自在に設けられたジンバルと、ジンバルに設けられたカメラと、移動体又はジンバルに設けられ、ジンバルを制御することでカメラの向きを制御する制御部と、カメラ又はジンバルに設けられ、カメラの視線軸の向きを変化させる回転運動によるブレである回転ブレを測定する角速度センサと、移動体又はジンバルに設けられ、カメラの視線軸の向きを変化させない並進運動による並進ブレを推定する並進ブレ推定部とを備え、角速度センサの回転ブレ測定結果と並進ブレ推定部の並進ブレ推定結果とを基に、制御部が前記ジンバルを制御してカメラの向きを制御し回転ブレと並進ブレとの両方を精度よく除去することができる。

この発明の実施の形態に係る撮影装置の概略図である。図１に示す撮影装置のブロック図である。図２に示す並進ブレ推定部のブロック図である。図２に示す撮影装置の並進ブレを擬似回転ブレへ変換する方法を説明する概略図である。図２に示すジンバルの制御方法を示すブロック線図である。特許文献１に記載の従来の撮影装置の概略図である。特許文献２に記載の従来の撮影装置の概略図である。特許文献３に記載の従来の撮影装置の概略図である。

以下、この発明の実施の形態を添付図面の図１に基づいて説明する。なお、従来例と同一又は同等部分には同一符号を付して説明する。
図１に、撮影装置１３の概略図を示す。前記撮影装置１３は、例えば航空機等の移動体２０の機体下部等に設けられており、前記移動体２０に対して可動自在に設けられたジンバル３０には、可動自在にカメラ４０が取り付けられている。

図２に、図１に記載された前記撮影装置１３のブロック図を示す。前記ジンバル３０には、前記移動体２０に対して前記ジンバル３０を回転させ、また、前記ジンバル３０に対して前記カメラ４０を回転させるために、前記ジンバル３０を駆動するアクチュエータ３２が設けられている。

前記カメラ４０には、レンズ部４４と、前記レンズ部４４を通過した光を電気信号に変換する受光素子等を含む撮影部４１と、前記カメラ４０の回転ブレの角速度を測定する角速度センサ５０とが設けられている。ここで回転ブレとは、前記カメラ４０の視線軸の向きを変化させる回転運動によるブレのことを言う。

前記移動体２０には、前記撮影部４１に接続され前記カメラ４０から入力された電気信号を映像として処理する映像処理部２２と、前記ジンバル３０の駆動を制御することで前記カメラ４０の向きを制御する制御部２３と、オペレータが撮影対象に前記カメラ４０を向けるために前記ジンバル３０を制御するためのジンバルコントローラ２１とが設けられている。

前記映像処理部２２には、前記撮影部４１に接続され、前記カメラ４０の並進ブレを推定するための並進ブレ推定部２４が設けられている。ここで並進ブレとは、前記カメラ４０の視線軸の向きを変化させない並進運動によるブレのことを言う。

前記制御部２３は、前記ジンバルコントローラ２１と、前記アクチュエータ３２と、前記並進ブレ推定部２４と、前記角速度センサ５０とに接続されている。

図２に記載された前記並進ブレ推定部２４の構成を示すブロック図を図３に示す。前記並進ブレ推定部２４には、前記ジンバル３０や前記カメラ４０を含む前記撮影装置１２（図２参照）全体の加速度を測定する加速度センサ２４０と、前記加速度センサ２４０に接続された積分演算部２４１と、前記積分演算部２４１に接続されたハイパスフィルタ２４２と、前記撮影部４１に接続されたオプティカルフロー演算部２４３と、前記オプティカルフロー演算部２４３に接続されたローパスフィルタ２４４とが設けられている。前記ハイパスフィルタ２４２の出力と、前記ローパスフィルタ２４４の出力とが接続されて、前記制御部２３に接続されている。

次に、この発明の実施の形態に係る撮影装置の動作について説明する
図２に示すように、前記撮影装置１３において、前記移動体２０の移動中に、オペレータが前記カメラ４０の向きを撮影対象に向けるために前記ジンバルコントローラ２１を操作すると、前記ジンバルコントローラ２１から前記制御部２３に制御命令が出力され、前記制御部２３が前記アクチュエータ３２を制御して前記カメラ４０が撮影対象の向きに向けられる。前記カメラ４０が撮影を開始すると、前記レンズ部４４を通った光が前記撮影部４１に到達し電気信号に変換される。このとき、前記カメラ４０に前記移動体２０の振動に起因する並進ブレ及び回転ブレが発生する。

次に、前記撮影部４１から、電気信号が前記映像処理部２２と前記並進ブレ推定部２４とに入力される。前記映像処理部２２の内部では、電気信号を映像として処理するとともに、前記並進ブレ推定部２４において、映像の並進ブレの推定が行われる。

図３に示すように、前記撮影部４１（図２参照）からの電気信号は、映像として処理されて前記オプティカルフロー演算部２４３に入力される。前記オプティカルフロー演算部２４３では、周知のオプティカルフロー推定により、映像中の各画素について所定時間当たりに動いた速度ベクトルが推定されることで、映像の並進ブレが推定される。そして、映像の並進ブレから、前記カメラ４０の並進ブレが推定される。

オプティカルフロー推定により前記カメラ４０の並進ブレを推定すると、映像のちらつきや輝度の変化による並進ブレ誤差が高周波数帯域の誤差として生じる。次に、オプティカルフロー推定による並進ブレ推定結果は前記ローパスフィルタ２４４に入力される。前記ローパスフィルタ２４４では、オプティカルフロー演算結果から高周波数帯域の誤差が除去されるので、オプティカルフロー推定による映像のちらつきや輝度の変化による並進ブレ推定結果の誤差が除去される。

また、前記並進ブレ推定部２４の前記加速度センサ２４０では、前記カメラ４０の加速度を測定する。次に、前記加速度センサ２４０での加速度測定結果は、前記積分演算部２４１に入力される。前記積分演算部２４１では、加速度測定結果を積分演算することにより、前記カメラ４０の並進ブレを推定する。

前記加速度測定結果を積分演算することにより前記カメラ４０の並進ブレを推定すると、並進ブレ推定結果には積分演算による累積誤差が低周波数帯域の誤差として生じる。次に、積分演算による並進ブレ推定結果は前記ハイパスフィルタ２４２に入力される。前記ハイパスフィルタ２４２では、並進ブレ推定結果から低周波数帯域の誤差が除去されるので、加速度測定結果の積分演算の累積誤差による並進ブレ推定結果の誤差が除去される。

次に、前記ローパスフィルタ２４４を通過した並進ブレ推定結果と、前記ハイパスフィルタ２４２を通過した並進ブレ推定結果とが、加算されて並進ブレ推定結果として前記制御部２３へ入力される。すなわち、前記加速度センサ２４０の測定結果の積分演算結果と、前記カメラ４０の撮影画像のオプティカルフロー演算の結果とを基に、前記カメラ４０の並進ブレが推定される。

次に、図２に示すように、前記角速度センサ５０は前記カメラ４０の回転ブレの角速度を測定し、回転ブレ測定結果として前記制御部２３に入力する。

前記制御部２３は並進ブレ推定結果と、回転ブレ測定結果と、前記各アクチュエータ３２の回転情報から、前記回転ブレ及び後に説明する擬似回転ブレを除去するために前記ジンバル３０を駆動して前記カメラ４０の向きを制御する。このとき、前記カメラ４０の回転ブレについては前記ジンバル３０を駆動し、前記カメラ４０を回転ブレを打ち消す方向に動かすことで除去することが可能であるが、前記ジンバル３０の構造上、並進ブレを除去できるように前記ジンバル３０が前記カメラ４０を動かすことができない。

そこで、前記並進ブレ推定部２４から前記制御部２３に並進ブレ推定結果が入力された後、前記制御部２３は並進ブレ推定結果を擬似回転ブレに変換する。ここで、擬似回転ブレとは、並進ブレ推定結果を擬似的な回転ブレとみなせるブレへと変換したブレである。具体的には、並進ブレ推定結果から擬似回転ブレへの変換は、図４に示すように行われる。前記制御部２３は、例えば前記撮影装置１３のオペレータが撮影中に撮影対象物にカメラ４０のピントを合わせたら、そのときの撮影対象物と前記レンズ部４４との間の焦点距離Ｘを取得し、前記焦点距離Ｘを高さとし、並進ブレ推定結果の距離Ｙを底辺とした二等辺三角形を仮想する。そして、この二等辺三角形の底辺以外の二辺の間の角度を、擬似回転ブレの角度θとすることで、並進ブレ推定結果を擬似回転ブレへ変換することができる。なお、焦点距離Ｘの取得方法は、前記制御部２３が撮影対象物と前記レンズ部４４との間の焦点距離Ｘを取得する方法に限定されず、例えば距離測定装置等を用いてもよい

次に、図２に示している前記ジンバル３０の駆動制御方法について図５のブロック線図を用いて説明する。前述した通り前記並進ブレ推定部２４で並進ブレを推定し、前記制御部２３において並進ブレ推定結果Ａを擬似回転ブレＢに変換した後、前記擬似回転ブレＢから前記角速度センサ５０で測定した回転ブレ測定結果Ｃを減算する。次に、前記制御部２３は擬似回転ブレ及び回転ブレを除去するようにカメラ４０の向きを制御するために、前記擬似回転ブレＢと前記回転ブレ測定結果Ｃとを基に、前記ジンバル３０の角速度制御を行い、角速度制御指令Ｄを前記ジンバル３０の前記各アクチュエータ３２に出力し、前記ジンバル３０を駆動する。前記ジンバル３０が駆動することによるブレ除去動作Ｅにより、前記カメラ４０の向きが前記並進ブレ推定結果Ａ及び前記回転ブレ測定結果Ｃが除去されるように制御される。これにより、前記カメラ４０の前記映像処理部２２（図２参照）からブレが除去された映像Ｆが出力される。

また、前記ブレ除去動作Ｅにより発生する角速度の変化が、前記角速度センサ５０で測定される。前記角速度センサ５０は前記カメラ４０の回転ブレを測定し、前記回転ブレ測定結果Ｃとして出力し、前記擬似回転ブレＢから前記角速度センサ５０で測定した前記回転ブレ測定結果Ｃを減算する。これにより、前記回転ブレ測定結果Ｃが前記ジンバル３０の角速度制御にフィードバックされる。

このように、前記移動体２０に対して可動自在に設けられた前記ジンバル３０と、前記ジンバル３０に設けられた前記カメラ４０と、前記移動体２０又は前記ジンバル３０に設けられ、前記ジンバル３０を制御することで前記カメラ４０の向きを制御する前記制御部２３と、前記カメラ４０又は前記ジンバル３０に設けられ、前記カメラ４０の視線軸の向きを変化させる回転運動によるブレである回転ブレを測定する前記角速度センサ５０と、前記移動体２０又は前記ジンバル３０に設けられ、前記カメラ４０の視線軸の向きを変化させない並進運動による並進ブレを推定する前記並進ブレ推定部２４とを備え、前記回転ブレ測定結果Ｃと前記並進ブレ推定結果Ａとを基に、前記制御部２３が前記ジンバル３０を制御して前記カメラ４０の向きを制御するので、前記撮影装置１３が回転ブレと並進ブレとの両方を除去することができる。

また、前記並進ブレ推定結果Ａを擬似的な回転ブレとみなせる前記擬似回転ブレＢに変換し、前記擬似回転ブレＢと前記回転ブレ測定結果Ｃとを基に、前記ジンバル３０を駆動するので、前記ジンバル３０が前記カメラ４０を動かすことで並進ブレを除去できる。

また、前記並進ブレ推定部は前記加速度センサ２４０を備え、前記加速度センサ２４０の測定結果の積分演算結果と、前記カメラ４０の撮影画像のオプティカルフロー演算の結果とを基に、前記カメラ４０の並進ブレを推定するので、オプティカルフロー推定における映像のちらつきや輝度の変化による並進ブレ誤差や、加速度測定結果の積分演算の累積誤差による並進ブレ誤差が除去されて並進ブレ推定結果Ａの精度が向上する。

なお、この実施の形態では、前記角速度センサ５０は前記カメラ４０に設けられ、前記映像処理部２２と、前記並進ブレ推定部２４と、前記加速度センサ２４０と、制御部２３とは前記移動体２０に設けられていたが、これらは前記ジンバル３０又は前記カメラ４０にそれぞれ設けられていてもよいし、例えば前記移動体２０と前記ジンバル３０との間に収容ケース等を設置してそのケース内に設けられていてもよい。

また、前記ジンバル３０は前記移動体２０に設けられていたがこれに限定されるものではなく、例えば監視設備のように振動や強風等により、前記カメラ４０に回転ブレ及び並進ブレを生じさせるような環境にある固定体に設けられていてもよい。

なお、本発明による撮影装置の要旨としては、以下の通りである。すなわち、前記移動体２０に対して可動自在に設けられた前記ジンバル３０と、前記ジンバル３０に設けられた前記カメラ４０と、前記移動体２０又は前記ジンバル３０に設けられ、前記ジンバル３０を制御することで前記カメラ４０の向きを制御する前記制御部２３と、前記カメラ４０又は前記ジンバル３０に設けられ、前記カメラ４０の視線軸の向きを変化させる回転運動によるブレである回転ブレを測定する前記角速度センサ５０と、前記移動体２０又は前記ジンバル３０に設けられ、前記カメラ４０の視線軸の向きを変化させない並進運動による並進ブレを推定する前記並進ブレ推定部２４とを備え、前記角速度センサ５０の前記回転ブレ測定結果Ｃと前記並進ブレ推定部２４の並進ブレ推定結果Ａとを基に、前記制御部２３が前記ジンバル３０を制御して前記カメラ４０の向きを制御する構成であり、また、前記並進ブレ推定結果Ａを、擬似的な回転ブレとみなせる前記擬似回転ブレＢに変換し、前記擬似回転ブレの角速度と前記回転ブレ測定結果Ｃとを基に、前記ジンバル３０を駆動する構成であり、また、前記並進ブレ推定部２４は前記加速度センサ２４０を備え、前記加速度センサ２４０の測定結果の積分演算結果と、前記カメラ４０の撮影画像のオプティカルフロー演算の結果とを基に、前記カメラ４０の並進ブレを推定する構成である。

本発明による撮影装置では、移動体に対して可動自在に設けられたジンバルと、ジンバルに設けられたカメラと、移動体又はジンバルに設けられ、ジンバルを制御することでカメラの向きを制御する制御部と、カメラ又はジンバルに設けられ、カメラの視線軸の向きを変化させる回転運動によるブレである回転ブレを測定する角速度センサと、移動体又はジンバルに設けられ、カメラの視線軸の向きを変化させない並進運動による並進ブレを推定する並進ブレ推定部とを備え、角速度センサの回転ブレ測定結果と並進ブレ推定部の並進ブレ推定結果とを基に、制御部がジンバルを制御してカメラの向きを制御するので、回転ブレと並進ブレとの両方を除去することができる。

１３撮影装置
２０移動体
２３制御部
２４並進ブレ推定部
３０ジンバル
４０カメラ
５０角速度センサ
２４０加速度センサ
Ａ並進ブレ推定結果
Ｂ擬似回転ブレ
Ｃ回転ブレ測定結果

Claims

移動体（２０）に対して可動自在に設けられたジンバル（３０）と、
前記ジンバル（３０）に設けられたカメラ（４０）と、
前記移動体（２０）又は前記ジンバル（３０）に設けられ、前記ジンバル（３０）を制御することで前記カメラ（４０）の向きを制御する制御部（２３）と、
前記カメラ（４０）又は前記ジンバル（３０）に設けられ、前記カメラ（４０）の視線軸の向きを変化させる回転運動によるブレである回転ブレを測定する角速度センサ（５０）と、
前記移動体（２０）又は前記ジンバル（３０）に設けられ、前記カメラ（４０）の視線軸の向きを変化させない並進運動による並進ブレを推定する並進ブレ推定部（２４）と
を備え、
前記角速度センサ（５０）の回転ブレ測定結果（Ｃ）と前記並進ブレ推定部（２４）の並進ブレ推定結果（Ａ）とを基に、前記制御部（２３）が前記ジンバル（３０）を制御して前記カメラ（４０）の向きを制御するように構成した
ことを特徴とする撮影装置。
前記並進ブレ推定結果（Ａ）を、擬似的な前記回転ブレとみなせる擬似回転ブレ（Ｂ）に変換し、前記擬似回転ブレ（Ｂ）の角速度と回転ブレ測定結果（Ｃ）とを基に、前記ジンバル（３０）を駆動するように構成したことを特徴とする、請求項１に記載の撮影装置。
前記並進ブレ推定部（２４）は加速度センサ（２４０）を備え、前記加速度センサ（２４０）の測定結果の積分演算結果と、前記カメラ（４０）の撮影画像のオプティカルフロー演算の結果とを基に、前記カメラ（４０）の並進ブレを推定するように構成したことを特徴とする、請求項１又は２に記載の撮影装置。