JP2013066046A - 撮像装置 - Google Patents

Abstract

【課題】外乱による揺れと駆動系による揺れとを判別可能な撮像装置を提供すること。
【解決手段】撮像部２０１と、この撮像部の撮像方向を制御する電動駆動部２０２とを備える撮像装置であって、撮像部２０１により得られる複数フレームからなる映像データをもとに、撮像部２０１の揺れ量を補正する補正ベクトルを算出する補正処理部２０３と、この補正ベクトルと、電動駆動部２０２の正常動作時の揺れ量を示す速度ベクトルとに基づいて、外乱による揺れと電動駆動部２０２の劣化による揺れとを判別する揺れ状態判別部２０５とを具備する。
【選択図】図２

Description

この発明は、電動雲台により撮像方向を制御可能な撮像装置に関する。

近年、屋外等に設置されたテレビカメラ装置から監視対象の画像を得られるようにした監視システムが汎用されている。しかし、屋外では風や振動などにより強い外乱を受け、監視対象が撮像視野から外れてしまうおそれがある。そこで、このような大きな外乱のときだけ、補正動作を行うようにした撮像装置が提案されている（例えば、特許文献１を参照。）。

一方、デジタルカメラ等においては、自然、人為的揺れの影響で揺れ成分を含んだ入力画像に対して、撮像素子の機構制御、画像処理等を使い映像補正を行い正常な映像を提供している撮像装置は民生、監視分野において幅広く存在する。その一つの手法としてブロックマッチング法による画像揺れ補正がある。

図１に、ブロックマッチング法の概略図を示す。ブロックマッチング法とは、画像の周囲画素１０１を利用し、前フレーム画像１０２と現フレーム画像１０３においてテンプレート１０４内の１画素毎１０５の誤差を比較し、現フレームのテンプレートを縦方向（Ｖｙ）、横方向（Ｖｘ）をそれぞれ一定量１０６移動させ（移動範囲は補正範囲Ｌｘ，Ｌｙ（１０７））、その誤差（下記式のＭＡＤ（Mean Absolute Deviation）値）が最小であるベクトル（Ｖｘ，Ｖｙ）を算出する方法である。この方法から算出したベクトルの逆極性分を現フレームの全ての画素に対して補正処理を行い揺れ量分のキャンセルを行う。最終的に補正範囲を除いた補正画像領域１０８を出力する。

特開２００９−１９４８５６号公報

ところが、従来のブロックマッチング法を用いた揺れ補正処理においては、前後複数枚の画像情報から得られたデータ（マッチング処理）を元に揺れを補正するが、その検出された揺れの中には、撮像機構を有する固定監視カメラによる、外部物体の接触や、地震等の天災による異常揺れがある。この異常揺れを通常揺れとして画像揺れ補正を行うと、物体接触による画角ずれや、地震災害が起こっているかを画像から管理者側で判断できないという課題がある。特に、遠地監視用途においては深刻な課題となる。

また、監視機器の保守作業において、長期据付等により制動部を含んだ監視機器の劣化状況（パン・チルトモータの駆動状況）を高所等の据付危険位置から機器を外し、駆動状況を確認しないと把握できないという課題がある。
この発明は上記事情に着目してなされたもので、その目的とするところは、外乱による揺れと駆動系による揺れとを判別可能な撮像装置を提供することにある。

上記目的を達成するためにこの発明の一態様は、撮像部と、前記撮像部の撮像方向を制御する駆動部とを備える撮像装置であって、前記撮像部により得られる複数フレームからなる映像データをもとに、前記撮像部の揺れ量を補正する補正ベクトルを算出する算出手段と、前記補正ベクトルと、前記駆動部の正常動作時の揺れ量を示す速度ベクトルとに基づいて、外乱による揺れと前記駆動部の劣化による揺れとを判別する判別手段とを具備することを特徴とする。

すなわちこの発明によれば、外乱による揺れと駆動系による揺れとを判別可能な撮像装置を提供することができる。

ブロックマッチング法について示す図。 第１実施形態の撮像装置の機能構成を示すブロック図。 第１実施形態の撮像装置における異常揺れ判定処理を示すフローチャート。 第２実施形態の撮像装置における電動駆動部の劣化状況判定の原理図。 第２実施形態の撮像装置における電動駆動部の劣化状況判定処理を示すフローチャート。

以下、図面を参照してこの発明に係る実施の形態について詳細に説明する。
（第１実施形態）
図２は、第１実施形態に係る撮像装置の機能構成を示すブロック図である。
この撮像装置は、映像を取り込む撮像部２０１、撮像部２０１のパン・チルト動作を行う電動駆動部２０２、画像情報、制御信号を受け補正処理を行う補正処理部２０３、地震データ等の異常振動データを格納しておく地震データ・異常データ保存部２０４、揺れ状態判別部２０５、異常揺れの状態と判定された場合にアラームを生成するアラーム生成部２０６、及びアラームに従って補正処理有り／無しの映像を切り替えて出力する映像切り替え部２０７を含む。なお、補正処理部２０３、地震データ・異常データ保存部２０４、揺れ状態判別部２０５、アラーム生成部２０６、及び映像切り替え部２０７の各機能は、プロセッサに実装することで実現できる。

撮像部２０１は、監視の対象となる領域を撮像し、複数フレームからなる映像データを生成する。また、撮像部２０１は、電動駆動部２０２に内蔵されており、駆動に応じて監視対象領域を旋回することができる。撮像された入力映像は、補正処理部２０３において振動等の外乱による影響を求めるため、補正ベクトルを算出する。課題となる地震揺れ等の異常状態の検出については、揺れ補正処理の前処理である、ブロックマッチング処理によって得られる補正ベクトル（Ｖｘ，Ｖｙ）を用いる。

算出された補正ベクトルは、補正処理部２０３内部に蓄積（例えば６０フレーム：２秒程度）される。揺れ状態判別部２０５は、上記蓄積された補正ベクトルと、事前に地震データ・異常データ保存部２０４に記録しておいた地震データ・異常データとを比較し、異常揺れを判定する。

判定の方法としては、複数フレームの補正ベクトルの情報と地震データ・異常データ保存部２０４の異常揺れのデータ（地震本来のＰ波（Primary wave）、Ｓ波（Secondary wave）の特性）とを比較し、分布特性が類似している場合で、かつ補正ベクトルの情報の分散値が一定値以上の場合は地震等の異常状態と判定する。しかし、通常の揺れ成分と異常揺れ成分（ここでは地震揺れ成分）が混在しているという課題がある。その場合は、据付時点での通常動作を学習データ（通常時の分散値）として、内部メモリに保持しておきその情報の差分値から判別するようにすると良い。実際には地震が起こってから約２秒程度学習するが、遠地側のモニタリングをする環境下においては充分許容できる値であるといえる。

この比較判定の結果、異常揺れと判定された場合は、揺れ状態判別部２０５はアラーム生成部２０６へ通知する。この通知を受けて、アラーム生成部２０６は管理者へアラーム発報すると共に、映像切り替え部２０７へ映像切り替えアラームを送る。映像切り替え部２０７は、映像切り替えアラームに従って補正処理無しの映像を出力する。これにより、地震揺れ等の異常状態の場合は、補正せずに異常揺れの状態を遠地の管理者側にてモニタリングすることが可能となる。

また、地震揺れ以外の物体の衝突による異常振動の判別について、事前学習データを取得しておき、このデータを基にして実際に検知を実施することも派生手段として考えられる。例えば、実際の物体の衝突においては全体の画角がずれる位を想定されるので補正ベクトルの時間分布で見るとインパルス特性となる。

また、地震等の異常揺れに対してはプロセッサからアラーム生成部２０６を通じて信号を送信し、システム管理者に対して音声発報を行い、災害警告通知するようにする。上記説明、及び図２においてはアラーム発報という手段で説明したが、音声を発報し、パーソナルコンピュータ（ＰＣ）上の画面で警告メッセージを表示あるいは映像切り替え部２０７のモニタに文字を重畳表示するような派生手段も考えられる。

図３は、第１実施形態の撮像装置における異常揺れ判定処理を示すフローチャートである。図３において、処理ステップ３０１〜３０８の流れを実線、参照用画像データ３０４、振動統計情報３０６、及び警報管理データベース３１０へのアクセスを点線にて表示している。

画像入力ステップ３０１において、撮像部２０１から映像を取り込み、補正ベクトル算出ステップ３０２において、補正処理部２０３は画像処理を用いて各フレームについて補正ベクトルを算出する。このとき補正処理部２０３は、予め参照用画像データ３０４を参照し、前フレームとの参照によって求める。前フレームのデータが無い場合は補正ベクトル算出ステップ３０２の処理は行わずに、映像データを参照用画像データ３０４へ取り込む。参照フレームが取り込まれている場合は補正ベクトル算出ステップ３０２の処理を行い、補正ベクトルを求める。

補正ベクトル情報一定フレーム算出判定ステップ３０３では、この補正ベクトルが一定フレーム分算出されているかを判定し、異常状態判定ステップ３０５において、揺れ状態判別部２０５は、事前に登録しておいた振動統計情報３０６と比較し、補正ベクトルに対して異常揺れが無いかを判定する。

例えば、６０フレーム前後の補正ベクトルの情報の統計からＰ波の周期、振幅を推定し、その後来ると予想されるＳ波の振幅・周期、分散、閾値特性から地震状態を判定する。事前に通常状態、地震（Ｐ波、Ｓ波）の特性情報を内部メモリに格納しておくことが必要である。

ここでは、一例として、補正ベクトルの揺れ情報の振動周波数の違いで判定を行う。例えば、過去１００フレームの情報の動きベクトルをプロセッサ側で保持しておき、その情報の揺れが風による振動、地震による振動、又は、飛物体の衝突による振動であるかの違いは６０フレーム程度の周期で定周期振動か非定周期振動で判定する。地震による振動周波数はマグニチュードの強さ、縦振動横振動の合成波でくることで変化するが（２Ｈｚ〜５Ｈｚ程度）、風等の筐体振動と地震の振動を区別するため、画像の上部、下部の動きベクトルを算出し、この値によって判定を行う。

具体的には、異常振動が起こるアラートが発生した条件下で、フレーム上部の動きベクトルの値と下部の動きベクトルの値が類似した値である場合は、風による振動と判定する。一方、フレーム上部の動きベクトルの値と下部の動きベクトルの値がベクトル量として、上部ベクトル＞下部ベクトルである場合は、地震による振動（地震の振動は設置状態の上部にいけばいくほど、振動が大きい）と判定する。

異常状態判定ステップ３０５の結果、正常と判定された場合は、正常動作ステップ３０７に移行し、補正処理部２０３は通常の映像の補正処理を行い、映像出力ステップ３０８において映像切り替え部２０７は補正後の映像出力を実行する。異常状態判定ステップ３０５の判定が異常となった場合は、映像補正処理中断ステップ３０９に移行し、補正処理部２０３は補正ベクトルによる映像の補正処理を中断し、映像出力ステップ３０８において映像切り替え部２０７は補正処理無しの映像をスルーで出力する。また、そのときに警報管理データベース３１０に異常警報情報が出力される。

その他、人為的な揺れ、据付け不良による特異的な揺れについても特徴的なデータが得られれば振動統計情報３０６のようにデータベースに記録しておくことで同様の手順で判別可能である。この情報から地震等の異常状態ということが明確になった場合揺れ補正処理をせずに映像をそのまま出力し、管理者側には異常揺れ通知並びに揺れ補正処理無しの映像で遠隔地から監視映像をモニタリングすることが可能である。

地震等の災害が起こる度にその都度管理者側のマニュアル操作で揺れ補正処理のＯＮ／ＯＦＦをすることで解決することは可能ではあるが、管理者が常駐していなければならない課題がある。また、緊急地震速報や地震感知センサで状態を把握することも一手段ではあるが、緊急地震速報では実際にその場所が揺れるか信頼度が低く、地震感知センサでは異常揺れか地震揺れかまで判別することができない。本実施形態によれば、揺れの強度に応じて震度、さらに地震状態を取得した場合は、駆動系の暴走等を防ぐ目的のため、パン・チルト動作状態でも停止するようにし、地震の影響による駆動部故障を回避することが可能となる。

（第２実施形態）
撮像素子を含む、電動駆動部故障時の事前回避手段として、劣化状況を把握することが必要不可欠である。しかしながら、電動駆動部を含む一般的な監視カメラ等々は設置場所が比較的高所、危険箇所、人の手が届かない、人の侵入が困難な場所に設置されている場合が多いため機器を停止させ、据付場所から取り外し分解し中身を確認しなければ、駆動部の劣化状況を正確に把握することが難しい。定期的に交換することが一般的であるが、偶発的・突発的な故障回避をすることは困難である。そこで、第２実施形態では、出力映像の状態からモータの劣化具合を判定する方法について説明する。

具体的には映像データから得られる補正ベクトルをもとに速度を算出し、その速度と正常動作時に出るべき速度とを比較し電動駆動部の劣化状態を判定する。なお、第２実施形態の撮像装置の構成については、第１実施形態と同様であるため、上記図２に示す構成を用いて説明する。

まず、電動駆動部２０２において一定値の速度を有する速度を生成する。例えばパン方向の場合、１５°／ｓｅｃの速度で動作する場合を考え、この定速状態のまま映像を写す。このとき補正処理部２０３において補正ベクトルは、パン方向の１５°／ｓｅｃの速度ベクトルが求められる。通常時の揺れ等が発生するため、複数フレーム（収束させるため、３００フレーム程度の情報）を取得すれば、平均化される。

図４に、電動駆動部の劣化状態判定の原理図を示す。図４では、駆動時の速度ベクトル４０１を複数フレーム移動した場合の等速速度の移動ベクトル分布４０２に対して、画像処理から求めた補正ベクトル分布（駆動部正常動作時）４０３と、画像処理から求めた補正ベクトル分布（駆動部異常動作時）４０４との比較を表したものである。図４に示すように、正常動作４０３の場合は振動誤差による速度誤差はあるものの、等速速度の移動ベクトル分布４０２に類似した結果となる。異常動作４０４の場合は電動駆動部の速度自体にずれがあるため、その結果分布状態も大きな誤差が生じる。

この速度ベクトル測定中に上記第１実施形態で述べた意図しない揺れはあるが、それは前述で述べた方式で除外できるため速度を測定することが可能である。ただし、パン・チルト方向が有限である場合、その速度の絶対値平均（観測データは１００フレーム以上であれば良い）で判別すると良い。また、駆動制御速度制限がある場合は通常揺れの補正ベクトルよりも速度の補正ベクトルが非常に大きい状態で判別すると良い。

揺れ状態判別部２０５は、この測定した補正ベクトルが、本来の速度の補正ベクトルよりも著しい違いがあった場合に電動駆動部２０２が劣化していると判定（電動駆動部は等速運動している状態で測定）する。本実施形態では、メンテナンスの一部として実施したが、２４時間常時駆動中の場合、動作速度と補正時の動きベクトルをリアルタイムで観測しその比較値を評価の程度とし、劣化状況を把握することも可能である。

図５に、第２実施形態における電動駆動部の劣化状況判定処理のフローチャートを示す。図５において、処理ステップ５０１〜５０８の流れを実線、参照用画像データ５０５、及び補正ベクトルデータバッファ５０４へのアクセスは点線で表示する。
画像入力ステップ５０１において、撮像部２０１から映像を取り込み、補正ベクトル算出ステップ５０２において、補正処理部２０３は画像処理を用いて補正ベクトルを算出する。このとき補正処理部２０３は、予め参照用画像データ５０５を参照し、前フレームとのブロックマッチングによって補正ベクトルを求める。前フレームのデータが無い場合は補正ベクトル算出ステップ５０２の処理は行わずに映像データを参照用画像データ５０５へ取り込む。参照フレームが取り込まれている場合は補正ベクトル算出ステップ５０２の処理を行い、補正ベクトルを求める。補正処理部２０３は、この補正ベクトルを一定フレーム分算出し、その結果を補正ベクトルデータバッファ５０４へ格納する。補正ベクトルデータ情報フレーム分算出判定ステップ５０３の判定において、規定のフレーム数の補正ベクトルを算出したと判定された場合に駆動部異常判定ステップ５０６にて処理を行う。

揺れ状態判別部２０５は、その速度ベクトルと補正ベクトルの分散値、閾値の類似度から判定し、正常な場合は正常動作ステップ５０７において通常の処理を行い、異常であった場合は電動駆動部２０２に異常があると認め、異常動作通知ステップ５０８において異常処理をする。その後、保守終了ステップ５０９を実行しメンテナンス完了となる。駆動部異常判定ステップ５０６については、異常と判定された段階で音声発報、画像に文字を重畳し通知する手段が考えられる。

また、画像処理以外に、電動駆動部付近に音検知部を設け、実際の駆動劣化時の異音検出、並びに異常物体衝突時の状態検出をすることが可能である。さらに、電動駆動部に流れる電流値を検知する電流センサを設け電動駆動部劣化時の異常電流を検出することで、故障・保守時期を事前に把握することが可能である。

以上述べたように、本発明では、揺れ補正処理から得られた補正ベクトルから外乱揺れと通常揺れを判別する。具体的には、数フレーム分の補正ベクトルから、周期性、揺れ量から異常揺れと通常揺れを判別するようにし、その判別情報を管理者に通知する。遠地からの地震発生等の現場監視状況地震等の揺れを判別する場合には、地震の特有振動周期（Ｐ波、Ｓ波）の特性から、画像処理から求めた動きベクトル成分の情報を基に地震状況を判別する。この判別により、異常揺れとしての状況取得が可能になる。

画像揺れ補正処理中に地震等の災害が生じた場合、遠地監視モニタで表示される映像が補正されていると、管理者側では把握することが困難である。この補正情報（補正ベクトル等）を基に地震状態を判別することで、地震の警告を管理者側に通知できるという利点がある。

また、遠地から地震災害時の外部状況をモニタリングする場合、揺れ補正機能を有する装置では通常揺れとして補正するため、本来の現場監視映像をモニタリングすることが困難である。そこで、現地据付周辺に地震感知センサ信号を取得できる場合はその情報を基にして揺れ補正機能の切り替えを行い地震災害時では揺れ補正せずに現場の監視映像を提供することが可能である。

地震状態から揺れ補正の切り替えを制御し、さらにパン・チルト動作状態を安全に停止することで、遠地監視でも正確な地震監視映像を提供することが可能である。つまり、異常状態判別時には、撮像系以外は全て停止し揺れ補正処理をしない固定監視状態にすることができる。

さらに、監視機器のモータ駆動部等の劣化状況を把握するため、駆動部の一定速度と数フレーム分の画像から求めた速度を一定時間（例えば３００フレームのデータ）取得し、そのデータと本来の正確に動作すべき速度データを比較し、モータ自体の劣化状況を判別し、駆動部の保守必要性を判別する。パン・チルト動作時の揺れも合わせてデータに反映されるが、長期間データ取得し、平均化することで判別することができる。また、精度を上げる手段として異常音検知部、駆動部に流れる電流線に過電流検知部を設け、異常音対策及び、駆動劣化時の過電流上昇時にも検出が可能となる。これにより、撮像装置を危険場所に設置している場合でもモータ等の劣化状況を取りはずし作業をせずに画像処理から判別することが可能である。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０１…画像の周囲画素、１０２…前フレーム画像、１０３…現フレーム画像、１０４…補正範囲、１０５…動きベクトル、１０６…テンプレート、１０７…画素、１０８…補正画像領域、２０１…撮像部、２０２…電動駆動部、２０３…補正処理部、２０４…地震データ・異常データ保存部、２０５…揺れ状態判別部、２０６…アラーム生成部、２０７…映像切り替え部、３０１…画像入力ステップ、３０２…補正ベクトル算出ステップ、３０３…補正ベクトル情報判定ステップ、３０４…参照用画像データ用バッファ、３０５…異常状態判定ステップ、３０６…振動統計情報バッファ、３０７…補正処理ステップ、３０８…映像出力ステップ、３０９…映像補正処理中断ステップ、３１０…警報管理データベース、４０１…旋回速度ベクトル、４０２…等速速度の移動ベクトル分布、４０３…画像処理から求めた補正ベクトル分布（駆動部正常動作時）、４０４…画像処理から求めた補正ベクトル分布（駆動部異常動作時）、５０１…画像入力ステップ、５０２…画像処理（補正ベクトル算出）ステップ、５０３…補正ベクトル情報判定ステップ、５０４…補正ベクトルデータバッファ、５０５…参照用画像データバッファ、５０６…駆動部異常判定ステップ、５０７…正常動作ステップ、５０８…異常動作通知ステップ、５０９…保守終了ステップ。

Claims (1)

1. 撮像部と、前記撮像部の撮像方向を制御する駆動部とを備える撮像装置であって、
   前記撮像部により得られる複数フレームからなる映像データをもとに、前記撮像部の揺れ量を補正する補正ベクトルを算出する算出手段と、
   前記補正ベクトルと、前記駆動部の正常動作時の揺れ量を示す速度ベクトルとに基づいて、外乱による揺れと前記駆動部の劣化による揺れとを判別する判別手段と
   を具備することを特徴とする撮像装置。

Images