JP2017005549A - 監視装置 - Google Patents

Abstract

【課題】 移動体および監視機の動作状態から像流れ度合を予測し、コーミング処理を選択することで、映像信号では判定が難しい場合でも最適なコーミング処理を選択可能な監視装置を提供する。
【解決手段】 監視装置の構成品である監視機、ジャイロ、追尾処理部、ズーム部より、撮像器３の視野角と画素数、監視機の角速度、移動体の角速度、追尾処理の実行有無、撮像器３のズーム倍率を入力し、像流れ度合を予測する。この予測した像流れ度合に基づきコーミング処理を選択することで、従来の映像信号による像流れ度合予測よりも高い精度で、最適なコーミング処理を選択できる。
【選択図】 図１

Description

この発明は、移動体に搭載した撮像器の画像信号を利用した監視装置に関するものである。

従来、インターレース方式の撮像装置の画像信号を画像処理するためにＩＰ（Interlace Progressive）変換を実施した結果、像流れがある場合にコーミングノイズが発生する。コーミングノイズを低減させる方法は、一般的に以下の２つの方式に大別される。

（１）フィールド内補間による方法
フィールド内補間によるコーミングノイズを低減させる方法は、一般的に映像信号の内、奇数フィールドまたは偶数フィールドのどちらか片方のフィールドを使用する（例えば、特許文献１参照。）
しかしながら、映像が高速で変化するような像流れが大きい場合に描画速度が低下しないが、低速で変化するような像流れが小さい場合は垂直方向の解像度が大きく劣化し、監視目的にはふさわしくない。この場合、後述のフィールド間補間による方法でコーミングノイズを低減することが望ましい。
以降、フィールド内補間によりコーミングノイズを低減させる処理部をＡ処理部という。

（２）フィールド間補間による方法
フィールド間補間によるコーミングノイズを低減させる方法は、一般的に撮像された映像信号を認識し奇数フィールドと偶数フィールドの情報からコーミングを低減するため映像を予測し補完する（例えば、特許文献１参照）。
しかしながら、洋上での映像の場合は、映像信号のＳＮが小さくなりコーミング対策の効果が低下する。また、駆動装置に撮像装置が搭載され、駆動装置が高速に回転した場合は、映像の像流れが大きくなりコーミング対策の予測補完機能が正常に動作せず、原画像と大きく異なる映像を構築する問題がある。この場合、前述のフィールド内補間による方法でコーミングノイズを低減することが望ましい。
以降、フィールド間補間によるコーミングノイズを低減させる処理部をＢ処理部という。

特開２００６−２５３７６６号公報

従来のコーミングノイズを低減させる方法である（１）フィールド内補間による方法、 （２）フィールド間補間による方法、に挙げられる処理はいずれも撮像器からの映像信号から予測を行う。
このため、移動体に撮像装置が設置され、リアルタイム性が重要視される監視目的の場合には、移動体の未来の状態予想の精度が低く、像流れの度合を予想できずに適切な処理選択ができないという課題がある。

この発明は係る課題を解決するためになされたものであり、最適なコーミング処理を選択することで、コーミングノイズを低減可能な監視装置を提供することを目的とする。

この発明に係る監視装置は、目標を撮像する撮像器の視野角θと、前記撮像器の画素数Ｎと、前記撮像器のズーム倍率αと、前記撮像器を搭載し旋回及び俯仰方向に回転する監視機の角速度ω１とを用いて、以下の式

により像流れ度合ηを算出し、前記像流れ度合ηと予め定めた閾値との比較に基づき、コーミングノイズを低減させる処理方式を自動で切り替えるようにした。

この発明に係る監視装置によれば、撮像の状況に応じて最適なコーミングノイズの低減処理を選択することができるので、自動処理によりコーミングノイズを低減した画像を得ることができる。

この発明の実施の形態１に係る監視装置を説明する図である。 この発明の実施の形態２に係る監視装置を説明する図である。 この発明の実施の形態３に係る監視装置を説明する図である。 この発明の実施の形態４に係る監視装置を説明する図である。 この発明に係る監視装置の追尾処理部における目標画像の一例である。 この発明に係る監視装置の運用状態を説明する図である。

実施の形態１．
図６は、本発明の実施の形態１に係る監視装置１００の運用状態を示した図であり、地上や海上等の水平面１８上を移動する車輌、船舶等の移動体１６に搭載された監視機２が、監視対象目標１４を画像追尾している状態を示している。なお、視野１７は監視機２における撮像器３の視野角を示している。

図１は、実施の形態１に係る監視装置１００の構成を示す図である。
監視装置１００は、目標を撮像する撮像器３と、撮像器３を指示に従い旋回及び俯仰方向に回転可能な駆動装置に搭載した監視機２と、移動体の角度や角速度を計測するジャイロ４と、撮像器３で撮像した映像２１を入力して画像処理する画像信号処理器５と、状況判定処理器１１と、状況判定処理器１１の結果に基づいて処理を選択するコーミング処理器８と、処理後の結果を出力する表示操作器１２を備える。
画像信号処理器５は、映像２１を拡大、縮小するズーム部６と、目標が表示画面の中央部に保持するよう目標を追尾する追尾処理部７を備える。追尾処理部７については、追尾処理を実行するか否かを選択できる。
コーミング処理器８は、先述のＡ処理部（フィールド内補間によりコーミングノイズ処理を実行する処理部）と、Ｂ処理部（フィールド内補間によりコーミングノイズ処理を実行する処理部）を有している。

次に、本実施の形態に係る監視装置１００の動作について説明する。なお、本実施の形態では追尾処理部７が追尾処理を実行していない場合について説明する。

監視機２は、旋回及び俯仰方向に回転することが可能であり、ジョイスティック等の表示操作器１２からの指向角度信号・視野角切替信号２０により、撮像器３の指向制御を行う。また、監視機２は、追尾処理部７からの追尾角度信号２８により、表示部の中央に目標が位置するように撮像器３の向きを変えることができる。
ジャイロ４は船舶や車両などの移動体１６の動揺角を検出して、監視機２に出力し、撮像器３の動揺を打ち消す方向で監視機２の駆動装置を制御する。
表示操作器１２は、監視機２に対して、移動体１６の動揺を打ち消す動揺修正機能を動作させるか否かを制御する。
監視機２に取り付けられた撮像器３により目標の映像を撮像する。撮像した映像信号２１は画像信号処理器５に出力される。

画像信号処理器５のズーム部６では、映像信号２１を所望の倍率に拡大・縮小して、画像処理後の映像信号３０をコーミング処理器８に出力する。
画像信号処理器５の追尾処理部７では、撮像器３により得られた画像をもとに背景と区別された目標信号を検出する。目標の信号を背景から区別するための範囲が光学追尾ゲートであり、画像信号の振幅の変化により目標の存在を検出する。検出された光学追尾ゲート内に存在する目標の位置については、画面中心からの上下及び左右の角度として求める。画像処理後の映像信号３０をコーミング処理器８に出力する。

表示操作器１２では、撮像器３により撮像された目標の映像を表示するほか、監視機２の指向制御のための操作を行い、モード情報やステータス情報等のアーキテクチャルな情報を監視機２へ送る。

追尾処理部７における画像の状態を示す例を図５に示す。図５において、１４が監視対象目標、１３が画像追尾処理における光学追尾ゲートである。

コーミング対策は像流れの度合により適切な処理を選択する必要がある。このような状態に対処するため、本実施の形態では状況判定処理器１１を設け、状況判定処理器１１において像流れ度合ηを算出し、像流れ度合ηに基づいて適切な処理を選択する。
像流れ度合ηは、撮像器３の視野角と画素数、ズーム部６のズーム倍率、監視機２の角速度を用いて以下の（１）式により予測する。

ここで、θは撮像器３の視野角、Ｎは撮像器３の画素数、αはズーム倍率、ω１は監視機の角速度である。
撮像器３の視野角θが大であるほど像流れ度合ηの値は大きくなり、逆に、撮像器３の画素数Ｎ、ズーム倍率α、監視機２の角速度ω１が大であるほど像流れ度合ηの値は小さくなる。
状況判定処理器１１は、（１）式で予測した像流れ度合ηと予め定めた閾値との比較を行い、コーミング処理器８で処理する方式を選択し、その選択結果の信号３１をコーミング処理器８に出力する。
すなわち、像流れ度合ηと予め定めた閾値との比較により、低速で変化するような像流が小さい場合で垂直方向の解像度が劣化すると予測される場合は、Ｂ処理部でのコーミング処理を実施するように、その選択結果をコーミング処理器８に出力する。
一方、駆動装置が高速に回転した場合で映像の像流れが大きくなると予測される場合は、Ａ処理部でのコーミング処理を実施するように、その選択結果をコーミング処理器８に出力する。

コーミング処理器８では、選択したＡ処理部９またはＢ処理部１０でコーミングノイズを低減したコーミング処理後の映像信号３２を表示部に出力する。

このように、実施の形態１に係る監視装置１００は状況判定処理器１１を備え、状況判定処理器１１は、撮像器３の視野角θ、撮像器３の画素数Ｎ、ズーム部６のズーム倍率α、監視機２の角速度ω１を用いて像流れ度合ηを予測し、予測した像流れ度合ηを所定の閾値と比較することにより、最適なコーミングノイズの低減処理を選択することができる。これにより、従来、ノイズの低減方法の選択が難しかった状況であっても、自動でコーミングノイズを抑えた画像を得ることができる。

実施の形態２．
実施の形態１では、状況判定処理器１１は、撮像器３の視野角θと画素数Ｎ、ズーム部６のズーム倍率α、監視機２の角速度ω１を用いて像流れ度合ηを算出していたが、実施の形態２では、撮像器３の視野角θと画素数Ｎ、ズーム部６のズーム倍率α、ジャイロの角速度ω２を用いる。

図２は、実施の形態２に係る監視装置１０１の構成を示す図である。実施の形態１と同一の構成については、同一番号を付して説明を省略する。
図２に示すように、実施の形態２に係る状況判定処理器１１においては、ジャイロ４が出力する移動体の角速度ω２を入力する。
状況判定処理器１１は、像流れ度合ηを、撮像器３の視野角θと画素数Ｎ、ズーム部６のズーム倍率α、移動体の角速度ω２を用いて以下の（２）式により予測する。

状況判定処理器１１は、（２）式で予測した像流れ度合ηと予め定めた閾値との比較を行い、コーミング処理器８で処理する方式を選択し、その選択結果の信号３１をコーミング処理器８に出力する。

このように、実施の形態２に係る監視装置１０１は状況判定処理器１１を備え、状況判定処理器１１は、撮像器３の視野角θ、撮像器３の画素数Ｎ、ズーム部６のズーム倍率α、移動体の角速度ω２を用いて像流れ度合ηを予測し、予測した像流れ度合ηを所定の閾値と比較することにより、移動体の角速度の情報も考慮した最適なコーミングノイズの低減処理を選択することができる。
このように、移動体の角速度ω２を像流れ度合ηを予測に用いることで、移動体の回転方向の移動に伴う像流れの度合を予測することができる。これにより、従来、ノイズの低減方法の選択が難しかった状況であっても、自動でコーミングノイズを抑えた画像を得ることが可能となる。

実施の形態３．
本実施の形態では、状況判定処理器１１は、監視機２の角速度ω１と移動体の角速度ω２を共に用いて像流れ度合ηを算出する。
図３は、実施の形態３に係る監視装置１０２の構成を示す図である。実施の形態１、２と同一の構成については、同一番号を付して説明を省略する。図３に示すように、実施の形態３に係る状況判定処理器１１は、監視機２の角速度ω１のほかに、ジャイロ４が出力する移動体の角速度ω２も入力し、像流れ度合ηを予測する。
状況判定処理器１１は、像流れ度合ηを、以下の（３）式により予測する。

状況判定処理器１１は、（３）式で予測した像流れ度合ηと予め定めた閾値との比較を行い、コーミング処理器８で処理する方式を選択し、その選択結果の信号３１をコーミング処理器８に出力する。

このように、実施の形態３に係る監視装置１０２は状況判定処理器１１を備え、状況判定処理器１１は、撮像器３の視野角θ、撮像器３の画素数Ｎ、ズーム部６のズーム倍率α、監視機２の角速度ω１、移動体の角速度ω２を用いて像流れ度合ηを予測し、予測した像流れ度合ηを所定の閾値と比較することにより、監視機２の回転（角速度ω１）と共に移動体自体の回転（角速度ω２）の情報も考慮した、最適なコーミングノイズの低減処理を選択することができる。これにより、従来、ノイズの低減方法の選択が難しかった状況であっても、自動でコーミングノイズを抑えた画像を得ることができる。

実施の形態４．
実施の形態４では、実施の形態３のように状況判定処理器１１が、撮像器３の視野角θ、撮像器３の画素数Ｎ、ズーム部６のズーム倍率α、監視機２の角速度ω１、移動体の角速度ω２を入力するほか、追尾処理部７から追尾状態を表す信号である追尾状態信号２６を入力し、像流れ度合ηを予測する

図４は、実施の形態４に係る監視装置１０３の構成を示す図である。
このように、実施の形態４では、状況判定処理器１１は追尾処理部７が出力する追尾状態信号２６を入力する。なお実施の形態１〜３と同一の構成については、同一番号を付して説明を省略する。

追尾処理部７は、追尾処理部７が追尾処理を実行しているときは追尾状態信号２６として「１」を出力し、追尾処理を実行していないときは追尾状態信号２６として「０」を出力する。状況判定処理部１１は、追尾状態信号２６に基づき目標追尾状態であるか否かを判断することができる。
追尾処理を実行中は、追尾処理部７は検知した目標が表示画面の中央部に保持するよう自動で追尾する。

像流れの度合は追尾の状態と動揺修正状態から予測することが可能である。
監視対象目標を追尾している場合は、監視対象目標は監視機２と移動体１６の角速度に関係なく画面中心に保持されているため対象目標の像流れは小さい。
一方、監視機２の動揺修正が有効な場合は、移動体の角速度を判定要素とする必要はない。

このように、実施の形態４に係る監視装置１０３の状況判定処理器１１は、実施の形態３での入力項目のほか、更に、追尾状態信号２６を入力し、追尾状態信号２６に基づき、像流れ度合ηを、上述の（３）式により予測するか否かを判断する。

追尾状態信号２６に基づき、追尾処理部７が監視対象目標を追尾している場合（追尾状態信号２６＝１）は、監視対象目標は監視機２と移動体１６の角速度に関係なく画面中心に保持されているため対象目標の像流れは小さいと予測される。状況判定処理器１１は、像流れ度合ηが小さいと判断してコーミング処理器８で処理する方式を選択し、その選択結果の信号３１をコーミング処理器８に出力する。すなわち、低速で変化するような像流れが小さい場合で垂直方向の解像度が劣化すると予測される場合は、Ｂ処理部でのコーミング処理を実施するように、その選択結果をコーミング処理器８に出力する。

一方、追尾状態信号２６に基づき追尾処理部７が監視対象目標を追尾していない場合（追尾状態信号２６＝０）、状況判定処理器１１は、実施の形態３と同じ処理を行う。すなわち、状況判定処理器１１は監視機２の角速度ω１、ジャイロ４が出力する移動体の角速度ω２、撮像器３の視野角θ、撮像器３の画素数Ｎ、ズーム倍率αを用いて、（３）式により像流れ度合ηを予測する。
次に状況判定処理器１１は、（３）式で予測した像流れ度合ηと予め定めた閾値との比較を行い、コーミング処理器８で処理する方式を選択し、その選択結果の信号３１をコーミング処理器８に出力することを実施する。

このように実施の形態４に係る監視装置１０３では、状況判定処理器１１は追尾処理部７から追尾状況の信号（追尾状態信号２６）を入力し、追尾状態信号２６によっても、像流れの度合を予測することを可能とした。これにより、状況判定処理部１１の処理負荷を低減できるとともに、目標の追尾状況も考慮した、最適なコーミングノイズの低減処理を選択することが可能となる。また、ノイズの低減方法の選択が難しかった状況であっても、自動でコーミングノイズを抑えた画像を得ることができる。

２ 監視機、３ 撮像器、４ ジャイロ、５ 画像信号処理器、６ ズーム部、７ 追尾処理部、８ コーミング処理器、９ Ａ処理部、１０ Ｂ処理部、１１ 状況判定処理器、１２ 表示操作器、１３ 光学追尾ゲート、１４ 追尾対象目標、１６ 移動体、１７ 撮像器の視野角、１８ 水平面、１９ 動揺信号、２０ 指向角度信号・視野角切替信号、２１ 映像信号、２２ 画素数Ｎと視野角θ、２３ ズーム倍率α、２４ 監視機の角速度ω１、２５ 移動体の角速度ω２、２６ 追尾状態信号、２７ 像流れ度合η、２８ 追尾角度信号、３０ 画像処理後の映像信号、３１ 選択結果信号、３２ コーミング処理後の映像信号、１００ 監視装置。

Claims (4)

1. 目標を撮像する撮像器の視野角θと、
   前記撮像器の画素数Ｎと、
   前記撮像器のズーム倍率αと、
   前記撮像器を搭載し旋回及び俯仰方向に回転する監視機の角速度ω１と、
   を用いて、以下の式
   

   

   により像流れ度合ηを算出し、前記像流れ度合ηと予め定めた閾値との比較に基づき、コーミングノイズを低減させる処理方式を自動で切り替えることを特徴とする監視装置。
2. 目標を撮像する撮像器の視野角θと、
   前記撮像器の画素数Ｎと、
   前記撮像器のズーム倍率αと、
   前記撮像器を搭載する移動体の角速度ω２と、
   を用いて、以下の式
   

   

   像流れ度合ηを算出し、前記像流れ度合ηと予め定めた閾値との比較に基づき、コーミングノイズを低減させる処理方式を自動で切り替えることを特徴とする監視装置。
3. 前記コーミングノイズを低減させる処理方式は、
   映像信号の内、奇数フィールドまたは偶数フィールドのどちらか一方のフィールドを使用するフィールド内補間による処理方式と、
   映像信号の内、奇数フィールドと偶数フィールドからコーミングを低減するため映像を予測し補完するフィールド間補間による処理方式、
   があり、前記像流れ度合ηが前記閾値より小さい場合にフィールド間補間による処理方式に切り替え、前記像流れ度合ηが前記閾値より大きい場合に、前記フィールド内補間による処理方式に切り替えることを特徴とする請求項１、２いずれか記載の監視装置。
4. 目標追尾の追尾処理を実行中は、前記像流れ度合ηに基づく前記処理方式の切り替えは行わず、追尾処理を実行していない間は、前記像流れ度合ηに基づき前記処理方式を自動で切り替えることを特徴とする請求項１〜３いずれか記載の監視装置。

Images