JP2002218452A

JP2002218452A - 移動体の監視方法および装置

Info

Publication number: JP2002218452A
Application number: JP2001010829A
Authority: JP
Inventors: Masayuki Enomoto; 雅幸榎本; Takao Kanamaru; 孝夫金丸; Nobunao Nagai; 信尚永井; Masayuki Mitsue; 雅幸三津江
Original assignee: Kawasaki Heavy Industries Ltd
Current assignee: Kawasaki Heavy Industries Ltd
Priority date: 2001-01-18
Filing date: 2001-01-18
Publication date: 2002-08-02
Anticipated expiration: 2021-01-18
Also published as: JP3456972B2

Abstract

(57)【要約】【課題】高速変化するノイズが多量に発生する映像中
から比較的低速の移動体を検出する方法と装置を提供す
る。【解決手段】対象領域の撮影画像を等間隔で最新のも
のから順次所定枚数だけ記憶し、記憶した最新の撮影画
像Ｉ_tと隣接する撮影画像Ｉ_t-1の差分でなる第１差分画
像ＤＩ₁と最新撮影画像Ｉ_tと所定間隔離れた撮影画像Ｉ
_t-nとの差分でなる第２差分画像ＤＩ_nを形成し、前に求
めた中間画像ＳＩ_t-1と第２差分画像ＤＩ_nを画像加算し
て減衰係数ａを掛けたものから第１差分画像ＤＩ₁を画
像減算して合成画像ＳＩ_tを形成して中間画像とする。
その後も同じ工程を繰り返す間に、求めた合成画像ＳＩ
_tを所定の閾値を用いて２値化して２値化画像ＢＩ_tを
得、２値化画像の映像から所定の面積より大きい領域を
検出したときに報知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体を自動的に
判別して移動状態を監視する方法と装置に関し、特に水
上を移動する船舶を自動的に検知する監視方法および装
置に関する。

【０００２】

【従来の技術】特に、港湾やその近海あるいは関門など
においては、貨物船や漁船など商用船舶の往来が多く、
海上交通安全の立場から航行船の監視をする必要があ
る。たとえば、港湾を管理する者は目視とＴＶカメラを
併用して入出港する船舶を監視するが、定時から外れて
航行する船舶も多く、また船舶数が著しく少ない時間帯
にもに落ちの無いように監視する必要があるので、管理
者の負荷が大きい。

【０００３】管理者の負担を小さくするために、航行す
る船舶を自動的に検出して警報する監視装置が利用でき
れば便利である。撮影画像を用いて移動体を認識する方
法として、移動体が存在しない背景画像を作成しておい
て計測画像との差分を取ることにより移動体を検出する
方法や、一定時間間隔をおいて撮影した画像の差分を取
ることにより画像中で移動した部分を検出して表示する
方法が知られている。しかし、背景画像を使用する方法
は、室内など定常的な背景を有する環境では有効に作動
するが、日照変化する野外や背景となる風景が時間変化
する環境では役に立たないので、移動する船舶を検出す
るためには利用できない。

【０００４】一方、時間間隔をおいた画像の差分を取る
方法は環境変化がある野外などでも利用できる。この方
法を船舶監視に適用したものとして、たとえば特開平７
−６５２９９に、港湾または河川の水面に対して設定し
た観測エリアをテレビカメラで撮影し、適当な時間間隔
で取り込んだビデオ画像データを２値化処理した上で隣
接時間毎に逐次差分処理を行い、さらに得られた差分画
像の隣同士について論理積を取ることにより両者に共通
な部分を抽出して移動体を検出し、その重心位置を追跡
するようにした水面監視システムが記載されている。

【０００５】しかし、画像差分を利用した検出方法で
は、背景に明度変化するものが存在すると差分画像中の
ノイズとなって移動体を正しく抽出することができな
い。特に水面上の移動体を監視対象とするときには、太
陽が水面で反射したり水面が波立って画面中に高速で変
化する明度差の大きな背景ノイズが発生するため、船舶
などの移動体のみを画像から抽出することがなかなか難
しい。上記公報にはノイズの発生を抑制するため撮影時
間間隔をできるだけ短くする旨の言及がある。明度ノイ
ズが２枚の連続撮影画像中に写し込まれていれば相殺に
より消去できるからである。一方、時間間隔を短くする
と船舶の移動を捉えることが困難になるので、船舶の画
像の重なりをも考慮した結果として０．２〜０．３秒間
各毎に撮影するとされている。しかし、特に出入港管理
など水面を航行する船舶を遠距離から撮影して広範囲に
監視するような場合は、この程度の撮影間隔では商用船
舶など比較的低速な船舶移動を検出することが困難であ
る。

【０００６】

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、高速変化するノイズが多量に発生
する映像中から比較的低速の移動体を検出する方法を提
供することであり、特に水面を移動する船舶を検知する
監視方法および監視装置を提供することである。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、本発明の移動体の監視方法は、対象領域の撮影画像
を所定の周期で取り込み、撮影画像を取り込むたびに相
互に隣接する画像同士の差分をとって第１差分画像とま
た所定間隔離れた画像同士の差分をとって第２差分画像
とし、第２差分画像を所定数画像加算したものから第１
差分画像を同じ所定数画像加算したものを画像減算して
合成画像を形成し、この合成画像を２値化した２値化画
像から所定の面積より大きい領域を検出したときに報知
することを特徴とする。

【０００８】本発明の移動体監視方法は、船舶などの移
動体の移動速度と比較して、海面の波や太陽光反射状態
などの変化が十分速いことに注目し、簡単な画像処理を
用いたバンドパスフィルタに相当する処理によってノイ
ズを相殺して移動体の検出を行うものである。等間隔で
取得した画像のうち時間的に離れた画像同士で画像差分
をとって第２差分画像を求めると船舶など低速変化する
対象を検出することができる。しかし、この第２差分画
像には海面の波や太陽光変化など高速変化するノイズ成
分を含むため、明確な移動検出ができない。

【０００９】一方、等間隔で取得した画像のうち相互に
隣接した画像同士で画像差分をとって第１差分画像を求
めると、高速変化するノイズ成分を検出することができ
る。ところが、海面の変化は早くまた発生位置が決まっ
ていないので、第１差分画像中のノイズは第２差分画像
中のノイズと重なるわけではなく、第１差分画像から第
２差分画像を差し引く処理を行ってもノイズの影響を相
殺することはできない。

【００１０】しかし、海面変化が生ずる領域について満
遍なくノイズを検出するので、適当な回数積算すると第
１差分画像のノイズ発生領域と第２差分画像のノイズ発
生領域は同じ程度のノイズ状態となる。したがって、第
２差分画像の積算画像から第１差分画像の積算画像を差
し引くことにより海面などのノイズ発生領域におけるノ
イズ成分を相殺して船舶などの移動体を抽出することが
できる。本方法は、水上を航行する船舶に限らず、高速
変化するノイズと低速変化する移動体を峻別して検出す
る場合に広く利用できることは言うまでもない。

【００１１】さらに、上記課題を解決するため、本発明
第２の移動体の監視方法は、対象領域の画像を所定の周
期で取り込み、対象領域の撮影画像を等間隔で最新のも
のから順次所定枚数だけ記憶する。記憶した最新の撮影
画像と隣接する撮影画像の差分でなる第１差分画像と最
新撮影画像と所定間隔離れた撮影画像との差分でなる第
２差分画像を形成し、前に求めた中間画像と第２差分画
像を画像加算して減衰係数を掛けたものから第１差分画
像を画像減算して合成画像を形成して中間画像とする。
その後も同じ工程を繰り返す間に、求めた合成画像を所
定の閾値を用いて２値化して２値化画像を得、２値化画
像の映像から所定の面積より大きい領域を検出したとき
に報知することを特徴とする。

【００１２】本発明第２の移動体監視方法によれば、等
間隔で取得した画像のうち最新の画像と時間的に離れた
画像で画像差分をとって求めた第２差分画像により船舶
など低速変化する対象を検出する。ここでも、等間隔で
取得した画像のうち最新のものとその直前のものの画像
差分をとって求めた第１差分画像により高速変化するノ
イズ成分を検出し、第２差分画像に第１差分画像を作用
させた結果を適当な回数繰り返して積算することにより
海面など第２差分画像中のノイズ発生領域に生成するノ
イズ成分を相殺して、第２差分画像に含まれる海面の波
や太陽光変化などの背景から低速変化する船舶などの移
動体を検出することができる。

【００１３】なお、積算する項に減衰係数を掛けて過去
の事象の影響度合いを抑制して、過去の事象により影響
を受けないようにすることが好ましい。減衰係数はウイ
ンドウの幅を決めるものであって、どの程度の過去事象
を考慮するかは減衰係数の大きさにより調整することが
できる。また、合成画像は時間的に離れた２枚の画像間
における差異として現れた低速移動物体の移動部分が所
定時間分重なった形状により移動体の存在を検知するこ
とができる。上記移動部分の重なりは移動体の先端と後
端に形成され移動体の幅を持ち移動方向に長さを有する
図形であって、減衰係数の影響で、最近の移動部分が濃
く時間が経過するほど薄く表示されているので、人なら
ば容易に認識することができる。

【００１４】本発明の方法では、さらに移動体を機械的
に抽出するために、適当な閾値を用いて上記合成画像を
２値化画像に変換した上で移動部分の重なりを抽出し、
重なり領域が適当な大きさを持つときに移動体として認
識するようにしている。なお、このとき使用する閾値
は、撮影画像の濃度ヒストグラムをとり、その結果を利
用して決定するようにしてもよい。海面の反射などノイ
ズの発生条件は、環境により大きく影響される。太陽光
がカメラの後方から照射する順光条件では、画面全体が
均等に明るくなり濃度ヒストグラムの広がりが小さい画
面となるので、閾値を低くして移動体を的確に検出でき
るようにする。しかし、逆光条件では海面に太陽光の反
射による高輝度部分が生じて他の領域とのコントラスト
が大きくなり、海面変化の影響が順光のときより大きく
なるため、移動体自体の検出性能が低下しても２値化閾
値を高めに設定して細かいノイズを除去することが好ま
しい。このような条件ではヒストグラムの幅が広がるの
で、ヒストグラムの分布を指標として閾値を決めること
ができる。

【００１５】また、上記課題を解決するため、本発明の
移動体監視装置は、撮像装置が所定の周期で対象領域の
画像を取り込み、撮像画像メモリが撮像装置の取得した
等間隔の撮影画像を最新のものから順次所定枚数だけ記
憶し、画像処理装置が最新の画像と隣接する画像の差の
絶対値をとって第１差分画像を生成し、最新画像と所定
間隔離れた画像との差の絶対値をとって第２差分画像を
生成し、中間画像メモリに記録された中間画像と第２差
分画像を画像加算して減衰係数を掛けたものから第１差
分画像を画像減算して合成画像を形成し、この合成画像
を中間画像メモリに格納し、さらに合成画像を２値化し
て得られる２値化画像をラベリング処理して所定の面積
より大きい領域を検出したときに、警報装置が警報する
ことを特徴とする。

【００１６】なお、２値化閾値は撮影画像における明度
に関するヒストグラムに基づいて決定するようにしても
よい。さらに、中間画像の画素毎に上限値または下限値
で飽和するようにすることが好ましい。デジタル表示式
の画素値は上限を超えると直ちに下限値に戻り、下限を
超えると上限値に戻ってしまうため、演算結果が異常に
ならないようにそれぞれの方向に飽和するようにするこ
とが好ましいからである。

【００１７】本発明の移動体監視装置は、本発明第２の
移動体監視方法を実施し、海面の波や太陽光反射状態な
ど高速変化するノイズ成分を相殺して船舶など低速変化
する移動体の検出を行うことができる。なお、積算を含
む画像演算の結果として得られる中間画像は画素値が物
理的な限界を超えることがあるので、上限値と下限値を
設定してそれを超えるときには飽和するようにして、異
常値が出現することを予防することが好ましい。なお、
本装置は、水上を航行する船舶に限らず、高速変化する
ノイズ成分中に存在する低速変化する移動体を検出する
場合に広く利用できることは言うまでもない。

【００１８】

【発明の実施の形態】以下実施例を用いて本発明を詳細
に説明する。

【００１９】

【実施例１】図１は本実施例の移動体監視装置のブロッ
ク図、図２はその構成図、図３は本発明における検出原
理を説明する概念図、図４は本実施例における画像処理
のフロー図、図５は画像処理工程中の画像を模式的に表
した工程図である。

【００２０】本実施例の移動体監視装置は、監視カメラ
１、演算処理装置２、ディスプレイ３、スピーカ４から
構成されている。監視カメラ１は港湾や関門を見渡すこ
とができる定点に設置され、取得した画像を演算処理装
置２に供給する。演算処理装置２が取得画像について本
発明方法に基づく画像処理をして移動する船舶を検知す
ると、ディスプレイ３またはスピーカ４を通してオペレ
ータにその結果を報知する。オペレータは移動船舶発見
との警報を受けてから船舶の動きを目視で確認すること
ができる。本装置により監視員が常時ディスプレイを注
視している必要が無くなるので、監視作業と並行して他
の作業を行うことができるようになり、港湾監視などに
おいて省力化省人化を図ることができる。

【００２１】監視カメラ１は、監視方向に向け視野を固
定して使用される。視野内に移動物体が存在するか否か
は、フレーム間差分を用いて検出する。すなわち、図３
に示すように、時間間隔をおいた２枚の画像（ａ）
（ｂ）の間で画像差分を行い、得られた画像を適当な閾
値を用いて２値化して２値化画像（ｃ）を生成すると、
静止している物体は両方の画像中の同じ位置にあるため
差をとると０になり２値化画像中に現れないが、移動物
体は両画像の位置が異なり移動部分に相当する部分が１
となって高輝度領域として残るので検知することができ
る。しかし、監視領域が海面である場合は、移動物体が
存在しないときにも風により波頭が発生したり太陽が波
面で反射したりするので、画面中に大量のノイズが発生
し、移動物体のみを検出することが難しい。

【００２２】そこで、本実施例の装置では、フレーム間
差分法に海面変化の影響を抑えるノイズ抑制処理を施
し、さらに船舶など低速で移動する物体の検出感度を相
対的に向上させる蓄積処理を加えることで、低速移動体
を高い認識率で検出するようにした。本実施例は、船舶
の移動速度に比べて海面の波や太陽光の反射による光線
変化の速度が非常に早いことに着目して、低速変化を検
出するバンドパスフィルタ機能を極く簡単な画像処理で
実現したことに特徴を有する。

【００２３】画像演算を実施する演算処理装置２は、図
１に示すように、内部に撮像画像を格納する第１の画像
メモリ１１、２つの画像差分装置１２、１３、画像演算
装置１４、中間画像を格納する第２の画像メモリ１５、
画像処理装置１６、判定装置１７、およびディスプレイ
３またはスピーカ４を作動させる報知装置１８を備え
る。監視カメラ１が撮像した画像を適当なインターバル
で第１の画像メモリ１１に順次格納する。第１画像メモ
リ１１は、新しく画像を取り込むたびに最も古い画像が
消去され、常に最新のものから所定枚数の画像を保持す
るメモリスタックである。

【００２４】画像格納のインターバルは高速変化するノ
イズ成分の検出が可能な時間間隔から決められるもの
で、港湾内の海面を観察するときにはたとえば２００〜
３００ミリ秒とすればよい。また、画像格納フレーム数
は画像中を低速移動する移動体を検出するために有利な
間隔から決められるものであって、監視カメラ１の位置
にも左右されるが、たとえば１０フレーム程度とするこ
とができる。

【００２５】演算処理装置２の処理内容を図４に示し
た。始めに、初期状態を設定するため、画像をｎ枚（こ
こでは９枚）取り込んで第１画像メモリ１１に格納する
（Ｓ１）。また、初期設定として第２画像メモリ１５に
格納される前回の移動体検出画像ＳＩ_t-1を０とする
（Ｓ２）。その上で、新しい画像Ｉ_tを取り込んで、通
常の移動体検出処理を開始する（Ｓ３）。この新しい画
像Ｉ_tには、たとえば図５の（ａ）に示すような船体と
波に起因する光点が写し込まれている。

【００２６】画像のフレーム間差分は２種類の組合せで
行う。まず、海面における光ノイズを検知するために、
第１の画像差分装置１２に最新の時刻ｔにおける画像Ｉ
_tと１フレーム前の画像Ｉ_t-1を取り込んで画素毎の値に
ついて差分の絶対値を計算し差分画像ＤＩ₁（すなわ
ち、ＤＩ₁＝｜Ｉ_t−Ｉ_t-1｜）を求める。差分画像ＤＩ₁
はたとえば図５の（ｂ）のように、海面上の光点が検出
されるが船体部分は殆ど相殺されて画像上に現れない。
なお、ここで使用する画像は最新のものに限らず、最新
画像とｎ個離れた画像のほぼ中間の画像を使用すること
もできる。

【００２７】同時に、船舶の移動を確実に検知するため
に、第２の画像差分装置１３に最新の時刻ｔにおける画
像Ｉ_tとｎフレーム前の画像Ｉ_t-nを取り込んで画素毎に
差分の絶対値を計算し差分画像ＤＩ_n（すなわち、ＤＩ_n
＝｜Ｉ_t−Ｉ_t-n｜）を求める。（Ｓ４）。ここで、ｎは
たとえば９である。差分画像ＤＩ_nはたとえば図５の
（ｃ）のようになり、海面上の光点に加えて、移動する
船体の先端部分と後端部分が高輝度点として残る。

【００２８】次に、画像演算装置１４が２つの差分画像
ＤＩ₁とＤＩ_nを入力し下の式に基づいて移動体検出画像
ＳＩ_tを算出する（Ｓ５）。ＳＩ_t＝ＦＩＸ｛ａ（ＳＩ_t-1 ＋ＤＩ_n）− ＤＩ₁ } ここで、ＦＩＸは飽和演算子であって、画素値の最小
値、０以下の値に対して最小値０、画素値の最大値たと
えばＦＦ（１６進数）以上の値に対して最大値ＦＦ、そ
れらの中間の値ｘに対してその値ｘをとる。また、ａは
減衰係数であって０以上１以下の正数、ＳＩ_t-1は第２
の画像メモリ１５に格納されている前回求めた移動体検
出画像である。演算は画像の全面にわたり画素の位置毎
に行われる。減衰係数ａは演算対象を時間軸方向に制限
するウインドウを設定するものである。なお、上の式で
は（ＳＩ_t-1 ＋ＤＩ_n）に減衰係数ａを掛けているが、
ＤＩ_nには減数係数ａを掛けないようにしてもよい。

【００２９】上の式によると、前回求めた移動体検出画
像ＳＩ_t-1に船舶の移動部分と水面上の光ノイズが可視
化されている差分画像ＤＩ_nを加えたものに減衰係数ａ
を乗じたものから、水面上の光ノイズのみが可視化され
ている差分画像ＤＩ₁を差し引いたものを移動体検出画
像ＳＩ_tとして、繰り返し演算をしている。すなわち、
移動体検出画像ＳＩ_tはそれまでに求めた移動体検出画
像に減衰係数ａを掛けて積算したものを含んでおり、差
分画像ＤＩ_nの積算画像から差分画像ＤＩ₁の積算画像を
減算したものをウインドウ処理したものに相当する。

【００３０】水面上の光点は発生位置が決まっていない
ので、差分画像ＤＩ_nから差分画像ＤＩ₁を差し引いても
１回の処理サイクルではノイズを消去することはできな
いが、処理を繰り返して積算するうちに、水面全体にお
いてノイズ成分が同等に発生して相殺され、全体的にノ
イズが抑制される結果になる。また、船舶の移動は画像
取り込み間隔と比較すると非常に遅いため、ｎ枚離れた
画像同士の差分画像ＤＩ_nにおける船舶移動部分は毎回
の画像処理毎に大部分が重なる一方、光点ノイズはラン
ダムに発生するので、これらを積算処理することにより
船舶移動部分と水面上の光点ノイズとのコントラストは
極めて明確になる。

【００３１】画像演算装置１４で求めた移動体検出画像
ＳＩ_tは、たとえば図５の（ｄ）のように、減衰係数ａ
により決まる時間幅だけ移動体の先端部分と後端部分が
重なって表され、移動体の移動軌跡を見ることができ
る。なお、減衰係数ａの作用により新しい事象の方が濃
く古い事象ほど薄く表現されている。また、減衰係数ａ
により規定される仮想ウインドウからはみ出た過去の事
象は画像中から消去されている。水面上の光ノイズは２
つの差分画像ＤＩ₁とＤＩ_nの中にほぼ同じ程度集積され
るので相殺されて消去される。ただし、水面上の光点の
内で２つの差分画像で相殺されなかったものが僅かに画
像中に残っている。移動体検出画像ＳＩ_tは第２の画像
メモリ１５に格納されて（Ｓ６）、次回の演算に使用さ
れる。

【００３２】次に、移動体検出画像ＳＩ_tから移動領域
を明るく静止領域を暗く表現した２値化画像を生成し移
動体の移動状況を可視化して判定を容易にする。まず、
最新の撮影画像Ｉ_tの濃度ヒストグラムを作成して画面
中の明度分布から適当な２値化閾値を決定する（Ｓ
７）。移動体検出画像ＳＩ_tにおける移動体移動部分
は、背景部分と移動体の明度差が所定の減衰率を掛けた
上で積算されたものとして表示される。

【００３３】たとえば、太陽光がカメラの背後から照射
する順光条件では、画面全体に落ち着いた光線状態にな
るため濃度ヒストグラムの広がりが小さな画像になる。
このとき、背景と移動体の明度差は余り大きくないため
移動体検出画像ＳＩ_tの２値化閾値を低く設定する必要
がある。一方、太陽がカメラの前方から照射する逆光条
件の場合は、波面で反射する太陽光が高速変化する高輝
度光点となってカメラに入射するため、画面の濃度ヒス
トグラムは大きく広がったものとなる。このときは、２
値化閾値を高くすると細かいノイズを拾って高度な画像
処理が必要となるが、背景と移動体の明度差が大きくな
るため２値化閾値を高くすることにより容易に細かいノ
イズを除去することができる。そこで、撮影画像Ｉ_tの
濃度ヒストグラムの広がりに基づいて２値化閾値を決定
する。なお、２値化閾値を決定するために使用する撮像
画像は最新のものでなくてもよい。

【００３４】移動体検出画像ＳＩ_tにおける画素毎に明
度値が２値化閾値より大きいか否かを判定し、その結果
に基づいて０，１で表示した２値化画像ＢＩ_tを生成す
る（Ｓ８）。２値化画像ＢＩ_tには、移動領域が明るく
静止領域が暗く表現されている。２値化画像ＢＩ_t中の
移動領域部分は、移動体の幅と移動速度に比例した長さ
を持っている。２値化画像ＢＩ_tには、光点ノイズも含
まれる場合がある。本実施例の移動体監視装置では、撮
影画像Ｉ_tの濃度ヒストグラムの広がりに基づいて２値
化閾値を決定することにより、順光、逆光いずれの場合
にも適切な２値化が可能となる。

【００３５】次に、２値化画像ＢＩ_tはラベリング処理
により連続領域を検出し番号付けする（Ｓ９）。そし
て、同じ番号を持つ領域内の画素数を計数してその連続
領域の面積Ｓを代表する値とする（Ｓ１０）。ノイズ成
分は領域面積Ｓが小さく、移動体の移動領域の面積Ｓは
ノイズと比較して大きい。そこで移動体を判定するた
め、各領域面積Ｓを予め決めた閾値Ｓ_thと比較する（Ｓ
１１）。

【００３６】領域面積Ｓが閾値Ｓ_thより大きければ移動
体が存在すると判定し、報知装置１８によりディスプレ
イ３またはスピーカ４を介してオペレータに報知する
（Ｓ１２）。オペレータは報知を受けたときに改めてモ
ニタに表示された撮影画像あるいは直視により移動体を
確認して必要な作業を行うことができる。なお、領域面
積Ｓが閾値Ｓ_thに達しなければ、移動体が存在しないと
して、画像取り込み工程（Ｓ３）に戻って以下同じ処理
を繰り返す。このように、本実施例の移動体監視装置が
有れば常時監視していなくてもよいので、オペレータは
他の作業と並行して監視作業を行うことができる。

【００３７】

【実施例２】図６は本実施例の移動体監視装置における
画像処理のフロー図、図７は画像処理工程中の画像を模
式的に表した工程図である。

【００３８】本実施例の移動体監視装置は、画像処理工
程のみが実施例１と異なるので、相違する部分について
図６と図７を用い重点的に説明する。始めに、演算処理
の準備のため、画像をｎ枚取り込んで第１画像メモリ１
１に格納する。また、初期設定として前回の積算画像Σ
Ｄ_nt-1、ΣＤ_1t-1をそれぞれ０とする（Ｓ２１）。その
上で、新しい画像Ｉ_tを取り込んで、通常の移動体検出
処理を開始する（Ｓ２２）。この新しい画像Ｉ_tは、図
７の（ａ）に示すような画像になる。次に、第１の画像
差分装置１２で最新の画像Ｉ_tと１フレーム前の画像Ｉ
_t-1について差分の絶対値を計算し差分画像ＤＩ₁（すな
わち、ＤＩ₁＝｜Ｉ_t−Ｉ_t-1｜）を求める。差分画像Ｄ
Ｉ₁は図７の（ｂ）のようになる。

【００３９】また、第２の画像差分装置１３に最新の画
像Ｉ_tとｎフレーム前の画像Ｉ_t-nについて差分の絶対値
を計算し差分画像ＤＩ_n（すなわち、ＤＩ_n＝｜Ｉ_t−Ｉ
_t-n｜）を求める。（Ｓ２３）。この差分画像ＤＩ_nは図
７の（ｃ）のようになる。次に、画像演算装置１４が２
つの差分画像ＤＩ₁とＤＩ_nを入力し下の式に基づいて２
つの積算画像ΣＤ_1tとΣＤ_ntを算出する（Ｓ２４）。 ΣＤ_nt＝ＤＩ_n＋ａΣＤ_nt-1 ΣＤ_1t＝ＤＩ₁＋ａΣＤ_1t-1 ここで、ａは減衰係数である。

【００４０】積算画像ΣＤ_1tは、図７（ｄ）に示すよう
に船体部分が白く抜けて水面上の光点が満遍なく広がっ
た画面となる。新しい光点ほど濃く古い光点ほど薄くな
っている。また、積算画像ΣＤ_ntは、図７（ｅ）に示す
ように水面上の光点以外に船体の先端部分と後端部分に
移動方向に幅を持った濃い領域が現れた画面となる。船
体の前後に現れる領域の幅は移動速度と減衰係数により
影響される。また、船体の移動部分についても新しいほ
ど濃く古いほど薄くなる。

【００４１】画像演算装置１４は、さらに積算画像ΣＤ
_ntからΣＤ_1tを引いて移動体検出画像ＳＩ_t（ＳＩ_t＝Σ
Ｄ_nt−ΣＤ_1t）を算出する（Ｓ２５）。こうして得られ
る移動体検出画像ＳＩ_tは、図７（ｆ）に示すように、
実施例１の移動体監視装置により得られる移動体検出画
像とほぼ同じものとなり、高速変化する光点ノイズを相
殺して低速移動する移動体を検出することができる。こ
の後の処理は、実施例１と同じで、撮影画像Ｉ_tの濃度
ヒストグラムから適当な２値化閾値を決定し、これに基
づいて移動体検出画像ＳＩ_tを２値化して２値化画像Ｂ
Ｉ_tを生成する（Ｓ２６）。２値化画像ＢＩ_tは図７
（ｇ）のようになる。

【００４２】次に、２値化画像ＢＩ_tはラベリング処理
され（Ｓ２７）、画像中に現れる独立した各領域の面積
Ｓ_iが求められる（Ｓ２８）。さらに、各領域面積Ｓ_iを
予め決めた閾値Ｓ_thと比較して（Ｓ２９）、閾値Ｓ_t _hよ
り大きい領域面積Ｓ_iがあれば移動体が存在すると判定
し、報知装置１８によりオペレータに報知する（Ｓ３
０）。閾値Ｓ_thに達した領域面積Ｓ_iがなければ、移動
体が存在しないとして、画像取り込み工程（Ｓ２２）に
戻って以下同じ処理を繰り返す。

【００４３】

【発明の効果】以上説明した通り、本発明の移動体監視
方法および装置は、高速変化するノイズが多量に発生す
る映像中から比較的低速の移動体を検出することができ
るから、たとえば港湾管理や関門監視など、水面を移動
する船舶を自動的に検知するために使用することがで
き、監視作業の省人化・省力化を実現することができ
る。

【図面の簡単な説明】

【図１】本発明第１の実施例を示す移動体監視装置のブ
ロック図である。

【図２】本実施例の構成図である。

【図３】本発明における検出原理を説明する概念図であ
る。

【図４】本実施例における画像処理のフロー図である。

【図５】本実施例における画像処理工程中の画像を模式
的に表した工程図である。

【図６】本発明第２の実施例における画像処理のフロー
図である。

【図７】本実施例における画像処理工程中の画像を模式
的に表した工程図である。

【符号の説明】

１監視カメラ２演算処理装置３ディスプレイ４スピーカ１１第１の画像メモリ１２、１３画像差分装置１４画像演算装置１５第２の画像メモリ１６画像処理装置１７判定装置１８報知装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者永井信尚兵庫県明石市川崎町１番１号川重テクノサービス株式会社明石事業所内 (72)発明者三津江雅幸千葉県野田市二ツ塚118番地川重テクノサービス株式会社関東事業所内Ｆターム(参考） 2F065 AA07 AA67 BB15 DD04 FF01 FF04 JJ03 JJ09 JJ26 MM02 QQ13 QQ24 QQ25 QQ38 RR07 SS09 SS13 UU05 5B057 AA16 AA19 BA02 CA08 CA12 CA16 CB06 CB12 CB16 CC01 CE12 CH08 DA06 DA15 DB02 DB09 DC04 DC32 5C054 AA01 EA07 FC01 FC05 FC13 FF06 GA04 HA18 HA26 5L096 AA06 BA02 CA02 DA03 EA43 FA35 FA59 GA08 HA03

Claims

【特許請求の範囲】

【請求項１】対象領域の撮影画像を所定の周期で取り
込み、撮影画像を取り込むたびに相互に隣接する撮影画
像同士の差の絶対値をとって第１差分画像とし、また所
定間隔離れた撮影画像同士の差の絶対値をとって第２差
分画像とし、前記第２差分画像を所定数画像加算したも
のから前記第１差分画像を同じ所定数画像加算したもの
を画像減算して合成画像を形成し、該合成画像を所定の
閾値を用いて２値化して２値化画像を得、該２値化画像
の映像から所定の面積より大きい領域を検出したときに
報知することを特徴とする移動体監視方法。
【請求項２】対象領域の撮影画像を所定の周期で取り
込み、該対象領域の撮影画像を等間隔で最新のものから
順次所定枚数だけ記憶し、最新の撮影画像と隣接する撮
影画像の差の絶対値でなる第１差分画像と該最新撮影画
像と所定間隔離れた撮影画像との差の絶対値でなる第２
差分画像を形成し、前に求めた中間画像と前記第２差分
画像を画像加算して減衰係数を掛けたものから第１差分
画像を画像減算して合成画像を形成して中間画像とし、
その後同じ工程を繰り返し、この間に前記合成画像を所
定の閾値を用いて２値化して２値化画像を得、該２値化
画像の映像から所定の面積より大きい領域を検出したと
きに報知することを特徴とする移動体監視方法。
【請求項３】前記２値化閾値が前記対象領域の撮像画
像における明度に関するヒストグラムに基づいて決定さ
れることを特徴とする請求項１または２記載の移動体監
視方法。
【請求項４】撮像装置と画像処理装置と画像メモリと
警報装置を備え、撮像装置が所定の周期で対象領域の画
像を取り込み、前記画像メモリが撮像画像メモリと中間
画像メモリと合成画像メモリを備えて、該撮像画像メモ
リに前記撮像装置の取得した等間隔の画像を最新のもの
から順次所定枚数だけ記憶し、前記画像処理装置が最新
の画像と隣接する画像の差の絶対値でなる第１差分画像
と所定間隔離れた画像との差の絶対値でなる第２差分画
像を形成し、前記中間画像メモリに記録された中間画像
と前記第２差分画像を画像加算して減衰係数を掛けたも
のから第１差分画像を画像減算して合成画像を形成し、
該合成画像を前記中間画像メモリに格納し、該合成画像
を２値化して得られる２値化画像をラベリング処理して
所定の面積より大きい領域を検出したときに、前記警報
装置を介して警報することを特徴とする移動体監視装
置。
【請求項５】前記２値化閾値が前記対象領域の画像に
おける明度に関するヒストグラムに基づいて決定される
ことを特徴とする請求項４記載の移動体監視装置。
【請求項６】前記中間画像は画素毎に上限値または下
限値で飽和することを特徴とする請求項４または５記載
の移動体監視装置。