JP2000184359A - 監視装置及び監視システム - Google Patents
監視装置及び監視システムInfo
- Publication number
- JP2000184359A JP2000184359A JP10352932A JP35293298A JP2000184359A JP 2000184359 A JP2000184359 A JP 2000184359A JP 10352932 A JP10352932 A JP 10352932A JP 35293298 A JP35293298 A JP 35293298A JP 2000184359 A JP2000184359 A JP 2000184359A
- Authority
- JP
- Japan
- Prior art keywords
- video
- value
- histogram
- predetermined
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
(57)【要約】
【課題】 撮像カメラで撮像した監視映像を異常事態の
発生時にのみ警備センター側に送信する。 【解決手段】 テレビカメラ１１で監視対象を撮像した
監視映像について、映像フレームを所定の映像ブロック
に分割し、この映像ブロック毎にヒストグラム化してそ
の特徴を抽出し、そのヒストグラム値について異なる映
像フレーム間で差分を求め、差分が所定のしきい値より
大きい場合に映像の変化を判定する。この際、ヒストグ
ラム値の分布を正規化して映像フレーム全体の明るさの
変化やヒストグラム値の暗部分への局在を補正するなど
して、判定精度を向上する。
発生時にのみ警備センター側に送信する。 【解決手段】 テレビカメラ１１で監視対象を撮像した
監視映像について、映像フレームを所定の映像ブロック
に分割し、この映像ブロック毎にヒストグラム化してそ
の特徴を抽出し、そのヒストグラム値について異なる映
像フレーム間で差分を求め、差分が所定のしきい値より
大きい場合に映像の変化を判定する。この際、ヒストグ
ラム値の分布を正規化して映像フレーム全体の明るさの
変化やヒストグラム値の暗部分への局在を補正するなど
して、判定精度を向上する。
Description
【０００１】
【発明の属する技術分野】この発明は、屋内または屋外
における監視対象の監視を行う監視装置及び監視システ
ムに関する。
における監視対象の監視を行う監視装置及び監視システ
ムに関する。
【０００２】
【従来の技術】例えば深夜のオフィスビル内等のよう
に、本来、人間が行き来しないような時間帯では、人体
センサ等を使用した監視装置によって、侵入者の侵入等
の異常事態を検出することが可能である。
に、本来、人間が行き来しないような時間帯では、人体
センサ等を使用した監視装置によって、侵入者の侵入等
の異常事態を検出することが可能である。
【０００３】従来の監視装置は、図２３の如く、屋内ま
たは屋外の監視対象となる空間に対向する位置に撮像カ
メラ２を設置し、撮像カメラ２で撮像された監視映像
が、一般的なＮＴＳＣ信号により内のモニタ６に送信さ
れて表示されるようになっており、かかる表示により警
備員が異常事態を発見するようにされていた。また、場
合によっては、外部の委託会社等の警備センターに監視
映像が送信されることがあった。
たは屋外の監視対象となる空間に対向する位置に撮像カ
メラ２を設置し、撮像カメラ２で撮像された監視映像
が、一般的なＮＴＳＣ信号により内のモニタ６に送信さ
れて表示されるようになっており、かかる表示により警
備員が異常事態を発見するようにされていた。また、場
合によっては、外部の委託会社等の警備センターに監視
映像が送信されることがあった。
【０００４】
【発明が解決しようとする課題】従来例においては、撮
像カメラ２からの監視映像がビル監視室３へ常時配信さ
れ、監視者は、配信されてきた映像を肉眼にて常時見続
けなければならなかったため、監視者にとって、精神的
及び肉体的に非常な労力を必要としていた。しかしなが
ら、実際には、各監視対象に異常事態が発生することは
少ないと考えられ、労力の割には異常事態の発見頻度が
少ないものとなっていた。そこで、かかる労力負担を軽
減できる監視装置の提案が待たれていた。
像カメラ２からの監視映像がビル監視室３へ常時配信さ
れ、監視者は、配信されてきた映像を肉眼にて常時見続
けなければならなかったため、監視者にとって、精神的
及び肉体的に非常な労力を必要としていた。しかしなが
ら、実際には、各監視対象に異常事態が発生することは
少ないと考えられ、労力の割には異常事態の発見頻度が
少ないものとなっていた。そこで、かかる労力負担を軽
減できる監視装置の提案が待たれていた。
【０００５】そこで、この発明の課題は、撮像カメラで
撮像した監視映像に基づいて異常事態の発生時にのみ警
備センター側に注意を促すことのできる監視装置及び監
視システムを提供することにある。
撮像した監視映像に基づいて異常事態の発生時にのみ警
備センター側に注意を促すことのできる監視装置及び監
視システムを提供することにある。
【０００６】
【課題を解決するための手段】上記課題を解決すべく、
請求項１に記載の発明は、監視対象の付近に設置されて
当該監視対象を撮像する撮像カメラと、前記撮像カメラ
で撮像された映像フレームを所定の複数の映像ブロック
に分割し、各映像ブロック毎の映像についての所定の特
徴を定量的に抽出する特徴量抽出器と、前記特徴量抽出
器で定量的に抽出された前記所定の特徴を、異なる映像
フレーム間で互いに対応する映像ブロック同士で比較
し、その比較結果に基づいて、映像に変化があったか否
かを判定する判定部とを備え、前記特徴量抽出器は、前
記映像ブロック毎に、当該各映像ブロック内の画素の輝
度階調に対する出現頻度を意味するヒストグラム値を生
成し、当該ヒストグラム値をもって前記各映像ブロック
の前記所定の特徴とするものである。
請求項１に記載の発明は、監視対象の付近に設置されて
当該監視対象を撮像する撮像カメラと、前記撮像カメラ
で撮像された映像フレームを所定の複数の映像ブロック
に分割し、各映像ブロック毎の映像についての所定の特
徴を定量的に抽出する特徴量抽出器と、前記特徴量抽出
器で定量的に抽出された前記所定の特徴を、異なる映像
フレーム間で互いに対応する映像ブロック同士で比較
し、その比較結果に基づいて、映像に変化があったか否
かを判定する判定部とを備え、前記特徴量抽出器は、前
記映像ブロック毎に、当該各映像ブロック内の画素の輝
度階調に対する出現頻度を意味するヒストグラム値を生
成し、当該ヒストグラム値をもって前記各映像ブロック
の前記所定の特徴とするものである。
【０００７】請求項２に記載の発明は、前記特徴量抽出
器で前記所定の特徴が抽出される映像ブロックが含まれ
る１つの映像フレームの全体の明るさを定量的に求め、
前記特徴量抽出器で生成されたヒストグラム値を前記映
像フレームの全体の明るさで除算してヒストグラム値の
分布の正規化を行い、映像全体の明るさの変化に影響を
受けないヒストグラム値に補正するヒストグラム正規化
器をさらに備えるものである。
器で前記所定の特徴が抽出される映像ブロックが含まれ
る１つの映像フレームの全体の明るさを定量的に求め、
前記特徴量抽出器で生成されたヒストグラム値を前記映
像フレームの全体の明るさで除算してヒストグラム値の
分布の正規化を行い、映像全体の明るさの変化に影響を
受けないヒストグラム値に補正するヒストグラム正規化
器をさらに備えるものである。
【０００８】請求項３に記載の発明は、前記特徴量抽出
器で生成されたヒストグラム値の上限から一定割合と下
限から一定割合のみを除去し、除去後の有意値の現れた
輝度階調値の最大値と最小値の間のスケールを、それぞ
れ輝度階調値の最大限度値と最小限度値に変換してフル
スケールに伸長してヒストグラム値の分布の正規化を行
い、ヒストグラム値の局在を緩和補正するヒストグラム
正規化器をさらに備えるものである。
器で生成されたヒストグラム値の上限から一定割合と下
限から一定割合のみを除去し、除去後の有意値の現れた
輝度階調値の最大値と最小値の間のスケールを、それぞ
れ輝度階調値の最大限度値と最小限度値に変換してフル
スケールに伸長してヒストグラム値の分布の正規化を行
い、ヒストグラム値の局在を緩和補正するヒストグラム
正規化器をさらに備えるものである。
【０００９】請求項４に記載の発明は、前記ヒストグラ
ム正規化器は、前記特徴量抽出器で生成されたヒストグ
ラム値の上限から一定割合と下限から一定割合のみを除
去し、除去後の有意な値が出現する輝度階調値の最大値
と最小値との間のスケールを、それぞれ輝度階調値の最
大限度値と最小限度値に変換してフルスケールに伸長し
てヒストグラム値の分布の正規化を行い、ヒストグラム
値の局在を緩和補正する機能を併せ有せしめられたもの
である。
ム正規化器は、前記特徴量抽出器で生成されたヒストグ
ラム値の上限から一定割合と下限から一定割合のみを除
去し、除去後の有意な値が出現する輝度階調値の最大値
と最小値との間のスケールを、それぞれ輝度階調値の最
大限度値と最小限度値に変換してフルスケールに伸長し
てヒストグラム値の分布の正規化を行い、ヒストグラム
値の局在を緩和補正する機能を併せ有せしめられたもの
である。
【００１０】請求項５に記載の発明は、監視対象の付近
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された映像フレームを所定の複数の
小ブロックに分割し、各小ブロック毎の映像についての
所定の特徴を定量的に抽出する特徴量抽出器と、所定個
数の前記小ブロックをまとめて上位ブロックとし、前記
特徴量抽出器において前記各小ブロックについて定量的
に求められた前記所定の特徴を前記上位ブロックの単位
で統合する統合器と、前記統合器で統合された前記上位
ブロックの単位での前記所定の特徴と前記小ブロックの
単位での前記所定の特徴のそれぞれについて、異なる映
像フレーム間で比較し、その比較結果のうち、前記上位
ブロックと前記小ブロックのうちいずれか信頼性の高い
方の比較結果を用いて映像に変化があったか否かを判定
する判定部とを備えるものである。
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された映像フレームを所定の複数の
小ブロックに分割し、各小ブロック毎の映像についての
所定の特徴を定量的に抽出する特徴量抽出器と、所定個
数の前記小ブロックをまとめて上位ブロックとし、前記
特徴量抽出器において前記各小ブロックについて定量的
に求められた前記所定の特徴を前記上位ブロックの単位
で統合する統合器と、前記統合器で統合された前記上位
ブロックの単位での前記所定の特徴と前記小ブロックの
単位での前記所定の特徴のそれぞれについて、異なる映
像フレーム間で比較し、その比較結果のうち、前記上位
ブロックと前記小ブロックのうちいずれか信頼性の高い
方の比較結果を用いて映像に変化があったか否かを判定
する判定部とを備えるものである。
【００１１】請求項６に記載の発明は、監視対象の付近
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された映像フレームを所定の複数の
映像ブロックに分割し、各映像ブロック毎の映像につい
ての所定の特徴を定量的に抽出する特徴量抽出器と、前
記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて各映像フレー
ムでの映像の変化の有無を判定し、映像の変化のあった
映像ブロック同士が隣接している場合これらを集合的に
各クラスとして認識し、認識された各クラスの重心点の
移動量を各映像フレーム間の比較において求め、前記映
像フレームの間隔に比べて十分長い所定の区切り時間に
前記各クラスの重心点がどの程度移動したかを検出し、
その移動量が一定のしきい値より大きければ、当該移動
量の大きかった重心点を含むクラスを進入物であると判
定して所定の通報先に警報を報知する判定部とを備える
ものである。
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された映像フレームを所定の複数の
映像ブロックに分割し、各映像ブロック毎の映像につい
ての所定の特徴を定量的に抽出する特徴量抽出器と、前
記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて各映像フレー
ムでの映像の変化の有無を判定し、映像の変化のあった
映像ブロック同士が隣接している場合これらを集合的に
各クラスとして認識し、認識された各クラスの重心点の
移動量を各映像フレーム間の比較において求め、前記映
像フレームの間隔に比べて十分長い所定の区切り時間に
前記各クラスの重心点がどの程度移動したかを検出し、
その移動量が一定のしきい値より大きければ、当該移動
量の大きかった重心点を含むクラスを進入物であると判
定して所定の通報先に警報を報知する判定部とを備える
ものである。
【００１２】請求項７に記載の発明は、前記特徴量抽出
器は、前記所定の特徴の値を、複数の映像フレームに亘
る移動合計または移動平均の値として抽出するものであ
る。
器は、前記所定の特徴の値を、複数の映像フレームに亘
る移動合計または移動平均の値として抽出するものであ
る。
【００１３】請求項８に記載の発明は、監視対象の付近
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された映像フレームを所定の複数の
小ブロックに分割し、各小ブロック毎の映像についての
所定の特徴を定量的に抽出する特徴量抽出器と、所定個
数の前記小ブロックをまとめて上位ブロックとし、前記
特徴量抽出器において前記各小ブロックについて定量的
に求められた前記所定の特徴を前記上位ブロックの単位
で統合する統合器と、前記統合器で統合された前記上位
ブロックの単位での前記所定の特徴を異なる映像フレー
ム間で比較し、その比較結果に基づいて当該上位ブロッ
クの映像の変化の有無を判定し、その判定結果に従っ
て、映像の変化のあった上位ブロックに含まれる前記小
ブロックについての所定の比較パラメータを変更し、変
更された前記比較パラメータに応じて、当該小ブロック
の単位での前記所定の特徴を異なる映像フレーム間で比
較し、その比較結果に基づいて当該上位ブロックの映像
の変化の有無を判定する判定部とを備えるものである。
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された映像フレームを所定の複数の
小ブロックに分割し、各小ブロック毎の映像についての
所定の特徴を定量的に抽出する特徴量抽出器と、所定個
数の前記小ブロックをまとめて上位ブロックとし、前記
特徴量抽出器において前記各小ブロックについて定量的
に求められた前記所定の特徴を前記上位ブロックの単位
で統合する統合器と、前記統合器で統合された前記上位
ブロックの単位での前記所定の特徴を異なる映像フレー
ム間で比較し、その比較結果に基づいて当該上位ブロッ
クの映像の変化の有無を判定し、その判定結果に従っ
て、映像の変化のあった上位ブロックに含まれる前記小
ブロックについての所定の比較パラメータを変更し、変
更された前記比較パラメータに応じて、当該小ブロック
の単位での前記所定の特徴を異なる映像フレーム間で比
較し、その比較結果に基づいて当該上位ブロックの映像
の変化の有無を判定する判定部とを備えるものである。
【００１４】請求項９に記載の発明は、監視対象の付近
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された動画映像を圧縮する動画圧縮
器と、前記動画圧縮器で圧縮された複数の映像フレーム
分の圧縮データを格納する圧縮データメモリと、前記圧
縮データメモリに格納された圧縮データを復号する復号
器と、当該復号器で復号された復号データに基づいて得
られた映像フレームを所定の複数の映像ブロックに分割
し、各映像ブロック毎の映像についての所定の特徴を定
量的に抽出し、抽出された前記所定の特徴について異な
る映像フレーム間で比較し、その比較結果に基づいて当
該映像ブロックの映像の変化の有無を判定する進入物検
出装置と、前記進入物検出装置においての比較に用いら
れるパラメータを変更するパラメータ調整制御器とを備
えるものである。
に設置されて当該監視対象を撮像する撮像カメラと、前
記撮像カメラで撮像された動画映像を圧縮する動画圧縮
器と、前記動画圧縮器で圧縮された複数の映像フレーム
分の圧縮データを格納する圧縮データメモリと、前記圧
縮データメモリに格納された圧縮データを復号する復号
器と、当該復号器で復号された復号データに基づいて得
られた映像フレームを所定の複数の映像ブロックに分割
し、各映像ブロック毎の映像についての所定の特徴を定
量的に抽出し、抽出された前記所定の特徴について異な
る映像フレーム間で比較し、その比較結果に基づいて当
該映像ブロックの映像の変化の有無を判定する進入物検
出装置と、前記進入物検出装置においての比較に用いら
れるパラメータを変更するパラメータ調整制御器とを備
えるものである。
【００１５】請求項１０に記載の発明は、前記所定の通
報先に設置されて前記動画圧縮器で圧縮された圧縮デー
タを蓄積するデータベースをさらに備え、前記パラメー
タ調整制御器において前記パラメータを新たなパラメー
タ値として変更した後、前記データベース内に蓄積され
た過去の圧縮データを前記復号器に送信するようにし、
前記進入物検出装置において、前記過去の圧縮データに
基づいて、その各映像ブロック毎の映像についての所定
の特徴を定量的に抽出し、抽出された前記所定の特徴に
ついて異なる映像フレーム間で比較し、前記新たなパラ
メータをもって映像の変化を判定して、前記新たなパラ
メータの検証を行うようにしたものである。
報先に設置されて前記動画圧縮器で圧縮された圧縮デー
タを蓄積するデータベースをさらに備え、前記パラメー
タ調整制御器において前記パラメータを新たなパラメー
タ値として変更した後、前記データベース内に蓄積され
た過去の圧縮データを前記復号器に送信するようにし、
前記進入物検出装置において、前記過去の圧縮データに
基づいて、その各映像ブロック毎の映像についての所定
の特徴を定量的に抽出し、抽出された前記所定の特徴に
ついて異なる映像フレーム間で比較し、前記新たなパラ
メータをもって映像の変化を判定して、前記新たなパラ
メータの検証を行うようにしたものである。
【００１６】
【発明の実施の形態】｛第１の実施の形態｝図１はこの
発明の第１の実施の形態に係る監視装置が適用された監
視システムのブロック図である。この監視システムは、
例えば深夜のオフィスビル内等のように、本来、人間が
行き来しないような時間帯において、侵入者の侵入等の
異常事態を検出するものであって、図１の如く、ビル内
の監視対象となる各フロアの天井等にテレビカメラ１１
を設置し、このテレビカメラ１１で各フロア内の情景を
撮像し、その撮像結果の情景映像（監視映像）を、所定
の特徴量抽出器１３によって、フレーム毎に且つ所定の
ブロック毎にヒストグラム化し、かかるヒストグラム値
の時間的な差分を所定の映像変化判定部１６で求めて、
その差分値が一定のしきい値より大きい場合に、フロア
内の被写体に何らかの変化があったものとしてその旨を
判定するようにしたものである。
発明の第１の実施の形態に係る監視装置が適用された監
視システムのブロック図である。この監視システムは、
例えば深夜のオフィスビル内等のように、本来、人間が
行き来しないような時間帯において、侵入者の侵入等の
異常事態を検出するものであって、図１の如く、ビル内
の監視対象となる各フロアの天井等にテレビカメラ１１
を設置し、このテレビカメラ１１で各フロア内の情景を
撮像し、その撮像結果の情景映像（監視映像）を、所定
の特徴量抽出器１３によって、フレーム毎に且つ所定の
ブロック毎にヒストグラム化し、かかるヒストグラム値
の時間的な差分を所定の映像変化判定部１６で求めて、
その差分値が一定のしきい値より大きい場合に、フロア
内の被写体に何らかの変化があったものとしてその旨を
判定するようにしたものである。
【００１７】テレビカメラ１１はＣＣＤ等の撮像素子等
を備えた一般的なものが使用され、ここで撮像された監
視映像をＮＴＳＣ信号としてアナログ・ディジタル変換
器（ＡＤＣ）１２に出力し、このアナログ・ディジタル
変換器１２でディジタル信号に変換した後、特徴量抽出
器１３に伝送する。
を備えた一般的なものが使用され、ここで撮像された監
視映像をＮＴＳＣ信号としてアナログ・ディジタル変換
器（ＡＤＣ）１２に出力し、このアナログ・ディジタル
変換器１２でディジタル信号に変換した後、特徴量抽出
器１３に伝送する。
【００１８】アナログ・ディジタル変換器１２から出力
されるディジタル信号としては、各画素毎の毎に８ビッ
ト（「０」〜「２５５」の２５６階調）長に形成された
輝度データが適用される。
されるディジタル信号としては、各画素毎の毎に８ビッ
ト（「０」〜「２５５」の２５６階調）長に形成された
輝度データが適用される。
【００１９】特徴量抽出器１３は、与えられた監視映像
の映像フレームを所定のブロックに分割した後に当該各
ブロック毎のヒストグラムを生成するヒストグラム生成
機１４と、このヒストグラム生成機１４で生成されたヒ
ストグラム値を格納するヒストグラムメモリ１５とを備
えたものである。
の映像フレームを所定のブロックに分割した後に当該各
ブロック毎のヒストグラムを生成するヒストグラム生成
機１４と、このヒストグラム生成機１４で生成されたヒ
ストグラム値を格納するヒストグラムメモリ１５とを備
えたものである。
【００２０】ヒストグラム生成機１４で分割されるブロ
ックは、例えば図２の如く、縦横それぞれ１６ｐｉｘｅ
ｌずつの長さの正方形状に形成された映像ブロックであ
る。そして、ヒストグラム生成機１４で生成されるヒス
トグラム値ｆ1（ｘ）〜ｆ3（ｘ）（ただし「ｘ」は階調
値を意味している）は次のように生成される。まず、各
映像ブロック内において、その全ての画素を対象に各色
成分（Ｒ（赤色）・Ｇ（緑色）・Ｂ（青色）の３成分）
の輝度の平均値（成分平均輝度値）を算出する。そし
て、各映像ブロック毎に、図３のように、成分平均輝度
値（階調）を横軸に取り、それぞれの階調の出現頻度を
縦軸にとって分布化し、各ブロック毎及び各階調毎のヒ
ストグラム値ｆ1（ｘ）〜ｆ3（ｘ）が生成される。ここ
で、図３中の縦軸（出現頻度）は、全ての階調について
のヒストグラム値を合計したときにその合計値が「１」
になるように正規化されている。かかる各フレームの各
映像ブロックにおける各階調毎のヒストグラム値ｆ
1（ｘ）〜ｆ3（ｘ）は、前述のヒストグラムメモリ１５
に順次格納される。
ックは、例えば図２の如く、縦横それぞれ１６ｐｉｘｅ
ｌずつの長さの正方形状に形成された映像ブロックであ
る。そして、ヒストグラム生成機１４で生成されるヒス
トグラム値ｆ1（ｘ）〜ｆ3（ｘ）（ただし「ｘ」は階調
値を意味している）は次のように生成される。まず、各
映像ブロック内において、その全ての画素を対象に各色
成分（Ｒ（赤色）・Ｇ（緑色）・Ｂ（青色）の３成分）
の輝度の平均値（成分平均輝度値）を算出する。そし
て、各映像ブロック毎に、図３のように、成分平均輝度
値（階調）を横軸に取り、それぞれの階調の出現頻度を
縦軸にとって分布化し、各ブロック毎及び各階調毎のヒ
ストグラム値ｆ1（ｘ）〜ｆ3（ｘ）が生成される。ここ
で、図３中の縦軸（出現頻度）は、全ての階調について
のヒストグラム値を合計したときにその合計値が「１」
になるように正規化されている。かかる各フレームの各
映像ブロックにおける各階調毎のヒストグラム値ｆ
1（ｘ）〜ｆ3（ｘ）は、前述のヒストグラムメモリ１５
に順次格納される。
【００２１】映像変化判定部１６は、経時的に得られる
各フレーム毎の各ヒストグラム値について、異なるフレ
ーム間でのヒストグラム値の差分の各映像ブロック内で
の合計値（この明細書では、かかる差分の合計値を単に
「距離」と略称することにする）を求める距離算出器１
７と、当該距離が所定のしきい値より大きいときに、監
視映像中に何らかの物体の移動動作があった旨を判定す
る判定器１８とを備えるものである。
各フレーム毎の各ヒストグラム値について、異なるフレ
ーム間でのヒストグラム値の差分の各映像ブロック内で
の合計値（この明細書では、かかる差分の合計値を単に
「距離」と略称することにする）を求める距離算出器１
７と、当該距離が所定のしきい値より大きいときに、監
視映像中に何らかの物体の移動動作があった旨を判定す
る判定器１８とを備えるものである。
【００２２】距離算出器１７において、前述の差分を求
める際の「異なるフレーム間」の照合は、最新の注目フ
レームに対して例えば１秒前の過去のフレームを照合す
るものとする。図４のように、ブロック番号をｉ（＝
１，２，…）とし、輝度階調をｘ（＝０，１，…２５
５）とし、注目フレームの各映像ブロックの各階調毎の
ヒストグラム値をｆi（ｘ）、この注目フレームの１秒
前の過去のフレームにおける各映像ブロックの各階調毎
のヒストグラム値をｇi（ｘ）とすると、ブロック番号
ｉの映像ブロックの距離ｄiは次の（１）式により求め
られる。
める際の「異なるフレーム間」の照合は、最新の注目フ
レームに対して例えば１秒前の過去のフレームを照合す
るものとする。図４のように、ブロック番号をｉ（＝
１，２，…）とし、輝度階調をｘ（＝０，１，…２５
５）とし、注目フレームの各映像ブロックの各階調毎の
ヒストグラム値をｆi（ｘ）、この注目フレームの１秒
前の過去のフレームにおける各映像ブロックの各階調毎
のヒストグラム値をｇi（ｘ）とすると、ブロック番号
ｉの映像ブロックの距離ｄiは次の（１）式により求め
られる。
【００２３】
【数１】
【００２４】この（１）式によって求められた距離ｄi
は、１秒間に各ヒストグラム値の変化がどの程度あった
かを表しており、各映像ブロック毎に求められるもの
で、この距離ｄiを映像座標中にプロットすると図５の
ようになる。
は、１秒間に各ヒストグラム値の変化がどの程度あった
かを表しており、各映像ブロック毎に求められるもの
で、この距離ｄiを映像座標中にプロットすると図５の
ようになる。
【００２５】判定器１８は、距離算出器１７で算出され
た距離ｄiと予めＲＯＭ等に設定されたしきい値ｃとを
比較し、距離ｄiがしきい値ｃより大きい場合には、そ
の距離ｄiに係る映像ブロックに輝度変化があったもの
と判断し、１フレーム中において輝度変化のあったブロ
ックの合計が事前に決められた値Ｃallより大きいとき
には、侵入者があったと判断して、警備センター等の所
定の部局に警報を報知する。
た距離ｄiと予めＲＯＭ等に設定されたしきい値ｃとを
比較し、距離ｄiがしきい値ｃより大きい場合には、そ
の距離ｄiに係る映像ブロックに輝度変化があったもの
と判断し、１フレーム中において輝度変化のあったブロ
ックの合計が事前に決められた値Ｃallより大きいとき
には、侵入者があったと判断して、警備センター等の所
定の部局に警報を報知する。
【００２６】尚、これらの各制御機能は、具体的には、
ＲＯＭおよびＲＡＭ等が接続された所定のＣＰＵを使用
し、ＲＯＭ等に予め格納された所定のソフトウェアプロ
グラムに従って動作する機能である。
ＲＯＭおよびＲＡＭ等が接続された所定のＣＰＵを使用
し、ＲＯＭ等に予め格納された所定のソフトウェアプロ
グラムに従って動作する機能である。
【００２７】このように、撮像カメラで撮像した監視映
像に基づいて、輝度が大幅に変化したような異常事態の
発生時にのみ警備センター側に警報を送信できるので、
監視者は、配信されてきた映像を肉眼にて常時見続けな
くてもよくなり、監視者の精神的及び肉体的な労力負担
を大幅に軽減できる。
像に基づいて、輝度が大幅に変化したような異常事態の
発生時にのみ警備センター側に警報を送信できるので、
監視者は、配信されてきた映像を肉眼にて常時見続けな
くてもよくなり、監視者の精神的及び肉体的な労力負担
を大幅に軽減できる。
【００２８】そして、上記のように、各フレームの輝度
の変化を判定する際に、まず所定の映像ブロック毎に分
割し、その映像ブロック毎にヒストグラム値を求めてか
ら、そのヒストグラム値の差分を求めるようにしている
ので、例えば各画素毎に輝度の差分を求めたり、映像圧
縮の分野で使用される「動き検出」等の差分データを使
用して映像変化を判断する場合に比べて、ＣＰＵの負荷
を大幅に軽減することが可能となり、一般的に普及して
いるパーソナルコンピュータ等を使用しても十分に上記
機能を発揮させることができることから、装置コストを
低減でき、安価な監視装置を提供できる。
の変化を判定する際に、まず所定の映像ブロック毎に分
割し、その映像ブロック毎にヒストグラム値を求めてか
ら、そのヒストグラム値の差分を求めるようにしている
ので、例えば各画素毎に輝度の差分を求めたり、映像圧
縮の分野で使用される「動き検出」等の差分データを使
用して映像変化を判断する場合に比べて、ＣＰＵの負荷
を大幅に軽減することが可能となり、一般的に普及して
いるパーソナルコンピュータ等を使用しても十分に上記
機能を発揮させることができることから、装置コストを
低減でき、安価な監視装置を提供できる。
【００２９】尚、この実施の形態では、ヒストグラム値
を各輝度階調値ごとに生成するようにしていたが、例え
ば２階調ごと、４階調毎、または８階調毎に生成するよ
うにしてもよい。
を各輝度階調値ごとに生成するようにしていたが、例え
ば２階調ごと、４階調毎、または８階調毎に生成するよ
うにしてもよい。
【００３０】｛第２の実施の形態｝蛍光灯のフリッカや
天候の変化による全体的な明るさの変化があったとき
に、単にヒストグラム間の距離を計算して判定すると侵
入があったかどうかに対して誤認識しやすい。かかる誤
認識を低減するため、第２の実施の形態に係る監視装置
では、得られたヒストグラムの正規化を行い、これによ
り誤判定を防止するようにしたものである。
天候の変化による全体的な明るさの変化があったとき
に、単にヒストグラム間の距離を計算して判定すると侵
入があったかどうかに対して誤認識しやすい。かかる誤
認識を低減するため、第２の実施の形態に係る監視装置
では、得られたヒストグラムの正規化を行い、これによ
り誤判定を防止するようにしたものである。
【００３１】この実施の形態に係る監視装置を図６に示
す。尚、図６では、図１に示した第１の実施の形態と同
様の機能を有する要素については同一符号を付してい
る。
す。尚、図６では、図１に示した第１の実施の形態と同
様の機能を有する要素については同一符号を付してい
る。
【００３２】この監視装置は、図１に示した第１の実施
の形態に係る監視装置の特徴量抽出器１３に対して、さ
らにヒストグラム正規化器２１を内蔵したものである。
の形態に係る監視装置の特徴量抽出器１３に対して、さ
らにヒストグラム正規化器２１を内蔵したものである。
【００３３】ヒストグラム正規化器２１は、ヒストグラ
ムメモリ１５において、１フレーム分のヒストグラム値
の生成が完了した時点で、かかるヒストグラム値を受信
し、次に説明する第一正規化処理及び第二正規化処理を
実行し、これらの正規化処理後のデータをヒストグラム
メモリ１５に上書きする。
ムメモリ１５において、１フレーム分のヒストグラム値
の生成が完了した時点で、かかるヒストグラム値を受信
し、次に説明する第一正規化処理及び第二正規化処理を
実行し、これらの正規化処理後のデータをヒストグラム
メモリ１５に上書きする。
【００３４】第一正規化処理は、昼夜の光量差や蛍光灯
のフリッカ等によってフレーム全体の明るさが変化する
場合に、かかる変化を補正して同等のヒストグラム値の
レンジを得るためのものであって、次のように行われ
る。まず、次の（２）式に基づいて、各画素の階調値ｘ
（ただし、ｘ＝０，１，…２５５）に対するヒストグラ
ム値ｆi（ｘ）（ただし、ｉ＝１，２，…）の積分値Ａ
を求め、この積分値Ａをもって１フレーム全体の明るさ
度合いの値とする。
のフリッカ等によってフレーム全体の明るさが変化する
場合に、かかる変化を補正して同等のヒストグラム値の
レンジを得るためのものであって、次のように行われ
る。まず、次の（２）式に基づいて、各画素の階調値ｘ
（ただし、ｘ＝０，１，…２５５）に対するヒストグラ
ム値ｆi（ｘ）（ただし、ｉ＝１，２，…）の積分値Ａ
を求め、この積分値Ａをもって１フレーム全体の明るさ
度合いの値とする。
【００３５】
【数２】
【００３６】そして、次の（３）式に基づいて、各ヒス
トグラム値ｆi（ｘ）を上記積分値（明るさ度合いの
値）Ａで除算し、新たなヒストグラムを計算する。
トグラム値ｆi（ｘ）を上記積分値（明るさ度合いの
値）Ａで除算し、新たなヒストグラムを計算する。
【００３７】
【数３】
【００３８】また特に夜間の監視においては、昼間に比
べて画像の鮮明度が大幅に低下する。このような場合に
は、図７の如く、各ヒストグラム値（頻度）ｆi（ｘ）
が輝度値ｘの小さい部分（暗い部分）Ｘｌｏｗに局在す
ることになる。また、テレビカメラ１１の撮像素子とし
てＣＣＤカメラを使用する場合には、輝度値ｘの大小に
拘わらずノイズが増加する。したがって、このまま距離
ｄi（上記（１）式及び図５参照）を計算すると、特に
ヒストグラム値ｆi（ｘ）として小さな値が出現する高
輝度値部分Ｘｈｉｇｈおいて誤差が大きくなり、誤判定
の原因となる。そこで、第二正規化処理において、図８
の如く、ヒストグラムの有意な値を示す領域をフルスケ
ールに伸長する。具体的には、図９の如く、元のヒスト
グラム分布のうち、低輝度領域及び高輝度領域について
全体のそれぞれ１％の頻度を示すデータを割り出し、最
小データから順に見て全体の１％のヒストグラム値（頻
度）を示す輝度値を有意な輝度データとしての最小値ｘ
minとするとともに、最大データから順に見て全体の１
％のヒストグラム値（頻度）を示す輝度値を有意な輝度
データとしての最大値ｘmaxとし、所定のマッピング関
数を用いて有意な値を示す領域をフルスケールに伸長す
る。この際のマッピング関数は、最小値ｘminを輝度値
ｘとしての「０」値（最小限度値）に、最大値ｘmaxを
輝度値ｘとしての「２５５」値（最大限度値）に線形的
にスケール変換するように予めプログラミングされたも
のである。ただし、使用するＣＰＵの負荷などに余裕の
ある場合には、非線形なスケール変換を行うことも可能
である。このようなマッピング関数を使って、ある領域
（例えば輝度値ｘの小さい部分（暗い部分）Ｘｌｏｗ）
に局在したヒストグラム分布を「０」から「２５５」の
フルスケールに伸長することができ、有意なヒストグラ
ム値の少ない領域についての誤判定を軽減することがで
きる。
べて画像の鮮明度が大幅に低下する。このような場合に
は、図７の如く、各ヒストグラム値（頻度）ｆi（ｘ）
が輝度値ｘの小さい部分（暗い部分）Ｘｌｏｗに局在す
ることになる。また、テレビカメラ１１の撮像素子とし
てＣＣＤカメラを使用する場合には、輝度値ｘの大小に
拘わらずノイズが増加する。したがって、このまま距離
ｄi（上記（１）式及び図５参照）を計算すると、特に
ヒストグラム値ｆi（ｘ）として小さな値が出現する高
輝度値部分Ｘｈｉｇｈおいて誤差が大きくなり、誤判定
の原因となる。そこで、第二正規化処理において、図８
の如く、ヒストグラムの有意な値を示す領域をフルスケ
ールに伸長する。具体的には、図９の如く、元のヒスト
グラム分布のうち、低輝度領域及び高輝度領域について
全体のそれぞれ１％の頻度を示すデータを割り出し、最
小データから順に見て全体の１％のヒストグラム値（頻
度）を示す輝度値を有意な輝度データとしての最小値ｘ
minとするとともに、最大データから順に見て全体の１
％のヒストグラム値（頻度）を示す輝度値を有意な輝度
データとしての最大値ｘmaxとし、所定のマッピング関
数を用いて有意な値を示す領域をフルスケールに伸長す
る。この際のマッピング関数は、最小値ｘminを輝度値
ｘとしての「０」値（最小限度値）に、最大値ｘmaxを
輝度値ｘとしての「２５５」値（最大限度値）に線形的
にスケール変換するように予めプログラミングされたも
のである。ただし、使用するＣＰＵの負荷などに余裕の
ある場合には、非線形なスケール変換を行うことも可能
である。このようなマッピング関数を使って、ある領域
（例えば輝度値ｘの小さい部分（暗い部分）Ｘｌｏｗ）
に局在したヒストグラム分布を「０」から「２５５」の
フルスケールに伸長することができ、有意なヒストグラ
ム値の少ない領域についての誤判定を軽減することがで
きる。
【００３９】｛第３の実施の形態｝監視装置において進
入物を検知する際、その進入物の大きさ、あるいはカメ
ラからの進入物までの距離によって、映像フレーム中に
現れる進入物の大きさが大幅に変化する。
入物を検知する際、その進入物の大きさ、あるいはカメ
ラからの進入物までの距離によって、映像フレーム中に
現れる進入物の大きさが大幅に変化する。
【００４０】このような場合に、既に上記した実施の形
態のように、映像ブロックのサイズが縦横それぞれ１６
ｐｉｘｅｌずつの長さ程度に固定されていると、ひとつ
の映像ブロックは非常に小さな局所領域に対応するのみ
で、大きな侵入物が多少動いた程度ではこのような局所
領域のヒストグラムの変化には適切に現われてこない場
合がある。
態のように、映像ブロックのサイズが縦横それぞれ１６
ｐｉｘｅｌずつの長さ程度に固定されていると、ひとつ
の映像ブロックは非常に小さな局所領域に対応するのみ
で、大きな侵入物が多少動いた程度ではこのような局所
領域のヒストグラムの変化には適切に現われてこない場
合がある。
【００４１】例えば、図１０のように、１フレームを縦
方向に１０区切り、横方向に１２区切りして１０×１２
＝１２０個の映像ブロックをもって進入物２５の動きを
判定する場合、進入物２５の輪郭が移動して輝度変化し
た映像ブロック（図１０中の白丸部分）については、そ
のときの輝度変化をもって映像ブロックの変化を判定で
きるものの、例えば侵入者がモノトーンの服を着衣して
いる場合など、進入物２５の中腹部（図１０中のｘ印部
分）の色の変化がない場合には、その部分が移動したと
しても輝度の変化があまり見られないため、かかる部分
に相当した映像ブロックの変化を小さなブロックで判定
することはできない。例えば、図１０の場合、１２０個
の映像ブロック中、２２個のの映像ブロック（白丸部
分）しか輝度の変化を判定できなくなる。そして、この
ような場合は、むしろ、図１１のようにひとまわり大き
な映像ブロックで輝度変化の判定を行った方が、全体と
して進入物２５の動きの変化を検出しやすい場合が多
い。具体的には、図１１の例では、５×６＝３０個の映
像ブロック中８個の映像ブロックが変化したことにな
り、この８／３０が、図１０の例における２２／１２０
より大きな値となる。
方向に１０区切り、横方向に１２区切りして１０×１２
＝１２０個の映像ブロックをもって進入物２５の動きを
判定する場合、進入物２５の輪郭が移動して輝度変化し
た映像ブロック（図１０中の白丸部分）については、そ
のときの輝度変化をもって映像ブロックの変化を判定で
きるものの、例えば侵入者がモノトーンの服を着衣して
いる場合など、進入物２５の中腹部（図１０中のｘ印部
分）の色の変化がない場合には、その部分が移動したと
しても輝度の変化があまり見られないため、かかる部分
に相当した映像ブロックの変化を小さなブロックで判定
することはできない。例えば、図１０の場合、１２０個
の映像ブロック中、２２個のの映像ブロック（白丸部
分）しか輝度の変化を判定できなくなる。そして、この
ような場合は、むしろ、図１１のようにひとまわり大き
な映像ブロックで輝度変化の判定を行った方が、全体と
して進入物２５の動きの変化を検出しやすい場合が多
い。具体的には、図１１の例では、５×６＝３０個の映
像ブロック中８個の映像ブロックが変化したことにな
り、この８／３０が、図１０の例における２２／１２０
より大きな値となる。
【００４２】このことを考慮し、第３の実施の形態に係
る監視装置では、図１２の如く、小ブロック（ヒストグ
ラム値Ｆ1 1（ｘ）〜Ｆ4 1（ｘ）を生成するブロック）、
中ブロック（Ｆ1 2（ｘ）〜Ｆ4 2（ｘ）を生成するブロッ
ク）及び大ブロック（Ｆ1 3（ｘ）を生成するブロック）
というように映像ブロックを階層的にまとめ、各階層の
映像ブロックのそれぞれについて上記ヒストグラム間の
距離ｄiを算出し、その結果最も大きな変化が見られた
階層の映像ブロックの距離ｄiを採用することで、適切
な階層の大きさのブロックサイズにおいて全体的な動き
があるかどうかを適切に判断することができる。
る監視装置では、図１２の如く、小ブロック（ヒストグ
ラム値Ｆ1 1（ｘ）〜Ｆ4 1（ｘ）を生成するブロック）、
中ブロック（Ｆ1 2（ｘ）〜Ｆ4 2（ｘ）を生成するブロッ
ク）及び大ブロック（Ｆ1 3（ｘ）を生成するブロック）
というように映像ブロックを階層的にまとめ、各階層の
映像ブロックのそれぞれについて上記ヒストグラム間の
距離ｄiを算出し、その結果最も大きな変化が見られた
階層の映像ブロックの距離ｄiを採用することで、適切
な階層の大きさのブロックサイズにおいて全体的な動き
があるかどうかを適切に判断することができる。
【００４３】具体的には、次の（４）式のように、１層
目の４つの小ブロックのヒストグラム値を統合して、新
たな２層目の各中ブロックのヒストグラム値とし、ま
た、（５）式のように、２層目の４つの中ブロックのヒ
ストグラム値を統合して、新たな３層目の大ブロックの
ヒストグラム値とする。計算方法は、（４）式及び
（５）式のように、単純に４つのヒストグラム値を加え
る。尚、図１２、（４）式及び（５）式において、Ｆ1 1
（ｘ）〜Ｆ4 1（ｘ），Ｆ1 2（ｘ）〜Ｆ4 2（ｘ），Ｆ
1 3（ｘ）中の右上の添え字は階層番号を表し、右下の添
え字は映像ブロックの番号を表している。
目の４つの小ブロックのヒストグラム値を統合して、新
たな２層目の各中ブロックのヒストグラム値とし、ま
た、（５）式のように、２層目の４つの中ブロックのヒ
ストグラム値を統合して、新たな３層目の大ブロックの
ヒストグラム値とする。計算方法は、（４）式及び
（５）式のように、単純に４つのヒストグラム値を加え
る。尚、図１２、（４）式及び（５）式において、Ｆ1 1
（ｘ）〜Ｆ4 1（ｘ），Ｆ1 2（ｘ）〜Ｆ4 2（ｘ），Ｆ
1 3（ｘ）中の右上の添え字は階層番号を表し、右下の添
え字は映像ブロックの番号を表している。
【００４４】
【数４】
【００４５】
【数５】
【００４６】かかる映像ブロックのヒストグラム値の統
合は、図１３の如く、ヒストグラムメモリ１５と距離算
出器１７との間に介装されたヒストグラム統合器２６に
おいて行われる。尚、図１３では、図６に示した第２の
実施の形態と同様の機能を有する要素については同一符
号を付している。
合は、図１３の如く、ヒストグラムメモリ１５と距離算
出器１７との間に介装されたヒストグラム統合器２６に
おいて行われる。尚、図１３では、図６に示した第２の
実施の形態と同様の機能を有する要素については同一符
号を付している。
【００４７】また、映像変化判定部１６の距離算出器１
７は、第１の実施の形態及び第２の実施の形態と同様の
機能を有し、各ブロックにおける距離ｄiを上記（１）
式により求める。
７は、第１の実施の形態及び第２の実施の形態と同様の
機能を有し、各ブロックにおける距離ｄiを上記（１）
式により求める。
【００４８】そして、映像変化判定部１６の判定器１８
においては、最も大きな変化が見られた階層の映像ブロ
ックの距離ｄiを選択して採用し、これに基づいて進入
物２５の有無を判定する。この時の映像ブロックの選択
方法について説明する。
においては、最も大きな変化が見られた階層の映像ブロ
ックの距離ｄiを選択して採用し、これに基づいて進入
物２５の有無を判定する。この時の映像ブロックの選択
方法について説明する。
【００４９】図１４は第１層目（最下層、即ち小ブロッ
ク）での判定動作を示す図であり、黒丸はヒストグラム
間距離の判断において輝度の変化があったと判定された
映像ブロックを示している。また、図１５はその一つ上
の第２層目（中ブロック）での判定動作を示す図であ
る。まず、これらの各階層でクラス（クラス１〜３）を
求める。
ク）での判定動作を示す図であり、黒丸はヒストグラム
間距離の判断において輝度の変化があったと判定された
映像ブロックを示している。また、図１５はその一つ上
の第２層目（中ブロック）での判定動作を示す図であ
る。まず、これらの各階層でクラス（クラス１〜３）を
求める。
【００５０】クラスの作り方は、図１４及び図１５での
各黒丸に対して、図１６の如く、縦方向、横方向または
斜め方向（８近傍）のいずれかに黒丸があれば、これら
の黒丸同士が互いに一つのクラスと判定する。
各黒丸に対して、図１６の如く、縦方向、横方向または
斜め方向（８近傍）のいずれかに黒丸があれば、これら
の黒丸同士が互いに一つのクラスと判定する。
【００５１】そして、これらの各クラス１〜３におい
て、クラス内分散とクラス外分散を計算する。
て、クラス内分散とクラス外分散を計算する。
【００５２】（６）式はクラス内分散σ2 wを求める式で
あり、（６）式中のχiはクラスｉの距離データの集
合、ｎiはχiに含まれるデータ数、ｍiはクラスｉの距
離データの平均値、ｎは全データ数、ｍは全データの平
均値をそれぞれ示している。この（６）式により求まる
クラス内分散σ2 wは、各クラスの中で距離のばらつきが
どの程度かを表すことになる。
あり、（６）式中のχiはクラスｉの距離データの集
合、ｎiはχiに含まれるデータ数、ｍiはクラスｉの距
離データの平均値、ｎは全データ数、ｍは全データの平
均値をそれぞれ示している。この（６）式により求まる
クラス内分散σ2 wは、各クラスの中で距離のばらつきが
どの程度かを表すことになる。
【００５３】
【数６】
【００５４】また、（７）式はクラス外分散σ2 Bを求め
る式であり、（７）式中の各変数は（６）式と同様であ
る。この（６）式により求まるクラス外分散σ2 Bは、各
クラスでの距離の平均値がクラスによってどのようにば
らついているかを表している。
る式であり、（７）式中の各変数は（６）式と同様であ
る。この（６）式により求まるクラス外分散σ2 Bは、各
クラスでの距離の平均値がクラスによってどのようにば
らついているかを表している。
【００５５】
【数７】
【００５６】図１４及び図１５において、３つの侵入物
があると仮定すると、各々のクラス１〜３の黒丸は同じ
ような動きを示し、また各クラス１〜３内での距離のば
らつきは小さいと考えられる。３つのクラス１〜３の動
きは別々のクラス間の距離のばらつき程度が大きいと考
えられる。
があると仮定すると、各々のクラス１〜３の黒丸は同じ
ような動きを示し、また各クラス１〜３内での距離のば
らつきは小さいと考えられる。３つのクラス１〜３の動
きは別々のクラス間の距離のばらつき程度が大きいと考
えられる。
【００５７】そこで、次の（８）式に従って、クラス内
分散σ2 wに対するクラス外分散σ2 Bの比Ｊを求め、かか
る比Ｊが大きいほど正確な特徴量を示すと判断できる。
分散σ2 wに対するクラス外分散σ2 Bの比Ｊを求め、かか
る比Ｊが大きいほど正確な特徴量を示すと判断できる。
【００５８】
【数８】
【００５９】例えば、（８）式では、小さな映像ブロッ
ク（図１４）で比Ｊを求めると、１つの物体が複数のク
ラスに分割されてしまいその結果小さい値となる。一
方、大きい映像ブロック（図１５）で比Ｊを求めると、
適切な大きさの映像ブロックによりクラスが表現され、
その結果大きな値となる。したがって、このような場合
は、比Ｊの大きな方として、図１５のような中ブロック
を採用して判定を行うべきと判断できる。
ク（図１４）で比Ｊを求めると、１つの物体が複数のク
ラスに分割されてしまいその結果小さい値となる。一
方、大きい映像ブロック（図１５）で比Ｊを求めると、
適切な大きさの映像ブロックによりクラスが表現され、
その結果大きな値となる。したがって、このような場合
は、比Ｊの大きな方として、図１５のような中ブロック
を採用して判定を行うべきと判断できる。
【００６０】このようなブロックのサイズを選択して採
用した後は、上記各実施の形態と同様にして進入物２５
の判定を行えばよい。
用した後は、上記各実施の形態と同様にして進入物２５
の判定を行えばよい。
【００６１】このように、階層的に映像ブロックを統合
すると、進入物２５を検知するのに適切なブロックサイ
ズを選択することで、感度のよい判定を行うことができ
る。
すると、進入物２５を検知するのに適切なブロックサイ
ズを選択することで、感度のよい判定を行うことができ
る。
【００６２】｛第４の実施の形態｝鉢植えの植物等があ
るフロアの監視においては、進入物２５に対しては警備
センターに警報を報知する必要があるものの、植物の葉
が風などで揺れた場合の動きについては反応せずに報知
したくないという事情がある。また、カーテンなどが風
のために揺れたような場合も同様に、警備センターに報
知することは望ましくない。
るフロアの監視においては、進入物２５に対しては警備
センターに警報を報知する必要があるものの、植物の葉
が風などで揺れた場合の動きについては反応せずに報知
したくないという事情がある。また、カーテンなどが風
のために揺れたような場合も同様に、警備センターに報
知することは望ましくない。
【００６３】そこで、第４の実施の形態に係る監視装置
は、第３の実施の形態のようにして図１４〜図１６に示
したクラスを検出した後、その各クラスの重心を求め、
図１７のようにフレーム間隔おきに重心の動きを刻々と
記憶し、その重心がフレーム間隔に比べて十分長い所定
の区切り時間（例えば１０秒間）にどの程度移動したか
を検出し、その移動量が一定のしきい値より大きけれ
ば、進入物２５である蓋然性が高いものとして警備セン
ターに報知するようになっている。かかる処理は、図１
８の如く、距離算出器１７と判定器１８との間に介装さ
れた重心座標メモリ２９を使用して実行される。尚、図
１８では、図１に示した第１の実施の形態と同様の機能
を有する要素については同一符号を付している。
は、第３の実施の形態のようにして図１４〜図１６に示
したクラスを検出した後、その各クラスの重心を求め、
図１７のようにフレーム間隔おきに重心の動きを刻々と
記憶し、その重心がフレーム間隔に比べて十分長い所定
の区切り時間（例えば１０秒間）にどの程度移動したか
を検出し、その移動量が一定のしきい値より大きけれ
ば、進入物２５である蓋然性が高いものとして警備セン
ターに報知するようになっている。かかる処理は、図１
８の如く、距離算出器１７と判定器１８との間に介装さ
れた重心座標メモリ２９を使用して実行される。尚、図
１８では、図１に示した第１の実施の形態と同様の機能
を有する要素については同一符号を付している。
【００６４】重心座標メモリ２９では、０．５秒おきに
各クラスの重心座標を記億しておく。図１７は０．５秒
おきの重心座標の変化を示している。進入物２５の場合
には、目的地に向かって進行するため、一定の区切り時
間にある一定以上の移動量がみられる。一方、植物の葉
等２８の揺れ等の重心座標の動きは、一定の基準ポイン
トを中心に上下左右等に往復動作または回転動作をする
だけで、基準ポイントから大きく移動することはない。
この点で、進入物２５と植物の葉等２８とはその動きに
大きな違いがある。
各クラスの重心座標を記億しておく。図１７は０．５秒
おきの重心座標の変化を示している。進入物２５の場合
には、目的地に向かって進行するため、一定の区切り時
間にある一定以上の移動量がみられる。一方、植物の葉
等２８の揺れ等の重心座標の動きは、一定の基準ポイン
トを中心に上下左右等に往復動作または回転動作をする
だけで、基準ポイントから大きく移動することはない。
この点で、進入物２５と植物の葉等２８とはその動きに
大きな違いがある。
【００６５】判定器１８は、この重心の動きに基づい
て、進入物２５か植物の葉等２８の揺れかを判定する。
即ち、例えば１０秒間に重心座標が大きく変化したとき
には、フロア内に何らかの進入物２５が進入した可能性
が強いと判断し、警備センターに報知する一方、例えば
１０秒間における物体の移動量が一定のしきい値以内で
ある場合には、植物の葉等２８の揺れ等である可能性が
強いと判断し、警備センターへの報知を行わないように
する。
て、進入物２５か植物の葉等２８の揺れかを判定する。
即ち、例えば１０秒間に重心座標が大きく変化したとき
には、フロア内に何らかの進入物２５が進入した可能性
が強いと判断し、警備センターに報知する一方、例えば
１０秒間における物体の移動量が一定のしきい値以内で
ある場合には、植物の葉等２８の揺れ等である可能性が
強いと判断し、警備センターへの報知を行わないように
する。
【００６６】これにより、警備センターへの誤報を防止
できるという利点がある。
できるという利点がある。
【００６７】｛第５の実施の形態｝夜間の部屋の監視で
は、明るさが不十分で撮像素子のノイズによって進入物
を正確に検知できなくなる。
は、明るさが不十分で撮像素子のノイズによって進入物
を正確に検知できなくなる。
【００６８】そこで、第５の実施の形態に係る監視装置
では、図１９の如く、累積機能付きヒストグラムメモリ
３１により１０フレーム分のヒストグラム値の移動合計
または移動平均を記憶し、この移動合計または移動平均
に基づいて距離算出器１７での距離ｄiの算出及び判定
器１８での判定を行う。このように累積加算することに
よって、ノイズが多い画像の場合にも、係るノイズの影
響を緩和でき、正確なヒストグラムを生成することがで
きる。
では、図１９の如く、累積機能付きヒストグラムメモリ
３１により１０フレーム分のヒストグラム値の移動合計
または移動平均を記憶し、この移動合計または移動平均
に基づいて距離算出器１７での距離ｄiの算出及び判定
器１８での判定を行う。このように累積加算することに
よって、ノイズが多い画像の場合にも、係るノイズの影
響を緩和でき、正確なヒストグラムを生成することがで
きる。
【００６９】｛第６の実施の形態｝ここで、再び図１０
のように、第１階層で楕円の物体が左から右に動いた場
合を考える。丸印のブロックはヒストグラム間の距離ｄ
iに基づいて何らかの動きがあったものと判定される。
物体において全体的な明るさがあまり変化がないような
場合、例えば侵入者がモノトーンな服を着ているような
場合には、上述のように、ｘ印の部分が正しく判定でき
ない場合がある。
のように、第１階層で楕円の物体が左から右に動いた場
合を考える。丸印のブロックはヒストグラム間の距離ｄ
iに基づいて何らかの動きがあったものと判定される。
物体において全体的な明るさがあまり変化がないような
場合、例えば侵入者がモノトーンな服を着ているような
場合には、上述のように、ｘ印の部分が正しく判定でき
ない場合がある。
【００７０】どの階層が適切かを判定するには、第３の
実施の形態（（６）式〜（８）式）で述べたように、ク
ラス内分散σ2 wとクラス外分散σ2 Bをとり、その比Ｊを
計算する方法が考えられるが、もっと簡単な方法とし
て、第６の実施の形態に係る監視装置では、上位階層の
判定結果を基に下位階層の判定時に使用するしきい値を
制御するようにしている。
実施の形態（（６）式〜（８）式）で述べたように、ク
ラス内分散σ2 wとクラス外分散σ2 Bをとり、その比Ｊを
計算する方法が考えられるが、もっと簡単な方法とし
て、第６の実施の形態に係る監視装置では、上位階層の
判定結果を基に下位階層の判定時に使用するしきい値を
制御するようにしている。
【００７１】この実施の形態に係る監視装置を図２０に
示す。この監視装置は、図１３に示した第３の実施の形
態に係る監視装置に比べて、その判定器（１８）に代え
て、上位階層で動きがあると判定された場合に、下位階
層での判断におけるしきい値を変化させて判定する機能
を持ったしきい値制御機能付き判定器３２を備えてい
る。
示す。この監視装置は、図１３に示した第３の実施の形
態に係る監視装置に比べて、その判定器（１８）に代え
て、上位階層で動きがあると判定された場合に、下位階
層での判断におけるしきい値を変化させて判定する機能
を持ったしきい値制御機能付き判定器３２を備えてい
る。
【００７２】このしきい値制御機能付き判定器３２で
は、図２１の如く、ステップＳ１において、例えば第２
階層のｉブロック目のヒストグラム間の距離ｄi 2が所定
のしきい値ｃ2より大きいと判定された場合に、そのブ
ロックについて、ステップＳ２においてこれより下位の
第１階層のしきい値ｃ1のみを、事前に与えられている
値ｃ1に対して８０％に減少させ、減少されたしきい値
に対して、ステップＳ３においてデータ比較を行い、こ
の第１階層の変化があったブロック数の合計が、所定の
数より大きい場合には、進入物があるものとして総合判
定する。
は、図２１の如く、ステップＳ１において、例えば第２
階層のｉブロック目のヒストグラム間の距離ｄi 2が所定
のしきい値ｃ2より大きいと判定された場合に、そのブ
ロックについて、ステップＳ２においてこれより下位の
第１階層のしきい値ｃ1のみを、事前に与えられている
値ｃ1に対して８０％に減少させ、減少されたしきい値
に対して、ステップＳ３においてデータ比較を行い、こ
の第１階層の変化があったブロック数の合計が、所定の
数より大きい場合には、進入物があるものとして総合判
定する。
【００７３】このようにしきい値を制御することによっ
て、高感度な距離判定を行うように変化させて検出精度
を向上させ得、結果として第１階層の各ブロックに正し
い判定結果が表れることとなる。
て、高感度な距離判定を行うように変化させて検出精度
を向上させ得、結果として第１階層の各ブロックに正し
い判定結果が表れることとなる。
【００７４】｛第７の実施の形態｝図２２はこの発明の
第７の実施の形態に係る監視装置が適用された監視シス
テムのブロック図である。尚、図２２中の符号３５は進
入物検出装置を示しており、この進入物検出装置３５
は、上記各実施の形態における特徴量抽出器１３及び映
像変化判定部１６を併せて総称したものである。
第７の実施の形態に係る監視装置が適用された監視シス
テムのブロック図である。尚、図２２中の符号３５は進
入物検出装置を示しており、この進入物検出装置３５
は、上記各実施の形態における特徴量抽出器１３及び映
像変化判定部１６を併せて総称したものである。
【００７５】そして、この監視システムは、テレビカメ
ラ１１で撮像された監視映像が動画圧縮器３６でＭＰＥ
Ｇ等の所定の圧縮形式に圧縮された後、かかる圧縮映像
が圧縮データメモリ３７に格納されるとともに、公衆電
話網等の広域ネットワークを通じて警備センター３８に
送信され、この警備センター３８内のデータベース３９
に逐一格納されるようになっている。また、圧縮データ
メモリ３７に格納された圧縮映像は、復号器４０によっ
て復号され、進入物検出装置３５において、上記各実施
の形態で説明したように各ブロック毎にヒストグラム値
が求められ、これに基づいて距離ｄiが算出され、所定
のしきい値と比較することにより進入物の有無の判定が
行われる。
ラ１１で撮像された監視映像が動画圧縮器３６でＭＰＥ
Ｇ等の所定の圧縮形式に圧縮された後、かかる圧縮映像
が圧縮データメモリ３７に格納されるとともに、公衆電
話網等の広域ネットワークを通じて警備センター３８に
送信され、この警備センター３８内のデータベース３９
に逐一格納されるようになっている。また、圧縮データ
メモリ３７に格納された圧縮映像は、復号器４０によっ
て復号され、進入物検出装置３５において、上記各実施
の形態で説明したように各ブロック毎にヒストグラム値
が求められ、これに基づいて距離ｄiが算出され、所定
のしきい値と比較することにより進入物の有無の判定が
行われる。
【００７６】また、圧縮データメモリ３７は、過去１分
間の圧縮データを記憶するようになっており、進入物検
出装置３５から警備センター３８に警報があったときに
は、警備センター３８側から過去の圧縮データメモリ３
７内のデータ画像を確認することができるようになって
いる。
間の圧縮データを記憶するようになっており、進入物検
出装置３５から警備センター３８に警報があったときに
は、警備センター３８側から過去の圧縮データメモリ３
７内のデータ画像を確認することができるようになって
いる。
【００７７】また、進入物検出装置３５において、誤報
によって警備センター３８に警報が発せられることがあ
る。このような場合には、警備センター３８側から所定
のパラメータ調整制御器４１に対して広域ネットワーク
を通じてパラメータ制御信号を送出し、または操作者が
直接にパラメータ調整制御器４１の所定の入力パネルを
操作することで、このパラメータ調整制御器４１によっ
て、進入物検出装置３５の映像変化判定部１６（上述の
各実施の形態参照）での判定パラメータとしてのしきい
値を変更して検出精度を上げることができるようになっ
ている。そして、かかるしきい値の変更後、進入物検出
装置３５では、圧縮データメモリ３７内の圧縮映像を使
って、どのように進入物検出装置３５が反応するかを確
認することができるようになっている。
によって警備センター３８に警報が発せられることがあ
る。このような場合には、警備センター３８側から所定
のパラメータ調整制御器４１に対して広域ネットワーク
を通じてパラメータ制御信号を送出し、または操作者が
直接にパラメータ調整制御器４１の所定の入力パネルを
操作することで、このパラメータ調整制御器４１によっ
て、進入物検出装置３５の映像変化判定部１６（上述の
各実施の形態参照）での判定パラメータとしてのしきい
値を変更して検出精度を上げることができるようになっ
ている。そして、かかるしきい値の変更後、進入物検出
装置３５では、圧縮データメモリ３７内の圧縮映像を使
って、どのように進入物検出装置３５が反応するかを確
認することができるようになっている。
【００７８】また、圧縮データメモリ３７内の圧縮映像
は、当該圧縮データメモリ３７側での送信操作または警
備センター３８からの受信命令等を契機に、いつでも警
備センター３８側に転送できるようになっている。
は、当該圧縮データメモリ３７側での送信操作または警
備センター３８からの受信命令等を契機に、いつでも警
備センター３８側に転送できるようになっている。
【００７９】さらに、過去に進入物検出装置３５から警
備センター３８側に転送されてデータベース３９内に蓄
積された圧縮映像は、警備センター３８側からパラメー
タ調整制御器４１を通じて圧縮データメモリ３７に転送
できるようになっており、かかる過去の圧縮映像を使っ
て、上述の変更されたパラメータを進入物検出装置３５
側で確認することができるようになっている。かかる処
理は、パラメータ調整制御器４１側での所定の操作パネ
ルでの操作による指示、または警備センター３８からの
送信命令等を契機にして行われる。
備センター３８側に転送されてデータベース３９内に蓄
積された圧縮映像は、警備センター３８側からパラメー
タ調整制御器４１を通じて圧縮データメモリ３７に転送
できるようになっており、かかる過去の圧縮映像を使っ
て、上述の変更されたパラメータを進入物検出装置３５
側で確認することができるようになっている。かかる処
理は、パラメータ調整制御器４１側での所定の操作パネ
ルでの操作による指示、または警備センター３８からの
送信命令等を契機にして行われる。
【００８０】これにより、過去の多数の圧縮映像を活用
して、パラメータ調整制御器４１によりしきい値の変更
調整を試行錯誤しながら適切に実行することができるの
で、現場の実情に即したしきい値を設定でき、進入物検
出装置３５における判定精度を実情に応じて向上させる
ことが可能となる。
して、パラメータ調整制御器４１によりしきい値の変更
調整を試行錯誤しながら適切に実行することができるの
で、現場の実情に即したしきい値を設定でき、進入物検
出装置３５における判定精度を実情に応じて向上させる
ことが可能となる。
【００８１】尚、この第７の実施の形態においては、圧
縮データメモリ３７と復号器４０を使用して随時進入物
検出装置３５に映像を与えることができるため、上記し
た各実施の形態中のヒストグラムメモリ１５を削除して
も差し支えない。
縮データメモリ３７と復号器４０を使用して随時進入物
検出装置３５に映像を与えることができるため、上記し
た各実施の形態中のヒストグラムメモリ１５を削除して
も差し支えない。
【００８２】また、上記各実施の形態において、各色成
分（Ｒ（赤色）・Ｇ（緑色）・Ｂ（青色）の３成分）の
輝度の平均値（成分平均輝度値）を算出し、その平均値
に基づいてヒストグラム値を求めてしたが、色度調整を
行ったような場合を考慮し、各色成分の重み付け平均を
算出してヒストグラム値を求めても良い。あるいは、例
えばテレビカメラ１１として赤外線に完納するものを使
用する場合、かかる赤外線のみの輝度に基づいてヒスト
グラム値を求めても良い。
分（Ｒ（赤色）・Ｇ（緑色）・Ｂ（青色）の３成分）の
輝度の平均値（成分平均輝度値）を算出し、その平均値
に基づいてヒストグラム値を求めてしたが、色度調整を
行ったような場合を考慮し、各色成分の重み付け平均を
算出してヒストグラム値を求めても良い。あるいは、例
えばテレビカメラ１１として赤外線に完納するものを使
用する場合、かかる赤外線のみの輝度に基づいてヒスト
グラム値を求めても良い。
【００８３】さらに、第３の実施の形態乃至第７の実施
の形態においては、上記したヒストグラム値の分布に基
づいて差分を求めることに代えて、例えばＭＰＥＧ等で
一般的な「動き検出」の方法で各映像ブロックの映像の
変化を認識するようにしても良い。
の形態においては、上記したヒストグラム値の分布に基
づいて差分を求めることに代えて、例えばＭＰＥＧ等で
一般的な「動き検出」の方法で各映像ブロックの映像の
変化を認識するようにしても良い。
【００８４】
【発明の効果】請求項１に記載の発明によると、撮像カ
メラで撮像された映像フレームを所定の複数の映像ブロ
ックに分割し、各映像ブロック毎の映像についての所定
の特徴を特徴量抽出器で定量的に抽出し、抽出された所
定の特徴を、異なる映像フレーム間で互いに対応する映
像ブロック同士で比較し、その比較結果に基づいて映像
の変化を判定するようにし、特に、特徴量抽出器が、映
像ブロック毎に、当該各映像ブロック内の画素の各輝度
階調値に対する出現頻度を意味するヒストグラム値を生
成し、当該ヒストグラム値をもって各映像ブロックの所
定の特徴とするようにしているので、映像フレーム内で
輝度が大幅に変化したような異常事態の発生時にのみ警
備センター側に警報を送信できるので、監視者は、配信
されてきた映像を肉眼にて常時見続けなくてもよくな
り、監視者の精神的及び肉体的な労力負担を大幅に軽減
できる。
メラで撮像された映像フレームを所定の複数の映像ブロ
ックに分割し、各映像ブロック毎の映像についての所定
の特徴を特徴量抽出器で定量的に抽出し、抽出された所
定の特徴を、異なる映像フレーム間で互いに対応する映
像ブロック同士で比較し、その比較結果に基づいて映像
の変化を判定するようにし、特に、特徴量抽出器が、映
像ブロック毎に、当該各映像ブロック内の画素の各輝度
階調値に対する出現頻度を意味するヒストグラム値を生
成し、当該ヒストグラム値をもって各映像ブロックの所
定の特徴とするようにしているので、映像フレーム内で
輝度が大幅に変化したような異常事態の発生時にのみ警
備センター側に警報を送信できるので、監視者は、配信
されてきた映像を肉眼にて常時見続けなくてもよくな
り、監視者の精神的及び肉体的な労力負担を大幅に軽減
できる。
【００８５】そして、各映像フレームの輝度の変化を判
定する際に、まず所定の映像ブロック毎に分割し、当該
映像ブロック毎に画像の変化を見ているので、進入物の
動きを映像ブロック単位で検出することで検出精度を向
上させることができる。そして、その映像ブロック毎に
ヒストグラム値を求めてから、そのヒストグラム値の差
分を求めるようにしているので、例えば各画素毎に輝度
の差分を求めたり、映像圧縮の分野で使用される「動き
検出」等の差分データを使用して映像変化を判断する場
合に比べて、ＣＰＵの負荷を大幅に軽減することが可能
となり、一般的に普及しているパーソナルコンピュータ
等を使用しても十分に上記機能を発揮させることができ
ることから、装置コストを低減でき、安価な監視装置を
提供できる。さらに、上記のように映像ブロック単位で
の処理もヒストグラムを使用することで容易になるとい
う利点がある。
定する際に、まず所定の映像ブロック毎に分割し、当該
映像ブロック毎に画像の変化を見ているので、進入物の
動きを映像ブロック単位で検出することで検出精度を向
上させることができる。そして、その映像ブロック毎に
ヒストグラム値を求めてから、そのヒストグラム値の差
分を求めるようにしているので、例えば各画素毎に輝度
の差分を求めたり、映像圧縮の分野で使用される「動き
検出」等の差分データを使用して映像変化を判断する場
合に比べて、ＣＰＵの負荷を大幅に軽減することが可能
となり、一般的に普及しているパーソナルコンピュータ
等を使用しても十分に上記機能を発揮させることができ
ることから、装置コストを低減でき、安価な監視装置を
提供できる。さらに、上記のように映像ブロック単位で
の処理もヒストグラムを使用することで容易になるとい
う利点がある。
【００８６】請求項２に記載の発明によると、ヒストグ
ラム正規化器によって、特徴量抽出器で所定の特徴が抽
出される映像ブロックが含まれる１つの映像フレームの
全体の明るさを定量的に求め、特徴量抽出器で生成され
たヒストグラム値を映像フレームの全体の明るさで除算
してヒストグラム値の分布の正規化を行い、映像全体の
明るさの変化に影響を受けないヒストグラム値に補正す
るようにしているので、昼夜の輝度差や蛍光灯等のフリ
ッカ等、映像フレーム全体の輝度変化が起こったときに
この変化の影響をなくすることができ、進入物の判定精
度を向上できる。
ラム正規化器によって、特徴量抽出器で所定の特徴が抽
出される映像ブロックが含まれる１つの映像フレームの
全体の明るさを定量的に求め、特徴量抽出器で生成され
たヒストグラム値を映像フレームの全体の明るさで除算
してヒストグラム値の分布の正規化を行い、映像全体の
明るさの変化に影響を受けないヒストグラム値に補正す
るようにしているので、昼夜の輝度差や蛍光灯等のフリ
ッカ等、映像フレーム全体の輝度変化が起こったときに
この変化の影響をなくすることができ、進入物の判定精
度を向上できる。
【００８７】請求項３及び請求項４に記載の発明による
と、ヒストグラムの分布をフルスケールに伸長して分布
の正規化を行い、ヒストグラム値の局在を緩和補正する
ようにしているので、暗所等での撮像等、局所的なヒス
トグラム値の偏りを緩和でき、ヒストグラム値の少ない
部分でのノイズによる影響を緩和でき、検知精度を向上
できる。
と、ヒストグラムの分布をフルスケールに伸長して分布
の正規化を行い、ヒストグラム値の局在を緩和補正する
ようにしているので、暗所等での撮像等、局所的なヒス
トグラム値の偏りを緩和でき、ヒストグラム値の少ない
部分でのノイズによる影響を緩和でき、検知精度を向上
できる。
【００８８】請求項５に記載の発明によると、小ブロッ
クと上位ブロックのそれぞれについて、当該それぞれの
ブロックについての映像フレーム間の比較を行い、いず
れか信頼性の高い方の比較を採用するようにしているの
で、信頼性の高いデータを基に精度良い判定を行うこと
ができる。
クと上位ブロックのそれぞれについて、当該それぞれの
ブロックについての映像フレーム間の比較を行い、いず
れか信頼性の高い方の比較を採用するようにしているの
で、信頼性の高いデータを基に精度良い判定を行うこと
ができる。
【００８９】請求項６に記載の発明によると、映像フレ
ームの間隔に比べて十分長い時間での移動量としては、
植物の葉やカーテン等の風等による揺れ等の動きによる
移動量が、進入物の移動に比べて小さいと予想されるこ
とから、各クラスの重心の移動量が一定のしきい値より
大きい場合のみを判定して所定の通報先に警報を報知す
るようにすることで、誤警報を防止できる。
ームの間隔に比べて十分長い時間での移動量としては、
植物の葉やカーテン等の風等による揺れ等の動きによる
移動量が、進入物の移動に比べて小さいと予想されるこ
とから、各クラスの重心の移動量が一定のしきい値より
大きい場合のみを判定して所定の通報先に警報を報知す
るようにすることで、誤警報を防止できる。
【００９０】請求項７に記載の発明によると、特徴量抽
出器が、所定の特徴の値を、複数の映像フレームに亘る
移動合計または移動平均の値として抽出するようにして
いるので、所定の特徴の値に対するノイズ等の影響を緩
和でき、精度のよう判定を行うことが可能となる。
出器が、所定の特徴の値を、複数の映像フレームに亘る
移動合計または移動平均の値として抽出するようにして
いるので、所定の特徴の値に対するノイズ等の影響を緩
和でき、精度のよう判定を行うことが可能となる。
【００９１】請求項８に記載の発明によると、上位ブロ
ックで映像の変化があったと判定できたときに、小ブロ
ックでの映像変化のしきい値を減少させるようにしてい
るので、小ブロックでの映像変化の判定感度を高めるこ
とで、判定精度を高めることができる。
ックで映像の変化があったと判定できたときに、小ブロ
ックでの映像変化のしきい値を減少させるようにしてい
るので、小ブロックでの映像変化の判定感度を高めるこ
とで、判定精度を高めることができる。
【００９２】請求項９に記載の発明によると、比較判定
において使用されるパラメータをパラメータ調整制御器
で変更できるようにしているので、誤判定・誤警報があ
ったような場合にパラメータを試行錯誤で変更すること
で、現場に応じた適正なしきい値に修正でき、実情に応
じて判定精度を向上できる。また、動画圧縮器で圧縮さ
れた複数の映像フレーム分の圧縮データを圧縮データメ
モリに格納し、この圧縮データを復号器で復号して、随
時、進入物検出装置に映像を与えるようにしているの
で、進入物検出装置内においてヒストグラムメモリ等の
バッファメモリを設けなくてもよくなり、進入物検出装
置の構成の簡素化を図ることができる。
において使用されるパラメータをパラメータ調整制御器
で変更できるようにしているので、誤判定・誤警報があ
ったような場合にパラメータを試行錯誤で変更すること
で、現場に応じた適正なしきい値に修正でき、実情に応
じて判定精度を向上できる。また、動画圧縮器で圧縮さ
れた複数の映像フレーム分の圧縮データを圧縮データメ
モリに格納し、この圧縮データを復号器で復号して、随
時、進入物検出装置に映像を与えるようにしているの
で、進入物検出装置内においてヒストグラムメモリ等の
バッファメモリを設けなくてもよくなり、進入物検出装
置の構成の簡素化を図ることができる。
【００９３】請求項１０に記載の発明によると、パラメ
ータ調整制御器においてパラメータを新たなパラメータ
として変更した後、データベース内に蓄積された過去の
圧縮データを復号器に送信するようにし、進入物検出装
置において、過去の圧縮データに基づいて比較判定し
て、新たなパラメータの検証を行うようにしているの
で、過去の多数の実際の圧縮データを基に、現場に応じ
た適正なパラメータに修正でき、実情に応じて判定精度
を向上できるという効果がある。
ータ調整制御器においてパラメータを新たなパラメータ
として変更した後、データベース内に蓄積された過去の
圧縮データを復号器に送信するようにし、進入物検出装
置において、過去の圧縮データに基づいて比較判定し
て、新たなパラメータの検証を行うようにしているの
で、過去の多数の実際の圧縮データを基に、現場に応じ
た適正なパラメータに修正でき、実情に応じて判定精度
を向上できるという効果がある。
【図１】この発明の第１の実施の形態に係る監視装置を
示すブロック図である。
示すブロック図である。
【図２】映像フレームを所定のサイズの映像ブロックに
分割する様子を示す図である。
分割する様子を示す図である。
【図３】各映像ブロックにおけるヒストグラム値の分布
を示す図である。
を示す図である。
【図４】異なる映像フレーム間で各映像ブロックのヒス
トグラム値を比較している様子を示す図である。
トグラム値を比較している様子を示す図である。
【図５】各映像ブロックにおける距離のデータを示す図
である。
である。
【図６】この発明の第２の実施の形態に係る監視装置を
示すブロック図である。
示すブロック図である。
【図７】輝度の暗い部分にヒストグラム値が局在してい
る状態を示す図である。
る状態を示す図である。
【図８】輝度座標に対してフルスケールに伸長して正規
化した状態を示す図である。
化した状態を示す図である。
【図９】輝度座標に対してフルスケールに伸長して正規
化する動作の原理を示す図である。
化する動作の原理を示す図である。
【図１０】小ブロックに対して比較的大きな対象物が動
いている状態を示す図である。
いている状態を示す図である。
【図１１】図１０に示した対象物に対して中ブロックに
よる判定を採用して適切な判定を行っている様子を示す
図である。
よる判定を採用して適切な判定を行っている様子を示す
図である。
【図１２】小ブロック、中ブロック及び大ブロックの統
合関係を示す図である。
合関係を示す図である。
【図１３】この発明の第３の実施の形態に係る監視装置
を示すブロック図である。
を示すブロック図である。
【図１４】小ブロック単位でクラス分けを行っている様
子を示す図である。
子を示す図である。
【図１５】中ブロック単位でクラス分けを行っている様
子を示す図である。
子を示す図である。
【図１６】クラス分けの方法を示す図である。
【図１７】重心点が一定時間内に移動している様子を示
す図である。
す図である。
【図１８】この発明の第４の実施の形態に係る監視装置
を示すブロック図である。
を示すブロック図である。
【図１９】この発明の第５の実施の形態に係る監視装置
を示すブロック図である。
を示すブロック図である。
【図２０】この発明の第６の実施の形態に係る監視装置
を示すブロック図である。
を示すブロック図である。
【図２１】この発明の第６の実施の形態におけるしきい
値の減少動作を示す図である。
値の減少動作を示す図である。
【図２２】この発明の第７の実施の形態に係る監視装置
を示すブロック図である。
を示すブロック図である。
【図２３】従来例１に係る監視システムを示す映像ブロ
ック図である。
ック図である。
１１ テレビカメラ １２ ディジタル変換器 １３ 特徴量抽出器 １４ ヒストグラム生成機 １５ ヒストグラムメモリ １６ 映像変化判定部 １７ 距離算出器 １８ 判定器 ２１ ヒストグラム正規化器 ２５ 進入物 ２６ ヒストグラム統合器 ２９ 重心座標メモリ ３１ ヒストグラムメモリ ３２ 判定器 ３５ 進入物検出装置 ３６ 動画圧縮器 ３７ 圧縮データメモリ ３８ 警備センター ３９ データベース ４０ 復号器 ４１ パラメータ調整制御器
Claims (10)
- 【請求項１】 監視対象の付近に設置されて当該監視対
象を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の映像ブロックに分割し、各映像ブロック毎の映像につ
いての所定の特徴を定量的に抽出する特徴量抽出器と、 前記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて、映像に変化
があったか否かを判定する判定部とを備え、 前記特徴量抽出器は、前記映像ブロック毎に、当該各映
像ブロック内の画素の輝度階調に対する出現頻度を意味
するヒストグラム値を生成し、当該ヒストグラム値をも
って前記各映像ブロックの前記所定の特徴とすることを
特徴とする監視装置。 - 【請求項２】 請求項１に記載の監視装置であって、前
記特徴量抽出器で前記所定の特徴が抽出される映像ブロ
ックが含まれる１つの映像フレームの全体の明るさを定
量的に求め、前記特徴量抽出器で生成されたヒストグラ
ム値を前記映像フレームの全体の明るさで除算してヒス
トグラム値の分布の正規化を行い、映像全体の明るさの
変化に影響を受けないヒストグラム値に補正するヒスト
グラム正規化器をさらに備えることを特徴とする監視装
置。 - 【請求項３】 請求項１に記載の監視装置であって、前
記特徴量抽出器で生成されたヒストグラム値の上限から
一定割合と下限から一定割合のみを除去し、除去後の有
意値の現れた輝度階調値の最大値と最小値の間のスケー
ルを、それぞれ輝度階調値の最大限度値と最小限度値に
変換してフルスケールに伸長してヒストグラム値の分布
の正規化を行い、ヒストグラム値の局在を緩和補正する
ヒストグラム正規化器をさらに備えることを特徴とする
監視装置。 - 【請求項４】 請求項２に記載の監視装置であって、前
記ヒストグラム正規化器は、前記特徴量抽出器で生成さ
れたヒストグラム値の上限から一定割合と下限から一定
割合のみを除去し、除去後の有意な値が出現する輝度階
調値の最大値と最小値との間のスケールを、それぞれ輝
度階調値の最大限度値と最小限度値に変換してフルスケ
ールに伸長してヒストグラム値の分布の正規化を行い、
ヒストグラム値の局在を緩和補正する機能を併せ有せし
められたことを特徴とする監視装置。 - 【請求項５】 監視対象の付近に設置されて当該監視対
象を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の小ブロックに分割し、各小ブロック毎の映像について
の所定の特徴を定量的に抽出する特徴量抽出器と、 所定個数の前記小ブロックをまとめて上位ブロックと
し、前記特徴量抽出器において前記各小ブロックについ
て定量的に求められた前記所定の特徴を前記上位ブロッ
クの単位で統合する統合器と、 前記統合器で統合された前記上位ブロックの単位での前
記所定の特徴と前記小ブロックの単位での前記所定の特
徴のそれぞれについて、異なる映像フレーム間で比較
し、その比較結果のうち、前記上位ブロックと前記小ブ
ロックのうちいずれか信頼性の高い方の比較結果を用い
て映像に変化があったか否かを判定する判定部とを備え
ることを特徴とする監視装置。 - 【請求項６】 監視対象の付近に設置されて当該監視対
象を撮像する撮像カメラと、 前記撮像カメラで撮像された映像フレームを所定の複数
の映像ブロックに分割し、各映像ブロック毎の映像につ
いての所定の特徴を定量的に抽出する特徴量抽出器と、 前記特徴量抽出器で定量的に抽出された前記所定の特徴
を、異なる映像フレーム間で互いに対応する映像ブロッ
ク同士で比較し、その比較結果に基づいて各映像フレー
ムでの映像の変化の有無を判定し、映像の変化のあった
映像ブロック同士が隣接している場合これらを集合的に
各クラスとして認識し、認識された各クラスの重心点の
移動量を各映像フレーム間の比較において求め、前記映
像フレームの間隔に比べて十分長い所定の区切り時間に
前記各クラスの重心点がどの程度移動したかを検出し、
その移動量が一定のしきい値より大きければ、当該移動
量の大きかった重心点を含むクラスを進入物であると判
定して所定の通報先に警報を報知する判定部とを備える
ことを特徴とする監視装置。 - 【請求項７】 請求項１乃至請求項６のいずれかに記載
の監視装置であって、前記特徴量抽出器は、前記所定の
特徴の値を、複数の映像フレームに亘る移動合計または
移動平均の値として抽出することを特徴とする監視装
置。 - 【請求項８】 監視対象の付近に設置されて当該監視対
象を撮像する撮像カメラと、前記撮像カメラで撮像され
た映像フレームを所定の複数の小ブロックに分割し、各
小ブロック毎の映像についての所定の特徴を定量的に抽
出する特徴量抽出器と、所定個数の前記小ブロックをま
とめて上位ブロックとし、前記特徴量抽出器において前
記各小ブロックについて定量的に求められた前記所定の
特徴を前記上位ブロックの単位で統合する統合器と、前
記統合器で統合された前記上位ブロックの単位での前記
所定の特徴を異なる映像フレーム間で比較し、その比較
結果に基づいて当該上位ブロックの映像の変化の有無を
判定し、その判定結果に従って、映像の変化のあった上
位ブロックに含まれる前記小ブロックについての所定の
比較パラメータを変更し、変更された前記比較パラメー
タに応じて、当該小ブロックの単位での前記所定の特徴
を異なる映像フレーム間で比較し、その比較結果に基づ
いて当該上位ブロックの映像の変化の有無を判定する判
定部とを備えることを特徴とする監視装置。 - 【請求項９】 監視対象の付近に設置されて当該監視対
象を撮像する撮像カメラと、前記撮像カメラで撮像され
た動画映像を圧縮する動画圧縮器と、前記動画圧縮器で
圧縮された複数の映像フレーム分の圧縮データを格納す
る圧縮データメモリと、 前記圧縮データメモリに格納された圧縮データを復号す
る復号器と、 当該復号器で復号された復号データに基づいて得られた
映像フレームを所定の複数の映像ブロックに分割し、各
映像ブロック毎の映像についての所定の特徴を定量的に
抽出し、抽出された前記所定の特徴について異なる映像
フレーム間で比較し、その比較結果に基づいて当該映像
ブロックの映像の変化の有無を判定する進入物検出装置
と、 前記進入物検出装置においての比較に用いられるパラメ
ータを変更するパラメータ調整制御器とを備えることを
特徴とする監視システム。 - 【請求項１０】 請求項９に記載の監視システムであっ
て、 前記所定の通報先に設置されて前記動画圧縮器で圧縮さ
れた圧縮データを蓄積するデータベースをさらに備え、 前記パラメータ調整制御器において前記パラメータを新
たなパラメータ値として変更した後、前記データベース
内に蓄積された過去の圧縮データを前記復号器に送信す
るようにし、 前記進入物検出装置において、前記過去の圧縮データに
基づいて、その各映像ブロック毎の映像についての所定
の特徴を定量的に抽出し、抽出された前記所定の特徴に
ついて異なる映像フレーム間で比較し、前記新たなパラ
メータをもって映像の変化を判定して、前記新たなパラ
メータの検証を行うようにしたことを特徴とする監視シ
ステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35293298A JP3506934B2 (ja) | 1998-12-11 | 1998-12-11 | 監視装置及び監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35293298A JP3506934B2 (ja) | 1998-12-11 | 1998-12-11 | 監視装置及び監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000184359A true JP2000184359A (ja) | 2000-06-30 |
| JP3506934B2 JP3506934B2 (ja) | 2004-03-15 |
Family
ID=18427444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35293298A Expired - Fee Related JP3506934B2 (ja) | 1998-12-11 | 1998-12-11 | 監視装置及び監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3506934B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135760A (ja) * | 2000-10-20 | 2002-05-10 | Victor Co Of Japan Ltd | 監視用信号の通信方法、及び監視用信号通信装置 |
| JP2004032522A (ja) * | 2002-06-27 | 2004-01-29 | Sanyo Electric Co Ltd | 画像信号処理装置 |
| JP2004058737A (ja) * | 2002-07-25 | 2004-02-26 | National Institute Of Advanced Industrial & Technology | 駅ホームにおける安全監視装置 |
| JP2004096742A (ja) * | 2002-08-13 | 2004-03-25 | Hitachi Kokusai Electric Inc | 物体検出方法及び物体検出装置並びに監視システムのメンテナンス方法及び物体検出装置のメンテナンス方法 |
| JP2007272768A (ja) * | 2006-03-31 | 2007-10-18 | Oki Electric Ind Co Ltd | 映像監視システム、監視映像の異常検出方法及び監視映像の異常検出プログラム |
| WO2007142134A1 (ja) * | 2006-06-02 | 2007-12-13 | Rohm Co., Ltd. | 画像処理回路、半導体装置、画像処理装置 |
| US7382896B2 (en) | 2002-08-13 | 2008-06-03 | Hitachi Kokusai Electric Inc. | Object detection method and apparatus which perform object detection using set parameters |
| JP2008191108A (ja) * | 2007-02-07 | 2008-08-21 | Toshiba Corp | 電力品質評価システム |
| JP2009027563A (ja) * | 2007-07-20 | 2009-02-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| US20110187886A1 (en) * | 2010-02-04 | 2011-08-04 | Casio Computer Co., Ltd. | Image pickup device, warning method, and recording medium |
| JP2015041381A (ja) * | 2013-08-21 | 2015-03-02 | 株式会社リコー | 移動物体検出方法及びシステム |
| JP2015130698A (ja) * | 2015-03-13 | 2015-07-16 | 株式会社東芝 | 情報出力装置、検知装置、プログラム及び情報出力方法 |
| WO2016006336A1 (ja) * | 2014-07-11 | 2016-01-14 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4641450B2 (ja) * | 2005-05-23 | 2011-03-02 | 日本電信電話株式会社 | 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム |
| JP5637383B2 (ja) | 2010-12-15 | 2014-12-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
1998
- 1998-12-11 JP JP35293298A patent/JP3506934B2/ja not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4736171B2 (ja) * | 2000-10-20 | 2011-07-27 | 日本ビクター株式会社 | 監視用信号の通信方法、及び監視用信号通信装置 |
| JP2002135760A (ja) * | 2000-10-20 | 2002-05-10 | Victor Co Of Japan Ltd | 監視用信号の通信方法、及び監視用信号通信装置 |
| JP2004032522A (ja) * | 2002-06-27 | 2004-01-29 | Sanyo Electric Co Ltd | 画像信号処理装置 |
| US7460686B2 (en) | 2002-07-25 | 2008-12-02 | National Institute Of Advanced Industrial Science And Technology | Security monitor device at station platform |
| JP2004058737A (ja) * | 2002-07-25 | 2004-02-26 | National Institute Of Advanced Industrial & Technology | 駅ホームにおける安全監視装置 |
| JP2004096742A (ja) * | 2002-08-13 | 2004-03-25 | Hitachi Kokusai Electric Inc | 物体検出方法及び物体検出装置並びに監視システムのメンテナンス方法及び物体検出装置のメンテナンス方法 |
| US7382896B2 (en) | 2002-08-13 | 2008-06-03 | Hitachi Kokusai Electric Inc. | Object detection method and apparatus which perform object detection using set parameters |
| JP2007272768A (ja) * | 2006-03-31 | 2007-10-18 | Oki Electric Ind Co Ltd | 映像監視システム、監視映像の異常検出方法及び監視映像の異常検出プログラム |
| JPWO2007142134A1 (ja) * | 2006-06-02 | 2009-10-22 | ローム株式会社 | 画像処理回路、半導体装置、画像処理装置 |
| WO2007142134A1 (ja) * | 2006-06-02 | 2007-12-13 | Rohm Co., Ltd. | 画像処理回路、半導体装置、画像処理装置 |
| US8159558B2 (en) | 2006-06-02 | 2012-04-17 | Rohm Co., Ltd. | Image processing circuit, semiconductor device and image processing device |
| JP4997237B2 (ja) * | 2006-06-02 | 2012-08-08 | ローム株式会社 | 画像処理回路、半導体装置、画像処理装置 |
| JP2008191108A (ja) * | 2007-02-07 | 2008-08-21 | Toshiba Corp | 電力品質評価システム |
| JP2009027563A (ja) * | 2007-07-20 | 2009-02-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| US20110187886A1 (en) * | 2010-02-04 | 2011-08-04 | Casio Computer Co., Ltd. | Image pickup device, warning method, and recording medium |
| US8488041B2 (en) * | 2010-02-04 | 2013-07-16 | Casio Computer Co., Ltd. | Image pickup device having abnormality warning function based on brightness dispersions of two picked-up images, and warning method and recording medium for the same |
| JP2015041381A (ja) * | 2013-08-21 | 2015-03-02 | 株式会社リコー | 移動物体検出方法及びシステム |
| WO2016006336A1 (ja) * | 2014-07-11 | 2016-01-14 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| JPWO2016006336A1 (ja) * | 2014-07-11 | 2017-04-27 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| US10198658B2 (en) | 2014-07-11 | 2019-02-05 | Sony Semiconductor Solutions Corporation | Image processing device, imaging device, image processing method, and program |
| JP2015130698A (ja) * | 2015-03-13 | 2015-07-16 | 株式会社東芝 | 情報出力装置、検知装置、プログラム及び情報出力方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3506934B2 (ja) | 2004-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3506934B2 (ja) | 監視装置及び監視システム | |
| JP4803376B2 (ja) | カメラ妨害検知方式 | |
| KR100922784B1 (ko) | 영상 기반 화재 감지 방법 및 이를 적용한 방범 및 방재 시스템 | |
| US7868772B2 (en) | Flame detecting method and device | |
| JPH0337354B2 (ja) | ||
| US9047515B2 (en) | Method and system for wildfire detection using a visible range camera | |
| JP2011123742A (ja) | 侵入物体検知装置 | |
| EP2000998B1 (en) | Flame detecting method and device | |
| KR20130104579A (ko) | 카메라 템퍼링 감지 방법 및 시스템 | |
| JP4865328B2 (ja) | 画像センサ | |
| KR100623835B1 (ko) | 물체 검출 방법 및 물체 검출 장치 | |
| JP2010182021A (ja) | 画像監視システム | |
| JP4171310B2 (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
| JP2013186635A (ja) | 物体検知装置、物体検知方法及びプログラム | |
| JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
| JP2002150440A (ja) | 監視対象物検出装置 | |
| KR101704471B1 (ko) | 낙상 검출 장치 및 그 방법 | |
| JP2010204404A (ja) | 監視カメラ及びその露光制御方法 | |
| JP6155106B2 (ja) | 画像センサ | |
| JPS62147888A (ja) | 画像監視方式 | |
| JP3567114B2 (ja) | 画像監視装置及び画像監視方法 | |
| JP2529968B2 (ja) | 画像センサ | |
| JP3933453B2 (ja) | 画像処理装置及び移動体監視装置 | |
| JP2010062699A (ja) | 画像解析装置および画像解析プログラム | |
| JP2020167500A (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031217 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081226 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081226 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091226 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101226 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151226 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |