JP2002259985A - 画像監視方法、画像監視装置及び記憶媒体 - Google Patents
画像監視方法、画像監視装置及び記憶媒体Info
- Publication number
- JP2002259985A JP2002259985A JP2001059177A JP2001059177A JP2002259985A JP 2002259985 A JP2002259985 A JP 2002259985A JP 2001059177 A JP2001059177 A JP 2001059177A JP 2001059177 A JP2001059177 A JP 2001059177A JP 2002259985 A JP2002259985 A JP 2002259985A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- abnormal
- abnormal object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】光源の変動や環境中の規則的に振幅する物体に
影響されることなく、異常物体を安価な構成で高速・高
精度に検出する。 【解決手段】カメラから入力される画像をブロックに分
割する手段４２００と、ブロックごとに、処理対象フレ
ームの画像データと直前のフレームの画像データとを比
較して、エッジの有無及び縦横エッジ比変化率に応じて
異常物体候補を抽出する物体候補抽出部４７００と、該
異常物体候補が異常物体であるか否か判定する物体判定
部４８００とを備え、物体判定部４８００は、異常物体
候補の移動が所定時間追跡できた場合は異常物体とす
る。
影響されることなく、異常物体を安価な構成で高速・高
精度に検出する。 【解決手段】カメラから入力される画像をブロックに分
割する手段４２００と、ブロックごとに、処理対象フレ
ームの画像データと直前のフレームの画像データとを比
較して、エッジの有無及び縦横エッジ比変化率に応じて
異常物体候補を抽出する物体候補抽出部４７００と、該
異常物体候補が異常物体であるか否か判定する物体判定
部４８００とを備え、物体判定部４８００は、異常物体
候補の移動が所定時間追跡できた場合は異常物体とす
る。
Description
【０００１】
【発明の属する技術分野】本発明は、道路交通分野の監
視、建物構内の監視、屋外監視等において、カメラで撮
影した監視対象シーンを監視する技術に係り、特に、監
視対象シーンの画像データを画像処理して異常を検出画
像監視装置及び画像監視方法と、該方法を実現するため
のコンピュータプログラムを保持する記憶媒体とに関す
る。
視、建物構内の監視、屋外監視等において、カメラで撮
影した監視対象シーンを監視する技術に係り、特に、監
視対象シーンの画像データを画像処理して異常を検出画
像監視装置及び画像監視方法と、該方法を実現するため
のコンピュータプログラムを保持する記憶媒体とに関す
る。
【０００２】
【従来の技術】従来の画像監視装置として、カメラで撮
影した画像を経時的な差分画像を含む圧縮データに符号
化し、この圧縮データの中の経時的な差分画像をそのま
ま利用して監視映像の変化を判定して異常検知を行う方
法がある（特開2000-20857号公報）。
影した画像を経時的な差分画像を含む圧縮データに符号
化し、この圧縮データの中の経時的な差分画像をそのま
ま利用して監視映像の変化を判定して異常検知を行う方
法がある（特開2000-20857号公報）。
【０００３】しかし、この方法には、例えば蛍光灯のフ
リッカーや照明装置の点灯消灯による明るさ変動、太陽
光や雲等の日照変動等、輝度が経時的に変動する状況下
ではこれらを異常として検出してしまうという問題があ
る。また、動きの方向が規則的に振幅する木々の揺れや
カーテンの動き等も、輝度が経時的に変動するため、こ
の方法ではこれらも異常として検出してしまう場合があ
る。
リッカーや照明装置の点灯消灯による明るさ変動、太陽
光や雲等の日照変動等、輝度が経時的に変動する状況下
ではこれらを異常として検出してしまうという問題があ
る。また、動きの方向が規則的に振幅する木々の揺れや
カーテンの動き等も、輝度が経時的に変動するため、こ
の方法ではこれらも異常として検出してしまう場合があ
る。
【０００４】また、カメラで撮影した画像を複数のブロ
ックに分割し、各々のブロックに離散コサイン変換を施
し圧縮して伝送し、該伝送された圧縮画像のエッジ情報
が含まれる高周波成分のみを伸張して、予め記憶した背
景画像との差分から異常検知を行う方法も提案されてい
る（特開平8-50649号公報）。
ックに分割し、各々のブロックに離散コサイン変換を施
し圧縮して伝送し、該伝送された圧縮画像のエッジ情報
が含まれる高周波成分のみを伸張して、予め記憶した背
景画像との差分から異常検知を行う方法も提案されてい
る（特開平8-50649号公報）。
【０００５】しかし、この方法では、圧縮画像が伸張さ
れるるため、圧縮する場合に比べて画像情報が多くなっ
てしまうとともに、処理時間や伸張装置が必要となるた
めコストが高いという問題がある。更に、動きの方向が
規則的に振幅する木々の揺れやカーテンの動き等も、背
景画像と比較して変化するため、この方法ではこれらも
異常として検出してしまうという問題がある。
れるるため、圧縮する場合に比べて画像情報が多くなっ
てしまうとともに、処理時間や伸張装置が必要となるた
めコストが高いという問題がある。更に、動きの方向が
規則的に振幅する木々の揺れやカーテンの動き等も、背
景画像と比較して変化するため、この方法ではこれらも
異常として検出してしまうという問題がある。
【０００６】
【発明が解決しようとする課題】そこで本発明は、圧縮
画像のままで蛍光灯のフリッカーや照明装置の点灯消灯
による明るさ変動、太陽光や雲等の日照変動等の輝度が
経時的に変動する環境の他に、動きが規則的に振幅する
木々の揺れやカーテンの動きが存在する環境でも、異常
物体を安価な構成で高速・高精度に検出する画像監視装
置を提供することを目的とする。
画像のままで蛍光灯のフリッカーや照明装置の点灯消灯
による明るさ変動、太陽光や雲等の日照変動等の輝度が
経時的に変動する環境の他に、動きが規則的に振幅する
木々の揺れやカーテンの動きが存在する環境でも、異常
物体を安価な構成で高速・高精度に検出する画像監視装
置を提供することを目的とする。
【０００７】
【課題を解決するための手段】上記目的を達成するた
め、本発明では、撮影装置から入力される画像をブロッ
クに分割するステップと、ブロックごとに、処理対象フ
レームの画像データと、直前のフレームの画像データと
を比較して、エッジの有無及び縦横エッジ比変化率に応
じて異常物体候補を抽出する物体候補抽出ステップと、
異常物体候補が異常物体であるか否か判定する物体判定
ステップとを備え、物体判定ステップが、異常物体候補
の移動が所定時間追跡できた場合は異常物体とするステ
ップを含む画像監視方法が提供される。また、本発明で
は、この本発明の画像監視方法を実現するためのコンピ
ュータプログラムを保持することを特徴とするコンピュ
ータ読み取り可能な記憶媒体が提供される。
め、本発明では、撮影装置から入力される画像をブロッ
クに分割するステップと、ブロックごとに、処理対象フ
レームの画像データと、直前のフレームの画像データと
を比較して、エッジの有無及び縦横エッジ比変化率に応
じて異常物体候補を抽出する物体候補抽出ステップと、
異常物体候補が異常物体であるか否か判定する物体判定
ステップとを備え、物体判定ステップが、異常物体候補
の移動が所定時間追跡できた場合は異常物体とするステ
ップを含む画像監視方法が提供される。また、本発明で
は、この本発明の画像監視方法を実現するためのコンピ
ュータプログラムを保持することを特徴とするコンピュ
ータ読み取り可能な記憶媒体が提供される。
【０００８】さらに、本発明では、上述した本発明の画
像監視方法を用いた画像監視装置が提供される。すなわ
ち、本発明では、撮影装置から入力される画像をブロッ
クに分割する手段と、該ブロックごとに、処理対象フレ
ームの画像データ及び直前のフレームの画像データを比
較して、エッジの有無及び縦横エッジ比変化率に応じて
異常物体候補を抽出する物体候補抽出部と、該異常物体
候補が異常物体であるか否か判定する物体判定部とを備
え、物体判定部は、異常物体候補の移動が所定時間追跡
できた場合は異常物体とする画像監視装置が提供され
る。
像監視方法を用いた画像監視装置が提供される。すなわ
ち、本発明では、撮影装置から入力される画像をブロッ
クに分割する手段と、該ブロックごとに、処理対象フレ
ームの画像データ及び直前のフレームの画像データを比
較して、エッジの有無及び縦横エッジ比変化率に応じて
異常物体候補を抽出する物体候補抽出部と、該異常物体
候補が異常物体であるか否か判定する物体判定部とを備
え、物体判定部は、異常物体候補の移動が所定時間追跡
できた場合は異常物体とする画像監視装置が提供され
る。
【０００９】なお、物体候補抽出部は、ブロックデータ
の直交変換を行って取得した周波数成分の経時変化を基
に上記異常物体候補を抽出するようにすることができ
る。ここで、直交変換には、離散コサイン変換及び／又
は直交ウェーブレット変換を用いることができる。
の直交変換を行って取得した周波数成分の経時変化を基
に上記異常物体候補を抽出するようにすることができ
る。ここで、直交変換には、離散コサイン変換及び／又
は直交ウェーブレット変換を用いることができる。
【００１０】また、本発明の画像監視装置は、物体判定
部により検出された異常物体を追尾するための追尾デー
タ算出部と、該追尾データに基づき、撮影装置の光軸の
角度を変化させるための撮影装置用制御信号を作成して
出力する撮影装置制御部とを、さらに有することが望ま
しい。このようにすれば、検出した異常物体を追尾した
シーンを自動的に撮影することができる。
部により検出された異常物体を追尾するための追尾デー
タ算出部と、該追尾データに基づき、撮影装置の光軸の
角度を変化させるための撮影装置用制御信号を作成して
出力する撮影装置制御部とを、さらに有することが望ま
しい。このようにすれば、検出した異常物体を追尾した
シーンを自動的に撮影することができる。
【００１１】なお、追尾データは、検出した異常物体
の、水平方向及び垂直方向のうち少なくともいずれかの
移動量を少なくとも含むことが望ましい。また、撮影装
置用制御信号は、この異常物体の移動量から換算した撮
影装置の光軸角度の変化量に応じた制御信号を含むこと
が望ましい。
の、水平方向及び垂直方向のうち少なくともいずれかの
移動量を少なくとも含むことが望ましい。また、撮影装
置用制御信号は、この異常物体の移動量から換算した撮
影装置の光軸角度の変化量に応じた制御信号を含むこと
が望ましい。
【００１２】さらに、本発明の画像監視装置は、検出さ
れた異常物体に関する表示用情報を作成する付加データ
作成部を、さらに有することが望ましい。このようにす
れば、検出した異常物体とともに付加データを表示する
ことで、異常物体に関する情報を監視員が用意に認識す
ることができる。
れた異常物体に関する表示用情報を作成する付加データ
作成部を、さらに有することが望ましい。このようにす
れば、検出した異常物体とともに付加データを表示する
ことで、異常物体に関する情報を監視員が用意に認識す
ることができる。
【００１３】また、本発明の画像監視装置は、入力装置
及び通信装置と、入力装置を介して入力された指示に応
じて、通信装置を介してあらかじめ定められた通信先の
うちの少なくとも一つに対して通信を行う通信制御部と
を、さらに備えることが望ましい。このようにすれば、
異常物体を認識した監視員が、即座に異常発生現場の対
策員と連絡することができる。
及び通信装置と、入力装置を介して入力された指示に応
じて、通信装置を介してあらかじめ定められた通信先の
うちの少なくとも一つに対して通信を行う通信制御部と
を、さらに備えることが望ましい。このようにすれば、
異常物体を認識した監視員が、即座に異常発生現場の対
策員と連絡することができる。
【００１４】
【発明の実施の形態】本発明の画像監視装置では、例え
ば、カメラから入力される画像を圧縮符号化する画像符
号化装置の圧縮符号最小単位のブロックデータを、ブロ
ックデータ算出手段が算出する。該ブロックデータは、
直交変換が施された周波数成分であり、該周波数成分に
対して、物体候補抽出手段は、該周波数成分の輝度情報
を用いて縦横エッジ比を算出し、該縦横エッジ比の時間
経過による変化を比較判定して抽出する。
ば、カメラから入力される画像を圧縮符号化する画像符
号化装置の圧縮符号最小単位のブロックデータを、ブロ
ックデータ算出手段が算出する。該ブロックデータは、
直交変換が施された周波数成分であり、該周波数成分に
対して、物体候補抽出手段は、該周波数成分の輝度情報
を用いて縦横エッジ比を算出し、該縦横エッジ比の時間
経過による変化を比較判定して抽出する。
【００１５】物体判定手段は、前記物体候補抽出手段で
抽出したブロック及び／又は周辺も含む該ブロックに対
して、前記画像符号化装置の符号化データに対応する同
一ブロック間及び／又は前記画像復号化再生装置で再生
された画像信号間で現時刻データと前時刻データの相関
処理を行って、閾値以下の場合、異常物体であると判定
する。
抽出したブロック及び／又は周辺も含む該ブロックに対
して、前記画像符号化装置の符号化データに対応する同
一ブロック間及び／又は前記画像復号化再生装置で再生
された画像信号間で現時刻データと前時刻データの相関
処理を行って、閾値以下の場合、異常物体であると判定
する。
【００１６】また、本発明の画像監視装置は、カメラか
ら入力される画像を画像変換装置が複数のブロックに分
割し、各ブロックデータの直交変換を行って取得した周
波数成分に対して、物体候補抽出手段が、該周波数成分
の輝度情報を用いて縦横エッジ比を算出し、該縦横エッ
ジ比の時間経過による変化を比較判定して抽出するよう
にしてもよい。
ら入力される画像を画像変換装置が複数のブロックに分
割し、各ブロックデータの直交変換を行って取得した周
波数成分に対して、物体候補抽出手段が、該周波数成分
の輝度情報を用いて縦横エッジ比を算出し、該縦横エッ
ジ比の時間経過による変化を比較判定して抽出するよう
にしてもよい。
【００１７】このようにする場合、物体判定手段は、前
記物体候補抽出手段で抽出したブロック及び／又は周辺
も含む該ブロックに対して、カメラ入力画像及び／又は
ブロックごとの直交変換した周波数成分に対して、同一
ブロック間で現時刻データと前時刻データの相関処理を
行って、閾値以下の場合、異常物体であると判定する。
記物体候補抽出手段で抽出したブロック及び／又は周辺
も含む該ブロックに対して、カメラ入力画像及び／又は
ブロックごとの直交変換した周波数成分に対して、同一
ブロック間で現時刻データと前時刻データの相関処理を
行って、閾値以下の場合、異常物体であると判定する。
【００１８】また、本発明の画像監視装置は、撮影装置
として、カメラの光軸角度を変更可能な雲台とカメラと
を有する装置を用いてもよい。この場合、この撮影装置
のカメラから順次入力される映像に対して、逐次、圧縮
符号化する画像符号化装置の圧縮符号最小単位のブロッ
クデータを、ブロックデータ算出手段が算出する。該ブ
ロックデータは、直交変換が施された周波数成分であ
り、該周波数成分に対して、物体候補抽出手段は、該周
波数成分の輝度情報を用いて縦横エッジ比を算出し、該
縦横エッジ比の時間経過による変化を比較判定して抽出
する。
として、カメラの光軸角度を変更可能な雲台とカメラと
を有する装置を用いてもよい。この場合、この撮影装置
のカメラから順次入力される映像に対して、逐次、圧縮
符号化する画像符号化装置の圧縮符号最小単位のブロッ
クデータを、ブロックデータ算出手段が算出する。該ブ
ロックデータは、直交変換が施された周波数成分であ
り、該周波数成分に対して、物体候補抽出手段は、該周
波数成分の輝度情報を用いて縦横エッジ比を算出し、該
縦横エッジ比の時間経過による変化を比較判定して抽出
する。
【００１９】物体判定手段は、前記物体候補抽出手段で
抽出したブロック及び／又は周辺も含む該ブロックに対
して、前記画像符号化装置の符号化データに対応する同
一ブロック間及び／又は前記画像復号化再生装置で再生
された画像信号間で現時刻データと前時刻データの相関
処理を行って、閾値以下の場合、異常物体であると判定
することを特徴とし、物体判定手段で異常物体が検知さ
れた場合、異常物体を追尾するため異常物体の水平方向
移動量及び／又は垂直方向移動量を算出する追尾データ
算出手段と、追尾データ算出手段で算出された水平方向
移動量からカメラの水平方向移動量を、垂直方向移動量
からカメラの垂直方向移動量を換算してカメラ移動の制
御情報を雲台付きカメラに送出するカメラ制御手段とを
備える。
抽出したブロック及び／又は周辺も含む該ブロックに対
して、前記画像符号化装置の符号化データに対応する同
一ブロック間及び／又は前記画像復号化再生装置で再生
された画像信号間で現時刻データと前時刻データの相関
処理を行って、閾値以下の場合、異常物体であると判定
することを特徴とし、物体判定手段で異常物体が検知さ
れた場合、異常物体を追尾するため異常物体の水平方向
移動量及び／又は垂直方向移動量を算出する追尾データ
算出手段と、追尾データ算出手段で算出された水平方向
移動量からカメラの水平方向移動量を、垂直方向移動量
からカメラの垂直方向移動量を換算してカメラ移動の制
御情報を雲台付きカメラに送出するカメラ制御手段とを
備える。
【００２０】また、本発明の画像監視装置は、付加デー
タ作成手段を有していてもよい。この場合も、カメラか
ら入力される映像に対して、圧縮符号化する画像符号化
装置の圧縮符号最小単位のブロックデータを、ブロック
データ算出手段が算出する。該ブロックデータは、直交
変換が施された周波数成分であり、該周波数成分に対し
て、物体候補抽出手段は、該周波数成分の輝度情報を用
いて縦横エッジ比を算出し、該縦横エッジ比の時間経過
による変化を比較判定して抽出する。物体判定手段は、
前記物体候補抽出手段で抽出したブロック及び／又は周
辺も含む該ブロックに対して、前記画像符号化装置の符
号化データに対応する同一ブロック間及び／又は前記画
像復号化再生装置で再生された画像信号間で現時刻デー
タと前時刻データの相関処理を行って、閾値以下の場
合、異常物体であると判定することを特徴とし、物体判
定手段で異常物体が検知された場合、付加データ作成手
段で該異常物体に対応した付加情報を作成し、付加情報
格納手段において該付加情報作成手段で作成したデータ
を格納する。画像符号化装置の符号化データを再生する
場合、該付加情報格納手段で格納したデータを所期の映
像に対応して選択し表示する表示データ選択手段を備え
る。
タ作成手段を有していてもよい。この場合も、カメラか
ら入力される映像に対して、圧縮符号化する画像符号化
装置の圧縮符号最小単位のブロックデータを、ブロック
データ算出手段が算出する。該ブロックデータは、直交
変換が施された周波数成分であり、該周波数成分に対し
て、物体候補抽出手段は、該周波数成分の輝度情報を用
いて縦横エッジ比を算出し、該縦横エッジ比の時間経過
による変化を比較判定して抽出する。物体判定手段は、
前記物体候補抽出手段で抽出したブロック及び／又は周
辺も含む該ブロックに対して、前記画像符号化装置の符
号化データに対応する同一ブロック間及び／又は前記画
像復号化再生装置で再生された画像信号間で現時刻デー
タと前時刻データの相関処理を行って、閾値以下の場
合、異常物体であると判定することを特徴とし、物体判
定手段で異常物体が検知された場合、付加データ作成手
段で該異常物体に対応した付加情報を作成し、付加情報
格納手段において該付加情報作成手段で作成したデータ
を格納する。画像符号化装置の符号化データを再生する
場合、該付加情報格納手段で格納したデータを所期の映
像に対応して選択し表示する表示データ選択手段を備え
る。
【００２１】また、本発明の画像監視装置は、対策員に
対して異常を伝達することのできるインターフェースを
備えていてもよい。この場合も、カメラから入力される
映像に対して、圧縮符号化する画像符号化装置の圧縮符
号最小単位のブロックデータを、ブロックデータ算出手
段が算出する。該ブロックデータは、直交変換が施され
た周波数成分であり、該周波数成分に対して、物体候補
抽出手段は、該周波数成分の輝度情報を用いて縦横エッ
ジ比を算出し、該縦横エッジ比の時間経過による変化を
比較判定して抽出する。物体判定手段は、前記物体候補
抽出手段で抽出したブロック及び／又は周辺も含む該ブ
ロックに対して、前記画像符号化装置の符号化データに
対応する同一ブロック間及び／又は前記画像復号化再生
装置で再生された画像信号間で現時刻データと前時刻デ
ータの相関処理を行って、閾値以下の場合、異常物体で
あると判定する。物体判定手段で異常物体が検知された
場合、画像復号化再生手段が前記画像符号化装置の符号
化データを再生し、該画像復号化再生手段で再生した画
像を表示装置に表示して監視員が異常と判断した場合、
該監視対象エリアを管轄している対策員に、該表示装置
画面上の所定位置を指示して異常を伝達するインターフ
ェースを備える。
対して異常を伝達することのできるインターフェースを
備えていてもよい。この場合も、カメラから入力される
映像に対して、圧縮符号化する画像符号化装置の圧縮符
号最小単位のブロックデータを、ブロックデータ算出手
段が算出する。該ブロックデータは、直交変換が施され
た周波数成分であり、該周波数成分に対して、物体候補
抽出手段は、該周波数成分の輝度情報を用いて縦横エッ
ジ比を算出し、該縦横エッジ比の時間経過による変化を
比較判定して抽出する。物体判定手段は、前記物体候補
抽出手段で抽出したブロック及び／又は周辺も含む該ブ
ロックに対して、前記画像符号化装置の符号化データに
対応する同一ブロック間及び／又は前記画像復号化再生
装置で再生された画像信号間で現時刻データと前時刻デ
ータの相関処理を行って、閾値以下の場合、異常物体で
あると判定する。物体判定手段で異常物体が検知された
場合、画像復号化再生手段が前記画像符号化装置の符号
化データを再生し、該画像復号化再生手段で再生した画
像を表示装置に表示して監視員が異常と判断した場合、
該監視対象エリアを管轄している対策員に、該表示装置
画面上の所定位置を指示して異常を伝達するインターフ
ェースを備える。
【００２２】以下、本発明の一実施例について図面を用
いて説明する。
いて説明する。
【００２３】＜実施例１＞ Ａ．装置構成 （１）全体構成 本実施例の画像監視装置は、図１に示すように、処理装
置本体10、復号化再生・表示装置50を備える。なお、本
実施例では処理装置本体10にカメラ1000を含めたが、処
理装置本体20にカメラ1000を含めず、処理装置本体20、
カメラ1000、復号化再生・表示装置50により画像監視装
置を構成してもよい。
置本体10、復号化再生・表示装置50を備える。なお、本
実施例では処理装置本体10にカメラ1000を含めたが、処
理装置本体20にカメラ1000を含めず、処理装置本体20、
カメラ1000、復号化再生・表示装置50により画像監視装
置を構成してもよい。
【００２４】本実施例の処理装置本体10は、対象シーン
を撮影するカメラ1000と、該カメラ1000から入力される
映像を圧縮符号化する画像符号化装置2000と、異常物体
を検出する物体検出装置4000とを備える。また、復号化
再生・表示装置50は、画像を表示する画像表示装置8000
と、画像符号化装置2000の符号化データを復号化して表
示装置8000に表示する画像復号化再生装置6000とを備え
る。
を撮影するカメラ1000と、該カメラ1000から入力される
映像を圧縮符号化する画像符号化装置2000と、異常物体
を検出する物体検出装置4000とを備える。また、復号化
再生・表示装置50は、画像を表示する画像表示装置8000
と、画像符号化装置2000の符号化データを復号化して表
示装置8000に表示する画像復号化再生装置6000とを備え
る。
【００２５】ここで、カメラ1000、画像符号化装置200
0、画像復号化再生装置6000、表示装置8000には、従来
の標準的な装置を用いることができる。また、本実施例
ではカメラ1000と画像符号化装置2000とを別々の装置と
したが、これらが一体になった装置を用いてもよく、撮
影された映像を圧縮符号化したデータの出力が得られれ
ば、撮影や符号化のための構成は特に限定されるもので
はない。
0、画像復号化再生装置6000、表示装置8000には、従来
の標準的な装置を用いることができる。また、本実施例
ではカメラ1000と画像符号化装置2000とを別々の装置と
したが、これらが一体になった装置を用いてもよく、撮
影された映像を圧縮符号化したデータの出力が得られれ
ば、撮影や符号化のための構成は特に限定されるもので
はない。
【００２６】なお、本実施例の画像監視装置では、物体
検出装置4000が処理装置本体10に設けられているが、図
３に示すように、処理装置本体10b又は20bではなく、復
号化再生・表示装置50bに物体検出装置4000を設けても
よい。
検出装置4000が処理装置本体10に設けられているが、図
３に示すように、処理装置本体10b又は20bではなく、復
号化再生・表示装置50bに物体検出装置4000を設けても
よい。
【００２７】なお、カメラ1000、画像符号化装置2000、
物体検出装置4000、画像復号化再生装置6000、画像表示
装置8000などの位置関係は特に限定されるものではな
く、これらのいずれかが遠隔地にあっても構わない。こ
れらの間のデータ転送を行う回線は有線であると無線で
あるとを問わず、任意の手段を用いることができる。カ
メラ1000又は画像表示装置8000などが遠隔地にある場
合、それらとの間の通信には、標準的な通信回線、例え
ば、電話回線やＬＡＮ（Local Area Network）、ＷＡＮ
（Wide Area Network）などを用いることができ、イン
ターネット（World Wide Web）を使用した通信を用いて
もよい。
物体検出装置4000、画像復号化再生装置6000、画像表示
装置8000などの位置関係は特に限定されるものではな
く、これらのいずれかが遠隔地にあっても構わない。こ
れらの間のデータ転送を行う回線は有線であると無線で
あるとを問わず、任意の手段を用いることができる。カ
メラ1000又は画像表示装置8000などが遠隔地にある場
合、それらとの間の通信には、標準的な通信回線、例え
ば、電話回線やＬＡＮ（Local Area Network）、ＷＡＮ
（Wide Area Network）などを用いることができ、イン
ターネット（World Wide Web）を使用した通信を用いて
もよい。
【００２８】（２）画像符号化装置 本実施例の画像符号化装置2000は、図４に示すように、
変換部2100と、差分部2200と、ＤＣＴ／量子化部2300
と、可変長符号化部2400と、逆量子化／逆ＤＣＴ部2500
と、加算部2600と、フレームメモリ2700と、動き予測部
2800とを備える。
変換部2100と、差分部2200と、ＤＣＴ／量子化部2300
と、可変長符号化部2400と、逆量子化／逆ＤＣＴ部2500
と、加算部2600と、フレームメモリ2700と、動き予測部
2800とを備える。
【００２９】変換部2100は、カメラ1000より入力される
ビデオ信号の1フレーム分を輝度信号と２つの色差信号
（青色差信号と赤色差信号）に分離し、マクロブロック
（以下、MBとする）単位に分割して差分部2200及び動き
予測部2800へ出力する。1個のＭＢは16画素×16ライン
の輝度信号からなる輝度ブロック（8画素×8ラインの輝
度信号からなるブロック4個分）と、8画素×8ラインの
青色差信号からなる青色差ブロックと、8画素×8ライン
の赤色差信号からなる赤色差ブロックの6個のブロック
から構成される。ただし、青色差信号と赤色差信号は、
水平・垂直とも１/２サンプリングされている。ここで
は、ｎフレームを現フレームとし、ｎフレームに近い過
去又は未来のフレームをｍフレームとして、これを参照
フレームとする。
ビデオ信号の1フレーム分を輝度信号と２つの色差信号
（青色差信号と赤色差信号）に分離し、マクロブロック
（以下、MBとする）単位に分割して差分部2200及び動き
予測部2800へ出力する。1個のＭＢは16画素×16ライン
の輝度信号からなる輝度ブロック（8画素×8ラインの輝
度信号からなるブロック4個分）と、8画素×8ラインの
青色差信号からなる青色差ブロックと、8画素×8ライン
の赤色差信号からなる赤色差ブロックの6個のブロック
から構成される。ただし、青色差信号と赤色差信号は、
水平・垂直とも１/２サンプリングされている。ここで
は、ｎフレームを現フレームとし、ｎフレームに近い過
去又は未来のフレームをｍフレームとして、これを参照
フレームとする。
【００３０】動き予測部2800は、輝度ブロック単位でｎ
フレームの画素pに対して、ｍフレーム中の隣接する画
素を用いて作成した補間画像から画素pに類似している
画素p *を0.5画素単位で探索する操作を行う。ここで、
画素ごとの輝度差の絶対値差分の総和が最小である輝度
ブロックを最大類似ブロックＹＢｓとし、ＹＢｓと空間
的に対応する青色差ブロックＣｂＢｓ及び赤色差ブロッ
クＣｒＢｓの3個を参照ブロックと称する。
フレームの画素pに対して、ｍフレーム中の隣接する画
素を用いて作成した補間画像から画素pに類似している
画素p *を0.5画素単位で探索する操作を行う。ここで、
画素ごとの輝度差の絶対値差分の総和が最小である輝度
ブロックを最大類似ブロックＹＢｓとし、ＹＢｓと空間
的に対応する青色差ブロックＣｂＢｓ及び赤色差ブロッ
クＣｒＢｓの3個を参照ブロックと称する。
【００３１】差分部2200は、変換部2100から入力された
ＭＢとＭＢの参照ブロックとの差分で表わされる予測誤
差を算出してＤＣＴ／量子化部2300へ出力する。ＤＣＴ
／量子化部2300は、8画素×8ラインのブロック単位に分
割した情報から輝度データの直交変換である離散コサイ
ン変換（ＤＣＴ）を行い、その結果であるＤＣＴ係数の
量子化を行って、可変長符号化部2400及び逆量子化/逆
ＤＣＴ部2500へ出力する。ここで用いられるＤＣＴ変換
を、つぎの式（数１）に示す。
ＭＢとＭＢの参照ブロックとの差分で表わされる予測誤
差を算出してＤＣＴ／量子化部2300へ出力する。ＤＣＴ
／量子化部2300は、8画素×8ラインのブロック単位に分
割した情報から輝度データの直交変換である離散コサイ
ン変換（ＤＣＴ）を行い、その結果であるＤＣＴ係数の
量子化を行って、可変長符号化部2400及び逆量子化/逆
ＤＣＴ部2500へ出力する。ここで用いられるＤＣＴ変換
を、つぎの式（数１）に示す。
【００３２】
【数１】
【００３３】逆量子化/逆ＤＣＴ部2500は、ＤＣＴ／量
子化部2300で量子化されたデータに対して逆量子化と逆
ＤＣＴを行い、予測誤差を復号して、該復号したデータ
と参照ブロックとの加算を加算部2600で行って符号化中
のフレームを再生して、ブロック単位にフレームメモリ
2700に格納する。フレームメモリ2700には、同様にして
再生された直前のフレームも格納されている。
子化部2300で量子化されたデータに対して逆量子化と逆
ＤＣＴを行い、予測誤差を復号して、該復号したデータ
と参照ブロックとの加算を加算部2600で行って符号化中
のフレームを再生して、ブロック単位にフレームメモリ
2700に格納する。フレームメモリ2700には、同様にして
再生された直前のフレームも格納されている。
【００３４】更に、動き予測部2800は、参照フレームの
参照ブロックＹＢｓと現フレームの輝度ブロックから、
現フレームにおける動きベクトルを算出する。動きベク
トルは、現フレームの輝度ブロックと参照ブロックＹＢ
ｓとの空間的な位置関係を示し、水平成分と垂直成分と
で表わされる。動き予測部2800は、このように算出され
るＹＢｓ、ＣｂＢｓ、ＣｒＢｓを差分部2200へ出力し、
更に動きベクトルを可変長符号化部2400へ出力する。
参照ブロックＹＢｓと現フレームの輝度ブロックから、
現フレームにおける動きベクトルを算出する。動きベク
トルは、現フレームの輝度ブロックと参照ブロックＹＢ
ｓとの空間的な位置関係を示し、水平成分と垂直成分と
で表わされる。動き予測部2800は、このように算出され
るＹＢｓ、ＣｂＢｓ、ＣｒＢｓを差分部2200へ出力し、
更に動きベクトルを可変長符号化部2400へ出力する。
【００３５】可変長符号化部2400は、ＤＣＴ／量子化部
2300で作成される量子化データと動き予測部2800から得
られる動きベクトル等を可変長符号化してデータ出力す
る。なお、画像符号化装置2000には、ビデオ信号を符号
化する標準的な構成の装置を用いることができる。
2300で作成される量子化データと動き予測部2800から得
られる動きベクトル等を可変長符号化してデータ出力す
る。なお、画像符号化装置2000には、ビデオ信号を符号
化する標準的な構成の装置を用いることができる。
【００３６】（３）物体検出装置 本実施例の物体検出装置4000は、図５に示すように、ブ
ロックデータ算出部4200と、物体候補抽出部4700と、物
体判定部4800と、符号化データ格納部4900とを備える。
本実施例では、物体検出装置4000は、中央演算処理装置
と主記憶装置と、外部記憶装置とを備える情報処理装置
により実現される。なお、回線を介して外部からプログ
ラムを読み込む場合など、不要であれば外部記憶装置は
設けなくてもよい。
ロックデータ算出部4200と、物体候補抽出部4700と、物
体判定部4800と、符号化データ格納部4900とを備える。
本実施例では、物体検出装置4000は、中央演算処理装置
と主記憶装置と、外部記憶装置とを備える情報処理装置
により実現される。なお、回線を介して外部からプログ
ラムを読み込む場合など、不要であれば外部記憶装置は
設けなくてもよい。
【００３７】符号化データ格納部4900は、主記憶装置又
は外部記憶装置に確保された記憶領域である。ブロック
データ算出部4200、物体候補抽出部4700及び物体判定部
4800は、外部記憶装置などを介して記憶媒体（光ディス
ク、光磁気ディスク、磁気ディスクなど）から主記憶装
置に読み込まれたプログラムを中央演算処理装置が実行
することにより実現される。このように、本実施例では
物体検出装置4000の各部はソフトウエアにより実現され
るが、本発明はこれに限定されるものではなく、ハード
ワイヤードロジックを含む専用装置（チップ）などによ
り物体検出装置4000を実現してもよい。
は外部記憶装置に確保された記憶領域である。ブロック
データ算出部4200、物体候補抽出部4700及び物体判定部
4800は、外部記憶装置などを介して記憶媒体（光ディス
ク、光磁気ディスク、磁気ディスクなど）から主記憶装
置に読み込まれたプログラムを中央演算処理装置が実行
することにより実現される。このように、本実施例では
物体検出装置4000の各部はソフトウエアにより実現され
るが、本発明はこれに限定されるものではなく、ハード
ワイヤードロジックを含む専用装置（チップ）などによ
り物体検出装置4000を実現してもよい。
【００３８】ブロックデータ算出部4200は、ＤＣＴ／量
子化部2300で行ったＤＣＴの結果のブロックデータを取
り出し、該取り出したブロックデータに対するエッジ比
を算出する。物体候補抽出部4700は、該算出したエッジ
比を利用して前フレームと現フレームとを比較し、変化
が所定以上の場合を異常物体の候補として抽出する。物
体判定部4800は、物体候補抽出部4700で候補とした領域
の変化状態等により物体判定を行い、物体と判定した場
合、該フレームの圧縮符号化した符号化データを符号化
データ格納部4900へ格納する。
子化部2300で行ったＤＣＴの結果のブロックデータを取
り出し、該取り出したブロックデータに対するエッジ比
を算出する。物体候補抽出部4700は、該算出したエッジ
比を利用して前フレームと現フレームとを比較し、変化
が所定以上の場合を異常物体の候補として抽出する。物
体判定部4800は、物体候補抽出部4700で候補とした領域
の変化状態等により物体判定を行い、物体と判定した場
合、該フレームの圧縮符号化した符号化データを符号化
データ格納部4900へ格納する。
【００３９】本実施例のブロックデータ算出部4200は、
図６に示すように、ＤＣＴデータ抽出部4210と、ＡＣ成
分縦横エッジ比算出部4230と、算出データ格納メモリ42
50とを備える。
図６に示すように、ＤＣＴデータ抽出部4210と、ＡＣ成
分縦横エッジ比算出部4230と、算出データ格納メモリ42
50とを備える。
【００４０】ＤＣＴデータ抽出部4210は、ＤＣＴ／量子
化部2300で行った8画素×8ラインのブロック単位のＤＣ
Ｔの結果であるＤＣＴ係数のうち、8画素×8ラインの輝
度信号からなる輝度ブロックのブロックデータを取り出
す。ＡＣ成分縦横エッジ比算出部4230は、ＤＣＴデータ
抽出部4210で算出したＤＣＴ係数の高周波成分であるＡ
Ｃ成分を用いて、水平方向のエッジ値及び垂直方向のエ
ッジ値を計算した後、縦横エッジ比を算出し、該算出し
た比を算出データ格納メモリ4250へ格納する。算出デー
タ格納メモリ4250は、算出された縦横エッジ比を保持す
るための記憶領域である。
化部2300で行った8画素×8ラインのブロック単位のＤＣ
Ｔの結果であるＤＣＴ係数のうち、8画素×8ラインの輝
度信号からなる輝度ブロックのブロックデータを取り出
す。ＡＣ成分縦横エッジ比算出部4230は、ＤＣＴデータ
抽出部4210で算出したＤＣＴ係数の高周波成分であるＡ
Ｃ成分を用いて、水平方向のエッジ値及び垂直方向のエ
ッジ値を計算した後、縦横エッジ比を算出し、該算出し
た比を算出データ格納メモリ4250へ格納する。算出デー
タ格納メモリ4250は、算出された縦横エッジ比を保持す
るための記憶領域である。
【００４１】なお、図７に示すように、ブロックデータ
算出部4200に、さらにＤＣ成分算出部4270を設けてもよ
い。ＤＣ成分算出部4270は、ＤＣＴデータ抽出部4210で
算出したＤＣＴ係数のうち低周波成分であるＤＣ成分を
取り出す。該ＤＣ成分算出部4270とＡＣ成分縦横エッジ
比算出部4230で算出した値は、算出データ格納メモリ42
60へ格納される。このようにする場合には、これらＡＣ
成分縦横エッジ比算出部4230とＤＣ成分算出部4270で算
出し、算出データ格納メモリ4260へ格納した値を用い
て、物体候補抽出部4700が異常物体候補を抽出する。
算出部4200に、さらにＤＣ成分算出部4270を設けてもよ
い。ＤＣ成分算出部4270は、ＤＣＴデータ抽出部4210で
算出したＤＣＴ係数のうち低周波成分であるＤＣ成分を
取り出す。該ＤＣ成分算出部4270とＡＣ成分縦横エッジ
比算出部4230で算出した値は、算出データ格納メモリ42
60へ格納される。このようにする場合には、これらＡＣ
成分縦横エッジ比算出部4230とＤＣ成分算出部4270で算
出し、算出データ格納メモリ4260へ格納した値を用い
て、物体候補抽出部4700が異常物体候補を抽出する。
【００４２】（４）画像復号化再生装置 本実施例の画像復号化再生装置6000は、図２０に示すよ
うに、画像復号化部6010と、画像表示部6020と、検知位
置表示部6030と、検知情報表示部6040と、表示画面合成
部6050とを備える。
うに、画像復号化部6010と、画像表示部6020と、検知位
置表示部6030と、検知情報表示部6040と、表示画面合成
部6050とを備える。
【００４３】画像復号化部6010は、映像信号を再生する
標準的な構成でよく、画像符号化装置2000の符号化の逆
の手順を行ってデータの復号化を行う。検知情報表示部
6040は、物体検知装置4000で検知した異常物体（異常に
移動している物体）が撮影されていたシーン名や日時等
の異常物体の付属情報等の表示データを作成し、検知情
報表示部6030が、物体検知装置4000で検知した異常物体
位置の明示的な表示データを作成する。画像表示部6020
は、画像復号化部6010で再生した映像信号を表示する。
表示画面合成部6050は、画像表示部6020の再生映像に検
知情報表示部6040や検知情報表示部6030の表示データを
貼り付けたり合成したりして、監視員が異常物体情報を
一目瞭然に目視で判別できるように表示データを生成
し、表示装置8000の表示画面に表示する。
標準的な構成でよく、画像符号化装置2000の符号化の逆
の手順を行ってデータの復号化を行う。検知情報表示部
6040は、物体検知装置4000で検知した異常物体（異常に
移動している物体）が撮影されていたシーン名や日時等
の異常物体の付属情報等の表示データを作成し、検知情
報表示部6030が、物体検知装置4000で検知した異常物体
位置の明示的な表示データを作成する。画像表示部6020
は、画像復号化部6010で再生した映像信号を表示する。
表示画面合成部6050は、画像表示部6020の再生映像に検
知情報表示部6040や検知情報表示部6030の表示データを
貼り付けたり合成したりして、監視員が異常物体情報を
一目瞭然に目視で判別できるように表示データを生成
し、表示装置8000の表示画面に表示する。
【００４４】Ｂ．符号化データの構成 本実施例における画像符号化装置2000の符号化データ
は、図１２に示すように、最上位層をシーケンス層4101
とし、以下、下層へ向かって順次、ＧＯＰ層4102、ピク
チャ層4103、スライス層4104、マクロブロック層4105、
ブロック層4110とする階層構造によって構成されてい
る。最上位層のシーケンス層4101は、Sequence Header
（SH）とGroup of Pictures（GOP）とを含む。符号化デ
ータのデータ構造には、一般的なものを用いることがで
きる。
は、図１２に示すように、最上位層をシーケンス層4101
とし、以下、下層へ向かって順次、ＧＯＰ層4102、ピク
チャ層4103、スライス層4104、マクロブロック層4105、
ブロック層4110とする階層構造によって構成されてい
る。最上位層のシーケンス層4101は、Sequence Header
（SH）とGroup of Pictures（GOP）とを含む。符号化デ
ータのデータ構造には、一般的なものを用いることがで
きる。
【００４５】ＤＣＴ／量子化部2300で行った8画素×8ラ
インのブロック単位のＤＣＴの結果であるＤＣＴ係数
は、ブロック層4110に保持される。ＤＣＴ係数の最初の
画素4120がＤＣ成分であり、それ以外の63画素、即ち、
h1画素4121，h2画素4122，…、hi画素4123、v1画素413
0、b1画素4131、hi+1画素4132、…、v2画素4140、vj+1
画素4141、b2画素4142、…、vj画素4150、…がＡＣ成分
である。ＤＣ成分算出部4270が計算に用いる値は、ＤＣ
Ｔ係数の最初の画素4120の、そのままの値である。ＡＣ
成分縦横エッジ比算出部4230が計算に用いる値は、ＡＣ
成分のうち、ブロックの右上半分の画素群4111、即ち、
h1画素4121，h2画素4122，…、hi画素4123、…、hi+1画
素4132、…を水平エッジ算出に、ブロックの左下半分の
画素群4112、即ち、v1画素4130，v2画素4140、vj+1画素
4141、…、vj画素4150、…を垂直エッジ算出に用いる。
インのブロック単位のＤＣＴの結果であるＤＣＴ係数
は、ブロック層4110に保持される。ＤＣＴ係数の最初の
画素4120がＤＣ成分であり、それ以外の63画素、即ち、
h1画素4121，h2画素4122，…、hi画素4123、v1画素413
0、b1画素4131、hi+1画素4132、…、v2画素4140、vj+1
画素4141、b2画素4142、…、vj画素4150、…がＡＣ成分
である。ＤＣ成分算出部4270が計算に用いる値は、ＤＣ
Ｔ係数の最初の画素4120の、そのままの値である。ＡＣ
成分縦横エッジ比算出部4230が計算に用いる値は、ＡＣ
成分のうち、ブロックの右上半分の画素群4111、即ち、
h1画素4121，h2画素4122，…、hi画素4123、…、hi+1画
素4132、…を水平エッジ算出に、ブロックの左下半分の
画素群4112、即ち、v1画素4130，v2画素4140、vj+1画素
4141、…、vj画素4150、…を垂直エッジ算出に用いる。
【００４６】Ｃ．処理の流れ 本実施例の画像監視装置は、画像符号化装置2000が符号
化した画像データに基づいて物体検出装置4000が検出し
た物体を、画像復号化再生装置6000により表示装置8000
に表示する。画像の符号化及び復号化には、通常の技術
を用いることができる。そこで、ここでは物体検出装置
4000における処理の流れについて主に説明する。
化した画像データに基づいて物体検出装置4000が検出し
た物体を、画像復号化再生装置6000により表示装置8000
に表示する。画像の符号化及び復号化には、通常の技術
を用いることができる。そこで、ここでは物体検出装置
4000における処理の流れについて主に説明する。
【００４７】物体検出装置4000では、ＤＣＴデータ抽出
部4210がブロックデータを抽出し、このブロックデータ
について、ＡＣ成分縦横エッジ比算出部4230が縦横エッ
ジ比を算出し、これを用いて物体候補抽出部4700が異常
物体候補を抽出し、この候補が物体か否かを物体判定部
4800が判定して、物体と判定されたフレームの符号化デ
ータを符号化データ格納部4900へ格納する。
部4210がブロックデータを抽出し、このブロックデータ
について、ＡＣ成分縦横エッジ比算出部4230が縦横エッ
ジ比を算出し、これを用いて物体候補抽出部4700が異常
物体候補を抽出し、この候補が物体か否かを物体判定部
4800が判定して、物体と判定されたフレームの符号化デ
ータを符号化データ格納部4900へ格納する。
【００４８】（１）ＡＣ成分縦横エッジ比算出部 本実施例のＡＣ成分縦横エッジ比算出部4230における処
理の流れを図１３に示す。ＡＣ成分縦横エッジ比算出部
4230は、まず、現入力画像（現フレーム）のブロック層
4110におけるブロックごとにＡＣ成分の右上半分の画素
群4111の水平方向絶対値総和を算出しｆｊ（ｈ）とする
（ステップ4231）。次にＡＣ成分縦横エッジ比算出部42
30は、現入力画像（現フレーム）のブロック層4110にお
けるブロックごとにＡＣ成分の左下半分の画素群4112の
垂直方向絶対値総和を算出しｆｊ（v）とする（ステッ
プ4232）。
理の流れを図１３に示す。ＡＣ成分縦横エッジ比算出部
4230は、まず、現入力画像（現フレーム）のブロック層
4110におけるブロックごとにＡＣ成分の右上半分の画素
群4111の水平方向絶対値総和を算出しｆｊ（ｈ）とする
（ステップ4231）。次にＡＣ成分縦横エッジ比算出部42
30は、現入力画像（現フレーム）のブロック層4110にお
けるブロックごとにＡＣ成分の左下半分の画素群4112の
垂直方向絶対値総和を算出しｆｊ（v）とする（ステッ
プ4232）。
【００４９】ここで、ｆｊ（ｈ）は水平方向絶対値総和
でなく、右上半分の画素群4111の中から選択した絶対値
の任意の組み合わせの加算でもよい。また、ｆｊ（v）
は垂直方向絶対値総和でなく、左下半分の画素群4112の
中から選択し、右上半分の画素群4111の中から選択した
絶対値の任意の組み合わせと同じ規則性を持たせた組み
合わせの加算でもよい。なお、同じ規則性を持たせた組
み合わせの加算とは、例えば、ｆｊ（ｈ）がh1画素4121
の絶対値とh2画素4122の絶対値を加算したとすれば、ｆ
ｊ（v）もv1画素4130の絶対値とv2画素4140の絶対値を
加算することを意味する。
でなく、右上半分の画素群4111の中から選択した絶対値
の任意の組み合わせの加算でもよい。また、ｆｊ（v）
は垂直方向絶対値総和でなく、左下半分の画素群4112の
中から選択し、右上半分の画素群4111の中から選択した
絶対値の任意の組み合わせと同じ規則性を持たせた組み
合わせの加算でもよい。なお、同じ規則性を持たせた組
み合わせの加算とは、例えば、ｆｊ（ｈ）がh1画素4121
の絶対値とh2画素4122の絶対値を加算したとすれば、ｆ
ｊ（v）もv1画素4130の絶対値とv2画素4140の絶対値を
加算することを意味する。
【００５０】続いてＡＣ成分縦横エッジ比算出部4230
は、ステップ4231で算出したｆｊ（ｈ）とステップ4232
で算出したｆｊ（v）との加算値が閾値以上か否かチェ
ックする（ステップ4233）。ステップ4233の判定で、閾
値未満であった場合、ステップ4237でブロックにはエッ
ジが存在しない、即ち、ブロック画像が均一状態である
ことを意味するので、ＡＣ成分縦横エッジ比算出部4230
は、無エッジに相当する値を設定する（ステップ423
8）。また、ステップ4233の判定で、閾値以上であった
場合、これはブロックにエッジが存在することを意味す
るので、ＡＣ成分縦横エッジ比算出部4230は、ステップ
4235で該ブロックのｆｊ（ｈ）÷ｆｊ（v）を縦横エッ
ジ比（Rbj）として算出し（ステップ4234）、算出した
値を該ブロック自身に格納する（ステップ4236）。ここ
で、縦横エッジ比（Rbj）は比率が算出できればよく、
例えばｆｊ（v）÷ｆｊ（ｈ）でもよい。
は、ステップ4231で算出したｆｊ（ｈ）とステップ4232
で算出したｆｊ（v）との加算値が閾値以上か否かチェ
ックする（ステップ4233）。ステップ4233の判定で、閾
値未満であった場合、ステップ4237でブロックにはエッ
ジが存在しない、即ち、ブロック画像が均一状態である
ことを意味するので、ＡＣ成分縦横エッジ比算出部4230
は、無エッジに相当する値を設定する（ステップ423
8）。また、ステップ4233の判定で、閾値以上であった
場合、これはブロックにエッジが存在することを意味す
るので、ＡＣ成分縦横エッジ比算出部4230は、ステップ
4235で該ブロックのｆｊ（ｈ）÷ｆｊ（v）を縦横エッ
ジ比（Rbj）として算出し（ステップ4234）、算出した
値を該ブロック自身に格納する（ステップ4236）。ここ
で、縦横エッジ比（Rbj）は比率が算出できればよく、
例えばｆｊ（v）÷ｆｊ（ｈ）でもよい。
【００５１】最後にＡＣ成分縦横エッジ比算出部4230
は、現フレーム内の全ブロックが終了したか否か判定し
て（ステップ4239）、終了していない場合、処理をステ
ップ4231へ戻す。
は、現フレーム内の全ブロックが終了したか否か判定し
て（ステップ4239）、終了していない場合、処理をステ
ップ4231へ戻す。
【００５２】なお、図７に示したようにブロックデータ
算出部4200にＤＣ成分算出部4270を設ける場合には、図
１６に示すように、ＤＣ成分算出部4270による、現フレ
ームのブロックごとに低周波成分であるＤＣ成分の値
（BDCj）を算出する処理（ステップ4271）を追加する。
なお、図１６では、このステップ4271の処理はＡＣ成分
縦横エッジ比算出部4230によるステップ4232の処理とス
テップ4233の処理との間に挿入されているが、本発明は
これには限られず、物体候補抽出部4700における処理の
前に、全ブロックについてこの処理が行われていればよ
い。
算出部4200にＤＣ成分算出部4270を設ける場合には、図
１６に示すように、ＤＣ成分算出部4270による、現フレ
ームのブロックごとに低周波成分であるＤＣ成分の値
（BDCj）を算出する処理（ステップ4271）を追加する。
なお、図１６では、このステップ4271の処理はＡＣ成分
縦横エッジ比算出部4230によるステップ4232の処理とス
テップ4233の処理との間に挿入されているが、本発明は
これには限られず、物体候補抽出部4700における処理の
前に、全ブロックについてこの処理が行われていればよ
い。
【００５３】（２）物体候補抽出部 本実施例における物体候補抽出部4700の処理の流れを図
１４に示す。物体候補抽出部4700は、まず、現フレーム
のブロックごとに当該エッジ比を格納したメモリをRiと
し、前フレームのメモリをRi-1とする（ステップ470
1）。ここで、前フレームは、直前フレームや基準フレ
ーム等でもよい。
１４に示す。物体候補抽出部4700は、まず、現フレーム
のブロックごとに当該エッジ比を格納したメモリをRiと
し、前フレームのメモリをRi-1とする（ステップ470
1）。ここで、前フレームは、直前フレームや基準フレ
ーム等でもよい。
【００５４】続いて物体候補抽出部4700は、縦横エッジ
比の現フレームブロック（BRi）と対応する前フレーム
ブロック(BRi-1)との間で、縦横比変化率（RVHi）を算
出する（ステップ4702）。縦横比変化率（RVHi）は、例
えば、 RVHi ＝ ｜BRi-1 − BRi｜÷｛（BRi-1 ＋ BRi）÷
2｝ とする。また、 RVHi ＝ ｜BRi-1 − BRi｜ としてもよく、 RVHi ＝ ｜BRi-1 − BRi｜÷BRi 等でもよい。
比の現フレームブロック（BRi）と対応する前フレーム
ブロック(BRi-1)との間で、縦横比変化率（RVHi）を算
出する（ステップ4702）。縦横比変化率（RVHi）は、例
えば、 RVHi ＝ ｜BRi-1 − BRi｜÷｛（BRi-1 ＋ BRi）÷
2｝ とする。また、 RVHi ＝ ｜BRi-1 − BRi｜ としてもよく、 RVHi ＝ ｜BRi-1 − BRi｜÷BRi 等でもよい。
【００５５】次に物体候補抽出部4700は、対応する現フ
レームブロックと前フレームブロック間において、エッ
ジの有無と縦横エッジ比変化率を比較して判定する（ス
テップ4703）。比較判定は、前フレームブロックと現
フレームブロックとの両方ともエッジ無しの場合には
「変化無し」とし、前フレームブロックと現フレーム
ブロックとの両方ともエッジが有る場合には、縦横比変
化率（RVHi）が閾値以上であれば「変化有り」とし、縦
横比変化率（RVHi）が閾値未満であれば「変化なし」と
し、前フレームブロックがエッジ有りで現フレームブ
ロックがエッジ無しの場合には「変化有り」とし、前
フレームブロックがエッジ無しで現フレームブロックが
エッジ有りの場合には「変化有り」とすることにより行
う。
レームブロックと前フレームブロック間において、エッ
ジの有無と縦横エッジ比変化率を比較して判定する（ス
テップ4703）。比較判定は、前フレームブロックと現
フレームブロックとの両方ともエッジ無しの場合には
「変化無し」とし、前フレームブロックと現フレーム
ブロックとの両方ともエッジが有る場合には、縦横比変
化率（RVHi）が閾値以上であれば「変化有り」とし、縦
横比変化率（RVHi）が閾値未満であれば「変化なし」と
し、前フレームブロックがエッジ有りで現フレームブ
ロックがエッジ無しの場合には「変化有り」とし、前
フレームブロックがエッジ無しで現フレームブロックが
エッジ有りの場合には「変化有り」とすることにより行
う。
【００５６】続いて物体候補抽出部4700は、変化有りと
判定したブロックを抽出し（ステップ4704）、フレーム
内の全ブロックが終了したか否かチェックする（ステッ
プ4705）。物体候補抽出部4700は、ステップ4705におい
て終了していないとされた場合にはステップ4701へ処理
を戻し、終了したと判定した場合にはステップ4706を実
行する。
判定したブロックを抽出し（ステップ4704）、フレーム
内の全ブロックが終了したか否かチェックする（ステッ
プ4705）。物体候補抽出部4700は、ステップ4705におい
て終了していないとされた場合にはステップ4701へ処理
を戻し、終了したと判定した場合にはステップ4706を実
行する。
【００５７】ステップ4706において物体候補抽出部4700
は、「変化有り」として抽出したブロックの連結数をチ
ェックする。ここで物体候補抽出部4700は、連結数が閾
値以上であった場合、当該ブロックを異常物体の候補領
域とし（ステップ4707）、閾値未満であった場合、当該
ブロックは孤立ブロックであるので、ノイズとして異常
物体の候補領域でないとする（ステップ4708）。
は、「変化有り」として抽出したブロックの連結数をチ
ェックする。ここで物体候補抽出部4700は、連結数が閾
値以上であった場合、当該ブロックを異常物体の候補領
域とし（ステップ4707）、閾値未満であった場合、当該
ブロックは孤立ブロックであるので、ノイズとして異常
物体の候補領域でないとする（ステップ4708）。
【００５８】図１５に、ステップ4704において「変化有
り」と判定して抽出したブロックを示す。抽出したブロ
ックには、孤立ブロック4732や連結ブロック4731があ
る。そこで、ステップ4706では、連結数の閾値（本実施
例では3ブロックとする）以上の連結ブロック4731が異
常物体の候補領域とされ、連結ブロックが3個未満の領
域4732や4733等はノイズとして除外される。
り」と判定して抽出したブロックを示す。抽出したブロ
ックには、孤立ブロック4732や連結ブロック4731があ
る。そこで、ステップ4706では、連結数の閾値（本実施
例では3ブロックとする）以上の連結ブロック4731が異
常物体の候補領域とされ、連結ブロックが3個未満の領
域4732や4733等はノイズとして除外される。
【００５９】なお、図７に示したようにブロックデータ
算出部4200にＤＣ成分算出部4270を設ける場合には、上
述のステップ4271の処理により、ブロックごとのＤＣ成
分の値BDCjが算出データ格納メモリ4260に保持されてい
る。この場合の物体候補抽出部4700における処理の流れ
を図１７に示す。
算出部4200にＤＣ成分算出部4270を設ける場合には、上
述のステップ4271の処理により、ブロックごとのＤＣ成
分の値BDCjが算出データ格納メモリ4260に保持されてい
る。この場合の物体候補抽出部4700における処理の流れ
を図１７に示す。
【００６０】この場合、物体候補抽出部4700は、ステッ
プ4701とステップ4702との間に、現フレームのブロック
ごとのＤＣ成分の値をBDCiとし、前フレームのＤＣ成分
の値をBDCi-1とする処理を行う（ステップ4752）。ここ
でも、前フレームは、直前フレームや基準フレーム等で
もよい。
プ4701とステップ4702との間に、現フレームのブロック
ごとのＤＣ成分の値をBDCiとし、前フレームのＤＣ成分
の値をBDCi-1とする処理を行う（ステップ4752）。ここ
でも、前フレームは、直前フレームや基準フレーム等で
もよい。
【００６１】また、物体候補抽出部4700は、ステップ47
03の代わりに、エッジの有無及び縦横エッジ比変化率に
加えてさらにＤＣ成分値をも用いて変化の有無を判定す
る処理（ステップ4754）を行う。
03の代わりに、エッジの有無及び縦横エッジ比変化率に
加えてさらにＤＣ成分値をも用いて変化の有無を判定す
る処理（ステップ4754）を行う。
【００６２】このステップ4754において物体候補抽出部
4700は、対応する現フレームブロックと前フレームブロ
ック間において、エッジの有無と縦横エッジ比変化率を
比較して判定する。この場合の比較判定は、前フレー
ムブロックと現フレームブロックとの両方ともエッジ無
しの場合には「変化無し」とし、前フレームブロック
と現フレームブロックとの両方ともエッジ有りの場合に
は、縦横比変化率（RVHi）が閾値以上ならば「変化有
り」とし、閾値未満ならば「変化なし」とし、前フレ
ームブロックがエッジ有りで現フレームブロックがエッ
ジ無しの場合には、ＤＣ成分の差の絶対値（｜BDC i-1
− BDCi｜）が閾値以上ならば「変化有り」とし、閾値
未満ならば「変化なし」とし、前フレームブロックが
エッジ無しで現フレームブロックがエッジ有りの場合に
は、ＤＣ成分の差の絶対値（｜BDC i-1 − BDCi｜）が
閾値以上ならば「変化有り」とし、閾値未満ならば「変
化なし」とすることにより行われる。
4700は、対応する現フレームブロックと前フレームブロ
ック間において、エッジの有無と縦横エッジ比変化率を
比較して判定する。この場合の比較判定は、前フレー
ムブロックと現フレームブロックとの両方ともエッジ無
しの場合には「変化無し」とし、前フレームブロック
と現フレームブロックとの両方ともエッジ有りの場合に
は、縦横比変化率（RVHi）が閾値以上ならば「変化有
り」とし、閾値未満ならば「変化なし」とし、前フレ
ームブロックがエッジ有りで現フレームブロックがエッ
ジ無しの場合には、ＤＣ成分の差の絶対値（｜BDC i-1
− BDCi｜）が閾値以上ならば「変化有り」とし、閾値
未満ならば「変化なし」とし、前フレームブロックが
エッジ無しで現フレームブロックがエッジ有りの場合に
は、ＤＣ成分の差の絶対値（｜BDC i-1 − BDCi｜）が
閾値以上ならば「変化有り」とし、閾値未満ならば「変
化なし」とすることにより行われる。
【００６３】（３）物体判定部 本実施例における物体判定部4800の処理の流れを図１８
に示す。物体判定部4800は、まず、物体候補抽出部4700
の処理結果をチェックし（ステップ4801）、処理対象の
フレームブロックが異常物体の候補であればステップ48
02へ処理を進める。ここで、異常物体候補ではない場
合、物体判定部4800は「異常物体なし」と決定して（ス
テップ4811）、処理を終了する。
に示す。物体判定部4800は、まず、物体候補抽出部4700
の処理結果をチェックし（ステップ4801）、処理対象の
フレームブロックが異常物体の候補であればステップ48
02へ処理を進める。ここで、異常物体候補ではない場
合、物体判定部4800は「異常物体なし」と決定して（ス
テップ4811）、処理を終了する。
【００６４】ステップ4802において物体判定部4800は、
画像符号化データの復号化再生信号及び／又は入力映像
信号に対し、異常物体候補領域及び／又は異常物体候補
領域周辺も含む領域の前フレームと現フレームとの同一
領域間（±１画素程度に拡張した場合も含む）で相関処
理を行う。なお、前フレームは直前フレームや基準フレ
ームでもよい。
画像符号化データの復号化再生信号及び／又は入力映像
信号に対し、異常物体候補領域及び／又は異常物体候補
領域周辺も含む領域の前フレームと現フレームとの同一
領域間（±１画素程度に拡張した場合も含む）で相関処
理を行う。なお、前フレームは直前フレームや基準フレ
ームでもよい。
【００６５】ここで行われる相関処理は、式（数２）の
正規化相関処理により相関の有無を類似度として数値化
する処理である。即ち、物体判定部4800は、あらかじめ
登録されているテンプレートパターンと対象画像との輝
度をそれぞれ正規化して、これらにおける輝度の差を求
める（3F-8 車番認識システムの濃淡パターンマッチン
グ処理の応用、情報処理学会第49回全国大会、平成6年
後期）。
正規化相関処理により相関の有無を類似度として数値化
する処理である。即ち、物体判定部4800は、あらかじめ
登録されているテンプレートパターンと対象画像との輝
度をそれぞれ正規化して、これらにおける輝度の差を求
める（3F-8 車番認識システムの濃淡パターンマッチン
グ処理の応用、情報処理学会第49回全国大会、平成6年
後期）。
【００６６】
【数２】
【００６７】なお、式（数２）において、ｒ（ｕ，ｖ）
は（ｕ，ｖ）座標における類似度を示し、ｆ（ｕ+ｉ，
ｖ+ｊ）は（ｕ，ｖ）点近傍の対象画像の濃度値を示
し、Ｔ（ｉ，ｊ）はテンプレート画像の（ｉ，ｊ）点の
濃度値を示し、ｐ，ｑはそれぞれテンプレート画像の
ｘ，ｙサイズを示す。
は（ｕ，ｖ）座標における類似度を示し、ｆ（ｕ+ｉ，
ｖ+ｊ）は（ｕ，ｖ）点近傍の対象画像の濃度値を示
し、Ｔ（ｉ，ｊ）はテンプレート画像の（ｉ，ｊ）点の
濃度値を示し、ｐ，ｑはそれぞれテンプレート画像の
ｘ，ｙサイズを示す。
【００６８】続いて物体判定部4800は、ステップ4802に
おける相関処理の結果を判定し（ステップ4803）、相関
が不能の場合はステップ4806へ、相関が可能な場合はス
テップ4804へ処理を進める。なお、相関処理において、
相関不能とは処理対象の相関対象領域における輝度が一
様でエッジが存在しない場合であって、特徴もなく分散
値も小さい場合である。
おける相関処理の結果を判定し（ステップ4803）、相関
が不能の場合はステップ4806へ、相関が可能な場合はス
テップ4804へ処理を進める。なお、相関処理において、
相関不能とは処理対象の相関対象領域における輝度が一
様でエッジが存在しない場合であって、特徴もなく分散
値も小さい場合である。
【００６９】相関可能な場合、物体判定部4800は、相関
値が相関閾値以下か否か判定する（ステップ4804）。こ
こで、相関値が閾値以下であれば、処理対象が互いに類
似してない（非類似である）ことを意味するため、物体
判定部4800は、処理対象の異常物体候補を出現物体とし
た後（ステップ4805）、処理をステップ4806へ進める。
また、ステップ4804において相関値が閾値より大きけれ
ば、処理対象の異常物体候補は出現物体ではないため、
物体判定部4800は、はそのまま処理をステップ4806へ進
める。なお、ここで用いられる相関の閾値には、0.0〜
1.0の範囲の値を用いることができ、例えば本実施例で
は0.7を閾値とする。
値が相関閾値以下か否か判定する（ステップ4804）。こ
こで、相関値が閾値以下であれば、処理対象が互いに類
似してない（非類似である）ことを意味するため、物体
判定部4800は、処理対象の異常物体候補を出現物体とし
た後（ステップ4805）、処理をステップ4806へ進める。
また、ステップ4804において相関値が閾値より大きけれ
ば、処理対象の異常物体候補は出現物体ではないため、
物体判定部4800は、はそのまま処理をステップ4806へ進
める。なお、ここで用いられる相関の閾値には、0.0〜
1.0の範囲の値を用いることができ、例えば本実施例で
は0.7を閾値とする。
【００７０】ステップ4806において物体判定部4800は、
異常物体候補領域をすべて終了したか否かチェックし、
終了しない場合はステップ4802へ処理を戻し、次の候補
領域に対して同様の処理（ステップ4802〜4805）を行
う。
異常物体候補領域をすべて終了したか否かチェックし、
終了しない場合はステップ4802へ処理を戻し、次の候補
領域に対して同様の処理（ステップ4802〜4805）を行
う。
【００７１】ステップ4806において、すべての候補領域
について処理を終了していた場合、物体判定部4800は、
出現物体があったか否か判定する（ステップ4807）。出
現物体がなかった場合、物体判定部4800は、「異常物体
なし」と決定して（ステップ4811）、処理を終了する。
について処理を終了していた場合、物体判定部4800は、
出現物体があったか否か判定する（ステップ4807）。出
現物体がなかった場合、物体判定部4800は、「異常物体
なし」と決定して（ステップ4811）、処理を終了する。
【００７２】出現物体があった場合、物体判定部4800
は、候補物体の前フレーム及び／又は直前フレームの出
現位置と現フレームの出現位置から追跡を行って（ステ
ップ4808）、所定時間追跡できるか否か判定する（ステ
ップ4809）。ここで、追跡には、出現位置として異常物
体候補領域の中心や重心等を用い、最も近い距離間等を
対応させることにより行うことができる。すなわち、物
体判定部4800は、例えば、図１９に示すように、時刻ti
に異常物体候補4820が出現し、時刻ti+1に異常物体候補
4821及び異常物体候補4822が出現した場合、異常物体候
補4820に移動距離が小さい方の異常物体候補である候補
4821を対応させ、異常物体候補4820が候補4821に移動し
たものとすることにより、異常物体候補を追跡する。こ
の追跡は、新たな入力フレームを処理対象の現フレーム
として更新しつつ、順次、フレーム内に同じ物体が移動
した結果である異常物体候補が存在するか否かの判定を
繰り返すことにより行われる。
は、候補物体の前フレーム及び／又は直前フレームの出
現位置と現フレームの出現位置から追跡を行って（ステ
ップ4808）、所定時間追跡できるか否か判定する（ステ
ップ4809）。ここで、追跡には、出現位置として異常物
体候補領域の中心や重心等を用い、最も近い距離間等を
対応させることにより行うことができる。すなわち、物
体判定部4800は、例えば、図１９に示すように、時刻ti
に異常物体候補4820が出現し、時刻ti+1に異常物体候補
4821及び異常物体候補4822が出現した場合、異常物体候
補4820に移動距離が小さい方の異常物体候補である候補
4821を対応させ、異常物体候補4820が候補4821に移動し
たものとすることにより、異常物体候補を追跡する。こ
の追跡は、新たな入力フレームを処理対象の現フレーム
として更新しつつ、順次、フレーム内に同じ物体が移動
した結果である異常物体候補が存在するか否かの判定を
繰り返すことにより行われる。
【００７３】所定時間追跡できた場合、物体判定部4800
は「異常物体あり」と決定して（ステップ4810）、処理
を終了する。また、所定時間追跡できなかった場合、物
体判定部4800は「異常物体なし」と決定して（ステップ
4811）処理を終了する。なお、ここでの所定時間は、所
期の検知対象物体が撮影シーンに滞在する滞在時間程度
でも、それ以下（ただし0より大きいこと）でも良く、
動く外乱と検知物体とを区別できる時間であればよい。
は「異常物体あり」と決定して（ステップ4810）、処理
を終了する。また、所定時間追跡できなかった場合、物
体判定部4800は「異常物体なし」と決定して（ステップ
4811）処理を終了する。なお、ここでの所定時間は、所
期の検知対象物体が撮影シーンに滞在する滞在時間程度
でも、それ以下（ただし0より大きいこと）でも良く、
動く外乱と検知物体とを区別できる時間であればよい。
【００７４】＜実施例２＞実施例１では、画像データを
画像符号化装置2000により一旦符号化した後、物体検出
装置4000において異常物体を検出し、画像データを画像
復号化再生装置6000により復号化して表示装置8000に表
示した。これに対して、本実施例では、図２に示すよう
に、画像変換前の画像データを用いた画像表示が可能な
構成となっている。なお、本実施例の画像監視装置は、
これ以外の点については実施例１の装置とほぼ同様であ
る。そこで、ここでは実施例１との相違点についてのみ
説明し、共通点については説明を省略する。
画像符号化装置2000により一旦符号化した後、物体検出
装置4000において異常物体を検出し、画像データを画像
復号化再生装置6000により復号化して表示装置8000に表
示した。これに対して、本実施例では、図２に示すよう
に、画像変換前の画像データを用いた画像表示が可能な
構成となっている。なお、本実施例の画像監視装置は、
これ以外の点については実施例１の装置とほぼ同様であ
る。そこで、ここでは実施例１との相違点についてのみ
説明し、共通点については説明を省略する。
【００７５】本実施例では画像監視装置を、図２に示す
ように、画像監視装置を処理装置本体10a及び復号化再
生・表示装置50a、又は、処理装置本体20a、カメラ1000
及び復号化再生・表示装置50aにより構成する。
ように、画像監視装置を処理装置本体10a及び復号化再
生・表示装置50a、又は、処理装置本体20a、カメラ1000
及び復号化再生・表示装置50aにより構成する。
【００７６】本実施例の処理装置本体10aは、対象シー
ンを撮影するカメラ1000と、該カメラ1000から入力した
画像を複数のブロックに分割し、ブロックごとにデータ
の直交変換を施す画像変換装置3000と、異常物体を検出
する物体検出装置5000とを備える。また、復号化再生・
表示装置50aは、画像を表示する表示装置8000と、カメ
ラ1000の映像を表示装置8000に表示する画像再生装置70
00とを備える。カメラ1000、画像再生装置7000及び表示
装置8000には、従来の標準的な装置を用いることができ
る。また、カメラ1000と画像変換装置3000とが一体にな
ったチップを用いてもよい。
ンを撮影するカメラ1000と、該カメラ1000から入力した
画像を複数のブロックに分割し、ブロックごとにデータ
の直交変換を施す画像変換装置3000と、異常物体を検出
する物体検出装置5000とを備える。また、復号化再生・
表示装置50aは、画像を表示する表示装置8000と、カメ
ラ1000の映像を表示装置8000に表示する画像再生装置70
00とを備える。カメラ1000、画像再生装置7000及び表示
装置8000には、従来の標準的な装置を用いることができ
る。また、カメラ1000と画像変換装置3000とが一体にな
ったチップを用いてもよい。
【００７７】本実施例の画像変換装置3000は、図８に示
すように、ブロック領域生成部3400と、ＤＣＴデータ計
算部3500とを備える。ブロック領域生成部3400は、カメ
ラ1000で撮影した画像から、ブロック単位の直交変換を
行うため、例えば、8画素×8ラインのブロック単位に分
割して複数ブロックを生成する。ＤＣＴデータ計算部35
00は、8画素×8ラインのブロック単位に分割した情報か
ら輝度データの直交変換を行い、周波数成分を取得す
る。
すように、ブロック領域生成部3400と、ＤＣＴデータ計
算部3500とを備える。ブロック領域生成部3400は、カメ
ラ1000で撮影した画像から、ブロック単位の直交変換を
行うため、例えば、8画素×8ラインのブロック単位に分
割して複数ブロックを生成する。ＤＣＴデータ計算部35
00は、8画素×8ラインのブロック単位に分割した情報か
ら輝度データの直交変換を行い、周波数成分を取得す
る。
【００７８】なお、周波数成分を取得する直交変換は、
本実施例では、前述の（数１）に示す離散コサイン変換
（ＤＣＴ）としたが、直交ウェーブレット変換やK−L変
換等、低周波領域への集中度が優れている直交変換でも
よい。なお、ブロック領域生成部3400による分割は、8
画素×8ラインのほか16画素×16ライン等の分割でもよ
い。
本実施例では、前述の（数１）に示す離散コサイン変換
（ＤＣＴ）としたが、直交ウェーブレット変換やK−L変
換等、低周波領域への集中度が優れている直交変換でも
よい。なお、ブロック領域生成部3400による分割は、8
画素×8ラインのほか16画素×16ライン等の分割でもよ
い。
【００７９】本実施例のＤＣＴデータ計算部3500は、図
１０に示すように、ＤＣＴデータ抽出部3510と、ＡＣ成
分縦横エッジ比算出部4230と、算出データ格納メモリ42
50とを備える。本実施例のＤＣＴデータ抽出部3510は、
周波数成分を取得する直交変換、例えば、分割したブロ
ックごとの輝度データに式（数１）に示す離散コサイン
変換（ＤＣＴ）を行ってＤＣＴ係数を得る。これを用い
てＡＣ成分縦横エッジ比算出部4230がＡＣ成分の縦横エ
ッジ比を算出し、結果を算出データ格納メモリ4250へ格
納するのは、実施例１と同様である。
１０に示すように、ＤＣＴデータ抽出部3510と、ＡＣ成
分縦横エッジ比算出部4230と、算出データ格納メモリ42
50とを備える。本実施例のＤＣＴデータ抽出部3510は、
周波数成分を取得する直交変換、例えば、分割したブロ
ックごとの輝度データに式（数１）に示す離散コサイン
変換（ＤＣＴ）を行ってＤＣＴ係数を得る。これを用い
てＡＣ成分縦横エッジ比算出部4230がＡＣ成分の縦横エ
ッジ比を算出し、結果を算出データ格納メモリ4250へ格
納するのは、実施例１と同様である。
【００８０】なお、実施例１の場合と同様、本実施例に
おいても、ＤＣＴデータ計算部3500に、さらにＤＣ成分
算出部4270を設け、物体候補抽出部4700が異常物体候補
を抽出する際に、このＤＣ成分算出部4270が算出し、算
出データ格納メモリ4260へ格納したＤＣ成分値を用いる
ようにしてもよい。この場合ＤＣＴデータ計算部3500の
構成を、図１１に示す。
おいても、ＤＣＴデータ計算部3500に、さらにＤＣ成分
算出部4270を設け、物体候補抽出部4700が異常物体候補
を抽出する際に、このＤＣ成分算出部4270が算出し、算
出データ格納メモリ4260へ格納したＤＣ成分値を用いる
ようにしてもよい。この場合ＤＣＴデータ計算部3500の
構成を、図１１に示す。
【００８１】続いて、ＤＣＴデータ計算部3500により取
得された画像の周波数成分を用いて、物体検出装置5000
が異常物体を検出する。本実施例の物体検出装置5000
も、実施例１の物体検出装置4000と同様、情報処理装置
であり、図９に示すように物体候補抽出部4700及び物体
判定部4800を備える。これら各部4700，4800の構成及び
機能は、実施例１のものと同様である。
得された画像の周波数成分を用いて、物体検出装置5000
が異常物体を検出する。本実施例の物体検出装置5000
も、実施例１の物体検出装置4000と同様、情報処理装置
であり、図９に示すように物体候補抽出部4700及び物体
判定部4800を備える。これら各部4700，4800の構成及び
機能は、実施例１のものと同様である。
【００８２】この異常物体検出装置5000による検出結果
は、画像再生装置7000により表示装置8000に表示され
る。本実施例の画像再生装置7000は、実施例１の画像復
号化再生装置6000とほぼ同様の構成を備えるが、図２１
に示すように、画像復号化部6010が設けられていない。
このため、本実施例の画像表示部7020は、カメラ1000で
入力した映像信号を表示画面合成部6050へ出力し、表示
画面合成部はこの映像信号に検知情報表示部6040や検知
情報表示部6030の表示データを貼り付けたり合成したり
して、表示装置8000に監視員が異常物体情報を一目瞭然
に目視で判別できるように表示データを生成して表示す
る。
は、画像再生装置7000により表示装置8000に表示され
る。本実施例の画像再生装置7000は、実施例１の画像復
号化再生装置6000とほぼ同様の構成を備えるが、図２１
に示すように、画像復号化部6010が設けられていない。
このため、本実施例の画像表示部7020は、カメラ1000で
入力した映像信号を表示画面合成部6050へ出力し、表示
画面合成部はこの映像信号に検知情報表示部6040や検知
情報表示部6030の表示データを貼り付けたり合成したり
して、表示装置8000に監視員が異常物体情報を一目瞭然
に目視で判別できるように表示データを生成して表示す
る。
【００８３】＜実施例３＞本実施例では、異常物体を自
動的に追尾するように、画像監視装置を構成する。本実
施例の画像監視装置は、図２２に示すように、処理装置
本体30、及び、実施例１と同様の再生・表示装置50を備
える。本実施例の処理装置本体30は、撮影装置1010と、
画像符号化装置2000と、物体追尾機能を有する物体検出
装置9000とを備える。本実施例においても、他の実施例
と同様、処理装置本体に撮影装置を含めず、処理装置本
体40、撮影装置1100及び再生・表示装置50により画像監
視装置を構成してもよい。
動的に追尾するように、画像監視装置を構成する。本実
施例の画像監視装置は、図２２に示すように、処理装置
本体30、及び、実施例１と同様の再生・表示装置50を備
える。本実施例の処理装置本体30は、撮影装置1010と、
画像符号化装置2000と、物体追尾機能を有する物体検出
装置9000とを備える。本実施例においても、他の実施例
と同様、処理装置本体に撮影装置を含めず、処理装置本
体40、撮影装置1100及び再生・表示装置50により画像監
視装置を構成してもよい。
【００８４】本実施例の画像監視装置は、撮影のための
機構として、カメラ1000に加えてその光軸方向を変更す
るための駆動機構を有する点と、物体検出装置9000が物
体追尾機能を有する点とを除けば、実施例１の画像監視
装置とほぼ同様の構成を有する。そこで、ここでは実施
例１の装置との相違点についてのみ説明し、共通点につ
いては説明を省略する。
機構として、カメラ1000に加えてその光軸方向を変更す
るための駆動機構を有する点と、物体検出装置9000が物
体追尾機能を有する点とを除けば、実施例１の画像監視
装置とほぼ同様の構成を有する。そこで、ここでは実施
例１の装置との相違点についてのみ説明し、共通点につ
いては説明を省略する。
【００８５】本実施例の撮影装置1010は、カメラ1000
と、該カメラを取り付けられた雲台1010とを有する。雲
台1010は、上に取り付けられたカメラ1000のレンズの光
軸方向の角度を変更するための角度変更機構を有する。
なお、撮影装置1010としては、駆動可能な雲台を有する
従来のカメラを用いることができる。
と、該カメラを取り付けられた雲台1010とを有する。雲
台1010は、上に取り付けられたカメラ1000のレンズの光
軸方向の角度を変更するための角度変更機構を有する。
なお、撮影装置1010としては、駆動可能な雲台を有する
従来のカメラを用いることができる。
【００８６】また、本実施例の物体検出装置9000は、図
２３に示すように、追尾機能付き物体検知部9100と、カ
メラ制御部9700とを有する。カメラ制御部9700は、撮影
装置1100の雲台1010に通信回線を介して接続されてお
り、該雲台1010の駆動機構及びカメラ1000の動作を制御
するための制御信号を出力する。追尾機能付き物体検知
部9100は、図２４に示すように、実施例１の物体検出装
置4000と同様の構成に加えて、さらに追尾データ算出部
9130を有し、物体判定部4800が検出した異常物体の水平
方向移動量及び／又は垂直方向移動量等の追尾用データ
を算出し、カメラ制御部9700へ通知する。これを受けた
カメラ制御部9700は、入力された追尾用データを撮影装
置1100用の制御信号に変換し、雲台1010へ出力する。こ
れにより、本実施例では、検出された異常物体を追尾し
たシーンを撮影装置1100が撮影することができる。
２３に示すように、追尾機能付き物体検知部9100と、カ
メラ制御部9700とを有する。カメラ制御部9700は、撮影
装置1100の雲台1010に通信回線を介して接続されてお
り、該雲台1010の駆動機構及びカメラ1000の動作を制御
するための制御信号を出力する。追尾機能付き物体検知
部9100は、図２４に示すように、実施例１の物体検出装
置4000と同様の構成に加えて、さらに追尾データ算出部
9130を有し、物体判定部4800が検出した異常物体の水平
方向移動量及び／又は垂直方向移動量等の追尾用データ
を算出し、カメラ制御部9700へ通知する。これを受けた
カメラ制御部9700は、入力された追尾用データを撮影装
置1100用の制御信号に変換し、雲台1010へ出力する。こ
れにより、本実施例では、検出された異常物体を追尾し
たシーンを撮影装置1100が撮影することができる。
【００８７】追尾データ算出部9130の具体的処理手順
を、図２５を用いて説明する。まず、追尾データ算出部
9130は、異常物体の有無をチェックする（ステップ913
1）。物体判定部が異常物体ありとした場合、追尾デー
タ算出部9130は、移動ベクトルの方向・大きさとして、
前フレームにおける検知物体の中心や重心位置等から現
フレームにおける検知物体の中心や重心位置等までの水
平方向移動量及び／又は垂直方向移動量等を算出し（ス
テップ9132）、カメラ制御部9700を介して、雲台1010へ
算出した水平方向移動量及び／又は垂直方向移動量等に
対応したカメラのパン及び／又はチルト等の制御データ
を出力する（ステップ9133）。一方、ステップ9131にお
いて物体がないと判定した場合、追尾データ算出部9130
は、カメラ制御部9700を介して、雲台1010へ制御情報が
ないことを意味する制御データを出力する（ステップ91
34）。
を、図２５を用いて説明する。まず、追尾データ算出部
9130は、異常物体の有無をチェックする（ステップ913
1）。物体判定部が異常物体ありとした場合、追尾デー
タ算出部9130は、移動ベクトルの方向・大きさとして、
前フレームにおける検知物体の中心や重心位置等から現
フレームにおける検知物体の中心や重心位置等までの水
平方向移動量及び／又は垂直方向移動量等を算出し（ス
テップ9132）、カメラ制御部9700を介して、雲台1010へ
算出した水平方向移動量及び／又は垂直方向移動量等に
対応したカメラのパン及び／又はチルト等の制御データ
を出力する（ステップ9133）。一方、ステップ9131にお
いて物体がないと判定した場合、追尾データ算出部9130
は、カメラ制御部9700を介して、雲台1010へ制御情報が
ないことを意味する制御データを出力する（ステップ91
34）。
【００８８】なお、物体が複数存在した場合、カメラ10
00が複数台ならば、１つの物体に1台のカメラを対応さ
せることができる。また、カメラ1000が１台の場合に
は、あらかじめ定められた優先順位に従って、追尾する
物体を決定するようにしてもよい。
00が複数台ならば、１つの物体に1台のカメラを対応さ
せることができる。また、カメラ1000が１台の場合に
は、あらかじめ定められた優先順位に従って、追尾する
物体を決定するようにしてもよい。
【００８９】＜実施例４＞本実施例の画像監視装置は、
異常物体（移動物体）を検出すると、該物体に対応した
付加情報を作成し、異常物体の画像とともに表示装置に
表示する。また、本実施例の画像監視装置には、異常発
生現場での対策員との間で通信を行うための通信機能が
設けられている。
異常物体（移動物体）を検出すると、該物体に対応した
付加情報を作成し、異常物体の画像とともに表示装置に
表示する。また、本実施例の画像監視装置には、異常発
生現場での対策員との間で通信を行うための通信機能が
設けられている。
【００９０】本実施例の画像監視装置は、図２６に示す
ように、カメラ1000、画像符号化装置2000及び付加デー
タ作成機能付き物体検出装置10000を有する処理装置本
体60と、画像復号化再生装置6000及び表示装置8000に加
えてさらに付加データ再生装置9500を有する再生・表示
装置80と、入力装置11000と、通信装置12000とを備え
る。本実施例においても、他の実施例と同様、処理装置
本体にカメラを含めず、処理装置本体70、カメラ1000、
再生・表示装置50、入力装置11000、及び、通信装置120
00により画像監視装置を構成してもよい。
ように、カメラ1000、画像符号化装置2000及び付加デー
タ作成機能付き物体検出装置10000を有する処理装置本
体60と、画像復号化再生装置6000及び表示装置8000に加
えてさらに付加データ再生装置9500を有する再生・表示
装置80と、入力装置11000と、通信装置12000とを備え
る。本実施例においても、他の実施例と同様、処理装置
本体にカメラを含めず、処理装置本体70、カメラ1000、
再生・表示装置50、入力装置11000、及び、通信装置120
00により画像監視装置を構成してもよい。
【００９１】本実施例の画像監視装置は、検出した異常
物体に関する付加データを表示するため、物体検出装置
10000に付加データ作成部10010を有し、これによって作
成された付加データを表示するための付加データ再生装
置9500が再生・表示装置80に設けられている。また、異
常発生現場との通信のための機構として、入力装置1100
0、通信装置12000を備え、物体検出装置10000に通信制
御部10020が設けられている。これらの点を除けば、本
実施例の画像監視装置は実施例１の装置とほぼ同様の構
成を有する。そこで、ここでは実施例１の装置との相違
点についてのみ説明し、共通点については説明を省略す
る。
物体に関する付加データを表示するため、物体検出装置
10000に付加データ作成部10010を有し、これによって作
成された付加データを表示するための付加データ再生装
置9500が再生・表示装置80に設けられている。また、異
常発生現場との通信のための機構として、入力装置1100
0、通信装置12000を備え、物体検出装置10000に通信制
御部10020が設けられている。これらの点を除けば、本
実施例の画像監視装置は実施例１の装置とほぼ同様の構
成を有する。そこで、ここでは実施例１の装置との相違
点についてのみ説明し、共通点については説明を省略す
る。
【００９２】本実施例の物体検出装置10000は、実施例
１の物体検出装置4000と同様の構成に加えて、図２６に
示すように付加データ作成部10010及び通信制御部10020
を有する。また、本実施例の付加データ再生装置9500
は、図２７に示すように、表示データ選択部9510と、付
加情報格納部9520とを有する。なお、本実施例では、付
加データ再生装置9500は再生・表示装置80に設けられて
いるが、処理装置本体60に設けてもよく、物体検出装置
10000に設けてもよい。また、通信制御部10020は物体検
出装置10000に設けられているが、通信装置12000など、
他の装置に設けてもよい。
１の物体検出装置4000と同様の構成に加えて、図２６に
示すように付加データ作成部10010及び通信制御部10020
を有する。また、本実施例の付加データ再生装置9500
は、図２７に示すように、表示データ選択部9510と、付
加情報格納部9520とを有する。なお、本実施例では、付
加データ再生装置9500は再生・表示装置80に設けられて
いるが、処理装置本体60に設けてもよく、物体検出装置
10000に設けてもよい。また、通信制御部10020は物体検
出装置10000に設けられているが、通信装置12000など、
他の装置に設けてもよい。
【００９３】付加データ作成部10010は、物体判定部480
0が検出した異常物体について、該物体のニックネー
ム、撮影シーン名称、異常物体検出時刻、物体のシーン
内での位置、物体面積、物体の特徴（縦長、横長、暗い
物体、明るい物体等）、アイコン等の付加データを作成
し、付加データ再生装置9500の付加情報格納部9520へ格
納する。表示データ選択部9510は、表示装置8000に表示
する表示対象シーンに対して、付加情報格納部9520に保
持している付加情報のうち、表示するものを選択して、
画像符号化再生装置6000に送り、表示装置8000の表示画
面に表示させる。
0が検出した異常物体について、該物体のニックネー
ム、撮影シーン名称、異常物体検出時刻、物体のシーン
内での位置、物体面積、物体の特徴（縦長、横長、暗い
物体、明るい物体等）、アイコン等の付加データを作成
し、付加データ再生装置9500の付加情報格納部9520へ格
納する。表示データ選択部9510は、表示装置8000に表示
する表示対象シーンに対して、付加情報格納部9520に保
持している付加情報のうち、表示するものを選択して、
画像符号化再生装置6000に送り、表示装置8000の表示画
面に表示させる。
【００９４】本実施例における表示装置8000の表示画面
例を図２８に示す。本実施例の画像監視装置は、異常物
体（移動物体）が検知された場合、該異常物体が撮影さ
れているシーン8001に加えて、異常物体の前フレームと
の動きを示すベクトル8002と、付加データ再生装置9500
が作成した該検知シーンの付加データ8004とを表示画面
8100に表示する。これによって、本装置のユーザである
監視員は、異常シーンの付帯情報を一目瞭然で認識する
ことができる。
例を図２８に示す。本実施例の画像監視装置は、異常物
体（移動物体）が検知された場合、該異常物体が撮影さ
れているシーン8001に加えて、異常物体の前フレームと
の動きを示すベクトル8002と、付加データ再生装置9500
が作成した該検知シーンの付加データ8004とを表示画面
8100に表示する。これによって、本装置のユーザである
監視員は、異常シーンの付帯情報を一目瞭然で認識する
ことができる。
【００９５】さらに、本実施例の画像監視装置では、発
生現場の対策員との双方向通信が可能となるインターフ
ェースが提供される。すなわち、本実施例における表示
画像には、対策通知を支持するための選択領域（ボタ
ン）8005が設けられている。入力装置11000を介してこ
の領域8005が選択（クリック）されると、通信制御部10
020は、あらかじめ登録されている通信先から、当該表
示されている異常物体に最も近い通信先を選択し、通信
装置12000を介して、該通信先との通信回線（携帯電話
回線など）を開く。これによって、本画像監視装置のユ
ーザである監視員は、異常発生現場の対策員との間で双
方向通信を行うことができる。
生現場の対策員との双方向通信が可能となるインターフ
ェースが提供される。すなわち、本実施例における表示
画像には、対策通知を支持するための選択領域（ボタ
ン）8005が設けられている。入力装置11000を介してこ
の領域8005が選択（クリック）されると、通信制御部10
020は、あらかじめ登録されている通信先から、当該表
示されている異常物体に最も近い通信先を選択し、通信
装置12000を介して、該通信先との通信回線（携帯電話
回線など）を開く。これによって、本画像監視装置のユ
ーザである監視員は、異常発生現場の対策員との間で双
方向通信を行うことができる。
【００９６】
【発明の効果】本発明によれば、圧縮符号化したままの
画像データの周波数成分の縦横エッジ比を利用し、前フ
レームと現フレームとの該エッジ比の変化率を用いて異
常物体候補の有無判定を行う。従って、周波数成分の縦
横エッジ比を利用して２フレーム間で比較するので、処
理時間とメモリが大幅に短縮できる効果があるととも
に、エッジ比を用いることにより照度変動に影響されな
いという効果がある。また、画像の圧縮符号化データの
まま処理するので、画像処理時間が短縮でき、更に、画
像伝送も時間短縮ができるという2重の効果がある。ま
た、異常物体判定に、相関処理を用いるので、益々、異
常判定の高精度化が図れるという効果がある。一方、雲
台付きカメラを用いた場合、物体追跡を行うので、少な
いカメラで広範囲を撮影でき、安価なシステム構成を構
築できる効果もある。
画像データの周波数成分の縦横エッジ比を利用し、前フ
レームと現フレームとの該エッジ比の変化率を用いて異
常物体候補の有無判定を行う。従って、周波数成分の縦
横エッジ比を利用して２フレーム間で比較するので、処
理時間とメモリが大幅に短縮できる効果があるととも
に、エッジ比を用いることにより照度変動に影響されな
いという効果がある。また、画像の圧縮符号化データの
まま処理するので、画像処理時間が短縮でき、更に、画
像伝送も時間短縮ができるという2重の効果がある。ま
た、異常物体判定に、相関処理を用いるので、益々、異
常判定の高精度化が図れるという効果がある。一方、雲
台付きカメラを用いた場合、物体追跡を行うので、少な
いカメラで広範囲を撮影でき、安価なシステム構成を構
築できる効果もある。
【図１】 実施例１の画像監視装置を示す機能ブロック
図である。
図である。
【図２】 実施例２の画像監視装置を示す機能ブロック
図である。
図である。
【図３】 実施例１の画像監視装置の他の例を示す機能
ブロック図である。
ブロック図である。
【図４】 実施例１の画像符号化装置を示す機能ブロッ
ク図である。
ク図である。
【図５】 実施例１の物体検出装置を示す機能ブロック
図である。
図である。
【図６】 実施例１のブロックデータ算出部を示す機能
ブロック図である。
ブロック図である。
【図７】 実施例１のブロックデータ算出部の他の例を
示す機能ブロック図である。
示す機能ブロック図である。
【図８】 実施例２の画像変換装置を示す機能ブロック
図である。
図である。
【図９】 実施例２の物体検出装置を示す機能ブロック
図である。
図である。
【図１０】 実施例２のＤＣＴデータ計算部を示す機能
ブロック図である。
ブロック図である。
【図１１】 実施例２のＤＣＴデータ計算部の他の例を
示す機能ブロック図である。
示す機能ブロック図である。
【図１２】 実施例１における符号化データの構成を示
す説明図である。
す説明図である。
【図１３】 実施例１のＡＣ成分縦横エッジ比算出部の
処理手順を示す流れ図である。
処理手順を示す流れ図である。
【図１４】 実施例１の物体候補抽出部の処理手順を示
す流れ図である。
す流れ図である。
【図１５】 実施例１においてステップ変化有りとして
抽出したブロックを示す説明図である。
抽出したブロックを示す説明図である。
【図１６】 実施例１においてＤＣ成分値を用いる場合
の、ＡＣ成分縦横エッジ比算出部及びＤＣ成分算出部に
おける処理手順を示す流れ図である。
の、ＡＣ成分縦横エッジ比算出部及びＤＣ成分算出部に
おける処理手順を示す流れ図である。
【図１７】 実施例１においてＤＣ成分値を用いる場合
の、物体候補抽出部における処理手順を示す流れ図であ
る。
の、物体候補抽出部における処理手順を示す流れ図であ
る。
【図１８】 実施例１における物体判定部の処理手順を
示す流れ図である。
示す流れ図である。
【図１９】 実施例１における候補物体の追跡処理を示
す説明図である。
す説明図である。
【図２０】 実施例１の画像復号化再生装置を示す機能
ブロック図である。
ブロック図である。
【図２１】 実施例２の画像再生装置を示す機能ブロッ
ク図である。
ク図である。
【図２２】 実施例３の画像監視装置を示す機能ブロッ
ク図である。
ク図である。
【図２３】 実施例３の物体追尾機能付き物体検出装置
を示す機能ブロック図である。
を示す機能ブロック図である。
【図２４】 実施例３の追尾機能付き物体検知部を示す
機能ブロック図である。
機能ブロック図である。
【図２５】 実施例３における追尾データ算出部の処理
手順を示す流れ図である。
手順を示す流れ図である。
【図２６】 実施例４の画像監視装置を示す機能ブロッ
ク図である。
ク図である。
【図２７】 実施例４の付加データ再生装置を示す機能
ブロック図である。
ブロック図である。
【図２８】 実施例４における表示装置の表示画面例を
示す説明図である。
示す説明図である。
1000…カメラ、1010…雲台、1100…撮影装置、2000…画
像符号化装置、3000…画像変換装置、4000 …物体検出
装置、6000…画像復号化再生装置、6000…録画再生装
置、7000 …画像再生装置、8000 …表示装置、9000 …
物体追尾機能付き物体検出装置、10000 …付加データ作
成機能付き異常物体検出装置。
像符号化装置、3000…画像変換装置、4000 …物体検出
装置、6000…画像復号化再生装置、6000…録画再生装
置、7000 …画像再生装置、8000 …表示装置、9000 …
物体追尾機能付き物体検出装置、10000 …付加データ作
成機能付き異常物体検出装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大田和 久雄 茨城県ひたちなか市大字稲田1410番地 株 式会社日立製作所デジタルメディア製品事 業部内 (72)発明者 正嶋 博 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 Ｆターム(参考） 5B057 AA19 BA02 CA12 CA16 CG09 DA06 DB02 DC16 DC36 5C054 CG06 DA09 EF06 EG06 EG07 FC13 FC14 FE13 HA19 HA31 5L096 BA02 FA06 GA19 HA03
Claims (10)
- 【請求項１】撮影装置から入力される画像をブロックに
分割する手段と、 上記ブロックごとに、処理対象フレームの画像データ
と、直前のフレームの画像データとを比較して、エッジ
の有無及び縦横エッジ比変化率に応じて異常物体候補を
抽出する物体候補抽出部と、 上記異常物体候補が異常物体であるか否か判定する物体
判定部とを備え、 上記物体判定部は、 上記異常物体候補の移動が所定時間追跡できた場合は異
常物体とすることを特徴とする画像監視装置。 - 【請求項２】上記物体候補抽出部は、 上記ブロックデータの直交変換を行って取得した周波数
成分の経時変化を基に上記異常物体候補を抽出すること
を特徴とする画像監視装置。 - 【請求項３】上記直交変換は、離散コサイン変換及び／
又は直交ウェーブレット変換であることを特徴とする請
求項２記載の画像監視装置。 - 【請求項４】上記物体判定部により検出された異常物体
を追尾するための追尾データ算出部と、 上記追尾データに基づき、上記撮影装置の光軸の角度を
変化させるための撮影装置用制御信号を作成して出力す
る撮影装置制御部とを、さらに有することを特徴とする
請求項１又は２記載の画像監視装置。 - 【請求項５】上記追尾データは、 上記異常物体の、水平方向及び垂直方向のうち少なくと
もいずれかの移動量を少なくとも含むことを特徴とする
請求項４記載の画像監視装置。 - 【請求項６】上記撮影装置用制御信号は、上記異常物体
の上記移動量から換算した上記撮影装置の光軸角度の変
化量に応じた制御信号を含むことを特徴とする請求項５
記載の画像監視装置。 - 【請求項７】検出された上記異常物体に関する表示用情
報を作成する付加データ作成部を、さらに有することを
特徴とする請求項１，２及び４のいずれかに記載の画像
監視装置。 - 【請求項８】入力装置及び通信装置と、 上記入力装置を介して入力された指示に応じて、上記通
信装置を介してあらかじめ定められた通信先のうちの少
なくとも一つに対して通信を行う通信制御部とを、さら
に備えることを特徴とする請求項１，２，４及び５のい
ずれかに記載の画像監視装置。 - 【請求項９】撮影装置から入力される画像をブロックに
分割するステップと、 上記ブロックごとに、処理対象フレームの画像データ
と、直前のフレームの画像データとを比較して、エッジ
の有無及び縦横エッジ比変化率に応じて異常物体候補を
抽出する物体候補抽出ステップと、 上記異常物体候補が異常物体であるか否か判定する物体
判定ステップとを備え、 上記物体判定ステップは、 上記異常物体候補の移動が所定時間追跡できた場合は異
常物体とするステップを含むことを特徴とする画像監視
方法。 - 【請求項１０】請求項９記載の画像監視方法を実現する
ためのコンピュータプログラムを保持することを特徴と
するコンピュータ読み取り可能な記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001059177A JP3926572B2 (ja) | 2001-03-02 | 2001-03-02 | 画像監視方法、画像監視装置及び記憶媒体 |
| US10/079,501 US6961447B2 (en) | 2001-03-02 | 2002-02-22 | Image monitoring method, image monitoring apparatus and storage media |
| US11/229,687 US20060013441A1 (en) | 2001-03-02 | 2005-09-20 | Image monitoring method, image monitoring apparatus and storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001059177A JP3926572B2 (ja) | 2001-03-02 | 2001-03-02 | 画像監視方法、画像監視装置及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002259985A true JP2002259985A (ja) | 2002-09-13 |
| JP3926572B2 JP3926572B2 (ja) | 2007-06-06 |
Family
ID=18918778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001059177A Expired - Lifetime JP3926572B2 (ja) | 2001-03-02 | 2001-03-02 | 画像監視方法、画像監視装置及び記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6961447B2 (ja) |
| JP (1) | JP3926572B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004241945A (ja) * | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視装置、画像監視方法、画像監視プログラム及びそのプログラムを記録した記録媒体 |
| JP2006350618A (ja) * | 2005-06-15 | 2006-12-28 | Kddi Corp | 動画像処理装置 |
| JP2011210179A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 移動物体検出装置及び方法、並びにプログラム |
| WO2012042705A1 (ja) * | 2010-09-27 | 2012-04-05 | パナソニック株式会社 | 動体検出方法及び動体検出装置 |
| US8203614B2 (en) | 2007-03-28 | 2012-06-19 | Fujitsu Limited | Image processing apparatus, image processing method, and image processing program to detect motion on images |
| JP2018019250A (ja) * | 2016-07-28 | 2018-02-01 | カルソニックカンセイ株式会社 | 車両用周辺監視装置および車両用周辺監視方法 |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3758034B2 (ja) * | 2001-10-30 | 2006-03-22 | 株式会社デンソー | 車両用乗員保護装置 |
| JP2003315450A (ja) * | 2002-04-24 | 2003-11-06 | Hitachi Ltd | ミリ波レーダ用監視システム |
| US20040086152A1 (en) * | 2002-10-30 | 2004-05-06 | Ramakrishna Kakarala | Event detection for video surveillance systems using transform coefficients of compressed images |
| DE10261501A1 (de) * | 2002-12-23 | 2004-07-15 | Mobotix Ag | Verfahren zur Datenreduktion |
| US7356166B2 (en) * | 2003-10-24 | 2008-04-08 | Goldbond Llc | Method and computer-readable medium for detecting motion and filtering noise |
| JP2006059252A (ja) * | 2004-08-23 | 2006-03-02 | Denso Corp | 動き検出方法及び装置，プログラム，車両用監視システム |
| US8253796B2 (en) * | 2004-09-30 | 2012-08-28 | Smartvue Corp. | Wireless video surveillance system and method with rapid installation |
| US8457314B2 (en) | 2004-09-23 | 2013-06-04 | Smartvue Corporation | Wireless video surveillance system and method for self-configuring network |
| US7728871B2 (en) | 2004-09-30 | 2010-06-01 | Smartvue Corporation | Wireless video surveillance system & method with input capture and data transmission prioritization and adjustment |
| US20060095539A1 (en) | 2004-10-29 | 2006-05-04 | Martin Renkis | Wireless video surveillance system and method for mesh networking |
| US8842179B2 (en) | 2004-09-24 | 2014-09-23 | Smartvue Corporation | Video surveillance sharing system and method |
| US20060291697A1 (en) * | 2005-06-21 | 2006-12-28 | Trw Automotive U.S. Llc | Method and apparatus for detecting the presence of an occupant within a vehicle |
| TWI264709B (en) * | 2005-11-01 | 2006-10-21 | Lite On It Corp | DVD recorder with monitoring function |
| US7805008B2 (en) * | 2005-11-14 | 2010-09-28 | Intel Corporation | Structural content filtration of hypotheses in a cognitive control framework |
| US20070115355A1 (en) * | 2005-11-18 | 2007-05-24 | Mccormack Kenneth | Methods and apparatus for operating a pan tilt zoom camera |
| US20070237403A1 (en) * | 2006-04-10 | 2007-10-11 | Honeywell International Inc. | Enhanced image compression using scene prediction |
| EP2100453B1 (en) * | 2006-12-18 | 2013-07-03 | FUJIFILM Corporation | Monitoring system, monitoring method and program |
| GB2450478A (en) * | 2007-06-20 | 2008-12-31 | Sony Uk Ltd | A security device and system |
| TWI357582B (en) * | 2008-04-18 | 2012-02-01 | Univ Nat Taiwan | Image tracking system and method thereof |
| US8095595B2 (en) * | 2008-04-30 | 2012-01-10 | Cisco Technology, Inc. | Summarization of immersive collaboration environment |
| AU2008264228B2 (en) * | 2008-11-24 | 2010-11-25 | Canon Kabushiki Kaisha | Detection of abandoned and vanished objects |
| US9595108B2 (en) | 2009-08-04 | 2017-03-14 | Eyecue Vision Technologies Ltd. | System and method for object extraction |
| KR20120089452A (ko) | 2009-08-04 | 2012-08-10 | 아이큐 비젼 테크놀로지즈 리미티드 | 물체 추출 시스템 및 방법 |
| AU2014280948A1 (en) | 2014-12-24 | 2016-07-14 | Canon Kabushiki Kaisha | Video segmentation method |
| JP7414551B2 (ja) * | 2020-01-24 | 2024-01-16 | キヤノン株式会社 | 制御装置および制御方法 |
| CN112887587B (zh) * | 2021-01-08 | 2023-04-07 | 浙江工贸职业技术学院 | 一种可进行无线连接的自适应图像数据快速传输方法 |
| CN113239970A (zh) * | 2021-04-16 | 2021-08-10 | 首钢集团有限公司 | 一种模型训练方法、设备振动异常检测方法和装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2183878B (en) * | 1985-10-11 | 1989-09-20 | Matsushita Electric Works Ltd | Abnormality supervising system |
| US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
| JPH0850649A (ja) | 1994-08-04 | 1996-02-20 | Meidensha Corp | 監視システム |
| US6020926A (en) * | 1994-12-30 | 2000-02-01 | Intel Corporation | Motion estimation block matching speedup |
| US6028626A (en) * | 1995-01-03 | 2000-02-22 | Arc Incorporated | Abnormality detection and surveillance system |
| US5790686A (en) * | 1995-09-19 | 1998-08-04 | University Of Maryland At College Park | DCT-based motion estimation method |
| JP3257948B2 (ja) * | 1996-04-30 | 2002-02-18 | 松下電器産業株式会社 | 画像抽出装置 |
| CN1178467C (zh) * | 1998-04-16 | 2004-12-01 | 三星电子株式会社 | 自动跟踪运动目标的方法和装置 |
| JP3410662B2 (ja) | 1998-07-06 | 2003-05-26 | 株式会社メガチップス | 監視装置 |
| JP3729660B2 (ja) * | 1998-09-04 | 2005-12-21 | 松下電器産業株式会社 | ネットワークカメラ監視システム |
| US6104831A (en) * | 1998-12-10 | 2000-08-15 | Esco Electronics Corporation | Method for rejection of flickering lights in an imaging system |
| US6674905B1 (en) * | 1999-01-22 | 2004-01-06 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and storage medium |
| SE522856C2 (sv) * | 1999-01-29 | 2004-03-09 | Axis Ab | En datalagrings- och reduceringsmetod för digitala bilder, samt ett övervakningssystem som använder nämnda metod |
| US6757008B1 (en) * | 1999-09-29 | 2004-06-29 | Spectrum San Diego, Inc. | Video surveillance system |
| US6678413B1 (en) * | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
| US6690414B2 (en) * | 2000-12-12 | 2004-02-10 | Koninklijke Philips Electronics N.V. | Method and apparatus to reduce false alarms in exit/entrance situations for residential security monitoring |
-
2001
- 2001-03-02 JP JP2001059177A patent/JP3926572B2/ja not_active Expired - Lifetime
-
2002
- 2002-02-22 US US10/079,501 patent/US6961447B2/en not_active Expired - Fee Related
-
2005
- 2005-09-20 US US11/229,687 patent/US20060013441A1/en not_active Abandoned
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004241945A (ja) * | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視装置、画像監視方法、画像監視プログラム及びそのプログラムを記録した記録媒体 |
| JP2006350618A (ja) * | 2005-06-15 | 2006-12-28 | Kddi Corp | 動画像処理装置 |
| JP4688147B2 (ja) * | 2005-06-15 | 2011-05-25 | Ｋｄｄｉ株式会社 | 動画像処理装置 |
| US8203614B2 (en) | 2007-03-28 | 2012-06-19 | Fujitsu Limited | Image processing apparatus, image processing method, and image processing program to detect motion on images |
| JP2011210179A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 移動物体検出装置及び方法、並びにプログラム |
| WO2012042705A1 (ja) * | 2010-09-27 | 2012-04-05 | パナソニック株式会社 | 動体検出方法及び動体検出装置 |
| JP2018019250A (ja) * | 2016-07-28 | 2018-02-01 | カルソニックカンセイ株式会社 | 車両用周辺監視装置および車両用周辺監視方法 |
| WO2018020936A1 (ja) * | 2016-07-28 | 2018-02-01 | カルソニックカンセイ株式会社 | 車両用周辺監視装置および車両周辺監視方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3926572B2 (ja) | 2007-06-06 |
| US20020154791A1 (en) | 2002-10-24 |
| US20060013441A1 (en) | 2006-01-19 |
| US6961447B2 (en) | 2005-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3926572B2 (ja) | 画像監視方法、画像監視装置及び記憶媒体 | |
| US8044992B2 (en) | Monitor for monitoring a panoramic image | |
| US6928232B2 (en) | Image processing apparatus with automatic image pickup feature | |
| JP3086396B2 (ja) | 画像符号化装置及び画像復号装置 | |
| CN100446568C (zh) | 视频监控设备及方法 | |
| KR20150056381A (ko) | 영상 처리 장치 및 방법 | |
| JP2004023373A (ja) | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JPH0220185A (ja) | 動画像伝送方式 | |
| JP2004266317A (ja) | 監視装置 | |
| US20040258152A1 (en) | System and method for using motion vectors for object tracking | |
| US20060093224A1 (en) | Image capturing apparatus and image distributing system | |
| JP2000295600A (ja) | 監視装置 | |
| KR100719841B1 (ko) | 썸네일 생성 및 표시 방법 | |
| JP2000083239A (ja) | 監視装置 | |
| US20110129012A1 (en) | Video Data Compression | |
| JP2005175970A (ja) | 撮像システム | |
| JP2003061038A (ja) | 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法 | |
| US20200106821A1 (en) | Video processing apparatus, video conference system, and video processing method | |
| WO2019135270A1 (ja) | 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム | |
| KR100420620B1 (ko) | 객체기반 영상 감시시스템 | |
| KR20190109662A (ko) | 보안시스템에서의 사용자 관심영상 검출방법 및 이를 위한 관심영상 검출 시스템 | |
| JP2006080832A (ja) | 画像トランスコーダ | |
| JP2002300607A (ja) | 符号化装置及び復号化装置 | |
| JP2000209569A (ja) | 遠隔監視装置および遠隔監視方法ならびに遠隔監視システム | |
| JP2002077898A (ja) | 移動物体検出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070228 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3926572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |