JP2003087772A

JP2003087772A - 画像制御装置

Info

Publication number: JP2003087772A
Application number: JP2001273189A
Authority: JP
Inventors: Takafumi Enami; 隆文枝並
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-09-10
Filing date: 2001-09-10
Publication date: 2003-03-20
Also published as: US20030076997A1; US6996275B2

Abstract

(57)【要約】【課題】事象検出パラメータの自動設定機構を設け
て、効率のよい事象検出を行い、画像監視制御の品質及
び信頼性の向上を図る。【解決手段】符号化手段１２は、監視カメラ１１から
の画像を符号化する。縮小画像生成手段１３は、画像の
簡易復号化を行って、縮小画像を生成する。特徴量抽出
手段１４は、縮小画像から、画像事象を検出し特徴量を
抽出する。画面表示制御手段１５は、縮小画像の静止画
の一覧を画面上に表示し、検出対象の事象である検出事
象を設定可能とする画面表示制御を行う。検出辞書作成
手段１６は、検出事象の特徴量から分散値を測定して、
分散値の小さい特徴量である検出パラメータを含む検出
辞書を作成する。事象検出制御手段１７は、検出辞書と
特徴量との距離を算出して、検出範囲を決定する。画像
記録手段１８は、距離と画像記録用のしきい値とを比較
し、比較結果にもとづいて、監視画像を記録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像制御装置に関
し、特に画像監視の制御を行う画像制御装置に関する。

【０００２】

【従来の技術】近年、画像監視技術の急速な進歩によ
り、ＭＰＥＧなどの圧縮画像を用いて画像監視を行っ
て、その監視画像を保存したり、ネットワークで画像配
信を行ったりといった技術が実用化されている。また、
記録媒体の大容量化に伴って、比較的長時間の録画デー
タを、リアルタイムに保存することも行われている。

【０００３】ところが、数日〜数十日にわたる長時間の
連続監視を行って、画像を録画したとしても、この場
合、記録画像の中から必要とする画像を検索するには膨
大な時間を要することになる。

【０００４】このため、録画した画像中から必要な部分
を抽出する処理や、必要な部分のみを録画するなどとい
った、使い勝手のよい画像監視技術の開発に対するさら
なる期待が高まっている。

【０００５】このような状況の中で、監視画像の事象の
検出（人物の検出など）を行う技術が開発されている。
例えば、特開平１０−３０２１７１号公報では、ＭＰＥ
Ｇエンコーダに入力される画像に対して、背景差分等の
一般的な画像変化の検出処理を付加して、有意な画像変
化（人物の侵入など）を検出し、検出結果により、ＭＰ
ＥＧストリームの記録／非記録の制御を行っている。こ
れにより、長時間監視に対する、記録媒体容量の削減や
画像検索の効率化を図っている。

【０００６】

【発明が解決しようとする課題】しかし、上記のような
従来技術を含む一般の画像検出制御では、画像監視を行
うオペレータが、対象となる事象を表す数値（パラメー
タ）を、個々の検出したい事象に応じて、逐一個別に設
定していた。したがって、すべて人手による調整となる
ために利便性が悪く、また定量的な設定も難しく、さら
に監視地点を変えた場合には、最初に設定したパラメー
タが最適とはいえなくなるため、画像監視品質を保つこ
とは困難であった。

【０００７】このように、従来の画像監視による事象検
出では、効率のよいパラメータ設定が行われていないた
め、事象検出の精度が落ち、信頼性の低下を引き起こす
といった問題があった。

【０００８】本発明はこのような点に鑑みてなされたも
のであり、事象検出パラメータの自動設定機構を設け
て、効率のよい事象検出を行い、画像監視制御の品質及
び信頼性の向上を図った画像制御装置を提供することを
目的とする。

【０００９】

【課題を解決するための手段】本発明では上記課題を解
決するために、図１に示すような、画像監視の制御を行
う画像制御装置１０において、監視カメラ１１からの画
像を符号化する符号化手段１２と、符号化された画像の
簡易復号化を行って、縮小画像を生成する縮小画像生成
手段１３と、縮小画像から、画像事象を検出し、特徴量
を抽出する特徴量抽出手段１４と、縮小画像の静止画の
一覧を画面上に表示し、静止画をユーザが指定すること
で、検出対象の事象である検出事象を設定可能とする画
面表示制御を行う画面表示制御手段１５と、検出事象の
特徴量から分散値を測定して、分散値の小さい特徴量で
ある検出パラメータを含む検出辞書を作成する検出辞書
作成手段１６と、検出辞書と特徴量との距離を算出し
て、検出範囲を決定する事象検出制御手段１７と、距離
と画像記録用のしきい値とを比較し、比較結果にもとづ
いて、監視画像を記録する画像記録手段１８と、を有す
ることを特徴とする画像制御装置１０が提供される。

【００１０】ここで、符号化手段１２は、監視カメラ１
１からの画像を符号化する。縮小画像生成手段１３は、
符号化された画像の簡易復号化を行って、縮小画像を生
成する。特徴量抽出手段１４は、縮小画像から、画像事
象を検出し、特徴量を抽出する。画面表示制御手段１５
は、縮小画像の静止画の一覧を画面上に表示し、静止画
をユーザが指定することで、検出対象の事象である検出
事象を設定可能とする画面表示制御を行う。検出辞書作
成手段１６は、検出事象の特徴量から分散値を測定し
て、分散値の小さい特徴量である検出パラメータを含む
検出辞書を作成する。事象検出制御手段１７は、検出辞
書と特徴量との距離を算出して、検出範囲を決定する。
画像記録手段１８は、距離と画像記録用のしきい値とを
比較し、比較結果にもとづいて、監視画像を記録する。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は本発明の画像制御装置の原
理図である。画像制御装置１０は、監視カメラ１１によ
って監視した画像の画像監視制御を行う。

【００１２】符号化手段１２は、監視カメラ１１からの
画像をＭＰＥＧ、Ｈ．２６１等で符号化する。縮小画像
生成手段１３は、符号化された画像に対し、完全な復号
化はせずに、簡易的な復号化を行って、縮小画像を生成
する。

【００１３】特徴量抽出手段１４は、縮小画像から、画
像事象を検出し、特徴量を抽出する。画面表示制御手段
１５は、縮小画像の静止画の一覧を画面上に表示し、静
止画をユーザが指定することで、検出対象の事象である
検出事象を設定可能とする画面表示制御を行う。また、
画面上には、監視対象の簡略化された地図と、その地図
上に配置された監視カメラ１１の位置及び監視場所等も
表示される。

【００１４】検出辞書作成手段１６は、検出事象の特徴
量から分散値を測定して、分散値の小さい特徴量である
検出パラメータを含む検出辞書を作成する。したがっ
て、検出辞書作成手段１６は、ユーザが検出事象を指定
する度に、その検出事象の特徴量からあらたな検出辞書
が更新作成（学習）されていく。事象検出制御手段１７
は、特徴量と検出辞書との距離を算出して、検出範囲を
決定する。

【００１５】画像記録手段１８は、事象検出制御手段１
７で算出された、各特徴量と検出辞書との距離と、画像
記録用のしきい値とを比較し、比較結果にもとづいて、
監視画像を記録する。

【００１６】次に画像制御装置１０の事象検出に関して
の処理の流れについて詳しく説明する。図２は画面表示
例を示す図である。監視カメラ１１を通じて、特徴量抽
出手段１４が何らかの事象（動く物体）を検出した場合
には、画面表示制御手段１５は、そのときの静止画を監
視モニタの画面Ｍ１ａに表示する。

【００１７】図では、静止画（ａ）〜（ｆ）を表示して
おり、人と犬が検出されていることがわかる（この段階
では、事象が人であろうと犬であろうと、ある監視期間
内に動く物体が存在すれば、検出したその時の静止画を
表示する）。なお、各静止画内の事象は、ユーザにわか
りやすいように枠で囲んで表示する（図では点線枠とし
た）。また、特徴量抽出手段１４は、これらの事象の特
徴量を抽出し保持する。

【００１８】図３は特徴量の具体例を示す図である。特
徴量抽出手段１４は、監視画面内に事象が存在する場
合、存在箇所の領域に対して、図に示すような特徴量を
抽出する。

【００１９】次にユーザが検出事象として人を検出する
ことが目的である場合には、ユーザは、人が映されてい
る静止画をポインティングデバイス等で指定する。ここ
では、静止画（ｂ）、（ｄ）、（ｅ）に人が映されてい
るため、これらの静止画を指定することになる。する
と、図４に示すように表示の順番が入れ替わる。

【００２０】図４はユーザ指定後の静止画一覧を示す図
である。ユーザが静止画（ｂ）、（ｄ）、（ｅ）の順に
指定すると、画面表示制御手段１５は、画面Ｍ１ａから
画面Ｍ１ｂのような表示に変更する。すなわち、ユーザ
が最初に指定した静止画を画面左から最上に配置し、次
に指定した静止画を２番目に配置するというような表示
を行って、静止画の並び替えを行う。

【００２１】このような静止画の並び替えが行われた後
に、検出辞書の作成が行われる。図５は検出辞書の作成
概念を示す図である。検出辞書を作成する場合には、あ
らかじめ、静止画の並び替えが行われた際の画面上位数
個の画像により、検出パラメータの更新を行うものと設
定しておく。ここでは、画面左から上位の１番目と２番
目の静止画に対して検出辞書を作成するものとして以下
説明する。

【００２２】静止画（ｂ）内の事象の特徴量をＦｂ、静
止画（ｄ）内の人を示している事象の特徴量をＦｄとす
る。また、特徴量Ｆｂはパラメータｙ１、ｙ２、ｙ３、
…を有し、特徴量ＦｄはパラメータＹ１、Ｙ２、Ｙ３、
…を有しているものとする（ここでは、ｙ１とＹ１は、
平均輝度のパラメータ、ｙ２とＹ２は、サイズのパラメ
ータ、ｙ３とＹ３は、色のパラメータとする）。

【００２３】まず、検出辞書作成手段１６は、特徴量Ｆ
ｂのパラメータｙ１、ｙ２、…と、ｙ１、ｙ２、…に対
応する特徴量ＦｄのパラメータＹ１、Ｙ２、…とから分
散値を計算する。例えば、平均輝度を表すパラメータｙ
１とＹ１の分散値は１０、サイズを表すパラメータｙ２
とＹ２の分散値は６３、色を表すパラメータｙ３とＹ３
の分散値は７というように、特徴量Ｆｂ、Ｆｄの対応す
る各パラメータの分散値を求める。

【００２４】そして、分散値の小さい（特徴量Ｆｂ、Ｆ
ｄの関連性が強い）パラメータを集めて（図では特徴量
Ｆｂ側のパラメータを集めた）、これを検出パラメータ
｛ｘ１、ｘ２、…、ｘｋ｝と設定する。

【００２５】また、各検出パラメータには重み付け係数
Ｗｋを対応させる。この重み付け係数Ｗｋは、検出パラ
メータの重要度を示し、例えば、分散値の逆数を重み付
け係数として用いることができる（分散値が小さけれ
ば、重み付け係数としては値が大きく設定される）。

【００２６】したがって、このように作成した検出辞書
は、結果として、人の特徴を表す検出パラメータで構成
されることになり、検出事象が人の場合には、この検出
辞書を利用することになる。

【００２７】図６は特徴空間を示す図である。特徴空間
内に静止画（ｂ）、（ｄ）、（ｅ）の人の事象の特徴量
Ｆｂ、Ｆｄ、Ｆｅと、静止画（ａ）、（ｃ）、（ｆ）の
犬の事象の特徴量Ｆａ、Ｆｃ、Ｆｆと、人を検出するた
めの検出辞書Dm(0)とが示されている。

【００２８】ここで、事象検出制御手段１７は、検出辞
書Dm(0)に対して、事象通知（ここでは、人が検出され
たことを知らせる通知）を行うための検出しきい値THmd
と、特徴量の保存を行うための検出しきい値THmsとを設
定する。すなわち、検出辞書Dm(0)を中心に、半径THms
内にある特徴量は、人の可能性が大きいとしてこの範囲
内にある特徴量は保存し、かつ検出辞書Dm(0)を中心
に、半径THmd内にある特徴量は、人と決定できるものと
みなして、この範囲内の特徴量を含む画像をユーザに通
知（表示）する。

【００２９】THmd、THmsの算出式は、検出事象と検出辞
書との距離の最大値をEmax、定数をCthd、Cthsとする
と、以下の式で求める。ただし、１＜Cthd＜Cthsであ
る。

【００３０】

【数１】 THmd＝Cthd・Emax （１ａ） THms＝Cths・Emax （１ｂ）また、Emaxは式（２）であり、各特徴量と検出辞書との
距離は式（３）で求める。

【００３１】

【数２】

【００３２】

【数３】ここで、式（２）に対し、E(α,β)とは、特徴量Ｆαと
特徴量Ｆβとの距離を意味するので、E(０,ｉ)とは、検
出辞書Dm(0)と特徴量Ｆｉ（ｉ＝ｂ，ｄ，ｅ）との距離
を表す。

【００３３】また、式（３）に対し、D(k)は検出辞書Dm
(0)のｋ番目の検出パラメータを意味し、F(i,k)はＦｉ
（ｉ＝ｂ，ｄ，ｅ）のｋ番目のパラメータを意味する。
したがって、式（３）は、検出辞書が含む検出パラメー
タと、特徴量が含むパラメータとから求めたユークリッ
ド距離に重み係数を乗じた総和を、検出辞書と特徴量と
の距離としていることを表している。

【００３４】図７は検出範囲が示された特徴空間を示す
図である。検出辞書Dm(0)と特徴量Ｆｂ、Ｆｄ、Ｆｅと
の距離を式（３）で求めて、最大の距離を持つ特徴量を
Ｆｅとしている。したがって、検出辞書Dm(0)と、この
特徴量Ｆｅとの距離をEmaxとして、THmd、THmsを式（１
ａ）、（１ｂ）より求めて、図のように検出範囲を設定
している。特徴量の保存範囲には、特徴量Ｆｂ、Ｆｄ、
Ｆｅ及び特徴量Ｆｃが含まれ、事象通知範囲には、特徴
量Ｆｂ、Ｆｄ、Ｆｅが含まれることになる。

【００３５】次に誤検出防止処理について説明する。上
記のような処理により、人（ｂ）（静止画（ｂ）内の人
を人（ｂ）と表記する。以下同様）、人（ｄ）、人
（ｅ）に対する検出は、確実に実行されるようになる
が、さらに検出を続けると、誤検出が発生する可能性が
ある。

【００３６】図８は画面表示を示す図であり、図９は特
徴空間を示す図である。図８の画面Ｍ１ｃのように静止
画（ｇ）があらたに発生しているが、検出されたのは犬
であり、人の検出としては好ましくない。これを図９で
見ると、THmdの範囲内にＦｇが出現している。誤検出防
止処理としては２通りの方法がある。

【００３７】１つ目の誤検出防止処理としては、不適切
な検出事象の特徴量Ｆｇと検出辞書Dm(0)に対し、E(0,
b)、E(0,d)、E(0,e)が、E(0,g)に対してどれも小さい場
合、あらたな検出しきい値THmd１を、以下の式で求め
る。

【００３８】

【数４】 THmd１＝（Emax＋E(0,g)）／２（４）図１０はあらたな検出しきい値が設定された特徴空間を
示す図である。図に示すように、式（４）で算出した、
あらたな検出しきい値THmd１により、E(0,g)を事象通知
範囲外に置くことができるので、誤検出を防止すること
が可能になる。

【００３９】次に２つ目の誤検出防止処理について説明
する。図１１は画面表示を示す図であり、図１２は特徴
空間を示す図である。図１１の画面Ｍ１ｄのように犬の
検出事象を含む静止画（ｇ）が画面の上位から３番目に
表示されている。これを図１２の特徴空間で見ると、検
出辞書Dm(0)に対し、特徴量Ｆｇは、特徴量Ｆｅよりも
近い位置に出現していることがわかる。

【００４０】上述した１つ目の誤検出防止処理の場合で
は、E(0,b)、E(0,d)、E(0,e)が、E(0,g)に対してどれも
小さいことが条件であったが、図１２のような場合に
は、この条件が満たされないので、検出辞書作成手段１
６は、非検出辞書を作成して誤検出防止を行う。

【００４１】図１３は非検出辞書が示された特徴空間を
示す図である。非検出辞書の作成としては、まず、ユー
ザが静止画（ｇ）を指定する。すると、検出辞書作成手
段１６は、非検出対象を数個まとめて非検出対象のため
の非検出辞書Dm(0)aを作成する。

【００４２】非検出辞書Dm(0)aの作成のために使用する
のは、Ｆａ、Ｆｃ、Ｆｆ、Ｆｇの事象特徴量である（作
成手順は図５と同様）。これらの特徴量から非検出辞書
Dm(0)aが設定されると、事象検出制御手段１７は、検出
辞書Dm(0)と特徴量Ｆｇとの距離E(0,g)と、非検出辞書D
m(0)aと特徴量Ｆｇとの距離E(0a,g)との距離を比較す
る。そして、E(0,g)＜E(0a,g)ならば事象ｇは人として
検出対象とし、E(0,g)＞E(0a,g)ならば事象ｇは検出対
象外とする。

【００４３】次に検出範囲のユーザ設定について説明す
る。検出事象や非検出事象が何らかの形で画面上に出現
する場合には、上記の説明のように事象発生時の静止画
などを指定することで、検出辞書または非検出辞書を作
成・更新していくことができるが、検出事象が発生して
いることは既知であっても検出画面に表示されない可能
性もある。このため、本発明ではユーザが検出しきい値
を任意に変更できるような機能を設ける。

【００４４】図１４は検出しきい値のユーザ設定可能な
画面表示例を示す図である。画面Ｍ１ｅには、静止画一
覧（静止画（ｂ）、（ｄ）のみ示した）に加えて、検出
辞書Dm(0)と特徴量Ｆｂ、Ｆｄとの距離E(0,b)、E(0,d)
の時間的変化を模式的に示すグラフＧ１、Ｇ２と、検出
しきい値THmd、THmsを可変に設定可能なスライダＳ１、
Ｓ２が表示されている。また、グラフ上の実直線は事象
通知範囲を示すTHmdであり、点線は特徴量保存を行うTH
msである。

【００４５】このような画面に対して、ユーザは、スラ
イダＳ１、Ｓ２をポインティングデバイス等で動かし
て、検出しきい値を変更すると、表示される静止画の内
容も変化する。このように、検出しきい値を任意に設定
可能な画面表示制御を行うことにより、画面内の検出事
象の静止画表示の内容及び表示順序の変更を柔軟に行う
ことが可能になる。

【００４６】次に画像記録手段１８について説明する。
画像記録手段１８では、基本的には検出しきい値THms内
の特徴量を持つ事象を含んでいる画像は、すべて記録す
るが、画像記録用のしきい値を別に設けて、各特徴量と
検出辞書との距離と、画像記録用のしきい値とを比較
し、比較結果にもとづいて、監視画像を記録してもよ
い。

【００４７】すなわち、E(0,i)と画像記録用のしきい値
とを比較して、しきい値を超えるE(0,i)を抽出し、この
E(0,i)となる特徴量Ｆｉを持つ事象を含む画像を記録す
るための記録タイミングを生成して、これらの画像を記
録する。これにより、監視画像の中の必要な画像のみを
記録できるので、記録媒体の容量を削減し、効率のよい
録画処理を行うことが可能になる。

【００４８】次に縮小画像生成手段１３について説明す
る。縮小画像生成手段１３では、符号化手段１２により
ＤＣＴ（離散コサイン変換）＋動き補償のハイブリッド
符号化された符号化ストリームを受信して、フレーム間
引き、ＶＬＤ（可変長復号化）、ＩＱ（逆量子化）、Ｉ
ＤＣＴ（逆離散コサイン変換）の復号化を行って、縮小
画像を生成する。

【００４９】なお、フレーム間引きでは、ＭＰＥＧスト
リームを例にとれば、ストリーム中のビットパターンか
ら各ピクチャヘッダを認識し、フレーム間引き後の画像
として、ＩピクチャとＰピクチャを抽出する。

【００５０】また、縮小画像生成手段１３では、少ない
演算量で縮小画像を得るために、高解像度で復号化する
のではなく、低解像度（１／２縮小、１／４縮小、１／
８縮小）の復号化を行う。また、フレームレートに対し
ても、３０フレーム／秒をそのまま処理するのではな
く、１０フレーム／秒、５フレーム／秒などの低フレー
ムレートで画像処理を行う。

【００５１】本発明では、低解像度化を行う場合には、
ＤＣＴで符号化されたストリーム（Ｉピクチャ）をＩＤ
ＣＴする際に、縮小ＩＤＣＴを施す。図１５は縮小ＩＤ
ＣＴの概念を示す図である。通常、８×８のＤＣＴに対
しては８×８のＩＤＣＴが行われるが、本発明では、４
×４の１／２ＩＤＣＴ、２×２の１／４ＩＤＣＴ、直流
成分のみの１／８ＩＤＣＴを行う。また、これらの縮小
率は、検出対象の事象のサイズに応じて自動的に選択す
る。このような制御により、事象検出に必要な縮小画像
を効率よく生成することが可能になる。

【００５２】なお、以下に式（５）に通常の８×８のＩ
ＤＣＴ演算式、式（６）に４×４のＩＤＣＴ演算式、式
（７）に２×２のＩＤＣＴ演算式を示す。８×８のＩＤ
ＣＴ演算では、積和演算が２４回で、この処理を１６回
行うが、４×４のＩＤＣＴでは、積和演算１４回を８
（＝４＋４）回行うことで、１／２縮小画像を生成し、
２×２のＩＤＣＴでは、積和演算５回を４回（＝２＋
２）行うことで、１／４縮小画像を生成する。

【００５３】

【数５】

【００５４】

【数６】

【００５５】

【数７】このように、ＭＰＥＧ符号の簡易的な復号化に対し、Ｉ
ピクチャについては、全ＤＣＴ係数からサブサンプル画
像のＤＣＴ係数を取り出し、縮小画像のためのＤＣＴ係
数を生成し、効率的に縮小画像を生成する。

【００５６】一方、Ｐピクチャに含まれるＤＣＴ画像に
よるイントラ画像及び動き補償再生画像については、Ｉ
ピクチャ同様の簡易復号化を行うと同時に，動き補償演
算から得られる動きベクトルの値にしたがった画像補正
作業の簡易処理を行う。

【００５７】次に特徴量抽出手段１４について説明す
る。図１６は特徴量抽出手段１４の構成を示す図であ
る。特徴量抽出手段１４は、ピクチャモード切り替え指
示部１４ａ、フレーム間差分計算部１４ｂ、領域切り出
し部１４ｃ、特徴量計算部１４ｄから構成される。

【００５８】ピクチャモード切り替え指示部１４ａは、
ＰピクチャからＩピクチャへの切り替えが行われた際の
ピクチャ変更を通知する。ここで、Ｉピクチャは、すべ
ての画像ブロックをＤＣＴ変換された係数に圧縮して生
成されるが、Ｐピクチャは、動き補償を伴ったハイブリ
ッド符号化により圧縮されるために、一般のＭＰＥＧな
どの動画でＩ、Ｐ、Ｐ、Ｐ、…Ｐピクチャの様な順に送
出された画像ストリームを、上述のような簡易復号化を
行った場合には、Ｐピクチャの生成演算の中に誤差が含
まれることになる。

【００５９】この誤差のために、Ｉ、Ｐ、Ｐ、Ｐ、…、
Ｐ、Ｉ、Ｐ、Ｐ、Ｐ、…の順で送られる画像の簡易復号
化画像を観察するとＰピクチャの簡易再生で生じる復号
誤差が累積し、引き続くＰピクチャの後半部分ではボケ
を生じることになる。また、定期的に原画に相当するＩ
ピクチャが再生されることになる。このため、次第に不
明瞭になった画像がＩピクチャ毎に鮮明に変化するとい
う現象が観測されることになる。

【００６０】圧縮動画ストリームを簡易復号化した画像
で，画像事象の検出を行う場合にはこの様な画像の変化
はフレーム間差分として本来は変化の無い部分に変化を
生じることになり、誤検出の要因となることになる。

【００６１】したがって、特徴量抽出手段１４では、前
もって上記のＩ、Ｐ、Ｐ、…、Ｉ、Ｐ、Ｐ、Ｐ、…の様
に画像が送られていることは、ビットストリーム内のピ
クチャヘッダにより容易に識別が可能であるため、この
情報を使用し、明らかにフレーム間に簡易復号化による
誤差が誤検知として発生することが予測できるフレーム
（ＰピクチャからＩピクチャに変換する部分）におい
て、そこでの画像事象検出のための特徴抽出および検出
・判定動作を中断し、前後のフレームでの情報から類推
されるパラメータをそのフレームの特徴量として設定す
る事で不要な事象検出を削減することができる。

【００６２】フレーム間差分計算部１４ｂは、受信した
縮小画像の現フレーム（ｆｎ）、前フレーム（ｆｎ−
１）との差分を計算する。領域切り出し部１４ｃは、フ
レーム間差分画像内に存在する動画像領域を抽出する。
動画領域の抽出方法としては、フレーム間差分画像に対
して、水平ヒストグラム計算を行って水平部分を切り出
し、その後、垂直ヒストグラム計算を行って垂直部分を
切り出すことで、動画像領域を抽出する。

【００６３】そして、特徴量計算部１４ｄは、図３で上
述したような各特徴量を計算する。また、符号化手段１
２からの動きベクトルにもとづいて、領域の動き情報と
して、各種のベクトル情報を求める。図１７はベクトル
情報を示す図である。直前のフレームに存在する対象領
域の中心位置と現領域の中心位置の差を表すのが移動速
度ベクトル(vx,vy)である。継続する移動領域について
その移動量の平均値を計算したものが平均移動速度ベク
トル(vsx,vsy)となる。

【００６４】また、移動領域が画面上をどのように移動
しているかの概略を示すのが移動直線ベクトル(lx,ly)
である。これは、移動領域の移動検出時間帯全体にわた
る移動領域中心位置の軌跡を直線近似し、その直線に対
して原点(0,0)からその直線に下ろした直線の交点と原
点とを結ぶベクトルとして表される。領域が上下に移動
する場合には(c,0)(cは定数)となり、左右平行に移動し
た場合には(0,c)(cは定数)と言うように変化する。

【００６５】また、特徴量計算部１４ｄでは、動領域が
発生して現フレームまでのカウント値Ｔｃを測定して事
象が出現している持続時間を求める。図１８は事象の特
徴量である持続時間を説明する図である。

【００６６】画像事象が発生した場合に、初期値Ｔｃ＝
１として連続する領域がフレーム毎に継続して出現して
いる間は、その更新された領域について検出フレーム毎
にＴｃ=Ｔｃ＋１とカウントアップする。これにより、
現フレームに含まれる抽出領域の持続時間をカウントす
る。

【００６７】次に画像制御装置１０でネットワーク配信
を行う場合のシステム構成について説明する。図１９、
図２０は画像監視システムの構成を示す図である。画像
制御装置１０をネットワーク配信システムに適用した場
合の構成を示している。

【００６８】図１９の画像監視システム１ａに対し、監
視カメラ１１、符号化手段１２、縮小画像生成手段１
３、特徴量抽出手段１４、ビット挿入手段２１は、監視
現場側へ配置され、分離手段２２、画面表示制御手段１
５、検出辞書作成手段１６、事象検出制御手段１７、画
像記録手段１８は監視局側へ配置される。

【００６９】ビット挿入手段２１は、縮小画像生成手段
１３から送られた画像信号に、特徴量抽出手段１４で抽
出された特徴量を挿入して、ネットワーク３０を介して
送信し、分離手段２２は、受信した信号を画像信号と特
徴量とに分離して、画像信号を画面表示制御手段１５
へ、特徴量を検出辞書作成手段１６へ送信する。

【００７０】ここで、特徴量の挿入・抽出について説明
する。通常のＭＰＥＧ１やＭＰＥＧ２のビットストリー
ム中に存在するユーザデータマーカー（ＧＯＰ（約０．
５秒）単位に挿入することができ、ビットコードは、０
ｘ０００００１Ｂ２）を挿入し、それに引き続き独自の
コードとして簡易復号画像から得られた特徴量を書き込
むことになる。

【００７１】この場合、書き込まれるビット列に対して
は、連続する２３ビットの０列が存在しないようにする
必要があるが、例えば、特徴量ベクトルのそれぞれのビ
ット列を１５ビットに制限し、１６ビット毎に１を挿入
するなどの方法で実現することができる。

【００７２】また、分離手段２２で、ＭＰＥＧ符号列か
ら特徴量部分を取り出す操作としては、ユーザデータマ
ーカーである０ｘ０００００１Ｂ２を探索する。そし
て、それ以後のデータに対して１６ビット毎にデータを
分割し、所定の個数の特徴量を取り出し、有効な下位１
５ビットのデータを取り出すことで実現する。

【００７３】図２０の画像監視システム１ｂに対し、監
視カメラ１１、符号化手段１２は監視現場側へ配置され
る。また、ネットワーク３０を介した監視局側には、縮
小画像生成手段１３、特徴量抽出手段１４、画面表示制
御手段１５、検出辞書作成手段１６、事象検出制御手段
１７、画像記録手段１８が配置される。図２０のような
構成にすることにより、監視現場側の装置負荷を軽減す
ることが可能になる。

【００７４】図２１は複数監視カメラからの情報を一括
表示するための画像監視システムの構成を示す図であ
る。画像監視システム１ｃは、図１９で上述した構成
を、複数監視を行うシステムに適用した場合である。

【００７５】監視現場側の送信部１００−１〜１００−
ｎはそれぞれ、監視カメラ１１、符号化手段１２、縮小
画像生成手段１３、特徴量抽出手段１４、ビット挿入手
段２１を含む。また、分離手段２２、画面表示制御手段
１５、検出辞書作成手段１６、事象検出制御手段１７、
画像記録手段１８−１〜１８−ｎは、監視局側へ配置さ
れる。

【００７６】ここで、分離手段２２は、送信部１００−
１〜１００−ｎから送信された信号をそれぞれ、画像信
号と特徴量に分離する。また、画像記録手段１８−１〜
１８−ｎはそれぞれ、送信部１００−１〜１００−ｎか
らの送信された記録すべき画像を記録・保存する。な
お、このような複数監視を行なう画像監視システム１ｃ
の画面表示制御手段１５は、監視箇所を１箇所選択する
（送信部１００−１〜１００−ｎのいずれか１つを選択
する）選択ボタンを表示する。

【００７７】以上説明したように、本発明の画像制御装
置１０によれば、画像事象の発生時のみの録画を行うこ
とが可能であり、長時間の監視などを行う場合には記録
媒体を大幅に削減することができる。

【００７８】また、過去に発生した画像事象に対する画
像抽出特徴量を保存しておき、画面上での調節を行っ
て、リアルタイムにパラメータの設定を変えて、検出状
況を表示できる環境を提供することができるので、簡単
な操作で効果的な画像記録・保存機能をユーザに提供で
き、画像監視制御の品質及び信頼性の向上を図ることが
可能になる。

【００７９】（付記１）画像監視の制御を行う画像制
御装置において、監視カメラからの画像を符号化する符
号化手段と、符号化された画像の簡易復号化を行って、
縮小画像を生成する縮小画像生成手段と、前記縮小画像
から、画像事象を検出し、特徴量を抽出する特徴量抽出
手段と、前記縮小画像の静止画の一覧を画面上に表示
し、前記静止画をユーザが指定することで、検出対象の
事象である検出事象を設定可能とする画面表示制御を行
う画面表示制御手段と、前記検出事象の特徴量から分散
値を測定して、前記分散値の小さい特徴量である検出パ
ラメータを含む検出辞書を作成する検出辞書作成手段
と、前記検出辞書と特徴量との距離を算出して、検出範
囲を決定する事象検出制御手段と、前記距離と画像記録
用のしきい値とを比較し、比較結果にもとづいて、監視
画像を記録する画像記録手段と、を有することを特徴と
する画像制御装置。

【００８０】（付記２）前記事象検出制御手段は、検
出対象である検出事象と前記検出辞書との距離の最大値
をEmax、定数をCthd、Cthsとして、１＜Cthd＜Cthsの場
合に、 THmd＝Cthd・Emax THms＝Cths・Emax となるTHmdを事象検出の通知を行う検出しきい値とし、
THmsを特徴量の保存を行う検出しきい値とすることを特
徴とする付記１記載の画像制御装置。

【００８１】（付記３）前記画面表示制御手段は、前
記検出辞書と検出事象との距離を示すグラフと、前記検
出しきい値であるTHmd及びTHmsを示すラインとを表示
し、ユーザ設定により前記検出しきい値を可変設定可能
とする画面表示を行うことを特徴とする付記２記載の画
像制御装置。

【００８２】（付記４）前記画面表示制御手段は、ユ
ーザが指定した前記静止画の並び替え表示を自動的に行
うことを特徴とする付記１記載の画像制御装置。（付記５）前記検出辞書作成手段は、前記検出パラメ
ータの重要度を示す重み付け係数を前記検出パラメータ
に対応させて、前記検出辞書を作成することを特徴とす
る付記１記載の画像制御装置。

【００８３】（付記６）前記事象検出制御手段は、前
記検出範囲内に非検出対象である非検出事象が現れ、か
つ検出事象と前記検出辞書との距離が、非検出事象と前
記検出辞書との距離である非検出距離に対してすべて小
さい場合、前記非検出距離をEa、あらたな検出しきい値
をTHmd１とした場合に、 THmd１＝（Emax＋Ea）／２として誤検出防止を行うことを特徴とする付記１記載の
画像制御装置。

【００８４】（付記７）前記検出辞書作成手段は、前
記検出範囲内にあらたな新規事象が現れ、かつ検出事象
と前記検出辞書との距離が、前記新規事象と前記検出辞
書との距離に対して１つでも大きい距離がある場合に
は、前記新規事象による非検出辞書を作成し、前記事象
検出制御手段は、前記新規事象と前記検出辞書の距離を
Eb、前記新規事象と前記非検出辞書との距離をEcとした
場合に、Eb＜Ecでは前記新規事象を検出対象とし、Eb＞
Ecでは検出対象としないことを特徴とする付記１記載の
画像制御装置。

【００８５】（付記８）前記縮小画像生成手段は、検
出事象に応じた縮小率で低解像度の前記縮小画像を生成
することを特徴とする付記１記載の画像制御装置。（付記９）前記特徴量抽出手段は、ＰピクチャからＩ
ピクチャに変換する部分では、前後のフレームでの情報
から類推されるパラメータを特徴量として設定すること
を特徴とする付記１記載の画像制御装置。

【００８６】

【発明の効果】以上説明したように、本発明の画像制御
装置は、符号化画像の簡易復号化を行って、縮小画像を
生成し、縮小画像による静止画の一覧を画面上に表示す
る。そして、ユーザから指定された検出事象の特徴量か
ら分散値を測定し、分散値の小さい特徴量である検出パ
ラメータを含む検出辞書パラメータを作成し、特徴量と
検出辞書との距離を算出して、検出範囲を決定する構成
とした。これにより、事象検出に必要なパラメータを自
動的に精度よく設定することができるので、画像監視制
御の品質及び信頼性の向上を図ることが可能になる。

【図面の簡単な説明】

【図１】本発明の画像制御装置の原理図である。

【図２】画面表示例を示す図である。

【図３】特徴量の具体例を示す図である。

【図４】ユーザ指定後の静止画一覧を示す図である。

【図５】検出辞書の作成概念を示す図である。

【図６】特徴空間を示す図である。

【図７】検出範囲が示された特徴空間を示す図である。

【図８】画面表示を示す図である。

【図９】特徴空間を示す図である。

【図１０】あらたな検出しきい値が設定された特徴空間
を示す図である。

【図１１】画面表示を示す図である。

【図１２】特徴空間を示す図である。

【図１３】非検出辞書が示された特徴空間を示す図であ
る。

【図１４】検出しきい値のユーザ設定可能な画面表示例
を示す図である。

【図１５】縮小ＩＤＣＴの概念を示す図である。

【図１６】特徴量抽出手段の構成を示す図である。

【図１７】ベクトル情報を示す図である。

【図１８】事象の特徴量である持続時間を説明する図で
ある。

【図１９】画像制御装置のシステム構成を示す図であ
る。

【図２０】画像制御装置のシステム構成を示す図であ
る。

【図２１】複数監視カメラからの情報を一括表示するた
めの画像監視システムの構成を示す図である。

【符号の説明】

１０画像制御装置１１監視カメラ１２符号化手段１３縮小画像生成手段１４特徴量抽出手段１５画面表示制御手段１６検出辞書作成手段１７事象検出制御手段１８画像記録手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/915 Ｈ０４Ｎ 5/91 Ｋ 5/92 5/92 ＨＦターム(参考） 5B057 AA19 BA02 CA12 CA16 CG02 DC36 5C053 FA11 GB21 GB37 KA04 KA30 LA01 LA06 5C054 AA01 CC02 CH01 EA01 EA05 EA07 EB05 EG06 EH07 FC12 FC13 FC16 FE09 FE17 FE18 GB01 GB15 GD03 HA02 HA18 5L096 BA02 CA02 FA00 JA11 KA04 KA13

Claims

【特許請求の範囲】

【請求項１】画像監視の制御を行う画像制御装置にお
いて、監視カメラからの画像を符号化する符号化手段と、符号化された画像の簡易復号化を行って、縮小画像を生
成する縮小画像生成手段と、前記縮小画像から、画像事象を検出し、特徴量を抽出す
る特徴量抽出手段と、前記縮小画像の静止画の一覧を画面上に表示し、前記静
止画をユーザが指定することで、検出対象の事象である
検出事象を設定可能とする画面表示制御を行う画面表示
制御手段と、前記検出事象の特徴量から分散値を測定して、前記分散
値の小さい特徴量である検出パラメータを含む検出辞書
を作成する検出辞書作成手段と、前記検出辞書と特徴量との距離を算出して、検出範囲を
決定する事象検出制御手段と、前記距離と画像記録用のしきい値とを比較し、比較結果
にもとづいて、監視画像を記録する画像記録手段と、を有することを特徴とする画像制御装置。
【請求項２】前記事象検出制御手段は、検出対象であ
る検出事象と前記検出辞書との距離の最大値をEmax、定
数をCthd、Cthsとして、１＜Cthd＜Cthsの場合に、 THmd＝Cthd・Emax THms＝Cths・Emax となるTHmdを事象検出の通知を行う検出しきい値とし、
THmsを特徴量の保存を行う検出しきい値とすることを特
徴とする請求項１記載の画像制御装置。
【請求項３】前記画面表示制御手段は、前記検出辞書
と検出事象との距離を示すグラフと、前記検出しきい値
であるTHmd及びTHmsを示すラインとを表示し、ユーザ設
定により前記検出しきい値を可変設定可能とする画面表
示を行うことを特徴とする請求項２記載の画像制御装
置。
【請求項４】前記事象検出制御手段は、前記検出範囲
内に非検出対象である非検出事象が現れ、かつ検出事象
と前記検出辞書との距離が、非検出事象と前記検出辞書
との距離である非検出距離に対してすべて小さい場合、
前記非検出距離をEa、あらたな検出しきい値をTHmd１と
した場合に、 THmd１＝（Emax＋Ea）／２として誤検出防止を行うことを特徴とする請求項１記載
の画像制御装置。
【請求項５】前記検出辞書作成手段は、前記検出範囲
内にあらたな新規事象が現れ、かつ検出事象と前記検出
辞書との距離が、前記新規事象と前記検出辞書との距離
に対して１つでも大きい距離がある場合には、前記新規
事象による非検出辞書を作成し、前記事象検出制御手段
は、前記新規事象と前記検出辞書の距離をEb、前記新規
事象と前記非検出辞書との距離をEcとした場合に、Eb＜
Ecでは前記新規事象を検出対象とし、Eb＞Ecでは検出対
象としないことを特徴とする請求項１記載の画像制御装
置。