JP2008042595A - ネットワークカメラ装置及び受信端末装置 - Google Patents

Abstract

【課題】本発明は、本発明は、動体を認識したときにはモザイク処理を施した画像を送信し、動体検知とモザイク処理が容易に行えるネットワークカメラ装置と、モザイク処理された画像を受信したときに必要に応じて容易にモザイク処理のない画像へ復元できる受信端末装置を提供することを目的とする。
【解決手段】本発明のネットワークカメラ装置は、受信端末装置と接続されるインターフェース１３と、被写体を撮像する撮像手段１１と、撮像手段１１が動体を撮像したか否かを認識する動体認識手段１７と、動体認識手段１７が動体を認識した場合、動体を含む撮像画像にモザイクをかけて受信端末装置に送信する制御手段とを具備したことを特徴とし、受信端末装置は画像復元要求があった場合受信した符号化テーブルを書き換え、容易にモザイク処理のない画像へ復元できることを特徴とする。
【選択図】図２

Description

本発明は、被写体を撮像しカメラ前に動体が存在すると認識できた場合はモザイク処理を施した画像を配信するネットワークカメラ装置と、それを受信して必要に応じてモザイク処理を除いた画像に切り換えることが可能な受信端末装置に関する。

最近、ネットワークを介して画像を配信する画像配信装置、中でもネットワークカメラ装置が普及している。ネットワークカメラ装置は、例えばプロトコルＨＴＴＰで、ＷｅｂサーバがＩＰネットワークを介して受信端末装置のＷｅｂブラウザと通信し、撮影した画像を送信するものである。

このネットワークカメラ装置の利用法の１つとして、監視カメラとしての使用方法がある。監視カメラは撮像した画像を受信端末装置に配信し、これを監視のために利用するが、監視者が関心のある画面の存在、例えば不審者等に関する情報を得るため、ネットワークカメラ装置は撮影したままの画像を、特殊な処理を施すことなくそのまま送信するのが一般的で、これを受信した受信端末装置ではその画像を表示し監視者が目視して不審者等の有無を判断する。

しかし、受信端末装置で受信した画像をそのまま表示するのは好ましくない場合がある。例えば、人物が写っているときプライバシーに配慮する場合などである。そこで、人物の顔部分などにモザイク等の特殊効果を施した画像を提供する画像処理装置が提案された（特許文献１参照）。

この画像処理装置は、テレビ放送などで画像処理を行うためのもので、入力画像の中の一部分に所望の特殊効果をリアルタイムに施すものである。このため、画像認識判定部が、人物等のように動きのある画素と、背景等のように静止している画素とを判別し、入力画像の中で指定された一部分のパターン情報の特徴と同一と推測される部分を以後の入力画像で判別し、隣接する画素の輝度，色等の画素情報の変化量から画像の輪郭部分を判別する。特殊効果発生処理部は、判定された部分の画素あるいは領域の画素の位置情報を変調して、モザイク等の特殊効果を施すものである。
特開２０００−２３２６０９号公報

しかし、以上説明した（特許文献１）の画像処理装置は、入力画像と特殊効果を施した画像を合成するもので、かなりの演算が必要になるものであった。すなわち、指定する顔情報のパターン情報を予め蓄積しなければならないし、入力画像とパターン情報を比較して判定しなければならない上に、人物等の輪郭を判別する必要がある。これには大量の演算が必要であり、高速処理が可能なコンピュータでなければ実時間の処理は難しい。テレビ放送などのメディアではこのような画像処理も許されるが、ネットワークカメラ装置のように小規模の通信機器においては、このような画像処理は馴染まない。しかも、（特許文献１）の画像処理装置は一度合成すると、合成した画像から合成する前の入力画像に復元するのは簡単には行えない、という問題があった。

ネットワークカメラ装置と受信端末装置にとって、秘匿性の確保が特に必要となる対象は覗き見される可能性がある通信中の画像データであり、特に人物の画像はそのプライバシーが保護できるか否かが問題となる。一例を挙げると、例えば、複数の店舗の販売状況を本部などでモニタし管理する場合などには、撮像した画像をそのまま送信すると、思わず知らず顧客の顔情報が写り、過剰な情報を本部に送信するおそれがある。

このような場合、モニタする目的からすると、どの店舗でどの商品が売れ筋か、あるいは、どの商品の周囲に顧客が集まっているか、等の情報を得ることが重要であり、顧客が誰であるかまで識別する必要はない。むしろ、人物を特定できる情報は過剰な情報であり、画像を送信する過程でこれらの情報が漏れることのないように落されることが必要である。そして、受信端末装置側でこれを容易に復元できることが望まれる。

このようなモニタのためには、人物等の動きを検知したときにはモザイクのかかった画像を送信し、受信端末装置側がモザイク画像で十分ならそのまま閲覧し、必要があれば権限の存在を前提にモザイクのない元の入力画像に復元するのが好適である。そして、そのモザイク処理を施す方法、また元に戻す方法自体が簡単で、動体検知とモザイク処理に要する演算時間が短いことが望まれる。

そこで本発明は、動体を認識したときにはモザイク処理を施した画像を送信し、動体検知とモザイク処理が容易に行えるネットワークカメラ装置と、モザイク処理された画像を受信したときに必要に応じて容易にモザイク処理のない画像へ復元できる受信端末装置を提供することを目的とする。

このような問題を解決するために本発明のネットワークカメラ装置は、ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、カメラが動体を撮像したか否かを認識する動体認識手段と、動体認識手段が動体を認識した場合、動体を含む撮像画像にモザイクをかけて受信端末装置に送信する制御手段とを具備したことを特徴とする。

本発明のネットワークカメラ装置によれば、動体を認識したときにはモザイク処理を施した画像を送信し、動体検知とモザイク処理が容易に行え、本発明の受信端末装置によれば、モザイク処理された画像を受信したときに必要に応じて容易にモザイク処理のない画像へ復元できる。

上記課題を解決するために本発明の請求項１の発明は、ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、カメラが動体を撮像したか否かを認識する動体認識手段と、動体認識手段が動体を認識した場合、動体を含む撮像画像にモザイクをかけて受信端末装置に送信する制御手段とを具備したことを特徴とするネットワークカメラ装置である。この構成により、ネットワークカメラ装置が撮像した画像をセンター装置に送信してセンター装置で撮像画像を管理する場合、動体認識手段が動体を認識した画像にはモザイクをかけることにより、人物の画像にはモザイクをかけて受信端末装置に送信するので、送信過程でデータが盗まれた場合でもプライバシーを保護できる。

本発明の請求項２の発明は、請求項１の形態に従属する形態であって、受信端末装置のアドレス情報を格納する記憶手段を有し、制御手段はアドレス情報に基づいて受信端末装置に送信することを特徴とするネットワークカメラ装置であり、アドレス情報を参照して画像を送信できる。

本発明の請求項３の発明は、請求項１の形態に従属する形態であって、制御手段は、動体認識手段が動体を認識する毎に、撮像画像を更新してモザイクをかけて受信端末装置に送信することを特徴とするネットワークカメラ装置である。この構成によって、動体と認識できたときのみモザイク処理された画像になるからこのような画像を最小限にすることができる。

本発明の請求項４の発明は、ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、カメラが撮像した被写体画像を構成する画素数を少なくする平均化手段と、平均化された被写体画像の中に動体が含まれるか否かを認識する動体認識手段と、動体を認識した場合、動体を含む撮像画像にモザイクをかけて受信端末装置に送信する制御手段とを具備したことを特徴とするネットワークカメラ装置である。この構成によって、ネットワークカメラ装置が撮像した画像を受信端末装置に送信してセンター装置で撮像画像を管理する場合、動体認識手段が人物等の動体を認識した画像にはモザイクをかけて受信端末装置に送信するので、送信過程でデータが盗まれた場合でもプライバシーを保護できる。また、平均化（リサイズ）された少ない画素で構成された画像を基にカメラが撮像した被写体に動きがあったか否かを認識するので、平均化された少ない画素数で動体検知を行うことになり、動体検知にかかる処理時間を短縮することができる。

本発明の請求項５の発明は、ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、カメラが撮像した撮像画像を構成する画素数を減らす平均化手段と、平均化された被写体画像の中に動体が含まれる否かを認識する動体認識手段と、動体を含む撮像画像を符号化する際に使用する係数が記憶された符号化テーブルと、符号化テーブルに基づいて動体を含む撮像画像を符号化する符号化手段と、動体認識手段が動体を認識した場合、符号化テーブルの係数をモザイク処理のための所定の係数へこの書き換られた係数に基づいて動体を含む撮像画像を符号化させることで撮像画像にモザイクをかけ受信端末装置に送信する制御手段と、を具備したことを特徴とするネットワークカメラ装置である。この構成によって、ネットワークカメラ装置が撮像した画像を受信端末装置に送信してセンター装置で撮像画像を管理する場合、動体認識手段が人物等の動体を認識した画像にはモザイクをかけて受信端末装置に送信するので、送信過程でデータが盗まれた場合でもプライバシーを保護できる。また、平均化（リサイズ）された少ない画素で構成された画像を基にカメラが撮像した被写体に動きがあったか否かを認識するので、平均化された少ない画素数で動体検知を行うことになり、動体検知にかかる処理時間を短縮することができる。更に、動体認識手段が動体を認識した場合、符号化テーブルの係数を書き換えて書き換えられた係数に基づいて画像にモザイクをかけることより、送信中には人物の肖像にはモザイクがかかりプライバシー保護を図ることができると共に、受信端末装置側で受信した後は符号化テーブルの書き換えられた係数を元に戻すことでモザイクを取ることができるので、受信端末装置側では係数を書き換えるという簡易な方法で画像を再現できる。

本発明の請求項６の発明は、請求項１、３、４又は５の形態に従属する形態であって、制御手段は、モザイクをかける際、動体を含む撮像画像をＪＰＥＧ符号化方式にて符号化し、符号化データを構成する符号ブロックのＤＣ成分を有効としＡＣ成分を０とした符号化テーブルと符号化データとを受信端末装置に送信することを特徴とする請求項記載のネットワークカメラ装置である。この構成により、モザイクをかける際、動体を含む撮像画像をＪＰＥＧ符号化方式にて符号化して、符号化データを構成する符号ブロックのＤＣ成分を有効としＡＣ成分を０とした符号化テーブルを送信することにより、送信中には人物を含む画像にはモザイクがかかりプライバシー保護を図ることができると共に、受信端末装置で受信した後は符号化テーブルのＡＣ成分に所定の係数を入れることでモザイクをとることができる。従って、送信過程におけるデータの機密性を確保すると共に、受信端末側では簡易な方法で画像を再現できる。

本発明の請求項７の発明は、請求項１、３、４、５、又は６の形態に従属する形態であって、制御手段は、制御手段は、符号化データを復号化する旨のコマンドを受信端末装置へ送信する送信手段を有することを特徴とするネットワークカメラ装置であり、符号化データを復号化する旨のコマンドを受信端末装置へ送信する送信手段を有することにより、符号化されたデータをモザイクの無い画像に変えることができるので、必要に応じて適宜、モザイクの無い撮像画像を得ることができる。

本発明の請求項８の発明は、請求項１、３、４、５、６又は７の形態に従属する形態であって、制御手段は、動体を検知してから一定の時間の間、動体検知を継続して行うための時間を設定できることを特徴とするネットワークカメラ装置であり、動体認識手段が動体を認識した場合、動体を検知してから一定の時間の間、動体検知を継続して行うための時間を設定できることにより、検知動体が一定時間動かない場合があっても、動体でないと誤検知するようなことが無いので、動体を正確に検知することができる。

本発明の請求項９の発明は、ネットワークを介して請求項１〜８のいずれか９の形態に従属する形態のネットワークカメラ装置と接続できるネットワークインターフェースと、ネットワークカメラ装置から送信された符号化テーブルと符号化データとを受信し、入力部から画像復元要求があった場合は、受信した符号化テーブル内のＡＣ成分の係数をモザイク処理を行わないときの所定の係数へ書き換え、この書き換えられた符号化テーブルに基づいて符号化データを復号化し、また画像復元要求がなかった場合は、受信した符号化テーブルに基づいてそのまま符号化データを復号化する制御手段と、復元された画像データに基づいて画像を表示する画像表示手段とを具備したことを特徴とする受信端末装置である。この構成によって、ネットワークカメラ装置が撮像した画像を受信端末装置で管理でき、ネットワークカメラ装置が動体を認識しモザイク処理された画像を受信したときには、画像復元要求を入力することで鮮明な画像に復元できるし、画像復元要求を入力しなければそのままモザイク画像を表示することができ、送信過程でデータが盗まれた場合でもプライバシーを保護できる。符号化テーブルの書き換えられた係数を元に戻すことでモザイクを取ることができるので、係数を書き換えるという簡易な方法で画像を再現できる。

本発明の請求項１０の発明は、請求項９の形態に従属する形態であって、センター装置としてネットワークカメラ装置からの撮像画像を集中して管理することを特徴とする受信端末装置である。この構成によって、ネットワークカメラ装置をセンター装置で集中管理するネットワークシステムであっても、プライバシー保護を図ることができ、センター装置で受信した後は係数を書き換えるという簡易な方法でモザイクを取ることができるので、管理が容易になる。

（実施例１）
本発明の実施例１におけるネットワークカメラ装置と受信端末装置について説明する。図１は本発明の実施例１におけるネットワークカメラシステムの構成図、図２は本発明の実施例１におけるネットワークカメラの構成図である。図３（ａ）はモザイク処理を行わない正規の量子化テーブルを示す図、（ｂ）はモザイク処理を行うときの量子化テーブルを示す図であり、図４は正規の量子化テーブルで量子化を行った場合の写真を示す図、図５は図３（ｂ）のＤＣ成分だけの量子化テーブルで量子化を行った場合の写真を示す図であり、図６はＪＰＥＧフォーマットのパケット構成の説明図、図７は本発明の実施例１における受信端末装置の内部構成を説明する構成図である。

図１において、１はネットワークカメラ装置、２はネットワークカメラ装置１が設置された店舗や会議室等の設置空間、３はネットワークカメラ装置１が接続されるインターネット、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワーク、４はネットワークカメラ装置１を使って設置空間２内の状況をモニタリングするセンター装置である。このネットワークカメラ装置１は画像サーバとしての機能を備え、ネットワーク３に接続されたとき、ネットワーク３側からカメラのパン／チルト等の遠隔操作が可能になっている。また、ネットワークカメラ装置１は人間等の動体が撮像されたときには鮮明な画像の送信を止め、モザイク処理された画像を送信する。そして、センター装置４はこの鮮明な画像の閲覧が制限されてモザイク画像を表示せざるをえない場合も、オペレータの選択によりこの画像を元の鮮明な画像に戻して表示できる。

４ａはネットワーク３に接続され、センター装置４のほかにネットワークカメラ装置１の画像を閲覧できる受信端末装置である。なお、受信端末装置４ａの有無はネットワークシステムの設計次第で、センター装置４だけで集中管理するようなシステムでは受信端末装置４ａは設けられない。また、受信端末装置４ａを設けたシステムであっても、すべてで閲覧可能になるわけではなく、特別に権限が与えられなければ元の鮮明な画像を閲覧することは制限される。制限時にはモザイク画像を表示できるだけである。しかし、その権限が与えられた場合、受信端末装置４ａはセンター装置４と同様にモザイク画像を元の鮮明な画像に復元して表示できる。本発明の受信端末装置は、センター装置４やこのような権限がある受信端末装置４ａを含む。

続いて、図２に基づいて特にネットワークカメラ装置１の内部構成について説明する。図２は図１のネットワークカメラの構成を詳細にするもので、図２に示す１１はＣＣＤ等の撮像素子を搭載した撮像手段（本発明のカメラ）であり、光電変換によって得られた画像情報信号を出力する。１２は画像生成部であって、詳細には図示はしないが、画像情報信号を輝度信号／色信号（例えば、Ｙ／Ｃｂ，Ｃｒ）に分離し、所定の信号処理を施し、ＪＰＥＧフォーマット（本発明のＪＰＥＧ符号化方式）で圧縮された画像データを出力する。

この画像生成部１２にはＪＰＥＧフォーマットで圧縮するため次の構成が設けられている。１２ａは１フィールドの画像を８×８の６４画素のブロックでＮ個に分割するブロック分割部であり、１２ｂはブロック分割部１２ａによって分割されたＮ個の各ブロックの画像を離散コサイン（以下、ＤＣＴ）変換するＤＣＴ変換部である。これにより各ブロックの画像は周波数成分に分けられ、各ブロックごとに６４個のＤＣＴ係数が得られる。

次に、１２ｃは高周波成分を減らしてＤＣＴ係数の値を１／８の８ビットに圧縮する量子化部、１２ｄは量子化部１２ｃが圧縮を行うときに使用する量子化テーブルを格納した量子化テーブル部である。図３（ａ）は量子化テーブルの一例を示す。量子化に当っては、量子化部１２ｃがこの量子化テーブルを参照し、該量子化テーブルの各要素の値でＤＣＴ係数を割ることにより、量子化されたＤＣＴ係数を得る。これによってデータ量としては高周波成分が圧縮されたことになるが、視覚的な画像の劣化はほとんど生じない。１２ｅは量子化したＤＣＴ係数をハフマン符号に変換する符号化部である。符号化部１２ｅはハフマン符号化処理後のＪＰＥＧ画像フォーマットデータ（以下、ＪＰＥＧデータ）を出力する。実施例１の量子化部１２ｃと符号化部１２ｅが本発明の符号化手段に相当する。

さらに図２において、１３は画像生成部１２で圧縮されたＪＰＥＧデータをネットワーク３に伝送するためのネットワークインターフェース、１４はパケットを送るための送信先アドレス等の接続先情報を格納した接続先情報記憶手段である。また、１５は画像生成部１２で圧縮されたＪＰＥＧデータを蓄積する画像データ蓄積手段であり、１６はＪＰＥＧデータをどのような条件で画像データ蓄積手段１５に録画するかを設定した蓄積設定情報記憶手段である。この蓄積設定情報記憶手段１６に画像生成部１２は動体検知を継続して行うことが可能な時間を設定することができる。これにより、動体認識手段１７（後述する）が動体を認識したとき、動体を検知してから一定時間、動体検知を継続して行うことができ、検知動体が一定時間動かない場合があっても、動体でないと誤検知するようなことがないので、動体を正確に検知することが可能になる。

このネットワークインターフェース１３は、ネットワーク３を介してセンター装置４や受信端末装置４ａから画像取得要求が着信すると、接続先情報記憶手段１４にその送信元を特定する情報を取得して、ログイン可能の判定後に通信可能状態にし、実時間の画像を要求している場合には画像生成部１２から出力された実時間画像のＪＰＥＧデータを、また、蓄積画像を要求している場合は画像データ蓄積手段１５に録画された画像のＪＰＥＧデータを、その復元に必要な量子化テーブルと共に取り出し、さらに、接続先情報記憶手段１４から送信先アドレスを読み出して、これを基にヘッダを生成して付加し、所定のプロトコルで送信パケットを生成して送信する。

さて、図２の説明に戻って、１７は撮像手段１１が取得した画像情報信号の中に動く存在（以下、動体）があれば検出する動体認識手段である。動体認識手段１７は、画像のビット数を例えば３２０×２４０画素を１６０×１２０の画素に減らす平均化手段（図示しない）によって動体検知用にリサイズ（低解像度化）された画像データと、例えば１フィールドまたは２フィールド以上前のリサイズされた過去の画像データとの差分を演算することにより、カメラ前に動体が存在するか否かを判定する。リサイズされたビット数の少ない画像データの差分を演算するので、演算量が減って処理が簡単になり、動体検知に要する処理時間が短くなる。

続いて、１８は動体認識手段１７が動体の存在を認識したときにはＤＣ成分だけを有効とする量子化テーブルを使って量子化するように制御する量子化テーブル制御手段である。図３（ａ）で示す量子化テーブルはモザイク処理を行わない正規の量子化テーブルであるが、図３（ｂ）に示す量子化テーブルはモザイク処理を行うときの量子化テーブルである。

そこで、図３（ａ），（ｂ）に基づいてこのモザイク処理を行う量子化テーブルについて説明する。本来のＪＰＥＧデータを得るためには受信端末装置側で、図３（ａ）に示すような量子化テーブルで量子化を行う必要がある。この量子化テーブルは、ＤＣ（直流）成分とＡＣ（交流）成分の２種類の成分から構成される。図３（ａ）に示す「ＤＣ」がＤＣ成分を示す値であり、このブロックの平均的な輝度を表す。これに対し、「ＡＣ」は周波数成分をもったＡＣ成分を示す値であり、ＤＣ成分から離れるに従って周波数が増加して高周波となる。すべての数字は１６進数で表記したものである。中でも１６進数の「００」はこれを成分にもつＡＣ成分が１０進数で０であることを示す。

図３（ｂ）に示す量子化テーブルは図３（ａ）の量子化テーブルの全ＡＣ成分をすべて０とし、ＤＣ成分だけで６４画素の１ブロックを表示する量子化テーブルである。従って、受信端末装置側で図３（ｂ）の量子化テーブルを使うと、１フィールドの画像がブロックでＮ個に分割されていれば、Ｎ個のブロックがそれぞれ平均的な輝度で表わされたモザイク画像で表示されることになる。

図４は正規の量子化テーブルで量子化を行った場合の一例を示す写真であり、図５は実施例１のＡＣ成分をすべて０としＤＣ成分だけを有効とした量子化を行ったモザイク画像の写真である。移動する人物が検出されるまでは図４の動くとは判定されないものが鮮明な画像で撮影されているが、この人物が画面内に入ってくると、この動体検知をトリガに図５のようなモザイク画像に切り換わる。モザイク画像は全体的な印象でこの画像が人物であることまでは認識できるが、誰かは分からないものである。

さて、動体認識手段１７は動体検知のためにリサイズされた過去と現在の画像データの差分が０の場合には動体なしと判断し、図３（ａ）の正規の量子化テーブルで量子化したＪＰＥＧデータをこの量子化テーブルと共に送信する。また、この差分が０でなければ動体ありと判断して、量子化テーブル制御手段１８が量子化テーブルをＤＣ成分だけの量子化テーブルに変更し、ネットワークインターフェース１３によって正規のＪＰＥＧデータとこのＤＣ成分だけの量子化テーブルと共に送信する。量子化テーブルの変更は置換するのでも、ＡＣ成分を書き換えるのでもよい。

図６はこのＪＰＥＧデータを送信するときのＪＰＥＧフォーマットによるパケット構成を説明するものである。アドレスやプロトコル等を記述したヘッダの後に１６ビットのマーカコードとサイズ情報、可変長のデータから構成されたマーカが複数配置され、マーカコードＦＦＤ８が配置されるとイメージファイルの先頭を示す「ＳＯＩ」であり、その後に、幾つかのマーカが設けられる。そのうちマーカコード「ＦＦＤＢ」が配置されると「ＤＱＴ」の量子化テーブル定義域となり、ここに上述のデータ６４個のデータからなる量子化テーブルが定義される。６４個のデータの先頭がＤＣ成分のデータとなる。ハフマンテーブルを定義したＤＨＴ、ＳＯＦ０等のマーカの後、マーカコードＦＦＤＡの「ＳＯＳ」の画像データが続き、その後に画像データの終端を示すＥＯＩが置かれる。なお、ヘッダには図示しないが、ＪＰＥＧフォーマット内の「ＤＱＴ」で定義された量子化テーブルを使ってＪＰＥＧデータを復元する旨のオペレーションコード（本発明のコマンド）が書き込まれている。

続いて、図７に基づいてセンター装置４や受信端末装置４ａの内部構成について説明する。図７に示すように、２１はネットワーク３を介して通信を行うネットワークインターフェースであり、ネットワークインターフェース２１はネットワーク３を介してネットワークカメラ装置１に画像取得要求を送信し、これからＪＰＥＧデータを受信する。２２はこのＪＰＥＧデータを伸長して復号化する画像復元部である。

画像復元部２２にはＪＰＥＧ伸長のため次の構成が設けられている。２２ａはハフマン符号化されたＪＰＥＧデータを伸長する伸長部、２２ｂはこのＪＰＥＧデータを量子化テーブルの要素を掛けて高周波成分が復元された８倍のデータに戻す量子化部、２２ｃはこの復元に際して使用する量子化テーブルを格納した量子化テーブル部である。２２ｄは量子化テーブル部２２ｃの量子化テーブルを使ってＤＣＴ係数を各ブロックの画素値に変換する逆ＤＣＴ変換部であり、２２ｅは逆ＤＣＴ変換部２２ｄによって得られた各ブロックの画素値から原画像若しくは原画に近い復元画像に復元する復号化部である。

次に、図７において、２３は復元した画像を表示するための画像表示手段であり、図示されていないディスプレーに画像を表示する。また、２４はネットワークインターフェース２１がネットワークカメラ装置１に画像取得要求を送信するとき参照する接続先情報記憶手段であり、２５は量子化部１２ｃが画像を復元するとき使用する量子化テーブルを切り換える量子化テーブル制御手段、２６は復元した画像がモザイク処理された画像の場合にセンター装置４や受信端末装置４ａのオペレータが元の鮮明な画像を要求するために復元要求を入力するための入力部である。

このようにセンター装置４や受信端末装置４ａは上記した構成を有しているので、ネットワーク３を介してネットワークカメラ装置１に画像取得要求を行って、ネットワークカメラ装置１からＪＰＥＧデータを受信すると、画像復元部２２において伸長部２２ａでデータを伸長し、場合によりＡＣ成分を含む正規の量子化テーブルあるいはＤＣ成分だけの量子化テーブルを使い分けて、量子化部２２ｂでＤＣＴ係数に戻し、逆ＤＣＴ変換部２２ｄでこのＤＣＴ係数を各ブロックの画素値に変換し、モザイクがある画像とモザイクがない復元画像に復元する。

すなわち、ネットワークカメラ装置１が動体検知したときに受信したパケットには、ＪＰＥＧフォーマット内にオペレーションコードと「ＤＱＴ」で定義された図３（ｂ）のＤＣ成分だけの量子化テーブル、図３（ａ）の量子化テーブルで量子化されたＪＰＥＧデータが格納されており、これに従って処理された画像は図５のようなモザイクのかかった画像となる。これに対し、動体検知されないときに受信した画像は、ＪＰＥＧフォーマット内に図３（ａ）のＡＣ成分を含む正規の量子化テーブル、ＪＰＥＧデータが格納されており、そのオペレーションコードに従って処理された画像は図４のような鮮明な画像となる。

しかし、センター装置４や受信端末装置４ａのオペレータが図３（ｂ）の量子化テーブルで量子化されたモザイクのかかった画像をみて、より鮮明な画像の表示をみたいと思ったときは、入力部２６からその旨を入力する。オペレータの操作によって画像復元要求が入力されると、画像復元部２２は、受信したＪＰＥＧフォーマット内の量子化テーブルにＡＣ成分がないことを確認し、ＡＣ成分がないと確認できた場合には、別途量子化テーブル部２２ｃに格納されている図３（ａ）のＡＣ成分を含む正規の量子化テーブルを参照し、この量子化テーブルをこの正規の量子化テーブルに変更して、別途格納されていた量子化テーブルでＪＰＥＧデータを伸長する。これによりモザイクのかかっていない鮮明な画像に復元される。なお、ＡＣ成分を含む正規の量子化テーブルは、予めセンター装置４や受信端末装置４ａに通知され、量子化テーブル部２２ｃに格納されている必要がある。

続いて、実施例１のネットワークカメラ装置の処理と、センター装置４や受信端末装置４ａの処理についてフローチャートを基に説明する。

図８は本発明の実施例１におけるネットワークカメラ装置での処理のフローチャート、図９は本発明の実施例１におけるセンター装置または受信端末装置での処理のフローチャートである。

まず、ネットワークカメラ装置で行われる処理について説明する。図８に示すように、撮像した画像を取り込む（ｓｔｅｐ１）。続いて、ＡＣ成分を含む量子化テーブルでＪＰＥＧフォーマットに圧縮し、併せて画像データをリサイズして動体検出処理を行う（ｓｔｅｐ２）。

次に、この処理で動体を検出できたか否かを判定し（ｓｔｅｐ３）、動体を検出できた場合はＪＰＥＧフォーマット内の量子化テーブルをＤＣ成分だけの量子化テーブル（ＡＣ成分０）に変更し（ｓｔｅｐ４）、蓄積設定情報を確認する（ｓｔｅｐ５）。ｓｔｅｐ３において動体を検出できなかった場合には、直接蓄積設定情報を確認する（ｓｔｅｐ５）。蓄積設定情報の有無が判定され（ｓｔｅｐ６）、蓄積設定情報がある場合は圧縮した画像データの蓄積処理を行い（ｓｔｅｐ７）、蓄積設定情報がない場合は直接ｓｔｅｐ８へ進む。

ｓｔｅｐ８において、センター装置等の要求を確認し（ｓｔｅｐ８）、その要求が実時間画像を要求したものか否かが判定される（ｓｔｅｐ９）。実時間画像を要求している場合には、動体を検出した場合はＤＣ成分だけの量子化テーブル、動体を検出しなかった場合はＡＣ成分を含む正規の量子化テーブルと共に、実時間のＪＰＥＧ画像フォーマットデータをネットワークインターフェースへ出力し（ｓｔｅｐ１０）、実時間画像を要求していない場合には、蓄積画像を要求したものか否かが判定される（ｓｔｅｐ１１）。

ｓｔｅｐ１１において蓄積画像を要求している場合、蓄積画像の有無が確認され（ｓｔｅｐ１２）、蓄積画像があれば、動体を検出した場合はＤＣ成分だけの量子化テーブル、動体を検出しなかった場合はＡＣ成分を含む正規の量子化テーブルと共に、蓄積ＪＰＥＧ画像フォーマットデータをネットワークインターフェースへ出力し（ｓｔｅｐ１３）、蓄積画像がなければその旨をセンター装置等に通知するためｓｔｅｐ１４に進む。ｓｔｅｐ１０とｓｔｅｐ１３の後、ネットワークインターフェースはセンター装置等のアドレスを読み出し、送信処理を行う（ｓｔｅｐ１４）。その後、画像の連続送信に必要があるか確認され（ｓｔｅｐ１５）、連続送信する場合はｓｔｅｐ１に戻り、連続送信の必要がない場合は終了する。

続いて、センター装置４や受信端末装置４ａで行われる処理について説明する。図９に示すように、ネットワークカメラ装置１のアドレスを取得し、画像要求送信処理を行う（ｓｔｅｐ２１）。ネットワークカメラ装置１から応答を受信するまで受信データの確認を行って（ｓｔｅｐ２２）、その有無をチェックし（ｓｔｅｐ２３）、受信があるまで待機する。

ｓｔｅｐ２３においてデータが受信された場合は、オペレータによる画像復元要求の確認を行い（ｓｔｅｐ２４）、画像復元要求の入力の有無が判定され（ｓｔｅｐ２５）、要求があった場合はＪＰＥＧフォーマット内の量子化テーブルのＡＣ成分の確認を行い（ｓｔｅｐ２６）、ＡＣ成分が０であるか否かを判定し（ｓｔｅｐ２７）、ＡＣ成分が０の場合はＪＰＥＧフォーマット内の量子化テーブルを量子化テーブル部２２ｃに格納されているＡＣ成分を含む正規の量子化テーブルに変更する（ｓｔｅｐ２８）。変更した量子化テーブルまたはｓｔｅｐ２７においてＡＣ成分が０でない場合はＪＰＥＧフォーマット内の量子化テーブルでＪＰＥＧ伸長を行う（ｓｔｅｐ２９）。

伸長された画像データを画像表示処理し（ｓｔｅｐ３０）、画像要求を確認し（ｓｔｅｐ３１）、連続取得であればｓｔｅｐ２１に戻り（ｓｔｅｐ３２）、連続取得でなければ終了する。

このように実施例１のネットワーク装置は、ネットワークカメラ装置が撮像した画像をセンター装置及び／または受信端末装置に送信してセンター装置及び／または受信端末装置でこの画像を管理する場合、動体認識した画像にはモザイク処理を行うことにより、人物等の画像にはモザイクをかけて送信することができ、送信過程でデータが盗まれた場合でもプライバシーを保護し、データの機密性を確保することができる。ユーザはＪＰＥＧの内容は知らなくてもモザイクをかけて送信し、モザイクのまま見たり、モザイクを復元したりできる。

また、実施例１のセンター装置及び／または受信端末装置は、モザイク処理を施された画像を受信したとき、オペレータが要求すれば簡易な方法でモザイクを除いた鮮明な画像に再現でき、管理権限が与えられたセンター装置及び／または受信端末装置だけは必要に応じて撮影された人物を判定することができる。

本発明は、被写体を撮像し動体と認識できた場合はモザイク処理を施した画像を受信端末装置に配信するネットワークカメラ装置と、それを受信して必要に応じてモザイク処理を除いた画像に切り換えることが可能な受信端末装置に適用できる。

本発明の実施例１におけるネットワークカメラシステムの構成図 本発明の実施例１におけるネットワークカメラの構成図 （ａ）モザイク処理を行わない正規の量子化テーブルを示す図、（ｂ）モザイク処理を行うときの量子化テーブルを示す図 正規の量子化テーブルで量子化を行った場合の画像を示す図 図３（ｂ）のＤＣ成分だけの量子化テーブルで量子化を行った場合の画像を示す図 ＪＰＥＧフォーマットのパケット構成の説明図 本発明の実施例１における受信端末装置の内部構成を説明する構成図 本発明の実施例１におけるネットワークカメラ装置での処理のフローチャート 本発明の実施例１におけるセンター装置または受信端末装置での処理のフローチャート

符号の説明

１ ネットワークカメラ装置
２ 設置空間
３ ネットワーク
４ センター装置
４ａ 受信端末装置
１１ 撮像手段
１２ 画像生成部
１２ａ ブロック分割部
１２ｂ ＤＣＴ変換部
１２ｃ 量子化部
１２ｄ 量子化テーブル部
１２ｅ 符号化部
１３ ネットワークインターフェース
１４ 接続先情報記憶手段
１５ 画像データ蓄積手段
１６ 蓄積設定情報記憶手段
１７ 動体認識手段
１８ 量子化テーブル制御手段
２１ ネットワークインターフェース
２２ 画像復元部
２２ａ 伸長部
２２ｂ 量子化部
２２ｃ 量子化テーブル部
２２ｄ 逆ＤＣＴ変換部
２２ｅ 復号化部
２３ 画像表示手段
２４ 接続先情報記憶手段
２５ 量子化テーブル制御手段
２６ 入力部

Claims (10)

1. ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、前記カメラが動体を撮像したか否かを認識する動体認識手段と、前記動体認識手段が動体を認識した場合、前記動体を含む撮像画像にモザイクをかけて前記受信端末装置に送信する制御手段とを具備したことを特徴とするネットワークカメラ装置。
2. 前記受信端末装置のアドレス情報を格納する記憶手段を有し、前記制御手段は前記アドレス情報に基づいて前記受信端末装置に送信することを特徴とする請求項１記載のネットワークカメラ装置。
3. 前記制御手段は、前記動体認識手段が動体を認識する毎に、撮像画像を更新してモザイクをかけて前記受信端末装置に送信することを特徴とする請求項１記載のネットワークカメラ装置。
4. ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、前記カメラが撮像した被写体画像を構成する画素数を少なくする平均化手段と、前記平均化された被写体画像の中に動体が含まれるか否かを認識する動体認識手段と、前記動体を認識した場合、前記動体を含む撮像画像にモザイクをかけて前記受信端末装置に送信する制御手段とを具備したことを特徴とするネットワークカメラ装置。
5. ネットワークを介して受信端末装置と接続されるインターフェースと、被写体を撮像するカメラと、前記カメラが撮像した撮像画像を構成する画素数を減らす平均化手段と、前記平均化された被写体画像の中に動体が含まれるか否かを認識する動体認識手段と、前記動体を含む撮像画像を符号化する際に使用する係数が記憶された符号化テーブルと、前記符号化テーブルに基づいて前記動体を含む撮像画像を符号化する符号化手段と、前記動体認識手段が動体を認識した場合、前記符号化テーブルの係数をモザイク処理のための所定の係数へ書き換えてこの書き換られた係数に基づいて前記動体を含む撮像画像を符号化させることで前記撮像画像にモザイクをかけ前記受信端末装置に送信する制御手段と、を具備したことを特徴とするネットワークカメラ装置。
6. 前記制御手段は、モザイクをかける際、前記動体を含む撮像画像をＪＰＥＧ符号化方式にて符号化し、前記符号化データを構成する符号ブロックのＤＣ成分を有効としＡＣ成分を０とした符号化テーブルと前記符号化データとを前記受信端末装置に送信することを特徴とする請求項１、３、４又は５記載のネットワークカメラ装置。
7. 前記制御手段は、前記符号化データを復号化する旨のコマンドを前記受信端末装置へ送信する送信手段を有することを特徴とする請求項１、３、４、５、又は６記載のネットワークカメラ装置。
8. 前記制御手段は、動体を検知してから一定の時間の間、動体検知を継続して行うための時間を設定できることを特徴とする請求項１、３、４、５、６又は７記載のネットワークカメラ装置。
9. ネットワークを介して請求項１〜８のいずれかに記載されたネットワークカメラ装置と接続できるネットワークインターフェースと、前記ネットワークカメラ装置から送信された符号化テーブルと符号化データとを受信し、入力部から画像復元要求があった場合は、受信した符号化テーブル内のＡＣ成分の係数をモザイク処理を行わないときの所定の係数へ書き換え、この書き換えられた符号化テーブルに基づいて前記符号化データを復号化し、また画像復元要求がなかった場合は、受信した符号化テーブルに基づいてそのまま前記符号化データを復号化する制御手段と、復元された画像データに基づいて画像を表示する画像表示手段とを具備したことを特徴とする受信端末装置。
10. センター装置としてネットワークカメラ装置からの撮像画像を集中して管理することを特徴とする請求項９記載の受信端末装置。