JP2009188792A - 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム - Google Patents

Abstract

【課題】画像の伝送・蓄積容量を削減しつつ、重要な領域は高画質に復元できる画像送受信システムを提供すること。
【解決手段】本発明は、画像の中から予め設定された条件に合致する注目領域を検出する領域検出部１２と、画像の解像度を低下させる処理を行うにあたり、領域検出部１２で検出した注目領域でない画像についてはローパスフィルタを介した画像を選択し、注目領域の画像についてはローパスフィルタを介さない画像を選択する解像度変換部１３と、解像度変換部１３で解像度を低下した画像および注目領域の位置情報を送信先に送信する送信部１５とを備える画像送信装置である。また、本発明は、画像送信装置から送られてくる画像のうち位置情報から得られる注目領域については解像度を高める高画質化処理を施す解像度復元部と、解像度復元部で処理された注目領域の画像と注目領域でない画像とを合成する合成部とを備える画像受信装置である。
【選択図】図１

Description

本発明は、画像を注目領域とそれ以外の領域とに判別して異なる処理を施し送信する画像送信装置および画像送信装置から送られた注目領域の画像とそれ以外の領域の画像とを受信して合成する画像受信装置、画像送信装置と画像受信装置とを備える画像送受信システムならびに画像送信プログラム、画像受信プログラムに関する。

監視カメラシステムでは、従来から使われてきたアナログカメラシステムに替わって、ネットワーク伝送を用いたＩＰ（Internet Protocol）カメラシステムが使われるようになってきた。ＩＰ化することによって遠隔地からの監視が可能になったり、大規模なシステムが構築できるようになったが、システムの規模が大きくなるに従って、伝送容量(帯域)の増大と記録(ストレージ)容量の増大が大きな課題となっている（特許文献１〜３参照）。

図１０に従来の監視カメラ（ＩＰ出力方式）のブロック図を示す。レンズＬを介してＣＣＤまたはＣＭＯＳセンサで撮像された映像は、信号処理部５１を通りデジタル画像データになる。この画像データを圧縮装置（Ｃｏｄｅｃ）５３に送り、圧縮された結果を画像データとしてネットワークに配信する。図１０では重要領域を検出する手法として、Intelligence５２と書かれたブロックで重要な領域を抽出する。この手法の例としては動体検知がある。通常は、図１０のように画像は圧縮装置（Ｃｏｄｅｃ）５３で圧縮され、同時に画像を動体検知のようなIntelligence処理を通して、たとえば侵入者などを検知しアラームを発報したり、その領域をメタデータとして出力する。

特に最近では、高画素のＣＣＤ／ＣＭＯＳ画像センサを用い、従来のアナログ監視カメラで用いていたテレビフォーマットに依存せずに、高解像度で撮影することも可能になってきている。対象物を高解像度で撮影することにより、監視エリアを従来より広範囲に設定したり、より詳細に物体を確認したりすることが可能となる。しかしながら画像解像度が増えれば、それに比例して情報量が増えるため、伝送容量・記憶容量がより多く必要となり、システム構築を行う上での負担となる。

そこで、高解像度で撮影する場合は、その情報量の増大による負担をできるだけ軽減する観点から、データ量の削減が必要となっている。例えば、画像のデータ量を削減する方法として、従来から画像圧縮（コーデック）の圧縮率を上げてデータ量を少なくする方法、画像を縮小する方法がある。

特開２００６−１４５９４４号公報 特開２００７−１０８４４７号公報 特開平１１−２５２４２８号公報

しかし、画像圧縮の圧縮率を上げてデータ量を削減する方法では、高解像度画像で撮影したメリットを十分に生かすことはできず画質の劣化が生じる。

一般に高解像度で撮影しても、例えば広い範囲を監視したい場合は、本来監視したい領域以外に不要な領域も同時に見えてしまったり、あるいは従来よりも解像度を上げて見たい場合でも、同時にそれほど解像度を必要としない領域も高解像度に見えてしまうことが生じる。

特に、広視野の撮影を行う場合に、監視画像において重要な領域は画像全体に対して少ないことが多い。例えば、侵入者を監視する場合には、その侵入者だけ高解像度に見るもしくは記録できれば良く、変化しない領域や背景などは詳細に確認できる必要は無い。すなわち、画像センサの解像度が上がったとしても、重要な領域のみ解像度を保持し、それ以外の領域（例えば、背景領域）は解像度を下げて伝送・記録しても何ら問題はなく、むしろ伝送容量・記録容量の削減につながり利点が多い。

領域毎に解像度を変える方法としては、高解像度の画像に対して重要でない領域はローパスフィルタをかけて、重要な領域はローパスフィルタをかけずに伝送する方法がある。この場合、ローパスフィルタをかけた領域は圧縮装置(コーデック)によって、高周波成分が少なくなっていることから圧縮率が上がり、結果としてデータ量削減になる。しかし画像の解像度は元の解像度のままなので、大幅なデータ量の削減にはならない。

よって、本発明は、画像の伝送・蓄積容量を削減しつつ重要領域に対して解像度の向上を図ることができる技術を提供することを目的とする。

本発明は、画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、画像の解像度を低下させる処理を行うにあたり、領域検出手段で検出した注目領域でない画像についてはローパスフィルタを介した画像を選択し、注目領域の画像についてはローパスフィルタを介さない画像を選択する解像度変換手段と、解像度変換手段で解像度を低下した画像および注目領域の位置情報を送信先に送信する送信手段とを備える画像送信装置である。

このような本発明では、画像の解像度を低下させて伝送・蓄積容量の削減を図りつつ、画像の中の注目領域についてはローパスフィルタを介さず解像度低下したものを送信し、注目領域以外についてはローパスフィルタを介して解像度低下したものを送信するため、注目領域についてはローパスフィルタを介さない画像によって受信側での高解像度変換を可能にしている。

また、本発明は、画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、画像の解像度を低下させる処理を行うにあたり、領域検出手段で検出した注目領域の画像と注目領域でない画像とでローパスフィルタの特性を切り換えて処理を行う解像度変換手段と、解像度変換手段で解像度を低下した画像および注目領域の位置情報を送信先に送信する送信手段とを備える画像送信装置である。

このような本発明では、画像の解像度を低下させて伝送・蓄積容量の削減を図りつつ、画像の中の注目領域とそれ以外の領域についてローパスフィルタの特性を切り換えることから、注目領域以外についてはデータ量を削減し、注目領域については受信側での高解像度変換を可能にした画像を送信できるようになる。

また、本発明は、画像送信装置から送られてくる画像と注目領域の位置情報とを受信する受信手段と、受信手段で受信した画像のうち位置情報から得られる注目領域については解像度を高める高画質化処理を施す解像度復元手段と、解像度復元手段で処理された注目領域の画像と注目領域でない画像とを合成する合成手段とを備える画像受信装置である。

このような本発明では、画像送信装置から送られてくる画像と注目領域の位置情報とを用い、注目領域については解像度を高める高画質化処理を施すことができ、注目領域以外については少ないデータ量での処理を行うことができるようになる。

また、本発明は、画像送信装置から画像受信装置へ画像を送信する画像送受信システムにおいて、画像送信装置が、画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、画像の解像度を低下させる処理を行うにあたり、領域検出手段で検出した注目領域でない画像についてはローパスフィルタを介した画像を選択し、注目領域の画像については前記ローパスフィルタを介さない画像を選択する解像度変換手段と、解像度変換手段で解像度を低下した画像および注目領域の位置情報を送信先に送信する送信手段とを備え、画像受信装置が、画像送信装置から送られてくる画像と注目領域の位置情報とを受信する受信手段と、受信手段で受信した画像を拡大する拡大手段と、受信手段で受信した画像のうち位置情報から得られる注目領域について解像度を高める高画質化処理を施す解像度復元手段と、解像度復元手段で処理された注目領域の画像と拡大手段で拡大された画像とを合成する合成手段とを備えるものである。

このような本発明では、画像送信装置からは、画像の解像度を低下させて伝送・蓄積容量の削減を図りつつ、画像の中の注目領域についてはローパスフィルタを介さず解像度低下したものを送信し、注目領域以外についてはローパスフィルタを介して解像度低下したものを送信するため、画像受信装置では、注目領域についてローパスフィルタを介さない画像によって高画質化処理を施すことができるようになる。

また、本発明は、画像送信装置から画像受信装置へ画像を送信する画像送受信システムにおいて、画像送信装置が、画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、画像の解像度を低下させる処理を行うにあたり、領域検出手段で検出した注目領域の画像と注目領域でない画像とでローパスフィルタの特性を切り換えて処理を行う解像度変換手段と、解像度変換手段で解像度を低下した画像および注目領域の位置情報を送信先に送信する送信手段とを備え、画像受信装置が、画像送信装置から送られてくる画像と注目領域の位置情報とを受信する受信手段と、受信手段で受信した画像を拡大する拡大手段と、受信手段で受信した画像のうち位置情報から得られる注目領域について解像度を高める高画質化処理を施す解像度復元手段と、解像度復元手段で処理された注目領域の画像と拡大手段で拡大された画像とを合成する合成手段とを備えるものである。

このような本発明では、画像送信装置からは、画像の解像度を低下させて伝送・蓄積容量の削減を図りつつ、画像の中の注目領域とそれ以外の領域についてローパスフィルタの特性を切り換えることから、注目領域以外についてはデータ量を削減し、注目領域については画像受信装置で高画質化処理を施すことができるようになる。

また、本発明は、画像の中から予め設定された条件に合致する注目領域を検出するステップと、画像の解像度を低下させる処理を行うにあたり、検出した注目領域でない画像についてはローパスフィルタを介した画像を選択し、注目領域の画像についてはローパスフィルタを介さない画像を選択するステップと、解像度を低下した画像および注目領域の位置情報を送信先に送信するステップとをコンピュータによって実行させる画像送信プログラムである。

このような本発明では、画像の解像度を低下させて伝送・蓄積容量の削減を図りつつ、画像の中の注目領域についてはローパスフィルタを介さず解像度低下したものを送信し、注目領域以外についてはローパスフィルタを介して解像度低下したものを送信するため、注目領域についてはローパスフィルタを介さない画像によって受信側での高解像度変換を可能にしている。

また、本発明は、画像の中から予め設定された条件に合致する注目領域を検出するステップと、画像の解像度を低下させる処理を行うにあたり、検出した注目領域の画像と前記注目領域でない画像とでローパスフィルタの特性を切り換えて処理を行うステップと、解像度を低下した画像および注目領域の位置情報を送信先に送信するステップとをコンピュータによって実行させる画像送信プログラムである。

このような本発明では、画像の解像度を低下させて伝送・蓄積容量の削減を図りつつ、画像の中の注目領域とそれ以外の領域についてローパスフィルタの特性を切り換えることから、注目領域以外についてはデータ量を削減し、注目領域については受信側での高解像度変換を可能にした画像を送信できるようになる。

また、本発明は、画像送信装置から送られてくる画像と注目領域の位置情報とを受信するステップと、受信した画像のうち位置情報から得られる注目領域については解像度を高める高画質化処理を施すステップと、高画質化処理を施した注目領域の画像と注目領域でない画像とを合成するステップとをコンピュータによって実行させる画像受信プログラムである。

このような本発明では、画像送信装置から送られてくる画像と注目領域の位置情報とを用い、注目領域については解像度を高める高画質化処理を施すことができ、注目領域以外については少ないデータ量での処理を行うことができるようになる。

本発明によれば、画像の伝送・蓄積容量を削減しつつ、重要な領域は高画質に復元できることから、データ伝送のネットワーク負荷軽減とともに重要領域に対する解像度向上によって的確な監視業務を行うことが可能となる。

以下、本発明の実施の形態を図に基づき説明する。

＜画像送受信システム＞
図１は、画像送受信システムの構成を説明する模式図である。画像送受信システムは、画像の送信側機器と受信側機器とがネットワークＮを介して接続された構成であり、送信側機器としては、カメラＣおよびプロトコル変換装置１、送信機能付きカメラＣ１、送信機能付きコンピュータＰＣ１、受信側機器としては、レコーダ／ビューア２、受信機能付きコンピュータＰＣ２が挙げられる。

ここで、送信側機器には本実施形態の画像送信装置がハードウェア構成として設けられている。また、送信側機器には本実施形態の画像送信プログラムがソフトウェア構成として実装されこともある。受信側機器には本実施形態の画像受信装置がハードウェア構成として設けられている。また、受信側機器には本実施形態の画像受信プログラムソフトウェア構成として実装されることもある。

送信側機器の一つであるプロトコル変換装置１は、カメラＣで取り込んだ画像（静止画、動画を含む）をネットワークＮでのデータ転送プロトコルに合わせたデータ形式に変換し、送信を行うものである。プロトコル変換装置１に接続されるカメラＣはＲＧＢ出力やコンポジット出力、ＵＳＢ接続といった汎用のものを適用できる。

また、送信機能付きカメラＣ１は、ネットワークＮのプロトコルに対応した画像データを出力できる機能を備えたいわゆるＩＰカメラ（インターネットカメラ）であり、ネットワークルータやハブに直接接続して使用できるものである。

送信機能付きコンピュータＰＣ１は、一般的なパーソナルコンピュータであり、汎用のカメラＣを接続できるとともに、ネットワークＮとの接続も可能な構成となっている。本実施形態の画像送信装置がハードウェアとして構成される場合には、例えばコンピュータの拡張ボードとして実装される。また、本実施形態の画像送信プログラムがソフトウェアとして実装される場合には、コンピュータの記憶装置にインストールされた本実施形態の画像送信プログラムがＣＰＵによって実行されることになる。

なお、送信機能付きコンピュータＰＣ１は、一般的なパーソナルコンピュータを適用する場合のほか、専用のコンピュータとして本実施形態の画像送信装置や画像送信プログラムが実装されている構成であってもよい。

受信側機器の一つであるレコーダ／ビューア２は、ネットワークＮを介して送信側機器から送られてきた画像を記録する手段と、記録した画像や送信されてきた画像を再生する手段とを備えたものである。レコーダ／ビューア２にはモニタＭが接続されており、記録した過去の画像や送信側機器から送信されてきている現在の画像をユーザの操作によって選択して表示できる。

受信機能付きコンピュータＰＣ２は、一般的なパーソナルコンピュータであり、画像を表示できるモニタを備えるとともに、ネットワークＮとの接続も可能な構成となっている。本実施形態の画像受信装置がハードウェアとして構成される場合には、例えばコンピュータの拡張ボードとして実装される。また、本実施形態の画像受信プログラムがソフトウェアとして実装される場合には、コンピュータの記憶装置にインストールされた本実施形態の画像受信プログラムがＣＰＵによって実行されることになる。

なお、受信機能付きコンピュータＰＣ１は、一般的なパーソナルコンピュータを適用する場合のほか、専用のコンピュータとして本実施形態の画像受信装置や画像受信プログラムが実装されている構成であってもよい。

＜画像送信装置＞
図２は、本実施形態の画像送信装置の構成を説明するブロック図である。本実施形態の画像送信装置は、少なくとも領域検出部１２、解像度変換部１３、送信部１５を備える構成となっている。

領域検出部１２には、画像入力部１０から画像処理部１１を介した画像を送られる。ここで、画像入力部１０は、図１に示すカメラＣ１や、送信機能付きカメラＣ１における撮像装置が該当する。また、画像入力部１０は、カメラで取り込んだ画像を入力する場合のほか、ネットワークＮを介して取り込んだ画像を入力する場合も考えられる。信号処理部１１は、画像入力部１０で入力した画像についてノイズ除去処理等の所定の画像処理を行うもので、図１に示すカメラＣ１や送信機能付きカメラＣ１に組み込まれている場合や、プロトコル変換装置１に組み込まれている場合もある。

領域検出部１２は、予め設定された条件に合致する注目領域を検出する処理を行う。図３は、注目領域の検出の一例として動体検知を行う場合を説明する模式図である。動体検知では、入力画像の中で画素値がある一定量以上変化した領域があるかを検出するものである。動体検知の条件は予めユーザによって設定できる。図３に示す例では、入力画像に映し出された映像のうち背景部分は動き（画素値変化）がなく、人物の映像が動体として検知された状態を示している。

動体を検知した場合には、動体として検知した映像を含む矩形領域が注目領域Ｒとして出力されることになる。注目領域Ｒは画像の中の座標値としてメタデータに書き込まれる。注目領域Ｒは画素単位で求めても良いが、後のコーデックの特性上、例えば８画素毎のマクロブロック単位に切り替わるものでも良い。

領域検出部１２で検知した注目領域Ｒはメタデータとして解像度変換部１３および送信部１５に出力される。解像度変換部１３は、入力された画像データの解像度を低下させて画像の縮小処理を行う部分である。この際、領域検出部１２によって検知した注目領域Ｒのメタデータをもとに、ローパスフィルタをかける領域とかけない領域とに区別する解像度変換部１３の詳細は後述する。

解像度変換部１３で縮小された画像はコーデック１４で圧縮符号化され、送信部１５を介してネットワークＮに出力される。送信部１５は、コーデック１４で圧縮符号化した画像データとともに、領域検出部１２で検知して得たメタデータ、必要に応じてアラーム（警告）もネットワークＮに出力する。

＜解像度変換部＞
図４は、解像度変換部の構成を説明するブロック図である。解像度変換部１３は、ローパスフィルタ１３１と、縮小部１３２と、選択部１３３とを備えている。ローパスフィルタ１３１は画像データから特定の高周波成分を除去し、データ量の削減を図る回路である。ローパスフィルタ１３１としては様々なものが用いられるが、たとえばＮ画素×Ｎ画素の平均化フィルタ（例えば、３×３）でも良い。解像度変換部１３に入力された画像データは、このローパスフィルタ１３１を経由するものと、経由しないものとに分割され、それぞれ縮小部１３２に入力される。

縮小部１３２は、画像データの画像を縮小される。縮小部１３２では、画像データの画素を間引いて縮小する処理を行う。例えば、縮小サイズとして１／２に画素を削減する処理を行う。

ローパスフィルタ１３１を経由し縮小部１３２で縮小された画像データおよび経由しないで縮小部１３２で縮小された画像データは選択部１３３に送られる。選択部１３３では、領域検出部１２（図２参照）から出力されるメタデータ（注目領域の検知結果：座標データ）に基づき、ローパスフィルタ１３１を経由して縮小した画像データと経由しないで縮小した画像データとの選択を行う。すなわち、画像データが注目領域内にある場合には、ローパスフィルタ１３１を経由しないで縮小された画像データを選択し、注目領域内にない場合にはローパスフィルタ１３１を経由して縮小された画像データを選択する。

ローパスフィルタ１３１を経由した画像データと経由しない画像データとを選択する画素単位は、先に述べたようにコーデック１４（図２参照）のマクロブロック単位で切り替えても良い。例えば、マクロブロックが８×８の場合で縮小サイズが１／２の場合は、オリジナルの解像度に対して１６画素単位で切り替えることになる。

＜画像受信装置＞
図５は、本実施形態の画像受信装置の構成を説明するブロック図である。本実施形態の画像受信装置は、少なくとも受信部２０、解像度復元部２３、合成部２５を備える構成となっている。

受信部２０は、先に説明した画像送信装置から送られる画像データとメタデータとを受信する部分である。ネットワークＮ（図１参照）の通信プロトコルに対応した形式のデータを受信できる構成である。

受信部２０で受信した画像データは、デコーダ２１でデコード処理（復号化処理）される。この際、画像データのサイズは、画像送信装置で１／２に縮小されていれば１／２のサイズである。デコード処理された画像データは、拡大部２２で拡大処理される。例えば、１／２のサイズでデコードされた画像データでは、縦横画素を２倍に拡大してオリジナルのサイズに戻す。この拡大処理では、線形補間等の補間処理によってなめらかな画像を得ることができるが、オリジナルの撮像画像と比べると解像度は悪化していることになる。

本実施形態では、受信部２０で受信したメタデータから抽出した注目領域を示す座標情報を用い、解像度復元部２３で注目領域についての解像度を復元する。すなわち、解像度復元部２３では、デコード処理後の画像データとともにメタデータを用い、画像データのうち注目領域の部分のみオリジナルの解像度に近い解像度への復元を行う。注目領域の画像データは、画像送信装置の解像度変換部１３（図２参照）でローパスフィルタ１３１（図４参照）を通さない画像データであることから、特定の高周波成分も残った状態となっている。これを用いることでオリジナルに近い解像度への復元を施すことになる。

解像度復元部２３でオリジナルに近い解像度に復元された注目領域の画像データは一旦メモリ２４に格納される。そして拡大部２２で拡大処理された画像データとともに合成部２５に送られ、ここで合成される。これにより、注目領域のみ高解像度な画像データを出力することができ、モニタに表示できるようになる。

ここで、低解像度の画像から、高解像度の画像を復元する解像度復元処理の一つに、複数の時系列画像をサブピクセル単位で重ね合わせて解像度を上げる手法が知られている（例えば、「青木 伸，「複数のデジタル画像データによる超解像処理」，Ricoh Technical Report，１９９９年１１月，No.24，p.19-25」参照。）

この処理は、次のような手順となる。
１．複数の画像データ自身から、それぞれの画像データの撮影時の標本化位置のずれを推定する。この際、撮影位置もしくは対象物が時系列でズレていることが必要である。
２．各画像データを折り返し成分も含め原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを使い高密度化する。この際、折り返し歪みが必要となる。また、可能であれば光学ローパスフィルタを除去する。
３．各高密度化データの標本化位置に応じた重みを使った加重和をとることにより折り返し歪みを打ち消し、同時に原信号の高周波成分を復元する。

画像送受信システムを監視カメラとして用いる場合における重要な領域とは、一般的に人や車などの侵入者・侵入車など通常とは異なる変化領域である。一般的に監視カメラは固定されているので、上記の超解像度処理によって解像度を上げることはできない。しかし監視カメラにとって重要な領域とは、人や車など侵入車や通常とは異なる領域であり、それらは移動・動きがあることから、上記超解像度処理にとって必須の条件である、「撮影位置もしくは対象物が時系列でズレていることが必要」という条件に合致する。

また、超解像度処理における２つ目の必要条件、「折り返し歪みが必要。可能であれば光学ローパスフィルタを除去する」については、画像を縮小するときに、通常はローパスフィルタを用いて画像を縮小するが、あえてローパスフィルタを用いずに画像を縮小すれば、折り返し歪みを発生させることができる。すなわち高解像度の画像は光学ローパスフィルタを装着して通常の画像を撮像し(この画像を高解像度化することはできない)、画像を縮小するときにローパスフィルタを付けないことにより、複数の縮小画像から(移動体が撮影されていれば)、高解像度化処理ができて、元の解像度の画像を復元することが可能となる。

ここで、オリジナルの解像度の画像すべての領域をローパスフィルタを介さずに縮小することも可能ではあるが、高周波成分が残ることから圧縮率が悪化することと、監視カメラは固定されていて２つ目の必要条件を満たさず高解像度化はできないことから、背景領域については、ローパスフィルタをかけて、高周波成分を落としたほうがデータ削減になる。

本実施形態では、これらの状況に鑑み、高解像度の画像センサを用いて撮像・伝送するときに、伝送する画像サイズはオリジナルの画像よりも解像度を下げて伝送するものの、解像度を下げるときに、重要な領域（注目領域）とそうではない領域とを区別し、重要な領域は解像度を下げるときにローパスフィルタを通さずに解像度を下げることによって再生側で高解像度に復元できる可能性を残し、重要でない領域は、ローパスフィルタを通して解像度を下げることによってデータ量少なく滑らかな画像を再生できるようにする。これによって、伝送・蓄積容量を削減しつつ高解像度画像センサを用いたときの解像度向上については重要領域に対して解像度の向上を図ることができる。

＜画像送信プログラム＞
図６は、本実施形態に係る画像送信プログラムを説明するフローチャートである。画像送信プログラムは、図１に示すプロトコル変換装置１や送信機能付きカメラＣ１、送信機能付きコンピュータＰＣ１で実行されるもので、装置内部の記憶手段にインストールされていたり、ＲＯＭに格納されていたり、記録媒体に格納されていたり、ネットワークを介して配信されたりするものである。

先ず、画像データの入力を行う（ステップＳ１０１）。画像データの入力は図２に示す画像入力部１０で行う。入力した画像データは必要に応じて信号処理部１１で信号処理される。

次に、注目領域検出処理を行う（ステップＳ１０２）。注目領域検出処理は、図２に示す領域検出部１２で行う。これにより、画像データの中から予め設定された条件に合致する領域が注目領域Ｒ（図３参照）として検出される。

次に、解像度変換処理（縮小処理）を行う（ステップＳ１０３）。解像度変換処理（縮小処理）は、図２に示す解像度変換部１３で行う。解像度変換処理は、図７に示すサブルーチンによって行われる。先ず、画像データが予め設定された条件に合致する注目領域か否かを判断する（ステップＳ１０３１）。注目領域である場合には図４で示すローパスフィルタ１３１を通さず縮小部１３で縮小した画像データを選択する（ステップＳ１０３２）。一方、注目領域でない場合には図４に示すローパスフィルタ１３１をとおした画像データを縮小したものを選択する（ステップＳ１０３３）。そして、各々選択した画像データを出力する（ステップＳ１０３４）。

次に、図６のフローチャートに戻り、解像度変換部１３から出力された画像データを圧縮符号化する（ステップＳ１０４）。圧縮符号化は図２に示すコーデック１４で行う。そして、圧縮した画像データをネットワークＮを介して送信先に送信する（ステップＳ１０５）。送信は図２に示す送信部１５で行う。この際、画像データとともに注目領域Ｒの位置情報を含むメタデータや必要に応じてアラームも送信する。

＜画像受信プログラム＞
図８は、本実施形態に係る画像受信プログラムを説明するフローチャートである。画像送信プログラムは、図１に示すレコーダ／ビューア２や受信機能付きコンピュータＰＣ２で実行されるもので、装置内部の記憶手段にインストールされていたり、ＲＯＭに格納されていたり、記録媒体に格納されていたり、ネットワークを介して配信されたりするものである。

先ず、画像データおよびメタデータの受信を行う（ステップＳ２０１）。画像データおよびメタデータの受信は、図５に示す受信部２０で行う。受信したデータのうち画像データは復号化処理する（ステップＳ２０２）。復号化処理は、図５に示すデコーダ２１で行う。

次に、復号化処理した画像データの解像度変換（拡大処理）を行う（ステップＳ２０３）。解像度変換（拡大処理）は、図５に示す拡大部２２で行う。ここで復号化された画像データの全てが拡大され、オリジナルのサイズに戻される。

また、この解像度変換（拡大処理）とともに復号化処理した画像データの解像度復元処理を行う（ステップＳ２０４）。解像度復元処理は、図５に示す解像度復元部２３で行う。この処理では、メタデータに含まれる注目領域の座標情報を用い、画像データのうち注目領域の画像データについて解像度復元処理を実行する。注目領域の画像データは画像送信装置で縮小処理する際にローパスフィルタを通しておらず、特定の高周波成分が残った状態となっている。したがって、この高周波成分を含む画像データを利用してオリジナルに近い解像度への復元を行うことができる。なお、この解像度復元処理については後述する。

解像度復元処理の施された注目領域の画像データはメモリに保存される。その後、解像度変換（拡大処理）された画像データと、メモリに保存された注目領域の画像データとを合成する処理を行う（ステップＳ２０６）。合成処理は、図５に示す合成部２５で行う。この際、解像度変換（拡大処理）は画像データの全てについて行われており、この拡大後の画像データのうちメタデータから求まる注目領域の部分についてメモリに保存された解像度復元処理後の画像データを上書きする。そして、合成後の画像データを表示する処理を行う（ステップＳ２０７）。表示は、図１に示すレコーダ／ビューア２に接続されるモニタＭや、受信機能付きコンピュータＰＣ２のモニタに行われる。

＜解像度復元処理＞
図９は、解像度復元処理を説明するフローチャートである。ここでは、注目領域として動体を検知した領域（動体領域）を用いる。動体領域は移動しているため、復元処理では移動した動体領域が以前の動体領域と同じ領域かどうか確認して解像復元処理を行うことになる。

そこで、まずメタデータから動体検知結果があるかどうかを確認する（ステップＳ２０４１）。動体検知結果が無ければメモリ内の画像をクリアし初期状態に戻し（ステップＳ２０４２）、画像を出力しないもしくはオリジナルのまま出力する（ステップＳ２０４３）。

一方、動体検知結果がある場合、メモリ内の過去のメタデータ領域と、新たなメタデータ領域との相関を求める（ステップＳ２０２４）。すなわち、以前の動体検知領域と同じか判断する。この判断には動体領域の大きさの比較、画像データの比較（差分絶対値和）を行うことにより容易に比較できる。

過去の動体領域と同じであると判定すれば（ステップＳ２０４５）、メモリにメタデータ領域の画像を保存し（ステップＳ２０４６）、解像度復元処理（ステップＳ２０４７）を実行する。一方、過去の動体領域と同じでないと判断した場合は、解像度復元処理は行わず、拡大処理された画像を出力する。

＜変形例＞
図４に示す解像度変換部１３の内部構成として、選択部１３３では、ローパスフィルタ１３１を通過させて縮小部１３２で縮小した画像データと、ローパスフィルタ１３１を通過させずに縮小部１３２で縮小した画像データとの選択を行う例を示したが、両方の経路で画像データについて特性の異なるローパスフィルタを通過させる構成でもよい。

つまり、解像度変換部１３において、特性の異なる２つのローパスフィルタを設けておき、一方はデータ量の削減を目的とした第１の特性、他方は解像度復元処理を可能とする第２の特性としておく。そして、選択部１３３では、注目領域の画像データについては第２の特性のローパスフィルタを通過して圧縮した画像データを選択し、注目領域でない画像データについて第１の特性のローパスフィルタを通過して圧縮した画像データを選択するよう切り換える。これにより、データ量の削減と注目領域での高解像度化との両立を図る画像送受信を行うことが可能となる。

画像送受信システムの構成を説明する模式図である。 本実施形態の画像送信装置の構成を説明するブロック図である。 、注目領域の検出の一例として動体検知を行う場合の説明する模式図である。 解像度変換部の構成を説明するブロック図である。 本実施形態の画像受信装置の構成を説明するブロック図である。 本実施形態に係る画像送信プログラムを説明するフローチャートである。 解像度変換処理のサブルーチンを説明するフローチャートである。 本実施形態に係る画像受信プログラムを説明するフローチャートである。 解像度復元処理を説明するフローチャートである。 従来の監視カメラの構成を説明するブロック図である。

符号の説明

１…プロトコル変換装置、２…レコーダ／ビューア、１０…画像入力部、１１…信号処理部、１２…領域検出部、１３…解像度変換部、１４…コーデック、１５…送信部、２０…受信部、２１…デコーダ、２２…拡大部、２３…解像度復元部、２４…メモリ、２５…合成部、１３１…ローパスフィルタ、１３２…縮小部、１３３…選択部、Ｃ…カメラ、Ｃ１…送信機能付きカメラ、Ｍ…モニタ、Ｎ…ネットワーク、ＰＣ１…送信機能付きコンピュータ、ＰＣ２…受信機能付きコンピュータ

Claims (8)

1. （送信装置：ローパス有無）
   画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、
   前記画像の解像度を低下させる処理を行うにあたり、前記領域検出手段で検出した前記注目領域でない画像についてはローパスフィルタを介した画像を選択し、前記注目領域の画像については前記ローパスフィルタを介さない画像を選択する解像度変換手段と、
   前記解像度変換手段で解像度を低下した画像および前記注目領域の位置情報を送信先に送信する送信手段と
   を備えることを特徴とする画像送信装置。
2. （送信装置：ローパス特性切り換え）
   画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、
   前記画像の解像度を低下させる処理を行うにあたり、前記領域検出手段で検出した前記注目領域の画像と前記注目領域でない画像とでローパスフィルタの特性を切り換えて処理を行う解像度変換手段と、
   前記解像度変換手段で解像度を低下した画像および前記注目領域の位置情報を送信先に送信する送信手段と
   を備えることを特徴とする画像送信装置。
3. （受信装置）
   画像送信装置から送られてくる画像と注目領域の位置情報とを受信する受信手段と、
   前記受信手段で受信した画像のうち前記位置情報から得られる注目領域について解像度を高める高画質化処理を施す解像度復元手段と、
   前記解像度復元手段で処理された前記注目領域の画像と前記注目領域でない画像とを合成する合成手段と
   を備えることを特徴とする画像受信装置。
4. （システム：ローパス有無）
   画像送信装置から画像受信装置へ画像を送信する画像送受信システムにおいて、
   前記画像送信装置は、
   画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、
   前記画像の解像度を低下させる処理を行うにあたり、前記領域検出手段で検出した前記注目領域でない画像についてはローパスフィルタを介した画像を選択し、前記注目領域の画像については前記ローパスフィルタを介さない画像を選択する解像度変換手段と、
   前記解像度変換手段で解像度を低下した画像および前記注目領域の位置情報を送信先に送信する送信手段とを備え、
   前記画像受信装置は、
   前記画像送信装置から送られてくる画像と注目領域の位置情報とを受信する受信手段と、
   前記受信手段で受信した画像を拡大する拡大手段と、
   前記受信手段で受信した画像のうち前記位置情報から得られる注目領域について解像度を高める高画質化処理を施す解像度復元手段と、
   前記解像度復元手段で処理された前記注目領域の画像と前記拡大手段で拡大された画像とを合成する合成手段とを備える
   ことを特徴とする画像送受信システム。
5. （システム：ローパス特性切り換え）
   画像送信装置から画像受信装置へ画像を送信する画像送受信システムにおいて、
   前記画像送信装置は、
   画像の中から予め設定された条件に合致する注目領域を検出する領域検出手段と、
   前記画像の解像度を低下させる処理を行うにあたり、前記領域検出手段で検出した前記注目領域の画像と前記注目領域でない画像とでローパスフィルタの特性を切り換えて処理を行う解像度変換手段と、
   前記解像度変換手段で解像度を低下した画像および前記注目領域の位置情報を送信先に送信する送信手段とを備え、
   前記画像受信装置は、
   前記画像送信装置から送られてくる画像と注目領域の位置情報とを受信する受信手段と、
   前記受信手段で受信した画像を拡大する拡大手段と、
   前記受信手段で受信した画像のうち前記位置情報から得られる注目領域について解像度を高める高画質化処理を施す解像度復元手段と、
   前記解像度復元手段で処理された前記注目領域の画像と前記拡大手段で拡大された画像とを合成する合成手段とを備える
   ことを特徴とする画像送受信システム。
6. （送信プログラム：ローパス有無）
   画像の中から予め設定された条件に合致する注目領域を検出するステップと、
   前記画像の解像度を低下させる処理を行うにあたり、検出した前記注目領域でない画像についてはローパスフィルタを介した画像を選択し、前記注目領域の画像については前記ローパスフィルタを介さない画像を選択するステップと、
   前記解像度を低下した画像および前記注目領域の位置情報を送信先に送信するステップと
   をコンピュータによって実行させることを特徴とする画像送信プログラム。
7. （送信プログラム：ローパス特性切り換え）
   画像の中から予め設定された条件に合致する注目領域を検出するステップと、
   前記画像の解像度を低下させる処理を行うにあたり、検出した前記注目領域の画像と前記注目領域でない画像とでローパスフィルタの特性を切り換えて処理を行うステップと、
   前記解像度を低下した画像および前記注目領域の位置情報を送信先に送信するステップと
   をコンピュータによって実行させることを特徴とする画像送信プログラム。
8. （受信プログラム）
   画像送信装置から送られてくる画像と注目領域の位置情報とを受信するステップと、
   受信した前記画像のうち前記位置情報から得られる注目領域については解像度を高める高画質化処理を施すステップと、
   前記高画質化処理を施した前記注目領域の画像と前記注目領域でない画像とを合成するステップと
   をコンピュータによって実行させることを特徴とする画像受信プログラム。

Images