JP2005073218A - 画像処理装置 - Google Patents

Abstract

【課題】 被写体が変化した異常を検知したときに、監視状況に応じてフレームレートや解像度を決定することにより、監視者にとって見やすい画像を提供すること。
【解決手段】 画像が入力される画像入力手段１と、入力された画像のフレームレートおよび解像度を設定する前処理手段２と、前記設定された画像データの符号化を行う画像符号化処理手段３と、符号化された画像データを通信回線２０を介して送信する通信手段４とを備え、通信回線２０の伝送容量および画像符号化処理手段３の使用状態を制御処理手段５によって監視し、通信回線２０の伝送容量および画像符号化処理手段３の符号化処理量に基づいてフレームレートおよび解像度を決定し、前処理手段２および画像符号化処理手段３を制御する。
【選択図】 図１

Description

本発明は、画像処理装置に関し、例えば、監視カメラ等で撮像された画像を遠隔地に送信するようにした画像処理装置に関する。

従来から電子カメラを用いた監視カメラにあっては、監視領域を撮像し、撮像データを動画画像または静止画像として符号化して通信回線を介してモニターや画像蓄積装置に送信する技術が知られており、このような技術として特許文献１に示すようなものがある。

特許文献１に示すものは、画面間の動きを監視し、動きが無い場合または少ない場合には、間欠的な静止画情報を送信し、画面間に一定の動きがある異常時には動画情報を送信することにより、回線の使用時間を短縮して回線コストを抑制するようにしている。

ところが、特許文献１に示すものは、通常は静止画情報を送信し、一定の動きがあると動画情報を送信するので、静止画情報または動画情報の何れか一方しか送信することができない上に、動画情報を送信するときには画質が低下して詳細な画像を得ることができないという不具合が発生する。

このような不具合を解消するものとしては特許文献２に示すようなものがある。特許文献２に示すものは、通常は動画情報によるモニタリングを行い、画像中に何等かの変化が生じた場合には、動画情報に併せて静止画情報を送信することにより、高画質な画像を得ることができる。
特開平７―１２１７８９号公報 特開２０００−１８４３６７号公報

しかしながら、特許文献２に示すものにあっては、画像中に何等かの変化が生じた場合には、動画情報に併せて静止画情報を送信するものであるが、通信回線の伝送容量が小さい場合や、複数の監視カメラから通信回線を介して画像情報を送信することにより通信回線が混雑して通信回線の伝送容量が小さくなっている場合、あるいは動画情報や静止画情報の符号化に使える処理量が不足している場合等に、送信する動画情報や静止画情報のフレームレートや解像度が不足してしまい、監視を行う者にとって非常に見づらい画像となってしまうという問題があった。

本発明は、前記従来の問題を解決するもので、通信回線の伝送容量や画像データの符号化の処理量に応じて、フレームレートや解像度を最適なものに制御することができ、見やすい画像を送信することができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、画像が入力される画像入力手段と、前記画像入力手段により入力された画像のフレームレートおよび解像度を設定する前処理手段と、前記前処理手段により設定された画像データの符号化を行う画像符号化処理手段と、前記画像符号化処理手段により符号化された画像データを通信回線を介して送信する送信手段と、前記通信回線の伝送容量および前記画像符号化処理手段の符号化処理量を監視する監視手段と、前記監視手段によって監視された前記通信回線の伝送容量および前記画像符号化処理手段の符号化処理量に基づいて前記フレームレートおよび前記解像度を決定し、前記前処理手段および前記画像符号化処理手段を制御する制御処理手段とを有するものから構成される。

この構成により、複数の画像処理装置から通信回線を介して端末装置に画像情報を送信するときに、画像処理装置が接続される通信回線の伝送容量や画像データの符号化処理量に応じて最適なフレームレートおよび解像度の画像情報を送信することができ、監視者にとって見やすい画像を提供することができる。

また、本発明の画像処理装置は、前記画像符号化処理手段は、複数の画像データの符号化を行うものから構成される。

この構成により、通信回線の伝送容量および画像符号化処理手段による画像データの符号化処理量に基づいたフレームレートおよび解像度の静止画情報や動画情報等の画像を同時に送信することができる。

また、本発明の画像処理装置は、前記画像入力手段に入力された画像の異常を検知する異常検知手段を備え、前記制御処理手段は、前記異常検知手段の検知情報に基づいて前記フレームレートおよび解像度を決定するものから構成される。

この構成により、例えば、被写体が変化する等の異常を検知したときに、高解像度の画像を送信したり、被写体が激しく変化したときにフレームレートを高めること等により、監視状況に応じてフレームレートや解像度を決定することにより、監視者にとって見やすい画像を提供することができる。

また、本発明の画像処理装置は、前記前処理手段は、前記入力手段により入力された画像を任意の解像度に変換する際に、入力画像の全体の解像度を低くする処理および前記入力画像の一部分を切り出す処理の少なくとも一方を行うものから構成される。

この構成により、監視範囲の全体の画像を送信するときには解像度を低くして高いフレームレートの動画情報を送信したり、注目したい箇所の画情報を切り出して高精度で送信するようにすれば、監視者にとって見やすい画像を提供することができる。

また、本発明の画像処理装置は、前記送信手段は、前記入力画像の全体の解像度を低くした解像度変換画像データと前記入力画像の一部分を切り出した解像度変換画像データとを同時に送信するものから構成される。

この構成により、監視範囲の全体の画像は粗い解像度やフレームレートで表示し、注目したい箇所のみ高精細で高いフレームレートで表示するようにすれば、監視者にとって見やすい画像を提供することができる。

また、本発明の画像処理装置は、前記画像符号化処理手段は、前記入力画像の一部分を切り出した解像度変換画像データに対応する部分以外の前記解像度変換画像データの圧縮処理を行うものから構成される。

この構成により、符号化処理量および通信回線の伝送容量をさらに有効に使うことにより、監視者にとってより見やすい画像を提供することができる。

また、本発明の表示装置は、前記入力画像の一部分を切り出した解像度変換画像データを前記解像度変換画像データの対応する位置に表示するものから構成される。

この構成により、監視範囲の全体の画像は粗い解像度やフレームレートで表示し、注目したい箇所のみ高精細で高いフレームレートで表示するようにすれば、監視者にとって見やすい画像を提供することができる。

また、本発明の画像処理システムは、上記画像処理装置と上記表示装置とを備えたものから構成される。

この構成により、監視範囲の全体の画像は粗い解像度やフレームレートで表示し、注目したい箇所のみ高精細で高いフレームレートで表示するようにすれば、監視者にとって見やすい画像を提供することができる。

また、本発明の画像処理方法は、入力画像の全体の解像度を低くした解像度変換画像データと入力画像の一部分を切り出した解像度変換画像データとを同時に送信し、前記入力画像の一部分を切り出した解像度変換画像データを前記解像度変換画像データの対応する位置に表示するものから構成される。

この方法により、監視範囲の全体の画像は粗い解像度やフレームレートで表示し、注目したい箇所のみ高精細で高いフレームレートで表示するようにすれば、監視者にとって見やすい画像を提供することができる。

以上説明したように、本発明は、通信回線の伝送容量や画像データの符号化の処理量に応じて、フレームレートや解像度を最適なものに制御することができ、見やすい画像を送信することができる画像処理装置を提供することができる。

以下、本発明の画像処理装置、表示装置、画像処理システムおよび画像処理方法の実施の形態を図面に基づいて説明する。

図１、図２は本発明に係る画像処理装置の第１の実施の形態を示す図であり、画像処理装置として監視カメラに適用した例を示している。

まず、構成を説明する。図１において、画像処理装置１０は、画像入力手段１、前処理手段２、画像符号化処理手段３、通信手段４および制御処理手段５を備えている。

画像入力手段１はＣＣＤからなる撮像素子、撮像素子から入力された画像をＡ／Ｄ変換するＡ／Ｄ変換器等を備えている。前処理手段２は画像入力手段１から入力されるデジタルの画像データを所定のフレームレートおよび解像度に設定するようになっている。

画像符号化処理手段３は前処理手段２から入力された画像データを圧縮符号化するようになっており、この符号化データを通信手段４に出力する。通信手段４は無線または有線の通信回線２０を介してモニター装置２１に送信するようになっている。なお、画像データはモニター装置２１ではなく、記憶装置に送信するようにしても良い。この場合には、記憶装置に記憶された画像データをモニター装置２１に出力表示する。

制御処理手段５はコントローラ、ＲＯＭ、ＲＡＭ等を備えており、通信回線２０の伝送容量および画像符号化処理手段３の符号化処理量を監視し、通信回線２０の伝送容量や画像符号化処理手段３の符号化処理量に基づいてフレームレートおよび解像度を設定し、前処理手段２および画像符号化処理手段３を制御するようになっている。本実施の形態では、制御処理手段５は監視手段を含んでいる。

具体的には、動画像の圧縮符号化においては、伝送符号化されたデータの伝送路である通信回線２０の伝送容量や符号化に必要な処理量を一定として考えた場合に、図２に示すように、フレームレートと画像解像度は互いに相反する関係にある。

すなわち、動きの滑らかな動画像を符号化して送るためにフレームレートを上げようとすると１フレーム当たりの画素数を少なくしなければならず（図２中、Ｄ領域参照）、逆により精細な高解像度画像を符号化して送るためには単位時間あたりに符号化して送るフレーム数を減らさなければならない（図２中、Ａ領域参照）。

制御処理手段５は通信手段４および画像符号化処理手段３からの情報に基づいて通信回線２０の伝送容量や符号化処理量の情報に基づいて最適な組合せのフレームレートと画像解像度を決定し、前処理手段２および画像符号化処理手段３を制御する。

なお、図２において、Ａで示す領域のフレームレートは１ｆｐｓ前後、Ｂで示す領域は５ｆｐｓ前後、Ｃで示す領域は１５ｆｐｓ前後、Ｄで示す領域は３０ｆｐｓ前後に設定されている。本実施の形態では、Ａ領域の中で１ｆｐｓ以下のフレームレートの画像情報に関しては静止画情報として説明する。

次に、図３のフローチャートに基づいて画像処理方法を説明する。なお、図３のフローチャートは制御処理手段５のＲＯＭに格納された画像処理プログラムであり、この画像処理プログラムはコントローラによって実行される。

まず、ネットワークに本実施の形態の画像処理装置１０を接続したときに、通信回線２０の伝送容量や画像符号化処理手段３の符号化処理量を演算し（ステップＳ1）、演算結果に応じたフレームレートおよび解像度を設定する（ステップＳ2）。次いで、モニター装置２１から画像の送信要求があるか否かを判別し（ステップＳ3）、送信要求に応じて画像データの前処理および符号化処理を行う（ステップＳ4）。

具体的には、接続されるネットワークの通信回線２０の伝送容量や符号化に必要な処理量が任意の値で一定である場合には、画像の送信要求が静止画情報であれば、図３に示す図２のＡ領域で示すように前処理手段２を高解像度画像で低いフレームレートに設定する。

また、画像の送信要求が動画情報であれば、図２のＣ領域で示すように前処理手段２を中程度の解像度で１５ｆｐｓ前後のフレームレートに設定する。また、画像の送信要求が静止画情報および動画情報の２つの送信要求であれば、図２のＡ領域で示すように前処理手段２を高解像度で低いフレームレートに設定するとともに、モニタリング画像としてＤ領域に示す低解像度で高いフレームレートに設定する。

そして、それぞれのフレームレートおよび解像度で画像符号化処理手段３によって画像データを符号化した後、通信手段４から通信回線２０を介してモニター装置２１に画像データを送信する（ステップＳ5）。

このように本実施の形態では、画像処理装置１０が接続される通信回線２０の伝送容量や画像符号化処理手段３の画像データの符号化処理量に応じて最適なフレームレートおよび解像度の画像情報を送信することができ、監視者にとって見やすい画像を提供することができる。また、画像符号化処理手段３により、複数の画像データの符号化を行うので、通信回線２０の伝送容量および画像符号化処理手段３による画像データの符号化処理量に基づいたフレームレートおよび解像度の静止画情報や動画情報を画像を同時に送信することができる。このため、例えば、低解像度の動画像（図２のＤ領域を選択）で全体の動きを監視しながら、同時に高解像度の静止画（図２のＡ領域を選択）や準動画（図２のＢ領域またはＣ領域を選択）も見ることができる。

図４乃至図６は本発明に係る画像処理装置の第２の実施の形態を示す図であり、第１の実施の形態と同様の構成には同一番号を付して説明を省略する。

図４において、本実施の形態では、画像入力手段１に入力された画像の異常を検知する、例えば、侵入者等の被写体の移動状態を検知する異常検知手段６を備えており、制御処理手段５は、異常検知手段６の検知情報に基づいてフレームレートおよび解像度を決定するようにしている。

異常検知手段６は、図５に示すように画像入力手段１に入力された各フレーム間の画像データの輝度差分を使って監視領域において侵入者等の被写体の動きに異常が発生したことを検知する。なお、この異常検知に関しては、画像データの各フレーム間の色成分の変化、動きベクトルから異常画像を検知したり、外部からの音声入力や赤外線センサー入力によって撮像領域の異常検知を行っても良い。

次に、図６のフローチャートに基づいて画像処理方法を説明する。なお、図６のフローチャートは制御処理手段５のＲＯＭに格納された画像処理プログラムであり、この画像処理プログラムはコントローラによって実行される。

ネットワークに本実施の形態の画像処理装置１０を接続したときに、通信回線２０の伝送容量や画像符号化処理手段３の符号化処理量を演算し、まず、正常時の画像データ送信用のフレームレートおよび解像度を設定する（ステップＳ11）。このとき、例えば、解像度をＶＧＡ（６４０×４８０画素）、フレームレート３０ｆｐｓ（図２のＤ領域）および解像度４ＶＧＡ（１２８０×９６０画素）、フレームレート３ｆｐｓ（図２のＡ領域）に設定する。

また、異常検知時の画像データ送信用のフレームレートを設定する（ステップＳ12）。このとき、例えば、解像度をＣＩＦ（３５２×２８８画素）、フレームレート１５ｆｐｓ（図２のＣ領域）および解像度４ＶＧＡ（１２８０×９６０画素）、フレームレート７．５ｆｐｓ（図２のＢ領域）に設定する。

次いで、異常検知手段６からの検知情報に基づいて、侵入者等の被写体の移動による異常が検知されたか否かを判別する（ステップＳ13）。このとき、図５に示すように、被写体の移動によりフレーム間の画像データの輝度が変化しない場合に、異常を検知しないものと判断し、正常時の解像度およびフレームレートを選択する（ステップＳ14）。

次いで、画像入力手段１によって撮像された画像を上述した解像度およびフレームレートに設定された前処理手段２でデジタルの画像データに変換した後、画像データを画像符号化処理手段３で符号化した後（ステップＳ15）、通信手段４から通信回線２０を介してモニター装置２１に送信する（ステップＳ16）。

すなわち、モニタリングの画像としてＶＧＡ（６４０×４８０画素）の解像度でフレームレート３０ｆｐｓの画像データを送信するのと同時に４ＶＧＡ（１２８０×９６０画素）の高解像度画像で３ｆｐｓのフレームレートの画像データを送信する。

一方、ステップＳ13で被写体の移動によりフレーム間の画像データの輝度が変化した場合には、異常を検知したものと判断して、異常時の解像度およびフレームレートを選択した後（ステップＳ17）、ステップＳ15に移行する。

すなわち、正常時の送信画像データに対して、モニタリングの画像としてＣＩＦ（３５２×２８８画素）、フレームレート１５ｆｐｓに解像度およびフレームレートを下げて画像データを送信するのと同時に、４ＶＧＡ（１２８０×９６０画素）、７．５ｆｐｓにフレームレートを上げて画像データを送信する。したがって、モニター装置２１には低解像度のモニタリング用の動画情報と異常監視用の高解像度の動画情報が送信され、２つの画像がモニター装置２１に表示される。

このように本実施の形態では、被写体が変化した異常を検知したときに、監視状況に応じてフレームレートや解像度を決定することにより、監視者にとって見やすい画像を提供することができる。

図７は本発明に係る画像処理装置の第３の実施の形態を示す図であり、画像処理装置は図１と同様であるため、図１を援用して説明する。

図１において、画像入力手段１から前処理手段２に画像データが入力すると、前処理手段２が入力画像を任意の解像度に変換する際に、図７に示すように、入力画像全体３１を中程度の解像度の動画情報（例えば、図２のＢ領域）３２に縮小したり、入力画像全体３１の一部分を低解像度の準動画像（例えば、図２のＣ領域）３３に切り出してモニター装置２１に送信するようにしている。

このようにすれば、監視範囲の全体の画像を送信するときには解像度を低く、高いフレームレートの動画情報を送信したり、注目したい箇所の画情報を切り出して高精度で送信することができ、監視者にとって見やすい画像を提供することができる。

図８は本発明に係る画像処理装置の第４の実施の形態を示す図であり、画像処理装置は図１と同様であり、前処理手段２で変換される画像は図７と同様であるため、図１および図７を援用して説明する。

図１において、前処理手段２で、図７に示すように、入力画像全体３１を縮小する事で低解像度にした準動画情報（例えば、図２のＥ領域）３２と、入力画像全体３１の一部分を切り出す事で低解像度にした動画像（例えば、図２のＤ領域）３３を変換し、通信手段４で同時に送信し、モニター装置２１に表示する際には、図８に示すように、準動画情報３２と動画像３３との大きさと位置を合わせて重ねて表示するようにしている。

このようにすれば、監視範囲の全体の画像は粗い解像度やフレームレートで表示し、注目したい箇所のみ高精細で高いフレームレートでまとめて一つの画像として表示することができ、監視者にとって見やすい画像を提供することができる。

また、本実施の形態では、画像符号化処理手段３で図７の準動画情報３２に示される画像全体を低解像度に縮小した画像を圧縮符号化する際に、最終的にモニター装置２１に表示される図８の画像で注目したい箇所の画像（図７の動画像３３）を重ねることで隠れてしまう部分を除いて符号化するようにしても良い。

このようにすれば、符号化にかかる処理量および通信回線の伝送容量をさらに有効に使うことができ、その分をより高いフレームレートや高い精細度にするために割り振ることが可能になり、監視者にとってより見やすい画像を提供することができる。

なお、上記各実施の形態では、１つの画像処理装置１０を通信回線２０を介してモニター装置２１に接続しているが、これに限らず、複数の画像処理装置１０を通信回線２０を介してモニター装置２１に接続したネットワークを構築しても良い。

この場合には、特定の画像処理装置が異常を検知した場合等に、この画像処理装置からの画像を優先して送信するため、他の画像処理装置の解像度およびフレームレートを低くして、異常を検知した画像処理装置の解像度およびフレームレートを高くする等の設定を行い、通信回線を選択された画像処理装置に優先的に使用させるようにすれば、通信回線の伝送容量を考慮してモニター装置に高精細な画像を送信することができる。

本発明の第１および第３の実施の形態の画像処理装置のブロック図 第１の実施の形態の画像解像度とフレームレートの関係を示す図 第１の実施の形態の画像処理手順を示すフローチャート 本発明の第２の実施の形態の画像処理装置のブロック図 第２の実施の形態の正常画像および異常検知時の画像のフレームを示す図 第２の実施の形態の画像処理手順を示すフローチャート 第３の実施の形態の処理画像を示す図 第４の実施の形態の処理画像を示す図

符号の説明

１ 画像入力手段
２ 前処理手段
３ 画像符号化処理手段
４ 通信手段
５ 制御処理手段
６ 異常検知手段
１０ 画像処理装置

Claims (9)

1. 画像が入力される画像入力手段と、前記画像入力手段により入力された画像のフレームレートおよび解像度を設定する前処理手段と、前記前処理手段により設定された画像データの符号化を行う画像符号化処理手段と、前記画像符号化処理手段により符号化された画像データを通信回線を介して送信する送信手段と、前記通信回線の伝送容量および前記画像符号化処理手段の符号化処理量を監視する監視手段と、前記監視手段によって監視された前記通信回線の伝送容量および前記画像符号化処理手段の符号化処理量に基づいて前記フレームレートおよび前記解像度を決定し、前記前処理手段および前記画像符号化処理手段を制御する制御処理手段とを有することを特徴とする画像処理装置。
2. 前記画像符号化処理手段は、複数の画像データの符号化を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像入力手段に入力された画像の異常を検知する異常検知手段を備え、前記制御処理手段は、前記異常検知手段の検知情報に基づいて前記フレームレートおよび解像度を決定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記前処理手段は、前記入力手段により入力された画像を任意の解像度に変換する際に、入力画像の全体の解像度を低くする処理および前記入力画像の一部分を切り出す処理の少なくとも一方を行うことを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記送信手段は、前記入力画像の全体の解像度を低くした解像度変換画像データと前記入力画像の一部分を切り出した解像度変換画像データとを同時に送信することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像符号化処理手段は、前記入力画像の一部分を切り出した解像度変換画像データに対応する部分以外の前記解像度変換画像データの圧縮処理を行うことを特徴とする請求項５に記載の画像処理装置。
7. 請求項５または請求項６に記載の画像処理装置から送信される画像データを表示する表示装置であって、前記入力画像の一部分を切り出した解像度変換画像データを前記解像度変換画像データの対応する位置に表示することを特徴とする表示装置。
8. 請求項５または請求項６に記載の画像処理装置と、請求項７に記載の表示装置とを備えた画像処理システム。
9. 入力画像の全体の解像度を低くした解像度変換画像データと入力画像の一部分を切り出した解像度変換画像データとを同時に送信し、前記入力画像の一部分を切り出した解像度変換画像データを前記解像度変換画像データの対応する位置に表示することを特徴とする画像処理方法。

Images