JP2014216831A - 符号化装置および遠隔監視システム - Google Patents

Abstract

【課題】同じ監視画像内の異なる監視対象を、複数の監視装置で監視する場合に、低コストで、監視画像の伝送に要する伝送容量やその記憶に要する記憶容量を抑えることができる符号化装置および遠隔監視システムを提供する。【解決手段】符号化対象の画像に対して、高画質で符号化を行う第１の領域と該第１の領域以外の第２の領域を設定するマスク情報を生成するマスク情報生成部と、マスク情報に基づいて、第２の領域が設定された領域の情報量を削減する前処理部と、前処理部で情報量が削減された第２の領域と第１の領域からなる画像データに対し、所定の符号化処理を施し、符号化データを出力する符号化処理部と、符号化データを送信する通信部と、を備える。【選択図】図１

Description

本発明の実施形態は、遠隔点検装置および遠隔監視システムに関する。

従来より、遠隔地にある監視対象を撮影し、複数の監視装置でその監視を行う遠隔監視システムがある。このような遠隔監視システムでは、複数の監視装置の各々で、同じ監視画像内の別々の監視対象を監視する場合がある。また、近年では、撮影した画像を符号化した上で、監視画像を監視装置へ伝送することが行われている。

特開２００５−１０９７２５号公報

しかしながら、複数の監視装置で同じ監視画像内の別々の監視対象を監視する場合、それぞれの監視装置に、必要のない、監視対象外の領域の画像も含んだデータを伝送することになり、その分の伝送容量が必要となる。また、そのデータを記憶する場合には各監視装置に余計なデータを保存することとなり、その分の保存容量（記憶容量）も必要となる。また、各監視装置に対応した監視画像を符号化するために複数の符号化装置を設けた場合、そのコストや消費電力の面で問題がある。

本発明が解決しようとする課題は、同じ監視画像内の異なる監視対象を、複数の監視装置で監視する場合に、低コストで、監視画像の伝送に要する伝送容量やその記憶に要する記憶容量を抑えることができる符号化装置および遠隔監視システムを提供することである。

実施形態の符号化装置は、符号化対象の画像に対して、高画質で符号化を行う第１の領域と該第１の領域以外の第２の領域を設定するマスク情報を生成するマスク情報生成部と、マスク情報に基づいて、第２の領域が設定された領域の情報量を削減する前処理部と、前処理部で情報量が削減された第２の領域と第１の領域からなる画像データに対し、所定の符号化処理を施し、符号化データを出力する符号化処理部と、符号化データを送信する通信部と、を備える。

図１は、実施形態にかかる遠隔監視システムの概略構成を示すブロック図である。 図２は、同実施形態における符号化制御部の一構成例を示す図である。 図３は、同実施形態における符号化制御部の動作を説明するフローチャートである。 図４は、同実施形態における符号化部の一構成例を示すブロック図である。 図５は、同実施形態における前処理部の動作を説明するフローチャートである。 図６は、同実施形態における前処理部の一構成例を示す図である。 図７は、同実施形態における高画質領域の設定例を示す図である。 図８は、同実施形態における高画質領域の設定例を示す図である。 図９は、同実施形態における復号化部の一構成例を示すブロック図である。 図１０は、実施形態にかかる遠隔監視システムのその他の実施形態を示す図である。

以下、図面を参照して一実施形態にかかる遠隔監視システムについて説明する。

図１は、本実施形態にかかる遠隔監視システムの概略構成を示すブロック図である。図１に示す遠隔監視システムは、複数の監視対象（例えば、線路、鉄塔、架線、信号等）を含む領域を撮影し、その監視画像（動画像）を符号化して、遠隔地にある複数の監視装置２０に送信する監視カメラ装置１０と、監視カメラ装置１０からの監視画像の符号化データを受信し、自装置用の符号化データを復号化して表示する複数の監視装置２０（図１では１つのみ例示）とを備えている。このように構成される遠隔監視システムでは、各監視装置２０で、それぞれの監視対象を監視できるようになっている。

カメラ１１は、複数の監視装置２０のそれぞれの監視対象を撮影できるように、各監視対象およびその周辺を含む領域を撮影して、撮影した画像データを符号化装置１２へ出力する。

符号化装置１２は、符号化部１３、符号化制御部１４、通信部１５、および記録部１６を備える。

符号化部１３は、符号化制御部１４から与えられる符号化制御情報に含められた、監視装置２０のユーザ制御部２４からのユーザ設定情報に従い、高画質領域が指定されている場合にはその領域を設定する。そして、設定した高画質領域に対し、ユーザ設定情報に含まれる画質調整情報に従い、画像の色や明るさ、彩度、画素の情報などを修正する。なお、ユーザ制御部２４から監視カメラ装置１０に送られるユーザ設定情報には、高画質領域の位置情報や、画質調整情報の他、符号化装置１２から伝送する符号化データを画面全部とするか指定部分のみとするかを指定する情報や、カメラ１１の向きや照明等を制御するための情報であるカメラ・ライト設定情報なども含まれる。

一方、高画質領域が指定されている場合、高画質領域以外の領域は、符号化部１３にて、高圧縮領域として設定される。そして、符号化部１３は、設定した高圧縮領域に対しその領域の情報の削減処理を行う（後述）。

符号化部１３は、入力された各監視装置２０用の画像データに対し、画質の調整や符号化を施した上で、符号化データとして出力する。

符号化制御部１４は、ユーザ設定情報から得られる監視装置２０毎の高画質領域の位置情報を基に、監視装置２０毎に異なる、同じ監視画像内の指定位置毎に、マスクを施して、各監視装置２０に対応したマスク情報（フラグ）を生成し、このマスク情報を符号化制御情報に含めて符号化部１３に出力する。

ここで、図２に、マスク生成にかかる符号化制御部１４の一構成例を示し、図３に、その動作フローチャートを示す。図２に示すように、符号化制御部１４は、マスク生成部１４１と、符号化制御情報生成部１４２とを備える。

マスク生成部１４１は、ユーザ設定情報で指定された高画質領域の位置情報を基に、高画質領域および高圧縮領域を識別するマスクを生成する（ステップＳ１０１）。そして、符号化制御情報生成部１４２が、マスク生成部１４１で生成したマスクを用いて、前処理部１３１から与えられる符号化対象ブロック情報で示されるブロック（領域）について、それが高画質領域であるか、または高圧縮領域であるかに応じて（ステップＳ１０２）、フラグ情報が格納されている各符号化制御情報バッファ（４２１、４２２）を切り替えることにより、高画質領域または高圧縮領域のいずれかを示すフラグ情報を符号化制御情報に含めて符号化部１３に出力する（ステップＳ１０３、またはＳ１０４）。

なお、上記マスクは、各監視装置２０に対応して生成され、生成されたマスクに応じて対応するフラグ情報が出力される。また、符号化対象ブロック情報としては、後段の符号化処理部１３２での符号化処理の単位となる４×４、８×８、または１６×１６画素等からなる画像内のブロック（一般的には正方形で複数の画素からなる）を特定する番号を用いることとする。また、本実施形態では、指定の高画質領域を一部でも含むブロックは、高画質領域とする。

また、符号化制御部１４は、符号化部１３に対し、上記高画質領域および高圧縮領域それぞれの画像データを、目標符号化量に合わせて符号化されるように調整するための制御も行う。なお、目標符号化量は、ユーザが指定してユーザ設定情報に含めることが可能である。

通信部１５は、無線通信により、各監視装置２０からのユーザ設定情報を受信し、符号化部１３で符号化された符号化データを各監視装置２０に向け送信する。各監視装置２０に符号化データを送信する際には、例えば、各監視装置２０用のそれぞれの符号化データに、各監視装置２０を識別するための識別情報（例えば、監視装置２０の装置Ｎｏ．など）を付加するなどして、各監視装置２０側で、自装置用の符号化データを識別できるようにする。また、この通信部１５は、後述の監視装置２０の通信部２１と、直接にまたは中継局を介して無線通信を行うための手段であり、その通信方式は任意である。

記録部１６は、ＨＤＤ等の記録媒体を用いて構成され、各監視装置２０に送信した監視画像の符号化データを（さらには対応するユーザ設定情報を）、後の検証時等のため保存する。

次に、符号化部１３の構成について説明する。図４は、符号化部１３の一構成例を示すブロック図である。図４に示すように、符号化部１３は、前処理部１３１と、符号化処理部１３２と、多重化部１３３と、を備えている。

カメラ１１から入力した画像信号および符号化制御部１４からの符号化制御情報は、前処理部１３１に入力され、符号化前の処理が施される。その際、前処理部１３１は、次の処理の対象となるブロックについて、符号化対象ブロック情報を符号化制御部１４に出力する。

この前処理部１３１による前処理は、具体的には、図５に示すように、前処理部１３１が、符号化前の処理として、入力画像を複数のブロック（後段の符号化処理部１３２での処理の単位となるブロックに対応）に分割するとともに、次に処理するブロックを示す符号化対象ブロック情報を符号化制御部１４に出力し（ステップＳ２０１）、符号化制御部１４からの符号化制御情報に含められた、ユーザ設定情報で指定された高画質領域の位置情報および画質調整情報に応じて（ステップＳ２０２）、高画質領域のブロックについては、その明るさ調整（ステップＳ２０３）、彩度調整（ステップＳ２０４）、および画素の調整（画素鮮明化）（ステップＳ２０５）を行う。

一方、高圧縮領域のブロックについては、目標符号化量に合わせて符号化されるように、また、データ通信速度が低下する場合でも監視装置２０で表示される際の高画質領域の画質を低下させないようにするため、高画質領域の割合に応じてデータを削減するように、モノクロ化（ステップＳ２０６）、ローパスフィルタ処理（高周波成分の削減）（ステップＳ２０７）、および画像の明るさ調整（ここでは暗くする）（ステップＳ２０８）を行なう。この処理により、高圧縮領域についての、続く符号化処理部１３２での符号化の結果得られる符号化データは、高画質領域より符号化量が削減されたものとなり、高画質領域は、高画質を維持できる。

以上の符号化前の処理を施した後、高画質領域と高圧縮領域とを画像合成し、１フレームの画像データとして（ステップＳ２０９）、符号化処理部１３２へ出力する。

上記処理を行う前処理部１３１の一構成例を図６に示す。ブロック化部３１１で入力画像をブロック化し、選択部３１２が、符号化制御情報のフラグ情報に従って、ブロック化された入力画像を高画質領域処理部３１３または高圧縮領域処理部３１４に振分ける。高画質領域処理部３１３は、上記ステップＳ２０３〜Ｓ２０５の処理を行い、高圧縮領域処理部３１４は、上記ステップＳ２０６〜Ｓ２０８の処理を行う。合成部３１５は、上記ステップＳ２０９の処理を行う。

なお、本実施形態においては、ユーザが設定可能な高画質領域は、一例として図７（Ａ）に示すように、左上（Ｘｕｌ，Ｙｕｌ）を始点とし右下（Ｘｂｒ，Ｙｂｒ）を終点として結ぶ四角形とする。同様に、画面内に複数の高画質領域を設定する場合にも、それぞれの高画質領域を、左上（例えば（Ｘｕｌ１，Ｙｕｌ１）、（Ｘｕｌ２，Ｙｕｌ２））を始点とし右下（例えば（Ｘｂｒ１，Ｙｂｒ１）、（Ｘｂｒ２，Ｙｂｒ２））を終点として結ぶ四角形とする（図７（Ｂ）参照）。よって、ユーザ設定情報に設定される高画質領域の位置情報は、その領域の左上の座標と右下の座標を用いることとする。また、図８に示すように、複数の監視装置２０毎の指定領域（高画質領域）に重なりが生じるケースも生じうるが、各監視装置２０用に符号化した個々の符号化データに分けて通信するため、指定領域（高画質領域）に重なりが生じても問題はない。

続いて、図４に戻り、符号化部１３の符号化処理部１３２および多重化部１３３について説明する。

前処理部１３１で処理を施された画像信号は、符号化処理部１３２に入力される。符号化処理部１３２に入力された画像信号は減算器３２０に入力され、減算器３２０において予測部３３７からの予測画像信号との差分（残差）がとられて予測残差信号が生成される。

生成された予測残差信号は、直交変換部３２１に入力され、直交変換（例えば、離散コサイン変換）が施される。直交変換部３２１で得られる係数データは、量子化部３２２で量子化される。量子化部３２２で量子化された信号は２分岐され、一方はエントロピー符号化部３３３でエントロピー符号化が施される。そして、エントロピー符号化された符号化データは、多重化部１３３で多重化されて通信部１５に送られる。なお、ユーザ設定情報にて監視装置２０へ伝送する符号化データを指定部分（監視対象）のみとする設定がなされている場合は、この設定と高画質領域の位置情報を示す符号化制御情報に従い、多重化部１３３は、指定部分を含むブロックを切り出して（指定部分を含まないブロックを除外して）出力する。また、この出力の際、高画質領域が複数指定されている場合は、各高画質領域を特定する情報（高画質領域識別情報；例えば、各高画質領域の位置情報）と切り出した高画質領域のブロックとを対応付けて出力する。

一方、量子化部３２２で量子化され２分岐された信号の他方は、逆量子化部３３４および逆直交変換部３３５により、上記量子化部３２２および直交変換部３２１の処理と逆の処理が行われた後、加算器３３６で予測部３３７からの予測画像信号と加算される。これにより、局部復号信号が生成される。この局部復号信号は、ループフィルタ３３８を介してフレームメモリ３３９に蓄えられ、予測部３３７に入力される。

予測部３３７は、周知の動き補償予測を行って、予測画像信号を生成し、減算器３２０および加算器３３６に出力する。

なお、上記構成は、符号化処理部１３２の一構成例であって、これに限るものではなく、他の符号化技術による構成を採用してもよい。

次いで、監視装置２０の構成について説明する。図１に示すように、監視装置２０は、通信部２１と、復号化部２２と、表示装置２３と、ユーザ制御部２４と、記録部２５と、を備えている。通信部２１は、監視カメラ装置１０からの符号化データを受信し、復号化部２２に入力する。

ユーザ制御部２４は、画像調整用の情報などを含んだユーザ設定情報を、通信部２１を介して監視カメラ装置１０に送信する。ユーザ設定情報は、ユーザインタフェースを介してユーザにより設定される、カメラ１１に対する制御情報であるカメラ・ライト設定情報や、符号化装置１２から伝送する符号化データを画面全部とするか指定部分のみとするかを指定する情報や、高画質領域を指定する位置情報や、画像調整用の情報（画像調整情報）等を含む情報である。このユーザによる設定は任意に行える。これにより、ユーザはカメラ１１の向きや照明などを監視装置２０から自由に変えることが可能になり、符号化装置１２から伝送する符号化データを画面全部とするか指定部分のみとするかを選択することが可能となり、また、ユーザ自身で監視画像内の高画質領域を指定したり、画像の調整内容等を指定したりすることが可能となる。また、ユーザ制御部２４は、液晶表示装置等の表示装置２３に対するコントラストや色バランス等を制御するための表示制御情報を出力可能である。記録部２５は、メモリやＨＤＤ等の記録媒体で構成され、監視カメラ装置１０からの符号化データを（さらには対応するユーザ設定情報を）保存する記憶手段であり、保存された符号化データは、後に監視対象を確認するための再生に利用することが可能である。

次に、復号化部２２の構成について説明する。図９は、復号化部２２の一構成例を示すブロック図である。

図９に示すように、復号化部２２は、図４に示した符号化処理部１３２に対応した復号化処理部２２１を有する。この復号化処理部２２１の構成において、まず、通信部２１が受信した（自装置の識別情報を含む）自装置用の符号化データを、多重化分離部２１１により１フレーム毎に分離し、エントロピー復号化部２１２に出力する。また、符号化装置１２からの符号化データに前述の高画質領域識別情報が含まれる場合は、複数の高画質領域が切り出された状態の符号化データが、符号化装置１２から送られてきていることになるので、多重化分離部２１１は、フレーム内で各高画質領域が本来の位置となるよう再構成してエントロピー復号化部２１２に出力する。

エントロピー復号化部２１２では、前述のエントロピー符号化部３３３によるエントロピー符号化に対応する、周知の可変長符号の復号を行う。

エントロピー復号化部２１２で復号化された情報は、逆量子化部２１３で逆量子化され、逆直交変換部２１４で逆直交変換（例えば、逆離散コサイン変換）処理を行うことにより、動画像信号を生成させる。この動画像信号は、ループフィルタ２１８を介してフレームメモリ２１６に参照画像として蓄積される一方、後処理部２２２に出力される。

また、予測部２１７は、エントロピー復号化部２１２で復号化された情報およびフレームメモリ２１６に蓄積された参照画像に基づいて予測画像信号を生成する。生成された予測画像信号は、加算器２１５で動画像信号に加算される。

後処理部２２２は、復号化処理部２２１による復号後の動画像信号に対する画像処理を行って、復号画像を表示装置２３に出力する。具体的には、後処理部２２２は、ユーザ設定情報の高画質領域の位置情報を基に、ブロック単位に処理されたことによりユーザ設定情報で指定された領域外の領域を含む高画質領域から、指定の高画質領域のみ抽出するといった処理（例えば、指定の高画質領域のみを切り出したり、指定の高画質領域以外を黒にしたりする）を行う。

以上、本実施形態の遠隔監視システムについて説明した。上記構成からなる遠隔監視システムによれば、各監視装置２０に、監視画像中の必要な監視対象の画像部分を指定どおりに提供することができ、また、監視対象として指定された領域については高画質な画像となるので、必要十分な監視が行える。一方、高画質領域以外の領域は、高圧縮化されることにより、各監視装置２０に伝送される画像データの伝送容量を抑えることができるとともに、符号化装置１２や各監視装置に２０に保存される画像データの記憶容量を抑えることができる。また、符号化部１３は、高画質領域と高圧縮領域に分けて処理するのではなく、前処理部１３１で前述の前処理が施された画像データに対し通常の符号化処理を行うので、高画質領域と高圧縮領域とに分けて処理する場合に比べて処理の負荷がかからず、また、符号化の方式に依存しないものとなる。また、１台の符号化装置１２を用いるだけで、監視画像中の必要な監視対象を異なる監視装置２０で個々に監視することができることにより、符号化装置部分を低コストで構成でき、省電力となる。

（その他の実施形態）
上述した遠隔監視システムは、図１０に示すような遠隔監視点検システムに採用することができる。この遠隔監視点検システムの例では、監視カメラ装置１０を搭載した無人監視車両５０１を走行させて、あるいは、先頭車両の前方窓から進行方向を撮影するように監視カメラ装置１０を搭載した鉄道車両を走行させて、監視対象を監視することを想定している。カメラ１１で撮影した画像はリアルタイムに符号化し、無線通信により直接にまたは中継局５０２を介して、監視センタ５０３の複数の監視装置２０へ伝送を行なう。符号化された画像データ（符号化データ）は、監視センタ５０３のそれぞれの設備担当が使用する監視装置２０に送信され、各監視装置２０でそれぞれに対応する符号化データが復号化されて、各監視装置２０の役割ごとに必要な監視画像がその表示装置２３に表示されることになる。鉄道の場合、走行に関わる線路や枕木などの監視と、送電関連で送電線や鉄塔の監視と、安全確認用の信号や踏み切りなどの監視は、別々の部署で行なわれるが、各設備担当はそれぞれ、画像による必要な遠隔点検を行なえる。また、画像監視は何かあった時（例えば、災害時や事故時）の確認用の役割が大きいため、画像は蓄積、記録されるのが一般的であり、その保存のために必要となる容量は大きいが、本システムでは、その保存容量を抑えることができる。

以上説明したように、上述した諸実施形態の遠隔監視システムによれば、同じ監視画像内の異なる監視対象を、複数の監視装置で監視する場合に、低コストで、監視画像の伝送に要する伝送容量やその記憶に要する記憶容量を抑えることができる。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 監視カメラ装置
１１ カメラ
１２ 符号化装置
１３ 符号化部
１４ 符号化制御部
１５ 通信部
１６ 記録部
２０ 監視装置
２１ 通信部
２２ 復号化部
２３ 表示装置
２４ ユーザ制御部
２５ 記録部
１３１ 前処理部
１３２ 符号化処理部
１３３ 多重化部
２２１ 復号化処理部
２２２ 後処理部

Claims (5)

1. 符号化対象の画像に対して、高画質で符号化を行う第１の領域と該第１の領域以外の第２の領域を設定するマスク情報を生成するマスク情報生成部と、
   前記マスク情報に基づいて前記第２の領域が設定された領域の情報量を削減する前処理部と、
   前記前処理部で情報量が削減された第２の領域と前記第１の領域からなる画像データに対し、所定の符号化処理を施し、符号化データを出力する符号化処理部と、
   前記符号化データを送信する通信部と、
   を備える符号化装置。
2. 前記第１の領域は、１または複数の監視装置毎に設定され、前記マスク情報生成部は、前記マスク情報を前記１または複数の監視装置の各々に対応して生成し、前記符号化処理部は、前記１または複数の監視装置毎の符号化データを出力し、前記通信部は、前記監視装置毎の前記符号化データを送信する、請求項１に記載の符号化装置。
3. 前記情報量を削減する処理は、モノクロ化処理、高周波成分を削減させるローパスフィルタ処理、または、画像を暗くする明るさ調整処理のいずれかを含む処理である、請求項１または請求項２に記載の符号化装置。
4. 前記前処理部は、前記情報量を削減する処理において、前記第１の領域の符号化データが復号化されたときにその画質が低下しないように、前記第２の領域に対するその情報量の削減を調整する、請求項１から請求項３のいずれか１項に記載の符号化装置。
5. 符号化対象の画像に対し、高画質で符号化を行う第１の領域と該第１の領域以外の第２の領域を設定するマスク情報を生成するマスク情報生成部、
   前記マスク情報に基づいて前記第２の領域が設定された領域の情報量を削減する前処理部、
   前記前処理部で情報量が削減された第２の領域と前記第１の領域からなる画像データに対し、所定の符号化処理を施し、符号化データを出力する符号化処理部、および、
   前記符号化データを送信する通信部、を有する符号化装置と、
   前記符号化装置と通信するための第２の通信部、
   前記符号化装置からの符号化データを復号化する復号化部、
   前記復号化部による復号化後の画像データを表示する表示部、および、
   前記高画質領域を指定する情報を含むユーザ設定情報を受付けるユーザインタフェースを有し、前記ユーザ設定情報を、前記第２の通信部を介して前記符号化装置に送るユーザ制御部、を有する監視装置と、
   を備える、遠隔監視システム。

Images