JP2005039662A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】 通信ネットワークを介して画像信号を伝送する際に、符号化ならびに伝送の対象とする画像の領域を一部の領域に限定することにより、符号化の対象とする情報量を低減し、所定の画質を確保する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】 本発明に係るエンコーダサーバ１０は、画像／音声分離部１０１と、MPEG-2デコード部１０３と、ネットワークIF部１０５と、画像領域切出し部１０７と、MPEG-4エンコード部１０９と、外部記憶媒体アクセス部１１３とを備えている。画像領域切出し部１０７は、MPEG-2デコード部１０３から送出されたディジタルRGBフォーマットの画像信号によって再生されるR画像、G画像及びB画像の一定の矩形領域を切り出す。また、画像領域切出し部１０７は、上述した矩形領域のR・G・Bの各画像の画像データを複製し、MPEG-4エンコード部１０９に送出する。
【選択図】 図１

Description

本発明は、入力された画像信号を符号化し、符号化された画像信号を出力する画像処理装置、画像処理方法及びプログラムに関するものであり、特に、符号化される画像信号の情報量を通信ネットワークの帯域の応じて制限することが必要な場合に用いられる画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、アナログ画像信号やディジタルRGB信号など、音声信号などと比較して膨大な情報量を有する画像信号を帯域幅（伝送速度）が限られている通信ネットワークを用いて伝送する場合、当該画像信号の情報量を圧縮しつつ解像度などの画質の劣化を抑制する符号化方式、例えば、MPEG（Moving Picture Expert Group）により規定されるMPEG-1、MPEG-2及びMPEG-4や、ITU-TのHシリーズ勧告により規定されるH.261、H.262、H.263及びH.264などが用いられる。

図５は、このような符号化方式を用いた従来の画像処理装置の一例を示す図である。同図に示すように、従来の画像処理装置を構成するエンコーダサーバ２０は、ビデオカメラ３０が出力するNTSCなどのアナログ画像信号を取得するアナログ画像信号IF部１０２を備えている。また、エンコーダサーバ２０は、MPEG-2エンコーダ４０から送信されたディジタル画像信号をLAN５０とネットワークIF部１０５とを介して受信し、当該ディジタル画像信号を復号化するMPEG-2デコード部１０３を備えている。

さらに、エンコーダサーバ２０は、MPEG-2デコード部１０３またはアナログ画像信号を変換するA/D変換部１０４から送出されたディジタルRGB信号を、その情報量を圧縮しつつWAN６０を用いて受信端末７０に送信するため、MPEG-4エンコード部１０９を備えている。なお、WAN６０は、インターネットなどのTCP/IPをベースとした通信ネットワークであってもよい。

すなわち、エンコーダサーバ２０から送信された画像信号に基づいて、受信端末７０において再生される画像は、ビデオカメラ３０から出力されたアナログ画像信号やMPEG-2デコード部１０３から出力されたディジタルRGB信号により再生される原画像と比較すると、画像の領域全体の画素数を１／４から１／８程度に削減することにより情報量が圧縮されているため、その画質は、一般的に劣化したものとなる。

このように、エンコーダサーバ２０によって符号化された画像信号の画質は劣化したものとなるため、画像の一部の領域について解像度を確保したい場合などに問題となる。

そこで、上述したような画質の劣化を抑制するため、画像の一部の領域について、符号化後における解像度を他の領域よりも高く設定する一方、当該他の領域の符号化後における解像度をより低く設定することにより、使用される通信ネットワークの帯域に対応しつつ画像の一部の領域について、符号化後においても高い解像度を確保するシステムが開示されている（例えば、特許文献１）。
特開平７−２８８８０６号公報（第４−５頁、第１−２図）

しかしながら、画像信号の伝送に際し、一部の領域の画像のみを伝送すればよい場合、例えば、監視カメラにより撮影された原画像のうち、所定の被写体を含む重要な領域のみを伝送すればよい場合などにおいても、上述したシステムは、原画像のすべての領域を対象として符号化することから、伝送を必要としない領域の画像信号を伝送するために、限られた帯域幅の通信ネットワークの一定の帯域を常に消費するという問題があった。

さらに、上述したシステムは、特定の一部の領域を所望の解像度に設定した場合、他の領域の解像度が著しく低く設定され、受信端末において当該画像信号を再生した場合、内容を判別できない程に画質が劣化した領域を含む画像が再生され得るという問題があった。

そこで、本発明は、以上の点に鑑みてなされたもので、通信ネットワークを介して画像信号を伝送する際に、符号化ならびに伝送の対象とする画像の領域を一部の領域に限定することにより、符号化の対象とする情報量を低減し、所定の画質を確保する画像処理装置、画像処理方法及び画像処理プログラムを提供することをその目的とする。

上述した課題を解決するため、本発明は、次のような特徴を有している。まず、本発明の第１の特徴は、第１の画像信号を取得する画像信号取得部と、前記第１の画像信号によって再生される画像の一部の領域を切り出す画像領域切出し部と、前記画像領域切出し部によって切り出された領域の画像信号を所定の符号化方式を用いて符号化し、第２の画像信号を出力する符号化部とを備える画像処理装置であることを要旨とする。

かかる特徴によれば、画像領域切出し部が、符号化される画像の領域を原画像の一部の領域に制限することにより、符号化部において符号化の対象とされる画像信号の情報量を低減することができるため、画像の領域全体を符号化の対象とする場合と比較して、符号化後の画質の劣化を抑制し、所定の画質を確保することができる。

すなわち、使用される通信ネットワークの帯域幅を用いて伝送可能な所定の情報量となるように画像信号を符号化する場合、原画像の領域を制限してやれば、符号化の対象とされる画像信号の情報量が低減されるため、情報量の圧縮の程度が緩和、或いは情報量を圧縮することが回避され、符号化後の画像信号の画質の劣化を抑制することができる。

具体的には、画像信号取得部は、例えば、MPEGなどの符号化方式によって符号化された画像信号（第１の画像信号）をディジタルRGB信号に変換し、変換した画像信号を画像領域切出し部に送出する。

画像領域切出し部は、画像信号取得部から送出されたディジタルRGB信号により再生される画像のうち、一定の矩形領域を符号化の対象領域として切り出し、当該矩形領域に該当するディジタルRGB信号を符号化部に送出する。また、画像領域切出し部は、当該矩形領域以外に該当するディジタルRGB信号を符号化部に送出せずに廃棄する。

符号化部は、画像領域切出し部から送出された一定の矩形領域に該当するディジタルRGB信号を、MPEG-4などの符号化方式を用いて符号化し、符号化された画像信号（第２の画像信号）を出力する。

なお、画像信号取得部、画像領域切出し部及び符号化部において送受される画像フォーマットは、ディジタルRGBに限らず、YUVやYUY2などの画像フォーマットであってもよい。

さらに、かかる特徴によれば、符号化部は画像領域切出し部から送出された矩形領域に該当するディジタルRGB信号をそのまま符号化するため、符号化部としては、従来から提供されている汎用モジュールを活用することができ、画像処理装置の開発・試験に係るコストや期間を縮減することができる。

また、上述した本発明の第１の特徴において、前記符号化部は、使用される通信ネットワークの帯域に応じた情報量に圧縮された前記第２の画像信号を出力することが好ましい。

かかる特徴によれば、符号化部が、第２の画像信号を伝送するために使用される通信ネットワークの帯域に応じた情報量となるように第１の画像信号を符号化するため、多様な通信ネットワークに適用可能な画像処理装置を提供することができる。

本発明の第２の特徴は、第１の画像信号を取得するステップと、前記第１の画像信号によって再生される画像の一部の領域を切り出すステップと、前記画像領域切出し部によって切り出された領域の画像信号を所定の符号化方式を用いて符号化し、第２の画像信号を出力するステップと備える画像処理方法であることを要旨とする。

本発明の第３の特徴は、コンピュータにより実行される画像処理プログラムにおいて、前記コンピュータが、第１の画像信号を取得し、前記第１の画像信号によって再生される画像の一部の領域をし、前記画像領域切出し部によって切り出された領域の画像信号を所定の符号化方式を用いて符号化し、第２の画像信号を出力するように機能させることを要旨とする。

本発明によれば、通信ネットワークを介して画像信号を伝送する際に、符号化ならびに伝送の対象とする画像の領域を一部の領域に限定することにより、符号化の対象とする情報量を低減し、所定の画質を確保する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

（本実施形態に係る画像処理装置を含む接続構成）
本発明の実施形態について図面を参照しながら説明する。図１は、本実施形態に係る画像処理装置を含む接続構成図である。

本実施形態に係る画像処理装置を構成するエンコーダサーバ１０は、100BASE-TXなどの有線LANによって構成されるローカルエリアネットワーク（ＬＡＮ）５０を介して、MPEG-2エンコーダ４０と接続されている。エンコーダサーバ１０は、MPEG-2エンコーダ４０から送信されたMPEG-2信号を受信し、受信したMPEG-2信号に基づいて、MPEG-2よりも情報量の圧縮率（削減率）が高く、符号化後の伝送速度（ビットレート）が低いMPEG-4信号に変換する機能を備えている。

また、エンコーダサーバ１０は、LAN５０の特定のセグメントと接続されているWAN６０を介して、MPEG-4信号を受信端末７０に送信する機能を備えている。なお、WAN６０は、専用回線などの一般的な広域網に限らず、インターネットなどであってもよい。

受信端末７０は、エンコーダサーバ１０から送信されたMPEG-4信号を受信して画像を再生するため、ネットワークIF部７１と、MPEG-4デコード部７３と、画像表示部７５とを備えている。受信端末７０は、受信したMPEG-4信号をMPEG-4デコード部７３により復号化し、画像表示部７５に所定の画像を表示する。

次に、エンコーダサーバ１０の論理ブロック構成について説明する。同図に示すように、エンコーダサーバ１０は、画像／音声分離部１０１と、MPEG-2デコード部１０３と、ネットワークIF部１０５と、画像領域切出し部１０７と、MPEG-4エンコード部１０９と、外部記憶媒体アクセス部１１３とを備えている。

ネットワークIF部１０５は、LAN５０と接続され、通信を行うためのネットワーク・インターフェースを提供するものであり、例えば、100BASE-TXといった有線LANインターフェースやTCP/IPのプロトコルスタックを用いて構成することができる。

具体的には、ネットワークIF部１０５は、LAN５０を介してMPEG-2エンコーダ４０から送信されたMPEG-2信号を含むパケットを分解し、MPEG-2信号を画像／音声分離部１０１に送出する。また、ネットワークIF部１０５は、MPEG-4エンコード部１０９から送出されたMPEG-4信号をパケット化し、WAN６０を介して受信端末７０に送信する。

画像／音声分離部１０１は、ネットワークIF部１０５から送出されたMPEG-2信号を画像データと音声データとに分離し、分離した画像データをMPEG-2デコード部１０３に送出するものである。なお、本実施形態では、分離された音声データは、エンコーダサーバ１０内において処理の対象としていないが、当該音声データを復号化し、画像データと同様に異なる符号化方式を用いて符号化するようにしてもよい。

MPEG-2デコード部１０３は、画像／音声分離部１０１から送出されたMPEG-2画像データを復号化し、ディジタルRGBフォーマットの画像データを画像領域切出し部１０７に送出するものである。なお、本実施形態では、上述した画像／音声分離部１０１と、MPEG-2デコード部１０３と、ネットワークIF部１０５とによって第１の画像信号を取得する画像信号取得部を構成する。また、本実施形態では、ディジタルRGBフォーマットを例として説明するが、YUVやYUY2などの画像フォーマットを用いることも勿論可能である。

画像領域切出し部１０７は、MPEG-2デコード部１０３から送出されたディジタルRGB信号によって再生される画像の一部の領域を切り出すものである。

具体的には、画像領域切出し部１０７は、MPEG-2デコード部１０３から送出されたディジタルRGBフォーマットの画像信号によって再生されるR画像、G画像及びB画像の一定の矩形領域を切り出す。

より具体的には、画像領域切出し部１０７は、R・G・Bの各画像の所定の位置（例えば座標X, Y）から矩形領域として切り出す横方向のサイズ（例えばX+CX）と、縦方向のサイズ（例えばY+CY）を指定することができる。なお、画像領域切出し部１０７によって指定される矩形領域は、任意の位置や面積を指定できるようにしてもよいし、符号化後の画像信号のビットレートや、使用される符号化方式、要求される画質（解像度）などに応じて、面積を制限するようにしてもよい。

なお、矩形領域のアスペクト比（縦横比）は、MPEG-4エンコード部１０９において用いられる画像フォーマットの仕様と合わせることにより、符号化後の画像が横及び縦方向に伸長された画像とならずに都合がよい。

また、画像領域切出し部１０７は、上述した矩形領域のR・G・Bの各画像の画像データを複製し、MPEG-4エンコード部１０９に送出する。ここで、MPEG-4エンコード部１０９として、汎用モジュールを用いる場合、モジュールによっては、複製された矩形領域の画像を画面の全体を構成する画像として処理できないものがある。この場合、画像領域切出し部１０７は、複製した矩形領域の画像を画面全体のサイズに拡大した上で、当該画像データをMPEG-4エンコード部１０９に送出すればよい。

MPEG-4エンコード部１０９は、画像領域切出し部１０７によって切り出された領域の画像信号をMPEG-4により符号化し、MPEG-4信号（第２の画像信号）を出力するものであり、本実施形態では、符号化部を構成する。

具体的には、MPEG-4エンコード部１０９は、画像領域切出し部１０７から送出されたR・G・B画像データをMPEG-4に基づいて符号化し、MPEG-4信号をネットワークIF部１０５を介して出力することができる。MPEG-4エンコード部１０９から出力されるMPEG-4信号のビットレートは、WAN６０の使用可能帯域（伝送速度）や、要求される画質に基づいて、任意の値とすることができる。

また、例えば、WAN６０の使用可能帯域に応じて、原画像、つまりMPEG-2信号の１／４の情報量に削減された画像信号をWAN６０に送出しなければならない場合、画像領域切出し部１０７によって切り出される矩形領域を原画像の１／４の領域として符号化することにより、当該切り出された領域について、原画像と同等の画質を有する画像信号をWAN６０に送出することもできる。

さらに、例えば、ネットワークIF部１０５が実装するTCP/IPプロトコルスタックが具備するRTT（Round Trip Time）の測定機能を利用し、測定されたRTTに応じて当該MPEG-4信号のビットレートを調整するようにしてもよい。

また、上述したように、MPEG-4エンコード部１０９は、汎用の符号化モジュールを用いて実現することができ、エンコーダサーバ１０の開発・試験に係るコストや期間を縮減することができる。

画像ファイル記憶部１１１は、画像／音声分離部１０１と、外部記憶媒体アクセス部１１３とに接続され、本実施形態では、MPEG-2により符号化された画像ファイルを記憶するものである。

外部記憶媒体アクセス部１１３は、外部のハードディスクドライブ（HDD）などに蓄積されているMPEG-2画像ファイルを読み込み、読み込んだMPEG-2画像ファイルを画像／音声分離部１０１に送出するものであり、DVD-ROMなどの外部記憶媒体のドライブ装置を用いることができる。

以上、本発明に係る画像処理装置の一実施形態（エンコーダサーバ１０）について説明したが、画像処理装置において用いられる符号化方式は、上述したMPEG-2やMPEG-4に限定されるものではなく、MPEG-1や、H.261、H262、H263及びH.264などの他の符号化方式を用いることも勿論可能である。

すなわち、本発明は、取得した画像信号の情報量、すなわちビットレートよりも、出力する画像信号に用いられる符号化方式によるビットレートが低い場合には、符号化方式を問わず適用することができる。

また、上述した本発明に係る画像処理装置を構成する画像／音声分離部１０１MPEG-2デコード部１０３、画像領域切出し部１０７及びMPEG-4エンコード部１０９の各機能は、ダウンロード可能なコンピュータプログラムとして提供することもできる。

（本実施形態に係る画像処理装置を用いた画像処理方法）
次に、上述した画像処理装置を用いた画像処理方法について説明する。図２は、上述した画像処理装置（エンコーダサーバ１０）を用いた画像処理フローを示す図である。なお、同図において、エンコーダサーバ１０は、画像信号を取得しているものとする。

まず、エンコーダサーバ１０は、取得した画像信号に基づいてRGB画像データを読み込む（Ｓ１０）。

次いで、エンコーダサーバ１０は、横方向の切出しサイズ（CX）及び縦方向の切出しサイズ（CY）を指定し、符号化及び出力の対象とする矩形領域の面積を決定する（Ｓ２０）。

さらに、エンコーダサーバ１０は、ステップＳ１０において読み込んだRGB画像データによって再生される画像の所定の位置（X, Y）を切出し開始点として指定し、矩形領域を確定する（Ｓ３０）。なお、ステップＳ２０及びＳ３０において、ユーザが、エンコーダサーバ１０に接続されているコンソールなどを介して、直接切出しサイズ及び切出し開始点を指定してもよいし、受信端末７０のユーザが、WAN６０を介してエンコーダサーバ１０にリモートアクセスし、切出しサイズ及び切出し開始点を指定してもよい。

次いで、エンコーダサーバ１０は、R成分の画像データ（R画像）のうち、ステップＳ３０において確定した（X, Y）、（X+CX）及び（Y+CY）により形成される矩形領域の画像データをR'画像として複製（コピー）する（Ｓ４０）。

同様に、エンコーダサーバ１０は、G及びB成分の画像データ（G画像及びB画像）について、当該矩形領域の画像データをG'画像及びB'画像としてそれぞれ複製する（Ｓ５０及びＳ６０）。なお、ステップＳ４０乃至Ｓ６０の処理は、実際には並行して実行される。

さらに、エンコーダサーバ１０は、R'・G'・B'の各画像データを出力する（Ｓ７０）。その後、エンコーダサーバ１０は、R'・G'・'B'の各画像データをMPEG-4に基づいて符号化し、MPEG-4信号を受信端末７０に対して送信する。

ここで、上述した画像処理方法の概念について、図３を用いて説明する。同図の左上には、ステップＳ１０において読み込まれる原画像のRGB画像データが示されている。この原画像は、監視カメラによって撮影された現金自動預入れ支払い機（ATM）を利用する人物を示している。

次いで、エンコーダサーバ１０は、RGB画像データの所定の位置（X,Y）、（X+CY）及び（Y+CY）によって形成される矩形領域を確定し、同図の右上に示すように、当該矩形領域のR・G・B各画像データを複製する。当該矩形領域には、ATMを利用する人物の顔の部分が位置しており、当該部分のみがMPEG-4により符号化されることとなる。

さらに、エンコーダサーバ１０は、当該矩形領域の画像データが符号化されたMPEG-4信号を受信端末７０に送信し、受信端末７０は、当該MPEG-4信号を受信して復号する。同図の左下には、受信端末７０において再生される画像が示されている。同図に示すように、受信端末７０上では、矩形領域として確定されたATMを利用する人物の顔の部分のみが再生される。

すなわち、上述したようにMPEG-4による符号化の対象を矩形領域内の画像データに制限することにより、画像全体を符号化の対象とする場合と比較して、符号化の対象とされる情報量を低減することが可能となり、同一のビットレートを用いて画像信号を受信端末７０に送信する場合、解像度などの画質の劣化を抑制することができる。

特に、図３に示したように、監視カメラによって撮影された画像など、一部の領域のみを高い解像度を確保して送信したい場合、本発明は、大きな効果を奏する。

すなわち、監視カメラが設置されているATMの設置場所と、LANなどの広帯域なネットワークを用いて接続することができる場合、例えば、当該ATMが設置されている銀行の店舗内においては、原画像の全体の領域を伝送する一方、当該店舗から、LANよりも帯域の狭いWANまたはインターネットなどを介して監視センターなどに当該画像を伝送する場合、上述したエンコーダサーバ１０を用いて、ATMを利用する人物の顔の部分を含む領域のみを伝送することにより、所定の画質を確保しつつ画像信号を伝送することができる。

（変更例）
上述した本発明の実施形態においては、画像処理装置がMPEG-2などのディジタル画像信号を取得する形態について説明したが、本発明に係る画像処理装置は、このような実施形態に限定されるものではなく、以下のように変更することもできる。

図４は、本変更例に係る画像処理装置を構成するエンコーダサーバ１１を含む接続構成を示す図である。以下、図１に示したエンコーダサーバ１０を含む接続構成と異なる部分を主に説明する。

エンコーダサーバ１１は、図１に示したエンコーダサーバ１０が備える画像／音声分離部１０１と、MPEG-2デコード部１０３とに代えて、アナログ画像信号IF部１０２と、A/D変換部１０４とを備えている。

アナログ画像信号IF部１０２は、NTSCフォーマットなどのアナログ画像信号を出力するビデオカメラ３０と接続するためのインターフェースを提供するものである。アナログ画像信号IF部１０２は、ビデオカメラ３０から出力されたアナログ画像信号をA/D変換部１０４に送出する。

A/D変換部１０４は、アナログ画像信号IF部１０２から送出されたアナログ画像信号をディジタル画像信号に変換するものである。具体的には、本変更例に係るA/D変換部１０４は、アナログ画像信号をディジタルRGBフォーマットの画像データに変換し、変換したRGB画像データを画像領域切出し部１０７に送出する。なお、上述したように、ディジタルRGBフォーマットに代えて、YUVやYUY2などの画像フォーマットを用いることも勿論可能である。

また、画像領域切出し部１０７及びMPEG-4エンコード部１０９が有する機能は、図１に示したエンコーダサーバ１０と同様である。

このように、エンコーダサーバ１１は、アナログ画像信号によって再生される画像の一部の領域を切り出して、符号化する機能を提供することができる。さらに、上述したエンコーダサーバ１０と、エンコーダサーバ１１とが有する機能の双方を具備するエンコーダサーバを構成することもできる。かかるエンコーダサーバによれば、多様な画像信号を取り込むことができ、エンコーダサーバの活用の機会や利用分野を拡大することができる。

本発明の実施形態に係る画像処理装置を含む接続構成を示す図である。 本発明の実施形態に係る画像処理フローを示す図である。 本発明の実施形態に係る画像処理方法の概念を説明する図である。 本発明の変更例に係る画像処理装置を含む接続構成を示す図である。 従来の画像処理装置を含む接続構成を示す図である。

符号の説明

１０、１１、２０…エンコーダサーバ、３０…ビデオカメラ、４０…MPEG-2エンコーダ、５０…LAN、６０…WAN、７０…受信端末、７１…ネットワークIF部、７３…MPEG-4デコード部、７５…画像表示部、１０１…画像／音声分離部、１０２…アナログ画像信号IF部、１０３…MPEG-2デコード部、１０４…A/D変換部、１０５…ネットワークIF部、１０７…画像領域切出し部、１０９…MPEG-4エンコード部、１１３…外部記憶媒体アクセス部

Claims (4)

1. 第１の画像信号を取得する画像信号取得部と、
   前記第１の画像信号によって再生される画像の一部の領域を切り出す画像領域切出し部と、
   前記画像領域切出し部によって切り出された領域の画像信号を所定の符号化方式を用いて符号化し、第２の画像信号を出力する符号化部と
   を備えることを特徴とする画像処理装置。
2. 前記符号化部は、使用される通信ネットワークの帯域に応じた情報量に圧縮された前記第２の画像信号を出力することを特徴とする請求項１に記載の画像処理装置。
3. 第１の画像信号を取得するステップと、
   前記第１の画像信号によって再生される画像の一部の領域を切り出すステップと、
   前記画像領域切出し部によって切り出された領域の画像信号を所定の符号化方式を用いて符号化し、第２の画像信号を出力するステップと
   備えることを特徴とする画像処理方法。
4. コンピュータにより実行される画像処理プログラムにおいて、
   前記コンピュータが、
   第１の画像信号を取得し、
   前記第１の画像信号によって再生される画像の一部の領域を切り出し、
   前記画像領域切出し部によって切り出された領域の画像信号を所定の符号化方式を用いて符号化し、第２の画像信号を出力する
   ように機能させることを特徴とする画像処理プログラム。
   

Images