JP2005045666A - トランスコーダ - Google Patents

Abstract

【課題】 画像用途に応じた効率的な符号化変換を実現できるトランスコーダを提供する。
【解決手段】 符号化された画像データである符号化画像データを入力する入力手段６４と、入力された上記符号化画像データをそれとは異なる符号化画像データに変換する符号化変換手段６３と、変換された符号化画像データを出力する出力手段６５と、画像を構成する画像フレームの部分領域を示す位置情報とその部分領域の変換方法を示す変換情報からなる部分領域変換情報を１つ以上含む符号化変換要求を受け付ける変換要求受付手段６０と、受け付けた上記符号化変換要求に基づき、上記部分領域に対して、その部分領域の変換方法で変換するように上記符号化変換手段を制御する変換制御手段６１とを備えた。
【選択図】 図３

Description

本発明は、ビットレートが異なる伝送メディア間、蓄積メディア間、伝送メディアと蓄積メディア間などにおいて、動画、静止画などの符号化画像データを変換するトランスコーダ装置に関する。

従来から、符号化された画像データを、異なる符号化方式あるいは符号化パラメータで符号化した画像データへ変換するトランスコーダが開発されている。このようなトランスコーダの利用目的の一つは、画像データのデータ量を変更することである。データ量を変更する方法としては、画像データの解像度や直交変換係数値を変更する手法が知られている。また、動画像データの場合には、フレームレートを変更することでもデータ量を変えることができる。

従来技術１.
従来の画像データの解像度を変更する、すなわち解像度変換するトランスコーダにおいては、高解像度の画像符号化データ（符号化画像データ）を読み出し、それをエントロピー復号化し、その逆量子化データを、離散的コサイン変換用マトリクスから変換しようとする解像度に応じて作られた解像度変換用マトリクスとのマトリクス変換を行い、低い解像度の離散的コサイン変換データを得、そのデータを量子化し、エントロピ符号化している（例えば、特許文献１参照）。すなわち、この方式では解像度変換して画素数を変えることによりデータ量を変化させている。

従来技術２.
従来の画像データの直交変換係数値を変更するトランスコーダにおいては、主信号を高能率符号化によってエンコードした後に量子化して得られた圧縮された主信号と、この圧縮された主信号を伸長するのに必要な制御信号とを多重化したビットストリームを出力する第１メディア装置に接続され、前記ビットストリームを入力してこのビットストリームに多重化されている圧縮された主信号のビットレートを変更した後、第２メディア装置に出力する高能率符号化におけるトランスコーダ装置において、前記第１メディア装置から送出されるビットストリームを主信号と制御信号とに分離する分離回路と、この分離回路から出力される制御信号のうち、変更先のビットレートに対応して変更しなければならない部分を付け換えて新たな制御信号を生成する分離・変更回路と、この分離・変更回路から出力される元の制御信号または新たな制御信号に基づき、前記分離回路から出力される主信号を再量子化する再量子化回路と、この再量子化回路から出力される主信号と前記分離・変更回路から出力される新たな制御信号とを多重化して出力対象となるビットストリームを生成する多重化回路と、を備えている（例えば、特許文献２参照）。すなわち、入力符号化画像データをエントロピー復号化して得られる量子化直交変換係数のブロックに対して、量子化パラメータを変えて再量子化し、得られた量子化直交変換係数のブロックをエントロピー符号化する。エントロピー符号化は係数値が零以外の量子化直交変換係数のみを符号化するので、再量子化することで零となる量子化直交変換係数の個数を変化させることにより、符号化画像データのデータ量を変えている。

また、従来の画像データの直交変換係数値を変更する別のトランスコーダにおいては、まず、変換部は、DCT係数の高次からＮ個の非ゼロ係数を０に置換して、可変長符号化部に出力する。可変長符号化部は、入力信号のうちの可変長符号化されていない部分に対して可変長符号化を施してヘッダ付加部に出力する。ヘッダ付加部は、入力された信号に、予め作成したヘッダ情報を付加してスタッフィング部に出力する。次に、スタッフィング部は、ヘッダ付加部から入力された信号STRM4のビットレートが、予め設定されたビットレート以内であるか否かを判定する。次に、スタッフィング部は、制御信号CUTを”１”として変換部に出力する。この制御信号CUTに対応して、変換部は、パラメータＮを１だけインクリメントし、戻る（例えば、特許文献３参照）。すなわち、入力符号化画像データをエントロピー復号化して量子化直交変換係数のブロックを得た後、このブロック内の量子化直交変換係数データのうち、高次の直交変換係数を零へと置換し、エントロピー符号化処理を施すことによって符号化画像データのデータ量を変更している。

従来技術３.
また、従来のさらに別のトランスコーダにおいては、符号化方式変換部は、まず、蓄積部等から、ＭＰＥＧ１の方式で符号化された動画データを取り込む。そして、取り込んだデータのフォーマットを解析して、動画情報を表す符号化された動画データを、マクロブロック単位で取り出す。また、この処理では、取り出したデータの量を一定時間毎に調べ、その値が特定の値よりも大きい場合には、取り込む動画データの内、ＭＰＥＧ１のＰピクチャかＢピクチャのフレームに含まれるものを削除する。これは、通信の目的で利用されるＨ．２６１では、ＭＰＥＧ１の場合よりもビットレートを低くする必要があるためであり、フレームの削除により変換対象のデータ量を削減させる。そして、動画像データのフレーム毎に、量子化特性値の情報を得て後の処理で使用している（例えば、特許文献４参照）。すなわち、一部のフレームデータを間引くことによってフレームレートを落とし、符号化動画像データからビットレートを削減している。

特開平０５−３１６３５７号公報（第１頁、第２図） 特開平０８−０２３５３９公報（第２頁、第１図） 特開２０００−０３２４５７号公報（第１頁、第２図） 特開平０９−０８４０１１号公報（第６頁、第９図）

トランスコーダで画像データのデータ量を削減する場合、従来のトランスコーダでは上記のように解像度、直交変換係数値、フレームレートといった画像品質（画質）に影響するいずれかの項目を犠牲にすることで符号化画像データのデータ量削減を実現しており、画像フレーム内の全領域を一様な画質となるよう符号化変換していた。
一方、観察者が画像を見る際には画像フレーム全体を詳細に見たいという場合もあれば、場合によっては画像フレーム内の一部の領域さえ綺麗に見られれば良いという場合もある。
また、従来のように画像全体を一様な画質で符号化した場合、重要な領域が含まれていても、不慣れな観察者ではどこを見ればよいかわかりにくく、重要画像を見落とす可能性があった。
さらに、画像フレーム内に公開しづらい情報（例えば、プライバシーに関した情報等）を含んでいる場合、その情報を含んだ領域のみ画質を落としたり、あるいは特殊処理を施したりする、といった符号化画像の変換に柔軟性を持たせることができなかった。

本発明は、上記のような従来のものの問題点を解決するためになされたものであり、画像用途に応じた効率的な符号化変換を実現できるトランスコーダを提供することを目的とするものである。

本発明に係るトランスコーダは、入力された符号化画像データを、それとは異なる符号化画像データに変換し、変換された符号化画像データを出力するトランスコーダにおいて、画像を構成する画像フレームの少なくとも一部分領域を他の部分領域とは異なる符号化（変換）方法で変換するものである。
また、符号化された画像データである符号化画像データを入力する入力手段と、入力された上記符号化画像データをそれとは異なる符号化画像データに変換する符号化変換手段と、変換された符号化画像データを出力する出力手段と、画像を構成する画像フレームの部分領域を示す位置情報とその部分領域の変換方法を示す変換情報からなる部分領域変換情報を１つ以上含む符号化変換要求を受け付ける変換要求受付手段と、受け付けた上記符号化変換要求に基づき、上記部分領域に対して、その部分領域の変換方法で変換するように上記符号化変換手段を制御する変換制御手段とを備えたものである。

観察者が画像を見る際には画像フレーム全体を詳細に見たいという場合もあれば、場合によっては画像フレーム内の一部の領域さえ綺麗に見られれば良いという場合もある。例えば、画像内に誰が写っているのかを知りたいだけであれば、人物やその顔が写っている領域さえ詳細に表示されていれば良く、他の領域はさほど重要でないためあまり画質は要求されない。このような場合、画像フレーム内の特定領域に対しては符号量を多く割り当てて高画質な符号化画像へ変換し、それ以外の領域に対しては割り当てる符号量を少なくして低画質な符号化画像へ変換するようなトランスコーダが実現できれば、画像データのデータ量を抑えつつ必要領域は高画質に見ることができて、伝送帯域等が限られたシステムにおいても画像を活用でき便利である。
しかしながら従来のトランスコーダにおいては、符号化画像データを変換する際に、画像フレーム内の領域別に画質を勘案することなく、全領域を一様な画質となるよう符号化変換していた。このため、データ量を抑制しようとした場合、全領域おおよそ同等に符号量が配分されるので、重要な領域に十分な符号量が割り当てられず、変換後の画像は重要領域の画質が十分でない場合があるという課題があった。
これに対して、本発明に係るトランスコーダは上記のように構成されており、画像フレーム内の領域に応じて符号量を制御でき、例えば特定領域に多くの符号量を割り当てることで、特定領域の画像品質（画質）を高く維持したままデータ量を抑制することができる。
また、画像フレーム内で領域毎に画質に差をつけることできるため、この画像データを復号して表示した際に、重要領域がどこであるかを観察者に一目でわかるよう伝えることができる。
さらに、例えば画像フレーム内に守秘情報を含んでいる場合、守秘情報を含む領域に割り当てる符号量を減らして画質を劣化させることにより判読しにくくしたり、あるいは特殊処理を施したりして守秘情報を守ることができる。

このように本発明によれば、画像フレーム内の各領域が持つ重要性や秘匿性等に応じて柔軟に符号化画像データを変換することができ、画像用途に応じた効率的な符号化変換を実現できるトランスコーダを提供することができるという効果がある。

実施の形態１．
まず、本発明の実施の形態１によるトランスコーダを画像監視システムに組み込んだ場合のシステムの全体構成を説明する。図１は、本発明の実施の形態１によるトランスコーダを組み込んだ画像監視システムの一例を示す全体構成図である。図１では、広帯域のネットワーク（通信網）40aと狭帯域のネットワーク40bとがゲートウェイ41を挟んで接続されている。広帯域のネットワーク（以下、広帯域ネットワークということもある。）にはコーデック42bと画像を表示するための監視端末43とが接続され、狭帯域のネットワーク（以下、狭帯域ネットワークということもある。）には別の監視端末44が接続されている。
ここで、ゲートウェイ41および監視端末43,44は汎用のパーソナルコンピュータ（PC）で構成されている。コーデック42bにはカメラ42aが接続されており、コーデック42bはカメラ42aからの入力画像をA/D変換した後、それを例えば6MbpsのビットレートでMPEG-2等にディジタル圧縮符号化してネットワーク40aへマルチキャスト配信する。

広帯域のネットワーク40aに接続された監視端末43は、コーデック42bから配信されたディジタル圧縮符号化画像データ（以下、単に符号化画像データということもある。）を広帯域ネットワーク40aを経由で受信し、MPEG-2等のデコーダ43aにより復号化してモニター等の表示装置へ表示する。

一方、狭帯域のネットワーク40bに接続された監視端末44へ画像データを配信する場合には、広帯域ネットワーク40aに流れる画像データを一旦ゲートウェイ41が受信し、配信要求した監視端末44へユニキャストで中継配信する。この際、広帯域ネットワーク40aから受信した画像データは例えば6MbpsのMPEG-2で符号化されたものであって、狭帯域ネットワーク40bにとって非常に高いビットレートである。そのため、受信した画像データをそのまま中継配信しようとすると、狭帯域ネットワーク40b側のネットワーク帯域が十分でないためリアルタイムに画像データを配信できないか、あるいは配信できる画像データのストリーム数が非常に少なくなるという問題が生じる。そこで上記ゲートウェイ41内には、画像データのビットレートを変換するトランスコーダ41aを装備し、狭帯域ネットワーク40bへ画像データを中継配信する前にビットレートを低減すべく符号化変換を行う。

トランスコーダ41aは、解像度（フレーム内の画素数）の間引き、フレームの間引き、フレーム内の直交変換係数値の変更、符号化方式の変更等を行って、ビットレートを低減する。ビットレート変換された画像データは狭帯域ネットワーク40bへ配信され、監視端末44はその変換された画像データを直接あるいは無線ネットワーク45を介して受信し、変換後の符号化方式に応じたデコーダ（復号化器）44aを使って画像データを復号して、モニター等の表示装置へ画像を表示する。

なお、上記説明においてはコーデック42bからはマルチキャスト配信、ゲートウェイ41からはユニキャスト配信と記載したが、本発明にかかるトランスコーダはこのような配信方式に依存するものではないことを追記しておく。

次に、図２を用いて、上記狭帯域ネットワーク40bに接続された監視端末44、ゲートウェイ41、コーデック42b間のデータの流れについて簡単に説明する。監視端末では、入力部50が、監視員などの画像の観察者が入力する画像の制御命令と画像に対する変換方法を示す変換情報とを受け付ける。上記制御命令は、取得する画像に関する情報や、動画の場合には再生、停止といった再生方法に関する情報を含んでいる。上記変換情報は、画像フレーム内の部分領域毎にそれぞれ設定することも可能であり、この場合には画像フレーム内の当該部分領域の位置を示す位置情報が同時に入力される。対話制御部51はこの制御命令と、上記変換情報と位置情報のペアからなる部分領域変換情報とからゲートウェイ41に対する変換画像送信要求メッセージ52mを作成する。作成された変換画像送信要求メッセージは通信部53によりゲートウェイ41に向けて送信される。

ゲートウェイ41では、狭帯域ネットワーク40b側に接続された第一の通信部54において上記変換画像送信要求メッセージ52mを受信し、ゲートウェイ制御部55へその変換画像送信要求メッセージ52mを伝える。ゲートウェイ制御部55は、変換画像送信要求メッセージ52mに記述されたコーデック42bあるいはカメラ42aに関する情報からコーデック42bを特定し、広帯域ネットワーク40a側に接続された第二の通信部56に伝える。

またゲートウェイ制御部55は、変換画像送信要求メッセージ52mに記述された監視端末44に関する情報から送信先の監視端末44を特定し、上記第一の通信部へ伝える。さらに、ゲートウェイ制御部55は、変換画像送信要求メッセージ52mから部分領域変換情報を抽出し、符号化変換要求メッセージ57mとしてトランスコーダ41aへ入力する。第二の通信部56は、ゲートウェイ制御部55から伝えられたコーデック42bが配信する第一の符号化画像データ58dを受信しトランスコーダ41aへ入力する。トランスコーダ41aは、入力された第一の符号化画像データ58dを、ゲートウェイ制御部55から伝えられた符号化変換要求メッセージ57mにもとづいて第二の符号化画像データ59dへと変換し、第一の通信部54へ入力する。第一の通信部54は、変換された第二の符号化画像データ59dを監視端末44へ送信する。

監視端末44では、第二の符号化画像データ59dを通信部53で受信して復号化部510で復号化し、表示部511においてモニター512等へ画像を表示する。

なお、監視端末44が要求する画像データが動画であった場合には、ゲートウェイ41においては第一の符号化画像データ58dの受信、第一の符号化画像データ58dから第二の符号化画像データ59dへの変換、第二の符号化画像データ59dの送信といった処理が繰り返し実行され、すなわち、トランスコーダ41a（後に説明する符号化画像出力部）は変換された符号化画像データを時系列で出力し、監視端末44においては第二の符号化画像データ59dの受信、復号化、表示の処理が繰り返し実行される。

続いて、図３を用いて、本発明の実施の形態１によるトランスコーダの内部構成について説明する。変換要求受付部60（変換要求受付手段に相当する。）は、画像を構成する画像フレーム内の部分領域を示す位置情報とその部分領域の変換方法を示す変換情報とを記述した部分領域変換情報を1つ以上含んだ符号化変換要求メッセージ57mを外部（ゲートウェイ制御部）から受け付け、この符号化変換要求を変換制御部61（変換制御手段に相当する。）へ伝える。上記変換情報には、当該領域の変換後の符号化方式や変換後の画像品質(画質)に関する情報が含まれている。

画質の記述方法としては、高画質、中画質、低画質といった何段階かのレベルにより抽象的に記述する方法と、部分領域毎のビットレートやフレームレート、解像度といった具体的な符号化変換パラメータにより記述する方法とがある。抽象的に記述した場合には、予め対応表を持つなどして、対応する符号化変換パラメータ62pを導出できるようにする。

変換制御部61は、このようにして導出された部分領域毎の符号化変換パラメータ62pを符号化変換部63（符号化変換手段に相当する。）へ出力する。
符号化画像入力部64（入力手段に相当する。）は、JPEGやMPEG-2等により符号化された符号化画像データ58dを外部から取得し、取得した符号化画像データ58dを符号化変換部63へ入力する。
符号化変換部63は当該部分領域の符号化変換パラメータ62pに従って各部分領域を符号化変換し、変換された符号化画像データ59dを符号化画像出力部65（出力手段に相当する。）へと入力する。
最後に、符号化画像出力部65が、符号化変換された符号化画像データ59dを外部へ出力する。

図３に示したトランスコーダ41aは、基本的にPC上のソフトウェア処理により実現されるが、専用のASIC（Application Specific Integration Circuit）等によって実現してもよい。

なお、符号化変換部63はさまざまなアーキテクチャにより実現されるが、基本的には、ある中間段階または画素まで復号化する復号化部66と、その中間段階または画素から再符号化する符号化部67とから構成される。最も単純な実現方法はデコーダとエンコーダとを直列結合することであるが、その場合には入力符号化画像データ58dを画素まで完全に復号化してから再度符号化するので、処理演算量が非常に多くなる。

次に、上記のように構成された本発明の実施の形態１によるトランスコーダ41aの具体的な動作について説明する。トランスコーダ41aの入出力画像データの符号化方式にはMPEG-2やMPEG-4、JPEGといった様々な圧縮符号化方式の組み合わせが存在し得る。例えばMPEG-2の符号化画像データを入力とするトランスコーダであっても、MPEG-4やMotion JPEGへ符号化変換して出力する場合もあれば、入力とは異なるビットレートやプロファイルのMPEG-2の符号化画像データへ変換して出力する場合もある。

以下、本実施の形態によるトランスコーダ41aの具体的動作を説明するため、MPEG-2符号化画像データを入力し、そこからIピクチャのみを切り出してJPEG符号化画像データへ変換するMPEG-2→JPEGトランスコーダを例にとって説明する。
まず、MPEG-2→JPEGトランスコーダの動作原理について説明する。従来のMPEG-2→JPEGトランスコーダの処理ブロック構成を図４に示す。以下、図４を用いてMPEG-2→JPEGトランスコーダの処理手順について述べる。

図４において、入力されるMPEG-2符号化画像データ58dm2vはエレメンタリストリーム(ES)であると仮定する。入力されるMPEG-2符号化画像データがトランスポートストリーム(TS)や、プログラムストリーム(PS)であった場合には、ESへ分離するための分離処理がIピクチャ抽出部70の前処理として追加される。Iピクチャ抽出部70は、MPEG-2画像データを逐次入力し、その中からIピクチャの画像データ71dのみを抽出して出力する。Iピクチャの抽出は、入力MPEG-2画像データからIピクチャの開始位置と終端位置とを探索し、その間のデータを切り出すことにより実現できる。Iピクチャの開始位置はピクチャ開始コード(0x00000100)の探索とそれに続くピクチャ種別(ピクチャタイプ)の確認により見つけることができる。また、そこから続いて次のピクチャ開始コードを探索することでIピクチャの終端位置を見つけることができる。
なお、上記処理において、シーケンスヘッダ開始コード(0x000001B3)が検知された場合には、後述するIピクチャ復号化部73でこのヘッダに記載の情報78を用いて復号化するため、このシーケンスヘッダに記載の情報78は別途メモリ72上に記録される。

次にIピクチャ復号化部73が、上記抽出されたIピクチャの画像データ71dを復号化する。Iピクチャはフレーム内圧縮符号化方式であるため、Iピクチャ単独で復号化できる。通常MPEG-2のIピクチャの復号化過程は、図５に示すように、エントロピー復号化80、逆量子化81、逆DCT（離散コサイン変換）82の各過程からなる。一方、JPEGの符号化過程も、量子化の手法は若干異なるものの、基本的には図６に示すように、上記Iピクチャの復号化過程を逆順に処理するものである。すなわち、DCT90、量子化91、エントロピー符号化92の各過程をたどる。

話を図４のIピクチャ復号化部73に戻すと、逆量子化して得られるDCT係数ブロックはJPEG符号化する際に流用できるので、Iピクチャ復号化部73では逆DCTは実施せず、エントロピー復号化部80によるエントロピー復号化処理および逆量子化部81による逆量子化処理のみを実施して、DCT係数ブロック74dを出力する。MPEG-2とJPEGとでは画素値のダイナミックレンジがずれているので、Iピクチャ復号化部73が出力したDCT係数ブロックはそのままではJPEG符号化に使用できない。そこで、続くDC係数補正部75が、DCT係数ブロック内のDC係数値(直流成分)をレベルシフトしてJPEGに合ったダイナミックレンジへと補正する。
最後にJPEG符号化部76において、補正されたDCT係数ブロックをJPEGへ符号化し、JPEG符号化画像データ59djpgが出力される。なお、JPEG符号化部76においては、量子化部91における量子化、およびエントロピー符号化部92におけるエントロピー符号化部が実施される。

上記において、解像度変換が必要な場合には、DC係数補正部75から出力されるDCT係数ブロックが解像度変換部77に入力され、解像度変換された後、JPEG符号化部76に入力される。DCT係数ブロックを用いた解像度変換は、例えば特開平08-098173号公報等、既に多くの文献に記載されておりここでは説明は省略するが、ブロック毎の簡単な行列計算を２回行うことで縮小変換される。
以上のようにして、MPEG-2→JPEGトランスコーダはJPEG変換を実現する。

次に、本実施の形態によるMPEG-2→JPEGトランスコーダの構成について説明する。本実施の形態によるトランスコーダにおいては、上記図４に示したMPEG-2→JPEGトランスコーダの構成に加え、図７に示すように、動作仕様決定部100が新たに加わる。動作仕様決定部100には、部分領域毎のビットレート、フレームレート、解像度等が記述された符号化変換パラメータ62ｐが入力される。動作仕様決定部100は、符号化変換パラメータ62pに基づきIピクチャ復号化部73、解像度変換部77、JPEG符号化部76の部分領域毎の動作仕様をそれぞれ決定し、それぞれIピクチャ復号化部73、解像度変換部77、JPEG符号化部76へ伝える。Iピクチャ復号化部73、解像度変換部77、JPEG符号化部76は、動作仕様決定部100が出力した動作仕様に基づき動作する。ここで動作仕様に記載される具体的な内容としては例えば、解像度変換する際の縮尺率であったり、符号化する際のパラメータであったり、処理しない旨の指示であったりする。

ここで、具体的な使用例を幾つか説明する。図１に示したシステムにおいて、コーデック42bはカメラ42aからの入力画像を、解像度720×480、30フレーム/秒、ビットレート6MbpsとなるようMPEG-2で符号化し、ネットワーク40aへ配信しているとする。この符号化画像がゲートウェイ41に実装されたMPEG-2→JPEGトランスコーダ41aにより、例えば352×240、2fps、128KbpsのM-JPEGへと符号化変換され、狭帯域ネットワーク40bを介して監視端末44に表示されているとする。この際トランスコーダ41aは、解像度を落としたり量子化係数を大きくしたりフレームレートを落としたりすることによりビットレートを圧縮する。

図８は、この監視端末44のモニタ上に表示される１枚の画像フレーム110を示している。図８では画像フレーム110内の全領域で画質は均一である。図８はある部屋の出入り口を撮影した画像であり、ここで例えば監視端末44の前に座った観察者は、この画像を見て入退室者の確認を行うものとする。この場合、観察者が見たい画像は入退室者およびその周辺のみである。しかし、図４に示すような従来のトランスコーダでは画像フレーム110内の領域に応じた符号化変換の指定ができなかったため、図８のように画像フレーム110内を均一の画質で符号化変換しようとする。この場合、見たい領域以外にも多くの符号量が割り当てられ、結果として低ビットレートの画像では全体的に画像が精細さを失い、入退室者を特定できなくなってしまうという問題が発生する。しかしながら本実施の形態によるトランスコーダでは、フレーム内の領域に応じて割り当てる符号量を明示的に変えることでこのような問題を解決する。

図９は、本実施の形態によるトランスコーダが配信した画像データを表示する監視端末のGUI（Graphical User Interface）画面120の一例である。図９のGUI画面120上には、選択した部分領域のみ画質を向上させる“部分高画質モード”への切り替えを行うためのラジオボタン121と、部分高画質モードになった場合の部分領域に対する画質向上の方法を選ぶラジオボタン122とが配置されている。図９の例の場合、画質を向上する方法として、周波数、解像度、フレームレートが選択できるようになっている。これらラジオボタン121,122の説明は後述する。

図９においては、破線で囲まれた矩形領域123が観察者にとって高画質で見たい領域であるとする。このような場合、観察者はマウスのドラッグ操作等によって高画質で見たい領域を囲むことで領域選択した後、部分高画質モードのラジオボタン121をONにセットする。すると、監視端末44からはゲートウェイ41に対し、この選択された部分領域に対する画質を向上させるよう要求が出る。ゲートウェイ41ではこの要求を受けて上記の選択領域（選択された部分領域）および選択外領域（選択領域以外の部分領域すなわち選択されなかった部分領域）の符号化変換方法を決定し、決定した符号化変換方法に沿って符号化変換するようゲートウェイ41内部のトランスコーダ41aへ指示を出す。トランスコーダ41aは指示された符号化変換方法に従って各領域を符号化変換し、変換された画像データを監視端末44へ向けて配信する。監視端末44では、配信されてくる画像データを受信し表示すれば、選択領域は高画質で、選択領域外は低画質となった画像が表示される。

前述したように、部分領域に対する画質向上の方法にはいくつかの選択肢が考えられる。例えば図１０は周波数を重視して画質向上させた場合の例であって、選択領域130（図１０における破線で囲んだ部分）と選択外領域131とに含まれる周波数成分の数に差をつけている。選択外領域131ではDCT係数は低周波成分までしか含まないようにし、選択領域130においては高周波成分までDCT係数を含んだ画像となるようトランスコーダ41aが符号化変換する。選択外領域131に対してはDCT係数の個数が減ることで符号量が節約され、その分、選択領域130へ符号量を多く割り当てることができる。

具体的な領域毎の符号量の制御は、MPEG-2→JPEGトランスコーダの場合には、トランスコーダの符号化部で各ブロックをエントロピー符号化する際に、所定の次数の周波数成分まで符号化するか、または当該ブロックを符号化して発生した符号量が上限値に達した時点でEOB（End Of Block）コードを強制的に挿入することにより符号量を制御する。図７においては、動作仕様決定部100がJPEG符号化部76に対し、領域毎に上記所定の次数または符号量の上限値を指示する。

また、図１１は解像度を重視して画質向上させた場合の例である。選択領域140（図１１における破線で囲んだ部分）は選択外領域141と比べて解像度が高く、その結果あたかも虫眼鏡で覗いて拡大されたかのように表示される。この場合、図７において、選択領域140と選択外領域141とでは解像度変換部77に異なる縮尺率を与える、あるいは選択外領域141に対しては縮小変換を実施するが、選択領域140に対しては解像度変換を実施しないよう動作仕様決定部100が指示を出す。この際、選択領域140は選択外領域141の一部を覆い隠すため、隠される領域に対する復号化処理、解像度変換処理、符号化処理は無駄となる。そこで、復号化処理における逆量子化など、これらの処理の一部は実施しないよう動作仕様決定部100は指示を出す。

さらに異なる例として、図１２のように、ある部分領域のみフレームレートを向上させることも考えられる。選択領域150（図１２におけるハッチングを施した部分）は高いフレームレートで変換され、選択外領域151は低いフレームレートで変換される。この場合、図７において、Iピクチャ復号部73は、選択領域150に対しては時間的に頻度高く復号して出力するが、選択外領域151に対しては時間的頻度を低くして復号し出力することとなる。この結果、JPEG符号化部76においては選択領域150のみ符号化するフレームが発生するが、符号化する際にJPEGのリスタートマーカを使うことで、符号化しない領域を飛ばして符号化することができ、またフレーム内での位置も監視端末側に伝えることができる。しかしながら監視端末側で、通常のJPEGデコーダを使ってこれらの画像フレームを復号化しそのまま表示しても、選択外領域151には有効なデータがないと判断されてしまい、何らかの画像で塗りつぶされるため前フレームの残像は表示されない。そこでリスタートマーカを検知した場合にはリスタートマーカから読み取れる領域に復号化した画像を表示し、有効なデータが含まれない領域には前フレームの画像を表示するよう監視端末側を構成する。

なお、上記の例においては、画質向上の方法をラジオボタン121,122により排他的に決めるような記述をしたが、ラジオボタン121,122をチェックボックスとすることで、複数の方法により画質向上させてもよい。

また、上記の例において、選択領域150および選択外領域151の変換方法については、監視端末44側から変換方法を指定してもよいし、選択領域150のみ指定してもよい。選択領域150のみ指定する場合には、変換制御部61が選択外領域に対する予め固定の変換方法を持つか、あるいは変換後の画像フレームのデータ量と選択領域150のデータ量とから選択外領域151の変換方法を決定するなどする。

また、上記の例において、変換方法は低画質、高画質の２段階だけでなく、複数段階を設定可能としてもよい。

また、上記の例においては、観察者が高画質で見たい領域を囲む手段としてマウスのドラッグ操作を行う旨述べたが、本発明においては部分領域の入力方法に制約はなく、このような領域の選択は自由曲線を使って領域選択できるペン入力やタッチパネル等を用いても便利である。

このように、本実施の形態によれば、符号化変換により符号化画像データの符号量を低減させるトランスコーダにおいて、図３に示すように、画像フレーム内の部分領域を示す位置情報とその領域の変換方法を示す変換情報とを記述した部分領域変換情報を1つ以上含んだ符号化変換要求メッセージ57mを変換要求受付部60で受付け、そこから導出される符号化変換パラメータ62pに基づき、符号化変換部63が、入力される符号化画像データ58dを部分領域毎に符号化変換することで、画像を構成する画像フレームの少なくとも一部分領域を他の部分領域とは異なる符号化画像データに変換するので、フレーム内の特定部分領域に符号量を多く割り当て、特定部分領域の画質を高く維持したままデータ量を低減することができる。

実施の形態２．
本発明の実施の形態２は、画像内の部分領域の変換方法を記載した部分領域変換情報を監視端末以外からも指示するものである。以下、本実施の形態について説明するが、トランスコーダの内部構成などは実施の形態１と同様のため、実施の形態１と異なる点のみ説明する。
図１３は、本発明の実施の形態２によるトランスコーダを組み込んだ画像監視システムの一例を示す全体構成図である。
本実施の形態では、実施の形態１で示した図１の構成に加え、センサ160、画像処理装置161、変換方法管理端末162がシステム上に新たに１つ以上設置される。センサ160は、種類は特定しないが、例えば電波や電流、圧力等の解析により定常状態からの何らかの変化を検知し、アラーム信号を外部へと伝えるものである。画像処理装置161もまた種類は特定しないが、入力される画像を解析し、定常状態からの変化や特定の動き、形状等を検知・認識したり、何らかの量を計測したりして、その処理結果をアラーム信号として外部へ出力するものである。変換方法管理端末162はPC等で構成され、ゲートウェイにおける画像の変換方法を外部から指示するものである。

実施の形態１では、ゲートウェイ41における画像データの符号化変換方法は、監視端末44から指定されていた。しかしながら、本実施の形態では、変換方法管理端末160もまた、部分領域変換情報を含んだメッセージをゲートウェイ41に対して出力し、監視端末44へ配信する画像データの符号化変換方法を指定する。これによりゲートウェイ41は、監視端末44あるいは変換方法管理端末160のいずれかから指定される部分領域変換情報から符号化方法を選択して、符号化変換を実施する。

変換方法管理端末160は、予め設定された設定情報に基づきゲートウェイ41に部分領域変換情報を出力する。設定情報は例えばカメラ42a毎に準備され、部分領域毎の変換方法または変換方法の導出基準となる画質や優先度等が記載されている。設定情報には、予め手作業等で入力した初期値が設定されているか、センサや画像処理装置161から受信したアラーム信号とアラーム信号に基づいて算出した画像内の位置情報から上記初期値を更新した値が設定されている。
このように本実施の形態では、変換方法管理端末160が部分領域変換情報を出力するため、監視員などの観察者が画面を見ながら対話的に変換方法を指定しなくても、自動的に画像フレーム内の部分領域毎に符号量を制御した画像データを得ることができる。

本実施の形態を、図１４を例にとってさらに詳細に説明する。図１４は道路監視の監視画像の例である。道路監視の場合、主として道路を監視することが目的であるので、極端にいえば道路形状に沿った領域170（図１４における破線で囲んだ部分）の画像が収集、表示できれば、目的は達成できる。しかしながら、通常、画像は、図１４のように矩形状に構成されるため、監視対象ではない道路以外の領域171も画像に含まれる。その結果、画像を符号化した場合にその分符号量が増加するという課題がある。
本実施の形態によるトランスコーダにおいては、部分領域毎に符号化変換方法を指定できるので、監視対象である道路内の領域170に関しては高画質な画像へ符号化変換し、それ以外の領域171に関しては低画質な画像へ符号化変換するよう指示すれば、図１５に示すような画像を監視端末44へ提供できる。この結果、監視対象外の領域171に符号量を多く割くことはなくなるので上記課題を改善できる。
しかしながら、監視端末44における領域指定では、図１４に示す道路のような複雑な形状を実施の形態１で説明したようなマウス操作等で指定することはわずらわしい操作である。

そこで、本実施の形態では、変換方法管理端末160が持つ上記設定情報にこのような道路形状に沿った符号化変換方法を予め設定しておき、この設定情報に基づいた部分領域変換情報をゲートウェイ41へ出力するようにする。後は、ゲートウェイ41が、変換方法管理端末160が出力した部分領域変換情報に基づき符号化変換することで、監視端末44側でのわずらわしいマウス操作なく、監視対象の道路のみを高画質で表示するという所望の効果を得ることができる。

ところで、本実施の形態においては、変換方法管理端末161が監視対象のみを高画質で変換するよう部分領域変換情報を設定するので、その結果、監視端末44側ではどこを見るべきなのかが一目でわかるという強調表示の効果もある。そのため、普段見慣れないカメラの画像など、特に知識や経験のないような画像においても見るべき監視領域がどこであるかを直ぐに判別できる。

また、本実施の形態においては、図１４における道路脇の民家のように、本来の道路監視業務とは関係のない場所は低画質となるように、上記変換方法管理端末160における設定情報を設定しておくことで、プライバシーを侵害するような情報には画質の制約がかかり、その情報を保護しつつ、画像を公開することができる。この場合、公開が制限されるような領域に対しては、例えば、図7のJPEG符号化部77において、DCT係数のDC(直流)成分のみを符号化してモザイク状の画像データにしたり、わざと画像データを誤らせて画像を壊したりするといった特殊処理を施すことにより、プライバシーに関する情報を保護する。

なお、本実施の形態では、変換方法管理端末160がセンサ162や画像処理装置161からのアラーム信号に基づきアラーム信号が発生した領域の画像が高画質となるよう上記設定情報を随時更新しゲートウェイ41へ送信するように構成することも有効である。この結果、アラーム信号が発生した場合には、ゲートウェイ41はアラーム信号が発生した領域を高画質で符号化変換するため、監視端末44ではアラームが発生した領域が強調されて表示されることになり、監視端末44へアラーム信号の発生を伝達できるとともに、その画面上の位置も監視端末44に知らせることができる。
また、センサ162や画像処理装置161は、アラーム信号を変換方法管理端末160へ送出せずに、部分領域変換情報を含んだメッセージを直接ゲートウェイ41に対して送信してもよい。
また、アラーム信号は専用装置から発生されるだけでなく、ゲートウェイ41内部で入力画像を画像処理し、例えば動き領域を検知してアラーム情報を出力し、上記同様、部分領域変換情報を作成して処理する構成も有効である。

このように、本実施の形態では、画像内の部分領域の変換方法を記載した部分領域変換情報を監視端末44以外からも指示するように構成することにより、監視端末44において領域指定するような作業を行わなくとも画像フレーム内の部分領域毎に符号量を制御した画像データを得ることができる。

また、映像監視等においては、監視対象となる領域は高画質に符号化変換され、それ以外の領域は低画質で変換されるよう部分領域変換情報を作成するように構成することで、監視領域を強調表示することができ、不慣れな画像においても監視領域を一目で判別できる。

また、公開しづらい情報を含む領域に関しては、低画質でしか符号化変換しないよう上記設定情報を作成するよう構成することにより、プライバシー等を保護しつつ、画像を公開することができる。

さらには、センサ162や画像処理装置161からのアラーム信号に基づきアラーム信号が発生した領域の画像が高画質となるよう上記設定情報を随時更新しゲートウェイ41へ送信するように構成することで、監視端末44へアラーム信号の発生を知らせることができるとともに、その画面上の位置も監視端末44に伝達することができる。

実施の形態３．
本発明の実施の形態３は、実施の形態１または２において、トランスコーダの出力部が、少なくとも部分領域変換情報に含まれる部分領域の位置情報を、その部分領域変換情報を使って変換された画像フレームと同期して出力するものである。以下、本実施の形態について説明するが、システム構成などは実施の形態１または実施の形態２と同様のため、異なる点のみ説明する。

本実施の形態におけるトランスコーダの内部構成を図１６に示す。トランスコーダ41aでは、実施の形態１で示した図３の場合と同様、変換要求受付部60において受け付けた符号化変換要求メッセージ57mから、変換制御部61が部分領域毎の符号化変換パラメータ62pを導出し、符号化変換部63へ出力する。符号化変換部63は、この部分領域毎の符号化パラメータ62pに従って符号化画像データ58dを符号化変換し、変換された符号化画像データ190をフレーム毎に出力する。この際、符号化変換部63は、出力したフレーム内の各部分領域の位置情報と、さらには符号化変換パラメータ62pとを含んだ変換データ付帯情報191を併せて出力する。

次に同期処理部192は、符号化変換部63から出力された符号化画像データ190と変換データ付帯情報191とが、監視端末側でフレーム毎に同期再生できるように、同期処理を施して符号化画像出力部65へと出力する。符号化画像出力部65は、同期処理された符号化画像データと変換データ付帯情報193を外部へ出力する。

同期処理部192で実施する同期処理にはさまざまな実現方法が考えられる。例えば変換データ付帯情報191を符号化画像データ190のヘッダやフッタとしてフレーム毎に付加し、一つの画像データとして多重化して出力する方法がある。図１７は、１フレーム分の符号化画像データ200の前に、変換データ付帯情報をヘッダ201として付加し、多重化する場合の例を示す。また、図１８に示すように、符号化画像データと変換データ付帯情報とを別々に出力する場合には、同一フレームに対する符号化画像データと変換データ付帯情報とに同一のシーケンス番号あるいはタイムスタンプ210を付けて出力する方法がある。この場合、監視端末側では、符号化画像データのストリームと変換データ付帯情報のストリームとからシーケンス番号あるいはタイムスタンプ210が一致するものをそれぞれ探して両者の同期を取ることができる。

本実施の形態によるトランスコーダにおいては、部分領域毎に異なる符号化変換方法によって符号化変換された画像データを監視端末が復号化して表示する。通常、符号化変換方法が異なる部分領域間では、その領域が持つ重要性が異なる等の符号化変換方法を変える何らかの理由がある。従って、図１９のように、このような部分領域間の境界に境界線220を表示すると識別しやすくなって便利な場合がある。このような境界線220は、その位置や形状が固定されていれば予め決まった位置に境界線220を表示すればよいので何ら問題ないが、境界線220が移動したり固定形状でない場合には、監視端末は境界線220の表示位置や形状を知る何らかの手段が必要である。

この最も簡単な実現方法としては、監視端末が監視員などの画像の観察者により指定された部分領域の位置情報を記憶しておき、境界線220の表示にはその位置情報を使用するという方法が考えられる。しかしながらその場合には、監視員が部分領域を指定するタイミングと、その指定された部分領域をゲートウェイすなわちトランスコーダ41aへ伝えて、ゲートウェイで符号化変換された画像データを受信して復号化して表示するタイミングとでは時間的にずれが生じてしまい、表示中の画像に対し、正確な境界線220を引くことはできない。
また、実施の形態２のようにセンサ等から部分領域が指示される場合には、監視端末はその位置情報を知ることができず、境界線220を引くことができない。

そこで本実施の形態では、ゲートウェイすなわちトランスコーダ41aが、画像フレーム内の各部分領域の位置情報と符号化パラメータとを含んだ変換データ付帯情報を、画像データと同期させて出力し、監視端末が画像データとともに、この変換データ付帯情報をも受信するようにし、この変換データ付帯情報を使って表示中の画像に対して境界線等を表示する。

また、従来は動画像配信の途中で符号化方式が変わったとしても、実際にどのフレームでデコーダを切り替えればよいかのタイミングが不明であったため、一連の動画像配信中に符号化方式を切り替えられなかった。これに対して、本実施の形態によれば、画像データと同期して符号化方式を知ることができるため、適宜デコーダを切り替えれば動画像配信中であっても符号化方式の切り替えが可能となる。

このように本実施の形態によれば、ゲートウェイすなわちトランスコーダ41aが、画像フレーム内の各部分領域の位置情報と、さらには符号化パラメータとを含んだ変換データ付帯情報を、画像データと同期させて出力するように構成することで、監視端末では、画像表示の際、表示中の符号化画像データに同期した補足情報を加えることが可能となる。
また、画像データと同期して符号化方式を知ることができるため、適宜デコーダを切り替えることにより、一連の動画像配信中であっても符号化方式を切り替えられるようになる。

上記実施の形態１ないし３においては、部分領域が３つ以上存在する場合について具体例を述べなかったが、本発明にかかるトランスコーダは、部分領域の数に制限を与えるものではなく、例えば複数の部分領域を、複数の変換方法で変換しても何ら問題ない。もちろん、各部分領域毎にそれぞれ異なる変換方法を指定しても問題ない。

また、上記実施の形態１ないし３においては、MPEG-2→JPEGトランスコーダを例にとって本発明にかかるトランスコーダを説明したが、本発明の要点は領域に応じて画像品質が変わることにあるため、トランスコーダへの入出力画像データの符号化方式に何ら制限されるものではない。入出力画像データの符号化方式は、MPEG、JPEG、H.261等あらゆる符号化方式のどの組み合わせであっても構わない。また、各部分領域の符号化方式は、その領域の動きの激しさやテクスチャに応じて、適した符号化方式を選択して変換するよう構成することも有効である。

また、上記実施の形態１ないし３においては、図３における符号化変換部63は、デコーダとエンコーダの直列結合をも含むさまざまアーキテクチャにより実現される旨述べたが、本発明にかかるトランスコーダの符号化変換部は、特定の符号化変換アーキテクチャに制約されるものではなく、任意のアーキテクチャにおいて実現し得るものである。
また、図３に示したトランスコーダ41aは基本的にPC上のソフトウェア処理あるいはASICにより実現される旨述べたが、内部にデコーダおよびエンコーダを含んだ場合には、これらを市販のハードウェアデコーダおよびエンコーダを用いても実現できることは言うまでもない。

本発明の実施の形態１に係り、トランスコーダを組み込んだ画像監視システムの一例を示す全体構成図である。 本発明の実施の形態１に係り、狭帯域ネットワークに接続された監視端末、ゲートウェイ、コーデック間のデータの流れについて説明するための図である。 本発明の実施の形態１によるトランスコーダの内部構成を示す図である。 本発明の実施の形態１に係り、従来のMPEG-2→JPEGトランスコーダの構成を説明するための図である。 本発明の実施の形態１に係り、図４のIピクチャの復号化過程を説明するための図である。 本発明の実施の形態１に係り、図４のJPEGの符号化過程を説明するための図である。 本発明の実施の形態１によるMPEG-2→JPEGトランスコーダの構成を説明するための図である。 本発明の実施の形態１に係り、監視端末のモニタ上に表示される１枚の画像フレームを示す図である。 本発明の実施の形態１に係り、画像データを表示する監視端末のGUI画面の一例を示す図である。 本発明の実施の形態１に係り、周波数を重視して部分領域を画質向上させた場合に、監視端末のモニタ上に表示される１枚の画像フレームを示す図である。 本発明の実施の形態１に係り、解像度を重視して部分領域を画質向上させた場合に、監視端末のモニタ上に表示される１枚の画像フレームを示す図である。 本発明の実施の形態１に係り、フレームレートを重視して部分領域を画質向上させた場合の選択領域と選択外領域とのフレーム更新頻度の差を説明する図である。 本発明の実施の形態２に係り、トランスコーダを組み込んだ画像監視システムの一例を示す全体構成図である。 本発明の実施の形態２に係り、監視端末のモニタ上に表示される１枚の画像フレームを示す図である。 本発明の実施の形態２に係り、監視端末のモニタ上に表示される１枚の画像フレームを示す図である。 本発明の実施の形態３によるトランスコーダの内部構成を示す図である。 本発明の実施の形態３に係り、符号化画像データと変換データ付帯情報との同期処理の一例を説明するための図である。 本発明の実施の形態３に係り、符号化画像データと変換データ付帯情報との同期処理の別の例を説明するための図である。 本発明の実施の形態３に係り、監視端末のモニタ上に表示される１枚の画像フレームを示す図である。

符号の説明

40a 広帯域ネットワーク、40b 狭帯域ネットワーク、41 ゲートウェイ、41a トランスコーダ、42b コーデック、42a カメラ、43 監視端末(広帯域側)、43a デコーダ、44 監視端末(狭帯域側)、44a デコーダ、50 入力部、51 対話制御部、52m 変換画像送信メッセージ、53 通信部、54 第一の通信部、55 ゲートウェイ制御部、56 第二の通信部、57m 符号化変換要求メッセージ、58d 第一の符号化画像データ、59d 第二の符号化画像データ、510 復号化部、511 表示部、512 モニター、60 変換要求受付部、61 変換制御部、62p 部分領域毎の符号化変換パラメータ、63 符号化変換部、64 符号化画像出力部、58dm2v MPEG-2符号化画像データ、59djpg JPEG符号化画像データ、70 Iピクチャ抽出部、71d Iピクチャの画像データ、72 メモリ、73 Iピクチャ復号化部、74d DCT係数ブロック、75 DC係数補正部、76 JPEG符号化部、77 解像度変換部、80 エントロピー復号化部、81 逆量子化部、82 逆DCT部、83 MPEG-2ESデータ、84 量子化DCT係数ブロック、85 DCT係数ブロック、86 画素データ、90 DCT部、91 量子化部、92 エントロピー符号化部、100 動作仕様決定部、121 部分高画質モードへの切り替えを行うためのラジオボタン、部分高画質モードでの画質向上方法を選択するためのラジオボタン、123 観察者が高画質で見たい領域、130 選択領域（高周波成分まで符号化）、131 選択外領域（低周波成分のみ符号化）、140 選択領域（高解像度で符号化）、141 選択外領域（低解像度で符号化）、150 選択領域（高フレームレートで符号化）、151 選択外領域（低フレームレートで符号化）、160 センサ、161 画像処理装置、162 変換方法管理端末、170 道路形状に沿った画像（監視対象領域）、171 道路以外の領域の画像（監視対象外領域）、190 変換された符号化画像データ、191 変換データ付帯情報、192 同期処理部、193 同期処理された符号化画像データと変換データ付帯情報、201 ヘッダ（変換データ付帯情報）、210 シーケンス番号あるいはタイムスタンプ、220 部分領域間の境界線、221 高画質領域、222 低画質領域。

Claims (4)

1. 入力された符号化画像データを、それとは異なる符号化画像データに変換し、変換された符号化画像データを出力するトランスコーダにおいて、画像を構成する画像フレームの少なくとも一部分領域を他の部分領域とは異なる符号化方法で変換することを特徴とするトランスコーダ。
2. 符号化された画像データである符号化画像データを入力する入力手段と、
   入力された上記符号化画像データをそれとは異なる符号化画像データに変換する符号化変換手段と、
   変換された符号化画像データを出力する出力手段と、
   画像を構成する画像フレームの部分領域を示す位置情報とその部分領域の変換方法を示す変換情報からなる部分領域変換情報を１つ以上含む符号化変換要求を受け付ける変換要求受付手段と、
   受け付けた上記符号化変換要求に基づき、上記部分領域に対して、その部分領域の変換方法で変換するように上記符号化変換手段を制御する変換制御手段と
   を備えたトランスコーダ。
3. 出力手段は、少なくとも部分領域変換情報に含まれる部分領域を示す位置情報を、その部分領域変換情報を使って変換された画像フレームと同期して出力することを特徴とする請求項２記載のトランスコーダ。
4. 符号化画像データは動画像データであり、出力手段は、変換された符号化画像データを時系列で出力することを特徴とする請求項２または３に記載のトランスコーダ。
   

Images