JP2012227955A - 画像符号化装置 - Google Patents

Abstract

【課題】被写体の照度が低い特定の監視環境下において、テレビカメラ内部補正機能によるノイズ成分の増加に起因して発生する圧縮画像の劣化を抑え、画質劣化の少ない画像を提供する。
【解決手段】画像符号化装置にテレビカメラからのAGC補正処理の有無を知らせる補正情報を受取って、当該フレーム画像が被写体照度が低く不明瞭な画像である場合には、符号化処理における予測を選択する選択部の制御を変更し、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択し、受信側で送信されてきたノイズ成分の蓄積による復号画像に画質劣化を避けるようにすることにより、画質劣化の低減を行う。
【選択図】図１

Description

本発明は、画像情報の符号化装置に関わり、特に被写体の照度が低いときに撮影した画像を、リアルタイムで符号化する場合の画質劣化の低減に関する。

映像監視分野では、昼間、夜間を問わず監視映像を２４時間、遠隔監視するようなシステムが普及している。例えば、交通状況を監視する交差点や夜間には人通りがまばらな場所に設置された監視カメラが取得する監視映像を、監視（モニタリング）を行なうセンタに監視映像を送信する場合には、その監視映像は、FPU（FieldPickupUnit）等の中継伝送装置を使って送信されるか、若しくはネットワーク等の伝送路を使ってセンタに送信される。
このような中継伝送装置若しくはネットワーク等の伝送路は、送信されるチャンネルで使用可能な伝送路帯域幅が制限されている。このため、監視カメラ側では、撮影した映像を中継伝送装置若しくは伝送路で許容される伝送ビットレートまで圧縮して送っているのが普通である。これら監視映像の圧縮には、例えば、MPEG-2符号化方式やH.264符号化方式が採用されている。

MPEG-2方式やH.264方式等による画像符号化方式では、符号化の際、イントラ予測を行うイントラ予測部と、動き補償予測を行う動き補償予測部によって参照予測画像を生成する。イントラ予測とは、フレーム間予測を用いないマクロブロックに対して、上側や左側に隣接する隣接画素をもとに予測画像を生成し、その予測画像との差分を符号化する予測方法である。一方、動き補償予測とは、時間軸方向に前後するフレームを探索して必要な予測画像を生成し、入力画像とその予測画像との差分を符号化する方法である。イントラ予測による符号化ピクチャをIピクチャ（イントラ符号化フレーム）、また、動き補償予測を使った符号化したピクチャをPピクチャ、Bピクチャ（時間軸方向に前後の参照予測画像をもとに符号化したピクチャをBピクチャ（双方向予測符号化フレーム）、それ以外をPピクチャ（順方向予測符号化フレーム））とよび、IPBと呼ばれる符号化ピクチャ構造を持つ上記画像符号化方式は、動画に適した符号化方式と認識されている。

符号化ピクチャ構造を決定するイントラ予測部と動き補償予測部の動作を切替えるための選択制御は、設定されたビットレートをもとに一定の周期でIピクチャが挿入されるようにイントラ予測部を周期的に選択したり、若しくは入力画像をもとに動きベクトルを算出する。例えば、動きが少ないシーンでは優先的に前後のフレームを使った長い予測間隔（動き補償予測部）を優先的に選択してPピクチャ若しくはBピクチャを多く生成し、一方、動きが激しいシーンではフレーム内の短い予測間隔（イントラ予測部）を優先的に選択してIピクチャを生成すると言うように、入力画像のシーン変化に合わせて効率的に符号化ピクチャ構造を変更する方法がとられている。

特開平５−２９２４８１号公報

ところで、近年、監視映像を撮影するテレビカメラには、照度の低い被写体を鮮明に映し出すために、カメラ内部で輪郭強調処理や、強制的に信号感度を上げるためのAGC（Automatic Gain Control）処理といった自動補正を行なうテレビカメラも出現している。これら自動補正機能を有するテレビカメラを交差点等に設置して、交通量の少ない夜間の監視をした場合には、テレビカメラは自動的に感度を上げようとする。即ち、カメラ内部の自動補正機能が働き、例えば、輝度信号や色差信号レベルのゲインを上げるAGC処理機能が動作を開始する。
この場合、信号レベルのゲインが上がると同時に、これまでは目立たなかった輝度信号や色差信号に重畳していたノイズ成分も大きくなり、画面一様に雑音ノイズが目立ち始め、結果的にノイズっぽい映像出力となる。このため、シーンとしては動きが少ない映像に見えてしまう。

このような映像をMPEG-2符号化方式若しくはH.264符号化方式で符号化圧縮した場合には、シーンとしては動きが少ないため、前後のフレームを使った長い予測間隔が優先的に選択されることになる。このため、ノイズ成分だけが、前フレームからの変化分として符号化されることになる。この結果、センタ側で再生された復号映像が、著しく劣化したものとなっていた。そこで、夜間のように、暗闇でも画質劣化の少ない画像符号化装置、若しくは画像符号化方法を実現することが望まれている。

特許文献１は、送信すべき映像を量子化する際に、フレーム内処理若しくはフレーム間処理のどちらが効率的かを判定し、より効率的な処理にて量子化が行われてその量子化された画像データに対して可変長符号化を施す場合に、複数の符号化テーブルを用意して最短の平均符号長を選ぶようにしている。

しかし、本願発明のように、照度の低い被写体の映像を鮮明に映し出すために、画質劣化の少ない画像符号化を実現しようとするものではない。
本発明は、被写体の照度が低い特定の監視環境下においては、カメラ内部での補正機能によるノイズ成分の増加に起因して発生する圧縮画像の劣化を抑え、画質劣化の少ない映像を提供することを目的とする。

上記の目的を達成するために、本発明は、符号化部の前段に設けられたカメラ部からの補正信号（補正情報）に応じて、当該フレームの被写体照度が低く不明瞭な画像と判断した場合には、選択部の制御を変更し、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択し、監視センタ側で送信されてきたノイズ成分の蓄積による復号画像に画質劣化を避けるようにするものである。

即ち、本発明の一つの側面は、低照度時に感度アップ動作をするテレビカメラが被写体を撮像して得られた映像信号を入力し、入力された映像信号をイントラ予測してイントラ予測画像を生成するイントラ予測部と動き補償予測を行い動き予測画像を生成する動き補償予測部と、入力された映像信号をマクロブロック毎にイントラ予測画像若しくは動き予測画像のいずれかを選択する選択部と、を備え、上記選択された予測画像と入力画像との差分を符号化して出力する画像符号化装置において、上記テレビカメラが上記感度アップ動作をしていることを示す信号が上記映像信号とは別に入力されると、上記選択部は、フレーム単位若しくはフレームを所定の大きさに分割したサブフレーム単位で、上記イントラ予測画像を選択するように強制されることを特徴とする。

本発明によれば、テレビカメラから送信された圧縮符号化画像について、ノイズ成分の蓄積による復号画像の画質劣化を防ぐことができる。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略する。

本発明を説明する前に、先ず、H.264符号化方式について、図３を用いて説明する。図３は従来の画像符号化装置の構成例を示すブロック図である。図３の画像符号化装置は、例えば、H.264符号化方式による符号化を行う。350は撮像装置（テレビカメラ）、300は画像符号化装置、51はテレビカメラ350の撮像部、52はテレビカメラ350の信号補正部、101は画像符号化装置300の入力I/F（Interface）部、102は画像符号化装置300の出力I/F（Interface）部、3は画像符号化装置300のマクロブロック分割（MB分割）部、4は画像符号化装置300の減算部、5は画像符号化装置300の直交変換部、6は画像符号化装置300の量子化部、7は画像符号化装置300の画像符号化装置300の可変長符号化部、8は画像符号化装置300の逆量子化部、9は画像符号化装置300の逆直交変換部、10は画像符号化装置300の加算部、11は画像符号化装置300のデブロッキングフィルタ部、12は画像符号化装置300の記憶部、13は画像符号化装置300の動き補償予測部、14は画像符号化装置300のイントラ予測部、15は画像符号化装置300の選択部、16は画像符号化装置300の動き検出部である。

図３において、テレビカメラ350の撮像部51は、視野範囲内の被写体を撮像し、電気信号に変換して信号補正部52に出力する。信号補正部52は、入力された電気信号にAGC（AutomaticGainControl）処理を含む映像信号の所定の補正処理を行い、信号補正した映像信号を画像符号化装置300の入力I/F部101に出力する。
画像符号化装置300の入力I/F部101には、映像信号が、輝度信号成分Yと２種類の色差信号成分CbとCrの映像データが分離されて入力され、入力I/F部101を介してMB分割部3に入力される。MB分割部3は、これら入力された輝度信号成分Yと２種類の色差信号成分CbとCrの映像データを16×16画素ブロックの輝度信号Yと8×8画素ブロックの色差信号CbとCrのマクロブロック（MB）単位の符号化対象信号MBSに変換し減算部4の被減算入力端子に出力する。減算部4は、これらマクロブロック単位の符号化対象信号MBSを、後述する予測画像信号PVで減算し、予測差分画像信号P△V1として直交変換部5に出力する。

なお、画像符号化装置300に入力されて処理される映像データは、16×16画素ブロックの輝度信号Yと、8×8画素ブロックの色差信号Cb及びCrであり、これら３種類の信号がそれぞれの信号毎に符号化処理される。しかし、説明を簡単にするために以下の説明では、16×16画素ブロックの輝度信号Yのみを符号化対象として説明する。

直交変換部5は、入力された水平方向と垂直方向の画像輝度データを水平方向と垂直方向の周波数スペクトル（空間周波数スペクトル）に変換し量子化部6に出力する。量子化部6は、空間周波数スペクトルに変換された映像データを量子化し、可変長符号化部7と逆量子化部8に出力する。
量子化部6では、人の視覚特性が高周波成分に鈍感である特性を利用し、高周波成分側と低周波成分側とで量子化の荒さを変え、データ量の削減を行っている。
可変長符号化部7は、量子化部6で量子化されたデータを符号化して、出力I/F部102を介して出力する。即ち、マクロブロック（MB）単位の符号化対象信号MBSは、符号量を減少させてから圧縮され、出力I/F部102から次段の信号処理装置へと伝達される。

一方、逆量子化部8は、量子化部6において空間周波数スペクトルに変換された映像データを、輝度信号Yと色差信号CbとCrの変換係数に対し逆量子化処理を行ない、逆直行変換部9に出力する。更に、逆直行変換部9は、予測差分信号（P△V1）を復元し、再生予測差分信号P△V2として加算部10に出力する。
加算部10は、この再生予測信号P△V2と後述する予測画像信号PVとを加算することにより画像信号を再生し、復号画像信号RVとして、デブロッキングフィルタ部11を介して記憶部12に出力すると共に、イントラ予測部14に出力する。
イントラ予測部14に入力された復号画像信号RVは、選択部15を介して減算部4の減算入力端子に出力される。そして、前述したように、減算部4は、被減算入力端子に入力されたマクロブロック（MB）単位の符号化対象信号MBSから減算入力端子に入力された復号画像信号RVを減算して、予測差分信号P△V1として直交変換部5に出力する。

次に、動き補償予測部13と動き検出部16について説明する。
デブロッキングフィルタ部11は、動き補償を行なうために、入力された復号画像信号RVから、ブロックひずみを除去し、ブロックひずみの除去された復号信号を記憶部12に出力する。記憶部12は、入力された復号信号を記憶し、この記憶された復号画像信号RVを、参照画像として動き補償部13及び動き検出部16に出力する。
動き検出部16は、符号化対象信号MBSを動き検索の対象とする16×16、16×8、8×16、8×8、8×4、4×8、4×4画素ブロックに分割し、各々のブロックに対し探索を行なう。

図４は、動き検出部（図３の動き検出部16参照）の内部の構成例を示すブロック図である。401は入力端子、402は出力端子、411は16×16ブロック分割部、412は16×8ブロック分割部、413は8×16ブロック分割部、414は8×8ブロック分割部、415は8×4ブロック分割部、416は4×8ブロック分割部、417は4×4ブロック分割部、420は動きベクトル検索部、421は16×16ブロック動きベクトル検索部、422は16×8ブロック動きベクトル検索部、423は8×16ブロック動きベクトル検索部、424は8×8ブロック動きベクトル検索部、425は8×4ブロック動きベクトル検索部、426は4×8ブロック動きベクトル検索部、427は4×4ブロック動きベクトル検索部、430は動き最適予測画像選択部である。

図４の動き検出部16において、例えば、16×16画素ブロックの符号化対象信号MBSは、入力端子401を介して、ブロック分割部411〜417にそれぞれ入力される。そして、例えば、8×8ブロック分割部414では４個のブロックに分割され、その４個のブロックについて参照画像と比較され一致するブロック若しくは類似するブロックを探索する。
16×16画素ブロックの符号化対象信号MBSを中心として、例えば、縦横16画素±16画素の範囲を探索範囲とした場合には、分割した8×8画素ブロックを探索範囲の中を順次画素単位に移動して一致するブロック若しくはもっとも類似するブロックを探索する。つまり、分割した8×8画素ブロックの各画素の輝度値と探索範囲のなかの8×8画素ブロックの中の各画素の輝度値との差分値を演算し、8×8画素ブロックの各画素の差分値が最小のものを選択する。このようにして、４個のブロックのすべてについて探索を行なう。

上記のような方法で動きベクトル探索部420ではそれぞれの画素ブロック分割部421〜427での各画素ブロックごとに最小の輝度の差分値が算出されるので、その出力が動き最適画像選択部430に出力される。つまり、動きベクトル探索部420でそれぞれ探索された７個のブロックが、動き最適画像選択部430に供給され、動き最適画像選択部430ではこれら７個のブロックから最も差分値の小さい分割ブロックを最適予測画像の分割ブロックとして選択する。
動き最適画像選択部430の出力（即ち、動き検出部16の出力）である最適予測画像の分割ブロック情報は、出力端子402を介して動き補償予測部13と選択部15に出力される。
動き補償予測部13は、動き検出部16の動き最適画像選択部430の検出結果（最適予測画像の分割ブロック情報）に基づいて最適予測画像を選択し、選択した最適予測画像を選択部15を介して減算部4と加算部10に出力する。

選択部15は、先に説明したように動き検出部16の動きベクトル探索部420での差分値が予め設定していたしきい値よりも大きければ、探索範囲内に対象とする符号化対象信号MBSと一致するブロック、若しくは類似するブロックは無いと判断し、この場合は動き検出部16から出力信号は出ない。この場合は、先に説明したイントラ予測部14の出力が選択部15で選択され、減算部4と加算部10に出力される。また、動き検出部16の動きベクトル探索部420で最も小さい差分値の小さい分割ブロックが選択された場合には、選択部15は動き補償予測部13の出力を選択し、減算部4および加算部10に出力する。なお、上記説明では、輝度信号Yについてのみ説明したが、色差信号については、4×4の固定画素に分割する場合を除き、輝度信号と同様の処理を行なっているので詳細な説明は省略する。
なお、しきい値は、例えば、実験的に、若しくは経験的に決定する。

次に、本発明の一実施形態を図１を用いて説明する。図１は、本発明の画像符号化装置の一実施例の構成を示すブロック図である。150はテレビカメラ、152はテレビカメラ150の信号補正部、100は画像符号化装置、115は画像符号化装置100の選択部である。図１の実施例は、図３の従来例に対して、信号補正部52を信号補正部152に替え、従ってテレビカメラ350をテレビカメラ150に替えたもので、更に、選択部15を選択部115に替え、従って、画像符号化装置300本発明の一実施例の画像符号化装置100としたものである。他の構成は、図３と同じものには同じ符号が付けられている。

図１に示す本発明の一実施形態の基本的な原理を先ず説明する。
図３で説明したH.264符号化方式による画像符号化装置300では、選択部15は、動き検出部16の動きベクトル探索部420での差分値が予め定めていたしきい値よりも大きければ、探索範囲内に対象とする符号化対象信号MBSと一致するブロック、若しくは類似するブロックは無いと判断する。
この場合には、動き検出部16は、出力信号は出力せず、イントラ予測部14の出力を選択し、減算部4と加算部10に出力する。
また、動き検出部16の動きベクトル探索部420で最も小さい差分値の小さい分割ブロックが選択された場合には、動き補償予測部13の出力を選択し、減算部4と加算部10に出力する。
また、入力I/F部101には、テレビカメラが撮像した映像信号が入力されることを説明した。

例えば、監視対象の被写体が２４時間にわたる道路交差点の状況である場合を考える。
昼間は自然光により被写体の照度も高く、交通量が比較的多い状況では、被写体は鮮明に映るため、テレビカメラのゲインアップ等の信号補正機能は動作しない。従って、後段の画像符号化装置には比較的ノイズの少ない映像が入力端子101より入力されることになる。この場合には、選択部15の動作は画質劣化を起こさない。
一方、夜間は自然光が少なくなり被写体の照度も下がる。そして、交通量がほとんどなくなった状況では、被写体を鮮明に映すために、テレビカメラは映像信号のゲインを上げるように信号補正機能が動作する。この時、映像信号のゲインの上昇に伴い、映像信号に重畳されていたノイズ成分も大きくなる。このため、画像符号化装置にはノイズが一様に目立つが、動きの少ない映像が入力されることになる。この結果、画像符号化装置における選択部15は、動き検出部16の動きベクトル探索部420での差分値が、予め定めていたしきい値よりも小さい場合には、探索範囲内に対象とする符号化対象信号MBSと一致するブロック若しくは、類似するブロックがあると判断し、動き検出部16から出力信号を出し、主にノイズ成分だけが符号化されて監視センタ側へ送られる。このため、監視センタ側では、画質劣化の著しい復号画像が再生されることになる。

そこで、本発明の画像符号化装置は、図１に示すように、被写体像を電気信号に変換する撮像部51と、撮像部51から供給される電気信号に対し、感度アップを目的としたゲイン調整を行なう信号補正部152らなるテレビカメラ（撮像装置）150を用い、信号補正部152の処理内容（ゲイン調整）の情報をテレビカメラ150から画像符号化装置100に出力し、画像符号化装置100の動き検出部16における動き検出結果に応じて選択制御を決定するものである。

図１の実施例において、信号処理部152は、撮像部51から入力されるそれぞれのフレーム毎に、輝度信号の最大値と最低値の差が予め設定した所定のしきい値よりも小さいか否かを判定する。そして、輝度信号の最大値と最低値の差が予め設定した所定のしきい値よりも小さい場合には、当該フレームの被写体照度が低い不明瞭な画像であると判断し、輝度信号と色差信号のゲインを上げた映像を画像符号化装置100に出力する。またそれと共に、テレビカメラ150の信号補正部152は、ゲイン調整の処理内容の情報（補正情報p：即ち、各フレーム毎に、輝度信号の最大値と最低値の差が予め設定した所定のしきい値よりも小さいか否かの情報）を画像符号化装置100に出力する。
画像符号化装置100の選択部115は、テレビカメラ150の信号補正部152から入力された補正情報pと、動き検出部16が検出した動き検出結果とに応じて選択制御を決定する。
即ち、例えば、信号処理部152は、当該フレームは被写体照度が低く不明瞭と判断した場合には、補正情報pとして、“HI”信号を出力し、否の場合には、補正情報pとして、“LO”信号を出力する。選択部115は、もし、補正情報pとして“HI”信号が入力された場合には、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択しIピクチャを生成して、監視センタ側に送信する。これによって、監視センタ側では、送信されてきた映像について、ノイズ成分の蓄積による復号画像に画質劣化を防ぐことができる。また、選択部115は、もし、補正情報pとして“Lo”信号が入力された場合には、周知（従来）の通常の符号化処理を実行して生成した画像（Iピクチャ、Pピクチャ、若しくはBピクチャ）を、監視センタ側に送信する。

なお、上記実施例では、信号処理部152は、当該フレームの被写体照度が低く不明瞭と判断した場合には、補正情報pとして、“HI”信号を出力し、否の場合には、補正情報pとして、“LO”信号を出力した。しかし、信号処理部152は、当該フレームの被写体照度が低く不明瞭と判断した場合だけ、補正情報pを出力し、否の場合には補正情報pを出力しなくても良い。
以降の説明では、信号処理部152は、当該フレームの被写体照度が低く不明瞭と判断した場合だけ、補正情報pを出力する実施例で説明する。

次に、本発明の一実施形態の信号補正部を図２によって説明する。図２は、本発明の画像符号化装置の一実施例で使用する信号補正部の具体的な構成を示すブロック図である。21は切換器c、22は記憶器a、23は記憶器b、24は切換器d、25はレベル差検出器、26はしきい値設定器、27はゲイン調整器、28は比較器、29はタイミング生成器である。
図２において、信号処理部152は、撮像部51から入力される映像信号を、切替器c21を通して、記憶器a22又は記憶器b23にフレーム単位で交互に出力する。記憶器a22と記憶器b23は、入力された画像をフレーム単位で交互に記憶する。記憶器a22と記憶器b23は、時間的に互いに相反する処理動作を行ない、片方（例えば、記憶器a22）がデータを記憶動作中には、もう片方（記憶器b23）は、切替器d24及びレベル差検出器25に記憶していた１フレーム分の画像データを読出して出力する。そして、次のタイミングには、記憶器b23がデータの記憶動作を実行し、記憶器a22は、切替器d24及びレベル差検出器25に記憶していた１フレーム分の画像データを出力する。
切替器c21と切替器d24の切替制御、及び、記憶器a22と記憶器b23の記憶動作若しくは読出し動作の切換えは、タイミング生成器29が発生するクロック信号のタイミングに従い行なわれる。タイミング生成器29は、撮像部51から入力されるデータをもとにフレーム周期のタイミングを生成する。

また、しきい値設定器26は、予め設定したしきい値を生成し、比較器28に出力する。
レベル差検出器25は、記憶器a22若しくは記憶器b23から入力される画像データを解析し、輝度信号レベルの最大値及び最小値、並びに輝度信号レベルの１フレームあたりの平均値を算出し、それらの情報を比較器28に出力する。比較器28は、この輝度信号レベルの最大値及び最小値、並びに輝度信号レベルの１フレームあたりの平均値の情報と、しきい値設定器26から入力されるしきい値とを比較する。もし、輝度信号の１フレームあたりの最大値と最低値の差がしきい値よりも小さい場合には、当該フレームの被写体照度が低く不明瞭と判断し、ゲイン調整器27に、輝度信号と色差信号のゲインを上げるための補正情報pを出力すると共に、後段の画像符号化装置100に出力する。

一方、画像符号化装置100は、入力された補正情報pが選択部115に入力される。選択部115は、イントラ予測部14の出力、若しくは、動き補償予測部13の出力を選択する際の優先情報として、補正情報pを使用する。つまり、補正情報pが入力された場合には、被写体を鮮明に映すため、テレビカメラ150はゲインを上げる等の信号補正機能が動作し、映像信号のゲインの上昇に伴い、映像信号に重畳されていたノイズ成分も大きくなった画像が入力I/F部101を介して入力されると判断する。即ち、選択部115に補正情報pが入力されると、選択部115は、動き検出部16から入力される信号をマスクし、強制的にイントラ予測部14の出力信号を選択しIピクチャを生成して、監視センタ側に送信するようにする。これによって、監視センタ側では、送信されてきた映像について、ノイズ成分の蓄積による復号画像に画質劣化を防ぐことができる。

上述したように、本発明の図１に係る実施形態は、被写体を撮像するカメラユニット（テレビカメラ）と、カメラユニットが撮像した映像を符号化する符号化ユニット（符号化装置）とで構成される。
カメラユニットは、光信号を電気信号に変換して映像データとして出力する撮像部と、撮像部の映像データの輝度信号の変化から照度を検出し、被写体の照度が低い場合には感度アップをする（輝度信号のゲインをそれぞれ上げる）ためのAGC制御部を具備した信号補正部とから構成される。また、信号補正部は、輝度信号の変化から照度の変化を検出し、被写体の照度が実験的に設定したしきい値より低い状態が、所定時間続いていると判断した場合には、符号化ユニットに補正信号（補正情報）を出力する機能を有する。
また、符号化ユニットは、映像データを入力する入力（入力I/F）部と、入力された映像データをマクロブロックに分割するマクロブロック分割部と、マクロブロックに分割された映像データと予測画像との差分画像を直交変換する直交変換部と、直交変換された差分画像を符号化する符号化部と、直交変換された差分画像を逆直交変換する逆直交変換部と、逆直交変換の出力と予測画像を加算し復号画像を生成する加算部と加算部の出力から予測画像を生成するイントラ予測部を有する。更に、イントラ予測部は、復号画像データから複数の予測画像を生成し、マクロブロックに分割された映像データに基づいて所定の予測画像を選択する予測モード選択部と、復号画像データを複数の画素ブロック分割部のいずれの画素ブロック分割に供給するかを制御する切替え部とで構成される。

また、例えば、本発明の一実施形態の符号化ユニット（画像符号化装置）は、更に、動き検出部と動き補償予測部で構成されている。そして、動き検出部は、マクロブロックに分割された映像データを複数の画素ブロックに分割する複数の画素ブロック分割部、複数の画素ブロックに分割された画素ブロックと復号画像データとを比較し、所定の予測画像を探索するベクトル探索部、及びベクトル探索部の出力を選択する予測画像選択部とを具備する。また、動き補償予測部は、予測画像選択部の出力に基づいて復号画像データから所定の予測画像を出力する動き補償予測部を具備する。

また、例えば、本発明の符号化ユニット（画像符号化装置）は、イントラ予測部若しくは動き補償予測部から出力される予測画像は、動き検出部からの制御信号に加えて、カメラ内部の信号自動補正機能からの補正情報をもとに選択部にて切替えて出力するように構成され、圧縮処理時の符号化ピクチャ構造を変更し、符号化処理を行う。
なお、上述の実施例では、輝度信号レベルの最大値及び最小値について判断したが、輝度信号レベルの１フレームあたりの平均値を算出し、所定のしきい値より小さい場合には、当該フレームの被写体照度が低く不明瞭と判断し、予測符号化フレームを生成するように選択部の制御がなされても良い。またあるいは、輝度信号レベルの最大値及び最小値と、輝度信号レベルの平均値のいずれかがそれぞれの所定のしきい値より小さい場合に、当該フレームの被写体照度が低く不明瞭と判断し、予測符号化フレームを生成するように選択部の制御がなされても良い。

なおまた、上述の実施例では、ほとんどの処理をマクロブロック単位で実行していた。しかし、本発明で実行する処理の単位をマクロブロック単位に限るものではない。
また例えば、輝度信号レベルの最大値と最小値の差を、１フレーム単位で判断したが、１フレームを所定の大きさのサブフレームに分割し、サブフレーム単位で輝度信号レベルの最大値と最小値の差を算出し、又は、輝度信号の平均値を算出することによってイントラ予測による符号化を選択するようにしても良い。

なお、上述の実施例では、テレビカメラ（撮像装置）と画像符号化装置とが分離した構成であった。しかし、信号補正部からの補正情報が、選択部に入力されるように構成されていれば、例えば、Webカメラ等、テレビカメラ（撮像装置）と画像符号化装置とが一体化したテレビカメラ（撮像装置）であっても良いことは自明である。

更に、テレビカメラ（撮像装置）からの補正情報が入力されるように構成された画像符号化装置であれば、テレビカメラがどのようなものであっても構わないのであるから、画像符号装置に切替え機能を備え、接続するテレビカメラ（撮像装置）から、補正情報が得られる場合と得られない場合とで切替える動作を設けるようにしても良い。
また、更に、画像符号化装置単体で考えた場合に、接続するテレビカメラのAGC機能と同一のしきい値でゲイン調整する輝度信号検出器を加え、補正情報をこの輝度信号検出器から選択部出力することによって、選択部が強制的にイントラ予測部からの出力信号を選択しIピクチャを生成して、監視センタ側に送信するようにしても良い。

上述の実施例では、監視カメラを用いたが、監視用途に限らず、被写体の照度が低いときに撮影した映像をリアルタイムで符号化する場合なら、例えば、放送用途の映像や学術用途の映像の送信に対する符号化であっても良いことは勿論である。
また、上述の図１及び図２の実施例の画像符号化方式は、H.264符号化方式に限るものではなく、例えば、MPEG-2等でも良い。

以上説明したように、上記実施例によれば、画像符号化装置の前段に設けられたテレビカメラからの補正情報に応じて、選択部が制御を変更し、当該フレームは被写体照度が低く不明瞭な画像と判断した場合には、フレーム間で符号化情報（主にノイズ成分）が伝播しないイントラ予測を強制的に選択し、Iピクチャだけを生成して送信するため、受信側では、ノイズ成分の蓄積による画質劣化が無い復号画像を得ることができる。

本発明の画像符号化装置の一実施例の構成を示すブロック図。 本発明の画像符号化装置の一実施例で使用する信号補正部の具体的な構成を示すブロック図。 従来の画像符号化装置の構成例を示すブロック図。 従来の画像符号化方式における動き検出部の内部の構成例を示すブロック図。

3：マクロブロック分割（MB分割）部、 4：減算部、 5：直交変換部、 6：量子化部、 7：可変長符号化部、 8：逆量子化部、 9：逆直交変換部、 10：加算部、 11：デブロッキングフィルタ部、 12：記憶部、 13：動き補償予測部、 14：イントラ予測部、 15：選択部、 16：動き検出部、 21：切換器c、 22：記憶器a、 23：記憶器b、 24：切換器d、 25：レベル差検出器、 26：しきい値設定器、 27：ゲイン調整器、 28：比較器、 29：タイミング生成器、 51：撮像部、 52：信号補正部、 100：画像符号化装置、 101：入力I/F部、 102：出力I/F部、 115：選択部、 150：撮像装置（テレビカメラ）、 152：信号補正部、 300：画像符号化装置、 350：撮像装置（テレビカメラ）、
401：入力端子、 402：出力端子、 411：16×16ブロック分割部、 412：16×8ブロック分割部、 413：8×16ブロック分割部、 414：8×8ブロック分割部、 415：8×4ブロック分割部、 416：4×8ブロック分割部、 417：4×4ブロック分割部、 420：動きベクトル検索部、 421：16×16ブロック動きベクトル検索部、 422：16×8ブロック動きベクトル検索部、 423：8×16ブロック動きベクトル検索部、 424：8×8ブロック動きベクトル検索部、 425：8×4ブロック動きベクトル検索部、 426：4×8ブロック動きベクトル検索部、 427：4×4ブロック動きベクトル検索部、 430：動き最適予測画像選択部。

Claims (1)

1. 低照度時に感度アップ動作をするテレビカメラが被写体を撮像して得られた映像信号を入力し、入力された映像信号をイントラ予測してイントラ予測画像を生成するイントラ予測部と動き補償予測を行い動き予測画像を生成する動き補償予測部と、入力された映像信号をマクロブロック毎にイントラ予測画像若しくは動き予測画像のいずれかを選択する選択部と、を備え、上記選択された予測画像と入力画像との差分を符号化して出力する画像符号化装置において、
   上記テレビカメラが上記感度アップ動作をしていることを示す信号が上記映像信号とは別に入力されると、上記選択部は、フレーム単位若しくはフレームを所定の大きさに分割したサブフレーム単位で、上記イントラ予測画像を選択するように強制されることを特徴とする画像符号化装置。

Images