JP2006173962A

JP2006173962A - 画像符号化装置

Info

Publication number: JP2006173962A
Application number: JP2004362299A
Authority: JP
Inventors: Tomohito Nagamura; 智史長村
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2004-12-15
Filing date: 2004-12-15
Publication date: 2006-06-29

Abstract

【課題】
注目している画像が静止画像であることを的確に検出し、動画の替わりに高解像度の静止画を送信することによって、低ビットレートでも明瞭な画像を得ることができるシステムを提供することにある。
【解決手段】
３フレーム以上のマクロブロック間の変化量を計測することにより、隣接フレーム間の変化量が予め定められた閾値より大きくて動領域と判断された場合でも、以降のフレーム間の変化量が予め定められた閾値より小さい場合は静止領域と判断することにより、的確に静止画像を検出することを特徴とする。
【選択図】図２

Description

本発明は画像符号化装置に関し、特に不必要な動画の送信を低減して高解像度の静止画をも送信することができる手法に関する。

会議出席者同士が互いに物理的に離れた状態で会議が開催される場合、カメラで撮影した会議内容等の画像データを、各出席者へ設置された画像伝送装置にて受信しネットワークを介して他の出席者側へ伝送することで遠隔地会議を可能とするテレビ会議システムが普及しつつある。かかるテレビ会議においては、議題に関する詳細説明を行う場合や決定事項を記録する場合にホワイトボード等を用いることや、説明資料を提示する場合にプロジェクタ等を用いることがある。また、資料を提示しながら開催される講義や講演を動画として配信することも行われている。

しかし、これらの静止画像を動画として送受信した場合、特に低ビットレートでは、解像度不足やちらつきなどが原因で、十分に明瞭な画像を得ることができない。そのため、従来では、手動で高解像度静止画の送受信処理を行ったり、別に書画カメラ等を用いて明瞭な画像を得る必要があった。

これらの課題に関して、特開平７−１３１７６９号公報に記載されるように、必要な画像以外は静止領域として伝送し、単位時間当りのフレーム数、画質の向上を図る方法が知られている。

また、静止領域と動領域を判断するには、特開昭６２−２００２６６号公報に記載されるように、フレーム間の変化量を一定時間累積した値と予め設定された値とを比較する方法が知られている。

特開平７−１３１７６９号公報特開昭６２−２００２６６号公報

しかしながら、これら従来の技術では、特に低ビットレート時、解像度不足やちらつきなどが原因で十分に明瞭な画像を得ることができない欠点を有する。その理由は、対象の映像が静止画像であっても動画像として送信しているからである。

また、静止画像に注目している場合でも、注目領域以外の小さな変化や、一時的に画面を横切るなどの不必要な変化が発生した場合でも、動領域と判断されてしまう。その理由は、隣接フレーム間の変化量の累積値を静止領域と動領域の判断に使用しているためである。

そこで、本発明の目的は、注目している画像が静止画像であることを的確に検出し、動画の替わりに高解像度の静止画を送信することによって、低ビットレートでも明瞭な画像を得ることができるシステムを提供することにある。

請求項１記載によれば、マクロブロック毎にｎ（ｎは１以上の整数とする）番目のフレームデータとｎ−１番目のフレームデータとの差分値を求める第１の減算手段と、前記第１の減算手段にて求めた差分値をフレームデータ単位で記憶する第１の差分メモリと、マクロブロック毎に前記ｎ−１番目のフレームデータとｎ＋ｍ（ｍは２以上の整数とする）番目のフレームデータとの差分値を求める第２の減算手段と、前記第２の減算手段にて求めた差分値をフレームデータ単位で記憶する第２の差分メモリと、前記ｎ−１番目のフレームデータから静止画を生成する静止画生成手段と、前記第１の差分メモリと前記第２の差分メモリに記憶されたフレーム単位の差分値がそれぞれに設定されたしきい値を超える場合に前記ｎ−１番目のフレームデータを動画として出力し、それ以外の場合に前記静止画生成手段にて生成した静止画を出力するように制御する静止画選択指示手段と、からなる静止画判定部を含むことを特徴とする画像符号化装置を得ることができる。

また、前記静止画選択指示手段は、前記マクロブロック毎に求めた差分値が予め定めた設定値を超える場合に当該マクロブロックを動領域とし、前記設定値を超えない場合に静領域と判定し、フレームデータ単位で動領域と判定したマクロブロックの数と前記しきいとの比較を行うように構成できる。

第１の効果は、画像通信端末装置を用いて静止画像を送信する際に、書画カメラ等の追加装置の使用や静止画像送信の操作をすることなく、必要なタイミングで自動的に明瞭な画像を送信できることである。その理由は、送信対象画像が静止画像であることを的確に判断し、その場合に高解像度静止画の送信を自動的に行うからである。

第２の効果は、一時的な変化を判断することにより、静止領域と動領域の判断が的確に行えることである。その理由は、３フレーム以上のマクロブロック間の変化量を計測する手段を用いることにより、一時的な変化を判断できるからである。

次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の一実施の形態による画像符号化装置の構成を示すブロック図である。図１において、本発明の一実施形態による画像符号化装置は減算器１と、離散コサイン変換部（ＤＣＴ：ｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａｎｓｆｏｒｍ）２と、量子化部（ＱＮＴ：ｑｕａｎｔｉｚａｔｉｏｎ）３と、可変長符号化部（ＶＬＣ）４と、逆量子化部（ＩＱＮＴ：ｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎ）５と、逆離散コサイン変換部（ＩＤＣＴ：ｉｎｖｅｒｓｅｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａｎｓｆｏｒｍ）６と、加算器７と、フレームメモリ（ＦＭ）８と、差分メモリ（ＦＭ（ｂ））９と、静止画判定部１０とから構成されている。

後述する静止画判定部１０から出力されたデータが減算器１に入力される。減算器１は入力されたデータとフレームメモリ８のデータとの差分値を求めて出力する。

離散コサイン変換部２は減算器１から出力されたデータの離散コサイン変換を行い、その変換結果を量子化部３に送信する。量子化部３は離散コサイン変換部２から出力されたデータの量子化を行い、量子化したデータを可変長符号化部４と逆量子化部５とにそれぞれ送信する。

逆量子化部５は量子化部３で量子化されたデータの逆量子化を行い、逆量子化したデータを逆離散コサイン変換部６に送信する。逆離散コサイン変換部６は逆量子化部５で逆量子化されたデータの逆離散コサイン変換を行い、その変換結果を出力する。

加算器７はフレームメモリ８のデータを減算器１とフレームメモリバッファ９とにそれぞれ送信したあと、逆離散コサイン変換部６からの出力とフレームメモリバッファ９からの出力を加算し、フレームメモリ８に保存する。

可変長符号化部４は入力されたデータの可変長符号化を行い、その結果を送信する。

図１に示すブロック図において、静止画判定部１０から出力されたデータの各部における処理については周知のため説明を省略し、以下に静止画判定部１０における処理について説明する。

図２を参照すると、静止画判定部の構成を示すブロック図が示されている。図において、静止画判定部１０はフレームメモリ（ＦＭ）２１，２２，２３と、減算器２４，２６と、差分メモリ（ＦＭ（ｄ））２５，２７と、静止画選択指示部２８と、静止画生成回路２９と、セレクタ（ＳＥＬ）２１０とから構成されている。

画像信号が入力されると、フレームメモリ１は１フレーム分の画像信号を保存する。次フレームの画像信号が入力されると、フレームメモリ１の画像信号はフレームメモリ２に保存され、新たに入力されたフレームの画像信号とフレームメモリ１が出力する画像信号との差分値が減算器４でマクロブロック毎に求められ、差分メモリ５に保存される。次々フレームの画像信号が入力されると、フレームメモリ２の画像信号はフレームメモリ３に保存され、新たに入力されたフレームの画像信号とフレームメモリ２が出力する画像信号との差分値が減算器６でマクロブロック毎に求められ、差分メモリ７に保存される。

静止画選択指示部８は、差分メモリ５の差分値が予め設定された閾値を超えている場合にそのマクロブロックを動領域候補と判断する。さらに、差分メモリ７の差分値が予め設定された閾値を超えている場合にその動領域候補マクロブロックを動領域と判断する。動領域以外は静止領域と判断する。そして、静止画選択指示部８は、１フレーム内の動領域の個数が予め定められた閾値を超えない場合には、静止画生成部９から入力される高解像度静止画を出力し、超える場合にはフレームメモリ３から入力される動画を出力するようにセレクタ１０を制御する。

静止画生成回路９は入力された画像信号から高解像度の静止画を作成する。

次に本発明の一実施例により静止画像として判定されるパターンを図３に示す。図３において、ｔ（０）を基準画像とし、ｔ（１）で一時的な変化が発生したあと、ｔ（２）、ｔ（３）で元に戻った状況が示されている。

ｔ（０）とｔ（１）の差分値を計測した結果、多数のマクロブロックで閾値以上の変化が検出されたため、広範囲にわたって動領域と判断されている。しかし、ｔ（０）とｔ（２）の差分値を計測すると、閾値以上の変化は検出されていない。そのため、ｔ（１）で検出された動領域は一時的なものであると判断し、現在表示している基準画像は静止画像であると判定する。

このように、３フレーム以上のマクロブロック間の変化量を利用することにより、不必要な一時的な変化を認識することができる。ｔ（０）とｔ（１）の差分値はフレームメモリ２５に、ｔ（０）とｔ（２）の差分値はフレームメモリ２７に保存されている。

次に本発明の一実施例として、マルチメディア通信システムに用いられる代表的な映像圧縮符号化標準である、ＩＴＵ−Ｔ勧告Ｈ．２６１を用いた場合の高解像度静止画送信動作について説明する。

書画表示を行う場合、ＣＩＦ解像度（２８８ライン×３５２画素）では不十分である。そのため、４ＣＩＦ解像度（５７６ライン×７０４画素）の高解像度静止画をドットインタレースにより４種類のＣＩＦ画像に分解して送信する。

高解像度静止画送信を行う場合、符号化器はピクチャヘッダに定義されている静止画モードビットをＯＮにして、送信する画像が高解像度静止画であることを通知する。そして、分解された４種類の画像を時系列に並べ、あたかも動画のようにして符号化する。

静止画モードビットがＯＮの場合、復号器は受信した画像を高解像度静止画として処理する。そのため、分解された画像を受信する度に符号化歪みが減少し、４種類の画像の受信が終わると４ＣＩＦ解像度の高解像度静止画を得ることができる。

４種類の画像に分解する際の間引き標本化パターンを図４に示す。Ｈ．２６１を用いた伝送では、水平、垂直とも２：１に間引き標本化され、使用中の伝送ビデオフォーマットと同じ大きさの４種類の画像に分解される。０、１、２、３で示された標本点は、各々４つの部分画像０、１、２、３を形成する。

ＣＩＦ画面の構成を図５に示す。ＣＩＦ画面は１２個のＧＯＢ（ＧｒｏｕｐＯｆＢｌｏｃｋｓ）から構成され、ＧＯＢは３３個のマクロブロックから構成され、マクロブロックは４個の輝度信号と２個の色差信号から構成され、輝度信号と色差信号は８画素×８画素のブロックから構成される。

Ｈ．２６１の画像符号化データの構造を図６に示す。Ｈ．２６１の画像符号化データは、ピクチャヘッダ、ＧＯＢヘッダ、マクロブロックヘッダ、ブロックデータから構成される。

本発明の他の実施例として、その基本的構成は上記の通りであるが、ｔ（０）とｔ（１）、ｔ（１）とｔ（２）、ｔ（２）とｔ（３）の間のフレーム数が１であるとは限定しない。２フレームごとまたは３フレームごとに判断しても良い。また、一時的な変化であるとして無視されるフレームがｔ（１）だけであると限定しない。ｔ（１）、ｔ（２）で動領域と判断された場合でも、ｔ（３）で元に戻れば静止領域と判断しても良い。

これらの方法を用いると、より長時間にわたる一時的な変化を認識することができるようになる。

本発明の他の実施例として、適用される映像圧縮符号化標準がＩＴＵ−Ｔ勧告Ｈ．２６１だけであるとは限定しない。ＩＴＵ−Ｔ勧告Ｈ．２６３を用いても良い。

本発明の他の実施例として、特に低ビットレートの場合、通常時にＱＣＩＦ解像度（１４４ライン×１７６画素）で送受信を行い、高解像度静止画をＣＩＦ解像度で送受信しても良い。この場合、高解像度静止画の出力を決定するために必要な静止領域の閾値は、高解像度静止画を４ＣＩＦ解像度で送受信する場合の４分の１とし、画面画素数に比例させる。

本発明の一実施の形態を適用した画像符号化装置の構成を示すブロック図である。本発明の一実施の形態による静止画判定部の構成を示すブロック図である。本発明の一実施例により静止画像として判定されるパターンを示す図である。間引き標本化パターンを示す図である。ＣＩＦ画面の構成を示す図である。Ｈ．２６１の画像符号化データの構造を示す図である。

符号の説明

１減算器
２離散コサイン変換部
３量子化部
４可変長符号化部
５逆量子化部
６逆離散コサイン変換部
７加算器
８差分メモリ
９フレームメモリ
１０静止画判定部
２１、２２、２３フレームメモリ
２４、２６減算器
２５差分メモリ
２７差分メモリ
２８静止画選択指示部
２９静止画生成回路
２１０セレクタ

Claims

マクロブロック毎にｎ（ｎは１以上の整数とする）番目のフレームデータとｎ−１番目のフレームデータとの差分値を求める第１の減算手段と、前記第１の減算手段にて求めた差分値をフレームデータ単位で記憶する第１の差分メモリと、マクロブロック毎に前記ｎ−１番目のフレームデータとｎ＋ｍ（ｍは２以上の整数とする）番目のフレームデータとの差分値を求める第２の減算手段と、前記第２の減算手段にて求めた差分値をフレームデータ単位で記憶する第２の差分メモリと、前記ｎ−１番目のフレームデータから静止画を生成する静止画生成手段と、前記第１の差分メモリと前記第２の差分メモリに記憶されたフレーム単位の差分値がそれぞれに設定されたしきい値を超える場合に前記ｎ−１番目のフレームデータを動画として出力し、それ以外の場合に前記静止画生成手段にて生成した静止画を出力するように制御する静止画選択指示手段と、からなる静止画判定部を含むことを特徴とする画像符号化装置。
前記静止画選択指示手段は、前記マクロブロック毎に求めた差分値が予め定めた設定値を超える場合に当該マクロブロックを動領域とし、前記設定値を超えない場合に静領域と判定し、フレームデータ単位で動領域と判定したマクロブロックの数と前記しきいとの比較を行うことを特徴とする請求項１に記載の画像符号化装置。