JP2006081066A

JP2006081066A - 画像生成装置および画像生成プログラム

Info

Publication number: JP2006081066A
Application number: JP2004265138A
Authority: JP
Inventors: Takuya Kawakita; 卓哉川北; Hiromatsu Aoki; 博松青木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-09-13
Filing date: 2004-09-13
Publication date: 2006-03-23

Abstract

【課題】画像データを符号化する前に、画像にローパスフィルターをかけるだけでは、全体的にぼやけた画像になり、視覚的に画質が向上したとは言えなくなるという問題点を克服する画像処理方法を提供する。
【解決手段】画像の生成の前に、画像の特徴量を抽出する特徴量抽出部２２と、前記の特徴量抽出部２２で抽出された特徴量を用いて入力画像信号に対して変更を行う画像合成部２３と、前記の特徴量抽出部２２で抽出された特徴量を用いて、符号量を調整することができるような圧縮符号化部２４とを備え、画像合成部２３において、画像の特徴量によって動的に符号量を変更することにより、最適な情報量削減を行ない画質を向上させることができ、圧縮符号化部２４においても、画像の特徴量を利用することで符号量が最小となるように情報量削減を行うことで、さらに画質を向上させることができる画像生成装置、およびその方法を提供することを目的とする。
【選択図】図１１

Description

本発明は画像データの高画質化技術に関する。

近年、ハードウエア技術の著しい発展に伴い、コンピュータの処理能力は著しく向上した。そのため、現在ではパーソナルコンピュータを用いて、誰もが容易にデジタル化された大容量の画像データを扱えるようになってきた。それと同時にコンピュータのネットワーク化、ネットワークの高速化も急速に進み、ネットワーク経由でストリーミングなどの方法で動画を視聴することも可能になってきている。また、コンピュータのみならず携帯電話でもデータ通信を行えるようになってきており、近年では、動画を視聴することができる携帯電話機も増えてきた。

しかしながら、画像のデータ量は膨大であり、携帯電話機で画像データを非圧縮で見ることは困難であるし、現在のネットワークの通信速度では、動画データを非圧縮のままネットワーク経由で流通させるのは不可能であるのはもちろん、蓄積するのも困難である。したがって、画像データを保存・蓄積したり、ネットワーク経由で配信する際には、通常、静止画の場合であればＪＰＥＧ国際標準方式、動画の場合であればＭＰＥＧ国際標準方式に代表される圧縮符号化が行われる。

前記のＪＰＥＧ国際標準方式とＭＰＥＧ国際標準方式による画像圧縮符号化方式は、いずれも８×８画素のブロック単位に２次元離散コサイン変換（ＤＣＴ）し、量子化して得られる量子化２次元ＤＣＴ係数をエントロピー符号化することでデータを圧縮する。２次元ＤＣＴや、量子化は非可逆であるため、符号化して得られた画像データは、符号化前に比べ、画質が劣化する。特に、モバイル機器での再生用途に用いられる低ビットレートのＭＰＥＧ−４Ｖｉｓｕａｌ符号化データでは、量子化誤差によるブロックノイズが視覚的に知覚されやすく、この特徴は、動きが激しく、情報量の多い絵柄の場合に顕著に現れる。

この問題を解決するために、画像データを符号化する前に画像にフィルタリングを施す（以下、プレフィルタ処理と記載）ことにより、圧縮符号化の際の画質劣化を抑える処理が行われる。例えば、プレフィルタ処理としてローパスフィルター（以下、ＬＰＦと記載）を施し、視覚的に知覚されにくい高周波成分を除去することで、画像の情報量を減少させ、圧縮符号化の際の画質劣化を抑えることができる。

しかしながら、フレーム毎に、画像全体に一様にＬＰＦをかける手法では、画質の劣化が視覚的に知覚されないようにするのは非常に困難である。この問題を解決するために、８×８のブロックごとに圧縮符号化の難易度を算出し、その難易度によって画像にかけるＬＰＦの帯域を制限することで、高周波成分を除去しつつも圧縮符号化の際の画質劣化を抑えることができる手法が提案されている（例えば、特許文献１参照）。さらに、圧縮符号化後のフレームデータと入力画像信号との誤差に基づいてプレフィルタ処理を行わせることで、圧縮符号化時に画像に破綻をきたすことを防止する手法が提案されている（例えば、特許文献２参照）。
特開２００１−３５２５４６号公報特開２０００−１１５７６５号公報

しかしながら、圧縮符号化の難易度によってＬＰＦの帯域を制限する手法や、圧縮符号化後のフレームデータと入力画像信号との誤差に基づいて、プレフィルタ処理を行う手法は、いずれも、プレフィルタ処理による画像データの情報量削減と圧縮符号化処理での画像データの情報量削減とは互いに独立に行なわれるため、視覚的に画質の劣化を知覚できない範囲で、符号量を最小化するために最適な圧縮符号化データを得ることは困難であり、圧縮符号化データの画質を向上させるために最適な手法とは言えない。この問題は、低ビットレートのＭＰＥＧ−４Ｖｉｓｕａｌ符号化データにおいて、特に顕著に現れる。

本発明は、上述した従来技術の問題点を鑑みてなされたものであり、画像データに対し、ＭＰＥＧ−４Ｖｉｓｕａｌ方式に代表されるような低ビットレートへの圧縮符号化をする際に、画質劣化を最小限に抑えつつ、符号化データの最適な情報量削減を行う画像生成装置、およびその方法を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像生成装置、画像生成プログラムは、
画像データをフレーム毎、ｎ個（ｎ＞０）のブロックに分割し、前記ブロック毎、画素値データを周波数変換して得られる周波数変換係数を前記ブロック毎に決定される量子化スケールで量子化し、符号化する画像生成装置であって、前記ブロック毎、画像特徴量を算出する算出手段と、前記画像データに変更を加える変更手段と、前記変更されたフレームデータを圧縮符号化する際に、前記画像特徴量に基づき、非可逆圧縮処理である量子化処理を行った後の量子化周波数変換係数を、微小に変化させる係数変更手段とを備える。
このような構成により、次のように画像を生成することができる。フレーム毎に、画像全体に一様にＬＰＦをかける手法では、画像の特徴とは無関係にＬＰＦをかけるため、ＬＰＦの強度が強すぎる場合に発生する画像のぼけや、圧縮符号化の量子化誤差によるブロックノイズのいずれもが、視覚的に知覚されないようにするのは非常に困難であるが、ブロック毎に画像特徴量を算出し、算出された画像特徴量を用いてプレフィルタ処理を行うことにより、画像に対して動的にフィルタリング処理を行うことができる。

また、プレフィルタ処理による画像データの情報量削減と圧縮符号化処理での画像データの情報量削減とは互いに独立して行なわれるため、視覚的に画質の劣化を知覚できない範囲で、符号量を最小化するために最適な圧縮符号化データを得ることは困難であったが、上述の構成によれば、プレフィルタ処理の際に利用した画像特徴量を圧縮符号化処理の際にも利用して、非可逆圧縮処理である量子化処理を行った後の量子化周波数変換係数を直接操作することができる。

本発明による画像生成装置、画像生成プログラムによれば、フレーム毎に、画像全体に一様にＬＰＦをかける手法では、画質の劣化が視覚的に知覚されないようにするのは非常に困難であるが、ブロック毎に画像特徴量を算出し、算出された画像特徴量を利用し、動的にフィルタリング処理を施すことにより、ＬＰＦの強度が強すぎる場合に発生する画像のぼけや、圧縮符号化の量子化誤差によるブロックノイズのいずれもが、視覚的に知覚されないようにすることができ、画質を向上させることができる。

また、プレフィルタ処理による情報量削減と圧縮符号化処理での画像データの情報量削減とを互いに独立に行う場合、視覚的に画質の劣化を知覚できない範囲で、符号量を最小化するために最適な圧縮符号化データを得ることは困難であったが、プレフィルタ処理の際に利用した画像特徴量を用いて、非可逆圧縮処理である量子化処理を行った後の量子化周波数変換係数を直接操作することで、画像の中の画質劣化が目立ちやすい部分については符号量を減らさずに、画質劣化が目立ちにくい部分のみ符号量を最小化するように、量子化周波数変換係数を操作することが可能になるので、視覚的に知覚できない範囲で、符号量を最小化することができ、その結果、同じビットレートの画像では、より小さな量子化ステップサイズでの符号化が可能になるため、プレフィルタ処理で画質を向上させたのに加え、更なる画質の向上をはかることができる。

本発明の実施の形態について説明する前に、まず、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の処理概要について説明する。

図１は、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の処理構成図を示す。ＭＰＥＧ−４Ｖｉｓｕａｌでは、ＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）と呼ばれる単位で符号化を行う。（最も単純な場合には、ＶＯＰはフレームに相当する。）図１において、入力部１０では、圧縮符号化する画像データがＶＯＰ単位で入力され、各ＶＯＰは、１６×１６画素単位のマクロブロックに分割される。

動き検出・符号化部１１は、動き検出部１１１、マクロブロックタイプ設定部１１２、動きベクトル符号化部１１３とから構成されており（図２）、動き検出部１１１では、入力部１０から入力されたマクロブロックデータと参照用画像記憶部１６で蓄積されている参照用画像データとを用いて動きベクトルを算出し、マクロブロックタイプ設定部１１２では動き検出の結果をもとに、マクロブロックタイプが設定され、ノンイントラマクロブロックの場合のみ動きベクトル符号化部１１３で可変長符号化が行われる。

予測部１２では、動き検出・符号化部２で算出された動きベクトルと参照用画像記憶部１６で蓄積されている参照用画像データとを用いて、予測画像が生成される。

変換部１３は、予測誤差生成部１３１、ＤＣＴ部１３２、量子化部１３３とから構成されており（図３）、予測誤差生成部１３１では、ノンイントラマクロブロックの場合のみ入力部１０から入力されたマクロブロックデータと予測部で生成された予測画像とから生成される誤差画像マクロブロックデータを出力し、イントラマクロブロックの場合には、入力部１０から入力されたマクロブロックデータをそのまま出力し、ＤＣＴ部１３２に入力する。ＤＣＴ部１３２では、予測誤差生成部１３１から出力されたマクロブロックデータを８×８画素のブロックごとに２次元離散コサイン変換（ＤＣＴ）を行い、量子化部１３３では、ＤＣＴ部１３２から出力された２次元ＤＣＴ係数を量子化する。

ＤＣＴ符号化部１４は、ＤＣ／ＡＣ予測部１４１、スキャン部１４２、可変長符号化部１４３から構成され（図４）、ＤＣ／ＡＣ予測部１４１では、変換部１３から出力された２次元量子化ＤＣＴ係数と隣接するマクロブロックの２次元ＤＣＴ係数をもとに予測される値とから２次元量子化ＤＣＴ係数誤差成分を算出し、スキャン部１４２では、ＤＣ／ＡＣ予測部で求めた２次元量子化ＤＣＴ係数誤差成分を符号化する順番に並び替え、可変長符号化部１４３では、スキャン部１４２で並び替えた２次元量子化ＤＣＴ係数誤差成分を符号化する。

参照用画像生成部１５は、逆量子化部１５１、逆ＤＣＴ部１５２、画像再構成部１５３とから構成され（図５）、逆量子化部１５１では、変換部１３で出力される２次元量子化ＤＣＴ係数を逆量子化し、逆ＤＣＴ部１５２では、逆量子化部１５１で逆量子化された２次元ＤＣＴ係数に逆ＤＣＴを行い、画像再構成部１５３では、逆ＤＣＴ部１５２で出力された画素値により画像を再構成する。ノンイントラマクロブロックの場合には、予測部で生成された予測画像の画素値を加算して画像を再構成する。参照用画像記憶部１６では、参照用画像生成部１５で再構成された画像が蓄積される。

パラメータ設定部１７では、動き検出・符号化部１１とＤＣＴ符号化部１４から出力される符号量をもとに、次マクロブロックを符号化する際の量子化パラメータを設定し、出力部１８では、動き検出・符号化部１１とＤＣＴ符号化部１４から出力される符号とをＭＰＥＧ−４Ｖｉｓｕａｌ符号化データとして出力する。

以上のように構成されたＭＰＥＧ−４Ｖｉｓｕａｌ符号化の処理構成図について、図６に示すフローチャートを用いてその動作を説明する。第１に入力部に、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化を行なう画像データを読み出しておく（Ｓ１）。第２に、ＭＰＥＧ−４符号化パラメータを初期化しておく（Ｓ２）。次に、画像データをＶＯＰ単位でマクロブロックに分割し、マクロブロック毎、動き検出・符号化処理を行なう（Ｓ３）。動き検出・符号化処理の動作については、図７に示しており、まず、蓄積されている参照用画像を用いて動き検出を行ない、動きベクトルを求める（Ｓ３１）。次いで、動き検出の結果を用いてマクロブロックタイプを設定し（Ｓ３２）、ノンイントラマクロブロックの場合には、動きベクトルを符号化し、出力部に出力する（Ｓ３３）。

動き検出・符号化処理の次には、参照用画像と動きベクトルを用いて、予測画像を生成し（Ｓ４）、更に、変換処理を行なう（Ｓ５）。変換処理の動作については、図８に示しており、まず、入力したマクロブロックデータと、予測画像データとを用いて予測誤差を生成する（Ｓ５１）。ただし、イントラマクロブロックについては、マクロブロックデータをそのまま予測誤差データとする。次いで、予測誤差データを８×８画素のブロック毎に対し、２次元ＤＣＴを施し（Ｓ５２）、パラメータ設定部から入力された量子化スケールを用いて２次元ＤＣＴ係数を量子化する（Ｓ５３）。

変換処理の次には、ＤＣＴ符号化処理を行なう（Ｓ６）。ＤＣＴ符号化処理の動作については、図９に示しており、まず、隣接するブロックの量子化２次元ＤＣＴ係数を用いてＤＣ／ＡＣ予測を行ない、量子化２次元ＤＣＴ係数誤差を算出する（Ｓ６１）。次いで、スキャンにより、符号化を行なう順番に量子化２次元ＤＣＴ係数を並び替え（Ｓ６２）、可変長符号化し、出力部に出力する（Ｓ６３）。

ＤＣＴ符号化処理の次には、参照用画像生成処理を行なう（Ｓ７）。参照用画像生成処理の動作については、図１０に示しており、まず、変換部で算出した量子化２次元ＤＣＴ係数を逆量子化する（Ｓ７１）。次いで、逆量子化した２次元ＤＣＴ係数に逆ＤＣＴを施し、参照用画像の予測誤差を生成する（Ｓ７２）。最後に、予測画像と参照用画像の予測誤差とを加算して参照用画像を生成し（Ｓ７３）、参照用画像記憶部に蓄積する。ただし、イントラマクロブロックの場合には、参照用画像の予測誤差をそのまま参照用画像として蓄積する。

参照用画像生成処理の次には、出力した符号量をもとに、次のマクロブロックを符号化する際に用いる量子化パラメータを設定する（Ｓ８）。ステップＳ３からステップＳ８までの処理をマクロブロック単位に行ない、１ＶＯＰの処理が終了したら、次のＶＯＰのタイプを設定する（Ｓ９）。ステップＳ３からステップＳ９までの処理を全ＶＯＰに対して繰り返し行ない、画像データを全て読み出して符号化した時点で処理を終了する。

以上を踏まえて、以下に、本発明の実施の形態について、図を用いて説明する。
（実施の形態）
図１１は本発明の実施の形態における処理構成図である。図１１において、画像入力部２１では入力画像信号を取り込み、特徴量抽出部２２で入力画像信号から各画素におけるエッジの強さと方向という画像特徴量を算出する算出手段を実行する。画像合成部２３は、特徴量抽出部２２において検出された特徴量を利用して入力画像信号に変更を加えるフレーム変更手段を実行する。圧縮符号化部２４において圧縮符号化が行われる。画像信号出力部２５において画像信号が出力される。

ここで上記処理構成について図１１の処理構成図と、図１２に示すフローチャートを用いてその動作を個別に説明する。
まず第１の説明として、画像信号入力部２１について説明する。画像信号入力部において、大きさがｍ×ｎ画素（ｍ，ｎ＞０）である画像の入力画像信号（Ｉ）を読み込む（Ｓ１０１）。

次に第２の説明として、特徴量抽出部２２について説明する。まず、入力画像信号（Ｉ）に対しハイパスフィルター（以下、ＨＰＦと記載）をかけることにより、入力画像信号（Ｉ）のエッジ（Ｅ１〜Ｅ４）を検出する（Ｓ１０２）。この際、エッジを検出するためのＨＰＦは、図１３のように複数の方向に対するＨＰＦを用意する。本実施例では、縦・横・斜めの４つのＨＰＦで説明しているが、必ずしも図１３のように４方向のみである必要はなく、１方向でも２方向でも３方向でもよく、４方向以上であっても良い。また、このＨＰＦのフィルタリングを行う係数（以下、タップ係数と記載）を方向ごとに個別に設定可能であるようにすることで、各方向ごとに検出したいエッジの強さを決定できるものとする。さらに、本実施例では、注目画素近傍の５×５画素の画素値についてフィルタリングを行っているが、必ずしも５×５画素である必要はない。

さらに、ＨＰＦによって方向ごとに検出されたエッジ成分のうちノイズ信号を除去するコアリング処理を施す。本発明においては、コアリング処理において弱いエッジ成分についても、エッジ信号の値を小さくするような処理を行う（Ｓ１０３）。具体的には、図１４において、ｘ軸に入力信号、ｙ軸に出力信号をとったグラフにおいて、入力輝度に対する設定値、ａ・ｂ・ｃ・ｄ（ａ＜ｂ＜０＜ｃ＜ｄ）を設定し、それぞれの領域における傾きｅ・ｆ・ｇ・ｈを設定する。入力輝度をＬｉ、出力輝度をＬｏとすると、Ｌｉ＜ａの時にはＬｉを、Ｌｏ＝ｅ（Ｌｉ−ａ）＋ｆ（ａ−ｂ）で一意に決定されるＬｏに補正し、ｂ１＜Ｌ＜ｂ２の時にはＬｉを、Ｌｏ＝Ｆ（Ｌｉ−ｂ）で一意に決定されるＬｏに補正し、ｂ２＜Ｌ＜ｂ３の時には、Ｌｏ＝０に補正し、ｂ３＜Ｌ＜ｂ４の時にはＬｉを、Ｌｏ＝ｇ（Ｌｉ−ｃ）で一意に決定されるＬｏに補正しｂ４＜Ｌの時にはＬｉを、Ｌｏ＝ｈ（Ｌｉ−ｄ）＋ｇ（ｄ−ｃ）で一意に決定されるＬｏに補正するものとする。入力輝度に対する設定値を４つ（ａ・ｂ・ｃ・ｄ）設定することにより、それぞれ入力輝度Ｌｉの大きさによって任意の値にエッジ信号を抑圧することができる。また、それぞれの傾きを個別に設定することで、画像の特徴に合わせたエッジを抽出することができる。この傾きは、前記のＨＰＦのタップ係数の絶対値の和が大きな値である時は、ｂとｃの絶対値を小さくするというように、ＨＰＦのタップ係数と連動させてもよい。さらに、本実施例では図１４のように線形で説明したが、必ずしも線形である必要はなく、非線形であってもよい。以上のコアリング処理により、エッジ信号からノイズを除去し、弱いエッジ成分をさらに弱めた信号（Ｅ１'〜Ｅ４'）を得ることができる。

コアリング処理を施されたエッジ信号（Ｅ１'〜Ｅ４'）に対してＬＰＦをかけることで、それぞれの方向のエッジ成分の情報量を減少させる（Ｓ１０４）。このＬＰＦは、たとえば、垂直方向のエッジ信号については、水平方向のＬＰＦを、水平方向のＬＰＦについては、垂直方向のＬＰＦをかけるというように、各エッジ成分の方向と関連づけても良い。
その後、ＬＰＦをかけられた方向毎のエッジ信号について、ある任意のピクセル（ｘ１，ｙ１）に注目した時に、そのピクセル（ｘ１，ｙ１）の値で、最も絶対値の大きなエッジ成分をそのピクセルにおけるエッジ信号成分（ｅ）とする（Ｓ１０５）。このエッジ成分の抽出処理を（ｘ，ｙ）の全ピクセルに対して行うことにより、画像のエッジ成分が求められる。

第３の説明として、画像合成部２３について説明する。第１の説明における入力画像信号（Ｉ）、および第２の説明において出力されたエッジ信号成分（ｅ）について、それぞれ同じ座標上のピクセルの値を加算することにより合成する（Ｓ１０６）。また、この画像合成部２３の前に入力画像信号（Ｉ）にＬＰＦをかける処理をしてもよく、画像を合成した後に、ＬＰＦをかける処理を行ってもよい。

以上第１から第３までの説明による処理により、劣化が目立ちやすい範囲については符号量を減らさずに、劣化が目立ちにくい範囲のみ符号量を減らすというように、画像に対して動的に情報量を減らすことができるので、画質を向上させることができる。

第４の説明として、画像の信号圧縮部２４について図１５の処理構成図を用いて説明する。本発明においては、プレフィルタ処理で利用した画像のエッジとエッジの強さという特徴量を利用し、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化処理を行うように構成されており、画像の信号圧縮部２４は、入力部１０と、動き検出・符号化部１１と、予測部１２と、変換部１３と、画像特徴量入力部４０と、符号量調整部４１と、ＤＣＴ符号化部１４と、参照用画像生成部１５と、参照用画像記憶部１６と、パラメータ設定部１７と、出力部１８とから構成される。本発明における信号圧縮部２４が図１で示されるＭＰＥＧ−４符号化部と異なるのは、外部から画像特徴量が入力される点と、前記の入力された画像特徴量を用いて符号量調整部４１において非可逆圧縮処理である量子化処理を行った後の量子化周波数変換係数を調整した後に、ＤＣＴ符号化部１４および、参照用画像生成部１５において処理がなされるという点である。

以上のように構成された本発明の圧縮符号化部２４の処理構成について、図１６に示すフローチャートを用いてその動作を個別に説明する。

第１に、ＭＰＥＧ−４Ｖｉｓｕａｌ符号化を行なう画像データを読み出しておく（Ｓ１）。第２に、ＭＰＥＧ−４符号化パラメータを初期化しておく（Ｓ２）。次に、画像データをＶＯＰ単位でマクロブロックに分割し、マクロブロック毎、動き検出・符号化処理を行なう（Ｓ３）。動き検出・符号化処理の動作については、図７に示しており、まず、蓄積されている参照用画像を用いて動き検出を行ない、動きベクトルを求める（Ｓ３１）。次いで、動き検出の結果を用いてマクロブロックタイプを設定し（Ｓ３２）、ノンイントラマクロブロックの場合には、動きベクトルを符号化し、出力部に出力する（Ｓ３３）。

その後、量子化された２次元ＤＣＴ係数に対して符号量の調整を行う（Ｓ２００）。図１７に示すように、特徴量抽出部２２において抽出されたエッジ情報を８×８のブロックごとに読み出し（Ｓ２０１）、読み出されたエッジ情報をもとに、符号量を減少させるＤＣＴ係数を設定する。具体的には、読み出されたエッジ信号のうち、垂直成分のエッジ信号（Ｖ１）に着目し、そのエッジ成分の平均値Ｖ２がｖｉ＜Ｖ２＜ｖｊの場合（ｖｉ，ｖｊ＞０）に、８×８のＤＣＴ係数の（０，ｋ）の座標（０≦ｋ＜８）であらわされる位置の符号量の絶対値を減少させる（Ｓ２０２）。同様に、水平方向のエッジ成分（Ｈ１）についても、水平方向のエッジ成分の平均値Ｈ２が、ｈｉ＜Ｈ２＜ｈｊの場合（ｈｉ，ｈｊ＞０）に、８×８のＤＣＴ係数の（ｌ，０）の座標（０≦ｌ＜８）であらわされる位置の符号量の絶対値を減少させる（Ｓ２０３）。さらに、Ｖ２＜ｖｉかつＨ２＜ｈｉである場合には、ＤＣＴ係数のうちの高周波成分（例えば、ＤＣＴ係数の（３，３）〜（７，７）の座標中に含まれる画素）の符号量の絶対値を減少させる（Ｓ２０４）。これにより、ブロックごとの特徴を判断しながら、動的に符号量を減少させ、視覚的に知覚できない範囲で、符号量を最小化することができる。

その後、符号量が減少したＤＣＴ係数に対して、ＤＣＴ符号化処理を行なう（Ｓ６）。ＤＣＴ符号化処理の動作については、図９に示しており、まず、隣接するブロックの量子化２次元ＤＣＴ係数を用いてＤＣ／ＡＣ予測を行ない、量子化２次元ＤＣＴ係数誤差を算出する（Ｓ６１）。次いで、スキャンにより、符号化を行なう順番に量子化２次元ＤＣＴ係数を並び替え（Ｓ６２）、可変長符号化し、出力部に出力する（Ｓ６３）。

ＤＣＴ符号化処理の次には、参照用画像生成処理を行なう（Ｓ７）。参照用画像生成処理の動作については、図１０に示しており、まず、符号量調整処理分で算出された量子化２次元ＤＣＴ係数を逆量子化する（Ｓ７１）。次いで、逆量子化した２次元ＤＣＴ係数に逆ＤＣＴを施し、参照用画像の予測誤差を生成する（Ｓ７２）。最後に、予測画像と参照用画像の予測誤差とを加算して参照用画像を生成し（Ｓ７３）、参照用画像記憶部に蓄積する。ただし、イントラマクロブロックの場合には、参照用画像の予測誤差をそのまま参照用画像として蓄積する。

以上の本発明の実施の形態により、画像処理による符号量を最小になるように調整するとともに、画質の劣化を抑えることができ、それにより、生成される画像の画質を向上させることができる。

なお、本実施形態ではプレフィルタ処理で利用した画像特徴量をＭＰＥＧ−４Ｖｉｓｕａｌ符号化処理でも利用し、符号量を調整する例で説明したが、ＭＰＥＧ−１符号化処理やＭＰＥＧ−２符号化処理やＪＰＥＧ符号化処理でも本質的には処理構成は同じであり、同様の処理で符号量を調整し、画像を出力することができる。
また、本実施形態ではｍ×ｎ画素の2次元空間の画像について処理を行っているが、3次元以上の空間の画像においても同様の処理で符号量を調整し、画像を出力することができる。

本発明はネットストリーミングなどの画像配信分野で利用する画像生成装置および、画像生成プログラム等として有効である。

ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の処理構成図ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の動き検出・符号化部の処理構成図ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の変換部の処理構成図ＭＰＥＧ−４Ｖｉｓｕａｌ符号化のＤＣＴ符号化部の処理構成図ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の参照用画像生成部の処理構成図ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の処理を示すフローチャートＭＰＥＧ−４Ｖｉｓｕａｌ符号化の動き検出・符号化部の処理を示すフローチャートＭＰＥＧ−４Ｖｉｓｕａｌ符号化の変換部の処理を示すフローチャートＭＰＥＧ−４Ｖｉｓｕａｌ符号化のＤＣＴ符号化部の処理を示すフローチャートＭＰＥＧ−４Ｖｉｓｕａｌ符号化の参照用画像生成部の処理を示すフローチャート本発明の画像処理方法の処理構成図本発明の画像処理方法の処理を示すフローチャート本発明の実施の形態におけるＨＰＦの構成例を示す図本発明のコアリング処理の概要を示すグラフ本発明の圧縮符号化の処理構成図本発明の圧縮符号化処理を示すフローチャート本発明の符号量調整処理を示すフローチャート

符号の説明

１ＭＰＥＧ−４Ｖｉｓｕａｌ符号化の処理構成図
１０入力部
１１動き検出・符号化部
１２予測部
１３変換部
１４符号化手段を実行する符号化部
１５参照用画像生成部
１６参照用画像記憶部
１７パラメータ設定部
１８出力部
１１１動き検出部
１１２マクロブロックタイプ設定部
１１３動きベクトル符号化部
１３１予測誤差生成部
１３２フレームデータをブロック毎に周波数変換する周波数変換手段を実行するＤＣＴ部
１３３量子化周波数変換係数を算出する量子化手段を実行する量子化部
１４１ＤＣ／ＡＣ予測部
１４２スキャン部
１４３可変長符号化部
１５１逆量子化部
１５２逆ＤＣＴ部
１５３画像再構成部
２１画像信号入力部
２２特徴量抽出部
２３画像合成部
２４圧縮符号化部
２５画像信号出力部
３１垂直ハイパスフィルター
３２水平ハイパスフィルター
３３斜めハイパスフィルター１
３４斜めハイパスフィルター２
Ｌｉ入力輝度信号
Ｌｏ出力輝度信号
ａ強いマイナスエッジ成分と弱いマイナスエッジ成分の境界
ｂ弱いマイナスエッジ成分とノイズ成分の境界
ｃノイズ成分と弱いプラスエッジ成分の境界
ｄ弱いプラスエッジ成分と強いプラスエッジ成分の境界
ｅ入力輝度Ｌに対する傾き（Ｌｉ＜ｂ１）
ｆ入力輝度Ｌに対する傾き（ｂ１＜Ｌｉ＜ｂ２）
ｇ入力輝度Ｌに対する傾き（ｂ３＜Ｌｉ＜ｂ４）
ｈ入力輝度Ｌに対する傾き（ｂ４＜Ｌｉ）
４０入力部
４１動き検出・符号化部
４２予測部
４３変換部
４４量子化周波数変換係数を画像特徴量に基づき、変化させる係数変更手段を実行する符号量調整部
４５画像特徴量入力部
４６ＤＣＴ符号化部
４７参照用画像生成部
４８参照用画像記憶部
４９パラメータ設定部
５０出力部

Claims

画像データをフレーム毎、ｎ個（ｎ＞０）のブロックに分割し、前記ブロック毎、画素値データを周波数変換して得られる周波数変換係数を前記ブロック毎に決定される量子化スケールで量子化し、符号化する画像生成装置であって、前記フレーム毎、画像特徴量を算出する算出手段と、前記算出された画像特徴量をもとに、前記フレームデータに変更を加えるフレーム変更手段と、前記変更されたフレームデータを前記ブロック毎に周波数変換する周波数変換手段と、前記周波数変換係数を前記ブロックごとに決定される量子化スケールで量子化して量子化周波数変換係数を算出する量子化手段と、前記量子化周波数変換係数を前記画像特徴量に基づき、微小に変化させる係数変更手段と、変更した前記量子化周波数変換係数を符号化する符号化手段とを備える画像生成装置。
前記画像特徴量は、エッジの方向と強度を表す指標を算出することを特徴とする、請求項１に記載の画像生成装置。
前記係数変更手段は、前記画像特徴量を用いて、前記量子化周波数変換係数のうち、変更する周波数成分をＬ組（０＜Ｌ）設定する手段と、前記設定したＬ組の周波数成分毎に、前記量子化周波数変換係数に、±Δａ（Δａ＞０）の範囲のそれぞれの値を加算した（２×Δａ＋１）組の変更値を取得する手段と、前記変更値毎に、符号化した際の符号量が最小になる前記変更値を前記量子化周波数変換係数と置き換える手段とから構成されることを特徴とする、請求項１または請求項２に記載の画像生成装置。
コンピュータに、画像データをフレーム毎、ｎ個（ｎ＞０）のブロックに分割し、前記ブロック毎、画素値データを周波数変換して得られる周波数変換係数を前記ブロック毎に決定される量子化スケールで量子化し、符号化する手段を実行させる画像生成プログラムであって、前記フレーム毎、画像特徴量を算出する算出手段と、前記算出された画像特徴量をもとに、前記フレームデータに変更を加えるフレーム変更手段と、前記変更されたフレームデータを前記ブロック毎に周波数変換する周波数変換手段と、前記周波数変換係数を前記ブロックごとに決定される量子化スケールで量子化して量子化周波数変換係数を算出する量子化手段と、前記量子化周波数変換係数を前記画像特徴量に基づき、微小に変化させる係数変更手段と、変更した前記量子化周波数変換係数を符号化する符号化手段とを実行させる機能を備える画像生成プログラム。
前記画像特徴量は、エッジの方向と強度を表す指標を算出することを特徴とする、請求項４に記載の画像生成プログラム。
前記係数変更手段は、前記画像特徴量を用いて、前記量子化周波数変換係数のうち、変更する周波数成分をＬ組（０＜Ｌ）設定する手段と、前記設定したＬ組の周波数成分毎に、前記量子化周波数変換係数に、±Δａ（Δａ＞０）の範囲のそれぞれの値を加算した（２×Δａ＋１）組の変更値を取得する手段と、前記変更値毎に、符号化した際の符号量が最小になる前記変更値を前記量子化周波数変換係数と置き換える手段とから構成されることを特徴とする、請求項４または請求項５に記載の画像生成プログラム。