JP2005295510A

JP2005295510A - 解像度変換方法及び装置

Info

Publication number: JP2005295510A
Application number: JP2005040709A
Authority: JP
Inventors: Hideto Sakakima; 英人榊間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-03-09
Filing date: 2005-02-17
Publication date: 2005-10-20
Anticipated expiration: 2025-02-17
Also published as: CN100348045C; US7567723B2; JP4455364B2; US20050201632A1; CN1668108A

Abstract

【課題】画像の解像度変換時において、高画質の解像度変換を行う方法及び装置を提供する。
【解決手段】複数の参照画素間にブロックの境界が含まれない場合には、複数の参照画素の画素データを用いて第１の種類の補間処理を施すことにより、補間画素の画素データを算出する。複数の参照画素間にブロックの境界が含まれる場合には、複数の参照画素の画素データを用いて第２の種類の補間処理を施すことにより、補間画素の画素データを算出する。第２の種類の補間処理は、第１の種類の補間処理に比べて、画像のエッジ強調効果が小さい処理である。
【選択図】図１

Description

本発明は、符号化されたデジタル画像の解像度変換方法及び装置に関する。

通常、画像データは情報量が膨大であるため、画像データを伝送する際や、蓄積媒体上に記録する際には何らかの高能率圧縮処理を画像データに適用することが必要となる。高能率圧縮処理としては、直交変換符号化（DCT（Discrete Cosine Transform）など）を利用する手法が現在主流であり、JPEG（Joint Photographic coding Expert Group）やMPEG（Moving Picture coding Expert Group）等の符号化方式に採用されている。これら符号化方式について簡単に説明する。

まず、入力される画像データを8×8画素のブロックに分割する。基本的に圧縮処理はこのブロックを単位として実行される。分割されたブロックに直交変換符号化処理を施し、量子化処理した後、エントロピー符号化を行って符号化データを得る。復号する場合は、符号化フローと逆の処理を順次符号化データに施す。直交変換符号化は非可逆処理であるため、元の画像データを完全に復号することは不可能であるが、非常に高い圧縮率を得ることが可能である。

一方、状況に応じて画像データに解像度変換処理を行う必要がある。デジタルカメラで撮影した画像データを表示媒体に表示する際、画像データの解像度が表示媒体の解像度と比して高い場合には、画像データを縮小して表示しなければならない。またデジタルTV放送のような動画像を表示媒体に表示する際にも、表示媒体の解像度に応じて画像データの解像度変換を行うことが必要である。画像データの解像度変換処理には様々な手法が考えられているが、大きく分けて空間領域における解像度変換と、周波数領域における解像度変換がある。

空間領域における解像度変換手法の代表的なものとしては、ニアレストネイバー（nearest neighbor）方式、バイリニア（bi-linear）方式、バイキュービック（bi-cubic）方
式があげられる。それぞれの方式の特徴を図４に示す。図４は×で示される元画素を3倍
に拡大した際の補間画素○を示す図である。図４の縦軸が画素値の大きさを示している。

ニアレストネイバー方式は、変換後の画素位置に最も近い元画像の値を新しい画素値とする方式である。元画素に対する演算がないため処理速度は高速であり、画像の隣接画素の差（エッジ）を元画像のまま保持することが可能であるが、画質は一般的に悪いとされる。

バイリニア方式は１次補間の一種であり、求める画素値の近傍4点を利用して線形補間
する方式である。ニアレストネイバー方式と比較すると、画質については向上するが処理速度は低速である。また、線形補間処理により、エッジなど急峻な変化のある箇所を平滑化する作用があるため、全体的に画像がぼける結果となる。

バイキュービック方式は3次補間の一種であり、求める画素値の近傍16画素を利用して
補間する。演算量が多いため処理速度は非常に遅いが、元画像のエッジを強調し保持する効果を持つ処理のため、バイリニア方式に比べて画像がぼける度合いは少ない。バイキュービック方式は、前述の二手法より画質は良いとされている。

周波数領域における解像度変換手法は、DCT処理が施されている状態で画素値の追加／
削除を行い解像度変換する手法である。ビットマップ形式で保存されている画像にこの方式を適用する場合には、画素値にDCT→解像度変換→IDCTの処理を施さなければならない
ため、処理コストが大きくなってしまう。しかし、MPEGやJPEG等、既にDCT符号化によっ
て符号化されている画像においては利用が簡単であるため有効な方式であり、画質も良いとされている手法である。

画像データの解像度変換は、これらの方式の中から目的に適う方式を選択して実行されることになる。解像度変換処理に要するリソースを無視できるとすれば、画像のエッジを保持することが可能なバイキュービック方式を採用することが望ましいと考えられる。しかし処理コストの問題、またエッジ付近の画像ぼけの問題があるため、特許文献１〜４に示されるように画像データのエッジ付近とその他の領域で解像度変換方式を切り替える手法が提案されている。
特表平４−５００４２１号公報米国特許第５，００８，７５２号明細書特開平１１−１４４０５３号公報米国特許第６，２６３，１２０号明細書

しかしながら、前述の直交変換符号化による符号化されたJPEGやMPEG等の画像データに関してはバイキュービック方式による解像度変換処理で万全であるとは言えない。直交変換符号化を利用した符号化方式では、前述の通りブロック単位で符号化処理を行うため、復号後の画像データにおいて、8×8分割ブロックの境界に意図しない不連続箇所が生じることがある。これをブロックノイズといい、符号化画像の圧縮率を高くするほど生じやすい結果となる。

このブロックノイズが存在する復号後の画像データに、バイキュービック方式の解像度変換処理を実行すると、ブロック境界の不連続箇所が強調され、ブロックノイズがさらに悪化し、画質劣化が激しくなる可能性がある。

本発明の目的は、画像の解像度変換時において、高画質の解像度変換を行う方法及び装置を提供することである。

上記目的を達成するために本発明では、以下の構成を採用する。

本発明の第１態様は、ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換方法であって、前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択工程と、前記複数の参照画素間に前記ブロックの境界が含まれるか否かを判定する判定工程と、前記複数の参照画素間に前記ブロックの境界が含まれない場合には、複数の前記参照画素の画素データを用いて第１の種類の補間処理を施すことにより、補間画素の画素データを算出し、前記複数の参照画素間に前記ブロックの境界が含まれる場合には、複数の前記参照画素の画素データを用いて第２の種類の補間処理を施すことにより、補間画素の画素データを算出する、補間画素データ算出工程と、を含み、前記第２の種類の補間処理は、前記第１の種類の補間処理に比べて、画像のエッジ強調効果が小さい。

本発明の第２態様は、ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換方法であって、前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択工程と、前記複数の参照画素間に前記ブ
ロックの境界が含まれるか否かを判定する判定工程と、前記複数の参照画素間に前記ブロックの境界が含まれない場合には、該複数の参照画素の画素データを用いて第１の種類の補間処理を施すことにより、補間画素の画素データを算出し、前記複数の参照画素間に前記ブロックの境界が含まれる場合には、該複数の参照画素の画素データを用いて第２の種類の補間処理を施すことにより、補間画素の画素データを算出する、補間画素データ算出工程と、を含み、前記第１の種類の補間処理は、前記第２の種類の補間処理に比べて、前記ブロックの境界の不連続箇所の平滑化効果が小さい。

本発明の第３態様は、ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換装置であって、前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択部と、前記選択された複数の参照画素間に前記ブロックの境界が含まれるか否かを判定するブロック境界判定部と、前記ブロック境界判定部における判定結果に応じて、前記選択された参照画素の画素データから補間画素の画素データを算出する方式を決定する画素算出方式切替部と、前記選択された参照画素の画素データを抽出する画素抽出部と、前記画素算出方式切替部において決定された方式に従って、前記抽出された参照画素の画素データから補間画素の画素データを算出する補間画素算出部と、を備え、前記画素算出方式切替部は、前記ブロック境界判定部において前記複数の参照画素間に前記ブロックの境界が含まれないと判定された場合には、第１の方式に決定し、前記複数の参照画素間に前記ブロックの境界が含まれると判定された場合には、前記第１の算出方式に比べて画像のエッジ強調効果が小さい第２の方式に決定する。

本発明の第４態様は、ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換装置であって、前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択部と、前記選択された複数の参照画素間に前記ブロックの境界が含まれるか否かを判定するブロック境界判定部と、前記ブロック境界判定部における判定結果に応じて、前記選択された参照画素の画素データから補間画素の画素データを算出する方式を決定する画素算出方式切替部と、前記選択された参照画素の画素データを抽出する画素抽出部と、前記画素算出方式切替部において決定された方式に従って、前記抽出された参照画素の画素データから補間画素の画素データを算出する補間画素算出部と、を備え、前記画素算出方式切替部は、前記ブロック境界判定部において前記複数の参照画素間に前記ブロックの境界が含まれないと判定された場合には、第１の方式に決定し、前記複数の参照画素間に前記ブロックの境界が含まれると判定された場合には、前記第１の算出方式に比べて前記ブロックの境界の不連続箇所の平滑化効果が大きい第２の方式に決定する。

本発明によれば、画像の解像度変換時において、高画質の解像度変換を行うことが可能となる。

以下、本発明の実施形態について、図を用いて説明する。

図１は本発明の実施形態に係る解像度変換方法を示すフローチャートであり、図２はそれを実現するための解像度変換装置のシステム構成例を示している。まず、図２のシステム構成について説明する。

なお、本実施形態では、ＤＣＴの直交変換符号化により高能率圧縮処理された画像データについて説明する。直交変換符号化処理については、背景技術において説明したので、ここでは割愛する。

図２のブロック境界判定部201は、入力される補間画素位置情報を元に、補間画素を算
出するために利用する参照画素間にブロック境界が含まれるか否かを判定する。ブロック境界を含んでいる、または含んでいないことを示すフラグが、判定結果（境界情報）として出力される。判定方法について、図３を用いて説明する。

図３は解像度変換を施す1画像のうちの一部について図示したものである。×で示され
るのが元画素であり、○で示されるのが補間画素である。補間画素を算出する際には、元画素の一部を参照画素として利用する。本実施の形態においては、通常の解像度変換にバイキュービック方式を利用する。バイキュービック方式での参照画素は、図３で示されているように補間画素位置の周辺16画素（縦4画素×横4画素）である。

図３の補間画素301を算出するために使用する参照画素は、補間画素301の周囲の16画素（細線で囲まれた範囲）である。この場合、参照画素間にブロック境界を跨いでいる箇所は存在しないため、『ブロック境界を含まない』という判定になる。

補間画素302を算出するために使用する参照画素は、補間画素302の周囲の16画素である。この参照画素間には、ブロック境界を跨ぐ箇所が存在する。従って、判定は『ブロック境界を含む』となる。

上記判定結果が図２の画素算出方式切替部202に入力される。画素算出方式切替部202は、補間画素を生成する解像度変換方式を決定する箇所である。画素算出方式切替部２０２の出力は、補間画素の算出方式（解像度変換方式）および選択した算出方式に必要となる参照画素情報である。

図３の補間画素について、画素算出方式の切替は次のとおりである。補間画素301につ
いては参照画素間にブロック境界を含まないため、算出方式はバイキュービック方式（第１の種類の補間処理、第１の方式）となり、参照画素数は16となる。一方、補間画素302
については、バイキュービック方式の参照画素間にブロック境界を含むため、算出方式をバイリニア方式（第２の種類の補間処理、第２の方式）とし参照画素数を4とする。

このバイキュービック方式とバイリニア方式との切替により、次の効果が得られる。参照画素間にブロック境界が存在しない場合には、バイリニア方式（第２の種類の補間処理）に比べて画像のエッジ強調効果が大きい（つまり、ブロック境界の不連続箇所の平滑化効果が小さい）バイキュービック方式（第１の種類の補間処理）を用いて補間画素が算出される。よって、ブロック境界以外の領域では、画像のエッジのぼけが軽減される。

参照画素間にブロック境界を含む際に、その参照画素を使用してバイキュービック方式による補間を行うと、ブロック境界の不連続箇所（ブロックノイズ）を保持、または強調して補間画素を算出してしまう可能性がある。そこで、この場合は、バイキュービック方式（第１の種類の補間処理）に比べて画像のエッジ強調効果が小さい（つまり、ブロック境界の不連続箇所の平滑化効果が大きい）バイリニア方式（第２の種類の補間処理）が用いられる。バイリニア方式を用いて補間画素を算出すると、ブロック境界の不連続箇所を平滑化し、軽減することが可能となる。従って、解像度変換後の画像においてブロック境界の不連続箇所（ブロックノイズ）を軽減し、かつその他の領域においては画像のエッジをぼけさせることのない解像度変換を提供することが可能となる。

本発明の実施例においては、ブロック境界の不連続箇所を軽減する補間画素の算出方式としてバイリニア方式を挙げたが、同様の効果を得ることが可能であれば他の方式を採用しても良い。

図２の参照画素選択部203は画素算出方式切替部202より入力される参照画素情報および補間画素位置情報から補間画素に対する参照画素を選択し、結果を画素抽出部204に出力
する。

画素抽出部204は入力された参照画素情報（数及び位置）に基づいて、元画像（被解像
度変換画像）より、参照画素を抽出し、補間画素算出部205へ転送する。補間画素算出部205は、画素抽出部204より入力される参照画素に、画素算出方式切替部202において選択された解像度変換方式の算出方法を適用し、補間画素を得る。

本発明の実施方法を図１のフローチャートを用いて説明する。本実施の形態においては、上記の通り、通常の解像度変換（第１の種類の補間処理）をバイキュービック方式とし、ブロック境界近辺の解像度変換（第２の種類の補間処理）についてはバイリニア方式とする。

まず、図２のブロック境界判定部201において、図１のブロック境界判定工程S101が実
施される。ブロック境界判定工程S101で得られた結果により、S102においてバイキュービック方式を実行する際に必要となる参照画素間のブロック境界の有無を判定する。S102でブロック境界を含まないと判定した場合はS103へ、ブロック境界を含むと判定した場合はS104へと進む。

S103においては、バイキュービック方式に必要となる参照画素間にブロック境界を含まないと判定されているため、解像度変換方式A（本実施の形態においてはバイキュービッ
ク方式）を選択する。S104においては、バイキュービック方式に必要となる参照画素間にブロック境界を含むと判定されているため、解像度変換方式B（本実施の形態においては
バイリニア方式）を選択する。

S103またはS104によって選択された解像度変換方式に基づいて、参照画素選択工程S105において参照画素が選択される。そして補間画素データ算出工程S106で、参照画素選択工程S105により選択された参照画素を利用して、S103またはS104で指定された解像度変換方式の算出式により、補間画素が算出される。

以上の操作を、算出されるべきすべての補間画素に対して繰り返し実行することで、元画像より解像度変換後の画像が生成されることになる。

図１のS103およびS104に記述されている解像度変換方式Aおよび解像度変換方式Bは一般的な解像度変換方式を示している。解像度変換方式Aは解像度変換方式Ｂに比べてエッジ
強調効果が大きい解像度変換方式を、解像度変換方式Bは解像度変換方式Ａに比べて平滑
化効果が大きい解像度変換方式を示している。

本発明の実施の形態を示すフローチャートである。本発明の実施の形態に係わる、デジタル画像の解像度変換システムを表すブロック図である。本発明の実施の形態で利用する解像度変換方式について、補間画素と参照画素、およびブロック境界との関係を示す図である。一般的な解像度変換方式について説明する図である。

符号の説明

２０１ブロック境界判定部
２０２画素算出方式切替部
２０３参照画素選択部
２０４画素抽出部
２０５補間画素算出部

Claims

ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換方法であって、
前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択工程と、
前記複数の参照画素間に前記ブロックの境界が含まれるか否かを判定する判定工程と、
前記複数の参照画素間に前記ブロックの境界が含まれない場合には、複数の前記参照画素の画素データを用いて第１の種類の補間処理を施すことにより、補間画素の画素データを算出し、
前記複数の参照画素間に前記ブロックの境界が含まれる場合には、複数の前記参照画素の画素データを用いて第２の種類の補間処理を施すことにより、補間画素の画素データを算出する、
補間画素データ算出工程と、
を含み、
前記第２の種類の補間処理は、前記第１の種類の補間処理に比べて、画像のエッジ強調効果が小さいことを特徴とする解像度変換方法。
ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換方法であって、
前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択工程と、
前記複数の参照画素間に前記ブロックの境界が含まれるか否かを判定する判定工程と、
前記複数の参照画素間に前記ブロックの境界が含まれない場合には、該複数の参照画素の画素データを用いて第１の種類の補間処理を施すことにより、補間画素の画素データを算出し、
前記複数の参照画素間に前記ブロックの境界が含まれる場合には、該複数の参照画素の画素データを用いて第２の種類の補間処理を施すことにより、補間画素の画素データを算出する、
補間画素データ算出工程と、
を含み、
前記第１の種類の補間処理は、前記第２の種類の補間処理に比べて、前記ブロックの境界の不連続箇所の平滑化効果が小さいことを特徴とする解像度変換方法。
前記所定の画像処理は、直交変換符号化処理であることを特徴とする請求項１または２に記載の解像度変換方法。
前記第１の種類の補間処理は、バイキュービック方式による補間処理であることを特徴とする請求項１〜３のいずれかに記載の解像度変換方法。
前記第２の種類の補間処理は、バイリニア方式による補間処理であることを特徴とする請求項１〜４のいずれかに記載の解像度変換方法。
ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換装置であって、
前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択部と、
前記選択された複数の参照画素間に前記ブロックの境界が含まれるか否かを判定するブロック境界判定部と、
前記ブロック境界判定部における判定結果に応じて、前記選択された参照画素の画素デ
ータから補間画素の画素データを算出する方式を決定する画素算出方式切替部と、
前記選択された参照画素の画素データを抽出する画素抽出部と、
前記画素算出方式切替部において決定された方式に従って、前記抽出された参照画素の画素データから補間画素の画素データを算出する補間画素算出部と、
を備え、
前記画素算出方式切替部は、
前記ブロック境界判定部において前記複数の参照画素間に前記ブロックの境界が含まれないと判定された場合には、第１の方式に決定し、前記複数の参照画素間に前記ブロックの境界が含まれると判定された場合には、前記第１の算出方式に比べて画像のエッジ強調効果が小さい第２の方式に決定することを特徴とする解像度変換装置。
ブロック分割を伴う所定の画像処理が行われた画像データの解像度を変換するための解像度変換装置であって、
前記画像データから補間画素の演算に供されるべき複数の参照画素を選択する参照画素選択部と、
前記選択された複数の参照画素間に前記ブロックの境界が含まれるか否かを判定するブロック境界判定部と、
前記ブロック境界判定部における判定結果に応じて、前記選択された参照画素の画素データから補間画素の画素データを算出する方式を決定する画素算出方式切替部と、
前記選択された参照画素の画素データを抽出する画素抽出部と、
前記画素算出方式切替部において決定された方式に従って、前記抽出された参照画素の画素データから補間画素の画素データを算出する補間画素算出部と、
を備え、
前記画素算出方式切替部は、
前記ブロック境界判定部において前記複数の参照画素間に前記ブロックの境界が含まれないと判定された場合には、第１の方式に決定し、前記複数の参照画素間に前記ブロックの境界が含まれると判定された場合には、前記第１の算出方式に比べて前記ブロックの境界の不連続箇所の平滑化効果が大きい第２の方式に決定することを特徴とする解像度変換装置。
前記所定の画像処理は、直交変換符号化処理であることを特徴とする請求項６または７に記載の解像度変換装置。