JP2007219950A - 画像処理装置および画像データの補間方法 - Google Patents

Abstract

【課題】回路規模を増大させることなく、良好な画質が得られる補間方法を実現する画像処理装置を提供する。
【解決手段】処理対象が輝度成分Ｙの場合には、画像入力部２０は補間点の周囲１６点の画像データを入力データ制御部３０に供給する。一方、処理対象が色差成分Ｃｂ、Ｃｒの場合には、画像入力部２０は補間点の周囲４点の画像データと更にその周囲１２点を零値としたデータとを入力データ制御部３０に供給する。入力データ制御部３０は、画像入力部２０から供給されるデータに基づき、補間演算用入力データＤｈを補間処理部４０に供給する。また、係数部５０は、処理対象に応じて、補間係数Ｈｋを補間処理部４０に供給する。補間処理部４０は、補間演算用入力データＤｈと補間係数Ｈｋとを受け取り、バイキュービック法による補間値計算式に基づいて補間計算を行う。
【選択図】図８

Description

本発明は、画像の拡大、縮小等が行われる際の画像データの補間方法、および画像データの補間処理を行う画像処理装置に関する。

画像処理装置においては、外部から入力された画像データに基づく画像を拡大、縮小、回転、変形などして表示する際、当該画像データに幾何変換が施されている。このような場合に、画像データがベクトルデータであれば、各ベクトルデータについて座標の変換を行うだけでよい。一方、画像データがラスタデータであれば、幾何変換として以下の３つの処理が必要となる。第１に「座標変換処理」が必要となる。座標変換処理とは、所定の変換式に基づき、入力画像の（画像データの）座標を出力画像の座標に変換する処理のこと、あるいは、出力画像の座標を入力画像の座標に変換する処理のことである。第２に「画像再配列処理」が必要となる。画像再配列処理とは、座標変換処理後の出力画像の座標が格子状配列となるように入力画像の画像データの並び替えを行うことである。第３に「画像データ内挿処理」が必要である。画像データ内挿処理とは、座標変換処理によって得られる出力画像の画像データの座標は一般的に格子状には配列されないので、画像再配列処理に必要な座標の画像データを挿入する処理のことである。

近年、画像処理装置の多様化に伴い、画像の拡大表示あるいは縮小表示が多くの装置で行われている。例えば、デジタルスチルカメラにおいては、デジタルズーム機能により、デジタル信号処理によるカラー画像の拡大縮小が行われている。画像の拡大縮小に関しては、内挿する点（以下、「補間点」という。）の画素値（以下、「補間値」という。）をいかなる方法で算出するかが、画質や処理速度に大きな影響を与える。

補間値を求める計算方法（以下、「補間値計算方法」という。）としては、従来より、ニアレストネイバー法（最近隣内挿法）、バイリニア法（共１次内挿法）、バイキュービック法（３次たたみ込み内挿法）などが知られている。ニアレストネイバー法およびバイリニア法については、演算処理が簡易であるため処理速度は速いが、画質の点ではバイキュービック法と比べると劣っている。一方、バイキュービック法については、補間の精度が高いので画質の点では優れているが、演算処理が複雑であるため処理に時間を要する。このため、装置に要求される仕様等に応じて、いずれかの補間値計算方法が採用されている。

ところで、近年、画像データの信号成分等の種類に応じて異なる補間値計算方法で画像データの補間値を算出する画像処理装置が提案されている。図１４は、複数の補間値計算方法を用いた補間方法を実現する従来の画像処理装置の要部の構成を示すブロック図である。この画像処理装置においては、補間値の算出は補間演算部９１０で行われる。補間演算部９１０には、採用する補間値計算方法の数と等しい数の補間処理部が設けられている。図１４に示す例では、第１の補間処理部９１１と第２の補間処理部９１２とが設けられており、それらの補間処理部で異なる補間値計算方法による補間値の算出が行われている。入力画像メモリ９００には、信号成分等の種類毎に入力画像データが格納されている。入力画像データは、その信号成分等の種類に応じて、第１の補間処理部９１１もしくは第２の補間処理部９１２のいずれかに与えられる。第１の補間処理部９１１または第２の補間処理部９１２で補間値が算出されると、当該補間値は出力画像データとして種類毎に出力画像メモリ９２０に格納される。

特開平９−２９８６００号公報には、色信号の成分毎に補間処理部（画素密度変換部）を備え、色信号の成分に応じて異なる補間値計算方法で補間値の算出を行う画像処理装置が開示されている。図１５は、この画像処理装置の構成を示すブロック図である。図１５に示すように、信号処理部９３１は画像メモリ９３０から入力画像データを取り出し、それを輝度信号Ｙと色差信号Ｕ、Ｖとに分ける。輝度信号Ｙについては、第１画素密度変換部９３２でバイキュービック法による補間値の算出が行われる。一方、色差信号Ｕ、Ｖについては、第２画素密度変換部９４０でバイリニア法による補間値の算出が行われる。なお、輝度信号Ｙの補間値の算出がバイキュービック法で行われている理由は、一般的に人の目が色差信号よりも輝度信号に敏感であり、高い精度の補間が要求されるからである。

特開２００１−１４４５４号公報には、複数の補間値計算方法による補間値の算出をソフトウェアで実現している画像処理装置が開示されている。図１６は、この画像処理装置の構成を示すブロック図である。この画像処理装置は、輝度信号を処理するための輝度信号処理部９７０と色差信号を処理するための色差信号処理部９８０とを備えている。そして、補間値を算出する画像データの種類に応じて、プロセッサ９５４の使用するプログラムの切り替えが行われる。
特開平８−２５１４００号公報 特開平９−２９８６６０号公報 特開平１１−７５０６０号公報 特開２００１−１４４５４号公報 特開２００５−２２３４９０号公報

ところが、従来の画像処理装置では、画像データを幾何変換するために複数の補間値計算方法を採用しようとすると、補間値計算方法毎に補間処理部が必要となる。その結果、回路規模が大きくなり消費電力も増大する。しかるに、近年においては、画像処理装置の小型化や消費電力の低減が要求されている。また、ソフトウェアによる処理では、処理速度の点で十分ではない。

そこで、本発明は、回路規模を増大させることなく、良好な画質が得られる補間方法を実現する画像処理装置を提供することを目的とする。

第１の発明は、所定の補間演算式に基づいて画像データの補間演算を行う画像処理装置であって、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成部と、
前記画像データの種類に応じて所定の補間係数演算式に基づいて算出される補間係数と前記補間演算用入力データとを前記補間演算式に代入することにより前記補間演算を行う補間演算部と
を備えていることを特徴とする。

第２の発明は、第１の発明において、
前記画像データの種類に応じた補間係数を予め保持し、前記補間演算の対象となっている画像データの種類に応じて前記予め保持された補間係数を前記補間演算部に与える補間係数保持部を更に備えていることを特徴とする。

第３の発明は、第１または第２の発明において、
前記画像データには第１の画像成分と第２の画像成分とが含まれ、
前記補間演算用入力データ生成部は、
前記補間演算の対象となっている画像データが前記第１の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲１６点のデータであって３次たたみ込み内挿法による補間演算に必要な１６点のデータを前記補間演算用入力データとして生成し、
前記補間演算の対象となっている画像データが前記第２の画像成分である場合には、前記補間点の周囲４点のデータであって共１次内挿法による補間演算に必要な４点のデータと、前記補間点の周囲１６点のデータのうち前記補間点の周囲４点以外のデータを零値としたデータとを前記補間演算用入力データとして生成し、
前記補間演算部は、前記補間演算の対象となっている画像データが前記第１の画像成分もしくは前記第２の画像成分のいずれの場合にも、前記所定の補間演算式として前記３次たたみ込み内挿法による補間演算式に基づいて前記補間演算を行うことを特徴とする。

第４の発明は、第３の発明において、
前記画像データは前記第１の画像成分としての輝度成分と前記第２の画像成分としての色差成分とからなるＹＵＶフォーマットのデータであることを特徴とする。

第５の発明は、
所定の補間演算式に基づいて補間演算を行う画像データの補間方法であって、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成ステップと、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間係数を算出する補間係数算出ステップと、
前記補間演算用入力データと前記補間係数とを前記補間演算式に代入することにより前記補間演算を行う補間演算ステップと
を備えていることを特徴とする。

第６の発明は、第５の発明において、
前記補間係数算出ステップに代えて、予め保持された補間係数を前記補間演算の対象となっている画像データの種類に応じて取得する補間係数取得ステップを備えていることを特徴とする。

第７の発明は、第５または第６の発明において、
前記画像データには第１の画像成分と第２の画像成分とが含まれ、
前記補間演算用入力データ生成ステップでは、
前記補間演算の対象となっている画像データが前記第１の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲１６点のデータであって３次たたみ込み内挿法による補間演算に必要な１６点のデータが前記補間演算用入力データとして生成され、
前記補間演算の対象となっている入力画像データが前記第２の画像成分である場合には、前記補間点の周囲４点のデータであって共１次内挿法による補間演算に必要な４点のデータと、前記補間点の周囲１６点のデータのうち前記補間点の周囲４点以外のデータを零値としたデータとが前記補間演算用入力データとして生成され、
前記補間演算ステップでは、前記補間演算の対象となっている画像データが前記第１の画像成分もしくは前記第２の画像成分のいずれの場合にも、前記所定の補間演算式として前記３次たたみ込み内挿法による補間演算式に基づいて前記補間演算が行われることを特徴とする。

第８の発明は、第７の発明において、
前記画像データは前記第１の画像成分としての輝度成分と前記第２の画像成分としての色差成分とからなるＹＵＶフォーマットのデータであることを特徴とする。

上記第１の発明によれば、補間演算部では、補間演算の対象となっている画像データの種類に応じた補間演算用入力データと補間係数とが所定の補間演算式に代入されることによって補間計算が行われる。このため、１つの補間演算部によって、画像データの種類に応じた補間値の算出が行われる。これにより、回路規模の増大や消費電力の増大を伴うことなく、画像データの種類毎に好適な補間処理が行われる。

上記第２の発明によれば、画像データの種類に応じた補間係数が予め補間係数保持部に保持され、補間演算の対象となる画像データの種類に応じて補間演算部に補間係数が与えられる。このため、補間演算の実行の際には補間係数の算出は不要となり、処理時間が短縮する。

上記第３の発明によれば、補間演算の対象が第１の画像成分である場合には、３次たたみ込み内挿法による補間演算に必要な１６点のデータが補間演算用入力データとして生成され、補間演算の対象が第２の画像成分である場合には、共１次内挿法による補間演算に必要な４点のデータとその周囲１２点を零値としたデータとが補間演算用入力データとして生成される。一方、補間演算部では、補間演算の対象が前記第１の画像成分もしくは前記第２の画像成分のいずれの場合にも、３次たたみ込み内挿法による補間演算式に基づいて補間演算が行われる。これにより、１つの補間演算部によって、画質を優先した補間演算と処理速度を優先した補間演算とを画像データの種類に応じて切り替えて実行することができる。

上記第４の発明によれば、輝度成分についての補間演算が行われる際には３次たたみ込み内挿法による補間処理に必要なデータが入力データとなり、色差成分についての補間演算が行われる際には共１次内挿法による補間処理に必要なデータが補間演算の入力データとなる。このため、輝度成分については画質を低下させることなく補間処理が行われ、色差成分については処理速度を低下させることなく補間処理が行われる。

＜１．検討＞
本発明の実施形態について説明する前に、画像データの補間値計算方法について説明する。ここでは、従来から一般的に知られているバイキュービック法、バイリニア法、およびニアレストネイバー法について説明する。なお、以下の説明においては、図１に示すように、入力画像の補間点の座標を（ｕ，ｖ）とする。また、図１において、入力画像の画像データとして画素値を持つ点（観測点）を参照符号２で示している。また、補間点の周囲４個の観測点を頂点とする方形状の領域を「第１の画素ブロック１０１」といい、補間点の周囲１６個の観測点を頂点とする方形状の領域を「第２の画素ブロック１０２」という。

＜１．１ バイキュービック法＞
まず、バイキュービック法による補間値計算方法について、図２を参照しつつ説明する。図２は、第２の画素ブロック１０２内の観測点を示す図である。バイキュービック法においては、第２の画素ブロック１０２内の１６個の観測点の画素値をＰ１１〜Ｐ４４とする。

補間値Ｐは、１６個の画素値Ｐ１１〜Ｐ４４と、式（１）、式（２−１）〜（２−８）、および式（３−１）〜（３−３）とによって算出される。

ここで、式（３−１）〜（３−３）のｆ（ｔ）については厳密には式（４）によって算出されるべきものであるが、デジタル演算によるｓｉｎ関数の処理が容易ではないことから、式（３−１）〜（３−３）によって近似計算がなされている。

なお、式（３−１）および式（３−２）の「ａ」は実数の定数であって、「ａ」の値を変えることにより補間の特性を変えることができる。また、式（２−１）〜（２−８）は、補間点から第２の画素ブロック１０２内の１６個の観測点までの水平方向および垂直方向の距離を算出するためのものである。そして、式（２−１）〜（２−８）で算出された値を式（３−１）〜（３−３）の「ｔ」に代入することによって、補間点からの距離に応じて各観測点の画素値に係る係数（重み係数）が算出される。

＜１．２ バイリニア法＞
次に、バイリニア法による補間値計算方法について、図３を参照しつつ説明する。図３は、第１の画素ブロック１０１内の観測点を示す図である。バイリニア法においては、第１の画素ブロック１０１内の４個の観測点の画素値をＰｉ ｊ〜Ｐｉ＋１ ｊ＋１とする。

補間値Ｐは、４個の画素値Ｐｉ ｊ〜Ｐｉ＋１ ｊ＋１と、式（５−１）、式（５−２）、式（６−１）〜（６−４）、および式（７）とによって算出される。

なお、バイリニア法による補間値計算の式は一般的には式（８）で表される。しかし、計算を容易にするために各観測点の重み係数を式（５−１）、式（５−２）、および式（６−１）〜（６−４）で算出することにより、式（７）で補間値計算の式が表される。

＜１．３ ニアレストネイバー法＞
次に、ニアレストネイバー法による補間値計算方法について、図４を参照しつつ説明する。図４に示すように、ニアレストネイバー法による補間値計算方法では、補間点に最も近い観測点の画素値が補間値Ｐとされる。すなわち、補間値Ｐは、式（９）、式（１０−１）、および式（１０−２）により算出される。

＜１．４ 演算量の比較＞
ここで、バイキュービック法による補間値計算の演算量とバイリニア法による補間値計算の演算量との違いについて説明する。式（１）で表されるバイキュービック法の補間値計算式については、式（１１−１）〜（１１−４）、および式（１２）に変形することができる。式（１１−１）〜（１１−４）の重み係数ｆ（ｔ）については式（３−１）〜（３−３）によって算出されている。Ｐ１〜Ｐ４は、それぞれ４個の観測点における値（画素値に重み係数をかけた値）の和であり、補間値Ｐの計算過程において算出される値である。補間値Ｐは、これらＰ１〜Ｐ４を用いて、式（１２）によって算出される。

以上のように、バイキュービック法による補間値計算における重み係数については、第２の画素ブロック１０２内の１６個の観測点について、式（３−１）〜（３−３）によって算出される。一方、バイリニア法による補間値計算における重み係数については、第１の画素ブロック１０１内の４個の観測点のみについて、式（６−１）〜（６−４）により算出される。これにより、重み係数の算出のための演算量については、バイキュービック法の方がバイリニア法よりも多いことが認識される。また、重み係数がデータテーブル化されている場合であっても、補間値Ｐを算出するための演算量については、バイキュービック法の演算量はバイリニア法の演算量の４倍であることが認識される。

このように、バイキュービック法の演算量はバイリニア法の演算量よりも多い。従って、補間値の算出に要する処理時間については、バイリニア法の方がバイキュービック法よりも短くなる。

＜１．５ 本発明における補間方法＞
本発明においては、式（７）で表されるバイリニア法の補間値計算式と式（１１−１）〜（１１−４）で表されるバイキュービック法の（変形後の）補間値計算式との相似性に着目し、以下のようにして、従来バイリニア法による補間値の算出が行われていた画像データについても、処理を複雑化することなくバイキュービック法の補間値計算式により補間値の算出が行われる。なお、以下の説明においては、図５に示すように、第２の画素ブロック１０２内の１６個の観測点の画素値をＰ１１〜Ｐ４４とし、そのうち第１の画素ブロック１０１内の４個の観測点の画素値をＰ２２、Ｐ３２、Ｐ２３、およびＰ３３とする。

従来バイリニア法による補間値の算出が行われていた画像データについての本発明における補間値の算出について説明する。補間値の算出に際して、第１の画素ブロック１０１内の４個の観測点の画像データについては、画素値を式（１）に代入する。一方、第２の画素ブロック内の観測点のうち第１の画素ブロック１０１内の観測点を除く１２個の画像データについては、零値を式（１）に代入する。すなわち、式（１）に代入する各観測点の画素値を模式的に表すと図６に示すような値となる。ここで、重み係数については、バイリニア法の式である式（６−１）〜（６−４）によって算出する。

以上のようにして、補間値Ｐの計算を行うと、式（１３）、式（１４−１）〜（１４−４）、および式（１５）が導き出される。ここで、式（１４−３）と式（１４−４）とを合わせたものは、第１の画素ブロック１０１内の４個の観測点の画素値にそれぞれ重み係数をかけた値の和を示している。従って、式（１４−３）と式（１４−４）とを合わせたものは、式（７）と同じ内容を示している。これにより、式（７）で算出される画素値Ｐと式（１５）で算出される画素値Ｐとは同じ値となる。このようにして、従来バイリニア法による補間値の算出が行われていた画像データについても、処理を複雑化することなく、バイキュービック法による補間値計算式によって補間値の算出を行うことができる。

上述した補間方法は、例えば画像処理装置に適用することができる。図７は、上述の補間方法が適用された画像処理装置の要部の構成を示すブロック図である。図１４に示した従来の画像処理装置の構成においては、それぞれ異なる補間値計算方法による補間値の算出を行う第１の補間処理部９１１と第２の補間処理部９１２とが設けられていた。一方、本発明の構成においては、補間処理部８１２は１個だけ設けられている。この補間処理部８１２においては、バイキュービック法の補間値計算式によって補間値の算出が行われる。すなわち、従来バイリニア法による補間値の算出が行われていた画像データについても従来バイキュービック法による補間値の算出が行われていた画像データについても、バイキュービック法による補間値計算式によって補間値が算出される。

以下、本発明の一実施形態について添付図面を参照しつつ説明する。

＜２．画像処理装置の全体構成および動作＞
図８は、本発明の一実施形態に係る画像処理装置の全体構成を示すブロック図である。この画像処理装置は、サイズ変換処理部１００と入力装置２００と画像メモリ３００と出力装置４００と制御プロセッサ５００とを備えている。サイズ変換処理部１００は、制御部１０と画像入力部２０と入力データ制御部３０と補間処理部４０と係数部５０と出力データ制御部６０と画像出力部７０とを有している。制御部１０には、制御レジスタ１１が含まれている。画像入力部２０には、入力バッファ２１が含まれている。画像出力部７０には、出力バッファ７１が含まれている。なお、本実施形態においては、画像入力部２０と入力データ制御部３０とによって補間演算用入力データ生成部が実現され、補間処理部４０によって補間演算部が実現され、係数部５０によって補間係数保持部が実現されている。

この画像処理装置においては、画像データのフォーマットにはＹＵＶ方式が採用されている。画像データのうち輝度成分Ｙについては、補間点の周囲１６点分の画像データより補間値が算出される。一方、画像データのうち色差成分Ｃｂ、Ｃｒについては、補間点の周囲４点分の画像データより補間値が算出される。

制御プロセッサ５００は、この画像処理装置の全体を制御する。制御部１０は、制御プロセッサ５００から与えられる指示信号に基づいて、画像入力部２０と入力データ制御部３０と補間処理部４０と係数部５０と出力データ制御部６０と画像出力部７０とを制御するために、画像入力部制御信号Ｓ１と入力データ制御部制御信号Ｓ２と補間処理部制御信号Ｓ３と係数部制御信号Ｓ４と出力データ制御部制御信号Ｓ５と画像出力部制御信号Ｓ６とを出力する。制御レジスタ１１には、後述する補間処理のための各種パラメータが格納される。

入力装置２００は、ＹＵＶフォーマットの画像データ（入力画像データ）Ｄｉを出力する。すなわち、入力装置２００は、入力画像データＤｉとして、輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒを出力する。画像メモリ３００は、入力装置２００から出力される入力画像データＤｉと画像出力部７０から出力される出力画像データＤｏとを保持する。画像入力部２０は、制御部１０から与えられる画像入力部制御信号Ｓ１に基づいて、補間値Ｐを算出するための入力画像データＤｉ（Ｙ、Ｃｂ、Ｃｒ）を画像メモリ３００から取得し、それらを入力バッファ２１に格納する。そして、画像入力部２０は、入力画像データＤｉ（Ｙ、Ｃｂ、Ｃｒ）を入力データ制御部３０に供給する。

入力データ制御部３０は、制御部１０から与えられる入力データ制御部制御信号Ｓ２に基づいて、画像入力部２０から供給される入力画像データＤｉ（Ｙ、Ｃｂ、Ｃｒ）を受け取り、補間処理部４０に供給するためのデータ（以下、「補間演算用入力データ」という。）Ｄｈを生成する。補間演算用入力データＤｈは、入力データ制御部３０から補間処理部４０に供給される。係数部５０は、バイキュービック法の補間値計算式に基づく計算に必要な補間係数（以下、「バイキュービック法補間係数」という。）とバイリニア法の補間値計算式に基づく計算に必要な補間係数（以下、「バイリニア法補間係数」という。）とを予めデータテーブルとして保持し、制御部１０から与えられる係数部制御信号Ｓ４に基づいて、補間処理部４０に補間係数Ｈｋを供給する。なお、バイキュービック法補間係数は式（３−１）〜（３−３）によって算出され、バイリニア法補間係数は式（６−１）〜（６−４）によって算出されている。

補間処理部４０は、制御部１０から与えられる補間処理部制御信号Ｓ３に基づいて、入力データ制御部３０から供給される補間演算用入力データＤｈと係数部５０から供給される補間係数Ｈｋとを受け取り、補間値Ｐの算出を行う。補間処理部４０は、その算出された補間値Ｐを出力データＰ１〜Ｐ４として出力データ制御部４０に供給する。

出力データ制御部６０は、制御部１０から与えられる出力データ制御部制御信号Ｓ５に基づいて、補間処理部４０から供給される出力データＰ１〜Ｐ４を受け取り、補間値Ｐとしての出力画像データＤｏを生成する。出力データ制御部６０は、その出力画像データＤｏを画像出力部７０に供給する。画像出力部７０は、出力データ制御部６０から供給される出力画像データＤｏを受け取り、制御部１０から与えられる出力データ制御部制御信号Ｓ６に基づいて当該出力画像データＤｏを出力バッファ７１に格納する。そして、画像出力部７０は、出力バッファ７１に格納した出力画像データＤｏをブロック単位で画像メモリ３００に転送する。

出力装置４００は、画像メモリ３００から出力画像データＤｏを取り出し、それを外部に出力（表示等）する。

＜３．補間処理部の構成＞
図９は、補間処理部４０の構成を示すブロック図である。図９に示すように、補間処理部４０には、第１〜第４の演算ユニット４１〜４４が含まれている。第１の演算ユニット４１では、式（１１−１）の「Ｐ１」の値が算出される。第２の演算ユニット４２では、式（１１−２）の「Ｐ２」の値が算出される。第３の演算ユニット４３では、式（１１−３）の「Ｐ３」の値が算出される。第４の演算ユニット４４では、式（１１−４）の「Ｐ４」の値が算出される。このように、第１〜第４の演算ユニット４１〜４４では、バイキュービック法の補間値計算式を用いて、補間値Ｐを算出するための値（中間結果）Ｐ１〜Ｐ４が算出される。

図１０は、第１〜第４の演算ユニット４１〜４４に入力されるデータと第１〜第４の演算ユニット４１〜４４から出力されるデータについて説明するための図である。式（１１−１）〜（１１−４）は、それぞれ式（１６−１）〜（１６−４）に変形することができる。これら式（１６−１）〜（１６−４）の右辺に相当するデータが第１〜第４の演算ユニット４１〜４４に入力される。そして、式（１６−１）〜（１６−４）の左辺に相当するデータが第１〜第４の演算ユニット４１〜４４から出力される。例えば、図１０に示すように、第１の演算ユニット４１には、式（１６−１）の右辺に相当するデータが入力されている。また、第１の演算ユニット４１からは、式（１６−１）の左辺に相当するデータが出力されている。

図１１は、第１の演算ユニット４１の構成を示す回路図である。図１１に示すように、第１の演算ユニット４１には、５個の乗算器４１１〜４１４、４１８と３個の加算器４１５〜４１７とが含まれている。それらの乗算器および加算器が図１１に示すように構成されることにより、式（１６−１）の演算処理が施される。なお、第２〜第４の演算ユニット４２〜４４の構成については、第１の演算ユニット４１の構成と同様である。

＜４．サイズ変換処理＞
次に、本実施形態における画像サイズの変換処理（以下、「サイズ変換処理」という。）の手順について説明する。図１２は、サイズ変換処理の手順を示すフローチャートである。サイズ変換処理が開始すると、制御プロセッサ５００は、制御部１０内の制御レジスタ１１に、輝度成分Ｙもしくは色差成分Ｃｂ、Ｃｒのいずれの処理を行うのかを示す処理成分指定情報と、入力画像サイズと、拡大縮小倍率とをパラメータとして設定する（ステップＳ１００）。ここで、入力画像サイズおよび拡大縮小倍率については、例えば外部から入力インタフェース（不図示）を介して制御プロセッサ５００に与えられる。サイズ変換処理に必要な全てのパラメータが制御レジスタ１１に設定されると、ステップＳ１１０に進む。

ステップＳ１１０では、制御部１０が、制御レジスタ１１に設定されたパラメータに基づいて、出力画像のサイズや出力画像データの座標の計算を行う。これらの計算結果については制御レジスタ１１に格納される。計算結果が制御レジスタ１１に格納されると、制御部１０は、画像入力部制御信号Ｓ１を画像入力部２０に与え、入力データ制御部制御信号Ｓ２を入力データ制御部３０に与え、補間処理部制御信号Ｓ３を補間処理部４０に与え、係数部制御信号Ｓ４を係数部５０に与え、出力データ制御部制御信号Ｓ５を出力データ制御部６０に与え、画像出力部制御信号Ｓ６を画像出力部７０に与える。その後、ステップＳ１２０に進む。

ステップＳ１２０では、画像入力部２０が、制御部１０から与えられた画像入力部制御信号Ｓ１に基づいて、補間値の算出に必要な入力画像データＤｉを画像メモリ２００から取得する。その際、画像入力部２０は制御レジスタ１１に設定されているパラメータを参照する。具体的には、処理成分指定情報が参照され、輝度成分Ｙもしくは色差成分Ｃｂ、Ｃｒのいずれが処理対象であるのかが判定される。その結果、処理対象の画像データが輝度成分Ｙである場合には、第２の画素ブロック１０２内の観測点における画素値が入力画像データＤｉとして画像メモリ２００から取得される。一方、処理対象の画像データが色差成分Ｃｂ、Ｃｒである場合には、第１の画素ブロック１０１内の観測点における画素値が入力画像データＤｉとして画像メモリ２００から取得される。すなわち、処理対象が輝度成分Ｙである場合には、補間点の周囲１６点分の入力画像データＤｉが画像メモリ２００から取得され、処理対象が色差成分Ｃｂ、Ｃｒである場合には、補間点の周囲４点分の入力画像データＤｉが画像メモリ２００から取得される。画像メモリ２００から取得された入力画像データＤｉは、画像入力部２０の入力バッファ２１に格納される。

画像入力部２０は、処理対象が輝度成分Ｙである場合には、１６点分の入力画像データＤｉを入力データ制御部３０に供給する。一方、処理対象が色差成分Ｃｂ、Ｃｒである場合には、画像入力部２０は、４点分の入力画像データと第２の画素ブロック内の観測点のうち第１の画素ブロック１０１内の観測点を除く１２点についての画素値を零値とした入力画像データとを入力データ制御部３０に供給する。このように、画像入力部２０から入力データ制御部３０に供給される入力画像データＤｉの内容は、画像データの処理対象に応じて異なっている。画像入力部２０によって入力データ制御部３０に入力画像データＤｉが供給されると、ステップＳ１３０に進む。

ステップＳ１３０では、補間値Ｐの算出（補間計算処理）が行われる。具体的には、入力データ制御部３０は、制御部１０から与えられる入力データ制御部制御信号Ｓ２に基づいて、画像入力部２０から供給される入力画像データＤｉを受け取り、補間演算用入力データＤｈを生成する。入力データ制御部３０は、その補間演算用入力データＤｈを補間処理部４０に供給する。係数部５０は、制御部１０から与えられる係数部制御信号Ｓ４に基づいて、補間値Ｐの算出のための補間係数Ｈｋを補間処理部４０に供給する。ここで、処理対象が輝度成分Ｙである場合にはバイキュービック法補間係数が補間処理部４０に供給され、処理対象が輝度成分Ｃｂ、Ｃｒである場合にはバイリニア法補間係数が補間処理部４０に供給される。補間処理部４０は、入力データ制御部３０から供給される補間演算用入力データと係数部５０から供給される補間係数Ｈｋとに基づいて、補間値Ｐを算出するための演算処理を行う。演算処理によって得られた結果は、出力データＰ１〜Ｐ４として補間処理部４０から出力データ制御部６０に供給される。出力データ制御部６０は、補間処理部４０から供給される出力データＰ１〜Ｐ４に基づいて、出力画像データＤｏ（補間値Ｐ）を生成する。出力データ制御部６０は、その出力画像データＤｏを画像出力部７０に供給する。以下、このステップＳ１３０の詳細な処理手順について説明する。

図１３は、補間計算処理の詳細な手順を示すフローチャートである。補間計算処理が開始すると、まず、処理対象の画像データが輝度成分Ｙであるか否かの判定が行われる（ステップＳ２００）。その結果、処理対象が輝度成分Ｙである旨の判定がなされると、ステップＳ２１０に進む。一方、処理対象が輝度成分Ｙではない旨の判定すなわち処理対象が色差成分Ｃｂ、Ｃｒである旨の判定がなされると、ステップＳ２２０に進む。なお、この判定は、制御レジスタ１１にパラメータとして保持されている処理成分指定情報に基づいて行われる。

ステップＳ２１０では、輝度成分Ｙについての補間値Ｐの算出が行われる。入力データ制御部３０は、画像入力部２０から供給される入力画像データＤｉを補間演算用入力データＤｈとして補間処理部４０に供給する。ここで、入力データ制御部３０には、画像入力部２０から第２の画素ブロック１０２内の１６点分の画像データが供給される。このステップＳ２１０では、それら１６点分の画像データがそのままの値で補間演算用入力データとして補間処理部４０に供給される。係数部５０は、制御部１０から与えられる係数部制御信号Ｓ４に基づき、バイキュービック法補間係数を補間処理部４０に供給する。補間処理部４０は、補間演算用入力データＤｈとバイキュービック法補間係数とを受け取り、式（１６−１）〜（１６−４）に基づく演算処理を行う。補間処理部４０は、その演算処理の結果を出力データＤｏとして出力データ制御部６０に供給する。出力データ制御部６０は、補間処理部４０から供給される出力データＤｏに基づいて、図１２に示した式に基づく演算処理を行う。これにより、補間値Ｐが算出される。出力データ制御部６０は、その補間値Ｐを出力画像データＤｏとして画像出力部７０に供給する。ステップＳ２１０が終了すると、図１２に示すステップＳ１４０に進む。

以上のようにして、入力画像データの輝度成分Ｙについては、バイキュービック法による補間値計算方法に基づいて補間値Ｐの算出が行われる。

ステップＳ２２０では、補間演算用入力データＤｈの生成が行われる。入力データ制御部３０は、画像入力部２０から供給される入力画像データＤｉを受け取る。ここで、入力データ制御部３０には、画像入力部２０から第１の画素ブロック１０１内の４点分の画像データが供給される。入力データ制御部３０は、それら４点分の画像データと第２の画素ブロック１０２内の観測点のうち第１の画素ブロック１０１内の観測点を除く１２点分についての画素値を零値とした画像データとによって、補間演算用入力データＤｈを生成する。すなわち、補間演算用入力データＤｈとして、図６に示したような画像データが生成される。補間演算用入力データＤｈが生成されると、ステップＳ２３０に進む。

ステップＳ２３０では、色差成分Ｃｂ、Ｃｒについての補間計算が行われる。入力データ制御部３０は、補間演算用入力データＤｈを補間処理部４０に供給する。係数部５０は、制御部１０から与えられる係数部制御信号Ｓ４に基づき、バイリニア法補間係数を補間処理部４０に供給する。補間処理部４０は、補間演算用入力データＤｈとバイリニア法補間係数とを受け取り、式（１６−１）〜（１６−４）に基づく演算処理を行う。補間処理部４０は、その演算処理の結果を出力データＰ１〜Ｐ４として出力データ制御部６０に供給する。その後、ステップＳ２４０に進む。

ステップＳ２４０では、出力データ制御部６０は、補間処理部４０から供給される出力データＰ１〜Ｐ４に基づいて式（１２）に基づく演算処理を行う。これにより、補間値Ｐが算出される。出力データ制御部６０は、その補間値Ｐを出力画像データＤｏとして画像出力部７０に供給する。ステップＳ２４０が終了すると、図１２に示すステップＳ１４０に進む。

以上のように、色差成分Ｃｂ、Ｃｒについての補間値Ｐの算出の際には、有効な画素値として補間点の周囲４点分の画像データとバイリニア法による補間係数に使用される補間係数とが補間処理部４０に供給される。すなわち、入力画像データの色差成分Ｃｂ、Ｃｒについては、バイキュービック法の補間値計算式が使用されるが、実質的にバイリニア法による補間値計算方法に基づいて補間値Ｐの算出が行われている。

図１２に示すステップＳ１４０では、画像出力部７０から画像メモリ３００への出力画像データＤｏの送信が行われる。画像出力部７０は、出力データ制御部６０から供給される出力画像データＤｏを制御部１０から与えられる画像出力部制御信号Ｓ６に基づいて出力バッファ７１に格納する。その後、画像出力部７０は、出力バッファ７１に格納された出力画像データＤｏを所定のブロック単位で画像メモリ３００に送信する。画像出力部７０から画像メモリ３００への出力画像データＤｏの送信が終了すると、ステップＳ１５０に進む。

ステップＳ１５０では、出力画像サイズに相当する出力画像データ（補間値）の処理（補間値の算出）が終了したか否かの判定が行われる。その結果、終了していれば、ステップＳ１６０に進む。一方、終了していなければ、ステップＳ１１０に戻る。

ステップＳ１６０では、全ての色成分についての処理が終了したか否かの判定が行われる。その結果、終了していれば、サイズ変換処理が終了する。一方、終了していなければ、ステップＳ１００に戻る。

＜５．効果＞
本実施形態によれば、画像データの補間計算を行うための構成要素としては、バイキュービック法の補間値計算式に基づく演算処理を行う補間処理部４０だけが設けられている。入力データ制御部３０では入力画像データの種類に応じて異なる内容の補間演算用入力データＤｈが生成され、当該補間演算用入力データＤｈは補間処理部４０に供給される。また、補間処理部４０には、入力画像データの種類に応じて異なる値の補間係数が供給される。これにより、１つの補間処理部４０によって、入力画像データの種類に応じた補間値Ｐの算出が行われる。また、実質的にバイリニア法による補間計算が行われる際には、零値の演算が行われる部分で電力が消費されない。このため、回路規模の増大や消費電力の増大を伴うことなく、入力画像データの種類毎に好適な補間処理が行われる。

また、本実施形態においては、補間値の計算に必要な補間係数が係数部５０に予め保持されている。バイキュービック法における補間係数を算出するための計算式は比較的複雑であるところ、補間演算の際に係数部５０に保持された補間係数を使用することにより処理時間が短縮する。

さらに、本実施形態においては、画像データのうち輝度成分Ｙについてはバイキュービック法による補間値計算方法に基づき補間値Ｐの算出が行われ、画像データのうち色差成分Ｃｂ、Ｃｒについては実質的にバイリニア法による補間値計算方法に基づき補間値Ｐの算出が行われる。このため、画質を低下させることなく、また、処理速度を低下させることなく画像データの補間処理が行われる。

＜６．その他＞
上記実施形態においては、画像データのフォーマットにＹＵＶ方式が採用されていることを前提に説明しているが、本発明はこれに限定されない。例えば、画像データのフォーマットにＲＧＢ方式やＹＩＱ方式が採用されていても本発明を適用することができる。また、上記実施形態においては、画像データのうち輝度成分Ｙについては補間点の周囲１６点分の画像データとバイキュービック法補間係数とによって補間値Ｐの算出が行われ、画像データのうち色差成分Ｃｂ、Ｃｒについては補間点の周囲４点分の画像データとバイリニア法補間係数とによって補間値Ｐの算出が行われているが、本発明はこれに限定されるものではない。

補間点、第１の画素ブロックおよび第２の画素ブロックについて説明するための概念図である。 バイキュービック法による補間値計算方法について説明するための図である。 バイリニア法による補間値計算方法について説明するための図である。 ニアレストネイバー法による補間値計算方法について説明するための図である。 本発明における補間方法について説明するための図である。 本発明における補間方法について説明するための図である。 本発明が適用された画像処理装置の要部を示すブロック図である。 本発明の一実施形態に係る画像処理装置の全体構成を示すブロック図である。 上記実施形態において、補間処理部の構成を示すブロック図である。 上記実施形態において、第１〜第４の演算ユニットの入出力データについて説明するための図である。 上記実施形態において、第１の演算ユニットの構成を示す回路図である。 上記実施形態において、サイズ変換処理の手順を示すフローチャートである。 上記実施形態において、補間値計算処理の手順を示すフローチャートである。 従来例に係る画像処理装置の要部の構成を示すブロック図である。 特開平９−２９８６００号公報に開示された画像処理装置の構成を示すブロック図である。 特開２００１−１４４５４号公報に開示された画像処理装置の構成を示すブロック図である。

符号の説明

１０…制御部
１１…制御レジスタ
２０…画像入力部
３０…入力データ制御部
４０…補間処理部
４１〜４４…第１〜第４の演算ユニット
５０…係数部
６０…出力データ制御部
７０…画像出力部
１００…サイズ変換処理部
２００…入力装置
３００…画像メモリ
４００…出力装置
５００…制御プロセッサ
Ｃｂ、Ｃｒ…色差信号（色差成分）
Ｄｈ…補間演算用入力データ
Ｄｉ…入力画像データ
Ｄｏ…出力画像データ
Ｈｋ…補間係数
Ｐ…補間値
Ｙ…輝度信号（輝度成分）

Claims (8)

1. 所定の補間演算式に基づいて画像データの補間演算を行う画像処理装置であって、
   前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成部と、
   前記画像データの種類に応じて所定の補間係数演算式に基づいて算出される補間係数と前記補間演算用入力データとを前記補間演算式に代入することにより前記補間演算を行う補間演算部と
   を備えていることを特徴とする、画像処理装置。
2. 前記画像データの種類に応じた補間係数を予め保持し、前記補間演算の対象となっている画像データの種類に応じて前記予め保持された補間係数を前記補間演算部に与える補間係数保持部を更に備えていることを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像データには第１の画像成分と第２の画像成分とが含まれ、
   前記補間演算用入力データ生成部は、
   前記補間演算の対象となっている画像データが前記第１の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲１６点のデータであって３次たたみ込み内挿法による補間演算に必要な１６点のデータを前記補間演算用入力データとして生成し、
   前記補間演算の対象となっている画像データが前記第２の画像成分である場合には、前記補間点の周囲４点のデータであって共１次内挿法による補間演算に必要な４点のデータと、前記補間点の周囲１６点のデータのうち前記補間点の周囲４点以外のデータを零値としたデータとを前記補間演算用入力データとして生成し、
   前記補間演算部は、前記補間演算の対象となっている画像データが前記第１の画像成分もしくは前記第２の画像成分のいずれの場合にも、前記所定の補間演算式として前記３次たたみ込み内挿法による補間演算式に基づいて前記補間演算を行うことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記画像データは前記第１の画像成分としての輝度成分と前記第２の画像成分としての色差成分とからなるＹＵＶフォーマットのデータであることを特徴とする、請求項３に記載の画像処理装置。
5. 所定の補間演算式に基づいて補間演算を行う画像データの補間方法であって、
   前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成ステップと、
   前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間係数を算出する補間係数算出ステップと、
   前記補間演算用入力データと前記補間係数とを前記補間演算式に代入することにより前記補間演算を行う補間演算ステップと
   を備えていることを特徴とする、補間方法。
6. 前記補間係数算出ステップに代えて、予め保持された補間係数を前記補間演算の対象となっている画像データの種類に応じて取得する補間係数取得ステップを備えていることを特徴とする、請求項５に記載の補間方法。
7. 前記画像データには第１の画像成分と第２の画像成分とが含まれ、
   前記補間演算用入力データ生成ステップでは、
   前記補間演算の対象となっている画像データが前記第１の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲１６点のデータであって３次たたみ込み内挿法による補間演算に必要な１６点のデータが前記補間演算用入力データとして生成され、
   前記補間演算の対象となっている入力画像データが前記第２の画像成分である場合には、前記補間点の周囲４点のデータであって共１次内挿法による補間演算に必要な４点のデータと、前記補間点の周囲１６点のデータのうち前記補間点の周囲４点以外のデータを零値としたデータとが前記補間演算用入力データとして生成され、
   前記補間演算ステップでは、前記補間演算の対象となっている画像データが前記第１の画像成分もしくは前記第２の画像成分のいずれの場合にも、前記所定の補間演算式として前記３次たたみ込み内挿法による補間演算式に基づいて前記補間演算が行われることを特徴とする、請求項５または６に記載の補間方法。
8. 前記画像データは前記第１の画像成分としての輝度成分と前記第２の画像成分としての色差成分とからなるＹＵＶフォーマットのデータであることを特徴とする、請求項７に記載の補間方法。
   

Images