JP2006173876A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 画像の拡大処理を行う場合でも回路規模の小型化およびコスト低減を図ることができる画像処理装置を提供する。
【解決手段】 画像拡大処理が必要な画像データの２ライン分を格納するための１つのラインメモリ２と、ラインメモリ２のアクセスを制御するメモリ制御回路３と、ラインメモリ２に格納された画像データを用いて垂直方向の補間処理を行う垂直方向拡大回路４と、を備える。
【選択図】 図１

Description

本発明は、画像の拡大処理を行う画像処理装置に関するものである。

近年、携帯電話等のモバイル機器においては、回路規模の小型化、コスト低減が必須の要件となっている。このようなモバイル機器の画像表示に対して、画像の拡大を行うことが行われている（例えば特許文献１参照）。

図１１は、従来の画像拡大処理を行う画像処理装置の構成を示すブロック図である。同図において、１１は画像データの［ｎ］ライン目のデータと、１Ｈ（水平同期期間）遅れた［ｎ＋１］ライン目のデータを格納するメモリ回路で、画像データ２ライン分を格納できる容量を持った２つのラインメモリ１２を有している。１３はラインメモリ１２の書き込み、読み出しを制御するメモリ制御回路、１４は垂直方向の補間処理を行う垂直方向拡大回路である。

図１２は、ラインメモリ１２の具体的な構成を示す図である。２つのラインメモリ１２は、同図の（ａ）に示すように、それぞれ水平方向画素数ａのラインメモリであり、メモリ回路１１は、同図の（ｂ）に示すような入力画像サイズ１５のラインデータを格納できるようになっている。

上記のように構成された画像処理装置について、以下にその動作を説明する。入力画像のラインデータは、メモリ制御回路１３の制御によりメモリ回路１１に格納される。そして、このメモリ回路１１からメモリ制御回路１３の制御により、［ｎ］ライン目のデータと、［ｎ＋１］ライン目のデータが読み出され、垂直方向拡大回路１４によって所定の補間処理が行われ、画像が拡大されたデータとして出力される。

特開平７−３８８０５号公報

しかしながら、従来の画像処理装置においては、画像の拡大処理を行うために、メモリ回路１１に入力画像サイズ５の水平方向画素数ａに依存した［ｎ］ライン目のデータと［ｎ＋１］ライン目のデータを格納するための容量を持ったラインメモリ１２が２つ必要であり、回路規模の増大、コストアップになるという事情があった。

本発明は、上記事情に鑑みてなされたもので、画像の拡大処理を行う場合でも回路規模の小型化およびコスト低減を図ることができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、表示可能な最大画像データ未満の２ライン分を同一ラインメモリ上に格納する容量を有する記憶手段と、前記記憶手段のアクセスを制御する制御手段と、前記記憶手段に格納された２ライン分の画像データを用いた垂直方向の補間処理により画像拡大を行う垂直方向拡大手段と、を備える。

この種の画像処理装置は、拡大処理が必要な画像データの２ライン分を格納するとともに、拡大処理が不要な画像データの１ライン分を格納する必要があるため、従来は、拡大処理が不要な画像データの１ライン分を格納可能なラインメモリを２本用いていたが、上記構成によれば、表示可能な最大画像データ未満の２ライン分を同一ラインメモリ上に格納する容量を有する記憶手段を備えることにより、拡大処理が必要な画像データ２ライン分の格納が可能になるとともに拡大処理が不要な画像データ１ライン分の格納が可能になる為、従来２つ使用していたラインメモリを１つにして、ラインメモリの容量や数を低減することができ、省面積、低電力に貢献することができる。

また、本発明の画像処理装置は、前記垂直方向拡大手段が、線形補間により補間処理を行うものである。上記構成によれば、簡易な回路構成となる。

また、本発明の画像処理装置は、入力画像データに対して水平方向の縮小処理を行い前記ラインメモリに格納させる水平方向縮小手段と、前記垂直方向拡大手段の出力に対して水平方向の補間処理を行う水平方向拡大手段と、を備える。また、本発明の画像処理装置は、前記水平方向拡大手段が、線形補間により補間処理を行うものである。さらに、本発明の画像処理装置は、前記水平方向縮小手段が、単純間引きにより縮小処理を行うものである。上記構成によれば、ラインメモリの容量を小さくすることができる。

本発明によれば、表示可能な最大画像データ未満の２ライン分を同一ラインメモリ上に格納する容量を有する記憶手段を備えることにより、拡大処理が必要な画像データ２ライン分の格納が可能になるとともに拡大処理が不要な画像データ１ライン分の格納が可能になる為、従来２つ使用していたラインメモリを１つにして、ラインメモリの容量や数を低減することができ、省面積、低電力に貢献することができる。

図１は、本発明の第１の実施形態の画像処理装置の構成を示すブロック図である。同図において、１は入力画像データの［ｎ］ライン目のデータと、１Ｈ遅れた［ｎ＋１］ライン目のデータを格納するメモリ回路で、拡大処理が必要な画像データ（表示可能な最大画像データ未満の画像データ）の２ライン分を同一ラインメモリ上に格納する容量を有するラインメモリ２を有している。３はラインメモリ２の書き込み、読み出しを制御するメモリ制御回路、４はラインメモリ２に格納された２ライン分の画像データを用いた垂直方向の補間処理により画像拡大を行う垂直方向拡大回路である。

図２および図３は、メモリ回路１の具体的な構成を示す図である。ここで、入力画像データが拡大を必要としない画像サイズ５、つまり、出力しうる最大画像サイズのときの水平方向画素数をａとする。一方、入力画像データが拡大を必要とする画像サイズ６のときの水平方向画素数をｂとする。そして、画像拡大処理を必要としない入力画像サイズ５の水平方向画素数ａのデータに対しては１ライン分の画像データを格納し、画像拡大処理を必要とする入力画像サイズ６の水平方向画素数ｂのデータに対しては２ライン分の画像データを格納する。なお、ここでの水平方向画素数ａとｂの関係式は、ａ＝２ｂとなっているが、このａとｂの関係式は、図３の（ａ）、（ｂ）に示すようにｂ≦ａ≦２ｂであってもかまわない。

メモリ制御回路３は、入力画像データの水平方向画素数がａのとき、メモリ回路１への書き込み時はラインメモリ２への［ｎ］ライン目のデータの書き込みを制御し、メモリ回路１からの読み出し時はラインメモリ２から［ｎ］ライン目のデータを読み出し、垂直方向拡大回路４にそのデータを出力するように制御する。

一方、入力画像データの水平方向画素数がｂのとき、メモリ回路１への書き込み時は、例えばラインメモリ２の先頭アドレスから［ｎ］ライン目のデータを書き込み、ラインメモリ２の先頭アドレスからｂの画素分だけ進めたアドレスから［ｎ＋１］ライン目のデータを書き込む。メモリ回路１からの読み出し時は先頭アドレスから［ｎ］ライン目のデータを読み出し、ラインメモリ２の先頭アドレスからｂの画素分だけ進めたアドレスから［ｎ＋１］ライン目のデータを読み出し、垂直方向拡大回路４にそのデータを出力するように制御する。なお、書き込み時、読み出し時ともに［ｎ］ラインを先頭アドレスから、［ｎ＋１］ラインをｂの画素分進めたアドレスとしているが、ラインメモリ２に収まるようにすればこの限りではない。

次に、図４を参照して、垂直方向拡大回路４について説明する。図４は垂直方向拡大回路４の動作タイミングを示す図である。垂直方向拡大回路４は、入力画像データの水平方向画素数がａのときは、メモリ回路１から入力される［ｎ］ライン目のデータをそのまま出力する。図４の（ｂ）は、このときのタイミングチャートを示したものである。一方、入力画像データの水平方向画素数がｂのときは、メモリ回路１から入力される［ｎ］ライン目のデータと［ｎ＋１］ライン目のデータの互いに垂直方向に隣り合った２つの画素データを用いて垂直方向に補間処理を行ったデータを出力する。図４の（ａ）は、このときのタイミングチャートを示したものである。

入力データＡは、［ｎ］ライン目のデータと［ｎ＋１］ライン目のデータが交互に入力されたものであり、この入力データＡを遅延させることによって、入力データＡと垂直方向に隣り合ったディレイデータＢを生成する。そして、入力データＡとディレイデータＢから補間データＣが生成される。

図５は、本実施形態の拡大処理の流れを示す図である。同図の（ａ）は入力画像データが拡大を必要としない画像サイズのときの拡大処理の流れを示し、ここでは例として、入力画像データのサイズを６４０×４８０としている。まず、入力画像データの［ｎ］ライン目のデータがメモリ制御回路３の制御によりメモリ回路１に格納される。次に、メモリ回路１に格納された［ｎ］ライン目のデータがメモリ制御回路３の制御により読み出される。垂直方向拡大回路４は、この入力された［ｎ］ライン目のデータをそのまま出力する。最終的に入力ラインデータと出力ラインデータの関係は、図５の（ｂ）のようになる。実線は原画像のラインを示す。垂直方向拡大回路４は補間処理を行わないため、入力ラインと出力ラインは等価である。

図５の（ｃ）は入力画像データが拡大を必要とする画像サイズのときの拡大処理の流れを示し、ここでは例として、入力画像データのサイズを３２０×２４０とし、出力画像データのサイズを３２０×４８０としている。まず、入力画像データの［ｎ］ライン目と［ｎ＋１］ライン目のデータがメモリ制御回路３の制御によりメモリ回路１に格納される。次に、メモリ回路１に格納された［ｎ］ライン目と［ｎ＋１］ライン目のデータがメモリ制御回路３の制御により読み出される。垂直方向拡大回路４は、この入力された［ｎ］ライン目と［ｎ＋１］ライン目の垂直方向に隣り合った画素を用いて補間処理を行い、そのデータを出力する。最終的に入力ラインデータと出力ラインデータの関係は、図５の（ｄ）のようになる。実線は原画像のラインを、破線は補間されたラインをそれぞれ示す。

このような本発明の第１の実施形態の画像処理装置によれば、より少ない容量のラインメモリ２を使用して画像の拡大処理を行うことが可能で、回路規模の小型化およびコスト低減を図ることができる。

ここで、垂直方向拡大回路４の補間処理は、線形補間により行うようにしても良い。この場合、入力されたラインデータの垂直方向に隣り合う画素において、その画素間の距離に応じた重みを乗じ、加算することにより補間ラインを生成する。

次に、本発明の第２の実施形態の画像処理装置について、図面を参照しながら説明する。図６は第２の実施形態の画像処理装置の構成を示すブロック図であり、図１と同一符号は同一構成要素を示している。図６において、７はラインメモリ２に入力画像データを余剰なく格納するために水平方向の縮小処理を行う水平方向縮小回路、８は垂直方向拡大回路４の出力に対して水平方向の補間処理を行う水平方向拡大回路である。図７にラインメモリ２の具体的な構成を示す。

図８は、上記水平方向縮小回路７の動作タイミングを示す図である。また、図９は、水平方向拡大回路８の動作タイミングを示す図である。
水平方向縮小回路７は、図３に示すような拡大を必要としない入力画像サイズ５の水平方向画素数ａと拡大を必要とする入力画像サイズ６の水平方向画素数ｂとの関係式がｂ≦ａ≦２ｂのとき、ラインメモリ２に入力画像データを格納する前に、水平方向画素数ｂの縮小処理を行うものである。図８の（ａ）はこのときのタイミングチャートを示したものである。入力データＡを間引くことによって縮小データＤが生成される。

そして、水平方向画素数ｂをａ／２以下に縮小処理することで、図７に示すようにａとｂの関係式がｂ≦ａ≦２ｂのとき起こるラインメモリ２にある余剰分をなくしたラインメモリ９の構成とすることができる。

一方、水平方向画素数ａのときは、入力された［ｎ］ライン目のデータをそのまま出力する。図８の（ｂ）はこのときのタイミングチャートを示したものである。水平方向拡大回路８は、垂直方向拡大回路４により補間されたデータの水平方向に隣り合った２つの画素データを用いて水平方向の補間処理を行うものである。これによって、水平方向縮小回路７により縮小処理されたデータを所望の水平方向画素数に復元することが可能となる。図９の（ａ）は、このときのタイミングチャートを示したものである。

入力データＡはラインデータである。この入力データＡを遅延させることによって、入力データＡと水平方向に隣り合ったディレイデータＢを生成する。そして、入力データＡとディレイデータＢから補間データＣが生成される。
一方、水平方向画素数ａのときは、入力された［ｎ］ライン目のデータをそのまま出力する。図９の（ｂ）はこのときのタイミングチャートを示したものである。

図１０は、本実施形態の拡大処理の流れを示す図である。同図の（ａ）は入力画像データが拡大を必要としない画像サイズのときの拡大処理の流れを示し、ここでは例として、入力画像データのサイズを６４０×４８０としている。

まず、入力画像データの［ｎ］ライン目のデータが水平方向縮小回路７により入力される。このとき、水平方向縮小回路７は縮小処理を行わず、入力された［ｎ］ライン目のデータをそのまま出力する。この［ｎ］ライン目のデータは、メモリ制御回路３の制御によりメモリ回路１に格納される。次に、メモリ回路１に格納された［ｎ］ライン目のデータがメモリ制御回路３の制御により読み出される。垂直方向拡大回路４は、入力された［ｎ］ライン目のデータをそのまま出力する。水平方向拡大回路１３は、入力された［ｎ］ライン目のデータをそのまま出力する。最終的に入力ラインデータと出力ラインデータの関係は、図１０の（ｂ）のようになる。実線は原画像のラインを示す。水平方向縮小回路７は縮小処理を行わず、垂直方向拡大回路４は補間処理を行わず、水平方向拡大回路８は補間処理を行わないため、入力ラインと出力ラインは等価である。

図１０の（ｃ）は入力画像データが拡大を必要とする画像サイズのときの拡大処理の流れを示し、ここでは例として、入力画像データのサイズを４００×２４０とし、出力画像データのサイズを４００×４８０としている。まず、入力画像データの［ｎ］ライン目のデータが水平方向縮小回路７に入力される。このとき、水平方向縮小回路７は、水平方向画素数を４００から３２０以下に縮小処理を行う。同様に［ｎ＋１］ライン目のデータに対しても縮小処理を行う。この縮小された［ｎ＋１］ライン目のデータはメモリ制御回路３の制御によりメモリ回路１に格納される。次に、メモリ回路１に格納された［ｎ］ライン目と［ｎ＋１］ライン目のデータがメモリ制御回路３の制御により読み出される。垂直方向拡大回路４は入力された［ｎ］ラインと［ｎ＋１］ライン目の垂直方向に隣り合った画素を用いて補間処理を行う。水平方向拡大回路８は垂直方向拡大回路４から出力されたラインの水平方向に隣り合う画素を用いて補間処理を行う。このときの入力ラインデータと出力ラインデータの関係は、図１０の（ｄ）のようになる。実線は原画像のラインを、破線は補間されたラインを示す。

このような本発明の第２の実施形態の画像処理装置によれば、より少ない容量のラインメモリ９を使用して画像の拡大処理を行うことが可能で、回路規模の小型化およびコスト低減を図ることができる。

ここで、水平方向拡大回路８の補間処理は、線形補間により行うようにしても良い。この場合、入力されたラインデータの水平方向に隣り合う画素において、その画素間の距離に応じた重みを乗じ、加算することにより補間画素を生成する。

また、水平方向縮小回路７の縮小処理は、単純間引きにより行うようにしても良い。この場合、入力されたラインデータから画素を等間隔に間引くことで所望の水平方向画素数を生成する。

なお、以上説明した画像処理方法は、各ステップをプログラムとして記録しておき、コンピュータにより実行させることができる。

本発明は、表示可能な最大画像データ未満の２ライン分を同一ラインメモリ上に格納する容量を有する記憶手段を備えることにより、拡大処理が必要な画像データ２ライン分の格納が可能になるとともに拡大処理が不要な画像データ１ライン分の格納が可能になる為、従来２つ使用していたラインメモリを１つにして、ラインメモリの容量や数を低減することができ、省面積、低電力に貢献することができる効果を有し、画像の拡大処理を行う画像処理装置等に有用である。

本発明の第１の実施形態における画像処理装置の構成を示すブロック図 本発明の第１の実施形態におけるラインメモリの具体的な構成を示す図 本発明の第１の実施形態におけるラインメモリの具体的な構成を示す図 本発明の第１の実施形態における垂直方向拡大回路の動作タイミングを示す図 本発明の第１の実施形態における拡大処理の流れを示す説明図 本発明の第２の実施形態における画像処理装置の構成を示すブロック図 本発明の第２の実施形態におけるラインメモリの具体的な構成を示す図 本発明の第２の実施形態における水平方向縮小回路の動作タイミングを示す図 本発明の第２の実施形態における水平方向拡大回路の動作タイミングを示す図 本発明の第２の実施形態における拡大処理の流れを示す説明図 従来の画像処理装置の構成を示すブロック図 従来の画像処理装置におけるラインメモリの具体的な構成を示す図

符号の説明

１ メモリ回路
２ ラインメモリ
３ メモリ制御回路
４ 垂直方向拡大回路
５ 入力画像サイズ
６ 入力画像サイズ
７ 水平方向縮小回路
８ 水平方向拡大回路
９ ラインメモリ

Claims (5)

1. 表示可能な最大画像データ未満の２ライン分を同一ラインメモリ上に格納する容量を有する記憶手段と、
   前記記憶手段のアクセスを制御する制御手段と、
   前記記憶手段に格納された２ライン分の画像データを用いた垂直方向の補間処理により画像拡大を行う垂直方向拡大手段と、
   を備える画像処理装置。
2. 前記垂直方向拡大手段は、線形補間により補間処理を行う請求項１記載の画像処理装置。
3. 入力画像データに対して水平方向の縮小処理を行い前記ラインメモリに格納させる水平方向縮小手段と、
   前記垂直方向拡大手段の出力に対して水平方向の補間処理を行う水平方向拡大手段と、
   を備える請求項１又は２記載の画像処理装置。
4. 前記水平方向拡大手段は、線形補間により補間処理を行う請求項３記載の画像処理装置。
5. 前記水平方向縮小手段は、単純間引きにより縮小処理を行う請求項３又は４画像処理装置。

Images