JP2006261887A - 画像処理回路、画像処理方法、電気光学装置 - Google Patents

Abstract

【課題】 拡大倍率の、水平拡大率と垂直拡大率の倍率が増しても、拡大回路における補間器の数を従来にも増して削減することのできる画像処理回路を提供する。
【解決手段】 空のクロック処理を行なわせるためのダミー画素を入力画像の水平方向に付加して、水平方向の画素数Ｎ、垂直方向の画素数ｍの変更入力画像を生成する。また水平補間器が変更入力画像の水平方向のラインの各画素間の水平拡大倍率の拡大処理を水平方向に行ない、当該水平方向に拡大処理された各ライン間の画素の垂直拡大倍率の拡大処理を垂直補間器が垂直方向に行なう。また待機管理処理部はダミー画素の水平方向の画素分の処理待機によって、垂直補間器が入力画像の１つについての出力を終了するまで、次の入力画像の水平補間器への入力を待機する。
【選択図】 図１

Description

本発明は、入力画像の拡大処理を行なう画像処理回路、画像処理方法、電気光学装置に関する。

従来より入力画像を拡大処理する画像処理装置では、拡大回路において、まず垂直補間を行う補間器が入力画像の垂直拡大処理（垂直方向の画素の間の補間画素の座標を算出する処理）を行い、また水平補間を行う補間器が入力画像の水平拡大処理（水平方向の画素の間の補間画素の座標を算出する処理）を行うか、またはその逆の順序で水平拡大処理と垂直拡大処理を行なって、拡大後の出力画像を出力している。このような画像処理装置においては、予め水平拡大処理を行なう補間器と、垂直拡大処理を行なう補間器を拡大回路に備える必要がある。また、拡大倍率は複数の水平方向と垂直方向の倍率の組合せがあるので、多くの組合せに対応させようとした場合、拡大回路に備えるべき補間器の数が増大してしまう。

例えば、図１２に示すような水平方向３倍：垂直方向４倍の拡大処理を行なう拡大回路においては、水平拡大処理を行なう補間器が３つ、また垂直拡大処理を行なう補間器がそれぞれの水平拡大処理を行なう補間器からの各出力先に４つずつ必要となり、合計１５個必要となる。また図１３に示すような水平方向４倍：垂直方向３倍の拡大処理を行なう拡大回路においては、水平拡大処理を行なう補間器が４つ、また垂直拡大処理を行なう補間器がそれぞれの水平拡大処理を行なう補間器からの各出力先に３つずつ必要となり、合計１５個必要となる。また、水平拡大率Ｋ（Ｋ≧１）、垂直拡大率Ｌ（Ｌ≧１）とし、垂直方向の拡大→垂直方向の拡大の順序で拡大処理する拡大回路においては、図１４の表に示すように、必要な補間器数が異なる。そして、図１４で示す拡大倍率（水平２倍×垂直５倍、水平５倍×垂直２倍、水平３倍×垂直４倍、水平４倍×垂直３倍）の組合せに全て対応できるような拡大回路（拡大順序は垂直補間処理→水平補間処理）では、図１５で示すように、合計２４個の補間器が必要となってしまう。なお、入力画像を拡大する関連技術として特許文献１、特許文献２が公開されている。
特開２００３−２８３８１５号公報 特開２００１−１９７３４８号公報

しかしながら、上述の技術では、水平拡大率Ｋと垂直拡大率Ｌが多くなるにつれて、補間器の数が多くなり、その分回路規模が増大してしまうという問題が発生する。

そこでこの発明は、入力画像の拡大処理において、拡大倍率の、水平拡大率と垂直拡大率の倍率が増しても、拡大回路における補間器の数を従来にも増して削減することのできる画像処理回路、画像処理方法、電気光学装置を提供することを目的としている。

本発明は、上述の課題を解決すべくなされたもので、入力画像の拡大処理により出力画像を生成する指示を受付ける拡大指示受付部と、空のクロック処理を行なわせるためのダミー画素を前記入力画像の水平方向に付加して変更入力画像を生成する変更入力画像生成部と、前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の拡大処理を水平方向に行なう水平補間器処理部と、前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、前記ダミー画素の水平方向の画素分の処理待機によって、前記垂直補間器処理部が前記入力画像の１つについての出力を終了するまで、次の入力画像の前記水平補間器処理部への入力を待機する待機管理処理部と、を備えることを特徴とする画像処理回路である。
これにより、ダミー画素を入力画像に付加することによって、少ない水平補間器処理部と垂直補間器処理部によって拡大処理を行なう場合の、タイミングを調整することができる。またタイミングを調整するダミー画素の挿入によって、少ない補間器により拡大回路を構成することができるので、回路規模の縮小を図ることができる。

また本発明は、前記指示が、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成する指示であり、前記変更入力画像生成部において、水平方向の画素数Ｎ、垂直方向の画素数ｍの変更入力画像を生成することを特徴とする。

また本発明は、前記指示が、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成する指示であり、前記変更入力画像生成部において、水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成し、前記水平補間器処理部及び前記垂直補間器処理部は、水平／垂直補間器処理部であり、前記水平／垂直補間器処理部は、前記変更入力画像が入力された際に、当該変更入力画像の水平方向の各画素間の前記水平拡大倍率の水平方向への拡大処理の後、前記水平方向に拡大処理された画素の前記垂直拡大倍率の垂直方向の拡大処理を切り替えて行なうことを特徴とする。
これにより、ダミー画素を入力画像に付加することによって、少ない水平／垂直補間器処理部によって拡大処理を行なう場合の、タイミングを調整することができる。またタイミングを調整するダミー画素の挿入によって、少ない補間器により回路を構成することができるので、回路規模の縮小を図ることができる。なお本発明は一つの補間器が水平拡大処理と垂直拡大処理を行なうような構成となるので、この点においてもさらなる回路規模の縮小を図ることができる。

また本発明は、前記水平方向に拡大処理された画素のデータを記憶し、当該水平方向に拡大処理された画素のデータを垂直方向に拡大処理するために出力する記憶部を備えることを特徴とする

また本発明は、入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により出力画像を生成する指示を受付ける拡大指示受付部と、前記入力画像の水平方向の画素のそれぞれについてＫ回繰り返して水平方向の拡大処理を行なう水平補間器処理部と、前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、を備えることを特徴とする
これにより一つの水平補間器によって、複数の補間器の処理を行なうような構成にしたので、さらなる回路規模の縮小を図ることができる。

また本発明は、前記垂直補間器処理部が、前記水平方向に拡大処理された画素のそれぞれについてＬ回繰り返して垂直方向の拡大処理を行なうことを特徴とする。

また本発明は、前記水平方向に拡大処理された画素のデータを記憶し、前記垂直補完処理部に出力する記憶部を備えることを特徴とする。

また本発明は、入力画像の拡大処理により出力画像を生成する画像処理方法において、空のクロック処理を行なわせるためのダミー画素を前記入力画像の水平方向に付加して、変更入力画像を生成し、前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の拡大処理を水平方向に行ない、前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行ない、前記ダミー画素の水平方向の画素分の処理待機によって、前記垂直補間処理された前記入力画像の１つについての出力を終了するまで、次の入力画像の入力を待機することを特徴とする画像処理方法である。

また本発明は、前記画像処理における拡大処理においては、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成し、前記変更入力画像を生成する際に、水平方向の画素数Ｎ、垂直方向の画素数ｍの前記変更入力画像を生成することを特徴とする。

また本発明は、前記画像処理における拡大処理においては、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成し、前記変更入力画像を生成する際に、水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成し、水平／垂直補間器処理部において、前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の水平方向への拡大処理の後、前記水平方向に拡大処理された画素の前記垂直拡大倍率の垂直方向の拡大処理を切り替えて行うことを特徴とする。

また本発明は、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により出力画像を生成し、前記入力画像の水平方向の画素のそれぞれについてＫ回繰り返して水平方向の拡大処理を行ない、前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なうことを特徴とする画像処理方法である。

また本発明は、前記垂直拡大倍率の拡大処理を垂直方向に行なう際に、前記水平方向に拡大処理された画素のそれぞれについてＬ回繰り返して垂直方向の拡大処理を行なうことを特徴とする。

また本発明は、前記垂直拡大倍率の拡大処理を垂直方向に行なう際に、前記水平方向に拡大処理された画素のそれぞれについてＬ回繰り返して垂直方向の拡大処理を行なうことを特徴とする。

また本発明は、入力画像の拡大処理により出力画像を生成する指示を受付ける拡大指示受付部と、空のクロック処理を行なわせるためのダミー画素を前記入力画像の水平方向に付加して、変更入力画像を生成する変更入力画像生成部と、前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の拡大処理を水平方向に行なう水平補間器処理部と、前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、前記ダミー画素の水平方向の画素分の処理待機によって、前記垂直補間器処理部が前記入力画像の１つについての出力を終了するまで、次の入力画像の前記水平補間器処理部への入力を待機する待機管理処理部と、を備えることを特徴とする電気光学装置である。

また本発明は、前記指示は、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成する指示であり、前記変更入力画像生成部において、水平方向の画素数Ｎ、垂直方向の画素数ｍの変更入力画像を生成することを特徴とする。

また本発明は、前記変更入力画像生成部において水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成し、前記水平補間器処理部及び前記垂直補間器処理部は、水平／垂直補間器処理部であり、前記水平／垂直補間器処理部は、前記変更入力画像が入力された際に、当該変更入力画像の水平方向の各画素間の前記水平拡大倍率の水平方向への拡大処理の後、前記水平方向に拡大処理された画素の前記垂直拡大倍率の垂直方向の拡大処理を切り替えて行なうことを特徴とする電気光学装置である。

また本発明は、入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、出力画像を生成する指示を受付ける拡大指示受付部と、前記入力画像の水平方向の画素それぞれについてＫ回繰り返して水平方向の拡大処理を行なう水平補間器処理部と、前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、を備えることを特徴とする電気光学装置である。

また本発明は、前記垂直補間器処理部は、前記水平方向に拡大処理された画素それぞれについてＬ回繰り返して垂直方向の拡大処理を行なうを備えることを特徴とする電気光学装置である。

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。図１は同実施形態による画像処理装置の構成を示すブロック図である。この図において、符号１は画像処理装置である。そして、画像処理装置１において、符号１１は入力画像や拡大倍率の指定を受付けるＩ／Ｆ（インターフェース）である。また１２は空のクロック処理を行なわせるためのダミー画素を入力画像の水平方向に付加して変更入力画像を生成する処理や、拡大処理部１５へ拡大処理の為の指示の処理を行なう制御部である。また１３はＲＡＭ（Random Access Memory）やＲＯＭ（read Only Memory）などのメモリである。また１４はＨＤＤなどの磁気記録媒体である。また１５は入力画像の拡大処理を行なう拡大処理装置である。

＜第１の実施形態＞
図２は第１の実施形態による拡大処理部の構成概要を示す図である。
この図が示すように第１の実施形態による拡大処理部１５は、４つの水平補間器１５１と、２つのラインメモリ１５２ａ，１５２ｂと、４つの垂直補間器１５３を備えている。そして水平補間器１５１は、画像の水平拡大処理（水平方向の２画素の間の補間画素の座標を算出する処理）を行い、垂直補間器１５３は垂直拡大処理（垂直方向の２画素の間の補間画素の座標を算出する処理）を行なう。またラインメモリ１５２ａ、１５２ｂには、入力された画像の水平方向の画素の１ライン分のデータが順次書込まれる（実線矢印によりラインメモリ１５２ａに書込まれた後に、点線矢印によりラインメモリ１５２ｂに書込まれる）。図１に示した拡大処理部１５は、水平拡大倍率Ｋ＝４倍、垂直拡大倍率Ｌ＝４倍の場合を示している。なお、水平拡大倍率Ｋ＝４倍、垂直拡大倍率Ｌ＝４倍の場合はそれぞれの補間器が４つずつあるが、拡大倍率が小数点で表される場合には、小数点以下については切り上げた数がＫまたはＬとなる。例えば、拡大倍率が３．５倍の場合は、ＫまたはＬが４となり、４．５倍のときは５となる。

図３は補間器における処理概要を示す図である。
この図において（ａ）では水平補間器１５１の処理を示している。水平補間器１５１は２つの入力画素の入力に対して各水平補間器が１つずつ出力画素の座標を算出する。そして４つの水平補間器１５１によって前記２つの入力画素の間の４つの補間画素それぞれの座標が出力される。図３（ａ）においては、水平補間器１５１が４つ設けられているので水平方向の拡大率は４倍となる。そして画像の水平方向の１ライン目（ライン０）が水平拡大処理の後ラインメモリ１５２ａに記録され、また次の２ライン目（ライン１）が水平拡大処理の後ラインメモリ１５２Ｂに記録される。これら１ライン目と２ライン目の間の各画素の垂直拡大処理が垂直補間器１５３によって終了すると、１５２ａに書込まれていた１ライン目のデータが削除され、水平補間器１５１によって拡大処理された３ライン目（ライン２）の各画素が書込まれる。このようにして順次ラインメモリには画像の水平方向の各ラインの画素が書込まれる。また（ｂ）では垂直補間器１５３の処理を示している。垂直補間器１５３はラインメモリ１５２ａ、１５２ｂからそれぞれ１つずつの画素の入力を受け、その２つの画素の間の補間画素の座標を算出する。そして、４つの垂直補間器１５３によって水平方向の２ラインの間における垂直方向の４つの補間画素が出力される。これにより出力画像が生成される。

図４は第１の実施形態による画像拡大処理の概要を示す図である。
次に図３を用いて第１の実施形態による画像出力装置の処理フローを説明する。
まず制御部１２（拡大指示受付部）はＩ／Ｆ１１から入力画像（水平方向の画素数がｎ、垂直方向の画素数がｍ）の水平拡大倍率Ｋ＝４倍、垂直拡大倍率Ｌ＝４倍の拡大指示を受付ける。すると、制御部１２は、空のクロック処理を行なわせるためのダミー画素（水平方向Ｎ−ｎ、垂直方向ｍの画像を示す画素）を入力画像の水平方向に付加して、水平方向の画素数Ｎ、垂直方向の画素数ｍの変更入力画像を生成する（ステップＳ１）。そして制御部１２は変更入力画像の水平方向のラインの各画素を拡大処理部１５に出力して拡大処理の指示を行なう。ここでダミー画素であるか否かは、例えば画素の情報のどこかにダミー画素である旨のフラグを格納するような方法である。

拡大処理部１５においては、各水平補間器１５１が変更入力画像の水平方向の１ライン目の画素について水平拡大処理を行なう（ステップＳ２）。そして、ラインメモリ１５２ａへ書き込む（ステップＳ３）。次に、各水平補間器１５１が変更入力画像の水平方向の２ライン目の画素について水平拡大処理を行なう（ステップＳ４）。そして、拡大処理したデータをラインメモリ１５２ｂへ書き込む（ステップＳ５）。ここで、水平補間器１５１が２ライン目の１番目の画素と２番目の画素の間の拡大処理において補間画像の座標を算出し、ラインメモリ１５２ｂに書込んだ次のタイミングから、垂直補間器１５３が１ライン目と２ライン目の間の画素の垂直拡大処理を開始する（ステップＳ６）。この時、制御部１２は２ライン目の最初の画素の水平補間器１５１による拡大処理からダミー画素を付加する前の基の入力画像の最後の画素の拡大処理までのタイミングと、ダミー画素分のクロック数のタイミングをカウントすることにより、２つのラインメモリ１５２ａ、１５２ｂに書込まれた１ライン目と２ライン目の画素の垂直拡大処理の終了を検出する。つまりダミー画素を付加することによって、垂直拡大処理の終了までタイミングを待機させて（待機管理処理部の処理）、次の入力画像にダミー画素を付加した変更入力画像のラインを拡大処理部１５へ送出することができる。なお各補間器における拡大処理はダミー画素データに関しては行なわれず、また補間器に変更入力画像データ（ダミー画素データ）を入力しても良く、また元の入力画像データのみを入力しても良い。

そして、垂直拡大処理の終了を検出すると、制御部１２は変更入力画像の３ライン目の水平拡大処理の指示を拡大処理部１５に行なう（ステップＳ７）。この時、制御部１２は、ラインメモリ１５２ａに記録されている１ライン目の画像のデータの削除を拡大処理部１５に通知する。そして１ライン目が削除された後、ラインメモリ１５２ａへ３ライン目の水平拡大処理された画素のデータが書込まれる（ステップＳ８）。そして、２ライン目と３ライン目の画素の垂直拡大処理が垂直補間器１５３で行なわれる（ステップＳ９）。また４ライン目はラインメモリ１５２ｂに書込まれる。そして、上記の処理を繰り返すことにより、出力画像が生成されて出力される。
これにより、従来の水平と垂直の拡大倍率が４×４の拡大処理を行なう画像処理装置１において、補間器の数が８つとなり、拡大処理部自体の規模を削減できるという効果が得られる。またダミー画素を入力画像に付加することによって、少ない補間器によって上述の拡大処理を行なう際のタイミングを調整することができる。

＜第２の実施形態＞
図５は第２の実施形態による拡大処理部の構成概要を示す図である。
この図が示すように第２の実施形態による拡大処理部１５は、４つの水平／垂直補間器１５４と、２つのラインメモリ１５２ａ，１５２ｂと、を備えている。そして水平／垂直補間器１５４は、画像の水平拡大処理と、垂直拡大処理を切り替えて行なう。またラインメモリ１５２ａ、１５２ｂには、入力された画像の水平方向の画素の１ライン分のデータが書込まれる。なお図５に示した拡大処理部１５は、水平拡大倍率Ｋ＝４倍、垂直拡大倍率Ｌ＝４倍の場合を示している。

図６は第２の実施形態による画像拡大処理の概要を示す図である。
次に図６を用いて第２の実施形態による画像出力装置の処理フローを説明する。
まず制御部１２はＩ／Ｆ１１から入力画像（水平方向の画素数がｎ、垂直方向の画素数がｍ）の水平拡大倍率Ｋ＝４倍、垂直拡大倍率Ｌ＝４倍の拡大指示を受付ける。すると、制御部１２は、空のクロック処理を行なわせるためのダミー画素（水平方向Ｎ、垂直方向ｍの画像を示す画素）を入力画像の水平方向に付加して、水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成する（ステップＳ１０）。そして制御部１２は変更入力画像の水平方向のラインの各画素を拡大処理部１５に出力して拡大処理の指示を行なう。

拡大処理部１５においては、各水平／垂直補間器１５４が変更入力画像の水平方向の１ライン目（ライン０）の画素について水平拡大処理を行なう（ステップＳ１１）。そして、ラインメモリ１５２ａへ書き込む（ステップＳ１２）。次に、各水平／垂直補間器１５４が変更入力画像の水平方向の２ライン目（ライン１）の画素について水平拡大処理を行なう（ステップＳ１３）。そして、拡大処理したデータをラインメモリ１５２ｂへ書き込む（ステップＳ１４）。ここで、水平／垂直補間器１５４が２ライン目のｎ−１番目の画素とｎ番目の画素の間の拡大処理において補間画像の座標を算出し、ラインメモリ１５２ｂに記録した次のタイミングから、水平／垂直補間器１５４がラインメモリ１５２ａ、１５２ｂにそれぞれ記録された１ライン目と２ライン目の間の画素の垂直拡大処理を開始する（ステップＳ１５）。この時、制御部１２は２ライン目のダミー画素分のクロック数のタイミングをカウントすることにより、２つのラインメモリ１５２ａ、１５２ｂに書込まれた１ライン目と２ライン目の画素の垂直拡大処理の終了を検出する。つまりダミー画素を付加することによって、垂直拡大処理の終了までタイミングをずらして、次の入力画像にダミー画素を付加した変更入力画像のラインを拡大処理部１５へ送出することができる。

そして、垂直拡大処理の終了を検出すると、制御部１２は変更入力画像の３ライン目（ライン２）の水平拡大処理の指示を拡大処理部１５に行なう（ステップＳ１６）。この時、制御部１２は、ラインメモリ１５２ａに記録されている１ライン目の画像のデータの削除を拡大処理部１５に通知する。そして１ライン目が削除された後、ラインメモリ１５２ａへ３ライン目の水平拡大処理された画素のデータがラインメモリ１５２ａに書込まれる（ステップＳ１７）。そして、２ライン目と３ライン目の垂直拡大処理が水平／垂直補間器１５４で行なわれる（ステップＳ１８）。また４ライン目（ライン３）はラインメモリ１５２ｂに書込まれる。そして、以降、上記処理を繰り返すことにより、出力画像が生成されて出力される。
これにより、従来の水平と垂直の拡大倍率が４×４の拡大処理を行なう画像処理装置１において、補間器の数が４つとなり、拡大処理部自体の規模を削減できるという効果が得られる。またダミー画素を入力画像に付加することによって、少ない補間器によって上述の拡大処理を行なう際のタイミングを調整することができる。

＜第３の実施形態＞
図７は第３の実施形態による拡大処理部の処理フローを示す第１の図である。
第３の実施形態は、第１の実施形態や第２の実施形態において入力画像に付加したダミー画素として該入力画像の次のフレームの入力画像を適用する場合の処理について示している。
ダミー画素において、次のフレームの入力画像を用いる事により、単にダミー画素を付加しただけの第１、第２の実施形態に比べて、より有用な処理が行なえるようになる。図７においては、シーン検出に利用される際の例を示している。上記第１、第２の実施形態の処理の中で、制御部１２は変更入力画像の生成の際のダミー画素の付加の際に、例えば入力画像がフレーム０の画像である場合ダミー画素として次の処理フレームであるフレーム１を付加する。なおフレーム１だけの付加だけではダミー画素の全体の付加に足りない場合には第１、第２実施形態と同様のダミー画素を追加して付加する。そしてこの変更入力画像を拡大処理部１５に入力させる前に、シーン検出処理部（制御部１２においてシーン検出してもよい）などに入力する。シーン検出処理部においては、フレーム０とフレーム１の各画素の輝度の平均を比較して、所定の閾値以上、平均輝度の値が離れている場合にはシーンが変更されたと検出し、その検出を他の処理に利用する。このようにダミー画素が単なるダミーでなく、他の処理に利用できるようなダミー画素にすることで、シーン検出などの他の処理を行なうことができるようになる。なおシーン検出に関する技術が特開２００４−２８２３７６、特開２００４−２８２３７７で公開されている。

＜第４の実施形態＞
図８は第４の実施形態による拡大処理部の構成概要を示す図である。
この図が示すように第４の実施形態による拡大処理部１５は、１つの水平補間器１５１と、４つの垂直補間器１５３と、２つのラインメモリ１５２ａ，１５２ｂと、を備えている。ここで、本実施形態による水平補間器１５１は、制御部１２からの制御により、入力画像の水平方向の画素のラインそれぞれについて、Ｋ（＝水平拡大倍率の数）回繰り返して水平方向の拡大処理を行なう。より詳細には、水平方向の拡大倍率が４倍であった場合、入力画像の１ライン目の各画素が１番目〜ｎ番目まであるとすると、１番目からｎ番目の各２画素間の水平拡大処理を行い（１回目）、次にｎ番目から１番目の各２画素間の水平拡大処理を１回目とは逆方向に行い（２回目）、次に１番目からｎ番目の各２画素間の水平拡大処理を１回目と同じ方向で行い（３回目）、次にｎ番目から１番目の各２画素間の水平拡大処理を２回目と同じ方向（３回目と逆方向）で行う（４回目）。これにより、１つのラインについて４回のそれぞれ拡大処理を行うことで、１ラインにおける各２画素間の異なる補間画素の座標の算出を４回行って、２つの入力画素の間を補間する４つの出力画素を算出し、ラインメモリ１５２ａへ書き込む。そして他の実施形態と同様に、入力画像の１ライン目の画素がラインメモリ１５２ａへ、また２ライン目の画素がラインメモリ１５２ｂへ書込まれた後、実施形態１の垂直補間器１５３の処理と同様に垂直拡大処理が行なわれて出力画像が出力される。

図９は第４の実施形態における拡大処理の処理概要を示す図である。
この図においては入力画像の画素を白丸、補間器により算出した画素を黒丸で示している。そしてこの図が示すように、入力画像のラインの１番目の画素（画素０）と２番目の画素（画素１）との間の４つの補間画素については、１回目〜４回目の水平拡大処理で水平補間器１５１によりそれぞれ算出される。また、図９の（ｃ）に各画素（画素の番号として０〜７を付している）の水平拡大処理の順番が表されている。また（ｄ）には、それぞれの回の水平拡大処理において算出された補間画素の出力画像における番号を表示している。そして、このような処理により、１つの水平補間器１５１によって、４つの水平補間器１５１の代わりの処理をすることができ、さらに拡大処理部自体の規模を削減できるという効果が得られる。

図１０は第５の実施形態による拡大処理部の構成概要を示す図である。
第５の実施形態は、第４の実施形態の処理に加え、垂直補間器１５３の垂直拡大処理においても、第４の処理における水平補間器１５１の水平拡大処理と同様の処理を行なう方法である。
この図が示すように第５の実施形態による拡大処理部１５は、１つの水平補間器１５１と、１つの垂直補間器１５３と、２つのラインメモリ１５２ａ，１５２ｂと、を備えている。

ここで、第５の実施形態による補間器１５１は、第４の実施形態同様に、制御部１２からの制御により、入力画像の水平方向の画素のラインそれぞれについて、Ｋ（＝水平拡大倍率の数）回繰り返して水平方向の拡大処理を行なう。つまり、水平方向の拡大倍率が４倍であった場合、入力画像の１ライン目の各画素が１番目〜ｎ番目まであるとすると、１番目からｎ番目の各２画素間の水平拡大処理を行い（１回目）、次にｎ番目から１番目の各２画素間の水平拡大処理を１回目とは逆方向に行い（２回目）、次に１番目からｎ番目の各２画素間の水平拡大処理を１回目と同じ方向で行い（３回目）、次にｎ番目から１番目の各２画素間の水平拡大処理を２回目と同じ方向（３回目と逆方向）で行う（４回目）。これにより、１つのラインについて４回のそれぞれ拡大処理を行うことで、１ラインにおける各２画素間の異なる補間画素の座標の算出を４回行って、２つの入力画素の間を補間する４つの出力画素を算出し、ラインメモリ１５２ａへ書き込む。

また垂直補間器１５３は、制御部１２からの制御により、ラインメモリ１５２ａとラインメモリ１５２ｂに書込まれた画素のラインそれぞれについて、水平補間器１５１の処理と同様に、垂直方向にＬ（＝垂直拡大倍率の数）回繰り返して垂直方向の拡大処理を行なう。そして垂直拡大処理が行なわれて出力画像が出力される。これにより、垂直補間器１５３についても、１つの垂直補間器１５３によって、４つの垂直補間器１５３の代わりの処理をすることができ、さらに拡大処理部自体の規模を削減できるという効果が得られる。

図１１は、画像処理装置を用いた電気光学装置の構成例を示す図である。
図１０において、電気光学装置は、画像処理装置１と、この画像処理装置１により表示制御されるパネル１００と、電圧形成回路６００とを有している。そして、画像処理装置１は、プログラムされたＭＰＵと、このＭＰＵのワーキングメモリとなるシステムメモリ と、システムメモリと同一のアドレス空間に表示データを格納するＶＲＡＭと、画像，データ及び音声情報等を記憶する補助記憶装置と、パネル１００に必要な走査スタート信号等を生成するタイミング信号発生回路と、ＶＲＡＭから読み出した表示データを制御部 （制御回路）へ転送するＤＭＡと、拡大処理部（拡大回路）とＸドライバとの間に設けられた複数画素を同時に書き込めるフレームメモリであるＶＲＡＭとを有している。なお、パネル１００自体が複数画素同時書込み可能である場合等はＶＲＡＭは不要である。

次にパネル１００には、複数のデータ線２１２が列（Ｙ）方向に延在して形成される一方、複数の走査線３１２が行（Ｘ）方向に延在して形成されるとともに、データ線２１２と走査線３１２との各交差に対応して画素１１６が形成されている。ここで、各画素１１６は、液晶容量１１８と、ＴＦＤ（Thin Film Diode：薄膜ダイオード）２２０との直列接続からなる。なお、本実施形態にあっては、説明の便宜上、走査線３１２の総数を１６０本とし、データ線２１２の総数を１２０本として、１６０行×１２０列のマトリクス型表示装置として説明するが、本発明をこれに限定する趣旨ではない。

次に、Ｙドライバ３５０は、一般には走査線駆動回路と呼ばれるものであり、走査信号Ｙ１、Ｙ２、Ｙ３、…、Ｙ１６０を、それぞれ１行目、２行目、３行目、…、１６０行目の走査線３１２に供給するものである。詳細には、Ｙドライバ３５０は、１６０本の走査線３１２を後述するように１本ずつ選択して、選択した走査線３１２には選択電圧を、他の走査線３１２には非選択電圧を、それぞれ供給するものである。

また、Ｘドライバ２５０は、一般にはデータ線駆動回路と呼ばれるものであり、Ｙドライバ３５０により選択された走査線３１２に位置する画素１１６に対し、データ信号Ｘ１、Ｘ２、Ｘ３、…、Ｘ１２０を、表示内容に応じてそれぞれ対応するデータ線２１２を介して供給するものである。

ここで、制御部（制御回路）は、Ｘドライバ２５０に対して、水平走査を規定するための各種制御信号やクロック信号などを供給する一方、Ｙドライバ３５０に対して、垂直走査を規定するための各種制御信号やクロック信号などを供給するものである。さらに、制御部（制御回路）は、入力画像データＤpを拡大処理部（拡大回路）に出力する。次に、拡大処理部（拡大回路）は、入力画像データＤpを、拡大画像データＤpixに拡大処理するものである。続いて、電圧形成回路６００は、パネル１００に用いられる電圧±ＶＳと電圧±ＶＤ／２とをそれぞれ生成するものである。ここで、電圧±ＶＳは、走査信号における選択電圧として用いられる。また、電圧±ＶＤ／２は、走査信号における非選択電圧と、データ信号におけるデータ電圧とで兼用される構成となっている。

このような電気光学装置においては、画像処理装置１で拡大処理された画像がＶＲＡＭに格納されて液晶表示装置に表示される。なお電気光学装置としては液晶表示装置の他に、例えば、エレクトロルミネッセンス装置、プラズマディスプレイ装置、電気泳動表示装置、電子放出素子を用いた表示装置などがある。

なお、上述の画像処理装置が、内部にコンピュータシステムを有しており、上述した処理の過程が、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われるようにしてもよい。例えばプログラムを用いて、上述の水平補間部及び垂直補間部又は上述の水平／垂直補間部の機能を備えたＣＰＵにより、上述の各実施形態に対応する拡大処理を行っても良い。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

画像処理装置の構成を示すブロック図である。 第１の実施形態による拡大処理部の構成概要を示す図である。 補間器における処理概要を示す図である。 第１の実施形態による画像拡大処理の概要を示す図である。 第２の実施形態による拡大処理部の構成概要を示す図である。 第２の実施形態による画像拡大処理の概要を示す図である。 第３の実施形態による拡大処理部の処理フローを示す第１の図である。 第４の実施形態による拡大処理部の構成概要を示す図である。 第４の実施形態における拡大処理の処理概要を示す図である。 第５の実施形態による拡大処理部の構成概要を示す図である。 画像処理装置を用いた電気光学装置の構成例を示す図である。 水平方向３倍：垂直方向４倍の拡大処理を行う拡大回路を示す図である。 水平方向４倍：垂直方向３倍の拡大処理を行う拡大回路を示す図である。 拡大倍率の組合せに応じて必要な補間器数を表す図である。 従来の拡大回路における補間器数を示す図である。

符号の説明

１・・・画像処理装置、１１・・・Ｉ／Ｆ、１２・・・制御部、１３・・・メモリ、１４・・・磁気記録媒体、１５・・・拡大処理部、１５１・・・水平補間器、１５２ａ，１５２ｂ・・・ラインメモリ、１５３・・・垂直補間器、１５４・・・水平／垂直補間器

Claims (17)

1. 入力画像の拡大処理により出力画像を生成する指示を受付ける拡大指示受付部と、
   空のクロック処理を行なわせるためのダミー画素を前記入力画像の水平方向に付加して変更入力画像を生成する変更入力画像生成部と、
   前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の拡大処理を水平方向に行なう水平補間器処理部と、
   前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、
   前記ダミー画素の水平方向の画素分の処理待機によって、前記垂直補間器処理部が前記入力画像の１つについての出力を終了するまで、次の入力画像の前記水平補間器処理部への入力を待機する待機管理処理部と、
   を備えることを特徴とする画像処理回路。
2. 前記指示は、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成する指示であり、
   前記変更入力画像生成部において、水平方向の画素数Ｎ、垂直方向の画素数ｍの変更入力画像を生成することを特徴とする請求項１に記載の画像処理回路。
3. 前記指示は、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成する指示であり、
   前記変更入力画像生成部において、水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成し、
   前記水平補間器処理部及び前記垂直補間器処理部は、水平／垂直補間器処理部であり、
   前記水平／垂直補間器処理部は、前記変更入力画像が入力された際に、当該変更入力画像の水平方向の各画素間の前記水平拡大倍率の水平方向への拡大処理の後、前記水平方向に拡大処理された画素の前記垂直拡大倍率の垂直方向の拡大処理を切り替えて行なう
   ことを特徴とする請求項１に記載の画像処理回路。
4. 前記水平方向に拡大処理された画素のデータを記憶し、当該水平方向に拡大処理された画素のデータを垂直方向に拡大処理するために出力する記憶部を備えることを特徴とする請求項１又は２に記載の画像処理回路。
5. 入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により出力画像を生成する指示を受付ける拡大指示受付部と、
   前記入力画像の水平方向の画素のそれぞれについてＫ回繰り返して水平方向の拡大処理を行なう水平補間器処理部と、
   前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、
   を備えることを特徴とする画像処理回路。
6. 前記垂直補間器処理部は、前記水平方向に拡大処理された画素のそれぞれについてＬ回繰り返して垂直方向の拡大処理を行なう
   ことを特徴とする請求項５に記載の画像処理回路。
7. 前記水平方向に拡大処理された画素のデータを記憶し、前記垂直補完処理部に出力する記憶部を備えることを特徴とする請求項５又は６に記載の画像処理回路。
8. 入力画像の拡大処理により出力画像を生成する画像処理方法において、
   空のクロック処理を行なわせるためのダミー画素を前記入力画像の水平方向に付加して、変更入力画像を生成し、
   前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の拡大処理を水平方向に行ない、
   前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行ない、
   前記ダミー画素の水平方向の画素分の処理待機によって、前記垂直補間処理された前記入力画像の１つについての出力を終了するまで、次の入力画像の入力を待機する
   ことを特徴とする画像処理方法。
9. 前記画像処理における拡大処理においては、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成し、
   前記変更入力画像を生成する際に、水平方向の画素数Ｎ、垂直方向の画素数ｍの前記変更入力画像を生成することを特徴とする請求項８に記載の画像処理方法。
10. 前記画像処理における拡大処理においては、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成し、
    前記変更入力画像を生成する際に、水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成し、
    水平／垂直補間器処理部において、前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の水平方向への拡大処理の後、前記水平方向に拡大処理された画素の前記垂直拡大倍率の垂直方向の拡大処理を切り替えて行う
    ことを特徴とする請求項８に記載の画像処理方法。
11. 水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により出力画像を生成し、
    前記入力画像の水平方向の画素のそれぞれについてＫ回繰り返して水平方向の拡大処理を行ない、
    前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう
    ことを特徴とする画像処理方法。
12. 前記垂直拡大倍率の拡大処理を垂直方向に行なう際に、前記水平方向に拡大処理された画素のそれぞれについてＬ回繰り返して垂直方向の拡大処理を行なう
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 入力画像の拡大処理により出力画像を生成する指示を受付ける拡大指示受付部と、
    空のクロック処理を行なわせるためのダミー画素を前記入力画像の水平方向に付加して、変更入力画像を生成する変更入力画像生成部と、
    前記変更入力画像の水平方向の各画素間の前記水平拡大倍率の拡大処理を水平方向に行なう水平補間器処理部と、
    前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、
    前記ダミー画素の水平方向の画素分の処理待機によって、前記垂直補間器処理部が前記入力画像の１つについての出力を終了するまで、次の入力画像の前記水平補間器処理部への入力を待機する待機管理処理部と、
    を備えることを特徴とする電気光学装置。
14. 前記指示は、水平方向の画素数がｎ、垂直方向の画素数がｍの前記入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、水平方向の画素数がＮ、垂直方向の画素数がＭの前記出力画像を生成する指示であり、
    前記変更入力画像生成部において、水平方向の画素数Ｎ、垂直方向の画素数ｍの変更入力画像を生成することを特徴とする請求項１３に記載の電気光学装置。
15. 前記変更入力画像生成部において水平方向の画素数ｎ＋Ｎ、垂直方向の画素数ｍの変更入力画像を生成し、
    前記水平補間器処理部及び前記垂直補間器処理部は、水平／垂直補間器処理部であり、
    前記水平／垂直補間器処理部は、前記変更入力画像が入力された際に、当該変更入力画像の水平方向の各画素間の前記水平拡大倍率の水平方向への拡大処理の後、前記水平方向に拡大処理された画素の前記垂直拡大倍率の垂直方向の拡大処理を切り替えて行なう
    ことを特徴とする電気光学装置。
16. 入力画像について、水平拡大倍率Ｋ、垂直拡大倍率Ｌの拡大処理により、出力画像を生成する指示を受付ける拡大指示受付部と、
    前記入力画像の水平方向の画素それぞれについてＫ回繰り返して水平方向の拡大処理を行なう水平補間器処理部と、
    前記水平方向に拡大処理された画素の前記垂直拡大倍率の拡大処理を垂直方向に行なう垂直補間器処理部と、
    を備えることを特徴とする電気光学装置。
17. 前記垂直補間器処理部は、前記水平方向に拡大処理された画素それぞれについてＬ回繰り返して垂直方向の拡大処理を行なう
    を備えることを特徴とする電気光学装置。
    

Images