JP2005175705A - 画像処理装置、マイクロコンピュータ及び電子機器 - Google Patents

Abstract

【課題】 フォーマット変換の際の加算平均に必要な前ラインのデータを保管しておくための余分なバッファを持つことなく、入力される画像データのフォーマット変換処理をリアルタイムに行うことができる画像処理装置の提供。
【解決手段】 本画像処理装置は、複数のラインを有するＹＵＶ画像データを入力し、ＹＵＶフォーマット変換後のＹＵＶ画像データを結果出力バッファに出力するフォーマット変換後回路１００を含み、前記フォーマット変換後回路１００は、前記結果出力バッファ１２０に出力された１つ前の入力ラインのＵ成分又はＶ成分の加算平均値の値を読み出して、読み出した加算平均値と現在の入力ラインのＵ成分又はＶ成分の加算平均を行い、得られた加算平均値を、前記結果出力バッファの読み出したＵ成分又はＶ成分の加算平均値の領域に上書きする回路を含む。
【選択図】 図２

Description

本発明は、画像処理装置、マイクロコンピュータ、電子機器及び画像縮小方法に関する。

ＹＵＶ画像データは１つの画素の情報としてＹ成分、Ｕ成分、Ｖ成分の３つの成分情報を有している。そしてその各成分情報を各画素についてどのような比率で持たせるかによって、様々な形式を有している。

図１（Ａ）（Ｂ）（Ｃ）はＹＵＶフォーマット変換について説明するための図である。

図１（Ａ）（Ｂ）（Ｃ）の１０、１２、１４はそれぞれ元画像の各画素に対応したＹ成分、Ｙ成分、Ｖ成分を示している。

図１（Ａ）は、元画像のＹ成分とフォーマット変換後のＹ成分の関係について示した図である。ＹＵＶ画像データは、ＹＵＶ４：４：４、ＹＵＶ４：２：２、ＹＵＶ４：２：０、ＹＵＶ４：１：１等のフォーマットが有るが、いずれのフォーマットにおいてもＹ成分は各画素と１対１に対応して保持されている。

図１（Ｂ）は、元画像のＵ成分とフォーマット変換後のＵ成分の関係について示した図である。Ｕ成分についてはＹＵＶ４：４：４では３０のように各画素と１対１に対応して保持されている。

しかしＹＵＶ４：２：２では、３２に示すように各ラインごとに隣あう２画素が同じ値（２画素の加算平均値）を共有しており、各画素に対して２：１（２画素に１つ）に対応して保持されている。

またＹＵＶ４：１：１では、３６に示すように各ラインごとに隣あう４画素が同じ値（４画素の加算平均値）を共有しており、各画素に対して４：１（４画素に１つ）に対応して保持されている。

またＹＵＶ４：２：０では、３４に示すように２ライン分の隣あう４画素が同じ値（４画素の加算平均値）を共有しており、各画素に対して４：１（４画素に１つ）に対応して保持されている。

図１（Ｃ）は、元画像のＶ成分とフォーマット変換後のＶ成分の関係について示した図である。Ｖ成分についてはＹＵＶ４：４：４では４０のように各画素と１対１に対応して保持されている。

しかしＹＵＶ４：２：２では、４２に示すように各ラインごとに隣あう２画素が同じ値（２画素の加算平均値）を共有しており、各画素に対して２：１（２画素に１つ）に対応して保持されている。

またＹＵＶ４：１：１では、４６に示すように各ラインごとに隣あう４画素が同じ値（４画素の加算平均値）を共有しており、各画素に対して４：１（４画素に１つ）に対応して保持されている。

またＹＵＶ４：２：０では、４４に示すように２ライン分の隣あう４画素が同じ値（４画素の加算平均値）を共有しており、各画素に対して４：１（４画素に１つ）に対応して保持されている。

図１（Ｂ）（Ｃ）に示すようにＵ成分とＶ成分については、各フォーマットについて同じ構成を有している。

ＹＵＶフォーマットの画像データのフォーマット変換において、ＹＵＶ４：４：４からＹＵＶ４：２：２やＹＶＵ４：１：１への変換は従来からよく行われていた。

しかし、ＹＵＶ４：２：０へ変換する場合には、複数のラインにわたって画素のＵ成分及びＶ成分の加算平均が必要となるため、フレームバッファに一度ＹＵＶ４：４：４又はＹＵＶ４：２：２をためてからおこなうか、１ライン分のラインバッファに奇数ラインのＵＶ成分を保管しておく必要があった。

しかし前者の場合、ＹＵＶ４：４：４やＹＵＶ４：２：２のデータ量はＹＵＶ４：２：０に比べて大きいため、ＹＵＶ４：２：０を作成するためのワークメモリがＹＵＶ４：２：０そのもので必要なデータにくらべて大きくなってしまうという問題点があった。

また後者の場合１ライン分のバッファをＹＵＶフォーマット変換回路に内蔵する必要があった。

本発明は以上のような問題点に鑑みてなされたものであり、その目的とするところは、画像データフォーマット変換の際の加算平均に必要な前ラインのデータを保管しておくための余分なバッファを持つことなく、入力される画像データのフォーマット変換処理をリアルタイムに行うことができる画像処理装置、マイクロコンピュータ、電子機器を提供することを目的とする。

（１）本発明は、画像処理装置であって、
複数のラインを有するＹＵＶ画像データを入力し、ＹＵＶフォーマット変換後のＹＵＶ画像データを結果出力バッファに出力するフォーマット変換後回路を含み、
前記フォーマット変換後回路は、
前記結果出力バッファに出力された１つ前の入力ラインのＵ成分又はＶ成分の加算平均値の値を読み出して、読み出した加算平均値と現在の入力ラインのＵ成分又はＶ成分の加算平均を行い、得られた加算平均値を、前記結果出力バッファの読み出したＵ成分又はＶ成分の加算平均値の領域に上書きする回路を含むことを特徴とする。

複数のラインとは、画像データの画面の横方向（Ｘ軸方向）の画素の並びを１ラインとしたときのライン数である。

入力されるＹＵＶ画像データは、全くフォーマット変換がされていないＹＵＶ形式の元データ（ＹＵＶ４：４：４）でも良いし、既にフォーマット変換が行われた後のＹＵＶデータ（ＹＵＶ４：４：４、ＹＵＶ４：２：２、ＹＵＶ４：１：１、ＹＵＶ４：２：０等）でもよい。

本発明によれば、フォーマット変換の際に複数のラインにまたがった加算平均が必要となる場合（例えばもとデータをＹＵＶ４：２：０に変換する場合）に、
フォーマット変換後のデータを書き出す結果出力バッファに書き出された前ラインの加算平均値を読み出して、現在のラインのデータとの前ラインの対応するデータ（Ｘ座標が同じデータ）の加算平均を行い、得られた加算平均値を結果出力バッファの前ラインの加算平均値と同じ場所に上書きする。

従って、加算平均に必要な前ラインのデータを保管しておくための余分なバッファを持つことなく、入力されるＹＵＶ画像データのフォーマット変換処理をリアルタイムに行うことができる。

（２）本発明の画像処理装置は、
前記フォーマット変換後回路は、
ＹＵＶ画像データのＵ成分及びＶ成分の少なくとも一方の入力データを受け取り加算平均を行う加算平均回路と、
加算平均後の値をフォーマット変換後の結果出力バッファに書き込む結果書き込み部とを含み、
前記加算平均回路は、
入力データが偶数ラインのデータである場合には、前記結果出力バッファから１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データと読み出した奇数ラインの加算平均値を用いて加算平均を行い、
前記結果書き込み部は、
偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、結果出力バッファの１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域に上書きすることを特徴とする。

（３）本発明の画像処理装置は、
フォーマット変換後回路は、
変換後のＹＵＶフォーマットが所定のフォーマットであるかいなかに関する情報を含むフォーマット変換情報が設定されているフォーマット変換情報設定部を含み、
前記加算平均回路は、
前記フォーマット変換情報に基づき変換後のＹＵＶフォーマットが所定のフォーマットであるかいなか判断し、変換後のＹＵＶフォーマットが所定のフォーマットであれば、入力データが偶数ラインのデータの場合には前記結果出力バッファから１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データと読み出した加算平均値を用いて加算平均を行い、
前記フォーマット変換情報が変換後のＹＵＶフォーマットが所定のフォーマットでなければ、前記結果出力バッファからの加算平均値の読み出しを行わずに、入力データのみを用いて加算平均を行い、
前記結果書き込み部は、
前記フォーマット変換情報に基づき変換後のＹＵＶフォーマットが所定のフォーマットであるかいなか判断し、前記フォーマット変換情報が変換後のＹＵＶフォーマットが所定のフォーマットであれば、偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、結果出力バッファの１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域と同一領域に上書きし、
前記フォーマット変換情報が変換後のＹＵＶフォーマットが所定のフォーマットでなければ、結果出力バッファへの同一領域への前記加算平均値の上書きは行わずに、重複しない領域に前記加算平均値を書き込むことを特徴とする。

ここにおいて所定のフォーマットとは、例えばＹＵＶ４：２：０のように複数のラインにまたがって画素のＵ成分又はＹ成分の加算平均をとることが必要なＹＵＶフォーマットである。

（４）本発明の画像処理装置は、
変換後の画像データが出力される結果出力バッファが、
変換後の画像データのＹ成分が出力されるＹ成分領域と、ＵＶ成分が出力されるＵＶ成分領域とに分けられており、Ｙ成分領域には連続する画素の変換後のＹ成分が連続して記憶され、ＵＶ成分領域には連続する画素の変換後のＵ成分及びＶ成分の少なくとも一方が連続して記憶されていることを特徴とする。

ここにおいてＵＶ成分領域は、連続した画素のＵＶ成分が混合して記憶されている場合でもよいし、連続した画素のＵＶ成分がＵ成分とＶ成分に分離して記憶されている場合でもよい。

本発明によれば、Ｙ成分領域とＵＶ成分領域が分離されているので、前ラインの加算平均値を読み出す際にＵＶ成分領域にアクセスすることにより、余分なＹ成分データの読み出しを行わなくてすむので、効率的に前ラインのアクセスを行うことができる。

（５）本発明の画像処理装置は、
前記結果書き込み部は、
入力画像データの各ラインの先頭データに対応した変換後の画像データをかきこむ前記結果出力バッファにおけるスタートアドレスを保持し、当該スタートアドレスにオフセット値を加えて書き込みアドレスを決定する回路を含み、
前記加算平均回路は、
前記スタートアドレスを受け取り、受け取ったスタートアドレスに基づき、前ラインの入力データの対応する加算平均値を読み出す際の読み出しアドレスを演算する回路を含むことを特徴とする。

本発明によれば、結果書き込み部が保持するスタートアドレスに基づいて、前ラインの加算平均値の読み出しを行うことができる。

（６）本発明は、画像処理装置であって、
複数のラインを有し、各画素について複数の成分を有する画像データを入力しフォーマット変換を行い、フォーマット変換後の画像データを結果出力バッファに出力するフォーマット変換後回路を含み、
前記フォーマット変換後回路は、
前記結果出力バッファに出力された１つ前の入力ラインの所定の成分の加算平均値の値を読み出して、読み出した加算平均値と現在の入力ラインの所定の成分の加算平均を行い、得られた加算平均値を、前記結果出力バッファの読み出した所定の成分の加算平均値の領域に上書きする回路を含むことを特徴とする。

（７）本発明の画像処理装置は、
変換後の画像データが出力される結果出力バッファが、
変換後の画像データの前記所定の成分が出力される第１の領域と、所定の成分以外の成分が出力される第２の領域とに分けられており、第１の領域には連続する画素の変換後の所定の成分が連続して記憶され、第２の領域には連続する画素の変換後の所定の成分以外が連続して記憶されていることを特徴とする。

（８）本発明の画像処理装置は、
前記フォーマット変換後回路は、
入力画像データの各ラインの先頭データに対応した変換後の画像データをかきこむ前記結果出力バッファにおけるスタートアドレスを保持し、当該スタートアドレスにオフセット値を加えて書き込みアドレスを決定する回路を含み、
前記スタートアドレスに基づき、前ラインの入力データの対応する加算平均値を読み出す際の読み出しアドレスを演算する回路を含むことを特徴とする。

（９）本発明は、上記のいずれかに記載の画像データ処理装置を含むことを特徴とするマイクロコンピュータである。

（１０）本発明は、上記に記載のマイクロコンピュータと、
前記マイクロコンピュータの処理対象となるデータの入力手段と、
前記マイクロコンピュータにより処理されたデータを出力するためのＬＣＤ出力手段とを含むことを特徴とする電子機器である。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。

図２は本実施の形態の画像処理装置のフォーマット変換後回路の機能ブロック図の一例である。

本実施の形態のフォーマット変換後回路１００は、ＹＵＶ画像データ１０２（ＹＵＶ画像データのＵ成分及びＶ成分の少なくとも一方の入力データでもよい）を受け取り加算平均を行い、加算平均後の値をフォーマット変換後のＹＵＶデータ記憶部１２０（結果出力バッファ）に出力する処理をおこなう。

前記フォーマット変換回路１００は、加算平均処理部２００、書き込み処理部１１０、ＹＵＶデータ記憶部１２０（結果出力バッファ）、奇数ライン読み出し部１３０、ライン偶数奇数判定部１４０、ＹＵＶフォーマット変換情報設定部１５０を含む。

ＹＵＶフォーマット変換情報設定部１５０は、ＹＵＶフォーマット変換のタイプに関する情報が設定されている。本実施の形態のＹＵＶフォーマット変換回路は、元画像（入力ＹＵＶ画像データ）を様々なタイプのＹＵＶフォーマット（ＹＵＶ４：４：４、ＹＵＶ４：２：２、ＹＵＶ４：２：０、ＹＵＶ４：１：１等）に変換可能な回路として構成することができ、ＹＵＶフォーマット変換情報設定部１５０に設定されている変換タイプにより、変換のタイプが決定される。ＹＵＶフォーマット変換情報設定部１５０は、変換後のＹＵＶフォーマットがＹＵＶ４：２：０であるかいなかに関する情報を含むフォーマット変換情報が設定されているフォーマット変換情報設定部として機能する。

ライン偶数奇数判定部１４０は、現在入力されているＹＵＶ画像データが、画面の奇数ラインのデータであるのか、偶数ラインのデータであるのかをライン同期信号（ＨＳＹＮＣ）１４４等に基づき判断し、判断結果をライン情報１４２として出力する。

加算平均処理部２００は、ＹＵＶフォーマット変換情報設定部１５０から受け取ったＹＵＶフォーマット変換情報１５２に基づき、入力画像データの加算平均処理を行う。

書き込み部１１０は、加算平均処理部２００の加算平均処理済みデータを、ＹＵＶデータ記憶部１２０（結果出力バッファ）に書き込む処理を行う。

加算平均処理部２００は、入力データが偶数ラインのデータである場合には、ＹＵＶデータ記憶部（前記結果出力バッファ）１２０から１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データ１０２と読み出した加算平均値（ＵＶデータ）１２２を用いて加算平均を行うように構成することができる。

なお加算平均処理部２００は、ライン偶数奇数判定部１４０の出力するライン情報１４２を受け取り、入力データが偶数ラインのデータであるか、奇数ラインのデータであるか判定するように構成することができる。

ここで奇数ライン読み出し部１３０が、加算平均処理部２００からの奇数ラインのデータ要求２０４を受けて、ＹＵＶデータ記憶部（前記結果出力バッファ）１２０から１ラインまえの奇数ラインの入力データの対応する加算平均値（ＵＶデータ）１２２を読み出すようにしてもよい。

そして書き込み部１１０は、偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、ＹＵＶデータ記憶部（前記結果出力バッファ）１２０の１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域に上書きする処理を行う。

また加算平均処理部２００は、ＹＵＶフォーマット変換情報１５２が変換後のＹＵＶフォーマットがＹＵＶ４：２：０であることを示している場合には、入力データが偶数ラインのデータである場合には、前記ＹＵＶデータ記憶部（前記結果出力バッファ）１２０から１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データと読み出した加算平均値を用いて加算平均を行うようにしてもよい。一方ＹＵＶフォーマット変換情報１５２が変換後のＹＵＶフォーマットがＹＵＶ４：２：０であることを示していない場合には、前記ＹＵＶデータ記憶部（前記結果出力バッファ）１２０からの加算平均値の読み出しを行わずに、入力データのみを用いて加算平均を行うようにしてもよい。

そして結果書き込み部１１０は、ＹＵＶフォーマット変換情報１５２が変換後のＹＵＶフォーマットがＹＵＶ４：２：０であることを示している場合には、偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、前記ＹＵＶデータ記憶部（前記結果出力バッファ）１２０の１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域と同一領域に上書きするようにしてもよい。一方、ＹＵＶフォーマット変換情報１５２が変換後のＹＵＶフォーマットがＹＵＶ４：２：０であることを示していない場合には、前記ＹＵＶデータ記憶部（前記結果出力バッファ）１２０への同一領域への前記加算平均値の上書きは行わずに、重複しない領域に前記加算平均値を書き込むようにしてもよい。

また書き込み部１１０は、入力画像データの各ラインの先頭データに対応した変換後の画像データをかきこむＹＵＶデータ記憶部（前記結果出力バッファ）１２０におけるスタートアドレスを保持するスタートアドレス保持部１１２と、当該スタートアドレス保持部１１２に保持されたスタートアドレス１１４にオフセット値を加えて書き込みアドレスを決定する回路を含むようにしてもよい。

そして奇数ライン読み出し部１３０は、前記スタートアドレス１１４を受け取り、受け取ったスタートアドレス１１４に基づき、１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出す際の読み出しアドレスを決定するようにしても良い。

このように加算平均処理部２００と奇数ライン読み出し部１３０は、加算平均回路として機能する。

図３は、本実施の形態の加算平均処理部の機能ブロック図の一例である。

本実施の形態の加算平均処理部２００は、第１の加算平均処理部２７０と第２の加算平均処理部２８０とを含む。

第１の加算平均処理部２７０は、第１の加算部２１０、第１の右シフト部２２０、加算途中結果保持部２３０を含む。

第２の加算平均処理部２８０は、第２の加算部２４０、第２の右シフト部２５０、ＵＶデータ保持部２６０を含む。

Ｙ成分２０２はフォーマット変換時に加算平均されないので、入力データがそのまま出力される。

第１の加算部２１０は、入力されたＵ成分２０４又はＶ成分２０６と加算途中結果保持部２３０に保持されている値を加算する処理を行う。第１の加算部２１０の加算結果は、元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：２に変換する場合やＹＵＶ４：２：０に変換する場合には、奇数番目のデータに対応した加算結果の場合には加算途中結果保持部２３０に出力し、偶数番目のデータに対応した加算結果の場合には第１の右シフト部２２０に出力する。また元画像（ＹＵＶ４：４：４）をＹＵＶ４：１：１に変換する場合には、４の倍数番目に対応したデータに対応した加算結果の場合には第１の右シフト部２２０に出力し、それ以外の場合には、加算途中結果保持部２３０に出力する。

第１の右シフト部２２０は、受け取ったＵ成分又はＶ成分のシフト処理を行って得られた加算平均値を出力する。

元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：２やＹＵＶ４：１：１に変換する場合には、第１の加算部２１０、第１の右シフト部２２０、加算途中結果保持部２３０だけでたりるので、第１の右シフト部２２０の出力（第１の加算平均処理部２７０の出力）がそのまま、加算平均処理部の出力となる。すなわち元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：２やＹＵＶ４：１：１に変換する場合には、第１の右シフト部２２０の出力（第１の加算平均処理部２７０の出力）は、第２の加算平均処理部２８０を通過するだけである。

また元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：０に変換する場合には、入力画像データが奇数ラインの場合には、第１の加算平均処理部２７０の出力は、第２の加算平均処理部２８０を通過するだけであるが、入力画像データが偶数ラインの場合には、第２の加算平均処理部２８０で、偶数ラインの加算平均値と１つ前の奇数ラインの対応する加算平均値の加算平均処理を行う。

第２の加算部２４０は、第１の右シフト部２２０が出力したＵ成分２０４又はＶ成分２０６（偶数ラインの加算平均値）とＵＶデータ保持部２６０に保持されている値（奇数ラインの対応する画素（Ｘ座標が同じ画素）の加算平均値）を加算する処理を行う。

ＵＶデータ保持部２６０は、入力データが偶数ラインのデータである場合には、奇数ライン読み出し部に対し、前記結果出力バッファから１ラインまえの奇数ラインの入力データの対応する加算平均値のデータ要求２６２を行い、当該データ要求に対応して受け取った加算平均値（ＵＶデータ）２６４を保持する。

第２の右シフト部２２０は、受け取ったＵ成分又はＶ成分のシフト処理を行って得られた加算平均値を出力する。

このように加算平均処理部を構成することで、元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：０に変換する場合に入力データが偶数ラインのデータである場合には、前記結果出力バッファから１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データと読み出した加算平均値を用いて加算平均を行い、偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、結果出力バッファの１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域に上書きすることができる。

図４は、元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：０に変換する場合において、入力画像データが奇数ラインである場合のタインミングチャート図である。ここではＵ成分を例にとり説明するがＶ成分の場合も同様である。

２０４はＵ成分入力であり、Ｕ₁₁、Ｕ₁₂、・・は元画像（ＹＵＶ４：４：４）の奇数ラインの各画素に対応したデータである。

２３２は加算途中結果保持部出力であり、第１の加算部２１０に偶数番目のデータがくる際に１つ前の奇数番目のデータが保持されている。

２１２は第１の加算部出力であり、偶数番目のデータ入力されると当該データと一つ前の奇数番目のデータの加算値が出力される。

２２２は第１の右シフト部出力であり、第１の加算部出力の１／２の値が出力される。

２８２は加算平均部出力であり、入力画像データが奇数ラインである場合には第１の右シフト部出力２２２がそのまま加算平均部出力となる。

２９０はデータ有効であり、偶数番目の入力データに対応した加算平均値が出力される場合にデータ有効を示すレベルに変化する信号である。当該信号がデータ有効を示している時の加算平均部出力２８２が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。ここではデータ有効２９０がＨレベルである場合３１２，３１４，３１６に対応した加算平均部出力３０２，３０４，３０６が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。

図５は、元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：０に変換する場合において、入力画像データが偶数ラインである場合のタイミングチャート図である。ここではＵ成分を例にとり説明するがＶ成分の場合も同様である。

２０４はＵ成分入力であり、Ｕ₂₁、Ｕ₂₂、・・は元画像（ＹＵＶ４：４：４）の偶数ラインの各画素に対応したデータである。

２３２は加算途中結果保持部出力であり、第１の加算部２１０に偶数番目のデータがくる際に１つ前の奇数番目のデータが保持されている。

２１２は第１の加算部出力であり、偶数番目のデータ入力されると当該データと一つ前の奇数番目のデータの加算値が出力される。

２２２は第１の右シフト部出力であり、第１の加算部出力の１／２の値が出力される。

２６２はＵＶデータ保持部出力であり、第１の右シフト部出力に対応した１つ前の奇数ラインの対応する２つのデータ（Ｘ座標値が同じデータ）の加算平均値が出力される。

２４２は第２の加算部出力であり、第１の右シフト部出力２２２とＵＶデータ保持部出力２６２の加算値が出力される。

２５２は第２の右シフト部出力であり、第２の加算部出力の１／２の値が出力される。

２８２は加算平均部出力であり、入力画像データが偶数ラインである場合には第２の右シフト部出力が加算平均部出力となる。

２９０はデータ有効であり、偶数番目の入力データに対応した加算平均値が出力される場合にデータ有効を示すレベルに変化する信号である。当該信号がデータ有効を示している時の加算平均部出力２８２が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。ここではデータ有効２９０がＨレベルである場合３３２，３３４，３３６に対応した加算平均部出力３２２，３２４，３２６が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。

図６は、元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：２に変換する場合の場合のタイミングチャート図である。ここではＵ成分を例にとり説明するがＶ成分の場合も同様である。

２０４はＵ成分入力であり、Ｕ₁₁、Ｕ₁₂、・・は元画像（ＹＵＶ４：４：４）の各画素に対応した入力データである。

２３２は加算途中結果保持部出力であり、第１の加算部２１０に偶数番目のデータがくる際に１つ前の奇数番目のデータが保持されている。

２１２は第１の加算部出力であり、偶数番目のデータ入力されると当該データと一つ前の奇数番目のデータの加算値が出力される。

２２２は第１の右シフト部出力であり、第１の加算部出力の１／２の値が出力される。

２８２は加算平均部出力であり、第１の右シフト部出力２２２がそのまま加算平均部出力となる。

２９０はデータ有効であり、偶数番目の入力データに対応した加算平均値が出力される場合にデータ有効を示すレベルに変化する信号である。当該信号がデータ有効を示している時の加算平均部出力２８２が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。ここではデータ有効２９０がＨレベルである場合３５２，３５４，３５６に対応した加算平均部出力３４２，３４４，３４６が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。

図７は、元画像（ＹＵＶ４：４：４）をＹＵＶ４：１：１に変換する場合の場合のタイミングチャート図である。ここではＵ成分を例にとり説明するがＶ成分の場合も同様である。

２０４はＵ成分入力であり、Ｕ₁₁、Ｕ₁₂、・・は元画像（ＹＵＶ４：４：４）の各画素に対応した入力データである。

２３２は加算途中結果保持部出力であり、第１の加算部２１０にくるデータが４の倍数に達するまで加算され、４の倍数に達したらリセットされる。従って第１の加算部２１０にくるデータが４の倍数に達するまで、その１つ前までのデータの加算値が保持されている。

２１２は第１の加算部出力であり、入力データが４の倍数に達するまでのデータの加算値が出力される。

２２２は第１の右シフト部出力であり、第１の加算部出力の１／４の値が出力される。

２８２は加算平均部出力であり、第１の右シフト部出力２２２がそのまま加算平均部出力となる。

２９０はデータ有効であり、４の倍数番目の入力データに対応した加算平均値が出力される場合にデータ有効を示すレベルに変化する信号である。当該信号がデータ有効を示している時の加算平均部出力２８２が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。ここではデータ有効２９０がＨレベルである場合３７２に対応した加算平均部出力３６２が結果出力バッファ（ＹＵＶデータ記憶部）に書き込まれる。

図８（Ａ）（Ｂ）（Ｃ）は、結果出力バッファの構成について説明するための図である。

図８（Ａ）は、変換後の画像データが出力される結果出力バッファ４００が、変換後の画像データのＹ成分が出力されるＹ成分領域４１０と、ＵＶ成分が出力されるＵＶ成分領域４２０で分けられており、Ｙ成分領域４１０には連続する画素Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃、・・・の変換後のＹ成分Ｙ₀、Ｙ₁、Ｙ₂、Ｙ₃、・・・が連続して記憶され、ＵＶ成分領域４２０には連続する画素の変換後のＵ成分及びＶ成分Ｕ₀、Ｖ₀、Ｕ₁、Ｖ₁、Ｕ₂、Ｖ₂、Ｕ₃、Ｖ₃、・・・・が連続して記憶されている。

このようにＹ成分領域４１０とＵＶ成分領域４２０を分けることにより、前ラインの加算平均値を読み出す際にＵＶ成分領域４２０にアクセスすることにより、余分なＹ成分データの読み出しを行わなくてすむ。

図８（Ｂ）は、変換後の画像データが出力される結果出力バッファ４３０が、変換後の画像データのＹ成分が出力されるＹ成分領域４４０と、Ｕ成分が出力されるＵ成分領域４５０とＶ成分が出力されるＶ成分領域４６０で分けられており、Ｙ成分領域４４０には連続する画素Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃、・・・の変換後のＹ成分Ｙ₀、Ｙ₁、Ｙ₂、Ｙ₃、・・・が連続して記憶され、Ｕ成分領域４５０には連続する画素の変換後のＵ成分Ｕ₀、Ｕ₁、Ｕ₂、Ｕ₃、・・・・が連続して記憶され、Ｖ成分領域には連続する画素の変換後のＶ成分Ｖ₀、Ｖ₁、Ｖ₂、Ｖ₃、・・・・が連続して記憶されている。

このようにＹ成分領域４４０とＵ成分領域４５０とＶ成分領域４６０を分けることにより、前ラインの加算平均値を読み出す際にＵ成分領域４５０及びＶ成分領域にそれぞれアクセスすることにより、余分なＹ成分データの読み出しを行わなくてすむ。

図８（Ｃ）は、変換後の画像データが出力される結果出力バッファ４７０が、成分別に分かれていない場合を示したものであり、この場合には結果出力バッファには、連続する画素Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃、・・・の変換後のＹＵＶ成分Ｙ₀、Ｕ₀、Ｖ₀、Ｙ₁、Ｕ₁、Ｖ₁、Ｙ₂、Ｕ₂、Ｖ₂、Ｙ₃、Ｕ₃、Ｖ₃、・・・が連続して記憶されている。

２．マイクロコンピュータ
図９は、本実施の形態のマイクロコンピュータのハードウエアブロック図の一例である。

本マイクロコンピュータ７００は、ＣＰＵ５１０、キャッシュメモリ５２０、ＬＣＤコントローラ５３０、リセット回路５４０、プログラマブルタイマ５５０、リアルタイムクロック（ＲＴＣ）５６０、ＤＲＡＭコントローラ兼バスＩ／Ｆ５７０、割り込みコントローラ５８０、シリアルインターフェース５９０、バスコントローラ６００、Ａ／Ｄ変換器６１０、Ｄ／Ａ変換器６２０、入力ポート６３０、出力ポート６４０、Ｉ／Ｏポート６５０、クロック発生装置５６０、プリスケーラ５７０、ＭＭＵ７３０，画像データ縮小装置７４０及びそれらを接続する汎用バス６８０、専用バス７３０等、各種ピン６９０等を含む。

ＲＡＭ７２０は主記憶及びビデオメモリとして機能するＤＲＡＭを含む。また前記共有ＲＡＭとして機能するＤＲＡＭ又はＳＲＡＭを含む。

画像処理回路７４０は、例えば図２又は図３で説明した構成を有する。

３．電子機器
図１０に、本実施の形態の電子機器のブロック図の一例を示す。本電子機器８００は、マイクロコンピュータ（またはＡＳＩＣ）８１０、入力部８２０、メモリ８３０、電源生成部８４０、ＬＣＤ８５０、音出力部８６０を含む。

ここで、入力部８２０は、種々のデータを入力するためのものである。マイクロコンピュータ８１０は、この入力部８２０により入力されたデータに基づいて種々の処理を行うことになる。メモリ８３０は、マイクロコンピュータ８１０などの作業領域となるものである。電源生成部８４０は、電子機器８００で使用される各種電源を生成するためのものである。ＬＣＤ８５０は、電子機器が表示する各種の画像（文字、アイコン、グラフィック等）を出力するためのものである。 音出力部８６０は、電子機器８００が出力する各種の音（音声、ゲーム音等）を出力するためのものであり、その機能は、スピーカなどのハードウェアにより実現できる。

図１１（Ａ）に、電子機器の１つである携帯電話９５０の外観図の例を示す。この携帯電話９５０は、入力部として機能するダイヤルボタン９５２や、電話番号や名前やアイコンなどを表示するＬＣＤ９５４や、音出力部として機能し音声を出力するスピーカ９５６を備える。

図１１（Ｂ）に、電子機器の１つである携帯型ゲーム装置９６０の外観図の例を示す。この携帯型ゲーム装置９６０は、入力部として機能する操作ボタン９６２、十字キー９６４や、ゲーム画像を表示するＬＣＤ９６６や、音出力部として機能しゲーム音を出力するスピーカ９６８を備える。

図１１（Ｃ）に、電子機器の１つであるパーソナルコンピュータ９７０の外観図の例を示す。このパーソナルコンピュータ９７０は、入力部として機能するキーボード９７２や、文字、数字、グラフィックなどを表示するＬＣＤ９７４、音出力部９７６を備える。

本実施の形態のマイクロコンピュータを図１１（Ａ）〜図１１（Ｃ）の電子機器に組みこむことにより、低価格で画像処理速度の速いコストパフォーマンスの高い電子機器を提供することができる。

なお、本実施形態を利用できる電子機器としては、図１１（Ａ）、（Ｂ）、（Ｃ）に示すもの以外にも、携帯型情報端末、ページャー、電子卓上計算機、タッチパネルを備えた装置、プロジェクタ、ワードプロセッサ、ビューファインダ型又はモニタ直視型のビデオテープレコーダ、カーナビゲーション装置等のＬＣＤを使用する種々の電子機器を考えることができる。

なお、本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。

例えば本実施の形態では、フォーマット変換の対象となる画像データがＹＵＶフォーマットである場合を例に取り説明したが、これに限られない。たとえば複数のラインに渡って加算平均をとることが必要となる画像データであれば他の形式の画像データを取り扱うものでもよい。

図１（Ａ）（Ｂ）（Ｃ）はＹＵＶフォーマット変換について説明するための図である。 本実施の形態の画像処理装置のフォーマット変換後回路の機能ブロック図の一例である。 本実施の形態の加算平均処理部の機能ブロック図の一例である。 元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：０に変換する場合において、入力画像データが奇数ラインである場合のタイミングチャート図である 元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：０に変換する場合において、入力画像データが偶数ラインである場合のタイミングチャート図である 元画像（ＹＵＶ４：４：４）をＹＵＶ４：２：２に変換する場合の場合のタイミングチャート図である。 元画像（ＹＵＶ４：４：４）をＹＵＶ４：１：１に変換する場合の場合のタイミングチャート図である。 図８（Ａ）（Ｂ）（Ｃ）は、結果出力バッファの構成について説明するための図である。 本実施の形態のマイクロコンピュータのハードウエアブロック図の一例である。 マイクロコンピュータを含む電子機器のブロック図の一例を示す。 図１１（Ａ）（Ｂ）（Ｃ）は、種々の電子機器の外観図の例である。

符号の説明

１００ フォーマット変換回路、１１０ 書き込み部、１１２ スタートアドレス保持部、１２０ ＹＵＶデータ記憶部（結果出力部）、１３０ 奇数ライン読み出し部、１４０ ライン偶数奇数判定部、１５０ ＹＵＶフォーマット設定部、２００ 加算平均部、５１０ ＣＰＵ、５３０ ＬＣＤコントローラ、５４０ リセット回路、５５０ プログラマブルタイマ、５６０ リアルタイムクロック（ＲＴＣ）、５７０ ＤＲＡＭコントローラ兼バスＩ／Ｆ、５８０ 割り込みコントローラ、５９０ シリアルインターフェース、６００ バスコントローラ、６１０ Ａ／Ｄ変換器、６２０ Ｄ／Ａ変換器、６３０ 入力ポート、６４０ 出力ポート、６５０ Ｉ／Ｏポート、６６０ クロック発生装置（ＰＬＬ）、６７０ プリスケーラ、６８０ 汎用バス、６９０ 各種ピン、７００ マイクロコンピュータ、７１０ ＲＯＭ、７２０ ＲＡＭ、７３０ ＭＭＵ、８００ 電子機器、８５０ ＬＣＤ

Claims (10)

1. 画像処理装置であって、
   複数のラインを有するＹＵＶ画像データを入力し、ＹＵＶフォーマット変換後のＹＵＶ画像データを結果出力バッファに出力するフォーマット変換後回路を含み、
   前記フォーマット変換後回路は、
   前記結果出力バッファに出力された１つ前の入力ラインのＵ成分又はＶ成分の加算平均値の値を読み出して、読み出した加算平均値と現在の入力ラインのＵ成分又はＶ成分の加算平均を行い、得られた加算平均値を、前記結果出力バッファの読み出したＵ成分又はＶ成分の加算平均値の領域に上書きする回路を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記フォーマット変換後回路は、
   ＹＵＶ画像データのＵ成分及びＶ成分の少なくとも一方の入力データを受け取り加算平均を行う加算平均回路と、
   加算平均後の値をフォーマット変換後の結果出力バッファに書き込む結果書き込み部とを含み、
   前記加算平均回路は、
   入力データが偶数ラインのデータである場合には、前記結果出力バッファから１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データと読み出した奇数ラインの加算平均値を用いて加算平均を行い、
   前記結果書き込み部は、
   偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、結果出力バッファの１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域に上書きすることを特徴とする画像処理装置。
3. 請求項１乃至２のいずれかにおいて、
   フォーマット変換後回路は、
   変換後のＹＵＶフォーマットが所定のフォーマットであるかいなかに関する情報を含むフォーマット変換情報が設定されているフォーマット変換情報設定部を含み、
   前記加算平均回路は、
   前記フォーマット変換情報に基づき変換後のＹＵＶフォーマットが所定のフォーマットであるかいなか判断し、変換後のＹＵＶフォーマットが所定のフォーマットであれば、入力データが偶数ラインのデータの場合には前記結果出力バッファから１ラインまえの奇数ラインの入力データの対応する加算平均値を読み出して、偶数ラインの入力データと読み出した加算平均値を用いて加算平均を行い、
   前記フォーマット変換情報が変換後のＹＵＶフォーマットが所定のフォーマットでなければ、前記結果出力バッファからの加算平均値の読み出しを行わずに、入力データのみを用いて加算平均を行い、
   前記結果書き込み部は、
   前記フォーマット変換情報に基づき変換後のＹＵＶフォーマットが所定のフォーマットであるかいなか判断し、前記フォーマット変換情報が変換後のＹＵＶフォーマットが所定のフォーマットであれば、偶数ラインの入力データを用いて得られた加算平均値を書き込む場合には、当該加算平均値を、結果出力バッファの１ラインまえの奇数ラインの入力データの対応する加算平均値の出力領域と同一領域に上書きし、
   前記フォーマット変換情報が変換後のＹＵＶフォーマットが所定のフォーマットでなければ、結果出力バッファへの同一領域への前記加算平均値の上書きは行わずに、重複しない領域に前記加算平均値を書き込むことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   変換後の画像データが出力される結果出力バッファが、
   変換後の画像データのＹ成分が出力されるＹ成分領域と、ＵＶ成分が出力されるＵＶ成分領域とに分けられており、Ｙ成分領域には連続する画素の変換後のＹ成分が連続して記憶され、ＵＶ成分領域には連続する画素の変換後のＵ成分及びＶ成分の少なくとも一方が連続して記憶されていることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記結果書き込み部は、
   入力画像データの各ラインの先頭データに対応した変換後の画像データをかきこむ前記結果出力バッファにおけるスタートアドレスを保持し、当該スタートアドレスにオフセット値を加えて書き込みアドレスを決定する回路を含み、
   前記加算平均回路は、
   前記スタートアドレスを受け取り、受け取ったスタートアドレスに基づき、前ラインの入力データの対応する加算平均値を読み出す際の読み出しアドレスを演算する回路を含むことを特徴とする画像処理装置。
6. 画像処理装置であって、
   複数のラインを有し、各画素について複数の成分を有する画像データを入力しフォーマット変換を行い、フォーマット変換後の画像データを結果出力バッファに出力するフォーマット変換後回路を含み、
   前記フォーマット変換後回路は、
   前記結果出力バッファに出力された１つ前の入力ラインの所定の成分の加算平均値の値を読み出して、読み出した加算平均値と現在の入力ラインの所定の成分の加算平均を行い、得られた加算平均値を、前記結果出力バッファの読み出した所定の成分の加算平均値の領域に上書きする回路を含むことを特徴とする画像処理装置。
7. 請求項６において、
   変換後の画像データが出力される結果出力バッファが、
   変換後の画像データの前記所定の成分が出力される第１の領域と、所定の成分以外の成分が出力される第２の領域とに分けられており、第１の領域には連続する画素の変換後の所定の成分が連続して記憶され、第２の領域には連続する画素の変換後の所定の成分以外が連続して記憶されていることを特徴とする画像処理装置。
8. 請求項６乃至７のいずれかにおいて、
   前記フォーマット変換後回路は、
   入力画像データの各ラインの先頭データに対応した変換後の画像データをかきこむ前記結果出力バッファにおけるスタートアドレスを保持し、当該スタートアドレスにオフセット値を加えて書き込みアドレスを決定する回路を含み、
   前記スタートアドレスに基づき、前ラインの入力データの対応する加算平均値を読み出す際の読み出しアドレスを演算する回路を含むことを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかに記載の画像データ処理装置を含むことを特徴とするマイクロコンピュータ。
10. 請求項９に記載のマイクロコンピュータと、
    前記マイクロコンピュータの処理対象となるデータの入力手段と、
    前記マイクロコンピュータにより処理されたデータを出力するためのＬＣＤ出力手段とを含むことを特徴とする電子機器。

Images