JP2005062693A - メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム、レート変換装置および画像信号処理装置 - Google Patents

メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム、レート変換装置および画像信号処理装置 Download PDF

Info

Publication number
JP2005062693A
JP2005062693A JP2003295511A JP2003295511A JP2005062693A JP 2005062693 A JP2005062693 A JP 2005062693A JP 2003295511 A JP2003295511 A JP 2003295511A JP 2003295511 A JP2003295511 A JP 2003295511A JP 2005062693 A JP2005062693 A JP 2005062693A
Authority
JP
Japan
Prior art keywords
read
memory
image signal
write
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003295511A
Other languages
English (en)
Other versions
JP4661036B2 (ja
Inventor
Kotaro Nemoto
光太郎 根本
Tetsujiro Kondo
哲二郎 近藤
Nobuyuki Asakura
伸幸 朝倉
Masaru Inoue
賢 井上
Wataru Niitsuma
渉 新妻
Tatsuya Ishii
達也 石井
Takahide Ayada
隆秀 綾田
Masanori Yamanaka
政宣 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003295511A priority Critical patent/JP4661036B2/ja
Priority to EP04019600A priority patent/EP1511004A3/en
Priority to TW093124978A priority patent/TWI277059B/zh
Priority to CNB2004100822271A priority patent/CN100435579C/zh
Priority to CN200710126243A priority patent/CN100587771C/zh
Priority to US10/921,267 priority patent/US7869085B2/en
Priority to KR1020040065535A priority patent/KR20050020685A/ko
Publication of JP2005062693A publication Critical patent/JP2005062693A/ja
Application granted granted Critical
Publication of JP4661036B2 publication Critical patent/JP4661036B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しを可能とする。
【解決手段】書き込みバッファ２０４Ｙ，２０４Ｃに所定量の画像信号が記憶される毎に、制御部３０７に供給される書き込みリクエストＷＲＱに基づき、書き込みバッファ２０４Ｙ，２０４ＣからＳＤＲＡＭバス（データバス）２０３を介してフレームメモリ（ＳＤＲＡＭ）２０１に、画像信号を転送して書き込む。制御部３０７に一定時間毎に供給される読み出しリクエストＲＲＱに基づき、フレームメモリ２０１からＳＤＲＡＭバス２０３を介して読み出しバッファ２０５Ｙ，２０５Ｃに画像信号を転送して書き込む。制御部３０７は、書き込みリクエストＷＲＱに基づく書き込み制御を、読み出しリクエストＲＲＱに基づく読み出し制御より優先させる。
【選択図】 図２５

Description

この発明は、例えば画素数を変換する際に適用して好適なメモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム、レート変換装置および画像信号処理装置に関する。
詳しくは、この発明は、書き込みリクエストに基づき書き込みバッファからデータバスを介してメモリに画像信号を転送して書き込む第１の制御および読み出しリクエストに基づきメモリからデータバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先することによって、同一のデータバスを介して行われる書き込みと読み出しの調整を良好に行うことができ、書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しが可能となるようにしたメモリコントローラ等に係るものである。
フラットパネルディスプレイとして、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma Display)等が知られている。これらのディスプレイの画質のきめ細かさは垂直方向、水平方向の画素数で決まる。例えば、ＸＧＡ（７６８×１０２４画素）、ＳＸＧＡ（１０２４×１２８０画素）等の規格がある。
また、画像信号として４８０ｉ信号、７２０ｐ信号または１０８０ｉ信号等がある。ここで、数値はライン数を表し、「ｉ」はインタレース方式を表し、「ｐ」はプログレッシブ方式を表している。因みに、４８０ｉ信号は、７２０×４８０ドットの解像度を持ち、７２０ｐ信号は１０２４×７２０ドットの解像度を持ち、１０８０ｉ信号は１９２０×１０８０ドットの解像度を持っている。
従来、画像表示装置において、ディスプレイに、入力画像信号の一部または全部による画像表示が可能となるように、画素数を変換することが行われている。この場合、レート変換装置によって、垂直方向、水平方向の画素数の変換が行われる（特許文献１参照）。
特開２００１−３６８７１号公報
上述したレート変換装置を、第１のメモリ、例えばバースト転送型の大容量メモリであるフレームメモリと、第２のメモリ、例えばランダムアクセス型のデュアルポートメモリとを利用して構成できる。この場合、入力画像信号を一時的に第１のメモリに格納し、この第１のメモリから第２のメモリに画像信号をライン単位で順次転送して書き込み、この第２のメモリから変換後の画素周期およびライン周期で画像信号の読み出しを行って出力画像信号を得るものである。この場合、第１のメモリに対する、画像信号の書き込みおよび読み出しは同一のデータバスを介して行われる。
このように構成されるレート変換装置において、第１のメモリと第２のメモリとの間のデータ転送帯域の安定確保を図り、その使用効率を高くするために、第１のメモリから第２のメモリへの画像信号の転送が一定時間毎に行われるように制御することが考えられる。この場合例えば、書き込みリクエストに基づき書き込みバッファからデータバスを介して第１のメモリに画像信号が転送されて書き込まれ、一定時間毎の読み出しリクエストに基づき、第１のメモリからデータバスを介して読み出しバッファに画像信号が転送され、さらにこの読み出しバッファから第２のメモリに画像信号が転送される。
この発明の目的は、書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しを可能とすることにある。
この発明に係るメモリコントローラは、画像信号の書き込みおよび読み出しを同一のデータバスを介して行うメモリを制御するメモリコントローラであって、メモリに書き込まれる入力画像信号を一時的に記憶する書き込みバッファと、メモリから読み出される出力画像信号を一時的に記憶する読み出しバッファと、メモリの書き込みアドレスを発生する書き込みアドレス発生手段と、メモリの読み出しアドレスを発生する読み出しアドレス発生手段と、書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストおよび一定時間毎に供給される読み出しリクエストに基づいて、書き込みバッファ、読み出しバッファ、書き込みアドレス発生手段および読み出しアドレス発生手段を制御する制御手段とを備え、制御手段は、書き込みリクエストに基づき書き込みバッファからデータバスを介してメモリに画像信号を転送して書き込む第１の制御および読み出しリクエストに基づきメモリからデータバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先するものである。
また、この発明に係るメモリコントロール方法は、書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストに基づいて、書き込みバッファからデータバスを介してメモリに画像信号を転送して書き込む第１の制御工程と、一定時間毎に供給される読み出しリクエストに基づいてメモリからデータバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御工程とを備え、書き込みリクエストに基づく第１の制御工程および読み出しリクエストに基づく第２の制御工程のいずれか一方を他方より優先して行うものである。
また、この発明に係るプログラムは、上述のメモリコントロール方法をコンピュータに実行させるためのものである。
この発明においては、書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストに基づいて、書き込みバッファからデータバスを介してメモリに画像信号が転送されて書き込まれる。また、一定時間毎に供給される読み出しリクエストに基づいて、メモリからデータバスを介して読み出しバッファに画像信号が転送されて書き込まれる。
例えば、メモリは、ＳＤＲＡＭ等のバースト転送型のフレームメモリで構成される。そして、このメモリがＳＤＲＡＭであるとき、例えば垂直ブランキング期間にリフレッシュが行われる。例えば、書き込みリクエストの１個に対応してメモリに１水平期間分の画像信号がｎ個（ｎは整数）だけ書き込まれ、読み出しリクエストの１個に対応してメモリから１水平期間分の画像信号がｍ個（ｍは整数であって、ｍ＞ｎ）だけ読み出される。
この場合、書き込みリクエストに基づく書き込み制御（第１の制御）および読み出しリクエストに基づく読み出し制御（第２の制御）のいずれか一方が他方より優先される。これにより、同一のデータバスを介して行われる書き込みと読み出しの調整が良好に行われ、書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しが可能となる。
例えば、書き込みリクエストに基づく書き込み制御が読み出しリクエストに基づく読み出し制御より優先される。例えば、書き込みリクエストおよび読み出しリクエストが同時に供給されるとき、書き込みリクエストに基づいてメモリに書き込みが行われ、読み出しリクエストは保持され、書き込みが終了した後にこの保持されている読み出しリクエストに基づいてメモリから読み出しが行われる。
また例えば、メモリに書き込みが行われている間に読み出しリクエストが供給されるとき、この読み出しリクエストは保持され、書き込みが終了した後にこの保持されている読み出しリクエストに基づいてメモリから読み出しが行われる。また例えば、メモリから読み出しが行われている間に書き込みリクエストが供給されるとき、読み出しが一時的に停止され、書き込みリクエストに基づいてメモリに書き込みが行われ、書き込みが終了した後に停止された読み出しの残りが行われる。
このように、書き込みリクエストに基づく書き込み制御が読み出しリクエストに基づく読み出し制御より優先されることで、読み出しリクエストによる読み出しの待ち時間が発生することがあるが、例えば書き込みリクエストの１個に対応してメモリに１水平期間分の画像信号がｎ個だけ書き込まれ、読み出しリクエストの１個に対応してメモリから１水平期間分の画像信号がｍ個（ｍ＞ｎ）だけ読み出される場合、その待ち時間の最大はｎ個分となり、読み出しリクエストに基づく読み出し制御が書き込みリクエストに基づく書き込み制御より優先される場合における書き込みリクエストによる書き込みの待ち時間の最大（ｍ個分）より短くできる。
この発明に係るレート変換装置は、入力画像信号を一時的に格納する第１のメモリと、この第１のメモリから画像信号をライン単位で順次転送して書き込み、変換後の画素周期およびライン周期で画像信号の読み出しを行って出力画像信号を得るための第２のメモリと、第１のメモリおよび第２のメモリの書き込みおよび読み出しを制御する制御手段とを備えるものである。
そして、制御手段は、第１のメモリに書き込まれる入力画像信号を一時的に記憶する書き込みバッファと、第１のメモリから読み出される出力画像信号を一時的に記憶する読み出しバッファと、第１のメモリの書き込みアドレスを発生する書き込みアドレス発生部と、第１のメモリの読み出しアドレスを発生する読み出しアドレス発生部と、書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストおよび一定時間毎に供給される読み出しリクエストに基づいて、書き込みバッファ、読み出しバッファ、書き込みアドレス発生手段および読み出しアドレス発生手段を制御する書き込み・読み出し制御部とを有し、書き込み・読み出し制御部は、書き込みリクエストに基づき書き込みバッファからデータバスを介して第１のメモリに画像信号を転送して書き込む第１の制御および読み出しリクエストに基づき第１のメモリからデータバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先するものである。
また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第１の画像信号に基づいて、第２の画像信号を構成する画素データに対応した画素データを持つ第３の画像信号を得るレート変換手段と、第２の画像信号における注目位置の位相情報を発生する位相情報発生手段と、この位相情報発生手段で発生された位相情報に基づき、第３の画像信号を用いて、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、レート変換手段は、第１の画像信号を一時的に格納する第１のメモリと、この第１のメモリから画像信号をライン単位で順次転送して書き込み、変換後の画素周期およびライン周期で画像信号の読み出しを行って第３の画像信号を得る第２のメモリと、第１のメモリおよび第２のメモリの書き込みおよび読み出しを制御する制御手段とを有するものである。
そして、制御手段は、第１のメモリに書き込まれる入力画像信号を一時的に記憶する書き込みバッファと、第１のメモリから読み出される出力画像信号を一時的に記憶する読み出しバッファと、第１のメモリの書き込みアドレスを発生する書き込みアドレス発生部と、第１のメモリの読み出しアドレスを発生する読み出しアドレス発生部と、書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストおよび一定時間毎に供給される読み出しリクエストに基づいて、書き込みバッファ、読み出しバッファ、書き込みアドレス発生手段および読み出しアドレス発生手段を制御する書き込み・読み出し制御部とを有し、この書き込み・読み出し制御部は、書き込みリクエストに基づき書き込みバッファからデータバスを介して第１のメモリに画像信号を転送して書き込む第１の制御および読み出しリクエストに基づき第１のメモリからデータバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先するものである。
この発明においては、第１の画像信号の画素数が変換されて、第２の画像信号を構成する画素データにそれぞれ対応した画素データを持つ第３の画像信号が得られる。また、第２の画像信号における注目位置の位相情報が発生される。そして、この位相情報に基づいて、第３の画像信号を用いて、第２の画像信号における注目位置の画素データが生成される。
この画素データの生成は、例えば推定式を用いて行われる。すなわち、位相情報に対応した推定式で用いられる係数データが発生されると共に、第３の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが抽出され、これら係数データおよび複数の画素データを用いて、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
このように推定式を用いて画素データを生成するものにあっては、第２の画像信号に対応した教師信号と第１の画像信号に対応した生徒信号とを用いた学習処理によって得られた係数データを用いることで、第２の画像信号における注目位置の画素データとして、線形補間等で得るものと比べて精度の良いものを得ることができる。
また、レート変換手段でレート変換をする際に、第１のメモリから第２のメモリへの画像信号の転送が一定時間毎に行われるものであり、データ転送周期に変動がないため第１のメモリと第２のメモリとの間のデータ転送帯域の安定確保を図ることができ、その使用効率を高くできる。したがって、例えば、データ転送周期毎に、第１のメモリから第２のメモリに転送し得る画像信号のライン数を多くでき、画素データ発生手段では、より多くのラインを用いて、第２の画像信号における注目位置の画素データを精度よく生成できる。
また、書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストに基づいて、書き込みバッファからデータバスを介して第１のメモリに画像信号が転送されて書き込まれる。また、一定時間毎に供給される読み出しリクエストに基づいて、第１のメモリからデータバスを介して読み出しバッファに画像信号が転送されて書き込まれる。
この場合、書き込みリクエストに基づく書き込み制御（第１の制御）および読み出しリクエストに基づく読み出し制御（第２の制御）のいずれか一方が他方より優先される。これにより、同一のデータバスを介して行われる書き込みと読み出しの調整が良好に行われ、書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しが可能となる。
この発明によれば、書き込みリクエストに基づき書き込みバッファからデータバスを介してメモリに画像信号を転送して書き込む第１の制御および読み出しリクエストに基づきメモリからデータバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先するものであり、同一のデータバスを介して行われる書き込みと読み出しの調整を良好に行うことができ、書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しが可能となる。
また、この発明によれば、書き込みリクエストに基づく書き込み制御が読み出しリクエストに基づく読み出し制御より優先されるものであり、読み出しリクエストによる読み出しの待ち時間が発生することがあるが、例えば書き込みリクエストの１個に対応してメモリに１水平期間分の画像信号がｎ個だけ書き込まれ、読み出しリクエストの１個に対応してメモリから１水平期間分の画像信号がｍ個（ｍ＞ｎ）だけ書き込まれる場合、待ち時間の最大はｎ個分となり、読み出しリクエストに基づく読み出し制御が書き込みリクエストに基づく書き込み制御より優先される場合における書き込みリクエストによる書き込みの待ち時間の最大（ｍ個分）より短くできる。
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、入力画像信号Ｓａを出力画像信号Ｓｂに変換するものである。ここでは、便宜上、画像信号Ｓａが４８０ｉ信号であり、画像信号Ｓｂが１０８０ｉ信号であるとして説明するが、これに限定されるものではない。なお、４８０ｉ信号は、走査線数が５２５本、有効走査線数が４８０本、有効画素数が（横×縦）＝（７２０×４８０）、サンプリング周波数が１３．５ＭＨｚであるインタレース方式の画像信号である（図２Ａ参照）。また、１０８０ｉ信号は、走査線数が１１２５本、有効走査線数が１０８０本、有効画素数が（横×縦）＝（１９２０×１０８０）、サンプリング周波数が７４．２５ＭＨｚであるインタレース方式の画像信号である（図２Ｂ参照）。
画像信号処理装置１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機１０３よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給する。
また、画像信号処理装置１００は、画像信号Ｓａが入力される入力端子１０４と、この入力端子１０４に入力された画像信号Ｓａに基づいて、画像信号Ｓｂを構成する画素データに対応した画素データを持つ、１０８０ｉ信号である画像信号Ｓｃを得るレート変換回路１０５とを有している。
また、画像信号処理装置１００は、レート変換回路１０５で得られた画像信号Ｓｃに基づいて、画像信号Ｓｂを生成して出力する画像信号処理部１０６と、この画像信号処理部１０６で得られた画像信号を出力する出力端子１０７とを有している。
図１に示す画像信号処理装置１００の動作を説明する。入力端子１０４には４８０ｉ信号である画像信号Ｓａが供給され、この画像信号Ｓａはレート変換回路１０５に供給される。このレート変換回路１０５では、画像信号Ｓａの水平、垂直の画素数が変換され、１０８０ｉ信号である画像信号Ｓｃが生成される。
本実施の形態においては、ユーザのリモコン送信機１０３の操作による設定により、通常モードと、ズームモードとを切り換えることができる。通常モードの場合、画像信号Ｓａの有効画素部分の全部がレート変換の変換対象となって、画像信号Ｓｃが生成される。ズームモードの場合、ユーザによって指定された画像の拡大率に応じて、画像信号Ｓａの有効画素部分内の変換対象が変化し、この画像の拡大率に応じた画像信号Ｓｃが生成される。この場合、画像の拡大率が大きくなる程、画像信号Ｓａの有効画素部分内の変換対象は狭くなっていく。
レート変換回路１０５で得られた画像信号Ｓｃは画像信号処理部１０６に供給される。この画像信号処理部１０６では、画像信号Ｓｃに基づいて、画像信号Ｓｂが生成される。この画像信号Ｓｂは、出力端子１０７に導出される。上述したレート変換回路１０５では、所定画素の繰り返し読み出し、所定ラインの繰り返し読みを行うことによって水平、垂直の画素数が変換される。この画像信号処理部１０６では、画像信号Ｓｃを構成する各画素データのそれぞれに対応して、画像信号Ｓｂを構成する各画素データが、その画素データの位相情報に対応した係数データと、その画素データの周辺に位置する複数の画素データとを用い、推定式に基づいて算出される。
なお、ユーザは、リモコン送信機１０３の操作によって、画像信号Ｓｂによる画像の解像度およびノイズ除去度を調整できる。画像信号処理部１０６では、上述したように、画像信号Ｓｂを構成する各画素データが、推定式によって算出される。この推定式の係数データとして、解像度を定めるパラメータｆおよびノイズ除去度を定めるパラメータｇを含む生成式によって生成されたものが使用される。パラメータｆ，ｇは、ユーザのリモコン送信機１０３の操作によって調整される。これにより、画像信号処理部１０６で生成される画像信号Ｓｂによる画像の解像度およびノイズ除去度は、調整されたパラメータｆ，ｇに対応したものとなる。
次に、レート変換回路１０５の詳細を説明する。図３は、レート変換回路１０５の構成を示している。
このレート変換回路１０５は、入力画像信号を一時的に格納する第１のメモリとしてのフレームメモリ２０１を有している。このフレームメモリ２０１は、バースト転送型の大容量メモリで構成される。バースト転送型の大容量メモリとしてＳＤＲＡＭ(Synchronous Dynamic RAM)、フラッシュメモリなどがあるが、本実施の形態においては、フレームメモリ２０１はＳＤＲＡＭによって構成される。このフレームメモリ２０１は複数フィールド分の記憶容量を持っている。
また、レート変換回路１０５は、フレームメモリ（ＳＤＲＡＭ）２０１の書き込み、読み出しを制御するＳＤＲＡＭコントローラ２０２を有している。このＳＤＲＡＭコントローラ２０２は、ＳＤＲＡＭバス（データバス）２０３等を介してフレームメモリ２０１と接続される。
このＳＤＲＡＭコントローラ２０２は、書き込みバッファとしてのバッファ２０４Ｙ，２０４Ｃを備えている。これらバッファ２０４Ｙ，２０４ＣはＳＤＲＡＭバス２０３に接続されている。これらバッファ２０４Ｙ，２０４Ｃは、入力画像信号としての画像信号Ｓａ（図１参照）を構成する輝度信号Ｙａ、色差信号Ｕａ／Ｖａをそれぞれ一時的に記憶する。
ここで、色差信号Ｕａ／Ｖａは、青色差信号Ｕａと赤色差信号Ｖａとの点順次信号となっている。すなわち、輝度信号Ｙａのサンプリングレートは１３．５ＭＨｚであるが、色差信号Ｕａ，Ｖａのサンプリングレートは、それぞれ１３．５／２ＭＨｚとなっている。バッファ２０４Ｙ，２０４Ｃは、それぞれ２ライン分のＳＲＡＭ(Static RAM)で構成されている。このように２ライン分のＳＲＡＭを用いるのは、以下の理由からである。
すなわち、書き込み側のバッファに関しては入力画像信号Ｓａを連続的に受け入れる必要があるが、ＳＤＲＡＭバス２０３が読み出し動作で占有されている場合には、バッファ内容をフレームメモリ２０１に送り出しできず、バッファ２０４Ｙ，２０４Ｃをそれぞれ１ライン分のＳＲＡＭで構成した場合には時間的矛盾が発生する。そこで、本実施の形態においては、バッファ２０４Ｙ，２０４Ｃをそれぞれ２ライン分のＳＲＡＭで構成し、ＳＤＲＡＭバス２０３が読み出し動作で占有されている場合には、バッファ内容のフレームメモリ２０１への送り出しを待機可能とし、時間的矛盾の発生を回避している。
これらバッファ２０４Ｙ，２０４Ｃには、１３．５ＭＨｚの入力クロックＣＫｉに同期して、それぞれ輝度信号Ｙａ、色差信号Ｕａ／Ｖａが順次書き込まれていく。この場合、有効画素の部分だけ書き込みが行われ、従って各１ライン（７２０画素）は、入力クロックＣＫｉにおける７２０クロック期間で書き込みが行われる。
また、これらバッファ２０４Ｙ，２０４Ｃに書き込まれた各１ライン分の輝度信号Ｙａ、色差信号Ｕａ／Ｖａは、１０８ＭＨｚのメモリクロックＣＫｍに同期して時分割的に読み出されて、フレームメモリ２０１に書き込まれる。この場合、８ビットデータが３２ビットデータに変換されて転送される。つまり、４画素並列で処理され、従って各１ライン（７２０画素）は、メモリクロックＣＫｍの１８０クロック期間でバッファ２０４Ｙ，２０４Ｃからフレームメモリ２０１に送り出されて書き込まれる。
また、ＳＤＲＡＭコントローラ２０２は、読み出しバッファとしてのバッファ２０５Ｙ，２０５Ｃを備えている。これらバッファ２０５Ｙ，２０５Ｃは、フレームメモリ２０１から読み出される画像信号、すなわち輝度信号および色差信号をそれぞれ一時的に記憶する。これらバッファ２０５Ｙ，２０５ＣはＳＤＲＡＭバス２０３に接続されている。
バッファ２０５Ｙは１０ライン分のＳＲＡＭで構成される。このように１０ライン分のＳＲＡＭを用いるのは、後述する読み出しリクエストＲＲＱの一個に対応して、フレームメモリ２０１から読み出される輝度信号Ｙａが１０ライン分であることによる。また、バッファ２０５Ｃは２ライン分のＳＲＡＭで構成される。このように２ライン分のＳＲＡＭを用いるのは、後述する読み出しリクエストＲＲＱの一個に対応して、フレームメモリ２０１から読み出される色差信号Ｕａ／Ｖａが２ライン分であることによる。
フレームメモリ２０１に書き込まれた各１ライン分の輝度信号Ｙａ、色差信号Ｕａ／Ｖａは、１０８ＭＨｚのメモリクロックＣＫｍに同期して読み出され、バッファ２０５Ｙ，２０５Ｃに書き込まれる。この場合、４画素並列で処理され、従って各１ライン（７２０画素）は、メモリクロックＣＫｍの１８０クロック期間でフレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃに送り出されて書き込まれる。
そしてこの場合、バッファ２０５Ｙを構成する１０ライン分のＳＲＡＭのそれぞれに書き込まれる各１ライン分の輝度信号Ｙａおよびバッファ２０５Ｃを構成する２ライン分のＳＲＡＭのそれぞれに書き込まれる各１ライン分の色差信号Ｕａ／Ｖａは、フレームメモリ２０１からＳＤＲＡＭバス２０３を通じて時分割的に転送される。
また、ＳＤＲＡＭコントローラ２０２は、制御部２０６を有している。この制御部２０６は、後述する入力タイミングジェネレータ（入力ＴＧ）２０７から供給される書き込みリクエストＷＲＱに対応して、バッファ２０４Ｙ，２０４Ｃに供給すべき読み出しアドレスＲＡＤｉおよびフレームメモリ２０１に供給すべき書き込みアドレスＷＡＤｍを発生する。さらに、この制御部２０６は、後述するメモリタイミングジェネレータ（メモリＴＧ）２１１から供給される読み出しリクエストＲＲＱに対応して、フレームメモリ２０１に供給すべき読み出しアドレスＲＡＤｍおよびバッファ２０５Ｙ，２０５Ｃに供給すべき書き込みアドレスＷＡＤｏを発生する。
また、レート変換回路１０５は、入力タイミングジェネレータ（入力ＴＧ）２０７を有している。この入力ＴＧ２０７は、水平カウンタ２０８および垂直カウンタ２０９から構成されている。水平カウンタ２０８には、上述した輝度信号Ｙａ，色差信号Ｕａ／Ｖａに同期した入力クロックＣＫｉおよび水平同期信号ＨＤｉが供給される。垂直カウンタ２０９には、上述した輝度信号Ｙａ，色差信号Ｕａ／Ｖａに同期した水平同期信号ＨＤｉおよび垂直同期信号ＶＤｉが供給される。
垂直カウンタ２０９は、垂直同期信号ＶＤｉによりカウント値を「０」にリセットし、水平同期信号ＨＤｉが供給される毎にそのカウント値をインクリメントし、そのカウント値を水平カウンタ２０８に供給する。
水平カウンタ２０８は、水平同期信号ＨＤｉによりカウント値を「０」にリセットし、入力クロックＣＫｉが供給される毎にそのカウント値をインクリメントしていく。そして、水平カウンタ２０８は、垂直カウンタ２０９からのカウント値および自己のカウント値に基づいて、垂直方向の有効画素部分に該当する各ラインで、かつ水平方向の有効画素部分で、入力クロックＣＫｉに同期して書き込みアドレスＷＡＤｉを発生し、ＳＤＲＡＭコントローラ２０２内のバッファ２０４Ｙ，２０４Ｃに供給する。
さらに、水平カウンタ２０８は、垂直方向の有効画素部分に該当する各ラインで、水平方向の有効画素部分の書き込みアドレスＷＡＤｉを発生した後、水平同期信号ＨＤｉに同期して、書き込みリクエストＷＲＱを発生し、ＳＤＲＡＭコントローラ２０２内の制御部２０６に供給する。
また、レート変換回路１０５は、メモリタイミングジェネレータ（メモリＴＧ）２１１を有している。このメモリＴＧ２１１は、リクエストカウンタ２１２および垂直カウンタ２１３とから構成されている。リクエストカウンタ２１２には、メモリクロックＣＫｍが供給される。垂直カウンタ２１３には、後述する出力タイミングジェネレータ（出力ＴＧ）２１７から、出力画像信号Ｓｃにおける垂直方向の有効画素部分の開始タイミングで垂直リセット信号ＶＲＳが供給されると共に、リクエストカウンタ２１２より出力される読み出しリクエストＲＲＱが供給される。
垂直カウンタ２１３は、垂直リセット信号ＶＲＳによりカウント値を「０」にリセットし、読み出しリクエストＲＲＱが供給される毎にそのカウント値をインクリメントし、そのカウント値をリクエストカウンタ２１２に供給する。リクエストカウンタ２１２は、垂直カウンタ２１３からのカウント値に基づいて、そのカウント値が「０」〜「Ｎ−１」にあるとき、それぞれ読み出しリクエストＲＲＱを発生し、ＳＤＲＡＭコントローラ２０２内の制御部２０６に供給すると共に、垂直カウンタ２１３に供給する。
この場合、リクエストカウンタ２１２は、最初は垂直カウンタ２１３からのカウント値が「０」となったとき読み出しリクエストＲＲＱを発生するが、その後はメモリクロックＣＫｍを、ｎ個カウントする毎に、読み出しリクエストＲＲＱを発生する。
ここで、図４に示すように、入力画像信号Ｓａの有効画素部分内の一部または全部、すなわち垂直方向にａvライン（ａv≦２４０）、水平方向にａh画素（ａh≦７２０）の部分（レート変換対象部分ＡＴ）から、出力画像信号Ｓｃの有効画素部分を得るレート変換を行う場合、上述したＮはａvとなる。なお、図４においては、１フィールド分を示しているので、入力画像信号Ｓａおよび出力画像信号Ｓｃのそれぞれにおける有効画素部分の垂直方向の画素数（ライン数）は、図２における画素数（ライン数）の半分となっている。
読み出しリクエストＲＲＱが発生される毎に、フレームメモリ２０１からは、１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａが読み出されてバッファ２０５Ｙ，２０５Ｃに供給される。この場合、１０ライン分の輝度信号Ｙａは、後述するように、画像信号処理部１０６で、輝度信号Ｙｂにおける注目位置の輝度データを得る際に、予測タップおよびクラスタップを取得するために用いられる。同様に、２ライン分の色差信号Ｕａ／Ｖａは、後述するように、画像信号処理部１０６で、色差信号Ｕｂ／Ｖｂにおける注目位置の色差データを得る際に、予測タップおよびクラスタップを取得するために用いられる。
図４に示すようにレート変換を行う場合、垂直カウンタ２１３のカウント値が「０」で発生される読み出しリクエストＲＲＱに対しては、フレームメモリ２０１から、入力画像信号Ｓａのレート変換対象部分ＡＴに対応したａvラインの第１ラインに係る１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａが読み出されてバッファ２０５Ｙ，２０５Ｃに供給される。以下、垂直カウンタ２１３のカウント値が「１」〜「Ｎ−１」で発生される読み出しリクエストＲＲＱに対しては、それぞれ、フレームメモリ２０１から、入力画像信号Ｓａのレート変換対象部分ＡＴに対応したａvラインの第２ライン〜第Ｎラインに係る１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａが読み出されてバッファ２０５Ｙ，２０５Ｃに供給される。
また、リクエストカウンタ２１２で発生される読み出しリクエストＲＲＱの周期は、出力画像信号Ｓｃの１垂直有効期間を、入力画像信号Ｓａのレート変換の対象となるライン数で均等割りして得られる時間とされる。すなわち、その周期をｔ、出力画像信号Ｓｃの画素周波数をｆo、入力画像信号Ｓａの変換対象のライン数をｍi、出力画像信号Ｓｃの１垂直有効期間のライン数をｍo、出力画像信号Ｓｃの１ライン当たりの画素数をｎoとするとき、ｔ＝ｍo／ｍi／ｆo×ｎoとされる。
上述したように、リクエストカウンタ２１２は、メモリクロックＣＫｍをｎ個カウントする毎に、読み出しリクエストＲＲＱを発生する。このｎは、上述した周期ｔを、メモリクロックＣＫｍの周期で割算することで得られる。すなわち、メモリクロックＣＫｍの周期は１／１０８ＭＨｚであるので、ｎ＝ｍo／ｍi×１０８ＭＨｚ／ｆo×ｎoとされる。
図５は、理解が容易となるように、入力画像信号Ｓａの変換対象のライン数ｍiが５、出力画像信号Ｓｃの１垂直有効期間のライン数ｍoが１２であるとして、変換対象のラインがフレームメモリ２０１から一定時間毎に読み出される場合における、出力画像信号Ｓｃの１垂直有効期間のラインと入力画像信号Ｓａの変換対象のラインとの対応を示している。この図５において、実線ａは出力画像信号Ｓｃのラインを示し、一点鎖線ｂは入力画像信号Ｓａの変換対象のラインを示している。
図６Ａは、フレームメモリ２０１から読み出される、入力画像信号Ｓａの変換対象の各ラインを示している。図６Ｂは、出力画像信号Ｓｃの１垂直有効期間の各ラインを示している。この場合、フレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃへのデータの転送周期に変動がないため、データ転送帯域の安定確保を図ることができる。
なお、図７は、本実施の形態とは異なり、変換対象のラインがフレームメモリ２０１から、出力画像信号Ｓｃのラインに同期して、読み出される場合における、出力画像信号Ｓｃの１垂直有効期間のラインと入力画像信号Ｓａの変換対象のラインとの対応を示している。この図７において、実線ａは出力画像信号Ｓｃのラインを示し、一点鎖線ｂは入力画像信号Ｓａの変換対象のラインを示している。
図８Ａは、フレームメモリ２０１から読み出される、入力画像信号Ｓａの変換対象の各ラインを示している。図８Ｂは、出力画像信号Ｓｃの１垂直有効期間の各ラインを示している。この場合、フレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃへのデータの転送周期に疎密ができるため、データ転送帯域の使用効率は密の部分（転送周期の短い部分）で規定される。
また、メモリＴＧ２１１のリクエストカウンタ２１１は、読み出しリクエストＲＲＱに対応して、フレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃに輝度信号Ｙａ、色差信号Ｕａ／Ｖａが転送されて書き込まれた後に、バッファ２０５Ｙ，２０５Ｃに供給すべき読み出しアドレスＲＡＤｏ、および後述する第２のメモリとしてのレート変換部２１５Ｙ，２１５Ｃに供給すべき書き込みアドレスＷＡＤｒを発生する。
また、レート変換回路１０５は、レート変換部２１５Ｙ，２１５Ｃを有している。レート変換部２１５Ｙは、上述したバッファ２０５Ｙが１０ライン分のＳＲＡＭで構成されているのに対応して、１０系統のデュアルポートラインメモリ（ＳＲＡＭ）で構成されている。同様に、レート変換部２１５Ｃは、上述したバッファ２０５Ｃが２ライン分のＳＲＡＭで構成されているのに対応して、２系統のデュアルポートラインメモリ（ＳＲＡＭ）で構成されている。ここで、各系統のＳＲＡＭはリング構造とされており、レート変換処理で書き込みが読み出しを追い越すことがないように、所定以上の記憶容量をもっている。
上述したように、メモリＴＧ２１１から、バッファ２０５Ｙ，２０５Ｃに読み出しアドレスＲＡＤｏが供給されると共に、レート変換部２１５Ｙ，２１５Ｃに書き込みアドレスＷＡＤｒが供給されることで、各読み出しリクエストＲＲＱに対応して、フレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃに時分割的に転送されて書き込まれた１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａは、さらにレート変換部２１５Ｙ，２１５Ｃに並行して転送されて書き込まれる。
また、レート変換回路１０５は、出力タイミングジェネレータ（出力ＴＧ）２１７を有している。この出力ＴＧ２１７は、アドレス発生部２１８および垂直カウンタ２１９から構成されている。アドレス発生部２１８には、出力画像信号Ｓｃに同期した７４．２５ＭＨｚの出力クロックＣＫｏが供給される。アドレス発生部２１８は、この出力クロックＣＫｏをカウントすることで、出力画像信号Ｓｃに同期した水平同期信号ＨＤｏを生成する。この水平同期信号ＨＤｏは垂直カウンタ２１９に供給される。
垂直カウンタ２１９には、さらに、出力画像信号Ｓｃに同期した垂直同期信号ＶＤｏが供給される。垂直カウンタ２１９は、垂直同期信号ＶＤｏによりカウント値を「０」にリセットし、水平同期信号ＨＤｏが供給される毎にそのカウント値をインクリメントする。そして、この垂直カウンタ２１９は、そのカウント値に基づいて、出力画像信号Ｓｃにおける垂直方向の有効画素部分の開始画素位置で、上述した垂直リセット信号ＶＲＳを発生し、この垂直リセット信号ＶＲＳをメモリＴＧ２１１の垂直カウンタ２１３に供給する。
また、アドレス発生部２１８には、垂直カウンタ２１９のカウント値が供給される。アドレス発生部２１８は、出力画像信号Ｓｃにおける垂直方向の有効画素部分の各ラインで、その水平方向の有効部分に対応して読み出しアドレスＲＡＤｒを発生し、レート変換部２１５Ｙ，２１５Ｃに供給する。
この場合、アドレス発生部２１８は、出力画像信号Ｓｃの水平方向および垂直方向の有効画素部分の開始画素位置（図４のＰ点参照）で、基準アドレスＲＡＤr0を発生する。この基準アドレスＲＡＤr0は、レート変換部２１５Ｙ，２１５Ｃにおける、入力画像信号Ｓａのレート変換対象部分ＡＴの開始位置（図４のＱ点参照）に対応した画素データの記録位置を示すものである。
そして、アドレス発生部２１８は、水平方向の有効画素部分の開始画素位置の位相情報を０とし、その後出力クロックＣＫｏが供給される画素位置毎に、水平拡大率の逆数Ｍhを加算し、加算値が４０９６より小さいときは、その加算値をその画素位置の水平方向の位相情報ｈとし、一方、加算値が４０９６以上となるときは、桁上がりが発生し、その加算値から４０９６を減算した値を、その画素位置の水平方向の位相情報ｈとする。なお、位相情報ｈは、小数点以下を、例えば四捨五入した値とする。以下の垂直方向の位相情報ｖについても同様である。
そして、アドレス発生部２１８は、加算値が４０９６より小さく、桁上がりが発生しないときは、その画素位置に対応した読み出しアドレスＲＡＤｒとして直前の画素位置と同じものを出力し、一方桁上がりが発生するときは、その画素位置に対応した読み出しアドレスＲＡＤｒとして直前の画素位置のアドレスから１進めたものを出力する。
このように、加算値が４０９６より小さく、桁上がりが発生しないときは、その画素位置に対応した読み出しアドレスＲＡＤｒとして直前の画素位置と同じものを出力し、その画素位置でレート変換部２１５Ｙ，２１５Ｃから直前の画素位置と同じ画素データを読み出すものであり、これにより水平方向の画素数を増加させることができる。
ここで、拡大率の逆数Ｍhは、
Ｍh＝（入力画像信号Ｓａのレート変換対象部分ＡＴの水平方向の画素数）／（出力画像信号Ｓｃの有効画素部分の水平方向の画素数）×正規化定数
の式により求められる。本実施の形態において、正規化定数は４０９６である。これは、入力画像信号Ｓａの水平方向の画素間を４０９６等分して出力画像信号の各画素の水平方向の位相を定義していることによる。例えば、図４に示すようにレート変換を行う場合、Ｍh＝ａh／１９２０×４０９６となる。
また、アドレス発生部２１８は、垂直方向の有効画素部分の開始画素位置の位相情報を０とし、その後水平同期信号ＨＤｏが発生されるライン毎に、垂直拡大率の逆数Ｍvを加算し、加算値が４０９６より小さいときは、その加算値をそのラインの垂直方向の位相情報ｖとし、一方、加算値が４０９６以上となるときは、桁上がりが発生し、その加算値から４０９６を減算した値を、そのラインの垂直方向の位相情報ｖとする。
そして、アドレス発生部２１８は、加算値が４０９６より小さく、桁上がりが発生しないときは、そのラインに対応した読み出しアドレスＲＡＤｒとして直前のラインと同じものを出力し、一方桁上がりが発生するときは、そのラインに対応した読み出しアドレスＲＡＤｒとして、入力画像信号Ｓａの次のラインの画素データを読み出すように変更したものを出力する。
ここで、拡大率の逆数Ｍvは、
Ｍv＝（入力画像信号Ｓａのレート変換対象部分ＡＴの垂直方向の画素数）／（出力画像信号Ｓｃの有効画素部分の垂直方向の画素数）×正規化定数
の式により求められる。本実施の形態において、正規化定数は４０９６である。これは、入力画像信号Ｓａの垂直方向の画素間を４０９６等分して出力画像信号の各画素の垂直方向の位相を定義していることによる。例えば、図４に示すようにレート変換を行う場合、Ｍv＝ａv／５４０×４０９６となる。
このように、加算値が４０９６より小さく、桁上がりが発生しないときは、そのラインに対応した読み出しアドレスＲＡＤｒとして直前のラインと同じものを出力し、そのラインでレート変換部２１５Ｙ，２１５Ｃから直前のラインと同じ画素データを読み出すものであり、これにより垂直方向の画素数（ライン数）を増加させることができる。
図９は、入力画像信号Ｓａの輝度信号Ｙａから出力画像信号Ｓｃの輝度信号Ｙｃへのレート転換の一例を示している。この例は、輝度信号Ｙａの水平７２０画素、垂直２４０画素のレート変換対象部分ＡＴから、輝度信号Ｙｃの水平１９２０画素、垂直４８０画素の有効画素部分を得た場合の例である。
この場合、水平方向の拡大率の逆数Ｍhは、Ｍh＝７２０／１９２０×４０９６＝１５３６となり、輝度信号Ｙｃの水平方向の各画素位置の位相情報ｐｈｙは、０→１５３６→３０７２→５１２（＝４６０８−４０９６）→２０４６→・・・のように推移していく。また、垂直方向の拡大率の逆数Ｍvは、Ｍv＝２４０／５４０×４０９６≒１８２０となり、輝度信号Ｙｃの垂直方向の各画素位置の位相情報ｐｖｙは、０→１８２０→３６４０→１３６４（＝５４６０−４０９６）→３１８４→・・・のように推移していく。
図１０は、入力画像信号Ｓａの色差信号Ｕａ（Ｖａ）から出力画像信号Ｓｃの色差信号Ｕｃへのレート転換の一例を示している。この例は、色差信号Ｕａ（Ｖａ）の水平３６０画素、垂直２４０画素のレート変換対象部分ＡＴから、色差信号Ｕｃ（Ｖｃ）の水平１９２０画素、垂直４８０画素の有効画素部分を得た場合の例である。なお、上述したように、入力画像信号Ｓａにおける青色差信号Ｕａおよび赤色差信号Ｖａは点順次信号となっており、それぞれの画素数は輝度信号Ｙａの半分である。そのため、色差信号Ｕａ（Ｖａ）の水平３６０画素は、上述した輝度信号の水平７２０画素に対応している。
この場合、水平方向の拡大率の逆数Ｍhは、Ｍh＝３６０／１９２０×４０９６＝７６８となり、色差信号Ｕｃ（Ｖｃ）の水平方向の各画素位置の位相情報ｐｈｃは、０→７６８→１５３６→２３０４→３０７２→３８４０→５１２（＝４６０８−４０９６）→１２８０→・・・のように推移していく。また、垂直方向の拡大率の逆数Ｍvは、Ｍv＝２４０／５４０×４０９６≒１８２０となり、色差信号Ｕｃ（Ｖｃ）の垂直方向の各画素位置の位相情報ｐｖｃは、０→１８２０→３６４０→１３６４（＝５４６０−４０９６）→３１８４→・・・のように推移していく。
なお、上述したように、入力画像信号Ｓａにおける青色差信号Ｕａおよび赤色差信号Ｖａは点順次信号となっており、レート変換部２１５Ｃには、２系統のＳＲＡＭにそれぞれその点順次信号が書き込まれた状態となっている。しかし、このレート変換部２１５Ｃから出力される際には、青色差信号Ｕｃおよび赤色差信号Ｖｃが別個独立して出力される。この場合、レート変換部２１５Ｃは青色差信号Ｕｃの読み出しポートおよび赤色差信号Ｖｃの読み出しポートをそれぞれ備えており、出力ＴＧ２１７のアドレス発生部２１８から出力される読み出しアドレスＲＡＤｒとして、青色差信号Ｕｃ用のものと、赤色差信号Ｖｃ用のものとが別個独立に供給される。
図１１は、図９の例に対応した輝度信号の水平方向の画素数変換におけるタイミングチャートを示している。図１１Ａは、輝度信号Ｙａに同期した水平同期信号ＨＤiを示し、図１１Ｂは、輝度信号Ｙａのあるラインを示しており、１、２、３、・・・は、レート変換対象部分ＡＴを構成する第１の画素データ、第２の画素データ、第３の画素データ、・・・である。
また、図１１Ｃは、メモリＴＧ２１１より出力され、ＳＤＲＡＭコントローラ２０２内の制御部２０６に供給される読み出しリクエストＲＲＱを示し、図１１Ｄは、読み出しリクエストＲＲＱに対応してフレームメモリ２０１から読み出され、バッファ２０５Ｙを介してレート変換部２１５Ｙに入力された輝度信号Ｙａを示している。
そして、図１１Ｅは、輝度信号Ｙｃに同期した水平同期信号ＨＤｏを示し、図１１Ｆは、レート変換部２１５Ｙから出力される輝度信号Ｙｃのあるラインを示しており、１、２、３、・・・は、レート変換対象部分ＡＴを構成する輝度信号Ｙａの第１の画素データ、第２の画素データ、第３の画素データ、・・・にそれぞれ対応した画素データであることを示している。
図１２は、図１０の例に対応した色差信号の水平方向の画素数変換におけるタイミングチャートを示している。図１２Ａは、色差信号Ｕａ／Ｖａに同期した水平同期信号ＨＤiを示し、図１２Ｂは、色差信号Ｕａ／Ｖａのあるラインを示しており、１、２、・・・は、レート変換対象部分ＡＴを構成する青色差信号Ｕａの第１の画素データ、第２の画素データ、・・・であり、１′、２′、・・・は、レート変換対象部分ＡＴを構成する赤色差信号Ｖａの第１の画素データ、第２の画素データ、・・・である。
また、図１２Ｃは、メモリＴＧ２１１より出力され、ＳＤＲＡＭコントローラ２０２内の制御部２０６に供給される読み出しリクエストＲＲＱを示し、図１２Ｄは、読み出しリクエストＲＲＱに対応してフレームメモリ２０１から読み出され、バッファ２０５Ｃを介してレート変換部２１５Ｃに入力された色差信号Ｕａ／Ｖａを示している。
図１２Ｅは、青色差信号Ｕｃ、赤色差信号Ｖｃに同期した水平同期信号ＨＤｏを示している。そして、図１２Ｆは、レート変換部２１５Ｃから出力される青色差信号Ｕｃのあるラインを示しており、１、２、３、・・・は、レート変換対象部分ＡＴを構成する青色差信号Ｕａの第１の画素データ、第２の画素データ、第３の画素データ、・・・にそれぞれ対応した画素データであることを示している。また、図１２Ｇは、レート変換部２１５Ｃから出力される赤色差信号Ｖｃのあるラインを示しており、１′、２′、３′、・・・は、レート変換対象部分ＡＴを構成する赤色差信号Ｖａの第１の画素データ、第２の画素データ、第３の画素データ、・・・にそれぞれ対応した画素データであることを示している。
図１３は、図９、図１０の例に対応した画像信号（輝度信号、色差信号）の垂直方向のライン数変換（画素数変換）におけるタイミングチャートを示している。図１３Ａは、画像信号Ｓａ（輝度信号Ｙａ，色差信号Ｕａ／Ｖａ）に同期した垂直同期信号ＶＤiを示し、図１３Ｂは、画像信号Ｓａの連続したラインを示しており、１、２、３、・・・は、レート変換対象部分ＡＴを構成する第１のライン、第２のライン、第３のライン、・・・である。
また、図１３Ｃは、メモリＴＧ２１１より出力され、ＳＤＲＡＭコントローラ２０２内の制御部２０６に供給される読み出しリクエストＲＲＱを示し、図１３Ｄは、読み出しリクエストＲＲＱに対応してフレームメモリ２０１から読み出され、バッファ２０５Ｙ，２０５Ｃを介してレート変換部２１５Ｙ，２１５Ｃに入力された画像信号Ｓａを示している。
そして、図１３Ｅは、画像信号Ｓｃ（輝度信号Ｙｃ，青色差信号Ｕｃ，赤色差信号Ｖｃ）に同期した垂直同期信号ＶＤｏを示し、図１３Ｆは、レート変換部２１５Ｙ，２１５Ｃから出力される画像信号Ｓｃの連続したラインを示しており、１、２、３、・・・は、レート変換対象部分ＡＴを構成する画像信号Ｓａの第１のライン、第２のライン、第３のライン、・・・にそれぞれ対応したラインであることを示している。
図３に戻って、レート変換部２１５Ｙは、上述したように１０系統のＳＲＡＭからなっており、出力ＴＧ２１７で発生される読み出しアドレスＲＡＤｒに基づいて、１０ライン分の輝度信号Ｙｃを並列的に出力する。さらに、ライン遅延を持った８ライン分の輝度信号も並列的に出力する。この場合、レート変換部２１５Ｙの各系統のＳＲＡＭはそれぞれリング構造となっており、ある読み出しポートのアドレスから１ライン分の画素数だけ小さなアドレスを別のポートで読み出すことでライン遅延を持った輝度信号を得ることができる。
結局、レート変換部２１５Ｙからは、１８ライン分の輝度信号Ｙｃが並列的に得られる。１８ライン分の輝度信号Ｙｃは、後述する画像信号処理部１０６で、出力画像信号Ｓｂを構成する輝度信号Ｙｂにおける注目位置の輝度データを得る際の、予測タップおよびクラスタップを抽出するために用いられる。
図１４Ａは、輝度信号のタップ領域の一例を示しており、白丸で示す０〜９の１０ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す１０〜１７の８ラインはライン遅延を持ったラインである。この場合、例えば１３のラインが中心位置とされる。
また、図１５Ａは、輝度信号のタップ領域の他の例を示しており、白丸で示す０〜９の１０ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す１０〜１７の８ラインはライン遅延を持ったラインである。この場合、例えば１３のラインが中心位置とされる。
また、レート変換部２１５Ｃは、上述したように２系統のＳＲＡＭからなっており、出力ＴＧ２１７で発生される読み出しアドレスＲＡＤｒに基づいて、青色差信号Ｕｃおよび赤色差信号Ｖｃのそれぞれにつき、２ライン分の色差信号を並列的に出力する。さらに、青色差信号Ｕｃおよび赤色差信号Ｖｃのそれぞれにつき、ライン遅延を持った２ライン分の色差信号も並列的に出力する。この場合、レート変換部２１５Ｃの各系統のＳＲＡＭはそれぞれリング構造となっており、ある読み出しポートのアドレスから１ライン分の画素数だけ小さなアドレスを別のポートで読み出すことでライン遅延を持った色差信号を得ることができる。
結局、レート変換部２１５Ｃからは、青色差信号Ｕｃおよび赤色差信号Ｖｃのそれぞれにつき、４ライン分の色差信号が並列的に得られる。４ライン分の色差信号は、後述する画像信号処理部１０６で、出力画像信号Ｓｂを構成する色差信号における注目位置の色差データを得る際の、予測タップおよびクラスタップを抽出するために用いられる。
図１４Ｂは、色差信号のタップ領域の一例を示しており、白丸で示す０，１の２ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す２，３の２ラインはライン遅延を持ったラインである。この場合、例えば２のラインが中心位置とされる。
また、図１５Ｂは、色差信号のタップ領域の他の例を示しており、白丸で示す０，１の２ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す２，３の２ラインはライン遅延を持ったラインである。この場合、例えば２のラインが中心位置とされる。
なお、上述したように、レート変換部２１５Ｙ，２１５Ｃが備える各系統のＳＲＡＭはそれぞれリング構造とされている。この場合、各系統のＳＲＡＭとしてどれだけのメモリ容量が必要かは、図１６に示すような、動作モデルによる理論値と実使用条件でのエミュレーションで保証する。
図１６Ｂは、レート変換部への入力ラインを示しており、図１６Ｃはその出力ラインを示している。また、図１６Ａは、入力ラインに対応した書き込みアドレスの遷移（破線図示）と、出力ラインに対応した読み出しアドレスの遷移（実線図示）とを示している。この図１６Ａから、各系統のＳＲＡＭのメモリ容量として、Ｗ以上が必要であることがわかる。
図３に戻って、また、レート変換回路１０５は、タップ構築回路２２１Ｙ，２２１Ｃを有している。タップ構築回路２２１Ｙは、レート変換部２１５Ｙで得られる１８ライン分の輝度信号Ｙｃのそれぞれにつき、後述する画像信号処理部１０６で、出力画像信号Ｓｂを構成する輝度信号Ｙｂにおける注目位置の輝度データを得る際に、予測タップおよびクラスタップとして用いられる水平方向のタップを構築する。
タップ構築回路２２１Ｃは、レート変換部２１５Ｃで得られる４ライン分の青色差信号Ｕｃのそれぞれにつき、後述する画像信号処理部１０６で、出力画像信号Ｓｂを構成する青色差信号Ｕｂにおける注目位置の色差データを得る際に、予測タップおよびクラスタップとして用いられる水平方向のタップを構築する。
さらに、タップ構築回路２２１Ｃは、レート変換部２１５Ｃで得られる４ライン分の赤色差信号Ｖｃのそれぞれにつき、後述する画像信号処理部１０６で、出力画像信号Ｓｂを構成する赤色差信号Ｖｂにおける注目位置の色差データを得る際に、予測タップおよびクラスタップとして用いられる水平方向のタップを構築する。
タップ構築回路２２１Ｙの詳細を説明する。
このタップ構築回路２２１Ｙは、図１７に示すように、レート変換部２１５Ｙで得られる１８ライン分の輝度信号Ｙｃにそれぞれ対応して１８個のシフトレジスタ２２２-1〜２２２-18を備えている。各シフトレジスタは、構築すべき水平方向のタップ数分のレジスタからなっている。本実施の形態においては、水平５タップを構築する。
ここで、シフトレジスタに、各ラインの有効画素部分に対応して、上述したように得られたレート変換後の輝度信号Ｙｃの輝度データ列そのもの、つまり本来の輝度データ列が入力される場合を考える。なお、シフトレジスタには、輝度信号Ｙｃの輝度データ列の輝度データの変化位置に対応したシフトトリガＳＴＲが供給され、輝度信号Ｙｃの輝度データ列の変化位置の輝度データが順次取り込まれていくものとする。
まず、レート変換部２１５Ｙで水平方向の画素数が整数倍、例えば２倍に変換された場合を説明する。この場合、図１８に示すような状態となる。図１８Ｂは、レート変換後の輝度信号Ｙｃのあるラインを示し、１、２、３、・・・は、レート変換前の輝度信号Ｙａのレート変換対象部分ＡＴを構成する第１の輝度データ、第２の輝度データ、第３の輝度データ、・・・にそれぞれ対応した輝度データであることを示している。図１８Ｃは、輝度データの変化点に対応して発生されたシフトトリガＳＴＲを示している。なお、図１８Ａは、レート変換前の輝度信号Ｙａの各輝度データを、輝度信号Ｙｃの輝度データ列における輝度データの変化位置に対応して配置したものである。
タップ構築回路２２１Ｙで水平５タップのタップを構築する場合、センタータップは、図１８Ｅに示すように変化する。なお、図１８Ｄは、センタータップの変化タイミングを示している。
この場合、センタータップの変化が、レート変換後の輝度信号Ｙｃの輝度データ列の並びと対応したものとなるため、レート変換前の輝度信号Ｙａにおける輝度データの並びで水平５タップを得ることができる。
なお、タップ構築部２２１Ｙに輝度信号Ｙｃの入力が開始されてから、シフトレジスタに水平５タップの輝度データが取り込まれ、最初の水平５タップが出力されるまでの時間を出力開始ディレイと称し、その場合のセンタータップの輝度データがシフトレジスタに取り込まれてからセンタータップとして出力されるまでの時間をシステムディレイと称する。
出力開始ディレイは、画素数の変換倍率によって変動する。そのため、このタップ構築回路２２１Ｙで構築された輝度信号Ｙｃの水平５タップを使用する場合、後述する画像信号処理部１０６で、他の系の信号との時間調整のために、画素数の変換倍率によって遅延時間を可変できる可変遅延回路が必要となる。
次に、レート変換部２１５Ｙで水平方向の画素数が任意倍率、例えば７／３倍に変換される場合を説明する。この場合には、図１９に示すような状態となる。図１９Ｂは、レート変換後の輝度信号Ｙｃのあるラインを示し、１、２、３、・・・は、輝度信号Ｙａのレート変換対象部分ＡＴを構成する第１の輝度データ、第２の輝度データ、第３の輝度データ、・・・にそれぞれ対応した輝度データであることを示している。図１９Ｃは、輝度データの変化点に対応して発生されたシフトトリガＳＴＲを示している。なお、図１９Ａは、レート変換前の輝度信号Ｙａの各輝度データを、輝度信号Ｙｃの輝度データ列における輝度データの変化位置に対応して配置したものである。
タップ構築回路２２１Ｙで水平５タップを構築する場合、センタータップは、図１９Ｅに示すように変化する。なお、図１９Ｄは、センタータップの変化タイミングを示している。
この場合、センタータップの変化が、レート変換後の輝度信号Ｙｃの輝度データ列の並びと対応しない部分が発生する。すなわち、時点ｔAではシフトレジスタの状態は図２０Ａに示す状態にあり、センタータップとして輝度データ「４」を出力する。そして、次の時点ＸではシフトトリガＳＴＲが供給されるので、シフトレジスタの状態は、図２０Ｂに示すように変化し、センタータップとして輝度データ「５」を出力する。さらに、次の時点ｔBでは、シフトトリガＳＴＲが供給されないので、シフトレジスタの状態は時点Ｘにおける状態と同じく図２０Ｃに示す状態にあり、センタータップとして輝度データ「５」を出力する。
図１９Ｆに期待されるセンタータップの変化を示しているが、時点Ｘではセンタタップとして輝度データ「４」ではなく輝度データ「５」が出力される。したがってこの場合には、レート変換前の輝度信号Ｙａにおける輝度データの並びで水平５タップを得ることができなくなる。
そこで、シフトレジスタを構成するレジスタの個数を１個だけ増加して６個とし、当該シフトレジスタから選択的に水平５タップを構築することが考えられる。この場合、時点ｔAではシフトレジスタの状態は図２１Ａに示す状態にあり、センタータップが輝度データ「４」となるように、１〜５のレジスタの出力をタップとして出力する。そして、次の時点ＸではシフトトリガＳＴＲが供給されるので、シフトレジスタの状態は、図２１Ｂに示すように変化し、センタータップが輝度データ「４」となるように、２〜６のレジスタの出力をタップとして出力する。さらに、次の時点ｔBでは、シフトトリガＳＴＲが供給されないので、シフトレジスタの状態は時点Ｘにおける状態と同じく図２１Ｃに示す状態にあり、センタータップが輝度データ「５」となるように、１〜５のレジスタの出力をタップとして出力する。
このようにすることで、センタータップの変化が、レート変換後の輝度信号Ｙｃの輝度データ列の並びと対応したものとなるため、レート変換前の輝度信号Ｙａにおける輝度データの並びで水平５タップを得ることができる。しかしこの場合、位相を計算し、センタータップ位置を特定する回路が必要となる。また、この場合においても、出力開始ディレイは、画素数の変換倍率によって変動する。
そこで、センタータップの変化がレート変換後の輝度信号Ｙｃの輝度データ列の並びと対応したものとなるように、輝度信号Ｙｃの輝度データ列における輝度データの変化位置を変更してなる変更輝度データ列をシフトレジスタに入力することが考えられる。
この場合、レート変換部２１５Ｙからタップ構築部２２１Ｙには、輝度信号Ｙｃ（図２２Ｂに図示）を変更して得られた図２２Ｅに示す輝度信号Ｙｃ′が供給される。またこの場合、レート変換部２１５Ｙからタップ構築部２２１Ｙのシフトレジスタには、シフトトリガＳＴＲ（図２２Ｃに図示）に代わって、図２２Ｄに示すように、輝度信号Ｙｃ′の輝度データ列における輝度データの変化位置に対応したシフトトリガＳＴＲ′が供給される。
ここで、シフトレジスタがセンタータップを出力するレジスタに対して、その出力側にｎo個、その入力側にｎi個のレジスタを備えるものとする。上述したように、水平５タップを構築する場合には、ｎo＝ｎi＝２である。シフトトリガＳＴＲ′は、シフトトリガＳＴＲの先頭に、ｎi個の先読み用トリガを付加したものとなる。なお、先読み用トリガのタイミングは、図２２Ｄのタイミングに限定されるものではなく、要は輝度データ「１」，「２」がシフトレジスタに取り込まれればよい。
タップ構築回路２２１Ｙで水平５タップを構築する場合、センタータップは、図２２Ｇに示すように変化する。図２２Ｆは、センタータップの変化タイミングを示している。また、図２２Ａは、レート変換前の輝度信号Ｙａの各輝度データを、輝度信号Ｙｃの輝度データ列における輝度データの変化位置に対応して配置したものである。
この場合、時点ｔAではシフトレジスタの状態は図２３Ａに示す状態にあり、センタータップとして輝度データ「４」を出力する。そして、次の時点ＸではシフトトリガＳＴＲ′が供給されないので、シフトレジスタの状態は時点ｔAにおける状態と同じく図２３Ｂに示す状態にあり、センタータップとして輝度データ「４」を出力する。さらに、次の時点ｔBでは、シフトトリガＳＴＲ′が供給されるので、シフトレジスタの状態は、図２３Ｂに示すように変化し、センタータップとして輝度データ「５」を出力する。
このようにレート変換部２１５Ｙからタップ構築回路２２１Ｙに、輝度信号Ｙｃ′（図２２Ｅに図示）およびシフトトリガＳＴＲ′（図２２Ｄに図示）を供給することで、センタータップの変化がレート変換後の輝度信号Ｙｃの輝度データ列の並びと対応したものとなり、レート変換前の輝度信号Ｙａにおける輝度データの並びで水平５タップを得ることができる。
しかしこの場合、出力開始ディレイは、画素数の変換倍率によって変動する。そのため、このタップ構築回路２２１Ｙで構築された輝度信号Ｙｃの水平５タップを使用する場合、画像信号処理部１０６で、他の信号、例えば後述する位相情報（ｐｈｙ，ｐｖｙ），（ｐｈｃ，ｐｖｃ）との時間調整のために、画素数の変換倍率によって遅延時間を可変できる可変遅延回路が必要となる。
そこで、さらに、本実施の形態においては、画素数の変換倍率に依らず、出力開始ディレイが一定となるようにする。
そのため、シフトレジスタがセンタータップを出力するレジスタに対して、その出力側にｎo個、その入力側にｎi個のレジスタを備えるとき、各ラインで、最初の（ｎo＋ｎi）個の輝度データが連続して変化した輝度データ列をシフトレジスタに入力することが考えられる。上述したように水平５タップを構築する場合には、ｎo＝ｎi＝２であり、ｎo＋ｎi＝４である。
この場合、レート変換部２１５Ｙからタップ構築部２２１Ｙには、輝度信号Ｙｃ（図２４Ｂに図示）を変更して得られた図２４Ｅに示す輝度信号Ｙｃ″が供給される。またこの場合、レート変換部２１５Ｙからタップ構築部２２１Ｙのシフトレジスタには、シフトトリガＳＴＲ（図２４Ｃに図示）に代わって、図２４Ｄに示すように、輝度信号Ｙｃ″の輝度データ列における輝度データの変化位置に対応したシフトトリガＳＴＲ″が供給される。
タップ構築回路２２１Ｙで水平５タップを構築する場合、センタータップは、図２４Ｇに示すように変化する。図２４Ｆは、センタータップの変化タイミングを示している。また、図２４Ａは、レート変換前の輝度信号Ｙａの各輝度データを、輝度信号Ｙｃの輝度データ列における輝度データの変化位置に対応して配置したものである。
このように、各ラインで、最初の（ｎo＋ｎi）個の輝度データが連続して変化した輝度データ列をシフトレジスタに入力することで、出力開始ディレイを、出力クロックＣＫoの（ｎo＋ｎi）クロック時間に固定できる。
そして、この場合も、センタータップの変化がレート変換後の輝度信号Ｙｃの輝度データ列の並びと対応したものとなり、レート変換前の輝度信号Ｙａにおける輝度データの並びで水平５タップを得ることができる。
なお、上述では、シフトトリガＳＴＲ′，ＳＴＲ″がレート変換部２１５Ｙより得られる旨説明したが、レート変換部２１５Ｙ以外の部分、例えば出力ＴＧ２１７で得るようにすることもできる。この出力ＴＧ２１７は、レート変換部２１５Ｙに読み出しアドレスＲＡＤｒを供給しており、輝度信号Ｙｃ′、Ｙｃ″の輝度データ列における輝度データの変化位置の情報を容易に得ることができる。
また、詳細説明は省略するが、タップ構築回路２２１Ｃも、上述したタップ構築回路２２１Ｙと同様に構成される。この場合、レート変換部２１５Ｃからタップ構築回路２２１Ｃには、上述した輝度信号Ｙｃ″、シフトトリガＳＴＲ″と同様に変更された、色差信号Ｕｃ″，Ｖｃ″およびシフトトリガＳＴＲ″が供給される。これにより、タップ構築回路２２１Ｃにおいては、レート変換前の色差信号Ｕａ，Ｖａにおける色差データの並びで水平５タップを得ることができ、また出力開始ディレイも固定とできる。
次に、図３に示すレート変換回路１０５の動作を説明する。
入力端子１０４（図１参照）に入力される画像信号Ｓａを構成する輝度信号Ｙａ、色差信号Ｕａ／Ｖａは、それぞれＳＤＲＡＭコントローラ２０２内のバッファ２０４Ｙ，２０４Ｃにそれぞれ供給される。これらバッファ２０４Ｙ，２０４Ｃのそれぞれには、各ラインで、水平方向の有効画素部分に対応して、入力ＴＧ２０７から書き込みアドレスＷＡＤｉが供給され、輝度信号Ｙａ、色差信号Ｕａ／Ｖａが順次書き込まれる。
また、各ラインで、水平方向の有効画素部分が終了した後に、入力ＴＧ２０７から書き込みリクエストＷＲＱが発生される。この書き込みリクエストＷＲＱは、ＳＤＲＡＭコントローラ２０２内の制御部２０６に供給される。制御部２０６は、この書き込みリクエストＷＲＱに対応して、バッファ２０４Ｙ，２０４Ｃに供給すべき読み出しアドレスＲＡＤｉおよびフレームメモリ２０１に供給すべき書き込みアドレスＷＡＤｍを発生する。
制御部２０６で発生された読み出しアドレスＲＡＤｉは、バッファ２０４Ｙ，２０４Ｃに供給される。また、制御部２０６で発生された書き込みアドレスＷＡＤは、フレームメモリ２０１に供給される。これにより、各ラインで、バッファ２０４Ｙ，２０４Ｃに一時的に記憶された、輝度信号Ｙａ、色差信号Ｕａ／Ｖａの有効画素部分は、このバッファ２０４Ｙ，２０４Ｃから時分割的に読み出され、ＳＤＲＡＭバス２０３を介してフレームメモリ２０１に転送され、このフレームメモリ２０１の所定アドレスに書き込まれる。
また、メモリＴＧ２１１から読み出しリクエストＲＲＱが発生される。この読み出しリクエストＲＲＱは、一定時間毎に発生される（図５、図６参照）。メモリＴＧ２１１の垂直カウンタ２１３は、出力ＴＧ２１７から、出力画像信号Ｓｃにおける垂直方向の有効画素部分の開始タイミングで供給される垂直リセット信号ＶＲＳで「０」にリセットされる。読み出しリクエストＲＲＱは、最初は垂直カウンタ２１３のカウント値が「０」となったとき発生されるが、その後はメモリクロックＣＫｍ（１０８ＭＨｚ）を、ｎ個カウントする毎に、発生される。
この場合、読み出しリクエストＲＲＱの周期ｔは、出力画像信号Ｓｃの１垂直有効期間を、入力画像信号Ｓａのレート変換の対象となるライン数で均等割りして得られた時間である。すなわち、その周期をｔ、出力画像信号Ｓｃの画素周波数をｆo、入力画像信号Ｓａの変換対象のライン数をｍi、出力画像信号Ｓｃの１垂直有効期間のライン数をｍo、出力画像信号Ｓｃの１ライン当たりの画素数をｎoとするとき、ｔ＝ｍo／ｍi／ｆo×ｎoである。したがって、上述したｎは、ｎ＝ｔ×１０８ＭＨｚとなる。
このようにメモリＴＧ２１１で発生される読み出しリクエストＲＲＱは、ＳＤＲＡＭコントローラ２０１内の制御部２０６に供給される。この制御部２０６は、この読み出しリクエストＲＲＱに対応して、フレームメモリ２０１に供給すべき読み出しアドレスＲＡＤｍおよびバッファ２０５Ｙ，２０５Ｃに供給すべき書き込みアドレスＷＡＤｏを発生する。制御部２０６で発生される読み出しアドレスＲＡＤｍは、フレームメモリ２０１に供給される。また、制御部２０６で発生される書き込みアドレスＷＡＤｏは、バッファ２０５Ｙ，２０５Ｙに供給される。
これにより、読み出しリクエストＲＲＱが発生される毎に、フレームメモリ２０１からは、１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／ＶａがメモリクロックＣＫｍ（１０８ＭＨｚ）に同期して読み出され、ＳＤＲＡＭバス２０３を介して、それぞれバッファ２０５Ｙおよびバッファ２０５Ｃに供給される。この場合、１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａ、つまり１２ライン分の信号の転送は時分割的に行われる。
バッファ２０５Ｙに供給される１０ライン分の輝度信号Ｙａのそれぞれは、当該バッファ２０５Ｙを構成する１０ライン分のＳＲＡＭのそれぞれに書き込まれる。同様に、バッファ２０５Ｃに供給される２ライン分の色差信号Ｕａ／Ｖａのそれぞれは、当該バッファ２０５Ｃを構成する２ライン分のＳＲＡＭのそれぞれに書き込まれる。
また、読み出しリクエストＲＲＱに対応して、上述したようにフレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃに輝度信号Ｙａ、色差信号Ｕａ／Ｖａが転送されて書き込まれた後に、メモリＴＧ２１１で、バッファ２０５Ｙ，２０５Ｃに供給すべき読み出しアドレスＲＡＤｏおよび後述するレート変換部２１５Ｙ，２１５Ｃに供給すべき書き込みアドレスＷＡＤｒが発生される。そして、読み出しアドレスＲＡＤｏは、バッファ２０５Ｙ，２０５Ｃに供給される。また、書き込みアドレスＷＡＤｒは、レート変換部２１５Ｙ，２１５Ｃに供給される。
これにより、読み出しリクエストＲＲＱが発生される毎に、フレームメモリ２０１から転送されてバッファ２０５Ｙ，２０５Ｃに一時的に記憶された、１０ライン分の輝度信号Ｙａ、２ライン分の色差信号Ｕａ／Ｖａは、出力クロックＣＫｍ（１０８ＭＨｚ）に同期してレート変換部２１５Ｙ，２１５Ｃに転送され、このレート変換部２１５Ｙ，２１５Ｃに書き込まれる。
レート変換部２１５Ｙは、バッファ２０５Ｙが１０ライン分のＳＲＡＭで構成されているのに対応して、１０系統のＳＲＡＭで構成されている。同様に、レート変換部２１５Ｃは、バッファ２０５Ｃが２ライン分のＳＲＡＭで構成されているのに対応して、２系統のＳＲＡＭで構成されている。そのため、バッファ２０５Ｙ，２０５Ｃからレート変換部２１５Ｙ，２１５Ｃには、１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａ、つまり１２ライン分の信号が並行して転送されて書き込まれる。
また、出力ＴＧ２１７のアドレス発生部２１８から、出力画像信号Ｓｃにおける垂直方向の有効画素部分の各ラインで、その水平方向の有効部分に対応して読み出しアドレスＲＡＤｒが発生される。この読み出しアドレスＲＡＤｒは、レート変換部２１５Ｙ，２１５Ｃに供給される。
この場合、アドレス発生部２１８は、出力画像信号Ｓｃの水平方向および垂直方向の有効画素部分の開始画素位置（図４のＰ点参照）で、基準アドレスＲＡＤr0を発生する。この基準アドレスＲＡＤr0は、レート変換部２１５Ｙ，２１５Ｃにおける、入力画像信号Ｓａのレート変換対象部分ＡＴの開始位置（図４のＱ点参照）に対応した画素データの記録位置を示すものである。
ここで、アドレス発生部２１８は、水平方向の有効画素部分の開始画素位置の位相情報を０とし、その後出力クロックＣＫｏが供給される画素位置毎に、水平拡大率の逆数Ｍhを加算し、加算値が４０９６より小さいときは、その加算値をその画素位置の水平方向の位相情報ｈとし、一方、加算値が４０９６以上となるときは、桁上がりが発生し、その加算値から４０９６を減算した値を、その画素位置の水平方向の位相情報ｈとする。そして、アドレス発生部２１８は、加算値が４０９６より小さく、桁上がりが発生しないときは、その画素位置に対応した読み出しアドレスＲＡＤｒとして直前の画素位置と同じものを出力し、一方桁上がりが発生するときは、その画素位置に対応した読み出しアドレスＲＡＤｒとして直前の画素位置のアドレスから１進めたものを出力する。
これにより、加算値が４０９６より小さく、桁上がりが発生しないときは、その画素位置に対応した読み出しアドレスＲＡＤｒとして直前の画素位置と同じものが使用され、その画素位置でレート変換部２１５Ｙ，２１５Ｃから直前の画素位置と同じ画素データが読み出される。したがって、レート変換部２１５Ｙ，２１５Ｃでは、レート変換前の輝度信号Ｙａ、色差信号Ｕａ，Ｖａに対して、水平方向の拡大率に応じて当該水平方向の画素数が増やされた、レート変換後の輝度信号Ｙｃ、色差信号Ｕｃ，Ｖｃが得られる（図９、図１０参照）。
また、アドレス発生部２１８は、垂直方向の有効画素部分の開始画素位置の位相情報を０とし、その後水平同期信号ＨＤｏが発生されるライン毎に、垂直拡大率の逆数Ｍvを加算し、加算値が４０９６より小さいときは、その加算値をそのラインの垂直方向の位相情報ｖとし、一方、加算値が４０９６以上となるときは、桁上がりが発生し、その加算値から４０９６を減算した値を、そのラインの垂直方向の位相情報ｖとする。
そして、アドレス発生部２１８は、加算値が４０９６より小さく、桁上がりが発生しないときは、そのラインに対応した読み出しアドレスＲＡＤｒとして直前のラインと同じものを出力し、一方桁上がりが発生するときは、そのラインに対応した読み出しアドレスＲＡＤｒとして、入力画像信号Ｓａの次のラインの画素データを読み出すように変更したものを出力する。
これにより、加算値が４０９６より小さく、桁上がりが発生しないときは、そのラインに対応した読み出しアドレスＲＡＤｒとして直前のラインと同じものが使用され、そのラインでレート変換部２１５Ｙ，２１５Ｃから直前のラインと同じ画素データが読み出される。したがって、レート変換部２１５Ｙ，２１５Ｃでは、レート変換前の輝度信号Ｙａ、色差信号Ｕａ，Ｖａに対して、垂直方向の拡大率に応じて当該垂直方向の画素数が増やされた、レート変換後の輝度信号Ｙｃ、色差信号Ｕｃ，Ｖｃが得られる（図９、図１０参照）。
なお、レート変換部２１５Ｙからは、上述したように１０系統のＳＲＡＭより、出力ＴＧ２１７で発生される読み出しアドレスＲＡＤｒに基づく１０ライン分の輝度信号Ｙｃと、１ライン分の画素数だけ小さなアドレスに基づく８ライン分の輝度信号Ｙｃとが得られる。すなわち、レート変換部２１５Ｙからは、１８ライン分の輝度信号Ｙｃが並列的に得られる（図１４Ａ、図１５Ａ参照）。この１８ライン分の輝度信号Ｙｃは、画像信号処理部１０６で、出力画像信号Ｓｂを構成する輝度信号Ｙｂにおける注目位置の輝度データを得る際の、予測タップおよびクラスタップを抽出するために用いられる。
同様に、レート変換部２１５Ｃからは、上述したように２系統のＳＲＡＭから、出力ＴＧ２１７で発生される読み出しアドレスＲＡＤｒに基づく各２ライン分の色差信号Ｕｃ，Ｖｃと、１ライン分の画素数だけ小さなアドレスに基づく各２ライン分の色差信号Ｕｃ，Ｖｃとが得られる。すなわち、レート変換部２１５Ｃからは、各４ライン分の色差信号Ｕｃ，Ｖｃが並列的に得られる（図１４Ｂ、図１５Ｂ参照）。この各４ライン分の色差信号Ｕｃ，Ｖｃは、画像信号処理部１０６で、出力画像信号Ｓｂを構成する色差信号Ｕｂ，Ｖｂにおける注目位置の色差データを得る際の、予測タップおよびクラスタップを抽出するために用いられる。
このようにレート変換部２１５Ｙ，２１５Ｃで得られる１８ライン分の輝度信号Ｙｃ、各４ライン分の色差信号Ｕｃ，Ｖｃは、垂直方向および時間方向に展開されており、画像信号処理部１０６で、当該垂直方向および時間方向のタップ（クラスタップ、予測タップ）を容易に抽出できるが、水平方向には展開されておらず、当該水平方向のタップを抽出することは困難である。
タップ構築回路２２１Ｙ，２２１Ｃでは、レート変換部２１５Ｙ，２１５Ｃで得られる１０ライン分の輝度信号Ｙｃ、各２ライン分の色差信号Ｕｃ，Ｖｃに基づいて、水平方向のタップの構築が行われる。タップ構築回路２２１Ｙは、１８ライン分の輝度信号Ｙｃにそれぞれ対応して１８個のシフトレジスタ２２２-1〜２２２-18を備えている（図１７参照）。同様に、タップ構築回路２２１Ｃは、各４ライン分の色差信号Ｕｃ，Ｖｃにそれぞれ対応して８個のシフトレジスタを備えている。そして、各レジスタは、構築すべき水平方向のタップ数分のレジスタからなっている。
タップ構築回路２２１Ｙを構成するシフトレジスタには、レート変換後の輝度信号が入力される。また、このシフトレジスタには、その輝度信号に輝度データ列における輝度データの変化位置に対応したシフトトリガが供給される。このシフトレジスタには、シフトトリガが供給される毎に、輝度信号の輝度データ列の変換位置に対応した輝度データが順次取り込まれる。これは、タップ構築回路２２１Ｃに関しても同様である。
ここで、本実施の形態では、センタータップの変化がレート変換後の輝度信号Ｙｃの輝度データ列の並びと対応するように、輝度信号Ｙｃの輝度データ列における輝度データの変化位置を変更してなる変更輝度データ列がシフトレジスタに入力される。また、この変更輝度データ列は、センタータップを出力するレジスタに対して、その出力側にｎo個、その入力側にｎi個のレジスタを備えるとき、各ラインで、最初の（ｎo＋ｎi）個の輝度データが連続して変化したものとされ、シフトレジスタに当該（ｎo＋ｎi）個の輝度データが連続して取り込まれるようにされる。
すなわち、本実施の形態では、レート変換部２１５Ｙから、タップ構築部２２１Ｙには、輝度信号Ｙｃの輝度データ列（本来の輝度データ列）を変更して得られた輝度信号Ｙｃ″が入力され、またこの輝度信号Ｙｃ″の輝度データ列における輝度データの変化位置に対応したシフトトリガＳＴＲ″が供給される（図２４参照）。これは、レート変換部２１５Ｃ、タップ構築回路２２１Ｃに関しても同様である。
これにより、タップ構築回路２２１Ｙ，２２１Ｃでは、センタータップの変化がレート変換後の輝度信号Ｙｃ、色差信号Ｕｃ，Ｖｃの輝度データ列、色差データ列の並びと対応して変化するようになり、レート変換前の輝度信号Ｙａ、色差信号Ｕａ，Ｖａにおける輝度データ、色差データの並びで水平５タップを得ることができる。また、タップ構築回路２２１Ｙ，２２１Ｃにおける出力開始ディレイを、出力クロックＣＫｏの（ｎo＋ｎi）クロック時間に固定でき、画像信号処理部１０６で、他の信号、例えば位相情報（ｐｈｙ，ｐｖｙ），（ｐｈｃ，ｐｖｃ）との時間調整のために、画素数の変換倍率によって遅延時間を可変できる可変遅延回路を備える必要がなくなる。
図３に示すレート変換回路１０５においては、メモリＴＧ２１１から読み出しリクエストＲＲＱが発生され、この読み出しリクエストＲＲＱに基づいてフレームメモリ２０１から、バッファ２０５Ｙ，２０５Ｃを介し、レート変換部２１５Ｙ，２１５Ｃに、輝度信号Ｙａおよび色差信号Ｕａ／Ｖａがライン単位で転送されるものである。したがって、第１のメモリとしてのフレームメモリ２０１から第２のメモリとしてのレート変換部２１５Ｙ，２１５Ｃへの輝度信号Ｙａおよび色差信号Ｕａ／Ｖａの転送周期に変動がなく、各転送周期においてデータ転送帯域を安定確保を図ることができる。これにより、レート変換回路１０５では、フレームメモリ２０１からレート変換部２１５Ｙ，２１５Ｃに、各転送周期で、１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａ、つまり合わせて１２ライン分の信号を安定して転送することができる。
次に、図２５を参照して、ＳＤＲＡＭコントローラ２０２を、さらに詳しく説明する。この図２５において、図３と対応する部分には同一符号を付し、適宜その説明を省略する。
ＳＤＲＡＭコントローラ２０２は、書き込みバッファとしてのバッファ２０４Ｙ，２０４Ｃ、読み出しバッファとしてのバッファ２０５Ｙ，２０５Ｃ、コマンドジェネレータ３０１、モードセット・リフレッシュジェネレータ３０２、ライトアドレス部３０３、リードアドレス部３０４、リードカウンタ３０５、ライトカウンタ３０６、リード・ライト制御部３０７とを備えている。ここで、コマンドジェネレータ３０１、モードセット・リフレッシュジェネレータ３０２、ライトアドレス部３０３、リードアドレス部３０４、リードカウンタ３０５、ライトカウンタ３０６、リード・ライト制御部３０７は、図３の制御部２０６に対応している。
また、このＳＤＲＡＭコントローラ２０２には、入力画像信号Ｓａに同期した垂直同期信号ＶＤi が入力されると共に、外部パラメータとして、入力画像信号Ｓａの水平方向の有効画素数、入力画像信号Ｓａの垂直方向の有効画素数（有効ライン数）、出力チャネル数、中心位置のフィールドと開始ライン、各出力チャネルの中心位置からの差分が与えられる。
上述したように、１個の読み出しリクエストＲＲＱに対応して、フレームメモリ２０１（ＳＤＲＡＭ）から、１０ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａの読み出しが行われるが、ここでは、各１ライン分のデータを、１チャネルのデータとして扱う。
また、中心位置のフィールドは、フレームメモリ２０１に書き込んでいるフィールドからの相対位置で何フィールド前か指定することになっている。また、その開始ラインは、レート変換対象部分ＡＴに対応したａvラインの第１ラインとされる（図４参照）。さらに、各チャネルの位置は、上述した中心位置からの差分、つまり±何フィールド、±何ラインとされる。
リード・ライト制御部３０７は、入力ＴＧ２０７（図１参照）から供給される書き込みリクエストＷＲＱに対応して、チャネル情報を伴った書き込みフラグＷＦＬを発生し、またメモリＴＧ２１１（図３参照）から供給される読み出しリクエストＲＲＱに対応して、チャネル情報を伴った読み出しフラグＲＦＬを発生する。
リードカウンタ３０５は、リード・ライト制御部３０７からの書き込みフラグＷＦＬの供給に対応して、書き込みバッファとしてのバッファ２０４Ｙ，２０４Ｃに供給すべき読み出しアドレスＲＡＤｉを発生する。この読み出しアドレスＲＡＤｉは、バッファ２０４Ｙ，２０４Ｃに供給される。ライトアドレス部３０３は、リード・ライト制御部３０７からの書き込みフラグＷＦＬの供給に対応して、フレームメモリ２０１に供給すべき書き込みアドレスＷＡＤｍを発生する。この書き込みアドレスＷＡＤｍは、コマンドジェネレータ３０１を介してフレームメモリ２０１に供給される。
リードアドレス部３０４は、リード・ライト制御部３０７からの読み出しフラグＲＦＬの供給に対応して、フレームメモリ２０１に供給すべき読み出しアドレスＲＡＤｍを発生する。この読み出しアドレスＲＡＤｍは、コマンドジェネレータ３０１を介してフレームメモリ２０１に供給される。ライトカウンタ３０６は、リード・ライト制御部３０７からの読み出しフラグＲＦＬの供給に対応して、読み出しバッファとしてのバッファ２０５Ｙ，２０５Ｃに供給すべき書き込みアドレスＷＡＤｏを発生する。この書き込みアドレスＷＡＤｏは、バッファ２０５Ｙ，２０５Ｃに供給される。
ここで、リードアドレス発生部３０４は、各フィールドにおいて、１個目の読み出しフラグＲＦＬに対応して、フレームメモリ２０１から、入力画像信号Ｓａのレート変換対象部分ＡＴに対応したａvラインの第１ラインに係る１２チャネルのデータを読み出すための読み出しアドレスＲＡＤｍを発生する。この読み出しアドレスＲＡＤｍは、各フィールドの垂直ブランキング期間に、上述したように外部パラメータとして与えられた中心位置のフィールドと開始ライン、各出力チャネルの中心位置からの差分に基づいて計算される。
また、リードアドレス発生部３０４は、各フィールドにおいて、２〜Ｎ個目の読み出しフラグＲＦＬに対応して、それぞれ、フレームメモリ２０１から、入力画像信号Ｓａのレート変換対象部分ＡＴに対応したａvラインの第２〜第Ｎラインに係る１２チャネルのデータを読み出すための読み出しアドレスＲＡＤｍを発生する。この場合、第１ライン用の読み出しアドレスＲＡＤｍを順次インクリメントして、第２〜第Ｎライン用の読み出しアドレスＲＡＤｍを得ることができる。
このＳＤＲＡＭコントローラ２０２のパワーオンシーケンスについて説明する。フレームメモリ（ＳＤＲＡＭ）２０１は、パワーオン時には状態がどのようになっているか分からないので、パワーオン時であって電源安定時間後に、全バンクのプリチャージ、モードセット、リフレッシュを行うように規定されている。しかし、ＳＤＲＡＭコントローラ２０２として、垂直同期信号ＶＤｉの入力があれば、モードセット、リフレッシュを行うようになっているので、垂直同期信号ＶＤｉをいくつか入力することによって、自動的にパワーオンシーケンスが実行される。
モードセット・リフレッシュジェネレータ３０２は、垂直同期信号ＶＤｉの入力に伴って、フレームメモリ２０１のモードセットとリフレッシュの制御フラグを発生する。コマンドジェネレータ３０１は、その制御フラグに基づいて、フレームメモリ２０１の制御に必要なコマンドを発生する。
ここで、ＳＤＲＡＭのリフレッシュ周期についてさらに説明する。ＳＤＲＡＭには、書かれたデータを保持するために、リフレッシュという動作が必要である。本実施の形態においては、例えば１６Ｍbit×４bankのＳＤＲＡＭが使用される。このＳＤＲＡＭについては、どのメモリメーカでも、リフレッシュ周期は４０９６回／６４ｍｓとなっている。入力画像信号Ｓａの１フィールド周期は６０Ｈｚまたは５０Ｈｚであるので、本実施の形態においては、垂直同期信号ＶＤｉが入力される度にブランキング期間を利用して、まとめてリフレッシュを行う。
なお、上述では、便宜上、入力画像信号Ｓａを４８０ｉ（６０Ｈｚ）信号、出力画像信号Ｓｂを１０８０ｉ（６０Ｈｚ）信号として説明しているが、入力画像信号Ｓａおよび出力画像信号Ｓｂは、それらに限定されるものではない。この場合、入力画像信号Ｓａ、出力画像信号Ｓｂのフォーマットによりフィールド周期、ブランキング期間が異なるので、垂直同期信号ＶＤｉの２回または３回の入力でリフレッシュを分割していって４０９６回／６４ｍｓの条件を満たすリフレッシュのモードも設けた。
図２５に示すＳＤＲＡＭコントローラ２０２の動作を説明する。
モードセット・リフレッシュジェネレータ３０２、ライトアドレス部３０３、リードアドレス部３０４およびリード・ライト制御部３０７は、垂直同期信号ＶＤｉの入力により、フレームメモリ２０１に対する書き込み、読み出しを始める前に、フレームメモリ２０１のモードセットおよびリフレッシュ、フレームメモリ２０１の書き込みアドレスＷＡＤｍ、フレームメモリ２０１の読み出しアドレスＲＡＤｍの計算をする。なお、ライトアドレス部３０３とリードアドレス部３０４とを別個に設けてあるのは、フレームメモリ２０１に対する書き込みと、フレームメモリ２０１からの読み出しとを独立して行うためである。
垂直同期信号ＶＤｉの入力があると、モードセット・リフレッシュジェネレータ３０２では、フレームメモリ２０１のモードセットとリフレッシュを行うための制御フラグが立てられる。この制御フラグはコマンドジェネレータ３０１に供給される。コマンドジェネレータ３０１では、制御フラグに基づいて、フレームメモリ２０１の制御に必要なコマンドが発生される。このコマンドはフレームメモリ２０１に供給される。これにより、垂直同期信号ＶＤｉの入力がある毎に、フレームメモリ２０１のモードセットおよびリフレッシュが行われる。
また、バッファ２０４Ｙ，２０４Ｃのそれぞれには、各ラインで、水平方向の有効画素部分に対応して、入力ＴＧ２０７（図３参照）から書き込みアドレスＷＡＤｉが供給され、入力画像信号Ｓａを構成する輝度信号Ｙａ、色差信号Ｕａ／Ｖａが順次書き込まれる。
また、各ラインで、水平方向の有効画素部分が終了した後に、入力ＴＧ２０７から書き込みリクエストＷＲＱがリード・ライト制御部３０７に供給される。なお、バッファ２０４Ｙ，２０４Ｃは、書き込みリクエストＷＲＱを出した時点から読み出しが行われるまで、新たに入力された次のラインの輝度信号Ｙａ、色差信号Ｕａ／Ｖａを格納する必要がある。したがって、これらバッファ２０４Ｙ，２０４Ｃとしては、デュアルポートＳＲＡＭが使用される。
リード・ライト制御部３０７は、フレームメモリ２０１の書き込み、読み出しを判定して、書き込み動作と判断するときは、リードカウンタ３０５およびライトアドレス部３０３にチャネル情報を伴った書き込みフラグＷＦＬを供給する。これにより、リードカウンタ３０５から読み出しアドレスＲＡＤｉが発生されてバッファ２０４Ｙ，２０４Ｃに供給されると共に、ライトアドレス３０３から書き込みアドレスＷＡＤｍが発生され、コマンドジェネレータ３０１を介してフレームメモリ２０１に供給される。
そのため、各ラインで、バッファ２０４Ｙ，２０４Ｃに一時的に記憶された、輝度信号Ｙａ、色差信号Ｕａ／Ｖａの有効画素部分は、このバッファ２０４Ｙ，２０４Ｃから読み出され、ＳＤＲＡＭバス２０３を介してフレームメモリ２０１に転送され、このフレームメモリ２０１の所定アドレスに書き込まれる。この場合、輝度信号Ｙａ、色差信号Ｕａ／Ｖａは、バッファ２０４Ｙ，２０４Ｃに、８ビット、かつ入力クロックＣＫｉのレートで入力されるが、このバッファ２０４Ｙ，２０４Ｃからフレームメモリ２０１には、輝度信号Ｙａ、色差信号Ｕａ／Ｖａがそれぞれ３２ビットのデータに変換され、メモリクロックＣＫｍ（１０８ＭＨｚ）のレートで転送される。この場合、２チャネル分のデータ、つまり輝度信号Ｙａ、色差信号Ｕａ／Ｖａは、時分割的にＳＤＲＡＭバス２０３を介してフレームメモリ２０１に転送されて書き込まれる。
また、メモリＴＧ２１１からリード・ライト制御部３０７に読み出しリクエストＲＲＱが供給される。リードライト・制御部３０７は、フレームメモリ２０１の書き込み、読み出しを判定して、読み出し動作と判断するときは、リードアドレス部３０４およびライトカウンタ３０６にチャネル情報を伴った読み出しフラグＲＦＬを供給する。これにより、リードアドレス部３０４から読み出しアドレスＲＡＤｍが発生され、コマンドジェネレータ３０１を介してフレームメモリ２０１に供給されると共に、ライトカウンタ３０６から書き込みアドレスＷＡＤｏが発生されてバッファ２０５Ｙ，２０５Ｃに供給される。
そのため、読み出しリクエストＲＲＱに対応して、リード・ライト制御部３０７から読み出しフラグＲＦＬが発生される毎に、フレームメモリ２０１からは、１２チャネル分のデータが、メモリクロックＣＫｍ（１０８ＭＨｚ）に同期して読み出され、ＳＤＲＡＭバス２０３を介して、それぞれバッファ２０５Ｙおよびバッファ２０５Ｃに転送されて書き込まれる。この場合、１２チャネル分のデータは、時分割的に転送される。
また、読み出しリクエストＲＲＱに対応して、上述したようにフレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃに１２チャネル分のデータが転送されて書き込まれた後に、メモリＴＧ２１１（図３参照）から、バッファ２０５Ｙ，２０５Ｃに読み出しアドレスＲＡＤｏが供給されると共に、レート変換部２１５Ｙ，２１５Ｃ（図３参照）に書き込みアドレスＷＡＤｒが供給される。
これにより、読み出しリクエストＲＲＱが発生される毎に、フレームメモリ２０１から転送されてバッファ２０５Ｙ，２０５Ｃに一時的に記憶された、１２チャネル分のデータは、レート変換部２１５Ｙ，２１５Ｃに転送されて格納される。
図２６は、リード・ライト制御部３０７の構成を示している。このリード・ライト制御部３０７は、ライトチャネルカウンタ３１１、リードチャネルカウンタ３１２、読み出しリクエストホールド部３１３およびチャネルカウンタ３１４を備えている。入力ＴＧ２０７（図３参照）で発生される書き込みリクエストＷＲＱは、ライトチャネルカウンタ３１１およびリードチャネルカウンタ３１２に供給される。また、メモリＴＧ２１１（図３参照）で発生される読み出しリクエストＲＲＱは、リードチャネルカウンタ３１２および読み出しリクエストホールド部３１３に供給される。
ライトチャネルカウンタ３１１は、書き込みリクエストＷＲＱが供給されるとき、自己のカウント値として書き込みチャネル数をセットし、各チャネルの書き込みが始まるときにデクリメントする。このカウント値が０になったときに、書き込み動作が終了することになる。また、ライトチャネルカウンタ３１１は、上述したように自己のカウント値として書き込みチャネル数をセットするとき、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを送り、チャネルカウンタ３１４のカウントをスタートさせる。
ここで、ライトチャネルカウンタ３１１は、書き込みリクエストＷＲＱが供給されるとき、自己のカウント値として２をセットする。このように２をセットするのは、輝度信号Ｙａ、色差信号Ｕａ／Ｖａを分けてフレームメモリ２０１に書き込んでおり、２チャネル分のデータの書き込みを必要としているからである。
リードチャネルカウンタ３１２は、読み出しリクエストＲＲＱが供給されるとき、あるいはリクエストホールド部３１３に読み出しリクエストＲＲＱがホールドされているとき、ライトチャネルカウンタ３１１のカウント値を見て、書き込み中でないときは、自己のカウント値として読み出しチャネル数をセットし、各チャネルの読み出しが始まるときにデクリメントする。このカウント値が０になったときに、読み出し動作が終了することになる。
また、リードチャネルカウンタ３１２は、上述したように自己のカウント値として読み出しチャネル数をセットするとき、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを送り、チャネルカウンタ３１４のカウントをスタートさせる。ただし、後述するように、書き込みリクエストＷＲＱと読み出しリクエストＲＲＱが同時に入力されるときは、カウント値として読み出しチャネル数をセットするが、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給することはしない。
チャネルカウンタ３１４は、カウントスタートフラグＣＳＦが供給されるとき、カウント動作を開始する。この場合、チャネルカウンタ３１４は、メモリクロックＣＫｍ（１０８ＭＨｚ）に同期して、カウント値を０から順次インクリメントしていき、そのカウント値が１チャネル分のデータ長に対応した最大値ＭＡＸとなったら、そのカウント値を０に戻し、カウントスタートフラグＣＳＦの入力待ち状態に戻る。
ここで、最大値ＭＡＸは、バッファ２０４Ｙ，２０４Ｃからフレームメモリ２０１への、あるいはフレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃへの１チャネル分のデータの転送時間に対応した、メモリクロックＣＫｍのクロック数に相当する。上述したように、入力画像信号Ｓａが４８０ｉ信号であるとき、水平方向の有効画素数は７２０画素であり、８ビットデータが３２ビットデータに変換された状態で転送されるので、ＭＡＸ＝７２０／４＝１８０である。
また、このチャネルカウンタ３１４は、カウント値が１となるときスタートフラグＳＦＬを発生してライトチャネルカウンタ３１１およびリードチャネルカウンタ３１２に供給する。さらに、このチャネルカウンタ３１４は、カウント値が最大値ＭＡＸとなるときエンドフラグＥＦＬを発生してライトチャネルカウンタ３１１およびリードチャネルカウンタ３１２に供給する。
ライトチャネルカウンタ３１１は、チャネルカウンタ３１４からスタートフラグＳＦＬが供給されるとき、自己のカウント値が０でないときは、そのカウント値に対応したチャネル情報を伴った書き込みフラグＷＦＬを発生して、リードカウンタ３０５およびライトアドレス部３０３に供給し、さらに自己のカウント値をデクリメントする。
これにより、リードカウンタ３０５からそのチャネル情報に対応したチャネルのデータを読み出すための読み出しアドレスＲＡＤｉが発生され、またライトアドレス部３０３からそのチャネル情報に対応したチャネルのデータを書き込むための書き込みアドレスＷＡＤｍが発生され、バッファ２０４Ｙ，２０４Ｃからフレームメモリ２０１に、チャネル情報に対応したチャネルのデータが転送されて書き込まれる。
ライトチャネルカウンタ３１１は、さらに、チャネルカウンタ３１４からエンドフラグＥＦＬが供給されるとき、自己のカウント値が０でないときは、次のチャネルの書き込みのために、カウントスタートフラグＣＳＦを発生して、チャネルカウンタ３１４に供給する。
また、リードチャネルカウンタ３１２は、チャネルカウンタ３１４からスタートフラグＳＦＬが供給されるとき、ライトチャネルカウンタ３１１のカウント値が０であって、自己のカウント値が０でないときは、そのカウント値に対応したチャネル情報を伴った読み出しフラグＲＦＬを発生して、リードアドレス部３０４およびライトカウンタ３０６に供給し、さらに自己のカウント値をデクリメントする。
これにより、リードアドレス部３０４からそのチャネル情報に対応したチャネルのデータを読み出すための読み出しアドレスＲＡＤｍが発生され、またライトカウンタ３０６からそのチャネル情報に対応したチャネルのデータを書き込むための書き込みアドレスＷＡＤｏが発生され、フレームメモリ２０１からバッファ２０５Ｙ，２０５Ｃに、チャネル情報に対応したチャネルのデータが転送されて書き込まれる。
リードチャネルカウンタ３１２は、さらに、チャネルカウンタ３１４からエンドフラグＥＦＬが供給されるとき、ライトチャネルカウンタ３１１のカウント値が０であって、自己のカウント値が０でないときは、次のチャネルの読み出しのために、カウントスタートフラグＣＳＦを発生して、チャネルカウンタ３１４に供給する。
また、読み出しリクエストホールド部３１３は、読み出しリクエストＲＲＱが供給された場合、ホールド数をインクリメントする。さらに、この読み出しリクエストホールド部３１３は、当該読み出しリクエストＲＲＱに基づいて、リードチャネルカウンタ３１２に読み出しチャネル数がカウント値としてセットされ、それが０となるとき、そのホールド数をデクリメントする。
なお、書き込み側には、書き込みリクエストホールドがない。それは、読み出しよりも書き込みリクエストＷＲＱを優先しており、またタイミング的に書き込み中に書き込みリクエストＷＲＱが供給されることがないからである。
以上の構成において、まず、読み出しリクエストＲＲＱまたは書き込みリクエストＷＲＱの待機状態について説明する。読み出しも書き込みをされていない初期状態にあるとき、この状態になる。ライトチャネルカウンタ３１１、リードチャネルカウンタ３１２、読み出しリクエストホールド部３１３およびチャネルカウンタ３１４は、初期状態の０になっている。ライトチャネルカウンタ３１１は書き込みリクエストＷＲＱの入力を待っており、リードチャネルカウンタ３１２は読み出しリクエストＲＲＱの入力を待っている。読み出しリクエストホールド部３１３も、読み出しリクエストＲＲＱを待っている。
次に、初期状態で書き込みリクエストＷＲＱが単独で供給された場合の動作を、図２７の「（１）書き込み・読み出し単独」の部分を用いて説明する。
ライトチャネルカウンタ３１１は、入力画像信号Ｓａに係る水平同期信号ＨＤｉに同期して書き込みリクエストＷＲＱが入力された場合（図２７Ａ，Ｂ）、自己のカウント値として書き込みチャネル数である２をセットし（図２７Ｅ）、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。チャネルカウンタ３１４は、メモリクロックＣＫｍに同期してカウント値をインクリメントし、そのカウント値が１となるとき、スタートフラグＳＦＬを発生する。なお、図２７Ｉは、チャネルカウンタ３１４のカウント値を示しており、０が付されていない部分は、１から最大値ＭＡＸまで順次変化していることを表している。
そのため、ライトチャネルカウンタ３１１は、チャネル情報を伴った書き込みフラグＷＦＬを発生する（図２７Ｄ）。これにより、１チャネル目の書き込みが開始される。このとき、ライトチャネルカウンタ３１１は、さらに自己のカウント値をデクリメントして１とする（図２７Ｅ）。なお、図２７Ｊは、ＳＤＲＡＭバス２０３のデータ転送状態を示している。
この１チャネル目の書き込みの終了に対応して、すなわちチャネルカウンタ３１４のカウント値が最大値ＭＡＸとなるとき、当該チャネルカウンタ３１４は、エンドフラグＥＦＬを発生する。ライトチャネルカウンタ３１１は、自己のカウント値が０でなく１であるので（図２７Ｅ）、チャネルカウンタ３１４に再度カウントスタートフラグＣＳＦを供給する。チャネルカウンタ３１４は、メモリクロックＣＫｍに同期してカウント値をインクリメントし、そのカウント値が１となるとき、スタートフラグＳＦＬを発生する。
そのため、ライトチャネルカウンタ３１１は、チャネル情報を伴った書き込みフラグＷＦＬを発生する（図２７Ｄ）。これにより、２チャネル目の書き込みが開始される。このとき、ライトチャネルカウンタ３１１は、さらに自己のカウント値をデクリメントして０とする（図２７Ｅ）。
この２チャネル目の書き込みの終了に対応して、すなわちチャネルカウンタ３１４のカウント値が最大値ＭＡＸとなるとき、当該チャネルカウンタ３１４は、エンドフラグＥＦＬを発生する。ライトチャネルカウンタ３１１は、自己のカウント値が０であるので、カウントスタートフラグＣＳＦの発生等は行わない。これにより、書き込みリクエストＷＲＱの入力による２チャネル分の書き込みが終了する。
次に、初期状態で読み出しリクエストＲＲＱが単独で供給された場合の動作を、図２７の「（１）書き込み・読み出し単独」の部分を用いて説明する。
リードチャネルカウンタ３１２は、読み出しリクエストＲＲＱが入力された場合（図２７Ｃ）、ライトチャネルカウンタ３１１のカウント値が０となっているので（図２７Ｅ）、自己のカウント値として読み出しチャネル数をセットする（図２７Ｇ）。なお、読み出しチャネル数は実際には例えば１２等であるが、図２７の例では便宜上４としている。また、読み出しリクエストＲＲＱが入力された場合（図２７Ｃ）、読み出しリクエストホールド部３１３は、ホールド数をインクリメントして１とする（図２７Ｈ）。
リードチャネルカウンタ３１２は読み出しチャネル数をセットした後、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。チャネルカウンタ３１４は、メモリクロックＣＫｍに同期してカウント値をインクリメントし、そのカウント値が１となるとき、スタートフラグＳＦＬを発生する。そのため、リードチャネルカウンタ３１２は、チャネル情報を伴った読み出しフラグＲＦＬを発生する（図２７Ｆ）。これにより、１チャネル目の読み出しが開始される。このとき、リードチャネルカウンタ３１２は、さらに自己のカウント値をデクリメントする（図２７Ｇ）。
この１チャネル目の読み出しの終了に対応して、すなわちチャネルカウンタ３１４のカウント値が最大値ＭＡＸとなるとき、当該チャネルカウンタ３１４は、エンドフラグＥＦＬを発生する。リードチャネルカウンタ３１２は、ライトチャネルカウンタ３１１のカウント値が０であって、自己のカウント値が０でないので、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを再度供給する。チャネルカウンタ３１４は、メモリクロックＣＫｍに同期してカウント値をインクリメントし、そのカウント値が１となるとき、スタートフラグＳＦＬを発生する。
そのため、リードチャネルカウンタ３１２は、チャネル情報を伴った読み出しフラグＲＦＬを発生する（図２７Ｆ）。これにより、２チャネル目の読み出しが開始される。このとき、リードチャネルカウンタ３１２は、さらに自己のカウント値をデクリメントする（図２７Ｇ）。
以下、同様にして、最後のチャネルまでの読み出しが行われる。最後のチャネルの読み出しの終了に対応して、すなわちチャネルカウンタ３１４のカウント値が最大値ＭＡＸとなるとき、当該チャネルカウンタ３１４は、エンドフラグＥＦＬを発生する。リードチャネルカウンタ３１２は、自己のカウント値が０であるので、カウントスタートフラグＣＳＦの発生等は行わない。これにより、読み出しリクエストＲＲＱの入力による読み出しチャネル数分の読み出しが終了する。なお、読み出しリクエストホールド部３１３は、リードチャネルカウンタ３１２のカウント値が０となるとき、ホールド数をデクリメントして０とする（図２７Ｈ）。
次に、初期状態で書き込みリクエストＷＲＱと読み出しリクエストＲＲＱとが同時に入力された場合の動作を説明する。
この場合、リードチャネルカウンタ３１２は、読み出しリクエストＲＲＱと書き込みリクエストＷＲＱの両方を見ているので、自己のカウント値として読み出しチャネル数をセットするが、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給することは行わない。
またこの場合、ライトチャネルカウンタ３１１は、自己のカウント値として書き込みチャネル数である２をセットし、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。そのため、書き込みに関しては、上述した書き込みリクエストＷＲＱが単独で供給された場合の動作と同様に行われる。
また、２チャネル目の書き込みの終了に対応して、上述したように、チャネルカウンタ３１４でエンドフラグＥＦＬが発生された場合、ライトチャネルカウンタ３１１は、自己のカウント値が０であるので、カウントスタートフラグＣＳＦの発生等は行わず、これにより書き込み動作が終了する。
しかしこの場合、リードチャネルカウンタ３１２は、ライトチャネルカウンタ３１１のカウント値が０であって、自己のカウント値が０でないので、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。これにより、書き込み動作が終了した後に、読み出し動作が開始される。この読み出し動作は、上述した読み出しリクエストＲＲＱが単独で供給された場合の動作と同様に行われる。
次に、書き込みの動作中に、読み出しリクエストＲＲＱが供給された場合の動作を、図２７の「（２）書き込み中読み出し」の部分を用いて説明する。
リードチャネルカウンタ３１２は、書き込みの動作中に、読み出しリクエストＲＲＱが入力された場合（図２７Ｃ）、ライトチャネルカウンタ３１１のカウント値が０でないので、自己のカウント値として読み出しチャネル数をセットすることも、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給することも行わない。
この場合、読み出しリクエストホールド部３１３は、読み出しリクエストＲＲＱのホールド数をインクリメントして１とする（図２７Ｈ）。なお、リードチャネルカウンタ３１２は、ライトチャネルカウンタ３１１のカウント値に基づいて書き込みの動作中であるか否かを判定する。すなわち、カウント値が０でないときは書き込みの動作中であると判断し、カウント値が０であるときは書き込みの動作中でないと判断する。
２チャネル目の書き込みの終了に対応して、上述したように、チャネルカウンタ３１４でエンドフラグＥＦＬが発生された場合、ライトチャネルカウンタ３１１は、自己のカウント値が０であるので、カウントスタートフラグＣＳＦの発生等を行わず、これにより書き込み動作が終了する。
またこの場合、リードチャネルカウンタ３１２は、ライトチャネルカウンタ３１１のカウント値が０であるが、自己のカウント値も０であるので、自己のカウント値として読み出しチャネル数をセットすることも、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給することも行わない。
しかし、リードチャネルカウンタ３１２は、読み出しリクエストホールド部３１３に読み出しリクエストＲＲＱがホールドされているので、自己のカウント値として読み出しチャネル数をセットし（図２７Ｇ）、その後にチャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。これにより、書き込み動作が終了した後に、読み出し動作が開始される。この読み出し動作は、上述した読み出しリクエストＲＲＱが単独で供給された場合の動作と同様に行われる。読み出しリクエストホールド部３１３は、読み出しの動作が終了し、リードチャネルカウンタ３１２のカウント値が０となるとき、ホールド数をデクリメントして０とする（図２７Ｈ）。
なお、リードチャネルカウンタ３１２は、読み出しリクエストホールド部３１３のホールド数に基づいて読み出しリクエストＲＲＱがホールドされているか否かを判定する。すなわち、ホールド数が０でないときはホールドされていると判断し、ホールド数が０であるときはホールドされていないと判断する。
次に、読み出しの動作中に、書き込みリクエストＷＲＱが供給された場合の動作を、図２７の「（３）読み出し中書き込み」の部分を用いて説明する。
ライトチャネルカウンタ３１１は、書き込みリクエストＷＲＱが入力された場合（図２７Ｂ）、自己のカウント値として書き込みチャネル数である２をセットし（図２７Ｅ）、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。この場合、読み出しの動作中であるので、チャネルカウンタ３１４は、リードチャネルカウンタ３１２からのカウントスタートフラグＣＳＦにより、既に、カウント動作が開始されている（図２７Ｉ）。
この読み出し中のチャネルの終了に対応して、すなわちチャネルカウンタ３１４のカウント値が最大値ＭＡＸとなるとき、当該チャネルカウンタ３１４は、エンドフラグＥＦＬを発生する。リードチャネルカウンタ３１２は、ライトチャネルカウンタ３１１のカウント値が０でないので（図２７Ｅ）、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給しない。
このとき、ライトチャネルカウンタ３１１は、自己のカウント値が０でないので、カウントスタートフラグＣＳＦを発生して、チャネルカウンタ３１４に供給する。これにより、読み出しの動作が一時的に停止されて、書き込みの動作が開始される。
２チャネル目の書き込みの終了に対応して、上述したように、チャネルカウンタ３１４でエンドフラグＥＦＬが発生された場合、ライトチャネルカウンタ３１１は、自己のカウント値が０であるので、カウントスタートフラグＣＳＦの発生等を行わず、これにより書き込み動作が終了する。
またこの場合、リードチャネルカウンタ３１２は、ライトチャネルカウンタ３１１のカウント値が０であるが、自己のカウント値は０でないので（図２７の例では、カウント値は２）、チャネルカウンタ３１４にカウントスタートフラグＣＳＦを供給する。これにより、書き込み動作が終了した後に、読み出し動作が再開される。なお、読み出しの動作が終了し、リードチャネルカウンタ３１２のカウント値が０となるとき、ホールド数をデクリメントして０とする（図２７Ｈ）。
図２８、図２９のフローチャートは、上述したリード・ライト制御部３０７の動作を、ソフトウェアで実現する際の処理手順を示している。
まず、ステップＳＴ１１で処理を開始し、ステップＳＴ１２で、Ｗ＝０，Ｒ＝０、ＲＨ＝０、ＣＨ＝０に設定する。ここで、Ｗはライトチャネルカウンタ３１１のカウント値に対応し、Ｒはリードチャネルカウンタ３１２のカウント値に対応し、ＲＨは読み出しリクエストホールド部３１３のホールド数に対応し、ＣＨはチャネルカウンタ３１４のカウント値に対応する。
次に、ステップＳＴ１３で、リクエスト入力があるか否かを判定する。書き込みリクエストＷＲＱおよび読み出しリクエストＲＲＱの両方の入力があるときは、ステップＳＴ１４で、読み出しリクエストＲＲＱのホールド数ＲＨをインクリメントする。そして、ステップＳＴ１５で、カウント値Ｒとして、読み出しチャネル数、例えば１２などをセットし、ステップＳＴ１６で、カウント値Ｗとして、書き込みチャネル数である２をセットする。
ステップＳＴ１３で、書き込みリクエストＷＲＱのみ入力された場合は、直ちにステップＳＴ１６に進み、カウント値Ｗとして、書き込みチャネル数である２をセットする。このステップＳＴ１６の処理の後に、ステップＳＴ１７に進む。このステップＳＴ１７では、カウントスタートフラグＣＳＦを出力する。そして、ステップＳＴ１８で、カウント値ＣＨのカウントアップを開始する。このカウントアップは、メモリクロックＣＫｍに同期して行う。
次に、ステップＳＴ１９で、ＣＨ＝１であるか否かを判定する。ＣＨ＝１であるときは、ステップＳＴ２０で、カウント値Ｗに対応したチャネル情報を伴った書き込みフラグＷＦＬを出力し、リードカウンタ３０５、ライトアドレス部３０３（図２６参照）に供給する。また、このステップＳＴ２０で、カウント値Ｗをデクリメントする。このステップＳＴ２０の処理の後に、ステップＳＴ２１に進む。
ステップＳＴ２１では、ＣＨ＝ＭＡＸであるか否かを判定する。ＣＨ＝ＭＡＸであるときは、ステップＳＴ２２で、ＣＨ＝０として、そのカウントアップを停止する。そして、ステップＳＴ２３で、カウント値Ｗが０であるか否かを判定する。Ｗ＝０でないときは、ステップＳＴ１７に戻り、次のチャネルについての書き込み処理に移行する。
上述したステップＳＴ２１でＣＨ＝ＭＡＸでないときは、ステップＳＴ２４で読み出しリクエストＲＲＱの入力があるか否かを判定する。読み出しリクエストＲＲＱの入力があるときは、ステップＳＴ２５で、読み出しリクエストＲＲＱのホールド数ＲＨをインクリメントする。ステップＳＴ２４で読み出しリクエストＲＲＱの入力がないとき、あるいはステップＳＴ２５の処理の後、ステップＳＴ２１に戻る。これにより、書き込み動作中に読み出しリクエストＲＲＱの入力があるときは、その読み出しリクエストＲＲＱのホールドが行われる。
上述したステップＳＴ２３でＷ＝０であるときは、書き込みが終了したので、ステップＳＴ２６で、カウント値Ｒが０であるか否かを判定する。Ｒ＝０であるときは、ステップＳＴ２７で、読み出しリクエストＲＲＱのホールド数ＲＨが０であるか否かを判定する。ＲＨ＝０であるときは、読み出しの中断および読み出しリクエストＲＲＱのホールドもないので、ステップＳＴ１２に戻り、待機状態に移行する。
上述したステップＳＴ１３で読み出しリクエストＲＲＱのみ入力されたときは、ステップＳＴ２８で、ホールド数ＲＨをインクリメントし、その後にステップＳＴ２９に進む。このステップＳＴ２９では、カウント値Ｒとして、読み出しチャネル数、例えば１２などをセットする。そして、ステップＳＴ３０で、カウントスタートフラグＣＳＦを出力する。上述したステップＳＴ２６でＲ＝０でないときも、ステップＳＴ３０に進む。そして、ステップＳＴ３１で、カウント値ＣＨのカウントアップを開始する。このカウントアップは、メモリクロックＣＫｍに同期して行う。
次に、ステップＳＴ３２で、ＣＨ＝１であるか否かを判定する。ＣＨ＝１であるときは、ステップＳＴ３３で、カウント値Ｒに対応したチャネル情報を伴った読み出しフラグＲＦＬを出力し、リードアドレス部３０４、ライトカウンタ３０６（図２６参照）に供給する。また、このステップＳＴ３３で、カウント値Ｒをデクリメントする。このステップＳＴ３３の処理の後に、ステップＳＴ３４に進む。
ステップＳＴ３４では、ＣＨ＝ＭＡＸであるか否かを判定する。ＣＨ＝ＭＡＸであるときは、ステップＳＴ３５で、ＣＨ＝０として、そのカウントアップを停止する。そして、ステップＳＴ３６で、カウント値Ｗが０であるか否かを判定する。Ｗ＝０でないときは、後述するように、読み出し動作中に書き込みリクエストＷＲＱの入力があったことを意味し、ステップＳＴ１７に戻り、書き込み処理に移行する。一方、ステップＳＴ３６で、Ｗ＝０であるときは、ステップＳＴ３７に進む。
このステップＳＴ３７では、カウント値Ｒが０であるか否かを判定する。Ｒ＝０でないときは、ステップＳＴ３０に戻り、次のチャネルついての読み出し処理に移行する。一方、Ｒ＝０であるときは、読み出しチャネル数分の読み出しが終了したので、ステップＳＴ３８で、読み出しリクエストＲＲＱのホールド数ＲＨをデクリメントする。
次に、ステップＳＴ３９で、ホールド数ＲＨが０であるか否かを判定する。ＲＨ＝０でないときは、ステップＳＴ２９に戻り、ホールドされている次の読み出しリクエストＲＲＱに対応した読み出し処理に移行する。一方、ＲＨ＝０であるときは、読み出しリクエストＲＲＱのホールドがないので、ステップＳＴ１２に戻り、待機状態に移行する。
上述したステップＳＴ３４でＣＨ＝ＭＡＸでないときは、ステップＳＴ４０で、読み出しリクエストＲＲＱの入力があるか否かを判定する。読み出しリクエストＲＲＱの入力があるときは、ステップＳＴ４１で、読み出しリクエストＲＲＱのホールド数ＲＨをインクリメントし、その後にステップＳＴ４２に進む。ステップＳＴ４０で読み出しリクエストＲＲＱの入力がないときは、直ちにステップＳＴ４２に進む。これにより、読み出し動作中に読み出しリクエストＲＲＱの入力があるときは、その読み出しリクエストＲＲＱのホールドが行われる。
また、ステップＳＴ４２では、書き込みリクエストＷＲＱの入力があるか否かを判定する。書き込みリクエストＷＲＱの入力があるときは、ステップＳＴ４３で、カウント値Ｗとして、書き込みチャネル数である２をセットする。ステップＳＴ４２で書き込みリクエストＷＲＱの入力がないとき、あるいはステップＳＴ４３の処理の後、ステップＳＴ３４に戻る。これにより、読み出し動作中に書き込みリクエストＷＲＱの入力があるときは、上述したステップＳＴ３６で、読み出し処理を停止して、書き込み処理に移行できる。
また、ステップＳＴ２６でＲ＝０でないときは、ステップＳＴ３０に進み、読み出し処理に移行する。これにより、書き込みリクエストＷＲＱと同時に読み出しリクエストＲＲＱの入力があったとき、および読み出し動作中に書き込みリクエストＷＲＱの入力があって読み出し処理の停止があったとき、書き込み動作が終了した後に、読み出し処理に移行できる。
以上説明したように、図２５に示すＳＤＲＡＭコントローラ２０２では、書き込みリクエストＷＲＱによる書き込みと読み出しリクエストＲＲＱによる読み出しとが、リード・ライト制御部３０７によって制御される。この場合、読み出しリクエストＲＲＱによる読み出しに対して、書き込みリクエストＷＲＱによる書き込みが優先され、同一のＳＤＲＡＭバス２０３を介して行われる書き込みと読み出しの調整が行われる。これにより、書き込みリクエストＷＲＱによる書き込みのタイミングに拘わらず、上述したように読み出しリクエストＲＲＱを一定時間毎に入力して読み出すことが可能になる。
なお、書き込みリクエストＷＲＱが読み出しリクエストＲＲＱに優先する代わりに、読み出しリクエストＲＲＱが書き込みリクエストＷＲＱに優先するようにしてもよい。その場合にも、同一のＳＤＲＡＭバス２０３を介して行われる書き込みと読み出しの調整が行われるため、書き込みリクエストＷＲＱによる書き込みのタイミングに拘わらず、読み出しリクエストＲＲＱを一定時間毎に入力して読み出すことが可能になる。
ただし、上述したように書き込みチャネル数は２であり、読み出しチャネル数は例えば１２である。そのため、上述したように書き込みリクエストＷＲＱが読み出しリクエストＲＲＱに優先するようにした場合、読み出しリクエストＲＲＱによる読み出しの待ち時間は最大でも２チャネル分である。しかし、逆に、書き込みリクエストＷＲＱが読み出しリクエストＲＲＱに優先するようにした場合、書き込みリクエストＷＲＱによる書き込みの待ち時間は、最大で読み出しチャネル数分、例えば１２チャネル分となる。
書き込みリクエストＷＲＱは入力画像信号Ｓａの水平同期信号ＨＤｉに同期して発生される。この入力画像信号Ｓａが、例えばＶＴＲ（Video Tape Recorder）の再生信号である場合、その水平周期に揺らぎが発生する。しかし、上述したように、図２５に示すＳＤＲＡＭコントローラ２０２では、書き込みリクエストＷＲＱによる書き込みのタイミングに拘わらず、読み出しリクエストＲＲＱを一定時間毎に入力して読み出すことが可能である。したがって、図２５に示すＳＤＲＡＭコントローラ２０２を用いることで、入力画像信号Ｓａの水平周期の揺らぎを吸収でき、その揺らぎを吸収するＴＢＣ(Time Base Corrector)等の回路を省略できる。
図３０は、入力画像信号ＳａのタイミングとＳＤＲＡＭバス２０３のデータ転送状態の一例を示すものとする。図３０Ａは、入力画像信号Ｓａを示しているが、その水平期間の変動を強調して示している。図３０Ｂは、ＳＤＲＡＭバス２０３のデータ転送状態を示している。この例では、書き込みチャネル数は２、読み出しチャネル数は８である。また、ＷＤは書き込みの１チャネル分のデータを示し、ＲＤは読み出しの１チャネル分のデータを示している。
次に、図１に戻って、画像信号処理部１０６の詳細を説明する。
上述したように、レート変換回路１０５からは、水平方向および垂直方向の画素数が変換された画像信号Ｓｃが出力される。この画像信号Ｓｃは、輝度信号Ｙｃおよび色差信号Ｕｃ，Ｖｃからなっている。この場合、輝度信号Ｙｃとして、時間方向、垂直方向および水平方向に展開された１８ライン×水平５タップの信号が並行して出力される。同様に、色差信号Ｕｃ，Ｖｃのそれぞれとして、時間方向、垂直方向および水平方向に展開された４ライン×水平５タップの信号が並行して出力される。
画像信号処理部１０６では、輝度信号Ｙｃおよび色差信号Ｕｃ，Ｖｃに対する処理がそれぞれ独立して行われる。しかし、それらの処理は同様の処理である。そのため、ここでは、輝度信号Ｙｃおよび色差信号Ｕｃ，Ｖｃに対する処理をまとめて、画像信号Ｓｃに対する処理として説明する。
画像信号処理部１０６は、レート変換回路１０５より出力される画像信号Ｓｃに基づいて、画像信号Ｓｂにおける注目位置の周辺に位置する複数の画素データをクラスタップとして抽出する、第２のデータ抽出手段としてのクラスタップ抽出回路１２１を有している。なお、本実施の形態において、画像信号Ｓｂにおける注目位置は、ラスタースキャン順に順次移動していく。そして、レート変換回路１０５からは、各注目位置に対応して、その注目位置の周辺に位置する複数の画素データが出力される。
この場合、輝度信号Ｙｃに対する処理では、画像信号Ｓｂにおける各注目位置に対応して、レート変換回路１０５から並行して出力される１８×５＝９０個の輝度データのなかから所定の複数個の輝度データをクラスタップとして抽出する。同様に、色差信号Ｕｃ，Ｖｃのそれぞれに対する処理では、画像信号Ｓｂにおける各注目位置に対応して、レート変換回路１０５から並行して出力される４×５＝２０個の色差データのなかから所定の複数個の色差データをクラスタップとして抽出する。
また、画像信号処理部１０６は、クラスタップ抽出回路１２１で抽出されたクラスタップに基づいて、画像信号Ｓｂにおける注目位置の画素データが属するクラスを表すクラスコードＣＬを得るクラス分類回路１２２を有している。このクラス分類は、例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の、何らかの圧縮処理を利用して行われる。
ＫビットでＡＤＲＣを行う場合の説明を行う。ＫビットＡＤＲＣにおいては、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮが検出され、このダイナミックレンジＤＲに基づいて、クラスタップに含まれるそれぞれの画素データがＫビットに再量子化される。
すなわち、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮが減算され、その減算値がＤＲ／２Kで除算（量子化）される。これにより、クラスタップを構成するそれぞれの画素データがＫビットに再量子化され、それを所定の順番で並べたビット列がクラスコードＣＬとして出力される。
したがって、１ビットＡＤＲＣにおいては、このクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮが減算され、その減算値がＤＲ／２で除算される。これにより、クラスタップに含まれるそれぞれの画素データは１ビットに再量子化され、それを所定の順番で並べたビット列がクラスコードＣＬとして出力される。
また、画像信号処理部１０６は、ＲＯＭ(read only memory)１２３を有している。このＲＯＭ１２３には、各クラスの係数種データが記憶されている。後述する推定予測演算回路１２６では、予測タップとしての画素データｘｉと、係数データＷｉとから、（１）式の推定式によって、画像信号Ｓｂにおける注目位置の画素データｙが求められる。この（１）式において、ｎは、予測タップとしての画素データｘｉの個数である。
Figure 2005062693
ＲＯＭ１２３に記憶される係数種データは、上述した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇをパラメータとする生成式の係数データである。（２）式は、その生成式の一例を示している。ここで、位相情報ｈは水平方向の位相情報であり、位相情報ｖは垂直方向の位相情報である。また、画質調整情報ｆは解像度を調整するための画質調整情報であり、画質調整情報ｇはノイズ抑圧度を調整するための画質調整情報である。ＲＯＭ１２３には、例えば、（２）式の生成式における係数データである係数種データｗi0〜ｗi30（ｉ＝１〜ｎ）が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
Figure 2005062693
また、画像信号処理部１０６は、画像信号Ｓｂにおける注目位置の画素データを求めるための係数データＷｉを生成する係数生成回路１２４を有している。この係数生成回路１２４は、クラス分類回路１２２で得られたクラスコードＣＬが表すクラスの係数種データｗi0〜ｗi30をＲＯＭ１２３から読み出し、さらにレート変換回路１０５より出力される画像信号Ｓｂにおける注目位置の位相情報ｈ，ｖ、システムコントローラ１０１から供給される画質調整情報ｆ，ｇの値を用い、（２）式の生成式によって、係数データＷｉを生成する。
ここで、位相情報ｈ，ｖは、輝度信号Ｙｃに対する処理では、レート変換回路１０５の出力ＴＧ２１７（図３参照）で得られる位相情報ｐｈｙ，ｐｖｙであり、一方色差信号Ｕｃ，Ｖｃに対する処理では、レート変換回路１０５の出力ＴＧ２１７（図３参照）で得られる位相情報ｐｈｃ，ｐｖｃである（図３参照）。なお、レート変換回路１０５から出力される位相情報ｈ，ｖと画像信号Ｓｃとの間には、画像信号Ｓｃの系にタップ構築回路２２１Ｙ，２２１Ｃが存在することから、時間ずれが発生している。
そのため、図示せずも、実際には、例えば位相情報ｈ，ｖの系に、時間調整用の遅延回路を配置することになる。この場合、本実施の形態では、上述したようにタップ構築回路２２１Ｙ，２２１Ｃにおける出力開始ディレイが画素数の変換倍率によらず一定となるので、固定遅延回路でよい。
また、画像信号処理部１０６は、レート変換回路１０５より出力される画像信号Ｓｃに基づいて、画像信号Ｓｂにおける注目位置の周辺に位置する複数の画素データを予測タップとして抽出する、第１のデータ抽出手段としての予測タップ抽出回路１２５を有している。
この場合、輝度信号Ｙｃに対する処理では、画像信号Ｓｂにおける各注目位置に対応して、レート変換回路１０５から並行して出力される１８×５＝９０個の輝度データのなかから所定の複数個の輝度データを予測タップとして抽出する。同様に、色差信号Ｕｃ，Ｖｃのそれぞれに対する処理では、画像信号Ｓｂにおける各注目位置に対応して、レート変換回路１０５から並行して出力される４×５＝２０個の色差データのなかから所定の複数個の色差データを予測タップとして抽出する。
また、画像信号処理部１０６は、推定予測演算回路１２６を有している。この推定予測演算回路１２６は、予測タップ抽出回路１２５で抽出された予測タップとしての画素データｘｉ（ｉ＝１〜ｎ）と、係数生成回路１２４で生成された係数データＷｉ（ｉ＝１〜ｎ）とを用い、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目位置の画素データｙを算出する。この推定予測演算回路１２６で順次算出される、画像信号Ｓｂにおける各注目位置の画素データｙは、出力端子１０７に出力される。
次に、画像信号処理部１０６の動作を説明する。
レート変換回路１０５より出力される画像信号Ｓｃはクラスタップ抽出回路１２１に供給される。このクラスタップ抽出回路１２１では、画像信号Ｓｃに基づいて、画像信号Ｓｂにおける注目位置の周辺に位置する複数の画素データがクラスタップとして抽出される。
クラスタップ抽出回路１２１で抽出されたクラスタップはクラス分類回路１２２に供給される。このクラス分類回路１２２では、クラスタップとしての複数の画素データに、例えばＡＤＲＣ等の圧縮処理が施されて、画像信号Ｓｂにおける注目位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは係数生成回路１２４に供給される。
この係数生成回路１２４には、レート変換回路１０５から、画像信号Ｓｃにおける注目位置の位相情報ｈ，ｖが供給され、またシステムコントローラ１０１から画質調整情報ｆ，ｇが供給される。これにより、係数生成回路１２４では、画像信号Ｓｃにおける各注目位置に対応して、ＲＯＭ１２３からクラスコードＣＬが表すクラスの係数種データｗi0〜ｗi30（ｉ＝１〜ｎ）が読み出され、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇの値を用いて、（２）式の生成式により、係数データＷｉ（ｉ＝１〜ｎ）が生成される。
また、レート変換回路１０５より出力される画像信号Ｓｃは予測タップ抽出回路１２５に供給される。この予測タップ抽出回路１２５では、画像信号Ｓｃに基づいて、画像信号Ｓｂにおける注目位置の周辺に位置する複数の画素データが予測タップとして抽出される。この予測タップとしての画素データｘｉは推定予測演算回路１２６に供給される。この推定予測演算回路１２６には、係数生成回路１２４で生成される係数データＷｉも供給される。
この推定予測演算回路１２６では、画像信号Ｓｂにおける各注目位置に対応して、予測タップ抽出回路１２５で抽出された予測タップとしての画素データｘｉ（ｉ＝１〜ｎ）と、係数生成回路１２４で生成された係数データＷｉ（ｉ＝１〜ｎ）とを用い、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目位置の画素データｙが算出される。この推定予測演算回路１２６で順次算出される、画像信号Ｓｂにおける各注目位置の画素データｙは、出力端子１０７に出力される。
この画像信号処理部１０６は、レート変換回路１０５より出力される、画像信号Ｓｂのレートと同じレートに変換された画像信号Ｓｃに基づいて、画像信号Ｓｂにおける各注目位置の画素データｙを求めていくものであり、レート変換の処理を伴うものではないので、容易に構成できる。
また、この画像信号処理部１０６は、画像信号Ｓｂにおける各注目位置に対応して、レート変換回路１０５から並行して出力される、当該注目位置の周辺に位置する複数個の画素データを使用するものであり、クラスタップ抽出回路１２１、予測タップ抽出回路１２５を例えばラッチ回路のみで構成でき、時間方向、垂直方向および水平方向に展開するための遅延回路等を不要とできる。
また、画像信号処理部１０６は、画像信号Ｓｂにおける注目位置の位相情報ｈ，ｖとして、レート変換回路１０５の出力ＴＧ２１７で得られる位相情報ｈ，ｖを用いるものであり、この位相情報ｈ，ｖを発生する回路を不要とできる。
上述したように、ＲＯＭ１２３には、係数種データｗi0〜ｗi30（ｉ＝１〜ｎ）が、クラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
まず、この生成方法の一例について説明する。（２）式の生成式における係数データである係数種データｗi0〜ｗi30を求める例を示すものとする。
ここで、以下の説明のため、（３）式のように、ｔj（ｊ＝０〜３０）を定義する。
ｔ0＝１，ｔ1＝ｆ，ｔ2＝ｇ，ｔ3＝ｆ2，ｔ4＝ｆｇ，ｔ5＝ｇ2，ｔ6＝ｆ3，
ｔ7＝ｆ2ｇ，ｔ8＝ｆｇ2，ｔ9＝ｇ3，ｔ10＝ｖ，ｔ11＝ｖｆ，ｔ12＝ｖｇ，
ｔ13＝ｖｆ2，ｔ14＝ｖｆｇ，ｔ15＝ｖｇ2，ｔ16＝ｈ，ｔ17＝ｈｆ，
ｔ18＝ｈｇ，ｔ19＝ｈｆ2，ｔ20＝ｈｆｇ，ｔ21＝ｈｇ2，ｔ22＝ｖ2，
ｔ23＝ｖ2ｆ，ｔ24＝ｖ2ｇ，ｔ25＝ｖｈ，ｔ26＝ｖｈｆ，ｔ27＝ｖｈｇ，
ｔ28＝ｈ2，ｔ29＝ｈ2ｆ，ｔ30＝ｈ2ｇ
・・・（３）
この（３）式を用いると、（２）式は、（４）式のように書き換えられる。
Figure 2005062693
最終的に、学習によって未定係数ｗijを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（１）式および（２）式を用いて、Ｅは（５）式で表される。ここで、ｘikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応する教師画像のｋ番目の画素データを表している。
Figure 2005062693
最小二乗法による解法では、（５）式のｗijによる偏微分が０になるようなｗijを求める。これは、（６）式で示される。
Figure 2005062693
以下、（７）式、（８）式のように、Ｘipjq、Ｙipを定義すると、（６）式は、行列を用いて（９）式のように書き換えられる。
Figure 2005062693
Figure 2005062693
この（９）式は、一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗijについて解かれ、係数種データが算出される。
図３１は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味している。１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味している。
図３２は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
このＳＤ信号の位相を、例えば垂直方向に８段階、水平方向に８段階にシフトさせて、８×８＝６４種類のＳＤ信号ＳＤ1〜ＳＤ64を生成する。図３３は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は４０９６である。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。
Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０，１０２４，２０４８，３０７２の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７６８，１７９２，２８１６，３８４０の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５１２，１５３６，２５６０，３５８４の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２５６，１２８０，２３０４，３３２８の位相を持つようになる。
Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０，１０２４，２０４８，３０７２の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７６８，１７９２，２８１６，３８４０の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５１２，１５３６，２５６０，３５８４の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２５６，１２８０，２３０４，３３２８の位相を持つようになる。
図３４は、水平方向への８段階の位相シフト状態Ｈ１〜Ｈ８を示している。ここではＳＤ信号の水平方向の画素間隔は４０９６である。
Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０,２０４８の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１７９２,３８４０の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１５３６,３５８４の位相を持つようになる。Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１２８０，３３２８の位相を持つようになる。
Ｈ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１０２４，３０７２の位相を持つようになる。Ｈ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７６８，２８１６の位相を持つようになる。Ｈ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５１２，２５６０の位相を持つようになる。Ｈ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２５６,２３０４の位相を持つようになる。
図３５は、上述したように垂直方向に８段階、水平方向に８段階にシフトさせて得られた６４種類のＳＤ信号に関し、ＳＤ信号の画素を中心とした場合のＨＤ信号の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は図中のハッチングが施された○で示す位相を持つようになる。
ここでは、位相シフトの方法の例として、オーバーサンプリングフィルタから欲しい位相だけを抜き出す方法をあげる。上述した画質調整として、ここでは解像度調整、ノイズ抑圧度調整を例にあげると、このオーバーサンプリングフィルタの周波数特性を変えることにより解像度の異なる生徒画像を作成することができる。そして、解像度の異なる生徒画像によって、解像度を上げる効果の異なる係数を作成できる。例えばボケ具合の大きい生徒画像とボケ具合の小さい生徒画像があった場合、ボケ具合の大きい生徒画像による学習で、解像度を上げる効果の強い係数が生成され、ボケ具合の小さい生徒画像による学習で、解像度を上げる効果の弱い係数が生成される。
さらに、解像度の異なる生徒画像の各々に対してノイズを加えることでノイズの加わった生徒画像を作成することができる。ノイズを加える量を可変することでノイズの量が異なる生徒画像が生成され、それによってノイズ抑圧効果の異なる係数が生成される。例えばノイズをたくさん加えた生徒画像とノイズを少し加えた生徒画像があった場合、ノイズをたくさん加えた生徒画像による学習でノイズ抑圧効果の強い係数が作成され、ノイズを少し加えた生徒画像による学習でノイズ抑圧効果の弱い係数が作成される。
ノイズを加える量としては、例えば（１０）式のように、生徒画像の画素値ｘに対して、ノイズｎを加えてノイズの加わった生徒画像の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１０）
図３６は、最終的な学習対の概念を示している。ここでは例として、異なるオーバーサンプリングフィルタの周波数特性を８段階とし、ノイズ加算量も８段階とする。個々の周波数特性による生徒画像での学習により、解像度調整に対応する係数データが作成され、さらに個々のノイズ加算された生徒画像での学習により、ノイズ抑圧度調整に対応する係数データが作成される。さらに個別の周波数特性、ノイズ加算量に対し、位相の異なる生徒画像で学習することで、異なる位相に対応する画素を生成する係数種データが作成される。
図３７は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０i）が入力される入力端子１５１と、このＨＤ信号に対して、水平および垂直方向にオーバーサンプリングフィルタをかけ、欲しい位相を抜き出してＳＤ信号（５２５ｉ）を得る位相シフト回路１５２Ａと、このＳＤ信号に対し、ノイズを加算するノイズ加算回路１５２Ｂとを有している。
位相シフト回路１５２Ａにはオーバーサンプリングフィルタの周波数特性を指定するパラメータｆ、および水平方向、垂直方向への位相シフト量を指定するパラメータｈ，ｖが入力される。ノイズ加算回路１５２Ｂにはノイズの加算割合を指定するパラメータｇが入力される。ここで、パラメータｆは図１の画像信号処理部１０６における解像度調整情報ｆに対応し、パラメータｈ，ｖは図１の画像信号処理部１０６における位相情報ｈ，ｖに対応し、パラメータｇは図１の画像信号処理部１０６におけるノイズ抑圧度調整情報ｇに対応するものである。
また、係数種データ生成装置１５０は、ノイズ加算回路１５２Ｂより出力されるＳＤ信号に基づいて、ＨＤ信号おける注目位置の周辺に位置する複数の画素データをクラスタップとして抽出するクラスタップ抽出回路１５４と、このクラスタップに基づいて、ＨＤ信号における注目位置の画素データが属するクラスを表すクラスコードＣＬを得るクラス分類回路１５７とを有している。
また、係数種データ生成装置１５０は、ノイズ加算回路１５２Ｂより出力されるＳＤ信号に基づいて、ＨＤ信号おける注目位置の周辺に位置する複数の画素データを予測タップとして抽出する予測タップ抽出回路１５３を有している。
また、係数種データ生成装置１５０は、係数種データｗi0〜ｗi30（ｉ＝１〜ｎ）を得るための正規方程式（（９）式参照）をクラス毎に生成する正規方程式生成部１６０を有している。この正規方程式生成部１６０は、入力端子１５１に入力されるＨＤ信号より抽出された、当該ＨＤ信号の各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ抽出回路１５３で抽出される予測タップとしての画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類回路１５７で得られるクラスコードＣＬと、オーバーサンプリングフィルタの周波数特性を指定するパラメータｆ、および水平方向、垂直方向への位相シフト量を指定するパラメータｈ，ｖ、ノイズの加算割合を指定するパラメータｇとから、クラス毎に、係数種データｗi0〜ｗi30（ｉ＝１〜ｎ）を得るための正規方程式を生成する。
この場合、一個の画素データｙとそれに対応する予測タップとしてのｎ個の画素データｘｉとの組み合わせで一個の学習データが生成される。位相シフト回路１５２Ａへのパラメータｆ，ｈ，ｖ、およびノイズ加算回路１５２Ｂへのパラメータｇが順次変更されていき、それに応じたＳＤ信号が順次生成され、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。このようにＳＤ信号を順次作成して学習データを登録することで、任意の解像度調整、ノイズ抑圧度調整、および水平、垂直の位相の画素データを得るための係数種データを求めることが可能となる。
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗi0〜ｗi30を求める係数種データ決定部１６１と、この求められた係数種データｗi0〜ｗi30を記憶する係数種メモリ１６２とを有している。
図３７に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される。このＨＤ信号に対して、位相シフト回路１５２Ａでは、水平および垂直方向にオーバーサンプリングフィルタがかけられ、欲しい位相が抜き出されてＳＤ信号が得られる。この場合、ＳＤ信号として垂直方向に８段階、水平方向に８段階にシフトされたものが順次生成される。
また、各位相のＳＤ信号に対して、位相シフト回路１５２Ａに入力されるパラメータｆおよびノイズ加算回路１５２Ｂに入力されるパラメータｇが順次変更されていき、それに応じたＳＤ信号が順次生成される。
ノイズ加算回路１５２Ｂより出力される各ＳＤ信号より、クラスタップ抽出回路１５４で、ＨＤ信号における注目位置の周辺に位置する複数の画素データがクラスタップとして抽出される。このクラスタップはクラス分類回路１５７に供給される。このクラス分類回路１５７では、クラスタップとしての複数の画素データに、例えばＡＤＲＣ等の圧縮処理が施されて、画像信号Ｓｂにおける注目位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは正規方程式生成部１６０に供給される。
また、ノイズ加算回路１５２Ｂより出力される各ＳＤ信号より、予測タップ抽出回路１５３で、ＨＤ信号における注目位置の周辺に位置する複数の画素データが予測タップとして抽出される。この予測タップとしての画素データｘｉは正規方程式生成部１６０に供給される。
なお、入力端子１５１に入力されたＨＤ信号は正規方程式生成部１６０に供給される。この生成方程式生成部１６０では、ＨＤ信号より抽出される、当該ＨＤ信号における各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ抽出回路１５３で抽出された予測タップとしての複数の画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類回路１５７で得られたクラスコードＣＬと、パラメータｆ，ｈ，ｖ，ｇとから、クラス毎に、係数種データｗi0〜ｗi30（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラスの係数種データｗi0〜ｗi30が求められる。この係数種データｗi0〜ｗi30はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
このように、図３７に示す係数種データ生成装置１５０においては、図１の画像信号処理部１０６のＲＯＭ１２３に記憶される、各クラスの係数種データｗi0〜ｗi30を生成することができる。
なお、上述した図１の画像信号処理装置１００における処理を、例えば図３８に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウェアにより行うこともできる。
まず、図３８に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラム、係数種データ等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＣＲＴ（Cathode-Ray Tube）、ＬＣＤ（liquid Crystal Display）等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
また、画像信号処理装置５００は、画像信号Ｓａを入力するための入力端子５１５と、画像信号Ｓｂを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
ここで、上述したようにＲＯＭ５０２に制御プログラム等を予め格納しておく代わりに、例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ３０３に格納して使用することもできる。また、これら制御プログラム等をリムーバブル記録媒体で提供するようにしてもよい。
また、処理すべき画像信号Ｓａを入力端子５１５より入力する代わりに、リムーバブル記録媒体で供給し、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｓｂを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
図３９のフローチャートを参照して、図３８に示す画像信号処理装置５００における、画像信号Ｓａより画像信号Ｓｂを得るため処理手順を説明する。
まず、ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、画像信号Ｓａを所定フレーム分または所定フィールド分入力する。この画像信号Ｓａが入力端子５１５より入力される場合には、この画像信号Ｓａ をＲＡＭ５０３に一時的に格納する。また、この画像信号Ｓａ がハードディスクドライブ５０５に記録されている場合には、このハードディスクドライブ５０５から画像信号Ｓａを読み出し、この画像信号ＳａをＲＡＭ５０３に一時的に格納する。そして、ステップＳＴ５３で、画像信号Ｓａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ５４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５５に進む。
このステップＳＴ５５では、ステップＳＴ５２で入力された画像信号Ｓａに対してレート変換処理を行って画像信号Ｓｃを生成する。また、このステップ５２では、画像信号Ｓｃの各画素データに対応して位相情報ｈ，ｖも取得する。そして、ステップＳＴ５６で、ユーザの操作に基づく、画質調整情報ｆ，ｇを取得する。
次に、ステップＳＴ５７で、ステップＳＴ５５で生成された画像信号Ｓｃに基づいて、画像信号Ｓｂにおける注目位置に対応したクラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ５８で、ステップＳＴ５７で抽出されたクラスタップに基づいて、画像信号Ｓｂにおける注目位置の画素データが属するクラスを表すクラスコードＣＬを生成する。
そして、ステップＳＴ５９で、ステップＳＴ５８で生成されたクラスコードＣＬが表すクラスの係数種データを使用し、またステップＳＴ５５で取得された画像信号Ｓｂにおける注目位置に対応した位相情報ｈ，ｖ、およびステップＳＴ５６で取得された画質調整情報ｆ，ｇを用い、上述した（２）式の生成式によって、画像信号Ｓｂにおける注目位置の画素データを求めるための推定式の係数データＷｉを生成する。
次に、ステップＳＴ６０で、ステップＳＴ５９で生成された係数データＷｉと、ステップＳＴ５７で抽出された予測タップとしての画素データｘｉとを用い、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目位置の画素データｙを生成する。
次に、ステップＳＴ６１で、ステップＳＴ５２で入力された画像信号Ｓａの各フィールドに関する処理が終了したか否かを判定する。終了しているときは、ステップＳＴ５２に戻り、次の所定フレームまたは所定フィールドの画像信号Ｓａの入力処理に移る。一方、終了していないときは、ステップＳＴ５７に戻り、画像信号Ｓｂにおける次の注目位置の画素データｙを得る処理に移る。
このように、図３９に示すフローチャートに沿って処理をすることで、入力された画像信号Ｓａを処理して画像信号Ｓｂを得ることができる。
また、処理装置の図示は省略するが、図３７の係数種データ生成装置１５０における処理も、ソフトウェアで実現できる。
図４０のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ７１で、処理を開始し、ステップＳＴ７２で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータｈ，ｖで特定される）および画質調整値（例えば、パラメータｆ，ｇで特定される）を選択する。そして、ステップＳＴ７３で、位相シフト値および画質調整値の全ての組み合わせに対して学習が終わったか否かを判定する。全ての組み合わせに対して学習が終わっていないときは、ステップＳＴ７４に進む。
このステップＳＴ７４では、既知のＨＤ信号を１フレーム分または１フィールド分入力する。そして、ステップＳＴ７５で、全てのフレームまたはフィールドのＨＤ信号について処理が終了したか否かを判定する。終了したときは、ステップＳＴ７２に戻って、次の位相シフト値および画質調整値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ７６に進む。
このステップＳＴ７６では、ステップＳＴ７４で入力されたＨＤ信号より、ステップＳＴ７２で選択された位相シフト値だけ位相シフトされ、また画質調整値に対応して画質調整（解像度、ノイズの調整）されたＳＤ信号を生成する。そして、ステップＳＴ７７で、ステップＳＴ７６で生成されたＳＤ信号から、ＨＤ信号の注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。
次に、ステップＳＴ７８で、ステップＳＴ７７で取得されたクラスタップに基づいて、ＨＤ信号における注目位置の画素データが属するクラスを表すクラスコードＣＬを生成する。そして、ステップＳＴ７９で、ＨＤ信号における注目位置の画素データとステップＳＴ７７で取得された予測タップとしての画素データとを一個の学習データとして、正規方程式（（９）式参照）を得るための足し込みを行う。この足し込みは、クラスコードＣＬに基づいて、クラス毎に行う。
次に、ステップＳＴ８０で、ステップＳＴ７４で入力されたＨＤ信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ７４に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップ７７に戻って、ＨＤ信号における次の注目位置についての処理に移る。
また、ステップＳＴ７３で、位相シフト値および画質調整値の全ての組み合わせに対して学習が終わったときは、ステップＳＴ８１に進む。このステップＳＴ８１では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ８２で、その係数種データをメモリに保存し、その後にステップＳＴ８３で、処理を終了する。
このように、図４０に示すフローチャートに沿って処理をすることで、図３７に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
なお、上述実施の形態において、レート変換回路１０５では、一個の読み出しリクエストＲＲＱに対応して、フレームメモリ２０１から１０ライン分の輝度信号Ｙａを読み出し、レート変換部２１５Ｙから最終的に１８ライン分の輝度信号Ｙｃを並列的に出力すると共に、フレームメモリ２０１から２ライン分の色差信号Ｕａ／Ｖａを読み出し、レート変換部２１５Ｃから最終的に４ライン分の青色差信号Ｕｃおよび４ライン分の赤色差信号Ｖｃを出力する。
しかし、一個の読み出しリクエストＲＲＱに対応して、フレームメモリ２０１から読み出すべき輝度信号Ｙａ、色差信号Ｕａ／Ｖａのライン数はこれに限定されるものではない。
例えば、一個の読み出しリクエストＲＲＱに対応して、フレームメモリ２０１から、５ライン分の輝度信号Ｙａおよび１ライン分の色差信号Ｕａ／Ｖａを読み出すことも考えられる。この場合も、レート変換部２１５Ｙ，２１５Ｃで、ライン遅延の処理を行うことで、最終的に、１８ライン分の輝度信号Ｙｃ、各４ライン分の青色差信号Ｕｃおよび赤色差信号Ｖｃを得ることができる。
図４１Ａは、輝度信号のタップ領域の一例を示しており、白丸で示す０〜４の５ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す５〜１７の１３ラインはライン遅延を持ったラインである。この場合、例えば１０のラインが中心位置とされる。また、図４１Ｂは、色差信号のタップ領域の一例を示しており、白丸で示す０の１ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す１〜３の３ラインはライン遅延を持ったラインである。この場合、例えば１のラインが中心位置とされる。
また例えば、一個の読み出しリクエストＲＲＱに対応して、フレームメモリ２０１から、４ライン分の輝度信号Ｙａおよび２ライン分の色差信号Ｕａ／Ｖａを読み出すことも考えられる。この場合、例えば、レート変換部２１５Ｙ，２１５Ｃで、ライン遅延の処理を行うことで、最終的に、１４ライン分の輝度信号Ｙｃ、各８ライン分の青色差信号Ｕｃおよび赤色差信号Ｖｃを得ることができる。
図４２Ａは、輝度信号のタップ領域の一例を示しており、白丸で示す０〜３の４ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す４〜１３の１０ラインはライン遅延を持ったラインである。この場合、例えば８のラインが中心位置とされる。また、図４２Ｂは、色差信号のタップ領域の一例を示しており、白丸で示す０，１の２ラインはライン遅延を持たないラインであり、ハッチングされた丸で示す２〜７の６ラインはライン遅延を持ったラインである。この場合、例えば３のラインが中心位置とされる。
また、上述実施の形態においては、レート変換回路１０５のタップ構築回路２２１Ｙ，２２１Ｃでは、水平方向に５タップが構築されるものを示したが、タップ数はこれに限定されるものではない。また、輝度信号と色差信号とでタップ数が異なるようにすることもできる。
また、上述実施の形態においては、ＲＯＭ１２３に係数種データを記憶しておき、係数生成回路１２４では、クラスコードＣＬが表すクラスの係数種データを用いて、（２）式の生成式に基づき、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇに対応した係数データＷｉを生成して使用するものを示した。しかし、ＲＯＭ１２３に、クラス毎に、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇの全ての組み合わせについての係数データＷｉを記憶しておき、クラスコードＣＬが表すクラスにおける、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇに対応した係数データＷｉを読み出して使用するようにしてもよい。
この場合、情報メモリバンク１３５に記憶される位相情報ｈ，ｖおよび画質調整情報ｆ，ｇの各組み合わせの係数データＷｉは、パラメータｆ，ｇ，ｈ，ｖの各組み合わせで得られるＳＤ信号のそれぞれについて学習を行うことで求めることができる。
また、上述実施の形態としては、画像信号Ｓａより画像信号Ｓｃを得る際に画素数が増加するものを示し、レート変換部２１５Ｙ，２１５Ｃでは二度読みによって画素数の増加が図られている。しかし、画像信号Ｓａおよび画像信号Ｓｃのフォーマットによっては、レート変換時に画素数が減少することになる。その場合、レート変換部２１５Ｙ，２１５Ｃでは、間引きによって画素数の減少が図られる。
また、上述実施の形態においては、レート変換回路１０５より出力される時間方向、垂直方向および水平方向に展開された画像信号Ｓｃから、画像信号処理部１０６でさらにクラスタップおよび予測タップを抽出して使用するものを示した。しかし、レート変換回路１０５のタップ構築回路２２１Ｙ，２２１Ｃのそれぞれとして、クラスタップを得るためのタップ構築回路、予測タップを得るためのタップ構築回路を備え、レート変換回路１０５から画像信号処理部１０６で使用するクラスタップおよび予測タップが直接出力されるようにしてもよい。その場合、画像信号処理部１０６には、クラスタップ抽出回路１２１および予測タップ抽出回路１２５は不要となる。
また、上述実施の形態においては、画像信号Ｓｂの画素データを生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
また、上述実施の形態においては、クラスコードＣＬを検出し、推定予測演算ではこのクラスコードに応じた係数データＷｉを使用するものを示したが、クラスコードＣＬの検出部分を省略したものも考えられる。その場合には、ＲＯＭ１２３に格納される係数種データは１種類のみとなる。
この発明は、同一のデータバスを介して行われる書き込みと読み出しの調整を良好に行うことができ、書き込みリクエストによる書き込みのタイミングに依らず、読み出しリクエストの一定時間毎の入力による読み出しが可能となるものであり、入力画像信号を一時的に第１のメモリに格納し、この第１のメモリから第２のメモリに画像信号をライン単位で順次転送して書き込み、この第２のメモリから変換後の画素周期およびライン周期で画像信号の読み出しを行って出力画像信号を得る用途に適用できる。
実施の形態としての画像信号処理装置の構成を示すブロック図である。 ４８０ｉ信号、１０８０ｉ信号のライン数および水平画素数を説明するための図である。 レート変換回路の構成を示すブロック図である。 レート変換を説明するための図である。 変換対象ラインをフレームメモリから一定時間毎に読み出す場合における、出力画像信号の１垂直有効期間のラインと入力画像信号の変換対象ラインとの対応を示す図である。 変換対象ラインがフレームメモリから一定時間毎に読み出される場合における、読み出し入力画像信号と出力画像信号との関係を示す図である。 変換対象ラインをフレームメモリから出力画像信号のラインに同期して読み出す場合における、出力画像信号の１垂直有効期間のラインと入力画像信号の変換対象ラインとの対応を示す図である。 変換対象ラインをフレームメモリから出力画像信号のラインに同期して読み出す場合における、読み出し入力画像信号と出力画像信号との関係を示す図である。 輝度信号のレート変換例であって、輝度信号Ｙａの水平７２０画素、垂直２４０画素のレート変換対象部分ＡＴから、輝度信号Ｙｃの水平１９２０画素、垂直４８０画素の有効画素部分を得た場合の例を示す図である。 色差信号のレート変換例であって、色差信号Ｕａ（Ｖａ）の水平３６０画素、垂直２４０画素のレート変換対象部分ＡＴから、色差信号Ｕｃ（Ｖｃ）の水平１９２０画素、垂直４８０画素の有効画素部分を得た場合の例を示す図である。 輝度信号の水平方向の画素数変換におけるタイミングチャートである。 色差信号の水平方向の画素数変換におけるタイミングチャートである。 垂直方向のライン数変換にけるタイミングチャートである。 レート変換回路で得られる、輝度信号および色差信号におけるクラスタップおよび予測タップを抽出するためのタップ領域の一例を示す図である。 レート変換回路で得られる、輝度信号および色差信号におけるクラスタップおよび予測タップを抽出するためのタップ領域の一例を示す図である。 レート変換部の各系統のリング構造ＳＲＡＭが備えるべきメモリ容量の理論値を求めるための動作モデルを示す図である。 Ｙタップ構築回路の構成を示すブロック図である。 タップ構築の動作例（整数倍固定の画素数変換）を示す図である。 タップ構築の動作例（任意倍率の画素数変換）を示す図である。 図１９の動作例における、シフトレジスタの状態変化とセンタータップの変化を説明するための図である。 シフトレジスタを構成するレジスタの個数を１個増加した場合における、シフトレジスタの状態変化とセンタータップの変化を説明するための図である。 先読み用トリガを設けて、センタータップの変化が変換後の輝度信号Ｙｃにおける輝度データの並びと対応して変化するようにした場合における、タップ構築の動作例（任意倍率の画素数変換）を示す図である。 図２２の動作例における、シフトレジスタの状態変化とセンタータップの変化を説明するための図である。 シフトレジスタに所定個数の輝度データを出力画像信号Ｓｃのレートに合わせて取り込み、出力開始ディレイを一定とした場合における、タップ構築の動作例（任意倍率の画素数変換）を示す図である。 レート変換回路を構成するＳＤＲＡＭコントローラの構成を示すブロック図である。 ＳＤＲＡＭコントローラを構成するリード・ライト制御部の構成を示すブロック図である。 リード・ライト制御部の動作を説明するためのタイミングチャートである。 リード・ライト制御部の動作をソフトウェアで実現する際の処理手順を示すフローチャート（１／２）である。 リード・ライト制御部の動作をソフトウェアで実現する際の処理手順を示すフローチャート（２／２）である。 入力画像信号ＳａのタイミングとＳＤＲＡＭバスのデータ転送状態の一例を示す図である。 係数種データの生成方法の一例を示す図である。 ５２５ｉ信号（ＳＤ信号）と１０５０ｉ信号（ＨＤ信号）の画素位置関係を示す図である。 垂直方向への８段階の位相シフトを説明するための図である。 水平方向への８段階の位相シフトを説明するための図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。 係数種データの生成方法の一例を示す図である。 係数種データ生成装置の構成を示すブロック図である。 ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。 画像信号処理の手順を示すフローチャートである。 係数種データ生成処理の手順を示すフローチャートである。 レート変換回路で得られる、輝度信号および色差信号におけるクラスタップおよび予測タップを抽出するためのタップ領域の一例を示す図である。 レート変換回路で得られる、輝度信号および色差信号におけるクラスタップおよび予測タップを抽出するためのタップ領域の一例を示す図である。
符号の説明
１００・・・画像信号処理装置、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０３・・・送信機、１０４・・・入力端子、１０５・・・レート変換回路、１０６・・・画像信号処理部、１０７・・・出力端子、１２１・・・クラスタップ抽出回路、１２２・・・クラス分類回路、１２３・・・ＲＯＭ、１２４・・・係数生成回路、１２５・・・予測タップ抽出回路、１２６・・・推定予測演算回路、１５０・・・係数種データ生成装置、２０１・・・フレームメモリ、２０２・・・ＳＤＲＡＭコントローラ、２０３・・・ＳＤＲＡＭバス、２０４Ｙ，２０４Ｃ，２０５Ｙ，２０５Ｃ・・・バッファ、２０６・・・制御部、２０７・・・入力タイミングジェネレータ（入力ＴＧ）、２０８・・・水平カウンタ、２０９・・・垂直カウンタ、２１１・・・メモリタイミングジェネレータ（メモリＴＧ）、２１２・・・リクエストカウンタ、２１３・・・垂直カウンタ、２１５Ｙ，２１５Ｃ・・・レート変換部、２１７・・・出力タイミングジェネレータ（出力ＴＧ）、２１８・・・アドレス発生部、２１９・・・垂直カウンタ、２２１Ｙ，２２１Ｃ・・・タップ構築回路、２２２-1〜２２２-18・・・シフトレジスタ、３０１・・・コマンドジェネレータ、３０２・・・モードセット・リフレッシュジェネレータ、３０３・・・ライトアドレス部、３０４・・・リードアドレス部、３０５・・・リードカウンタ、３０６・・・ライトカウンタ、３０７・・・リード・ライト制御部、３１１・・・ライトチャネルカウンタ、３１２・・・リードチャネルカウンタ、３１３・・・読み出しリクエストホールド部、３１４・・・チャネルカウンタ、５００・・・画像信号処理装置

Claims (13)

  1. 画像信号の書き込みおよび読み出しを同一のデータバスを介して行うメモリを制御するメモリコントローラであって、
    上記メモリに書き込まれる入力画像信号を一時的に記憶する書き込みバッファと、
    上記メモリから読み出される出力画像信号を一時的に記憶する読み出しバッファと、
    上記メモリの書き込みアドレスを発生する書き込みアドレス発生手段と、
    上記メモリの読み出しアドレスを発生する読み出しアドレス発生手段と、
    上記書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストおよび一定時間毎に供給される読み出しリクエストに基づいて、上記書き込みバッファ、上記読み出しバッファ、上記書き込みアドレス発生手段および上記読み出しアドレス発生手段を制御する制御手段とを備え、
    上記制御手段は、上記書き込みリクエストに基づき上記書き込みバッファから上記データバスを介して上記メモリに画像信号を転送して書き込む第１の制御および上記読み出しリクエストに基づき上記メモリから上記データバスを介して上記読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先する
    ことを特徴とするメモリコントローラ。
  2. 上記制御手段は、上記第２の制御より上記第１の制御を優先する
    ことを特徴とする請求項１に記載のメモリコントローラ。
  3. 上記制御手段は、
    上記書き込みリクエストおよび上記読み出しリクエストが同時に供給されるとき、該書き込みリクエストに基づいて上記メモリに書き込みが行われるように制御すると共に、該読み出しリクエストを保持しておき、上記書き込みが終了した後に該保持されている読み出しリクエストに基づいて上記メモリから読み出しが行われるように制御する
    ことを特徴とする請求項２に記載のメモリコントローラ。
  4. 上記制御手段は、
    上記メモリに書き込みを行っている間に上記読み出しリクエストが供給されるとき、該読み出しリクエストを保持しておき、上記書き込みが終了した後に該保持されている読み出しリクエストに基づいて上記メモリから読み出しが行われるように制御する
    ことを特徴とする請求項２に記載のメモリコントローラ。
  5. 上記制御手段は、
    上記メモリから読み出しを行っている間に上記書き込みリクエストが供給されるとき、
    上記読み出しを一時的に停止すると共に、該書き込みリクエストに基づいて上記メモリに書き込みが行われるように制御し、該書き込みが終了した後に上記停止した読み出しの残りが行われるように制御する
    ことを特徴とする請求項２に記載のメモリコントローラ。
  6. 上記メモリは、バースト転送型のフレームメモリである
    ことを特徴とする請求項１に記載のメモリコントローラ。
  7. 上記メモリはＳＤＲＡＭであって、
    上記メモリをリフレッシュするリフレッシュ手段をさらに備え、
    上記リフレッシュ手段は、上記リフレッシュを垂直ブランキング期間に行う
    ことを特徴とする請求項１に記載のメモリコントローラ。
  8. 上記書き込みリクエストの１個に対応して上記メモリに１水平期間分の画像信号がｎ個（ｎは整数）書き込まれると共に、上記読み出しリクエストの１個に対応して上記メモリから１水平期間分の画像信号がｍ個（ｍは整数であって、ｍ＞ｎ）読み出される
    ことを特徴とする請求項１に記載のメモリコントローラ。
  9. 書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストに基づいて、上記書き込みバッファからデータバスを介してメモリに画像信号を転送して書き込む第１の制御工程と、
    一定時間毎に供給される読み出しリクエストに基づいて上記メモリから上記データバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御工程とを備え、
    上記書き込みリクエストに基づく上記第１の制御工程および上記読み出しリクエストに基づく上記第２の制御工程のいずれか一方を他方より優先して行う
    ことを特徴とするメモリコントロール方法。
  10. 上記第２の制御工程より上記第１の制御工程を優先して行う
    ことを特徴とする請求項９に記載のメモリコントロール方法。
  11. 書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストに基づいて、上記書き込みバッファからデータバスを介してメモリに画像信号を転送して書き込む第１の制御工程と、
    一定時間毎に供給される読み出しリクエストに基づいて上記メモリから上記データバスを介して読み出しバッファに画像信号を転送して書き込む第２の制御工程とを備え、
    上記書き込みリクエストに基づく上記第１の制御工程および上記読み出しリクエストに基づく上記第２の制御工程のいずれか一方を他方より優先して行うメモリコントロール方法をコンピュータに実行させるためのプログラム。
  12. 入力画像信号を一時的に格納する第１のメモリと、
    上記第１のメモリから画像信号をライン単位で順次転送して書き込み、変換後の画素周期およびライン周期で画像信号の読み出しを行って出力画像信号を得るための第２のメモリと、
    上記第１のメモリおよび上記第２のメモリの書き込みおよび読み出しを制御する制御手段とを備え、
    上記制御手段は、
    上記第１のメモリに書き込まれる入力画像信号を一時的に記憶する書き込みバッファと、
    上記第１のメモリから読み出される出力画像信号を一時的に記憶する読み出しバッファと、
    上記第１のメモリの書き込みアドレスを発生する書き込みアドレス発生部と、
    上記第１のメモリの読み出しアドレスを発生する読み出しアドレス発生部と、
    上記書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストおよび一定時間毎に供給される読み出しリクエストに基づいて、上記書き込みバッファ、上記読み出しバッファ、上記書き込みアドレス発生手段および上記読み出しアドレス発生手段を制御する書き込み・読み出し制御部とを有し、
    上記書き込み・読み出し制御部は、上記書き込みリクエストに基づき上記書き込みバッファから上記データバスを介して上記第１のメモリに画像信号を転送して書き込む第１の制御および上記読み出しリクエストに基づき上記第１のメモリから上記データバスを介して上記読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先する
    ことを特徴とするレート変換装置。
  13. 複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
    上記第１の画像信号に基づいて、上記第２の画像信号を構成する画素データに対応した画素データを持つ第３の画像信号を得るレート変換手段と、
    上記第２の画像信号における注目位置の位相情報を発生する位相情報発生手段と、
    上記位相情報発生手段で発生された位相情報に基づき、上記第３の画像信号を用いて、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
    上記レート変換手段は、
    上記第１の画像信号を一時的に格納する第１のメモリと、
    上記第１のメモリから画像信号をライン単位で順次転送して書き込み、変換後の画素周期およびライン周期で画像信号の読み出しを行って上記第３の画像信号を得る第２のメモリと、
    上記第１のメモリおよび上記第２のメモリの書き込みおよび読み出しを制御する制御手段とを有し、
    上記制御手段は、
    上記第１のメモリに書き込まれる入力画像信号を一時的に記憶する書き込みバッファと、
    上記第１のメモリから読み出される出力画像信号を一時的に記憶する読み出しバッファと、
    上記第１のメモリの書き込みアドレスを発生する書き込みアドレス発生部と、
    上記第１のメモリの読み出しアドレスを発生する読み出しアドレス発生部と、
    上記書き込みバッファに所定量の画像信号が記憶される毎に供給される書き込みリクエストおよび一定時間毎に供給される読み出しリクエストに基づいて、上記書き込みバッファ、上記読み出しバッファ、上記書き込みアドレス発生手段および上記読み出しアドレス発生手段を制御する書き込み・読み出し制御部とを有し、
    上記書き込み・読み出し制御部は、上記書き込みリクエストに基づき上記書き込みバッファから上記データバスを介して上記第１のメモリに画像信号を転送して書き込む第１の制御および上記読み出しリクエストに基づき上記第１のメモリから上記データバスを介して上記読み出しバッファに画像信号を転送して書き込む第２の制御のいずれか一方を他方より優先する
    ことを特徴とする画像信号処理装置。
JP2003295511A 2003-08-19 2003-08-19 メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム Expired - Fee Related JP4661036B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2003295511A JP4661036B2 (ja) 2003-08-19 2003-08-19 メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム
EP04019600A EP1511004A3 (en) 2003-08-19 2004-08-18 Memory controller, memory control method, rate conversion apparatus, rate conversion method, image-signal-processing apparatus, image-signal-processing method, and program for executing these methods
CNB2004100822271A CN100435579C (zh) 2003-08-19 2004-08-19 比率转换装置及方法、图像信号处理装置及方法
CN200710126243A CN100587771C (zh) 2003-08-19 2004-08-19 存储控制器和存储控制方法
TW093124978A TWI277059B (en) 2003-08-19 2004-08-19 Memory controller, memory control method, rate conversion apparatus, rate conversion method, image-signal-processing apparatus, image-signal-processing method, and program for executing each of those methods
US10/921,267 US7869085B2 (en) 2003-08-19 2004-08-19 Memory controller, memory control method, rate conversion apparatus, rate conversion method, image-signal-processing apparatus, image-signal-processing method, and program for executing each of those methods
KR1020040065535A KR20050020685A (ko) 2003-08-19 2004-08-19 메모리 컨트롤러 및 메모리 컨트롤 방법, 레이트 변환장치 및 레이트 변환 방법, 화상 신호의 처리 장치 및처리 방법, 및 각 방법을 실행하기 위한 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003295511A JP4661036B2 (ja) 2003-08-19 2003-08-19 メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム

Publications (2)

Publication Number Publication Date
JP2005062693A true JP2005062693A (ja) 2005-03-10
JP4661036B2 JP4661036B2 (ja) 2011-03-30

Family

ID=34371732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003295511A Expired - Fee Related JP4661036B2 (ja) 2003-08-19 2003-08-19 メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム

Country Status (2)

Country Link
JP (1) JP4661036B2 (ja)
CN (1) CN100587771C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134646A (ja) * 2008-12-03 2010-06-17 Ricoh Co Ltd 速度変換回路
JP2012059252A (ja) * 2010-09-07 2012-03-22 Internatl Business Mach Corp <Ibm> 共用データ・バスに対する階層的バッファ・システムのための方法、集積回路デバイス、およびプロセッサ・デバイス

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052551A (ja) * 2012-09-07 2014-03-20 Sharp Corp メモリ制御装置、携帯端末、メモリ制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP6136170B2 (ja) 2012-10-02 2017-05-31 株式会社ソシオネクスト 画像処理装置、画像処理方法、及び撮像装置
CN106201363B (zh) * 2016-07-26 2023-01-31 四川大学 视频流像素级数据随机实时访问的存储器及存储方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225562A (ja) * 1994-02-15 1995-08-22 Matsushita Electric Ind Co Ltd 走査変換装置
JPH08328941A (ja) * 1995-05-31 1996-12-13 Nec Corp メモリアクセス制御回路
JPH10333659A (ja) * 1997-05-27 1998-12-18 Canon Inc メモリ制御方法及び装置
JP2000227895A (ja) * 1999-02-05 2000-08-15 Nec Niigata Ltd 画像データ転送装置および画像データ転送方法
JP2000341585A (ja) * 1999-05-27 2000-12-08 Matsushita Electric Ind Co Ltd 画像メモリ機能付き映像装置
JP2001036871A (ja) * 1999-07-22 2001-02-09 Matsushita Electric Ind Co Ltd 画像供給装置および画像表示装置
JP2002500479A (ja) * 1997-12-31 2002-01-08 テルクルーズ テクノロジー インコーポレイテッド ネットワーク・アプリケーション・データを表示するテレビジョン・システムにおいて実現されるフリッカ・フィルタ及びインタレーサ
JP4265342B2 (ja) * 2003-08-19 2009-05-20 ソニー株式会社 レート変換装置、レート変換方法、その方法を実行するためのプログラム、および画像信号処理装置
JP4264641B2 (ja) * 2003-08-19 2009-05-20 ソニー株式会社 レート変換装置およびレート変換方法、画像信号の処理装置および処理方法、並びに各方法を実行するためのプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69433086T2 (de) * 1993-12-24 2004-08-05 Sony Corp. Informationsdatenaufzeichnungs- und wiedergabevorrichtung und informationsdatenverarbeitungssystem
US6031546A (en) * 1995-06-19 2000-02-29 Canon Kabushiki Kaisha Image processing apparatus and method
JP3713084B2 (ja) * 1995-11-30 2005-11-02 株式会社日立製作所 液晶表示制御装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225562A (ja) * 1994-02-15 1995-08-22 Matsushita Electric Ind Co Ltd 走査変換装置
JPH08328941A (ja) * 1995-05-31 1996-12-13 Nec Corp メモリアクセス制御回路
JPH10333659A (ja) * 1997-05-27 1998-12-18 Canon Inc メモリ制御方法及び装置
JP2002500479A (ja) * 1997-12-31 2002-01-08 テルクルーズ テクノロジー インコーポレイテッド ネットワーク・アプリケーション・データを表示するテレビジョン・システムにおいて実現されるフリッカ・フィルタ及びインタレーサ
JP2000227895A (ja) * 1999-02-05 2000-08-15 Nec Niigata Ltd 画像データ転送装置および画像データ転送方法
JP2000341585A (ja) * 1999-05-27 2000-12-08 Matsushita Electric Ind Co Ltd 画像メモリ機能付き映像装置
JP2001036871A (ja) * 1999-07-22 2001-02-09 Matsushita Electric Ind Co Ltd 画像供給装置および画像表示装置
JP4265342B2 (ja) * 2003-08-19 2009-05-20 ソニー株式会社 レート変換装置、レート変換方法、その方法を実行するためのプログラム、および画像信号処理装置
JP4264641B2 (ja) * 2003-08-19 2009-05-20 ソニー株式会社 レート変換装置およびレート変換方法、画像信号の処理装置および処理方法、並びに各方法を実行するためのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134646A (ja) * 2008-12-03 2010-06-17 Ricoh Co Ltd 速度変換回路
JP2012059252A (ja) * 2010-09-07 2012-03-22 Internatl Business Mach Corp <Ibm> 共用データ・バスに対する階層的バッファ・システムのための方法、集積回路デバイス、およびプロセッサ・デバイス

Also Published As

Publication number Publication date
JP4661036B2 (ja) 2011-03-30
CN101079230A (zh) 2007-11-28
CN100587771C (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
JP4312238B2 (ja) 画像変換装置および画像変換方法
US7860321B2 (en) Image pickup apparatus with function of rate conversion processing and control method therefor
KR19980071592A (ko) 이미지 업스케일 방법 및 장치
US10389908B2 (en) Image processing device, image processing method, and program with reduction and enlargement scaling of image data
US6844879B2 (en) Drawing apparatus
US8884976B2 (en) Image processing apparatus that enables to reduce memory capacity and memory bandwidth
KR20060120887A (ko) 최소 크기의 출력 메모리를 구비한 비디오 스케일러 및출력 메모리 크기 선택 방법
JP4661036B2 (ja) メモリコントローラおよびメモリコントロール方法、その方法を実行するためのプログラム
US7869085B2 (en) Memory controller, memory control method, rate conversion apparatus, rate conversion method, image-signal-processing apparatus, image-signal-processing method, and program for executing each of those methods
JP4265342B2 (ja) レート変換装置、レート変換方法、その方法を実行するためのプログラム、および画像信号処理装置
JP4264641B2 (ja) レート変換装置およびレート変換方法、画像信号の処理装置および処理方法、並びに各方法を実行するためのプログラム
US20020018144A1 (en) Signal processing apparatus and method
US7209186B2 (en) Image processing apparatus and image processing method for high speed real-time processing
JP6448189B2 (ja) 映像処理装置
JP2007081500A (ja) 画像処理装置、動画像データのフィールド・オーダを決定する方法及びプログラム
JP2006303630A (ja) フレームレート変換装置、追越補償方法及び表示装置
KR100385975B1 (ko) 비디오 포맷 변환장치 및 방법
JP2005338498A (ja) 表示メモリ装置
JP7457503B2 (ja) 画像処理装置および画像処理方法
JP2009267446A (ja) 動画像情報処理方法、及び装置
JP2007094391A (ja) 動画像表示装置
JP3883248B2 (ja) 画素数変換装置
JP5095472B2 (ja) 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2007325031A (ja) 画像処理装置および画像処理方法
JP2000105825A (ja) 画像拡大装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060728

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees