JP2006106533A

JP2006106533A - 画像処理回路

Info

Publication number: JP2006106533A
Application number: JP2004295770A
Authority: JP
Inventors: Akinori Ihara; 昭典井原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-10-08
Filing date: 2004-10-08
Publication date: 2006-04-20

Abstract

【課題】メモリへのアクセスチャネル数が増加した場合においても、メモリを増設してバス幅を増やしたり、より高い転送レートでメモリを使用することなく破綻が起きないメモリアクセスを可能とする画像処理回路を提供する。
【解決手段】メモリ105に蓄積する画像データの画像表示に有効な有効画像データ期間を拡大して画像データの個々のデータ間隔を広げると共に、有効画像データが存在しない期間を縮小することで転送レートを低速化した画像データを得る第１の転送レート変換部102と、メモリ105から読み出された画像データの有効画像データ期間を縮小して有効画像データの個々のデータ間隔を縮めると共に、有効画像データが存在しない期間を拡大することで転送レートを高速化した画像データを得る第２の転送レート変換部108とを備えることによりメモリへの負担が軽くなる画像処理回路が提供できる。
【選択図】図１

Description

本発明は画像処理回路に係り、特にテレビジョン信号やパソコン信号などの各種画像信号を表示するディスプレイ装置やテレビジョン受像機等に用い、高速データ転送可能な画像メモリを使用する処理に好適な画像処理回路に関する。

ＢＳデジタル放送や地上デジタル放送では、一度に多くの情報を送ることが可能なため図１１に示すように、一つのチャネルで、ある時間帯ではハイビジョン放送（ＨＤＴＶ）、データ放送および携帯向け放送を同時に送信し、次の時間帯では２種類の標準画質放送とデータ放送および携帯向け放送を送信し、更に次の時間帯ではハイビジョン放送、データ放送および携帯向け放送を送信するなどのように、一つのチャネルで方式の異なる複数のプログラムを同時に放送することができるようになっている。
こうしたデジタル放送特有の番組構成を視聴するするために、画面表示を工夫したり、複数の映像信号を同時に出力するなどの工夫をした受信装置の技術が多く提案されている（例えば、特許文献１参照）。

上記のような複数のプログラムを同時に放送するチャネルが増加し、更に現行放送も存在するなど、商業テレビ放送の多様化により、一つのディスプレイ画面上に放送方式の異なる複数の映像を同時に表示する機能、いわゆる２画面、３画面表示などの複合画面の形態での表示機能が強く望まれている。

ここで、図１２にテレビ受像機内部で複合画面を作り出す従来の画像処理システムの概要を示す。同図の画像処理システムは２つの映像信号を複合する構成の一例で、映像信号データの入力端子1201、1209、前段の画像処理部1202、1210、画像メモリ1204、後段の画像処理部1206、1213、選択回路1207、映像信号データの出力端子1208から構成されており、前段の画像処理部1202、1210ではＩＰ変換（Interlace−Progressive走査変換）、縮小リサイズ機能などが行われ、後段の画像処理部1206、1213では拡大リサイズ、フレーム同期などの処理が行われる。

画像メモリ1204は、高周波数、例えば166MHzの動作周波数で動作させ、各チャネルの入出力には小容量のバッファメモリ1203、1205を持たせている。このバッファメモリ1203、1205は、各チャネルのクロックと画像メモリ1204のクロックとでデータの受け渡しを掌る部分であり、複数のチャネルが画像メモリ1204にアクセスする場合にはその調停をとる働きも兼ねている。
通常、各入力映像信号データに対して別々の系で任意の前記画像処理を施し、そのデータを画像メモリ1204に蓄積する。そして、各々の系に対して蓄積されたデータを読み出した後、前記の画像処理を施し、選択回路1207で空間的あるいは時間的に選択することで複合画面を実現している。

また、ここで使用する画像メモリ1204は、グラフィック処理用の高速データ転送可能なSDRAM (Synchronous DRAM)かDDR SDRAM (Double Data Rate SDRAM)等を用いるが、画像処理の内容が多岐にわたる場合には容量が多く必要になるので、これらのメモリを複数個使用したシステムになる場合が多い。
しかし、これらのメモリは比較的高価であることから複数個使用するシステムでは、システムコストが負担になるため、できる限り使用するメモリ量の削減や低速度メモリの使用に限定し、その範囲内で必要なメモリアクセスが行える画像処理システムにする必要がある。

ところが最近では、表示ディスプレイの高解像度化に伴い、表示に使用するシステムクロック周波数が高くなる傾向にあり、このような状況から、さらに高速度のメモリアクセスが要求され、それに合わせてより高いアクセス周波数でメモリを使用することが必要となっている。
特開平１１−２７５４８０号公報

以上の背景を考慮すると、複雑で高度な複合画面を実現するために、メモリへのアクセス負荷（アクセス数やアクセス周波数）を増加しながら、より少ない容量でできるだけ速度の遅いメモリを搭載したシステムの構築を実現しなければならない。
しかしながら、従来のシステム構成では複雑で高度な複合画面を実現する場合に、メモリへのアクセス数が増加してしまいアクセスの破綻が起こるという問題がある。

例えば、メモリ（SDRAM）の標準使用状態を「動作周波数166MHｚ、バス幅32ビット」とするとこのメモリの動作転送レートは「約5333Mbps」になる。
ここで、入力信号のデータレートが「74MHｚ、16ビット」でメモリへのアクセス数が「３チャネル」、出力信号のデータレートが「74MHz、16ビット」で「１チャネル」と仮定すると、この場合のメモリの転送レートは「約4736Mbps」となる。
この値は上記メモリの動作転送レート以下であるから、使用に際してアクセスの破綻は起きないといえる。

次に、入力信号のデータレートが「74MHｚ、16ビット」でメモリへのアクセス数が「３チャネル」、出力信号のデータレートが「74MHz、16ビット」で「２チャネル」と仮定すると、この場合のメモリの転送レートは「約5920Mbps」となる。
この場合には、上記メモリの動作転送レートを超えるため、メモリへのアクセスが間に合わないことになり破綻する。
このように、メモリへのアクセスが増加すると、従来のシステムでは、アクセスを間に合わせるためにメモリを増設してバス幅を増やしたり、より高い転送レートでメモリを使用したりする方法が採られるが、これらはシステムコストの上昇やアクセスのタイミング精度の管理が厳しくなる等の課題が生ずる。

本発明は以上の点に鑑みなされたものであり、その目的は、メモリへのアクセスチャネル数が増加した場合においても、メモリを増設してバス幅を増やしたり、より高い転送レートでメモリを使用することなく、破綻が起きないメモリアクセスを可能とする画像処理回路を提供することにある。

本発明は、上記課題を解決する手段として以下に記載の構成からなる。すなわち、
画像メモリの保有する能力以上の転送レートで入力される複数チャネルの画像データの蓄積及び読み出しを行って、前記複数の画像データの一部若しくは全部を１画面上に表示するための画像処理回路において、
前記複数チャネルのうちの少なくとも１つから入力される画像データの有効エリアをブランキング期間の一部まで拡大して、前記有効エリアに含まれる画像データの個々のデータ間隔を広げると共に、前記画像データが存在しない期間を縮小して、前記画像データの転送レートを低速化する第１の転送レート変換手段と、
前記第１の転送レート変換手段で低速化された画像データか若しくは低速化された前記画像データに所定の画像処理を施した画像データを前記画像メモリに蓄積及び読み出しを行うメモリ手段と、
前記メモリ手段から読み出された前記低速化された画像データか若しくは低速化された前記画像データに所定の画像処理を施した画像データの前記画像データが存在する期間を縮小して前記画像データの個々のデータ間隔を縮めると共に、前記画像データが存在しない期間を拡大して、前記低速化された前記画像データの転送レートよりも高速な転送レートに変換する第２の転送レート変換手段と、
を備えたことを特徴とする画像処理回路。

本発明によれば、メモリへのアクセスチャネル数が増加しアクセスの破綻が想定される場合においても、バス幅を増すために高価なメモリを増設したり、タイミング管理が厳しくなる転送レートの高速化を行うことなく、簡単な構成の回路を用いてアクセスの破綻を防止できるので、システムコストの上昇を防ぐことが可能となる。

以下、本発明を実施するための最良の形態について、図面と共に説明する。
図１は本発明に係る画像処理回路の第１の実施例を示すブロック図、図２は本発明に係る画像処理回路の第２の実施例を示すブロック図、図３は本発明に係る信号データのレート変換を説明するための説明図、図４は２画面表示の表示例を示す図、図５はレート変換に用いるクロックの生成状態を示す図、図６は図５のクロックの生成法を示すブロック図、図７はレート変換に用いるクロックの生成状態を示す第２の図、図８は図７のクロックの生成法を示すブロック図、図９は前段のレート変換部の動作を説明する図、図１０は後段のレート変換部の動作を説明する図である。

まず、各実施例の説明に先立ち、本発明に用いる信号データの転送レート変換技術について図３および図４を用いて説明する。
図３は転送レートを下げるレート変換の説明図である。同図で、入力の信号イメージ（Ａ）の領域は有効エリアとブランキング期間に分けられるが、ここで実際の画像処理に必要なデータは同図（Ｃ）のように有効エリアのみに存在するため、ブランキング期間はデータの転送には無効な時間領域になっている。
そこで、同図（Ｅ）に示すように、ブランキング期間を狭くし、有効エリアを時間的に引き伸ばすことを行い、広がった有効エリアを使って信号データを転送することでレートを下げることが可能になる。
このとき、転送レートを下げるには入力データのデータ間隔を広げることが必要になる。すなわち、有効エリアを時間的に引き伸ばすことでデータ間隔を広げることが可能になるのでデータの転送レートが下げられるのである。

また別の方法として、表示形態の面から考察すると、例えば、図４に示したようにディスプレイ上の左右に２画面を表示する場合には、各々表示する画像データの画素数は入力信号の画素数から表示に必要な画素数に削減することができる。つまり、このケースでは前述した有効エリアはさらに減少しており、信号データのないブランキング期間が増えていることと等価であるといえるので、その分だけさらに転送レートを低くすることが可能になる。

このようにブランキング期間又はブランキング期間と見なせる期間を有効エリアとして使うことにより有効エリアの領域を広げることが可能になり、この結果転送レートを下げることができるようになる。

例えば、入力信号のデータレート「74MHz、16ビット」２チャネルを「70MHz、16ビット」２チャネルにレート変換し、２画面表示を行う２チャネルの入力信号のデータレート「74MHz、16ビット」を「37MHz、16ビット」に変換し、さらにメモリ出力側では、出力信号のデータレート「74MHz、16ビット」２チャネルを「70MHz、16ビット」２チャネルでアクセスするという設定の場合には、メモリでの転送レートは「約5072Mbps」となり、この値は前記メモリの動作転送レート「約5333Mbps」以下であるからアクセスに破綻が起きることがない状態で動作できることになる。

上記の例では、ブランキング期間又はブランキング期間と見なせる期間を有効エリアとして使うことによりメモリ上で６チャネルのアクセスをすることが可能となる。
このように、メモリへの入力信号とメモリからの出力信号の転送レートを下げることで、メモリを増設したり動作周波数を高速化させることなくメモリのアクセスが間に合うようになる。

次に、上記レート変換を含む本発明による画像処理回路について図１を用いて説明する。
図１に示すように、画像メモリ105の前段においては、入力端子101、入力側の転送レート変換部102、画像処理部103、バッファメモリ104が１つのチャネルとして構成されており、同様の構成が複数チャネル入力されている。
画像メモリ105の後段においては、バッファメモリ106、画像処理部107、出力側の転送レート変換部108、画像処理部109が１つのチャネルとして構成されており、これらが複数チャネルある。そして、いくつかのチャネルの信号を選択して出力するための選択部110、出力端子111がその後に接続されている。又、入力端子113のチャネルは前記選択部110を通らず別個の独立した出力端子114から出力される構成になっている。

図２は第２の実施例であり、１つのチャネルは画像メモリ204の前段において、入力端子201、入力側の転送レート変換部202、バッファメモリ203、画像メモリ204の後段において、バッファメモリ205、出力側の転送レート変換部206、画像処理部207、いくつかのチャネルの信号を選択して出力するための選択部208、そして出力端子209から成っている。
この図２に示す第２の実施例は、転送レート変換部202と画像メモリ204間および画像メモリ204と転送レート変換部206間に画像処理部を配置していない点が図1と異なる。この削除した画像処理部は、本来、前段ではＩＰ変換や縮小リサイズ機能などが行われ、後段では拡大リサイズやフレーム同期などの処理を行う回路部分であるが、図２の構成では、これらの機能は必要であれば外部で行うことを想定した構成になっている。
したがって、図２と図１は転送レートを変換してから画像処理を行うかどうかの違いが有るのみで他の部分は同様の構成であるため、以後は図１を例に動作を説明する。

図１で、画像メモリ105の前段において、入力端子101に入力された信号データ（既に任意に画像処理が施されている場合も含めて）は、転送レート変換部102に入力され、ここで信号の転送レートが変換される。ここで、この転送レート変換部102の動作について図９を用いて簡単に説明する。
図９において、入力データはレート変換用画像メモリ901に入力される。このときの入力クロックは、入力データのクロックレートに等しいものが用いられる。次に、このレート変換用画像メモリ901から変換用クロックでデータを読み出すことで低レート変換されたデータを得る。

ここで用いる変換用クロックの生成について図５と図６に一例を示す。
画像メモリの前段のレート変換部において必要な変換用クロックは、入力クロックに対してより低レートのクロックである。したがって、図５に示すように、周波数の高い入力クロック（Ａ）から周波数の低い変換後クロック（Ｂ）を作成する。このクロック作成方法は、図６に示すように、入力クロックを分周と逓倍して所定の低い周波数を作成し、これと同期のとれたクロックを発振するという良く知られているＰＬＬループを持ったPLL回路601により生成することができる。

なお、別の変換用クロックの生成方法を図７、図８を用いて説明する。
図７は、入力クロック（Ａ）を分周としてクロックイネーブル（Ｂ）を作成し、このクロックイネーブル（Ｂ）で入力クロック（Ａ）をスイッチして変換用クロック（Ｃ）を生成するものである。図８はその動作を行う回路である。
このクロック生成方法は変換用クロックの周波数を入力クロックの整数分に１にする場合には簡単に行える有効な方法である。

このようにして生成した変換用クロックを使用して、レート変換用画像メモリ901からデータを読み出ことにより、データ間隔を時間的に引き延ばすことができ、低い転送レートに変換される。
図１に戻り、このようにして低レートに変換されたデータは次の画像処理部103に入り、前記したような所定の画像処理をされ、次いでバッファメモリ104を介して画像メモリ105に蓄積される。

次に、画像メモリ105の後段において、読み出された低レートに変換されているデータはバッファメモリ106を介して出力されるが、このときは前記した蓄積した時の状態、つまり有効エリアが広くブランキング期間が狭い状態で読み出される。
バッファメモリ106の出力データは、次いで画像処理部107に入り、前記したような所定の画像処理をされ、次の転送レート変換部108に入る。

この転送レート変換部108の動作について図１０を用いて簡単に説明する。
図１０において、前記画像メモリ105から出力されバッファメモリ106を介して入力された低レート変換されているデータは、レート変換用画像メモリ1001に入力される。このときの入力のクロックは、前記した変換用クロックと同じ周波数のクロックが使用される。このクロックの生成方法は前記した通りである。
次に、レート変換用画像メモリ1001から出力クロックでメモリされているデータを読み出す。この出力クロックは、前記画像メモリ105の後段側で使用する基準クロックに相当するものである。これによりデータは再度転送レート変換が行われ、データ間隔が狭められて所定の有効エリア領域内に戻されることになる。このようにして低レート変換されていたデータは元の転送レートに戻されるか若しくは低速化された転送レートより高速な所定の転送レートに変換される。

図１に戻り、こうして転送レート変換部108で得られたデータは、次の画像処理部109でシステムに必要な特殊な画像処理が施され、次に選択部110に入る。この選択部110は
外部からの制御により接続されているチャネルを適宜切換えて出力する。例えば、２画面表示の場合には、該当する２つのチャネルを１水平期間内で交互に切換えて出力する。
又、入力端子113のチャネルは前記選択部110を通らず直接出力端子114から出力される構成になっているが、これは表示系とは別に入力信号を画像処理して外部に出力するための系である。

以上詳記したように、本発明では、画像メモリの前段に信号データの転送レートを下げ後段に信号データの転送レートを上げるという２つの転送レート変換部を設けることにより画像メモリの負担が軽くできるので、従来の使用ではメモリのアクセスが破綻するような多くのチャネル数であっても破綻することなく使用することができるようになる。
これにより従来破綻を防ぐために高価なメモリを増設してバス幅を増したり、タイミング管理が厳しくなる転送レートの高速化を行う必要がなくなる。

本発明に係る画像処理回路の第１の実施例を示すブロック図である。本発明に係る画像処理回路の第２の実施例を示すブロック図である。本発明に係る信号データのレート変換を説明するための説明図である。２画面表示の表示例を示す図である。レート変換に用いるクロックの生成状態を示す図である。図５のクロックの生成法を示すブロック図である。レート変換に用いるクロックの生成状態を示す第２の図である。図７のクロックの生成法を示すブロック図である。前段のレート変換部の動作を説明する図である。後段のレート変換部の動作を説明する図である。１つのチャネルで伝送される複数のプログラムの例を示す図である。従来の画像処理システムの概要を示すブロック図である。

符号の説明

101、112、113、201、210、211 入力端子
102、202 転送レート変換部（前段）
103 画像処理部（前段）
104、203 バッファメモリ（前段）
105、204 画像メモリ
106、205 バッファメモリ（後段）
107 画像処理部（後段）
108、206 転送レート変換部（後段）
109、207 画像処理部（出力端子側）
110、208 選択部
111、114、209、212 出力端子
601 ＰＬＬ回路
801 イネーブル発生回路
802 スイッチ回路

Claims

画像メモリの保有する能力以上の転送レートで入力される複数チャネルの画像データの蓄積及び読み出しを行って、前記複数の画像データの一部若しくは全部を１画面上に表示するための画像処理回路において、
前記複数チャネルのうちの少なくとも１つから入力される画像データの有効エリアをブランキング期間の一部まで拡大して、前記有効エリアに含まれる画像データの個々のデータ間隔を広げると共に、前記画像データが存在しない期間を縮小して、前記画像データの転送レートを低速化する第１の転送レート変換手段と、
前記第１の転送レート変換手段で低速化された画像データか若しくは低速化された前記画像データに所定の画像処理を施した画像データを前記画像メモリに蓄積及び読み出しを行うメモリ手段と、
前記メモリ手段から読み出された前記低速化された画像データか若しくは低速化された前記画像データに所定の画像処理を施した画像データの前記画像データが存在する期間を縮小して前記画像データの個々のデータ間隔を縮めると共に、前記画像データが存在しない期間を拡大して、前記低速化された前記画像データの転送レートよりも高速な転送レートに変換する第２の転送レート変換手段と、
を備えたことを特徴とする画像処理回路。