JP2004045884A - Apparatus and method for image processing - Google Patents

Apparatus and method for image processing Download PDF

Info

Publication number
JP2004045884A
JP2004045884A JP2002204649A JP2002204649A JP2004045884A JP 2004045884 A JP2004045884 A JP 2004045884A JP 2002204649 A JP2002204649 A JP 2002204649A JP 2002204649 A JP2002204649 A JP 2002204649A JP 2004045884 A JP2004045884 A JP 2004045884A
Authority
JP
Japan
Prior art keywords
image data
signal
clock signal
bandwidth
operating frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002204649A
Other languages
Japanese (ja)
Other versions
JP3945328B2 (en
Inventor
Hisafumi Norizuki
法月 尚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002204649A priority Critical patent/JP3945328B2/en
Publication of JP2004045884A publication Critical patent/JP2004045884A/en
Application granted granted Critical
Publication of JP3945328B2 publication Critical patent/JP3945328B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To variably set an operation frequency corresponding to the bandwidth of image data when the image data in signal format differing in bandwidth are processed into an image and to make power consumption less than when image processing etc., is evenly performed according to a clock signal of fixed operation frequency. <P>SOLUTION: An apparatus is equipped with a frame memory 8 which stores image data in signal format including specified resolution and bandwidth, an image format detecting circuit 5 which detects the signal format of the image data stored in the frame memory 8, computes the bandwidth of the image data, and outputs pieces N and M of operation frequency setting information, a clock generating circuit 6 which generates a clock signal of desired operation frequency from a reference clock signal CLK according to the pieces N and M of operation frequency setting information outputted by the detecting circuit 5, and a memory control part 7 which controls writing to and reading from the frame memory 8 according to the clock signal outputted from the generating circuit 6. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、画像データ帯域幅が異なる信号フォーマットの画像データを取り扱うビデオ表示制御装置や、これを実装したバッテリー駆動方式の携帯表示端末装置等に適用して好適な画像処理装置及び画像処理方法に関するものである。
【0002】
詳しくは、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、この信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段を備え、この動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようにして、帯域幅が異なる信号フォーマットの画像データを画像処理する場合に、その画像データの帯域幅に対応した動作周波数を可変設定できるようにすると共に、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律に画像処理等する場合に比べて無駄な消費電力を低減できるようにしたものである。
【0003】
【従来の技術】
近年、半導体集積回路装置の高密度実装の実現化及び情報処理装置の多機能化から、AC駆動電源方式は元より、携帯電話機や、携帯ゲーム機、携帯型のコンピュータ等のバッテリー駆動方式の携帯表示端末装置も使用される場合が多くなってきた。
【0004】
これらの携帯表示端末装置や、情報処理装置等においては、情報メディアの発達により各種信号フォーマットのデジタル画像データが取り扱われる場合が多くなってきた。信号フォーマットとしては、BSデジタル放送用の画像データフォーマットである480i/480p/720p/1080i、インターネット経由で送出されるストリーミング画像データフォーマットの一つのQVGA(320ピクセル×240ピクセル/60fps)、カメラ用途の画像データフォーマットであるCIF(352ピクセル×288ピクセル)、QCIFフォーマット(176ピクセル×144ピクセル/10fps)等に見られるように多様化している。
【0005】
これらの複数の画像データフォーマットの画像データを処理するビデオ表示制御用のICチップ(以下でビデオプロセッサという)が製造され、このICチップが携帯表示端末装置や、情報処理装置等に実装するようになされる。この種のビデオプロセッサでは様々な解像度及びフレームレートの信号フォーマットの画像データを扱うために、通常、ビデオプロセッサ内には画像データを保持するためのフレームメモリが実装される。ビデオプロセッサでは、フレームメモリから画像データを読み出して解像度変換、フレームレート変換、ブライトネス、コントラスト、ガンマ、シャープネス等の画質調整処理が行なわれる(キャプチャ処理)。
【0006】
【発明が解決しようとする課題】
ところで、従来方式のビデオプロセッサによれば、フレームメモリに記憶された画像データをキャプチャ処理する場合に、以下のような問題がある。
【0007】
▲1▼ メモリアクセスの際のメモリクロック信号の動作周波数(スピード)に関しては、対応画像フォーマット中で最も情報量が多い信号フォーマットの画像データを処理可能なクロックスピードに設定されている。しかも、クロックスピードが固定されている。
【0008】
従って、親画面に子画面を表示するような表示形式を採る場合や、低解像度、低フレームレートの信号フォーマットの画像データを入力する場合においても、メモリクロックスピードが固定されているので、余分な電力を消費してしまう。
【0009】
▲2▼ また、ビデオプロセッサをバッテリー駆動方式の携帯表示端末装置等に適用した場合に、帯域幅が異なる信号フォーマットの画像データを動作周波数固定のクロック信号に基づいて一律に画像処理すると、バッテリーの消費が早くなり充電を頻繁にしなければならなくなる。
【0010】
そこで、この発明はこのような従来の課題を解決したものであって、帯域幅が異なる信号フォーマットの画像データを画像処理する場合に、その画像データの帯域幅に対応した動作周波数を可変設定できるようにすると共に、動作周波数固定のクロック信号に基づいて一律に画像処理等する場合に比べて無駄な消費電力を低減できるようにした画像処理装置及び画像処理方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
上述した課題は、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する装置であって、画像データを記憶する記憶手段と、この記憶手段に記憶される画像データの信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段と、この信号検出手段による動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成する信号生成手段と、この信号生成手段から出力されるクロック信号に基づいて記憶手段の書込み読出し制御をする制御手段とを備えることを特徴とする画像処理装置によって解決される。
【0012】
本発明に係る画像処理装置によれば、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、信号検出手段では記憶手段に記憶される画像データの信号フォーマットが検出され、当該画像データの帯域幅が演算されて動作周波数設定情報が信号生成手段に出力される。信号生成手段では、信号検出手段による動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようになされる。これを前提にして、制御手段では信号生成手段から出力されるクロック信号に基づいて記憶手段の書込み読出し制御をするようになされる。
【0013】
従って、帯域幅が異なる信号フォーマットの画像データをメモリ書込み読出し処理等する場合に、信号生成手段に対してその画像データの帯域幅に対応した動作周波数を可変設定することができるので、帯域幅が最も広い画像データをメモリ書込み読出し処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データをメモリ書込み読出し処理するクロック信号の動作周波数を低く設定することができる。
【0014】
これにより、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、帯域幅が狭い画像データを動作周波数の低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができる。
【0015】
本発明に係る画像処理方法は所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する方法であって、画像データの信号フォーマットを検出して当該画像データの帯域幅を演算することにより動作周波数設定情報を求め、ここで求められた動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成し、ここで生成されたクロック信号に基づいてメモリ書込み読出し制御をすることを特徴とするものである。
【0016】
本発明に係る画像処理方法によれば、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合であって、帯域幅が異なる信号フォーマットの画像データをメモリ書込み読出し処理等する際に、その画像データの帯域幅に対応した動作周波数を可変設定することができるので、帯域幅が最も広い画像データをメモリ書込み読出し処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データをメモリ書込み読出し処理するクロック信号の動作周波数を低く設定することができる。
【0017】
従って、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、帯域幅が狭い画像データを動作周波数の低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができる。
【0018】
【発明の実施の形態】
続いて、この発明に係る画像処理装置及び画像処理方法の一実施の形態について、図面を参照しながら説明をする。
図1は本発明に係る実施形態としての画像処理装置を応用したビデオ表示制御装置100の構成例を示すブロック図である。
この実施形態では、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、この信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段を備え、この動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようにして、帯域幅が異なる信号フォーマットの画像データをメモリ書込み読出し処理等する場合に、その画像データの帯域幅に対応した動作周波数を可変設定できるようにすると共に、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて無駄な消費電力を低減できるようにしたものである。
【0019】
図1に示すビデオ表示制御装置100は画像処理装置の一例であり、所定の解像度及び帯域幅を含む信号フォーマットのディジタルの画像データ(以下単に画像データともいう)を処理する装置である。このビデオ表示制御装置100では帯域幅が異なる信号フォーマットの画像データも取り扱われる。ビデオ表示制御装置100の応用例としてはバッテリー駆動方式の携帯表示端末装置等に実装される。もちろん、これに限られることはなく、AC電源駆動用のビデオ表示制御装置100に適用してもよい。
【0020】
このビデオ表示制御装置100は入力バッファ1、画像フォーマット検出回路5、クロック生成回路6、メモリ制御部7、フレームメモリ8、ビデオプロセッサ部9及びビデオ表示部10を有している。このビデオ表示制御装置100には例えば、図示しないMPEGデコーダから、コンポーネント信号としてディジタル画像データと共に、表示クロック信号(以下単にピクセルクロックCpという)、水平同期信号SH及び垂直同期信号SVが入力される。
【0021】
このビデオ表示制御装置100ではMPEGデコーダから出力されるコンポーネント信号の他に、BSデジタル放送のデジタル画像データ、インターネットと接続されるサーバーからのQVGA(Quater Video Graphics Array)サイズ等の画像データ、図示しないカメラモジュールから供給されるCIF(Common Intermediate Format)、QCIF(Quater Common Intermediate Format)サイズ等の画像データを取り扱うこともできる。QVGAサイズ等の画像データは、ストリーミング画像データ送出サービスを提供するサーバーから供給され、図示しないCPUのメモリバス経由で入力される。
【0022】
入力バッファ1には画像データDIN及びピクセルクロックCpが入力され、フレームメモリ8に書き込む際にその画像データDINがピクセルクロックCpに基づいて一時的に保持するようになされる。例えば、画像データDINをフレームメモリ8に書き込む際に、フレームメモリ8とメモリ制御部7の間のメモリバスが、ビデオプロセッサ部9内で使用する図示しないOSDデータや、ビデオプロセッサ部9内の他のモジュール制御用パラメータ等のデータで占有されている場合に、この入力バッファ1に一時的に画像データを保持するように使用される。
【0023】
この入力バッファ1に入力されたピクセルクロックCpは、水平同期信号SH及び垂直同期信号SVと共に画像フォーマット検出回路5に供給される。画像フォーマット検出回路5は信号検出手段の一例であり、この検出回路5は水平カウンタ2、垂直カウンタ3及び帯域幅演算回路4を有している。
【0024】
水平カウンタ2は第1のカウンタ回路の一例であり、MPEGデコーダ等からの水平同期信号SHを入力して信号エッジ変化回数(アクティブに遷移する回数)を計測するようになされる。水平カウンタ2はカウンタ値を帯域幅演算回路4に出力する。
【0025】
垂直カウンタ3は第2のカウンタ回路であり、同様にしてMPEGデコーダ等からの垂直同期信号SVを入力して信号エッジ変化回数(アクティブに遷移する回数)を計測するようになされる。垂直カウンタ3はカウンタ値を帯域幅演算回路4に出力する。
【0026】
帯域幅演算回路4は演算回路の一例であり、ピクセルクロックCpと水平及び垂直カウンタ2、3から得られるカウンタ値に基づいて画像データDINの1フレームの情報量及び帯域幅(フレームレート)を検出して動作周波数設定情報N,Mを演算し出力するようになされる。動作周波数設定情報N,Mは基準周波数Fsのクロック信号(以下で基準クロック信号CLKという)を分周するための分周比を内容とするものである。
【0027】
このように、画像フォーマット検出回路5ではフレームメモリ8に記憶される画像データDINの信号フォーマットを検出して当該画像データDINの帯域幅を演算し動作周波数設定情報N及びMをクロック生成回路6に出力するようになされる。
【0028】
この画像フォーマット検出回路5には信号生成手段の一例となるクロック生成回路6が接続されており、この検出回路5による動作周波数設定情報N,Mに基づいて基準クロック信号CLKから所望の動作周波数のクロック信号を生成するようになされる。例えば、クロック生成回路6はメモリ制御部7で使用するメモリクロック信号φm及び、ビデオプロセッサ部9で使用する表示クロック信号φvを基準クロック信号CLKから生成する。基準クロック信号CLKは外部から入力される。
【0029】
このクロック信号φmによって、メモリ制御部7とフレームメモリ8とを最適化された動作周波数で動作させること、クロック信号φpによってビデオプロセッサ部9を最適化された動作周波数で動作させることができ、クロック信号φvによってビデオ表示部10を最適化された動作周波数で動作させることができ、消費電力を低減させることができる。このクロック生成回路6には制御手段の一例となるメモリ制御部7が接続されており、この生成回路6から出力されるメモリクロック信号φmに基づいてフレームメモリ8の書込み読出し制御をするようになされる。
【0030】
メモリ制御部7には記憶手段の一例となるフレームメモリ8が接続されており、デジタルの画像データDINを記憶するようになされる。フレームメモリ8には画像データDINの他に、OSDデータやビデオプロセッサ制御用のパラメータ等も記憶される。フレームメモリ8にはRAM等が使用される。フレームメモリ8には出力バッファ11が接続されており、フレームメモリ8から読み出す際にその画像データDINを一時的に保持するようになされる。
【0031】
メモリ制御部7では入力バッファ1からフレームメモリ8へ画像データDINを書き込む際に、そのタイミング制御及び、フレームメモリ8から出力バッファ11へ画像データDINを読み出す際に、そのタイミング制御を実行するようになされる。例えば、メモリ制御部7は入力バッファ1とフレームメモリ8との間で画像データDINの書き込み制御をしたり、フレームメモリ8と出力バッファ11を通してビデオプロセッサ部9との間で画像データDINの読み出し制御をする。
【0032】
メモリ制御部7にはビデオプロセッサ部9が接続されており、フレームメモリ8よりメモリ制御部7を経由して入力される画像データDINに対して、例えば、解像度変換、フレームレート変換、ブライトネス、コントラスト、ガンマ、シャープネス等の画質調整等の処理を行なうようになされる。
【0033】
ビデオプロセッサ部9にはビデオ表示部10が接続されており、ビデオプロセッサ部9で処理された画像データDINが入力され、表示クロック信号φvに基づいて画像データDINを出力するようになされる。表示クロック信号φvはクロック生成回路6から供給される。
【0034】
図2はクロック生成回路6の構成例を示すブロック図である。図2に示すクロック生成回路6は例えば3つのPLL(Phase−Locked Loop)シンセサイザブロック#1〜#3を有している。PLLシンセサイザブロック#1は基準クロック信号CLK及び動作周波数設定情報N,Mに基づいて基準クロック信号CLKから所望の動作周波数のメモリクロック信号φmを発生するようになされる。
【0035】
PLLシンセサイザブロック#2は基準クロック信号CLK及び動作周波数設定情報N,Mに基づいて所望の動作周波数の表示クロック信号φvを発生するようになされる。PLLシンセサイザブロック#3は基準クロック信号CLK及び動作周波数設定情報N,Mに基づいて所望の動作周波数のプロセッサクロック信号φpを発生するようになされる。
【0036】
図3はPLLシンセサイザブロック#1等の内部構成例を示すブロック図である。図3に示すPLLシンセサイザブロック#1は、分周器(1/N)21、位相比較器22、ループフィルタ23、VCO(Voltage Control Oscillator;電圧制御発振器)24及び分周器(1/M)25を有している。
【0037】
分周器21では画像フォーマット検出回路5から供給される動作周波数設定情報Nに基づいて基準周波数Fsの基準クロック信号CLKを1/Nに分周し周波数Fs/Nの分周出力信号S21を発生し位相比較器22に出力する。
【0038】
一方、分周器25では画像フォーマット検出回路5から供給される動作周波数設定情報Mに基づいてVCO24から出力される周波数Foの例えば、メモリクロック信号φmを1/Mに分周して周波数Fo/Mの分周出力信号S25を発生し位相比較器22に出力する。
【0039】
位相比較器22では分周器21による分周出力信号S21の周波数Fs/Nと、分周器25による分周出力信号S25の周波数Fo/Mとを比較しその位相を一致するようになされる。
Fs/N=Fo/M・・・・・(1)
この位相比較器22における関係式(1)から(2)式、すなわち、
Fo=(N/M)・Fs・・・(2)
が導かれ、この位相比較器22の出力がループフィルタによってフィルタ処理される。フィルタ処理後の出力電圧はVCO24において電圧制御発振制御に使用され、VCO24から動作周波数Foのメモリクロック信号φm等を出力するようになされる。
【0040】
続いて、本発明に係る画像処理方法について当該ビデオ表示制御装置100の動作例について説明をする。図4はビデオ表示制御装置100の動作例を示すフローチャートである。
このビデオ表示制御装置100では、所定の解像度及び帯域幅を含む信号フォーマットの画像データDINをメモリ書込み読出し処理する場合を前提とする。この場合、画像データDINの信号フォーマットを検出して当該画像データDINの帯域幅を演算することにより動作周波数設定情報N,Mを求め、ここで求められた動作周波数設定情報N,Mに基づいて基準クロック信号CLKから所望の動作周波数のクロック信号を生成し、ここで生成されたクロック信号に基づいてメモリ書込み読出し制御をする場合を例に挙げる。
【0041】
これらを動作条件にして、このビデオ表示制御装置100には例えば、図示しないMPEGデコーダから、コンポーネント信号としてディジタル画像データDINと共に、ピクセルクロックCp、水平同期信号SH及び垂直同期信号SVが入力される。ピクセルクロックCpは、水平同期信号SH及び垂直同期信号SVと共に画像フォーマット検出回路5に供給される。
【0042】
そして、図4に示すフローチャートのステップA1で画像フォーマット検出回路5ではフレームメモリ8に記憶される画像データDINの信号フォーマットが検出される。このとき、入力バッファ1には画像データDIN及びピクセルクロックCpが入力され、フレームメモリ8に書き込む際にその画像データDINをピクセルクロックCpに基づいて一時的に保持するようになされる。
【0043】
そして、ステップA2で当該画像データDINの帯域幅が演算されて動作周波数設定情報N,Mがクロック生成回路6に出力される。このとき、水平カウンタ2では水平同期信号SHの信号エッジ変化回数が計測され、この水平カウンタ2のカウンタ値が帯域幅演算回路4に出力される。垂直カウンタ3では垂直同期信号SVの信号エッジ変化回数が計測され、この垂直カウンタ3のカウンタ値が帯域幅演算回路4に出力される。
【0044】
帯域幅演算回路4ではピクセルクロックCpと水平及び垂直カウンタ2、3から得られるカウンタ値に基づいて画像データDINの1フレームの情報量及び帯域幅(フレームレート)を検出して動作周波数設定情報N,Mが演算される。動作周波数設定情報N,Mは基準クロック信号を分周するための分周比を内容とするものである。動作周波数設定情報N,Mはクロック生成回路6に出力するようになされる。
【0045】
そして、ステップA3でクロック生成回路6では、画像フォーマット検出回路5による動作周波数設定情報N,Mに基づいて基準クロック信号CLKから所望の動作周波数のクロック信号を生成するようになされる。例えば、クロック生成回路6のPLLシンセサイザブロック#1は基準クロック信号CLK及び動作周波数設定情報N,Mに基づいて基準クロック信号CLKから所望の動作周波数Foのメモリクロック信号φmを発生するようになされる。
【0046】
また、PLLシンセサイザブロック#2では基準クロック信号CLK及び動作周波数設定情報N,Mに基づいて所望の動作周波数Fo’の表示クロック信号φvを発生するようになされる。PLLシンセサイザブロック#3は基準クロック信号CLK及び動作周波数設定情報N,Mに基づいて所望の動作周波数Fo’’のプロセッサクロック信号φpを発生するようになされる。
【0047】
その後、ステップA4で画像データのキャプチャ処理を実行する。このとき、メモリ制御部7では入力バッファ1からフレームメモリ8へ画像データDINを書き込む際に、メモリクロック信号φmに基づいてそのタイミング制御を実行する(書込み制御)。このタイミング制御によって、ディジタルの画像データDINをフレームメモリ8に記憶するようになされる。
【0048】
また、メモリ制御部7ではフレームメモリ8から出力バッファ11へ画像データDINを読み出す際に、メモリクロック信号φmに基づいてそのタイミング制御を実行するようになされる。このタイミング制御によって、画像データDINをビデオプロセッサ部9へ読み出すようになされる。
【0049】
ビデオプロセッサ部9ではフレームメモリ8よりメモリ制御部7を経由して入力される画像データDINに対して、例えば、プロセッサクロック信号φpに基づいて解像度変換、フレームレート変換、ブライトネス、コントラスト、ガンマ、シャープネス等の画質調整等の処理がなされる。
【0050】
ビデオ表示部10ではビデオプロセッサ部9で処理された画像データDINが入力され、表示クロック信号φvに基づいて画像データDOUTを出力するようになされる。画像データDOUTは例えば液晶表示装置に出力される。
【0051】
そして、ステップA5で画像データDINの信号フォーマットが変更されたかが検出される。このビデオ表示制御装置100ではMPEGデコーダから出力されるコンポーネント信号の他に、BSディジタル放送のディジタル画像データ、インターネットと接続されるサーバーからのQVGAサイズ等の画像データ、図示しないカメラモジュールから供給されるCIF、QCIFサイズ等の画像データを取り扱うこともできる。QVGAサイズ等の画像データは、ストリーミング画像データ送出サービスを提供するサーバーから供給され、図示しないCPUのメモリバス経由で入力される。
【0052】
従って、信号フォーマットが変更された場合はステップA1に戻る。信号フォーマットが変更されない場合はステップA6に移行して終了判断をする。この際の判断はユーザである。ビデオ表示制御処理を終了する場合は、上述の画像処理を終了する。画像処理を終了しない場合はステップA1に戻ってビデオ表示制御処理を継続するようになされる。
【0053】
[実施例]
ここで、画像データの入力が480pのBSディジタル放送用の信号フォーマットから、QVGAサイズの10fpsのストリーミングデータに切り替わった場合を例に採る。
【0054】
▲1▼ 480pのBSディジタル放送用の信号フォーマットの場合
この場合、図4に示したステップA1で480pの画像データ、水平同期信号SH、垂直同期信号SV、ピクセルクロックCpがビデオ表示制御装置100に入力されると、この画像データの信号フォーマットが水平カウンタ2、垂直カウンタ3、帯域幅演算回路4を有する画像フォーマット検出回路5によって検出される。
【0055】
この画像フォーマット検出回路5ではステップA2で水平カウンタ2のカウント値がインクリメントされる毎に、ピクセルクロックCpは858カウントされる。また、垂直カウンタ3のカウント値がインクリメントされる毎に、水平カウンタ2が525回カウントアップされる。「525」は水平方向のライン数を示すカウント値である。この垂直カウンタ3がインクリメントされる期間を計測することにより、フレームレートが計算される。
【0056】
この480pのBSディジタル放送用の信号フォーマットでフレームレートは60フレーム/秒(以下でfpsと記述する)となる。これらの演算結果から画像フォーマット検出回路5はクロック生成回路6にて生成する最適なメモリクロック信号φmの設定を行なう。この例では、画像フォーマット検出回路5によって480pが検出されているので、画像データ帯域幅は、858(ピクセル)×525(ライン)×16(YUVデータ;YUV[4:2:2])×60(fps)=432.432Mbit/sとなる。
【0057】
フレームメモリ8からメモリ制御部7への画像データの読み出し時にも同じ情報量の画像データを占有する必要があるので、画像データ帯域幅は2倍の432.432M×2=864.864Mbit/sとなる。この例で32bit幅のバーストアクセスモード(1クロックで1回のデータ転送が可能なモード)を使用した場合、必要なメモリクロック信号の動作周波数Foは864.864M÷32=27.027MHzとなる。
【0058】
画像フォーマット検出回路5はこのような動作周波数情設定報N,Mをクロック生成回路6に出力するようになされる。クロック生成回路6は画像フォーマット検出回路5から動作周波数設定情報N,Mを受け取り、メモリクロック信号φmをOSDデータ等の他のデータ転送に必要な帯域幅(フレームレート)に上乗せしたクロック数を設定する。
【0059】
例えば、OSD(On Screen Display)データ等の転送に640Mbit/sの画像データ帯域幅が必要な場合は、640M÷32=20MHz分上乗せする。つまり、クロック生成回路6では動作周波数Foが27M+20M=47MHzとなるようなメモリクロック信号φmを出力するように、図3に示したPLLシンセサイザブロック#1等が電圧制御発振制御され、最適な動作周波数Foのメモリクロック信号φmを生成するようになされる。
【0060】
▲2▼ 画像データDINの入力の信号フォーマットがQVGAサイズ 10fpsのストリーミングデータに切り替わった場合
この場合も、480pのBSディジタル放送用の信号フォーマットと同様にして、画像フォーマット検出回路5によって、画像データの情報量を演算によって求めた後、当該画像データの信号フォーマットが検出される。この例では、画像フォーマット検出回路5によってQVGAサイズ 10fpsのストリーミングデータが検出されるので、画像データ帯域幅は、320(ピクセル)×240(ピクセル)×16(RGB565;R色=5bit,G色=6bit,B色=5bit)×10(fps)=12.288Mbit/sとなる。
【0061】
このビデオ表示制御装置100で必要な画像データ帯域幅は12.288M×2=24.576Mbit/sであり、信号フォーマット480pの場合と同一のメモリアクセス条件とすると、メモリバス占有率では24.576M÷32=0.768MHzとなるためメモリクロック信号φmの動作周波数Foは20M+0.768M=20.768MHzとなる。
【0062】
この例では画像データの信号フォーマットによってメモリクロック信号φmの動作周波数Foを適宜低減することが可能となる。この結果、本発明方式を適用したビデオ表示制御装置100の消費電力は従来の技術を適用したビデオ表示制御装置と比較して大幅に低減することができる。
【0063】
図5は画像データの各種信号フォーマット及び消費電力低減例を示す表図である。図5に示す表図には、当該ビデオ表示制御装置100へ入力される画像データの5つの信号フォーマット(以下で入力画像フォーマットともいう)に関して、その画像データ帯域幅、OSDデータ帯域幅、メモリクロック信号φmの動作周波数Foの設定値(以下でメモリクロック設定値ともいう)及び消費電力比を各々示している。
【0064】
この例では入力画像フォーマットに関しては、SVGA(Super Video Graphics Array;800×600/60fps)、480p(720×480/60fps)、VGA(640×480/60fps)、QVGA(320×240/60fps)、QCIF(176×144/10fps)の5つを挙げ、全ての解像度を16Bit/ピクセルと仮定した。画像データ帯域幅に関しては、本文中の計算例に沿って計算したものであって、少数点以下を切り上げたものである。例えば、SVGAの場合、800×600×60×2=921.6Mbit/sである。
【0065】
また、OSDデータ帯域幅は一律に100Mbit/sとしている。メモリクロック設定値に関しては、メモリバスが32Bit時を例に挙げ、その動作周波数Foを、
Fo={(画像データ帯域幅+OSDデータ帯域幅)×1.1}/32
により求めた。なお、フレームメモリ8のフレッシュサイクル等のアクセス不可時間として10%を考慮に入れて計算した。消費電力比はSVGA時の消費電力を100%とした場合の比である。
【0066】
この表図によれば、画像データの信号フォーマットSVGAで画像データ帯域幅が922Mbit/sで、OSDデータ帯域幅が100Mbit/sで、メモリクロック信号φmの動作周波数Foが36MHzであり、その消費電力比を100%とすると、その信号フォーマット480pでは画像データ帯域幅が644Mbit/sで、OSDデータ帯域幅が100Mbit/sで、メモリクロック信号φmの動作周波数Foが27MHzであり、その消費電力比は75%に低減される。
【0067】
また、画像データの信号フォーマットVGAでは画像データ帯域幅が590Mbit/sで、OSDデータ帯域幅が100Mbit/sで、メモリクロック信号φmの動作周波数Foが24MHzであり、その消費電力比は67%に低減される。
【0068】
更にまた、画像データの信号フォーマットQVGAでは画像データ帯域幅が148Mbit/sで、OSDデータ帯域幅が100Mbit/sで、メモリクロック信号φmの動作周波数Foが9MHzであり、その消費電力比は25%に低減される。更に、画像データの信号フォーマットQCIFでは画像データ帯域幅が9Mbit/sで、OSDデータ帯域幅が100Mbit/sで、メモリクロック信号φmの動作周波数Foが4MHzであり、その消費電力比は12%に低減される。
【0069】
このように、本発明に係る実施形態としてのビデオ表示制御装置100によれば、フレームメモリ8に記憶される画像データDINの信号フォーマットを検出して当該画像データDINの画像データ帯域幅を演算し動作周波数設定情報N,Mを出力する画像フォーマット検出回路5を備え、図5に示したような画像データ帯域幅が異なる信号フォーマットの画像データDINをメモリ書込み読出し処理等する場合に、クロック生成回路6に対してその画像データDINの帯域幅に対応した動作周波数Foを可変設定することができる。
【0070】
従って、画像データ帯域幅が最も広い画像データDINをメモリ書込み読出し処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データDINをメモリ書込み読出し処理するクロック信号の動作周波数を低く設定することができる。これにより、画像データ帯域幅が異なる画像データDINを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、画像データ帯域幅が狭い画像データDINを動作周波数Foの低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができた。
【0071】
本発明のビデオ表示制御装置100を携帯電話機や携帯ゲーム機等のバッテリー駆動型の情報処理機器に実装した場合に、1回の充電で使用できる連続作動時間を従来方式のバッテリー駆動型の情報処理機器に比べて長くすることができる。また、バッテリー駆動方式の携帯表示端末装置等に表示用の半導体チップを高密度に形成したグラフティックチップにおいて、余分な電力消費を抑えることができるので機器本体の発熱を抑制することができる。
【0072】
【発明の効果】
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、この画像データの信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段を備え、信号生成手段ではこの動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようになされる。
【0073】
この構成によって、帯域幅が異なる信号フォーマットの画像データを画像処理する場合に、信号生成手段に対してその画像データの帯域幅に対応した動作周波数を可変設定することができるので、帯域幅が最も広い画像データを画像処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データを画像処理するクロック信号の動作周波数を低く設定することができる。
【0074】
従って、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、帯域幅が狭い画像データを動作周波数の低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができる。
【0075】
この発明は画像データ帯域幅が異なる信号フォーマットの画像データを取り扱うビデオ表示制御装置や、これを実装したバッテリー駆動方式の携帯表示端末装置等に適用して極めて好適である。
【図面の簡単な説明】
【図1】本発明に係る実施形態としての画像処理装置を応用したビデオ表示制御装置100の構成例を示すブロック図である。
【図2】クロック生成回路6の構成例を示すブロック図である。
【図3】PLLシンセサイザブロック#1等の内部構成例を示すブロック図である。
【図4】ビデオ表示制御装置100の動作例を示すフローチャートである。
【図5】画像データの各種信号フォーマット及び消費電力低減例を示す表図である。
【符号の説明】
1・・・入力バッファ、2・・・水平カウンタ(第1のカウンタ)、3・・・垂直カウンタ(第2のカウンタ)、4・・・帯域幅演算回路(演算回路)、5・・・画像フォーマット検出回路(信号検出手段)、6・・・クロック生成回路(信号生成手段)、7・・・メモリ制御部(制御手段)、8・・・フレームメモリ(記憶手段)、9・・・ビデオプロセッサ、10・・・ビデオ表示部、11・・・出力バッファ、#1〜#3・・・PLLシンセサイザブロック、100・・・ビデオ表示制御装置
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method suitable for being applied to a video display control device that handles image data of a signal format having a different image data bandwidth, a battery-driven portable display terminal device equipped with the video display control device, and the like. Things.
[0002]
More specifically, when processing image data in a signal format including a predetermined resolution and bandwidth, a signal detection unit that detects the signal format, calculates the bandwidth of the image data, and outputs operating frequency setting information is provided. When image data of a signal format having a different bandwidth is subjected to image processing by generating a clock signal having a desired operating frequency from a reference clock signal based on the operating frequency setting information, the bandwidth of the image data may be reduced. The corresponding operating frequency can be set variably, and wasteful power consumption can be reduced as compared with the case where image data with different bandwidths are uniformly processed based on a clock signal with a fixed operating frequency. It is.
[0003]
[Prior art]
In recent years, with the realization of high-density mounting of semiconductor integrated circuit devices and multi-functionality of information processing devices, not only the AC drive power supply system but also battery-driven portable devices such as mobile phones, portable game machines, and portable computers. Display terminal devices are also often used.
[0004]
In these portable display terminal devices, information processing devices, and the like, digital image data in various signal formats is often handled due to the development of information media. As the signal format, 480i / 480p / 720p / 1080i, which is an image data format for BS digital broadcasting, one QVGA (320 pixels × 240 pixels / 60 fps) which is a streaming image data format transmitted via the Internet, It is diversified as seen in image data formats such as CIF (352 pixels × 288 pixels) and QCIF format (176 pixels × 144 pixels / 10 fps).
[0005]
A video display control IC chip (hereinafter, referred to as a video processor) for processing image data of a plurality of image data formats is manufactured, and this IC chip is mounted on a portable display terminal device, an information processing device, or the like. Done. In this type of video processor, a frame memory for holding the image data is usually mounted in the video processor in order to handle image data of signal formats of various resolutions and frame rates. The video processor reads image data from the frame memory and performs image quality adjustment processing such as resolution conversion, frame rate conversion, brightness, contrast, gamma, and sharpness (capture processing).
[0006]
[Problems to be solved by the invention]
By the way, according to the conventional video processor, there are the following problems when performing the capture processing of the image data stored in the frame memory.
[0007]
{Circle around (1)} The operating frequency (speed) of the memory clock signal at the time of memory access is set to a clock speed capable of processing image data of a signal format having the largest amount of information among the corresponding image formats. Moreover, the clock speed is fixed.
[0008]
Therefore, even when a display format in which a sub-screen is displayed on the main screen or when image data in a low-resolution, low-frame-rate signal format is input, the extra memory clock speed is fixed. Consumes power.
[0009]
{Circle around (2)} When the video processor is applied to a battery-driven portable display terminal or the like, image data of a signal format having a different bandwidth is uniformly processed based on a clock signal having a fixed operating frequency. It consumes faster and requires more frequent charging.
[0010]
Therefore, the present invention has solved such a conventional problem, and when performing image processing on image data of a signal format having a different bandwidth, it is possible to variably set an operating frequency corresponding to the bandwidth of the image data. It is another object of the present invention to provide an image processing apparatus and an image processing method capable of reducing unnecessary power consumption as compared with a case where image processing is uniformly performed based on a clock signal having a fixed operating frequency.
[0011]
[Means for Solving the Problems]
The object described above is an apparatus for processing image data in a signal format including a predetermined resolution and a bandwidth, wherein the storage means for storing the image data, and the signal format of the image data stored in the storage means are detected. Signal calculating means for calculating the bandwidth of the image data and outputting operating frequency setting information, and signal generation for generating a clock signal of a desired operating frequency from a reference clock signal based on the operating frequency setting information by the signal detecting means. The image processing apparatus is provided with means for controlling writing and reading of the storage means based on a clock signal output from the signal generation means.
[0012]
According to the image processing apparatus of the present invention, when processing image data of a signal format including a predetermined resolution and bandwidth, the signal detection unit detects the signal format of the image data stored in the storage unit, and The bandwidth of the image data is calculated, and the operating frequency setting information is output to the signal generator. The signal generating means generates a clock signal having a desired operating frequency from the reference clock signal based on the operating frequency setting information from the signal detecting means. On the premise of this, the control means performs write / read control of the storage means based on the clock signal output from the signal generation means.
[0013]
Therefore, when image data of a signal format having a different bandwidth is to be written to and read from the memory, the operating frequency corresponding to the bandwidth of the image data can be variably set to the signal generating means, so that the bandwidth is reduced. The operating frequency of the clock signal for writing and reading the image data with a narrow bandwidth into the memory can be set lower than the operating frequency of the clock signal for writing and reading the widest image data in the memory.
[0014]
As a result, as compared with the case where image data having different bandwidths are uniformly written to and read from the memory based on a clock signal having a fixed operating frequency, image data with a narrow bandwidth can be written and read using a clock signal having a low operating frequency. Therefore, wasteful power consumption can be omitted.
[0015]
An image processing method according to the present invention is a method for processing image data in a signal format including a predetermined resolution and bandwidth, and operates by detecting a signal format of image data and calculating a bandwidth of the image data. Obtaining frequency setting information, generating a clock signal of a desired operating frequency from a reference clock signal based on the obtained operating frequency setting information, and performing memory write / read control based on the generated clock signal. It is characterized by the following.
[0016]
According to the image processing method of the present invention, when processing image data of a signal format including a predetermined resolution and bandwidth, when performing image processing of writing and reading image data of a signal format having a different bandwidth from a memory, etc. Since the operating frequency corresponding to the bandwidth of the image data can be variably set, the image data having the narrower bandwidth than the operating frequency of the clock signal for writing and reading the image data having the widest bandwidth is stored in the memory. The operating frequency of the clock signal for writing and reading can be set low.
[0017]
Therefore, compared to the case where image data having different bandwidths are uniformly written to and read from the memory based on a clock signal having a fixed operating frequency, image data having a narrow bandwidth is written and read using a clock signal having a low operating frequency. Therefore, unnecessary power consumption can be omitted.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of an image processing apparatus and an image processing method according to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of a video display control device 100 to which an image processing device as an embodiment according to the present invention is applied.
In this embodiment, when processing image data in a signal format including a predetermined resolution and a bandwidth, a signal detection unit that detects the signal format, calculates the bandwidth of the image data, and outputs operating frequency setting information. When generating a clock signal having a desired operating frequency from a reference clock signal based on the operating frequency setting information, and performing image writing / reading processing on image data of a signal format having a different bandwidth in a memory, the image is output. The operating frequency corresponding to the data bandwidth can be variably set, and wasteful power consumption compared to the case where image data having different bandwidths are uniformly written to and read from memory based on a clock signal having a fixed operating frequency. Can be reduced.
[0019]
The video display control device 100 shown in FIG. 1 is an example of an image processing device, and is a device that processes digital image data of a signal format including a predetermined resolution and a bandwidth (hereinafter, also simply referred to as image data). The video display control device 100 also handles image data of a signal format having a different bandwidth. As an application example of the video display control device 100, the video display control device 100 is mounted on a battery-driven portable display terminal device or the like. Of course, the present invention is not limited to this, and may be applied to the video display control device 100 for driving AC power.
[0020]
The video display control device 100 includes an input buffer 1, an image format detection circuit 5, a clock generation circuit 6, a memory control unit 7, a frame memory 8, a video processor unit 9, and a video display unit 10. For example, a display clock signal (hereinafter simply referred to as a pixel clock Cp), a horizontal synchronizing signal SH, and a vertical synchronizing signal SV are input to the video display control device 100 from a not-shown MPEG decoder together with digital image data as a component signal.
[0021]
In the video display control device 100, in addition to the component signals output from the MPEG decoder, digital image data of BS digital broadcast, image data such as QVGA (Qua Video Video Array) size from a server connected to the Internet, not shown. Image data such as CIF (Common Intermediate Format) and QCIF (Quarter Common Intermediate Format) sizes supplied from the camera module can also be handled. Image data such as QVGA size is supplied from a server that provides a streaming image data transmission service, and is input via a memory bus of a CPU (not shown).
[0022]
The image data DIN and the pixel clock Cp are input to the input buffer 1, and the image data DIN is temporarily held based on the pixel clock Cp when the image data DIN is written to the frame memory 8. For example, when the image data DIN is written into the frame memory 8, the memory bus between the frame memory 8 and the memory control unit 7 is connected to the OSD data (not shown) used in the video processor When the data is occupied by data such as module control parameters, the input buffer 1 is used to temporarily hold image data.
[0023]
The pixel clock Cp input to the input buffer 1 is supplied to the image format detection circuit 5 together with the horizontal synchronization signal SH and the vertical synchronization signal SV. The image format detection circuit 5 is an example of a signal detection unit. The detection circuit 5 includes a horizontal counter 2, a vertical counter 3, and a bandwidth calculation circuit 4.
[0024]
The horizontal counter 2 is an example of a first counter circuit, and receives a horizontal synchronization signal SH from an MPEG decoder or the like and measures the number of signal edge changes (the number of active transitions). The horizontal counter 2 outputs the counter value to the bandwidth calculation circuit 4.
[0025]
The vertical counter 3 is a second counter circuit, and similarly receives a vertical synchronization signal SV from an MPEG decoder or the like and measures the number of signal edge changes (the number of active transitions). The vertical counter 3 outputs the counter value to the bandwidth calculation circuit 4.
[0026]
The bandwidth operation circuit 4 is an example of an operation circuit, and detects an information amount and a bandwidth (frame rate) of one frame of the image data DIN based on the pixel clock Cp and counter values obtained from the horizontal and vertical counters 2 and 3. Then, the operating frequency setting information N, M is calculated and output. The operating frequency setting information N, M contains the frequency division ratio for dividing the frequency of the clock signal of the reference frequency Fs (hereinafter referred to as the reference clock signal CLK).
[0027]
As described above, the image format detection circuit 5 detects the signal format of the image data DIN stored in the frame memory 8, calculates the bandwidth of the image data DIN, and sends the operating frequency setting information N and M to the clock generation circuit 6. Output.
[0028]
The image format detection circuit 5 is connected to a clock generation circuit 6 which is an example of a signal generation means. Based on the operation frequency setting information N and M by the detection circuit 5, a desired operation frequency of the reference clock signal CLK is obtained. A clock signal is generated. For example, the clock generation circuit 6 generates a memory clock signal φm used by the memory control unit 7 and a display clock signal φv used by the video processor unit 9 from the reference clock signal CLK. The reference clock signal CLK is input from outside.
[0029]
The clock signal φm allows the memory control unit 7 and the frame memory 8 to operate at the optimized operating frequency, and the clock signal φp allows the video processor unit 9 to operate at the optimized operating frequency. The video display unit 10 can be operated at the optimized operation frequency by the signal φv, and the power consumption can be reduced. The clock generation circuit 6 is connected to a memory control unit 7 which is an example of a control unit, and controls the writing and reading of the frame memory 8 based on the memory clock signal φm output from the generation circuit 6. You.
[0030]
The memory control unit 7 is connected to a frame memory 8 as an example of a storage unit, and stores digital image data DIN. The frame memory 8 stores OSD data, video processor control parameters, and the like in addition to the image data DIN. A RAM or the like is used for the frame memory 8. An output buffer 11 is connected to the frame memory 8 so that the image data DIN is temporarily stored when the image data DIN is read from the frame memory 8.
[0031]
The memory control unit 7 executes the timing control when writing the image data DIN from the input buffer 1 to the frame memory 8 and the timing control when reading the image data DIN from the frame memory 8 to the output buffer 11. Done. For example, the memory controller 7 controls writing of the image data DIN between the input buffer 1 and the frame memory 8, and controls reading of the image data DIN between the frame memory 8 and the video processor 9 through the output buffer 11. do.
[0032]
A video processor unit 9 is connected to the memory control unit 7. For example, resolution conversion, frame rate conversion, brightness, contrast, and the like are performed on image data DIN input from the frame memory 8 via the memory control unit 7. , Gamma, sharpness, and other image quality adjustments.
[0033]
A video display unit 10 is connected to the video processor unit 9, receives the image data DIN processed by the video processor unit 9, and outputs the image data DIN based on the display clock signal φv. The display clock signal φv is supplied from the clock generation circuit 6.
[0034]
FIG. 2 is a block diagram illustrating a configuration example of the clock generation circuit 6. The clock generation circuit 6 shown in FIG. 2 includes, for example, three PLL (Phase-Locked Loop) synthesizer blocks # 1 to # 3. The PLL synthesizer block # 1 generates a memory clock signal φm having a desired operation frequency from the reference clock signal CLK based on the reference clock signal CLK and the operation frequency setting information N and M.
[0035]
The PLL synthesizer block # 2 generates a display clock signal φv having a desired operation frequency based on the reference clock signal CLK and the operation frequency setting information N and M. The PLL synthesizer block # 3 generates a processor clock signal φp having a desired operating frequency based on the reference clock signal CLK and the operating frequency setting information N and M.
[0036]
FIG. 3 is a block diagram showing an example of the internal configuration of the PLL synthesizer block # 1 and the like. A PLL synthesizer block # 1 shown in FIG. 3 includes a frequency divider (1 / N) 21, a phase comparator 22, a loop filter 23, a VCO (Voltage Control Oscillator) 24, and a frequency divider (1 / M). 25.
[0037]
The frequency divider 21 divides the frequency of the reference clock signal CLK of the reference frequency Fs by 1 / N based on the operating frequency setting information N supplied from the image format detection circuit 5 to generate a frequency-divided output signal S21 of the frequency Fs / N. And outputs it to the phase comparator 22.
[0038]
On the other hand, the frequency divider 25 divides the frequency Fo output from the VCO 24, for example, the memory clock signal φm to 1 / M based on the operating frequency setting information M supplied from the image format detection circuit 5, and divides the frequency Fo / An M-divided output signal S25 is generated and output to the phase comparator 22.
[0039]
The phase comparator 22 compares the frequency Fs / N of the frequency-divided output signal S21 output from the frequency divider 21 with the frequency Fo / M of the frequency-divided output signal S25 output from the frequency divider 25, and matches the phases. .
Fs / N = Fo / M (1)
Equations (1) and (2) in the phase comparator 22, that is,
Fo = (N / M) · Fs (2)
And the output of the phase comparator 22 is filtered by a loop filter. The output voltage after the filter processing is used in the VCO 24 for voltage control oscillation control, and the VCO 24 outputs a memory clock signal φm or the like having an operating frequency Fo.
[0040]
Subsequently, an operation example of the video display control device 100 regarding the image processing method according to the present invention will be described. FIG. 4 is a flowchart showing an operation example of the video display control device 100.
In the video display control device 100, it is assumed that image data DIN of a signal format including a predetermined resolution and a predetermined bandwidth is written to and read from a memory. In this case, the operating frequency setting information N, M is obtained by detecting the signal format of the image data DIN and calculating the bandwidth of the image data DIN, and based on the operating frequency setting information N, M obtained here. A case where a clock signal having a desired operating frequency is generated from the reference clock signal CLK and memory write / read control is performed based on the generated clock signal will be described as an example.
[0041]
Under these operating conditions, the video display control device 100 receives, for example, a pixel clock Cp, a horizontal synchronizing signal SH, and a vertical synchronizing signal SV together with digital image data DIN as a component signal from an MPEG decoder (not shown). The pixel clock Cp is supplied to the image format detection circuit 5 together with the horizontal synchronization signal SH and the vertical synchronization signal SV.
[0042]
Then, in step A1 of the flowchart shown in FIG. 4, the image format detection circuit 5 detects the signal format of the image data DIN stored in the frame memory 8. At this time, the image data DIN and the pixel clock Cp are input to the input buffer 1, and the image data DIN is temporarily held based on the pixel clock Cp when the image data DIN is written into the frame memory 8.
[0043]
Then, in step A2, the bandwidth of the image data DIN is calculated, and the operating frequency setting information N, M is output to the clock generation circuit 6. At this time, the horizontal counter 2 measures the number of signal edge changes of the horizontal synchronization signal SH, and outputs the counter value of the horizontal counter 2 to the bandwidth calculation circuit 4. The vertical counter 3 measures the number of signal edge changes of the vertical synchronization signal SV, and outputs the counter value of the vertical counter 3 to the bandwidth calculation circuit 4.
[0044]
The bandwidth calculation circuit 4 detects the information amount and the bandwidth (frame rate) of one frame of the image data DIN based on the pixel clock Cp and the counter values obtained from the horizontal and vertical counters 2 and 3, and sets the operating frequency setting information N , M are calculated. The operating frequency setting information N, M contains the frequency division ratio for dividing the frequency of the reference clock signal. The operating frequency setting information N and M are output to the clock generation circuit 6.
[0045]
Then, in step A3, the clock generation circuit 6 generates a clock signal having a desired operation frequency from the reference clock signal CLK based on the operation frequency setting information N and M from the image format detection circuit 5. For example, the PLL synthesizer block # 1 of the clock generation circuit 6 generates a memory clock signal φm having a desired operation frequency Fo from the reference clock signal CLK based on the reference clock signal CLK and the operation frequency setting information N and M. .
[0046]
In addition, the PLL synthesizer block # 2 generates a display clock signal φv having a desired operation frequency Fo ′ based on the reference clock signal CLK and the operation frequency setting information N and M. The PLL synthesizer block # 3 generates a processor clock signal φp having a desired operating frequency Fo ″ based on the reference clock signal CLK and the operating frequency setting information N and M.
[0047]
Thereafter, in step A4, a process of capturing image data is executed. At this time, when writing the image data DIN from the input buffer 1 to the frame memory 8, the memory control unit 7 executes the timing control based on the memory clock signal φm (write control). By this timing control, digital image data DIN is stored in the frame memory 8.
[0048]
When reading the image data DIN from the frame memory 8 to the output buffer 11, the memory control unit 7 executes timing control based on the memory clock signal φm. By this timing control, the image data DIN is read out to the video processor 9.
[0049]
The video processor unit 9 converts the image data DIN input from the frame memory 8 via the memory control unit 7 based on, for example, a processor clock signal φp, resolution conversion, frame rate conversion, brightness, contrast, gamma, and sharpness. And other processes such as image quality adjustment.
[0050]
The video display unit 10 receives the image data DIN processed by the video processor unit 9 and outputs the image data DOUT based on the display clock signal φv. The image data DOUT is output to, for example, a liquid crystal display device.
[0051]
Then, it is detected in step A5 whether the signal format of the image data DIN has been changed. In the video display control device 100, in addition to the component signals output from the MPEG decoder, digital image data of BS digital broadcasting, image data such as QVGA size from a server connected to the Internet, and a camera module (not shown) are supplied. Image data such as CIF and QCIF sizes can also be handled. The image data such as the QVGA size is supplied from a server that provides a streaming image data transmission service, and is input via a memory bus of a CPU (not shown).
[0052]
Therefore, when the signal format is changed, the process returns to step A1. If the signal format is not changed, the process goes to step A6 to determine the end. The judgment at this time is the user. When ending the video display control processing, the above-described image processing is ended. If the image processing is not terminated, the process returns to step A1 to continue the video display control processing.
[0053]
[Example]
Here, a case where the input of image data is switched from the 480p BS digital broadcast signal format to QVGA size 10 fps streaming data is taken as an example.
[0054]
(1) 480p BS digital broadcasting signal format
In this case, when the 480p image data, the horizontal synchronization signal SH, the vertical synchronization signal SV, and the pixel clock Cp are input to the video display control device 100 in step A1 shown in FIG. 4, the signal format of the image data is changed to the horizontal counter. 2, an image format detection circuit 5 having a vertical counter 3 and a bandwidth calculation circuit 4.
[0055]
In the image format detection circuit 5, every time the count value of the horizontal counter 2 is incremented in step A2, the pixel clock Cp is counted by 858. Each time the count value of the vertical counter 3 is incremented, the horizontal counter 2 is counted up 525 times. “525” is a count value indicating the number of lines in the horizontal direction. The frame rate is calculated by measuring the period in which the vertical counter 3 is incremented.
[0056]
With this 480p BS digital broadcast signal format, the frame rate is 60 frames / sec (hereinafter referred to as fps). From these calculation results, the image format detection circuit 5 sets an optimal memory clock signal φm generated by the clock generation circuit 6. In this example, since 480p is detected by the image format detection circuit 5, the image data bandwidth is 858 (pixels) × 525 (lines) × 16 (YUV data; YUV [4: 2: 2]) × 60. (Fps) = 432.432 Mbit / s.
[0057]
When reading image data from the frame memory 8 to the memory control unit 7, it is necessary to occupy the same amount of image data. Become. In this example, when a burst access mode with a 32-bit width (a mode in which data can be transferred once per clock) is used, the required operating frequency Fo of the memory clock signal is 864.864M ÷ 32 = 27.027 MHz.
[0058]
The image format detection circuit 5 outputs such operating frequency information setting information N, M to the clock generation circuit 6. The clock generation circuit 6 receives the operating frequency setting information N and M from the image format detection circuit 5 and sets the number of clocks obtained by adding the memory clock signal φm to a bandwidth (frame rate) required for other data transfer such as OSD data. I do.
[0059]
For example, if image data bandwidth of 640 Mbit / s is required for transfer of OSD (On Screen Display) data or the like, 640 M ÷ 32 = 20 MHz is added. That is, in the clock generation circuit 6, the PLL synthesizer block # 1 and the like shown in FIG. 3 are voltage-controlled and oscillated so as to output the memory clock signal φm such that the operation frequency Fo becomes 27M + 20M = 47 MHz. The memory clock signal φm of Fo is generated.
[0060]
{Circle around (2)} When the input signal format of the image data DIN is switched to streaming data of QVGA size 10 fps
In this case, similarly to the signal format for 480p BS digital broadcasting, the image format detection circuit 5 calculates the information amount of the image data by calculation, and then detects the signal format of the image data. In this example, since streaming data having a QVGA size of 10 fps is detected by the image format detection circuit 5, the image data bandwidth is 320 (pixels) × 240 (pixels) × 16 (RGB565; R color = 5 bits, G color = 6 bits, B color = 5 bits) x 10 (fps) = 12.288 Mbit / s.
[0061]
The image data bandwidth required by the video display control device 100 is 12.288 M × 2 = 24.576 Mbit / s, and if the same memory access condition as that of the signal format 480p is used, the memory bus occupancy is 24.576 M Since ÷ 32 = 0.768 MHz, the operating frequency Fo of the memory clock signal φm is 20M + 0.768M = 20.768 MHz.
[0062]
In this example, the operating frequency Fo of the memory clock signal φm can be appropriately reduced depending on the signal format of the image data. As a result, the power consumption of the video display control device 100 to which the method of the present invention is applied can be significantly reduced as compared with the video display control device to which the conventional technique is applied.
[0063]
FIG. 5 is a table showing various signal formats of image data and examples of power consumption reduction. The table shown in FIG. 5 shows an image data bandwidth, an OSD data bandwidth, and a memory clock for five signal formats (hereinafter also referred to as input image formats) of image data input to the video display control device 100. A set value of the operating frequency Fo of the signal φm (hereinafter also referred to as a memory clock set value) and a power consumption ratio are shown.
[0064]
In this example, regarding the input image format, SVGA (Super Video Graphics Array; 800 × 600/60 fps), 480p (720 × 480/60 fps), VGA (640 × 480/60 fps), QVGA (320 × 240/60 fps), QCIF (176 × 144/10 fps), and all resolutions were assumed to be 16 Bit / pixel. The image data bandwidth is calculated according to the calculation example in the text, and is rounded up to the nearest decimal point. For example, in the case of SVGA, it is 800 × 600 × 60 × 2 = 921.6 Mbit / s.
[0065]
The OSD data bandwidth is uniformly set to 100 Mbit / s. Regarding the memory clock set value, the case where the memory bus is 32 bits is taken as an example, and the operating frequency Fo is
Fo = {(image data bandwidth + OSD data bandwidth) × 1.1} / 32
Determined by Note that the calculation was performed in consideration of 10% as an inaccessible time such as a fresh cycle of the frame memory 8. The power consumption ratio is a ratio when the power consumption in SVGA is 100%.
[0066]
According to this table, the image data signal format is SVGA, the image data bandwidth is 922 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 36 MHz, and the power consumption is Assuming that the ratio is 100%, in the signal format 480p, the image data bandwidth is 644 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 27 MHz, and the power consumption ratio is Reduced to 75%.
[0067]
In the signal format VGA of image data, the image data bandwidth is 590 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 24 MHz, and the power consumption ratio is 67%. Reduced.
[0068]
Furthermore, in the image data signal format QVGA, the image data bandwidth is 148 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 9 MHz, and the power consumption ratio is 25%. To be reduced. Further, in the signal format QCIF of the image data, the image data bandwidth is 9 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 4 MHz, and the power consumption ratio is 12%. Reduced.
[0069]
As described above, according to the video display control device 100 according to the embodiment of the present invention, the signal format of the image data DIN stored in the frame memory 8 is detected, and the image data bandwidth of the image data DIN is calculated. An image format detection circuit 5 that outputs operating frequency setting information N and M is provided, and a clock generation circuit is provided for performing image data DIN of a signal format having a different image data bandwidth as shown in FIG. 6, the operating frequency Fo corresponding to the bandwidth of the image data DIN can be variably set.
[0070]
Therefore, it is possible to set the operating frequency of the clock signal for writing and reading the image data DIN having a narrow bandwidth in the memory lower than the operating frequency of the clock signal for writing and reading the image data DIN having the widest image data bandwidth in the memory. it can. As a result, the image data DIN having a narrower image data bandwidth has a lower operating frequency Fo compared to a case where image data DIN having different image data bandwidths are uniformly written to and read from a memory based on a clock signal having a fixed operating frequency. Since the memory write / read processing can be performed by the clock signal, unnecessary power consumption can be reduced.
[0071]
When the video display control device 100 of the present invention is mounted on a battery-driven information processing device such as a mobile phone or a portable game machine, the continuous operation time that can be used in one charge is reduced by the conventional battery-driven information processing. It can be longer than the equipment. Further, in a graphic chip in which a semiconductor chip for display is formed at a high density in a battery-driven portable display terminal device or the like, excess power consumption can be suppressed, so that heat generation of the device body can be suppressed.
[0072]
【The invention's effect】
As described above, according to the image processing apparatus and the image processing method of the present invention, when processing image data of a signal format including a predetermined resolution and a bandwidth, the signal format of the image data is detected. Signal detecting means for calculating the bandwidth of the image data and outputting operating frequency setting information, wherein the signal generating means generates a clock signal of a desired operating frequency from a reference clock signal based on the operating frequency setting information. Done.
[0073]
With this configuration, when image processing is performed on image data of a signal format having a different bandwidth, the operating frequency corresponding to the bandwidth of the image data can be variably set to the signal generation unit. The operating frequency of the clock signal for performing image processing on image data having a narrow bandwidth can be set lower than the operating frequency of the clock signal for performing image processing on wide image data.
[0074]
Therefore, compared to the case where image data having different bandwidths are uniformly written to and read from the memory based on a clock signal having a fixed operating frequency, image data having a narrow bandwidth is written and read using a clock signal having a low operating frequency. Therefore, unnecessary power consumption can be omitted.
[0075]
INDUSTRIAL APPLICABILITY The present invention is very suitable when applied to a video display control device that handles image data of a signal format having a different image data bandwidth, a battery-driven portable display device equipped with the video display control device, and the like.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a video display control device 100 to which an image processing device as an embodiment according to the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of a clock generation circuit 6.
FIG. 3 is a block diagram showing an example of an internal configuration of a PLL synthesizer block # 1 and the like.
4 is a flowchart illustrating an operation example of the video display control device 100. FIG.
FIG. 5 is a table showing various signal formats of image data and an example of power consumption reduction.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Input buffer, 2 ... Horizontal counter (1st counter), 3 ... Vertical counter (2nd counter), 4 ... Bandwidth operation circuit (Operation circuit), 5 ... Image format detection circuit (signal detection means), 6 ... clock generation circuit (signal generation means), 7 ... memory control unit (control means), 8 ... frame memory (storage means), 9 ... Video processor, 10: video display unit, 11: output buffer, # 1 to # 3: PLL synthesizer block, 100: video display control device

Claims (5)

所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する装置であって、
前記画像データを記憶する記憶手段と、
前記記憶手段に記憶される画像データの信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段と、
前記信号検出手段による動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成する信号生成手段と、
前記信号生成手段から出力されるクロック信号に基づいて前記記憶手段の書込み読出し制御をする制御手段とを備えることを特徴とする画像処理装置。
An apparatus for processing image data in a signal format including a predetermined resolution and bandwidth,
Storage means for storing the image data;
A signal detection unit that detects a signal format of image data stored in the storage unit, calculates a bandwidth of the image data, and outputs operating frequency setting information;
Signal generating means for generating a clock signal of a desired operating frequency from a reference clock signal based on operating frequency setting information by the signal detecting means,
An image processing apparatus comprising: a control unit that controls writing and reading of the storage unit based on a clock signal output from the signal generation unit.
前記画像データと共に表示クロック信号、水平同期信号及び垂直同期信号が入力される場合であって、
前記信号検出手段は、
前記水平同期信号を入力して信号エッジ変化回数を計測する第1のカウンタ回路と、
前記垂直同期信号を入力して信号エッジ変化回数を計測する第2のカウンタ回路と、
前記表示クロック信号と前記第1及び第2のカウンタ回路から得られるカウンタ値に基づいて前記画像データの1フレームの情報量及び帯域幅を検出して動作周波数設定情報を演算し出力する演算回路とを備えることを特徴とする請求項1に記載の画像処理装置。
A display clock signal, a horizontal synchronization signal and a vertical synchronization signal are input together with the image data,
The signal detection means,
A first counter circuit that inputs the horizontal synchronization signal and measures the number of signal edge changes;
A second counter circuit that receives the vertical synchronization signal and measures the number of signal edge changes;
An arithmetic circuit for detecting the information amount and bandwidth of one frame of the image data based on the display clock signal and the counter value obtained from the first and second counter circuits, and calculating and outputting operating frequency setting information; The image processing apparatus according to claim 1, further comprising:
前記記憶手段に書き込む画像データを一時的に保持する入力バッファと、
前記記憶手段から読み出す画像データを一時的に保持する出力バッファとを備え、
前記制御手段は、
前記入力バッファから記憶手段へ画像データを書き込むタイミング制御及び、
前記記憶手段から出力バッファへ画像データを読み出すタイミング制御を実行することを請求項1に記載の画像処理装置。
An input buffer for temporarily holding image data to be written to the storage unit,
An output buffer for temporarily holding image data read from the storage means,
The control means includes:
Timing control for writing image data from the input buffer to the storage means;
2. The image processing apparatus according to claim 1, wherein timing control for reading image data from said storage means to an output buffer is performed.
所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する方法であって、
前記画像データの信号フォーマットを検出して当該画像データの帯域幅を演算することにより動作周波数設定情報を求め、
求められた前記動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成し、
生成された前記クロック信号に基づいてメモリ書込み読出し制御をすることを特徴とする画像処理方法。
A method of processing image data of a signal format including a predetermined resolution and a bandwidth,
The operating frequency setting information is obtained by detecting the signal format of the image data and calculating the bandwidth of the image data,
Generating a clock signal of a desired operating frequency from the reference clock signal based on the obtained operating frequency setting information;
An image processing method, wherein memory write / read control is performed based on the generated clock signal.
前記画像データと共に表示クロック信号、水平同期信号及び垂直同期信号を入力し、
前記水平同期信号の信号エッジ変化回数を計測すると共に、前記垂直同期信号の信号エッジ変化回数を計測し、
前記表示クロック信号と計測された前記水平同期信号の信号エッジ変化回数及び前記垂直同期信号の信号エッジ変化回数とに基づいて前記画像データの1フレームの情報量及び帯域幅を検出して動作周波数設定情報を生成することを特徴とする請求項4に記載の画像処理方法。
A display clock signal, a horizontal synchronization signal and a vertical synchronization signal are input together with the image data,
While measuring the number of signal edge changes of the horizontal synchronization signal, measuring the number of signal edge changes of the vertical synchronization signal,
The operating frequency is set by detecting the information amount and bandwidth of one frame of the image data based on the display clock signal and the measured number of signal edge changes of the horizontal synchronization signal and the measured number of signal edge changes of the vertical synchronization signal. The image processing method according to claim 4, wherein information is generated.
JP2002204649A 2002-07-12 2002-07-12 Image processing apparatus and image processing method Expired - Fee Related JP3945328B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002204649A JP3945328B2 (en) 2002-07-12 2002-07-12 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002204649A JP3945328B2 (en) 2002-07-12 2002-07-12 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2004045884A true JP2004045884A (en) 2004-02-12
JP3945328B2 JP3945328B2 (en) 2007-07-18

Family

ID=31710192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002204649A Expired - Fee Related JP3945328B2 (en) 2002-07-12 2002-07-12 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP3945328B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100446084C (en) * 2006-01-18 2008-12-24 友达光电股份有限公司 Picture data transmitting method, video data transmitting method and time-sequence control module
JP2009534932A (en) * 2006-04-18 2009-09-24 マーベル セミコンダクター インコーポレイテッド Shared memory multi-video channel display apparatus and method
US8264610B2 (en) 2006-04-18 2012-09-11 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US8284322B2 (en) 2006-04-18 2012-10-09 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100446084C (en) * 2006-01-18 2008-12-24 友达光电股份有限公司 Picture data transmitting method, video data transmitting method and time-sequence control module
JP2009534932A (en) * 2006-04-18 2009-09-24 マーベル セミコンダクター インコーポレイテッド Shared memory multi-video channel display apparatus and method
US8264610B2 (en) 2006-04-18 2012-09-11 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US8284322B2 (en) 2006-04-18 2012-10-09 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US8736757B2 (en) 2006-04-18 2014-05-27 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US8754991B2 (en) 2006-04-18 2014-06-17 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US8804040B2 (en) 2006-04-18 2014-08-12 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods

Also Published As

Publication number Publication date
JP3945328B2 (en) 2007-07-18

Similar Documents

Publication Publication Date Title
US6317165B1 (en) System and method for selective capture of video frames
US7091944B2 (en) Display controller
US8233012B2 (en) Image processing apparatus, image processing method, and computer program
EP0865020A2 (en) A method and apparatus for upscaling an image
WO2006019867A2 (en) A dual-scaler architecture for reducing video processing requirements
JP5154027B2 (en) Video processing apparatus and method for controlling read operation of scaled video data
US20060158554A1 (en) Method for generating a video pixel clock and apparatus for performing the same
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
JP4035408B2 (en) Resolution conversion apparatus and method, and information processing apparatus
US8208761B2 (en) Image format conversion system
JP3945328B2 (en) Image processing apparatus and image processing method
JP2002049362A (en) Picture processor and picture processing method
WO2000059205A2 (en) Method and apparatus for down conversion of video data
JP2001320680A (en) Signal processing unit and method
JP2004093834A (en) Video signal processor and integrated circuit
TW202037175A (en) Video processing circuit and method for handling multiple videos using single video processing path
US7102690B2 (en) Clock signal synthesizer with multiple frequency outputs and method for synthesizing clock signal
JP4332312B2 (en) Video signal processing apparatus, video display apparatus, and video signal processing method
JP2002032749A (en) Image processor
JP2006011074A (en) Display controller, electronic equipment, and image data supply method
JP3959425B2 (en) Receiving device and display device
JP2000338926A (en) Image display device
KR20070089272A (en) Image processing apparatus for camera and method of managing clock thereof
JP2002341851A (en) Display device controller
JP2004187110A (en) Method of displaying and controlling video and video display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070402

LAPS Cancellation because of no payment of annual fees