JP2010044286A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2010044286A
JP2010044286A JP2008209271A JP2008209271A JP2010044286A JP 2010044286 A JP2010044286 A JP 2010044286A JP 2008209271 A JP2008209271 A JP 2008209271A JP 2008209271 A JP2008209271 A JP 2008209271A JP 2010044286 A JP2010044286 A JP 2010044286A
Authority
JP
Japan
Prior art keywords
unit
memory
frame memory
video input
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008209271A
Other languages
English (en)
Other versions
JP5658430B2 (ja
Inventor
Akisuke Shigenaga
哲資 重永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008209271A priority Critical patent/JP5658430B2/ja
Priority to US13/058,921 priority patent/US8902240B2/en
Priority to PCT/JP2009/003864 priority patent/WO2010018688A1/ja
Publication of JP2010044286A publication Critical patent/JP2010044286A/ja
Application granted granted Critical
Publication of JP5658430B2 publication Critical patent/JP5658430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/399—Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Input (AREA)
  • Image Generation (AREA)

Abstract

【課題】低コストで処理性能を向上することができる画像処理装置を提供すること。
【解決手段】画像処理装置１００は、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０がアクセスするバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０といったマスタ部からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部１９０を備える。
【選択図】図１

Description

本発明は、ビデオ入力映像及びグラフィックを重畳して表示する画像処理装置に関する。
近年、ディスプレイに複数の画像を重畳して表示するシステムが増えている。特に、車載用のディスプレイの場合、エアコンの操作画面やカーナビゲーション画面、ＤＶＤ（Digital Versatile Disk）やＴＶの映像等、様々な画像を重畳して表示することが求められている。
従来、複数の画像を重畳して表示する方法として、複数のビデオ入力画像と描画それぞれに対応したフレームメモリを持つ方法が提案されている（例えば、特許文献１参照）。
特開２００４−２５２４８１号公報
しかしながら、このような従来の画像処理装置にあっては、以下のような問題点があった。
（１）複数のビデオ入力画像とグラフィックそれぞれに対応したフレームメモリを持つため、コストが高くなる。
（２）各メモリがダブルバッファリング領域を持ち、一般的なシングルポートメモリだと、メモリライト動作とメモリリード動作が競合して処理性能が低下する。
本発明は、かかる点に鑑みてなされたものであり、低コストで処理性能を向上することができる画像処理装置を提供することを目的とする。
本発明の画像処理装置は、複数のフレームメモリと、前記複数のフレームメモリに対してアクセスする複数のマスタ部と、前記複数のマスタ部からのアクセス要求を調停し、それぞれの前記フレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部と、前記複数のフレームメモリに対して前記メモリコントローラ部を介して映像入力データを書き込むビデオ入力部と、前記複数のフレームメモリに格納されているデータを、前記メモリコントローラ部を介して読み出しディスプレイに表示するビデオ出力部とを備え、前記メモリコントローラ部は、前記ビデオ入力部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記ビデオ出力部は前記ビデオ入力部が書き込み完了した最後のバンクを読み出す構成を採る。
本発明によれば、複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部を有することにより、ビデオ入力映像や描画それぞれに対応したフレームメモリを持つ必要がなく、ビデオ入力や描画、表示のフレームメモリへのアクセスを並列で行うことができるため、低コストで処理性能を向上させることができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態は、ビデオ入力映像やグラフィックを重畳して表示する画像処理装置に適用した例である。
図１において、画像処理装置１００は、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、ディスプレイ１７０、制御部１８０、及びメモリコントローラ部１９０を備えて構成される。また、ビデオ入力部１４０には、カメラ２１０、ＤＶＤ２１１及びＴＶ２１２が、ビデオ選択部２１３を介して接続される。ビデオ選択部２１３は、カメラ２１０、ＤＶＤ２１１、ＴＶ２１２から出力される映像信号を選択する。
システムメモリ１１０は、ビデオ入出力の制御や描画制御といったアプリケーションプログラムや、描画で用いるテクスチャデータを格納する。システムメモリ１１０は、一般的にはＲＯＭやフラッシュメモリが用いられるが、ＳＲＡＭやＤＲＡＭ等のＲＡＭを用いてもよい。
フレームメモリ１２０，１３０は、ビデオ入力画像や描画データ、演算結果を格納する。フレームメモリ１２０，１３０は、一般的にはＤＲＡＭが用いられるが、ＳＲＡＭやフラッシュメモリ、ハードディスクを用いてもよい。また、フレームメモリ１２０、フレームメモリ１３０のどちらもシステムＬＳＩに内蔵してもよいし、どちらか一方あるいは両方とも外付けの構成にしてもよい。
ビデオ入力部１４０は、フレームメモリ１２０，１３０に対してメモリコントローラ部１９０を介して映像入力データを書き込む。ビデオ入力部１４０には、ビデオ選択部２１３で選択した映像信号が入力され、ビデオ入力部１４０は、入力された映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
なお、カメラ２１０、ＤＶＤ２１１、ＴＶ２１２は映像信号を出力するブロックの一例として挙げただけで、その他の映像信号を出力するものでも構わない。
描画部１５０は、メモリコントローラ部１９０を介してシステムメモリ１１０に格納されているテクスチャデータを読み出し、制御部１８０からの指令に基づき、線や三角形、矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行った描画データを、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。描画部１５０の内部構成については、図２により後述する。
なお、システムメモリ１１０とアクセスするためのデータバスと、フレームメモリ１２０あるいはフレームメモリ１３０とアクセスするためのデータバスは、独立していてもよいし、共有していてもよい。
ビデオ出力部１６０は、フレームメモリ１２０，１３０に格納されているデータを、メモリコントローラ部１９０を介して読み出しディスプレイ１７０に表示する。ビデオ出力部１６０は、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に格納されている画像データを読み出し、レイヤ合成や画質調整処理を行った後、ディスプレイ１７０に表示する。
上記ビデオ入力部１４０とビデオ出力部１６０は、アクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、上記ビデオ出力部１６０は、ビデオ入力部１４０が書き込み完了した最後のバンクを読み出す。
制御部１８０は、システムメモリ１１０に格納されているアプリケーションプログラムに基づいて、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、メモリコントローラ部１９０の制御を行う。また、制御部１８０はＪＰＥＧデコード等の演算結果を、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。具体的には、制御部１８０は、ビデオ入力部１４０とビデオ出力部１６０のメモリアクセス開始・終了タイミングや、どのフレームメモリ１２０，１３０にアクセスしているかの情報から、無アクセス状態となっているフレームメモリ１２０，１３０に対して演算結果を書き込む。
メモリコントローラ部１９０は、フレームメモリ１２０，１３０に対してアクセスするブロック（マスタ部）からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。ここでは、メモリコントローラ部１９０は、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。
例えば、メモリコントローラ部１９０は、制御部１８０がシステムメモリ１１０に、ビデオ入力部１４０がフレームメモリ１２０に、描画部１５０がフレームメモリ１３０に、ビデオ出力部１６０がフレームメモリ１３０にアクセス要求した場合、制御部１８０とシステムメモリ１１０とのデータ転送と、ビデオ入力部１４０とフレームメモリ１２０とのデータ転送と、ビデオ出力部１６０とフレームメモリ１３０とのデータ転送が並行して実行されるように制御する。これにより、ビデオ出力部１６０のデータ転送が終了した後に描画部１５０のデータ転送が開始される。
その上で、メモリコントローラ部１９０は、各マスタ部が次にどのバンクをアクセスするか決める時に、各フレームメモリ１２０，１３０に対する各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
メモリコントローラ部１９０は、描画部１５０とビデオ出力部１６０がアクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、描画部１５０が次にどのバンクをアクセスするか決める時に、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報と描画部１５０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
図２は、上記描画部１５０の内部構成を示す図である。
図２において、描画部１５０は、複数のテクスチャメモリ１５１，１５２、テクスチャロード部１５３、及びピクセル生成部１５４を備えて構成される。
テクスチャメモリ１５１，１５２は、テクスチャデータを格納するためのメモリである。
テクスチャロード部１５３は、メモリコントローラ部１９０を介してシステムメモリ１１０に格納されているテクスチャデータを読み出し、一方のテクスチャメモリ１５１、あるいはテクスチャメモリ１５２にテクスチャデータを書き込む。
ピクセル生成部１５４は、テクスチャメモリ１５１、あるいはテクスチャメモリ１５２に格納されているテクスチャデータを読み出し、線や三角形、矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行って生成した描画データを、メモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
上記、ピクセル生成部１５４が描画データをフレームメモリ１２０，１３０に書き込むのと並行に、テクスチャロード部１５３が次の図形のテクスチャデータをフレームメモリ１２０，１３０から読み出す。
また、本実施の形態では、テクスチャデータをシステムメモリ１１０からフレームメモリ１２０，１３０に転送した後、描画部１５０がフレームメモリ１２０，１３０からテクスチャデータを読み出す。
また、ビデオ入力部１４０がフレームメモリ１２０，１３０に書き込んだ映像データをテクスチャデータとして、描画部１５０が読み出す。
なお、テクスチャロード部１５３とピクセル生成部１５４は、それぞれメモリコントローラ部１９０に対して並列にデータ転送を行う。このため、テクスチャロード部１５３とピクセル生成部１５４がそれぞれメモリコントローラ部１９０にアクセスするデータバスは独立している必要がある。
また、テクスチャロード部１５３とピクセル生成部１５４は、それぞれ異なるテクスチャメモリをアクセスする。
以下、上述のように構成された画像処理装置１００の動作について説明する。
[ビデオ入力部１４０]
図３は、ビデオ入力部１４０のビデオ入力の有効データ領域、及びブランキング領域を示す図である。
水平同期信号ＶＩＨＳＹＮＣは、期間ＶＩＨＣの周期でビデオ入力部１４０に入力される。
垂直同期信号ＶＩＶＳＹＮＣは、期間ＶＩＶＣの周期でビデオ入力部１４０に入力される。
ＶＩＨＳＹＮＣの立下りを基準として、図示しないビデオ入力クロックＶＩＣＬＫでのサイクル数ＶＩＨＤＳからＶＩＨＤＥまでの期間が水平方向の有効データ領域であり、ＶＩＶＳＹＮＣの立下りを基準として、水平ライン数ＶＩＶＤＳからＶＩＶＤＥまでの期間が垂直方向の有効データ領域である。
なお、ＶＩＣＬＫはＷＶＧＡ（横８００画素×縦４８０画素）の場合、３３ＭＨｚの周波数が用いられる。また、ＶＩＣＬＫは総画素数によって周波数が異なる。
図４は、ビデオ入力部１４０の処理タイミングを示すタイミングチャートである。
図４中、ＶＩＶＤＳからＶＩＶＤＥまでの期間が垂直処理期間、ＶＩＨＤＳからＶＩＨＤＥまでの期間が水平処理期間である。ビデオ入力部１４０は、水平処理期間でメモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。また、ビデオ入力部１４０は、ＶＩＶＤＳ、ＶＩＶＤＥ、ＶＩＨＤＳ、ＶＩＨＤＥそれぞれのタイミングで制御部１８０にフラグを出力する。
[ビデオ出力部１６０]
図５は、ビデオ出力部１６０のビデオ出力の有効表示領域、及びブランキング領域を示す図である。
水平同期信号ＶＯＨＳＹＮＣは、期間ＶＯＨＣの周期でビデオ出力部１６０から出力され、ディスプレイ１７０に入力される。
垂直同期信号ＶＯＶＳＹＮＣは、期間ＶＯＶＣの周期でビデオ出力部１６０から出力され、ディスプレイ１７０に入力される。
ＶＯＨＳＹＮＣの立下りを基準として、図示しないビデオ出力クロックＶＯＣＬＫでのサイクル数ＶＯＨＤＳからＶＯＨＤＥまでの期間が水平方向の有効表示領域であり、ＶＯＶＳＹＮＣの立下りを基準として、水平ライン数ＶＯＶＤＳからＶＯＶＤＥまでの期間が垂直方向の有効表示領域である。
なお、ＶＯＣＬＫはＷＶＧＡ（横８００画素×縦４８０画素）の場合、３３ＭＨｚの周波数が用いられる。また、ＶＯＣＬＫは総画素数によって周波数が異なる。
図６は、ビデオ出力部１６０の処理タイミングを示すタイミングチャートである。
図６中、ＶＯＶＤＳからＶＯＶＤＥまでの期間が垂直処理期間で、ＶＯＨＤＳからＶＯＨＤＥまでの期間が水平処理期間である。ビデオ出力部１６０は、水平処理期間でメモリコントローラ部１９０を介してフレームメモリ１２０あるいはフレームメモリ１３０から画像データを読み出して、ディスプレイ１７０に出力する。また、ビデオ出力部１６０は、ＶＯＶＤＳ、ＶＯＶＤＥ、ＶＯＨＤＳ、ＶＯＨＤＥそれぞれのタイミングで制御部１８０にフラグを出力する。
[フレームメモリ１２０，１３０にバンクを３つ（バンク０〜２）割り当てた場合]
図７は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部１４０とビデオ出力部１６０がアクセスするバンクを３つ（バンク０〜２）割り当てた場合のメモリ内容を示す図である。
制御部１８０が、ビデオ入力部１４０とビデオ出力部１６０に対して、フレームメモリ１２０とフレームメモリ１３０に割り当てるバンクの画像サイズとベースアドレスを設定する。図７の例では、偶数バンクであるバンク０とバンク２がフレームメモリ１２０に、奇数バンクであるバンク１がフレームメモリ１３０に割り当てられている。
まず、ＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合について説明する。
図８は、ＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
ビデオ入力部１４０が、各バンクにデータを書き込む期間は、図４の垂直処理期間と同じである。また、ビデオ出力部１６０が、各バンクからデータを読み出す期間は、図６の垂直処理期間と同じである。
期間１−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
制御部１８０は、ビデオ入力部１４０から出力されるＶＩＶＤＳフラグによって、ビデオ入力部１４０がどのバンクにデータ書込みを開始したか認識し、ＶＩＶＤＥフラグによって、ビデオ入力部１４０がデータ書込みを終了したことを認識する。
期間１−Ｂでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
ビデオ出力部１６０は、ビデオ入力部１４０がデータを書き込み完了した最後のバンクを読み出すように制御部１８０によって制御される。なお、ビデオ入力部１４０から出力されるＶＩＶＤＥフラグをビデオ出力部１６０が受け取り、制御部１８０を介さずに、ビデオ入力部１４０がデータを書き込み完了した最後のバンクをビデオ出力部１６０が認識するようにしてもよい。
期間１−Ｃでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
期間１−Ｄでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
期間１−Ｂや期間１−Ｃでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
また、制御部１８０は、ビデオ入力部１４０とビデオ出力部１６０のメモリアクセス開始・終了タイミングや、どのフレームメモリにアクセスしているか把握できるため、期間１−Ａと期間１−Ｄでフレームメモリ１３０のみが無アクセス状態、期間１−Ａ〜１−Ｄを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かる。
よって、制御部１８０は、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
また、フレームメモリ１２０にバンク０とバンク２、フレームメモリ１３０にバンク１とバンク３というように、合計４つのバンクにすることで、期間１−Ｄのように、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリをアクセスすることを解消できる。
次に、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合について説明する。
図９は、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
期間２−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
期間２−Ｂでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込む。
期間２−Ｃでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
期間２−Ｄでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
期間２−Ｅでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込む。
期間２−Ｆでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。バンク１でなくバンク２のデータをビデオ出力部１６０が読み出すのは、バンク２がビデオ入力部１４０によってデータを書き込み完了した最後のバンクになっているためである。よって、バンク１の表示がスキップされる。
期間２−Ｇでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
期間２−Ｈでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
期間２−Ｉでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
期間２−Ｊでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
期間２−Ｃと期間２−Ｊでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
また、制御部１８０は、期間２−Ｂでフレームメモリ１２０のみが無アクセス状態、期間２−Ａと期間２−Ｄ〜２−Ｉでフレームメモリ１３０のみが無アクセス状態、期間２−Ａ〜２−Ｊを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かり、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
次に、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合について説明する。
図１０は、ＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合に、ビデオ入力部１４０とビデオ出力部１６０が、フレームメモリ１２０とフレームメモリ１３０に割り当てられているバンクをアクセスするタイミングを示すタイミングチャートである。
期間３−Ａでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
期間３−Ｂでは、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
期間３−Ｃでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク０のデータを読み出す。
期間３−Ｄでは、ビデオ入力部１４０がフレームメモリ１３０に割り当てられているバンク１にデータを書き込む。
期間３−Ｅでは、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
期間３−Ｆでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込む。
期間３−Ｇでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク２にデータを書き込むのと並行して、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。期間３−Ｅに引き続き、期間３−Ｇでもバンク１のデータを読み出すのは、ビデオ入力部１４０がバンク２へのデータ書込みを完了しておらず、バンク１がデータを書き込み完了した最後のバンクになっているためである。
期間３−Ｈでは、ビデオ出力部１６０がフレームメモリ１３０に割り当てられているバンク１のデータを読み出す。
期間３−Ｉでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込む。
期間３−Ｊでは、ビデオ入力部１４０がフレームメモリ１２０に割り当てられているバンク０にデータを書き込み、ビデオ出力部１６０がフレームメモリ１２０に割り当てられているバンク２のデータを読み出す。この期間では、ビデオ入力部１４０とビデオ出力部１６０が同じフレームメモリ１２０をアクセスするため、同時にメモリアクセスできず、処理が待たされる時が発生する。
期間３−Ｃと期間３−Ｇでは、ビデオ入力部１４０のメモリ書込みとビデオ出力部１６０のメモリ読み出しが同時に実行できるため、高速に処理できる。
また、制御部１８０は、期間３−Ｄ〜３−Ｅと期間３−Ｈでフレームメモリ１２０のみが無アクセス状態、期間３−Ａ〜３−Ｂと期間３−Ｆ、期間３−Ｉ〜３−Ｊでフレームメモリ１３０のみが無アクセス状態、期間３−Ａ〜３−Ｊを除く期間でフレームメモリ１２０とフレームメモリ１３０の両方が無アクセス状態となっていることが分かり、無アクセス状態となっているフレームメモリに対して、演算等の処理を行うことができ、システム全体の性能を向上することができる。
[フレームメモリ１２０，１３０にバンクを３つ（バンク０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合]
図１１は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部１４０とビデオ出力部１６０がアクセスするバンクを３つ（バンク０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合のメモリ内容を示す図である。
制御部１８０が、描画部１５０とビデオ出力部１６０に対して、フレームメモリ１２０とフレームメモリ１３０に割り当てるバンクの画像サイズとベースアドレスを設定する。
一般的には、描画している途中の画像が表示されないように、２つのバンクに対して描画するバンクと表示するバンクを切り替えるダブルバッファ構成を持つ。本実施の形態では、図１１に示すように、フレームメモリ１２０とフレームメモリ１３０にそれぞれバンクを２つ設け、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０が効率的に並列処理できるようにした。
図１２は、ビデオ入力部１４０とビデオ出力部１６０のアクセス状況によって、制御部１８０が描画部１５０に対して、次にどのバンクをアクセスするように指令するかを示す図である。
図１２中、ビデオ入力部１４０とビデオ出力部１６０のアクセス状況欄に、フレームメモリ１２０あるいはフレームメモリ１３０と記載されているのは、制御部１８０が描画部１５０に対して、次にどのバンクをアクセスさせるか判断する時点で、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリにアクセス中か、あるいは、どのフレームメモリにもアクセスしていない状態で、次にどのフレームメモリをアクセスするかを意味する。描画部１５０が前回アクセス完了したバンクは、ビデオ出力部１６０が表示のためにデータを読み出すためにアクセスされる。
描画部１５０が次にアクセスするバンクを決定する基準としては、ビデオ入力部１４０のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
これにより、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０がフレームメモリ１２０とフレームメモリ１３０に対して、並列にアクセスできる頻度が高まり、性能を向上させることができる。
また、描画部１５０とビデオ出力部１６０がアクセスするバンクを、フレームメモリ１２０に１つとフレームメモリ１３０に１つの合計２つ割り当てる場合についても、ビデオ入力部１４０のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを描画部１５０が次にアクセスするバンクに指定することで、性能を向上させることができる。
なお、描画部１５０の場合と同様に、ビデオ入力部１４０についても、描画部１５０のアクセス状況、ビデオ出力部１６０のアクセス状況、ビデオ入力部１４０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを、次にアクセスするバンクに選択するようにしてもよい。
次に、描画部１５０の動作について説明する。
図１３は、テクスチャロード部１５３とピクセル生成部１５４が、テクスチャメモリ１５１，１５２とメモリコントローラ部１９０にアクセスするタイミングを示すタイミングチャートである。
期間４−Ａでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(1)のテクスチャデータを読み出し、テクスチャメモリ１５１に書き込む。
期間４−Ｂでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(2)のテクスチャデータを読み出し、テクスチャメモリ１５２に書き込むのと並行して、ピクセル生成部１５４がテクスチャメモリ１５１に格納されている図形(1)のテクスチャデータを読み出して図形(1)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
期間４−Ｃでは、テクスチャロード部１５３がシステムメモリ１１０に格納されている図形(3)のテクスチャデータを読み出し、テクスチャメモリ１５１に書き込むのと並行して、ピクセル生成部１５４がテクスチャメモリ１５２に格納されている図形(2)のテクスチャデータを読み出して図形(2)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
期間４−Ｄでは、ピクセル生成部１５４がテクスチャメモリ１５１に格納されている図形(3)のテクスチャデータを読み出して図形(3)の描画データを生成し、フレームメモリ１２０あるいはフレームメモリ１３０に書き込む。
期間４−Ｂと期間４−Ｃでは、テクスチャロード部１５３とピクセル生成部１５４の処理が同時に実行できるため、高速に処理できる。
なお、例えばシステムメモリ１１０がフラッシュメモリのような低速のメモリで、フレームメモリ１２０やフレームメモリ１３０がＳＤＲＡＭのような高速のメモリの場合、テクスチャデータをシステムメモリ１１０からフレームメモリ１２０あるいはフレームメモリ１３０に転送しておいた後、テクスチャロード部１５３がフレームメモリ１２０あるいはフレームメモリ１３０からテクスチャデータを読み出すようにしてもよい。
また、ビデオ入力部１４０がフレームメモリ１２０あるいはフレームメモリ１３０に書き込んだ映像データをテクスチャデータとして、テクスチャロード部１５３が読み出してもよい。
以上のように、本実施の形態によると、ビデオ入力部１４０や描画部１５０がそれぞれ専用のフレームメモリを持つことがなく、ビデオ入力部１４０、描画部１５０、ビデオ出力部１６０が２つのフレームメモリに対して並列に処理することができ、さらに描画部１５０は２つの図形に対して並列に処理することができるため、低コストで処理性能を向上することができる。
以上詳細に説明したように、本実施の形態によれば、画像処理装置１００は、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０がアクセスするバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、ビデオ入力部１４０と描画部１５０とビデオ出力部１６０といったマスタ部からのアクセス要求を調停し、それぞれのフレームメモリ１２０，１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部１９０を備え、メモリコントローラ部１９０は、各マスタ部が次にどのバンクをアクセスするか決める時に、各フレームメモリ１２０，１３０に対する各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する。
例えば、メモリコントローラ部１９０は、描画部１５０とビデオ出力部１６０がアクセスする複数のバンクを複数のフレームメモリ１２０，１３０に分けて割り当て、描画部１５０が次にどのバンクをアクセスするか決める時に、ビデオ入力部１４０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報と描画部１５０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
また、メモリコントローラ部１９０は、ビデオ入力部１４０が次にどのバンクをアクセスするか決める時に、描画部１５０とビデオ出力部１６０がそれぞれどのフレームメモリ１２０，１３０にアクセス中か、あるいは、どのフレームメモリ１２０，１３０にもアクセスしていない状態で、次にどのフレームメモリ１２０，１３０をアクセスするかの情報とビデオ入力部１４０が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリ１２０，１３０に割り当てられているバンクを選択する。
従来例では、複数のビデオ入力画像とグラフィックそれぞれに対応する、ダブルバッファリング領域を持つフレームメモリを用いた。これに対して、本実施の形態では、かかる機能を、メモリコントローラ部１９０が、各マスタ部のアクセス状況から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択することで実現する。これにより、ビデオ入力映像や描画それぞれに対応したフレームメモリを持つ必要がなく、ビデオ入力や描画、表示のフレームメモリへのアクセスを並列で行うことができえるため、低コストで処理性能を向上させることができる。
（実施の形態２）
図１４は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。
図１４において、画像処理装置３００は、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０、ビデオ入力部３１１，３１２，３１３、描画部１５０、ビデオ出力部１６０、ディスプレイ１７０、制御部１８０、及びメモリコントローラ部３１０を備えて構成される。また、カメラ２１０、ＤＶＤ２１１及びＴＶ２１２は、ビデオ入力部３１１，３１２，３１３介してメモリコントローラ部３１０に接続される。
ビデオ入力部３１１は、カメラ２１０から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
ビデオ入力部３１２は、ＤＶＤ２１１から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
ビデオ入力部３１３は、ＴＶ２１２から出力される映像の垂直同期信号と水平同期信号に基づき、メモリコントローラ部３１０を介してフレームメモリ１２０あるいはフレームメモリ１３０に映像データを書き込む。
メモリコントローラ部３１０は、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御する。
図１５は、フレームメモリ１２０とフレームメモリ１３０に、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３とビデオ出力部１６０がアクセスするバンクをそれぞれ３つ、合計９個（バンクＡ０〜２、バンクＢ０〜２、バンクＣ０〜２）割り当て、さらに、描画部１５０とビデオ出力部１６０がアクセスするバンクを４つ（バンクＲＡ０、ＲＡ１、ＲＢ０、ＲＢ１）割り当てた場合のメモリ内容を示す図である。
このように、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３と描画部１５０用のバンクが、フレームメモリ１２０とフレームメモリ１３０に分けて割り当てるようにすることと、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のアクセス状況、ビデオ出力部１６０のアクセス状況、描画部１５０が前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを描画部１５０が次にアクセスするバンクに指定することで、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０がフレームメモリ１２０とフレームメモリ１３０に対して、並列にアクセスできる頻度が高まり、性能を向上させることができる。
なお、描画部１５０の場合と同様に、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のそれぞれについても、他のビデオ入力部のアクセス状況、描画部１５０のアクセス状況、ビデオ出力部１６０のアクセス状況、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３のそれぞれが前回アクセス完了したバンクから、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを、次にアクセスするバンクに選択するようにしてもよい。
以上のように、本実施の形態によれば、メモリコントローラ部３１０は、ビデオ入力部３１１、ビデオ入力部３１２、ビデオ入力部３１３、描画部１５０、ビデオ出力部１６０、制御部１８０といったマスタ部からのメモリアクセス要求を調停し、システムメモリ１１０、フレームメモリ１２０、フレームメモリ１３０に複数のマスタ部が並行にアクセスできるようにデータ転送を制御するので、複数のビデオ入力部を持つ構成でも、描画部１５０やビデオ出力部１６０との並列処理を行うことができ、処理性能を向上させることができる。
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。例えば、上記各実施の形態は、各種の電子機器に適用した例であるが、入力対象を空間に表示するものであればどのような機器にも同様に適用できる。
また、上記各実施の形態では画像処理装置という名称を用いたが、これは説明の便宜上であり、画像処理システム、画像出力装置等であってもよいことは勿論である。
さらに、上記画像処理装置を構成する各装置、例えばメモリ等の種類、数及び接続方法などは前述した実施の形態に限られない。
本発明では、ビデオ入力や描画、表示を高速に処理できるので、例えば、車載用のディスプレイにおいて、エアコンの操作画面やカーナビゲーション画面、ＤＶＤやＴＶの映像等、様々な画像を素早く重畳して表示することができる。また、車載用のディスプレイ以外の各電子機器における画像処理システムにも広く適用され得るものである。
本発明の実施の形態１に係る画像処理装置の構成を示すブロック図 上記実施の形態１に係る画像処理装置の描画部の内部構成を示す図 上記実施の形態１に係る画像処理装置のビデオ入力部のビデオ入力の有効データ領域、及びブランキング領域を示す図 上記実施の形態１に係る画像処理装置のビデオ入力部の処理タイミングを示すタイミング図 上記実施の形態１に係る画像処理装置のビデオ出力部のビデオ出力の有効表示領域、及びブランキング領域を示す図 上記実施の形態１に係る画像処理装置のビデオ出力部の処理タイミングを示すタイミング図 上記実施の形態１に係る画像処理装置のビデオ入力部とビデオ出力部がアクセスするバンクを３つ割り当てた場合のメモリ内容を示す図 上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣとＶＯＶＳＹＮＣの周期が同じ場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図 上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より短い場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図 上記実施の形態１に係る画像処理装置のＶＩＶＳＹＮＣの周期がＶＯＶＳＹＮＣの周期より長い場合に、ビデオ入力部とビデオ出力部が、フレームメモリとフレームメモリに割り当てられているバンクをアクセスするタイミングを示すタイミング図 上記実施の形態１に係る画像処理装置のフレームメモリとフレームメモリに、ビデオ入力部とビデオ出力部がアクセスするバンクを３つ割り当て、さらに、描画部とビデオ出力部がアクセスするバンクを４つ割り当てた場合のメモリ内容を示す図 上記実施の形態１に係る画像処理装置のビデオ入力部とビデオ出力部のアクセス状況によって、制御部が描画部に対して、次にどのバンクをアクセスするように指令するかを示す図 上記実施の形態１に係る画像処理装置のテクスチャロード部とピクセル生成部が、テクスチャメモリとメモリコントローラ部にアクセスするタイミングを示すタイミング図 本発明の実施の形態２に係る画像処理装置の構成を示すブロック図 上記実施の形態２に係る画像処理装置のフレームメモリとフレームメモリに、各ビデオ入力部とビデオ出力部がアクセスするバンクをそれぞれ３つ、合計９個割り当て、さらに、描画部とビデオ出力部がアクセスするバンクを４つ割り当てた場合のメモリ内容を示す図
符号の説明
１００，３００ 画像処理装置
１１０ システムメモリ
１２０，１３０ フレームメモリ
１４０，３１１，３１２，３１３ ビデオ入力部
１５０ 描画部
１５１，１５２ テクスチャメモリ
１５３ テクスチャロード部
１５４ ピクセル生成部
１６０ ビデオ出力部
１７０ ディスプレイ
１８０ 制御部
１９０，３１０ メモリコントローラ部
２１０ カメラ
２１１ ＤＶＤ
２１２ ＴＶ
２１３ ビデオ選択部

Claims (12)

  1. 複数のフレームメモリと、
    前記複数のフレームメモリに対してアクセスする複数のマスタ部と、
    前記複数のマスタ部からのアクセス要求を調停し、それぞれの前記フレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御するメモリコントローラ部と、
    前記複数のフレームメモリに対して前記メモリコントローラ部を介して映像入力データを書き込むビデオ入力部と、
    前記複数のフレームメモリに格納されているデータを、前記メモリコントローラ部を介して読み出しディスプレイに表示するビデオ出力部とを備え、
    前記メモリコントローラ部は、前記ビデオ入力部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記ビデオ出力部は前記ビデオ入力部が書き込み完了した最後のバンクを読み出す画像処理装置。
  2. システムメモリと、
    前記システムメモリ及び前記複数のフレームメモリに前記複数のマスタ部が並行にアクセスできるようにデータ転送を制御する前記メモリコントローラ部と、
    前記システムメモリに格納されているアプリケーションプログラムに基づいて、前記ビデオ入力部、前記ビデオ出力部、前記メモリコントローラ部のタイミング制御を行い、また演算結果を、前記メモリコントローラ部を介して前記フレームメモリに書き込む制御部とを備える請求項１記載の画像処理装置。
  3. 前記制御部は、前記ビデオ入力部と前記ビデオ出力部のメモリアクセス開始・終了タイミング及び、前記複数のフレームメモリにアクセスする情報に基づいて、無アクセス状態となっているフレームメモリに対して演算結果を書き込む請求項２記載の画像処理装置。
  4. 前記システムメモリに格納されているテクスチャデータを、前記メモリコントローラ部を介して読み出し、前記制御部からの指令に基づき、線、三角形又は矩形の図形に対してテクスチャマッピング及びアルファブレンド処理を行った描画データを、前記メモリコントローラ部を介して前記フレームメモリに書き込む描画部を備える請求項２記載の画像処理装置。
  5. 前記メモリコントローラ部は、前記描画部と前記ビデオ出力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記描画部が次に前記バンクをアクセスするか決める時に、前記ビデオ入力部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記描画部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４記載の画像処理装置。
  6. 前記メモリコントローラ部は、前記ビデオ入力部が次に前記バンクをアクセスするか決める時に、前記描画部と前記ビデオ出力部がそれぞれ該当フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記ビデオ入力部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項５記載の画像処理装置。
  7. 前記描画部は、２つのテクスチャメモリと、
    前記システムメモリに格納されているテクスチャデータを、前記メモリコントローラ部を介して読み出し、一方のテクスチャメモリにテクスチャデータを書き込むテクスチャロード部と、
    他方のテクスチャメモリに格納されているテクスチャデータを読み出し、線、三角形又は矩形の図形に対してテクスチャマッピングやアルファブレンド処理を行って生成した描画データを、前記メモリコントローラ部を介して前記フレームメモリに書き込むピクセル生成部を備え、
    前記ピクセル生成部が前記描画データを前記フレームメモリに書き込むのと並行に、テクスチャロード部が次の図形のテクスチャデータを前記フレームメモリから読み出す請求項４又は請求項５に記載の画像処理装置。
  8. 前記テクスチャデータを前記システムメモリから前記フレームメモリに転送した後、前記描画部が前記フレームメモリから前記テクスチャデータを読み出す請求項４乃至請求項７のいずれかに記載の画像処理装置。
  9. 前記ビデオ入力部が前記フレームメモリに書き込んだ映像データをテクスチャデータとして、前記描画部が読み出す請求項４乃至請求項７のいずれかに記載の画像処理装置。
  10. 前記ビデオ入力部に入力される映像信号は、複数の映像信号から一つ選択された映像信号である請求項４乃至請求項９のいずれかに記載の画像処理装置。
  11. 前記ビデオ入力部を複数備え、前記描画部と前記複数のビデオ入力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記描画部が次に前記バンクをアクセスするか決める時に、前記複数のビデオ入力部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記描画部が前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４乃至請求項９のいずれかに記載の画像処理装置。
  12. 前記ビデオ入力部を複数備え、前記描画部と前記複数のビデオ入力部がアクセスする複数のバンクを前記複数のフレームメモリに分けて割り当て、前記複数のビデオ入力部の１つが次に前記バンクをアクセスするか決める時に、他のビデオ入力部と前記描画部と前記ビデオ出力部がそれぞれ前記フレームメモリにアクセス中か、あるいは、前記フレームメモリにもアクセスしていない状態で、次に前記フレームメモリをアクセスするかの情報と前記複数のビデオ入力部の１つが前回アクセス完了したバンク情報から、最もアクセスされる要因の小さいフレームメモリに割り当てられているバンクを選択する請求項４乃至請求項９のいずれかに記載の画像処理装置。
JP2008209271A 2008-08-15 2008-08-15 画像処理装置 Active JP5658430B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008209271A JP5658430B2 (ja) 2008-08-15 2008-08-15 画像処理装置
US13/058,921 US8902240B2 (en) 2008-08-15 2009-08-11 Image processing device
PCT/JP2009/003864 WO2010018688A1 (ja) 2008-08-15 2009-08-11 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008209271A JP5658430B2 (ja) 2008-08-15 2008-08-15 画像処理装置

Publications (2)

Publication Number Publication Date
JP2010044286A true JP2010044286A (ja) 2010-02-25
JP5658430B2 JP5658430B2 (ja) 2015-01-28

Family

ID=41668835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008209271A Active JP5658430B2 (ja) 2008-08-15 2008-08-15 画像処理装置

Country Status (3)

Country Link
US (1) US8902240B2 (ja)
JP (1) JP5658430B2 (ja)
WO (1) WO2010018688A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177351A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Instructions and Logic for Even and Odd Vector Get Operations
US11464099B2 (en) 2020-02-06 2022-10-04 Lumileds Llc Universal asynchronous receiver/transmitter interface for light emitting diode system
EP3913611A1 (en) * 2020-05-19 2021-11-24 Lumileds Holding B.V. High speed image refresh light emitting diode system
CN112653928B (zh) * 2020-12-04 2022-12-02 苏州浪潮智能科技有限公司 一种基于内容相同的视频过滤方法、系统及设备
WO2022179681A1 (en) * 2021-02-24 2022-09-01 Cariad Se Method for operating a display device of a vehicle for displaying video frames of a video stream at a predefined frame rate and corresponding display device and vehicle

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165445A (ja) * 1991-12-16 1993-07-02 Hitachi Ltd 表示制御回路
JPH08278779A (ja) * 1995-04-10 1996-10-22 Sharp Corp グラフィックス用フレームメモリ装置
JPH09325745A (ja) * 1996-06-07 1997-12-16 Mega Chips:Kk 画像処理装置
JPH1078770A (ja) * 1996-09-05 1998-03-24 Fujitsu Ltd 表示制御装置
JPH10207821A (ja) * 1997-01-28 1998-08-07 Hitachi Ltd データ処理装置
JPH10247138A (ja) * 1996-09-13 1998-09-14 Silicon Graphics Inc コンピュータシステム
JPH11510620A (ja) * 1995-08-08 1999-09-14 シーラス ロジック，インコーポレイテッド 統合されたシステム／フレームバッファメモリ及びシステム、ならびにそれらの使用方法
JP2005017867A (ja) * 2003-06-27 2005-01-20 Yamaha Corp 画像表示装置
JP2005338498A (ja) * 2004-05-27 2005-12-08 Mitsubishi Electric Corp 表示メモリ装置
JP2007333892A (ja) * 2006-06-13 2007-12-27 Canon Inc メモリ制御装置、バス制御装置及び表示デバイス制御システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW360823B (en) 1996-09-30 1999-06-11 Hitachi Ltd Data processor and graphic processor
AU5686299A (en) * 1998-08-20 2000-03-14 Raycer, Inc. Method and apparatus for generating texture
JP3919766B2 (ja) 1999-01-29 2007-05-30 キヤノン株式会社 画像処理装置
JP2001092429A (ja) 1999-09-17 2001-04-06 Sony Corp フレームレート変換装置
JP4606502B2 (ja) * 2008-08-07 2011-01-05 三菱電機株式会社 画像表示装置および方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165445A (ja) * 1991-12-16 1993-07-02 Hitachi Ltd 表示制御回路
JPH08278779A (ja) * 1995-04-10 1996-10-22 Sharp Corp グラフィックス用フレームメモリ装置
JPH11510620A (ja) * 1995-08-08 1999-09-14 シーラス ロジック，インコーポレイテッド 統合されたシステム／フレームバッファメモリ及びシステム、ならびにそれらの使用方法
JPH09325745A (ja) * 1996-06-07 1997-12-16 Mega Chips:Kk 画像処理装置
JPH1078770A (ja) * 1996-09-05 1998-03-24 Fujitsu Ltd 表示制御装置
JPH10247138A (ja) * 1996-09-13 1998-09-14 Silicon Graphics Inc コンピュータシステム
JPH10207821A (ja) * 1997-01-28 1998-08-07 Hitachi Ltd データ処理装置
JP2005017867A (ja) * 2003-06-27 2005-01-20 Yamaha Corp 画像表示装置
JP2005338498A (ja) * 2004-05-27 2005-12-08 Mitsubishi Electric Corp 表示メモリ装置
JP2007333892A (ja) * 2006-06-13 2007-12-27 Canon Inc メモリ制御装置、バス制御装置及び表示デバイス制御システム

Also Published As

Publication number Publication date
WO2010018688A1 (ja) 2010-02-18
US20110134133A1 (en) 2011-06-09
JP5658430B2 (ja) 2015-01-28
US8902240B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
US20010040580A1 (en) Computer system controller having internal memory and external memory control
US5815169A (en) Frame memory device for graphics allowing simultaneous selection of adjacent horizontal and vertical addresses
JP5658430B2 (ja) 画像処理装置
US5550961A (en) Image processing apparatus and method of controlling the same
KR20180102563A (ko) 다수의 레벨들의 디테일을 렌더링하기 위한 시스템들 및 방법들
US7629978B1 (en) Multichip rendering with state control
CN102055973B (zh) 存储器地址映射方法及存储器地址映射电路
US6753872B2 (en) Rendering processing apparatus requiring less storage capacity for memory and method therefor
JP2016509280A (ja) グラフィックスプロセッシングユニットベースのメモリ転送動作を行うためのマルチモードメモリアクセス技法
EP0525749B1 (en) Memory control device
JP4200573B2 (ja) 記憶装置と画像処理装置およびその方法とリフレッシュ動作制御装置およびその方法
CN107682730B (zh) 图层叠加处理方法、图层叠加处理装置和视频处理器
US20020171649A1 (en) Computer system controller having internal memory and external memory control
JP2003186740A (ja) メモリ制御装置、及びメモリ制御方法
KR20060044124A (ko) 3차원 그래픽 가속을 위한 그래픽 시스템 및 메모리 장치
US20060245265A1 (en) Memory control system
US20110273462A1 (en) System and method for storing and accessing pixel data in a graphics display device
WO2003075253A1 (en) Frame buffer access device, frame buffer access method, computer program and recording medium
US9489139B2 (en) Command processing apparatus, method and integrated circuit apparatus
US20130120420A1 (en) Method and system for efficiently organizing data in memory
JP5475859B2 (ja) 画像表示駆動装置
JP3740415B2 (ja) グラフィック処理装置
JPH09330267A (ja) メモリ制御装置およびメモリ制御方法、並びに画像生成装置
JP2001350462A (ja) メモリアクセス方法及びその実施装置
JPH07129460A (ja) 画像処理方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141007

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141128

R150 Certificate of patent or registration of utility model

Ref document number: 5658430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250