JP2007281741A - パイプライン処理を利用した画像処理 - Google Patents

パイプライン処理を利用した画像処理 Download PDF

Info

Publication number
JP2007281741A
JP2007281741A JP2006103850A JP2006103850A JP2007281741A JP 2007281741 A JP2007281741 A JP 2007281741A JP 2006103850 A JP2006103850 A JP 2006103850A JP 2006103850 A JP2006103850 A JP 2006103850A JP 2007281741 A JP2007281741 A JP 2007281741A
Authority
JP
Japan
Prior art keywords
processing
data
circuit
image
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006103850A
Other languages
English (en)
Inventor
Michio Yoshitake
三千男 吉竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006103850A priority Critical patent/JP2007281741A/ja
Publication of JP2007281741A publication Critical patent/JP2007281741A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】パイプライン処理を利用した画像処理において、途中の段階の処理によって得られるデータの転送の自由度を高めることのできる技術を提供することを目的とする。
【解決手段】画像処理を実行するパイプラインの各ステージを担当する処理回路の内の少なくとも2つの処理回路を、処理後の画像データとは異なるデータを転送するためのバスで接続する。そして、バスに接続された所定の転送元処理回路は、転送元処理回路のデータ処理結果を次段の処理回路とは異なる対象処理回路のデータ処理に反映させるために、データ処理の結果得られる処理結果データを、バスを介して対象処理回路に転送する。
【選択図】図1

Description

本発明は、パイプライン処理を利用した画像処理に関するものである。
従来より、プロジェクタ、スキャナ、デジタルカメラ等の画像処理装置では、画像処理のために複数の段階の処理が実行されている。例えば、プロジェクタの中には、プログレッシブ変換処理、スケーリング処理、台形歪み補正処理を順番に実行するものがある。ここで、画像処理の高速化のために、パイプライン処理を利用する方法が提案されている(例えば、特許文献1参照)。
特開2005−122257号公報
パイプライン処理を実行する画像処理装置では、各段階の処理毎に準備された複数の処理回路が利用される。これらの処理回路は直列に接続されており、各処理回路は処理後のデータを次段の処理回路に供給する。ところが、従来のパイプライン処理では途中の段階の処理で得られるデータの転送の自由度は低く、データの流れは直線的であるので、種々のデメリットが生じる場合があった。例えば、自己の処理には利用されないが後段の処理回路によって利用されるデータを前段から受信して後段に供給するために、処理回路によって利用されるメモリ量が過剰に大きくなる場合があった。
本発明は、上記の課題を解決するためになされたものであり、パイプライン処理を利用した画像処理において、途中の段階の処理によって得られるデータの転送の自由度を高めることのできる技術を提供することを目的とする。
上述の課題の少なくとも一部を解決するため、本発明に係る画像処理装置は、入力画像データを用いた画像処理をパイプライン処理によって実行する画像処理装置であって、直列に接続されるとともに互いに異なるデータ処理を実行するN個(Nは3以上の整数)の処理回路を備え、前記N個の処理回路の内の最前段の処理回路が前記入力画像データの供給を受け、他の処理回路は1つ前の処理回路から前記データ処理後の画像データの供給を受け、前記各処理回路は、供給された画像データを用いた前記データ処理をそれぞれ並列に実行し、前記画像処理装置は、さらに、前記N個の処理回路の内の少なくとも2つの処理回路を接続するとともに前記データ処理後の画像データとは異なるデータを転送するためのバスを備え、前記バスに接続された所定の転送元処理回路は、前記転送元処理回路のデータ処理結果を前記バスに接続された処理回路の内の次段の処理回路とは異なる対象処理回路のデータ処理に反映させるために、前記データ処理の結果得られる処理結果データを、前記バスを介して前記対象処理回路に転送する。
この画像処理装置によれば、転送元処理回路は、データ処理の結果得られる処理結果データを、バスを介して次段の処理回路とは異なる対象処理回路に直接に転送できるので、途中の段階の処理によって得られるデータの転送の自由度を高めることができる。
上記画像処理装置において、前記対象処理回路は、前記転送元処理回路よりも後ろの処理回路であることとしてもよい。
この構成によれば、転送元処理回路と対象処理回路との間の処理回路が、自己の処理に利用しないデータを受信せずに済むので、その間の処理回路の構成を簡略化することができる。
上記各画像処理装置において、前記画像処理装置は、前記入力画像データに応じて画像を表示する画像表示装置であり、前記入力画像データはインタレース方式の画像データであり、前記N個の処理回路は、供給された画像データを解析することによって画像内の一部の領域である切出領域を決定する切出領域決定回路と、前記切出領域決定回路よりも後ろに設けられるとともに、インタレース方式からノンインタレース方式への変換処理を実行するプログレッシブ変換回路と、前記プログレッシブ変換回路よりも後ろに設けられるとともに、供給された画像データの解像度を表示用の解像度に変換するスケーリング処理回路と、を含み、前記切出領域決定回路と前記スケーリング処理回路とは前記バスに接続されており、前記切出領域決定回路は、前記処理結果データとしての前記切出領域を表す切出領域データを、前記バスを介して前記スケーリング処理回路に転送し、前記スケーリング処理回路は、受信した前記切出領域データに基づく変換処理を実行することによって、前記切出領域を含む一部の領域のみを表す画像データを表示のために出力することとしてもよい。
この構成によれば、切出領域を含む一部の領域のみが表示されるので、ユーザは、切出領域を容易に観察することができる。また、切出領域決定回路が、プログレッシブ変換を行う前の画像データを用いて切出領域を決定するので、切出領域の決定に利用される画像データ量が過剰に大きくなることを抑制できる。また、プログレッシブ変換回路は、自己の処理に利用しない切出領域データを受信せずに済む。その結果、プログレッシブ変換回路の構成を簡略化することができる。また、プログレッシブ変換回路によって利用されるメモリの量を低減することもできる。
上記各画像処理装置において、さらに、前記画像処理装置を制御する装置制御部を備え、前記装置制御部は、前記バスに接続された処理回路に対して、前記バスを介して前記データ処理用のパラメータを供給することとしてもよい。
この構成によれば、バスが、パイプラインの途中の段階の処理結果の転送と、パイプラインの外部からの処理回路に対する処理用パラメータの供給と、に共通に利用されるので、画像処理装置の規模が過剰に大きくなることを抑制できる。
なお、本発明は種々の形態で実現することが可能であり、例えば、画像処理システム、画像処理システムを構成する画像供給装置及び画像処理装置、画像表示システム、画像表示システムを構成する画像供給装置及び画像表示装置、画像処理方法、画像表示方法、それら方法又は装置を実現するためのコンピュータプログラム、それらのコンピュータプログラムを記録した記録媒体などの種々の態様で実現することが可能である。
次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.実施例:
B.変形例:
A.実施例:
図1は本発明の一実施例として画像表示システムの構成を示す説明図である。本実施例の画像表示システム10は、画像供給装置としてのDVDプレイヤDPと、画像表示装置としてのプロジェクタ200と、を備えている。DVDプレイヤDPは、動画像を表す映像信号をプロジェクタ200に供給する。プロジェクタ200は、映像信号に基づいて、画像を表示する。
プロジェクタ200は、画像処理部210と、液晶パネル駆動回路220と、ランプを有する照明光学系230と、液晶パネル232と、投写光学系234と、バスモジュール240と、メモリコントローラ250と、メモリ252と、CPU260と、各種の操作ボタンを含む入力部270と、を備えている。
DVDプレイヤDPからの映像信号(以下、「入力映像信号IVD」とも呼ぶ)は、画像処理部210に供給される。画像処理部210は、受信した入力映像信号IVDを用いて後述する複数種類の処理を実行し、液晶パネル駆動回路220に供給するための制御用画像データIMG5を生成する。なお、本実施例では、入力映像信号IVDは、インタレース方式のアナログコンポジット信号である。
液晶パネル駆動回路220は、画像処理部210から受信した制御用画像データIMG5に応じて、液晶パネル232を駆動するための駆動信号を生成する。液晶パネル232は、この駆動信号に応じて、照明光学系230から射出された照明光を変調する。投写光学系234は、液晶パネル232によって変調された投写光を投写表示画面70(例えば、スクリーン)に投写する。これにより、投写表示画面70に画像が投写表示される。このように、液晶パネル232は、照明光学系230から射出された照明光を変調するライトバルブ(光変調器)として使用されている。
画像処理部210は、画像情報取得回路IP0と、切出領域決定回路IP1と、プログレッシブ変換回路IP2と、スケーリング処理回路IP3と、台形歪み補正回路IP4と、を有している。各回路IP0〜IP4は、この順番に直列に接続されている。入力映像信号IVDは、最前段の画像情報取得回路IP0に供給される。
画像情報取得回路IP0は、入力映像信号IVDを解析し、解像度やフレームレート、水平同期周波数等の画像に関連する情報(以下「画像情報」とも呼ぶ)を取得する。そして、画像情報取得回路IP0は、画像情報に基づいて、入力映像信号IVDから、次段の切出領域決定回路IP1に適した第1画像データIMG1を生成する。本実施例では、画像情報取得回路IP0は、アナログの入力映像信号IVDから、インタレース方式の動画像を構成する1枚のフィールド画像を表すデジタルの第1画像データIMG1を生成する。このような第1画像データIMG1の生成処理は、入力映像信号IVDに応じて繰り返し実行される。そして、画像情報取得回路IP0は、生成した第1画像データIMG1を、切出領域決定回路IP1に供給する。その結果、画像情報取得回路IP0は、入力映像信号IVDに応じて、複数の第1画像データIMG1を順番に切出領域決定回路IP1に供給する。
切出領域決定回路IP1は、第1画像データIMG1を解析し、切出領域を決定する。切出領域決定回路IP1は、画像内の動きのある部分領域を切出領域として採用する(詳細は後述)。このように切出領域を決定する理由は、ユーザの注目を集めやすい動きのある部分領域を、拡大して投写表示画面70に表示するためである。切出領域決定回路IP1は、切出領域を決定したら、第2画像データIMG2をプログレッシブ変換回路IP2に供給する。この第2画像データIMG2は、第1画像データIMG1と同じである。この代わりに、切出領域のみを表すデータを第2画像データIMG2として利用してもよい。この場合には、第1画像データIMG1の中の切出領域を表す一部分を第2画像データIMG2として利用すればよい。
プログレッシブ変換回路IP2は、インタレース方式からノンインタレース方式(プログレッシブ方式とも呼ばれる)への変化処理を実行する。プログレッシブ変換回路IP2は、この変換処理(「プログレッシブ変換処理」とも呼ばれる)により、第2画像データIMG2から第3画像データIMG3を生成し、生成した第3画像データIMG3をスケーリング処理回路IP3に供給する。このような変換処理としては、種々の処理を採用可能である。例えば、時系列の順に並ぶ2枚のフィールド画像(第2画像データIMG2)を重ね合わせることによって、1枚のノンインタレース方式のフレーム画像(第3画像データIMG3)を生成してもよい。
スケーリング処理回路IP3は、画像の解像度(画素数)を液晶パネル232の解像度に合わせて変換する。スケーリング処理回路IP3は、この変換処理(「スケーリング処理」とも呼ばれる)により、第3画像データIMG3から第4画像データIMG4を生成し、生成した第4画像データIMG4を台形歪み補正回路IP4に供給する。ここで、スケーリング処理回路IP3は、上述の切出領域を含む一部の領域のみが表示されるように、スケーリング処理を実行する(詳細は後述)。
台形歪み補正回路IP4は、いわゆる台形歪み(「キーストーン歪み」とも呼ばれる)を補正する。台形歪み補正回路IP4は、この補正処理により、第4画像データIMG4から制御用画像データIMG5を生成し、生成した制御用画像データIMG5を液晶パネル駆動回路220に供給する。台形歪み補正の方法としては、種々の方法を採用可能である。また、この補正処理に利用されるパラメータ値(例えば、投写表示画面70とプロジェクタ200との間の相対的な角度)は、入力部270に入力されたユーザの指示に従って、CPU260によって設定される(詳細は後述)。
以上説明した入力映像信号IVDから制御用画像データIMG5を生成する処理は、入力映像信号IVDに応じて繰り返し実行される。その結果、プロジェクタ200によって表示される画像は、入力映像信号IVDに応じて繰り返し更新される。
また、入力映像信号IVDからの制御用画像データIMG5を生成するための複数の段階(図1の例では5段階)の処理は、各処理回路IP0〜IP4によって並列に実行される。その結果、各処理回路IP0〜IP4は、時系列に沿って並ぶ複数の制御用画像データIMG5を生成するための処理を、並列に実行することができる。その結果、順次出力すべき複数の制御用画像データIMG5の生成処理に要する時間を短縮することが可能となる。
このように、複数の段階の処理を並列に実行する技術は「パイプライン」とも呼ばれている。このようなパイプライン処理を実行する処理部の構造は、パイプライン構造とも呼ばれている。パイプラインでは、各段階は「ステージ」とも呼ばれている。図1の例では、5つのステージによって制御用画像データIMG5が生成されている。また、図1の例では、各ステージの処理を担う各処理回路IP0〜IP4は、それぞれ、メモリコントローラ250を制御することによって、メモリ252を利用可能である。前段から後段への各画像データIMG1〜IMG4の転送は、このメモリ252を介して行われる。なお、各処理回路IP0〜IP4の処理は、図示しない共通のクロック信号に同期して実行される。
また、各処理回路IP0〜IP4のそれぞれは、バスモジュール240の制御バスCBUSに接続されている。バスモジュール240は、さらに、制御バスCBUSにおけるアクセスの調停を行うバス制御回路242を有している。CPU260は、このバス制御回路242を制御することによって、制御バスCBUSを介して各処理回路IP0〜IP4のレジスタ(図示せず)にデータを格納することが可能である。各処理回路IP0〜IP4は、レジスタに格納されたデータ値に基づいて各処理を実行する。すなわち、CPU260は、制御バスCBUSを介して、各処理回路IP0〜IP4の動作を制御することができる。このように、CPU260は、本発明における「装置制御部」に相当する。
図2は、制御バスCBUSの信号の種類を示す説明図である。本実施例では、15種類の信号が利用される。信号名に記された符号「(IP#)」は、信号線が各処理回路IP0〜IP4毎に設けられていることを意味している。また、2列目に示す「信号方向」は、バス制御回路242と各処理回路IP0〜IP4との間の信号の方向を意味している。「I(In)」は、バス制御回路242によって設定され、制御バスCBUSを介して各処理回路IP0〜IP4へ供給される信号を意味している。「O(Out)」は、各処理回路IP0〜IP4によって設定され、制御バスCBUSを介してバス制御回路242に供給される信号を意味している。
以下、各信号の詳細について説明する。
(1)CDI:この入力データ信号CDIは、処理回路IP0〜IP4のレジスタに格納されるべきデータを表す信号であり、32本の信号線で表されている(32ビット)。この信号CDIは、バス制御回路242によって設定される。
(2)CDO:この出力データ信号CDOは、処理回路IP0〜IP4のレジスタから読み出されたデータを表す信号であり、32本の信号線で表されている(32ビット)。なお、この信号CDOは、各処理回路IP0〜IP4毎に設けられており、各処理回路IP0〜IP4によって設定される。
(3)CCSX:このチップセレクト信号CCSXは、データ転送の対象である1つの処理回路(以下「対象処理回路」とも呼ぶ)を選択するための信号であり、各処理回路IP0〜IP4毎に1ビット(1本の信号線)ずつ割り当てられている。この信号CCSXが「0」に設定された処理回路が、データ転送の対象として選択される。このCCSX信号は、バス制御回路242によって設定される。
(4)CRDX:このリード信号CRDXは、処理回路IP0〜IP4に、リード処理を要求するための信号である。この信号CRDXがバス制御回路242によって「0」に設定されたことに応じて、対象処理回路がリード処理を開始する。リード処理では、対象処理回路は、出力データ信号CDOを、レジスタのデータを表す値に設定する。
(5)CWRX:このライト信号CWRXは、処理回路IP0〜IP4に、ライト処理を要求するための信号である。この信号CWRXがバス制御回路242によって「0」に設定されたことに応じて、対象処理回路がライト処理を開始する。ライト処理では、対象処理回路は、入力データ信号CDIを読み、読んだデータをレジスタに格納する。
(6)CCLK:このクロック信号CCLKは、各処理回路IP0〜IP4とバス制御回路242との動作の同期をとるための信号である。
(7)CRDY:このレディ信号CRDYは、対象処理回路によって設定される信号であり、要求された処理(リード処理、あるいは、ライト処理)の開始時に「1」に設定される。このレディ信号CRDYが「1」に設定されたクロックサイクルの次のクロックサイクルで、その対象処理回路は、レジスタから出力データ信号CDOへのデータ出力、あるいは、入力データ信号CDIからレジスタへのデータ取り込みを、実行する。この信号CRDYでは、各処理回路IP0〜IP4毎に1ビットずつ割り当てられている。
(8)CAD:このアドレス信号CADは、対象処理回路内のデータ転送の対象である1つのレジスタ(以下「対象レジスタ」とも呼ぶ)を指定するための信号であり、16本の信号線で表されている(16ビット)。この信号CADは、バス制御回路242によって設定される。
以上説明した8種類の信号は、バス制御回路242がCPU260の要求に応じて各処理回路IP0〜IP4のレジスタにアクセスする場合に利用される。一方、以下に説明する7種類の信号は、ある処理回路が、次段の処理回路とは異なる処理回路へ、次段の処理回路を介さずに直接にデータを転送する場合に利用される。以下、このような次段の処理回路以外の処理回路に対する制御バスCBUSを介した直接のデータ転送を、「直接データ転送」、あるいは、単に「直接転送」と呼ぶ。
(9)CBDRQ:この直接転送要求信号CBDRQは、各処理回路IP0〜IP4が、バス制御回路242に対して直接転送要求を発行するための信号であり、各処理回路IP0〜IP4毎に1ビットずつ割り当てられている。直接転送を要求する処理回路は、この信号CBDRQを「1」に設定する。
(10)CBDAD:このアドレス信号CBDADは、転送先である対象レジスタを指定するための信号であり、16本の信号線で表されている(16ビット)。この信号CBDADは、各処理回路IP0〜IP4毎に設けられており、各処理回路によって設定される。
(11)CBDIPN:この回路識別信号CBDIPNは、転送先である対象処理回路を指定するための信号であり、5本の信号線で表されている(5ビット)。また、この信号は、各処理回路IP0〜IP4毎に設けられており、各処理回路によって設定される。
(12)CBDAK:この応答信号CBDAKは、直接転送要求信号CBDRQに対する応答信号であり、直接転送要求が受け入れられた場合にバス制御回路242によって「1」に設定される。この信号CBDAKでは、各処理回路IP0〜IP4毎に1ビットずつ割り当てられている。この信号CBDAKが「1」に設定されたことに応じて、該当する処理回路(以下「転送元処理回路」とも呼ぶ)は、直接転送を開始する。また、この信号CBDAKが「1」に設定されている間は、制御バスCBUSは、転送元処理回路によって専有される。
(13)CBDCST:この直接転送開始信号CBDCSTは、転送元処理回路によって設定される信号であり、直接転送の開始時に「1」に設定される。この信号CBDCSTが「1」に設定されたことに応じて、転送元処理回路とバス制御回路242とは、協同して直接転送を実行する。この信号CBDCSTでは、各処理回路IP0〜IP4毎に1ビットずつ割り当てられている。
(14)CBDED:この直接転送終了信号CBDEDは、転送元処理回路によって設定される信号であり、直接転送が完了する時に「1」に設定される。この信号CBDEDでは、各処理回路IP0〜IP4毎に1ビットずつ割り当てられている。
(15)CBDRDY:このレディ信号CBDRDYは、対象処理回路によって出力されたレディ信号CRDYと同じである。バス制御回路242は、対象処理回路からのレディ信号CRDYを選択し、そのまま、このレディ信号CBDRDYとして出力する。転送元処理回路は、この信号CBDEDによって、データ転送が完了するタイミングを知ることができる。
図3は、CPU260(図1)が、台形歪み補正回路IP4にアクセスする様子を示す概略図である。台形歪み補正回路IP4は、投写角度に基づいて補正処理を実行する。図3(A)は、投写角度を示す説明図である。投写角度は、投写表示画面70の法線ONと、プロジェクタ200の光軸LAとのなす角度を意味している。本実施例では、投写角度は、水平方向Dhの成分Ahと、垂直方向Dvの成分Avとで表される。
図3(B)は、CPU260が台形歪み補正回路IP4のレジスタにアクセスする様子を示す説明図である。台形歪み補正回路IP4は、投写角度の各成分Ah、Avをそれぞれ格納する2つのレジスタR1、R2を有している。本実施例では、ユーザは、入力部270を操作することによって、各成分Ah、Avの値を修正することができる。CPU260は、入力部270に入力されたユーザの指示に従って、これらのレジスタR1、R2の値を読み出して修正し、修正後の値をレジスタR1、R2に格納する。台形歪み補正回路IP4は、レジスタR1、R2に格納されたデータ値に基づいて補正処理を実行する。
なお、投写角度を設定する方法としては、ユーザの指示に従って設定する方法に限らず、任意の方法を採用可能である。例えば、表示画像を撮影する撮影装置をプロジェクタ200に設け、CPU260が、撮影された画像を解析することによって自動的に各成分Ah、Avを設定してもよい。
図3(C)は、修正後の水平方向成分Ahを第1レジスタR1に格納し、続けて、第2レジスタR2に格納された修正前の垂直方向成分Avを読み出す処理を示すタイミングチャートである。各信号の左に付された記号[I]は、バス制御回路242から処理回路(この例では台形歪み補正回路IP4)に供給される信号を表し、記号[O]は、処理回路(この例では台形歪み補正回路IP4)からバス制御回路242へ供給される信号を表している。
CPU260は、台形歪み補正回路IP4の第1レジスタR1に対するデータAhのライト処理に続けて第2レジスタR2のリード処理を実行する要求をバス制御回路242に対して発行する。この要求に応じて、バス制御回路242は、まず、ライト処理を要求する。この際、バス制御回路242は、チップセレクト信号CCSXで台形歪み補正回路IP4を選択し、アドレス信号CADで第1レジスタR1を指定し、入力データ信号CDIをCPU260から受信したデータAhに設定し、ライト信号CWRXを「0」に設定する。台形歪み補正回路IP4は、次のクロックサイクルでレディ信号CRDYを「1」に設定し、ライト処理を開始する。次のクロックサイクルでは、台形歪み補正回路IP4は、入力データ信号CDIを読み、読んだデータAhを第1レジスタR1に格納する。レディ信号CRDYが「1」に設定されてから2つのクロックサイクルが経過することによってライト処理が完了する。そこで、バス制御回路242は、アドレス信号CADで第2レジスタR2を指定し、リード信号CRDXを「0」に設定することによってリード処理を要求する。台形歪み補正回路IP4は、次のクロックサイクルで、レディ信号CRDYを「1」に設定し、第2レジスタR2のデータを出力データ信号CDOに出力する。次のクロックサイクルでは、バス制御回路242は、出力データ信号CDOを読む。その後、バス制御回路242は、読んだデータAvをCPU260に供給する。
このように、バス制御回路242は、CPU260からの要求に応じて、レジスタに対するアクセスを中継する。この際、「1:アドレス等の設定」、「2:レディ信号CRDYの設定」、「3:データ転送の実行」の3つのクロックサイクルによって、データの転送が実行される。これは、1回のライト処理が実行される場合、1回のリード処理が実行される場合、複数のライト処理が続く場合、複数のリード処理が続く場合、も同様である。また、台形歪み補正回路IP4以外の処理回路が対象処理回路である場合も同様である。
図4は、切出領域を示すデータが、切出領域決定回路IP1からスケーリング処理回路IP3に直接に転送される様子を示す概略図である。切出領域決定回路IP1は、画像情報取得回路IP0(図1)から受信した第1画像データIMG1を解析することによって、切出領域CAを決定する。切出領域決定回路IP1は、画像内の動きのある部分を含む矩形状の部分領域を切出領域CAとして選択する。例えば、図4の例では、第1画像データIMG1は、部屋の中を動き回る子供を表している。切出領域決定回路IP1は、この子供を含む矩形状の部分領域を切出領域CAとして選択する。このような切出領域CAを選択する方法としては、種々の方法を採用可能である。例えば、切出領域決定回路IP1が、現行の第1画像データIMG1と1つ前の第1画像データIMG1とを比較することによって大きく変化している部分を検出し、この変化した部分を含む最小の矩形状の部分領域を切出領域CAとして採用してもよい。
切出領域決定回路IP1は、切出領域CAの決定後、第2画像データIMG2を後段のプログレッシブ変換回路IP2に供給する。また、切出領域決定回路IP1は、切出領域CAを定める情報(以下「切出情報CI」とも呼ぶ)を、後段のプログレッシブ変換回路IP2を介さずに、直接にスケーリング処理回路IP3に供給する。本実施例では、切出情報CIは、切出領域CAの位置およびサイズ(高さと幅)を表している。位置は、切出領域CAの基準点(通常は左上角の点)の座標によって表されている。この座標は、元の画像内における座標である。なお、切出情報CIは、3つの切出データD1、D2、D3に分割して転送される。スケーリング処理回路IP3は、これらの切出データD1〜D3をそれぞれ格納する3つのレジスタR11、R12、R13を有している。スケーリング処理回路IP3は、これらのレジスタR11〜R13に格納されたデータ値に基づいて、スケーリング処理を実行する。
図5は、切出データD1〜D3を切出領域決定回路IP1からスケーリング処理回路IP3へ転送する処理を示すタイミングチャートである。各信号の左に付された記号[I]、[O]は、図3(C)で利用された記号と同じである。
切出領域決定回路IP1は、まず、バス制御回路242に対して直接転送を要求する。この際、切出領域決定回路IP1は、アドレス信号CBDADでレジスタR11を指定し、回路識別信号CBDIPNでスケーリング処理回路IP3を選択し、直接転送要求信号CBDRQを「1」に設定する。
次に、バス制御回路242は、切出領域決定回路IP1に直接転送を開始させるために、切出領域決定回路IP1に対する応答信号CBDAKを「1」に設定する。切出領域決定回路IP1は、応答信号CBDAKが「1」に設定されたことに応じて、出力データ信号CDOを第1切出データD1に設定し、開始信号CBDCSTを「1」に設定する。
次に、バス制御回路242は、開始信号CBDCSTが「1」に設定されたことに応じて、ライト処理を要求する。この際、バス制御回路242は、チップセレクト信号CCSXで、回路識別信号CBDIPNで要求されたスケーリング処理回路IP3を選択し、アドレス信号CADを、アドレス信号CBDADで要求されたアドレス(第1レジスタR11)に設定し、入力データ信号CDIを、出力データ信号CDOで要求されたデータ(第1切出データD1)に設定し、ライト信号CWRXを「0」に設定する。
次のクロックサイクルでは、スケーリング処理回路IP3は、レディ信号CRDYを「1」に設定し、ライト処理を開始する。この際、バス制御回路242は、直接転送用のレディ信号CBDRDYを、対象処理回路(スケーリング処理回路IP3)からのレディ信号CRDYと同じ値に設定する。このレディ信号CBDRDYにより、転送元処理回路(切出領域決定回路IP1)は、その次のクロックサイクルでデータ転送が完了することを知ることができる。
次のクロックサイクルでは、スケーリング処理回路IP3は、入力データ信号CDIを読み、読んだ第1切出データD1を第1レジスタR11に格納する。一方、切出領域決定回路IP1は、終了信号CBDEDを「1」に設定することによって、このデータ転送を終了する。同時に、切出領域決定回路IP1は、開始信号CBDCSTを「1」に設定し、アドレス信号CBDADで次のレジスタ(第2レジスタR12)を指定し、出力データ信号CDOを次のデータ(第2切出データD2)に設定する。これにより、新たなデータ転送が開始される。
以後、第1切出データD1の転送と同様に、第2切出データD2と第3切出データD3との転送が順番に実行される。そして、最後のデータ(第3切出データD3)の転送が完了すると、開始信号CBDCSTは「0」に維持されたまま、終了信号CBDEDが「1」に設定される。これらの信号CBDCST、CBDEDに応じて、バス制御回路242は、全ての直接データ転送が完了したと判断し、応答信号CBDAKを「0」に設定する。これにより、制御バスCBUSは、切出領域決定回路IP1による専有から解放される。そして、バス制御回路242は、新たな要求(例えば、CPU260の要求や、各処理回路IP0〜IP4の要求)に応じて、制御バスCBUSを介したデータ転送を実行する。
一方、プログレッシブ変換回路IP2(図4)は、切出領域決定回路IP1から受信した第2画像データIMG2を用いたプログレッシブ変換処理を実行し、第3画像データIMG3を生成する。そして、プログレッシブ変換回路IP2は、生成した第3画像データIMG3をスケーリング処理回路IP3に供給する。スケーリング処理回路IP3は、プログレッシブ変換回路IP2から受信した第3画像データIMG3と、レジスタR11、R12、R13に格納された切出情報CIとを用いて、スケーリング処理を実行する。このスケーリング処理によって、切出領域CAを含む一部の領域のみを表す第4画像データIMG4が生成される。そして、スケーリング処理回路IP3は、生成した第4画像データIMG4を台形歪み補正回路IP4に供給する。
本実施例では、スケーリング処理回路IP3は、切出領域CAが表示画面の全体(すなわち、液晶パネル232の全体)に渡って表示されるように、切出領域CAのみを表す第4画像データIMG4を生成する。なお、第4画像データIMG4が、切出領域CAよりも大きな領域を表していても良い。ただし、第4画像データIMG4は、入力映像信号IVDが表す画像の内の切出領域CAを含む一部の領域のみを表すことが好ましい。
以上説明した、切出領域決定回路IP1、プログレッシブ変換回路IP2、スケーリング処理回路IP3によって順番に実行される画像処理と、プログレッシブ変換回路IP2を介さずに切出領域決定回路IP1からスケーリング処理回路IP3へ至る切出情報CIの直接転送とは、繰り返し実行される。なお、プログレッシブ変換回路IP2が、2枚のフィールド画像(第1画像データIMG1)から1枚のフレーム画像(第3画像データIMG3)を生成する場合には、切出領域決定回路IP1は、1枚おきに切出領域CAを決定すればよい。例えば、奇数番目のフィールド画像(第1画像データIMG1)についてのみ、切出領域CAを決定してもよい。こうすれば、切出領域決定回路IP1の処理に要する時間を短縮することができる。
以上のように、本実施例では、切出領域決定回路IP1は、切出情報CIを、次段の処理回路(プログレッシブ変換回路IP2)を介さずに、制御バスCBUSを介して直接にスケーリング処理回路IP3に供給することができる。従って、プログレッシブ変換回路IP2は、自己の処理に利用しない切出情報CIを、スケーリング処理回路IP3に供給するために切出領域決定回路IP1から受信しなくても済む。その結果、プログレッシブ変換回路IP2の構成を簡略化することができる。また、プログレッシブ変換回路IP2によって利用されるメモリの量を低減することもできる。
B.変形例:
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
変形例1:
上述の実施例において、パイプライン処理を実行するための構成としては、図1に示す構成に限らず、種々の構成を採用可能である。例えば、各処理回路IP0〜IP4のそれぞれが、処理に利用するデータを格納する専用のメモリを備えていても良い。また、各処理回路IP0〜IP4の間に、転送される処理後の画像データIMG1〜IMG4を一時的に格納する専用のバッファメモリが設けられていても良い。
変形例2:
上述の各実施例において、画像処理部210の構成としては、図1に示す構成に限らず、種々の構成を採用可能である。例えば、スケーリング処理回路IP3と台形歪み補正回路IP4との間に、画質調整処理回路が設けられていても良い。この画質調整処理回路によって実行される画質調整処理としては、任意の処理を採用可能である。例えば、画像のコントラストや輝度をユーザの指示に従って調整する処理を採用可能である。一般には、画像処理部210の構成としては、各段階の処理を実行する処理回路が直列に接続され、各段階の処理が並列に実行される任意の構成(パイプライン構成)を採用可能である。ここで、処理回路の総数としては5に限らず3以上の任意の数を採用可能である。
また、パイプライン構成の各ステージを担当する処理回路の内の、直接データ転送を実行する処理回路としては、切出領域決定回路IP1に限らず任意の処理回路を採用可能である。また、直接データ転送における転送元処理回路と対象処理回路との組み合わせとしては、対象処理回路が転送元処理回路の次段の処理回路とは異なるような任意の組み合わせを採用可能である。ここで、対象処理回路が転送元処理回路よりも後ろの処理回路である場合には、転送元処理回路と対象処理回路との間の処理回路が、自己の処理に利用しないデータを受信せずに済むので、その間の処理回路の構成を簡略化することができる。また、その間の処理回路によって利用されるメモリの量を低減することもできる。また、対象処理回路が転送元処理回路よりも前の処理回路である場合には、後段の処理結果を前段の処理に反映させることが可能となるので、画像処理の自由度を高めることが可能となる。いずれの場合も、直接転送によって転送されるデータとしては、転送元処理回路のデータ処理の結果得られる任意のデータを採用可能である。また、対象処理回路は、受信したデータに基づいてデータ処理を実行すればよい。
また、バス制御回路242は、複数の処理回路から直接転送要求を受けた場合には、1つの処理回路ずつ順番に直接転送を実行すればよい。具体的には、バス制御回路242は、直接転送要求を発行した複数の処理回路の内から1つの処理回路を選択し、その処理回路に対する応答信号CBDAKを「1」に設定する。選択された処理回路による直接転送が終了したら、バス制御回路242は、次の1つの処理回路を選択し、その処理回路に対する応答信号CBDAKを「1」に設定する。このような一連の処理が繰り返される。各処理回路は自己の応答信号CBDAKが「1」に設定されることに応じて、直接転送を開始する。ここで、処理回路が選択される順序としては、直接転送要求の発行が早い順を採用すればよい。また、同時に複数の処理回路によって直接転送要求が発行された場合には、所定の優先順位に従った順序を採用すればよい。
また、CPU260の要求に応じたデータ転送(以下「CPU転送」とも呼ぶ)の実行中に、直接転送要求が発行される場合もある。この場合には、バス制御回路242は、CPU転送の完了後に、直接転送要求を発行した処理回路の応答信号CBDAKを「1」に設定すればよい。逆に、直接転送の実行中にCPU260によってデータ転送要求が発行される場合もある。この場合には、バス制御回路242は、直接転送の完了後に、CPU転送を実行すればよい。
変形例3:
上記各実施例において、バスモジュール240の構成としては、図1に示す構成に限らず、種々の構成を採用可能である。例えば、バス制御回路242が省略されていてもよい。この場合には、各処理回路IP0〜IP4とCPU260とが、互いに調停を行いながら、制御バスCBUSを利用すればよい。また、制御バスCBUSがCPU260から切り離された直接転送専用のバスであってもよい。ただし、図1に示すように、画像処理装置を制御する装置制御部(例えば、CPU260)が、この制御バスCBUSを介して、制御バスCBUSに接続された処理回路に処理用のパラメータを供給することが好ましい。このように、制御バスCBUSを、パイプラインの途中の段階の処理結果の直接転送と、パイプラインの外部からの処理回路に対する処理用パラメータの供給と、に共通に利用すれば、装置の規模が過剰に大きくなることを抑制できる。ここで、装置制御部が、処理回路に対する処理用パラメータの供給(ライト処理)のみを実行し、リード処理を実行しないこととしてもよい。また、処理用パラメータの供給対象としては、台形歪み補正回路IP4に限らず、任意の処理回路を採用可能である。この際、直接転送の送信側あるいは受信側となり得る処理回路を採用してもよく、他の処理回路を採用してもよい。また、処理用パラメータとしては、各処理回路のデータ処理に利用される任意のパラメータを採用可能である。また、制御バスCBUSに接続される処理回路が、パイプライン構成の各ステージを担当する複数の処理回路の内の一部のみであってもよい。
変形例4:
上記各実施例において、画像処理部210に入力されるデータとしては、インタレース方式のアナログコンポジット映像信号に限らず、種々の画像データを採用可能である。例えば、コンポーネント信号によって構成される映像信号を採用してもよく、また、ノンインタレース方式の映像信号を採用してもよい。ノンインタレース方式の映像信号を利用する場合には、プログレッシブ変換処理を省略できる。また、アナログ信号の代わりにデジタル信号(デジタルデータ)を採用してもよい。また、動画像に限らず、静止画像を表す入力画像データを採用してもよい。この場合も、複数枚の静止画像を順番に表示する場合には、各画像に対する画像処理が並列に行われるので、画像処理に要する時間を短縮することができる。
変形例5:
上記各実施例において、切出領域決定回路IP1が切出領域CAを決定する方法としては、画像内の動きのある部分を含む矩形状の部分領域を選択する方法に限らず、画像データを解析することによって画像内の一部の領域を選択する任意の方法を採用可能である。例えば、切出領域決定回路IP1が、画像内の人物の顔を検出し、検出した顔を含む部分領域(例えば、矩形状の領域)を切出領域CAとして選択してもよい。画像内の顔を検出する方法としては、種々の方法を採用可能である。例えば、顔を表す所定のテンプレート画像とのパターンマッチングを利用する方法を採用可能である。
いずれの場合も、切出領域の決定は、プログレッシブ変換を行う前の画像データを用いて実行されることが好ましい。こうすれば、切出領域の決定に利用される画像データ量が過剰に大きくなることが抑制されるので、切出領域決定回路IP1の規模が過剰に大きくなることを抑制できる。なお、切出領域を表すデータとしては、位置およびサイズを表すデータに限らず、種々のデータを採用可能である。例えば、位置と倍率(入力画像データが表す画像全体に対する切出領域のサイズ(高さ、あるいは、幅)の割合)を採用してもよい。
変形例6:
直接転送とパイプライン処理とを利用した画像処理を実行する画像表示装置としては、プロジェクタ以外の種々の表示装置を採用可能である。また、このような画像処理を実行する画像処理装置としては、画像表示装置以外の種々の処理装置を採用可能である。例えば、プリンタを採用してもよい。この場合には、例えば、入力画像データの解像度を印刷用の解像度に変換する解像度変換処理と、画像データの画素値を印刷に利用されるインクの量に変換する処理と、インク量データをドットの有無を表すドットデータに変換するハーフトーン処理と、をパイプライン処理によって実行可能である。ここで、解像度変換処理回路が、入力画像データを解析して得られる元の解像度を、直接転送によってハーフトーン処理回路に供給してもよい。そして、ハーフトーン処理回路は、複数種類のハーフトーン処理の中から元の解像度に応じて実行用ハーフトーン処理を選択してもよい(例えば、元の解像度が粗いほど、ドットピッチの粗いハーフトーン処理を選択してもよい)。この場合には、複数枚の静止画像を順番に印刷する場合であっても、各画像に対する画像処理が並列に行われるので、画像処理に要する時間を短縮することができる。
変形例7:
上記各実施例において、画像処理部210に入力画像データを供給する画像供給装置としては、DVDプレイヤDPに限らず、任意の装置(例えば、コンピュータや、テレビ放送チューナ)を採用可能である。また、このような画像供給装置が画像処理装置に組み込まれていても良い。
変形例8:
上記各実施例において、パイプラインの各段階の処理を担う処理回路としては、ASIC(Application Specific Integrated Circuits)のような専用の電子回路で構成されたものを採用してもよく、また、汎用のプロセッサ(CPU)を用いた処理回路を採用してもよい。
本発明の一実施例として画像表示システムの構成を示す説明図である。 制御バスCBUSの信号の種類を示す説明図である。 CPU260(図1)が台形歪み補正回路IP4にアクセスする様子を示す概略図である。 切出領域を示すデータが切出領域決定回路IP1からスケーリング処理回路IP3に直接に転送される様子を示す概略図である。 切出データD1〜D3を切出領域決定回路IP1からスケーリング処理回路IP3へ転送する処理を示すタイミングチャートである。
符号の説明
10…画像表示システム
70…投写表示画面
200…プロジェクタ
210…画像プロセッサ
220…液晶パネル駆動回路
230…照明光学系
232…液晶パネル
234…投写光学系
240…バスモジュール
242…バス制御回路
250…メモリコントローラ
252…メモリ
260…CPU
270…入力部
CBUS…制御バス
R1…第1レジスタ
R2…第2レジスタ
LA…光軸
CA…切出領域
CI…切出情報
ON…法線
DP…DVDプレイヤ
R11…第1レジスタ
R12…第2レジスタ
IP0…画像情報取得回路
IP1…切出領域決定回路
IP2…プログレッシブ変換回路
IP3…スケーリング処理回路
IP4…台形歪み補正回路

Claims (5)

  1. 入力画像データを用いた画像処理をパイプライン処理によって実行する画像処理装置であって、
    直列に接続されるとともに互いに異なるデータ処理を実行するN個(Nは3以上の整数)の処理回路を備え、
    前記N個の処理回路の内の最前段の処理回路が前記入力画像データの供給を受け、他の処理回路は1つ前の処理回路から前記データ処理後の画像データの供給を受け、
    前記各処理回路は、供給された画像データを用いた前記データ処理をそれぞれ並列に実行し、
    前記画像処理装置は、さらに、前記N個の処理回路の内の少なくとも2つの処理回路を接続するとともに前記データ処理後の画像データとは異なるデータを転送するためのバスを備え、
    前記バスに接続された所定の転送元処理回路は、前記転送元処理回路のデータ処理結果を前記バスに接続された処理回路の内の次段の処理回路とは異なる対象処理回路のデータ処理に反映させるために、前記データ処理の結果得られる処理結果データを、前記バスを介して前記対象処理回路に転送する、
    画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記対象処理回路は、前記転送元処理回路よりも後ろの処理回路である、
    画像処理装置。
  3. 請求項1ないし請求項2のいずれかに記載の画像処理装置であって、
    前記画像処理装置は、前記入力画像データに応じて画像を表示する画像表示装置であり、
    前記入力画像データはインタレース方式の画像データであり、
    前記N個の処理回路は、
    供給された画像データを解析することによって画像内の一部の領域である切出領域を決定する切出領域決定回路と、
    前記切出領域決定回路よりも後ろに設けられるとともに、インタレース方式からノンインタレース方式への変換処理を実行するプログレッシブ変換回路と、
    前記プログレッシブ変換回路よりも後ろに設けられるとともに、供給された画像データの解像度を表示用の解像度に変換するスケーリング処理回路と、
    を含み、
    前記切出領域決定回路と前記スケーリング処理回路とは前記バスに接続されており、
    前記切出領域決定回路は、前記処理結果データとしての前記切出領域を表す切出領域データを、前記バスを介して前記スケーリング処理回路に転送し、
    前記スケーリング処理回路は、受信した前記切出領域データに基づく変換処理を実行することによって、前記切出領域を含む一部の領域のみを表す画像データを表示のために出力する、
    画像処理装置。
  4. 請求項1ないし請求項3のいずれかに記載の画像処理装置であって、さらに、
    前記画像処理装置を制御する装置制御部を備え、
    前記装置制御部は、前記バスに接続された処理回路に対して、前記バスを介して前記データ処理用のパラメータを供給する、
    画像処理装置。
  5. 入力画像データを用いた画像処理をパイプライン処理によって実行する画像処理方法であって、
    (A)直列に接続されるとともに互いに異なるデータ処理を実行するN個(Nは3以上の整数)の処理回路の内の最前段の処理回路が前記入力画像データの供給を受ける工程と、
    (B)他の処理回路が1つ前の処理回路から前記データ処理後の画像データの供給を受ける工程と、
    (C)前記各処理回路が、供給された画像データを用いた前記データ処理をそれぞれ並列に実行する工程と、
    (D)前記N個の処理回路の内の少なくとも2つの処理回路を接続するとともに前記データ処理後の画像データとは異なるデータを転送するためのバスを介して、前記バスに接続された所定の転送元処理回路が、前記転送元処理回路のデータ処理結果を前記バスに接続された処理回路の内の次段の処理回路とは異なる対象処理回路のデータ処理に反映させるために、前記データ処理の結果得られる処理結果データを前記対象処理回路に転送する工程と、
    を備える、画像処理方法。
JP2006103850A 2006-04-05 2006-04-05 パイプライン処理を利用した画像処理 Withdrawn JP2007281741A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006103850A JP2007281741A (ja) 2006-04-05 2006-04-05 パイプライン処理を利用した画像処理

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006103850A JP2007281741A (ja) 2006-04-05 2006-04-05 パイプライン処理を利用した画像処理

Publications (1)

Publication Number Publication Date
JP2007281741A true JP2007281741A (ja) 2007-10-25

Family

ID=38682760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006103850A Withdrawn JP2007281741A (ja) 2006-04-05 2006-04-05 パイプライン処理を利用した画像処理

Country Status (1)

Country Link
JP (1) JP2007281741A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044504A (ja) * 2010-08-20 2012-03-01 Seiko Epson Corp 映像処理装置、映像表示装置及び映像処理方法
JP2015228588A (ja) * 2014-05-30 2015-12-17 キヤノン株式会社 映像処理装置、その制御方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044504A (ja) * 2010-08-20 2012-03-01 Seiko Epson Corp 映像処理装置、映像表示装置及び映像処理方法
JP2015228588A (ja) * 2014-05-30 2015-12-17 キヤノン株式会社 映像処理装置、その制御方法、およびプログラム

Similar Documents

Publication Publication Date Title
JP5744418B2 (ja) 投影装置及び投影方法
US7564501B2 (en) Projection system, projector, method of controlling projectors and program therefor
JP2006197443A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2006189685A (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
JP2008109337A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2006259287A (ja) 画面焼き付き防止装置および画面焼き付き防止方法
US10171781B2 (en) Projection apparatus, method for controlling the same, and projection system
JP2009005235A (ja) プロジェクタおよび画像処理装置
JP3645152B2 (ja) 映像信号処理装置
JP2007281741A (ja) パイプライン処理を利用した画像処理
JP2015053558A (ja) 画像表示装置及びその制御方法
JP5676924B2 (ja) 投影装置及び投影方法
JP3740487B1 (ja) 表示装置および表示方法
WO2012111121A1 (ja) プロジェクタおよび議事録情報生成方法
JP2005208413A (ja) 画像処理装置及び画像表示装置
JP4737852B2 (ja) 画像処理装置および画像表示装置
JP2005338113A (ja) 解像度の異なる複数種類の表示モードの切り替えに応じた投写サイズ調整
JP2976877B2 (ja) キーストン歪み補正装置
JP6071208B2 (ja) 投影装置
JP4710522B2 (ja) 撮影画像出力装置、同装置の撮影制御方法及びプログラム
JP2007251723A (ja) 投写型映像表示装置
JP2004184457A (ja) 画像処理装置及び画像表示装置
JP2002135690A (ja) 投写型表示装置
JP6040217B2 (ja) 投影装置及び投影方法
US20220332126A1 (en) Image processing apparatus, method of controlling the same, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090402

A761 Written withdrawal of application

Effective date: 20100112

Free format text: JAPANESE INTERMEDIATE CODE: A761