JP2015096920A - 画像処理装置および画像処理システムの制御方法 - Google Patents

Abstract

【課題】4K2K画像に対し複数の画像処理装置で並列処理を行って、各装置から該4K2K画像を分割したフルハイビジョン画像を出力するマルチディスプレイシステムにおいて、入力処理回路の規模を増大させることなく、処理性能を確保する。
【解決手段】映像処理装置1が、4K2K画像を十字型に4分割した第1の領域を出力する。まず、該領域の画像データを取得してその奇数ラインに対する第1の統計量を取得する。そして映像処理装置3から、該領域の偶数ラインに対する第2の統計量を受信し、第1の統計量と合成して該領域の画像処理に用いる。一方、映像処理装置3が第2の領域を出力する際には、映像処理装置1では該領域の偶数ラインを取得し、その第2の統計量を取得して映像処理装置3に送信する。すなわち映像処理装置1では、第1の領域の画像入力がない期間に、映像処理装置3用の第2の領域の画像データを入力してその統計量処理を行うことで、画像データおよび統計量の取得が効率的に実行される。
【選択図】 図１

Description

本件は、複数の画像処理装置により入力画像を並列処理して、各画像処理装置から該入力画像を分割した領域画像を出力する画像処理システムに関する。

プロジェクタやディスプレイまたは、それらに内蔵される映像処理装置を複数使用したマルチディスプレイシシステムにおいては、以下のように画面を分割処理する機能を備えている。例えば、入力画像がDCI-4Kとして規定される4K2K(4096ｘ2160)画像であって、これを4面のフルハイビジョン(1920ｘ1080)画像に分割するとする。そして、該4面の分割画像を、それぞれに対応する4つの映像処理装置で処理し、該処理後の4面の分割画像を1面に合成して4K2K画像として出力する。なお、フルハイビジョン画像をマトリクス状に複数分割する技術も提案されている(例えば、特許文献１参照)。

特開2011-022460号公報

フルハイビジョン画像を分割する場合に比べ、4K2K画像を分割処理する際には、処理対象となるデータ量が増大するため、処理性能を上げる必要がある。そのため、入力処理回路の規模が増大するという課題や、高周波数動作により回路設計が難しくなるという課題があった。上記特許文献１に記載された技術では、画像処理コアにローカルメモリを備え、データのバッファリングを伴った並列化を行っているため、高周波数動作の必要はない。しかしながら、この技術を4K2K画像に適用しても入力処理回路の増大という課題を解決するものではない。

本発明は上述した課題を解決するためになされたものであり、以下の機能を有する画像処理システムを提供することを目的とする。すなわち、入力画像に対し複数の画像処理装置で並列処理を行って、各画像処理装置から該入力画像を分割した各領域画像を出力する画像処理システムにおいて、入力処理回路の規模を増大させることなく、効率的な入力を実現する。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、複数の画像処理装置により入力画像を並列処理して、各画像処理装置から前記入力画像を分割した領域画像を出力する画像処理システムに使用される画像処理装置であって、予め設定された、自装置の出力対象である第1の領域の画像データ、または他装置の出力対象である第2の領域の所定部分を除く領域の画像データを、前記入力画像から取得する画像取得手段と、前記第1の領域の前記所定部分に対応する領域の画像データの第1の統計量、または前記第2の領域の前記所定部分を除く領域の画像データの第2の統計量を取得する統計量取得手段と、前記第2の統計量を前記他装置に送信する送信手段と、前記他装置から、前記第1の領域の前記所定部分を除く領域の画像データの第3の統計量を受信する受信手段と、を有し、前記第1の統計量と前記第3の統計量から、前記第1の領域の画像データに画像処理を施して前記領域画像として出力するための画像処理パラメータを生成することを特徴とする。

本発明は、入力画像に対し複数の画像処理装置で並列処理を行って、各画像処理装置から該入力画像を分割した各領域画像を出力する画像処理システムにおいて、入力処理回路の規模を増大させることなく、効率的な入力が実現される。

本実施形態におけるマルチディスプレイシステムの構成を示す図、 本実施形態のマルチディスプレイシステムの概要および走査例を示す図、 本実施形態の映像処理装置における処理を示すフローチャート、 本実施形態における入力画像と同期信号周期を示す図、 本実施形態における垂直方向のタイミングチャート、 本実施形態における水平方向のタイミングチャート、 第2実施形態のマルチディスプレイシステムの構成を示す図、 第2実施形態における出力領域の走査例を示す図、 第2実施形態におけるタイミングチャート、 第2実施形態の映像処理装置における処理を示すフローチャート、 マルチディスプレイシステムの他の構成例を示す図、である。

以下、本発明実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第1実施形態＞
●システム構成
本実施形態は、フルハイビジョン対応の4台の画像処理装置により4K2Kの入力画像を並列処理して、各画像処理装置から前記入力画像を4分割した各領域画像を出力する画像処理システムである、マルティディスプレイシステムを例として説明する。

図２(a)は、本実施形態に係るマルチディスプレイシステムの概要構成を示す図である。本実施形態のマルチディスプレイシステムは、4つの映像処理装置1,2,3,4(202,203,204,205)によって構成される。映像処理装置1,2,3,4のそれぞれは、フルハイビジョン形式(FullHD)の画像を入力および出力する処理回路を有する。

映像入力装置211は、4K2K形式の画像(以下、4K2K画像)201をシステムに入力する。すると各映像処理装置1〜4は、受信した4K2K画像201から、自装置の出力領域となるFullHD画像領域A〜Dを抽出して画像処理を施し、出力する。各映像処理装置1〜4と出力領域A〜Dは、予め1対1に対応するように定義されている。すなわち、映像処理装置1(202)は領域A(206)を出力し、映像処理装置2(203)は領域B(207)を出力し、映像処理装置3(204)は領域C(208)を出力し、映像処理装置4(205)は領域D(209)を出力する。各出力領域A,B,C,D(206,207,208,209)は、映像出力装置210において合成され、1つの画像212として表示される。本実施形態では、入力画像が4K2Kであり、抽出された領域をFullHDとするが、本発明は解像度や領域分割数を限定するものではない。例えば分割領域の端点処理を行うために、図２(d)に示すように、各出力領域に隣接する領域とオーバーラップさせるように、抽出領域を分割しても良い。

図１は、本実施形態のマルチディスプレイシステムの構成を示すブロック図である。同図に示す映像入力装置100は、図２(a)の映像入力装置211と同一である。また映像処理装置1,2,3,4(111,112,113,114)も、図２(a)の映像処理装置1,2,3,4(202,203,204,205)と同一であり、以下では単に映像処理装置1,2,3,4と記載する。また映像出力装置120も、図２(a)の映像出力装置210と同一である。

以下、図1に示す各映像処理装置を構成する各処理部と、そのデータの流れについて説明する。なお、各映像処理装置の構成は同一であるため、以下では映像処理装置1の構成について説明する。

映像処理装置1では、領域判定部101で入力領域と自装置との対応関係を判定した結果に基づき、映像受信部102が、受信した画像データを統計量取得部103に出力するとともに、フレームバッファ109に格納する。統計量取得部103では、画像データから、輝度ヒストグラム等の所定の統計量を取得する。該取得された統計量は領域判定部101での判定結果に応じて、統計量合成部106へ送られるか、または統計量送信部104を介して他映像処理装置へ送信される。統計量合成部106は、統計量受信部105が他映像処理装置から受信した統計量と、統計量取得部103が取得した統計量とを合成し、画像処理部107に出力する。画像処理部107は、フレームバッファ109に画像データが格納されていればこれを読み出す。そして、統計量合成部106から入力された統計量情報に基づく画像処理パラメータを生成し、該画像データに対して該パラメータを用いた画像処理を施してフレームバッファ110に格納する。映像出力部108は、フレームバッファ110に格納された画像データを読み出し、映像出力装置120に出力する。

ここで、各処理時における画像の走査方法について説明する。図２(b)は、各映像処理装置に4K2K画像201が入力される際の走査方向を示している。4K2K画像201において、水平方向4096画素を1ラインとし、上のラインから順に2160ライン分のデータが入力される。図２(c)は、各映像処理装置の映像受信部102における走査方向および、映像出力装置120に画像212が表示される際の走査方向を示している。本実施形態では、映像処理装置1〜4で4K2K画像201における領域A〜Dのそれぞれが並列に処理されるため、領域ごとに上側のラインから順次走査されることになる。

●動作タイミング
以下、本実施形態のマルチディスプレイシステムにおける動作タイミングを説明する。

まず図４に、入力画像と同期信号周期を示す。入力画像の水平同期信号がアサートしてから、次にアサートするまでの1周期を1H期間とする。1H期間は、入力画像の１ラインデータ期間およびフロントポーチ、バックポーチからなる。また、入力画像の垂直同期信号がアサートしてから、次の垂直同期信号がアサートするまでの1周期を1V期間とする。1V期間は、ライン数分のH期間と、フロントポーチ、バックポーチからなる。

図５(a)は、映像処理装置1がFullHDサイズの画像400を処理する場合における、V方向のタイミングチャートである。1V期間における全体の処理量を、入力処理量、画像処理量、出力処理量の3つに分けて記載している。同図では、FullHDの画像受信と統計量取得処理を、入力処理401として示している。なお、ここでは各処理期間を分けて示しているが、入力処理、画像処理、出力処理は必要な画像データ受信した段階で開始できるので、各処理はオーバーラップしても良い。

図５(b)は、映像処理装置1〜4が4K2Kサイズの画像を処理する際に入力処理の並列化を行わない場合における、V方向のタイミングチャートである。この場合、入力処理は図５(a)に示す場合の2倍の速度で行われるため、FullHDサイズの画像400に対応する1画面の入力処理401は、同図では402で示される。すなわち、入力処理402は入力処理401の半分の期間にて行われる。4K2Kの入力画像は上側からライン順にデータが入力されるため、画像領域AとBを処理する映像処理装置1および2の入力期間が終わるまでは、映像処理装置3と4の入力処理は発生しない。また同様に、画像領域CとDを処理する映像処理装置3および4の入力期間には、映像処理装置1と2の入力処理は発生しない。そして統計量取得後にフレームバッファに画像を格納した後は、各映像処理装置内で生成する同期信号によって各処理が動作する。そのため、画像処理および出力処理は入力速度の影響は受けない。

図６(a)は、上記図５(b)と同様に入力処理の並列化を行わない場合における、H方向のタイミングチャートであり、上記と同様の入力処理と、画像処理における統計量処理のみを記載している。1H期間において、領域Aのライン410の入力処理408の終了後、映像処理装置2で領域Bのライン411に対する入力処理409が始まる。同様に、2H〜1080H期間まで、映像処理装置1および2での入力処理が実施され、この期間では映像処理装置3および4には入力処理は発生しない。一方、1081H期間において、映像処理装置3における領域Cのライン412に対する入力処理414の終了後、映像処理装置4で領域Dのライン413に対する入力処理415が始まる。同様に、1081H〜2160H期間まで、映像処理装置3および4での入力処理が実施され、この期間では映像処理装置1および2には入力処理は発生しない。なお、この場合の各統計量取得処理は、FullHDの1画像の2倍のラインを1H期間で終了する必要があるため、FullHDの1画面入力時の2倍の速度で処理を行う。

本実施形態では、上記図５(b),図６(a)に示した4K2K画像の入力処理のタイミングに対し、各装置で処理の行われていない期間を利用して、入力処理の並列化を行うことを特徴とする。

図５(c)は、映像処理装置1〜4が4K2Kサイズの画像を処理する際に入力処理の並列化を行う場合における、V方向のタイミングチャートである。本実施形態のマルチディスプレイシステムはこのタイミングで動作する。図５(c)のタイミングチャートおいては、映像処理装置1の入力処理404の期間に、処理が発生していない映像処理装置3において、映像処理装置1と同様の入力処理を並列に行う。すなわち、映像処理装置1の入力処理404を、映像処理装置3でも入力処理405として同期間に行う。同様に、映像処理装置3の入力処理期間に、処理の発生しない映像処理装置1において、映像処理装置3と同様の入力処理を並列に行う。映像処理装置2と映像処理装置4においても同様に、互いの入力処理を並列に行う。

図６(b)は、上記図５(c)と同様に入力処理の並列化を行う場合における、H方向のタイミングチャートである。本実施形態のマルチディスプレイシステムはこのタイミングで動作する。図６(b)においても、入力処理と統計量処理のみを記載している。

ここで、図６(b)において領域Aと領域Bを処理する場合の動作タイミングを説明する。まず1H期間において、映像処理装置1における領域Aのライン416の入力終了後、映像処理装置2で領域Bのライン417の入力が始まる。まず1H期間において、領域Aのライン416が映像処理装置1に入力され、その統計量処理は映像処理装置1で実施される(424)。また領域Bのライン417が映像処理装置2に入力され、その統計量処理は映像処理装置2で実施される(425)。次に2H期間において、領域Aのライン418が映像処理装置1および3に入力され、その統計量処理は映像処理装置3で実施される(426)。また領域Bのライン419が映像処理装置2および4に入力され、その統計量処理は映像処理装置4で実施される(427)。

以上のように、1H〜1080H期間の領域Aでは、奇数番目の走査ライン(以下、奇数ライン)のH期間には映像処理装置1で入力処理と統計量処理を行う。対して、偶数番目の走査ライン(以下、偶数ライン)のH期間には、映像処理装置1と3で入力処理を行い、映像処理装置3で統計量処理を行う。同様に、1H〜1080H期間の領域Bでは、奇数ラインのH期間には映像処理装置2で入力処理と統計量処理を行うが、偶数ラインのH期間には、映像処理装置2と4で入力処理を行い、映像処理装置4で統計量処理を行う。

同様に、図６(b)において領域Cと領域Dを処理する場合の動作タイミングを説明する。1081H期間では、領域Cのライン420が映像処理装置3に入力され、その統計量処理は映像処理装置3で実施される(428)。また領域Dのライン421が映像処理装置4に入力され、その統計量処理は映像処理装置4で実施される(429)。次に1082H期間では、領域Cのライン422が映像処理装置1および3に入力され、その統計量処理は映像処理装置1で実施される(430)。また領域Dのライン423が映像処理装置2および4に入力され、その統計量処理は映像処理装置2で実施される(431)。

以上のように、1081H〜2160H期間の領域Cでは、奇数ラインのH期間には映像処理装置3で入力処理と統計量処理を行うが、偶数ラインのH期間には、映像処理装置1,3で入力処理を行い、映像処理装置1で統計量処理を行う。同様に、1081H〜2160H期間の領域Dでは、奇数ラインのH期間には映像処理装置4で入力処理と統計量処理を行うが、偶数ラインのH期間には、映像処理装置2,4で入力処理を行い、映像処理装置4で統計量処理を行う。

なお、図６(b)に示す各統計量取得処理は、FullHDの1画像の2倍のラインを2H期間で終了すればよいため、FullHDの1画面入力時と同じ速度で処理を行うとする。

●表示制御処理
以下、本実施形態のマルチディスプレイシステムにおける表示制御処理について、図３のフローチャートを用いて詳細に説明する。

まず、映像入力装置100が4K2K画像201の入力を開始する(S300)。この入力を受けて、各映像処理装置が並列に動作する。以下、各映像処理装置における動作について、図１に示す映像処理装置1の構成で示した符号を流用して説明する。

各映像処理装置においては、まず領域判定部101が、S300で入力された画像領域に対して、自身の映像処理装置との対応関係を判定する(S301)。詳細にはまず、入力画像において処理対象となる注目画素が、自身の映像処理装置(以下、自装置)で処理を行って出力すべき自処理対象部分に属するか否かを判定する。そしてさらに、該注目画素が、他の映像処理装置(以下、他装置)用の補助的処理を行うべき部分、または、他装置において自装置用の補助的処理が行われる部分に属するか否か、すなわち他処理対象部分に属するか否かを判定する。これらの判定結果は、画素ごとのフラグとして設定される。領域判定部101ではすなわち、注目画素が、自装置で統計処理と出力処理を行うべき部分に属すると判定した場合、自装置に対する出力画像期間フラグ信号(以下、自装置出力フラグ)をアサート状態(オン)として映像受信部102に通知する。また、自装置にて他装置用の統計処理を行う部分、または他装置にて自装置用の統計処理が行われる部分に属すると判定した場合、他装置に対する統計量取得期間フラグ信号(以下、他装置統計フラグ)をオン状態として、統計量取得部103に通知する。本実施形態の映像処理装置では、これら2つのフラグの組み合わせに応じて、注目画素に対する処理が決定される。

本実施形態では、4K2K画像における領域の位置に応じて、該領域の画素に対して各映像処理装置で施すべき処理が予め定義されている。言い換えれば、各映像処理装置の領域判定部101においては予め、4K2K画像において自装置用のメイン処理を施すべき第1の領域と、他装置用のサブ処理を施すべき第2の領域、および何ら処理を施さない第3の領域が定義されている。各領域判定部101では該定義に従って、画素ごとに上述した各フラグを設定する。具体的には、第1の領域に対しては、該領域の全ての画素に対して自装置出力フラグをオンとする。このときさらに、該領域の1ラインおきに、他装置統計フラグをオンとする。ここでは、第1の領域における偶数ラインの画素について他装置統計フラグをオンとし、奇数ラインの画素でオフとする。また、第2の領域に対しては、該領域の全ての画素に対して自装置出力フラグをオフとし、該領域の1ラインおきに、他装置統計フラグを例えば偶数ラインでオン、奇数ラインでオフとする。また、第3の領域に対しては、該領域の全ての画素に対して、自装置出力フラグ、他装置統計フラグともにオフとする。

ここで、各映像処理装置の領域判定部101における各フラグの具体的な設定例を説明する。例えば領域Aの入力中であれば、映像処理装置1の領域判定部101は自装置出力フラグを常にオンとし、特に偶数ラインの入力中に他装置統計フラグをオンとする。対して映像処理装置3の領域判定部119は、領域Aの入力中は自装置出力フラグをオフとし、領域Aの偶数ラインの入力中に他装置統計フラグをオンとする。このとき、映像処理装置2,4の領域判定部では、領域Aの入力中には両方のフラグをオフとする。各フラグがこのように制御されることにより、1領域に対する処理を複数の映像処理装置において並列に行う。例えば領域Aに対する統計量処理は、奇数ラインについては映像処理装置1で、偶数ラインについては映像処理装置3で行われる。

なお本実施形態では、映像処理装置1と映像処理装置3での統計量処理の分担をライン単位で行う例を示した。すなわち、ある領域の所定部分(ここでは奇数ライン)に対応する領域の画像データについては自装置で処理するが、所定部分を除く(ここでは偶数ライン)領域の画像データについては、他装置に処理を分担させる。この分担はライン単位に限定されず、所定の短冊等の矩形領域単位とすることも可能である。

ここで、本実施形態の各映像処理装置における、上記各フラグに応じた、映像受信部102と統計量取得部103における処理の概要を示す。まず、自装置出力フラグと他装置統計フラグの両方がオン設定である場合は、第1の領域の偶数ラインの処理であり、該ラインの画像を取得後、これをフレームバッファ109に格納して統計量処理は行わない。この処理の流れは、後述するS301,S303,S304,S312のルートに対応する。また、自装置出力フラグのみがオン設定である場合は、第1の領域の奇数ラインの処理であり、該ラインの画像を取得後、これをフレームバッファ109に格納して統計量処理を行う(S301,S303,S304,S305)。また、他装置統計フラグのみがオン設定である場合は、第2の領域のライン処理であり、該ラインの画像を取得後、これをフレームバッファ109に格納せずに統計量処理を行う(S301,S302,S308,S309)。また、自装置出力フラグと他装置統計フラグの両方がオフ設定である場合は、第3の領域のライン処理であり、該ラインの画像を取得しない(S301,S302,S312)。

図３に戻って、上記各フラグによって制御される、各映像処理装置における具体的な処理手順について説明する。

まず、画像領域Aの入力期間における、各映像処理装置の動作を説明する。

領域Aの注目画素に対し、映像処理装置1の領域判定部101は、注目画素が自装置の出力対象部分であると判定する(S301-Yes)。そして映像受信部102が該画素の画像データを取得してフレームバッファ109に格納し(S303)、さらに統計量取得部103に出力する。映像処理装置1では、領域Aの奇数ラインの画素については、他装置による統計量取得対象部分ではないと判定され(S304-No)、他装置統計フラグがオフとなる。その場合は統計量取得部103で、当該画素(領域Aの奇数ラインの画素)の統計量を取得する(S305)。そしてさらに統計量受信部105で、他の映像処理装置(ここでは映像処理装置3)で取得された1画素(領域Aの偶数ラインの画素)分の統計量を受信する(S306)。そして統計量合成部106で、S305で取得した奇数ライン画素の統計量と、S306で受信した偶数ライン画素の統計量を合成し(S307)、画像処理部107へ出力する。統計量の合成方法としては例えば、統計量が輝度ヒストグラム検出等、特定の度数をカウントしたものであれば、各カウント値を合算する。

一方、領域Aの偶数ラインの画素については、他装置による統計量取得対象部分であると判定され(S304-Yes)、他装置統計フラグがオンとなり、以降のS305,S306,S307の処理は行わない。

以上、領域Aに対する映像処理装置1の動作について説明した。対して映像処理装置3の領域判定部では、領域Aの注目画素が自装置の出力対象部分ではないと判定する(S301-No)。そして、注目画素が領域Aの偶数ラインであれば、他装置用の統計量取得対象部分であると判定し(S302-Yes)、他装置統計フラグをオン設定して映像受信部で該画素の画像データを取得する(S308)。そして、統計量取得部で該偶数ラインの画素の統計量を取得した後(S309)、統計量送信部から該偶数ラインの画素の統計量を映像処理装置1に送信する(S310)。ここで送信した画素の統計量は、映像処理装置1において上記S306で受信される。一方、注目画素が領域Aの奇数ラインの画素であれば、他装置用の統計量取得対象部分ではないと判定し(S302-No)、該画素の画像データを取得しない。

また、領域Aの注目画素に対し、映像処理装置2,4の領域判定部では、注目画素が自装置の出力対象部分でなく(S301-No)、かつ他装置用の統計量取得対象部分でもない(S302-No)と判定する。したがって、注目画素の画像データを取得せず、さらに統計量の取得および合成処理を行わない。

以上説明したS301〜S310の処理を、領域Aの全画素に対する統計量取得(合成)処理が終了するまで、各映像処理装置において繰り返す(S312)。その後、映像処理装置1の画像処理部107が、フレームバッファ109に格納されている領域Aの画像データに対し、合成された統計量に基づいて生成される画像処理パラメータを用いた画像処理を行って、フレームバッファ110に格納する(S313)。そして、フレームバッファ110に格納された画像処理後の画像データを、映像出力部108から出力する(S314)。

なお、S313,S314による画像処理および画像出力処理は、領域全体の画像取得および統計量の合成が行われていた場合にのみ、実行される。すなわち、領域Aに対する画像処理および画像出力処理は、映像処理装置1のみにおいて実行される。

以上のように領域Aの入力期間においては、映像処理装置1が、該領域を第1の領域として自装置用の処理を施すメイン装置として動作する。また、映像処理装置3が、該領域を第2の領域として他装置用の処理(統計量取得補助処理)を施すサブ装置として動作する。すなわち、領域Aに対し、これらメイン装置とサブ装置が画像データを並列に取得し、さらに、メイン装置が奇数ライン、サブ装置が偶数ラインの統計量を取得し、メイン装置で合成する。そしてメイン装置で、該合成した統計量を使用して生成した画像処理パラメータに基づく最終的な画像処理および出力を行う。

領域B,C,Dについても、上記領域Aと同様にメイン装置とサブ装置による並列処理が行われる。すなわち、各領域に対し、予め定義されたメイン装置とサブ装置とによって画像データの取得を並列に行い、さらに、メイン装置で該領域の奇数ラインの統計量を取得し、サブ装置で偶数ラインの統計量を取得し、メイン装置でこれら統計量を合成する。具体的には、領域Bに対しては映像処理装置2がメイン装置、映像処理装置4がサブ装置として、上記領域Aの場合と同様の動作を行う。この場合、映像処理装置1,3はその他装置として、特に処理を行わない。同様に領域Cに対しては、映像処理装置3がメイン装置、映像処理装置1がサブ装置、映像処理装置2,4がその他装置として動作する。また領域Dに対しては、映像処理装置4がメイン装置、映像処理装置2がサブ装置、映像処理装置1,3がその他装置として動作する。

以上説明したように本実施形態によれば、マルチディスプレイシステムを構成する複数の映像処理装置のそれぞれが、自装置で処理すべき領域についての統計量取得処理を、その期間に画像入力を行っていない他装置と並列に実行する。そして、自装置で取得した統計量と他装置で取得した統計量を合成して画像処理を行うことで、入力時の統計量取得回路の削減が可能となる。

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。上述した第1実施形態では映像処理装置間で統計量のみを送受信する例を示したが、第2実施形態では装置間で画像データと統計量を送受信してフレームバッファに格納する点が異なる。これにより、装置間でのフレームバッファへの書き込みが平均化されるため、メモリ帯域が平均化される。

●システム構成
図７は、第2実施形態のマルチディスプレイシステムの構成を示すブロック図である。同図において、上述した第1実施形態の図１と同様の構成には同一番号を付し、説明を省略する。図７に示す映像処理装置1おいて、統計量取得部500は、領域Aから統計量を取得し、これをフレームバッファ504に格納する。第2実施形態での統計量処理では、輝度ヒストグラム検出等の特定の度数をカウントする処理に加え、特定色領域の塗りつぶし等の画素変換処理を行うとする。この場合、カウント数を示す統計量とともに、変換後の画像データがフレームバッファ504に格納される。なお、画素変換処理を行わない場合には、受信した画像データをそのまま、統計量とともにフレームバッファ504に格納する。

画像データおよび統計量送信部501は、統計量取得部500で統計量処理を行った後、フレームバッファ504内の統計量と画像データを、他装置(図７の例では映像処理装置3)に送信する。画像データおよび統計量受信部502は、他装置から受信した統計量と画像データをフレームバッファ504に格納する。統計量合成部503は、フレームバッファ504内に格納された、自装置と他装置のそれぞれで取得された統計量を読み出し、合成する。そして画像処理部505において、自装置で取得した画像データと、他装置から受信した画像データ、および合成した統計量から生成される画像処理パラメータを用いた画像処理を行う。

図８は、第2実施形態の各映像処理装置における映像受信部102での入力データの走査方向を示しており、1ラインおきに画像データを取得する点が、第1実施形態で図２(c)に示した走査例とは異なる。例えば図８の領域Aでは、映像処理装置1が、実線で示す走査によって奇数ラインの画像データを取得する。対して映像処理装置3が、同領域において破線で示す偶数ラインの画像データを取得する。同様に、領域Bでは映像処理装置2が奇数ライン、映像処理装置4が偶数ラインの画像データを取得する。領域Cでは映像処理装置3が奇数ライン、映像処理装置1が偶数ラインの画像データを取得する。領域Dでは映像処理装置4が奇数ライン、映像処理装置2が偶数ラインの画像データを取得する。

●動作タイミング
以下、図９を用いて、第2実施形態のマルチディスプレイシステムにおける動作タイミングを説明する。

図９は、第2実施形態の各映像処理装置が4K2Kサイズの画像を処理する際に入力処理の並列化を行う場合における、H方向のタイミングチャートである。図９は、第1実施形態での同タイミングを示した図６(b)に対し、自装置で統計量処理を行うH期間のみで入力処理を行う点が異なっている。すなわち、H期間において画像入力と統計量処理は必ずセットで行われ、第1実施形態のように画像入力のみを行って統計量処理を行わない、ということはない。例えば1H期間は領域Aの入力期間であるが、映像処理装置1で領域Aの画像入力と統計量処理を行う。また2H期間も領域Aの入力期間であるが、映像処理装置1は領域Aの画像入力を行わない。この2H期間では、映像処理装置3において領域Aの画像入力と統計量処理を行う。このように領域Aに対しては、ライン単位の画像入力および統計量処理を、映像処理装置1と3が交互に行う。

●表示制御処理
以下、第2実施形態のマルチディスプレイシステムにおける表示制御処理について、図１０のフローチャートを用いて詳細に説明する。図１０において、上述した第1実施形態の図３と同様の処理には同一ステップ番号を付し、説明を省略する。第2実施形態の表示制御処理においても第1実施形態と同様に、注目画素が属する領域に応じて、自装置出力フラグと他装置統計フラグを設定する。しかしながら、該フラグに応じた映像受信部102と統計量取得部103の処理が、第1実施形態とは異なる。

ここで、第2実施形態の各映像処理装置における、上記各フラグに応じた、映像受信部102と統計量取得部103の処理の概要を示す。まず、自装置出力フラグと他装置統計フラグの両方がオン設定である場合は、注目画像の画像データを取得しない(S700,S704,S312)。また、自装置出力フラグのみがオン設定である場合は、注目画素の画像データを取得後、これをフレームバッファ504に格納し、統計量処理を行う(S700,S704,S705,S706)。また、他装置統計フラグのみがオン設定である場合は、注目画素の画像データを取得後、これをフレームバッファ504に格納し、統計量処理を行う(S700,S702,S709,S710)。また、自装置出力フラグと他装置統計フラグの両方がオフ設定である場合は、注目画素の画像データを取得しない(S700,S702,S312)。

以下、画像領域Aの入力期間における、各映像処理装置の具体的な動作を説明する。

領域Aの注目画素に対し、映像処理装置1の領域判定部101はまず、注目画素が自装置の出力対象部分であると判定する(S700-Yes)。映像処理装置1では、領域Aの奇数ラインの画素については、他装置による統計量取得対象部分ではないと判定される(S704-No)。そして、映像受信部102で該注目画素(領域Aの奇数ラインの画素)の画像データを取得し、フレームバッファ504に格納する(S705)。そして、統計量取得部500で該注目画素(領域Aの奇数ラインの画素)の統計量を取得してフレームバッファ504に格納する(S706)。その後、画像データおよび統計量受信部502で映像処理装置3から受信した、領域Aの偶数ラインの画素の画像データとその統計量を、フレームバッファ504に格納する(S707)。そして統計量合成部503において、フレームバッファ504から奇数ラインおよび偶数ラインの画素の統計量を読み出し、これらを合成する(S708)。一方、領域Aの偶数ラインの画素については、他装置による統計量取得対象部分であると判定し(S704-Yes)、画像データの取得を行わない。

また、領域Aの注目画素に対し、映像処理装置3の領域判定部は、注目画素が自装置の出力対象部分ではないと判定する(S700-No)。そして、該注目画素が領域Aの偶数ラインの画素であれば、他装置用の統計量取得対象部分であると判定し(S702-Yes)、該注目画素の画像データを取得してフレームバッファに格納する(S709)。そして、統計量取得部で偶数ラインの注目画素の統計量を取得してフレームバッファに格納する(S710)。その後、該フレームバッファに格納された、偶数ライン画素の画像データと統計量を、統計量送信部から映像処理装置1に送信する(S711)。一方、注目画素が領域Aの奇数ラインの画素であれば、他装置用の統計量取得対象部分ではないと判定し(S702-No)、該注目画素の画像データを取得しない。

また領域Aに対し、映像処理装置2,4の領域判定部では、注目画素が自装置の出力対象部分でなく(S700-No)、かつ他装置用の統計量取得対象部分でもない(S702-No)と判定する。したがって、該注目画素の画像データを取得せず(S703)、さらに統計量の取得および合成を行わない。

以降は第1実施形態と同様に、上記700〜S711の処理を、領域Aの全画素に対する統計量取得(合成)処理が終了するまで、各映像処理装置において繰り返す(S312)。その後、映像処理装置1の画像処理部107が、フレームバッファ504に格納されている領域Aの画像データに対し、合成された統計量に基づく画像処理を行ってフレームバッファ110に格納し(S313)、映像出力部108から出力する(S314)。なお、画像処理部107における画像処理の際に、S705において自装置で取得した奇数ラインの画像と、S707で他装置から受信した偶数ラインの画像を合成する。

第2実施形態においても領域Aの画素に対しては、映像処理装置1がメイン装置、映像処理装置3がサブ装置として動作することで、メイン装置が奇数ライン、サブ装置が偶数ラインについて画像および統計量を取得し、メイン装置でこれらを合成する。

領域B,C,Dについても、上記領域Aと同様に画像取得と統計量処理の並列処理が行われる。すなわち、各領域に対し、予め定義されたメイン装置で該領域の奇数ラインの画像データおよび統計量を取得し、サブ装置で偶数ラインの画像データおよび統計量を取得し、メイン装置でこれら画像データおよび統計量を合成する。具体的には、領域Bに対しては映像処理装置2がメイン装置、映像処理装置4がサブ装置として、上記領域Aの場合と同様の並列処理を行う。この場合、映像処理装置1,3はその他装置として、特に処理を行わない。同様に領域Cに対しては、映像処理装置3がメイン装置、映像処理装置1がサブ装置、映像処理装置2,4がその他装置となる。また領域Dに対しては、映像処理装置4がメイン装置、映像処理装置2がサブ装置、映像処理装置1,3がその他装置となる。

以上説明したように第2実施形態によれば、マルチディスプレイシステムを構成する複数の映像処理装置のそれぞれが、出力対象ラインの画像データのフレームバッファへの書き込みを、その期間に画像入力を行っていない他装置と並列に実行する。したがって、各装置におけるフレームバッファへの書き込みが平均化されるため、メモリ帯域が平均化され、高周波動作用の複雑な回路設計が不要となる。

＜他の実施形態＞
上述した第1および第2実施形態のマルチディスプレイシステムでは、図１や図７のように、映像入力装置100と映像処理装置1〜4をバス接続した構成例を示した。しかしながら本発明は図１１に示すように、映像処理装置1〜4を直列にカスケード接続することも可能である。
図１１では、映像処理装置1〜4がディスプレイポートを用いてカスケード接続されている例を示す。この構成において、映像入力装置800からの画像は、まず伝送路801を経由して映像処理装置1に入力される。映像処理装置1では、該入力された画像を後段の映像処理装置2に入力する。同様に、映像処理装置2から映像処理装置3、映像処理装置4へ順次、画像が入力される。画像の入力以降は、上述した第1または第2実施形態と同様の表示制御を行うことができる。

また、4K2K画像を縦横の解像度がほぼ半分であるFullHD画像に十字型に4分割して4台の映像処理装置から出力する例を示した。しかしながら本発明は他のデータ形式や分割数であっても、各映像処理装置の無処理期間を有効に利用することで、同様に適用可能である。

また、処理対象のデータが映像入力装置100から直接、または他装置を介して入力される例を示したが、各映像処理装置に同一のデータが入力されれば、データ入力の方法はこの例に限らない。例えば、ネットワークストリーミングによって入力される画像データを処理することも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (15)

1. 複数の画像処理装置により入力画像を並列処理して、各画像処理装置から前記入力画像を分割した領域画像を出力する画像処理システムに使用される画像処理装置であって、
   予め設定された、自装置の出力対象である第1の領域の画像データ、または他装置の出力対象である第2の領域の所定部分を除く領域の画像データを、前記入力画像から取得する画像取得手段と、
   前記第1の領域の前記所定部分に対応する領域の画像データの第1の統計量、または前記第2の領域の前記所定部分を除く領域の画像データの第2の統計量を取得する統計量取得手段と、
   前記第2の統計量を前記他装置に送信する送信手段と、
   前記他装置から、前記第1の領域の前記所定部分を除く領域の画像データの第3の統計量を受信する受信手段と、を有し、
   前記第1の統計量と前記第3の統計量から、前記第1の領域の画像データに画像処理を施して前記領域画像として出力するための画像処理パラメータを生成することを特徴とする画像処理装置。
2. 前記第3の統計量は、前記他装置における前記送信手段から前記第2の統計量として送信されたデータであることを特徴とする請求項1に記載の画像処理装置。
3. 複数の画像処理装置により入力画像を並列処理して、各画像処理装置から前記入力画像を分割した領域画像を出力する画像処理システムに使用される画像処理装置であって、
   予め設定された、自装置の出力対象である第1の領域の所定部分に対応する領域の第1の画像データ、または他装置の出力対象である第2の領域の所定部分を除く領域の第2の画像データを、前記入力画像から取得する画像取得手段と、
   前記第1の画像データの第1の統計量、または前記第2の画像データの第2の統計量を取得する統計量取得手段と、
   前記第2の画像データおよび前記第2の統計量を前記他装置に送信する送信手段と、
   前記他装置から、前記第1の領域の前記所定部分を除く領域の第3の画像データ、および該第3の画像データの第3の統計量を受信する受信手段と、を有し、
   前記第1の統計量と前記第3の統計量から、前記第1の画像データと前記第3の画像データに画像処理を施して前記領域画像として出力するための画像処理パラメータを生成することを特徴とする画像処理装置。
4. 前記第3の画像データおよび前記第3の統計量は、前記他装置における前記送信手段から前記第2の画像データおよび前記第2の統計量として送信されたデータであることを特徴とする請求項3に記載の画像処理装置。
5. 前記第1または第2の領域における前記所定部分は、当該領域における所定の走査ラインであることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
6. 前記第1または第2の領域における前記所定部分は、当該領域における奇数番目の走査ラインであることを特徴とする請求項5に記載の画像処理装置。
7. 前記統計量は、輝度ヒストグラムを示すことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
8. 前記入力画像における注目画素が、前記第1の領域、前記第2の領域、前記第1および第2の領域のいずれでもない第3の領域のいずれに属するか、さらに前記第1または第2の領域における前記所定部分に属するか否かを判定する判定手段、
   をさらに有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
9. 前記判定手段は、前記入力画像の画素ごとに、自装置に対応するか否かを示す第1のフラグと、他装置に対応するか否かを示す第2のフラグを設定し、該第1および第2のフラグに応じて前記判定を行うことを特徴とする請求項8に記載の画像処理装置
10. 前記入力画像を十字型に4分割して得られる領域のうち、前記第1の領域に対応する1領域を前記領域画像として出力することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
11. 前記入力画像は4K2K形式の画像であり、前記領域画像としてフルハイビジョン形式の画像を出力することを特徴とする請求項10に記載の画像処理装置。
12. 前記複数の画像処理装置はカスケード接続され、自装置に入力された画像データを後段の装置に出力することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
13. 複数の画像処理装置により入力画像を並列処理して、各画像処理装置から前記入力画像を分割した領域画像を出力する画像処理システムの制御方法であって、
    第1の画像処理装置において、
    自装置の出力対象として予め設定された第1の領域の画像データを前記入力画像から取得し、
    前記第1の領域の所定部分に対応する領域の画像データの第1の統計量を取得し、
    第2の画像処理装置から、前記第1の領域の前記所定部分を除く領域の画像データの第2の統計量を受信し、
    前記第1の統計量と前記第2の統計量から画像処理パラメータを生成し、
    前記第1の領域の画像データに対し、前記画像処理パラメータに基づく画像処理を施して前記領域画像として出力し、
    第2の画像処理装置において、
    前記第1の領域の前記所定部分を除く領域の画像データを取得し、
    前記第1の領域の前記所定部分を除く領域の画像データの第2の統計量を取得し、
    前記第2の統計量を前記第1の画像処理装置に送信する、
    ことを特徴とする画像処理システムの制御方法。
14. 複数の画像処理装置により入力画像を並列処理して、各画像処理装置から前記入力画像を分割した領域画像を出力する画像処理システムの制御方法であって、
    第1の画像処理装置において、
    自装置の出力対象として予め設定された第1の領域の所定部分に対応する領域の第1の画像データを前記入力画像から取得し、
    前記第1の画像データの第1の統計量を取得し、
    第2の画像処理装置から、前記第1の領域の前記所定部分を除く領域の第2の画像データ、および該第2の画像データの第2の統計量を受信し、
    前記第1の統計量と前記第2の統計量から画像処理パラメータを生成し、
    前記第1の画像データと前記第2の画像データに対し、前記画像処理パラメータに基づく画像処理を施して前記領域画像として出力し、
    第2の画像処理装置において、
    前記入力画像から前記第2の画像データを取得し、
    前記第2の画像データの前記第2の統計量を取得し、
    前記第2の画像データと前記第2の統計量を前記第1の画像処理装置に送信する、
    ことを特徴とする画像処理システムの制御方法。
15. コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至12のいずれか1項に記載の画像処理システムを構成する画像処理装置の各手段として機能させるためのプログラム。

Images