JP2013098966A - 映像処理システム、映像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】 複数の領域ごとに映像信号を表示装置に出力するに際し、スループット及びメモリ帯域を大幅に増大させることなく、当該領域に隣接する領域の画素の情報を参照して、当該領域に対する画像処理を行う。
【解決手段】 映像信号をフレームの単位で時分割して得られるフレームの信号を、映像処理装置１０４と第２の映像処理部２０４に交互に供給する。第１の映像処理装置１００は、左半分の領域のフレームの信号を処理し、第２の映像処理装置２００は、右半分の領域のフレームの信号を処理する。映像処理装置１０４、２０４は、供給されたフレームの信号に対して画像処理を行い、画像処理を行ったフレームの信号を左右に２分割する。その後、第１の映像処理装置１０４、第２の映像処理装置２０４は、それぞれ、右半分の領域のフレームの信号、左半分の領域のフレームの信号を、第２の映像処理装置２００、第１の映像処理装置１００に送信する。
【選択図】 図１

Description

本発明は、映像処理システム、映像処理方法、及びコンピュータプログラムに関し、特に、映像信号を複数の領域に分割し、分割した映像信号を並列に処理するために用いて好適なものである。

映像の高精細化が進み、ＨＤ（High Definition）の解像度を超える４Ｋ２Ｋや８Ｋ４Ｋと呼ばれる映像を処理できるシステムの開発が行われている。このような高解像度の映像においては、ＨＤの解像度の４倍や１６倍の解像度を持つ画像データを処理しなければならない。このため、映像を１チップのＬＳＩのみで処理することは、回路規模やメモリ帯域の観点から、困難になってきている。また、立体表示が可能な表示装置が普及している。そこで、立体表示用の映像を処理することが求められている。立体表示用の映像信号は左目用の映像信号と右目用の映像信号とを持っている。このため、左右の映像をそれぞれ通常の映像と同等のフレームレートで表示するためには、映像を処理するためのＬＳＩの回路規模やメモリ帯域を倍増する必要がある。

以上のようなことから、１個のＬＳＩのみでは処理することが困難な映像に対して、複数個のＬＳＩを用いて並列に映像処理を行うことで、映像の処理を実現することが行われている。特許文献１では、ＨＤよりも解像度の大きいＦｕｌｌＨＤの映像の映像処理を、ＨＤの映像処理が可能なＬＳＩを２個用いて実現する映像表示装置が提案されている。特許文献１に記載の技術では、映像を複数の領域に分割し、分割した領域に対応する映像処理が可能なＬＳＩを、分割した領域ごとに設ける。このようにすることで、映像の解像度に依存しないスケーラブルな映像処理システムを構築することができるとしている。これによれば、ＨＤの映像処理が可能なＬＳＩを４個用いることで４Ｋ２Ｋの映像の映像処理が可能なシステムを構築することができる。

特開２００９−１７１１８３号公報

しかしながら、一般的に、前述したような映像処理では、映像信号の空間周波数を加工するフィルタ処理が必要である。フィルタ処理では、処理対象とする画素（注目画素）に対する信号処理は、その周辺画素を参照することにより行われる。よって、映像を複数の領域に分割して、分割した複数の領域の映像信号を、それぞれ異なるＬＳＩで映像処理する場合には、分割した領域の境界周辺の画素の情報を、当該分割した領域として隣接する領域の映像処理を行う複数のＬＳＩで相互に共有する必要がある。もし、周辺画素を参照せずに映像信号に対して信号処理を行うと、分割した領域の映像を合成（映像を再構成）した結果、分割した領域の境界に不連続点が確認されてしまう。

同様に、空間周波数領域におけるフィルタ処理のみならず、台形歪み補正のような幾何形状の変形処理を行う場合にも、分割した領域の注目画素の周辺画素が、当該分割した領域に隣接する領域に含まれるときには、当該周辺画素として参照する必要がある。したがって、各ＬＳＩは、周辺画素分を含めて映像処理を行わなければ、領域が分割された映像信号に対して、分割された領域の境界を考慮した正しい台形歪み補正を実現することができない。このため、個々のＬＳＩは、分割した領域の境界周辺の画素の情報を、当該境界を挟んで隣接する領域の映像処理を行う複数のＬＳＩで相互に共有する必要がある。

以上のように、従来の技術では、映像信号を複数の領域に分割し、分割した複数の領域ごとに個別に複数のＬＳＩで映像処理を行うと、処理可能なスループットやメモリ帯域を大きくする必要がある。このため、個々のＬＳＩのコストが増大するという課題があった。
図４は、２つの領域に分割された映像信号と（図４（ａ））、分割された２つの領域の映像信号に対して映像処理を行う際に必要な画素範囲（図４（ｂ）、（ｃ））を示す図である。

単一のＬＳＩで処理できない映像信号は、２つの領域（左領域５００と右領域５０１）に分割される。それら２つの領域の映像信号は、２つのＬＳＩを用いて個別に処理される。図４において、左領域５００を処理するＬＳＩは、右領域５０１内の「左領域５００との境界近傍の周辺画素５０２」を含む映像信号を用いて左領域５００の映像信号を処理する必要がある。同様に、右領域５０１を処理するＬＳＩは、左領域５００内の「右領域５０１との境界近傍の周辺画素５０３」を含む映像信号を処理する必要がある。したがって、個々のＬＳＩには、これら周辺画素分を考慮した処理能力が必要となる。

本発明は、以上の課題に鑑み、複数の領域ごとに映像信号を表示装置に出力するに際し、スループット及びメモリ帯域を大幅に増大させることなく、当該領域に隣接する領域の画素の情報を参照して、当該領域に対する画像処理を行えるようにすることを目的とする。

本発明の映像処理システムは、映像信号を複数の領域の映像信号に分割し、分割した映像信号を並列に処理する映像処理システムであって、映像信号をフレーム単位で時分割する映像信号時分割手段と、前記映像信号時分割手段により時分割された映像信号のうち、相互に異なるフレームの映像信号に対して映像処理を行う複数の映像処理手段と、前記複数の映像処理手段により映像処理が行われた映像信号を、フレーム内で複数の領域に分割する複数の映像信号領域分割手段と、前記複数の映像信号領域分割手段により分割された複数の領域の映像信号のうち、フレーム内における相対的な位置関係が同じ領域の映像信号を出力する複数の映像出力手段と、を有することを特徴とする。

本発明によれば、フレーム単位で時分割した映像信号のうち、相互に異なるフレームの映像信号を、複数の映像処理手段により映像処理し、映像処理が行われた映像信号をフレーム内で複数の領域に分割する。そして、フレーム内における相対的な位置関係が同じ領域の映像信号を複数の映像出力手段から出力する。したがって、分割される領域の境界近傍において、他の領域の画素の情報を参照するために、当該他の領域の情報を複数の映像処理手段で共有する必要がなくなる。よって、複数の領域ごとに映像信号を表示装置に出力するに際し、スループット及びメモリ帯域を大幅に増大させることなく、当該領域に隣接する領域の画素の情報を参照して、当該領域に対する画像処理を行うことができる。

映像処理システムの構成を示す図である。 映像信号の第１の例を示す図である。 映像信号の第２の例を示す図である。 ２つに分割された映像信号と、映像処理に必要な画素範囲を示す図である。

以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、映像処理システムの主要部の構成の一例を示すブロック図である。本実施形態の映像処理システムは、４Ｋ２Ｋの映像信号に対して、２つの映像処理装置１００、２００を用いて並列に信号処理を行う。２つの映像処理装置１００、２００は、それぞれ４Ｋ２Ｋの映像信号を、水平方向に（左右に）２分割した映像信号として表示装置に出力する。映像処理システムは、２つの映像処理装置から出力された映像信号を、４Ｋ２Ｋの映像信号として再構成して、４Ｋ２Ｋの映像を表示装置に表示する。

第１の映像処理装置１００は、４Ｋ２Ｋの映像信号の左半分の領域を表示する表示装置へ映像信号を出力する。第２の映像処理装置２００は、４Ｋ２Ｋの映像信号の右半分の領域を表示する表示装置へ映像信号を出力する。
以下、第１の映像処理装置１００の構成の一例について説明する。
映像信号入力部１０１は、外部から映像信号を入力する手段である。映像信号入力部１０１は、ＨＤＭＩ（High Definition Multimedia Interface）等を介して外部装置から入力される映像信号から画素情報を抽出し、第１の映像信号時分割部１０２へ送出する。

第１の映像信号時分割部１０２は、映像信号入力部１０１で抽出された画素情報をフレーム単位で時分割する。そして、第１の映像信号時分割部１０２は、一方のフレーム信号（奇数番目に出現するフレーム信号）を第１の映像処理部１０４へ送出し、他方のフレーム信号（偶数番目に出現するフレーム信号）を時分割映像送信部１０３へ送出する。すなわち、第１の映像信号時分割部１０２は、フレーム信号を、その出現順に、時分割映像送信部１０３、第１の映像処理部１０４に交互に送出する。
時分割映像送信部１０３は、第１の映像信号時分割部１０２から受信したフレーム信号を、第２の映像処理装置２００の時分割映像受信部２０３に対して送信する。第１の映像処理装置１００と第２の映像処理装置２００は、ＰＣＩ（Peripheral Component Interconnect）やＰＣＩｅ（PCI Express）のチップ間インターフェースで接続されている。第１の映像処理装置１００と第２の映像処理装置２００は、このチップ間インターフェースを用いてデータの送受信を行う。

第１の映像処理部１０４は、第１のデータ保存部１０５を使用しながら、第１の映像信号時分割部１０２から受信したフレーム信号に対する画像処理を行う。第１の映像処理部１０４は、画像処理を施したフレーム信号を第１の映像信号領域分割部１０６へ送出する。本実施形態では、第１の映像処理部１０４は、空間周波数領域におけるフィルタ処理や幾何形状の変形を伴う台形歪み補正処理等、処理対象とする画素（注目画素）に対して、その周辺画素を参照して信号処理を行う必要のある画像処理を行う。本実施形態では、第１の映像処理部１０４により、画像処理が施された４Ｋ２Ｋのフレーム信号が得られる。
第１のデータ保存部１０５は、例えばＤＲＡＭで構成される。第１のデータ保存部１０５は、第１の映像処理部１０４が画像処理を行うための作業領域として使用される。第１の映像処理部１０４は、第１の映像信号時分割部１０２から受信したフレーム信号を第１のデータ保存部１０５に保持する。第１の映像処理部１０４は、処理対象とする画素の情報とその周辺画素の情報とを第１のデータ保存部１０５より順次読み出し、読み出した情報を用いて画像処理を行う。

第１の映像信号領域分割部１０６は、第１の映像処理部１０４から受信した「画像処理後の４Ｋ２Ｋのフレーム信号」を、各映像処理装置１００、２００が接続される表示装置の形態に従い複数の領域に分割する。本実施形態では、第１の映像信号領域分割部１０６は、画像処理後の４Ｋ２Ｋのフレーム信号を、水平方向に（左右に）２分割する。そして、第１の映像信号領域分割部１０６は、左半分の領域のフレーム信号を第１の映像出力部１０９へ送出し、右半分の領域のフレーム信号を第１の領域分割映像送信部１０７へ送出する。
第１の領域分割映像送信部１０７は、第１の映像信号領域分割部１０６から受信した「右半分の領域のフレーム信号」を、第２の映像処理装置２００の領域分割映像受信部２０８に送信する。

第１の領域分割映像受信部１０８は、第２の映像処理装置２００の第２の領域分割映像送信部２０７より送信された「左半分の領域のフレーム信号」を受信する。そして、第１の領域分割映像受信部１０８は、受信した「左半分の領域のフレーム信号」を第１の映像出力部１０９へ送出する。
第１の映像出力部１０９は、第１の映像信号領域分割部１０６から受信した「左半分の領域のフレーム信号」と、第１の領域分割映像受信部１０８から受信した「左半分の領域のフレーム信号」とを交互に、４Ｋ２Ｋの左半分の領域を表示する表示装置に出力する。ここで、本実施形態では、第１の映像信号領域分割部１０６から受信した「左半分の領域のフレーム信号」は、映像信号入力部１０１に入力された映像信号の奇数番目に出現するフレームの信号である。一方、第１の領域分割映像受信部１０８から受信した「左半分の領域のフレーム信号」は、映像信号入力部１０１に入力された映像信号の偶数番目に出現するフレームの信号である。

次に、第２の映像処理装置２００の構成の一例について説明する。尚、第２の映像処理部２０４、第２のデータ保存部２０５、第２の領域分割映像送信部２０７、及び第２の領域分割映像受信部２０８は、第１の映像処理装置１００の対応する処理部と同じ構成を有する。このため、以下では、これらの詳細な説明を割愛する。
時分割映像受信部２０３は、第１の映像処理装置１００の時分割映像送信部１０３から送信された「（偶数番目に出現する）フレーム信号」を受信する。そして、時分割映像受信部２０３は、受信したフレーム信号を第２の映像処理部２０４へ送出する。

第２の映像信号領域分割部２０６は、第１の映像処理部１０４から受信した「画像処理後の４Ｋ２Ｋのフレーム信号」を、各映像処理装置１００、２００が接続される表示装置の形態に従い複数の領域に分割する。本実施形態では、第２の映像信号領域分割部２０６は、画像処理後の４Ｋ２Ｋのフレーム信号を、水平方向に（左右に）２分割する。そして、第２の映像信号領域分割部２０６は、右半分の領域のフレーム信号を第２の映像出力部２０９へ送出し、左半分の領域のフレーム信号を第２の領域分割映像送信部２０７へ送出する。
第２の映像出力部２０９は、第２の映像信号領域分割部２０６から受信した「右半分の領域のフレーム信号」と、第２の領域分割映像受信部２０８から受信した「右半分の領域のフレーム信号」とを交互に、４Ｋ２Ｋの右半分の領域を表示する表示装置に出力する。ここで、本実施形態では、第２の映像信号領域分割部２０６から受信した「右半分の領域のフレーム信号」は、映像信号入力部１０１に入力された映像信号の偶数番目に出現するフレームの信号である。第２の領域分割映像受信部２０８から受信した「右半分の領域のフレーム信号」は、映像信号入力部１０１に入力された映像信号の奇数番目に出現するフレームの信号である。

図２は、本実施形態における映像処理システムの各処理部で送受信される映像信号の一例を模式的に示す図である。以下、図２を用いて、本実施形態における映像処理システムの各処理部の処理の一例と、各処理部で扱われる映像信号の一例について説明する。
入力フレーム信号３００は、第１の映像処理装置１００の映像信号入力部１０１に入力される映像信号である。入力フレーム信号３００は、フレーム単位で、フレーム信号３０１、３０２、３０３、３０４・・・の順に入力される。

時分割フレーム信号３１０は、第１の映像処理装置１００の第１の映像信号時分割部１０２が第１の映像処理部１０４に対して送出するフレーム信号である。第１の映像信号時分割部１０２は、映像信号入力部１０１より受信した入力フレーム信号３００のうち、第１のフレーム群の一例である奇数番目のフレーム信号３１１、３１２を第１の映像処理部１０４へ送出する。図２において、入力フレーム信号３００は、４Ｋ２Ｋの解像度をもつフレーム信号である。第１の映像処理部１０４は、この４Ｋ２Ｋの解像度を持つフレーム信号に対して画像処理を行う必要がある。
本実施形態では、４Ｋ２Ｋの映像信号を時分割して得られるフレーム信号に対して、各映像処理装置１００、２００で画像処理を行う。このため、４Ｋ２Ｋの１つのフレーム信号を、１つの映像処理装置で処理する場合と比較して、各映像処理装置１００、２００の各第１の映像処理部１０４、２９４は、約２倍の時間内に、１つのフレーム信号の処理を完了すればよい。フレーム信号３１１、３１２は、このことを模式的に表したものである。

時分割フレーム信号３２０は、第１の映像処理装置１００の第１の映像信号時分割部１０２が時分割映像送信部１０３に対して送出するフレーム信号である。第１の映像信号時分割部１０２は、映像信号入力部１０１より受信した入力フレーム信号３００のうち、第２のフレーム群の一例である偶数番目のフレーム信号３２１、３２２を第１の映像処理部１０４へ送出する。
画像処理後フレーム信号３３０は、第１の映像処理装置１００の第１の映像処理部１０４が画像処理後に送出するフレーム信号である。本実施形態では、第１の映像処理部１０４は、フレーム信号３１１、３１２の各フレーム信号に対して、台形歪み補正処理を施してフレーム信号３３１、３３２を生成する。尚、図２において、第１の映像処理部１０４でのフレーム遅延は、第１の映像処理部１０４で行う処理の種類やそのアルゴリズムに依存する。よって、図２に示すフレーム遅延は一例に過ぎない。
画像処理後フレーム信号３４０は、第２の映像処理装置２００の第２の映像処理部２０４が画像処理後に送出するフレーム信号である。本実施形態では、第２の映像処理部２０４は、フレーム信号３２１、３２２の各フレーム信号に対して、台形歪み補正処理を施してフレーム信号３４１、３４２を生成する。

領域分割フレーム信号３５０は、第１の映像処理装置１００の第１の映像出力部１０９が出力するフレーム信号である。フレーム信号３５１、３５３は、第１の映像処理装置１００の第１の映像信号領域分割部１０６がフレーム信号３３１、３３２の領域を左右に２分割することにより得られるフレーム信号である。フレーム信号３５１、３５３は、奇数番目のフレーム信号のうち、第１の領域の一例である左半分の領域の映像信号を含む。フレーム信号３５２、３５４は、第２の映像処理装置２００の第２の映像信号領域分割部２０６がフレーム信号３４１、３４２の領域を左右に２分割することにより得られるフレーム信号である。フレーム信号３５２、３５４は、偶数番目のフレーム信号のうち、第１の領域の一例である左半分の領域の映像信号を含む。
第１の映像処理装置１００の第１の映像出力部１０９は、これらのフレーム信号３５１〜３５４を、第１の映像信号領域分割部１０６および第１の領域分割映像受信部１０８より受信する。そして、第１の映像出力部１０９は、フレーム信号３５１、３５２、３５３、３５４の順にフレーム信号３５１〜３５４を表示装置に出力する。

領域分割フレーム信号３６０は、第２の映像処理装置２００の第２の映像出力部２０９が出力するフレーム信号である。フレーム信号３６１、３６３は、第１の映像処理装置２００の第１の映像信号領域分割部１０６がフレーム信号３３１、３３２の領域を左右に２分割することにより得られるフレーム信号である。フレーム信号３６１、３６３は、奇数番目のフレーム信号のうち、第２の領域の一例である右半分の領域の映像信号を含む。フレーム信号３６２、３６４は、第２の映像処理装置２００の第２の映像信号領域分割部２０６がフレーム信号３４１、３４２の領域を左右に２分割することにより得られるフレーム信号である。フレーム信号３６２、３６４は、偶数番目のフレーム信号のうち、第２の領域の一例である右半分の領域の映像信号を含む。
第２の映像処理装置２００の第２の映像出力部２０９は、これらのフレーム信号３６１〜３６４を、第２の映像信号領域分割部２０６および第２の領域分割映像受信部２０８より受信する。そして、第２の映像出力部２０９は、フレーム信号３６１、３６２、３６３、３６４の順にフレーム信号３６１〜３６４を表示装置に出力する。

以上のように本実施形態では、４Ｋ２Ｋの映像信号をフレームの単位で時分割することにより得られるフレームの信号を、第１の映像処理装置１００の第１の映像処理部１０４と第２の映像処理装置２００の第２の映像処理部２０４に交互に供給する。第１の映像処理装置１００は、左半分の領域のフレームの信号を処理し、第２の映像処理装置２００は、右半分の領域のフレームの信号を処理するものである。映像処理装置１００、２００は、供給されたフレームの信号に対してフィルタ処理や台形歪み補正処理等の画像処理を行い、画像処理が施されたフレームの信号を左右に２分割する。その後、第１の映像処理装置１００、第２の映像処理装置２００は、それぞれ、右半分の領域のフレームの信号、左半分の領域のフレームの信号を、第２の映像処理装置２００、第１の映像処理装置１００に送信する。これにより、第１の映像処理装置１００、第２の映像処理装置２００は、それぞれ、フレーム内における相対的な位置関係が同じ領域の信号（左半分の領域のフレームの信号、右半分の領域のフレームの信号）を、４Ｋ２Ｋの映像信号の全てのフレームについて得る。
以上のように、２つの映像処理装置１００、２００は、フレームの全領域を使って画像処理を行うと共に、４Ｋ２Ｋの映像信号に含まれるフレームの総数の半数のフレームの信号を処理する。したがって、映像信号を分割した複数の領域のうち、相互に隣接する領域を処理する複数の映像処理装置１００、２００は、当該領域の境界付近の画素の情報を相互に共有する必要なく、フィルタ処理等の画像処理を行うことができる。よって、映像信号を分割処理することにより増加する「周辺画素分の『処理スループットやメモリ帯域』」を個々の第１の映像処理部１０４、２０４が有する必要がなくなる。複数の領域ごとに映像信号を表示装置に出力するに際し、スループット及びメモリ帯域を大幅に増大させることなく、当該領域に隣接する領域の画素の情報を参照して、当該領域に対する画像処理を行うことができる。

本実施形態では、４Ｋ２Ｋの映像信号を左右に２分割する場合を例に挙げて説明した。しかしながら、映像信号は、４Ｋ２Ｋの映像信号に限定されない。また、分割する方法は、左右に２分割する方法に限定されない。例えば、上下に２分割してもよい。また、分割する数は２に限定されない。
また、本実施形態では、第１の映像信号時分割部１０２は、４Ｋ２Ｋの映像信号を左右に２分割することにより得られるフレームの信号を交互に出力するようにした。しかしながら、第１の映像処理装置１００と第２の映像処理装置２００とで相互に異なるフレームの信号に対して画像処理をするようにしていれば、必ずしもこのようにする必要はない。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、映像信号入力部１０１に入力される映像信号が立体視用の映像信号である場合に、当該映像信号を２つの映像処理装置で処理するシステムについて説明する。本実施形態と第１の実施形態とは、映像信号入力部１０１に入力される映像信号が異なることによる処理が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図２に付した符号と同一の符号を付す等して詳細な説明を省略する。

本実施形態では、２つの映像処理装置のそれぞれは、１２０Ｈｚの映像出力が可能な処理性能を持つものとする。立体視用のフレームシーケンシャルの映像信号の表示を行う場合には、左右両眼用に分離されたフレーム信号の映像が交互に表示される。１２０Ｈｚの映像出力を行う場合には、片目あたり６０Ｈｚの映像出力が行われる。しかしながら、より残像感の少ないくっきりとした映像を実現するためには、２４０Ｈｚ、すなわち片目あたり１２０Ｈｚの映像出力を行うことが求められている。そこで、本実施形態の映像処理システムは、１２０Ｈｚの映像出力が可能な映像処理装置を２つ用いて、２４０Ｈｚの映像出力を行うことを実現するものである。本実施形態の映像処理システムの主要部の構成は、図１に示した通りである。本実施形態では、第１の映像処理装置１００は、表示領域の左半分のフレーム信号を表示する表示装置に接続される。第２の映像処理装置２００は、表示領域の右半分のフレーム信号を表示する表示装置へ接続される。

以下、図１を用いて、本実施形態の映像処理システムの説明を行う。前述したように、第１の実施形態と基本的な処理が共通となる処理部については適宜説明を省略する。
第１の映像信号時分割部１０２は、映像信号入力部１０１より１２０Ｈｚのフレームレート（フレーム周波数）で入力される立体視用の映像信号を受信する。第１の映像信号時分割部１０２は、受信した立体視用の映像信号をフレーム単位で時分割する。そして、第１の映像信号時分割部１０２は、一方のフレーム信号を第１の映像処理部１０４へ送出し、他方のフレーム信号を時分割映像送信部１０３へ送出する。

第１の映像処理部１０４は、第１の映像信号時分割部１０２から受信したフレーム信号に対する画像処理を行い、画像処理を施したフレーム信号を第１の映像信号領域分割部１０６へ送出する。本実施形態では、第１の映像処理部１０４は、空間周波数領域におけるフィルタ処理や幾何形状の変形を伴う台形歪み補正処理等、処理対象とする画素（注目画素）に対して、その周辺画素を参照して信号処理を行う必要のある画像処理を行う。また、本実施形態では、第１の映像処理部１０４は、１２０Ｈｚのフレームレートで入力される映像信号を、２４０Ｈｚのフレームレートの映像信号として出力するためのフレームレート変換を行う。

第１の映像出力部１０９は、第１の映像信号領域分割部１０６から受信したフレーム信号と、第１の領域分割映像受信部１０８から受信したフレーム信号とを交互に出力する。このとき、第１の映像出力部１０９は、２４０Ｈｚのフレームレートで、映像信号入力部１０１に入力された映像信号の１／２の解像度を持つ映像信号を出力する。

第２の映像処理部２０４は、映像信号時分割部２０２から受信したフレーム信号に対する画像処理を行い、画像処理を施したフレーム信号を第２の映像信号領域分割部２０６へ送出する。本実施形態において第２の映像処理部２０４は、空間周波数領域におけるフィルタ処理や幾何形状の変形を伴う台形歪み補正処理等、処理対象とする画素（注目画素）に対して、その周辺画素を参照して信号処理を行う必要のある画像処理を行う。また、第２の映像処理部２０４は、１２０Ｈｚのフレームレートで入力される映像信号を、２４０Ｈｚのフレームレートの映像信号として出力するためのフレームレート変換を行う。
第２の映像出力部２０９は、第２の映像信号領域分割部２０６から受信したフレーム信号と、第２の領域分割映像受信部２０８から受信したフレーム信号とを交互に出力する。このとき、第２の映像出力部２０９は、２４０Ｈｚのフレームレートで、映像信号入力部１０１に入力された映像信号の１／２の解像度を持つ映像信号を出力する。

図３は、本実施形態における映像処理システムの各処理部で送受信される映像信号の一例を模式的に示す図である。以下、図３を用いて、本実施形態における映像処理システムの各処理部の処理と、各処理部で扱われる映像信号の一例について説明する。
入力フレーム信号４００は、第１の映像処理装置１００の映像信号入力部１０１に入力される映像信号である。入力フレーム信号４００は、左目用のフレーム信号４０１、４０３と右目用のフレーム信号４０２、４０４とを有する。左目用のフレーム信号４０１、４０３と右目用のフレーム信号４０２、４０４とが交互に映像信号入力部１０１に入力される。

時分割フレーム信号４１０は、第１の映像処理装置１００の第１の映像信号時分割部１０２が第１の映像処理部１０４に対して送出するフレーム信号である。第１の映像信号時分割部１０２は、映像信号入力部１０１より受信した入力フレーム信号４００のうち、左目用のフレーム信号４１１、４１２を第１の映像処理部１０４へ送出する。
時分割フレーム信号４２０は、第１の映像処理装置１００の第１の映像信号時分割部１０２が時分割映像送信部１０３に対して送出するフレーム信号である。第１の映像信号時分割部１０２は、映像信号入力部１０１より受信した入力フレーム信号４００のうち、右目用のフレーム信号４２１、４２２を第１の映像処理部１０４へ送出する。

画像処理後フレーム信号４３０は、第１の映像処理装置１００の第１の映像処理部１０４が画像処理後に送出するフレーム信号である。本実施形態では、第１の映像処理部１０４は、フレーム信号４１１、４１２の各フレーム信号に対して、台形歪み補正処理とフレームレート変換とを行い、フレーム信号４３１、４３２、４３３、４３４を生成して出力する。フレーム信号４３２、４３４は、フレームレート変換により生成された補間フレームを示す。
画像処理後フレーム信号４４０は、第２の映像処理装置２００の第２の映像処理部２０４が画像処理後に送出するフレーム信号である。本実施形態では、第２の映像処理部２０４は、フレーム信号４２１、４２２の各フレーム信号に対して、台形歪み補正処理とフレームレート変換とを行い、フレーム信号４４１、４４２、４４３、４４４を生成して出力する。フレーム信号４４２、４４４は、フレームレート変換により生成された補間フレームを示す。

領域分割フレーム信号４５０は、第１の映像処理装置１００の第１の映像出力部１０９が出力するフレーム信号である。フレーム信号４５１、４５２、４５５、４５６は、第１の映像処理装置１００の第１の映像信号領域分割部１０６がフレーム信号４３１〜４３４を、左右に２分割することにより得られるフレーム信号である。フレーム信号４５１、４５２、４５５、４５６は、左目用のフレーム信号のうち左半分の領域の映像信号を含む。フレーム信号４５３、４５４、４５７、４５８は、第２の映像処理装置２００の第２の映像信号領域分割部２０６がフレーム信号４４１〜４４４を、左右に２分割することにより得られるフレーム信号である。フレーム信号４５３、４５４、４５７、４５８は、右目用のフレーム信号のうち左半分の領域の映像信号を含む。
第１の映像処理装置１００の第１の映像出力部１０９は、これらフレーム信号４５１〜４５８を第１の映像信号領域分割部１０６および第１の領域分割映像受信部１０８より受信する。そして、第１の映像出力部１０９は、フレーム信号４５１、４５２、４５３、４５４、４５５、４５６、４５７、４５８の順にフレーム信号４５１〜４５８を表示装置に出力する。

領域分割フレーム信号４６０は、第２の映像処理装置２００の第２の映像出力部２０９が出力するフレーム信号である。フレーム信号４６１、４６２、４６５、４６６は、第１の映像処理装置１００の第１の映像信号領域分割部１０６がフレーム信号４３１〜４３４を、左右に２分割することにより得られるフレーム信号である。フレーム信号４６１、４６２、４６５、４６６は、左目用のフレーム信号のうち右半分の領域の映像信号を含む。フレーム信号４６３、４６４、４６７、４６８は、第２の映像処理装置２００の第２の映像信号領域分割部２０６がフレーム信号４４１〜４４４を、左右に２分割することにより得られるフレーム信号である。フレーム信号４６３、４６４、４６７、４６８は、右目用のフレーム信号のうち右半分の領域の映像信号を含む。
第２の映像処理装置２００の第２の映像出力部２０９は、これらフレーム信号４６１〜４６８を第２の映像信号領域分割部２０６および第２の領域分割映像受信部２０８より受信する。そして、第２の映像出力部２０９は、フレーム信号４６１、４６２、４３６、４６４、４６５、４６６、４６７、４６８の順にフレーム信号４６１〜４６８を表示装置に出力する。

以上のように、映像信号入力部１０１に入力される映像信号を立体視用の映像信号としても、第１の実施形態で説明した効果と同様の効果を得ることができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００ 第１の映像処理装置、２００ 第２の映像処理装置

Claims (11)

1. 映像信号を複数の領域の映像信号に分割し、分割した映像信号を並列に処理する映像処理システムであって、
   映像信号をフレーム単位で時分割する映像信号時分割手段と、
   前記映像信号時分割手段により時分割された映像信号のうち、相互に異なるフレームの映像信号に対して映像処理を行う複数の映像処理手段と、
   前記複数の映像処理手段のうち、対応する映像処理手段により映像処理が行われた映像信号を、フレーム内で複数の領域に分割する複数の映像信号領域分割手段と、
   前記複数の映像信号領域分割手段により分割された複数の領域の映像信号のうち、フレーム内における相対的な位置関係が同じ領域の映像信号を出力する複数の映像出力手段と、を有することを特徴とする映像処理システム。
2. 前記映像処理システムは、複数の映像処理装置を有し、
   前記複数の映像処理装置の１つが、前記映像信号時分割手段を有し、
   前記複数の映像処理装置のそれぞれが、前記映像処理手段と、前記映像信号領域分割手段と、前記映像出力手段を有することを特徴とする請求項１に記載の映像処理システム。
3. 前記映像処理システムは、第１の映像処理装置と、第２の映像処理装置とを有し、
   前記第１の映像処理装置は、
   前記映像信号時分割手段と、
   前記映像信号時分割手段により時分割された映像信号のうち、第１のフレーム群の映像信号に対して映像処理を行う第１の映像処理手段と、
   前記映像信号時分割手段により時分割された映像信号のうち、第２のフレーム群の映像信号を前記第２の映像処理装置に送信する時分割映像送信手段と、
   前記第１の映像処理手段により映像処理が行われた映像信号を、フレーム内で第１の領域と第２の領域に分割する第１の映像信号領域分割手段と、
   前記第１の映像信号領域分割手段により分割された第２の領域の映像信号を前記第２の映像処理装置に送信する第１の領域分割映像送信手段と、
   前記映像信号時分割手段により時分割された映像信号のうち、第１のフレーム群の映像信号であって、映像処理が行われた前記第１の領域の映像信号を、前記第２の映像処理装置から受信する第１の領域分割映像受信手段と、
   前記第１の映像信号領域分割手段により得られる第１の領域の映像信号と、前記第１の領域分割映像受信手段により受信された第１の領域の映像信号とを出力する第１の映像出力手段と、を有し、
   前記第２の映像処理装置は、
   前記時分割映像送信手段により送信された第２のフレーム群の映像信号を受信する時分割映像受信手段と、
   前記時分割映像受信手段により受信された第２のフレーム群の映像信号に対して映像処理を行う第２の映像処理手段と、
   前記第２の映像処理手段により映像処理が行われた映像信号を、フレーム内で第１の領域と第２の領域に分割する第２の映像信号領域分割手段と、
   前記第２の映像信号領域分割手段により分割された第１の領域の映像信号を、前記第１の映像処理装置に送信する第２の領域分割映像送信手段と、
   前記第１の領域分割映像送信手段により送信された第２の領域の映像信号を受信する第２の領域分割映像受信手段と、
   前記第２の映像信号領域分割手段により得られる第２の領域の映像信号と、前記第２の領域分割映像受信手段により受信された第２の領域の映像信号とを出力する第２の映像出力手段と、を有することを特徴とする請求項２に記載の映像処理システム。
4. 前記映像信号時分割手段は、映像信号をフレーム単位で時分割し、時分割した映像信号を、前記第１の映像処理手段と前記時分割映像送信手段に対して、その出現順に交互に出力することを特徴とする請求項３に記載の映像処理システム。
5. 前記映像信号は、立体視用の映像信号であり、
   前記映像信号時分割手段は、前記立体視用の映像信号を、フレーム単位で、左目用のフレームの映像信号と、右目用のフレームの映像信号とに時分割し、
   前記第１のフレーム群と前記第２のフレーム群は、前記左目用のフレーム群と前記右目用のフレーム群の何れかであることを特徴とする請求項３又は４に記載の映像処理システム。
6. 映像信号を複数の領域の映像信号に分割し、分割した映像信号を並列に処理する映像処理方法であって、
   映像信号をフレーム単位で時分割する映像信号時分割工程と、
   前記映像信号時分割工程により時分割された映像信号のうち、相互に異なるフレームの映像信号に対して映像処理を行うことを、複数の映像処理手段によりそれぞれ行う映像処理工程と、
   前記複数の映像処理手段のうち、対応する映像処理手段により映像処理が行われた映像信号を、フレーム内で複数の領域に分割することを、複数の映像信号領域分割手段によりそれぞれ行う映像信号領域分割工程と、
   前記複数の映像信号領域分割手段により分割された複数の領域の映像信号のうち、フレーム内における相対的な位置関係が同じ領域の映像信号を出力することを複数の映像出力手段によりそれぞれ行う映像出力工程と、を有することを特徴とする映像処理方法。
7. 前記映像処理方法は、映像信号を複数の領域の映像信号に分割し、分割した映像信号を並列に処理することを、複数の映像処理装置を用いて行い、
   前記複数の映像処理装置の１つにより、前記映像信号時分割工程が行われ、
   前記複数の映像処理装置のそれぞれにより、前記映像処理工程と、前記映像信号領域分割工程と、前記映像出力工程が行われることを特徴とする請求項６に記載の映像処理方法。
8. 前記映像処理方法は、映像信号を複数の領域の映像信号に分割し、分割した映像信号を並列に処理することを、第１の映像処理装置と、第２の映像処理装置とを用いて行い、
   前記映像信号時分割工程と、
   前記映像信号時分割工程により時分割された映像信号のうち、第１のフレーム群の映像信号に対して映像処理を行う第１の映像処理工程と、
   前記映像信号時分割工程により時分割された映像信号のうち、第２のフレーム群の映像信号を前記第２の映像処理装置に送信する時分割映像送信工程と、
   前記第１の映像処理工程により映像処理が行われた映像信号を、フレーム内で第１の領域と第２の領域に分割する第１の映像信号領域分割工程と、
   前記第１の映像信号領域分割工程により分割された第２の領域の映像信号を前記第２の映像処理装置に送信する第１の領域分割映像送信工程と、
   前記映像信号時分割工程により時分割された映像信号のうち、第１のフレーム群の映像信号であって、映像処理が行われた前記第１の領域の映像信号を、前記第２の映像処理装置から受信する第１の領域分割映像受信工程と、
   前記第１の映像信号領域分割工程により得られる第１の領域の映像信号と、前記第１の領域分割映像受信工程により受信された第１の領域の映像信号とを出力する第１の映像出力工程とが、前記第１の映像処理装置により、行われ、
   前記時分割映像送信工程により送信された第２のフレーム群の映像信号を受信する時分割映像受信工程と、
   前記時分割映像受信工程により受信された第２のフレーム群の映像信号に対して映像処理を行う第２の映像処理工程と、
   前記第２の映像処理工程により映像処理が行われた映像信号を、フレーム内で第１の領域と第２の領域に分割する第２の映像信号領域分割工程と、
   前記第２の映像信号領域分割工程により分割された第１の領域の映像信号を、前記第１の映像処理装置に送信する第２の領域分割映像送信工程と、
   前記第１の領域分割映像送信工程により送信された第２の領域の映像信号を受信する第２の領域分割映像受信工程と、
   前記第２の映像信号領域分割工程により得られる第２の領域の映像信号と、前記第２の領域分割映像受信工程により受信された第２の領域の映像信号とを出力する第２の映像出力工程と、が前記第２の映像処理装置により行われることを特徴とする請求項７に記載の映像処理方法。
9. 前記映像信号時分割工程は、映像信号をフレーム単位で時分割し、時分割した映像信号を、その出現順に交互に出力し、
   前記第１の映像処理工程は、前記映像信号時分割工程により交互に出力される映像信号のうち、一方の映像信号に対して映像処理を行い、
   前記時分割映像送信工程は、前記映像信号時分割工程により交互に出力される映像信号のうち、他方の映像信号を前記第２の映像処理装置に送信することを特徴とする請求項８に記載の映像処理方法。
10. 前記映像信号は、立体視用の映像信号であり、
    前記映像信号時分割工程は、前記立体視用の映像信号を、フレーム単位で、左目用のフレームの映像信号と、右目用のフレームの映像信号とに時分割し、
    前記第１のフレーム群と前記第２のフレーム群は、前記左目用のフレーム群と前記右目用のフレーム群の何れかであることを特徴とする請求項８又は９に記載の映像処理方法。
11. 映像信号を複数の領域の映像信号に分割し、分割した映像信号を並列に処理することをコンピュータに実行させるためのコンピュータプログラムであって、
    映像信号をフレーム単位で時分割する映像信号時分割工程と、
    前記映像信号時分割工程により時分割された映像信号のうち、相互に異なるフレームの映像信号に対して映像処理を行うことを、複数の映像処理手段によりそれぞれ行う映像処理工程と、
    前記複数の映像処理手段のうち、対応する映像処理手段により映像処理が行われた映像信号を、フレーム内で複数の領域に分割することを、複数の映像信号領域分割手段によりそれぞれ行う映像信号領域分割工程と、
    前記複数の映像信号領域分割手段により分割された複数の領域の映像信号のうち、フレーム内における相対的な位置関係が同じ領域の映像信号を出力することを複数の映像出力手段によりそれぞれ行う映像出力工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images